CN113810539B - 到站提醒的方法、装置、终端及存储介质 - Google Patents
到站提醒的方法、装置、终端及存储介质 Download PDFInfo
- Publication number
- CN113810539B CN113810539B CN202111095207.8A CN202111095207A CN113810539B CN 113810539 B CN113810539 B CN 113810539B CN 202111095207 A CN202111095207 A CN 202111095207A CN 113810539 B CN113810539 B CN 113810539B
- Authority
- CN
- China
- Prior art keywords
- target
- terminal
- station
- features
- audio data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims description 45
- 238000001228 spectrum Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 23
- 230000000875 corresponding effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 19
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 230000015654 memory Effects 0.000 claims description 13
- 238000012546 transfer Methods 0.000 claims description 13
- 230000002093 peripheral effect Effects 0.000 claims description 8
- 238000003032 molecular docking Methods 0.000 claims description 7
- 238000009499 grossing Methods 0.000 claims description 6
- 230000000295 complement effect Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 3
- 238000003062 neural network model Methods 0.000 claims 1
- 230000001131 transforming effect Effects 0.000 claims 1
- 230000007547 defect Effects 0.000 abstract description 7
- 238000004590 computer program Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000009432 framing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000003066 decision tree Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
- G10L25/24—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being the cepstrum
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/7243—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
- H04M1/72433—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72451—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to schedules, e.g. using calendar applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Acoustics & Sound (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Business, Economics & Management (AREA)
- Environmental & Geological Engineering (AREA)
- Emergency Management (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Telephone Function (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请涉及一种到站提醒的方法、装置、终端及存储介质，属于互联网技术领域。该方法包括：获取目标音频数据的音频特征和目标传感器数据的传感器特征；对音频特征和传感器特征进行融合，得到第一目标特征；基于第一目标特征，确定交通工具的启停状态；基于启停状态和终端的目标站点，对终端进行到站提醒，目标站点为交通工具的第一前进线路上，终端前往的交通运输点。本申请通过多模态的特征，能够增强特征的丰富性，这样当一种特征存在缺陷时，另一种特征能起到弥补的作用，基于融合而成的特征，确定交通工具的启停状态，提高了到站提醒的准确率。
Description
技术领域
本申请涉及互联网技术领域，特别涉及一种到站提醒的方法、装置、终端及存储介质。
背景技术
目前，越来越多的人选择乘坐地铁出行，而在地铁上，用户习惯玩手机，例如听音乐、看视频或者与他人聊天等，这就容易忽略地铁的到站情况，导致坐过站，从而不得不返回，浪费通行时间，因此，在地铁到站时需要提醒用户下车。
相关技术中，地铁到站检测主要通过手机中的加速度传感器，获取传感器数据，基于该传感器数据确定地铁是否处于加速或减速状态，从而确定地铁是否到站，而在确定地铁到达目标站点的情况下，提醒用户下车。
但是，上述方法中，如果用户在地铁上行走，加速度传感器记录的传感器数据不仅包括地铁的传感器数据，还包含用户走路时对手机产生的传感器数据，因此，基于传感器数据确定地铁是否到站的准确性较低。
发明内容
本申请实施例提供了一种到站提醒的方法、装置、终端及存储介质，能够提高到站提醒的准确率。所述技术方案如下：
根据本申请实施例的一个方面，提供了一种到站提醒的方法，所述方法包括：
获取目标音频数据的音频特征和目标传感器数据的传感器特征，所述目标音频数据为终端当前所在交通工具中语音播报的音频数据，所述目标传感器数据为所述终端采集到的满足启停条件的传感器数据；
对所述音频特征和所述传感器特征进行融合，得到第一目标特征；
基于所述第一目标特征，确定所述交通工具的启停状态；
基于所述启停状态和所述终端的目标站点，对所述终端进行到站提醒，所述目标站点为所述交通工具的第一前进线路上，所述终端前往的交通运输点。
根据本申请实施例的一个方面，提供了一种到站提醒的装置，所述装置包括：
第一获取模块，用于获取目标音频数据的音频特征和目标传感器数据的传感器特征，所述目标音频数据为终端当前所在交通工具中语音播报的音频数据，所述目标传感器数据为所述终端采集到的满足启停条件的传感器数据；
融合模块，用于对所述音频特征和所述传感器特征进行融合，得到第一目标特征；
第一确定模块，用于基于所述第一目标特征，确定所述交通工具的启停状态；
提醒模块，用于基于所述启停状态和所述终端的目标站点，对所述终端进行到站提醒，所述目标站点为所述交通工具的第一前进线路上，所述终端前往的交通运输点。
根据本申请实施例的一个方面，提供了一种终端，该终端包括一个或多个处理器和一个或多个存储器，该一个或多个存储器中存储有至少一条程序代码，该至少一条程序代码由该一个或多个处理器加载并执行以实现如上述任一种可能实现方式的到站提醒的方法。
根据本申请实施例的一个方面，提供了一种存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的到站提醒的方法。
根据本申请实施例的一个方面，提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品包括：计算机程序代码，所述计算机程序代码被计算机执行时，使得所述计算机实现如上述任一种可能实现方式的到站提醒的方法。
在本申请实施例中，终端将目标音频数据的音频特征和目标传感器数据的传感器特征进行融合，从而通过多模态的特征，能够增强特征的丰富性，这样当一种特征存在缺陷时，另一种特征能起到弥补的作用，基于融合而成的特征，确定交通工具的启停状态，提高了到站提醒的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的一种实施环境示意图；
图2示出了本申请一个示例性实施例所提供的终端的结构框图；
图3是本申请一个示例性实施例提供的一种到站提醒的方法流程图；
图4是本申请一个示例性实施例提供的一种到站提醒的方法流程图；
图5是本申请一个示例性实施例提供的一种到站提醒的方法示意图；
图6是本申请一个示例性实施例提供的一种目标音频数据的特征提取的示意图；
图7是本申请一个示例性实施例提供的一种网络模型结构图；
图8是本申请一个示例性实施例提供的一种到站提醒的方法示意图；
图9是本申请一个示例性实施例提供的一种到站提醒的方法流程图；
图10是本申请一个示例性实施例提供的一种到站提醒的装置的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离申请的范围的情况下，可以将第一时间段称为第二时间段，且类似地，可将第二时间段称为第一时间段。
本申请所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或者两个以上，多个包括两个或者两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个，举例来说，多个第一音频帧包括3个第一音频帧，而每个是指这3个第一音频帧中的每一个第一音频帧，任一是指这3个第一音频帧中的任意一个，可以是第一个，也可以是第二个，还可以是第三个。
图1是本申请实施例提供的一种实施环境的示意图，如图1所示，该实施环境包括终端10和服务器20。终端10与服务器20之间通过无线或者有线网络连接。
可选地，终端10为智能手机、平板电脑或者穿戴设备等任一种类型的终端。服务器20为一台服务器，或者由若干服务器组成的服务器集群，或者是一个云计算服务中心。
终端10上安装由服务器20提供服务的应用，终端10能够通过该应用实现例如数据传输、消息交互等功能。可选地，该应用为终端10操作系统中的应用，或者为第三方提供的应用。例如，该应用为地图应用，导航应用、公交轨道应用、地铁轨道应用、高铁轨道应用或者城铁轨道；其中，该应用至少具有提醒功能，当然，该应用还具有其他功能，例如，检测功能、采集功能等。
用户在乘坐交通工具出行时，终端10确定交通工具的启停状态，基于该启停状态和用户的目标站点，对终端10进行到站提醒。其中，交通工具可以为公交车、地铁、高铁或者城铁中的至少一项。
在本申请实施例中，提供一种移动终端，该移动终端包括处理器和存储器；该存储器存储有至少一条程序代码，至少一条程序代码用于被处理器执行以实现执行本申请实施例提供的到站提醒的方法。
请参考图2，其示出了本申请一个示例性实施例所提供的终端10的结构示意图。终端10可以是手机、平板电脑或者穿戴设备等具有标签查找等功能的终端。本申请中的终端10可以包括一个或多个如下部件：处理器110、存储器120、显示屏130。
处理器110可以包括一个或者多个处理核心。处理器110利用各种接口和线路连接整个终端10内的各个部分，通过运行或执行存储在存储器120内的指令、程序、代码集或指令集，以及调用存储在存储器120内的数据，执行终端10的各种功能和处理数据。可选地，处理器110可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable LogicArray，PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit，CPU)、图像处理器(Graphics Processing Unit，GPU)、神经网络处理器(Neural-network Processing Unit，NPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏130所需要显示的内容的渲染和绘制；NPU用于实现人工智能(Artificial Intelligence，AI)功能；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器110中，单独通过一块芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory，RAM)，也可以包括只读存储器(Read-Only Memory，ROM)。可选地，该存储器120包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等；存储数据区可存储根据终端10的使用所创建的数据(比如音频数据、电话本)等。
显示屏130是用于显示用户界面的显示组件。可选的，该显示屏130为具有触控功能的显示屏，通过触控功能，用户可以使用手指、触摸笔等任何适合的物体在显示屏130上进行触控操作。
显示屏130通常设置在终端10的前面板。显示屏130可被设计成为全面屏、曲面屏、异型屏、双面屏或折叠屏。显示屏130还可被设计成为全面屏与曲面屏的结合，异型屏与曲面屏的结合等，本实施例对此不加以限定。
除此之外，本领域技术人员可以理解，上述附图所示出的终端10的结构并不构成对终端10的限定，终端10可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。比如，终端10中还包括麦克风、扬声器、射频电路、输入单元、传感器、音频电路、无线保真(Wireless Fidelity，Wi-Fi)模块、电源、蓝牙模块等部件，在此不再赘述。
图3是本申请实施例提供的一种到站提醒的方法流程图。本申请实施例由终端执行，该方法包括如下步骤：
步骤301：终端获取目标音频数据的音频特征和目标传感器数据的传感器特征，目标音频数据为终端当前所在交通工具中语音播报的音频数据，目标传感器数据为终端采集到的满足启停条件的传感器数据。
步骤302：终端对音频特征和传感器特征进行融合，得到第一目标特征。
步骤303：终端基于第一目标特征，确定交通工具的启停状态。
步骤304：终端基于启停状态和终端的目标站点，对终端进行到站提醒，目标站点为交通工具的第一前进线路上，终端前往的交通运输点。
在本申请实施例中，终端将目标音频数据的音频特征和目标传感器数据的传感器特征进行融合，从而通过多模态的特征，能够增强特征的丰富性，这样当一种特征存在缺陷时，另一种特征能起到弥补的作用，基于融合而成的特征，确定交通工具的启停状态，提高了到站提醒的准确率。
图4是本申请实施例提供的一种到站提醒的方法流程图。本申请实施例由终端执行，也即由终端进行是否到站的判断，然后进行提醒为例进行说明。该方法包括如下步骤：
步骤401：终端获取第二前进线路，第二前进线路是终端从起始站点到目标站点的前进线路。
当用户乘坐交通工具时，终端获取用户的第二前进线路，从而基于第二前进线路，对交通工具的启停状态进行监控，在确定出交通工具到达目标站点的情况下，提醒用户下车。
第一种实现方式，用户手动选择起始站点和目标站点；相应的，终端获取第二前进线路的步骤包括：终端显示前进线路图，该前进线路图中包括多个停靠站点，多个停靠站点用于用户手动选择起始站点和目标站点；终端从多个停靠站点中确定被选择的起始站点和被选择的目标站点，确定从起始站点到目标站点的第二前进线路。其中，停靠站点是交通工具在其前进线路中途经的站点。例如，目标站点可以为地铁站、公交车站、高铁站、城铁站等。
需要说明的一点是，从起始站点到目标站点的前进线路可能有一个，也可能有多个；在从起始站点到目标站点的前进线路包括多个的情况下，终端从多个前进线路中选择第二前进线路。其中，终端可以让用户选择一条前进线路；则终端从多个前进线路中选择第二前进线路的步骤包括：终端展示多个前进线路，获取多个前进线路中被选择的前进线路，将被选择的前进线路确定为第二前进线路。
其中，终端还可以基于用户的历史乘车记录选择前进线路，则终端从多个前进线路中选择第二前进线路的步骤包括：终端获取每个前进线路的历史使用频率，基于每个前进线路的历史使用频率，从多个前进线路中确定使用频率最高的第二前进线路。
在本申请实施例中，终端基于用户手动选择的起始站点和目标站点，获取第二前进线路，能够准确获得符合用户意图的第二前进线路，从而提高获取停靠站点和目标站点的准确率。
例如，参见图5，终端中事先存储有前进线路图，基于该前进线路图确定出第二前进线路。
第二种实现方式，终端在检测到乘坐交通工具的触发操作时，利用用户行为习惯进行线路预测。相应的，终端获取第二前进线路的步骤包括：终端检测到乘坐交通工具的触发操作时，获取当前时间和当前位置，在当前时间在预设时间范围内的情况下，获取终端的历史前进线路，从历史前进线路中获取第二前进线路，第二前进线路的起始点为当前位置所在的站点。其中，预设时间范围是需要乘坐的交通工具的运行时间范围，例如，预设时间范围为上班时间段或者下班时间段；历史前进线路为终端在此之前途经当前站点的前进线路。触发操作可以为刷卡操作、出示健康码等操作。
在本申请实施例中，终端基于用户的历史前进线路获取第二前进线路，无需用户操作，在用户不方便操控终端的情况下，也能为用户提供到站提醒服务，给用户带来便利。
步骤402：终端获取目标音频数据和目标传感器数据。
本申请实施例提供了一种到站提醒的方法，该方法为基于音频数据和传感器数据这两个模态的数据，来确定交通工具的到站情况，在交通工具到站的情况下，提醒用户下车。因此，终端需要获取目标音频数据和目标传感器数据。目标音频数据为终端当前所在交通工具中语音播报的音频数据；目标传感器数据为终端采集的满足启停条件的传感器数据。相应的，终端获取目标音频数据和目标传感器数据可以通过以下步骤(1)至(3)实现，包括：
(1)终端确定第一时间段和第二时间段。
第一时间段内检测到语音播报的音频数据，第二时间段内采集到满足启停条件的传感器数据；并且，第一时间段和第二时间段相邻或者重叠(部分重叠或者全部重叠)，从而确定出用于表征同一过程的音频数据和传感器数据，从而避免了通过不同时间段的音频数据和传感器数据进行后续的启停状态的判断，导致的判断出错的问题。
(2)终端从采集到的音频数据中，确定第一时间段内的目标音频数据。
终端中包括麦克风，终端通过麦克风采集音频数据；并且，采集的每帧音频数据中设置有采集该帧音频数据的时间戳；终端基于采集的每帧音频数据的时间戳，从采集的音频数据中获取时间戳在第一时间段内的目标音频数据。
(3)终端从采集到的传感器数据中，确定第二时间段内的目标传感器数据。
终端中包括传感器，终端通过传感器采集传感器数据；并且，采集的每帧传感器数据中设置有采集该帧传感器数据的时间戳；终端基于采集的每帧传感器数据的时间戳，从采集的传感器数据中获取时间戳在第二时间段内的目标传感器数据。
在本申请实施例中，对传感器的形式不做就具体限定，例如，传感器为惯性测量单元(Inertial Measurement Unit，IMU)传感器和加速度计传感器等中的至少一项。
例如，继续参见图5，终端通过麦克风和IMU传感器实时获取音频数据和传感器数据。
需要说明的一点是，终端获取到目标音频数据和目标传感器数据之后，可以先执行步骤403来确定目标音频数据的音频特征，再执行步骤404来确定目标传感器数据的传感器特征；还可以先执行步骤404来确定目标传感器数据的传感器特征，再执行步骤403来确定目标音频数据的音频特征；还可以同时执行步骤403和404；在本申请实施例中，对403和404的执行顺序不作具体限定。
步骤403：终端获取目标音频数据的音频特征。
终端采集目标音频数据的频率要远高于采集传感器数据的频率；例如，终端采集目标音频数据的频率是16000Hz，采集传感器数据的频率是200Hz，因此，终端采用梅尔频率倒谱系数(Mel Frequency Cepstrum Coefficient，MFCC)算法，提取目标音频数据的音频特征，从而降低目标音频数据的音频特征的维度。相应的，步骤403可以通过以下步骤(1)至(4)实现，包括：
(1)终端对目标音频数据进行傅里叶变换，得到目标音频数据的频谱。
本步骤可以通过以下步骤(1-1)至(1-3)实现，包括：
(1-1)终端基于预加重系数，对目标音频数据进行预加重处理。
终端基于预加重系数，采用高通滤波器对目标音频数据进行预加重处理，使得预加重处理后的目标音频数据突出目标音频数据的高频特性；其中，终端基于预加重系数，通过以下公式一，对目标音频数据进行预加重处理：
公式一：
H(z)＝1-az-1
其中，a为预加重系数，取值范围是0.95-0.97之间，z为目标音频数据，H(z)是预加重处理后的目标音频数据。
例如，参见图6；终端中包括预加重模块，终端通过该预加重模块对目标音频数据进行预加重处理。需要说明的一点是，终端需要预先设置预加重系数a，以便基于该预加重系数，对目标音频数据进行预加重处理。
(1-2)终端对预加重处理后的目标音频数据进行平滑处理。
对于每帧音频数据，终端采用汉明窗对每帧音频数据进行采样，对采样点对应的音频数据进行平滑处理；其中，终端通过以下公式二，对采样点对应的音频数据进行平滑处理：
公式二：
其中，ω(n)是每帧目标音频数据的第n个采样点对应的音频数据进行平滑处理的结果，n为整数，n＝0,1,2,3…M，M是傅里叶变换的点数。
例如，在本申请实施例中，终端采集目标音频数据的采样频率为16000Hz,对于获取的1024个采样点，每输入64ms的目标音频数据，就执行一次获取目标音频数据的音频特征的步骤。
需要说明的一点是，由于终端采集目标音频数据的频率要远高于采集传感器数据的频率；因此，终端还可以对音频数据进行分帧加窗处理；相应的，终端执行完步骤(1-2)之后，还包括：终端将目标音频数据换为音频帧序列，该音频帧序列中包括多个第一音频帧；基于多个第一音频帧，确定多个第二音频帧，相邻两个第二音频帧之间重叠部分音频数据；将每个第二音频帧分别执行以下步骤(1-3)。
例如，继续参见图6，终端中包括分帧加窗模块；终端通过该分帧加窗模块，将目标音频数据换为音频帧序列，该音频帧序列中包括多个第一音频帧；基于多个第一音频帧，确定多个第二音频帧，相邻两个第二音频帧之间重叠部分音频数据。例如，目标音频数据的长度为2000ms，分帧过程中，每隔64ms取一帧目标音频数据，得到多个第一音频帧，在此基础上，将多个第一音频帧向后滑动32ms，得到多个音频帧，结合多个第一音频帧，构成多个第二音频帧，即在目标音频数据分帧过程中，每次取64ms的数据作为一帧数据，下一帧数据为上一帧数据向后滑动32ms，即相邻两帧目标音频数据之间重叠32ms。
在本申请实施例中，终端将目标音频数据分帧，把原本非线性的目标音频数据变为多个线性的音频数据，之后再提取特征，提高了提取特征的准确性。
(1-3)终端对平滑处理后的目标音频数据进行傅里叶变换，得到频谱。
目标音频数据在时域范围内难以体现其特性，终端采用傅里叶变换，将其转换到频域范围内，以便后续根据其频域上的能量分布，来获得其音频特征。继续参见图6，终端中包括傅里叶变换模块，终端通过该傅里叶变换模块，对平滑处理后的目标音频数据进行傅里叶变换，得到频谱。
(2)终端将频谱转换为目标音频数据的能量谱。
终端确定目标音频数据的频谱上的能量分布，基于该能量分布，确定目标音频数据的能量谱。
例如，继续参见图6，终端中包括计算能量谱模块；终端通过该计算能量谱模块，将频谱转换为目标音频数据的能量谱。
(3)终端将能量谱转换为梅尔谱图，梅尔谱图中包括多个频点。
终端通过梅尔滤波将能量谱转化为符合人听觉的梅尔谱图，其中，梅尔谱图能够去除目标音频数据频谱上的冗余信息；其中，终端通过以下公式三，将能量谱转换为梅尔谱图：
公式三：
其中，Fmel(f)是目标音频数据的梅尔谱图中的值，f为傅里叶变换后的频点。
例如，继续参见图6，终端中包括梅尔滤波模块；终端通过该梅尔滤波，将能量谱转换为梅尔谱图。
(4)终端对梅尔谱图中的多个频点进行离散余弦变换，得到音频特征。
终端对梅尔谱图中每个频点的梅尔谱取对数，再对梅尔谱图中的多个频点进行离散余弦变换，从而得到离散余弦变换的系数，将该系数确定为音频特征。其中，该系数为MFCC(Mel Frequency Cepstrum Coefficient，梅尔频率倒谱系数)特征。在本申请实施例中，由于人耳对声音的感知并不是线性的，使用非线性的方式来确定音频特征更方便描述，从而提高了确定出的音频特征的准确性。
例如，继续参见图6，终端中包括取对数模块；终端通过该取对数模块，对梅尔谱图中的多个频点进行离散余弦变换，得到音频特征，该音频特征即为MFCC特征。
在本申请实施例中，终端对获取的目标音频数据直接提取MFCC特征，操作简单，减少运行消耗。
需要说明的一点是，终端对目标音频数据进行分帧加窗处理时，则对于2000ms的目标音频数据，终端每次取一帧64ms数据，然后提取一次MFCC特征，因此，每一个2000ms的目标音频数据对应的音频特征为62*64的矩阵。
需要说明的另一点是，在本申请实施例中提取目标音频数据的音频特征时，是以采用提取MFCC特征，并结合了分帧加窗处理；而本申请实施例在提取目标音频数据的音频特征时，可以采用任一特征提取方式来提取目标音频数据的音频特征；相应的，终端获取目标音频数据的音频特征的过程，包括：
终端将目标音频数据转换为音频帧序列，该音频帧序列中包括多个第一音频帧；基于多个第一音频帧，确定多个第二音频帧，相邻两个第二音频帧之间重叠部分音频数据；基于多个第二音频帧的音频特征，确定目标音频数据的音频特征。
需要说明的另一点是，以上步骤(1)至(4)可以通过第一特征提取模型中的3个卷积层来实现；例如，参见图7，终端中包括第一特征提取模型，该第一特征提取模型中包括依次连接的第一卷积层、第二卷积层和第三卷积层；终端将目标音频数据(例如，2秒的音频数据)输入第一特征提取模型，依次通过第一特征提取模型中的第一卷积层、第二卷积层和第三卷积层，对目标音频数据进行卷积处理，得到目标音频数据的音频特征。
其中，第一特征提取模型为卷积神经网络(Convolutional Neural Networks，CNN)网络模型、支持向量机(Support Vector Machine，SVM)网络模型或者决策树网络模型。
在本申请实施例中，终端采用MFCC算法对目标音频特征进行特征提取，符合人耳对音频的处理特点，提高了获取音频特征的准确性。
步骤404：终端确定目标传感器数据的传感器特征。
例如，继续参见图7，终端中包括第二特征提取模型，终端通过第二特征提取模型，提取目标传感器数据的传感器特征；其中，第二特征提取模型包括依次连接的第四卷积层、第五卷积层和第六卷积层；相应的，终端确定目标传感器数据的传感器特征的步骤包括：终端将目标传感器数据(例如，2秒的传感器数据)输入至第二特征提取模型，通过第二特征提取模型中的第四卷积层、第五卷积层和第六卷积层，依次对目标传感器数据进行卷积处理，得到传感器特征。
在本申请实施例中，终端将传感器数据输入到特征网络模型中，进行特征提取，能够快速且准确地获得传感器特征，提高了获取传感器特征的效率和准确率。
其中，第二特征提取模型为卷积神经网络(Convolutional Neural Networks，CNN)网络模型、支持向量机(Support Vector Machine，SVM)网络模型或者决策树网络模型。
在本申请实施例中，以第一特征提取模型和第二特征提取模型均为CNN网络模型为例进行说明。则本申请实施例中在进行特征融合之前，先利用两个单独的CNN网络提取单模态的数据特征，这样有利于去除单模态特征冗余信息，之后再对模型中间的更具有表征性的单模态特征来进行拼接，这样有利于后面的网络结构对拼接之后的特征进行融合，避免冗余的单模态信息的干扰，使得模型能够更好的提取融合特征。
步骤405：终端将音频特征和传感器特征进行融合，得到第一目标特征。
本步骤可以通过以下步骤(1)至(2)实现，包括：
(1)终端将音频特征和传感器特征进行拼接，得到第二目标特征。
在一种可能的实现方式中，终端将音频特征和传感器特征直接进行拼接，得到第二目标特征。其中，第二目标特征为音频特征与传感器特征融合而成的特征，包含目标音频数据和目标传感器数据其中的所有特征。在本申请实施例中，终端直接拼接音频特征和传感器特征，得到第二目标特征，操作简单，将两种特征拼接在一起，增加了特征的丰富性。
在另一种可能的实现方式中，终端基于优先级，将音频特征和传感器特征进行拼接，得到第二目标特征。相应的，终端将音频特征和传感器特征进行拼接，得到第二目标特征的步骤，包括：终端基于目标音频数据和目标传感器数据的优先级，确定目标音频数据和目标传感器数据的权重，基于目标音频数据和目标传感器数据的权重，对目标音频数据的音频特征和目标传感器数据的传感器数据的传感器特征进行加权，将加权后的音频特征和加权后的传感器特征进行拼接，得到第二目标特征。
其中，目标音频数据和目标传感器数据的优先级可以为预先设置的，例如，优先级排序为：目标音频数据的优先级高于目标传感器数据的优先级。并且优先级的大小与特征的权重呈正相关，也即目标音频数据的优先级较高，其对应的音频特征的权重较高。
在本申请实施例中，终端基于优先级，拼接将音频特征和传感器特征，得到第二目标特征，能够忽略音频特征和传感器特征中一些无关的特征信息，使获得的第二目标特征更显著，从而提高到站提醒的准确性。
(2)终端提取第二目标特征中的关键特征，得到第一目标特征。
其中，关键特征包括音频特征对应的第一关键特征和传感器特征对应的第二关键特征，且第一关键特征和第二关键特征互补。
需要说明的一点是，终端中包括特征融合模型，终端通过特征融合模型，将目标音频数据的音频特征和目标传感器数据的传感器特征进行融合，得到第一目标特征。例如，继续参见图7，该特征融合模型中包括依次连接的第七卷积层和第八卷积层；相应的，终端通过特征融合模型，将目标音频数据的音频特征和目标传感器数据的传感器特征进行融合，得到第一目标特征的步骤，包括：终端将目标音频数据的音频特征和目标传感器数据的传感器特征分别输入至特征提取模型，依次通过特征提取模型中的第七卷积层和第八卷积层，对目标音频数据的音频特征和目标传感器数据的传感器特征进行卷积处理，得到第一目标特征。
在本申请实施例中，第一关键特征和第二关键特征是互补的，在一种特征存在缺陷时另一种特征能起到弥补的作用，从而使得模型的鲁棒性较好，提高了到站提醒的准确率。
例如，终端获取的目标音频数据为“乘客们，**站到了”音频对应的数据，音频特征为“乘客们，**站到了”音频对应的特征，则第一关键特征为音频“**站”对应的特征。终端获取的目标传感器数据为当前交通工具启停状态的传感器数据，可以为交通工具的速度、加速度等数据，传感器特征为速度和加速度对应的特征，则第二关键特征为加速度对应的特征。
例如，继续参见图6，终端中包括特征融合模型；终端通过特征融合模型将目标音频数据的音频特征和目标传感器数据的传感器特征进行融合，得到第一目标特征。其中，第一特征提取模型、第二特征提取模型的输出端分别与特征融合模型的输入端连接。另外，启停判断模型可以为分类器，该分类器的分类参数可以为softmax函数，也可以其它更复杂的分类函数。
步骤406：终端基于第一目标特征，确定交通工具的启停状态。
其中，交通工具的启停状态包含两种状态，即为运行状态和停止状态。在交通工具为停止状态的情况下，执行步骤407。在交通工具为运行状态的情况下，继续执行步骤401。
例如，继续参见图5，终端中包括启停判断模型；终端通过该启停判断模型确定交通工具的启停状态；相应的，终端基于第一目标特征，确定交通工具的启停状态的步骤，包括：终端将第一目标特征输入至启停判断模型，输出该交通工具的启停状态。其中，特征融合模型的输出端与启停判断模型的输入端连接。
需要说明的一点是，第一特征提取模型、第二特征提取模型、特征融合模型和启停判断模型可以为四个单独的模型，也可以为到站判断模型中的四个模块；在第一特征提取模型、第二特征提取模型、特征融合模型和启停判断模型为到站判断模型中的四个模块；则第一特征提取模型、第二特征提取模型、特征融合模型和启停判断模型可以被称为第一特征提取模块、第二特征提取模块、特征融合模块和启停判断模块；并且，第一特征提取模块的输出端和第二特征提取模块的输出端分别与特征融合模块的输入端连接；特征融合模块的输出端与启停判断模块的输入端连接。
需要说明的一点是，在第一特征提取模型、第二特征提取模型、特征融合模型和启停判断模型为到站判断模型中的四个模块，则到站判断模型可以为多模态融合CNN模型；例如，参见图8，终端获取目标音频数据，获取目标音频数据的音频特征，然后通过该多模态融合CNN模型确定交通工具的启停状态，也即该交通工具是否停止。
在一种可能的实现方式中，终端基于第一目标特征，确定交通工具的启停状态，且该启停状态为停止状态的情况下，可以直接执行步骤407；在另一种可能的实现方式中，例如，交通工具为地铁，而地铁到站停止时间一般有20秒以上，而本申请实施例中的，目标音频数据和目标传感器数据的数据窗口长度一般为2秒，也即终端每隔2s确定一次交通工具的启停状态，在终端连续多次确定交通工具的启停状态为停止状态的情况下，则认为该交通工具到达一个站点，后续执行步骤407。
例如，继续参见图8，相应的，步骤406之后，还包括,终端获取历史启停记录。其中，历史停靠记录中包括当前时间之前的第一预设时长内的交通工具的启停状态，且每隔第二预设时长确定一次交通工具的启停状态，第一预设时长大于第二预设时长；终端基于启停状态和历史启停记录，确定连续次数。其中，连续次数为交通工具的启停状态为停止状态的连续次数；在连续次数超过预设次数的情况下，执行步骤407。在连续次数未超过预设次数的情况下，执行步骤401。
终端每隔第二预设时长，获取一次第一目标特征，然后基于确定出的第一目标特征，确定一次交通工具的启停状态，第一预设时长大于第二预设时长，因此，在第一预设时长范围内，终端能够连续多次确定交通工具的启停状态，将多次获取的交通工具的启停状态存储，构成历史启停记录。
在本申请实施例中，终端连续多次确定交通工具的启停状态，以判断该交通工具是否到站，提高了交通工具到站提醒的准确性。
需要说明的一点是，在终端基于第一目标特征，确定交通工具的启停状态为运行状态的情况下，执行步骤401。
步骤407：在启停状态为停止状态的情况下，终端基于第二前进线路和交通工具的启停次数，确定交通工具当前停靠的停靠站点。
其中，该启停次数为终端乘坐交通工具后该交通工具的启停次数，也即终端乘坐交通工具在第二前进线路上途经的站点的个数。终端基于起始站点和途经的站点的个数，从第二前进线路中，确定当前停靠的停靠站点。例如，第二前进线路包括的站点序列为站点A-站点B-站点C-站点D，也即用户从站点A乘坐交通工具，在站点D下车；而启停次数为2，则说明交通工具当前停靠的停靠站点为站点C。例如，继续参见图5，终端确定交通工具是否处于停止状态；在确定为停止状态的情况下，确定当前停靠的停靠站点(也即进入下一站了)；在确定进入下一站的情况下，执行步骤408。
在一种可能的实现方式中，终端乘坐交通工具在第二前进线路上行驶，每隔一定时间需要检测一次交通工具的启停状态。在启停状态为停止状态的情况下，基于终端的第二前进线路和交通工具的启停次数，确定交通工具当前停靠的停靠站点。
在本申请实施例中，终端在起始站点的基础上，增加途经站点的个数，在第二前进线路上确定交通工具的停靠站点，终端能够准确获得当前停靠站点，从而提高到站提醒的准确性。
步骤408：终端基于停靠站点和目标站点，对终端进行到站提醒。
例如，继续参见图5，终端基于交通工具的停靠站点与目标站点，对终端进行到站提醒的情境可分为三种情况，包括：
第一种情况，停靠站点与目标站点相同。
在停靠站点与目标站点相同的情况下，终端输出第一提示信息。其中，第一提示信息用于提示已到达目标站点。
在一种可能的实现方法中，第一提示信息为文本信息。在确定停靠站点与目标站点相同的情况下，终端输出文本信息，用以提醒用户下车。例如，在交通工具到达目标站的情况下，终端界面弹出消息，该消息为“已到达**站，请下车”的文本信息，用户在看到该文本信息时，就能知道交通工具已到站。
在本申请实施例中，第一提示信息为文本信息，在用户操控终端时，能够清晰明显地提醒用户公交车到站情况，确保用户看见，能够到站下车。
在另一种可能的实现方法中，第一提示信息为语音信号。在确定停靠站点与目标站点相同的情况下，终端播报语音信号，用以提醒用户下车。例如，在交通工具到达目标站的情况下，终端向用户播报“已到达**站，请下车”的语音信号，用户在听到该语音信号时，就能得知交通工具已到站。
在本申请实施例中，第一提示信息为语音信号，在用户不方便操控终端的情况下，提醒用户交通工具已到站，为用户带来便利。
在一些实施例中，终端还能够在输出第一提示信息之后，获取目标站点的周边简介信息，输出周边简介信息。其中，周边简介信息是目标站点的附近区域的简介信息，可包括附近的店铺信息、美食信息或者景点信息，在此不作具体限定。
在本申请实施例中，终端不仅提醒用户交通工具已到站，还提供目标站点的周边简介信息，为用户后续行程通过方便。
第二种情况，停靠站点与中转站点相同。
在停靠站点与目标站点不同，但与第二前进线路中的中转站点相同的情况下，输出第二提示信息。其中，第二提示信息用于提示已到达中转站点。第二提示信息可以为文本信息，也可为语音信号，与第一提示信息提醒方法相同，在此不再赘述。
终端在输出第二提示信息之后，确定第三前进线路的时间信息，输出该时间信息。其中，第三前进线路为终端从中转站点换乘后的前进线路，时间信息包括第三前进线路的首班车时间或者末班车时间。
例如，用户下班回家，中途需要乘坐两辆公交车，在用户乘坐第一辆公交车到达中转站点时，终端提醒用户下车，并告知用户转乘的第二辆公交车的首班车时间或者末班车时间，为用户的出行提供方便。
在本申请实施例中，终端不仅提醒用户交通工具已到中转站，还提供转乘车辆的首末班时间，为用户后续行程通过方便。
第三种情况，停靠站点与目标站点和中转站点都不相同。
在停靠站点与目标站点不同，并且与第二前进线路中的中转站点也不相同的情况下，执行步骤401。
在本申请实施例中，终端在确定未到站的情况下，继续获取音频数据和传感器数据，能够及时获得目标音频数据和目标传感器数据，从而能够提高到站提醒的准确性。
在本申请实施例中，终端将目标音频数据的音频特征和目标传感器数据的传感器特征进行融合，从而通过多模态的特征，能够增强特征的丰富性，这样当一种特征存在缺陷时，另一种特征能起到弥补的作用，基于融合而成的特征，确定交通工具的启停状态，提高了到站提醒的准确率。
图9是本申请实施例提供的一种到站提醒的方法流程图。本申请实施例由终端执行，也即由服务器进行是否到站的判断，然后终端进行提醒为例进行说明。该方法包括如下步骤：
步骤901：终端获取第二前进线路，第二前进线路是终端从起始站点到目标站点的前进线路。
步骤902：终端获取目标音频数据和目标传感器数据。
步骤901和902与步骤401和402相同，在此不再赘述。
步骤903：终端向服务器发送该目标音频数据和目标传感器数据。
步骤904：服务器接收该目标音频数据和目标传感器数据，获取目标音频数据的音频特征和目标传感器数据的传感器特征。
步骤905：服务器将音频特征和传感器特征进行融合，得到第一目标特征。
步骤906：服务器基于第一目标特征，确定交通工具的启停状态。
步骤907：在启停状态为停止状态的情况下，服务器基于第二前进线路和交通工具的启停次数，确定交通工具当前停靠的停靠站点。
步骤904中的服务器获取目标音频数据的音频特征和目标传感器数据的传感器特征、步骤905-907与步骤403-407相同，在此不再赘述。
步骤908：服务器基于停靠站点和目标站点，向终端发送提示信息。
在停靠站点与目标站点相同的情况下，服务器向终端发送第一提示信息。其中，第一提示信息用于提示已到达目标站点。在停靠站点与目标站点不同，但与第二前进线路中的中转站点相同的情况下，服务器向终端发送第二提示信息，具体实现过程与步骤408相同，在此不再赘述。
步骤909：终端接收提示信息，输出提示信息。
在本申请实施例中，终端将目标音频数据的音频特征和目标传感器数据的传感器特征进行融合，从而通过多模态的特征，能够增强特征的丰富性，这样当一种特征存在缺陷时，另一种特征能起到弥补的作用，基于融合而成的特征，确定交通工具的启停状态，提高了到站提醒的准确率。
请参考图10，其示出了本申请一个示例性实施例示出的到站的提醒装置1000的结构框图。该装置包括：
第一获取模块1001，用于获取目标音频数据的音频特征和目标传感器数据的传感器特征，目标音频数据为终端当前所在交通工具中语音播报的音频数据，目标传感器数据为终端采集到的满足启停条件的传感器数据；
融合模块1002，用于对音频特征和传感器特征进行融合，得到第一目标特征；
第一确定模块1003，用于基于第一目标特征，确定交通工具的启停状态；
提醒模块1004，用于基于启停状态和终端的目标站点，对终端进行到站提醒，目标站点为交通工具的第一前进线路上，终端前往的交通运输点。
在一种可能的实现方式中，第一获取模块1001，包括：
第一变换单元，用于对目标音频数据进行傅里叶变换，得到目标音频数据的频谱；
第一转换单元，用于将频谱转换为目标音频数据的能量谱；
第二转换单元，用于将能量谱转换为梅尔谱图，梅尔谱图中包括多个频点；
第二变换单元，用于对梅尔谱图中的多个频点进行离散余弦变换，得到音频特征。
在另一种可能的实现方式中，第一变换单元，用于基于预加重系数，对目标音频数据进行预加重处理；对预加重处理后的目标音频数据进行平滑处理；对平滑处理后的目标音频数据进行傅里叶变换，得到频谱。
在另一种可能的实现方式中，第一获取模块1001，包括：
分帧单元，用于将目标音频数据换为音频帧序列，音频帧序列中包括多个第一音频帧；
第一确定单元，用于基于多个第一音频帧，确定多个第二音频帧，相邻两个第二音频帧之间重叠部分音频数据；
第二确定单元，用于基于多个第二音频帧的音频特征，确定目标音频数据的音频特征。
在另一种可能的实现方式中，融合模块1002，包括：
拼接单元，用于将音频特征和传感器特征进行拼接，得到第二目标特征；
提取单元，用于提取第二目标特征中的关键特征，得到第一目标特征，关键特征包括音频特征对应的第一关键特征和传感器特征对应的第二关键特征，且第一关键特征和第二关键特征互补。
在另一种可能的实现方式中，装置还包括：
第二确定模块，用于确定第一时间段和第二时间段，第一时间段内检测到语音播报的音频数据，第二时间段内采集到满足启停条件的传感器数据，且第一时间段和第二时间段相邻或者重叠；
第三确定模块，用于从采集到的音频数据中，确定第一时间段内的目标音频数据；
第四确定模块，用于从采集到的传感器数据中，确定第二时间段内的目标传感器数据。
在另一种可能的实现方式中，提醒模块1004，包括：
第三确定单元，用于在启停状态为停止状态的情况下，基于终端的第二前进线路和交通工具的启停次数，确定交通工具当前停靠的停靠站点，启停次数为终端乘坐交通工具后交通工具的启停次数；
提醒单元，用于基于停靠站点与目标站点，对终端进行到站提醒。
在另一种可能的实现方式中，提醒单元，包括：
第一输出子单元，用于在停靠站点与目标站点相同的情况下，输出第一提示信息，第一提示信息用于提示已到达目标站点；或者，
第二输出子单元，用于在停靠站点与目标站点不同，但与第二前进线路中的中转站点相同的情况下，输出第二提示信息，第二提示信息用于提示已到达中转站点。
在另一种可能的实现方式中，装置还包括：
第一输出模块，用于获取目标站点的周边简介信息，输出周边简介信息。
在另一种可能的实现方式中，装置还包括：
第二输出模块，用于确定第三前进线路的时间信息，第三前进线路为终端从中转站点换乘后的前进线路，时间信息包括第三前进线路的首班车时间或者末班车时间；输出时间信息。
在另一种可能的实现方式中，装置还包括：
显示模块，用于显示前进线路图，线路图中包括多个停靠站点；
第五确定模块，用于从多个停靠站点中确定被选择的起始站点和被选择的目标站点，确定从起始站点到目标站点的第二前进线路。
在另一种可能的实现方式中，装置还包括：
第二获取模块，用于检测到终端乘坐交通工具的触发操作时，获取当前时间和当前位置；
第三获取模块，用于在当前时间在预设时间范围内的情况下，获取终端的历史前进线路；
第四获取模块，用于从历史前进线路中获取第二前进线路，第二前进线路的起始点为当前位置所在的站点。
在另一种可能的实现方式中，装置还包括：
第五获取模块，用于获取历史启停记录，历史启停记录中包括当前时间之前的第一预设时长内的交通工具的启停状态，且每隔第二预设时长确定一次交通工具的启停状态，第一预设时长大于第二预设时长；
第六确定模块，用于启停状态和历史启停记录，确定连续次数，连续次数为交通工具的启停状态为停止状态的连续次数；
提醒模块1004，用于在连续次数超过预设次数的情况下，基于启停状态和终端的目标站点，对终端进行到站提醒。
在本申请实施例中，终端将目标音频数据的音频特征和目标传感器数据的传感器特征进行融合，从而通过多模态的特征，能够增强特征的丰富性，这样当一种特征存在缺陷时，另一种特征能起到弥补的作用，基于融合而成的特征，确定交通工具的启停状态，提高了到站提醒的准确率。
本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有至少一条程序代码，该至少一条程序代码用于被处理器执行以实现如上各个实施例示出的到站提醒的方法。
本申请实施例还提供了一种计算机程序产品，当该计算机程序产品中的程序代码由终端的处理器行时，使得终端能够执行如上各个实施例示出的到站提醒的方法。
在一些实施例中，本申请实施例所涉及的计算机程序可被部署在一个终端上执行，或者在位于一个地点的多个终端上执行，又或者，在分布在多个地点且通过通信网络互连的多个终端上执行，分布在多个地点且通过通信网络互连的多个终端可以组成区块链系统。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个程序代码或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (15)
1.一种到站提醒的方法，其特征在于，所述方法包括：
通过到站提醒模型中的第一特征提取模块，获取目标音频数据的音频特征，所述目标音频数据为终端当前所在交通工具中语音播报的音频数据，所述第一特征提取模块由依次连接的三个卷积层构成，所述第一特征提取模块为卷积神经网络模型；
通过所述到站提醒模型中的第二特征提取模块，获取目标传感器数据的传感器特征，所述目标传感器数据为所述终端采集到的满足启停条件的传感器数据，所述第二特征提取模块由依次连接的三个卷积层构成，所述第二特征提取模块为卷积神经网络模型；
通过所述到站提醒模型中的特征融合模块，基于所述目标音频数据和所述目标传感器数据的优先级，确定所述目标音频数据和所述目标传感器数据的权重，基于所述目标音频数据和所述目标传感器数据的权重，对所述目标音频数据的音频特征和所述目标传感器数据的传感器特征进行加权，将加权后的所述音频特征和加权后的所述传感器特征进行拼接，得到第二目标特征，提取所述第二目标特征中的关键特征，得到所述第一目标特征，所述优先级的大小与特征的权重呈正相关，所述关键特征包括所述音频特征对应的第一关键特征和所述传感器特征对应的第二关键特征，且所述第一关键特征和所述第二关键特征互补，所述特征融合模块由依次连接的两个卷积层构成，所述特征融合模块为卷积神经网络模型；
通过所述到站提醒模型中的启停判断模块，基于所述第一目标特征，确定所述交通工具的启停状态，所述启停判断模块为基于softmax函数的分类器；
基于所述启停状态和所述终端的目标站点，对所述终端进行到站提醒，所述目标站点为所述交通工具的第一前进线路上，所述终端前往的交通运输点。
2.根据权利要求1所述方法，其特征在于，所述获取目标音频数据的音频特征，包括：
对所述目标音频数据进行傅里叶变换，得到所述目标音频数据的频谱；
将所述频谱转换为所述目标音频数据的能量谱；
将所述能量谱转换为梅尔谱图，所述梅尔谱图中包括多个频点；
对所述梅尔谱图中的多个频点进行离散余弦变换，得到所述音频特征。
3.根据权利要求2所述方法，其特征在于，所述对所述目标音频数据进行傅里叶变换，得到所述目标音频数据的频谱，包括：
基于预加重系数，对所述目标音频数据进行预加重处理；
对预加重处理后的所述目标音频数据进行平滑处理；
对平滑处理后的所述目标音频数据进行傅里叶变换，得到所述频谱。
4.根据权利要求1所述方法，其特征在于，所述获取目标音频数据的音频特征，包括：
将所述目标音频数据换为音频帧序列，所述音频帧序列中包括多个第一音频帧；
基于所述多个第一音频帧，确定多个第二音频帧，相邻两个第二音频帧之间重叠部分音频数据；
基于所述多个第二音频帧的音频特征，确定所述目标音频数据的音频特征。
5.根据权利要求1所述方法，其特征在于，所述方法还包括：
确定第一时间段和第二时间段，所述第一时间段内检测到所述语音播报的音频数据，所述第二时间段内采集到满足启停条件的传感器数据，且第一时间段和第二时间段相邻或者重叠；
从采集到的音频数据中，确定所述第一时间段内的所述目标音频数据；
从采集到的传感器数据中，确定所述第二时间段内的所述目标传感器数据。
6.根据权利要求1所述方法，其特征在于，所述基于所述启停状态和所述终端的目标站点，对所述终端进行到站提醒，包括：
在所述启停状态为停止状态的情况下，基于所述终端的第二前进线路和所述交通工具的启停次数，确定所述交通工具当前停靠的停靠站点，所述启停次数为所述终端乘坐所述交通工具后所述交通工具的启停次数；
基于所述停靠站点与所述目标站点，对所述终端进行到站提醒。
7.根据权利要求6所述方法，其特征在于，所述基于所述停靠站点与所述目标站点，对所述终端进行到站提醒，包括：
在所述停靠站点与所述目标站点相同的情况下，输出第一提示信息，所述第一提示信息用于提示已到达所述目标站点；或者，
在所述停靠站点与所述目标站点不同，但与所述第二前进线路中的中转站点相同的情况下，输出第二提示信息，所述第二提示信息用于提示已到达所述中转站点。
8.根据权利要求7所述方法，其特征在于，所述输出第一提示信息之后，所述方法还包括：
获取所述目标站点的周边简介信息，输出所述周边简介信息。
9.根据权利要求7所述方法，其特征在于，所述输出第二提示信息之后，所述方法还包括：
确定第三前进线路的时间信息，所述第三前进线路为所述终端从所述中转站点换乘后的前进线路，所述时间信息包括第三前进线路的首班车时间或者末班车时间；
输出所述时间信息。
10.根据权利要求6所述方法，其特征在于，所述方法还包括：
显示前进线路图，所述线路图中包括多个停靠站点；
从所述多个停靠站点中确定被选择的起始站点和被选择的目标站点，确定从所述起始站点到所述目标站点的所述第二前进线路。
11.根据权利要求7所述方法，其特征在于，所述方法还包括：
检测到所述终端乘坐所述交通工具的触发操作时，获取当前时间和当前位置；
在所述当前时间在预设时间范围内的情况下，获取所述终端的历史前进线路；
从所述历史前进线路中获取所述第二前进线路，所述第二前进线路的起始点为所述当前位置所在的站点。
12.根据权利要求7所述方法，其特征在于，所述基于所述启停状态和所述终端的目标站点，对所述终端进行到站提醒之前，所述方法还包括：
获取历史启停记录，所述历史启停记录中包括当前时间之前的第一预设时长内的所述交通工具的启停状态，且每隔第二预设时长确定一次所述交通工具的启停状态，所述第一预设时长大于所述第二预设时长；
基于所述启停状态和所述历史启停记录，确定连续次数，所述连续次数为所述交通工具的启停状态为所述停止状态的连续次数；
在所述连续次数超过预设次数的情况下，执行所述基于所述启停状态和所述终端的目标站点，对所述终端进行到站提醒的步骤。
13.一种到站提醒的装置，其特征在于，所述装置包括：
第一获取模块，用于通过到站提醒模型中的第一特征提取模块，获取目标音频数据的音频特征，所述目标音频数据为终端当前所在交通工具中语音播报的音频数据，所述第一特征提取模块由依次连接的三个卷积层构成，所述第一特征提取模块为卷积神经网络模型；
通过所述到站提醒模型中的第二特征提取模块，获取目标传感器数据的传感器特征，所述目标传感器数据为所述终端采集到的满足启停条件的传感器数据，所述第二特征提取模块由依次连接的三个卷积层构成，所述第二特征提取模块为卷积神经网络模型；
融合模块，用于通过所述到站提醒模型中的特征融合模块，基于所述目标音频数据和所述目标传感器数据的优先级，确定所述目标音频数据和所述目标传感器数据的权重，基于所述目标音频数据和所述目标传感器数据的权重，对所述目标音频数据的音频特征和所述目标传感器数据的传感器特征进行加权，将加权后的所述音频特征和加权后的所述传感器特征进行拼接，得到第二目标特征，提取所述第二目标特征中的关键特征，得到所述第一目标特征，所述优先级的大小与特征的权重呈正相关，所述关键特征包括所述音频特征对应的第一关键特征和所述传感器特征对应的第二关键特征，且所述第一关键特征和所述第二关键特征互补，所述特征融合模块由依次连接的两个卷积层构成，所述特征融合模块为卷积神经网络模型；
第一确定模块，用于通过所述到站提醒模型中的启停判断模块，基于所述第一目标特征，确定所述交通工具的启停状态，所述启停判断模块为基于softmax函数的分类器；
提醒模块，用于基于所述启停状态和所述终端的目标站点，对所述终端进行到站提醒，所述目标站点为所述交通工具的第一前进线路上，所述终端前往的交通运输点。
14.一种终端，其特征在于，所述终端包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求12任一项所述的到站提醒的方法。
15.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求12任一项所述的到站提醒的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111095207.8A CN113810539B (zh) | 2021-09-17 | 2021-09-17 | 到站提醒的方法、装置、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111095207.8A CN113810539B (zh) | 2021-09-17 | 2021-09-17 | 到站提醒的方法、装置、终端及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113810539A CN113810539A (zh) | 2021-12-17 |
| CN113810539B true CN113810539B (zh) | 2023-03-24 |
Family
ID=78895846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111095207.8A Active CN113810539B (zh) | 2021-09-17 | 2021-09-17 | 到站提醒的方法、装置、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113810539B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113984078B (zh) * | 2021-10-26 | 2024-03-08 | 上海瑾盛通信科技有限公司 | 到站提醒方法、装置、终端及存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110718089A (zh) * | 2019-10-15 | 2020-01-21 | Oppo（重庆）智能科技有限公司 | 一种出行服务方法、装置及计算机可读存储介质 |
| CN111009261B (zh) * | 2019-12-10 | 2022-11-15 | Oppo广东移动通信有限公司 | 到站提醒方法、装置、终端及存储介质 |
| CN111402617B (zh) * | 2020-03-12 | 2022-05-13 | Oppo广东移动通信有限公司 | 站点信息确定方法、装置、终端及存储介质 |
| CN112216140A (zh) * | 2020-09-18 | 2021-01-12 | 华为技术有限公司 | 交通工具到站确认方法、电子设备及计算机可读存储介质 |
-
2021
- 2021-09-17 CN CN202111095207.8A patent/CN113810539B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113810539A (zh) | 2021-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2471054B1 (en) | Method for providing vehicle information and terminal device applying the same | |
| CN110660201B (zh) | 到站提醒方法、装置、终端及存储介质 | |
| CN111401328B (zh) | 数据采集方法、装置、终端及存储介质 | |
| CN107734188A (zh) | 地铁出行提醒方法、地铁出行提醒装置及移动终端 | |
| CN105809959B (zh) | 乘客数量统计方法、装置及系统 | |
| CN107392337A (zh) | 一种基于物联网的预约乘车方法及物联网服务器 | |
| CN105761532B (zh) | 动态语音提示方法及车载系统 | |
| CN111325386A (zh) | 交通工具运行状态的预测方法、装置、终端及存储介质 | |
| CN110972112B (zh) | 地铁运行方向的确定方法、装置、终端及存储介质 | |
| CN113810539B (zh) | 到站提醒的方法、装置、终端及存储介质 | |
| CN110278324B (zh) | 检测地铁进出站状态的方法、装置、终端设备和存储介质 | |
| WO2023071768A1 (zh) | 到站提醒方法、装置、终端、存储介质及程序产品 | |
| CN106713633A (zh) | 一种聋人提示系统、方法及智能手机 | |
| CN102275600A (zh) | 一种地铁列车到站提醒系统和提醒方法 | |
| WO2021115232A1 (zh) | 到站提醒方法、装置、终端及存储介质 | |
| CN107274882A (zh) | 数据传输方法及装置 | |
| CN113129876B (zh) | 网络搜索方法、装置、电子设备及存储介质 | |
| CN112084959A (zh) | 一种人群图像处理方法及装置 | |
| CN113780978B (zh) | 到站提醒方法、装置、存储介质及电子设备 | |
| CN107801153A (zh) | 地铁出行提醒方法、地铁出行提醒装置及移动终端 | |
| Magliocchetti et al. | A personal mobility assistant based on ambient intelligence to promote sustainable travel choices | |
| CN110598762A (zh) | 基于音频的出行方式检测方法、装置以及移动终端 | |
| CN115775367A (zh) | 道路目标检测方法、检测装置、电子设备及存储介质 | |
| CN113838477A (zh) | 音频数据包的丢包恢复方法、装置、电子设备及存储介质 | |
| CN103886772A (zh) | 在即时通信中显示报站信息的方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |