CN111736797B - 负延时时间的检测方法、装置、电子设备及存储介质 - Google Patents

负延时时间的检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111736797B
CN111736797B CN202010438966.9A CN202010438966A CN111736797B CN 111736797 B CN111736797 B CN 111736797B CN 202010438966 A CN202010438966 A CN 202010438966A CN 111736797 B CN111736797 B CN 111736797B
Authority
CN
China
Prior art keywords
time
time slice
ith
microphone signal
slice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010438966.9A
Other languages
English (en)
Other versions
CN111736797A (zh
Inventor
宋政斌
许峻华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority to CN202010438966.9A priority Critical patent/CN111736797B/zh
Publication of CN111736797A publication Critical patent/CN111736797A/zh
Priority to JP2021085181A priority patent/JP7300478B2/ja
Priority to KR1020210064899A priority patent/KR102436302B1/ko
Application granted granted Critical
Publication of CN111736797B publication Critical patent/CN111736797B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/02—Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/162—Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种负延时时间的检测方法、装置、电子设备及存储介质，涉及语音技术领域。具体实现方案为：获取第i时间片的麦克风信号，其中，i为正整数；获取第i‑n时间片至第i时间片的参考信号，其中，n为小于i的正整数；将第i‑n时间片至第i时间片的参考信号存储至第一缓冲区；将第i时间片的麦克风信号存储至第二缓冲区，并在第二缓冲区之中将第i时间片的麦克风信号延时预设时间；从第i‑n时间片至第i时间片的参考信号之中选择与第i时间片的麦克风信号对应的相似参考信号；根据第i时间片的麦克风信号对应的时间值和相似参考信号对应的时间值确定负延时时间。由此，实现了负延时检测，弥补了现有算法无法实现负延时检测的不足。

Description

负延时时间的检测方法、装置、电子设备及存储介质
技术领域
本申请的实施例总体上涉及数据处理技术领域，并且更具体地，涉及语音技术领域。
背景技术
在车机应用中，通常需要把智能后视镜、手机等设备中的音乐、导航语音等音频数据传递至车机，以利用车内的音响系统进行音频播放。
然而，智能后视镜、手机等设备的音频数据传递到车机会存在秒级的延时，而现有的回声消除模块无法处理这么大的延时，需要延时估算算法来计算这种超长的延时，并将麦克风信号和参考信号对齐后，利用回声消除算法进行处理，但由于延时估算算法在计算长延时时也存在误差，导致对齐后的麦克风信号和参考信号可能出现负延时，从而导致回声消除模块无法正常工作。
目前，尚没有算法能够实现负延时检测。
发明内容
本申请提供了一种能够实现负延时检测的负延时时间的检测方法、装置、电子设备及存储介质。
根据第一方面，提供了一种负延时时间的检测方法，包括：
获取第i时间片的麦克风信号，其中，i为正整数；
获取第i-n时间片至所述第i时间片的参考信号，其中，n为小于i的正整数；
将所述第i-n时间片至所述第i时间片的参考信号存储至第一缓冲区；
将所述第i时间片的麦克风信号存储至第二缓冲区，并在所述第二缓冲区之中将所述第i时间片的麦克风信号延时预设时间；
从所述第i-n时间片至所述第i时间片的参考信号之中选择与所述第i时间片的麦克风信号对应的相似参考信号；以及
根据所述第i时间片的麦克风信号对应的时间值和所述相似参考信号对应的时间值，确定所述负延时时间。
根据第二方面，提供了一种负延时时间的检测装置，包括：
第一获取模块，用于获取第i时间片的麦克风信号，其中，i为正整数；
第二获取模块，用于获取第i-n时间片至所述第i时间片的参考信号，其中，n为小于i的正整数；
第一存储模块，用于将所述第i-n时间片至所述第i时间片的参考信号存储至第一缓冲区；
第二存储模块，用于将所述第i时间片的麦克风信号存储至第二缓冲区，并在所述第二缓冲区之中将所述第i时间片的麦克风信号延时预设时间；
选择模块，用于从所述第i-n时间片至所述第i时间片的参考信号之中选择与所述第i时间片的麦克风信号对应的相似参考信号；以及
确定模块，用于根据所述第i时间片的麦克风信号对应的时间值和所述相似参考信号对应的时间值，确定所述负延时时间。
根据第三方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如第一方面所述的负延时时间的检测方法。
根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如第一方面所述的负延时时间的检测方法。
本申请提供的负延时时间的检测方法、装置、电子设备及存储介质，具备如下有益效果：
通过获取第i时间片的麦克风信号，其中，i为正整数；获取第i-n时间片至所述第i时间片的参考信号，其中，n为小于i的正整数；将所述第i-n时间片至所述第i时间片的参考信号存储至第一缓冲区；将所述第i时间片的麦克风信号存储至第二缓冲区，并在所述第二缓冲区之中将所述第i时间片的麦克风信号延时预设时间；从所述第i-n时间片至所述第i时间片的参考信号之中选择与所述第i时间片的麦克风信号对应的相似参考信号；根据所述第i时间片的麦克风信号对应的时间值和所述相似参考信号对应的时间值确定所述负延时时间，由此，实现了负延时检测，弥补了现有算法无法实现负延时检测的不足。
应当理解，本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征，也不用于限制本申请的范围。本申请的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的负延时时间的检测方法的流程示意图；
图2是根据本申请第二实施例的负延时时间的检测方法的流程示意图；
图3是根据本申请第三实施例的负延时时间的检测方法的流程示意图；
图4是根据本申请一具体实施例的负延时时间检测的过程示例图；
图5是根据本申请第四实施例的负延时时间的检测装置的结构示意图；
图6是根据本申请第五实施例的负延时时间的检测装置的结构示意图；
图7是根据本申请第六实施例的负延时时间的检测装置的结构示意图
图8是用来实现本申请实施例的负延时时间的检测方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
下面参考附图描述本申请的负延时时间的检测方法、装置、电子设备及存储介质。
图1是根据本申请第一实施例的负延时时间的检测方法的流程示意图，该方法可以由本申请提出的负延时时间的检测装置执行，也可以由电子设备执行，其中，电子设备可以是服务器、车载终端等设备，本申请对此不作限制。下面以本申请提出的负延时时间的检测装置执行本申请的负延时时间的检测方法作为示例来解释说明本申请。
如图1所示，该负延时时间的检测方法包括以下步骤：
步骤101，获取第i时间片的麦克风信号，其中，i为正整数。
本申请实施例中，对于获取的麦克风信号，可以基于时间片对麦克风信号进行数据处理，根据预设的采样频率和预设的时间片的时长，可以将麦克风信号划分至多个时间片。
其中，时间片的时长可以预先设定，比如可以设置一个时间片的时长为8ms。
本申请实施例中，采样频率也可以预先设定，采样频率不同，则相同时长的时间片内能够记录的采样点的数量不同，时间片包含的数据量也不同。假设预设的采样频率为16KHz，一个时间片的时长为8ms，则每个时间片记录的采样点的个数为128个；假设采样频率为20KHz，则一个时长为8ms的时间片内记录的采样点的个数为160个。
进而，根据预设的采样频率可以对麦克风信号进行采样，将采样获得的数据依次记录在时间片的各个采样点处，每个时间片的时长为预设时长，采样完成后即可得到多个时间片，每个时间片中记录有部分麦克风信号。
进一步地，本申请实施例中，可以从多个时间片中获取第i时间片的麦克风信号，其中，i为正整数，且i的取值不大于麦克风信号对应的时间片的总个数。比如，假设麦克风信号对应的时间片的个数为8个，则i的最大取值为8。
步骤102，获取第i-n时间片至第i时间片的参考信号，其中，n为小于i的正整数。
本申请实施例中，对于参考信号，也可以基于时间片对参考信号进行数据处理，其中，参考信号是指智能后视镜、手机等与车机互联的设备播放音频数据时采集的信号，前文所述的麦克风信号为播放音频数据时麦克风采集的回声信号。
为保证后续将参考信号与麦克风信号进行比对的比对结果的准确性，本申请中，采用与对麦克风信号进行处理时相同的时间片和采样频率对参考信号进行处理。比如，假设麦克风信号对应的时间片的时长为8ms，采样频率为16KHz，则参考信号对应的时间片的时长也为8ms，采样频率也为16KHz，由此能够保证参考信号对应时间片记录的采样点与麦克风信号对应时间片记录的采样点的数量一致，便于后续两信号之间的对比。
本实施例中，基于时间片对参考信号进行处理得到多个时间片的参考信号后，可以从多个时间片的参考信号中获取第i-n时间片至第i时间片的参考信号，其中，n的取值可以为小于i的任意正整数。由于参考信号是播放音频数据时采集的信号，麦克风信号是在音频数据播放过程中由麦克风采集的，麦克风信号不会早于参考信号，因此本申请实施例中，获取至第i时间片的参考信号即可。
步骤103，将第i-n时间片至第i时间片的参考信号存储至第一缓冲区。
本实施例中，对于获取的第i-n时间片至第i时间片的参考信号，可以将获取的这些信号存储在缓冲区中，该缓冲区可以记为第一缓冲区，第一缓冲区可以是一个先进先出的数据缓存队列。
步骤104，将第i时间片的麦克风信号存储至第二缓冲区，并在第二缓冲区之中将第i时间片的麦克风信号延时预设时间。
本实施例中，对于获取的第i时间片的麦克风信号，也可以将其存储在缓冲区中，存储麦克风信号的缓冲区可以记为第二缓冲区，第二缓冲区也是一个先进先出的数据缓存队列，并且，在第二缓冲区中，将第i时间片的麦克风信号延时预设时间。
其中，预设时间可以根据实际情况确定，预设时间的取值与智能后视镜、手机等设备播放的音频数据在车机中的时延以及延时估算算法计算长时延的误差有关。
举例而言，假设对于不同的车机来说，智能后视镜在车机中播放音频数据的时延不同，最大时延可达800ms，为了确保全部覆盖，长延时会检测1秒，假设延时估算算法的误差为5％，则1秒的长时延对应的误差为50ms，则可能出现的负延时最大可达50ms，因此为了克服负延时的问题，预设时间可以设置为不小于50ms的值，比如设置预设时间为60ms、80ms、100ms等。
进一步地，根据预设时间，可以对第i时间片的麦克风信号进行延时预设时间。比如，假设预设时间为60ms，第i时间片的麦克风信号的起始时间为9ms，则延时预设时间后的第i时间片的参考信号的起始时间为69ms。
在本申请实施例一种可能的实现方式中，第一缓冲区的长度大于第二缓冲区的长度。由于第一缓冲区中存储的是第i-n时间片至第i时间片的参考信号，第二缓冲区中存储的是第i时间片的麦克风信号，第一缓冲区中需要存储的数据量比第二缓冲区中需要存储的数据量要多，因此本申请中，可以设置第一缓冲区的长度大于第二缓冲区的长度，从而能够保证对于每次获取的麦克风信号，均能获取多个参考信号并进行存储，为后续准确识别出与麦克风信号对应的相似参考信号提供了条件。
步骤105，从第i-n时间片至第i时间片的参考信号之中选择与第i时间片的麦克风信号对应的相似参考信号。
本实施例中，对于延时预设时间后的第i时间片的麦克风信号，可以将该麦克风信号与第i-n时间片至第i时间片的参考信号中的每一个参考信号进行比较，计算第i时间片的麦克风信号与每个参考信号之间的相似度，根据计算得到的相似度值，选择与第i时间片的麦克风信号之间的相似度值最大的参考信号，作为与第i时间片的麦克风信号对应的相似参考信号。
步骤106，根据第i时间片的麦克风信号对应的时间值和相似参考信号对应的时间值，确定负延时时间。
本实施例中，确定了与第i时间片的麦克风信号对应的相似参考信号之后，即可根据第i时间片的麦克风信号对应的时间值和相似参考信号对应的时间值确定两者之间的负延时时间。
由于在实际播放时，相似参考信号作为播放音频数据时采集的信号，应当出现在播放音频数据时产生的回声信号(即麦克风信号)之前，因此计算相似参考信号与第i时间片的麦克风信号之间的负延时时间时，可以将相似参考信号对应的时间值减去第i时间片的麦克风信号对应的时间值，得到两者之间的负延时时间。又由于第i时间片的麦克风信号是经过预设时间延时后的信号，即使与其对应的相似参考信号为第i时间片的参考信号，相似参考信号的时间片对应的时间值也会晚于第i时间片的麦克风信号对应的时间值，这显然与实际播放时先有参考信号再有回声信号的因果关系相违背，因此将相似参考信号对应的时间值减去第i时间片的麦克风信号对应的时间值而计算得到的时延值为负延时时间，从而实现了负延时检测。
进一步地，在本申请实施例一种可能的实现方式中，为了保证负延时检测结果的可靠性，可以计算多组数据，即计算多个不同时刻的麦克风信号与对应的相似参考信号之间的负延时时间，当每一组麦克风信号与对应的相似参考信号之间的相似度值均大于预设的阈值时，可以认为计算得到的负延时时间是可靠的。
本实施例的负延时时间的检测方法，通过获取第i时间片的麦克风信号，其中，i为正整数，获取第i-n时间片至第i时间片的参考信号，其中，n为小于i的正整数，将第i-n时间片至第i时间片的参考信号存储至第一缓冲区，将第i时间片的麦克风信号存储至第二缓冲区，并在第二缓冲区之中将第i时间片的麦克风信号延时预设时间，从第i-n时间片至第i时间片的参考信号之中选择与第i时间片的麦克风信号对应的相似参考信号，根据第i时间片的麦克风信号对应的时间值和相似参考信号对应的时间值确定负延时时间。由此，实现了负延时检测，弥补了现有算法无法实现负延时检测的不足。
为保证智能后视镜、手机等设备中的音频数据能够利用车内的音响系统正常播放，通过设置回声消除模块对音频数据传输过程中造成的时延进行处理，但当麦克风信号与参考信号之间出现负延时时，会导致回声消除模块无法正常工作，从而无法对延时回声进行消除。从而，为了使得回声消除模块能够正常工作，在本申请实施例一种可能的实现方式中，可以利用确定的负延时时间对参考信号进行处理，下面参考附图2进行详细说明。
图2是根据本申请第二实施例的负延时时间的检测方法的流程示意图，如图2所示，在如图1所示实施例的基础上，步骤106之后还包括：
步骤107，根据负延时时间将相似参考信号提前负延时时间以消除负延时时间。
由于实际播放音频数据时，先有参考信号之后才会有回声信号(即本申请的麦克风信号)，而当麦克风信号与参考信号之间出现负延时的时候，这违背了实际的因果关系，回声消除模块无法进行延时回声消除处理。因此本申请中，可以根据计算得到的负延时时间，将相似参考信号提前负延时时间，以消除负延时时间。
比如，假设计算得到的负延时时间为30ms，相似参考信号的时间片的起始时间为96ms，则提前负延时时间后的相似参考信号的时间片的起始时间变化为66ms。
负延时时间能够表示相似参考信号相对于对应的第i时间片的麦克风信号晚出现的时间，因此将相似参考信号提前负延时时间后，使得相似参考信号的时间片的起始时间与延时后的第i时间片的麦克风信号的起始时间相同，从而即使延时估算算法存在误差，也不会导致麦克风信号与参考信号对齐后出现负延时，将对齐后的麦克风信号与参考信号送入回声消除模块后，回声消除模块即可进行延时回声处理，保证了回声消除模块能够正常工作。
本实施例的负延时时间的检测方法，通过根据负延时时间将相似参考信号提前负延时时间以消除负延时时间，由此保证了对齐后的麦克风信号与参考信号之间不会出现负延时，从而保证了回声消除模块能够正常工作，完成延时回声处理，保证车内音响系统的播放效果，提升用户的听觉体验。
为了更加清楚地描述前述实施例中从第i-n时间片至第i时间片的参考信号之中选择与第i时间片的麦克风信号对应的相似参考信号的具体实现过程，下面结合附图3进行详细说明。
图3是根据本申请第三实施例的负延时时间的检测方法的流程示意图，如图3所示，在如图1所示实施例的基础上，步骤105可以包括以下步骤：
步骤201，将第二缓冲区之中的第i时间片的麦克风信号与第一缓冲区之中的第i-n时间片至第i时间片的参考信号进行比对，以获取第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号之间的相似度。
通常，音频数据是以频谱的形式存在的，本申请实施例中，麦克风信号与参考信号的时间片中记录的均是各个采样点的采样值，即离散数据，因此在将第二缓冲区之中的第i时间片的麦克风信号与第一缓冲区之中的第i-n时间片至第i时间片的参考信号进行比对来计算相似度时，可以采用现有的相似度计算方法来计算第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号中的每个参考信号之间的相似度。
比如，可以采用欧几里得距离公式来计算第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号中每个参考信号之间的距离，利用所得距离来表征第i时间片的麦克风信号与各参考信号之间的相似度。
步骤202，根据第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号之间的相似度，获取第i时间片的麦克风信号对应的相似参考信号。
本实施例中，计算得到第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号中每个参考信号之间的相似度之后，可以比较各个相似度值，以根据各相似度值确定与第i时间片的麦克风信号对应的相似参考信号。
作为一种示例，可以比较各个相似度，将最大相似度对应的参考信号确定为与第i时间片的麦克风信号对应的相似参考信号。
作为另一种示例，可以将计算得到的各个相似度与预先设置的相似度阈值进行比较，判断是否存在大于相似度阈值的相似度，若存在，则将相似度超过相似度阈值的参考信号确定为与第i时间片的麦克风信号对应的相似参考信号。进一步地，若相似度超过相似度阈值的参考信号的个数不止一个，则将超过相似度阈值的多个相似度中，最大相似度对应的参考信号确定为与第i时间片的麦克风信号对应的相似参考信号。也就是说，本示例中，第i时间片的麦克风信号与相似参考信号的目标相似度大于预设的相似度阈值，且目标相似度为第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号之间的相似度中的最大值，由此，能够保证相似参考信号选择的准确性和可靠性，从而为提高负延时检测的准确性提供了条件。
本实施例的负延时时间的检测方法，通过将第二缓冲区之中的第i时间片的麦克风信号与所述第一缓冲区之中的第i-n时间片至第i时间片的参考信号进行比对，以获取第i时间片的麦克风信号与所述第i-n时间片至第i时间片的参考信号之间的相似度，进而根据第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号之间的相似度，获取第i时间片的麦克风信号对应的相似参考信号，由此，实现了相似参考信号的选择，保证了参考信号选择的准确性，为准确进行负延时检测奠定了基础。
图4是根据本申请一具体实施例的负延时时间检测的过程示例图。如图4所示，麦克风信号和参考信号分别存储在缓冲池A和缓冲池B的队列尾部，缓冲池队列均为先进先出队列，其中，缓冲池A为延时队列，即当麦克风信号输入至缓冲池A之后，麦克风信号对应的录音数据会被延时预设时间，缓冲池A中存储的各块录音数据为延时后的数据。对于缓冲池A中存储的录音数据，依次从缓冲池A中提取一块录音数据与缓冲池B中存储的参考数据进行比对，以此缓冲池B中选择出与当前比对的录音数据最相似的相似参考信号进而根据当前的录音数据的时间值与相似参考信号的时间值确定两者之间的负延时时间，并根据负延时时间将相似参考信号提前负延时时间以消除负延时时间。比如，缓冲池A中当前处于队尾的是第m块录音数据，则将第m块数据与缓冲池B中的各参考数据进行比对，假设确定第n块参考数据为与第m块录音数据对应的相似参考数据，则根据第n块参考数据的时间值和第m块录音数据的时间值确定两者之间的负延时时间。第m块录音数据比对完成后，再将第m+1块的录音数据与缓冲池B中的各参考数据进行比对，以此类推，直至缓冲池A中的录音数据均比对完成。可选地，当一块录音数据比对完成后，可以将该块录音数据从缓冲池A中清除，以节省缓冲池A的存储空间，以允许继续接收新的录音数据。
通过对输入至缓冲池中的麦克风信号进行延时处理后再与参考信号比对，寻找对应的相似参考信号，进而根据相似参考信号和麦克风信号的时间差计算负延时时间，实现了负延时检测，弥补了现有算法不能实现负延时检测的不足。
为了实现上述实施例，本申请还提出一种负延时时间的检测装置。
图5是根据本申请第四实施例的负延时时间的检测装置的结构示意图。如图5所示，该负延时时间的检测装置50包括：第一获取模块510、第二获取模块520、第一存储模块530、第二存储模块540、选择模块550以及确定模块560。其中，
第一获取模块510，用于获取第i时间片的麦克风信号，其中，i为正整数。
第二获取模块520，用于获取第i-n时间片至第i时间片的参考信号，其中，n为小于i的正整数。
第一存储模块530，用于将第i-n时间片至第i时间片的参考信号存储至第一缓冲区。
第二存储模块540，用于将第i时间片的麦克风信号存储至第二缓冲区，并在第二缓冲区之中将第i时间片的麦克风信号延时预设时间。
可选地，第一缓冲区的长度大于所述第二缓冲区的长度。
选择模块550，用于从第i-n时间片至第i时间片的参考信号之中选择与第i时间片的麦克风信号对应的相似参考信号。
确定模块560，用于根据第i时间片的麦克风信号对应的时间值和相似参考信号对应的时间值，确定负延时时间。
进一步地，在本申请实施例一种可能的实现方式中，如图6所示，在如图5所示实施例的基础上，该负延时时间的检测装置50还包括：
处理模块570，用于根据负延时时间将相似参考信号提前负延时时间以消除负延时时间。
在本申请实施例一种可能的实现方式中，如图7所示，在如图5所示实施例的基础上，选择模块550包括：
对比单元551，用于将第二缓冲区之中的第i时间片的麦克风信号与第一缓冲区之中的第i-n时间片至第i时间片的参考信号进行比对，以获取第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号之间的相似度；
获取单元552，用于根据第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号之间的相似度，获取第i时间片的麦克风信号对应的相似参考信号。
在本申请实施例一种可能的实现方式中，第i时间片的麦克风信号与相似参考信号的目标相似度大于预设的相似度阈值，且目标相似度为第i时间片的麦克风信号与第i-n时间片至第i时间片的参考信号之间的相似度中的最大值。
需要说明的是，前述对负延时时间的检测方法实施例的解释说明也适用于本实施例的负延时时间的检测装置，其实现原理类似，此处不再赘述。
本申请实施例的负延时时间的检测装置，通过获取第i时间片的麦克风信号，其中，i为正整数；获取第i-n时间片至所述第i时间片的参考信号，其中，n为小于i的正整数；将所述第i-n时间片至所述第i时间片的参考信号存储至第一缓冲区；将所述第i时间片的麦克风信号存储至第二缓冲区，并在所述第二缓冲区之中将所述第i时间片的麦克风信号延时预设时间；从所述第i-n时间片至所述第i时间片的参考信号之中选择与所述第i时间片的麦克风信号对应的相似参考信号；根据所述第i时间片的麦克风信号对应的时间值和所述相似参考信号对应的时间值确定所述负延时时间，由此，实现了负延时检测，弥补了现有算法无法实现负延时检测的不足。
根据本申请的实施例，本申请还提供了一种电子设备和一种存储有计算机指令的非瞬时计算机可读存储介质。
如图8所示，是用来实现本申请实施例的负延时时间的检测方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示，该电子设备包括：一个或多个处理器801、存储器802，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的负延时时间的检测方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的负延时时间的检测方法。
存储器802作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的负延时时间的检测方法对应的程序指令/模块(例如，附图5所示的第一获取模块510、第二获取模块520、第一存储模块530、第二存储模块540、选择模块550和确定模块560)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的负延时时间的检测方法。
存储器802可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据执行负延时时间的检测方法的电子设备的使用所创建的数据等。此外，存储器802可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器802可选包括相对于处理器801远程设置的存储器，这些远程存储器可以通过网络连接至执行负延时时间的检测方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
执行负延时时间的检测方法的电子设备还可以包括：输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息，以及产生与执行负延时时间的检测方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案，通过获取第i时间片的麦克风信号，其中，i为正整数，获取第i-n时间片至第i时间片的参考信号，其中，n为小于i的正整数，将第i-n时间片至第i时间片的参考信号存储至第一缓冲区，将第i时间片的麦克风信号存储至第二缓冲区，并在第二缓冲区之中将第i时间片的麦克风信号延时预设时间，从第i-n时间片至第i时间片的参考信号之中选择与第i时间片的麦克风信号对应的相似参考信号，根据第i时间片的麦克风信号对应的时间值和相似参考信号对应的时间值确定负延时时间，由此实现了负延时检测，弥补了现有算法无法实现负延时检测的不足。并且，通过通过根据负延时时间将相似参考信号提前负延时时间以消除负延时时间，由此保证了对齐后的麦克风信号与参考信号之间不会出现负延时，从而保证了回声消除模块能够正常工作，完成延时回声处理，保证车内音响系统的播放效果，提升用户的听觉体验。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims (12)

1.一种负延时时间的检测方法，其特征在于，包括：
获取第i时间片的麦克风信号，其中，i为正整数；
获取第i-n时间片至所述第i时间片的参考信号，其中，n为小于i的正整数，所述参考信号包括播放音频数据时采集的信号；
将所述第i-n时间片至所述第i时间片的参考信号存储至第一缓冲区；
将所述第i时间片的麦克风信号存储至第二缓冲区，并在所述第二缓冲区之中将所述第i时间片的麦克风信号延时预设时间；
从所述第i-n时间片至所述第i时间片的参考信号之中选择与所述第i时间片的麦克风信号对应的相似参考信号；以及
根据所述第i时间片的麦克风信号对应的时间值和所述相似参考信号对应的时间值，确定所述负延时时间。
2.如权利要求1所述的负延时时间的检测方法，其特征在于，所述从所述第i-n时间片至所述第i时间片的参考信号之中选择与所述第i时间片的麦克风信号对应的相似参考信号，包括：
将所述第二缓冲区之中的所述第i时间片的麦克风信号与所述第一缓冲区之中的第i-n时间片至所述第i时间片的参考信号进行比对，以获取所述第i时间片的麦克风信号与所述第i-n时间片至所述第i时间片的参考信号之间的相似度；
根据所述第i时间片的麦克风信号与所述第i-n时间片至所述第i时间片的参考信号之间的相似度，获取所述第i时间片的麦克风信号对应的相似参考信号。
3.如权利要求2所述的负延时时间的检测方法，其特征在于，所述第i时间片的麦克风信号与所述相似参考信号的目标相似度大于预设的相似度阈值，且所述目标相似度为所述第i时间片的麦克风信号与所述第i-n时间片至所述第i时间片的参考信号之间的相似度中的最大值。
4.如权利要求1所述的负延时时间的检测方法，其特征在于，所述第一缓冲区的长度大于所述第二缓冲区的长度。
5.如权利要求1所述的负延时时间的检测方法，其特征在于，在所述根据所述第i时间片的时间值和所述相似参考信号对应的时间值确定所述负延时时间之后，还包括：
根据所述负延时时间将所述相似参考信号提前所述负延时时间以消除所述负延时时间。
6.一种负延时时间的检测装置，其特征在于，包括：
第一获取模块，用于获取第i时间片的麦克风信号，其中，i为正整数；
第二获取模块，用于获取第i-n时间片至所述第i时间片的参考信号，其中，n为小于i的正整数，所述参考信号包括播放音频数据时采集的信号；
第一存储模块，用于将所述第i-n时间片至所述第i时间片的参考信号存储至第一缓冲区；
第二存储模块，用于将所述第i时间片的麦克风信号存储至第二缓冲区，并在所述第二缓冲区之中将所述第i时间片的麦克风信号延时预设时间；
选择模块，用于从所述第i-n时间片至所述第i时间片的参考信号之中选择与所述第i时间片的麦克风信号对应的相似参考信号；以及
确定模块，用于根据所述第i时间片的麦克风信号对应的时间值和所述相似参考信号对应的时间值，确定所述负延时时间。
7.如权利要求6所述的负延时时间的检测装置，其特征在于，所述选择模块，包括：
对比单元，用于将所述第二缓冲区之中的所述第i时间片的麦克风信号与所述第一缓冲区之中的第i-n时间片至所述第i时间片的参考信号进行比对，以获取所述第i时间片的麦克风信号与所述第i-n时间片至所述第i时间片的参考信号之间的相似度；
获取单元，用于根据所述第i时间片的麦克风信号与所述第i-n时间片至所述第i时间片的参考信号之间的相似度，获取所述第i时间片的麦克风信号对应的相似参考信号。
8.如权利要求7所述的负延时时间的检测装置，其特征在于，所述第i时间片的麦克风信号与所述相似参考信号的目标相似度大于预设的相似度阈值，且所述目标相似度为所述第i时间片的麦克风信号与所述第i-n时间片至所述第i时间片的参考信号之间的相似度中的最大值。
9.如权利要求6所述的负延时时间的检测装置，其特征在于，所述第一缓冲区的长度大于所述第二缓冲区的长度。
10.如权利要求6所述的负延时时间的检测装置，其特征在于，还包括：
处理模块，用于根据所述负延时时间将所述相似参考信号提前所述负延时时间以消除所述负延时时间。
11. 一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-5中任一项所述的负延时时间的检测方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的负延时时间的检测方法。
CN202010438966.9A 2020-05-21 2020-05-21 负延时时间的检测方法、装置、电子设备及存储介质 Active CN111736797B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010438966.9A CN111736797B (zh) 2020-05-21 2020-05-21 负延时时间的检测方法、装置、电子设备及存储介质
JP2021085181A JP7300478B2 (ja) 2020-05-21 2021-05-20 負の遅延時間の検出方法、装置、電子機器及び記憶媒体
KR1020210064899A KR102436302B1 (ko) 2020-05-21 2021-05-20 네거티브 지연 시간 검출 방법, 장치, 전자 기기 및 저장 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010438966.9A CN111736797B (zh) 2020-05-21 2020-05-21 负延时时间的检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111736797A CN111736797A (zh) 2020-10-02
CN111736797B true CN111736797B (zh) 2024-04-05

Family

ID=72647539

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010438966.9A Active CN111736797B (zh) 2020-05-21 2020-05-21 负延时时间的检测方法、装置、电子设备及存储介质

Country Status (3)

Country Link
JP (1) JP7300478B2 (zh)
KR (1) KR102436302B1 (zh)
CN (1) CN111736797B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902116A (zh) * 2015-03-27 2015-09-09 腾讯科技（深圳）有限公司 一种音频数据与参考信号的时间对齐方法及装置
CN108881652A (zh) * 2018-07-11 2018-11-23 北京大米科技有限公司 回音检测方法、存储介质和电子设备
CN109817235A (zh) * 2018-12-12 2019-05-28 深圳市潮流网络技术有限公司 一种VoIP设备的回声消除方法
CN110166882A (zh) * 2018-09-29 2019-08-23 腾讯科技（深圳）有限公司 远场拾音设备、及远场拾音设备中采集人声信号的方法
CN110246513A (zh) * 2019-07-08 2019-09-17 维沃移动通信有限公司 语音信号的处理方法及移动终端
CN110956975A (zh) * 2019-12-06 2020-04-03 展讯通信（上海）有限公司 回声消除方法及装置
CN110956947A (zh) * 2019-12-24 2020-04-03 无锡吉兴汽车声学部件科技有限公司 一种基于曲轴传感信号的低延时汽车主动降噪系统及方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07303061A (ja) * 1994-05-07 1995-11-14 N T T Idou Tsuushinmou Kk エコーキャンセラおよびエコーパス推定方法
JP3396393B2 (ja) * 1997-04-30 2003-04-14 沖電気工業株式会社 エコー・雑音成分除去装置
JP2005051744A (ja) * 2003-07-17 2005-02-24 Matsushita Electric Ind Co Ltd 通話装置
KR100852642B1 (ko) * 2007-01-11 2008-08-18 삼신이노텍 주식회사 음 지연과 레벨 감쇄를 통한 서라운드 입체음향 시스템 및그 구현방법
JP5958341B2 (ja) * 2010-10-12 2016-07-27 日本電気株式会社 信号処理装置、信号処理方法、並びに信号処理プログラム
GB2543275A (en) 2015-10-12 2017-04-19 Nokia Technologies Oy Distributed audio capture and mixing
CN107026934B (zh) * 2016-10-27 2019-09-27 华为技术有限公司 一种声源定位方法和装置
US9916840B1 (en) 2016-12-06 2018-03-13 Amazon Technologies, Inc. Delay estimation for acoustic echo cancellation
CA3000122C (en) * 2018-03-29 2019-02-26 Cae Inc. Method and system for determining a position of a microphone

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104902116A (zh) * 2015-03-27 2015-09-09 腾讯科技（深圳）有限公司 一种音频数据与参考信号的时间对齐方法及装置
CN108881652A (zh) * 2018-07-11 2018-11-23 北京大米科技有限公司 回音检测方法、存储介质和电子设备
CN110166882A (zh) * 2018-09-29 2019-08-23 腾讯科技（深圳）有限公司 远场拾音设备、及远场拾音设备中采集人声信号的方法
CN109817235A (zh) * 2018-12-12 2019-05-28 深圳市潮流网络技术有限公司 一种VoIP设备的回声消除方法
CN110246513A (zh) * 2019-07-08 2019-09-17 维沃移动通信有限公司 语音信号的处理方法及移动终端
CN110956975A (zh) * 2019-12-06 2020-04-03 展讯通信（上海）有限公司 回声消除方法及装置
CN110956947A (zh) * 2019-12-24 2020-04-03 无锡吉兴汽车声学部件科技有限公司 一种基于曲轴传感信号的低延时汽车主动降噪系统及方法

Also Published As

Publication number Publication date
CN111736797A (zh) 2020-10-02
KR102436302B1 (ko) 2022-08-25
KR20210068332A (ko) 2021-06-09
JP7300478B2 (ja) 2023-06-29
JP2021132400A (ja) 2021-09-09

Similar Documents

Publication Publication Date Title
CN112382285B (zh) 语音控制方法、装置、电子设备和存储介质
CN107527630B (zh) 语音端点检测方法、装置和计算机设备
JP7209674B2 (ja) 音声認識方法、音声認識装置、電子機器、コンピュータ可読記憶媒体及びプログラム
EP3916727A1 (en) Voice pickup method and apparatus for intelligent rearview mirror
CN111724804A (zh) 用于处理信息的方法和装置
CN111383661B (zh) 基于车载多音区的音区判决方法、装置、设备和介质
CN112634890B (zh) 用于唤醒播放设备的方法、装置、设备以及存储介质
EP3869775B1 (en) Double-talk state detection method and device, and electronic device
CN111862987A (zh) 语音识别方法和装置
CN115665319B (zh) 基于无线耳机的应用控制方法、装置、设备以及存储介质
CN111736797B (zh) 负延时时间的检测方法、装置、电子设备及存储介质
CN111613238B (zh) 信号之间延时的确定方法、装置、设备以及存储介质
US20220044049A1 (en) Method, apparatus, device and storage medium for determining displayed recognized text
CN112382281B (zh) 一种语音识别方法、装置、电子设备和可读存储介质
CN111724805A (zh) 用于处理信息的方法和装置
CN113808585A (zh) 耳机唤醒方法、装置、设备以及存储介质
CN113593619B (zh) 用于录制音频的方法、装置、设备和介质
CN113593589B (zh) 回声时延检测方法、装置及电子设备
CN113038063B (zh) 用于输出提示的方法、装置、设备、介质和产品
CN110750631A (zh) 一种发起主动对话的方法以及装置
EP3800640A1 (en) Voice detection method, voice detection device, voice processing chip and electronic apparatus
CN116088008A (zh) 一种测距码的复用方法、装置、设备及存储介质
CN117132681A (zh) 一种锁相放大器的波形绘制方法、装置、设备及存储介质
CN115379351A (zh) 会议室系统及音频处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211014

Address after: 100176 101, floor 1, building 1, yard 7, Ruihe West 2nd Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Applicant after: Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd.

Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100085

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant