CN108806713B - 一种双讲状态检测方法及装置 - Google Patents

一种双讲状态检测方法及装置 Download PDF

Info

Publication number
CN108806713B
CN108806713B CN201810497070.0A CN201810497070A CN108806713B CN 108806713 B CN108806713 B CN 108806713B CN 201810497070 A CN201810497070 A CN 201810497070A CN 108806713 B CN108806713 B CN 108806713B
Authority
CN
China
Prior art keywords
signal
value
correlation coefficient
residual echo
smooth value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810497070.0A
Other languages
English (en)
Other versions
CN108806713A (zh
Inventor
周舒然
李志飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen China Investment Co Ltd
Mobvoi Innovation Technology Co Ltd
Original Assignee
Mobvoi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mobvoi Information Technology Co Ltd filed Critical Mobvoi Information Technology Co Ltd
Priority to CN201810497070.0A priority Critical patent/CN108806713B/zh
Publication of CN108806713A publication Critical patent/CN108806713A/zh
Priority to PCT/CN2019/087301 priority patent/WO2019223603A1/zh
Application granted granted Critical
Publication of CN108806713B publication Critical patent/CN108806713B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272—Voice signal separating
    • G10L21/0308—Voice signal separating characterised by the type of parameter measurement, e.g. correlation techniques, zero crossing techniques or predictive techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

本发明提供了一种双讲状态检测方法及装置，该双讲状态检测方法包括：获取参考信号、近端信号以及残余回声信号；其中，所述参考信号、所述近端信号以及所述残余回声信号的频率均在预设的第一频率范围内；确定所述近端信号与所述参考信号之间的第一相关系数；确定所述近端信号与所述残余回声信号之间的第二相关系数；根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态。因此，本发明提供的方案可以快速的检测出是否处于双讲状态。

Description

一种双讲状态检测方法及装置
技术领域
本发明实施例涉及通信技术领域，特别是涉及一种双讲状态检测方法及装置。
背景技术
智能语音技术目前应用的越来越广泛，各个智能语音设备可以利用智能语音技术与用户进行交互。智能语音设备接收到的语音信号可以包括近端信号和参考信号。语音终端接收到的参考信号经扬声器发声后，该参考信号会形成回声。
目前，如果智能语音设备检测到既有残余回声信号又有近端信号时，可以根据这两个信号判断出是否处于双讲状态。但是在判断是否处于双讲状态时，需要采用大量的近端信号和参考信号进行检测计算，耗时较长。
在进行发明创造的过程中，发明人发现现有的方式判断出是否处于双讲状态的速度较慢。
发明内容
有鉴于此，本发明实施例提出了一种双讲状态检测方法及装置，主要目的在于可以快速的检测出是否处于双讲状态。
第一方面，本发明实施例提供了一双讲状态检测方法，该双讲状态检测方法包括：
获取参考信号、近端信号以及残余回声信号；其中，所述参考信号、所述近端信号以及所述残余回声信号的频率均在预设的第一频率范围内；
确定所述近端信号与所述参考信号之间的第一相关系数；
确定所述近端信号与所述残余回声信号之间的第二相关系数；
根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态。
可选的，
所述确定所述近端信号与所述参考信号之间的第一相关系数，包括：
利用所述近端信号与所述参考信号确定出第一近端平滑值、参考平滑值以及第一综合平滑值；
根据所述第一近端平滑值、所述参考平滑值以及所述第一综合平滑值，确定出所述第一相关系数。
可选的，
所述利用所述近端信号与所述参考信号确定出第一近端平滑值、参考平滑值以及参考平滑值，包括：
利用所述近端信号与所述参考信号，通过方程组(1)确定出所述第一近端平滑值、所述参考平滑值以及所述参考平滑值；
Figure BDA0001669471180000021
其中，所述Rab表征所述第一综合平滑值；所述Raa表征所述第一近端平滑值；所述Rbb表征所述参考平滑值；所述β表征第一平滑系数；所述R′ab表征上一次获取到的近端信号和参考信号对应的第一综合平滑值；所述R′aa表征上一次获取到的近端信号对应的第一近端平滑值；所述R′bb表征上一次获取到的参考信号对应的参考平滑值。
可选的，
所述根据所述第一近端平滑值、所述参考平滑值以及所述参考平滑值，确定出所述第一相关系数，包括：
根据所述第一近端平滑值、所述参考信号平滑值以及所述第一综合平滑值，利用公式(1)确定出所述第一相关系数；
Figure BDA0001669471180000022
其中，所述Mab表征所述第一相关系数。
可选的，
所述确定所述近端信号与所述残余回声信号之间的第二相关系数，包括：
利用所述近端信号与所述残余回声信号确定出第二近端平滑值、残余回声平滑值以第二综合平滑值；
根据所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值，确定出所述第二相关系数。
可选的，
所述近端信号以及所述残余回声信号均为非第一次获取时，
所述利用所述近端信号与所述残余回声信号确定出第二近端平滑值、残余回声平滑值以第二综合平滑值，包括：
利用所述近端信号与所述残余回声信号，通过方程组(2)确定出所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值；
Figure BDA0001669471180000031
其中，所述Rac表征所述第二综合平滑值；所述Raa表征所述第二近端平滑值；所述Rcc表征所述残余回声平滑值；所述γ表征第二平滑系数；所述R′ac表征上一次获取到的近端信号和残余回声信号对应的第二综合平滑值；所述R′aa表征上一次获取到的近端信号对应的第二近端平滑值；所述R′cc表征上一次获取到的参考信号对应的残余回声平滑值。
可选的，
所述根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态，包括：
判断所述第一相关系数以及所述第二相关系数是否满足方程组(3)，如果是，则判断出处于双讲状态；
Figure BDA0001669471180000032
其中，所述Mab表征所述第一相关系数；所述Mac表征所述第二相关系数；所述K1为预设的第一常数；所述K2为预设的第二常数。
第二方面，本发明实施例提供了一种双讲状态检测装置，该双讲状态检测装置包括：
获取模块，用于获取参考信号、近端信号以及残余回声信号；其中，所述参考信号、所述近端信号以及所述残余回声信号的频率均在预设的第一频率范围内；
第一确定模块，用于确定所述近端信号与所述参考信号之间的第一相关系数；
第二确定模块，用于确定所述近端信号与所述残余回声信号之间的第二相关系数；
判断模块，用于根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态。
第三方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述中任意一项所述的双讲状态检测方法。
第四方面，本发明实施例提供了一种电子设备，所述电子设备中包括处理器、存储器和总线；所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述中任意一项所述的双讲状态检测方法。
本发明实施例提供了一种双讲状态检测方法及装置，首先获取频率均在第一频率范围内的参考信号、近端信号以及残余回声信号。然后确定出近端信号与参考信号之间的第一相关系数以及确定出近端信号与残余回声信号之间的第二相关系数。最后根据第一相关系数以及第二相关系数判断是否处于双讲状态。通过上述可知，本发明实施例中是通过近端信号与参考信号之间的第一相关系数以及近端信号与残余回声信号之间的第二相关系数来判断双讲状态的。由于参考信号、近端信号以及残余回声信号的频率均为一定频率范围内的频率。因此，本发明实施例提供的方案可以快速的检测出是否处于双讲状态。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明一个实施例提供的一种双讲状态检测方法的流程图；
图2示出了本发明另一个实施例提供的一种双讲状态检测方法的流程图；
图3示出了本发明一个实施例提供的一种双讲状态检测装置的结构示意图；
图4示出了本发明另一个实施例提供的一种双讲状态检测装置的结构示意图；
图5示出了本发明又一个实施例提供的一种双讲状态检测装置的结构示意图；
图6示出了本发明又一个实施例提供的一种双讲状态检测装置的结构示意图；
图7示出了本发明一个实施例提供的一种包括触发模块的双讲状态检测装置的结构示意图；
图8示出了本发明一个实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将参照附图更加详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
如图1所示，本发明实施例提供了一种双讲状态检测方法，该双讲状态检测方法可以包括：
步骤101：获取参考信号、近端信号以及残余回声信号；其中，所述参考信号、所述近端信号以及所述残余回声信号的频率均在预设的第一频率范围内；
步骤102：确定所述近端信号与所述参考信号之间的第一相关系数；
步骤103：确定所述近端信号与所述残余回声信号之间的第二相关系数；
步骤104：根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态。
根据图1所示的实施例，首先获取频率均在第一频率范围内的参考信号、近端信号以及残余回声信号。然后确定出近端信号与参考信号之间的第一相关系数以及确定出近端信号与残余回声信号之间的第二相关系数。最后根据第一相关系数以及第二相关系数判断是否处于双讲状态。通过上述可知，本发明实施例中是通过近端信号与参考信号之间的第一相关系数以及近端信号与残余回声信号之间的第二相关系数来判断双讲状态的。由于参考信号、近端信号以及残余回声信号的频率均为一定频率范围内的频率。因此，本发明实施例提供的方案可以快速的检测出是否处于双讲状态。
在本发明一个实施例中，上述图1所示流程图中所涉及的参考信号可以为智能语音设备等发声设备自身发出的声音信号；所涉及的近端信号可以为外界传输给智能语音设备等发声设备的声音信号以及发声设备的声音信号产生的回音信号；所涉及的残余回声信号可以为通过语音自适应回声消除AEC算法等回声消除算法处理得到的声音信号。
在本发明一个实施例中，上述图1所示流程图中的步骤101所涉及的第一频率范围为500Hz-3000Hz。
在本实施例中，可以根据人类发出的语音信号的频率范围来确定第一频率范围。比如第一频率范围优选为500Hz-3000Hz。
根据上述实施例，由于设定了500Hz-3000Hz的频率范围，因此可以更为有针对性的获取到频率在该频率范围内的参考信号、近端信号以及残余回声信号。
在本发明一个实施例中，上述图1所示流程图中的步骤102所述确定所述近端信号与所述参考信号之间的第一相关系数，可以包括：
A1：利用所述近端信号与所述参考信号确定出第一近端平滑值、参考平滑值以及第一综合平滑值；
A2：根据所述第一近端平滑值、所述参考平滑值以及所述第一综合平滑值，确定出所述第一相关系数。
在本实施例中，步骤A1的过程可以为：获取一个时间点对应的近端信号、参考信号以及残余回声信号，且所获取的三个信号的频率均在第一频率范围内。然后利用近端信号与参考信号采用平滑的方式确定出第一近端平滑值、参考平滑值以及第一综合平滑值。在确定第一近端平滑值、参考平滑值以及第一综合平滑值时，近端信号与参考信号可以为同一时刻对应的频点采样值。
在本实施例中，在利用近端信号与参考信号确定第一近端平滑值、参考平滑值以及第一综合平滑值之前，需要判断近端信号与参考信号是否为第一次获取，根据不同的判断结果执行不同的确定流程。且上述步骤A1的确定流程可以包括如下两种：
第一种：在本发明一个实施例中，所述参考信号以及所述近端信号均为第一次获取时，
步骤A1利用所述近端信号与所述参考信号确定出第一近端平滑值、参考平滑值以及第一综合平滑值，包括：
利用所述近端信号与所述参考信号，通过方程组(4)确定出所述第一近端平滑值、所述参考平滑值以及所述第一综合平滑值；
Figure BDA0001669471180000071
其中，所述Rab表征所述第一综合平滑值；所述Raa表征所述第一近端平滑值；所述Rbb表征所述参考平滑值；所述β表征第一平滑系数；所述ai当前获取的近端信号；所述bi表征当前获取的参考信号；所述conj表征共轭函数。
在本实施例中，可以根据获取的近端信号与参考信号的变化程度来确定出第一平滑系数。比如第一平滑系数为0.2～0.6之间的任一数值。
第二种：在本发明一个实施例中，参考信号以及所述近端信号均为非第一次获取时，
步骤A1利用所述近端信号与所述参考信号确定出第一近端平滑值、参考平滑值以及参考平滑值，可以包括：
利用所述近端信号与所述参考信号，通过方程组(1)确定出所述第一近端平滑值、所述参考平滑值以及所述参考平滑值；
Figure BDA0001669471180000081
其中，所述Rab表征所述第一综合平滑值；所述Raa表征所述第一近端平滑值；所述Rbb表征所述参考平滑值；所述β表征第一平滑系数；所述R′ab表征上一次获取到的近端信号和参考信号对应的第一综合平滑值；所述R′aa表征上一次获取到的近端信号对应的第一近端平滑值；所述R′bb表征上一次获取到的参考信号对应的参考平滑值。
在本实施例中，在判断出参考信号以及近端信号均为非第一次获取时，需要获取到上一次获取的参考信号以及近端信号得到的第一近端平滑值、参考平滑值以及参考平滑值。并根据确定出的第一近端平滑值、参考平滑值以及参考平滑值、当前获取的近端信号以及参考信号确定出当前的第一近端平滑值、参考平滑值以及参考平滑值。
根据上述实施例，根据获取到近端信号与参考信号的次数，确定出当前获取的近端信号与参考信号对应的第一近端平滑值、参考平滑值以及第一综合平滑值。因此确定出的第一近端平滑值、参考平滑值以及第一综合平滑值更能反应出近端信号与参考信号的当前状态。
在本发明一个实施例中，步骤A2根据所述第一近端平滑值、所述参考平滑值以及所述参考平滑值，确定出所述第一相关系数，包括：
根据所述第一近端平滑值、所述参考信号平滑值以及所述第一综合平滑值，利用公式(1)确定出所述第一相关系数；
Figure BDA0001669471180000082
其中，所述Mab表征所述第一相关系数。
在本实施例中，该第一相关系数可以反应出某一时刻上近端信号中的一个频点与参考信号中的一个频点之间的相关度。
根据上述实施例，由于确定出第一相关系数的各个平滑值是根据近端信号和参考信号确定的，因此第一相关系数可以准确的反应出近端信号和参考信号之间的相关度。
在本发明一个实施例中，上述图1所示流程图中的步骤103确定所述近端信号与所述残余回声信号之间的第二相关系数，可以包括：
B1：利用所述近端信号与所述残余回声信号确定出第二近端平滑值、残余回声平滑值以第二综合平滑值；
B2：根据所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值，确定出所述第二相关系数。
在本实施例中，步骤B1的过程可以为：获取一个时间点对应的近端信号、参考信号以及残余回声信号，且所获取的三个信号的频率均在第一频率范围内。然后利用近端信号与残余回声信号采用平滑的方式确定出第二近端平滑值、残余回声平滑值以第二综合平滑值。在确定第二近端平滑值、残余回声平滑值以第二综合平滑值时，近端信号与残余回声信号可以为同一时刻对应的频点采样值。
在本实施例中，在利用近端信号与残余回声信号确定第二近端平滑值、残余回声平滑值以第二综合平滑值之前，需要判断近端信号与残余回声信号是否为第一次获取，根据不同的判断结果执行不同的确定流程。且上述步骤B1的确定流程可以包括如下两种：
第一种：所述近端信号以及所述残余回声信号均为第一次获取时，
步骤B1利用所述近端信号与所述残余回声信号确定出第二近端平滑值、残余回声平滑值以第二综合平滑值，包括：
利用所述近端信号与所述残余回声信号，通过方程组(5)确定出所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值；
Figure BDA0001669471180000091
其中，所述Rac表征所述第二综合平滑值；所述Raa表征所述第二近端平滑值；所述Rcc表征所述残余回声平滑值；所述γ表征第二平滑系数；所述ai当前获取的近端信号；所述ci表征当前获取的残余回声信号；所述conj表征共轭函数。
在本实施例中，可以根据获取的近端信号与残余回声信号的变化程度来确定出第二平滑系数。比如第二平滑系数为0.2-0.6之间的任一数值。
在本实施例中，第二平滑系数可以与第一平滑系数相同。
第二种，在本发明一个实施例中，所述近端信号以及所述残余回声信号均为非第一次获取时，
步骤B1利用所述近端信号与所述残余回声信号确定出第二近端平滑值、残余回声平滑值以第二综合平滑值，包括：
利用所述近端信号与所述残余回声信号，通过方程组(2)确定出所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值；
Figure BDA0001669471180000101
其中，所述Rac表征所述第二综合平滑值；所述Raa表征所述第二近端平滑值；所述Rcc表征所述残余回声平滑值；所述γ表征第二平滑系数；所述R′ac表征上一次获取到的近端信号和残余回声信号对应的第二综合平滑值；所述R′aa表征上一次获取到的近端信号对应的第二近端平滑值；所述R′cc表征上一次获取到的参考信号对应的残余回声平滑值。
在本实施例中，在判断出近端信号和残余回声信号均为非第一次获取时，需要获取到上一次获取的近端信号和残余回声信号得到的第二近端平滑值、残余回声平滑值以第二综合平滑值。并根据确定出的第二近端平滑值、残余回声平滑值以第二综合平滑值、当前获取的近端信号以及残余回声信号确定出当前的第二近端平滑值、残余回声平滑值以第二综合平滑值。
根据上述实施例，根据获取到近端信号与残余回声信号的次数，确定出当前获取的近端信号与残余回声信号对应的的第二近端平滑值、残余回声平滑值以第二综合平滑值。因此确定出的的第二近端平滑值、残余回声平滑值以第二综合平滑值更能反应出近端信号与残余回声信号的当前状态。
在本发明一个实施例中，步骤B2根据所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值，确定出所述第二相关系数，可以包括：
根据所述第二近端平滑值、所述残余回声平滑值以所述第二综合平滑值，利用公式(2)确定出所述第二相关系数；
Figure BDA0001669471180000111
其中，所述Mac表征所述第二相关系数；所述Rac表征所述第二综合平滑值；所述Raa表征所述第二近端平滑值；所述Rcc表征所述残余回声平滑值。
在本实施例中，该第而相关系数可以反应出某一时刻上近端信号中的一个频点与残余回声信号中的一个频点之间的相关度。
根据上述实施例，由于确定出第二相关系数的各个平滑值是根据近端信号和残余回声信号确定的，因此第二相关系数可以准确的反应出近端信号和残余回声信号之间的相关度。
在本发明一个实施例中，上述图1所示流程图中的步骤104
根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态，包括：
判断所述第一相关系数以及所述第二相关系数是否满足方程组(3)，如果是，则判断出处于双讲状态；
Figure BDA0001669471180000112
其中，所述K1为预设的第一常数；所述K2为预设的第二常数。
在本实施例中，在判断出第一相关系数小于或等于第一常数时，且第二相关系数大于第二常数时，说明处于双讲状态。
在本实施例中，在判断出第一相关系数小于或第一常数时，且第二相关系数不大于第二常数时，说明未处于双讲状态。
在本实施例中，在判断出第一相关系数大于第一常数时，且第二相关系数大于第二常数时，说明未处于双讲状态。
在本实施例中，第一常数和第二常数均可以根据业务要求确定。比如，优选地，第一常数为0.7，且第二常数为0.5。
在本实施例中，举例说明：第一常数为0.6，且第二常数为0.4。
根据上述实施例，根据第一相关系数与第一常数之间的关系，以及根据第二相关系数与第二常数之间的关系判断出是否处于双讲状态。由于不需要经过复杂的计算，因此可以快速的判断出是否处于双讲状态。
在发明一个实施例中，双讲状态检测方法可以进一步包括：
设置信号采集周期；
根据所述信号采集周期，判断当前时间是否可以采集参考信号、近端信号以及残余回声信号；
如果判断出可以采集，则判断当前时间的参考信号、近端信号以及残余回声信号的频率是否均在所述第一频率范围内；
如果判断出均在所述第一频率范围内，则执行所述获取参考信号、所述近端信号以及所述残余回声信号。
下面智能语音设备为音箱为例，对双讲状态检测方法进行说明。如图2所示，该双讲状态检测方法可以包括：
步骤201：获取参考信号、近端信号以及残余回声信号；其中，参考信号、近端信号以及残余回声信号的频率均在500Hz-3000Hz内。
步骤202：判断是否为第一次获取到参考信号以及近端信号，如果是，执行步骤203；否则，执行步骤204。
在本步骤中，判断出均为第一次获取到参考信号以及近端信号，执行步骤203。
步骤203：利用近端信号与参考信号确定出第一近端平滑值、参考平滑值以及第一综合平滑值，并执行步骤205。
在本步骤中，通过方程组(4)利用端信号与参考信号确定出近端平滑值、参考平滑值以及第一综合平滑值，并执行步骤205。
步骤204：利用近端信号、参考信号、上一次获取到的近端信号和参考信号对应的第一综合平滑值、上一次获取到的近端信号对应的第一近端平滑值、上一次获取到的参考信号对应的参考平滑值，确定出本次的第一近端平滑值、参考平滑值以及第一综合平滑值，并执行步骤205。
步骤205：根据确定出的第一近端平滑值、参考平滑值以及第一综合平滑值，确定出第一相关系数。
在本步骤中，通过公式(1)利用第一近端平滑值、参考平滑值以及第一综合平滑值，确定出第一相关系数。
步骤206：判断是否为第一次获取近端信号以及残余回声信号，如果是，执行步骤207；否则，执行步骤208。
在本步骤中，判断出是第一次获取到近端信号以及残余回声信号，执行步骤207。
步骤207：利用近端信号以及残余回声信号，确定出第二近端平滑值、残余回声平滑值以及第二综合平滑值，并执行步骤209。
在本步骤中，通过方程组(5)利用近端信号以及残余回声信号，确定出第二近端平滑值、残余回声平滑值以及第二综合平滑值，并执行步骤209。
步骤208：利用近端信号、残余回声信号、上一次获取到的近端信号和残余回声信号对应的第二综合平滑值、上一次获取到的近端信号对应的第二端平滑值、上一次获取到的残余回声信号对应的残余回声平滑值，确定出本次的第二近端平滑值、残余回声平滑值以及第二综合平滑值，并执行步骤209。
步骤209：根据第二近端平滑值、残余回声平滑值以及第二综合平滑值，确定出第二相关系数。
在本步骤中，利用公式(2)第二近端平滑值、残余回声平滑值以及第二综合平滑值，确定出第二相关系数。
步骤210：判断第一相关系数是否小于等于第一常数，如果是，执行步骤211；否则，执行步骤212。
在本步骤中，利用方程组(3)判断出第一相关系数小于等于第一常数0.7执行步骤211。
步骤211：判断第二相关系数是否大于第二常数，如果是，执行步骤213；否则，执行步骤212。
在本步骤中，利用方程组(3)判断出第二相关系数大于第二常数0.5，执行步骤213。
步骤212：检测出未处于双讲状态，并结束当前流程。
步骤213：检测出处于双讲状态。
如图3所示，本发明实施例提供了一种双讲状态检测装置，该双讲状态检测装置包括：
获取模块301，用于获取参考信号、近端信号以及残余回声信号；其中，所述参考信号、所述近端信号以及所述残余回声信号的频率均在预设的第一频率范围内；
第一确定模块302，用于确定所述近端信号与所述参考信号之间的第一相关系数；
第二确定模块303，用于确定所述近端信号与所述残余回声信号之间的第二相关系数；
判断模块304，用于根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态。
根据图3所示的实施例，本方案中是判断模块通过第一确定模块确定的近端信号与参考信号之间的第一相关系数以及第二确定模块确定的近端信号与残余回声信号之间的第二相关系数来判断双讲状态的。由于参考信号、近端信号以及残余回声信号的频率均为一定频率范围内的频率。因此，本发明实施例提供的方案可以快速的检测出是否处于双讲状态。
在本发明一个实施例中，所述第一频率范围为500Hz-3000Hz。
在本发明一个实施例中，如图4所示，所述第一确定模块302可以包括：第一平滑值确定子模块3021以及第一系数确定子模块3022；
所述第一平滑值确定子模块3021用于利用所述近端信号与所述参考信号确定出第一近端平滑值、参考平滑值以及第一综合平滑值；
所述第一系数确定子模块3022，用于根据所述第一近端平滑值、所述参考平滑值以及所述第一综合平滑值，确定出所述第一相关系数。
在本发明一个实施例中，所述参考信号以及所述近端信号均为第一次获取时，
所述第一平滑值确定子模块3021，用于利用所述近端信号与所述参考信号，通过(4)确定出所述第一近端平滑值、所述参考平滑值以及所述第一综合平滑值；
Figure BDA0001669471180000141
其中，所述Rab表征所述第一综合平滑值；所述Raa表征所述第一近端平滑值；所述Rbb表征所述参考平滑值；所述β表征第一平滑系数；所述ai当前获取的近端信号；所述bi表征当前获取的参考信号；所述conj表征共轭函数。
在本发明一个实施例中，所述参考信号以及所述近端信号均为非第一次获取时，
所述第一平滑值确定子模块3021，用于利用所述近端信号与所述参考信号，通过方程组(1)确定出所述第一近端平滑值、所述参考平滑值以及所述参考平滑值；
Figure BDA0001669471180000151
其中，所述Rab表征所述第一综合平滑值；所述Raa表征所述第一近端平滑值；所述Rbb表征所述参考平滑值；所述β表征第一平滑系数；所述R′ab表征上一次获取到的近端信号和参考信号对应的第一综合平滑值；所述R′aa表征上一次获取到的近端信号对应的第一近端平滑值；所述R′bb表征上一次获取到的参考信号对应的参考平滑值。
在本发明一个实施例中，所述第一系数确定子模块3022，用于根据所述第一近端平滑值、所述参考信号平滑值以及所述第一综合平滑值，利用公式(1)确定出所述第一相关系数；
Figure BDA0001669471180000152
其中，所述Mab表征所述第一相关系数。
在本发明一个实施例中，如图5所示，所述第二确定模块303可以包括：第二平滑值确定子模块3031以及第二系数确定子模块3032；
所述第二平滑值确定子模块3031，用于利用所述近端信号与所述残余回声信号确定出第二近端平滑值、残余回声平滑值以第二综合平滑值；
所述第二系数确定子模块3032，用于根据所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值，确定出所述第二相关系数。
在本发明一个实施例中，所述近端信号以及所述残余回声信号均为第一次获取时，
所述第二平滑值确定子模块3031，用于利用所述近端信号与所述残余回声信号，通过方程组(5)确定出所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值；
Figure BDA0001669471180000161
其中，所述Rac表征所述第二综合平滑值；所述Raa表征所述第二近端平滑值；所述Rcc表征所述残余回声平滑值；所述γ表征第二平滑系数；所述ai当前获取的近端信号；所述ci表征当前获取的残余回声信号；所述conj表征共轭函数。
在本发明一个实施例中，所述近端信号以及所述残余回声信号均为非第一次获取时，
所述第二平滑值确定子模块3031，用于利用所述近端信号与所述残余回声信号，通过方程组(2)确定出所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值；
Figure BDA0001669471180000162
其中，所述Rac表征所述第二综合平滑值；所述Raa表征所述第二近端平滑值；所述Rcc表征所述残余回声平滑值；所述γ表征第二平滑系数；所述R′ac表征上一次获取到的近端信号和残余回声信号对应的第二综合平滑值；所述R′aa表征上一次获取到的近端信号对应的第二近端平滑值；所述R′cc表征上一次获取到的参考信号对应的残余回声平滑值。
在本发明一个实施例中，所述第二系数确定子模块3032，用于根据所述第二近端平滑值、所述残余回声平滑值以所述第二综合平滑值，利用公式(2)确定出所述第二相关系数；
Figure BDA0001669471180000163
其中，所述Mac表征所述第二相关系数；所述Rac表征所述第二综合平滑值；所述Raa表征所述第二近端平滑值；所述Rcc表征所述残余回声平滑值。
在本发明一个实施例中，双讲状态检测装置可以结合图4和图5的方案，形成如图6所示的双讲状态检测装置。
在本发明一个实施例中，所述判断模块304，用于判断所述第一相关系数以及所述第二相关系数是否满足方程组(3)，如果是，则判断出处于双讲状态；
Figure BDA0001669471180000171
其中，所述K1为预设的第一常数；所述K2为预设的第二常数。
在本发明一个实施例中，所述第一常数为0.7，且所述第二常数为0.5。
在本发明一个实施例中，如图7所示，双讲状态检测装置还可以进一步包括：触发模块305；
所述触发模块305，用于设置信号采集周期；根据所述信号采集周期，判断当前时间是否可以采集参考信号、近端信号以及残余回声信号；如果判断出可以采集，则判断当前时间的参考信号、近端信号以及残余回声信号的频率是否均在所述第一频率范围内；如果判断出均在所述第一频率范围内，则执行所述获取参考信号、所述近端信号以及所述残余回声信号。
在本发明一个实施例提供了一种可读介质，该可读介质包括：执行指令，当存储控制器的处理器执行所述执行指令时，所述存储控制器执行上述任一项所述的双讲状态检测方法。
在本发明一个实施例提供了一种存储控制器，如图8所示，该存储控制器包括：处理器401、存储器402和总线403；所述存储器402用于存储执行指令；所述处理器401与所述存储器402通过所述总线403连接；当所述存储控制器运行时，所述处理器401执行所述存储器402存储的所述执行指令，以使所述存储控制器执行上述任一项所述的一种双讲状态检测方法。
上述装置内的各单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，具体内容可参见本发明方法实施例中的叙述，此处不再赘述。
本发明各个实施例至少具有如下有益效果：
1、在本发明实施例中，首先获取频率均在第一频率范围内的参考信号、近端信号以及残余回声信号。然后确定出近端信号与参考信号之间的第一相关系数以及确定出近端信号与残余回声信号之间的第二相关系数。最后根据第一相关系数以及第二相关系数判断是否处于双讲状态。通过上述可知，本方案中是通过近端信号与参考信号之间的第一相关系数以及近端信号与残余回声信号之间的第二相关系数来判断双讲状态的。由于参考信号、近端信号以及残余回声信号的频率均为一定频率范围内的频率。因此，本发明实施例提供的方案可以快速的检测出是否处于双讲状态。
2、在本发明实施例中，由于设定了500Hz～3000Hz的频率范围，因此可以更为有针对性的获取到频率在该频率范围内的参考信号、近端信号以及残余回声信号。
3、在本发明实施例中，根据获取到近端信号与参考信号的次数，确定出当前获取的近端信号与参考信号对应的第一近端平滑值、参考平滑值以及第一综合平滑值。因此确定出的第一近端平滑值、参考平滑值以及第一综合平滑值更能反应出近端信号与参考信号的当前状态。
4、在本发明实施例中，由于确定出第一相关系数的各个平滑值是根据近端信号和参考信号确定的，因此第一相关系数可以准确的反应出近端信号和参考信号之间的相关度。
5、在本发明实施例中，近端信号与残余回声信号的次数，确定出当前获取的近端信号与残余回声信号对应的的第二近端平滑值、残余回声平滑值以第二综合平滑值。因此确定出的的第二近端平滑值、残余回声平滑值以第二综合平滑值更能反应出近端信号与残余回声信号的当前状态。
6、在本发明实施例中，由于确定出第二相关系数的各个平滑值是根据近端信号和残余回声信号确定的，因此第二相关系数可以准确的反应出近端信号和残余回声信号之间的相关度。
7、在本发明实施例中，根据第一相关系数与第一常数之间的关系，以及根据第二相关系数与第二常数之间的关系判断出是否处于双讲状态。由于不需要经过复杂的计算，因此可以快速的判断出是否处于双讲状态。
8、在本发明实施例中，本方案中是判断模块通过第一确定模块确定的近端信号与参考信号之间的第一相关系数以及第二确定模块确定的近端信号与残余回声信号之间的第二相关系数来判断双讲状态的。由于参考信号、近端信号以及残余回声信号的频率均为一定频率范围内的频率。因此，本发明实施例提供的方案可以快速的检测出是否处于双讲状态。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (9)

1.一种双讲状态检测方法，其特征在于，包括：
获取参考信号、近端信号以及残余回声信号；其中，所述参考信号、所述近端信号以及所述残余回声信号的频率均在预设的第一频率范围内，所述参考信号是智能语音设备自身发出的声音信号，所述残余回声信号为通过回声消除算法处理得到的声音信号；
确定所述近端信号与所述参考信号之间的第一相关系数；
确定所述近端信号与所述残余回声信号之间的第二相关系数；
根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态；
所述根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态，包括：
判断所述第一相关系数以及所述第二相关系数是否满足第三方程组，如果是，则判断出处于双讲状态；
所述第三方程组包括：
Figure FDA0002390019990000011
其中，所述Mab表征所述第一相关系数；所述Mac表征所述第二相关系数；所述K1为预设的第一常数；所述K2为预设的第二常数。
2.根据权利要求1所述的双讲状态检测方法，其特征在于，
所述确定所述近端信号与所述参考信号之间的第一相关系数，包括：
利用所述近端信号与所述参考信号确定出第一近端平滑值、参考平滑值以及第一综合平滑值；
根据所述第一近端平滑值、所述参考平滑值以及所述第一综合平滑值，确定出所述第一相关系数。
3.根据权利要求2所述的双讲状态检测方法，其特征在于，
所述利用所述近端信号与所述参考信号确定出第一近端平滑值、参考平滑值以及参考平滑值，包括：
利用所述近端信号与所述参考信号，通过第一方程组确定出所述第一近端平滑值、所述参考平滑值以及所述参考平滑值；
所述第一方程组包括：
Figure FDA0002390019990000021
其中，所述Rab表征所述第一综合平滑值；所述Raa表征所述第一近端平滑值；所述Rbb表征所述参考平滑值；所述β表征第一平滑系数；所述R′ab表征上一次获取到的近端信号和参考信号对应的第一综合平滑值；所述R′aa表征上一次获取到的近端信号对应的第一近端平滑值；所述R′bb表征上一次获取到的参考信号对应的参考平滑值；所述ai表征当前获取的近端信号；所述bi表征当前获取的参考信号；所述conj表征共轭函数。
4.根据权利要求3所述的双讲状态检测方法，其特征在于，
所述根据所述第一近端平滑值、所述参考平滑值以及所述参考平滑值，确定出所述第一相关系数，包括：
根据所述第一近端平滑值、所述参考信号平滑值以及所述第一综合平滑值，利用第一公式确定出所述第一相关系数；
所述第一公式包括：
Figure FDA0002390019990000022
其中，所述Mab表征所述第一相关系数。
5.根据权利要求1所述的双讲状态检测方法，其特征在于，
所述确定所述近端信号与所述残余回声信号之间的第二相关系数，包括：
利用所述近端信号与所述残余回声信号确定出第二近端平滑值、残余回声平滑值以第二综合平滑值；
根据所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值，确定出所述第二相关系数。
6.根据权利要求5所述的双讲状态检测方法，其特征在于，
所述近端信号以及所述残余回声信号均为非第一次获取时，
所述利用所述近端信号与所述残余回声信号确定出第二近端平滑值、残余回声平滑值以第二综合平滑值，包括：
利用所述近端信号与所述残余回声信号，通过第二方程组确定出所述第二近端平滑值、所述残余回声平滑值以及所述第二综合平滑值；
所述第二方程组包括：
Figure FDA0002390019990000031
其中，所述Rac表征所述第二综合平滑值；所述Raa表征所述第二近端平滑值；所述Rcc表征所述残余回声平滑值；所述γ表征第二平滑系数；所述R′ac表征上一次获取到的近端信号和残余回声信号对应的第二综合平滑值；所述R＇aa表征上一次获取到的近端信号对应的第二近端平滑值；所述R′cc表征上一次获取到的参考信号对应的残余回声平滑值；所述ai表征当前获取的近端信号；所述ci表征当前获取的残余回声信号；所述conj表征共轭函数；所述β表征第一平滑系数。
7.一种双讲状态检测装置，其特征在于，包括：
获取模块，用于获取参考信号、近端信号以及残余回声信号；其中，所述参考信号、所述近端信号以及所述残余回声信号的频率均在预设的第一频率范围内，所述参考信号是智能语音设备自身发出的声音信号，所述残余回声信号为通过回声消除算法处理得到的声音信号；
第一确定模块，用于确定所述近端信号与所述参考信号之间的第一相关系数；
第二确定模块，用于确定所述近端信号与所述残余回声信号之间的第二相关系数；
判断模块，用于根据所述第一相关系数以及所述第二相关系数判断是否处于双讲状态；
所述判断模块，用于判断所述第一相关系数以及所述第二相关系数是否满足第三方程组，如果是，则判断出处于双讲状态；
所述第三方程组包括：
Figure FDA0002390019990000041
其中，所述Mab表征所述第一相关系数；所述Mac表征所述第二相关系数；所述K1为预设的第一常数；所述K2为预设的第二常数。
8.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求7中任意一项所述的双讲状态检测方法。
9.一种电子设备，其特征在于，所述电子设备中包括处理器、存储器和总线；所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行权利要求1至权利要求7中任意一项所述的双讲状态检测方法。
CN201810497070.0A 2018-05-22 2018-05-22 一种双讲状态检测方法及装置 Active CN108806713B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201810497070.0A CN108806713B (zh) 2018-05-22 2018-05-22 一种双讲状态检测方法及装置
PCT/CN2019/087301 WO2019223603A1 (zh) 2018-05-22 2019-05-16 一种语音处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810497070.0A CN108806713B (zh) 2018-05-22 2018-05-22 一种双讲状态检测方法及装置

Publications (2)

Publication Number Publication Date
CN108806713A CN108806713A (zh) 2018-11-13
CN108806713B true CN108806713B (zh) 2020-06-16

Family

ID=64092815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810497070.0A Active CN108806713B (zh) 2018-05-22 2018-05-22 一种双讲状态检测方法及装置

Country Status (1)

Country Link
CN (1) CN108806713B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019223603A1 (zh) * 2018-05-22 2019-11-28 出门问问信息科技有限公司 一种语音处理方法、装置及电子设备
CN111294473B (zh) * 2019-01-28 2022-01-04 展讯通信（上海）有限公司 信号处理方法及装置
CN110148421B (zh) * 2019-06-10 2021-07-20 浙江大华技术股份有限公司 一种残余回声检测方法、终端和装置
CN110634496B (zh) * 2019-10-22 2021-12-24 广州视源电子科技股份有限公司 一种双讲检测方法、装置、计算机设备和存储介质
CN111083297A (zh) * 2019-11-14 2020-04-28 维沃移动通信（杭州）有限公司 一种回声消除方法及电子设备
CN111161748B (zh) 2020-02-20 2022-09-23 百度在线网络技术（北京）有限公司 一种双讲状态检测方法、装置以及电子设备
CN114283844A (zh) * 2021-12-24 2022-04-05 苏州蛙声科技有限公司 一种用于音视频会议的双讲检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187680A (ja) * 2007-01-31 2008-08-14 Oki Electric Ind Co Ltd 信号状態検出装置、エコーキャンセラ及び信号状態検出プログラム
CN105791611A (zh) * 2016-02-22 2016-07-20 腾讯科技（深圳）有限公司 回声消除方法及装置
CN105825864A (zh) * 2016-05-19 2016-08-03 南京奇音石信息技术有限公司 基于过零率指标的双端说话检测与回声消除方法
CN106506872A (zh) * 2016-11-02 2017-03-15 腾讯科技（深圳）有限公司 通话状态检测方法及装置
CN107770683A (zh) * 2017-10-12 2018-03-06 北京小鱼在家科技有限公司 一种回声场景下音频采集状态的检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008187680A (ja) * 2007-01-31 2008-08-14 Oki Electric Ind Co Ltd 信号状態検出装置、エコーキャンセラ及び信号状態検出プログラム
CN105791611A (zh) * 2016-02-22 2016-07-20 腾讯科技（深圳）有限公司 回声消除方法及装置
CN105825864A (zh) * 2016-05-19 2016-08-03 南京奇音石信息技术有限公司 基于过零率指标的双端说话检测与回声消除方法
CN106506872A (zh) * 2016-11-02 2017-03-15 腾讯科技（深圳）有限公司 通话状态检测方法及装置
CN107770683A (zh) * 2017-10-12 2018-03-06 北京小鱼在家科技有限公司 一种回声场景下音频采集状态的检测方法及装置

Also Published As

Publication number Publication date
CN108806713A (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
CN108806713B (zh) 一种双讲状态检测方法及装置
CN104822001B (zh) 回声消除数据同步控制方法和装置
JP2021500778A (ja) 遅延時間推定に基づくエコー除去方法及び装置
US6574601B1 (en) Acoustic speech recognizer system and method
US20200219503A1 (en) Method and apparatus for filtering out voice instruction
CN110709931B (zh) 用于音频模式识别的系统和方法
US11349525B2 (en) Double talk detection method, double talk detection apparatus and echo cancellation system
JP2004226656A (ja) マイクロホンアレイを用いた話者距離検出装置及び方法並びに当該装置を用いた音声入出力装置
EP3136700A1 (en) Nearend speech detector
CN108140395B (zh) 舒适噪声生成装置和方法
WO2010083641A1 (zh) 双端通话检测方法及装置
CN113170024A (zh) 回声消除方法、延时估计方法、装置、存储介质及设备
US11785406B2 (en) Inter-channel level difference based acoustic tap detection
CN109756818B (zh) 双麦克风降噪方法、装置、存储介质及电子设备
CN109754823A (zh) 一种语音活动检测方法、移动终端
CN113345459B (zh) 一种双讲状态的检测方法、装置、计算机设备及存储介质
CN112289336B (zh) 音频信号处理方法和装置
CN108831496B (zh) 一种回声抑制方法及装置、存储介质、电子设备
CN109389978A (zh) 一种语音识别方法及装置
CN111989934B (zh) 回声消除装置、回声消除方法、信号处理芯片及电子设备
CN110992973A (zh) 一种信号时延的确定方法和电子设备
GB2603397A (en) Detection of live speech
CN112969130A (zh) 音频信号处理方法、装置和电子设备
CN108831497B (zh) 一种回声压缩方法及装置、存储介质、电子设备
CN110944089A (zh) 双讲检测方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230614

Address after: 210034 floor 8, building D11, Hongfeng Science Park, Nanjing Economic and Technological Development Zone, Jiangsu Province

Patentee after: New Technology Co.,Ltd.

Patentee after: VOLKSWAGEN (CHINA) INVESTMENT Co.,Ltd.

Address before: 100094 1001, 10th floor, office building a, 19 Zhongguancun Street, Haidian District, Beijing

Patentee before: MOBVOI INFORMATION TECHNOLOGY Co.,Ltd.