JP2022120020A - マルチサウンドゾーン音声ウェイクアップ・認識方法及び装置、電子機器、記憶媒体、コンピュータプログラム - Google Patents

マルチサウンドゾーン音声ウェイクアップ・認識方法及び装置、電子機器、記憶媒体、コンピュータプログラム Download PDF

Info

Publication number
JP2022120020A
JP2022120020A JP2022092444A JP2022092444A JP2022120020A JP 2022120020 A JP2022120020 A JP 2022120020A JP 2022092444 A JP2022092444 A JP 2022092444A JP 2022092444 A JP2022092444 A JP 2022092444A JP 2022120020 A JP2022120020 A JP 2022120020A
Authority
JP
Japan
Prior art keywords
sound zone
sound
audio
wakeup
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022092444A
Other languages
English (en)
Inventor
ジョウ，イー
Yi Zhou
ズオ，ションヨン
Shengyong Zuo
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2022120020A publication Critical patent/JP2022120020A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/22—Interactive procedures; Man-machine interfaces
    • G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/34—Adaptation of a single recogniser for parallel processing, e.g. by use of multiple processors or cloud computing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Abstract

【課題】特定のサウンドゾーン内のユーザに音声認識を行うマルチサウンドゾーン音声ウェイクアップ・認識方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。【解決手段】マルチサウンドゾーン音声ウェイクアップ・認識方法は、各チャンネルのオーディオ信号が、Ｎ個のサウンドゾーンのうち１つのサウンドゾーンに対応するＮチャンネルのオーディオ信号を取得し、Ｎチャンネルのオーディオ信号とウェイクアップエンジンにおけるＮ個の同期オーディオ処理スレッドとの間の対応関係に基づいて、各チャンネルのオーディオ信号を１つの対応するオーディオ処理スレッドに入力し、Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。【選択図】図２

Description

本開示は、人工知能分野に関し、特に、音声技術、自然言語処理、音声インタラクションなどの分野に関し、自動車ネットワーク、自動運転などのシーンに用いられる。具体的に、マルチサウンドゾーン音声ウェイクアップ・認識方法及び装置、電子機器、記憶媒体、コンピュータプログラムに関する。
音声技術の発展に伴い、車載音響システムにマルチチャンネルピックアップ（例えばマルチチャンネルマイク）、複数のサウンドゾーンの音声ウェイクアップ・認識技術が現れている。ここで、車内空間が複数のサブ空間に分割されてよく、各サブ空間が１つのサウンドゾーンとなる。例えば、車両は、２つのサウンドゾーン、又は４つのサウンドゾーン、又は６つのサウンドゾーン等を含んでよい。
本開示は、マルチサウンドゾーン音声ウェイクアップ・認識方法及び装置、電子機器、記憶媒体及びコンピュータプログラムを提供することを目的とする。
本開示の一態様によれば、マルチサウンドゾーン音声ウェイクアップ方法を提供し、当該マルチサウンドゾーン音声ウェイクアップ方法は、Ｎチャンネルのオーディオ信号を取得し、各チャンネルのオーディオ信号は、Ｎ個のサウンドゾーンのうち１つのサウンドゾーンに対応することと、前記Ｎチャンネルのオーディオ信号とウェイクアップエンジンにおけるＮ個の同期オーディオ処理スレッドとの間の対応関係に基づいて、各チャンネルのオーディオ信号を１つの対応するオーディオ処理スレッドに入力することと、前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定することとを含む。
本開示の別の態様によれば、マルチサウンドゾーン音声認識方法を提供し、当該マルチサウンドゾーン音声認識方法は、本開示の実施例に記載のマルチサウンドゾーン音声ウェイクアップ方法に基づいて、Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定することと、前記第１ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得することと、前記オーディオ信号を音声認識エンジンに伝送して音声認識を行うこととを含む。
本開示の別の態様によれば、マルチサウンドゾーン音声ウェイクアップ装置を提供し、当該マルチサウンドゾーン音声ウェイクアップ装置は、Ｎチャンネルのオーディオ信号を取得し、各チャンネルのオーディオ信号が、Ｎ個のサウンドゾーンのうち１つのサウンドゾーンに対応する第１取得モジュールと、前記Ｎチャンネルのオーディオ信号とウェイクアップエンジンにおけるＮ個の同期オーディオ処理スレッドとの間の対応関係に基づいて、各オーディオ信号を１つの対応するオーディオ処理スレッドに入力する入力モジュールと、前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する第１特定モジュールとを含む。
本開示の別の態様によれば、マルチサウンドゾーン音声認識装置を提供し、当該マルチサウンドゾーン音声認識装置は、本開示の実施例に記載のマルチサウンドゾーン音声ウェイクアップ装置に基づいて、Ｎ個のサウンドゾーンうち第１ウェイクアップ済みサウンドゾーンを特定する第４特定モジュールと、前記第１ウェイクアップサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得する第２取得モジュールと、前記オーディオ信号を音声認識エンジンに伝送して、音声認識を行う第１音声認識モジュールとを含む。
本開示の別の態様によれば、電子機器を提供し、当該電子機器は、Ｎ個の同期オーディオ処理スレッドを含むウェイクアップエンジンを備え、各音声処理スレッドは、１つのサウンドゾーンに対応し、対応するサウンドゾーン内に設置されたピックアップが収集した１つのオーディオ信号を処理し、前記ウェイクアップエンジンは、前記Ｎ個の同期オーディオ処理スレッドの処理結果を監視し、前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果があったスレッドに対応するサウンドゾーンを、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。
本開示の別の態様によれば、車載端末を提供し、当該車載端末は、Ｎ個の同期オーディオ処理スレッドを含むウェイクアップエンジンを備え、各オーディオ処理スレッドは、１つの車載サウンドゾーンに対応し、対応する車載サウンドゾーン内に設置されたピックアップが収集した１チャンネルのオーディオ信号を処理し、前記ウェイクアップエンジンは、前記Ｎ個の同期オーディオ処理スレッドの処理結果を監視し、前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果があったスレッドに対応する車載サウンドゾーンを、Ｎ個の車載サウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。
本開示の別の態様によれば、車両を提供し、当該車両は、本開示の実施例に記載のマルチサウンドゾーン音声ウェイクアップ装置と、本開示の実施例に記載のマルチサウンドゾーン音声認識装置とを含む。
本開示の別の態様によれば、別の車両を提供し、当該別の車両は、本開示の実施例に記載の車載端末を含む。
本開示の別の態様によれば、電子機器を提供し、当該電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサと通信接続されるメモリとを備え、前記メモリは、前記少なくとも１つのプロセッサにより実行可能な命令が記憶されており、前記命令が前記少なくとも１つのプロセッサにより実行されることによって、前記少なくとも１つのプロセッサは本開示の実施例に記載の方法を実行することができる。
本開示の別の態様によれば、コンピュータ命令を記憶した非一時的なコンピュータ可読記憶媒体を提供し、当該記憶媒体は、前記コンピュータ命令が前記コンピュータに本開示の実施例に記載の方法を実行させる。
本開示の別の態様によれば、コンピュータプログラムを提供し、当該コンピュータプログラムは、プロセッサにより実行される場合に、本開示の実施例に記載の方法の操作を実現する。
理解されるべきこととして、本部分に記載された内容は、本開示の実施例のキーポイント又は重要な特徴を示すことを意図するものではなく、本開示の範囲を限定するものでもない。本開示の他の特徴は、以下の説明により容易に理解される。
ここで、図面は、本開示の発明をよりよく理解するために用いられ、本開示を限定するものではない。
本開示の実施例に係るシステムアーキテクチャを例示的に示す図である。 本開示の実施例に係るマルチサウンドゾーン音声ウェイクアップ方法を例示的に示すフローチャートである。 本開示の実施例に係るマルチサウンドゾーン音声ウェイクアップの原理図である。 本開示の実施例に係るマルチサウンドゾーン音声認識方法を例示的に示すフローチャートである。 本開示の実施例に係るマルチサウンドゾーン音声ウェイクアップ装置のブロック図である。 本開示の実施例に係るマルチサウンドゾーン音声認識装置を例示的に示すブロック図である。 本開示の実施例を実現するための電子機器を例示的に示すブロック図である。
以下、図面を参照して本開示の例示的な実施例を説明する。ここで、より理解しやすいために本開示の実施例の様々な詳細は含まれ、それらが例示的なものであると考えられるべきである。したがって、当業者であれば、ここで記載される実施例に対して様々な変更・修正を行うことができ、本開示の範囲及び精神から逸脱することはないと分るべきである。同様に、明確かつ簡潔に説明するために、以下の記載において周知の機能や構成に対する説明を省略する。
理解されるべきこととして、マルチサウンドゾーンの出現に伴い、異なるサウンドゾーンに存在するユーザは、いずれも車載ホスト（車載機と略称する）をウェイクアップしてよく、さらに、特定のサウンドゾーン内のユーザに音声認識を行うという目的を実現する。
現在、マルチサウンドゾーン音声ウェイクシステムは、一般的に複数のウェイクアップエンジンを必要とする。例えば、４サウンドゾーン音声ウェイクアップシステムは４つのウェイクアップエンジンを必要とし、６サウンドゾーン音声ウェイクアップシステムは、６つのウェイクアップエンジンを必要とする。
理解されるべきこととして、マルチサウンドゾーン音声ウェイクシステムに含まれるウェイクアップエンジンの数が多いほど、システムが占有する中央処理装置（Central Processing Unit、ＣＰＵと略称する）リソース及びメモリリソースも多い。マルチサウンドゾーン音声ウェイクアップシステムが占有する上記リソースが多いほど、車載システムにおける他のアプリケーションへの影響が深刻であり、さらに他のアプリケーションの正常な動作に影響を与える。
これに基づいて、本開示の実施例は、マルチサウンドゾーン単一ウェイクアップエンジンの音声ウェイクアップの手段を提供し、マルチサウンドゾーンの音声ウェイクアップをサポートできるだけでなく、車載ホストにおけるＣＰＵ及びメモリ等のリソースのオーバーヘッドを減少させることもでき、それによって、車載ホストの性能を保証する。
以下、図面及び具体的な実施例を参照しながら本開示を詳細に説明する。
本開示の実施例に係るマルチサウンドゾーン音声ウェイクアップ・認識方法及び装置のシステムアーキテクチャの説明は、以下のとおりである。
図１は、本開示の実施例に係るシステムアーキテクチャを例示的に示す図である。留意されるべきこととして、図１に示すのは、当業者が本開示の技術内容を理解するように本開示の実施例のシステムアーキテクチャを適用可能な例示に過ぎず、本開示の実施例が他の環境又はシーンに適用されないと意味するものではない。
図１に示すように、システムアーキテクチャ１００は、車両１０１、ネットワーク１０２及びサーバ１０３を含んでよい。
説明すべきこととして、本システムアーキテクチャにおいて、車両１０１の車内空間は、４つのサブ空間に分割されてよく、各サブ空間は１つのサウンドゾーンと呼ばれる。即ち、車両１０１の車内空間は、サウンドゾーン１０１１、１０１２、１０１３、１０１４共に４つのサウンドゾーンを含んでよい。例えば、サウンドゾーン１０１１は運転席サウンドゾーンであって、サウンドゾーン１０１２は助手席サウンドゾーンであって、サウンドゾーン１０１３は助手席の後ろの後部座席サウンドゾーンであって、サウンドゾーン１０１４は運転席の後ろの後部座席サウンドゾーンであってよい。各サウンドゾーン内に１つのピックアップ（例えば、マイク）が設置されてよい。したがって、本システムアーキテクチャにおいて、運転手、助手席の乗客、並び運転席と助手席の後ろの後部座席の乗客には、いずれも対応するサウンドゾーン内に車両の車載ホストをウェイクアップし、ウェイクアップされた車載ホストと音声インタラクションを行うことができる。
説明すべきこととして、本開示の実施例において、車両１０１の車載ホストは、１つのウェイクアップエンジンのみを含んでよい。該ウェイクアップエンジンは、複数の同期オーディオ処理スレッド（例えば、本システムアーキテクチャにおいて、車両１０１の車載ホストのウェイクアップエンジンは、４つの同期オーディオ処理スレッドを含んでよい）を含み、各オーディオ処理スレッドは、一つの対応するサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を処理する。同じ時点で、どのオーディオ処理スレッドにウェイクアップ結果があったかに関わらず、すなわち、どのオーディオ処理スレッドにおけるオーディオ信号が、対応するウェイクアップワードモデルをトリガしたかに関わらず、いずれも車載ホストがウェイクアップ済みであることを示す。しかしながら、理解されるべきこととして、どのオーディオ処理スレッドにウェイクアップ結果があった場合、該音声処理スレッドに対応するサウンドゾーンが、ウェイクアップ済みであり、後続として該サウンドゾーンからのオーディオ信号に対して音声認識を行う必要があることを示す。
例示的に、例えば、ウェイクワードは、「こんにちは」、「hi」、「hello」、「XXさん、こんにちは」等を含んでよい。仮に、サウンドゾーン１０１１内の運転手が「hi」を話すと、車両１０１の車載ホストのウェイクアップエンジンにおいて、サウンドゾーン１０１１に一対一に対応するオーディオ処理スレッド（例えば、スレッド１）に理論的にウェイクアップ結果があるべきであり、すなわち、ウェイクアップエンジンがスレッド１のために呼び出したウェイクワードモデルは、理論的に「hi」を表すオーディオ信号によってトリガされ、この時、サウンドゾーン１０１１がウェイクアップ済みであり、後続としてサウンドゾーン１０１１内に設置されたピックアップが収集したオーディオ信号を音声認識モジュールに伝送して音声認識を行ってよく、すなわち、後続としてサウンドゾーン１０１１内の運転手は、車載ホストと音声インタラクションを行ってよいことを示す。
説明すべきこととして、本開示のいくつかの実施例において、音声認識を行う場合、オーディオ信号をクラウドサーバ１０３に送信して音声認識を行ってよい。又は、本開示の他の実施例において、音声認識を行う場合、車両自体の車載ホストによってオーディオ信号に対して音声認識を行ってよい。
換言すれば、本開示のいくつかの実施例において、車両１０１の音声認識モジュール（音声認識エンジンを含む）をクラウドサーバ１０３に設置してよい。このような手段は、車両自体の負担を軽減することができる。又は、本開示の他の実施例において、車両１０１の音声認識モジュール（音声認識エンジンを含む）を車両自体の車載ホストに設置してよい。このような手段は、車両の負担を増大させる可能性がある。
本システムアーキテクチャにより提供されたマルチサウンドゾーン単一ウェイクアップエンジンによれば、マルチサウンドゾーンの音声ウェイクアップをサポートできるだけでなく、車載ホストにおけるＣＰＵ及びメモリ等のリソースのオーバーヘッドを減少させることもでき、それによって、車載ホストの性能を保証し、すなわち車両の他のアプリケーションが正常に動作できることを保証する。
理解されるべきこととして、図１の車両１０１内に含まれるサウンドゾーンの数は模式的なものだけである。必要に応じて、車両１０１内において任意の数のサウンドゾーンに分けられてよい。
本開示の実施例に係るマルチサウンドゾーン音声ウェイクアップ・認識方法及び装置の応用シーンの説明は、以下のとおりである。
説明すべきこととして、本開示の実施例が提供するマルチサウンドゾーン音声ウェイクアップ・認識の手段は、車のネットワーキング、自動運転などの複数のサウンドゾーンを有する音声ウェイクアップ・認識のシーンに適用することができる。また、本開示の実施例が提供するマルチサウンドゾーン音声ウェイクアップ・認識の手段は、モノのネットワーキング、スーパーマーケット・ホームなどの複数のサウンドゾーンを有する音声ウェイクアップ・認識のシーンに適用することができ、本開示は、ここで重複して説明しない。
本開示の実施例によれば、本開示は、マルチサウンドゾーン音声ウェイクアップ方法を提供する。
図２は、本開示の実施例に係るマルチサウンドゾーン音声ウェイクアップ方法を例示的に示すフローチャートである。
図２に示すように、マルチサウンドゾーン音声ウェイクアップ方法２００は、操作Ｓ２１０～Ｓ２３０を含んでよい。
操作Ｓ２１０では、Ｎチャンネルのオーディオ信号を取得し、ここで、各チャンネルのオーディオ信号は、Ｎ個のサウンドゾーンのうち１つのサウンドゾーンに対応する。
操作Ｓ２２０では、Ｎチャンネルのオーディオ信号とウェイクアップエンジンにおけるＮ個の同期オーディオ処理スレッドとの間の対応関係に基づいて、各チャンネルのオーディオ信号を、１つの対応するオーディオ処理スレッドに入力する。
操作Ｓ２３０では、Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。
説明すべきこととして、本開示の実施例において、操作Ｓ２１０で取得されたＮチャンネルのオーディオ信号は、同時にＮ個のサウンドゾーンに対して音声収集して得られたＮチャンネルのオーディオ信号である。
本開示の１つの実施例において、方法２００は、車載端末に適用することができる。該車載端末は、１つのウェイクアップエンジンのみを含んでよい。該ウェイクアップエンジンは、Ｎ個の同期オーディオ処理スレッドを含んでよい。ここで、各オーディオ処理スレッドは、１つの車載サウンドゾーンに対応し、対応する車載サウンドゾーン内に設置されたピックアップが収集した１チャンネルのオーディオ信号を処理する。ウェイクアップエンジンは、Ｎ個の同期オーディオ処理スレッドの処理結果を監視し、Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果があったスレッドに対応する車載サウンドゾーンを、Ｎ個の車載サウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。
例示的に、例えば、ある車両内に４つのサウンドゾーンを有し、それぞれサウンドゾーン１～サウンドゾーン４である。この４つのサウンドゾーン内に、それぞれ１つのマイクが設置され、例えば、サウンドゾーン１～サウンドゾーン４内に、マイク１～マイク４がそれぞれ設置される。車両の車載端末にウェイクアップエンジンのみがあり、該ウェイクアップエンジンは、それぞれスレッド１～スレッド４である４つのオーディオ処理スレッドを含む。ここで、スレッド１は、サウンドゾーン１に対応し、マイク１が収集したオーディオ信号ストリームを処理し、スレッド２は、サウンドゾーン２に対応し、マイク２が収集したオーディオ信号ストリームを処理し、スレッド３は、サウンドゾーン３に対応し、マイク３が収集したオーディオ信号ストリームを処理し、スレッド４は、サウンドゾーン４に対応し、マイク４が収集したオーディオ信号ストリームを処理する。同じ時点に対して、マイク１～マイク４によりそれぞれ収集された４チャンネルのオーディオ信号は、上記対応関係に応じてそれぞれスレッド１～スレッド４に入力されて処理された後、スレッド１～スレッド４のうちのいずれか１つのスレッドにウェイクアップ結果があれば、サウンドゾーン１～サウンドゾーン４のうちサウンドゾーンがウェイクアップ済みであることを示す。例えば、スレッド１にウェイクアップ結果があれば、サウンドゾーン１がウェイクアップされたことを示す。本開示の実施例において、ユーザは、車内の各サウンドゾーンにおいて車載ホストをウェイクアップし、それと音声インタラクションを行うことができる。
又は、本開示の１つの実施例において、方法２００は、電子機器に適用することができる。該電子機器（端末装置であってもよい）は、１つのウェイクアップエンジン（音声ウェイクアップエンジンとも呼ばれる）のみを含んでよい。該ウェイクアップエンジンは、Ｎ個の同期オーディオ処理スレッドを含んでよい。ここで、各オーディオ処理スレッドは、１つのサウンドゾーンに対応し、対応するサウンドゾーン内に設置されたピックアップが収集した１チャンネルのオーディオ信号を処理する。ウェイクアップエンジンは、Ｎ個の同期オーディオ処理スレッドの処理結果を監視し、Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果があったスレッドに対応するサウンドゾーンを、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。
例示的には、例えば、あるマンション内に、１つのマスターベッドルーム、２つのゲストベッドルーム、１つのリビングルーム、１つのキッチン及び１つのトイレ、合計６個のサブ空間を有する。ここで、各サブ空間内に１つのマイクが設置されて、１つのサウンドゾーンとしてよい。６つのサブ空間に対応する６つのサウンドゾーンは、それぞれサウンドゾーン１～サウンドゾーン６である。この６つのサウンドゾーン内に設置された６つのマイクは、それぞれマイク１～マイク６である。該マンション内に適用される電子機器（例えば、スマートスピーカ）は、１つのウェイクアップエンジンのみを有し、該ウェイクアップエンジンは、それぞれスレッド１～スレッド６である６つのオーディオ処理スレッドを含む。ここで、スレッド１は、サウンドゾーン１に対応し、マイク１が収集したオーディオ信号ストリームを処理し、スレッド２は、サウンドゾーン２に対応し、マイク２が収集したオーディオ信号ストリームを処理し、スレッド３は、サウンドゾーン３に対応し、マイク３が収集したオーディオ信号ストリームを処理し、スレッド４は、サウンドゾーン４に対応し、マイク４が収集したオーディオ信号ストリームを処理し、スレッド５は、サウンドゾーン５に対応し、マイク５が収集したオーディオ信号ストリームを処理し、スレッド６は、サウンドゾーン６に対応し、マイク６が収集したオーディオ信号ストリームを処理する。同じ時点に対して、マイク１～マイク６によりそれぞれ収集された６チャンネルのオーディオ信号は、上記対応関係に応じてそれぞれスレッド１～スレッド６に入力されて処理された後、スレッド１～スレッド６のうちのいずれか１つのスレッドにウェイクアップ結果があれば、サウンドゾーン１～サウンドゾーン６のうちサウンドゾーンがウェイクアップ済みであることを示す。例えば、スレッド１にウェイクアップ結果があれば、サウンドゾーン１がウェイクアップされたことを示す。本開示の実施例において、ユーザは、マンション内の各サブ空間においてスマートスピーカをウェイクアップし、それと音声インタラクションを行うことができる。
説明すべきこととして、本開示の実施例において、Ｎは、１より大きい整数である。
本開示の実施例が提供するマルチサウンドゾーン単一ウェイクアップエンジンの手段によれば、マルチサウンドゾーンの音声ウェイクアップをサポートできるだけでなく、車載ホスト又はスマートスピーカにおけるＣＰＵ及びメモリ等のリソースのオーバーヘッドを減少させることもでき、それによって、車載ホスト又はスマートスピーカの性能を保証し、すなわち車両又はスマートスピーカの他のアプリケーションが正常に動作できることを保証する。
また、関連技術において、マルチサウンドゾーンマルチウェイクアップエンジンの音声ウェイクアップの手段の採用は、コールバックが複雑となることに繋がる可能性があり、業務ロジックが制御されにくいという問題を招く。例えば、マルチサウンドゾーンマルチウェイクアップエンジンの手段において、車載ホストに複数のウェイクアップエンジンが設置される必要があり、一方、各ウェイクアップエンジンは、一般的に複数のエンジン状態を有し、複数のウェイクアップエンジンは、必然として複数のエンジン状態に直面し、車載ホストのエンジン状態が非常に複雑で管理されにくい。
一方、本開示の実施例において、マルチサウンドゾーン単一ウェイクアップエンジンの音声ウェイクアップの手段を採用しており、したがって、コールバックがマルチサウンドゾーンマルチウェイクアップエンジンの手段よりも簡単であり、業務ロジックもより制御されやすい。
また、本開示の実施例によれば、さらに製品（例えば、スマートスピーカなどの電子機器や車載端末など）の能力境界を拡張することができ、それによって、音声ウェイクアップの手段は、ローエンド製品に対してよりフレンドリーである。
選択可能な実施例として、該方法は、さらに以下の操作を含んでよい。
Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったか否かを特定する。
Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドのウェイクアップ結果があったことを特定したことに応じて、同時にウェイクアップ結果があった複数のスレッドのうち入力オーディオ信号が最も強い１つの目標スレッドを特定する。
ここで、ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定することは、目標スレッドに対応する１つの目標サウンドゾーンを、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定することを含んでよい。
本開示の実施例において、ユーザが１つのサウンドゾーン内で発話しても、複数のサウンドゾーン内におけるピックアップが同時に対応するオーディオ信号を収集できる状況が発生する可能性がある。このような状況で、複数のスレッドが呼び出したウェイクワードモデルが全てウェイクアップされることによりシステムの混乱が生ずることを防止するために、先に、ユーザの位置情報を特定し、次に、ユーザの位置情報に基づいてユーザが位置するサウンドゾーンをウェイクアップしてよく、それによって、後続としてユーザが位置するサウンドゾーン内におけるピックアップにより収集されたオーディオ信号に対して音声認識を行う。
理解されるべきこととして、本開示の実施例において、先に、各チャンネルのオーディオ信号に含まれるエネルギーに基づいて、各チャンネルのオーディオ信号の強度を特定し、次に、その中からオーディオ信号が最も強いチャンネルを探し出し、該チャンネルのオーディオ信号が入力したオーディオ処理スレッドが呼び出したウェイクワードモデルをウェイクアップ状態にトリガし、同時に、該オーディオ信号を収集するピックアップの位置するサウンドゾーンを、ユーザが実際に位置するサウンドゾーンとしてよい。後続としてユーザが実際に所在するサウンドゾーン内におけるピックアップが収集したオーディオ信号を音声認識モジュールに送信して、音声処理を行ってよい。
換言すれば、本開示の実施例において、同じ時点で、複数の音声処理スレッドは、いずれもウェイクアップ結果があれば、各チャンネルのオーディオ信号の強弱度合いに基づいて、信号が最も強い１チャンネルのオーディオ信号を入力したスレッドを、実際にウェイクアップされた１つに特定し、後続として音声認識を行う時に、該オーディオ信号を収集するピックアップが収集したオーディオ信号ストリームを音声認識モジュールに送信して、音声認識を行ってよい。
例示的に、例えば、ある車両内に４つのサウンドゾーンを有し、それぞれサウンドゾーン１～サウンドゾーン４である。この４つのサウンドゾーン内にそれぞれ１つのマイクが設置されており、例えば、サウンドゾーン１～サウンドゾーン４内にマイク１～マイク４がそれぞれ設置されている。車両の車載端末に１つのウェイクアップエンジンのみがあり、該ウェイクアップエンジンは、４つのオーディオ処理スレッドを含み、それぞれスレッド１～スレッド４である。ここで、スレッド１は、サウンドゾーン１に対応し、マイク１が収集したオーディオ信号ストリームを処理し、スレッド２は、サウンドゾーン２に対応し、マイク２が収集したオーディオ信号ストリームを処理し、スレッド３は、サウンドゾーン３に対応し、マイク３が収集したオーディオ信号ストリームを処理し、スレッド４は、サウンドゾーン４に対応し、マイク４が収集したオーディオ信号ストリームを処理する。同じ時点に対して、マイク１～マイク４によりそれぞれ収集された４チャンネルのオーディオ信号は、上記対応関係に応じてそれぞれスレッド１～スレッド４に入力されて処理された後、スレッド１及びスレッド２にいずれもウェイクアップ結果があったことを発見し、但し、この時にスレッド１に入力された１チャンネルのオーディオ信号強度がより強いだけであり、したがって、このような場合に、実際にウェイクアップされたのはサウンドゾーン１であると考えられ、サウンドゾーン１がウェイクアップされた後、サウンドゾーン１内のユーザと車載ホストとの間の音声インタラクションを実現するように、マイク１が収集したオーディオ信号ストリームを取得し続け、それを音声認識モジュールに送信して音声認識を行ってよい。
本開示の実施例によれば、ウェイクアップエンジンにおける複数の音声処理スレッドにいずれもウェイクアップ結果があった場合、ユーザは車載ホストとよりスムーズに音声インタラクションを行うことができるように、信号が最も強い１チャンネルを選択してウェイクアップしてよい。
選択可能な実施例として、Ｎチャンネルのオーディオ信号を取得することは、以下の操作を含んでよい。
Ｎ個のピックアップを利用して、同時にＮチャンネルのオーディオ信号を収集し、ここで、各ピックアップは、Ｎ個のサウンドゾーンのうち１つのサウンドゾーン内に設置される。
Ｎ個のピックアップが同時に収集したＮチャンネルのオーディオ信号を１フレームのオーディオデータとして組み合わせてウェイクアップエンジンに伝送する。
ウェイクアップエンジンにより、オーディオデータから、対応するＮチャンネルのオーディオ信号を抽出することによって、対応関係に応じて、それぞれ一つの対応するオーディオ処理スレッドを入力して処理する。
本開示の実施例において、先に、同時に取得されたマルチチャンネルのオーディオ信号を１フレームのオーディオデータ（オーディオ配列とも呼ばれる）として組み合わせて、次に、１フレームずつでオーディオデータに含まれるマルチチャンネルのオーディオ信号（すなわち、複数のオーディオデータ成分）を同時に同一のウェイクアップエンジンに伝送し、その後、ウェイクアップエンジン内で各フレームのオーディオデータを、前の約束された組立ルールに従って、対応するマルチチャンネルのオーディオ信号に分割し、各チャンネルのオーディオ信号を、予め設定された対応関係に応じて、対応するオーディオ処理スレッドに入力して音声処理を行ってよい。
例示的に、図３に示すように、例えば、ある車両内に４つのサウンドゾーンを有し、それぞれサウンドゾーン１～サウンドゾーン４である。この４つのサウンドゾーン内にそれぞれ１つのマイクが設置されており、例えば、サウンドゾーン１～サウンドゾーン４内にマイク１～マイク４がそれぞれ設置されている。この４つのマイクは、任意の同一時点で収集された４チャンネルのオーディオ信号（例えば、Ｔ１時点で収集された４チャンネルのオーディオ信号は、それぞれオーディオ信号１～オーディオ信号４である）は、いずれも図に示すような順序に応じて１フレームのオーディオデータとして組み立てられてもよい。このようにして、全てのサウンドゾーンに対して同時に収集されたマルチチャンネルのオーディオ信号を、同時に車載ホストにおけるウェイクアップエンジンに入力できることを保証することができる。
引き続き図３を参照し、ウェイクアップエンジンは、４つのスレッドを含み、それぞれスレッド１～スレッド４であり、ここで、スレッド１は、サウンドゾーン１に対応し、マイク１が収集したオーディオ信号ストリームを処理し、スレッド２は、サウンドゾーン２に対応し、マイク２が収集したオーディオ信号ストリームを処理し、スレッド３は、サウンドゾーン３に対応し、マイク３が収集したオーディオ信号ストリームを処理し、スレッド４は、サウンドゾーン４に対応し、マイク４が収集したオーディオ信号ストリームを処理する。
引き続き図３を参照し、オーディオ信号１～オーディオ信号４により組み立てられたオーディオデータがウェイクアップエンジンに入力された後、ウェイクアップエンジンは、該音声データからオーディオ信号１～オーディオ信号４のように分割し、オーディオ信号１をスレッド１に入力して音声処理を行い、オーディオ信号２をスレッド２に入力して音声処理を行い、オーディオ信号３をスレッド３に入力して音声処理を行い、オーディオ信号４をスレッド４に入力して音声処理を行ってよい。
理解されるべきこととして、本開示の実施例において、Ｔ１時点で収集された４チャンネルのオーディオ信号に対して、スレッド１のみにウェイクアップ結果があれば、ウェイクアップされたのはサウンドゾーン１であることを意味し、スレッド１及びスレッド２にいずれもウェイクアップ結果があり、かつオーディオ信号１がオーディオ信号２よりも強ければ、実際にウェイクアップされたのはサウンドゾーン１であることを意味する。サウンドゾーン１がウェイクアップされた後、後続としてマイク１により収集されたオーディオ信号ストリームを、対応する音声認識モジュールに送信して音声認識を行ってよく、それによって、サウンドゾーン１内におけるユーザと車載ホストとの間の音声インタラクションを実現する。
本開示の実施例において、特定のデータフォーマットに従い、各チャンネルのオーディオ信号を組み立ててよく、例えば、同時に収集されたＮチャンネルのオーディオ信号に対して、オーディオ信号１からオーディオ信号Ｎまでの順序に従い、順次１つのＮ次元のオーディオ配列に組み立ててよく、該Ｎ次元のオーディオ配列は、１フレームのオーディオデータとしてウェイクアップエンジンに伝送されてよい。
本開示の実施例によれば、特殊なデータ伝送方式（すなわち、各時点で収集されたマルチチャンネルのオーディオ信号を１フレームずつのオーディオデータとして伝送すること）を採用し、単一ウェイクアップエンジンが複数のサウンドゾーンを同時に監視できることを保証することができる。
また、関連技術において、マルチサウンドゾーンマルチウェイクアップエンジンの音声ウェイクアップの手段の採用は、コールバックが複雑となることに繋がる可能性があり、業務ロジックが制御されにくいという問題を招く。例えば、マルチサウンドゾーンマルチウェイクアップエンジンの手段において、車載ホストに複数のウェイクアップエンジンが設置される必要があり、各ウェイクアップエンジンに対して、１つのデータ伝送線が設置される必要があり、それにより、車載ホストのデータ伝送線が非常に複雑となりかつ管理されにくい。さらに、例えば、マルチサウンドゾーンマルチウェイクアップエンジンの手段において、車載ホストにおける複数のウェイクアップエンジンは、複数のデータ線の方式で、対応するオーディオデータを取得し、それにより、複数のウェイクアップエンジンは、同一時点で収集されたマルチチャンネルのオーディオデータを同時に取得しにくい。
本開示の実施例において、マルチサウンドゾーン単一ウェイクアップエンジンの音声ウェイクアップの手段を採用しており、したがって、コールバックはマルチサウンドゾーンマルチウェイクアップエンジンの手段よりも簡単であり、かつ業務ロジックもより制御されやすい。例えば、上記の特殊なデータ伝送方式を採用するため、単一ウェイクアップエンジンが同時に複数のサウンドゾーンを監視できることを保証することができ、すなわち、ウェイクアップエンジンが同一時点で収集された多重オーディオデータを同時に取得することを保証することができる。
本開示の実施例によれば、本開示はマルチサウンドゾーン音声認識方法を提供する。
図４は、本開示の実施例に係るマルチサウンドゾーン音声認識方法を例示的に示すフローチャートである。
図４に示すように、マルチサウンドゾーン音声認識方法４００は、操作Ｓ４１０～Ｓ４３０を含んでよい。
操作Ｓ４１０では、Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定する。
操作Ｓ４２０では、第１ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得する。
操作Ｓ４３０では、オーディオ信号を音声認識エンジンに伝送して音声認識を行う。
説明すべきこととして、本開示の実施例において、上記任意の１つ又は複数の実施例が提供するマルチサウンドゾーン音声ウェイクアップ方法を採用して、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーン（第１ウェイクアップ済みサウンドゾーン）を特定してよく、ここでは説明を省略する。
ウェイクアップ済みサウンドゾーンを特定した後、後続として該サウンドゾーンに収集されたオーディオ信号ストリームを音声認識モジュールに送信して音声処理を行ってよく、具体的な方法は、上記実施例における説明を参照してよく、本開示はここで説明を省略する。
本開示の実施例が提供するマルチサウンドゾーン単一ウェイクアップエンジンの手段によれば、マルチサウンドゾーンの音声ウェイクアップをサポートできるだけでなく、さらに車載ホスト又はスマートスピーカにおけるＣＰＵ及びメモリ等のリソースのオーバーヘッドを減少させることもでき、それによって、車載ホスト又はスマートスピーカの性能を保証し、すなわち車両又はスマートスピーカの他のアプリケーションが正常に動作できることを保証する。
また、関連技術において、マルチサウンドゾーンマルチウェイクアップエンジンの音声ウェイクアップの手段の採用は、コールバックが複雑となることに繋がる可能性があり、業務ロジックが制御しにくいという問題を招く。例えば、マルチサウンドゾーンマルチウェイクアップエンジンの手段において、車載ホストに複数のウェイクアップエンジンが設置される必要があり、各ウェイクアップエンジンは、一般的に複数のエンジン状態を有し、複数のウェイクアップエンジンは、必然として複数のエンジン状態に直面し、車載ホストのエンジン状態が非常に複雑で管理されにくい。
一方、本開示の実施例において、マルチサウンドゾーン単一ウェイクアップエンジンの音声ウェイクアップの手段を採用し、したがって、コールバックがマルチサウンドゾーンマルチウェイクアップエンジンの手段よりも簡単であり、かつ業務ロジックもより制御されやすい。
また、本開示の実施例によれば、さらに製品（例えば、スマートスピーカなどの電子機器や車載端末など）の能力境界を拡張してよく、それによって、音声ウェイクアップの手段は、ローエンド製品に対してよりフレンドリーである。
選択可能な実施例として、該方法は、さらにＮ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定した後、以下の操作を実行することを含んでよい。
ピックアップが予め設定された時間帯内にずっとオーディオ信号を収集していないことに応じて、第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖する。
上記のいずれか１つ又は複数の実施例で提供されたマルチサウンドゾーン音声ウェイクアップ方法を改めて実行し、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンを改めて特定する。
本開示の実施例において、あるサウンドゾーンがウェイクアップされた後、指定された所定の時間帯内にユーザが装置とずっと音声インタラクションを行うことがなければ、現在のウェイクアップ済みサウンドゾーンを閉鎖してよく、同時に、上記実施例が提供する複数のサウンドゾーンの音声ウェイクアップ方法を利用し、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンを改めて特定した後、さらに音声認識を行う。
説明すべきこととして、本開示の実施例において、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンを改めて特定することは、上記の任意の１つ又は複数の実施例が提供するマルチサウンドゾーン音声ウェイクアップ方法を採用してもよく、ここでは説明を省略する。
本開示の実施例によれば、予め設定されたポリシーに基づいて、機器の音声認識システムを柔軟に起動/停止することができる。
選択可能な実施例として、該方法は、音声認識を行うプロセスにおいて、以下の操作を実行することをさらに含んでよい。
Ｎ個のサウンドゾーンのうち第２ウェイクアップ済みサウンドゾーンが現れたことに応じて、第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖し、ここで、第２ウェイクアップ済みサウンドゾーンの権限は、第１ウェイクアップ済みサウンドゾーンの権限より高い。
第２ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得する。
該オーディオ信号を音声認識エンジンに送信して音声認識を行う。
本開示の実施例において、あるサウンドゾーンに対して音声認識を行うプロセスにおいて、他のサウンドゾーン内にウェイクアップ信号が発生しており、かつ該他のサウンドゾーンの権限が現在音声認識を行っているサウンドゾーンの権限より高いと、現在音声認識を行っているサウンドゾーンの音声認識チャンネルを閉鎖してよく、同時に、該他のサウンドゾーンに対してオーディオ信号ストリームを収集し続けて音声認識モジュールに伝送することによって、音声認識を行う。
本開示の実施例によれば、各サウンドゾーンを柔軟に制御し、権限がより高いサウンドゾーンから送信された音声コマンドを優先処理する目的を実現することができ、それによって、緊急事情がタイムリーに処理できないことを回避することができる。
本開示の実施例によれば、本開示は、さらにマルチサウンドゾーン音声ウェイクアップ装置を提供する。
図５は、本開示の実施例に係るマルチサウンドゾーン音声ウェイクアップ装置を例示的示すブロック図である。
図５に示すように、マルチサウンドゾーン音声ウェイクアップ装置５００は、第１取得モジュール５１０、入力モジュール５２０及び第１特定モジュール５３０を含む。
第１取得モジュール５１０は、Ｎチャンネルのオーディオ信号を取得し、ここで、各チャンネルのオーディオ信号は、Ｎ個のサウンドゾーンのうち１つのサウンドゾーンに対応する。
入力モジュール５２０は、該Ｎチャンネルのオーディオ信号とウェイクアップエンジンにおけるＮ個の同期オーディオ処理スレッドとの間の対応関係に基づいて、各チャンネルのオーディオ信号を、１つの対応するオーディオ処理スレッドに入力する。
第１特定モジュール５３０は、該Ｎ個の同期オーディオ処理スレッドのうち、ウェイクアップ結果が発生したスレッドに応じて、該ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、該Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。
選択可能な実施例として、装置は、該Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、該Ｎ個の同期オーディオ処理スレッドに複数のスレッドのウェイクアップ結果が同時にあったか否かを特定する第２特定モジュールと、該Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったことを特定し、同時にウェイクアップ結果があった複数のスレッドのうち、入力オーディオ信号が最も強い１つの目標スレッドを特定する第３特定モジュールとを含んでよい。ここで、該第１特定モジュールは、さらに、該目標スレッドに対応する１つの目標サウンドゾーンを、該Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。
選択可能な実施例として、該第１取得モジュールは、Ｎ個のピックアップを利用して同時にＮチャンネルのオーディオ信号を収集し、ここで、各ピックアップが該Ｎ個のサウンドゾーンのうち１つのサウンドゾーン内に設置される収集ユニットと、該Ｎ個のピックアップが同時に収集したＮチャンネルのオーディオ信号を１フレームのオーディオデータとして組み合わせて該ウェイクアップエンジンに伝送する伝送ユニットと、該ウェイクアップエンジンにより、該オーディオデータから対応するＮチャンネルのオーディオ信号を抽出することによって、該入力モジュールが該対応関係に応じて、抽出されたＮチャンネルのオーディオ信号をそれぞれ一つの対応するオーディオ処理スレッドに入力して処理する抽出ユニットとを含む。
理解されるべきこととして、本開示のマルチサウンドゾーン音声ウェイクアップ装置部分の実施例は、本開示のマルチサウンドゾーン音声ウェイクアップ方法部分の実施例に対応して同じ又は類似であり、解決しようとする課題と達成された効果も対応して同じ又は類似であり、ここでは説明を省略する。
本開示の実施例によれば、本開示は、さらにマルチサウンドゾーン音声認識装置を提供する。
図６は、本開示の実施例に係るマルチサウンドゾーン音声認識装置を例示的に示すブロック図である。
図６に示すように、マルチサウンドゾーン音声認識装置６００は、第４特定モジュール６１０、第２取得モジュール６２０及び第１音声認識モジュール６３０を含む。
第４特定モジュール６１０は、本開示の実施例に係るマルチサウンドゾーン音声ウェイクアップ装置に基づいて、Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定する。
第２取得モジュール６２０は、該第１ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得する。
第１音声認識モジュール６３０は、該オーディオ信号を音声認識エンジンに伝送して音声認識を行う。
選択可能な実施例として、装置は、該Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定した後、該ピックアップが所定の時間帯内にずっとオーディオ信号を収集していないことに応じて、該第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖する第１サウンドゾーン閉鎖モジュールと、本開示の実施例のマルチサウンドゾーン音声ウェイクアップ装置に基づいて、該Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンを改めて特定する第５の特定モジュールとをさらに含む。
選択可能な実施例として、装置は、該音声認識モジュールが音声認識を行うプロセスにおいて、該Ｎ個のサウンドゾーンのうち第２ウェイクアップ済みサウンドゾーンが現れたことに応じて、該第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖し、ここで、該第２ウェイクアップ済みサウンドゾーンの権限が該第１ウェイクアップ済みサウンドゾーンの権限より高い第２サウンドゾーン閉鎖モジュールと、該第２ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得する第３取得モジュールと、該オーディオ信号を該音声認識エンジンに伝送して音声認識を行う第２音声認識モジュールとをさらに含む。
理解されるべきこととして、本開示のマルチサウンドゾーン音声認識装置部分の実施例は、本開示のマルチサウンドゾーン音声認識方法部分の実施例に対応して同じ又は類似であり、解決しようとする課題と達成された効果も同じ又は類似であり、ここでは説明を省略する。
本開示の実施例によれば、本開示は、さらに車両を提供する。
該車両は、本開示の上記のいずれかの実施例におけるマルチサウンドゾーン音声ウェイクアップ装置と、本開示の上記のいずれかの実施例におけるマルチサウンドゾーン音声認識装置とを含んでよい。
説明すべきこととして、本開示の実施例におけるマルチサウンドゾーン音声ウェイクアップ装置及びマルチサウンドゾーン音声認識装置は、上記の任意の１つ又は複数の実施例が提供するマルチサウンドゾーン音声ウェイクアップ装置及びマルチサウンドゾーン音声認識装置の説明及び対応する方法の説明を参照してよく、ここでは説明を省略する。
本開示の実施例によれば、本開示は、さらに別の車両を提供する。
該車両は、本開示の上記のいずれかの実施例における車載端末を含んでよい。
説明すべきこととして、本開示の実施例における車載端末は、上記の任意の１つ又は複数の実施例が提供する車載端末の説明を参照しよく、ここで説明を省略する。
本開示の実施例によれば、本開示は、さらに電子機器、可読記憶媒体及びコンピュータプログラムを提供する。
図７は、本開示の実施の形態を実施することが可能な電子機器７００の一例を例示的に示すブロック図である。電子機器は、様々な形式のデジタルコンピュータを示すことを目的とし、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ及び他の適切なコンピュータである。電子機器は、さらに様々な形式の移動装置を示してよく、例えば、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器及び他の類似の演算装置である。本明細書に示された部材、それらの接続及び関係、及びそれらの機能は、例示に過ぎず、本明細書に記載された及び/又は要求された本開示の実現を限定しない。
図７に示すように、電子機器７００は、計算ユニット７０１を含み、計算ユニット７０１は、リードオンリーメモリ（ＲＯＭ）７０２に記憶されたコンピュータプログラム又は記憶ユニット７０８からランダムアクセスメモリ（ＲＡＭ）７０３にロードされたコンピュータプログラムに基づいて、様々な適切な動作及び処理を実行してもよい。ＲＡＭ ７０３には、さらに電子機器７００の操作に必要な様々なプログラム及びデータを記憶してもよい。計算ユニット７０１、ＲＯＭ ７０２およびＲＡＭ ７０３は、バス７０４に介して相互に接続される。入出力インタフェース７０５も、バス７０４に接続される。
電子機器７００における複数の部品は、Ｉ/Ｏインタフェース７０５に接続され、例えばキーボード、マウス等の入力ユニット７０６と、例えば様々な種類のディスプレイ、スピーカ等の出力ユニット７０７と、例えば磁気ディスク、光ディスク等の記憶ユニット７０８と、例えばネットワークカード、モデム、無線通信トランシーバ等の通信ユニット７０９とを含む。通信ユニット７０９は、電子機器７００がインターネット等のコンピュータネットワーク及び/又は各種の電気通信ネットワークを介して他の機器と情報/データをやり取りすることを可能にする。
演算ユニット７０１は、処理及び演算能力を有する各種の汎用及び/又は専用の処理モジュールであってもよい。演算ユニット７０１の幾つかの例としては、中央処理装置（ＣＰＵ）、ＧＰＵ（Graphics Processing Unit）、各種専用の人工知能（ＡＩ）演算チップ、各種動作機械学習モデルアルゴリズムをランニングする演算ユニット、ＤＳＰ（Digital Signal Processor）、並びに任意の適切なプロセッサ、コントローラ、マイクロコントローラ等が挙げられるが、これらに限定されない。演算ユニット７０１は、例えばマルチサウンドゾーン音声ウェイクアップ・認識方法のような上記に記載の各方法及び処理を実行する。例えば、いくつかの実施例において、マルチサウンドゾーン音声ウェイクアップ・認識方法は、例えば記憶ユニット７０８のような機械可読媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現されてもよい。いくつかの実施例において、コンピュータプログラムの一部又は全部は、ＲＯＭ７０２及び/又は通信ユニット７０９を介して電子機器７００にロード及び/又はインストールされてもよい。コンピュータプログラムがＲＡＭ７０３にロードされて演算ユニット７０１により実行される場合、上記に記載のマルチサウンドゾーン音声ウェイクアップ・認識方法の１つ又は複数の操作を実行してもよい。代替的に、他の実施例において、演算ユニット７０１は、他の任意の適切な方式（例えば、ファームウェアを介する）によりマルチサウンドゾーン音声ウェイクアップ・認識方法を実行するように構成されてもよい。
本明細書で説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、コンプレックスプログラムマブルロジックデバイス（ＣＰＬＤ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせにおいて実現されてもよい。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラム可能なプロセッサを含むプログラムブルシステムで実行され及び/又は解釈されることが可能であり、該プログラムブルプロセッサは、専用又は汎用のプログラムブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、かつデータ及び命令を該記憶システム、該少なくとも１つの入力装置、及び該少なくとも１つの出力装置に伝送することができることを含んでよい。
本開示の方法を実施するためのプログラムコードは、１つ又は複数の言語の任意の組み合わせで作成されてもよい。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ又は他のプログラムブルデータ処理装置のプロセッサ又はコントローラに提供されてもよく、それによって、プログラムコードがプロセッサ又はコントローラにより実行される時に、フローチャート及び/又はブロック図に規定された機能/操作が実施される。プログラムコードは、機器に完全に実行されてもよく、部分的に機器で実行されてもよく、独立したソフトウェアパッケージとして部分的に機器で実行され、かつ部分的に遠隔機器で実行されるか又は完全に遠隔機器又はサーバで実行されてもよい。
本開示のコンテキストにおいて、機械可読媒体は、有形の媒体であってもよく、命令実行システム、装置又は電子機器に使用され、又は命令実行システム、装置又は電子機器と組み合わせて使用されるプログラムを含んで又は記憶してよい。機械可読媒体は、機械可読信号媒体又は機械可読記憶媒体であってもよい。機械可読媒体は、電子の、磁気的、光学的、電磁的、赤外線の、又は半導体システム、装置又は電子機器、又は上記内容の任意の適切な組み合わせを含んでもよいが、それらに限定されない。機械可読記憶媒体のより具体的な例としては、１つ以上の線による電気的接続、携帯式コンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、コンパクトディスクリードオンリーメモリ（ＣＤ-ＲＯＭ）、光学記憶装置、磁気記憶装置、又は上記内容の任意の適切な組み合わせを含む。
ユーザとのインタラクションを提供するために、コンピュータにここで説明されたシステム及び技術を実施させてもよく、該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを備え、ユーザは、該キーボード及び該ポインティングデバイスを介して入力をコンピュータに提供することができる。他の種類の装置は、さらにユーザとのインタラクションを提供してもよく、例えば、ユーザに提供されたフィードバックは、いかなる形式のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、かついかなる形式（音声入力、音声入力又は、触覚入力を含む）でユーザからの入力を受信してもよい。
ここで説明されたシステム及び技術は、バックグラウンド部品を含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェア部品を含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンド部品を含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザが該グラフィカルユーザインタフェース又は該ネットワークブラウザを介してここで説明されたシステム及び技術の実施形態とインタラクションすることができる）、又はこのようなバックグラウンド部品、ミドルウェア部品、又はフロントエンド部品のいずれかの組み合わせを含むコンピューティングシステムに実施されることが可能である。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によりシステムの部品を互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを例示的に含む。
コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバ同士は、一般的に離れており、通常、通信ネットワークを介してインタラクションする。クライアントとサーバとの関係は、該当するコンピュータ上でランニングし、クライアント－サーバの関係を有するコンピュータプログラムによって生成される。サーバは、クラウドサーバであってもよく、クラウドコンピューティングサーバ又はクラウドホストと呼ばれ、クラウドコンピューティング業務システムにおける１つのホスト製品であり、それによって、従来の物理ホストとＶＰＳ業務（“Virtual Private Server”、又は“ＶＰＳ”と略称する）に存在する管理難度が大きく、業務拡張性が弱いという欠陥を解決している。サーバは、分散型システムのサーバであってもよく、又はブロックチェーンを組み合わせしたサーバであってもよい。
本開示の技術的手段において、関するユーザ個人情報の収集、記憶、使用、加工、伝送、提供開示及び応用等の処理は、いずれも相関法規則の規定に適合し、必要なセキュリティ対策を取り、かつ公序良俗に反するものではない。
本開示の技術的手段において、ユーザの個人情報を取得するか又は収集する前に、いずれもユーザの許可又は同意を取得する。
理解されるべきこととして、以上に示した様々な形式のフローを使用してもよく、操作を改めてソーティングし、追加するか又は削除する操作であってもよい。例えば、本発明に記載の各操作は並列的に実行されてもよいし異なる順序で実行されてもよく、本開示の技術的解決手段の所望の結果を実現することができれば、本明細書はここで限定されない。
以上説明した情報表示方法、装置、電子機器、記憶媒体およびコンピュータプログラムは、以下のように表現することができる。
第１態様のマルチサウンドゾーン音声ウェイクアップ方法は、
Ｎチャンネルのオーディオ信号を取得し、各チャンネルのオーディオ信号は、Ｎ個のサウンドゾーンのうち１つのサウンドゾーンに対応することと、
前記Ｎチャンネルのオーディオ信号とウェイクアップエンジンにおけるＮ個の同期オーディオ処理スレッドとの間の対応関係に基づいて、各チャンネルのオーディオ信号を１つの対応するオーディオ処理スレッドに入力することと、
前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定することとを含む。
第２態様のマルチサウンドゾーン音声ウェイクアップ方法は、
第１態様に記載の方法であって、
前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったか否かを特定することと、
前記Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったことを特定することに応じて、同時にウェイクアップ結果があった複数のスレッドのうち入力されたオーディオ信号が最も強い１つの目標スレッドを特定することとをさらに含み、
前記ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定することは、前記目標スレッドに対応する１つの目標サウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定することを含む。
第３態様のマルチサウンドゾーン音声ウェイクアップ方法は、
第１態様に記載の方法であって、
前記Ｎチャンネルのオーディオ信号を取得することは、
Ｎ個のピックアップを利用して同時にＮチャンネルのオーディオ信号を収集し、各ピックアップは、前記Ｎ個のサウンドゾーンのうち１つのサウンドゾーン内に設置されることと、
前記Ｎ個のピックアップが同時に収集したＮチャンネルのオーディオ信号を、１フレームのオーディオデータとして組み合わせて、前記ウェイクアップエンジンに伝送することと、
前記ウェイクアップエンジンにより、対応するＮチャンネルのオーディオ信号を、前記オーディオデータから抽出することによって、前記対応関係に応じてそれぞれ１つの対応するオーディオ処理スレッドに入力して処理することとを含む。
第４態様のマルチサウンドゾーン音声認識方法は、
第１～３態様のいずれか一つに記載のマルチサウンドゾーン音声ウェイクアップ方法に基づいて、Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定することと、
前記第１ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得することと、
前記オーディオ信号を音声認識エンジンに伝送して音声認識を行うこととを含む。
第５態様のマルチサウンドゾーン音声認識方法は、
第４態様に記載の方法であって、
前記Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定した後、
前記ピックアップが予め設定された時間帯内にオーディオ信号を収集していないことに応じて、前記第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖することと、
請求項１～３のいずれか一項に記載のマルチサウンドゾーン音声ウェイクアップ方法に基づいて、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンを改めて特定することとをさらに含む。
第６態様のマルチサウンドゾーン音声認識方法は、
第４態様に記載の方法であって、
音声認識を行うプロセスにおいて、
前記Ｎ個のサウンドゾーンのうち第２ウェイクアップ済みサウンドゾーンが現れたことに応じて、前記第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖し、前記第２ウェイクアップ済みサウンドゾーンの権限は、前記第１ウェイクアップ済みサウンドゾーンの権限より高いこと、
前記第２ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得することと、
該オーディオ信号を前記音声認識エンジンに伝送して音声認識を行うこととをさらに含む。
第７態様のマルチサウンドゾーン音声ウェイクアップ装置は、
Ｎチャンネルのオーディオ信号を取得し、各チャンネルのオーディオ信号が、Ｎ個のサウンドゾーンのうち１つのサウンドゾーンに対応する第１取得モジュールと、
前記Ｎチャンネルのオーディオ信号とウェイクアップエンジンにおけるＮ個の同期オーディオ処理スレッドとの間の対応関係に基づいて、各チャンネルのオーディオ信号を１つの対応するオーディオ処理スレッドに入力する入力モジュールと、
前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する第１特定モジュールとを含む。
第８態様のマルチサウンドゾーン音声ウェイクアップ装置は、
第７態様に記載の装置であって、
前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったか否かを特定する第２特定モジュールと、
前記Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったことを特定することに応じて、同時にウェイクアップ結果があった複数のスレッドのうち入力されたオーディオ信号が最も強い１つの目標スレッドを特定する第３特定モジュールとをさらに含み、
前記第１特定モジュールは、さらに、前記目標スレッドに対応する１つの目標サウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンとして特定する。
第９態様のマルチサウンドゾーン音声ウェイクアップ装置は、
第７態様に記載の装置であって、
前記第１取得モジュールは、
Ｎ個のピックアップを利用して、同時にＮチャンネルのオーディオ信号を収集し、各ピックアップが前記Ｎ個のサウンドゾーンのうち１つのサウンドゾーン内に設置される収集ユニットと、
前記Ｎ個のピックアップが同時に収集したＮチャンネルのオーディオ信号を、１フレームのオーディオデータとして組み合わせて、前記ウェイクアップエンジンに伝送する伝送ユニットと、
前記ウェイクアップエンジンにより、対応するＮチャンネルのオーディオ信号を、前記オーディオデータから抽出することによって、前記入力モジュールが前記対応関係に応じて、抽出されたＮチャンネルのオーディオ信号をそれぞれ１つの対応するオーディオ処理スレッドに入力して処理する抽出ユニットとを含む。
第１０態様のマルチサウンドゾーン音声認識装置は、
第７～９態様のいずれか一つに記載のマルチサウンドゾーン音声ウェイクアップ装置に基づいて、Ｎ個のサウンドゾーンうち第１ウェイクアップ済みサウンドゾーンを特定する第４特定モジュールと、
前記第１ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得する第２取得モジュールと、
前記オーディオ信号を音声認識エンジンに伝送して、音声認識を行う第１音声認識モジュールとを含む。
第１１態様のマルチサウンドゾーン音声認識装置は、
第１０態様に記載の装置であって、
前記Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定した後、前記ピックアップが所定の時間帯内にオーディオ信号を収集していないことに応じて、前記第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖する第１音声サウンドゾーン閉鎖モジュールと、
請求項７～９のいずれか一項に記載のマルチサウンドゾーン音声ウェイクアップ装置に基づいて、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンを改めて特定する第５特定モジュールとをさらに含む。
第１２態様のマルチサウンドゾーン音声認識装置は、
第１０態様に記載の装置であって、
前記第１音声認識モジュールが音声認識を行うプロセスにおいて、前記Ｎ個のサウンドゾーンのうち第２ウェイクアップ済みサウンドゾーンが現れたことに応じて、前記第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖し、前記第２ウェイクアップ済みサウンドゾーンの権限が、前記第１ウェイクアップ済みサウンドゾーンの権限より高い第２サウンドゾーン閉鎖モジュールと、
前記第２ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得する第３取得モジュールと、
該オーディオ信号を前記音声認識エンジンに伝送して、音声認識を行う第２音声認識モジュールとをさらに含む。
第１３態様の電子機器は、
Ｎ個の同期オーディオ処理スレッドを含むウェイクアップエンジンを備え、
各音声処理スレッドは、１つのサウンドゾーンに対応し、対応するサウンドゾーン内に設置されたピックアップが収集した１チャンネルのオーディオ信号を処理し、
前記ウェイクアップエンジンは、前記Ｎ個の同期オーディオ処理スレッドの処理結果を監視し、前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果があったスレッドに対応するサウンドゾーンを、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。
第１４態様の車載端末は、
Ｎ個の同期オーディオ処理スレッドを含むウェイクアップエンジンを備え、
各オーディオ処理スレッドは、１つの車載サウンドゾーンに対応し、対応する車載サウンドゾーン内に設置されたピックアップが収集した１チャンネルのオーディオ信号を処理し、
前記ウェイクアップエンジンは、前記Ｎ個の同期オーディオ処理スレッドの処理結果を監視し、前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果があったスレッドに対応する車載サウンドゾーンを、Ｎ個の車載サウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する。
第１５態様の車両は、
第７～９態様のいずれか一つに記載のマルチサウンドゾーン音声ウェイクアップ装置と、
第１０～１２態様のいずれか一つに記載のマルチサウンドゾーン音声認識装置とを含む。
第１６態様の車両は、
第１４態様に記載の車載端末を備える。
第１７態様の電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されたメモリとを備え、
前記メモリは、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、
前記命令が前記少なくとも１つのプロセッサにより実行されることによって、前記少なくとも１つのプロセッサは第１～６態様のいずれか一つに記載の方法を実行することができる。
第１８態様の記憶媒体は、
コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
前記コンピュータ命令は、コンピュータに第１～６態様のいずれか一つに記載の方法を実行させる。
第１９態様のコンピュータプログラムは、
プロセッサにより実行される場合に、第１～６態様のいずれか一つに記載の方法の操作を実現する。
上記具体的な実施形態は、本開示の保護範囲を限定するものではない。当業者であれば理解すべきことは、設計要件及び他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション及び代替を行うことができることである。本開示の精神と原則内で行われた任意の修正、均等置換及び改良などは、いずれも本開示の保護範囲内に含まれるべきである。

Claims (19)

  1. Ｎチャンネルのオーディオ信号を取得し、各チャンネルのオーディオ信号は、Ｎ個のサウンドゾーンのうち１つのサウンドゾーンに対応することと、
    前記Ｎチャンネルのオーディオ信号とウェイクアップエンジンにおけるＮ個の同期オーディオ処理スレッドとの間の対応関係に基づいて、各チャンネルのオーディオ信号を１つの対応するオーディオ処理スレッドに入力することと、
    前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定することとを含むマルチサウンドゾーン音声ウェイクアップ方法。
  2. 請求項１に記載の方法であって、
    前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったか否かを特定することと、
    前記Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったことを特定することに応じて、同時にウェイクアップ結果があった複数のスレッドのうち入力されたオーディオ信号が最も強い１つの目標スレッドを特定することとをさらに含み、
    前記ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定することは、前記目標スレッドに対応する１つの目標サウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定することを含むマルチサウンドゾーン音声ウェイクアップ方法。
  3. 請求項１に記載の方法であって、
    前記Ｎチャンネルのオーディオ信号を取得することは、
    Ｎ個のピックアップを利用して同時にＮチャンネルのオーディオ信号を収集し、各ピックアップは、前記Ｎ個のサウンドゾーンのうち１つのサウンドゾーン内に設置されることと、
    前記Ｎ個のピックアップが同時に収集したＮチャンネルのオーディオ信号を、１フレームのオーディオデータとして組み合わせて、前記ウェイクアップエンジンに伝送することと、
    前記ウェイクアップエンジンにより、対応するＮチャンネルのオーディオ信号を、前記オーディオデータから抽出することによって、前記対応関係に応じてそれぞれ１つの対応するオーディオ処理スレッドに入力して処理することとを含むマルチサウンドゾーン音声ウェイクアップ方法。
  4. 請求項１～３のいずれか一項に記載のマルチサウンドゾーン音声ウェイクアップ方法に基づいて、Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定することと、
    前記第１ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得することと、
    前記オーディオ信号を音声認識エンジンに伝送して音声認識を行うこととを含むマルチサウンドゾーン音声認識方法。
  5. 請求項４に記載の方法であって、
    前記Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定した後、
    前記ピックアップが予め設定された時間帯内にオーディオ信号を収集していないことに応じて、前記第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖することと、
    請求項１～３のいずれか一項に記載のマルチサウンドゾーン音声ウェイクアップ方法に基づいて、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンを改めて特定することとをさらに含むマルチサウンドゾーン音声認識方法。
  6. 請求項４に記載の方法であって、
    音声認識を行うプロセスにおいて、
    前記Ｎ個のサウンドゾーンのうち第２ウェイクアップ済みサウンドゾーンが現れたことに応じて、前記第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖し、前記第２ウェイクアップ済みサウンドゾーンの権限は、前記第１ウェイクアップ済みサウンドゾーンの権限より高いこと、
    前記第２ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得することと、
    該オーディオ信号を前記音声認識エンジンに伝送して音声認識を行うこととをさらに含むマルチサウンドゾーン音声認識方法。
  7. Ｎチャンネルのオーディオ信号を取得し、各チャンネルのオーディオ信号が、Ｎ個のサウンドゾーンのうち１つのサウンドゾーンに対応する第１取得モジュールと、
    前記Ｎチャンネルのオーディオ信号とウェイクアップエンジンにおけるＮ個の同期オーディオ処理スレッドとの間の対応関係に基づいて、各チャンネルのオーディオ信号を１つの対応するオーディオ処理スレッドに入力する入力モジュールと、
    前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記ウェイクアップ結果があったスレッドに対応するサウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する第１特定モジュールとを含むマルチサウンドゾーン音声ウェイクアップ装置。
  8. 請求項７に記載の装置であって、
    前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果が現れたスレッドに応じて、前記Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったか否かを特定する第２特定モジュールと、
    前記Ｎ個の同期オーディオ処理スレッドのうち同時に複数のスレッドにウェイクアップ結果があったことを特定することに応じて、同時にウェイクアップ結果があった複数のスレッドのうち入力されたオーディオ信号が最も強い１つの目標スレッドを特定する第３特定モジュールとをさらに含み、
    前記第１特定モジュールは、さらに、前記目標スレッドに対応する１つの目標サウンドゾーンを、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンとして特定するマルチサウンドゾーン音声ウェイクアップ装置。
  9. 請求項７に記載の装置であって、
    前記第１取得モジュールは、
    Ｎ個のピックアップを利用して、同時にＮチャンネルのオーディオ信号を収集し、各ピックアップが前記Ｎ個のサウンドゾーンのうち１つのサウンドゾーン内に設置される収集ユニットと、
    前記Ｎ個のピックアップが同時に収集したＮチャンネルのオーディオ信号を、１フレームのオーディオデータとして組み合わせて、前記ウェイクアップエンジンに伝送する伝送ユニットと、
    前記ウェイクアップエンジンにより、対応するＮチャンネルのオーディオ信号を、前記オーディオデータから抽出することによって、前記入力モジュールが前記対応関係に応じて、抽出されたＮチャンネルのオーディオ信号をそれぞれ１つの対応するオーディオ処理スレッドに入力して処理する抽出ユニットとを含むマルチサウンドゾーン音声ウェイクアップ装置。
  10. 請求項７～９のいずれか一項に記載のマルチサウンドゾーン音声ウェイクアップ装置に基づいて、Ｎ個のサウンドゾーンうち第１ウェイクアップ済みサウンドゾーンを特定する第４特定モジュールと、
    前記第１ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得する第２取得モジュールと、
    前記オーディオ信号を音声認識エンジンに伝送して、音声認識を行う第１音声認識モジュールとを含むマルチサウンドゾーン音声認識装置。
  11. 請求項１０に記載の装置であって、
    前記Ｎ個のサウンドゾーンのうち第１ウェイクアップ済みサウンドゾーンを特定した後、前記ピックアップが所定の時間帯内にオーディオ信号を収集していないことに応じて、前記第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖する第１音声サウンドゾーン閉鎖モジュールと、
    請求項７～９のいずれか一項に記載のマルチサウンドゾーン音声ウェイクアップ装置に基づいて、前記Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンを改めて特定する第５特定モジュールとをさらに含むマルチサウンドゾーン音声認識装置。
  12. 請求項１０に記載の装置であって、
    前記第１音声認識モジュールが音声認識を行うプロセスにおいて、前記Ｎ個のサウンドゾーンのうち第２ウェイクアップ済みサウンドゾーンが現れたことに応じて、前記第１ウェイクアップ済みサウンドゾーンの音声認識チャンネルを閉鎖し、前記第２ウェイクアップ済みサウンドゾーンの権限が、前記第１ウェイクアップ済みサウンドゾーンの権限より高い第２サウンドゾーン閉鎖モジュールと、
    前記第２ウェイクアップ済みサウンドゾーン内に設置されたピックアップが収集したオーディオ信号を取得する第３取得モジュールと、
    該オーディオ信号を前記音声認識エンジンに伝送して、音声認識を行う第２音声認識モジュールとをさらに含むマルチサウンドゾーン音声認識装置。
  13. Ｎ個の同期オーディオ処理スレッドを含むウェイクアップエンジンを備え、
    各音声処理スレッドは、１つのサウンドゾーンに対応し、対応するサウンドゾーン内に設置されたピックアップが収集した１チャンネルのオーディオ信号を処理し、
    前記ウェイクアップエンジンは、前記Ｎ個の同期オーディオ処理スレッドの処理結果を監視し、前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果があったスレッドに対応するサウンドゾーンを、Ｎ個のサウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する電子機器。
  14. Ｎ個の同期オーディオ処理スレッドを含むウェイクアップエンジンを備え、
    各オーディオ処理スレッドは、１つの車載サウンドゾーンに対応し、対応する車載サウンドゾーン内に設置されたピックアップが収集した１チャンネルのオーディオ信号を処理し、
    前記ウェイクアップエンジンは、前記Ｎ個の同期オーディオ処理スレッドの処理結果を監視し、前記Ｎ個の同期オーディオ処理スレッドのうちウェイクアップ結果があったスレッドに対応する車載サウンドゾーンを、Ｎ個の車載サウンドゾーンのうちウェイクアップ済みサウンドゾーンに特定する車載端末。
  15. 請求項７に記載のマルチサウンドゾーン音声ウェイクアップ装置と、
    請求項１０に記載のマルチサウンドゾーン音声認識装置とを含む車両。
  16. 請求項１４に記載の車載端末を備える車両。
  17. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサと通信接続されたメモリとを備え、
    前記メモリは、前記少なくとも１つのプロセッサにより実行可能な命令を記憶しており、
    前記命令が前記少なくとも１つのプロセッサにより実行されることによって、前記少なくとも１つのプロセッサは請求項１～３のいずれか一項に記載の方法を実行することができる電子機器。
  18. コンピュータ命令が記憶された非一時的なコンピュータ可読記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１～３のいずれか一項に記載の方法を実行させる記憶媒体。
  19. プロセッサにより実行される場合に、請求項１～３のいずれか一項に記載の方法の操作を実現するコンピュータプログラム。
JP2022092444A 2021-06-08 2022-06-07 マルチサウンドゾーン音声ウェイクアップ・認識方法及び装置、電子機器、記憶媒体、コンピュータプログラム Pending JP2022120020A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110639837.0 2021-06-08
CN202110639837.0A CN113380247A (zh) 2021-06-08 2021-06-08 多音区语音唤醒、识别方法和装置、设备、存储介质

Publications (1)

Publication Number Publication Date
JP2022120020A true JP2022120020A (ja) 2022-08-17

Family

ID=77573150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022092444A Pending JP2022120020A (ja) 2021-06-08 2022-06-07 マルチサウンドゾーン音声ウェイクアップ・認識方法及び装置、電子機器、記憶媒体、コンピュータプログラム

Country Status (5)

Country Link
US (1) US20220301552A1 (ja)
EP (1) EP4044178A3 (ja)
JP (1) JP2022120020A (ja)
KR (1) KR20220083990A (ja)
CN (1) CN113380247A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114071318B (zh) * 2021-11-12 2023-11-14 阿波罗智联(北京)科技有限公司 语音处理方法、终端设备及车辆
CN114063969A (zh) * 2021-11-15 2022-02-18 阿波罗智联(北京)科技有限公司 音频数据处理方法、装置、设备、存储介质及程序产品
CN114678026B (zh) * 2022-05-27 2022-10-14 广州小鹏汽车科技有限公司 语音交互方法、车机终端、车辆及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998145A (ja) * 1995-09-29 1997-04-08 Toa Corp 多重伝送装置及びその伝送方法
JP2011209731A (ja) * 2010-03-30 2011-10-20 Polycom Inc ビデオ会議に翻訳を追加するための方法及びシステム
JP2011248025A (ja) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> チャネル統合方法、チャネル統合装置、プログラム
JP2017083600A (ja) * 2015-10-27 2017-05-18 パナソニックＩｐマネジメント株式会社 車載収音装置及び収音方法
JP2017138476A (ja) * 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019133156A (ja) * 2018-01-31 2019-08-08 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 車両環境のためのマルチチャネル音声認識

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7962340B2 (en) * 2005-08-22 2011-06-14 Nuance Communications, Inc. Methods and apparatus for buffering data for use in accordance with a speech recognition system
US10630751B2 (en) * 2016-12-30 2020-04-21 Google Llc Sequence dependent data message consolidation in a voice activated computer network environment
CN106502938B (zh) * 2015-09-08 2020-03-10 北京百度网讯科技有限公司 用于实现图像和语音交互的方法和装置
CN107026931A (zh) * 2016-02-02 2017-08-08 中兴通讯股份有限公司 一种音频数据处理方法和终端
EP3414759B1 (en) * 2016-02-10 2020-07-01 Cerence Operating Company Techniques for spatially selective wake-up word recognition and related systems and methods
US10431211B2 (en) * 2016-07-29 2019-10-01 Qualcomm Incorporated Directional processing of far-field audio
US11183181B2 (en) * 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
US10916252B2 (en) * 2017-11-10 2021-02-09 Nvidia Corporation Accelerated data transfer for latency reduction and real-time processing
CN109841214B (zh) * 2018-12-25 2021-06-01 百度在线网络技术（北京）有限公司 语音唤醒处理方法、装置和存储介质
CN113380280B (zh) * 2018-12-29 2022-11-22 百度在线网络技术（北京）有限公司 数据处理方法、装置和存储介质
CN110310633B (zh) * 2019-05-23 2022-05-20 阿波罗智联(北京)科技有限公司 多音区语音识别方法、终端设备和存储介质
CN110648663A (zh) * 2019-09-26 2020-01-03 科大讯飞(苏州)科技有限公司 车载音频管理方法、装置、设备、汽车及可读存储介质
CN110992946A (zh) * 2019-11-01 2020-04-10 上海博泰悦臻电子设备制造有限公司 一种语音控制方法、终端及计算机可读存储介质
CN111599357A (zh) * 2020-04-07 2020-08-28 宁波吉利汽车研究开发有限公司 一种车内多音区拾音方法、装置、电子设备及存储介质
CN112201235B (zh) * 2020-09-16 2022-12-27 华人运通(上海)云计算科技有限公司 游戏终端的控制方法、装置、车载系统和车辆

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0998145A (ja) * 1995-09-29 1997-04-08 Toa Corp 多重伝送装置及びその伝送方法
JP2011209731A (ja) * 2010-03-30 2011-10-20 Polycom Inc ビデオ会議に翻訳を追加するための方法及びシステム
JP2011248025A (ja) * 2010-05-25 2011-12-08 Nippon Telegr & Teleph Corp <Ntt> チャネル統合方法、チャネル統合装置、プログラム
JP2017083600A (ja) * 2015-10-27 2017-05-18 パナソニックＩｐマネジメント株式会社 車載収音装置及び収音方法
JP2017138476A (ja) * 2016-02-03 2017-08-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019133156A (ja) * 2018-01-31 2019-08-08 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ，インコーポレイティド 車両環境のためのマルチチャネル音声認識

Also Published As

Publication number Publication date
KR20220083990A (ko) 2022-06-21
EP4044178A2 (en) 2022-08-17
EP4044178A3 (en) 2023-01-18
CN113380247A (zh) 2021-09-10
US20220301552A1 (en) 2022-09-22

Similar Documents

Publication Publication Date Title
JP2022120020A (ja) マルチサウンドゾーン音声ウェイクアップ・認識方法及び装置、電子機器、記憶媒体、コンピュータプログラム
US11295760B2 (en) Method, apparatus, system and storage medium for implementing a far-field speech function
US10748531B2 (en) Management layer for multiple intelligent personal assistant services
US20190196779A1 (en) Intelligent personal assistant interface system
WO2020078300A1 (zh) 一种终端投屏的控制方法和终端
KR20230018534A (ko) 화자 임베딩(들)과 트레이닝된 생성 모델을 이용한 화자 분리
CN107545029A (zh) 智能设备的语音反馈方法、设备及可读介质
JP2021144248A (ja) 音声データ処理方法、装置及びスマート車両
CN113674746B (zh) 人机交互方法、装置、设备以及存储介质
CN113674742B (zh) 人机交互方法、装置、设备以及存储介质
DE102018114658A1 (de) Eingabe während einer Unterhaltungssitzung
CN109462546A (zh) 一种语音对话历史消息记录方法、装置及系统
JP2023546703A (ja) マルチチャネル音声アクティビティ検出
CN111312243B (zh) 设备交互方法和装置
EP3745252B1 (en) Voice control method and apparatus of electronic device, computer device and storage medium
JP2022116285A (ja) 車両に対する音声処理方法、装置、電子機器、記憶媒体及びコンピュータプログラム
WO2022193892A1 (zh) 语音交互方法、装置、计算机可读存储介质及电子设备
KR102389602B1 (ko) 음성인식 기반의 ai 에이전트 프로그램을 실행하는 단말장치 및 이의 동작방법
CN114333017A (zh) 一种动态拾音方法、装置、电子设备及存储介质
CN114220430A (zh) 多音区语音交互方法、装置、设备以及存储介质
CN114694661A (zh) 一种第一终端设备、第二终端设备和语音唤醒方法
CN115910047B (zh) 数据处理方法、模型训练方法、关键词检测方法及设备
US20230298580A1 (en) Emotionally Intelligent Responses to Information Seeking Questions
CN114495923A (zh) 智能控制系统实现方法、装置、电子设备及存储介质
EP3502868A1 (en) Intelligent personal assistant interface system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240220