JP2021192114A - 音声インタラクション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム - Google Patents
音声インタラクション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2021192114A JP2021192114A JP2021143144A JP2021143144A JP2021192114A JP 2021192114 A JP2021192114 A JP 2021192114A JP 2021143144 A JP2021143144 A JP 2021143144A JP 2021143144 A JP2021143144 A JP 2021143144A JP 2021192114 A JP2021192114 A JP 2021192114A
- Authority
- JP
- Japan
- Prior art keywords
- identification
- voice
- model
- feature
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 230000003993 interaction Effects 0.000 title claims abstract description 38
- 238000004590 computer program Methods 0.000 title claims abstract description 9
- 230000004044 response Effects 0.000 claims abstract description 111
- 230000008569 process Effects 0.000 claims abstract description 25
- 230000015654 memory Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 16
- 238000004891 communication Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims 1
- 238000013136 deep learning model Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/01—Assessment or evaluation of speech recognition systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
識別対象音声を取得するための取得手段301と、
音声識別モデルを利用して前記識別対象音声の識別結果を取得し、前記音声識別モデルの出力層の識別過程における入力を識別特徴として抽出するための識別手段302と、
前記識別特徴に基づいて応答信頼度を取得するための処理手段303と、
前記応答信頼度が所定の応答条件を満たすと判定された場合、前記識別対象音声に応答するための応答手段304と、を含む。
音声インタラクション方法の電子機器は、入力装置403と出力装置404とをさらに含んでもよい。プロセッサ401、メモリ402、入力装置403及び出力装置404は、バス又は他の形態で接続されてもよく、図4では、バスによる接続を例とする。
Claims (13)
- 識別対象音声を取得することと、
音声識別モデルを利用して前記識別対象音声の識別結果を取得し、前記音声識別モデルの出力層の識別過程における入力を識別特徴として抽出することと、
前記識別特徴に基づいて応答信頼度を取得することと、
前記応答信頼度が所定の応答条件を満たすと判定された場合、前記識別対象音声に応答することとを含む、音声インタラクション方法。 - 前記音声識別モデルの出力層の識別過程における入力を識別特徴として抽出することは、
前記音声識別モデルが入力層、アテンション層及び出力層を含むことと、
前記音声識別モデルにおける出力層の前に位置するアテンション層の識別過程における出力を前記識別特徴して抽出することとを含む、請求項1に記載の方法。 - 前記識別特徴に基づいて応答信頼度を取得することは、
前記識別結果の分野情報を特定することと、
前記分野情報と前記識別特徴とに基づいて応答信頼度を取得することとを含む、請求項1に記載の方法。 - 前記識別結果の分野情報を特定することは、
前記識別結果を予めトレーニングされた分野識別モデルに入力し、前記分野識別モデルの出力結果を前記識別結果の分野情報とすることを含む、請求項3に記載の方法。 - 前記分野情報と前記識別特徴とに基づいて応答信頼度を取得することは、
前記分野情報と前記識別特徴とを予めトレーニングされた信頼モデルに入力し、前記信頼モデルの出力結果を前記応答信頼度とすることを含む、請求項3に記載の方法。 - 識別対象音声を取得するための取得手段と、
音声識別モデルを利用して前記識別対象音声の識別結果を取得し、前記音声識別モデルの出力層の識別過程における入力を識別特徴として抽出するための識別手段と、
前記識別特徴に基づいて応答信頼度を取得するための処理手段と、
前記応答信頼度が所定の応答条件を満たすと判定された場合、前記識別対象音声に応答するための応答手段と、を含む、音声インタラクション装置。 - 前記識別手段は、前記音声識別モデルの出力層の識別過程における入力を識別特徴抽出とする時、具体的に、
前記音声識別モデルが入力層、アテンション層及び出力層を含むことと、
前記音声識別モデルにおける出力層の前に位置するアテンション層の識別過程における出力を前記識別特徴として抽出することとを実行する、請求項6に記載の装置。 - 前記処理手段は、前記識別特徴に基づいて応答信頼度を取得する時、具体的に、
前記識別結果の分野情報を特定することと、
前記分野情報と前記識別特徴とに基づいて応答信頼度を取得することとを実行する、請求項6に記載の装置。 - 前記処理手段は、前記識別結果の分野情報を特定する時、具体的に、
前記識別結果を予めトレーニングされた分野識別モデルに入力し、前記分野識別モデルの出力結果を前記識別結果の分野情報とすることを実行する、請求項8に記載の装置。 - 前記処理手段は、前記分野情報と前記識別特徴とに基づいて応答信頼度を取得する時、具体的に、
前記分野情報と前記識別特徴とを予めトレーニングされた信頼モデルに入力し、前記信頼モデルの出力結果を前記応答信頼度とすることを実行する、請求項8に記載の装置。 - 少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信接続するメモリとを含む電子機器であって、
前記メモリに、前記少なくとも1つのプロセッサによって実行され得るコマンドが記憶されており、前記コマンドが前記少なくとも1つのプロセッサによって実行されることで、前記少なくとも1つのプロセッサが請求項1〜5のいずれか一項に記載の方法を実行することができる、電子機器。 - コンピュータに請求項1〜5のいずれか一項に記載の方法を実行させるためのコンピュータコマンドを記憶している非一時的なコンピュータ読取可能な記憶媒体。
- プロセッサによって実行される時に、請求項1〜5のいずれか一項に記載の音声インタラクション方法が実行されるコンピュータプログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011388093.1 | 2020-12-01 | ||
CN202011388093.1A CN112466280B (zh) | 2020-12-01 | 2020-12-01 | 语音交互方法、装置、电子设备和可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021192114A true JP2021192114A (ja) | 2021-12-16 |
JP7264957B2 JP7264957B2 (ja) | 2023-04-25 |
Family
ID=74805723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021143144A Active JP7264957B2 (ja) | 2020-12-01 | 2021-09-02 | 音声インタラクション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220068277A1 (ja) |
JP (1) | JP7264957B2 (ja) |
KR (1) | KR20210120936A (ja) |
CN (1) | CN112466280B (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113674732B (zh) * | 2021-08-16 | 2022-05-17 | 北京百度网讯科技有限公司 | 语音置信度检测方法、装置、电子设备和存储介质 |
CN114399992B (zh) * | 2021-12-03 | 2022-12-06 | 北京百度网讯科技有限公司 | 语音指令响应方法、装置及存储介质 |
CN114357994A (zh) * | 2022-01-06 | 2022-04-15 | 京东科技信息技术有限公司 | 意图识别处理和置信度判断模型的生成方法及装置 |
KR20240021622A (ko) | 2022-08-10 | 2024-02-19 | 주식회사 엠티이지 | 동영상에 포함된 음성 처리 방법 및 서버 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017040919A (ja) * | 2015-08-20 | 2017-02-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 音声認識装置、音声認識方法及び音声認識システム |
JP2019086958A (ja) * | 2017-11-06 | 2019-06-06 | ヤマハ株式会社 | 言語解析方法およびプログラム |
JP2019219574A (ja) * | 2018-06-21 | 2019-12-26 | 株式会社東芝 | 話者モデル作成システム、認識システム、プログラムおよび制御装置 |
JP2020009264A (ja) * | 2018-07-10 | 2020-01-16 | Kddi株式会社 | アノテーション支援装置 |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8392188B1 (en) * | 1999-11-05 | 2013-03-05 | At&T Intellectual Property Ii, L.P. | Method and system for building a phonotactic model for domain independent speech recognition |
WO2002091355A1 (en) * | 2001-05-08 | 2002-11-14 | Intel Corporation | High-order entropy error functions for neural classifiers |
CN103065631B (zh) * | 2013-01-24 | 2015-07-29 | 华为终端有限公司 | 一种语音识别的方法、装置 |
CN105070288B (zh) * | 2015-07-02 | 2018-08-07 | 百度在线网络技术(北京)有限公司 | 车载语音指令识别方法和装置 |
CN105529028B (zh) * | 2015-12-09 | 2019-07-30 | 百度在线网络技术(北京)有限公司 | 语音解析方法和装置 |
US10170110B2 (en) * | 2016-11-17 | 2019-01-01 | Robert Bosch Gmbh | System and method for ranking of hybrid speech recognition results with neural networks |
US11100384B2 (en) * | 2017-02-14 | 2021-08-24 | Microsoft Technology Licensing, Llc | Intelligent device user interactions |
CN108694940B (zh) * | 2017-04-10 | 2020-07-03 | 北京猎户星空科技有限公司 | 一种语音识别方法、装置及电子设备 |
CN107134279B (zh) * | 2017-06-30 | 2020-06-19 | 百度在线网络技术(北京)有限公司 | 一种语音唤醒方法、装置、终端和存储介质 |
US11145293B2 (en) * | 2018-07-20 | 2021-10-12 | Google Llc | Speech recognition with sequence-to-sequence models |
CN110875039B (zh) * | 2018-08-30 | 2023-12-01 | 阿里巴巴集团控股有限公司 | 语音识别方法和设备 |
CN109036384B (zh) * | 2018-09-06 | 2019-11-15 | 百度在线网络技术(北京)有限公司 | 语音识别方法和装置 |
US11017778B1 (en) * | 2018-12-04 | 2021-05-25 | Sorenson Ip Holdings, Llc | Switching between speech recognition systems |
US10388272B1 (en) * | 2018-12-04 | 2019-08-20 | Sorenson Ip Holdings, Llc | Training speech recognition systems using word sequences |
CN110610707B (zh) * | 2019-09-20 | 2022-04-22 | 科大讯飞股份有限公司 | 语音关键词识别方法、装置、电子设备和存储介质 |
CN110767223B (zh) * | 2019-09-30 | 2022-04-12 | 大象声科(深圳)科技有限公司 | 一种单声道鲁棒性的语音关键词实时检测方法 |
CN110718223B (zh) * | 2019-10-28 | 2021-02-12 | 百度在线网络技术(北京)有限公司 | 用于语音交互控制的方法、装置、设备和介质 |
CN111145748B (zh) * | 2019-12-30 | 2022-09-30 | 广州视源电子科技股份有限公司 | 音频识别置信度确定方法、装置、设备及存储介质 |
CN111310441A (zh) * | 2020-01-20 | 2020-06-19 | 上海眼控科技股份有限公司 | 基于bert的语音识别后文本修正方法、装置、终端及介质 |
KR20210119181A (ko) * | 2020-03-24 | 2021-10-05 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 제어 방법 |
CN111402861B (zh) * | 2020-03-25 | 2022-11-15 | 思必驰科技股份有限公司 | 一种语音识别方法、装置、设备及存储介质 |
CN111739521B (zh) * | 2020-06-19 | 2021-06-22 | 腾讯科技(深圳)有限公司 | 电子设备唤醒方法、装置、电子设备及存储介质 |
-
2020
- 2020-12-01 CN CN202011388093.1A patent/CN112466280B/zh active Active
-
2021
- 2021-09-02 JP JP2021143144A patent/JP7264957B2/ja active Active
- 2021-09-17 KR KR1020210124461A patent/KR20210120936A/ko unknown
- 2021-11-10 US US17/522,985 patent/US20220068277A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017040919A (ja) * | 2015-08-20 | 2017-02-23 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 音声認識装置、音声認識方法及び音声認識システム |
JP2019086958A (ja) * | 2017-11-06 | 2019-06-06 | ヤマハ株式会社 | 言語解析方法およびプログラム |
JP2019219574A (ja) * | 2018-06-21 | 2019-12-26 | 株式会社東芝 | 話者モデル作成システム、認識システム、プログラムおよび制御装置 |
JP2020009264A (ja) * | 2018-07-10 | 2020-01-16 | Kddi株式会社 | アノテーション支援装置 |
Non-Patent Citations (1)
Title |
---|
TIANYAN ZHOU, ET AL.: "CNN WITH PHONETIC ATTENTION FOR TEXT-INDEPENDENT SPEAKER VERIFICATION", ASRU 2019, JPN6022045191, December 2019 (2019-12-01), pages 718 - 725, XP033718875, ISSN: 0004904964, DOI: 10.1109/ASRU46091.2019.9003826 * |
Also Published As
Publication number | Publication date |
---|---|
US20220068277A1 (en) | 2022-03-03 |
CN112466280B (zh) | 2021-12-24 |
CN112466280A (zh) | 2021-03-09 |
JP7264957B2 (ja) | 2023-04-25 |
KR20210120936A (ko) | 2021-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10275022B2 (en) | Audio-visual interaction with user devices | |
JP2021192114A (ja) | 音声インタラクション方法、装置、電子機器、コンピュータ読取可能な記憶媒体及びコンピュータプログラム | |
CN111259671B (zh) | 文本实体的语义描述处理方法、装置及设备 | |
JP7074964B2 (ja) | セッション推奨方法、装置及び電子機器 | |
EP3848819A1 (en) | Method and apparatus for retrieving video, device and medium | |
WO2016206113A1 (en) | Technologies for device independent automated application testing | |
JP2021111334A (ja) | 検索データに基づくヒューマンコンピュータ対話型インタラクションの方法、装置及び電子機器 | |
JP2021108098A (ja) | レビュー情報の処理方法、装置、コンピュータ機器及び媒体 | |
CN111488740A (zh) | 一种因果关系的判别方法、装置、电子设备及存储介质 | |
US20210097993A1 (en) | Speech recognition control method and apparatus, electronic device and readable storage medium | |
CN111968631B (zh) | 智能设备的交互方法、装置、设备及存储介质 | |
EP3832492A1 (en) | Method and apparatus for recommending voice packet, electronic device, and storage medium | |
JP7267379B2 (ja) | 画像処理方法、事前トレーニングモデルのトレーニング方法、装置及び電子機器 | |
JP2021114284A (ja) | 句読点予測方法および装置 | |
KR20150087665A (ko) | 핸드라이팅 정보 운용 방법 및 이를 지원하는 전자 장치 | |
JP2021197157A (ja) | キーポイントの特定方法及び装置、機器、記憶媒体 | |
US20210096814A1 (en) | Speech control method, speech control device, electronic device, and readable storage medium | |
CN111708477B (zh) | 按键识别方法、装置、设备以及存储介质 | |
CN112133307A (zh) | 人机交互方法、装置、电子设备及存储介质 | |
CN116483246A (zh) | 一种输入控制方法、装置、电子设备及存储介质 | |
US20210097991A1 (en) | Speech control method and apparatus, electronic device, and readable storage medium | |
CN110674262B (zh) | 词语识别方法、装置、电子设备和介质 | |
CN111966432B (zh) | 验证码处理方法、装置、电子设备以及存储介质 | |
CN111352685B (zh) | 一种输入法键盘的展示方法、装置、设备及存储介质 | |
JP2022020063A (ja) | 対話処理方法、装置、電子機器及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210902 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221005 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221124 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230322 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230413 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7264957 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |