JP2020510865A - 音声認識トリガーを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 - Google Patents

音声認識トリガーを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
JP2020510865A
JP2020510865A JP2019546117A JP2019546117A JP2020510865A JP 2020510865 A JP2020510865 A JP 2020510865A JP 2019546117 A JP2019546117 A JP 2019546117A JP 2019546117 A JP2019546117 A JP 2019546117A JP 2020510865 A JP2020510865 A JP 2020510865A
Authority
JP
Japan
Prior art keywords
distance
voice
sensed
present
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019546117A
Other languages
English (en)
Other versions
JP6799693B2 (ja
Inventor
ジョン キム ソク
ジョン キム ソク
ジン ジョン ウォン
ジン ジョン ウォン
Original Assignee
ブイタッチ・カンパニー・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ブイタッチ・カンパニー・リミテッド filed Critical ブイタッチ・カンパニー・リミテッド
Publication of JP2020510865A publication Critical patent/JP2020510865A/ja
Application granted granted Critical
Publication of JP6799693B2 publication Critical patent/JP6799693B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/14Systems for determining distance or velocity not using reflection or reradiation using ultrasonic, sonic, or infrasonic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063Training
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/16Speech classification or search using artificial neural networks
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/24Speech recognition using non-acoustical features
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78Detection of presence or absence of voice signals
    • G10L25/84Detection of presence or absence of voice signals for discriminating voice from noise
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

本発明の一態様によると、音声認識トリガーを提供するための方法であって、デバイスで感知される近接情報に基づいて前記デバイスとユーザー間の距離である第1距離を推定し、前記デバイスで感知される音声に関する情報を参照して、前記デバイスと前記デバイスで感知される音声が発話される位置間の距離である第2距離を推定する段階、および前記第1距離および前記第2距離間の類似性を参照して、前記デバイスで感知される音声が音声認識の対象であるかの可否を決定する段階を含む方法が提供される。

Description

本発明は音声認識トリガーを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体に関する。
最近ユーザーインターフェースに対する関心が高まり、音声処理技術の発達につれて、音声認識機能が内蔵されたIT機器が増えつつある。例えば、ユーザーの音声を認識してユーザーが要請した動作を遂行できるスマートフォン、スマートウォッチ、スマートTV、スマート冷蔵庫などが広く普及されている。このような従来技術の一例として、韓国公開特許公報第2016−39244号に開示された技術を挙げることができるが、コンピューティングデバイスがオーディオデータの提供を受けると、オーディオデータに音声開始アクションが含まれているかの可否を判断し、含まれていると判断される場合、音声開始アクションが認識されたことを示すディスプレイをコンピューティングデバイスを介してユーザーに提供する技術が紹介されている。
しかし、前記のような従来技術をはじめとして、これまで紹介された技術によると、ユーザーが音声入力を開始する前にボタンを押したりあらかじめ定められたトリガー単語を入力して、ユーザーが音声入力を開始する地点を特定しなければならなかったのであるが、ボタンを押す前者の方式は、ユーザーが手を自由に使用できない場合には音声入力を遂行できないため不便さをもたらさざるを得なかったし、ユーザーがあらかじめ定められたトリガー単語を話す後者の方式は、音声認識装置とユーザーが少しでも離れていると、同じ空間で発生する他人の音声のような多様なノイズによって音声入力開始地点の特定が難しいだけでなく、ユーザーがあらかじめ定められたトリガー単語を話しても音声入力が開始されたことをユーザーに確信させるために、音や光でフィードバックをしてからユーザーが音声入力を開始するようにするしかなかったため、音声入力を開始する段階から相当に長い時間が所要されざるを得ない限界があった。
そこで、本発明者は、デバイスとユーザー間の距離および音声を感知するデバイスとデバイスで感知される音声が発話される位置間の距離を推定し、その推定される両距離が既設定された水準以上に類似する場合に、デバイスで感知される音声を音声認識の対象に決定する、音声認識トリガーに関する技術を提案するところである。
本発明は前述した問題点をすべて解決することをその目的とする。
また、本発明は、音声入力を開始するための不要な過程を省略してユーザーが迅速に音声を入力できるように支援することを他の目的とする。
また、本発明は、デバイスに近接して音声が入力されるようにすることによって周辺ノイズの影響を最小化し、小さい音声でも正確に動作する音声認識トリガーを提供することを他の目的とする。
前記目的を達成するための本発明の代表的な構成は次の通りである。
本発明の一態様によると、音声認識トリガーを提供するための方法であって、デバイスで感知される近接情報に基づいて前記デバイスとユーザー間の距離である第1距離を推定し、前記デバイスで感知される音声に関する情報を参照して、前記デバイスと前記デバイスで感知される音声が発話される位置間の距離である第2距離を推定する段階、および前記第1距離および前記第2距離間の類似性を参照して、前記デバイスで感知される音声が音声認識の対象であるかの可否を決定する段階を含む方法が提供される。
発明の他の態様によると、音声認識トリガーを提供するためのシステムであって、デバイスで感知される近接情報に基づいて前記デバイスとユーザー間の距離である第1距離を推定し、前記デバイスで感知される音声に関する情報を参照して、前記デバイスと前記デバイスで感知される音声が発話される位置間の距離である第2距離を推定する推定部、および前記第1距離および前記第2距離間の類似性を参照して、前記デバイスで感知される音声が音声認識の対象であるかの可否を決定する決定部を含むシステムが提供される。
この他にも、本発明を具現するための他の方法、システムおよび前記方法を実行するためのコンピュータプログラムを記録するための非一過性のコンピュータ読み取り可能な記録媒体がさらに提供される。
本発明によると、音声入力を開始するための不要な過程を省略してユーザーが迅速に音声を入力できる効果が達成される。
また、本発明によると、デバイスに近接して音声が入力されるようにすることによって周辺ノイズの影響を最小化し、小さい音声でも正確に動作する音声認識トリガーを提供する効果が達成される。
本発明の一実施例に係る音声認識システムの内部構成を例示的に示したブロック図である。 本発明の一実施例に係る音声認識システムを通じて音声認識トリガーが提供される状況を例示的に示した斜視図である。 本発明の一実施例に係る音声認識システムが活用され得る多様な実施例を示した図である。
後述する本発明についての詳細な説明は、本発明が実施され得る特定の実施例を例示として図示する添付図面を参照する。これらの実施例は当業者が本発明を実施できるように充分かつ詳細に説明される。本発明の多様な実施例は互いに異なるが互いに排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造および特性は、一実施例に関連して本発明の精神および範囲を逸脱することなく他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置または配置は、本発明の精神および範囲を逸脱することなく変更され得ることが理解されるべきである。したがって、後述する詳細な説明は限定する意味のものではなく、本発明の範囲は、適切に説明されるのであれば、その請求項が主張するものと均等なすべての範囲とともに、添付された請求項によってのみ限定される。図面で類似する参照符号は多様な側面に亘って同一または類似する機能を指し示す。
以下では、本発明が属する技術分野で通常の知識を有する者が本発明を容易に実施できるようにするために、本発明の好ましい実施例に関して添付された図面を参照して詳細に説明する。
音声認識システムの構成
以下では、本発明を具現するために重要な機能を遂行する音声認識システム100の内部構成および各構成要素の機能について詳察する。
図1は、本発明の一実施例に係る音声認識システム100の内部構成を例示的に示した図面である。
図1を参照すると、本発明の一実施例に係る音声認識システム100は、推定部110、決定部120、通信部130および制御部140を含むことができる。また、本発明の一実施例により推定部110、決定部120、通信部130および制御部140は、そのうち少なくとも一部が外部システム(図示されず)と通信するプログラムモジュールであり得る。このようなプログラムモジュールは運営システム、アプリケーションモジュールおよびその他のプログラムモジュールの形態で音声認識システム100に含まれ得、物理的には多様な公知の記憶装置上に保存され得る。また、このようなプログラムモジュールは音声認識システム100と通信可能な遠隔記憶装置に保存されてもよい。一方、このようなプログラムモジュールは本発明により後述する特定の業務を遂行したり、特定の抽象データの類型を実行するルーチン、サブルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを包括するが、これに制限されはしない。
一方、音声認識システム100について前記のように説明されたが、このような説明は例示的なものであって、音声認識システム100の構成要素または機能のうち少なくとも一部が、必要に応じてユーザーが携帯したり、ユーザーの身体部位(例えば、頭、目、指、手首、耳、首など)に着用されるデバイス200内で具現されたり、このようなデバイス200内に含まれてもよいことは当業者に自明である。また、場合によっては、音声認識システム100のすべての機能とすべての構成要素がデバイス200内ですべて実行されたりデバイス200内にすべて含まれてもよい。
本発明の一実施例に係るデバイス200は、メモリ手段を具備し、マイクロ・プロセッサを搭載して演算能力を備えたデジタル機器であって、スマートグラス、スマートウォッチ、スマートバンド、スマートリング、スマートネックレス、スマートイヤホンセット、スマートイヤホン、スマートイヤリングなどのようなウェアラブルデバイスやスマートフォン、スマートパッド、デスクトップコンピュータ、ノートパソコン、ワークステーション、ピーディーエー(PDA)、ウェブパッド、移動電話機、リモートコントローラなどのような多少伝統的なデバイスが含まれ得、デバイス200は前述した例示だけでなく本発明の目的を達成できる範囲内でいくらでも変更され得る。また、本発明の一実施例によりデバイス200は音声を認識または感知するためのマイクモジュール(図示されず)を含むことができ、デバイス200とユーザー間の距離を感知するための近接センシングモジュール(図示されず)またはデバイス200とデバイス200で感知される音声が発話される位置間の距離を感知するための音声距離認識モジュール(図示されず)を含むことができる。
一方、本発明の一実施例に係るデバイス200には、本発明に係る音声認識トリガーが提供される機能が遂行され得るように支援するアプリケーションが含まれていてもよい。このようなアプリケーションは外部のアプリケーション配布サーバー(図示されず)からダウンロードされたものであり得る。一方、このようなプログラムモジュールの性格は、後述するような音声認識システム100の推定部110、決定部120、通信部130および制御部140と全般的に類似し得る。ここで、アプリケーションはその少なくとも一部が、必要に応じてそれと実質的に同一または均等な機能を遂行できるハードウェア装置やファームウェア装置に置換されてもよい。
まず、本発明の一実施例に係る推定部110は、デバイス200で感知される近接情報に基づいてデバイス200とユーザー間の距離である第1距離を推定することができる。
具体的には、本発明の一実施例により推定部110は、デバイス200で感知される近接情報からユーザーとデバイス200間の物理的距離に関する情報を獲得することによって前述した第1距離を推定することができ、このために、デバイス200は近接情報を感知できる少なくとも一つのセンシングモジュール(図示されず)を含むことができる。本発明の一実施例によりこのようなセンシングモジュールには、光学(optical)センサ、光電(photoelectric)センサ、超音波(ultrasonic)センサ、誘導(inductive)センサ、静電容量(capacitive)センサ、抵抗膜(resistive)センサ、渦電流(eddy current)センサ、赤外線(infrared)センサ、マグネチック(magnetic)センサなどの公知のセンサのうち少なくとも一つが含まれ得る。
また、本発明の一実施例により、推定部110は、デバイス200で感知される音声に関する情報を参照して、デバイス200とデバイス200で感知される音声が発話される位置間の距離である第2距離を推定することができる。本発明の一実施例によりデバイス200で感知される音声に関する情報には、音声の強度、波形、周波数スペクトルなどに関する情報が含まれ得る。
具体的には、本発明の一実施例により推定部110は、デバイス200で感知される音声と音声パターンを比較することによって、デバイス200とデバイス200で感知される音声が発話される位置間の距離である第2距離を推定することができる。本発明の一実施例に係る音声パターンには、音声スペクトル(spectrum)情報を表現する線形予測係数(linear predictive coefficients;LPC)または認知線形予測(perceptual linear predictive;PLP)に関するパターン、人体聴覚モデルに基づいたメル周波数ケプストラム係数(mel−frequency cepstral coefficients;MFCC)に関するパターン、マシンラーニング(machine learning)またはディープラーニング(deep learning)を通じて学習される畳み込みニューラルネットワーク (convolutional neural network;CNN)または弁別学習(discriminative training)に関するパターンなどが含まれ得る。
例えば、本発明の一実施例に係る推定部110は、音声の発話位置およびその音声が感知される位置間の距離により現れる音声パターンをデバイス200で感知される音声と比較することによって、デバイス200とデバイス200で感知される音声が発話される位置間の距離(すなわち、第2距離)を推定することができる。このために、本発明の一実施例に係る推定部110は、音声の発話位置およびその音声が感知される位置間の距離により現れる既設定された音声パターンを参照することができ、音声の発話位置およびその音声が感知される位置間の距離により現れる音声パターンに関する情報が保存されたデータベースを参照することもできる。
一方、本発明の一実施例に係る推定部110は、少なくとも一つの位置で発話される音声に関するマシンラーニング(machine learning)またはディープラーニング(deep learning)を通じて、音声の発話される位置による音声パターンを獲得することもできる。この場合、本発明の一実施例により推定部110は、マシンラーニング(machine learning)またはディープラーニング(deep learning)を通じて獲得される発話位置による音声パターンを、デバイス200で感知される音声と比較することによって、デバイス200とデバイス200で感知される音声が発話される位置間の距離(すなわち、第2距離)を推定することができる。本発明の一実施例に係る推定部110は、マシンラーニング(machine learning)またはディープラーニング(deep learning)のために成分分析(component analysis)、行列分解(matrix factorization)、期待最大化(expectation maximization)、隠れマルコフモデル(hidden markov model)、カルマンフィルター(kalman filtering)、k近傍(k−nearest neighbor)、ブースティング(boosting)、支持ベクターマシン(support vector machine)、関連規則(association rule)、混同マトリックス(confusion matrix)、同時出現マトリックス(co−occurance matrix)、ウェーブレット(wavelet)、最尤推定(maximum likelihood)、混合ガウスモデル (gaussian mixture models)、デシジョンツリー(decision tree)等を利用した公知のアルゴリズムのうち少なくとも一つを利用することができる。
一方、本発明の一実施例に係る推定部110は、デバイス200で感知される音声に関する情報から音声とその周辺で発生する騒音を分離するために尤度比検証(likelihood ratio test;LRT)、ブラインド音声分離(blind source separation;BSS)等の公知の音声分離アルゴリズムのうち少なくとも一つを利用することができる。
例えば、本発明の一実施例により推定部110は、ブラインド音声分離(Blind Source Separation;BSS)アルゴリズムを通じてデバイス200の複数の音声認識モジュール(図示されず)から感知される信号を分析することによって、デバイス200で感知される音声から周辺の騒音を分離させることができる。
次いで、本発明の一実施例に係る決定部120は、推定部110を通じて推定される第1距離および第2距離の類似性を参照して、デバイス200で感知される音声が音声認識の対象であるかの可否を決定することができる。
具体的には、本発明の一実施例に係る決定部120は、デバイス200とユーザー間の距離(すなわち、第1距離)およびデバイス200とデバイス200で感知される音声が発話される位置間の距離(すなわち、第2距離)が既設定された水準以上に類似すると判断されると、デバイス200で感知される音声を音声認識の対象に決定することができる。本発明の一実施例により、前述した既設定された水準とは、第1距離や第2距離を測定するためのセンシング(または認識)モジュールまたは第1距離や第2距離を推定するための方法により第1距離および第2距離が同一または類似すると判断され得る範囲内で適切に設定される基準であり得る。
例えば、本発明の一実施例により、ユーザーがデバイス200をユーザーの所定の身体部位に位置(例えば、ユーザーの唇から3cm)させた状態で、音声を発話した場合、デバイス200とユーザー間の距離(すなわち、第1距離)が2.8cmと推定され、デバイス200とデバイス200で感知される音声が発話される距離(すなわち、第2距離)が3cmと推定されると、決定部120は第1距離と第2距離の差が0.2cmであって無視してもよいものと判断して、デバイス200で感知される音声を音声認識の対象に決定することができる。
また、本発明の一実施例により決定部120は、デバイス200とユーザー間の距離(すなわち、第1距離)および/またはデバイス200とデバイス200で感知される音声が発話される位置間の距離(すなわち、第2距離)が既設定された距離以内であるかの可否をさらに参照して、該当デバイスで感知される音声が音声認識の対象であるかの可否を決定することができる。
例えば、本発明の一実施例により、ユーザーがデバイス200をユーザーの所定の身体部位に位置(例えば、ユーザーの唇から25cm)させた状態で、ユーザーが音声を発話した場合、推定部110を通じてデバイス200とユーザー間の距離(すなわち、第1距離)が25cmと推定され、デバイス200とデバイス200で感知される音声が発話される距離(すなわち、第2距離)が25.4cmと推定されると、決定部120は第1距離および/または第2距離が既設定された距離(例えば、10cm以内)を超過するので、その距離(第1距離と第2距離)の差が無視できるようなものである(この場合、0.4cm)にもかかわらず、デバイス200で感知される音声を音声認識の対象ではないものと決定することができる。すなわち、この場合、本発明の一実施例によりユーザーがデバイス200をユーザーの身体部位に近接したところに位置させた場合に限って、本発明に係る音声認識トリガーが提供され得る。
一方、本発明の一実施例に係る決定部120は、デバイス200で感知される音声が音声認識の対象であるかの可否を決定するにおいて、デバイス200で感知される音声が人体から発話されたかの可否をさらに参照して決定することができる。
具体的には、本発明の一実施例により、決定部120はデバイス200で感知される音声に関する情報を分析して、人体から発話される音声であるかの可否を判断し、判断された結果を参照して、デバイス200で感知される音声が音声認識の対象であるかの可否を決定することができる。本発明の一実施例により、決定部120はデバイス200で感知される音声が人体から発話されるものではないと判断されると、第1距離および第2距離が互いに類似すると判断されてもデバイス200で感知される音声が音声認識の対象ではないものと決定することができる。本発明の一実施例により、決定部120はデバイス200で感知される音声が人体から発話される音声であるかの可否を判断するために、ガベジモデル(garbage model)を利用したアルゴリズム、RabinerとSambur(Rabiner and Sambur)のエネルギーとゼロクロッシングを利用したアルゴリズム、ラメル(Lamel)のレベル等化器を利用したアルゴリズム、ティーザー(Teager)のエネルギーを利用したアルゴリズムなど、公知の分析アルゴリズムのうち少なくとも一つを利用することができる。
例えば、本発明の一実施例により、推定部110がデバイス200で感知される音声が人体から発話される音声であるかの可否を判断するためにガベジモデリング(garbage modeling)を利用したアルゴリズムを適用することができるが、この場合、推定部110は音声と判断されるキーワード単語を設定し、音声キーワード信号および音声キーワードではない雑音信号のそれぞれに加重値スコアおよびペナルティスコアを付与し、デバイス200で感知される音声に付与されたスコアが所定の水準以上である場合、デバイス200で感知される音声が人体から発話される音声であると判断することができる。
次いで、本発明の一実施例によると、通信部130は推定部110および決定部120からの/へのデータの送受信を可能にする機能を遂行することができる。
最後に、本発明の一実施例によると、制御部140は推定部110、決定部120および通信部130間のデータの流れを制御する機能を遂行することができる。すなわち、本発明に係る制御部140は、音声認識システム100の外部からの/へのデータの流れまたは音声認識システム100の各構成要素間のデータの流れを制御することによって、推定部110、決定部120および通信部130でそれぞれ固有の機能を遂行するように制御することができる。
図2は、本発明の一実施例に係る音声認識システム100を通じて音声認識トリガーが提供される状況を例示的に示した図面である。
図2を参照すると、本発明の一実施例に係る音声認識システム100が含まれたスマートフォン200を利用するユーザーに音声認識トリガーが提供される状況を仮定してみることができる。本発明の一実施例により、ユーザーがスマートフォン200を唇付近に位置させると、音声認識システム100はスマートフォン200の距離感知センサ(図示されず)を通じて感知される近接情報に基づいてスマートフォン200とユーザー間の距離(すなわち、第1距離)を推定することができ、ユーザーが音声を発話すると、音声認識システム200はスマートフォン200のマイク(図示されず)モジュールを通じて感知される音声を、スマートフォン200およびスマートフォン200で感知される音声が発話される位置間の距離により現れる音声パターンと比較することによって、スマートフォン200とスマートフォン200で感知される音声が発話される位置間の距離(すなわち、第2距離)を推定することができる。
その後、本発明の一実施例に係る音声認識システム100は、前記のように推定される第1距離および第2距離間の類似性を参照してスマートフォン200で感知される音声が音声認識の対象であるかの可否を決定することができる。すなわち、本発明の一実施例に係る音声認識システム100を通じてスマートフォン200で感知される音声が音声認識の対象に決定された場合、ユーザーに音声認識トリガーが提供され得るようになる。したがって、本発明に係る音声認識トリガー提供技術を通じて音声入力が開始されるための不要な過程を省略することによって、ユーザーの音声入力時間が短縮され得、デバイスに近接して音声が入力されることによって周辺ノイズの影響も最小化され得、ユーザーの小さい音声でも正確に動作する音声認識トリガーが提供され得るようになる。
図3は、本発明の一実施例に係る音声認識システム100が活用され得る多様な実施例を示した図面である。
図3を参照すると、本発明の一実施例により、ユーザーが本発明に係る音声認識システム100が含まれたスマートリング200a、スマートウォッチ200b、スマートリモコン200c、スマートペン200dまたはスマートフォン200eを、ユーザーの口(または唇)付近に位置させた状態で音声を発話することによってユーザーに音声認識トリガーが提供される状況であり得る。本発明の一実施例により、デバイス200a、200b、200c、200d、200eには、近接情報を感知するためのセンシングモジュール210a、210b、210c、210d、210eまたは音声に関する情報を感知するための認識モジュール220a、220b、220c、220d、220eが含まれ得、近接情報を感知するためのセンシングモジュール210a、210b、210c、210d、210eと音声に関する情報を感知するための認識モジュール220a、220b、220c、220d、220eが互いに物理的に近い位置に配置されることによって、本発明に係る目的が達成され得る。
また、本発明の一実施例により、デバイス200a、200b、200c、200d、200eとユーザー間の距離(すなわち、第1距離)およびデバイス200a、200b、200c、200d、200eとデバイス200a、200b、200c、200d、200eで感知される音声が発話される位置間の距離(すなわち、第2距離)が既設定された水準以上に類似しつつ、既設定された距離以内であると判断される場合、すなわち、デバイス200a、200b、200c、200d、200eがユーザーの口または唇部位に近接するように位置した状態で、第1距離および第2距離が同一または類似すると判断されると、デバイス200a、200b、200c、200d、200eで感知される音声を音声認識の対象に決定することによって、本発明に係る目的が達成され得る。
以上で説明された本発明に係る実施例は、多様なコンピュータ構成要素を通じて実行され得るプログラム命令語の形態で具現されて、非一過性のコンピュータ読み取り可能な記録媒体に記録され得る。前記非一過性のコンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記非一過性のコンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計されて構成されたものであるか、コンピュータソフトウェア分野の当業者に公知とされて使用可能なものでもよい。非一過性のコンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスクおよび磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスク(floptical disk)のような磁気−光媒体(magneto−optical media)、およびROM、RAM、フラッシュメモリなどのようなプログラム命令語を保存し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを使ってコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は本発明に係る処理を遂行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その逆も同じである。
以上、本発明が具体的な構成要素などのような特定の事項と限定された実施例および図面によって説明されたが、これは本発明のより全般的な理解を助けるために提供されたものに過ぎず、本発明は前記実施例に限定されるものではなく、本発明が属する技術分野で通常の知識を有する者であればこのような記載から多様な修正および変形を図ることができる。
したがって、本発明の思想は前記説明された実施例に限定されて定められてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等にまたは等価的に変形された全てのものは本発明の思想の範疇に属するものと言える。
100:音声認識システム
110:推定部
120:決定部
130:通信部
140:制御部
200:デバイス

Claims (9)

  1. 音声認識トリガーを提供するための方法であって、
    デバイスで感知される近接情報に基づいて前記デバイスとユーザー間の距離である第1距離を推定し、前記デバイスで感知される音声に関する情報を参照して、前記デバイスと前記デバイスで感知される音声が発話される位置間の距離である第2距離を推定する段階、および
    前記第1距離および前記第2距離間の類似性を参照して、前記デバイスで感知される音声が音声認識の対象であるかの可否を決定する段階を含む、方法。
  2. 前記近接情報は、光学(optical)センサ、光電(photoelectric)センサ、超音波(ultrasonic)センサ、誘導(inductive)センサ、静電容量(capacitive)センサ、抵抗膜(resistive)センサ、渦電流(eddy current)センサ、赤外線(infrared)センサおよびマグネチック(magnetic)センサのうち少なくとも一つから獲得される、請求項1に記載の方法。
  3. 前記第2距離は、音声の発話位置および感知位置間の距離により現れる音声パターンと前記デバイスで感知される音声を比較することによって推定される、請求項1に記載の方法。
  4. 前記音声パターンは、少なくとも一つの位置で発話される音声に関するマシンラーニング(machine learning)またはディープラーニング(deep learning)を通じて獲得される、請求項3に記載の方法。
  5. 前記推定段階で、
    前記デバイスで感知される音声に関する情報を参照して、前記デバイスで感知される音声から周辺の騒音を分離する、請求項1に記載の方法。
  6. 前記決定段階で、
    前記デバイスで感知される音声が人体から発話されたかの可否をさらに参照して、前記デバイスで感知される音声が音声認識の対象であるかの可否を決定する、請求項1に記載の方法。
  7. 前記決定段階で、
    前記第1距離または前記第2距離が既設定された距離以内であるかの可否をさらに参照して、前記デバイスで感知される音声が音声認識の対象であるかの可否を決定する、請求項1に記載の方法。
  8. 請求項1から請求項7のいずれか一項に記載された方法を実行するためのコンピュータプログラムを記録する、非一過性のコンピュータ読み取り可能記録媒体。
  9. 音声認識トリガーを提供するためのシステムであって、
    デバイスで感知される近接情報に基づいて前記デバイスとユーザー間の距離である第1距離を推定し、前記デバイスで感知される音声に関する情報を参照して、前記デバイスと前記デバイスで感知される音声が発話される位置間の距離である第2距離を推定する推定部、および
    前記第1距離および前記第2距離間の類似性を参照して、前記デバイスで感知される音声が音声認識の対象であるかの可否を決定する決定部を含む、システム。
JP2019546117A 2017-02-27 2018-02-26 音声認識トリガーを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体 Active JP6799693B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0025738 2017-02-27
KR1020170025738A KR101893768B1 (ko) 2017-02-27 2017-02-27 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
PCT/KR2018/002337 WO2018155981A1 (ko) 2017-02-27 2018-02-26 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
JP2020510865A true JP2020510865A (ja) 2020-04-09
JP6799693B2 JP6799693B2 (ja) 2020-12-16

Family

ID=63252907

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019546117A Active JP6799693B2 (ja) 2017-02-27 2018-02-26 音声認識トリガーを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体

Country Status (4)

Country Link
US (1) US11315557B2 (ja)
JP (1) JP6799693B2 (ja)
KR (1) KR101893768B1 (ja)
WO (1) WO2018155981A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102419597B1 (ko) * 2017-09-29 2022-07-11 삼성전자주식회사 입력 디바이스와 전자 장치, 이를 포함하는 시스템 및 그 제어 방법
JP7055721B2 (ja) * 2018-08-27 2022-04-18 京セラ株式会社 音声認識機能を有する電子機器、その電子機器の制御方法およびプログラム
WO2020218634A1 (ko) * 2019-04-23 2020-10-29 엘지전자 주식회사 응답 기기 결정 방법 및 장치
WO2019172735A2 (ko) * 2019-07-02 2019-09-12 엘지전자 주식회사 커뮤니케이션 로봇 및 그의 구동 방법
TWI756966B (zh) * 2020-12-04 2022-03-01 緯創資通股份有限公司 視訊裝置與其操作方法
KR20230138656A (ko) * 2022-03-24 2023-10-05 주식회사 브이터치 음성 인식 트리거를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338995A (ja) * 1999-05-31 2000-12-08 Toshiba Corp 音声認識装置及び音声認識用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006251298A (ja) * 2005-03-10 2006-09-21 Nissan Motor Co Ltd 音声入力装置および音声入力方法
JP2012508530A (ja) * 2008-11-10 2012-04-05 グーグル・インコーポレーテッド 多感覚応用音声検出
JP2013175869A (ja) * 2012-02-24 2013-09-05 Nippon Telegr & Teleph Corp <Ntt> 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム
JP2015055718A (ja) * 2013-09-11 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US20150170635A1 (en) * 2008-04-05 2015-06-18 Apple Inc. Intelligent text-to-speech conversion
KR20150113701A (ko) * 2014-03-31 2015-10-08 삼성전자주식회사 음성 인식 시스템 및 방법
WO2016132729A1 (ja) * 2015-02-17 2016-08-25 日本電気株式会社 ロボット制御装置、ロボット、ロボット制御方法およびプログラム記録媒体
US20160343376A1 (en) * 2015-01-12 2016-11-24 YUTOU Technology (Hangzhou) Co.,Ltd. Voice Recognition System of a Robot System and Method Thereof

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8218397B2 (en) * 2008-10-24 2012-07-10 Qualcomm Incorporated Audio source proximity estimation using sensor array for noise reduction
US8848932B2 (en) * 2011-10-13 2014-09-30 Blackberry Limited Proximity sensing for user detection and automatic volume regulation with sensor interruption override
US10107887B2 (en) * 2012-04-13 2018-10-23 Qualcomm Incorporated Systems and methods for displaying a user interface
KR20140036584A (ko) * 2012-09-17 2014-03-26 삼성전자주식회사 음성 신호의 음량을 조절하기 위한 방법 및 그 전자 장치
US9424859B2 (en) * 2012-11-21 2016-08-23 Harman International Industries Canada Ltd. System to control audio effect parameters of vocal signals
US9384751B2 (en) * 2013-05-06 2016-07-05 Honeywell International Inc. User authentication of voice controlled devices
US9503556B2 (en) * 2013-06-18 2016-11-22 Here Global B.V. Handling voice calls
US9418651B2 (en) * 2013-07-31 2016-08-16 Google Technology Holdings LLC Method and apparatus for mitigating false accepts of trigger phrases
US9830924B1 (en) * 2013-12-04 2017-11-28 Amazon Technologies, Inc. Matching output volume to a command volume
CN103928025B (zh) * 2014-04-08 2017-06-27 华为技术有限公司 一种语音识别的方法及移动终端
KR102216048B1 (ko) * 2014-05-20 2021-02-15 삼성전자주식회사 음성 명령 인식 장치 및 방법
US20150350141A1 (en) * 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9632748B2 (en) * 2014-06-24 2017-04-25 Google Inc. Device designation for audio input monitoring
CN106462328B (zh) * 2014-06-24 2020-09-04 索尼公司 信息处理装置、信息处理方法和程序
US10284971B2 (en) * 2014-10-02 2019-05-07 Sonova Ag Hearing assistance method
US9911416B2 (en) * 2015-03-27 2018-03-06 Qualcomm Incorporated Controlling electronic device based on direction of speech
WO2017054196A1 (zh) * 2015-09-30 2017-04-06 华为技术有限公司 一种启动眼球追踪功能的方法及移动设备
KR102453603B1 (ko) * 2015-11-10 2022-10-12 삼성전자주식회사 전자 장치 및 그 제어 방법
US10388280B2 (en) * 2016-01-27 2019-08-20 Motorola Mobility Llc Method and apparatus for managing multiple voice operation trigger phrases
KR20170091913A (ko) * 2016-02-02 2017-08-10 삼성전자주식회사 영상 서비스 제공 방법 및 장치
US9972339B1 (en) * 2016-08-04 2018-05-15 Amazon Technologies, Inc. Neural network based beam selection
US10074359B2 (en) * 2016-11-01 2018-09-11 Google Llc Dynamic text-to-speech provisioning
US10733989B2 (en) * 2016-11-30 2020-08-04 Dsp Group Ltd. Proximity based voice activation
US10027662B1 (en) * 2016-12-06 2018-07-17 Amazon Technologies, Inc. Dynamic user authentication

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000338995A (ja) * 1999-05-31 2000-12-08 Toshiba Corp 音声認識装置及び音声認識用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2006251298A (ja) * 2005-03-10 2006-09-21 Nissan Motor Co Ltd 音声入力装置および音声入力方法
US20150170635A1 (en) * 2008-04-05 2015-06-18 Apple Inc. Intelligent text-to-speech conversion
JP2012508530A (ja) * 2008-11-10 2012-04-05 グーグル・インコーポレーテッド 多感覚応用音声検出
JP2013175869A (ja) * 2012-02-24 2013-09-05 Nippon Telegr & Teleph Corp <Ntt> 音響信号強調装置、遠近判定装置、それらの方法、及びプログラム
JP2015055718A (ja) * 2013-09-11 2015-03-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR20150113701A (ko) * 2014-03-31 2015-10-08 삼성전자주식회사 음성 인식 시스템 및 방법
US20160343376A1 (en) * 2015-01-12 2016-11-24 YUTOU Technology (Hangzhou) Co.,Ltd. Voice Recognition System of a Robot System and Method Thereof
WO2016132729A1 (ja) * 2015-02-17 2016-08-25 日本電気株式会社 ロボット制御装置、ロボット、ロボット制御方法およびプログラム記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
武田 龍, 外1名: "方向依存活性化関数を用いたDeep Neural Networkに基づく識別的音源定位", 情報処理学会研究報告 音声言語情報処理(SLP), [ONLINE], vol. 第2016-SLP-112巻, 第13号, JPN6020029114, 30 July 2016 (2016-07-30), JP, pages 1 - 6, ISSN: 0004322120 *

Also Published As

Publication number Publication date
KR101893768B1 (ko) 2018-09-04
WO2018155981A1 (ko) 2018-08-30
US11315557B2 (en) 2022-04-26
US20190385605A1 (en) 2019-12-19
JP6799693B2 (ja) 2020-12-16

Similar Documents

Publication Publication Date Title
JP6799693B2 (ja) 音声認識トリガーを提供するための方法、システムおよび非一過性のコンピュータ読み取り可能な記録媒体
CN107481718B (zh) 语音识别方法、装置、存储介质及电子设备
US11152006B2 (en) Voice identification enrollment
US9412361B1 (en) Configuring system operation using image data
CN105723450B (zh) 用于话语检测的包络比较的方法和系统
JP5911796B2 (ja) マルチモーダル情報を用いるユーザ意図推論装置及び方法
CN102903360B (zh) 以麦克风阵列为基础的语音辨识系统与方法
JP5155943B2 (ja) データ処理装置、データ処理装置制御プログラム及びデータ処理方法
US20240087565A1 (en) Determining input for speech processing engine
EP4138075A1 (en) Voice trigger for a digital assistant
US11508378B2 (en) Electronic device and method for controlling the same
WO2020155584A1 (zh) 声纹特征的融合方法及装置,语音识别方法,系统及存储介质
EP3444809A1 (en) Personalized speech recognition method, and user terminal performing the method
US20230410835A1 (en) Voice onset detection
TW201606760A (zh) 從音頻訊號的即時情緒辨識
US11289085B2 (en) Automatic turn delineation in multi-turn dialogue
US11830502B2 (en) Electronic device and method for controlling the same
Yang et al. Model-based head orientation estimation for smart devices
KR20190059381A (ko) 자동 음성/제스처 인식 기반 멀티미디어 편집 방법
JP6916130B2 (ja) 話者推定方法および話者推定装置
Ktistakis et al. A multimodal human-machine interaction scheme for an intelligent robotic nurse
US20220238134A1 (en) Method and system for providing voice recognition trigger and non-transitory computer-readable recording medium
Nagy et al. An anytime voice controlled ambient assisted living system for motion disabled persons
Yağanoğlu et al. Real-time parental voice recognition system for persons having impaired hearing
US10649725B1 (en) Integrating multi-channel inputs to determine user preferences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201120

R150 Certificate of patent or registration of utility model

Ref document number: 6799693

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250