JP2018190413A - ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム - Google Patents

ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム Download PDF

Info

Publication number
JP2018190413A
JP2018190413A JP2018085215A JP2018085215A JP2018190413A JP 2018190413 A JP2018190413 A JP 2018190413A JP 2018085215 A JP2018085215 A JP 2018085215A JP 2018085215 A JP2018085215 A JP 2018085215A JP 2018190413 A JP2018190413 A JP 2018190413A
Authority
JP
Japan
Prior art keywords
user
option
options
user command
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018085215A
Other languages
English (en)
Inventor
セジン チャ
Seijin Cha
セジン チャ
ウンジョン チェ
Eonjoung Choi
ウンジョン チェ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Z Intermediate Global Corp
Naver Corp
Original Assignee
Line Corp
Naver Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Line Corp, Naver Corp filed Critical Line Corp
Publication of JP2018190413A publication Critical patent/JP2018190413A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/02Feature extraction for speech recognition; Selection of recognition unit
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/04Segmentation; Word boundary detection
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/271Devices whereby a plurality of signals may be stored simultaneously controlled by voice recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command

Abstract

【課題】ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整して提供するユーザ命令処理方法およびシステムを提供する。
【解決手段】ユーザ命令にしたがって実行可能な少なくとも1つの予め定義された動作を管理する段階510、ユーザから受信された音声入力を少なくとも含むユーザ命令を受信する段階520、音声入力から抽出されたキーワードに対応する動作を選択する段階530、少なくとも1つの予め定義された動作それぞれと関連して複数のオプションが予め設定される段階550、選択された動作と関連して予め設定された複数のオプションのうちから抽出されたキーワードに対応する少なくとも1つのオプションを決定する段階560、音声入力の表現法に基づいて複数のオプションのうちから少なくとも1つのオプションを決定する段階および決定された少なくとも1つのオプションと連係して選択された動作を実行する段階570を含む。
【選択図】図5

Description

以下の説明は、ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム、コンピュータで実現される電子機器にユーザ命令処理方法を実行させるためのコンピュータプログラムとその記録媒体に関する。
ホームネットワークサービスの人工知能スピーカのように、音声に基づいて動作するインタフェースは、視覚情報を使用することができないことから、多様なオプションから1つのオプションを選択する動作や、数多くの情報から1つの情報を選択する動作などを実施することが難しい。例えば、特許文献1は、ホームメディアデバイスおよびこれを利用したホームネットワークシステムと方法に関する技術であって、ホームネットワークサービスにおいて、移動通信網の他にWi−Fi(登録商標)のような第2通信網を利用してホームネットワークサービスを提供することが可能であり、宅内の複数のマルチメディア機器をユーザのボタン操作なく音声命令によってマルチコントロールすることができる技術を開示している。このようなホームネットワークサービスにおいて、ユーザから音声命令を受信する電子機器が、ユーザの音声入力「電気を消して」を受信した場合を考えてみる。このような電子機器は、受信した音声入力「電気を消して」を分析した結果、スマート照明機器であるライトの電源をオフ(OFF)にすることが考慮されるが、ホームネットワーク上に複数のスマート照明機器が存在する場合には、どのスマート照明機器の電源をオフにすべきかを決定する状況に直面するようになる。このような従来技術では、既に入力されたユーザの音声入力だけでは、音声入力に基づいて選択された動作と関連する多様なオプションからユーザが意図するオプションを選択することは難しく、これと同じように、ユーザの音声入力が意図する情報を提供するにおいても、関連する多様な情報をどのオプションによって提供すべきかを選択するのが難しいという問題がある。
韓国公開特許第10−2011−0139797号
ユーザ命令にしたがって実行可能な電子機器の予め定義された動作と関連し、動作の多様のオプションに対し、ユーザから受信された音声入力がオプションの決定のための直接的なキーワードを含んでいない場合にも、音声入力の表現法に基づいてオプションを決定し、決定されたオプションと連係して選択された動作を実行することができる、ユーザ命令処理方法およびシステム、コンピュータで実現される電子機器にユーザ命令処理方法を実行させるためのコンピュータプログラムとその記録媒体を提供する。
ユーザの音声入力がオプションの決定のための直接的なキーワードを含んでいない場合にも、このような音声入力の表現法によって選択された動作と関連する人間とユーザとの間の社会的関係、音声入力から得られたユーザの口調および語調のうちの少なくとも1つに基づいて分析されたユーザ命令の至急性および/またはユーザ感性などを活用してオプションを決定することができる、ユーザ命令処理方法およびシステム、コンピュータで実現される電子機器にユーザ命令処理方法を実行させるためのコンピュータプログラムとその記録媒体を提供する。
電子機器が実行するユーザ命令処理方法であって、ユーザ命令にしたがって実行可能な少なくとも1つの予め定義された動作を管理する段階であって、前記少なくとも1つの予め定義された動作それぞれと関連して複数のオプションが予め設定される、段階、ユーザから受信された音声入力を少なくとも含むユーザ命令を受信する段階、前記音声入力から抽出されたキーワードに対応する動作を選択する段階、前記の選択された動作と関連して予め設定された複数のオプションのうちから前記抽出されたキーワードに対応する少なくとも1つのオプションを決定する段階であって、前記音声入力の表現法に基づいて前記複数のオプションのうちから少なくとも1つのオプションを決定する段階、および前記の決定された少なくとも1つのオプションと連係して前記の選択された動作を実行する段階を含む、ユーザ命令処理方法を提供する。
コンピュータで実現される電子機器に前記ユーザ命令処理方法を実行させるためのコンピュータプログラムを提供する。
前記コンピュータプログラムを記録した記録媒体を提供する。
ユーザ命令処理システムであって、コンピュータ読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサを含み、前記少なくとも1つのプロセッサは、ユーザ命令にしたがって実行可能な少なくとも1つの予め定義された動作を管理する段階であって、前記少なくとも1つの予め定義された動作それぞれと関連して複数のオプションが予め設定される、段階、ユーザから受信された音声入力を少なくとも含むユーザ命令を受信する段階、前記音声入力から抽出されたキーワードに対応する動作を選択する段階、前記の選択された動作と関連して予め設定された複数のオプションのうちから前記抽出されたキーワードに対応する少なくとも1つのオプションを決定する段階であって、前記音声入力の表現法に基づいて前記複数のオプションのうちから少なくとも1つのオプションを決定する段階、および前記の決定された少なくとも1つのオプションと連係して前記の選択された動作を実行する段階を実行する、ユーザ命令処理システムを提供する。
ユーザ命令にしたがって実行可能な電子機器の予め定義された動作と関連し、動作の多様のオプションに対し、ユーザから受信された音声入力がオプションの決定のための直接的なキーワードを含んでいない場合にも、音声入力の表現法に基づいてオプションを決定し、決定されたオプションと連係して選択された動作を実行することができる。
ユーザの音声入力がオプションの決定のための直接的なキーワードを含んでいない場合にも、このような音声入力の表現法によって選択された動作と関連する人間とユーザとの間の社会的関係、音声入力から得られたユーザの口調および語調のうちの少なくとも1つに基づいて分析されたユーザ命令の至急性および/またはユーザ感性などを活用してオプションを決定することができる。
本発明の一実施形態における、音声ベースのインタフェースを活用したサービス環境の例を示した図である。 本発明の一実施形態における、音声ベースのインタフェースを活用したサービス環境の他の例を示した図である。 本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。 本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。 本発明の一実施形態における、電子機器が実行することのできるユーザ命令処理方法の例を示したフローチャートである。 本発明の一実施形態における、音声入力の表現法に基づいてオプションを決定することができない場合のユーザ命令処理方法の例を示したフローチャートである。 本発明の一実施形態における、自動で選択されたオプションが推薦され、これを確認させるためのユーザ命令処理方法の例を示したフローチャートである。 本発明の一実施形態における、外部プラットフォームを活用する場合のユーザ命令処理方法の例を示したフローチャートである。
以下、実施形態について、添付の図面を参照しながら詳しく説明する。
本発明の実施形態に係るユーザ命令処理システムは、音声に基づいて動作するインタフェースを提供する電子機器によって実現されてよい。ユーザ命令は、ユーザから受信される音声入力を少なくとも含んでよく、電子機器は、このような音声入力を直接的にあるいは別のインタフェースコネクトを介して接続する外部プラットフォームによって認識および分析してユーザ命令を処理してよい。本発明の実施形態に係るユーザ命令処理方法は、上述した電子機器によって実行されてよい。ここで、電子機器において、本発明の一実施形態に係るコンピュータプログラムがインストールおよび実行されてよく、電子機器は、実行するコンピュータプログラムの制御にしたがって本発明の一実施形態に係るユーザ命令処理方法を実行してよい。上述したコンピュータプログラムは、コンピュータで実現される電子機器にユーザ命令処理方法を実行させるための記録媒体に記録されてよい。
図1は、本発明の一実施形態における、音声ベースのインタフェースを活用したサービス環境の例を示した図である。図1の実施形態では、スマートホーム(smart home)やホームネットワークサービスのように宅内の機器を接続して制御する技術において、音声に基づいて動作するインタフェースを提供する電子機器100が、ユーザ110の発話によって受信された音声入力「電気を消して」を認識および分析し、宅内で内部ネットワークを介して電子機器100と連係する宅内照明機器130のライト電源を制御する例を示している。
例えば、宅内の機器は、上述した宅内照明機器130の他にも、テレビ、PC(Personal Computer)、周辺機器、エアコン、冷蔵庫、ロボット掃除機などのような家電製品はもちろん、水道、電気、冷暖房機器などのようなエネルギー消費装置、ドアロック、監視カメラなどのような保安機器など、オンライン上で接続されて制御されることが可能な多様な機器を含んでよい。また、内部ネットワークにおいて、イーサネット(登録商標)、HomePNA、IEEE 1394のような有線ネットワーク技術や、ブルートゥース(登録商標)、UWB(ultra Wide Band)、ジグビー(登録商標)、Wireless 1394、Home RFのような無線ネットワーク技術などが活用されてよい。
電子機器100は、宅内の機器のうちの1つであってよい。例えば、電子機器100は、宅内に備えられた人工知能スピーカやロボット清掃機などのような機器のうちの1つであってよい。また、電子機器100は、スマートフォン、携帯電話機、ノート型パンコン、デジタル放送用端末、PDA(Personal Digital Assistant)、PMP(Portable Multimedia Player)、タブレットなどのような、ユーザ110のモバイル機器であってもよい。このように、電子機器100は、ユーザ110の音声入力を受信して宅内の機器を制御するために宅内の機器と接続可能な機能を含む機器であれば、特に制限されることはない。
図2は、本発明の一実施形態における、音声ベースのインタフェースを活用したサービス環境の例を示した図である。図2は、音声に基づいて動作するインタフェースを提供する電子機器100が、ユーザ110の発話によって受信された音声入力「今日の天気」を認識および分析し、外部ネットワークを介して外部サーバ210から今日の天気に関する情報を取得し、取得した情報を音声で出力する例を示している。
例えば、外部ネットワークは、PAN(personal area network)、LAN(local area network)、CAN(campus area network)、MAN(metropolitan area network)、WAN(wide area network)、BBN(broadband network)、インターネットなどのネットワークのうちの1つ以上の任意のネットワークを含んでよい。
図2の実施形態でも、電子機器100は、宅内の機器のうちの1つであるか、ユーザ110のモバイル機器のうちの1つであってよく、ユーザ110の音声入力を受信して処理するための機能と、外部ネットワークを介して外部サーバ210に接続して外部サーバ210が提供するサービスやコンテンツをユーザ110に提供するための機能を含む機器であれば、特に制限されることはない。
このように、本発明の実施形態に係る電子機器100は、音声ベースのインタフェースを利用してユーザ110の発話によって受信された音声入力を少なくとも含むユーザ命令を処理することのできる機器であれば、特に制限されることはない。例えば、電子機器100は、ユーザの音声入力を直接的に認識および分析して音声入力に適した動作を実行することでユーザ命令を処理してもよいが、実施形態によっては、ユーザの音声入力に対する認識や認識された音声入力の分析、ユーザに提供される音声の合成などの処理を、電子機器100と連係する外部のプラットフォームで実行してもよい。
図3は、本発明の一実施形態における、クラウド人工知能プラットフォームの例を示した図である。図3は、電子機器310、クラウド人工知能プラットフォーム320、およびコンテンツ・サービス330を示している。
一例として、電子機器310は、宅内に備えられる機器を意味してよく、少なくとも上述した電子機器100を含んでよい。このような電子機器310や電子機器310においてインストールおよび実行されるアプリケーション(以下、アプリとも呼ばれる)は、インタフェースコネクト340を介してクラウド人工知能プラットフォーム320と連係してよい。ここで、インタフェースコネクト340は、電子機器310や電子機器310においてインストールおよび実行されるアプリの開発のためのSDK(Software Development Kit)および/または開発文書を開発者に提供してよい。また、インタフェースコネクト340は、電子機器310や電子機器310においてインストールおよび実行されるアプリが、クラウド人工知能プラットフォーム320が提供する機能を活用することのできるAPI(Application Program Interface)を提供してよい。具体的な例として、開発者が、インタフェースコネクト340が提供するSDKおよび/または開発文書を利用して開発した機器やアプリは、インタフェースコネクト340が提供するAPIを利用してクラウド人工知能プラットフォーム320が提供する機能を活用することができるようになる。
ここで、クラウド人工知能プラットフォーム320は、音声基盤サービスを提供するための機能を提供してよい。例えば、クラウド人工知能プラットフォーム320は、受信された音声を認識して、出力される音声を合成するための音声処理モジュール321、受信された映像や動画を分析して処理するためのビジョン処理モジュール322、受信された音声に適した音声を出力するために適切な対話を決定するための対話処理モジュール323、受信された音声に適した機能を推薦するための推薦モジュール324、人工知能がデータ学習によって文章単位で言語を翻訳するように支援するニューラル機械翻訳(Neural Machine Translation:NMT)325などのように、音声基盤サービスを提供するための多様なモジュールを含んでよい。
例えば、図1および図2の実施形態において、電子機器100は、ユーザ110の音声入力を、インタフェースコネクト340で提供するAPIを利用してクラウド人工知能プラットフォーム320に送信してよい。この場合、クラウド人工知能プラットフォーム320は、受信した音声入力を上述したモジュール321〜325を活用して認識および分析してよく、受信した音声入力にしたがって適切な返答音声を合成して提供したり、適切な動作を推薦したりしてよい。
また、拡張キット350は、サードパーティのコンテンツ開発者または会社がクラウド人工知能プラットフォーム320に基づいて新たな音声基盤機能を実現することのできる開発キットを提供してよい。例えば、図2の実施形態において、電子機器100は、受信したユーザ110の音声入力を外部サーバ210に送信してよく、外部サーバ210は、拡張キット350から提供されるAPIを利用してクラウド人工知能プラットフォーム320に音声入力を送信してよい。この場合、上述したのと同じように、クラウド人工知能プラットフォーム320は、受信した音声入力を認識、分析して適切な返答音声を合成して提供したり、音声入力に基づいて処理されなければならない機能に関する推薦情報を外部サーバ210に提供したりしてよい。一例として、図2において、外部サーバ210は、音声入力「今日の天気」をクラウド人工知能プラットフォーム320に送信してよく、クラウド人工知能プラットフォーム320から音声入力「今日の天気」の認識によって抽出されたキーワード「今日の」および「天気」を受信してよい。この場合、外部サーバ210は、キーワード「今日の」および「天気」に基づいて「今日の天気は・・・」のようなテキスト情報を生成した後、再びクラウド人工知能プラットフォーム320に、生成されたテキスト情報を送信してよい。このとき、クラウド人工知能プラットフォーム320は、テキスト情報を音声で合成して外部サーバ210に提供してよい。外部サーバ210は、合成された音声を電子機器100に送信してよく、電子機器100は、合成された音声「今日の天気は・・・」をスピーカから出力することにより、ユーザ110から受信された音声入力「今日の天気」を処理してよい。
図4は、本発明の一実施形態における、電子機器およびサーバの内部構成を説明するためのブロック図である。図4の電子機器410は、上述した電子機器100に対応してよく、サーバ420は、上述した外部サーバ210やクラウド人工知能プラットフォーム320を実現する1つのコンピュータ装置に対応してよい。
電子機器410とサーバ420は、メモリ411、421、プロセッサ412、422、通信モジュール413、423、および入力/出力インタフェース414、424を含んでよい。メモリ411、421は、コンピュータ読み取り可能な記録媒体であって、RAM(random access memory)、ROM(read only memory)、およびディスクドライブのような永続的大容量記録装置を含んでよい。ここで、ROMとディスクドライブのような永続的大容量記録装置は、メモリ411、421とは区分される別の永続的記録装置として電子機器410やサーバ420に含まれてもよい。また、メモリ411、421には、オペレーティングシステムと、少なくとも1つのプログラムコード(一例として、電子機器410にインストールされ、特定のサービスの提供のために電子機器410において実行されるアプリケーションなどのためのコード)が記録されてよい。このようなソフトウェア構成要素は、メモリ411、421とは別のコンピュータ読み取り可能な記録媒体からロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー(登録商標)ドライブ、ディスク、テープ、DVD/CD−ROMドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信モジュール413、423を通じてメモリ411、421にロードされてもよい。例えば、少なくとも1つのプログラムは、開発者またはアプリケーションのインストールファイルを配布するファイル配布システムがネットワーク430を介して提供するファイルによってインストールされるプログラム(一例として、上述したアプリケーション)に基づいて電子機器410のメモリ411にロードされてよい。
プロセッサ412、422は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ411、421または通信モジュール413、423によって、プロセッサ412、422に提供されてよい。例えば、プロセッサ412、422は、メモリ411、421のような記録装置に記録されたプログラムコードにしたがって受信された命令を実行するように構成されてよい。
通信モジュール413、423は、ネットワーク430を介して電子機器410とサーバ420とが互いに通信するための機能を提供してもよいし、電子機器410および/またはサーバ420が他の電子機器または他のサーバと通信するための機能を提供してもよい。一例として、電子機器410のプロセッサ412がメモリ411のような記録装置に記録されたプログラムコードにしたがって生成した要求が、通信モジュール413の制御にしたがってネットワーク430を介してサーバ420に伝達されてよい。これとは逆に、サーバ420のプロセッサ422の制御にしたがって提供された制御信号や命令、コンテンツ、ファイルなどが、通信モジュール423とネットワーク430を経て電子機器410の通信モジュール413を通じて電子機器410に受信されてよい。例えば、通信モジュール413を通じて受信したサーバ420の制御信号や命令、コンテンツ、ファイルなどは、プロセッサ412やメモリ411に伝達されてよく、コンテンツやファイルなどは、電子機器410がさらに含むことのできる記録媒体(上述した永続的記録装置)に記録されてよい。
入力/出力インタフェース414は、入力/出力装置415とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力/出力インタフェース414は、タッチスクリーンのように入力と出力のための機能が1つに統合された装置とのインタフェースのための手段であってもよい。入力/出力装置415は、電子機器410と1つの装置で構成されてもよい。また、サーバ420の入力/出力インタフェース424は、サーバ420と接続するかサーバ420が含むことのできる入力または出力のための装置(図示せず)とのインタフェースのための手段であってもよい。
また、他の実施形態において、電子機器410およびサーバ420は、図4の構成要素よりも多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、電子機器410は、上述した入力/出力装置415のうちの少なくとも一部を含むように実現されてもよいし、トランシーバ、GPS(Global Positioning System)モジュール、カメラ、各種センサ、データベースなどのような他の構成要素をさらに含んでもよい。より具体的な例として、電子機器410がスマートフォンである場合、一般的にスマートフォンが含んでいる加速度センサやジャイロセンサ、カメラモジュール、物理的な各種ボタン、タッチパネルを利用したボタン、入力/出力ポート、振動のための振動器などのような多様な構成要素が電子機器410にさらに含まれるように実現されてよい。
本実施形態において、電子機器410は、ユーザの音声入力を受信するためのマイクを入力/出力装置415として基本的に含んでよく、必要に応じて、ユーザの音声入力に対応する返答音声やオーディオコンテンツのような音を出力するためのスピーカを入力/出力装置415としてさらに含んでよい。
電子機器410がユーザ命令にしたがって実行することのできる1つの動作は、動作によって複数のオプションを含んでよい。例えば、ユーザ命令が含む音声入力「電気を消して」と関連し、電子機器410は、連係する照明機器のライト電源をオフにする動作を実行してよい。しかし、電子機器410と連係する照明機器が複数存在する場合、どの照明機器のライト電源をオフにしなければならないかに対するオプションが存在するようになる。ユーザの音声入力には、このようなオプションを選択するための情報(一例として、「この部屋の電気を消して」の「この部屋」)が直接的に含まれている場合もあるが、単に動作に関する情報だけしか含まれていない場合もある。本発明の実施形態では、このようなオプションを、ユーザからの追加音声入力がなくても、既存の音声入力の表現法によって選択することのできる技術について説明する。
図5は、本発明の一実施形態における、電子機器が実行することのできるユーザ命令処理方法の例を示したフローチャートである。本発明の実施形態に係るユーザ命令処理システムは、上述した電子機器410のようなコンピュータ装置の形態で実現されてよい。このような電子機器410は、図5のユーザ命令処理方法が含む段階510〜560を実行してよい。このとき、プロセッサ412は、メモリ411が含むオペレーティングシステムのコードや、少なくとも1つのプログラムのコードによる制御命令を実行するように実現されてよい。ここで、プロセッサ412は、電子機器410に記録されたコードが提供する制御命令にしたがって電子機器410が図5の段階510〜560を実行するように電子機器410を制御してよい。
段階510で、電子機器410は、ユーザ命令にしたがって実行可能な少なくとも1つの予め定義された動作を管理してよい。このとき、少なくとも1つの予め定義された動作それぞれと関連して複数のオプションが予め設定されてよい。例えば、1つの動作に対して予め設定されたオプションは、該当の動作にしたがって制御される機器の種類を選択するか、または動作にしたがって制御される特定の機器を選択することのように、機器を選択するためのオプションを含んでよい。他の例として、1つの動作に対して予め設定されたオプションは、該当の動作にしたがって提供されるコンテンツの特性やコンテンツの提供順などのように、提供されるコンテンツの範囲や提供方式などを制御するためのオプションを含んでもよい。このようなオプションの具体的な例については、以下でさらに詳しく説明する。
段階520で、電子機器410は、ユーザから受信された音声入力を少なくとも含むユーザ命令を受信してよい。例えば、電子機器410は、上述したように、入力/出力装置415としてマイクを含んでよく、マイクに入力されたユーザの音声入力を含むユーザ命令を受信してよい。実施形態によっては、電子機器410はカメラを含み、カメラに入力された映像を、音声入力と共にユーザ命令として受信してもよい。このような映像の活用については、以下でさらに詳しく説明する。
段階530で、電子機器410は、音声入力から抽出されたキーワードに対応する動作を選択してよい。例えば、電子機器410は、受信された音声入力を分析して音声入力に対応するメッセージ列を取得してよく、取得されたメッセージ列を分析し、特定のキーワードを利用して対応する動作を選択してよい。他の例として、電子機器410は、図3を参照しながら説明したクラウド人工知能プラットフォーム320のような外部プラットフォームの援助によってキーワードを受信するか、またはキーワードに対応する動作を選択してもよい。より具体的な例として、電子機器410は、インタフェースコネクト340を介してユーザの音声入力をクラウド人工知能プラットフォーム320に送信し、クラウド人工知能プラットフォーム320が音声入力を分析して提供するキーワードやキーワードに対応する推薦動作に基づいてユーザ命令に適した動作を選択してもよい。
段階540で、電子機器410は、選択された動作と関連して予め設定された複数のオプションのうち、抽出されたキーワードに対応する少なくとも1つのオプションが存在するかを決定してよい。例えば、照明機器のライト電源をオフにするための動作と関連し、電子機器410が複数の照明機器と接続している場合、複数の照明機器のうちの特定の照明機器(または照明機器全体)を選択するためのオプションが該当の動作に対して予め設定されてよい。このとき、電子機器410は、ユーザの音声入力から抽出されたキーワードに基づき、このようなオプションの選択が可能であるかを判断してよい。より具体的な例として、電子機器410は、「小さい部屋の電気を消して」の「小さい部屋」や「この部屋の電気を消して」の「この部屋」のように、複数の照明機器のうちの1つが動作に対して予め設定された複数のオプションのうちの少なくとも1つとして選択可能であるかを決定してよい。他の例として、インスタントメッセージを送信する動作と関連し、インスタントメッセージが送信される人物が、オプションの選択によって決定されてもよい。より具体的な例として、該当の動作と関連し、メッセンジャーサービスでユーザのアカウントと関連して登録された他のアカウントが、複数のオプションとして該当の動作に対して予め設定されてよい。または、ユーザのスマートフォンに保存された電話番号(電話番号に対して保存された名前)が、複数のオプションとして該当の動作に対して予め設定されてよい。この場合、電子機器410は、「娘に早く帰ってきなさいとメッセージを送って」の「娘」や「お母さんに早く帰ってきてとメッセージを送って」の「お母さん」のような、インスタントメッセージが送信される人物が、動作に対して予め設定された複数のオプションのうちの少なくとも1つとして選択可能であるかを決定してよい。このとき、電子機器410は、抽出されたキーワードに対応するオプションが存在する場合には段階550を、抽出されたキーワードに対応するオプションが存在しない場合には段階560を、それぞれ実行してよい。
段階550で、電子機器410は、複数のオプションのうちから、抽出されたキーワードに対応する少なくとも1つのオプションを決定してよい。言い換えれば、電子機器410は、音声入力に含まれているキーワードを利用することにより、対応する動作だけではなく、動作に対して予め設定されたオプションのうちの少なくとも1つを決定することができる。
これに対し、音声入力に含まれているキーワードに基づき、動作に対して予め設定されたオプションのうちから少なくとも1つを決定することができない場合が存在する。例えば、音声入力「電気を消して」には、どの照明機器のライト電源を消すべきであるかに対するキーワードが含まれておらず、音声入力「早く帰ってきなさいとメッセージを送って」には、誰にメッセージを送信すべきかに対するキーワードが含まれていない。この場合、従来技術では、ユーザによっていずれかの照明機器またはいずれかの人物が選択されるようにしなければならないが、上述したように、音声ベースのインタフェースでは、ユーザが多様なオプションのうちから1つを選択することが、視覚情報ベースのインタフェースにおいて多様なオプションのうちから1つを選択するよりも難しいという問題がある。これに対し、本発明の実施形態では、音声入力の表現法に基づいてオプションを選択することができる機能を提供してよい。
段階560で、電子機器410は、音声入力の表現法に基づき、複数のオプションのうちから少なくとも1つのオプションを決定してよい。例えば、電子機器410は、音声入力に使用された敬語やユーザの発話の探索程度(一例として、ユーザ命令の至急性の程度)、またはユーザの口調や語調によって把握されるユーザの感性などに基づいて動作のオプションを決定してよい。
一実施形態として、音声入力の表現法は、選択された動作と関連する人物とユーザとの間の社会的関係を示す表現を含むことがある。この場合、電子機器410は、この表現によって把握されるユーザとの社会的関係に基づき、複数のオプションのうちから少なくとも1つのオプションを決定してよい。
例えば、複数のオプションは、電子機器410と連動する複数の機器に対応してよい。このとき、電子機器410は、複数の機器のうち、ユーザとの社会的関係に基づいて選択された人物と関連する少なくとも1つの機器をオプションとして決定してよい。より具体的な例として、音声入力「電気を消して」と音声入力「電気を消して差し上げて」を比較すると、後者からは敬語を使用していることが確認されるようになり、照明機器のライト電源をオフすることと関連する人物が、ユーザよりも社会的関係が上にあることが確認されるようになる。この場合、電子機器410は、このような音声入力「電気を消して差し上げて」の表現法に基づき、ユーザの要求がユーザよりも社会的関係が上にある人物であることを確認してよく、このような社会的関係に基づいてオプションを選択してよい。例えば、上述した例では、電子機器410は、照明機器の選択をユーザに要求するのではなく、ユーザよりも社会的序列が高い人物(一例として、両親)の部屋に位置する照明機器を自動で選択してよい。また、電子機器410は、音声入力「電気を消して」に対しては、ユーザが現在位置している部屋の照明機器を自動で選択してよい。
他の例として、複数のオプションは、ユーザと人的関係が設定された他のユーザのメッセンジャーアカウントまたは電話番号に対応してよい。この場合、電子機器410は、複数の機器のうちから、ユーザとの社会的関係に基づいて選択された他のユーザのメッセンジャーアカウントまたは電話番号をオプションとして決定してよい。より具体的な例として、音声入力「早く帰ってきなさいとメッセージを送って」という音声入力を考慮するとき、電子機器410は、音声入力の表現法に基づき、メッセージの受信者が、ユーザの同居人でありながらユーザよりも社会的序列が低い人物(一例として、子供)であると確認されるようになる。この場合、電子機器410は、ユーザに受信者を決定するように要求するのではなく、自動でメッセージの受信者を「娘」または「息子」などに決定してよい。この場合、電子機器410は、「娘にメッセージを送信しますか?」のようにユーザに受信者を推薦する動作を実施してよく、ユーザの確認入力にしたがい、「娘」の電話番号や「娘」のメッセンジャーアカウントを利用してユーザの「娘」に「早く帰ってきなさい」というメッセージを送信してよい。他の音声入力「早く帰ってきてください」を考慮するとき、電子機器410は、音声入力の表現法に基づき、メッセージの受信者が、ユーザの同居人でありながらユーザよりも社会的序列が高い人物(一例として、両親)であると確認されるようになる。この場合、電子機器410は、このような社会的関係に基づいて「お母さん」や「お父さん」をメッセージの受信者として自動で確認してよく、「お母さんにメッセージを送信しますか?」のように、ユーザにメッセージの受信者を推薦する動作を実施してよい。この場合にも、ユーザの確認入力にしたがい、「お母さん」の電話番号や「お母さん」のメッセンジャーアカウントを利用してユーザの「お母さん」に「早く帰ってきてください」というメッセージを送信してよい。このために、電子機器410は、ユーザの社会的関係に関する情報に基づき、予めメッセージを送信する動作に対するオプションを設定しておいてよい。
他の実施形態として、音声入力の表現法は、音声入力から得られたユーザの口調および語調のうちの少なくとも1つに基づいて分析されたユーザ命令の至急性およびユーザ感性のうちの少なくとも1つを含んでよい。この場合、電子機器410は、ユーザ命令の至急性およびユーザ感性のうちの少なくとも1つに基づき、複数のオプションのうちから少なくとも1つのオプションを決定してよい。
例えば、複数のオプションは、選択された動作と連係するコンテンツの特性分類またはコンテンツと関連する情報の提供方式に対応してよく、この場合、電子機器410は、ユーザ命令の至急性およびユーザ感性のうちの少なくとも1つに基づき、選択された動作と連係するコンテンツの特性分類のうちから少なくとも1つの分類を決定するか、またはコンテンツと関連する情報の提供方式のうちから少なくとも1つの方式を決定してよい。より具体的な例として、検索と関連し、音声入力「美味しい店を探して」と音声入力「美味しい店を探してみてくれない?」は、音声入力の表現法に基づいてユーザ命令の至急性が分けられてよい。電子機器410は、「探して」と「探してみてくれない?」のようなユーザの口調および語調のような音声入力の表現法に基づいて至急性等級を予め設定しておいてよく、このような至急性等級に基づき、提供されるコンテンツの特性や提供方式をオプションとして決定してよい。一例として、音声入力「美味しい店を探して」のように至急性等級が高いと決定された場合には、ユーザの近くに位置しながらユーザの趣向が反映された、正確性の高い検索結果をユーザに提供してよい。他の例として、音声入力「美味しい店を探してみてくれない?」のように至急性等級が低いと決定された場合には、距離とは関係なく、ユーザの趣向を反映した検索結果やユーザが最近高い関心を示した美味しい店などのように、より多彩な検索結果をユーザに提供してよい。より具体的な例として、検索と関連し、ユーザと検索結果間の距離の優先順位が動作に対するオプションとして決定されてよい。
また他の実施形態として、ユーザの口調や語調によって把握されるユーザの感性に基づき、コンテンツの特性や提供方式などがオプションとして選択されてもよい。例えば、ユーザの気分が良くない場合には、ユーザが応援しているスポーツチームに関する情報のうち、該当のスポーツチームが勝利した競技に関する情報を優先してユーザに提供してよい。他の例として、ユーザの気分が良い場合には、ユーザが応援しているスポーツチームの最新情報から順にユーザに提供してよい。言い換えれば、電子機器410は、ユーザの感情に応じて提供されるコンテンツの提供方式やコンテンツの特性を、コンテンツの提供という動作に対するオプションとして選択することができる。
また他の実施形態として、電子機器410は、ユーザの状況データをさらに活用して複数のオプションのうちから少なくとも1つのオプションを決定してよい。例えば、状況データは、ユーザの電話番号やユーザのメッセンジャーアカウントと関連して送受信されたインスタントメッセージ、および電子機器410が含むカメラで認識されたユーザの顔表情のうちの少なくとも1つを含んでよい。より具体的な例として、ユーザが最近(一例として、最近1時間以内に)送受信したインスタントメッセージが、上述したユーザの感情をより明確に測定するために活用されてよい。または、ユーザの顔表情によってユーザの感情やユーザ命令の至急性などをより明確に測定するためにカメラが活用されてよい。
段階570で、電子機器410は、決定された少なくとも1つのオプションと連係して選択された動作を実行してよい。上述したように、電子機器410は、オプションとして選択された受信者を推薦するか、または選択された受信者にメッセージを送信する動作を実行してよい。他の例として、電子機器410は、オプションとして選択されたコンテンツの特性および/または提供方式にしたがってコンテンツをユーザに提供してよい。
このように、本実施形態によると、ユーザの音声入力に、動作のオプションを選択するための具体的なキーワードが含まれていない場合にも、ユーザに追加でオプションの選択を要求することなく、ユーザの音声入力の表現法に基づいてオプションを自動で選択して動作を実行することができる。
図6は、本発明の一実施形態における、音声入力の表現法に基づいてオプションを決定することができない場合のユーザ命令処理方法の例を示したフローチャートである。図6の段階610および620は、図5の段階550に含まれて実行されてよい。
段階610で、電子機器410は、音声入力の表現法に基づいてオプションを決定することができない場合、ユーザによって複数のオプションのうちから少なくとも1つのオプションが選択されるようにするための情報を出力してよい。言い換えれば、電子機器410は、音声入力の表現法に基づいて自動でオプションの決定を試みたものの、表現法に基づいてオプションを決定することができない場合には、ユーザに追加でオプションの選択を要求してよい。例えば、音声入力の表現法だけではメッセージの受信者を決定することができない場合は、「どなたにメッセージを送信しますか?」のように、ユーザが受信者を選択するように要求するための情報を出力してよい。
段階620で、電子機器410は、出力された情報の応答として受信された追加音声入力にしたがい、複数のオプションのうちから少なくとも1つのオプションを決定してよい。例えば、「どなたにメッセージを送信しますか?」という音声を出力した後、ユーザから「お母さん」のような追加音声入力が受信された場合、このような追加音声入力に基づいてメッセージの受信者を決定してよい。
図7は、本発明の一実施形態における、自動で選択されたオプションが推薦され、これを確認させるためのユーザ命令処理方法の例を示したフローチャートである。図7の段階710〜760は、図5の段階570に含まれて実行されてよい。
段階710で、電子機器410は、決定された少なくとも1つのオプションと連係して動作を実行することに対する実施可否をユーザによって確認されるようにするための情報を出力してよい。出力される情報は、決定されたオプションが適切であるかどうかについてユーザから確認を受けるため、または決定されたオプションをユーザに推薦するために活用されてよい。例えば、上述した例である「娘にメッセージを送信しますか?」は、オプションとして決定された受信者「娘」が適切であるかどうかをユーザが確認するための目的および/またはオプションであり、決定された受信者「娘」をユーザに推薦するための目的を有してよい。
段階720で、電子機器410は、出力された情報の応答として第1追加音声入力を受信してよい。このような第1追加音声入力は、確認および/または推薦のために出力された情報に対するユーザの実施賛成または実施反対の返答として受信されてよい。
段階730で、電子機器410は、第1追加音声入力から実施賛成の返答が抽出されるかを確認してよい。このとき、電子機器410は、実施賛成の返答が抽出された場合には段階760を、実施反対の返答が抽出された場合には段階740および段階750を実行した後、段階760を実行してよい。
段階740で、電子機器410は、第1追加音声入力から実施反対の返答が抽出された場合、ユーザによって複数のオプションのうちから少なくとも1つの他のオプションが選択されるようにするための情報を出力してよい。言い換えれば、電子機器410は、確認および/または推薦のために出力された情報に対してユーザが否定的な反応を示した場合には、他のオプションの選択をユーザに要求してよい。例えば、「娘」を受信者に推薦したものの、出力された情報「娘にメッセージを送信しますか?」に対して「いいえ」のような実施反対の返答が抽出された場合、他のオプションの選択をユーザに要求してよい。
段階750で、電子機器410は、出力された情報の応答である第2追加音声入力にしたがい、複数のオプションのうちから少なくとも1つの他のオプションを決定してよい。実施形態によって、ユーザは、実施反対の返答と共に他のオプションを選択してもよい。例えば、ユーザは、出力された情報「娘にメッセージを送信しますか?」に対して「いいえ、息子にメッセージを送って」のように、実施反対の返答と共に他のオプションの選択がなされてもよい。この場合、段階740は省略されてよく、電子機器410は、段階750で第1追加音声入力から他のオプションを決定してもよい。
段階760で、電子機器410は、決定された少なくとも1つのオプションと連係して選択された動作を実行してよい。
図8は、本発明の一実施形態における、外部プラットフォームを活用する場合のユーザ命令処理方法の例を示したフローチャートである。図8の段階810および820は、図5の段階520以後に実行されてよく、段階820で受信される情報に応じて、段階820の次に、図5の段階530〜570のうちの1つが実行されてよい。
段階810で、電子機器410は、音声入力を、インタフェースコネクトを介して電子機器と接続するクラウド人工知能プラットフォームに送信してよい。図3の実施形態では、音声入力の処理や返答音声の合成、および/または対話の処理などと関連する音声基盤サービスを外部プラットフォームに提供する例について説明した。このような音声基盤サービスに係る音声入力の処理のために受信したユーザの音声入力が、クラウド人工知能プラットフォームに送信されてよい。
段階820で、電子機器410は、クラウド人工知能プラットフォームで、音声入力から抽出されたキーワード、抽出されたキーワードに基づいて推薦された動作、抽出されたキーワードに対応するオプション、および音声入力の表現法に基づいて決定されたオプションのうちの少なくとも1つに関する情報を受信してよい。
一実施形態として、クラウド人工知能プラットフォームは、音声入力を認識および分析してキーワードを抽出し、電子機器410に送信してよい。この場合、電子機器410は、図5を参照しながら説明した段階530から順に図5の段階を実行することにより、決定されたオプションと連係して選択された動作を実行してよい。
他の実施形態として、クラウド人工知能プラットフォームは、音声入力を認識および分析してキーワードを抽出し、抽出されたキーワードに基づいて動作を推薦してよい。この場合、電子機器410は、推薦された動作に基づいて図5の段階540から順に図5の段階を実行することにより、決定されたオプションと連係して選択された動作を実行してよい。
また他の実施形態として、クラウド人工知能プラットフォームは、音声入力を認識および分析してキーワードを抽出し、抽出されたキーワードに基づいて動作を選択し、抽出されたキーワードに対応するオプションを決定し、選択された動作と決定されたオプションを電子機器410に提供してよい。この場合、図5の段階550において、電子機器410は、クラウド人工知能プラットフォームから提供されたオプションを、選択された動作に対する少なくても1つのオプションとして決定してよい。また、電子機器410は、以後の段階570により、決定されたオプションと連係して選択された動作を実行してよい。
また他の実施形態として、クラウド人工知能プラットフォームは、音声入力を認識および分析してキーワードを抽出し、抽出されたキーワードに基づいて動作を選択し、抽出されたキーワードに対応するオプションが存在しない場合、音声認識の表現法に基づいてオプションを決定してよい。このとき、クラウド人工知能プラットフォームは、選択された動作と決定されたオプションを電子機器410に提供してよい。この場合、電子機器410は、図5の段階560において、クラウド人工知能プラットフォームから提供されたオプションを、選択された動作に対する少なくても1つのオプションとして決定してよく、段階570により、決定されたオプションと連係して選択された動作を実行してよい。
このように、クラウド人工知能プラットフォームは、実施形態によっては音声基盤サービスを電子機器410に提供してよく、音声基盤サービスが含む機能は、実施形態によって異なってよい。
以上のように、本発明の実施形態によると、ユーザ命令にしたがって実行可能な電子機器の予め定義された動作と関連し、動作の多様のオプションに対し、ユーザから受信された音声入力がオプションの決定のための直接的なキーワードを含んでいない場合にも、音声入力の表現法に基づいてオプションを決定し、決定されたオプションと連係して選択された動作を実行することができる。また、ユーザの音声入力がオプションの決定のための直接的なキーワードを含んでいない場合にも、このような音声入力の表現法に基づいて選択された動作と関連する人物とユーザとの間の社会的関係、音声入力から得られたユーザの口調および語調のうちの少なくとも1つに基づいて分析されたユーザ命令の至急性および/またはユーザ感性などを活用することによってオプションを決定することができる。
上述したシステムまたは装置は、ハードウェア構成要素、ソフトウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ、マイクロコンピュータ、FPGA(field programmable gate array)、PLU(programmable logic unit)、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、1つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム(OS)およびOS上で実行される1つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してよい。理解の便宜のために、1つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および/または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは1つのプロセッサおよび1つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。
ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの1つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび/またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、1つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。
実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。このようなコンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含んでよい。媒体は、コンピュータによって実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時的に記録するものであってよい。また、媒体は、単一または複数のハードウェアが結合された形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散されて存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク、および磁気テープのような磁気媒体、CD−ROM、DVDのような光媒体、フロプティカルディスク(floptical disk)のような光磁気媒体、およびROM、RAM、フラッシュメモリなどのような、プログラム命令が記録されるように構成されたものであってよい。また、他の媒体の例として、アプリケーションを配布するアプリストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。プログラム命令の例は、コンパイラによって生成されるもののような機械語コードだけではなく、インタプリタなどを使用してコンピュータによって実行される高級言語コードを含む。
以上のように、実施形態を、限定された実施形態と図面に基づいて説明したが、当業者であれば、上述した記載から多様な変更および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ/あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。
したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。
310:電子機器
320:クラウド人工知能プラットフォーム
330:コンテンツ・サービス
340:インタフェースコネクト
350:拡張キット

Claims (20)

  1. コンピュータで実現される電子機器にユーザ命令処理方法を実行させるためのコンピュータプログラムであって、
    前記ユーザ命令処理方法は、
    ユーザ命令にしたがって実行可能な少なくとも1つの予め定義された動作を管理する段階であって、前記少なくとも1つの予め定義された動作それぞれと関連して複数のオプションが予め設定される、段階、
    ユーザから受信された音声入力を少なくとも含むユーザ命令を受信する段階、
    前記音声入力から抽出されたキーワードに対応する動作を選択する段階、
    前記の選択された動作と関連して予め設定された複数のオプションのうちから前記抽出されたキーワードに対応する少なくとも1つのオプションを決定する段階であって、前記音声入力の表現法に基づいて前記複数のオプションのうちから少なくとも1つのオプションを決定する段階、および
    前記の決定された少なくとも1つのオプションと連係して前記の選択された動作を実行する段階
    を含む、コンピュータプログラム。
  2. 少なくとも1つのオプションを決定する前記段階は、
    前記音声入力の表現法に基づいてオプションを決定することができない場合、前記ユーザによって前記複数のオプションのうちから少なくとも1つのオプションが選択されるようにするための情報を出力する段階、および
    前記の出力された情報の応答として受信された追加音声入力にしたがい、前記複数のオプションのうちから少なくとも1つのオプションを決定する段階
    を含む、請求項1に記載のコンピュータプログラム。
  3. 前記の選択された動作を実行する前記段階は、
    前記の決定された少なくとも1つのオプションと連係して前記の選択された動作を実行することに対する実施可否を前記ユーザによって確認されるようにするための情報を出力する段階、
    該情報の応答として第1追加音声入力を受信する段階、および
    前記第1追加音声入力から実施賛成の返答が抽出された場合、前記の決定された少なくとも1つのオプションと連係して前記の選択された動作を実行する段階
    を含む、請求項1に記載のコンピュータプログラム。
  4. 前記の選択された動作を実行する前記段階は、
    前記第1追加音声入力から実施反対の返答が抽出された場合、前記ユーザによって前記複数のオプションのうちから少なくとも1つの他のオプションが選択されるようにするための情報を出力する段階、
    該情報の応答である第2追加音声入力にしたがい、前記複数のオプションのうちから少なくとも1つの他のオプションを決定する段階、および
    前記の決定された少なくとも1つの他のオプションと連係して前記の選択された動作を実行する段階
    を含む、請求項3に記載のコンピュータプログラム。
  5. 前記音声入力の表現法は、前記の選択された動作と関連する人物と前記ユーザとの間の社会的関係を示す表現を含み、
    少なくとも1つのオプションを決定する前記段階は、
    前記表現によって把握される前記ユーザとの社会的関係に基づき、前記複数のオプションのうちから少なくとも1つのオプションを決定する、請求項1に記載のコンピュータプログラム。
  6. 前記複数のオプションは、前記電子機器と連動する複数の機器に対応し、
    少なくとも1つのオプションを決定する前記段階は、
    前記複数の機器のうちから前記ユーザとの社会的関係に基づいて選択された人物と関連する少なくとも1つの機器を決定し、
    前記の選択された動作を実行する前記段階は、
    前記の決定された少なくとも1つの機器と連係して前記の選択された動作を実行する、請求項5に記載のコンピュータプログラム。
  7. 前記複数のオプションは、前記ユーザと人的関係が設定された他のユーザのメッセンジャーアカウントまたは電話番号に対応し、
    少なくとも1つのオプションを決定する前記段階は、
    複数の機器のうちから前記ユーザとの社会的関係に基づいて選択された他のユーザのメッセンジャーアカウントまたは電話番号を決定し、
    前記の選択された動作を実行する前記段階は、
    前記の決定されたメッセンジャーアカウントまたは電話番号と連係して前記の選択された動作を実行する、請求項5に記載のコンピュータプログラム。
  8. 前記音声入力の表現法は、前記音声入力から得られた前記ユーザの口調および語調のうちの少なくとも1つに基づいて分析されたユーザ命令の至急性およびユーザ感性のうちの少なくとも1つを含み、
    少なくとも1つのオプションを決定する前記段階は、
    前記ユーザ命令の至急性および前記ユーザ感性のうちの少なくとも1つに基づき、前記複数のオプションのうちから少なくとも1つのオプションを決定する、請求項1に記載のコンピュータプログラム。
  9. 前記複数のオプションは、前記動作と連係するコンテンツの特性分類または前記コンテンツと関連する情報の提供方式に対応し、
    少なくとも1つのオプションを決定する前記段階は、
    前記ユーザ命令の至急性および前記ユーザ感性のうちの少なくとも1つに基づき、前記の選択された動作と連係するコンテンツの特性分類のうちから少なくとも1つの分類を決定するか、または前記コンテンツと関連する情報の提供方式のうちから少なくとも1つの方式を決定し、
    前記の選択された動作を実行する前記段階は、
    前記の決定された少なくとも1つの分類または前記の決定された少なくとも1つの方式にしたがい、前記コンテンツと連係して前記の選択された動作を実行する、請求項8に記載のコンピュータプログラム。
  10. 少なくとも1つのオプションを決定する前記段階は、
    前記ユーザの状況データをさらに活用して前記複数のオプションのうちから少なくとも1つのオプションを決定し、
    前記状況データは、前記ユーザの電話番号または前記ユーザのメッセンジャーアカウントと関連して送受信されたインスタントメッセージおよび前記電子機器が含むカメラで認識された前記ユーザの顔表情のうちの少なくとも1つを含む、請求項1に記載のコンピュータプログラム。
  11. 前記電子機器は、スマートホームに含まれている機器と連動して前記機器を制御するか、またはインターネットを介して前記ユーザ命令に対するコンテンツを提供する人工知能スピーカを含む、請求項1に記載のコンピュータプログラム。
  12. 前記ユーザ命令処理方法は、
    前記音声入力を、インタフェースコネクトを介して前記電子機器と接続するクラウド人工知能プラットフォームに送信する段階、および
    前記クラウド人工知能プラットフォームで、前記音声入力から抽出されたキーワード、該抽出されたキーワードに基づいて推薦された動作、該抽出されたキーワードに対応するオプション、および前記音声入力の表現法に基づいて決定されたオプションのうちの少なくとも1つに関する情報を受信する段階
    をさらに含む、請求項1に記載のコンピュータプログラム。
  13. 電子機器が実行するユーザ命令処理方法であって、
    ユーザ命令にしたがって実行可能な少なくとも1つの予め定義された動作を管理する段階であって、前記少なくとも1つの予め定義された動作それぞれと関連して複数のオプションが予め設定される、段階、
    ユーザから受信された音声入力を少なくとも含むユーザ命令を受信する段階、
    前記音声入力から抽出されたキーワードに対応する動作を選択する段階、
    前記の選択された動作と関連して予め設定された複数のオプションのうちから前記抽出されたキーワードに対応する少なくとも1つのオプションを決定する段階であって、前記音声入力の表現法に基づいて前記複数のオプションのうちから少なくとも1つのオプションを決定する段階、および
    前記の決定された少なくとも1つのオプションと連係して前記の選択された動作を実行する段階
    を含む、ユーザ命令処理方法。
  14. 前記音声入力の表現法は、前記の選択された動作と関連する人物と前記ユーザとの間の社会的関係を示す表現を含み、
    少なくとも1つのオプションを決定する前記段階は、
    前記表現によって把握される前記ユーザとの社会的関係に基づき、前記複数のオプションのうちから少なくとも1つのオプションを決定する、請求項13に記載のユーザ命令処理方法。
  15. 前記複数のオプションは、前記電子機器と連動する複数の機器に対応し、
    少なくとも1つのオプションを決定する前記段階は、
    前記複数の機器のうちから前記ユーザとの社会的関係に基づいて選択された人物と関連する少なくとも1つの機器を決定し、
    前記の選択された動作を実行する前記段階は、
    前記の決定された少なくとも1つの機器と連係して前記の選択された動作を実行する、請求項14に記載のユーザ命令処理方法。
  16. 前記音声入力の表現法は、前記音声入力から得られた前記ユーザの口調および語調のうちの少なくとも1つに基づいて分析されたユーザ命令の至急性およびユーザ感性のうちの少なくとも1つを含み、
    少なくとも1つのオプションを決定する前記段階は、
    前記ユーザ命令の至急性および前記ユーザ感性のうちの少なくとも1つに基づき、前記複数のオプションのうちから少なくとも1つのオプションを決定する、請求項13に記載のユーザ命令処理方法。
  17. 前記複数のオプションは、前記動作と連係するコンテンツの特性分類または前記コンテンツと関連する情報の提供方式に対応し、
    少なくとも1つのオプションを決定する前記段階は、
    前記ユーザ命令の至急性および前記ユーザ感性のうちの少なくとも1つに基づき、前記の選択された動作と連係するコンテンツの特性分類のうちから少なくとも1つの分類を決定するか、または前記コンテンツと関連する情報の提供方式のうちから少なくとも1つの方式を決定し、
    前記の選択された動作を実行する前記段階は、
    前記の決定された少なくとも1つの分類または前記の決定された少なくとも1つの方式にしたがい、前記コンテンツと連係して前記の選択された動作を実行する、請求項16に記載のユーザ命令処理方法。
  18. ユーザ命令処理システムであって、
    コンピュータ読み取り可能な命令を実行するように実現される少なくとも1つのプロセッサ
    を含み、
    前記少なくとも1つのプロセッサは、
    ユーザ命令にしたがって実行可能な少なくとも1つの予め定義された動作を管理する段階であって、前記少なくとも1つの予め定義された動作それぞれと関連して複数のオプションが予め設定される、段階、
    ユーザから受信された音声入力を少なくとも含むユーザ命令を受信する段階、
    前記音声入力から抽出されたキーワードに対応する動作を選択する段階、
    前記の選択された動作と関連して予め設定された複数のオプションのうちから前記抽出されたキーワードに対応する少なくとも1つのオプションを決定する段階であって、前記音声入力の表現法に基づいて前記複数のオプションのうちから少なくとも1つのオプションを決定する段階、および
    前記の決定された少なくとも1つのオプションと連係して前記の選択された動作を実行する段階
    を実行する、ユーザ命令処理システム。
  19. 前記音声入力の表現法は、前記の選択された動作と関連する人物と前記ユーザとの間の社会的関係を示す表現を含み、
    前記少なくとも1つのプロセッサは、前記複数のオプションのうちから少なくとも1つのオプションを決定するために、
    前記表現によって把握される前記ユーザとの社会的関係に基づき、前記複数のオプションのうちから少なくとも1つのオプションを決定する、請求項18に記載のユーザ命令処理システム。
  20. 前記音声入力の表現法は、前記音声入力から得られた前記ユーザの口調および語調のうちの少なくとも1つに基づいて分析されたユーザ命令の至急性およびユーザ感性のうちの少なくとも1つを含み、
    前記少なくとも1つのプロセッサは、前記複数のオプションのうちから少なくとも1つのオプションを決定するために、
    前記ユーザ命令の至急性および前記ユーザ感性のうちの少なくとも1つに基づき、前記複数のオプションのうちから少なくとも1つのオプションを決定する、請求項18に記載のユーザ命令処理システム。
JP2018085215A 2017-05-02 2018-04-26 ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム Pending JP2018190413A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170056128A KR101949497B1 (ko) 2017-05-02 2017-05-02 사용자 발화의 표현법을 파악하여 기기의 동작이나 컨텐츠 제공 범위를 조정하여 제공하는 사용자 명령 처리 방법 및 시스템
KR10-2017-0056128 2017-05-02

Publications (1)

Publication Number Publication Date
JP2018190413A true JP2018190413A (ja) 2018-11-29

Family

ID=64015405

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018085215A Pending JP2018190413A (ja) 2017-05-02 2018-04-26 ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム

Country Status (3)

Country Link
US (1) US10657963B2 (ja)
JP (1) JP2018190413A (ja)
KR (1) KR101949497B1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI651714B (zh) * 2017-12-22 2019-02-21 隆宸星股份有限公司 語音選項選擇系統與方法以及使用其之智慧型機器人
CN112313924A (zh) * 2018-05-07 2021-02-02 谷歌有限责任公司 提供用于控制各种连接设备的复合图形助理界面
KR102088322B1 (ko) * 2018-11-16 2020-03-12 엘지전자 주식회사 인공지능 기반의 어플라이언스 제어 장치 및 그를 포함하는 어플라이언스 제어 시스템
CN113711307B (zh) * 2019-04-23 2023-06-27 三菱电机株式会社 设备控制装置及设备控制方法
US11211045B2 (en) * 2019-05-29 2021-12-28 Lg Electronics Inc. Artificial intelligence apparatus and method for predicting performance of voice recognition model in user environment
US20210027409A1 (en) * 2019-07-23 2021-01-28 Ola Electric Mobility Private Limited Methods and Systems for Facilitating Safety and Security of Users
CN110519373B (zh) * 2019-08-28 2022-04-26 百度在线网络技术(北京)有限公司 用于推送信息的方法和装置
KR20210059367A (ko) 2019-11-15 2021-05-25 삼성전자주식회사 음성 입력 처리 방법 및 이를 지원하는 전자 장치
GB2590473B (en) * 2019-12-19 2022-07-27 Samsung Electronics Co Ltd Method and apparatus for dynamic human-computer interaction
CN113115251B (zh) * 2020-01-09 2023-10-31 博泰车联网科技(上海)股份有限公司 用于信息处理的方法、设备和计算机存储介质
KR20210111423A (ko) * 2020-03-03 2021-09-13 삼성전자주식회사 사용자 입력을 처리하는 전자 장치 및 방법
US11917092B2 (en) * 2020-06-04 2024-02-27 Syntiant Systems and methods for detecting voice commands to generate a peer-to-peer communication link
US11769489B2 (en) 2021-01-28 2023-09-26 Samsung Electronics Co., Ltd. Electronic device and method for performing shortcut command in electronic device
KR20220108919A (ko) * 2021-01-28 2022-08-04 삼성전자주식회사 전자 장치 및 전자 장치의 단축 명령어 수행 방법
KR20220125566A (ko) * 2021-03-05 2022-09-14 삼성전자주식회사 전자 장치 및 전자 장치의 기기 연결 방법
KR20220133414A (ko) 2021-03-25 2022-10-05 삼성전자주식회사 음성 어시스턴트 서비스 제공 방법 및 이를 지원하는 전자 장치
CN113643701B (zh) * 2021-07-27 2024-04-12 广州市威士丹利智能科技有限公司 一种智能识别语音控制家居的方法及统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119791A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 音声感情認識システムおよび方法
JP2000187776A (ja) * 1998-06-09 2000-07-04 Digicube Co Ltd 情報提供装置、情報提供システム、情報提供処理方法、及び記録媒体
JP2002320037A (ja) * 2001-04-19 2002-10-31 Atr Onsei Gengo Tsushin Kenkyusho:Kk 翻訳電話システム
JP2003216690A (ja) * 2002-01-18 2003-07-31 Fujita Corp 情報管理システム
JP2004219714A (ja) * 2003-01-15 2004-08-05 Will Being:Kk 人間からの指示に基づいてそれぞれ予め定めた特定のシーンに属する対話のシーンを識別し、シーンに即した自然対話を構成する応答文を作成して、それを音声合成することにより、音声対話を行うコンピュータによる音声対話方法及び音声対話システム
JP2005275601A (ja) * 2004-03-23 2005-10-06 Fujitsu Ltd 音声による情報検索システム
JP2009282936A (ja) * 2008-05-26 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 選択式情報提示装置および選択式情報提示処理プログラム
JP2010210847A (ja) * 2009-03-10 2010-09-24 Clarion Co Ltd 楽曲選択方法、楽曲選択プログラム、及び楽曲選択装置
JP2011028460A (ja) * 2009-07-24 2011-02-10 J&K Car Electronics Corp 情報検索装置、制御方法及びプログラム
JP2015079237A (ja) * 2013-10-15 2015-04-23 トヨタ自動車株式会社 音声認識方法および音声認識システム
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット
JP2017009826A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法
JP2017010176A (ja) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 機器特定方法、機器特定装置及びプログラム
JP2017016683A (ja) * 2011-09-30 2017-01-19 アップル インコーポレイテッド ハンズフリーインタラクションに対するユーザインターフェースの自動適合化

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01119791A (ja) 1987-11-04 1989-05-11 Toshiba Corp 核融合装置
US7590536B2 (en) * 2005-10-07 2009-09-15 Nuance Communications, Inc. Voice language model adjustment based on user affinity
KR101268432B1 (ko) * 2006-01-09 2013-05-28 삼성전자주식회사 스마트 커뮤니케이터를 이용한 지능형 출입 인증 시스템 및방법
KR20070106488A (ko) * 2007-10-12 2007-11-01 (주)인피니티 텔레콤 자연어 음성 인식 기능을 이용한 휴대폰 서비스 방법
KR101387928B1 (ko) 2010-06-24 2014-04-22 에스케이플래닛 주식회사 홈 미디어 디바이스 및 이를 이용한 홈 네트워크 시스템, 방법
US8640021B2 (en) * 2010-11-12 2014-01-28 Microsoft Corporation Audience-based presentation and customization of content
US10417037B2 (en) * 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US10229676B2 (en) * 2012-10-05 2019-03-12 Avaya Inc. Phrase spotting systems and methods
US9189196B2 (en) * 2013-03-14 2015-11-17 Google Inc. Compartmentalized self registration of external devices
US9607137B2 (en) * 2013-12-17 2017-03-28 Lenovo (Singapore) Pte. Ltd. Verbal command processing based on speaker recognition
EP3158427B1 (en) * 2014-06-19 2022-12-28 Robert Bosch GmbH System and method for speech-enabled personalized operation of devices and services in multiple operating environments
US10262655B2 (en) * 2014-11-03 2019-04-16 Microsoft Technology Licensing, Llc Augmentation of key phrase user recognition
US10476872B2 (en) * 2015-02-20 2019-11-12 Sri International Joint speaker authentication and key phrase identification
US20160262017A1 (en) * 2015-03-04 2016-09-08 Microsoft Technology Licensing, Llc Personal assistant authentication
JP6669162B2 (ja) * 2015-03-31 2020-03-18 ソニー株式会社 情報処理装置、制御方法、およびプログラム
KR102341144B1 (ko) * 2015-06-01 2021-12-21 삼성전자주식회사 메시지를 출력하는 전자 장치 및 그 제어 방법

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11119791A (ja) * 1997-10-20 1999-04-30 Hitachi Ltd 音声感情認識システムおよび方法
JP2000187776A (ja) * 1998-06-09 2000-07-04 Digicube Co Ltd 情報提供装置、情報提供システム、情報提供処理方法、及び記録媒体
JP2002320037A (ja) * 2001-04-19 2002-10-31 Atr Onsei Gengo Tsushin Kenkyusho:Kk 翻訳電話システム
JP2003216690A (ja) * 2002-01-18 2003-07-31 Fujita Corp 情報管理システム
JP2004219714A (ja) * 2003-01-15 2004-08-05 Will Being:Kk 人間からの指示に基づいてそれぞれ予め定めた特定のシーンに属する対話のシーンを識別し、シーンに即した自然対話を構成する応答文を作成して、それを音声合成することにより、音声対話を行うコンピュータによる音声対話方法及び音声対話システム
JP2005275601A (ja) * 2004-03-23 2005-10-06 Fujitsu Ltd 音声による情報検索システム
JP2009282936A (ja) * 2008-05-26 2009-12-03 Nippon Telegr & Teleph Corp <Ntt> 選択式情報提示装置および選択式情報提示処理プログラム
JP2010210847A (ja) * 2009-03-10 2010-09-24 Clarion Co Ltd 楽曲選択方法、楽曲選択プログラム、及び楽曲選択装置
JP2011028460A (ja) * 2009-07-24 2011-02-10 J&K Car Electronics Corp 情報検索装置、制御方法及びプログラム
JP2017016683A (ja) * 2011-09-30 2017-01-19 アップル インコーポレイテッド ハンズフリーインタラクションに対するユーザインターフェースの自動適合化
JP2015079237A (ja) * 2013-10-15 2015-04-23 トヨタ自動車株式会社 音声認識方法および音声認識システム
JP2016076799A (ja) * 2014-10-03 2016-05-12 シャープ株式会社 家電管理システム、家電、リモコン装置、ロボット
JP2017010176A (ja) * 2015-06-18 2017-01-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 機器特定方法、機器特定装置及びプログラム
JP2017009826A (ja) * 2015-06-23 2017-01-12 トヨタ自動車株式会社 グループ状態判定装置およびグループ状態判定方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"2016年は発掘ラッシュ スマートホームの鉱脈", 日経コミュニケーション 第624号 NIKKEI COMMUNICATIONS, JPN6019005188, 28 December 2015 (2015-12-28), JP, ISSN: 0004166890 *
有我 武紘: "1時間配送、詰め放題、ポイント倍増、オムニチャネル…もっと便利!もっと得できる!新しい買い方 コンビ", 日経トレンディ NO.395, JPN6019005189, 20 June 2016 (2016-06-20), ISSN: 0004166891 *

Also Published As

Publication number Publication date
US20180322872A1 (en) 2018-11-08
KR101949497B1 (ko) 2019-02-18
US10657963B2 (en) 2020-05-19
KR20180122106A (ko) 2018-11-12

Similar Documents

Publication Publication Date Title
JP2018190413A (ja) ユーザ発話の表現法を把握して機器の動作やコンテンツ提供範囲を調整し提供するユーザ命令処理方法およびシステム
KR102513297B1 (ko) 전자 장치 및 전자 장치의 기능 실행 방법
JP6731894B2 (ja) デバイス制御方法及び電子機器
JP6752870B2 (ja) 複数のウェイクワードを利用して人工知能機器を制御する方法およびシステム
JP6567727B2 (ja) 受信した音声入力の入力音量に基づいて出力される音の出力音量を調節するユーザ命令処理方法およびシステム
JP6607999B2 (ja) 音声要請に対応する情報提供のためのメディア選択
JP6728319B2 (ja) 人工知能機器で複数のウェイクワードを利用したサービス提供方法およびそのシステム
KR102209092B1 (ko) 복수의 호출 용어를 이용하여 인공지능 기기를 제어하는 방법 및 시스템
JP6573696B2 (ja) ネットワークに連結した音響機器とのマルチモーダルインタラクション方法およびシステム
US10911910B2 (en) Electronic device and method of executing function of electronic device
JP6920398B2 (ja) 人工知能機器における連続会話機能
CN109474658A (zh) 用外部设备支持任务运行的电子设备、服务器和记录介质
JP2018198058A (ja) 情報提供方法、電子機器、コンピュータプログラム及び記録媒体
JP6681940B2 (ja) ユーザの位置及び空間に適した情報を能動的に提供する方法及び装置
JP2019012506A (ja) 機械の自動活性のための方法及びシステム
KR20190134975A (ko) 인공지능 시스템의 앱들 또는 스킬들의 리스트를 표시하는 증강 현실 장치 및 동작 방법
KR102396147B1 (ko) 음성 명령을 이용한 동작을 수행하는 전자 장치 및 전자 장치의 동작 방법
US11743588B1 (en) Object selection in computer vision
US11127400B2 (en) Electronic device and method of executing function of electronic device
JPWO2020149031A1 (ja) 応答処理装置及び応答処理方法
KR102239223B1 (ko) 기계의 자동 활성을 위한 방법 및 시스템
KR102643720B1 (ko) 로봇용 인공지능 인터페이스 시스템
Dhillon et al. Method for Real-Time Voice Communication

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180426

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190912

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191203