JP2022008594A - 通信方法、サーバー、およびデバイス - Google Patents

通信方法、サーバー、およびデバイス Download PDF

Info

Publication number
JP2022008594A
JP2022008594A JP2021157922A JP2021157922A JP2022008594A JP 2022008594 A JP2022008594 A JP 2022008594A JP 2021157922 A JP2021157922 A JP 2021157922A JP 2021157922 A JP2021157922 A JP 2021157922A JP 2022008594 A JP2022008594 A JP 2022008594A
Authority
JP
Japan
Prior art keywords
voice
information
server
voice command
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021157922A
Other languages
English (en)
Inventor
小娟 李
Xiaojuan Li
雅▲輝▼ 王
Yahui Wang
文美 ▲ガオ▼
Wenmei Gao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022008594A publication Critical patent/JP2022008594A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1815Semantic context, e.g. disambiguation of the recognition hypotheses based on word meaning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/02Details
    • H04L12/12Arrangements for remote connection or disconnection of substations or of equipment thereof
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223Execution procedure of a spoken command
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225Feedback of the input speech
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00Data switching networks
    • H04L12/28Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40Bus networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】より簡便で自然な人と機械との交流体験がユーザーに提供される通信方法、サーバー及びデバイスを提供する。【解決手段】通信方法200は、1ユーザーの複数のデバイスのうちの各デバイスによって送信されるデバイス種別を含む情報を受信するステップ210と、少なくとも受信された情報に従って複数のデバイスの中で音声命令に応じるデバイスを判断するステップ220と、複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへメッセージを送信するステップ230と、を含む。メッセージは、異なるデバイスの音声アシスタントに音声命令に応じないように命じることに使われる。【選択図】図2

Description

本発明は、通信分野、詳細には通信方法、サーバー、およびデバイスに関する。
現在ほとんどの携帯電話は音声アシスタントを有する。加えて、スマートウォッチ、スマートバンド、およびスマートデバイスに音声アシスタントが組み込まれているので、音声アシスタントは未来のデバイスの「標準構成」である。
デバイスの音声アシスタントが覚醒させられた後、デバイスの音声アシスタントは受信された音声命令に従って対応する動作を遂行する。しかし、1ユーザーが携帯電話、スマートウォッチ、タブレットコンピュータ、およびウェアラブルデバイスのような複数のスマートデバイスを有し得るので、ユーザーが音声アシスタントを覚醒させるために音声命令を送る場合、複数のデバイスの音声アシスタントが同時に覚醒させられる。
本発明の実施形態は、通信方法、サーバー、およびデバイスを提供し、これにより1ユーザーの複数のデバイスから音声命令に応じるデバイスを判断することができ、これにより音声命令に応じるデバイスを知的に選択する。
第1の態様によると、1ユーザーの複数のデバイスのうちの各デバイスによって送信される情報を受信するステップであって、情報はデバイス種別を含む、ステップと、少なくとも受信された情報に従って複数のデバイスの中で音声命令に応じるデバイスを判断するステップと、複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへメッセージを送信するステップであって、メッセージは異なるデバイスの音声アシスタントに音声命令に応じないように命じることに使われる、ステップとを含む、通信方法が提供される。
第1の態様を参照し、第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第1の態様または第1の可能な実装を参照し、第2の可能な実装において、情報がデバイス種別と音声命令とを含む場合、少なくとも受信された情報に従って複数のデバイスの中で音声命令に応じるデバイスを判断するステップは、音声命令の意味論的意味を認識するステップと、デバイス種別と音声命令の意味論的意味とに従って音声命令に応じるデバイスを判断するステップとを含む。
第1の態様、または第1または第2の可能な実装を参照し、第4の可能な実装において、情報がデバイス種別と音声命令とを含む場合、方法は、音声命令に対応する動作を判断するステップと、動作を指示することに使われる指示情報を音声命令に応じるデバイスへ送信するステップとをさらに含む。
第2の態様によると、1ユーザーの複数のデバイスのうちの各デバイスによって送信される同じ音声命令を受信するステップと、音声命令に対応する動作を判断するステップと、動作を指示することに使われる指示情報を複数のデバイスの中で音声命令に応じるデバイスへ送信するステップであって、音声命令に応じるデバイスは複数のデバイスのうちの各デバイスによって送信される情報に従って判断され、情報はデバイス種別を含む、ステップとを含む、別の通信方法が提供される。
第2の態様を参照し、第2の態様の第1の可能な実装において、情報はデバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第3の態様によると、第1の音声命令を受信するステップと、第1の音声命令に従って覚醒状態に入るステップと、情報を取得するステップであって、情報はデバイス種別を含む、ステップと、情報をサーバーへ送信するステップと、情報に従って前記サーバーによって送信される第1のメッセージを受信するステップであって、第1のメッセージはデバイスの音声アシスタントに音声命令に応じないように命じることに使われる、ステップ、または、情報に従ってサーバーによって送信される第2のメッセージを受信するステップであって、第2のメッセージはデバイスの音声アシスタントに音声命令に応じるように命じることに使われる、ステップとを含む、別の通信方法が提供される。
第3の態様を参照し、第3の態様の第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第3の態様、または第3の態様の第1の可能な実装を参照し、第3の態様の第2の可能な実装において、方法は、サーバーによって送信され、音声命令に対応する動作を指示することに使われる、指示情報を受信するステップであって、情報は音声命令をさらに含む、ステップをさらに含む。
第3の態様、または第3の態様の第1の可能な実装を参照し、第3の態様の第3の可能な実装において、情報に従ってサーバーによって送信される第1のメッセージが受信される場合、方法は、第2の音声命令を受信するステップと、第2の音声命令に応じることを省くステップとをさらに含む。
第3の態様、または第3の態様の第1または第2の可能な実装を参照し、第3の態様の第3の可能な実装において、情報に従ってサーバーによって送信される第2のメッセージが受信される場合、方法は、第3の音声命令を受信するステップと、第3の音声命令をサーバーへ送信するステップと、第3の音声命令に従ってサーバーによって送信される第3のメッセージを受信するステップであって、第3のメッセージは第3の音声命令に対応する動作を指示することに使われる、ステップと、第3のメッセージに従って第3の音声命令に対応する動作を遂行するステップとをさらに含む。
第4の態様によると、第1の音声命令を受信するステップと、第1の音声命令に従って覚醒状態に入るステップと、情報を取得するステップであって、情報はデバイス種別を含む、ステップと、情報をサーバーへ送信するステップと、第2の音声命令を受信するステップと、第2の音声命令をサーバーへ送信するステップと、情報に従ってサーバーによって送信され、第2の音声命令に対応する動作を指示することに使われる、指示情報を受信するステップとを含む、別の通信方法が提供される。
第4の態様を参照し、第4の態様の第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第5の態様によると、第1の音声命令を受信するステップと、第1の音声命令に従って覚醒状態に入るステップと、第2の音声命令を受信するステップと、第2の音声命令がデバイス情報を含んでいると判断し、第2の音声命令に応じるステップとを含む、別の通信方法が提供される。
第6の態様によると、1ユーザーの複数のデバイスのうちの各デバイスによって送信される情報を受信するように構成された受信ユニットであって、情報はデバイス種別を含む、受信ユニットと、少なくとも、受信ユニットによって受信された情報に従って、複数のデバイスの中で音声命令に応じるデバイスを判断するように構成された処理ユニットと、複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへメッセージを送信するように構成された送信ユニットであって、メッセージは異なるデバイスの音声アシスタントに音声命令に応じないように命じることに使われる、送信ユニットとを含む、サーバーが提供される。
第6の態様を参照し、第6の態様の第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第6の態様、または第6の態様の第1の可能な実装を参照し、第6の態様の第2の可能な実装において、情報がデバイス種別と音声命令とを含む場合、処理ユニットは、具体的には、音声命令の意味論的意味を認識し、デバイス種別と音声命令の意味論的意味とに従って音声命令に応じるデバイスを判断するように構成される。
第6の態様、または第6の態様の第1または第2の可能な実装を参照し、第6の態様の第3の可能な実装において、情報がデバイス種別と音声命令とを含む場合、処理ユニットは音声命令に対応する動作を判断するようにさらに構成され、送信ユニットは動作を指示することに使われる指示情報を音声命令に応じるデバイスへ送信するようにさらに構成される。
第7の態様によると、1ユーザーの複数のデバイスのうちの各デバイスによって送信される同じ音声命令を受信するように構成された受信ユニットと、受信ユニットによって受信された音声命令に対応する動作を判断するように構成された処理ユニットと、動作を指示することに使われる指示情報を複数のデバイスの中で音声命令に応じるデバイスへ送信するように構成された送信ユニットであって、音声命令に応じるデバイスは複数のデバイスのうちの各デバイスによって送信される情報に従って判断され、情報はデバイス種別を含む、送信ユニットとを含む、別のサーバーが提供される。
第7の態様を参照し、第7の態様の第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第8の態様によると、デバイスであって、第1の音声命令を受信するように構成された受信ユニットと、受信ユニットによって受信された第1の音声命令に従って覚醒状態に入るように構成された処理ユニットと、情報を取得するように構成された取得ユニットであって、情報はデバイス種別を含む、取得ユニットと、情報をサーバーへ送信するように構成された送信ユニットとを含み、受信ユニットは、情報に従ってサーバーによって送信される第1のメッセージを受信するようにさらに構成され、第1のメッセージはデバイスの音声アシスタントに音声命令に応じないように命じることに使われ、または、受信ユニットは、情報に従ってサーバーによって送信される第2のメッセージを受信するようにさらに構成され、第2のメッセージはデバイスの音声アシスタントに音声命令に応じるように命じることに使われる、デバイスが提供される。
第8の態様を参照し、第8の態様の第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第8の態様、または第8の態様の第1の可能な実装を参照し、第8の態様の第2の可能な実装において、受信ユニットは、サーバーによって送信され、音声命令に対応する動作を指示することに使われる、指示情報を、受信するようにさらに構成され、情報は音声命令をさらに含む。
第8の態様、または第8の態様の第1の可能な実装を参照し、第8の態様の第3の可能な実装において、受信ユニットが第1のメッセージを受信する場合、受信ユニットは第2の音声命令を受信するようにさらに構成され、処理ユニットは受信ユニットによって受信された第2の音声命令に応じることを省くようにさらに構成される。
第8の態様、または第8の態様の第1または第2の可能な実装を参照し、第8の態様の第4の可能な実装において、受信ユニットが第2のメッセージを受信する場合、受信ユニットは第3の音声命令を受信するようにさらに構成され、送信ユニットは受信ユニットによって受信された第3の音声命令をサーバーへ送信するようにさらに構成され、受信ユニットは第3の音声命令に従ってサーバーによって送信される第3のメッセージを受信するようにさらに構成され、第3のメッセージは第3の音声命令に対応する動作を指示することに使われ、処理ユニットは第3のメッセージに従って第3の音声命令に対応する動作を遂行するようにさらに構成される。
第9の態様によると、デバイスであって、第1の音声命令を受信するように構成された受信ユニットと、第1の音声命令に従って覚醒状態に入るように構成された処理ユニットと、情報を取得するように構成された取得ユニットであって、情報はデバイス種別を含む、取得ユニットと、情報をサーバーへ送信するように構成された送信ユニットとを含み、受信ユニットは第2の音声命令を受信するようにさらに構成され、送信ユニットは第2の音声命令をサーバーへ送信するようにさらに構成され、受信ユニットは、情報に従ってサーバーによって送信され、第2の音声命令に対応する動作を指示することに使われる、指示情報を、受信するようにさらに構成される、別のデバイスが提供される。
第9の態様を参照し、第9の態様の第1の可能な実装において、情報はデバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第10の態様によると、デバイスであって、第1の音声命令を受信するように構成された受信ユニットと、第1の音声命令に従って覚醒状態に入るように構成された処理ユニットとを含み、受信ユニットは第2の音声命令を受信するようにさらに構成され、処理ユニットは、第2の音声命令がデバイス情報を含んでいると判断し、第2の音声命令に応じるようにさらに構成される、別のデバイスが提供される。
第11の態様によると、サーバーであって、1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムとを含み、プロセッサとメモリーとトランシーバはバスシステムを用いて互いに接続され、1つ以上のプログラムはメモリーに記憶され、1つ以上のプロセッサによる実行のために構成され、1つ以上のプログラムは命令を含み、命令は、1ユーザーの複数のデバイスのうちの各デバイスによって送信される情報をトランシーバを用いて受信することであって、情報はデバイス種別を含む、前記受信することと、少なくとも、トランシーバによって受信された情報に従って、複数のデバイスの中で音声命令に応じるデバイスを判断することと、複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへトランシーバを用いてメッセージを送信することであって、メッセージは異なるデバイスの音声アシスタントに音声命令に応じないように命じることに使われる、前記送信することとに使われる、別のサーバーが提供される。
第11の態様を参照し、第11の態様の第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第11の態様、または第11の態様の第1の可能な実装を参照し、第11の態様の第2の可能な実装において、情報がデバイス種別と音声命令とを含む場合、命令は、音声命令の音声を認識することと、デバイス種別と音声命令の意味論的意味とに従って音声命令に応じるデバイスを判断することとにさらに使われる。
第11の態様、または第11の態様の第1または第2の可能な実装を参照し、第11の態様の第3の可能な実装において、情報がデバイス種別と音声命令とを含む場合、命令は、音声命令に対応する動作を判断することと、動作を指示することに使われる指示情報を複数のデバイスの中で音声命令に応じるデバイスへトランシーバを用いて送信することとにさらに使われる。
第12の態様によると、サーバーであって、1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムとを含み、プロセッサとメモリーとトランシーバはバスシステムを用いて互いに接続され、1つ以上のプログラムはメモリーに記憶され、1つ以上のプロセッサによる実行のために構成され、1つ以上のプログラムは命令を含み、命令は、1ユーザーの複数のデバイスのうちの各デバイスによって送信される同じ音声命令をトランシーバを用いて受信することと、トランシーバによって受信された音声命令に対応する動作を判断することと、動作を指示することに使われる指示情報を複数のデバイスの中で音声命令に応じるデバイスへトランシーバを用いて送信することであって、音声命令に応じるデバイスは複数のデバイスのうちの各デバイスによって送信される情報に従って判断され、情報はデバイス種別を含む、前記送信することとに使われる、別のサーバーが提供される。
第12の態様を参照し、第12の態様の第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第13の態様によると、デバイスであって、1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムとを含み、プロセッサとメモリーとトランシーバはバスシステムを用いて互いに接続され、1つ以上のプログラムはメモリーに記憶され、1つ以上のプロセッサによる実行のために構成され、1つ以上のプログラムは命令を含み、命令は、トランシーバを用いて第1の音声命令を受信することと、トランシーバによって受信された第1の音声命令に従って覚醒状態に入ることと、情報を取得することであって、情報はデバイス種別を含む、前記取得することと、トランシーバを用いて情報をサーバーへ送信することと、情報に従ってサーバーによって送信される第1のメッセージをトランシーバを用いて受信することであって、第1のメッセージはデバイスの音声アシスタントに音声命令に応じないように命じることに使われる、前記第1のメッセージをトランシーバを用いて受信すること、または、情報に従ってサーバーによって送信される第2のメッセージをトランシーバを用いて受信することであって、第2のメッセージはデバイスの音声アシスタントに音声命令に応じるように命じることに使われる、前記第2のメッセージをトランシーバを用いて受信することとに使われる、別のデバイスが提供される。
第13の態様を参照し、第13の態様の第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第13の態様、または第13の態様の第1の可能な実装を参照し、第13の態様の第2の可能な実装において、命令は、サーバーによって送信され、音声命令に対応する動作を指示することに使われる、指示情報を、トランシーバを用いて受信することにさらに使われ、情報は音声命令をさらに含む。
第13の態様、または第13の態様の第1の可能な実装を参照し、第13の態様の第2の可能な実装において、命令は、トランシーバを用いて第1のメッセージが受信される場合に、トランシーバを用いて第2の音声命令を受信することと、トランシーバによって受信された第2の音声命令に応じることを省くこととにさらに使われる。
第13の態様、または第13の態様の第1の可能な実装を参照し、第13の態様の第3の可能な実装において、命令は、第2のメッセージがトランシーバを用いて受信される場合に、トランシーバを用いて第3の音声命令を受信することと、トランシーバを用いて第3の音声命令をサーバーへ送信することと、第3の音声命令に従ってサーバーによって送信される第3のメッセージをトランシーバを用いて受信することであって、第3のメッセージは第3の音声命令に対応する動作を指示することに使われる、前記受信することと、第3のメッセージに従って第3の音声命令に対応する動作を遂行することとにさらに使われる。
第14の態様によると、デバイスであって、1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムとを含み、プロセッサとメモリーとトランシーバはバスシステムを用いて互いに接続され、1つ以上のプログラムはメモリーに記憶され、1つ以上のプロセッサによる実行のために構成され、1つ以上のプログラムは命令を含み、命令は、トランシーバを用いて第1の音声命令を受信することと、第1の音声命令に従って覚醒状態に入ることと、情報を取得することであって、情報はデバイス種別を含む、前記取得することと、トランシーバを用いて情報をサーバーへ送信することと、トランシーバを用いて第2の音声命令を受信することと、トランシーバを用いて第2の音声命令をサーバーへ送信することと、情報に従ってサーバーによって送信され、第2の音声命令に対応する動作を指示することに使われる指示情報を、トランシーバを用いて受信することとに使われる、別のデバイスが提供される。
第14の態様を参照し、第14の態様の第1の可能な実装において、情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
第15の態様によると、デバイスであって、1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムとを含み、プロセッサとメモリーとトランシーバはバスシステムを用いて互いに接続され、1つ以上のプログラムはメモリーに記憶され、1つ以上のプロセッサによる実行のために構成され、1つ以上のプログラムは命令を含み、命令は、トランシーバを用いて第1の音声命令を受信することと、第1の音声命令に従って覚醒状態に入ることと、トランシーバを用いて第2の音声命令を受信することと、第2の音声命令がデバイス情報を含んでいると判断し、第2の音声命令に応じることとに使われる、別のデバイスが提供される。
これらの技術的解決策に基づき、本発明の実施形態では、1ユーザーの複数のデバイスによって送信される情報が受信され、情報に従って複数のデバイスから音声命令に応じるデバイスが判断される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便な人と機械との交流体験がユーザーに提供される。
本発明の実施形態の技術的解決策をより明確に説明するため、以下は本発明の実施形態を説明するために必要な添付図面を簡潔に説明する。当然ながら、以下の説明における添付図面は本発明のほんのいくつかの実施形態を示し、この技術分野の当業者は創造的な努力なしにこれらの添付図面から別の図面を依然として導き出し得る。
本発明の一実施形態による通信方法を応用できるシナリオの概略図である。 本発明の一実施形態による通信方法を応用できる別のシナリオの概略図である。 本発明の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の別の一実施形態による通信方法の概略流れ図である。 本発明の一実施形態によるサーバーの概略ブロック図である。 本発明の別の一実施形態によるサーバーの概略ブロック図である。 本発明の一実施形態によるデバイスの概略ブロック図である。 本発明の別の一実施形態によるデバイスの概略ブロック図である。 本発明の別の一実施形態によるデバイスの概略ブロック図である。 本発明の別の一実施形態によるサーバーの概略ブロック図である。 本発明の別の一実施形態によるサーバーの概略ブロック図である。 本発明の別の一実施形態によるデバイスの概略ブロック図である。 本発明の別の一実施形態によるデバイスの概略ブロック図である。 本発明の別の一実施形態によるデバイスの概略ブロック図である。
以下は本発明の実施形態の添付図面を参照して本発明の実施形態の技術的解決策を明確かつ十分に説明する。当然ながら、説明される実施形態は本発明の実施形態の全てではなくいくつかである。本発明の実施形態に基づいてこの技術分野の当業者によって創造的な努力なしに得られる他の全ての実施形態は本発明の保護範囲内にあるものである。
本発明の様々な実施形態におけるプロセスの配列番号が実行順序を意味しないことが理解されるべきである。プロセスの実行順序はプロセスの機能と内部論理に従って決定されるべきであり、本発明の実施形態の実装プロセスにおける制限として解釈されるべきではない。
この明細書に関わるデバイスがユーザーの生活に密接に関連するスマートデバイスまたはモバイルデバイスを指すと理解されるべきである。例えば、デバイスは、限定しないが、スマートフォン、ウェアラブルデバイス、スマートハウスホールド、および車載デバイスを含み得る。ウェアラブルデバイスは、限定しないが、スマートウォッチ、バンド、およびスマート眼鏡を含み得る。加えて、この明細書に関わるサーバーは図1Aの音声アシスタントサーバーであってよく、あるいは音声命令を認識できる別のデバイスであってもよく、あるいは音声命令を認識できる図1Bのコントローラであってもよい。
この明細書に関わる「1ユーザーの複数のデバイス」が、複数のデバイスが同じユーザーアカウントを有し、複数のデバイスが同じユーザーアカウントを用いて無線接続されたままであることを指示することが理解されるべきである。
この明細書に関わる「音声命令」が音声動作命令および/または音声覚醒命令を含むことが理解されるべきである。
図1Aは本発明の一実施形態による通信方法を応用できるシナリオの概略図である。図1Aに示すように、音声アシスタントサーバーは1ユーザーの複数のデバイスと通信し、複数のデバイスはユーザーによって送信される同じ音声覚醒命令または音声動作命令を同時に受信することができる。図1Aは、音声アシスタントサーバーが1ユーザーの携帯電話、ウェアラブルデバイス、車載デバイス、およびスマートハウスホールドと通信するほんの一例を使用する。しかし、本発明のこの実施形態におけるデバイスに制限は課されない。
任意選択で、図1Aの複数のデバイスは図1Bに示されるようにアドホックネットワークをさらに形成し得る。アドホックネットワークのコントローラは独立したデバイスであってよく、あるいは複数のデバイスのうちのいずれかのデバイスであってもよい。
本発明のこの実施形態で音声アシスタントがデバイスに統合された処理モジュール、あるいはデバイスにインストールされたクライアントであってもよいことが理解されるべきである。音声アシスタントに対応するクライアントは、デバイスの表示画面に、対応するアイコンまたはインターフェースを表示してよく、あるいは対応するアイコンまたはインターフェースを表示しないが、バックグラウンドで実行するのみであってもよい。音声アシスタントはあらかじめ記憶された音声データを用いて対応する音声データを認識してよい。本発明のこの実施形態における音声アシスタントはインテリジェントアシスタントやパーソナルオーガナイザ等とも呼ばれ得る。本発明のこの実施形態に制限は課されない。
音声アシスタントサーバーはデバイスによって送信される音声動作解析要求を受信し、音声動作解析要求で搬送された音声動作命令を解析することができ、これにより音声動作命令に対応する動作を判断し、動作の指示情報をデバイスへ配送する。
図2は本発明の一実施形態による通信方法200の概略流れ図である。サーバーは1ユーザーの複数のデバイスと通信し、複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができる。方法200はサーバー(音声アシスタントサーバーまたはアドホックネットワーク内のコントローラ等)によって実行され得る。図2に示されるように、方法200は以下の内容を含む。
210.1ユーザーの複数のデバイスのうちの各デバイスによって送信される情報を受信し、情報はデバイス種別を含む。
220.少なくとも受信された情報に従って、複数のデバイスの中で音声命令に応じるデバイスを判断する。
音声命令に応じるデバイスは音声命令に対応する動作を遂行する。
230.複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへメッセージを送信し、メッセージは異なるデバイスの音声アシスタントに音声命令に応じないように命じることに使われる。
任意選択で、メッセージは音声命令に応じるデバイスの識別子情報をさらに搬送してよく、これによりデバイスが音声命令に応じることを異なるデバイスに知らせる。
各デバイスのデバイス種別は、次の種別、携帯電話、バンド、車載端末、ステレオ、テレビ等のいずれか1つであってよい。音声命令に応じるデバイスは、優先応答デバイス、主要デバイス、実行デバイス、選好デバイス等とも呼ばれ得る。
例えば、サーバーは複数のデバイス種別に対応する応答優先順位情報をあらかじめ記憶してよく、サーバーはデバイス種別に対応する応答優先順位に従って音声命令に優先的に応じるデバイスを判断してよい。サーバーは、次のデバイス種別、車載デバイス、バンド、携帯電話、およびステレオに対応する応答優先順位を、降順であらかじめ記憶すると仮定する。ステップ210で受信されるデバイス種別がバンド、車載デバイス、および携帯電話である場合、サーバーは、ローカルにあらかじめ記憶された応答優先順位情報に従って車載デバイスが音声命令に応じるデバイスであると判断してよい。
任意選択で、ステップ230において、複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへ送信されるメッセージは休眠命令情報をさらに搬送してよく、これにより音声命令に応じないデバイスは休眠命令情報に従って休眠状態に入る。休眠状態に入るデバイスの低電力音声覚醒モジュールは依然として監視状態にあるが、受信された音声命令には応じない。
本発明のこの実施形態では、1ユーザーの複数のデバイスによって送信される情報が受信され、情報に従って複数のデバイスから音声命令に優先的に応じるデバイスが判断される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
ユーザーのデバイスがステップ230で送信されるメッセージを受信しない場合、例えばデバイスがサーバーによって送信されるメッセージを所定の期間内に受信しない場合、デバイスが、デフォルトにより、音声命令に応じるデバイスとみなされてよく、すなわちデバイスが受信された音声命令に応じることができることが理解されるべきである。例えば、デバイスは音声命令を搬送する音声動作解析要求をサーバーへ送信し、音声命令に対応する動作をサーバーに要求し、動作を遂行してよい。しかし、本発明のこの実施形態に制限は課されない。例えば、サーバーは方法200で音声命令に応じるデバイスへメッセージを同時に送信してよく、これにより音声命令に応じるようにデバイスに命じる。メッセージを受信した後に、デバイスは受信された音声命令に対応する動作をサーバーに要求し、動作を遂行してよい。
任意選択で、各デバイスによって送信される情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
例えば、各デバイスのシーンモードは、次の種別、運転中、居間内、寝室内、運動中、仕事中、ヘッドセットモード、ラウドスピーカーモード等のいずれか1つを含み得る。
各デバイスによって送信される情報がデバイス種別とシーンモードとを含む場合、音声アシスタントサーバーまたはコントローラは、1ユーザーの異なるデバイス情報と異なるシーンモードと異なるデバイス種別とに対応する応答デバイスの優先順位情報等をあらかじめ記憶してよい。例えば、以下の表1は音声命令に応じるデバイスとデバイス種別とシーンモードとの間の対応関係を示す。サーバーは、複数のデバイスのデバイス種別とシーンモードを受信した後に、シーンモードとデバイス種別を表1に示したあらかじめ記憶された情報と照合する。例えば、シーンモードが「運転中」で現在受信されたデバイス種別が携帯電話とバンドと車載デバイスとを含むならば、サーバーは音声命令に応じる現在のデバイスとして車載デバイスを自動的に選択する。表1では、デバイス種別が音声命令に応じるデバイスを指示することに使われているが、本発明のこの実施形態に制限は課されないことが留意されるべきである。例えば、サーバーは、また、デバイス識別子とデバイス種別との間の対応関係をあらかじめ記憶してもよい。表1に示した対応関係表では、デバイス識別子が、また、音声命令に応じるデバイスを指示することに使われてもよい。
表1に示した内容はほんの一例であり、本発明のこの実施形態の範囲を制限することは意図されないことがさらに理解されるべきである。サーバーは、また、優先順位が設定された複数のデバイスと、デバイス種別、シーンモード、および/または意味論的意味との間の対応関係をあらかじめ記憶してもよく、複数のデバイスの中で比較的高い優先順位を有するデバイスを音声命令に応じるデバイスとしてあらかじめ設定してよい。例えば、サーバーによって受信されるデバイス種別が最も高い優先順位を有するデバイスに対応するあらかじめ記憶されたデバイス種別を含まない場合、サーバーは複数のデバイスの中で2番目に高い優先順位を有するデバイスが音声命令に応じるデバイスであると判断する等である。
Figure 2022008594000002
各デバイスによって送信される情報がデバイス種別と音声命令とをさらに含む場合、ステップ220は、これに対応して、
音声命令の意味論的意味を認識するステップと、
デバイス種別と音声命令の意味論的意味とに従って複数のデバイスから音声命令に応じるデバイスを判断するステップと、
を含む。
表1に示すように、サーバーは、また、音声命令に応じるデバイスと、デバイス種別および意味論的意味との間の対応関係をあらかじめ記憶してもよい。サーバーは音声命令の意味論的意味を認識する。例えば、意味論的意味が「電話をかける」で、受信されたデバイス種別が携帯電話とバンドとを含むならば、サーバーは音声命令に応じるデバイスが携帯電話であると判断する。
各デバイスによって送信される情報がデバイス種別とシーンモードと音声命令とを含む場合、ステップ220は、具体的には、
音声命令の意味論的意味を認識するステップと、
デバイス種別と音声命令の意味論的意味とシーンモードとに従って複数のデバイスから音声命令に応じるデバイスを判断するステップと、
を含む。
表1に示すように、サーバーは、また、音声命令に応じるデバイスと、シーンモード、デバイス種別、および意味論的意味との間の対応関係をあらかじめ記憶してもよい。例えば、意味論的意味が「音楽を聴く」で、取得されたデバイス種別が携帯電話とステレオと車載デバイスとを含むならば、サーバーは続いてデバイス種別に対応するデバイスのシーンモードを取得し、例えばシーンモードが「居間内」であり、サーバーは音声命令に応じる現在のデバイスがステレオであると判断する。勿論、サーバーは、また、最初にシーンモードを判断し、その後に意味論的意味に従って音声命令に応じる現在のデバイスを判断してもよい。
本発明のこの実施形態では音声命令の意味論的意味とシーンモードとデバイス種別に従って音声命令に応じるデバイスが判断され、これによりデバイスをより正確に選択することができる。
任意選択で、方法200は、
音声命令に対応する動作を判断するステップと、
動作を指示することに使われる指示情報を音声命令に応じるデバイスへ送信するステップと、
をさらに含んでよい。
アドホックネットワークのコントローラが、デバイス種別とシーンモードに従って音声命令に応じるデバイスを判断した後に、音声命令を解析できないならば、コントローラは音声命令に応じるデバイスへメッセージを送信する必要があり、これにより音声命令を搬送する音声動作解析要求をサーバー(音声アシスタントサーバー等)へ送信するように音声命令に応じるデバイスに命じる。
結論として、サーバーは、複数のデバイスから音声命令に応じるデバイスを判断した後に、複数のデバイスの中で音声命令に応じないデバイスへメッセージを送信してもよく、これにより音声命令に応じないデバイスの音声アシスタントに、受信された音声命令に応じないように命じ、あるいは音声命令に応じないデバイスの音声アシスタントに休眠状態に入るように命じる。任意選択で、サーバーは音声命令に応じるデバイスへメッセージを同時に送信してもよく、これにより受信された音声命令に応じるようにデバイスに命じる。この場合は、音声命令に応じるデバイスの音声アシスタントのみが音声動作命令を受信した後にサーバーへ音声動作解析要求を送信する。
本発明のこの実施形態では、1ユーザーの複数のデバイスによって送信される情報が受信され、情報に従って複数のデバイスから音声命令に優先的に応じるデバイスが判断される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図3は本発明の別の一実施形態による通信方法300の概略流れ図である。サーバーは1ユーザーの複数のデバイスと通信し、複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができる。通信方法300はサーバーによって実行されてよい。図3に示すように、通信方法300は以下の内容を含む。
310.1ユーザーの複数のデバイスのうちの各デバイスによって送信される同じ音声命令を受信する。
320.音声命令に対応する動作を判断する。
330.動作を指示することに使われる指示情報を複数のデバイスの中で音声命令に応じるデバイスへ送信し、音声命令に応じるデバイスは複数のデバイスのうちの各デバイスによって送信される情報に従って判断され、情報はデバイス種別を含む。
本発明のこの実施形態では、音声命令に応じるデバイスへ動作の指示情報が自動的に送信される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
任意選択で、通信方法300は、ステップ330の前に、
1ユーザーの複数のデバイスのうちの各デバイスによって送信される情報を受信するステップであって、情報はデバイス種別を含む、ステップと、
情報に従って複数のデバイスの中で音声命令に応じるデバイスを判断するステップと、
をさらに含んでよい。
各デバイスが情報と音声命令を別々に送信してよく、あるいは情報と音声命令を同時に送信してもよいことが理解されるべきである。本発明のこの実施形態に制限は課されない。
例えば、サーバーは、複数のデバイスから応答デバイスを判断した後に、続いて、複数のデバイスのうちの各デバイスによって送信される音声動作解析要求を受信し、音声命令に対応する動作を判断した後に、複数のデバイスの中で音声命令に応じるデバイスへ動作の指示情報を送信する。
任意選択で、通信方法300は、複数のデバイスの中で音声命令に応じないデバイスへメッセージを送信するステップをさらに含んでよく、これによりそのデバイスに音声命令に応じるデバイスが対応する動作を遂行することを知らせ、そのデバイスに休眠状態に入るように命じる。
任意選択で、各デバイスによって送信される情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
本発明のこの実施形態において、各デバイスによって送信される情報に従って音声命令に応じるデバイスを判断する方法については、図2に示された実施形態の関連する説明への参照が行われ得ることが理解されるべきである。繰り返しを避けるため、ここでは詳細を再度説明しない。
本発明のこの実施形態では、音声命令に応じるデバイスへ動作の指示情報が自動的に送信される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図4は本発明の別の一実施形態による通信方法400の概略流れ図である。1ユーザーの複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができる。1ユーザーの複数のデバイスとサーバーとの間の接続状態が次の3つの場合に分類されることが理解されるべきである。1.ユーザーの全デバイスの音声アシスタントがサーバーへ接続される。2.ユーザーのいくつかのデバイスの音声アシスタントがサーバーへ接続され、他のいくつかのデバイスの音声アシスタントはサーバーへ接続されない。3.ユーザーの複数のデバイスのどの音声アシスタントもサーバーへ接続されない。サーバーへ接続されない、デバイスの音声アシスタントは、ユーザーによって送信される音声覚醒命令を受信した後にサーバーへ接続されてよい。任意選択で、1ユーザーの複数のデバイスはアドホックネットワークをさらに形成してよい。
通信方法400は1ユーザーの複数のデバイスのいずれかのデバイスによって実行されてよい。具体的には、通信方法400はデバイスによって、あるいはデバイスの音声アシスタントによって、実行されてよい。図4に示すように、通信方法400は以下の内容を含む。
410.第1の音声命令を受信する。
420.第1の音声命令に従って覚醒状態に入る。
例えば、デバイスの音声アシスタントは第1の音声命令に従って覚醒状態に入る。
第1の音声命令は音声覚醒命令であってよい。ユーザーは、あるいはデバイス製造業者は、音声アシスタントに対応するユニット、モジュール、またはクライアントで、音声覚醒命令に対応する内容を設定してよい。例えば、あらかじめ設定された音声覚醒命令が「hi,Allen」ならば、音声アシスタントは音声命令「hi,Allen」を受信した場合に覚醒状態に入る。
430.情報を取得し、情報はデバイス種別を含む。
440.情報をサーバーへ送信する。
サーバーは音声アシスタントサーバーであってよく、あるいはアドホックネットワーク内のコントローラであってもよい。デバイスはサーバーへ情報を送信し、これによりサーバーは情報に従ってデバイスが音声命令に応じるデバイスであるかどうかを判断できる。
任意選択で、情報はデバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
これに対応して、情報がデバイス種別と音声命令とを含む場合、これはデバイスがサーバーへデバイス種別と音声命令を同時に送信することを指示する。これに対応して、通信方法400は、サーバーによって送信され、音声命令に対応する動作を指示することに使われる、指示情報を受信するステップをさらに含んでよい。音声命令を取得するステップは、音声命令を受信するステップを含む。
450.情報に従ってサーバーによって送信される第1のメッセージを受信し、第1のメッセージは音声命令に応じないようにデバイスの音声アシスタントに命じることに使われ、あるいは情報に従ってサーバーによって送信される第2のメッセージを受信し、第2のメッセージは音声命令に応じるようにデバイスの音声アシスタントに命じることに使われる。
本発明のこの実施形態では、情報が取得され、情報がサーバーへ送信され、これによりサーバーは複数のデバイスから音声命令に応じるデバイスを判断できる。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
本発明のこの実施形態では、デバイスの音声アシスタントが覚醒させられた後のデバイスの音声アシスタントの応答期間を、例えば1分に、さらに設定できる。すなわち、ユーザーが音声命令「hi,Allen」を用いて音声アシスタントを覚醒させた後、音声アシスタントは応答期間(例えば1分)内に音声命令を直接受信することによってのみ応答を行うことができる。例えば、音声アシスタントが「hi,Allen,地図を開く」等の音声命令を受信し、地図を開く音声動作を完了させた後に、ユーザーは続いて音声命令「Zhongguancunへ行く」を音声アシスタントに入れてもよい。音声アシスタントはZhongguancunへの最適ルートを直接取得し見つけることができ、ユーザーは「hi,Allen,Zhongguancunへ行く」等の音声命令を音声アシスタントに入れる必要がなく、これによってユーザー操作を容易にし、ユーザー体験を向上させる。この内容は、限定しないが、本発明の全ての実施形態に応用できる。
任意選択で、ステップ450で受信される第1のメッセージは休眠命令情報をさらに搬送してよい。方法400は、休眠命令情報に従って休眠状態に入るステップをさらに含む。
休眠状態において、デバイスは依然として監視状態にあり、すなわち、デバイスはユーザーによって送信される音声命令(音声覚醒命令および/または音声動作命令等)を監視できるが、受信された音声命令に応じない。
ステップ450において、情報に従ってサーバーによって送信される第1のメッセージが受信される場合、通信方法400は、
第2の音声命令を受信するステップと、
第2の音声命令に応じることを省くステップと、
をさらに含んでよい。
例えば、第2の音声命令は音声動作命令であってよい。
情報に従ってサーバーによって送信される第2のメッセージが受信される場合、通信方法500は、
第3の音声命令を受信するステップと、
第3の音声命令をサーバーへ送信するステップと、
第3の音声命令に従ってサーバーによって送信される第3のメッセージを受信するステップであって、第3のメッセージは第3の音声命令に対応する動作を指示することに使われる、ステップと、
第3のメッセージに従って第3の音声命令に対応する動作を遂行するステップと、
をさらに含んでよい。
例えば、第3の音声命令は音声動作命令であってよい。
デバイスが取得された情報と受信された第3の音声命令とをサーバーへ同時に送信してよく、あるいは情報と第3の音声命令とをサーバーへ別々に送信してよいことが理解されるべきである。本発明のこの実施形態に制限は課されない。
したがって本発明のこの実施形態では、情報が取得され、情報がサーバーへ送信され、これによりサーバーは複数のデバイスから音声命令に応じるデバイスを判断できる。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図5は本発明の別の一実施形態による通信方法500の概略流れ図である。1ユーザーの複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができる。通信方法500は1ユーザーの複数のデバイスのいずれかのデバイスによって実行されてよい。具体的には、通信方法500はデバイスによって、あるいはデバイスの音声アシスタントによって、実行されてよい。図5に示すように、通信方法500は以下の内容を含む。
510.第1の音声命令を受信する。
520.第1の音声命令に従って覚醒状態に入る。
530.情報を取得し、情報はデバイス種別を含む。
540.情報をサーバーへ送信する。
550.第2の音声命令を受信する。
560.第2の音声命令をサーバーへ送信する。
570.情報に従ってサーバーによって送信され、第2の音声命令に対応する動作を指示することに使われる、指示情報を受信する。
情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
プロセスの配列番号が実行順序を意味しないことが理解されるべきである。プロセスの実行順序はプロセスの機能と内部論理によって決定されるべきであり、本発明の実施形態の実装プロセスにおける制限として解釈されるべきでない。
例えば、ステップ540とステップ560は別々に遂行されてよく、あるいは同時に遂行されてもよい。すなわち、情報と第2の音声命令はサーバーへ別々に送信されてよく、あるいは情報と第2の音声命令はサーバーへ同時に送信されてもよい。
本発明のこの実施形態では、取得された情報と受信された音声命令がサーバーへ送信され、これによりサーバーは情報に従って1ユーザーの複数のデバイスから音声命令に応じるデバイスを判断し、音声命令に応じるデバイスへ音声命令に対応する動作の指示情報を送信できる。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図6は本発明の別の一実施形態による通信方法600の概略流れ図である。1ユーザーの複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができる。通信方法600は1ユーザーの複数のデバイスのいずれかのデバイスによって実行されてよい。具体的には、通信方法600はデバイスによって、あるいはデバイスの音声アシスタントによって、実行されてよい。図6に示すように、通信方法600は以下の内容を含む。
610.第1の音声命令を受信する。
620.第1の音声命令に従って覚醒状態に入る。
630.第2の音声命令を受信する。
640.第2の音声命令がデバイス情報を含んでいると判断し、第2の音声命令に応じる。
デバイス情報が1ユーザーの複数のデバイスを区別するために使われることが理解されるべきである。デバイス情報は、携帯電話、バンド、車載デバイス、またはステレオ等のデバイス種別であってよく、あるいはデバイス名であってもよく、あるいはデバイス番号等であってもよい。1ユーザーの複数のデバイスを認識できる限り、本発明のこの実施形態に制限は課されない。
例えば、音声動作解析要求がサーバーに送信され、音声動作解析要求は第2の音声命令を搬送する。
これに対応して、第2の音声命令がデバイス情報を含んでいないと判断する場合、デバイスは第2の音声命令に応じない。
第2の音声命令がデバイス情報を含んでいないとデバイスが認識するならば、デバイスがサーバーへ音声解析要求を送信しないことが理解されるべきである。例えば、デバイスは第2の音声命令を破棄してよい。その代わりに、デバイスは第2の音声命令の処理を止めてよい。
デバイスはデバイス情報をあらかじめ記憶してよい。デバイスによって受信される音声命令がデバイス情報を含んでいる場合、デバイスはサーバーへ音声動作解析要求を送信する。デバイスによって受信される音声命令がデバイス情報を含んでいない場合、デバイスは音声命令に応じない。任意選択で、デバイスによって受信される音声命令がデバイス情報を含んでいない場合、デバイスは、例えばデバイス種別を、サーバーへ送信してよく、これによりユーザーの複数のデバイスから音声命令に応じるデバイスを判断するようにサーバーに要求する。
第1の音声命令が音声覚醒命令であってよく、第2の音声命令が音声動作命令であってよいことが理解されるべきである。本発明のこの実施形態では、音声覚醒命令と音声動作命令が同時に受信されてよい。例えば、ユーザーによって送信される音声命令「hi,Allen,携帯電話を用いてZhang Sanに電話をかける」が受信される。その代わりに、音声覚醒命令と音声動作命令が別々に受信されてもよい。例えば、ユーザーによって送信される音声覚醒命令「hi,Allen」が最初に受信され、これにより覚醒状態に入り、ユーザーによって送信される音声動作命令「携帯電話を用いてZhang Sanに電話をかける」が応答期間内に次に受信される。本発明のこの実施形態に制限は課されない。
したがって本発明のこの実施形態では、受信された音声命令がデバイス情報を含んでいると判断される場合に、音声命令が自動的に応じられ、これにより音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
以下は、図7から図11の具体例を参照して、本発明の一実施形態による通信方法を詳細に説明する。
図7は本発明の別の一実施形態による通信方法700の概略流れ図である。図7に示すように、通信方法700は以下の内容を含む。
ステップ701a、701b、および701c:第1のデバイスと第2のデバイスと第3のデバイスの各音声アシスタントが音声命令「hi,Allen,地図を開く」を同時に受信し、ここで「hi,Allen」は音声覚醒命令であり、「地図を開く」は音声動作命令である。
ステップ702a、702b、および702c:音声覚醒命令「hi,Allen」に従って覚醒状態に入った後に、第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは音声動作命令をバッファに格納し、音声アシスタントが属するデバイスのシーンモードとデバイス種別を取得する。
ステップ703a、703b、および703c:第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントはサーバーへ音声動作解析要求を送信し、音声動作解析要求はデバイスの現在のシーンモードとデバイス種別と音声動作命令「地図を開く」を搬送する。
ステップ704:サーバーは音声動作命令を解析し、遂行される必要がある動作が「地図を開く」であると判断し、シーンモードとデバイス種別を参照して動作を現在遂行する必要があるデバイスが、例えば第2のデバイスであると、判断する。
ステップ705a:サーバーは休眠命令情報を搬送する応答メッセージを第1のデバイスの音声アシスタントへ返信し、第2のデバイスの音声アシスタントが動作「地図を開く」を遂行することを第1のデバイスの音声アシスタントに知らせる。
ステップ705b:サーバーは第2のデバイスの音声アシスタントへ応答メッセージを返信する、すなわちサーバーは遂行される必要がある動作「地図を開く」を指示することに使われる指示情報を返信する。
ステップ705c:サーバーは休眠命令情報を搬送する応答メッセージを第3のデバイスの音声アシスタントへ返信し、第2のデバイスの音声アシスタントが動作「地図を開く」を遂行することを第3のデバイスの音声アシスタントに知らせる。
ステップ706aおよび706c:第1のデバイスの音声アシスタントと第3のデバイスの音声アシスタントの両方は休眠状態に入り、休眠状態において、第1のデバイスと第3のデバイスの低電力音声覚醒モジュールは依然として監視状態にある。
ステップ705b:第2のデバイスの音声アシスタントは覚醒状態にある。
シーンモードが変わる場合、第1のデバイスの音声アシスタントと第3のデバイスの音声アシスタントは休眠状態から通常状態に切り替えられてよいことに留意すべきである。
図8は本発明の別の一実施形態による通信方法800の概略流れ図である。図8に示すように、通信方法800は以下の内容を含む。
ステップ801a、801b、および801c:第1のデバイスと第2のデバイスと第3のデバイスの各音声アシスタントが音声覚醒命令「hi,Allen」を同時に受信する。
ステップ802a、802b、および802c:音声覚醒命令「hi,Allen」に従って覚醒状態に入った後に、第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントはデバイスのシーンモードとデバイス種別を3つのデバイスから取得する。
ステップ803a、803b、および803c:第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは、デバイスのシーンモードとデバイス種別とを搬送する応答デバイス取得要求をサーバーへ送信する。
ステップ804:サーバーは、シーンモードとデバイス種別とに従って、音声動作命令に対応する動作を現在遂行する必要があるデバイスが、例えば第2のデバイスであると、判断する。
ステップ805a、805b、および805c:動作ステップを遂行する場合、第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは依然として続いて音声動作命令を受信する。
ステップ806a、806b、および806c:第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは音声動作命令「地図を開く」をバッファに格納する。
ステップ807a、807b、および807c:第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは、音声動作命令「地図を開く」を搬送する音声動作解析要求をサーバーへ送信する。
ステップ808:サーバーは音声動作命令を解析し、遂行される必要がある動作が「地図を開く」であることを解析により取得する。
ステップ809a:サーバーは休眠命令情報を搬送する応答メッセージを第1のデバイスの音声アシスタントへ返信し、第2のデバイスの音声アシスタントが動作「地図を開く」を遂行することを音声アシスタントに知らせる。
ステップ809b:サーバーは第2のデバイスの音声アシスタントへ応答情報を返信する、すなわちサーバーは遂行される必要がある動作「地図を開く」を指示することに使われる指示情報を返信する。
ステップ809c:サーバーは休眠命令情報を搬送する応答メッセージを第3のデバイスの音声アシスタントへ返信し、第2のデバイスの音声アシスタントが動作「地図を開く」を遂行することを音声アシスタントに知らせる。
ステップ810aおよび810c:第1のデバイスの音声アシスタントと第3のデバイスの音声アシスタントの両方は休眠状態に入り、休眠状態において、第1のデバイスと第3のデバイスの低電力音声覚醒モジュールは依然として監視状態にある。
ステップ810b:第2のデバイスの音声アシスタントは覚醒状態にある。
加えて、シーンモードが変わる場合、第1のデバイスの音声アシスタントと第3のデバイスの音声アシスタントは休眠状態から通常状態に切り替えられてよい。
本発明のこの実施形態ではステップ803(803a、803b、および803c)およびステップ804がステップ805(805a、805b、および805c)、ステップ806(806a、806b、および806c)、およびステップ807(807a、807b、および807c)と同時に遂行されてもよく、時間の配列はないことが留意されるべきである。
図9は本発明の別の一実施形態による通信方法900の概略流れ図である。図9に示すように、通信方法900は以下の内容を含む。
ステップ901a、901b、および901c:第1のデバイスと第2のデバイスと第3のデバイスの各音声アシスタントが音声覚醒命令「hi,Allen」を同時に受信する。
ステップ902a、902b、および902c:音声覚醒命令「hi,Allen」に従って覚醒状態に入った後に、第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは音声アシスタントが属するデバイスのシーンモードとデバイス種別とを取得する。
ステップ903a、903b、および903c:第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは、シーンモードとデバイス種別とを搬送する応答デバイス取得要求をサーバーへ送信する。
ステップ904:サーバーは、シーンモードとデバイス種別とに従って、動作を現在遂行する必要があるデバイスが、例えば第2のデバイスであると、判断する。
ステップ905a:サーバーは休眠命令情報を搬送する応答メッセージを第1のデバイスの音声アシスタントへ返信し、第2のデバイスの音声アシスタントが動作を遂行することを第1のデバイスの音声アシスタントに知らせる。
ステップ905b:サーバーは第2のデバイスの音声アシスタントへ応答情報を返信する、すなわちサーバーは音声命令に応じるデバイスが第2のデバイスであると知らせる。
ステップ905c:サーバーは休眠命令情報を搬送する応答メッセージを第3のデバイスの音声アシスタントへ返信し、第2のデバイスの音声アシスタントが動作を遂行することを第3のデバイスの音声アシスタントに知らせる。
ステップ906aおよび906c:第1のデバイスの音声アシスタントと第3のデバイスの音声アシスタントの両方は休眠状態に入り、休眠状態において、第1のデバイスと第3のデバイスの低電力音声覚醒モジュールは依然として監視状態にある。
ステップ906b:第2のデバイスの音声アシスタントは覚醒状態にある。
ステップ907a、907b、および907c:動作ステップを遂行する場合、第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは依然として続いて音声動作命令を受信する。
ステップ908a、908b、および908c:第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは音声動作命令「地図を開く」をバッファに格納する。
ステップ909:第2のデバイスの音声アシスタントは音声動作命令「地図を開く」を搬送する音声動作解析要求をサーバーへ送信する。
ステップ910:サーバーは音声動作命令を解析し、遂行される必要がある動作が「地図を開く」であることを解析により取得する。
ステップ911:サーバーは第2のデバイスの音声アシスタントへ応答情報を返信する、すなわちサーバーは遂行される必要がある動作「地図を開く」を指示することに使われる指示情報を返信する。
応答メッセージを受信した第2のデバイスの音声アシスタントは指示情報に従って動作「地図を開く」を遂行する。
同様に、シーンモードが変わる場合、第1のデバイスの音声アシスタントと第3のデバイスの音声アシスタントは休眠状態から通常状態に切り替えられてよい。
例えば、ステップについて、ステップ907(907a、907b、および907c)およびステップ908(908a、908b、および908c)の遂行と、ステップ903(903a、903b、および903c)、ステップ904、ステップ905(905a、905b、および905c)、およびステップ906(906a、906b、および906c)の遂行との間に時間の配列はない。
図10は本発明の別の一実施形態による通信方法1000の概略流れ図である。図10に示すように、通信方法1000は以下の内容を含む。
ステップ1001a、1001b、および1001c:第1のデバイスと第2のデバイスと第3のデバイスの各音声アシスタントが音声命令「hi,Allen,地図を開く」を同時に受信し、ここで「hi,Allen」は音声覚醒命令であり、「地図を開く」は音声動作命令である。
ステップ1002a、1002b、および1002c:第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは音声覚醒命令「hi,Allen」に従って覚醒状態に入り、覚醒状態に入った後に音声アシスタントは音声動作命令をバッファに格納し、音声アシスタントが属するデバイスからデバイス種別を取得する。
ステップ1003a、1003b、および1003c:第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントはサーバーへ音声動作解析要求を送信し、この音声動作解析要求はデバイス種別と音声要求命令「地図を開く」を含んでいる。
ステップ1004:サーバーは音声動作命令「地図を開く」を解析して現在遂行される必要がある動作と「地図を開く」の意味論的意味を取得し、音声解析要求において搬送されたデバイス種別に従って現在のデバイスが第2のデバイス等の車載デバイスを含んでいると判断し、意味論的意味とデバイス種別とに従って音声命令に応じる現在のデバイスが第2のデバイスであると判断する。
ステップ1005a:サーバーは第2のデバイスの音声アシスタントが動作を遂行するという応答メッセージを第1のデバイスの音声アシスタントへ返信する。
ステップ1005b:サーバーは第2の音声アシスタントへ応答メッセージを返信し、この応答メッセージは動作を指示することに使われる指示情報を搬送している。
ステップ1005c:サーバーは第2のデバイスの音声アシスタントが動作を遂行するという応答メッセージを第3の音声アシスタントへ返信する。
図11は本発明の別の一実施形態による通信方法1100の概略流れ図である。図11に示すように、通信方法1100は以下の内容を含む。
ステップ1101a、1101b、および1101c:第1のデバイスと第2のデバイスと第3のデバイスの各音声アシスタントが音声命令「hi,Allen,携帯電話を用いてZhang Sanに電話をかける」を同時に受信する。
このステップの前に、デバイス種別、またはデバイス名、または両方が定義され、1ユーザーの第1のデバイスと第2のデバイスと第3のデバイスとに記憶される。例えば、デバイス種別は携帯電話、車載デバイス、またはバンドである。
加えて、このステップの前に、第1のデバイスの音声アシスタントと第3のデバイスの音声アシスタントは休眠状態にあり(この状態で低電力覚醒モジュールは依然として稼働状態にある)、第2のデバイスの音声アシスタントは覚醒状態にある。
ステップ1101において、音声命令は、さらに、「hi,Allen,車載デバイスを用いてナビゲーションを開始する」であってもよく、あるいは「hi,Allen,テレビを付ける」、あるいは「hi,Allen,「私は到着した」というSMSメッセージをバンドを用いてLi Siに送る」等であってもよい。
ステップ1102a:第1のデバイスの音声アシスタントは音声覚醒命令「hi,Allen」に従って休眠状態から覚醒状態に入り、音声動作命令が「携帯電話」等の第1のデバイスに関する情報を含んでいると判断する。
ステップ1102b:第2のデバイスの音声アシスタントは音声覚醒命令「hi,Allen」に従って続いて覚醒状態のままであり、音声動作命令が「第2のデバイス」等のローカル情報を含んでいないと判断し、音声動作命令に応じない。
ステップ1102c:第3のデバイスの音声アシスタントは音声覚醒命令「hi,Allen」に従って休眠状態から覚醒状態に入り、音声動作命令が「バンド」等の第3のデバイスに関する情報を含んでいないと判断し、音声動作命令に応じない。
ステップ1103:第1のデバイスの音声アシスタントは音声動作命令「Zhang Sanに電話をかける」を搬送する音声解析要求をサーバーへ送信する。
ステップ1104:サーバーは音声動作命令を解析し、遂行される必要がある動作が「電話をかける」であって電話をかける相手が「Zhang San」であることを解析により取得する。
ステップ1105:サーバーは第1のデバイスの音声アシスタントへ応答メッセージを返信し、この応答メッセージは動作を指示することに使われる指示情報を搬送している。
応答メッセージを受信した後に、第1のデバイスの音声アシスタントは指示情報に従ってZhang Sanの電話番号を検索し、Zhang Sanに電話をかける。
図12は本発明の別の一実施形態による通信方法1200の概略流れ図である。図12に示すように、通信方法1200は以下の内容を含む。
ステップ1201:第1のデバイスと第2のデバイスと第3のデバイスがアドホックネットワークを実現する。
ステップ1202a、1202b、および1202c:第1のデバイスと第2のデバイスと第3のデバイスの各音声アシスタントが音声命令「hi,Allen,地図を開く」を受信し、ここで「hi,Allen」は音声覚醒命令であり、「地図を開く」は音声動作命令である。
ステップ1203a、1203b、および1203c:第1のデバイスと第2のデバイスと第3のデバイスの各々の音声アシスタントは音声覚醒命令「hi,Allen」に従って覚醒状態に入り、音声アシスタントは音声動作命令をバッファに格納し、音声アシスタントが属するデバイスのシーンモードとデバイス種別をデバイスから取得する。
ステップ1204:アドホックネットワーク内のコントローラは、シーンモードとデバイス種別とに従って、第2のデバイス等の、このシーンモードにおいて音声命令に応じるデバイスを判断する。
ステップ1205a:第1のデバイスの音声アシスタントは休眠命令情報を搬送する応答メッセージを受信し、音声アシスタントは、第2のデバイスが音声動作命令に対応する動作を完了させると知らされる。
ステップ1205b:第2のデバイスが音声命令に応じるデバイスであり、これにより第2のデバイスの音声アシスタントは覚醒状態にある。
ステップ1205c:第3のデバイスの音声アシスタントは休眠命令情報を搬送する応答メッセージを受信し、音声アシスタントは、第2のデバイスの音声アシスタントが音声動作命令に対応する動作を完了させると知らされる。
ステップ1206:第2のデバイスの音声アシスタントは音声動作命令「地図を開く」を搬送する音声動作解析要求をサーバーへ送信する。
ステップ1207:サーバーは音声動作命令「地図を開く」を解析し、第2のデバイスの音声アシスタントによって遂行されるべき動作が「地図を開く」であると判断する。
ステップ1208:サーバーは第2のデバイスの音声アシスタントへ応答メッセージを返信し、この応答メッセージは動作「地図を開く」を指示することに使われる指示情報を搬送している。
アドホックネットワーク内のいずれかのデバイスが退去した後に、残りのデバイスは続いて再度ネットワーキングを遂行し、アドホックネットワーク内のデバイスのシーンモードを更新し得ることが留意されるべきである。
上記は、図1から図12を参照して、本発明の実施形態による通信方法を詳細に説明した。以下は、図13から図18を参照して、本発明の実施形態によるサーバーおよびデバイスを詳細に説明する。
図13は本発明の一実施形態によるサーバー1300の概略ブロック図である。サーバーは1ユーザーの複数のデバイスと通信し、複数のデバイスはユーザーによって送信される同じ音声動作命令を同時に受信することができる。図13に示すように、サーバー1300は、
1ユーザーの複数のデバイスのうちの各デバイスによって送信される情報を受信するように構成された受信ユニット1310であって、情報はデバイス種別を含む、受信ユニット1310と、
受信ユニット1310によって受信された情報に従って複数のデバイスから音声命令に応じるデバイスを判断するように構成された処理ユニット1320と、
複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへメッセージを送信するように構成された送信ユニット1330であって、メッセージは異なるデバイスの音声アシスタントに音声命令に応じないように命じることに使われる、送信ユニット1330と、
を含む。
本発明のこの実施形態では、1ユーザーの複数のデバイスによって送信される情報が受信され、情報に従って複数のデバイスから音声命令に応じるデバイスが判断される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
任意選択で、各デバイスによって送信される情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
各デバイスによって送信される情報がデバイス種別と音声命令とを含む場合、処理ユニット1320は、具体的には、
音声命令の意味論的意味を認識し、
デバイス種別と音声命令の意味論的意味とに従って複数のデバイスから音声命令に応じるデバイスを判断する
ように構成される。
任意選択で、別の一実施形態において、各デバイスによって送信される情報がデバイス種別と音声命令とを含む場合、処理ユニット1320は音声命令に対応する動作を判断するようにさらに構成される。これに対応して、送信ユニット1330は、動作を指示することに使われる指示情報を音声命令に応じるデバイスへ送信するように構成される。
任意選択で、異なるデバイスへ送信されるメッセージは休眠命令情報をさらに搬送してよい。
任意選択で、コントローラは複数のデバイスの中のいずれかのデバイスであってよい。
サーバー1300が通信方法200におけるサーバーに対応し得ることが理解されるべきである。加えて、サーバー1300の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図2の通信方法200の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
本発明のこの実施形態では、1ユーザーの複数のデバイスによって送信される情報が受信され、情報に従って複数のデバイスから音声命令に優先的に応じるデバイスが判断される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図14は本発明の一実施形態によるサーバー1400の概略ブロック図である。サーバーは1ユーザーの複数のデバイスと通信し、複数のデバイスはユーザーによって送信される同じ音声動作命令を同時に受信することができる。図14に示すように、サーバー1400は、
1ユーザーの複数のデバイスのうちの各デバイスによって送信される同じ音声命令を受信するように構成された受信ユニット1410と、
受信ユニット1410によって受信された音声命令に対応する動作を判断するように構成された処理ユニット1420と、
動作を指示することに使われる指示情報を音声命令に応じるデバイスへ送信するように構成された送信ユニット1430であって、音声命令に応じるデバイスは複数のデバイスのうちの各デバイスによって送信される情報に従って判断され、情報はデバイス種別を含む、送信ユニット1430と、
を含む。
任意選択で、情報はデバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
本発明のこの実施形態において、サーバー1400が複数のデバイスのうちの各デバイスによって送信される情報に従って音声命令に応じるデバイスを判断する方法については、サーバー1100の関連する説明への参照が行われ得ることが理解されるべきである。繰り返しを避けるため、ここでは詳細を再度説明しない。
サーバー1400が通信方法300におけるサーバーに対応し得ることも理解されるべきである。加えて、サーバー1400の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図3の通信方法300の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
本発明のこの実施形態では、音声命令に応じるデバイスへ動作の指示情報が自動的に送信される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図15は本発明の一実施形態によるデバイス1500の概略ブロック図である。1ユーザーの複数のデバイスはユーザーによって送信される同じ音声覚醒命令または音声動作命令を同時に受信することができ、デバイス1500は複数のデバイスのうちのいずれかのデバイスであってよい。図15に示すように、デバイス1500は、
第1の音声命令を受信するように構成された受信ユニット1510と、
受信ユニット1510によって受信された第1の音声命令に従って覚醒状態に入るように構成された処理ユニット1520と、
情報を取得するように構成された取得ユニット1530であって、情報はデバイス種別を含む、取得ユニット1530と、
情報をサーバーへ送信するように構成された送信ユニット1540と
を含む。
受信ユニット1510は、情報に従ってサーバーによって送信される第1のメッセージを受信するようにさらに構成され、第1のメッセージは音声命令に応じないようにデバイス1500の音声アシスタントに命じることに使われ、あるいは受信ユニット1510は、情報に従ってサーバーによって送信される第2のメッセージを受信するようにさらに構成され、第2のメッセージは音声命令に応じるようにデバイス1500の音声アシスタントに命じることに使われる。
本発明のこの実施形態では、情報が取得され、情報がサーバーへ送信され、これによりサーバーは複数のデバイスから音声命令に応じるデバイスを判断できる。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
任意選択で、情報はデバイス1500のシーンモードまたは音声命令のうち少なくとも一方をさらに含む。
これに対応して、受信ユニット1510は、サーバーによって送信され、音声命令に対応する動作を指示することに使われる、指示情報を受信するようにさらに構成されてよく、情報は音声命令をさらに含む。
任意選択で、第1のメッセージは休眠命令情報をさらに搬送してよく、処理ユニット1520は休眠命令情報に従って休眠状態に入るようにさらに構成されてよい。
任意選択で、受信ユニット1510が第1のメッセージを受信する場合、受信ユニット1510は第2の音声命令を受信するようにさらに構成される。処理ユニット1520は受信ユニット1510によって受信された第2の音声命令に応じることを省くようにさらに構成される。
任意選択で、受信ユニット1510が第2のメッセージを受信する場合、受信ユニット1510は第3の音声命令を受信するようにさらに構成される。送信ユニット1520は受信ユニット1510によって受信された第3の音声命令をサーバーへ送信するようにさらに構成される。受信ユニット1510は第3の音声命令に従ってサーバーによって送信される第3のメッセージを受信するようにさらに構成され、第3のメッセージは第3の音声命令に対応する動作を指示することに使われる。処理ユニット1520は第3のメッセージに従って第3の音声命令に対応する動作を遂行するようにさらに構成される。
デバイス1500が通信方法400におけるデバイスに対応し得ることが理解されるべきである。加えて、デバイス1500の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図4の通信方法400の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
本発明のこの実施形態では、情報が取得され、情報がサーバーへ送信され、これによりサーバーは複数のデバイスから音声命令に応じるデバイスを判断できる。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図16は本発明の一実施形態によるデバイス1600の概略ブロック図である。1ユーザーの複数のデバイスはユーザーによって送信される同じ音声覚醒命令または音声動作命令を同時に受信することができ、デバイス1600は複数のデバイスのうちのいずれかのデバイスであってよい。図16に示すように、デバイス1600は、受信ユニット1610と、処理ユニット1620と、取得ユニット1630と、送信ユニット1640とを含む。
受信ユニット1610は第1の音声命令を受信するように構成される。
処理ユニット1620は第1の音声命令に従って覚醒状態に入るように構成される。
取得ユニット1630は情報を取得するように構成され、情報はデバイス種別を含む。
送信ユニット1640は情報をサーバーへ送信するように構成される。
受信ユニット1610は第2の音声命令を受信するようにさらに構成される。
送信ユニット1640は第2の音声命令をサーバーへ送信するようにさらに構成される。
受信ユニット1610は、情報に従ってサーバーによって送信され、第2の音声命令に対応する動作を指示することに使われる、指示情報を受信するようにさらに構成される。
情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
デバイス1600が通信方法500におけるデバイスに対応し得ることが理解されるべきである。加えて、デバイス1600の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図5の通信方法500の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
本発明のこの実施形態では、取得された情報と受信された音声命令がサーバーへ送信され、これによりサーバーは情報に従って1ユーザーの複数のデバイスから音声命令に応じるデバイスを判断し、音声命令に応じるデバイスへ音声命令に対応する動作の指示情報を送信できる。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図17は本発明の一実施形態による別のデバイス1700の概略ブロック図である。1ユーザーの複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができ、デバイス1400は複数のデバイスのうちのいずれかのデバイスであってよい。図17に示すように、デバイス1700は、
第1の音声命令を受信するように構成された受信ユニット1710と、
受信ユニット1710によって受信された第1の音声命令に従って覚醒状態に入るように構成された処理ユニット1720と
を含む。
受信ユニット1710は第2の音声命令を受信するようにさらに構成される。
処理ユニット1720は、受信ユニット1710によって受信された第2の音声命令がデバイス1700に関する情報を含んでいると判断し、第2の音声命令に応じるようにさらに構成される。
デバイス1700が通信方法600におけるデバイスに対応し得ることが理解されるべきである。加えて、デバイス1700の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図6の通信方法600の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
本発明のこの実施形態では、受信された音声命令がデバイス情報を含んでいると判断される場合に、音声命令が自動的に応じられ、これにより音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図18は本発明の一実施形態によるサーバー1800の概略ブロック図である。サーバーは1ユーザーの複数のデバイスと通信し、複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができる。図18に示すように、サーバー1800は、1つ以上のプロセッサ1810と、メモリー1820と、バスシステム1830と、トランシーバ1840と、1つ以上のプログラムとを含む。プロセッサ1810とメモリー1820とトランシーバ1840はバスシステム1830を用いて互いに接続される。1つ以上のプログラムはメモリー1820に記憶され、1つ以上のプロセッサ1810による実行のために構成される。1つ以上のプログラムは命令を含み、命令は、
複数のデバイスのうちの各デバイスによって送信される情報をトランシーバ1840を用いて受信することであって、情報はデバイス種別を含む、前記受信することと、
少なくとも、トランシーバ1840によって受信された情報に従って、複数のデバイスの中で音声命令に応じるデバイスを判断することと、
複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへトランシーバ1840を用いてメッセージを送信することであって、メッセージは異なるデバイスの音声アシスタントに音声命令に応じないように命じるために使われる、前記送信することと、
に使われる。
本発明のこの実施形態では、1ユーザーの複数のデバイスによって送信される情報が受信され、情報に従って複数のデバイスから音声命令に応じるデバイスが判断される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
本発明のこの実施形態において、プロセッサ1810は中央処理ユニット(Central Processing Unit、略してCPU)であってよく、あるいはプロセッサ1810は別の汎用プロセッサ、デジタル信号プロセッサ(Digital Signal Processing、略してDSP)、特定用途向け集積回路(Application Specific Integrated Circuit、略してASIC)、フィールドプログラマブルゲートアレイ(Field-Programmable Gate Array、略してFPGA)、または別のプログラム可能論理デバイス、別個のゲート、またはトランジスタ論理デバイス、別個のハードウェアコンポーネント等であってよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってよく、あるいはプロセッサは従来のいずれかのプロセッサ等であってよい。
メモリー1820はリードオンリーメモリーとランダムアクセスメモリーを含んでよく、プロセッサ1810に命令とデータを提供する。メモリー1820の一部は不揮発性ランダムアクセスメモリーをさらに含んでよい。例えば、メモリー1820はデバイス種別に関する情報をさらに記憶してよい。
バスシステム1830は、データバスに加えて、電力バス、制御バス、ステータス信号バス等を含んでよい。しかし、説明の明確さのため、図では様々なバスがバスシステム1830と記されている。
実装プロセスでは、方法のステップがプロセッサ1810内のハードウェアの集積論理回路、あるいはソフトウェアの形式の命令を用いて完了されてもよい。本発明の実施形態を参照して開示された方法のステップはハードウェアプロセッサによって直接遂行されてよく、あるいはプロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを用いて遂行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリー、フラッシュメモリー、リードオンリーメモリー、プログラム可能リードオンリーメモリー、電気的消去プログラム可能メモリー、またはレジスタ等の、この技術分野で成熟した記憶媒体内に配置されてよい。記憶媒体はメモリー1820内に配置される。プロセッサ1810はメモリー1820内の情報を読み取り、プロセッサ1810のハードウェアと組み合わせて方法のステップを完了させる。繰り返しを避けるため、ここでは詳細を再度説明しない。
メモリー1820は複数のデバイス種別に対応する応答優先順位情報をさらに記憶してよく、1ユーザーの異なるデバイス情報と異なるシーンモードと異なるデバイス種別とに対応する応答デバイスの優先順位情報等をさらに記憶してよい。
任意選択で、各デバイスによって送信される情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
情報がデバイス種別と音声命令とを含む場合、命令は、
音声命令の意味論的意味を認識することと、
デバイス種別と音声命令の意味論的意味とに従って音声命令に応じるデバイスを判断することと、
にさらに使われる。
任意選択で、情報がデバイス種別と音声命令を含む場合、命令は、音声命令に対応する動作を判断することと、動作を指示することに使われる指示情報を音声命令に応じるデバイスへトランシーバ1840を用いて送信することとにさらに使われる。
サーバー1800が通信方法200におけるサーバーに対応し得ることが理解されるべきである。加えて、サーバー1800の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図2の通信方法200の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
加えて、実行されると、次の動作、通信方法200におけるステップ210から230の動作を遂行するステップ、を遂行するコンピュータ可読命令を含むコンピュータ可読媒体がさらに提供される。任意選択で、通信方法200における任意選択のステップの動作が遂行されてもよい。
加えて、コンピュータ可読媒体を含むコンピュータプログラム製品がさらに提供される。
本発明のこの実施形態では、1ユーザーの複数のデバイスによって送信される情報が受信され、情報に従って複数のデバイスから音声命令に応じるデバイスが判断される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図19は本発明の一実施形態によるサーバー1900の概略ブロック図である。サーバーは1ユーザーの複数のデバイスと通信し、複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができる。図19に示すように、サーバー1900は、1つ以上のプロセッサ1910と、メモリー1920と、バスシステム1930と、トランシーバ1940と、1つ以上のプログラムとを含む。プロセッサ1910とメモリー1920とトランシーバ1940はバスシステム1930を用いて互いに接続される。1つ以上のプログラムはメモリー1920に記憶され、1つ以上のプロセッサ1910による実行のために構成される。1つ以上のプログラムは命令を含み、命令は、
1ユーザーの複数のデバイスのうちの各デバイスによって送信される同じ音声命令をトランシーバ1940を用いて受信することと、
トランシーバ1940によって受信された音声命令に対応する動作を判断することと、
動作を指示することに使われる指示情報をトランシーバ1940を用いて複数のデバイスの中で音声命令に応じるデバイスへ送信することであって、音声命令に応じるデバイスは複数のデバイスのうちの各デバイスによって送信される情報に従って判断され、情報はデバイス種別を含む、前記送信することと、
に使われる。
任意選択で、情報はデバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
本発明のこの実施形態において、プロセッサ1910がCPUであってよいこと、あるいはプロセッサ1910が別の汎用プロセッサ、DSP、ASIC、FPGA、または別のプログラム可能論理デバイス、別個のゲート、またはトランジスタ論理デバイス、別個のハードウェアコンポーネント等であってよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってよく、あるいはプロセッサは従来のいずれかのプロセッサ等であってよい。
メモリー1920はリードオンリーメモリーとランダムアクセスメモリーを含んでよく、プロセッサ1910に命令とデータを提供する。メモリー1920の一部は不揮発性ランダムアクセスメモリーをさらに含んでよい。例えば、メモリー1920はデバイス種別に関する情報をさらに記憶してよい。
バスシステム1930は、データバスに加えて、電力バス、制御バス、ステータス信号バス等を含んでよい。しかし、説明の明確さのため、図では様々なバスがバスシステム1930と記されている。
実現プロセスでは、方法のステップがプロセッサ1910内のハードウェアの集積論理回路、あるいはソフトウェアの形式の命令を用いて完了されてもよい。本発明の実施形態を参照して開示された方法のステップはハードウェアプロセッサによって直接遂行されてよく、あるいはプロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを用いて遂行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリー、フラッシュメモリー、リードオンリーメモリー、プログラム可能リードオンリーメモリー、電気的消去プログラム可能メモリー、またはレジスタ等の、この技術分野で成熟した記憶媒体内に配置されてよい。記憶媒体はメモリー1920内に配置される。プロセッサ1910はメモリー1920内の情報を読み取り、プロセッサ1910のハードウェアと組み合わせて方法のステップを完了させる。繰り返しを避けるため、ここでは詳細を再度説明しない。
サーバー1900が通信方法300におけるサーバーに対応し得ることが理解されるべきである。加えて、サーバー1900の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図3の通信方法300の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
加えて、実行されると、次の動作、通信方法300におけるステップ310から330の動作を遂行するステップ、を遂行するコンピュータ可読命令を含むコンピュータ可読媒体がさらに提供される。任意選択で、通信方法300における任意選択のステップの動作が遂行されてもよい。
加えて、コンピュータ可読媒体を含むコンピュータプログラム製品がさらに提供される。
本発明のこの実施形態では、音声命令に応じるデバイスへ動作の指示情報が自動的に送信される。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図20は本発明の別の一実施形態によるデバイス2000の概略ブロック図である。1ユーザーの複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができ、デバイス2000は複数のデバイスのうちのいずれかのデバイスであってよい。図20に示すように、デバイス2000は、1つ以上のプロセッサ2010と、メモリー2020と、バスシステム2030と、トランシーバ2040と、1つ以上のプログラムとを含む。プロセッサ2010とメモリー2020とトランシーバ2040はバスシステム2030を用いて互いに接続される。1つ以上のプログラムはメモリー2020に記憶され、1つ以上のプロセッサ2010による実行のために構成される。1つ以上のプログラムは命令を含み、命令は、
トランシーバ2040を用いて第1の音声命令を受信することと、
トランシーバ2040によって受信された第1の音声命令に従って覚醒状態に入ることと、
情報を取得することであって、情報はデバイス種別を含む、前記取得することと、
トランシーバ2040を用いて情報をサーバーへ送信することと、
情報に従ってサーバーによって送信される第1のメッセージをトランシーバ2040を用いて受信することであって、第1のメッセージはデバイス2000の音声アシスタントに音声命令に応じないように命じることに使われる、前記第1のメッセージをトランシーバ2040を用いて受信すること、または、情報に従ってサーバーによって送信される第2のメッセージをトランシーバを用いて受信することであって、第2のメッセージはデバイス2000の音声アシスタントに音声命令に応じるように命じるために使われる、前記第2のメッセージをトランシーバを用いて受信することと、
に使われる。
命令はデバイス2000に関する情報をメモリー2020から取得することに使われてもよい。
本発明のこの実施形態では、情報が取得され、情報がサーバーへ送信され、これによりサーバーは複数のデバイスから音声命令に応じるデバイスを判断できる。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
本発明のこの実施形態において、プロセッサ2010がCPUであってよいこと、あるいはプロセッサ2010が別の汎用プロセッサ、DSP、ASIC、フィールドプログラマブルゲートアレイFPGA、または別のプログラム可能論理デバイス、別個のゲート、またはトランジスタ論理デバイス、別個のハードウェアコンポーネント等であってよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってよく、あるいはプロセッサは従来のいずれかのプロセッサ等であってよい。
メモリー2020はリードオンリーメモリーとランダムアクセスメモリーを含んでよく、プロセッサ2010に命令とデータを提供する。メモリー2020の一部は不揮発性ランダムアクセスメモリーをさらに含んでよい。例えば、メモリー2020はデバイス種別に関する情報をさらに記憶してよい。
バスシステム2030は、データバスに加えて、電力バス、制御バス、ステータス信号バス等を含んでよい。しかし、説明の明確さのため、図では様々なバスがバスシステム2030と記されている。
実装プロセスでは、方法のステップがプロセッサ2010内のハードウェアの集積論理回路、あるいはソフトウェアの形式の命令を用いて完了されてもよい。本発明の実施形態を参照して開示された方法のステップはハードウェアプロセッサによって直接遂行されてよく、あるいはプロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを用いて遂行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリー、フラッシュメモリー、リードオンリーメモリー、プログラム可能リードオンリーメモリー、電気的消去プログラム可能メモリー、またはレジスタ等の、この技術分野で成熟した記憶媒体内に配置されてよい。記憶媒体はメモリー2020内に配置される。プロセッサ2010はメモリー2020内の情報を読み取り、プロセッサ2010のハードウェアと組み合わせて方法のステップを完了させる。繰り返しを避けるため、ここでは詳細を再度説明しない。
任意選択で、デバイス2000に関する情報は、デバイス2000のシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
これに対応して、命令は、サーバーによって送信され、音声命令に対応する動作を指示することに使われる、指示情報を、トランシーバ2040を用いて受信することにさらに使われてよく、情報は音声命令をさらに含む。
任意選択で、第1のメッセージは休眠命令情報をさらに搬送してよく、命令は休眠命令情報に従って休眠状態に入るようにデバイス2000に命じることにさらに使われてよい。
任意選択で、別の一実施形態において、命令は、
サーバーによって送信される第1のメッセージがトランシーバ2040を用いて受信される場合に、トランシーバ2040を用いて第2の音声命令を受信することと、
トランシーバ2040によって受信された第2の音声命令に応じることを省くことと、
にさらに使われる。
任意選択で、別の一実施形態において、命令は、
サーバーによって送信される第2のメッセージがトランシーバ2040を用いて受信される場合に、トランシーバ2040を用いて第3の音声命令を受信することと、
トランシーバ2040を用いて第3の音声命令をサーバーへ送信することと、
第3の音声命令に従ってサーバーによって送信される第3のメッセージをトランシーバ2040を用いて受信することであって、第3のメッセージは第3の音声命令に対応する動作を指示するために使われる、前記第3のメッセージをトランシーバ2040を用いて受信することと、
第3のメッセージに従って第3の音声命令に対応する動作を遂行することと、
にさらに使われる。
デバイス2000が通信方法400におけるデバイスに対応し得ることが理解されるべきである。加えて、デバイス2000の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図4の通信方法400の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
加えて、実行されると、次の動作、通信方法400におけるステップ410から450の動作を遂行するステップ、を遂行するコンピュータ可読命令を含むコンピュータ可読媒体がさらに提供される。任意選択で、通信方法400における任意選択のステップの動作が遂行されてもよい。
加えて、コンピュータ可読媒体を含むコンピュータプログラム製品がさらに提供される。
本発明のこの実施形態では、情報が取得され、情報がサーバーへ送信され、これによりサーバーは複数のデバイスから音声命令に応じるデバイスを判断できる。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図21は本発明の別の一実施形態によるデバイス2100の概略ブロック図である。1ユーザーの複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができ、デバイス2100は複数のデバイスのうちのいずれかのデバイスであってよい。図21に示すように、デバイス2100は、1つ以上のプロセッサ2110と、メモリー2120と、バスシステム2130と、トランシーバ2140と、1つ以上のプログラムとを含む。プロセッサ2110とメモリー2120とトランシーバ2140はバスシステム2130を用いて互いに接続される。1つ以上のプログラムはメモリー2120に記憶され、1つ以上のプロセッサ2110による実行のために構成される。1つ以上のプログラムは命令を含み、命令は、
トランシーバを用いて第1の音声命令を受信することと、
第1の音声命令に従って覚醒状態に入ることと、
情報を取得することであって、情報はデバイス種別を含む、前記取得することと、
トランシーバを用いてサーバーへ情報を送信することと、
トランシーバを用いて第2の音声命令を受信することと、
トランシーバを用いて第2の音声命令をサーバーへ送信することと、
情報に従ってサーバーによって送信され、第2の音声命令に対応する動作を指示するために使われる指示情報を、トランシーバを用いて受信することと、
に使われる。
情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含んでよい。
本発明のこの実施形態において、プロセッサ2110がCPUであってよいこと、あるいはプロセッサ2110が別の汎用プロセッサ、DSP、ASIC、フィールドプログラマブルゲートアレイFPGA、または別のプログラム可能論理デバイス、別個のゲート、またはトランジスタ論理デバイス、別個のハードウェアコンポーネント等であってよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってよく、あるいはプロセッサは従来のいずれかのプロセッサ等であってよい。
メモリー2120はリードオンリーメモリーとランダムアクセスメモリーを含んでよく、プロセッサ2110に命令とデータを提供する。メモリー2120の一部は不揮発性ランダムアクセスメモリーをさらに含んでよい。例えば、メモリー2120はデバイス種別に関する情報をさらに記憶してよい。
バスシステム2130は、データバスに加えて、電力バス、制御バス、ステータス信号バス等を含んでよい。しかし、説明の明確さのため、図では様々なバスがバスシステム2130と記されている。
実装プロセスでは、方法のステップがプロセッサ2110内のハードウェアの集積論理回路、あるいはソフトウェアの形式の命令を用いて完了されてもよい。本発明の実施形態を参照して開示された方法のステップはハードウェアプロセッサによって直接遂行されてよく、あるいはプロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを用いて遂行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリー、フラッシュメモリー、リードオンリーメモリー、プログラム可能リードオンリーメモリー、電気的消去プログラム可能メモリー、またはレジスタ等の、この技術分野で成熟した記憶媒体内に配置されてよい。記憶媒体はメモリー2120内に配置される。プロセッサ2110はメモリー2120内の情報を読み取り、プロセッサ2110のハードウェアと組み合わせて方法のステップを完了させる。繰り返しを避けるため、ここでは詳細を再度説明しない。
デバイス2100が通信方法500におけるデバイスに対応し得ることが理解されるべきである。加えて、デバイス2100の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図5の通信方法500の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
加えて、実行されると、次の動作、通信方法500におけるステップ510から570の動作を遂行するステップ、を遂行するコンピュータ可読命令を含むコンピュータ可読媒体がさらに提供される。任意選択で、通信方法500における任意選択のステップの動作が遂行されてもよい。
加えて、コンピュータ可読媒体を含むコンピュータプログラム製品がさらに提供される。
本発明のこの実施形態では、取得された情報と受信された音声命令がサーバーへ送信され、これによりサーバーは情報に従って1ユーザーの複数のデバイスから音声命令に応じるデバイスを判断し、音声命令に応じるデバイスへ音声命令に対応する動作の指示情報を送信できる。複数の異なるデバイスを有するユーザーの場合は、音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
図22は本発明の別の一実施形態によるデバイス2200の概略ブロック図である。1ユーザーの複数のデバイスはユーザーによって送信される同じ音声命令を同時に受信することができ、デバイス2200は複数のデバイスのうちのいずれかのデバイスであってよい。図22に示すように、デバイス2200は、1つ以上のプロセッサ2210と、メモリー2220と、バスシステム2230と、トランシーバ2240と、1つ以上のプログラムとを含む。プロセッサ2210とメモリー2220とトランシーバ2240はバスシステム2230を用いて互いに接続される。1つ以上のプログラムはメモリー2220に記憶され、1つ以上のプロセッサによる実行のために構成される。1つ以上のプログラムは命令を含み、命令は、
トランシーバ2240を用いて第1の音声命令を受信することと、
第1の音声命令に従って覚醒状態に入ることと、
トランシーバ2240を用いて第2の音声命令を受信することと、
第2の音声命令がデバイス2200に関する情報を含んでいると判断し、第2の音声命令に応じることと、
に使われる。
本発明のこの実施形態において、プロセッサ2210がCPUであってよいこと、あるいはプロセッサ2210が別の汎用プロセッサ、DSP、ASIC、フィールドプログラマブルゲートアレイFPGA、または別のプログラム可能論理デバイス、別個のゲート、またはトランジスタ論理デバイス、別個のハードウェアコンポーネント等であってよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってよく、あるいはプロセッサは従来のいずれかのプロセッサ等であってよい。
メモリー2220はリードオンリーメモリーとランダムアクセスメモリーを含んでよく、プロセッサ2210に命令とデータを提供する。メモリー2220の一部は不揮発性ランダムアクセスメモリーをさらに含んでよい。例えば、メモリー2220はデバイス種別に関する情報をさらに記憶してよい。
バスシステム2230は、データバスに加えて、電力バス、制御バス、ステータス信号バス等を含んでよい。しかし、説明の明確さのため、図では様々なバスがバスシステム2230と記されている。
実装プロセスでは、方法のステップがプロセッサ2210内のハードウェアの集積論理回路、あるいはソフトウェアの形式の命令を用いて完了されてもよい。本発明の実施形態を参照して開示された方法のステップはハードウェアプロセッサによって直接遂行されてよく、あるいはプロセッサ内のハードウェアとソフトウェアモジュールとの組み合わせを用いて遂行されてもよい。ソフトウェアモジュールは、ランダムアクセスメモリー、フラッシュメモリー、リードオンリーメモリー、プログラム可能リードオンリーメモリー、電気的消去プログラム可能メモリー、またはレジスタ等の、この技術分野で成熟した記憶媒体内に配置されてよい。記憶媒体はメモリー2220内に配置される。プロセッサ2210はメモリー2220内の情報を読み取り、プロセッサ2210のハードウェアと組み合わせて方法のステップを完了させる。繰り返しを避けるため、ここでは詳細を再度説明しない。
デバイス2200が通信方法600におけるデバイスに対応し得ることが理解されるべきである。加えて、デバイス2200の全てのモジュール/ユニットの前述したおよび他の動作および/または機能は、図6の通信方法600の対応する手順を実現するため個別に使われる。簡潔さのため、ここでは詳細を再度説明しない。
加えて、実行されると、次の動作、通信方法600におけるステップ610から640の動作を遂行するステップ、を遂行するコンピュータ可読命令を含むコンピュータ可読媒体がさらに提供される。任意選択で、通信方法600における任意選択のステップの動作が遂行されてもよい。
加えて、コンピュータ可読媒体を含むコンピュータプログラム製品がさらに提供される。
本発明のこの実施形態では、受信された音声命令がデバイス情報を含んでいると判断される場合に、音声命令が自動的に応じられ、これにより音声命令に応じるデバイスを知的に選択でき、より簡便で自然な人と機械との交流体験がユーザーに提供される。
本発明のこの実施形態における用語「および/または」は、関連する対象を説明するための単なる関連性の関係を説明し、3つの関係が存在し得ることを表現することが理解されるべきである。例えば、Aおよび/またはBは、次の3つの場合、Aのみ存在する、AとBの両方が存在する、およびBのみ存在する、を表現し得る。
この技術分野の当業者は、この明細書で開示されている実施形態において説明されている例と組み合わせて、ユニットおよびアルゴリズムのステップは、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアとの組み合わせによって実装され得るることに気づき得る。機能がハードウェアによって遂行されるか、またはソフトウェアによって遂行されるかは、特定の応用と技術的解決策の設計制約条件に依存する。この技術分野の当業者は、説明されている機能を個々の特定の応用で実装するために異なる方法を用い得るが、その実装は本発明の範囲を超えるとみなされるべきでない。
簡便で簡潔な説明の目的のため、システムと装置とユニットの詳細な動作プロセスについては、方法の実施形態における対応するプロセスを参照でき、ここでは詳細を再度説明しないことは、この技術分野の当業者によって明確に理解され得る。
この出願において提供されたいくつかの実施形態において、開示されたシステムと装置と方法が別の様態で実装され得ることが理解されるべきである。例えば、説明されている装置の実施形態はほんの一例である。例えば、ユニットの区分は単に論理的な機能区分であり、実際の実装では別の区分であってもよい。例えば、複数のユニットまたはコンポーネントが組み合わされ、または別のシステムに統合されてもよく、またはいくつかの機能は無視され、または遂行されなくてもよい。加えて、表示されもしくは論述されている相互結合または直接結合または通信接続はいくつかのインターフェースを用いて実装されてよい。装置またはユニット間の間接結合または通信接続は、電子的、機械的、または他の形式で実装されてよい。
別個の部分として説明されているユニットは物理的に別個であってもなくてもよく、ユニットとして表示されている部分は物理的なユニットであってもなくてもよく、1つの位置に配置されてもよく、または複数のネットワークユニットに分散されてもよい。ユニットのいくつかまたは全ては、実施形態の解決策の目的を達成するために実際のニーズに従って選択されてよい。
加えて、本発明の実施形態における機能ユニットは1つの処理ユニットに統合されてよく、あるいはユニットの各々が物理的に単独で存在してもよく、あるいは2つ以上のユニットが1つのユニットに統合される。
機能がソフトウェア機能ユニットの形式で実装され、独立した製品として販売もしくは使用される場合、機能はコンピュータ可読記憶媒体に記憶されてよい。そのような理解に基づき、本質的に本発明の技術的解決策、あるいは先行技術に寄与する部分、あるいは技術的解決策のいくつかは、ソフトウェア製品の形式で実装されてよい。ソフトウェア製品は記憶媒体に記憶され、本発明の実施形態で説明された方法のステップの全てまたはいくつかを遂行するようにコンピュータデバイス(パーソナルコンピュータ、サーバー、またはネットワークデバイス等であってよい)に命じるためのいくつかの命令を含む。記憶媒体は、USBフラッシュドライブ、リムーバブルハードディスク、リードオンリーメモリー(Read-Only Memory、略してROM)、ランダムアクセスメモリー(Random Access Memory、略してRAM)、磁気ディスク、または光ディスク等の、プログラムコードを記憶できるいずれかの媒体を含む。
これらの説明は本発明の単に特定の実装であるが、本発明の保護範囲を限定するように意図されない。本発明において開示された技術的範囲内でこの技術分野の当業者によって容易に考え出されるあらゆる変形または置換は本発明の保護範囲内にあるものである。従って、本発明の保護範囲は請求項の保護範囲に従うものである。
1300 サーバー
1310 受信ユニット
1320 処理ユニット
1330 送信ユニット
1400 サーバー
1410 受信ユニット
1420 処理ユニット
1430 送信ユニット
1500 デバイス
1510 受信ユニット
1520 処理ユニット
1530 取得ユニット
1540 送信ユニット
1600 デバイス
1610 受信ユニット
1620 処理ユニット
1630 取得ユニット
1640 送信ユニット
1700 デバイス
1710 受信ユニット
1720 処理ユニット
1800 サーバー
1810 プロセッサ
1820 メモリー
1830 バスシステム
1840 トランシーバ
1900 サーバー
1910 プロセッサ
1920 メモリー
1930 バスシステム
1940 トランシーバ
2000 デバイス
2010 プロセッサ
2020 メモリー
2030 バスシステム
2040 トランシーバ
2100 デバイス
2110 プロセッサ
2120 メモリー
2130 バスシステム
2140 トランシーバ
2200 デバイス
2210 プロセッサ
2220 メモリー
2230 バスシステム
2240 トランシーバ

Claims (47)

1ユーザーの複数のデバイスのうちの各デバイスによって送信される情報を受信するステップであって、前記情報はデバイス種別を含む、ステップと、
少なくとも前記受信された情報に従って前記複数のデバイスの中で音声命令に応じるデバイスを判断するステップと、
前記複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへメッセージを送信するステップであって、前記メッセージは前記音声命令に応じないように前記異なるデバイスの音声アシスタントに命じることに使われる、ステップと、
を含む、通信方法。
前記情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項1に記載の方法。
前記情報がデバイス種別と音声命令とを含む場合、少なくとも前記受信された情報に従って前記複数のデバイスの中で音声命令に応じるデバイスを判断する前記ステップは、
前記音声命令の意味論的意味を認識するステップと、
前記デバイス種別と前記音声命令の意味論的意味とに従って音声命令に応じるデバイスを判断するステップと、
を含む、請求項1または2に記載の方法。
前記情報がデバイス種別と音声命令とを含む場合、前記方法は、
前記音声命令に対応する動作を判断するステップと、
前記動作を指示することに使われる指示情報を音声命令に応じるデバイスへ送信するステップと、
をさらに含む、請求項1から3のいずれか一項に記載の方法。
1ユーザーの複数のデバイスのうちの各デバイスによって送信される同じ音声命令を受信するステップと、
前記音声命令に対応する動作を判断するステップと、
前記動作を指示することに使われる指示情報を前記複数のデバイスの中で音声命令に応じるデバイスへ送信するステップであって、音声命令に応じる前記デバイスは前記複数のデバイスのうちの各デバイスによって送信される情報に従って判断され、前記情報はデバイス種別を含む、ステップと、
を含む、通信方法。
前記情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項5に記載の方法。
第1の音声命令を受信するステップと、
前記第1の音声命令に従って覚醒状態に入るステップと、
情報を取得するステップであって、前記情報はデバイス種別を含む、ステップと、
前記情報をサーバーへ送信するステップと、
前記情報に従って前記サーバーによって送信される第1のメッセージを受信するステップであって、前記第1のメッセージはデバイスの音声アシスタントに音声命令に応じないように命じることに使われる、ステップ、または、前記情報に従って前記サーバーによって送信される第2のメッセージを受信するステップであって、前記第2のメッセージはデバイスの音声アシスタントに音声命令に応じるように命じることに使われる、ステップと、
を含む、通信方法。
前記情報は、前記デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項7に記載の方法。
前記サーバーによって送信され、音声命令に対応する動作を指示することに使われる指示情報を受信するステップであって、前記情報は前記音声命令をさらに含む、ステップ
をさらに含む、請求項7または8に記載の方法。
前記情報に従って前記サーバーによって送信される前記第1のメッセージが受信される場合、前記方法は、
第2の音声命令を受信するステップと、
前記第2の音声命令に応じることを省くステップと、
をさらに含む、請求項7または8に記載の方法。
前記情報に従って前記サーバーによって送信される前記第2のメッセージが受信される場合、前記方法は、
第3の音声命令を受信するステップと、
前記第3の音声命令を前記サーバーへ送信するステップと、
前記第3の音声命令に従って前記サーバーによって送信される第3のメッセージを受信するステップであって、前記第3のメッセージは前記第3の音声命令に対応する動作を指示することに使われる、ステップと、
前記第3のメッセージに従って前記第3の音声命令に対応する動作を遂行するステップと、
をさらに含む、請求項7から9のいずれか一項に記載の方法。
第1の音声命令を受信するステップと、
前記第1の音声命令に従って覚醒状態に入るステップと、
情報を取得するステップであって、前記情報はデバイス種別を含む、ステップと、
前記情報をサーバーへ送信するステップと、
第2の音声命令を受信するステップと、
前記第2の音声命令を前記サーバーへ送信するステップと、
前記情報に従って前記サーバーによって送信され、前記第2の音声命令に対応する動作を指示することに使われる、指示情報を受信するステップと、
を含む、通信方法。
前記情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項12に記載の方法。
第1の音声命令を受信するステップと、
前記第1の音声命令に従って覚醒状態に入るステップと、
第2の音声命令を受信するステップと、
前記第2の音声命令がデバイス情報を含んでいると判断し、前記第2の音声命令に応じるステップと、
を含む、通信方法。
1ユーザーの複数のデバイスのうちの各デバイスによって送信される情報を受信するように構成された受信ユニットであって、前記情報はデバイス種別を含む、受信ユニットと、
少なくとも、前記受信ユニットによって受信された情報に従って、前記複数のデバイスの中で音声命令に応じるデバイスを判断するように構成された処理ユニットと、
前記複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへメッセージを送信するように構成された送信ユニットであって、前記メッセージは前記異なるデバイスの音声アシスタントに前記音声命令に応じないように命じることに使われる、送信ユニットと、
を含む、サーバー。
前記情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項15に記載のサーバー。
前記情報がデバイス種別と音声命令とを含む場合、前記処理ユニットは、具体的には、
前記音声命令の意味論的意味を認識し、
前記デバイス種別と前記音声命令の意味論的意味とに従って音声命令に応じるデバイスを判断する
ように構成される、請求項15または16に記載のサーバー。
前記情報がデバイス種別と音声命令とを含む場合、
前記処理ユニットは前記音声命令に対応する動作を判断するようにさらに構成され、
前記送信ユニットは前記動作を指示することに使われる指示情報を音声命令に応じるデバイスへ送信するようにさらに構成される、
請求項15から17のいずれか一項に記載のサーバー。
1ユーザーの複数のデバイスのうちの各デバイスによって送信される同じ音声命令を受信するように構成された受信ユニットと、
前記受信ユニットによって受信された音声命令に対応する動作を判断するように構成された処理ユニットと、
前記動作を指示することに使われる指示情報を前記複数のデバイスの中で音声命令に応じるデバイスへ送信するように構成された送信ユニットであって、音声命令に応じる前記デバイスは前記複数のデバイスのうちの各デバイスによって送信される情報に従って判断され、前記情報はデバイス種別を含む、送信ユニットと、
を含む、サーバー。
前記情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項19に記載のサーバー。
デバイスであって、
第1の音声命令を受信するように構成された受信ユニットと、
前記受信ユニットによって受信された第1の音声命令に従って覚醒状態に入るように構成された処理ユニットと、
情報を取得するように構成された取得ユニットであって、前記情報はデバイス種別を含む、取得ユニットと、
前記情報をサーバーへ送信するように構成された送信ユニットと
を含み、
前記受信ユニットは、前記情報に従って前記サーバーによって送信される第1のメッセージを受信するようにさらに構成され、前記第1のメッセージは前記デバイスの音声アシスタントに音声命令に応じないように命じることに使われる、または、前記受信ユニットは、前記情報に従って前記サーバーによって送信される第2のメッセージを受信するようにさらに構成され、前記第2のメッセージは前記デバイスの音声アシスタントに音声命令に応じるように命じることに使われる、
デバイス。
前記情報は、前記デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項21に記載のデバイス。
前記受信ユニットは、前記サーバーによって送信され、音声命令に対応する動作を指示することに使われる、指示情報を受信するようにさらに構成され、前記情報は前記音声命令をさらに含む、請求項21または22に記載のデバイス。
前記受信ユニットが前記第1のメッセージを受信する場合、
前記受信ユニットは第2の音声命令を受信するようにさらに構成され、
前記処理ユニットは前記受信ユニットによって受信された第2の音声命令に応じることを省くようにさらに構成される、
請求項21または22に記載のデバイス。
前記受信ユニットが前記第2のメッセージを受信する場合、
前記受信ユニットは第3の音声命令を受信するようにさらに構成され、
前記送信ユニットは前記受信ユニットによって受信された第3の音声命令を前記サーバーへ送信するようにさらに構成され、
前記受信ユニットは前記第3の音声命令に従って前記サーバーによって送信される第3のメッセージを受信するようにさらに構成され、前記第3のメッセージは前記第3の音声命令に対応する動作を指示することに使われ、
前記処理ユニットは前記第3のメッセージに従って前記第3の音声命令に対応する動作を遂行するようにさらに構成される、
請求項21から23のいずれか一項に記載のデバイス。
デバイスであって、
第1の音声命令を受信するように構成された受信ユニットと、
前記第1の音声命令に従って覚醒状態に入るように構成された処理ユニットと、
情報を取得するように構成された取得ユニットであって、前記情報はデバイス種別を含む、取得ユニットと、
前記情報をサーバーへ送信するように構成された送信ユニットと、
を含み、
前記受信ユニットは第2の音声命令を受信するようにさらに構成され、
前記送信ユニットは前記第2の音声命令を前記サーバーへ送信するようにさらに構成され、
前記受信ユニットは、前記情報に従って前記サーバーによって送信され、前記第2の音声命令に対応する動作を指示することに使われる、指示情報を受信するようにさらに構成される、
デバイス。
前記情報は、前記デバイスのシーンモードまたは音声命令をさらに含む、請求項26に記載のデバイス。
デバイスであって、
第1の音声命令を受信するように構成された受信ユニットと、
前記受信ユニットによって受信された第1の音声命令に従って覚醒状態に入るように構成された処理ユニットと、
を含み、
前記受信ユニットは第2の音声命令を受信するようにさらに構成され、
前記処理ユニットは、前記受信ユニットによって受信された第2の音声命令がデバイス情報を含んでいると判断し、前記第2の音声命令に応じるようにさらに構成される、
デバイス。
サーバーであって、
1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムと、
を含み、
前記プロセッサと前記メモリーと前記トランシーバは前記バスシステムを用いて互いに接続され、
前記1つ以上のプログラムは前記メモリーに記憶され、前記1つ以上のプロセッサによる実行のために構成され、前記1つ以上のプログラムは命令を含み、前記命令は、
1ユーザーの複数のデバイスのうちの各デバイスによって送信される情報を前記トランシーバを用いて受信することであって、前記情報はデバイス種別を含む、前記受信することと、
少なくとも、前記トランシーバによって受信された情報に従って、前記複数のデバイスの中で音声命令に応じるデバイスを判断することと、
前記複数のデバイスの中で音声命令に応じるデバイスとは異なるデバイスへ前記トランシーバを用いてメッセージを送信することであって、前記メッセージは前記異なるデバイスの音声アシスタントに前記音声命令に応じないように命じることに使われる、前記送信することと、
に使われる、
サーバー。
前記情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項29に記載のサーバー。
前記情報がデバイス種別と音声命令とを含む場合、前記命令は、
前記音声命令の意味論的意味を認識することと、
前記デバイス種別と前記音声命令の意味論的意味とに従って音声命令に応じるデバイスを判断することと、
にさらに使われる、請求項29または30に記載のサーバー。
前記情報がデバイス種別と音声命令とを含む場合、前記命令は、
前記音声命令に対応する動作を判断することと、
前記動作を指示することに使われる指示情報を前記複数のデバイスの中で音声命令に応じるデバイスへ前記トランシーバを用いて送信することと、
にさらに使われる、請求項29から31のいずれか一項に記載のサーバー。
サーバーであって、
1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムとを含み、前記プロセッサと前記メモリーと前記トランシーバは前記バスシステムを用いて互いに接続され、
前記1つ以上のプログラムは前記メモリーに記憶され、前記1つ以上のプロセッサによる実行のために構成され、前記1つ以上のプログラムは命令を含み、前記命令は、
1ユーザーの複数のデバイスのうちの各デバイスによって送信される同じ音声命令を前記トランシーバを用いて受信することと、
前記トランシーバによって受信された前記音声命令に対応する動作を判断することと、
前記動作を指示することに使われる指示情報を前記複数のデバイスの中で音声命令に応じるデバイスへ前記トランシーバを用いて送信することであって、音声命令に応じる前記デバイスは前記複数のデバイスのうちの各デバイスによって送信される情報に従って判断され、前記情報はデバイス種別を含む、前記送信することと、
に使われる、
サーバー。
前記情報は、デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項33に記載のサーバー。
デバイスであって、
1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムとを含み、前記プロセッサと前記メモリーと前記トランシーバは前記バスシステムを用いて互いに接続され、
前記1つ以上のプログラムは前記メモリーに記憶され、前記1つ以上のプロセッサによる実行のために構成され、前記1つ以上のプログラムは命令を含み、前記命令は、
前記トランシーバを用いて第1の音声命令を受信することと、
前記トランシーバによって受信された第1の音声命令に従って覚醒状態に入ることと、
情報を取得することであって、前記情報はデバイス種別を含む、前記取得することと、
前記トランシーバを用いて前記情報をサーバーへ送信することと、
前記情報に従って前記サーバーによって送信される第1のメッセージを前記トランシーバを用いて受信することであって、前記第1のメッセージは前記デバイスの音声アシスタントに音声命令に応じないように命じることに使われる、前記第1のメッセージを前記トランシーバを用いて受信すること、または、前記情報に従って前記サーバーによって送信される第2のメッセージを前記トランシーバを用いて受信することであって、前記第2のメッセージは前記デバイスの音声アシスタントに音声命令に応じるように命じることに使われる、前記第2のメッセージを前記トランシーバを用いて受信することと、
に使われる、
デバイス。
前記情報は、前記デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項35に記載のデバイス。
前記命令は、前記サーバーによって送信され、音声命令に対応する動作を指示することに使われる、指示情報を、前記トランシーバを用いて受信することにさらに使われ、前記情報は前記音声命令をさらに含む、請求項35または36に記載のデバイス。
前記命令は、
前記第1のメッセージが前記トランシーバを用いて受信される場合に、前記トランシーバを用いて第2の音声命令を受信することと、
前記トランシーバによって受信された第2の音声命令に応じることを省くことと、
にさらに使われる、請求項35または36に記載のデバイス。
前記命令は、
前記第2のメッセージが前記トランシーバを用いて受信される場合に、前記トランシーバを用いて第3の音声命令を受信することと、
前記トランシーバを用いて前記第3の音声命令を前記サーバーへ送信することと、
前記第3の音声命令に従って前記サーバーによって送信される第3のメッセージを前記トランシーバを用いて受信することであって、前記第3のメッセージは前記第3の音声命令に対応する動作を指示することに使われる、前記第3のメッセージを前記トランシーバを用いて受信することと、
前記第3のメッセージに従って前記第3の音声命令に対応する動作を遂行することと、
にさらに使われる、請求項35から37のいずれか一項に記載のデバイス。
デバイスであって、
1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムとを含み、前記プロセッサと前記メモリーと前記トランシーバは前記バスシステムを用いて互いに接続され、
前記1つ以上のプログラムは前記メモリーに記憶され、前記1つ以上のプロセッサによる実行のために構成され、前記1つ以上のプログラムは命令を含み、前記命令は、
前記トランシーバを用いて第1の音声命令を受信することと、
前記第1の音声命令に従って覚醒状態に入ることと、
情報を取得することであって、前記情報はデバイス種別を含む、前記取得することと、
前記トランシーバを用いて前記情報をサーバーへ送信することと、
前記トランシーバを用いて第2の音声命令を受信することと、
前記トランシーバを用いて前記第2の音声命令を前記サーバーへ送信することと、
前記情報に従って前記サーバーによって送信され、前記第2の音声命令に対応する動作を指示することに使われる指示情報を、前記トランシーバを用いて受信することと、
に使われる、
デバイス。
前記情報は、前記デバイスのシーンモードまたは音声命令のうち少なくとも一方をさらに含む、請求項40に記載のデバイス。
デバイスであって、
1つ以上のプロセッサと、メモリーと、バスシステムと、トランシーバと、1つ以上のプログラムとを含み、前記プロセッサと前記メモリーと前記トランシーバは前記バスシステムを用いて互いに接続され、
前記1つ以上のプログラムは前記メモリーに記憶され、前記1つ以上のプロセッサによる実行のために構成され、前記1つ以上のプログラムは命令を含み、前記命令は、
前記トランシーバを用いて第1の音声命令を受信することと、
前記第1の音声命令に従って覚醒状態に入ることと、
前記トランシーバを用いて第2の音声命令を受信することと、
前記第2の音声命令がデバイス情報を含んでいると判断し、前記第2の音声命令に応じることと、
に使われる、
デバイス。
1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、サーバーによって実行されると、請求項1から4のいずれか一項に記載の方法を実行するように前記サーバーに命じる、コンピュータ可読記憶媒体。
1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、サーバーによって実行されると、請求項5から6のいずれか一項に記載の方法を実行するように前記サーバーに命じる、コンピュータ可読記憶媒体。
1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、デバイスによって実行されると、請求項7から11のいずれか一項に記載の方法を実行するように前記デバイスに命じる、コンピュータ可読記憶媒体。
1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、デバイスによって実行されると、請求項12から13のいずれか一項に記載の方法を実行するように前記デバイスに命じる、コンピュータ可読記憶媒体。
1つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記1つ以上のプログラムは命令を含み、前記命令は、デバイスによって実行されると、請求項14に記載の方法を実行するように前記デバイスに命じる、コンピュータ可読記憶媒体。
JP2021157922A 2015-08-19 2021-09-28 通信方法、サーバー、およびデバイス Pending JP2022008594A (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201510511714.3 2015-08-19
CN201510511714.3A CN106469040B (zh) 2015-08-19 2015-08-19 通信方法、服务器及设备
JP2018508731A JP6571273B2 (ja) 2015-08-19 2016-08-01 通信方法、サーバー、およびデバイス
JP2019144714A JP6953482B2 (ja) 2015-08-19 2019-08-06 通信方法、サーバー、およびデバイス

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019144714A Division JP6953482B2 (ja) 2015-08-19 2019-08-06 通信方法、サーバー、およびデバイス

Publications (1)

Publication Number Publication Date
JP2022008594A true JP2022008594A (ja) 2022-01-13

Family

ID=58051904

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018508731A Active JP6571273B2 (ja) 2015-08-19 2016-08-01 通信方法、サーバー、およびデバイス
JP2019144714A Active JP6953482B2 (ja) 2015-08-19 2019-08-06 通信方法、サーバー、およびデバイス
JP2021157922A Pending JP2022008594A (ja) 2015-08-19 2021-09-28 通信方法、サーバー、およびデバイス

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018508731A Active JP6571273B2 (ja) 2015-08-19 2016-08-01 通信方法、サーバー、およびデバイス
JP2019144714A Active JP6953482B2 (ja) 2015-08-19 2019-08-06 通信方法、サーバー、およびデバイス

Country Status (6)

Country Link
US (2) US11049499B2 (ja)
EP (2) EP3683672A1 (ja)
JP (3) JP6571273B2 (ja)
KR (3) KR102508619B1 (ja)
CN (1) CN106469040B (ja)
WO (1) WO2017028678A1 (ja)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592611B2 (en) * 2016-10-24 2020-03-17 Conduent Business Services, Llc System for automatic extraction of structure from spoken conversation using lexical and acoustic features
CN107135443B (zh) * 2017-03-29 2020-06-23 联想(北京)有限公司 一种信号处理方法及电子设备
CN107146611B (zh) * 2017-04-10 2020-04-17 北京猎户星空科技有限公司 一种语音响应方法、装置及智能设备
US11250844B2 (en) * 2017-04-12 2022-02-15 Soundhound, Inc. Managing agent engagement in a man-machine dialog
CN107436750A (zh) * 2017-08-16 2017-12-05 联想(北京)有限公司 配置电子设备的方法、设备以及存储设备
CN108305621B (zh) * 2017-08-25 2020-05-05 维沃移动通信有限公司 一种语音指令处理方法及电子设备
KR102417524B1 (ko) * 2017-10-13 2022-07-07 현대자동차주식회사 음성 인식 기반의 자동차 제어 방법
DE102017128651A1 (de) * 2017-12-02 2019-06-06 Tobias Rückert Dialogsystem und Verfahren zur Umsetzung von Anweisungen eines Nutzers
CN107919123B (zh) * 2017-12-07 2022-06-03 北京小米移动软件有限公司 多语音助手控制方法、装置及计算机可读存储介质
CN117632482A (zh) * 2017-12-08 2024-03-01 谷歌有限责任公司 数字语音助理计算设备当中的信号处理协调
US10971173B2 (en) 2017-12-08 2021-04-06 Google Llc Signal processing coordination among digital voice assistant computing devices
CN111386566A (zh) * 2017-12-15 2020-07-07 海尔优家智能科技(北京)有限公司 设备控制方法、云端设备、智能设备、计算机介质及设备
US11151991B2 (en) * 2018-03-30 2021-10-19 Verizon Media Inc. Electronic message transmission
CN108766422B (zh) * 2018-04-02 2020-09-15 青岛海尔科技有限公司 语音设备的响应方法、装置、存储介质及计算机设备
CN110710158B (zh) * 2018-05-07 2022-08-09 谷歌有限责任公司 验证与数字助理应用交接的代理的操作状态
US10198877B1 (en) 2018-05-23 2019-02-05 Google Llc Providing a communications channel between instances of automated assistants
JP6603001B1 (ja) * 2018-05-23 2019-11-06 グーグル エルエルシー 自動アシスタントのインスタンス間への通信チャネルの提供
KR20210014625A (ko) * 2018-05-25 2021-02-09 소니 주식회사 정보 처리 장치 및 정보 처리 방법, 그리고 정보 처리 시스템
CN109117233A (zh) * 2018-08-22 2019-01-01 百度在线网络技术(北京)有限公司 用于处理信息的方法和装置
CN110875041A (zh) * 2018-08-29 2020-03-10 阿里巴巴集团控股有限公司 语音控制方法、装置及系统
CN109391528A (zh) 2018-08-31 2019-02-26 百度在线网络技术(北京)有限公司 语音智能设备的唤醒方法、装置、设备及存储介质
CN109377987B (zh) 2018-08-31 2020-07-28 百度在线网络技术(北京)有限公司 智能语音设备间的交互方法、装置、设备及存储介质
CN109541953A (zh) * 2018-11-27 2019-03-29 深圳狗尾草智能科技有限公司 拓展辅助设备、基于智能机器人的拓展平台及方法
CN109243459A (zh) * 2018-11-30 2019-01-18 广东美的制冷设备有限公司 设备的语音唤醒方法、装置、家电设备和控制系统
KR20210084615A (ko) 2018-12-03 2021-07-07 구글 엘엘씨 음성 입력 프로세싱
CN111354336B (zh) * 2018-12-20 2023-12-19 美的集团股份有限公司 分布式语音交互方法、装置、系统及家电设备
KR20200107058A (ko) 2019-03-06 2020-09-16 삼성전자주식회사 복수 개의 엔드 포인트가 포함된 플랜들을 처리하는 방법 및 그 방법을 적용한 전자 장치
CN111696534B (zh) * 2019-03-15 2023-05-23 阿里巴巴集团控股有限公司 语音交互设备和系统、设备控制方法、计算设备以及介质
CN114760159A (zh) * 2019-03-29 2022-07-15 华为技术有限公司 一种设备配合方法、装置及系统
CN111754997B (zh) * 2019-05-09 2023-08-04 北京汇钧科技有限公司 控制装置及其操作方法,和语音交互装置及其操作方法
KR20210008696A (ko) 2019-07-15 2021-01-25 삼성전자주식회사 전자 장치 및 이의 음성 인식 방법
CN110459221B (zh) * 2019-08-27 2022-02-22 思必驰科技股份有限公司 多设备协同语音交互的方法和装置
CN110718219B (zh) * 2019-09-12 2022-07-22 百度在线网络技术(北京)有限公司 一种语音处理方法、装置、设备和计算机存储介质
CN110784830B (zh) * 2019-09-18 2022-07-29 华为技术有限公司 数据处理方法、蓝牙模块、电子设备与可读存储介质
KR102266413B1 (ko) * 2019-10-30 2021-06-18 에스케이텔레콤 주식회사 단말 제어 장치 및 방법
CN110890092B (zh) * 2019-11-07 2022-08-05 北京小米移动软件有限公司 唤醒控制方法及装置、计算机存储介质
CN110855772B (zh) * 2019-11-08 2022-06-03 北京奇艺世纪科技有限公司 跨设备数据存储方法、系统、装置、设备、服务器及介质
CN111031492B (zh) * 2019-11-25 2021-11-19 荣耀终端有限公司 呼叫需求响应方法、装置及电子设备
EP3836582B1 (en) * 2019-12-09 2024-01-31 Google LLC Relay device for voice commands to be processed by a voice assistant, voice assistant and wireless network
KR20210098250A (ko) * 2020-01-31 2021-08-10 삼성전자주식회사 전자 장치 및 이의 제어 방법
JP7465700B2 (ja) * 2020-03-27 2024-04-11 株式会社デンソーテン 車載装置および車載装置における音声処理方法
CN111694605A (zh) 2020-05-18 2020-09-22 Oppo广东移动通信有限公司 语音信息处理方法及装置、存储介质和电子设备
CN111722824B (zh) 2020-05-29 2024-04-30 北京小米松果电子有限公司 语音控制方法、装置及计算机存储介质
US11887589B1 (en) * 2020-06-17 2024-01-30 Amazon Technologies, Inc. Voice-based interactions with a graphical user interface
CN111968641B (zh) * 2020-08-20 2023-01-06 Oppo(重庆)智能科技有限公司 语音助手唤醒控制方法及装置、存储介质和电子设备
WO2022102893A1 (ko) 2020-11-11 2022-05-19 삼성전자주식회사 전자 장치, 시스템 및 그 제어 방법
CN112420043A (zh) * 2020-12-03 2021-02-26 深圳市欧瑞博科技股份有限公司 基于语音的智能唤醒方法、装置、电子设备及存储介质
CN112929724B (zh) * 2020-12-31 2022-09-30 海信视像科技股份有限公司 显示设备、机顶盒及远场拾音唤醒控制方法
CN113138559A (zh) * 2021-04-02 2021-07-20 Oppo广东移动通信有限公司 设备交互方法、装置、电子设备及存储介质
CN113450791B (zh) * 2021-04-28 2023-08-04 珠海格力电器股份有限公司 一种语音设备控制方法、装置、存储介质及语音设备
CN113689857B (zh) * 2021-08-20 2024-04-26 北京小米移动软件有限公司 语音协同唤醒方法、装置、电子设备及存储介质
EP4421070A1 (en) 2021-10-18 2024-08-28 Sapiensbio Inc. Novel compound and pharmaceutical composition comprising same
CN116346896A (zh) * 2021-12-23 2023-06-27 比亚迪股份有限公司 车辆信息传递方法、装置和系统
CN114708858A (zh) * 2022-03-07 2022-07-05 云知声智能科技股份有限公司 语音服务方法、装置、电子设备和存储介质
CN116578264A (zh) * 2023-05-16 2023-08-11 润芯微科技(江苏)有限公司 一种投屏内使用语音控制的方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311996A (ja) * 1997-10-23 1999-11-09 Sony Internatl Europ Gmbh 音声装置及び遠隔制御可能なネットワーク機器
JP2002116787A (ja) * 2000-07-10 2002-04-19 Matsushita Electric Ind Co Ltd 優先順位決定装置、優先順位決定方法及び優先順位決定プログラム
JP2003223188A (ja) * 2002-01-29 2003-08-08 Toshiba Corp 音声入力システム、音声入力方法及び音声入力プログラム
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58208799A (ja) 1982-05-28 1983-12-05 トヨタ自動車株式会社 車両用音声認識方式
EP0767358B1 (en) * 1995-10-04 2004-02-04 Aisin Aw Co., Ltd. Vehicle navigation system
EP1063636A3 (en) * 1999-05-21 2001-11-14 Winbond Electronics Corporation Method and apparatus for standard voice user interface and voice controlled devices
JP2003051887A (ja) 2001-08-06 2003-02-21 Minolta Co Ltd 制御システムおよび制御方法
KR100574519B1 (ko) 2003-03-19 2006-04-27 삼성전자주식회사 네트워크를 통한 기기정보의 관리장치 및 방법
JP4131978B2 (ja) 2006-02-24 2008-08-13 本田技研工業株式会社 音声認識機器制御装置
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
JP2008257566A (ja) * 2007-04-06 2008-10-23 Kyocera Mita Corp 電子機器
US20110177780A1 (en) * 2010-01-15 2011-07-21 Kabushiki Kaisha Toshiba Wireless communication apparatus
US8359020B2 (en) 2010-08-06 2013-01-22 Google Inc. Automatically monitoring for voice input based on context
JP5463385B2 (ja) 2011-06-03 2014-04-09 アップル インコーポレイテッド テキストデータとオーディオデータとの間のマッピングの自動作成
AU2012232977A1 (en) 2011-09-30 2013-04-18 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US8453058B1 (en) * 2012-02-20 2013-05-28 Google Inc. Crowd-sourced audio shortcuts
KR20130133629A (ko) * 2012-05-29 2013-12-09 삼성전자주식회사 전자장치에서 음성명령을 실행시키기 위한 장치 및 방법
US9899040B2 (en) 2012-05-31 2018-02-20 Elwha, Llc Methods and systems for managing adaptation data
CN102831894B (zh) * 2012-08-09 2014-07-09 华为终端有限公司 指令处理方法、装置和系统
US9443272B2 (en) * 2012-09-13 2016-09-13 Intel Corporation Methods and apparatus for providing improved access to applications
KR102070196B1 (ko) * 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
US9319019B2 (en) * 2013-02-11 2016-04-19 Symphonic Audio Technologies Corp. Method for augmenting a listening experience
US9361885B2 (en) * 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
US9703350B2 (en) * 2013-03-15 2017-07-11 Maxim Integrated Products, Inc. Always-on low-power keyword spotting
US9432499B2 (en) * 2013-05-18 2016-08-30 Loralee Hajdu Peripheral specific selection of automated response messages
US10255930B2 (en) * 2013-06-28 2019-04-09 Harman International Industries, Incorporated Wireless control of linked devices
US9871865B2 (en) * 2013-07-11 2018-01-16 Neura, Inc. Physical environment profiling through internet of things integration platform
WO2015011624A2 (en) * 2013-07-21 2015-01-29 Wizedsp Ltd Systems and methods using acoustic communication
CN103442138A (zh) * 2013-08-26 2013-12-11 华为终端有限公司 语音控制方法、装置及终端
KR101908618B1 (ko) * 2013-08-30 2018-10-17 콘비다 와이어리스, 엘엘씨 디지털 홈에서의 스마트 객체 식별
US10181960B2 (en) * 2013-09-05 2019-01-15 Samsung Electronics Co., Ltd. Method and apparatus for configuring and recommending device action using user context
US9240182B2 (en) 2013-09-17 2016-01-19 Qualcomm Incorporated Method and apparatus for adjusting detection threshold for activating voice assistant function
KR101825700B1 (ko) * 2013-10-21 2018-02-06 콘비다 와이어리스, 엘엘씨 M2m 디바이스들의 크롤링
CN103561175B (zh) 2013-11-05 2015-04-01 广东欧珀移动通信有限公司 一种使用移动终端进行语音唤醒的方法及其装置
CN103945062B (zh) * 2014-04-16 2017-01-18 华为技术有限公司 一种用户终端的音量调节方法、装置及终端
US20160050315A1 (en) * 2014-08-14 2016-02-18 Harman International Industries, Incorporated Driver status indicator
KR102203510B1 (ko) * 2014-09-26 2021-01-14 후아웨이 테크놀러지 컴퍼니 리미티드 애플리케이션 프로그램 제어 방법 및 장치, 그리고 전자 장치
US9318107B1 (en) * 2014-10-09 2016-04-19 Google Inc. Hotword detection on multiple devices
CN104363517B (zh) 2014-11-12 2018-05-11 科大讯飞股份有限公司 基于电视场景及语音助手的语音切换方法及系统
CN104538030A (zh) * 2014-12-11 2015-04-22 科大讯飞股份有限公司 一种可以通过语音控制家电的控制系统与方法
US20160366528A1 (en) * 2015-06-11 2016-12-15 Sony Mobile Communications, Inc. Communication system, audio server, and method for operating a communication system
US10133443B2 (en) * 2015-06-14 2018-11-20 Google Llc Systems and methods for smart home automation using a multifunction status and entry point icon
CN105185379B (zh) * 2015-06-17 2017-08-18 百度在线网络技术(北京)有限公司 声纹认证方法和装置
US20180018973A1 (en) * 2016-07-15 2018-01-18 Google Inc. Speaker verification

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311996A (ja) * 1997-10-23 1999-11-09 Sony Internatl Europ Gmbh 音声装置及び遠隔制御可能なネットワーク機器
JP2002116787A (ja) * 2000-07-10 2002-04-19 Matsushita Electric Ind Co Ltd 優先順位決定装置、優先順位決定方法及び優先順位決定プログラム
JP2003223188A (ja) * 2002-01-29 2003-08-08 Toshiba Corp 音声入力システム、音声入力方法及び音声入力プログラム
US8340975B1 (en) * 2011-10-04 2012-12-25 Theodore Alfred Rosenberger Interactive speech recognition device and system for hands-free building control

Also Published As

Publication number Publication date
EP3316121A1 (en) 2018-05-02
KR102105295B1 (ko) 2020-04-28
US11049499B2 (en) 2021-06-29
EP3316121A4 (en) 2018-07-25
CN106469040A (zh) 2017-03-01
EP3316121B1 (en) 2020-02-26
EP3683672A1 (en) 2020-07-22
JP6953482B2 (ja) 2021-10-27
KR20210138794A (ko) 2021-11-19
JP6571273B2 (ja) 2019-09-04
JP2018533036A (ja) 2018-11-08
KR102327279B1 (ko) 2021-11-16
WO2017028678A1 (zh) 2017-02-23
US20180247645A1 (en) 2018-08-30
KR102508619B1 (ko) 2023-03-09
CN106469040B (zh) 2019-06-21
US20210272566A1 (en) 2021-09-02
KR20180034556A (ko) 2018-04-04
KR20200044156A (ko) 2020-04-28
US12094462B2 (en) 2024-09-17
JP2020003804A (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
JP6953482B2 (ja) 通信方法、サーバー、およびデバイス
US20200304917A1 (en) Method and electronic device for transmitting audio data to multiple external devices
US10834237B2 (en) Method, apparatus, and storage medium for controlling cooperation of multiple intelligent devices with social application platform
US10404539B2 (en) Multi-device sensor subsystem joint optimization
CN110459221B (zh) 多设备协同语音交互的方法和装置
CN105634881B (zh) 应用场景推荐方法及装置
US9794355B2 (en) Systems and methods for adaptive notification networks
US20160127559A1 (en) Communication Service Operating Method and Electronic Device Supporting the Same
AU2018256528B2 (en) Media file processing method and terminal
JP6538972B2 (ja) タイミング方法及び装置
US9807227B2 (en) Method for processing data and electronic device thereof
US11304093B2 (en) Apparatus and method for transmitting/receiving data in an electronic device
KR20150110092A (ko) 웨어러블 디바이스를 이용한 알람 및 모닝콜 제어 방법 및 시스템
EP4275457B1 (en) Selecting a more suitable input modality in relation to a user command for light control

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211011

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230831

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230907

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20231201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240911