JP2016524365A - 装置及び方法 - Google Patents

装置及び方法 Download PDF

Info

Publication number
JP2016524365A
JP2016524365A JP2016510947A JP2016510947A JP2016524365A JP 2016524365 A JP2016524365 A JP 2016524365A JP 2016510947 A JP2016510947 A JP 2016510947A JP 2016510947 A JP2016510947 A JP 2016510947A JP 2016524365 A JP2016524365 A JP 2016524365A
Authority
JP
Japan
Prior art keywords
text
voice
message
recipient
speech
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016510947A
Other languages
English (en)
Other versions
JP6165321B2 (ja
Inventor
カルネイ、カロリーナ テー. デ
カルネイ、カロリーナ テー. デ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Saronikos Trading and Services Unipessoal Ltda
Original Assignee
Saronikos Trading and Services Unipessoal Ltda
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Saronikos Trading and Services Unipessoal Ltda filed Critical Saronikos Trading and Services Unipessoal Ltda
Publication of JP2016524365A publication Critical patent/JP2016524365A/ja
Application granted granted Critical
Publication of JP6165321B2 publication Critical patent/JP6165321B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/64Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • H04M1/642Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations storing speech in digital form
    • H04M1/645Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations storing speech in digital form with speech synthesis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/274Converting codes to words; Guess-ahead of partial word inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/64Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations
    • H04M1/642Automatic arrangements for answering calls; Automatic arrangements for recording messages for absent subscribers; Arrangements for recording conversations storing speech in digital form
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/7243User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages
    • H04M1/72433User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality with interactive means for internal management of messages for voice messaging, e.g. dictaphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/12Messaging; Mailboxes; Announcements
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/66Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/663Preventing unauthorised calls to a telephone set
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W88/00Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02Terminal devices
    • H04W88/06Terminal devices adapted for operation in multiple networks or having at least two operational modes, e.g. multi-mode terminals

Abstract

【課題】電話の受信者が、話すことはないが、非常に迅速な方法で装置内のデータを入力することによって、電話に応答することを助けるための装置及び方法を提供すること。【解決手段】電話の受信者が話をすることが不適切であると判断したときに電話に応答するための装置(1a、1b)を記載し、前記装置(1a、1b)は、発信者との音声会話を開始する専用コマンドを送信するとともに、前記装置(1a、1b)をメッセージモードにして前記電話に応答するための制御手段、特にキー(3a、3b)と、前記装置(1a、1b)が前記メッセージモードを維持する間の全期間において前記専用コマンドを送信した後にミュートされるマイク(5a、5b)と、前記装置(1a、1b)の前記受信者によってテキストメッセージを文字入力するのに適した前記制御手段、特にキーボード(4a、4b)と、前記発信者の音声を聴くためのイヤホン装置(7a、7b)と、テキスト音声変換装置(11)と、前記テキストメッセージを音声メッセージに合成するとともに、前記音声会話中に前記音声メッセージを前記発信者に送信するためのデータベース(13)と、を含むテキスト音声変換投入装置(20)と、発信者に、前記受信者が話さずに前記テキスト音声変換投入装置(20)によって置換されて話す警告音声メッセージを送信するための音声メッセージ投入モジュール(9)と、を含む。【選択図】図1

Description

本発明は、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置並びに関連の方法に関する。
電話の受信者が着信に応答するために話をすることが不適切であると判断する可能性があることが知られている。
前記状況としては、例えば、電話の主題が重要又は緊急であっても、彼/彼女が電話内容を秘密保持することを望む公共交通手段を使用しているとき、又は、電話の会話を開始することが不適切であるビジネス会合又は会議で、受信者の実際の位置から生じる可能性がある。
電話に話して応答することが実質的に不可能である別の状況としては、受信者がノイズの多い場所(例えばスポーツ競技場等)に置かれているときに起こり、装置のマイクに向かって叫んでも、受信者が彼/彼女を取り囲むノイズに関して何を言っているのか、発信者にとって区別するのに十分でない。
通常、電話の受信者が上記で述べたような状況の1つにあるときに、彼/彼女は、電話の着信に応答しないことを好み、電話機の機能、例えばSMS機能の1つを使用して発信者にメッセージングすることを開始する。
GB2408170A US7106852B1 EP0249575A2 GB2402650A EP1465393A1
しかしながら、すべてのユーザの最初は電話を終了し、かつ、発信者に同じメッセージング機能を使用することを強いるという事実により、このような電話に応答することは音声通話に関連する利益を失うことを意味する。また、テキストメッセージングのすべての知られたシステムは、単語を入力するための与えられた時間、及び、質問を伴う電話の会話の即時性を必要とし、即時応答性が失われる。これは、SMSを送信するためにそれを送信する前に全体のフレーズやメッセージを終了させる必要があるという事実に関連してより明らかになる。
したがって、本発明の1つの目的は、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法を提供することであり、それは従来技術の問題点を克服する。
また、本発明の他の目的は、電話の受信者が、話すことはせずに、非常に迅速な方法で装置内のデータを入力することによって、電話に応答することを助けるための装置及び方法を提供することである。
また、本発明のさらなる目的は、彼/彼女が話をすることが不適切であると決定したときに、電話の受信者が発信者と話して応答するときの通常の会話とできるだけ同様なものとして、電話の受信者の声を置換するための装置及び方法を提供することである。
本発明のこれら及び他の目的は、添付した特許請求の範囲で請求されたように、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法を介して達成され、それは本明細書の不可欠な部分である。
要するに、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法を記載し、前記装置は、発信者との音声会話を開始する専用コマンドを送信するとともに、前記装置をメッセージモードにして前記電話に応答するための制御手段、特にキーと、前記装置が前記メッセージモードを維持する間の全期間において前記専用コマンドを送信した後にミュートされるマイクと、前記装置の前記受信者によってテキストメッセージを文字入力するのに適した前記制御手段、特にキーボードと、前記発信者の音声を聴くためのイヤホン装置と、テキスト音声変換装置と、前記テキストメッセージを音声メッセージに合成するとともに、前記音声会話中に前記音声メッセージを前記発信者に送信するための単語のデータベースと、を含むテキスト音声変換投入装置と、発信者に、前記受信者が話さずに前記テキスト音声変換投入装置によって置換されて話す警告音声メッセージを送信するための音声メッセージ投入モジュールと、を含む。
本発明のさらなる特徴(ないし形態)は、本明細書の不可欠な部分であることが意図された、添付された特許請求の範囲に提示されている。
上記目的は、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法の以下の詳細な説明から明らかになるであろう。本発明によれば、特に付属の図面を参照する。
図1は、本発明に係る一装置を示す。 図2は、本発明に係る一シナリオを示す。
図1を参照すると、本発明に係る第1装置1aの一部が示されている。このような第1装置1aは、スマートフォン、従来の携帯電話機、タブレット等とすることができる。
第1装置1aは、第1制御手段、特に第1専用キー3a及び第1キーボード4aを備える。第1装置1aは、また、第1マイク5aを備える。
専用キー3a及び第1キーボード4aは、一般的にスマートフォンで提供される、現代のタッチスクリーン装置の一部とすることができることは明らかである。第1専用キー3aはユーザが第1装置1aを「メッセージモード」にするための専用コマンドを送信することを可能にし、ほぼ同時に、発信者との音声会話を開始する電話の着信に応答する。第1専用キー3aは、また、第1装置1aをそのような「メッセージモード」に維持する全期間において第1装置1aのマイク5aからくる信号のミュートを生成する。
前記機能、すなわち「メッセージモード」は、電話の開始キー(例えば、着信に応答するために従来の緑色のキー)によって有効にすることができるが、この場合、第1装置1aは、事前に無音/振動モードに設定しなければならない。その後、「メッセージモード」を無効にするために、受信者は、第1専用キー3aを押す、又は、無音/振動モードを終了することができる。
第1装置1aが、無音/振動モードではないときにおいて、受信者が着信を開始するための開始キーを押すと、その後、第1装置1aは、発信者と受信者との間で通常の音声通信を確立する。したがって、第1装置1aは、第1専用キー3a、及び、着信の開始キーが、その現在のモード(無音/振動モードか否か)に応じて異なる機能を操作するような方法で構成される。
この「メッセージモード」機能、及び、前記機能を実行することは、電話の受信者が話すことなくすぐに応答するのに役立つことは明らかであり、装置1aが無音/振動モードにあるときに、第1装置1aにコマンドを送信する、特に、第1専用キー3a又は開始キー(例えば、従来の緑色のキー)を押すだけである。
いったん受信者が「メッセージモード」を要求すると、第1装置1aは、受信者が通信ネットワークを介して発信者にテキストメッセージを送信することを可能にする。その結果、受信者は非常に迅速に第1装置1aにデータを入力して送信することができる。
第1キーボード4aは、受信者がテキストメッセージをタイプ(文字入力)するのに役立つ。第1キーボード4aは、ソフト又はハードキーボードとすることができる。ソフトキーボードは、第1装置1aがキーボードのキーの表示を可能にするスクリーン(図1に図示せず)を含むことを意味する。ハードキーボードは、キーボードが物理的なキーを含むことを意味する。
第1装置1aは、また、第1装置1aの内部又は外部とすることができる第1イヤホン装置7aを備える。図1では、第1イヤホン装置7aが第1装置1aの外部となるように示されているが、それは、その非限定的な一実施形態を表すだけである。この場合、第1イヤホン装置7aは、第1無線又はケーブル接続6aを介して第1装置1aに接続される。
再び図1を参照すると、第1装置1aは、テキスト音声変換投入装置20と、音声メッセージ投入モジュール9と、を備える。これは、音声がマイク5aから届くように、音声回答を送信するための装置(スマートフォン、従来の携帯電話、タブレット等)の残りの部分に接続される(簡略化のため図1に示さず)。
テキスト音声変換投入(text-to-speech injection)装置20は、データベース13を備えるテキスト音声変換装置11を備える。また、テキスト音声変換投入装置20は、音声認識理解装置15を備える。
図2を参照すると、シナリオ10は、本発明を説明するのに役立つように示されている。シナリオ10は、上述したように第1装置1aと、第2装置1bと、を備える。第1装置1aの第1ユーザが電話の受信者であり、かつ、第2装置1bの第2ユーザが電話の発信者であるとする。第1装置1a及び第2装置1bは、情報通信ネットワーク23を介して通信する。
第2装置1bは、第1装置1aと同様であり、実際に第2装置1bは、第2制御手段、特に第2専用キー3b及び第2キーボード4bも備えてもよい。また、第2装置1bは、第2マイク5bと、第2イヤホン装置7bと、を備える。同様に、第2イヤホン装置7bは、第2無線/ケーブル接続6bを介して第2装置1bに接続することができる。
テキスト音声変換装置11は、テキストメッセージを補足する、及び、ユーザから、例えば第1装置1aを介して受信者から送信されたテキストメッセージから音声メッセージに変形又は変換する、ことに関与する。
データベース13は、変換に役立つ語彙を含み、特にテキスト文字列、すなわち単語(words)又はフレーズ(phrases)と音声信号との間の関連付けを可能にする。各文字列は、音声信号に関連付けられている。音声信号は、メッセージ又はその一部を表す。
テキスト音声変換投入装置20は、第1装置1aの受信者と第2装置1bの発信者との間で、情報通信ネットワーク23を介してチャネル上に確立される音声/テキストの会話に関連付けられている。
上述したものに加えて、受信者が「メッセージモード」で作動させるとき、彼/彼女が音声メッセージ投入モジュール9を介して発信者に警報音声メッセージ(装置1aに記憶されたもの)、特に受信者が話さないでテキスト音声変換投入装置20で置換されたことを言うメッセージを自動的に送信する。
その後、受信者は、発信者によって提示された質問に対する回答で第1装置1aのキーボード4aを使用してテキストメッセージを書くことができる。
前記テキストメッセージは、音声メッセージに合成され、装置1aの残りの部分を通じて、情報通信ネットワーク23を介して発信者に送信される。
音声メッセージ投入モジュール9は、また、このような音声メッセージが音声会話に投入される間、継続中の音声会話を解析するとともに、発信者の無音期間を検出する。
無音期間が検出されると、音声メッセージ投入モジュール9は、第2装置1bの受信者が第1装置1aの発信者によって作成された前記テキストメッセージを聞くことができるように、音声会話と同じオーディオチャネルに音声メッセージを投入(ないし送信;inject)する。
より詳細には、テキストメッセージは、テキスト音声変換装置11に含まれているデータベース13、及び、市場で入手可能な最近の音声合成ソフトウェアを使用して音声メッセージに合成される。
第1装置1aの受信者は、SMS(「ショートメッセージサービス」)又はIMサービス(「インスタントメッセージングサービス」)、特に「WhatsApp」、「Google Talk」、「Skype」、「Viber」等のような形式を使用するテキスト音声変換装置11にテキストメッセージを送信することができる。重要なことは、受信者によって導入されたフレーズの特定の部分が質問に応答する必要性を満たすときに、全体のフレーズがまだ終了していない場合であっても、受信者は、リターン又はOKのような簡単なコマンドを使用して音声に変換するためにこのテキストを送信することができる、ということである。この場合、受信者が単語を導入して再度開始したときに、テキスト音声変換装置11は、音声に変換する他のフレーズ又はそれらの一部を再び作成する準備ができている。
音声認識理解装置15は、発信者からの音声会話文を受け取り、発信者によって作成されたフレーズを解析し、これらのフレーズからいくつかの単語を抽出し、それらに電話の会話で利用される通常のフレーズに関連付けられた意味を割り当てる。
音声認識理解装置15は、また、例えば発信者によって提示された質問に応答するために役立つ完成したフレーズをデータベース13に格納し、発信者によって提示された実際の質問に応じて、それらを抽出して提案する。これを行うために、音声認識理解装置15は、フレーズの意味、特に発信者によって提示された質問を解析し、データベース13においてその質問への適切な一連の回答を探す。回答は、使用前又は使用中にデータベース13に格納される。
あるいは、音声認識理解装置15は、質問及び回答の両方をデータベース13に格納する。このように、各質問は、受信者に提案することができる少なくとも1つの回答に関連付けられる。
受信者は、上記のように「メッセージモード」に、その第1装置1aを設定するときに、発信者は、彼/彼女が単語を言わ(発声し)なくても、受信者と会話をすることができる。発信者が質問をすると仮定すると、後者(質問)は、質問の音声信号をテキスト形式に変換する音声認識理解装置15を介して解析され(音声からテキストへの変換を行う)、その後、データベース13に格納されたフレーズと(音声信号から変換された)前記テキスト形式を比較する。このような比較は、構文的又は意味的な方法として実行されることを指定することが重要である。
テキスト形式の質問がデータベース13に含まれている場合、音声認識理解装置15は、そのような質問と関連付けられた少なくとも1つの事前に定義された回答を正常な状態に戻すとともに、テキスト形式で受信者にそれを提案する、すなわち、受信者が回答を文字入力するのを容易にする。
このようにして、受信者は第1装置1aの画面上にテキスト形式での回答を見て、彼/彼女は、提案された回答が複数存在する場合、彼/彼女が好む回答をすぐに選択することができる。
より詳細には、例えば、データベース13に格納された典型的なフレーズ/質問は「お元気ですか?」とすることができ、その後、関連付けられた回答は「元気です。」又は「とても元気です、ありがとう、あなたは?」又は「それ程悪くありません、ありがとう!」等とすることができる。別の典型的な質問は、「忙しいですか?」とすることができ、その後、関連付けられた回答が「はい、申し訳ありません、後で呼び出してください」又は「いいえ、心配しないでください、どうしましたか?」等とすることができる。膨大な量の質問及び回答をデータベース13に格納することができることは明らかである。
したがって、今述べた特徴は、第1キーボード4aに回答を完全に文字入力しなくても、テキストメッセージを介して質問に迅速に対応できるように、ユーザ、特に受信者を助けることができる。
さらに、テキスト音声変換装置11も、「学習モード」で動作する。このような「学習モード」は、ユーザによって、例えば通話の受信者によって作動させることができ、それは、第1装置1aが「メッセージモード」でないとき、すなわち会話中に、ユーザの音声を認識するように提供し、ユーザが発音する単語を、単語毎に区別する。
テキスト音声変換装置11は、また、自動又は手動の方法で認識された単語を格納する。手動の方法は、ユーザが、検証を実行し、かつ、単一単語、すなわち単一単語の音声音響信号の格納を確認するテキスト音声変換投入装置20に情報を送信する彼/彼女の装置1aを介して認識された単語の格納を検証することができることを提供する。
そして、第1装置1aが、「メッセージモード」で動作し、テキスト音声変換投入装置20は、事前に定義された男性/女性の音声に基づいて作られた合成音声単語の代わりに、検証され認識された単語、すなわち単語の音響音声信号を代替する。男性/女性の音声は、それにもかかわらず、デフォルトで使用される。さらに、第1装置1aのメニューシステムを介して、男性/女性の音声をユーザ、例えば受信者によって選択可能である。
会話の発信者は、その後、事前に定義された男性/女性の音声ではなく、実際の受信者の音声を聞くことができる。
例えば、第1装置1aの受信者は、第2装置1bの発信者と「メッセージモード」でない会話の際、以下のフレーズ「こんにちはマーク、またお会いしましょう、さようなら」を言い、テキスト音声変換装置11は、そのフレーズの各単一単語を認識するとともに、各単語の音響音声信号を自動又は手動の方法でデータベース13に格納する。そのように、データベース13において、例えば、事前に定義された男性又は女性の音声に対応する単語「また」は、第1装置1aに関連付けられた受信者の音声の音響音声信号によって代替される。フレーズの各ワードは、その後、認識され、それぞれの音響音声信号は、データベース13に格納される。
受信者が彼/彼女の第1装置1aを「メッセージモード」に設定し、第2装置1bの発信者にテキストメッセージを送信するときに、テキスト音声変換装置11は、事前に定義された男性/女性の音声に基づいて作成された合成音声単語に代えて、検証され認識された単語、すなわち単語の音響音声信号を代替、すなわち選択する。テキスト音声変換の結果は、受信者の実際の音声の音響音声信号を含む音声メッセージである。また、しばらくして、発信者に送信された音声メッセージは、ユーザの実際の音声の音響音声によって完全に作成される。
テキストメッセージの送信をスピードアップするためには、第1装置1aは、ユーザ、例えば受信者がキーボード4aに入力し、かつ、完全に入力される前に完全な単語をユーザに提示する単語の単一文字を考慮することによって、データベース13から、音声メッセージを作成するために使用されるテキスト単語を識別して抽出する。
より詳細には、ユーザがキーボード4aで単語をタイプ(文字入力)したときに第1装置1aはテキスト単語を識別し、その後、第1装置1aは、前記単語の少なくとも1文字を、それらの文字を含む少なくとも1つの単語を抽出するためのデータベース13を問い合わせるテキスト音声変換装置11に送信する。例えば、ユーザが「彼」と入力し始めると、これらの文字は、それらの文字を含む少なくとも1つの単語を抽出するためのデータベース13を問い合わせるテキスト音声変換装置11に送られる。それで、データベース13は、その語彙、すなわち「こんにちは(Hello)」、「したがって(Hence)」「頭(Head)」、「助けて(Help)」等から少なくとも1つの単語を返す。テキスト音声変換装置11は、その後、その画面にこれらの単語を表示する第1装置1aにこれらの単語を返す。それで、ユーザは、キーボード4aによってすぐに、彼/彼女が全体の単語をタイプするための時間を費やすことなく好みの単語を選択することができる。この特徴は、ユーザが垂直にスクロールして最も適切なものを単に選択することができるように、送信される適切なメッセージを満たすことができるすべての可能な単語が、一方を他方の上に配置され、複数行に表示することが可能な画面を有するスマートフォンのような機器で特に効率的である。
また、テキスト音声変換装置11は、少なくとも2つの連続した単語がすでに前記過去のテキストメッセージで使用されたときに、データベース13内のすべての過去のテキストメッセージを格納し、音声メッセージに変換し、ユーザ、例えば受信者に全体のフレーズを提示するために提供される。
言い換えると、受信者がキーボード4aを使用してメッセージをタイプしているときに、単語だけでなく、すでに彼/彼女によって使用されたフレーズも受信者に提示する。提示は、第1装置1aの画面上に示される。
第1装置1a及び第2装置1bのユーザの両方が電話の会話を開始することを望むが、彼らの両方が話をすることを望まない場合、第1装置1aに関連して示されたすべてのことは、第2装置1bに対しても行うことができることは明らかである。
シナリオ10の二重性を考えると、発信者が第1装置1aの第1ユーザとすることができ、受信者がその反対の第2装置1bの第2ユーザとすることができ、また逆も然り。
したがって、第2装置1bは、第1装置1aについて記載されているすべての要素、すなわち、上述のように、テキスト音声変換投入装置と、音声メッセージ注入モジュールと、を備えることができる。
なお、本発明に係る装置は、第1装置1a及び/又は第2装置1bのメモリにロードすることができるとともに、既存のハードウェアを使用することによって方法を実施するように適合されたソフトウェアコードの部分を備えるコンピュータ製品を介して実施することができることを指摘しなくてはならない。
携帯電話機で現在用いられてマイクロプロセッサの増加する演算能力、及び、テキスト音声変換及び音声認識の両方に関連するソフトウェアによる進展により、上述の装置のすべての機能は、一般に使用されるもののように携帯電話機に含めることができる点にも注意すべきである。本発明に係る装置及び方法の第1の利点は、従来技術の問題点を克服することである。
本発明に係る装置及び方法の第2の利点は、彼/彼女が話をすることが不適切であると判断するときに、電話の受信者の音声を代替(置換)し、電話の受信者が発信者と話して応答するときに通常の会話とできる限り同様なものとすることである。
本発明に係る装置及び方法の第3の利点は、話すことなく、非常に迅速な方法で装置内のデータを入力することによって、そのような電話に応答するために電話の受信者を支援することである。
電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置および方法は、本発明の概念の新規性の精神から逸脱することなく多くの可能な変形の対象としてもよく、本発明の実際の実施において、示された詳細は、異なる形状を有し、又は、他の技術的に等価な要素と置換してもよいことも明らかである。
したがって、本発明は、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法に限定されないことを容易に理解することができるが、以下の特許請求の範囲に明確に特定されるように、本発明の概念の新規性の精神から逸脱することなく多くの変更、改良又は同等の部品や要素の置換の対象としてもよい。
1a、1b 装置
3a、3b キー
4a、4b キーボード
5a、5b マイク
6a、6b 無線/ケーブル接続
7a、7b イヤホン装置
9 音声メッセージ投入モジュール(voice message injection module)
10 シナリオ
11 テキスト音声変換装置(text-to-speech translation apparatus)
13 データベース
15 音声認識理解装置(speech recognition and understanding apparatus)
20 テキスト音声変換投入装置(text-to-speech injection apparatus)
23 通信ネットワーク
本発明は、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置並びに関連の方法に関する。
電話の受信者が着信に応答するために話をすることが不適切であると判断する可能性があることが知られている。
前記状況としては、例えば、電話の主題が重要又は緊急であっても、彼/彼女が電話内容を秘密保持することを望む公共交通手段を使用しているとき、又は、電話の会話を開始することが不適切であるビジネス会合又は会議で、受信者の実際の位置から生じる可能性がある。
電話に話して応答することが実質的に不可能である別の状況としては、受信者がノイズの多い場所(例えばスポーツ競技場等)に置かれているときに起こり、装置のマイクに向かって叫んでも、受信者が彼/彼女を取り囲むノイズに関して何を言っているのか、発信者にとって区別するのに十分でない。
通常、電話の受信者が上記で述べたような状況の1つにあるときに、彼/彼女は、電話の着信に応答しないことを好み、電話機の機能、例えばSMS機能の1つを使用して発信者にメッセージングすることを開始する。
GB2408170A US7106852B1 EP0249575A2 GB2402650A EP1465393A1
しかしながら、すべてのユーザの最初は電話を終了し、かつ、発信者に同じメッセージング機能を使用することを強いるという事実により、このような電話に応答することは音声通話に関連する利益を失うことを意味する。また、テキストメッセージングのすべての知られたシステムは、単語を入力するための与えられた時間、及び、質問を伴う電話の会話の即時性を必要とし、即時応答性が失われる。これは、SMSを送信するためにそれを送信する前に全体のフレーズやメッセージを終了させる必要があるという事実に関連してより明らかになる。
したがって、本発明の1つの目的は、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法を提供することであり、それは従来技術の問題点を克服する。
また、本発明の他の目的は、電話の受信者が、話すことはせずに、非常に迅速な方法で装置内のデータを入力することによって、電話に応答することを助けるための装置及び方法を提供することである。
また、本発明のさらなる目的は、彼/彼女が話をすることが不適切であると決定したときに、電話の受信者が発信者と話して応答するときの通常の会話とできるだけ同様なものとして、電話の受信者の声を置換するための装置及び方法を提供することである。
本発明のこれら及び他の目的は、添付した特許請求の範囲で請求されたように、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法を介して達成され、それは本明細書の不可欠な部分である。
要するに、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法を記載する。
第1の視点に係る装置は、
発信者との音声会話を開始する専用コマンドを送信するとともに、前記装置をメッセージモードにして前記電話に応答するための制御手段、特にキーと、
前記装置が前記メッセージモードを維持する間の全期間において前記専用コマンドを送信した後にミュートされるマイクと、
前記装置の前記受信者によってテキストメッセージを文字入力するのに適した前記制御手段、特にキーボードと、
前記発信者の音声を聴くためのイヤホン装置と、
テキスト音声変換装置と、前記テキストメッセージを音声メッセージに合成するとともに、前記音声会話中に前記音声メッセージを前記発信者に送信するためのデータベースと、を含むテキスト音声変換投入装置と、
発信者に、前記受信者が話さずに前記テキスト音声変換投入装置によって置換されて話す警告音声メッセージを送信するための音声メッセージ投入モジュールと、を含む。
第2の視点に係る方法は、
電話の受信者が話をすることが不適切であると判断するときに装置を介して電話に応答するための方法であって、
前記装置の制御手段の選択を介して専用コマンドを送信するとともに、発信者との音声会話を開始し、前記装置をメッセージモードにして前記電話に応答するステップと、
前記装置が前記メッセージモードを維持する全期間において前記専用コマンドを送信した後に前記装置のマイクからくる信号をミュートするステップと、
イヤホン装置を介して前記発信者の音声を聴くステップと、
音声メッセージ投入モジュールを介して、発信者に、前記受信者が話さずにテキスト音声変換投入装置によって置換されて話す警告音声メッセージを送信するステップと、
前記発信者によって提示された質問に対して応答する際に前記受信者によってテキストメッセージを入力するステップと、
データベースを用いてテキスト音声変換装置を介して、前記テキストメッセージを音声メッセージに合成し、前記テキスト音声変換投入装置を介して前記音声会話中に前記音声メッセージを前記発信者に送信するステップと、を含む。
第3の視点に係るコンピュータ製品は、第1の視点に係る装置のメモリに読み取り可能なコンピュータ製品であって、第2の視点に係る方法を実施するように適合されたソフトウェアコードの部分を含む。
本発明のさらなる特徴(ないし形態)は、本明細書の不可欠な部分であることが意図された、添付された特許請求の範囲に提示されている。
上記目的は、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法の以下の詳細な説明から明らかになるであろう。本発明によれば、特に付属の図面を参照する。
図1は、本発明に係る一装置を示す。 図2は、本発明に係る一シナリオを示す。
図1を参照すると、本発明に係る第1装置1aの一部が示されている。このような第1装置1aは、スマートフォン、従来の携帯電話機、タブレット等とすることができる。
第1装置1aは、第1制御手段、特に第1専用キー3a及び第1キーボード4aを備える。第1装置1aは、また、第1マイク5aを備える。
専用キー3a及び第1キーボード4aは、一般的にスマートフォンで提供される、現代のタッチスクリーン装置の一部とすることができることは明らかである。第1専用キー3aはユーザが第1装置1aを「メッセージモード」にするための専用コマンドを送信することを可能にし、ほぼ同時に、発信者との音声会話を開始する電話の着信に応答する。第1専用キー3aは、また、第1装置1aをそのような「メッセージモード」に維持する全期間において第1装置1aのマイク5aからくる信号のミュートを生成する。
前記機能、すなわち「メッセージモード」は、電話の開始キー(例えば、着信に応答するために従来の緑色のキー)によって有効にすることができるが、この場合、第1装置1aは、事前に無音/振動モードに設定しなければならない。その後、「メッセージモード」を無効にするために、受信者は、第1専用キー3aを押す、又は、無音/振動モードを終了することができる。
第1装置1aが、無音/振動モードではないときにおいて、受信者が着信を開始するための開始キーを押すと、その後、第1装置1aは、発信者と受信者との間で通常の音声通信を確立する。したがって、第1装置1aは、第1専用キー3a、及び、着信の開始キーが、その現在のモード(無音/振動モードか否か)に応じて異なる機能を操作するような方法で構成される。
この「メッセージモード」機能、及び、前記機能を実行することは、電話の受信者が話すことなくすぐに応答するのに役立つことは明らかであり、装置1aが無音/振動モードにあるときに、第1装置1aにコマンドを送信する、特に、第1専用キー3a又は開始キー(例えば、従来の緑色のキー)を押すだけである。
いったん受信者が「メッセージモード」を要求すると、第1装置1aは、受信者が通信ネットワークを介して発信者にテキストメッセージを送信することを可能にする。その結果、受信者は非常に迅速に第1装置1aにデータを入力して送信することができる。
第1キーボード4aは、受信者がテキストメッセージをタイプ(文字入力)するのに役立つ。第1キーボード4aは、ソフト又はハードキーボードとすることができる。ソフトキーボードは、第1装置1aがキーボードのキーの表示を可能にするスクリーン(図1に図示せず)を含むことを意味する。ハードキーボードは、キーボードが物理的なキーを含むことを意味する。
第1装置1aは、また、第1装置1aの内部又は外部とすることができる第1イヤホン装置7aを備える。図1では、第1イヤホン装置7aが第1装置1aの外部となるように示されているが、それは、その非限定的な一実施形態を表すだけである。この場合、第1イヤホン装置7aは、第1無線又はケーブル接続6aを介して第1装置1aに接続される。
再び図1を参照すると、第1装置1aは、テキスト音声変換投入装置20と、音声メッセージ投入モジュール9と、を備える。これは、音声がマイク5aから届くように、音声回答を送信するための装置(スマートフォン、従来の携帯電話、タブレット等)の残りの部分に接続される(簡略化のため図1に示さず)。
テキスト音声変換投入(text-to-speech injection)装置20は、データベース13を備えるテキスト音声変換装置11を備える。また、テキスト音声変換投入装置20は、音声認識理解装置15を備える。
図2を参照すると、シナリオ10は、本発明を説明するのに役立つように示されている。シナリオ10は、上述したように第1装置1aと、第2装置1bと、を備える。第1装置1aの第1ユーザが電話の受信者であり、かつ、第2装置1bの第2ユーザが電話の発信者であるとする。第1装置1a及び第2装置1bは、情報通信ネットワーク23を介して通信する。
第2装置1bは、第1装置1aと同様であり、実際に第2装置1bは、第2制御手段、特に第2専用キー3b及び第2キーボード4bも備えてもよい。また、第2装置1bは、第2マイク5bと、第2イヤホン装置7bと、を備える。同様に、第2イヤホン装置7bは、第2無線/ケーブル接続6bを介して第2装置1bに接続することができる。
テキスト音声変換装置11は、テキストメッセージを補足する、及び、ユーザから、例えば第1装置1aを介して受信者から送信されたテキストメッセージから音声メッセージに変形又は変換する、ことに関与する。
データベース13は、変換に役立つ語彙を含み、特にテキスト文字列、すなわち単語(words)又はフレーズ(phrases)と音声信号との間の関連付けを可能にする。各文字列は、音声信号に関連付けられている。音声信号は、メッセージ又はその一部を表す。
テキスト音声変換投入装置20は、第1装置1aの受信者と第2装置1bの発信者との間で、情報通信ネットワーク23を介してチャネル上に確立される音声/テキストの会話に関連付けられている。
上述したものに加えて、受信者が「メッセージモード」で作動させるとき、彼/彼女が音声メッセージ投入モジュール9を介して発信者に警報音声メッセージ(装置1aに記憶されたもの)、特に受信者が話さないでテキスト音声変換投入装置20で置換されたことを言うメッセージを自動的に送信する。
その後、受信者は、発信者によって提示された質問に対する回答で第1装置1aのキーボード4aを使用してテキストメッセージを書くことができる。
前記テキストメッセージは、音声メッセージに合成され、装置1aの残りの部分を通じて、情報通信ネットワーク23を介して発信者に送信される。
音声メッセージ投入モジュール9は、また、このような音声メッセージが音声会話に投入される間、継続中の音声会話を解析するとともに、発信者の無音期間を検出する。
無音期間が検出されると、音声メッセージ投入モジュール9は、第2装置1bの受信者が第1装置1aの発信者によって作成された前記テキストメッセージを聞くことができるように、音声会話と同じオーディオチャネルに音声メッセージを投入(ないし送信;inject)する。
より詳細には、テキストメッセージは、テキスト音声変換装置11に含まれているデータベース13、及び、市場で入手可能な最近の音声合成ソフトウェアを使用して音声メッセージに合成される。
第1装置1aの受信者は、SMS(「ショートメッセージサービス」)又はIMサービス(「インスタントメッセージングサービス」)、特に「WhatsApp」、「Google Talk」、「Skype」、「Viber」等のような形式を使用するテキスト音声変換装置11にテキストメッセージを送信することができる。重要なことは、受信者によって導入されたフレーズの特定の部分が質問に応答する必要性を満たすときに、全体のフレーズがまだ終了していない場合であっても、受信者は、リターン又はOKのような簡単なコマンドを使用して音声に変換するためにこのテキストを送信することができる、ということである。この場合、受信者が単語を導入して再度開始したときに、テキスト音声変換装置11は、音声に変換する他のフレーズ又はそれらの一部を再び作成する準備ができている。
音声認識理解装置15は、発信者からの音声会話文を受け取り、発信者によって作成されたフレーズを解析し、これらのフレーズからいくつかの単語を抽出し、それらに電話の会話で利用される通常のフレーズに関連付けられた意味を割り当てる。
音声認識理解装置15は、また、例えば発信者によって提示された質問に応答するために役立つ完成したフレーズをデータベース13に格納し、発信者によって提示された実際の質問に応じて、それらを抽出して提案する。これを行うために、音声認識理解装置15は、フレーズの意味、特に発信者によって提示された質問を解析し、データベース13においてその質問への適切な一連の回答を探す。回答は、使用前又は使用中にデータベース13に格納される。
あるいは、音声認識理解装置15は、質問及び回答の両方をデータベース13に格納する。このように、各質問は、受信者に提案することができる少なくとも1つの回答に関連付けられる。
受信者は、上記のように「メッセージモード」に、その第1装置1aを設定するときに、発信者は、彼/彼女が単語を言わ(発声し)なくても、受信者と会話をすることができる。発信者が質問をすると仮定すると、後者(質問)は、質問の音声信号をテキスト形式に変換する音声認識理解装置15を介して解析され(音声からテキストへの変換を行う)、その後、データベース13に格納されたフレーズと(音声信号から変換された)前記テキスト形式を比較する。このような比較は、構文的又は意味的な方法として実行されることを指定することが重要である。
テキスト形式の質問がデータベース13に含まれている場合、音声認識理解装置15は、そのような質問と関連付けられた少なくとも1つの事前に定義された回答を正常な状態に戻すとともに、テキスト形式で受信者にそれを提案する、すなわち、受信者が回答を文字入力するのを容易にする。
このようにして、受信者は第1装置1aの画面上にテキスト形式での回答を見て、彼/彼女は、提案された回答が複数存在する場合、彼/彼女が好む回答をすぐに選択することができる。
より詳細には、例えば、データベース13に格納された典型的なフレーズ/質問は「お元気ですか?」とすることができ、その後、関連付けられた回答は「元気です。」又は「とても元気です、ありがとう、あなたは?」又は「それ程悪くありません、ありがとう!」等とすることができる。別の典型的な質問は、「忙しいですか?」とすることができ、その後、関連付けられた回答が「はい、申し訳ありません、後で呼び出してください」又は「いいえ、心配しないでください、どうしましたか?」等とすることができる。膨大な量の質問及び回答をデータベース13に格納することができることは明らかである。
したがって、今述べた特徴は、第1キーボード4aに回答を完全に文字入力しなくても、テキストメッセージを介して質問に迅速に対応できるように、ユーザ、特に受信者を助けることができる。
さらに、テキスト音声変換装置11も、「学習モード」で動作する。このような「学習モード」は、ユーザによって、例えば通話の受信者によって作動させることができ、それは、第1装置1aが「メッセージモード」でないとき、すなわち会話中に、ユーザの音声を認識するように提供し、ユーザが発音する単語を、単語毎に区別する。
テキスト音声変換装置11は、また、自動又は手動の方法で認識された単語を格納する。手動の方法は、ユーザが、検証を実行し、かつ、単一単語、すなわち単一単語の音声音響信号の格納を確認するテキスト音声変換投入装置20に情報を送信する彼/彼女の装置1aを介して認識された単語の格納を検証することができることを提供する。
そして、第1装置1aが、「メッセージモード」で動作し、テキスト音声変換投入装置20は、事前に定義された男性/女性の音声に基づいて作られた合成音声単語の代わりに、検証され認識された単語、すなわち単語の音響音声信号を代替する。男性/女性の音声は、それにもかかわらず、デフォルトで使用される。さらに、第1装置1aのメニューシステムを介して、男性/女性の音声をユーザ、例えば受信者によって選択可能である。
会話の発信者は、その後、事前に定義された男性/女性の音声ではなく、実際の受信者の音声を聞くことができる。
例えば、第1装置1aの受信者は、第2装置1bの発信者と「メッセージモード」でない会話の際、以下のフレーズ「こんにちはマーク、またお会いしましょう、さようなら」を言い、テキスト音声変換装置11は、そのフレーズの各単一単語を認識するとともに、各単語の音響音声信号を自動又は手動の方法でデータベース13に格納する。そのように、データベース13において、例えば、事前に定義された男性又は女性の音声に対応する単語「また」は、第1装置1aに関連付けられた受信者の音声の音響音声信号によって代替される。フレーズの各ワードは、その後、認識され、それぞれの音響音声信号は、データベース13に格納される。
受信者が彼/彼女の第1装置1aを「メッセージモード」に設定し、第2装置1bの発信者にテキストメッセージを送信するときに、テキスト音声変換装置11は、事前に定義された男性/女性の音声に基づいて作成された合成音声単語に代えて、検証され認識された単語、すなわち単語の音響音声信号を代替、すなわち選択する。テキスト音声変換の結果は、受信者の実際の音声の音響音声信号を含む音声メッセージである。また、しばらくして、発信者に送信された音声メッセージは、ユーザの実際の音声の音響音声によって完全に作成される。
テキストメッセージの送信をスピードアップするためには、第1装置1aは、ユーザ、例えば受信者がキーボード4aに入力し、かつ、完全に入力される前に完全な単語をユーザに提示する単語の単一文字を考慮することによって、データベース13から、音声メッセージを作成するために使用されるテキスト単語を識別して抽出する。
より詳細には、ユーザがキーボード4aで単語をタイプ(文字入力)したときに第1装置1aはテキスト単語を識別し、その後、第1装置1aは、前記単語の少なくとも1文字を、それらの文字を含む少なくとも1つの単語を抽出するためのデータベース13を問い合わせるテキスト音声変換装置11に送信する。例えば、ユーザが「彼」と入力し始めると、これらの文字は、それらの文字を含む少なくとも1つの単語を抽出するためのデータベース13を問い合わせるテキスト音声変換装置11に送られる。それで、データベース13は、その語彙、すなわち「こんにちは(Hello)」、「したがって(Hence)」「頭(Head)」、「助けて(Help)」等から少なくとも1つの単語を返す。テキスト音声変換装置11は、その後、その画面にこれらの単語を表示する第1装置1aにこれらの単語を返す。それで、ユーザは、キーボード4aによってすぐに、彼/彼女が全体の単語をタイプするための時間を費やすことなく好みの単語を選択することができる。この特徴は、ユーザが垂直にスクロールして最も適切なものを単に選択することができるように、送信される適切なメッセージを満たすことができるすべての可能な単語が、一方を他方の上に配置され、複数行に表示することが可能な画面を有するスマートフォンのような機器で特に効率的である。
また、テキスト音声変換装置11は、少なくとも2つの連続した単語がすでに前記過去のテキストメッセージで使用されたときに、データベース13内のすべての過去のテキストメッセージを格納し、音声メッセージに変換し、ユーザ、例えば受信者に全体のフレーズを提示するために提供される。
言い換えると、受信者がキーボード4aを使用してメッセージをタイプしているときに、単語だけでなく、すでに彼/彼女によって使用されたフレーズも受信者に提示する。提示は、第1装置1aの画面上に示される。
第1装置1a及び第2装置1bのユーザの両方が電話の会話を開始することを望むが、彼らの両方が話をすることを望まない場合、第1装置1aに関連して示されたすべてのことは、第2装置1bに対しても行うことができることは明らかである。
シナリオ10の二重性を考えると、発信者が第1装置1aの第1ユーザとすることができ、受信者がその反対の第2装置1bの第2ユーザとすることができ、また逆も然り。
したがって、第2装置1bは、第1装置1aについて記載されているすべての要素、すなわち、上述のように、テキスト音声変換投入装置と、音声メッセージ注入モジュールと、を備えることができる。
なお、本発明に係る装置は、第1装置1a及び/又は第2装置1bのメモリにロードすることができるとともに、既存のハードウェアを使用することによって方法を実施するように適合されたソフトウェアコードの部分を備えるコンピュータ製品を介して実施することができることを指摘しなくてはならない。
携帯電話機で現在用いられてマイクロプロセッサの増加する演算能力、及び、テキスト音声変換及び音声認識の両方に関連するソフトウェアによる進展により、上述の装置のすべての機能は、一般に使用されるもののように携帯電話機に含めることができる点にも注意すべきである。本発明に係る装置及び方法の第1の利点は、従来技術の問題点を克服することである。
本発明に係る装置及び方法の第2の利点は、彼/彼女が話をすることが不適切であると判断するときに、電話の受信者の音声を代替(置換)し、電話の受信者が発信者と話して応答するときに通常の会話とできる限り同様なものとすることである。
本発明に係る装置及び方法の第3の利点は、話すことなく、非常に迅速な方法で装置内のデータを入力することによって、そのような電話に応答するために電話の受信者を支援することである。
電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置および方法は、本発明の概念の新規性の精神から逸脱することなく多くの可能な変形の対象としてもよく、本発明の実際の実施において、示された詳細は、異なる形状を有し、又は、他の技術的に等価な要素と置換してもよいことも明らかである。
したがって、本発明は、電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置及び方法に限定されないことを容易に理解することができるが、以下の特許請求の範囲に明確に特定されるように、本発明の概念の新規性の精神から逸脱することなく多くの変更、改良又は同等の部品や要素の置換の対象としてもよい。
(付記)
本発明において、以下の形態が可能である。
(形態1)
前記第1の視点に係る装置の通りである。
(形態2)
前記第1の視点に係る装置においては、前記テキスト音声変換装置は、会話中に前記受信者の音声を認識するとともに、前記受信者が発音している単語を単語毎に区別するように適合されており、前記テキスト音声変換投入装置は、会話中に前記受信者によって使用された前記認識された単語を格納するとともに、予め定義された男性又は女性の音声に基づいて作られた合成音声単語の代わりに前記認識され格納された単語を置換するように適合されている。
(形態3)
前記第1の視点に係る装置においては、前記音声メッセージ投入モジュールは、継続中の音声会話を解析し、かつ、前記発信者の無音期間を検出し、その間に前記音声メッセージを前記音声会話に投入する。
(形態4)
前記第1の視点に係る装置においては、前記装置は、前記受信者が前記制御手段に入力している単語の単一文字(single letters)を考慮することによって、前記データベースからテキスト単語を識別して抽出するとともに、完全に入力される前に完全な単語を前記受信者に提示する。
(形態5)
前記第1の視点に係る装置においては、前記テキスト音声変換投入装置は、さらに、前記発信者によって提示された質問を解析するとともに、前記質問からいくつかの単語を抽出し、かつ、それらに電話での会話で利用される通常のフレーズ(phrases)に関連する意味を割り当てる音声認識理解装置を含む。
(形態6)
前記第1の視点に係る装置においては、前記音声認識理解装置は、前記発信者によって提示された前記質問に応答するための完全なフレーズを前記データベースに格納するとともに、前記発信者によって提示され、かつ、前記音声認識理解装置によって解析された実際の質問に応じて、それらを前記受信者に抽出して提案する。
(形態7)
前記第1の視点に係る装置においては、前記音声認識理解装置は、質問及び回答の両方を前記データベースに格納し、各質問は、少なくとも1つの回答に関連付けられている。
(形態8)
前記第1の視点に係る装置においては、前記テキスト音声変換装置は、前記音声メッセージに変換された全ての過去のテキストメッセージを前記データベースに格納するとともに、少なくとも2つの連続的な単語が前記過去のテキストメッセージで既に使用されたときに、前記受信者に全体のフレーズを提示する。
(形態9)
前記第1の視点に係る装置においては、前記テキスト音声変換装置は、前記装置のメニューシステムを介してユーザが選択可能な前記予め定義された男性又は女性の音声に基づいて前記音声メッセージを合成する。
(形態10)
前記第2の視点に係る方法の通りである。
(形態11)
前記第2の視点に係る方法においては、前記テキスト音声変換装置を介して、会話中に前記受信者の音声を認識し、前記受信者が発音している単語(words)を単語毎に区別するステップと、前記テキスト音声変換投入装置を介して、前記メッセージモードで発生しなかった会話中に前記受信者によって使用された前記認識された単語を格納し、予め定義された男性又は女性の音声に基づいて作られた合成音声単語の代わりに前記テキスト音声変換投入装置で前記認識され格納された単語(words)を置換するステップと、をさらに含む。
(形態12)
前記第2の視点に係る方法においては、前記単語を格納するステップは、前記装置のユーザによって確認される。
(形態13)
前記第2の視点に係る方法においては、前記受信者の音声の認識は、前記装置が前記メッセージモードでないときに前記ユーザによって起動される。
(形態14)
前記第2の視点に係る方法においては、前記音声メッセージ投入モジュールは、継続中の音声会話を解析し、かつ、発信者の無音期間を検出し、その間に前記音声メッセージを投入するステップをさらに含む。
(形態15)
前記第2の視点に係る方法においては、前記質問からいくつかの単語を抽出し、かつ、それらに電話での会話で利用される通常のフレーズに関連する意味を割り当てる音声認識理解装置を介して、前記発信者によって提示された前記質問を解析するステップをさらに含む。
(形態16)
前記第2の視点に係る方法においては、前記音声認識理解装置を介して、質問及び回答の両方を前記データベースに格納するステップをさらに含み、各質問は、少なくとも1つの回答に関連付けられている。
(形態17)
前記第2の視点に係る方法においては、前記発信者によって提示された前記質問に応答するための完全なフレーズを前記データベースに格納すると共に、前記発信者によって提示され、かつ、前記音声認識理解装置によって解析された実際の前記質問に応じて前記受信者にフレーズを抽出して提案するステップをさらに含む。
(形態18)
前記第2の視点に係る方法においては、前記受信者が入力している単語の単一文字(single letters)を考慮することによって、前記データベースから、前記音声メッセージを作成するために使用されるテキスト単語を識別して抽出し、完全に入力される前に完全な単語を前記受信者に提示するステップをさらに含む。
(形態19)
前記第2の視点に係る方法においては、前記テキスト音声変換装置を介して前記音声メッセージに変換された全ての過去のテキストメッセージを前記データベースに格納すると共に、少なくとも2つの連続的な単語が前記過去のテキストメッセージで既に使用されたときに、前記受信者に全体のフレーズを提示するステップをさらに含む。
(形態20)
前記第2の視点に係る方法においては、前記装置のメニューシステムを介して前記ユーザが選択可能な前記予め定義された男性又は女性の音声に基づいて前記音声メッセージを合成するステップをさらに含む。
(形態21)
前記第2の視点に係る方法においては、前記テキストメッセージは、SMS(「ショートメッセージサービス」)又はIMサービスメッセージ(「インスタントメッセージングサービス」)と同様の形式を使用する。
(形態22)
前記第2の視点に係るコンピュータ製品の通りである。
なお、本出願において図面参照符号を付している場合(特に特許請求の範囲において)は、それらは、専ら理解を助けるためのものであり、図示の態様に限定することを意図するものではない。
なお、本発明の全開示(特許請求の範囲及び図面を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態ないし実施例の各要素、各図面の各要素等を含む)の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲及び図面を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、本願に記載の数値及び数値範囲については、明記がなくともその任意の中間値、下位数値、及び、小範囲が記載されているものとみなされる。
1a、1b 装置
3a、3b キー
4a、4b キーボード
5a、5b マイク
6a、6b 無線/ケーブル接続
7a、7b イヤホン装置
9 音声メッセージ投入モジュール(voice message injection module)
10 シナリオ
11 テキスト音声変換装置(text-to-speech translation apparatus)
13 データベース
15 音声認識理解装置(speech recognition and understanding apparatus)
20 テキスト音声変換投入装置(text-to-speech injection apparatus)
23 通信ネットワーク

Claims (22)

  1. 電話の受信者が話をすることが不適切であると判断するときに電話に応答するための装置(1a、1b)であって、
    発信者との音声会話を開始する専用コマンドを送信するとともに、前記装置(1a、1b)をメッセージモードにして前記電話に応答するための制御手段、特にキー(3a、3b)と、
    前記装置(1a、1b)が前記メッセージモードを維持する間の全期間において前記専用コマンドを送信した後にミュートされるマイク(5a、5b)と、
    前記装置(1a、1b)の前記受信者によってテキストメッセージを文字入力するのに適した前記制御手段、特にキーボード(4a、4b)と、
    前記発信者の音声を聴くためのイヤホン装置(7a、7b)と、
    テキスト音声変換装置(11)と、前記テキストメッセージを音声メッセージに合成するとともに、前記音声会話中に前記音声メッセージを前記発信者に送信するためのデータベース(13)と、を含むテキスト音声変換投入装置(20)と、
    発信者に、前記受信者が話さずに前記テキスト音声変換投入装置(20)によって置換されて話す警告音声メッセージを送信するための音声メッセージ投入モジュール(9)と、
    を含む装置(1a、1b)。
  2. 前記テキスト音声変換装置(11)は、会話中に前記受信者の音声を認識するとともに、前記受信者が発音している単語を単語毎に区別するように適合されており、
    前記テキスト音声変換投入装置(20)は、会話中に前記受信者によって使用された前記認識された単語を格納するとともに、予め定義された男性又は女性の音声に基づいて作られた合成音声単語の代わりに前記認識され格納された単語を置換するように適合されている、
    請求項1記載の装置(1a、1b)。
  3. 前記音声メッセージ投入モジュール(9)は、継続中の音声会話を解析し、かつ、前記発信者の無音期間を検出し、その間に前記音声メッセージを前記音声会話に投入する、
    請求項1記載の装置(1a、1b)。
  4. 前記装置(1a、1b)は、前記受信者が前記制御手段、特にキーボード(4a、4b)、に入力している単語の単一文字(single letters)を考慮することによって、前記データベース(13)からテキスト単語を識別して抽出するとともに、完全に入力される前に完全な単語を前記受信者に提示する、
    請求項1又は2に記載の装置(1a、1b)。
  5. 前記テキスト音声変換投入装置(20)は、さらに、前記発信者によって提示された質問を解析するとともに、前記質問からいくつかの単語を抽出し、かつ、それらに電話での会話で利用される通常のフレーズ(phrases)に関連する意味を割り当てる音声認識理解装置(15)を含む、
    前記請求項のいずれか1又は複数に記載の装置(1a、1b)。
  6. 前記音声認識理解装置(15)は、前記発信者によって提示された前記質問に応答するための完全なフレーズを前記データベース(13)に格納するとともに、前記発信者によって提示され、かつ、前記音声認識理解装置(15)によって解析された実際の質問に応じて、それらを前記受信者に抽出して提案する、
    請求項5に記載の装置(1a、1b)。
  7. 前記音声認識理解装置(15)は、質問及び回答の両方を前記データベース(13)に格納し、
    各質問は、少なくとも1つの回答に関連付けられている、
    請求項5又は6に記載の装置(1a、1b)。
  8. 前記テキスト音声変換装置(11)は、前記音声メッセージに変換された全ての過去のテキストメッセージを前記データベース(13)に格納するとともに、少なくとも2つの連続的な単語が前記過去のテキストメッセージで既に使用されたときに、前記受信者に全体のフレーズを提示する、
    前記請求項のいずれか1又は複数に記載の装置(1a、1b)。
  9. 前記テキスト音声変換装置(11)は、前記装置(1a、1b)のメニューシステムを介してユーザが選択可能な前記予め定義された男性又は女性の音声に基づいて前記音声メッセージを合成する、
    前記請求項のいずれか1又は複数に記載の装置(1a、1b)。
  10. 電話の受信者が話をすることが不適切であると判断するときに装置(1a、1b)を介して電話に応答するための方法であって、
    前記装置(1a、1b)の制御手段、特に専用キー(3a、3b)の選択を介して専用コマンドを送信するとともに、発信者との音声会話を開始し、前記装置(1a、1b)をメッセージモードにして前記電話に応答するステップと、
    前記装置(1a、1b)が前記メッセージモードを維持する全期間において前記装置(1a、1b)のマイク(5a、5b)からくる信号のミュートを前記専用コマンドが生成するステップと、
    イヤホン装置(7a、7b)を介して前記発信者の音声を聴くステップと、
    音声メッセージ投入モジュール(9)を介して、発信者に、前記受信者が話さずにテキスト音声変換投入装置(20)によって置換されて話す警告音声メッセージを送信するステップと、
    前記発信者によって提示された質問に対して応答する際に前記受信者によってテキストメッセージを入力するステップと、
    データベース(13)を用いてテキスト音声変換装置(11)を介して、前記テキストメッセージを音声メッセージに合成し、前記テキスト音声変換投入装置(20)を介して前記音声会話中に前記音声メッセージを前記発信者に送信するステップと、
    を含む方法。
  11. 前記テキスト音声変換装置(11)を介して、会話中に前記受信者の音声を認識し、前記受信者が発音している単語(words)を単語毎に区別するステップと、
    前記テキスト音声変換投入装置(20)を介して、前記メッセージモードで発生しなかった会話中に前記受信者によって使用された前記認識された単語を格納し、
    予め定義された男性又は女性の音声に基づいて作られた合成音声単語の代わりに前記テキスト音声変換投入装置(20)で前記認識され格納された単語(words)を置換するステップと、
    をさらに含む請求項10に記載の方法。
  12. 前記単語を格納するステップは、前記装置(1a、1b)のユーザによって確認される、
    請求項11記載の方法。
  13. 前記受信者の音声の認識は、前記装置(1a、1b)が前記メッセージモードでないときに前記ユーザによって起動される、
    請求項11記載の方法。
  14. 前記音声メッセージ投入モジュール(9)は、継続中の音声会話を解析し、かつ、発信者の無音期間を検出し、その間に前記音声メッセージを投入するステップをさらに含む、
    請求項10記載の方法。
  15. 前記質問からいくつかの単語を抽出し、かつ、それらに電話での会話で利用される通常のフレーズに関連する意味を割り当てる音声認識理解装置(15)を介して、前記発信者によって提示された前記質問を解析するステップをさらに含む、
    前記請求項のいずれか1又は複数に記載の方法。
  16. 前記音声認識理解装置(15)を介して、質問及び回答の両方を前記データベース(13)に格納するステップをさらに含み、
    各質問は、少なくとも1つの回答に関連付けられている、
    請求項15記載の方法。
  17. 前記発信者によって提示された前記質問に応答するための完全なフレーズを前記データベース(13)に格納すると共に、前記発信者によって提示され、かつ、前記音声認識理解装置(15)によって解析された実際の前記質問に応じて前記受信者にフレーズを抽出して提案するステップをさらに含む、
    請求項15又は16記載の方法。
  18. 前記受信者が入力している単語の単一文字(single letters)を考慮することによって、前記データベース(13)から、前記音声メッセージを作成するために使用されるテキスト単語を識別して抽出し、完全に入力される前に完全な単語を前記受信者に提示するステップをさらに含む、
    前記請求項のいずれか1又は複数に記載の方法。
  19. 前記テキスト音声変換装置(11)を介して前記音声メッセージに変換された全ての過去のテキストメッセージを前記データベース(13)に格納すると共に、少なくとも2つの連続的な単語が前記過去のテキストメッセージで既に使用されたときに、前記受信者に全体のフレーズを提示するステップをさらに含む、
    前記請求項のいずれか1又は複数に記載の方法。
  20. 前記装置(1a、1b)のメニューシステムを介して前記ユーザが選択可能な前記予め定義された男性又は女性の音声に基づいて前記音声メッセージを合成するステップをさらに含む、
    前記請求項のいずれか1又は複数に記載の方法。
  21. 前記テキストメッセージは、SMS(「ショートメッセージサービス」)又はIMサービスメッセージ(「インスタントメッセージングサービス」)と同様の形式を使用する、
    前記請求項のいずれか1又は複数に記載の方法。
  22. 請求項10乃至21のいずれか1又は複数に記載の方法を実施するように適合されたソフトウェアコードの部分を含む、
    前記装置(1a、1b)のメモリに読み取り可能なコンピュータ製品。
JP2016510947A 2013-05-02 2013-05-02 装置及び方法 Active JP6165321B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2013/059083 WO2014177209A1 (en) 2013-05-02 2013-05-02 An apparatus for answering a phone call when a recipient of the phone call decides that it is inappropriate to talk, and related method

Publications (2)

Publication Number Publication Date
JP2016524365A true JP2016524365A (ja) 2016-08-12
JP6165321B2 JP6165321B2 (ja) 2017-07-19

Family

ID=48366310

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016510947A Active JP6165321B2 (ja) 2013-05-02 2013-05-02 装置及び方法

Country Status (7)

Country Link
US (1) US9924012B2 (ja)
EP (1) EP2992666B1 (ja)
JP (1) JP6165321B2 (ja)
KR (1) KR102038827B1 (ja)
CN (1) CN105210355B (ja)
ES (1) ES2786079T3 (ja)
WO (1) WO2014177209A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017108069A1 (en) * 2015-12-21 2017-06-29 Saronikos Trading And Services, Unipessoal Lda Apparatus and method for managing communications
CN106060272A (zh) * 2016-07-12 2016-10-26 魏喜国 以智能手机为载体的双语即时翻译装置
US11170757B2 (en) 2016-09-30 2021-11-09 T-Mobile Usa, Inc. Systems and methods for improved call handling
CN107071328B (zh) * 2016-12-16 2019-12-03 维沃移动通信有限公司 一种视频通话处理方法及移动终端
EP4092998A1 (en) 2017-06-30 2022-11-23 Google LLC Methods, systems, and media for connecting an iot device to a call
EP3646161A1 (en) * 2017-06-30 2020-05-06 Google LLC Methods, systems, and media for voice-based call operations
CN107404432A (zh) * 2017-09-02 2017-11-28 刘兴丹 一种结合多种网路群发信息的方法、装置
CN109698877A (zh) * 2017-10-24 2019-04-30 华为终端(东莞)有限公司 语音通信方法和语音通信装置
CN108965600B (zh) * 2018-07-24 2021-05-04 Oppo(重庆)智能科技有限公司 语音拾取方法及相关产品
US11381675B2 (en) 2018-12-12 2022-07-05 Samsung Electronics Co., Ltd. Command based interactive system and a method thereof
RU2719659C1 (ru) * 2019-01-10 2020-04-21 Общество с ограниченной ответственностью "Центр речевых технологий" (ООО "ЦРТ") Устройство для регистрации и управления вводом речевой информации
CN110602328B (zh) * 2019-09-30 2021-10-22 联想(北京)有限公司 处理方法及处理装置
US11019207B1 (en) * 2019-11-07 2021-05-25 Hithink Royalflush Information Network Co., Ltd. Systems and methods for smart dialogue communication

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6354855A (ja) * 1986-08-26 1988-03-09 Oki Electric Ind Co Ltd 留守番電話機
JPH0774843A (ja) * 1993-09-01 1995-03-17 Omron Corp 通信端末装置
JP2000134298A (ja) * 1998-10-21 2000-05-12 Kazuo Ishikawa 文字入力装置
JP3165585B2 (ja) * 1994-05-13 2001-05-14 シャープ株式会社 情報処理装置
US20030228002A1 (en) * 2002-06-07 2003-12-11 Hewlett-Packard Development Company, L.P. Telephone communication with silent response feature
JP2004129174A (ja) * 2002-08-06 2004-04-22 Ricoh Co Ltd 情報通信装置、情報通信プログラム、及び記録媒体
JP2006522551A (ja) * 2003-04-01 2006-09-28 サイレント・コミュニケーション・リミテッド 音を出さずに選択および聴取の可能な通信を提供する機器、システム、および方法
JP2007517291A (ja) * 2003-12-31 2007-06-28 リサーチ イン モーション リミテッド キーボード配置
JP2008072425A (ja) * 2006-09-14 2008-03-27 Interfuncs Co Ltd 携帯電話機用通話制御装置
JP2012205223A (ja) * 2011-03-28 2012-10-22 Sanyo Electric Co Ltd 通信装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0249575B1 (en) * 1986-04-16 1994-11-23 Call It Co Computerized communications system
EP1135757B1 (en) * 1998-10-14 2006-11-29 Gary J. Morris Communicative environmental alarm system with voice indication
US6438524B1 (en) * 1999-11-23 2002-08-20 Qualcomm, Incorporated Method and apparatus for a voice controlled foreign language translation device
US7106852B1 (en) * 2000-09-08 2006-09-12 Fuji Xerox Co., Ltd. Telephone accessory for generating conversation utterances to a remote listener in response to a quiet selection
US7083342B2 (en) * 2001-12-21 2006-08-01 Griffin Jason T Keyboard arrangement
GB2408171B (en) 2002-06-07 2005-10-26 Hewlett Packard Development Co Telephone communication with silent response feature
FI20055717A0 (fi) * 2005-12-30 2005-12-30 Nokia Corp Koodinmuunnosmenetelmä matkaviestinjärjestelmässä
JP3165585U (ja) 2010-11-11 2011-01-27 有限会社オフィス結アジア 音声合成装置
EP2536176B1 (en) * 2011-06-16 2016-09-21 Alcatel Lucent Text-to-speech injection apparatus for telecommunication system

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6354855A (ja) * 1986-08-26 1988-03-09 Oki Electric Ind Co Ltd 留守番電話機
JPH0774843A (ja) * 1993-09-01 1995-03-17 Omron Corp 通信端末装置
JP3165585B2 (ja) * 1994-05-13 2001-05-14 シャープ株式会社 情報処理装置
JP2000134298A (ja) * 1998-10-21 2000-05-12 Kazuo Ishikawa 文字入力装置
US20030228002A1 (en) * 2002-06-07 2003-12-11 Hewlett-Packard Development Company, L.P. Telephone communication with silent response feature
JP2004129174A (ja) * 2002-08-06 2004-04-22 Ricoh Co Ltd 情報通信装置、情報通信プログラム、及び記録媒体
JP2006522551A (ja) * 2003-04-01 2006-09-28 サイレント・コミュニケーション・リミテッド 音を出さずに選択および聴取の可能な通信を提供する機器、システム、および方法
JP2007517291A (ja) * 2003-12-31 2007-06-28 リサーチ イン モーション リミテッド キーボード配置
JP2008072425A (ja) * 2006-09-14 2008-03-27 Interfuncs Co Ltd 携帯電話機用通話制御装置
JP2012205223A (ja) * 2011-03-28 2012-10-22 Sanyo Electric Co Ltd 通信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
市村 由美 他: "入力予測機能を組み込んだ仮名漢字変換システム", 電子情報通信学会論文誌, vol. 第J85-D-II巻 第12号, JPN6016048624, 1 December 2002 (2002-12-01), JP, pages 1853 - 1863 *

Also Published As

Publication number Publication date
CN105210355A (zh) 2015-12-30
US9924012B2 (en) 2018-03-20
EP2992666A1 (en) 2016-03-09
US20160065711A1 (en) 2016-03-03
EP2992666B1 (en) 2020-02-26
KR102038827B1 (ko) 2019-10-31
CN105210355B (zh) 2019-03-22
WO2014177209A1 (en) 2014-11-06
KR20160005075A (ko) 2016-01-13
JP6165321B2 (ja) 2017-07-19
ES2786079T3 (es) 2020-10-08

Similar Documents

Publication Publication Date Title
JP6165321B2 (ja) 装置及び方法
KR102268327B1 (ko) 비동기식 멀티모드 메시징 시스템 및 방법
US9154620B2 (en) Method and system of voice carry over for instant messaging relay services
US20140187225A1 (en) Configurable phone with interactive voice response engine
US20050141680A1 (en) Telephone communication with silent response feature
US8229086B2 (en) Apparatus, system and method for providing silently selectable audible communication
CN103973877A (zh) 一种在移动终端中利用文字实现实时通话的方法和装置
US20230012416A1 (en) Method and System for Providing Captioned Telephone Services
US20080096587A1 (en) Telephone for Sending Voice and Text Messages
US9237224B2 (en) Text interface device and method in voice communication
US20050122959A1 (en) Enhanced telecommunication system
WO2008071939A1 (en) Improved text handling for mobile devices
EP2536176B1 (en) Text-to-speech injection apparatus for telecommunication system
KR20030091834A (ko) 음성데이터와 문자데이터 상호 변환기능을 갖는 단말기 및단말기에서의 음성 데이터와 문자데이터 상호 변환 방법
KR20060130897A (ko) 휴대 단말기의 무성음 통화 장치 및 방법
JP2005123869A (ja) 通話内容書き起こしシステムおよび通話内容書き起こし方法
WO2020245630A1 (en) Mobile device for communication with transcription of vocal flows
KR20150045840A (ko) 무선단말기 전화 서비스에 적용되는 문자 전송 서비스 및 벨소리 선택 서비스

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170620

R150 Certificate of patent or registration of utility model

Ref document number: 6165321

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250