JP2014036354A - 自動応答システムおよび自動応答方法 - Google Patents

自動応答システムおよび自動応答方法 Download PDF

Info

Publication number
JP2014036354A
JP2014036354A JP2012176797A JP2012176797A JP2014036354A JP 2014036354 A JP2014036354 A JP 2014036354A JP 2012176797 A JP2012176797 A JP 2012176797A JP 2012176797 A JP2012176797 A JP 2012176797A JP 2014036354 A JP2014036354 A JP 2014036354A
Authority
JP
Japan
Prior art keywords
data
format
voice
frequency
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012176797A
Other languages
English (en)
Inventor
Noriko Ito
範子 伊東
Taketoshi Tsuyui
武俊 栗花
Mitsuteru Umezawa
光輝 梅沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information and Telecommunication Engineering Ltd
Original Assignee
Hitachi Information and Telecommunication Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Information and Telecommunication Engineering Ltd filed Critical Hitachi Information and Telecommunication Engineering Ltd
Priority to JP2012176797A priority Critical patent/JP2014036354A/ja
Publication of JP2014036354A publication Critical patent/JP2014036354A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Telephonic Communication Services (AREA)

Abstract

【課題】DTMF信号を第三者に漏えいさせることなくIVR装置に送信し、送信されたDTMF信号をIVR装置に正しく認識させることが可能な自動応答システムおよび自動応答方法を提供する。
【解決手段】通話端末は、プッシュ操作による出力信号と音声とを音声信号に変換し、変換した音声信号を含む第一のフォーマットの音声データをサーバ装置に送信する。サーバ装置は、通話端末から受信した第一のフォーマットの音声データを第一のフォーマットとは異なる第二のフォーマットの音声データに変換し、プッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれていると判定された場合に、第二のフォーマットの音声データ内のデータを削除し、無音データに差し替えた差し替え音声データを生成する。削除されたデータを差し替え音声データとは異なるプロトコルである第三のフォーマットで出力する。
【選択図】図2

Description

本発明は、自動応答機能を有するIVR(Interactive Voice Response)装置を有した自動応答システムに関し、特に、架電者が入力したDTMF(Dual Tone Multi Frequency)信号の漏えいを防止する技術に関する。
一般に、コールセンタ等の顧客からの電話対応業務を行う施設では、業務の効率化をはかるため、自動応答により顧客からの照会を受け付けている。この機能を担う装置としてはIVR装置がある。IVR装置は、架電者が入力したDTMF信号を受け付け、受け付けた信号がどのような内容であるかを認識する機能を有する。例えば、テレフォンバンキング・コールセンタにIVR装置を設置した場合、架電者が入力したDTMF信号をIVR装置が受け付け、音声操作をするためのメニュー項目、口座番号、個人識別情報(暗証番号など)、金額情報等を認識することで、オペレータを雇うよりも低コストで24時間運用可能なテレフォンバンキング・コールセンタを実現することができる。
しかしながら、例えば、データセンタと複数の拠点のコールセンタによって構成されるマルチサイトのコールセンタシステム(一例としてはクラウドシステムのような構成がある。)では、データセンタと各拠点のコールセンタ間をWAN(Wide Area Network:広域通信網)により接続することが多く、WANを伝送するRTP音声データを第三者に蓄積・聴取され、架電者が入力したDTMF信号の内容が漏えいしてしまう危険性がある。また、コールセンタシステム内においてもLAN(Local Area Network:構内通信網)を伝送するRTP(Real−time Transport Protocol)音声データを聴取した場合には、同様の危険性がある。このように、ネットワークを介して音声データを送受信する場合、セキュリティ面からみて脆弱となり得る。
また、架電者の個人識別情報を確認するためのコールセンタの運用として、架電者がオペレータと通話している途中で、一旦IVR装置に接続し、そのIVR装置の自動応答受付に従って架電者が入力した個人識別情報をIVR装置がDTMF信号として認識し、本人確認することがある。このとき、架電者とIVR装置とオペレータは三者通話状態になり、オペレータは架電者が入力したDTMF信号を聴取することとなる。すなわち、上述したネットワーク上の問題をクリアした場合であっても、三者通話状態になる場合には、DTMF信号の内容が漏えいしてしまう危険性がある。
DTMF信号の内容を架電者やIVR装置以外の第三者に漏えいさせない方法として、例えば、特許文献1では、電話線にスモールファームファクタ(small form−factor)のセキュリティ装置を挿入し、DTMF信号を暗号化する方法が開示されている。また、特許文献2では、DTMF信号に加えて擾乱信号を出力することにより、DTMF信号をスクランブルさせる方法が開示されている。
特表2010−514272号公報 特開2007−288648号公報
しかしながら、上述した特許文献1、2に開示された技術では、DTMF信号から一定のアルゴリズムに従って暗号化やスクランブリングを実行しているため、いずれの場合も盗聴の危険性が残存し、架電者が入力したDTMF信号が、架電者及びIVR装置以外の第三者に漏えいしてしまう可能性がある。
さらに、WANやLANを介してDTMF信号をIVR装置が受信する場合、ネットワークの通信品質が悪化している場合や通信帯域が不足している場合には、DTMF信号が入ったみなし音声(RTP音声データ)の歪が発生することがある。この場合、IVR装置では、発生した歪によってDTMF信号を正しく認識できないという問題がある。
本発明は、上記に鑑みてなされたものであって、DTMF信号を第三者に漏えいさせることなくIVR装置に送信し、送信されたDTMF信号をIVR装置に正しく認識させることが可能な自動応答システムおよび自動応答方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明にかかる自動応答システムは、通話端末から送信された音声信号を音声データに変換し、前記音声データに対して応答する応答装置に前記音声データを送信するサーバ装置と、前記通話端末とがネットワークを介して接続された自動応答システムであって、前記通話端末は、通話者が発した音声を受け取る送話部と、前記通話者からのプッシュ操作を受け付ける入力受付部と、前記入力受付部が受け付けたプッシュ操作による出力信号と前記音声とを音声信号に変換し、変換した音声信号を含む第一のフォーマットの音声データを前記サーバ装置に送信する送信制御部と、を備え、前記サーバ装置は、前記通話端末から受信した前記第一のフォーマットの音声データを受信する第一通信部と、前記第一通信部が受信した前記第一のフォーマットの音声データを前記第一のフォーマットとは異なる第二のフォーマットの音声データに変換し、前記第二のフォーマットの音声データ内に前記プッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれていると判定された場合に、前記第二のフォーマットの音声データ内の前記データを削除し、無音データに差し替えた差し替え音声データを生成する音声解析生成部と、前記第二のフォーマットの音声データ内に前記プッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれているか否かを判定する解析部と、前記音声解析生成部によって削除された前記データを前記差し替え音声データとは異なるプロトコルである第三のフォーマットで出力するプロトコル制御部と、前記差し替え音声データと前記第三のフォーマットで出力されたデータとを前記応答装置に送信する第二通信部と、を備えることを特徴とする自動応答システム。
また、本発明にかかる自動応答方法は、通話端末から送信された音声信号を音声データに変換し、前記音声データに対して応答する応答装置に前記音声データを送信するサーバ装置と、前記通話端末とがネットワークを介して接続された自動応答システムで行われる自動応答方法であって、通話者が発した音声を受け取る送話ステップと、前記通話者からの前記通話端末におけるプッシュ操作を受け付ける入力受付ステップと、前記入力受付ステップにおいて受け付けたプッシュ操作による出力信号と前記音声とを音声信号に変換し、変換した音声信号を含む第一のフォーマットの音声データを前記サーバ装置に送信する第一送信ステップと、前記通話端末から受信した前記第一のフォーマットの音声データを受信する受信ステップと、前記受信ステップにおいて受信した前記第一のフォーマットの音声データを前記第一のフォーマットとは異なる第二のフォーマットの音声データに変換する変換ステップと、前記第二のフォーマットの音声データ内に前記プッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれているか否かを判定する解析ステップと、前記第二のフォーマットの音声データ内に前記プッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれていると判定された場合に、前記第二のフォーマットの音声データ内の前記データを削除し、無音データに差し替えた差し替え音声データを生成する生成ステップと、削除された前記データを前記差し替え音声データとは異なるプロトコルである第三のフォーマットで出力する出力ステップと、前記差し替え音声データと前記第三のフォーマットで出力されたデータとを前記応答装置に送信する第二送信ステップと、を含むことを特徴とする。
本発明によれば、DTMF信号を第三者に漏えいさせることなくIVR装置に送信し、送信されたDTMF信号をIVR装置に正しく認識させることが可能な自動応答システムおよび自動応答方法を提供することができる。
通話者とオペレータとが通話状態にあるコールセンタシステムの構成例を示す図である。 通話者とIVR装置とが通話状態にあるコールセンタシステムの構成例を示す図である(2者通話)。 通話端末の機能的な構成を示すブロック図である。 ゲートウェイサーバの機能的な構成を示すブロック図である。 SIPプロトコル制御部が出力するSIPメッセージのフォーマット例を示す図である。 音声解析生成部がDTMF信号部分を差し替える対象となるRTP音声データのフォーマット例を示す図である。 設定情報記憶部が記憶するDTMFテーブルの例を示す図である。 変換制御処理の処理手順を示すフローチャートである。 音声解析生成部が有する受信ジッタバッファに記憶されるデータの遷移を示すイメージ図である。 DTMF解析部がRTP音声データを一定の周期で繰り返しサンプリングして取得する様子を示す図である。 通話者とIVR装置とが通話状態にあるコールセンタシステムの構成例を示す図である(3者通話)。 本発明にかかる自動応答システムおよび自動応答方法を、マルチサイトコールセンタシステムに適用した場合の構成例を示す図である。
以下に添付図面を参照して、本発明にかかる自動応答システムおよび自動応答方法の実施の形態を詳細に説明する。以下では、本発明にかかる自動応答システムおよび自動応答方法を、顧客からの電話対応業務を行うコールセンタシステムに適用した場合について説明しているが、DTMF信号を相手先に送信する仕組みを有しているものであれば、特にこれに限定されることはない。まず、通話者とオペレータとが通話状態にあるコールセンタシステムの構成について説明する。
図1は、通話者とオペレータとが通話状態にあるコールセンタシステムの構成例を示す図である。図1に示すように、この例でのコールセンタシステムでは、通話端末700と、コールセンタ800とが、公衆交換電話網(PSTN:Public Switched Telephone Networks)900を介して接続されている。なお、コールセンタ内の各装置は、例えば、LAN(Local Area Network)回線等の一般的な通信回線によって互いに接続されている。
まず、架電者Uが通話端末700を操作し、コールセンタに電話を掛けると、オペレータOとの間で通話状態となる。すると、架電者UがオペレータOに対して話す通話音声(音声信号)S1は、公衆交換電話網900を経由し、コールセンタシステム内のゲートウェイサーバ801に到達する。すると、ゲートウェイサーバ801内では、通話音声(音声信号)S1を送話の音声データ(RTP音声データ)S2に変換し、通話先のオペレータの通話端末804へ伝送する。
一方、オペレータOが架電者Uに対して話す通話音声は、オペレータの通話端末805を通じて、RTP音声データS2としてゲートウェイサーバ801に到達する。その後、ゲートウェイサーバ801は内部でRTP音声データS3を通話音声(音声信号)S1に変換し、架電者Uの通話端末700に伝送し、会話が成立する。
このように、コールセンタシステムで架電者とオペレータとが二者間で通話をする場合は、ゲートウェイサーバが通話音声をRTP音声データに変換し、またはその逆にRTP音声データを通話音声に変換して両者の会話を成立させる。したがって、この例のように、架電者UとオペレータOの二者間で通話しているときは、テレフォニーサーバ802によるIPテレフォニーの管理や制御、あるいはIVR(Interactive Voice Response)装置による音声の自動応答は行われない。また、通話端末UからDTMF信号が入力されることがないので、ゲートウェイサーバではDTMF信号の認識処理は行われない。続いて、図1に示したコールセンタシステムにおいて、通話者とIVR装置とが通話状態にある場合にについて説明する。
図2は、通話者とIVR装置とが通話状態にあるコールセンタシステムの構成例を示す図である。図2に示すように、この例でのコールセンタシステムでは、図1の場合と同様に、通話端末100と、コールセンタ200とが、公衆交換電話網300を介して接続されている。
通話端末100は、例えば、一般的な携帯電話やスマートフォン等の端末機器から構成される。図3は、通話端末100の機能的な構成を示すブロック図である。図3に示すように、通話端末100は、入力受付部101と、受話部102と、送話部103と、通信制御部104とを有して構成されている。
入力受付部101は、プッシュボタン等の操作部を有し、通話者Uからの操作(例えば、ボタンのプッシュ操作)を受け付ける。受話部102は、スピーカが内蔵され、公衆交換電話網300を介して受け取った音声信号を音声として出力する。送話部103は、マイクロフォンが内蔵され、通話者Uから発せられた通話音声を音声信号に変換して出力する。通信制御部104は、上述した各部の動作を制御し、公衆交換電話網300から受信した音声信号を受話部102に出力し、送話部103から受け取った音声信号や入力受付部101が受け付けた操作による出力信号を音声信号に変換し、公衆交換電話網300に送出する。
コールセンタ200は、通話端末100からの音声信号を受け付けて、照会応答等の電話対応業務を行う施設である。図1に示すように、コールセンタ200は、ゲートウェイサーバ201と、テレフォニーサーバ202と、IVR装置203と、複数のコンピュータ204および通話端末205とを有して構成されている。
ゲートウェイサーバ201は、公衆交換電話網300を介した通話端末100とコールセンタ200内の各装置との通信を仲介するサーバである。図4は、ゲートウェイサーバ201の機能的な構成を示すブロック図である。図4に示すように、ゲートウェイサーバ201は、第一送受信制御部2011と、第二送受信制御部2012と、PSTNプロトコル制御部2013と、SIPプロトコル制御部2014と、音声解析生成部2015と、DTMF解析部2016と、設定情報記憶部2017とを有して構成されている。
第一送受信制御部2011は、PSTNプロトコル制御部2011が行うISDNプロトコル等のPSTNプロトコルによる呼制御にしたがって公衆交換電話網300を介した通話端末100との間を通信させる。また、第一送受信制御部2011は、公衆交換電話網300を介して通話端末100から音声信号を受信し、その音声信号を音声解析生成部2015に出力する。
第二送受信制御部2012は、SIPプロトコル制御部2014がSIPプロトコルのINFOメソッドにより生成したDTMF信号を含むSIPメッセージを、SIPプロトコル制御部2014が設定情報記憶部2017から読み出したIVR装置203のIPアドレスに送信する。また、第二送受信制御部2012は、音声解析生成部2015によって生成されたDTMF信号が無音のRTP音声データ、あるいはDTMF信号とは無関係の周波数帯のノイズデータに差し替え後のRTP音声データを通話音声としてコールセンタ内のコンピュータ204や通話端末205に送信し、またはコンピュータ204や通話端末205から送出されたRTP音声データを受信し、音声解析制御部2015に出力する。
PSTNプロトコル制御部2011は、第一送受信制御部2011が通話端末100との間で行うPSTNプロトコルによる呼制御を行う。
SIPプロトコル制御部2014は、第二送受信制御部2012がコールセンタ内のコンピュータ204や通話端末205との間で行うSIPプロトコルによる呼制御を行う。SIPプロトコル制御部2014は、DTMF解析部2016によってあらかじめ定められた周波数に一致すると判定されたDTMF信号を、SIPプロトコルのINFOメソッドによるSIPメッセージを第二送受信制御部2012に出力する。
図5は、SIPプロトコル制御部2014が出力するSIPメッセージのフォーマット例を示す図である。図5に示すように、SIPプロトコル制御部2014は、リクエストの種類や宛先等を示すリクエスト部501と、そのリクエストの概要を示すヘッダ部502と、そのリクエストにおける通信に関する処理内容を示すボディ部503とによって構成されたSIPメッセージを出力する。SIPプロトコル制御部2014は、後述するDTMF解析部2016によって解析されたDTMF信号をボディ部503に記述したSIPメッセージを第二送受信制御部2012に出力する。
音声解析生成部2015は、第一送受信制御部2011が受信した通話音声(音声信号)をRTP音声データに変換し、第二送受信制御部2012に出力する。このとき、音声解析生成部2015は、DTMF解析部2016からの指示を受けて、RTP音声データに含まれるDTMF信号部分のデータを削除し、無音のRTP音声データ、あるいはDTMF信号とは無関係の周波数を有したノイズデータを挿入し、RTP音声データを差し替える。
具体的には、音声解析生成部2015は、変換したRTP音声データの伝送先が、後述する設定情報記憶部2017に記憶されているIVR装置203のIPアドレスに一致するか否かを判定し、音声解析生成部2015が生成したRTP音声データの伝送先が、設定情報記憶部2017に記憶されているIVR装置203のIPアドレスに一致すると判定した場合、さらに、架電者UとIVR装置203間の通話が継続しているか否かを判定し、通話が継続していると判定した場合に、内部の記憶エリアである受信ジッタバッファに蓄積し、その後、上述したようにRTP音声データを差し替える。
図6は、音声解析生成部2015がDTMF信号部分を差し替える対象となるRTP音声データのフォーマット例を示す図である。図6に示すように、RTP音声データは、IPヘッダ部601と、UDPヘッダ部602と、RTPヘッダ部603と、RTPペイロード部604とを有したRTPパケットから構成され、音声解析生成部2015は、RTPペイロード部604に含まれるDTMF信号のデータを削除し、無音のRTP音声データ、あるいはDTMF信号とは無関係の周波数のノイズデータを挿入し、RTP音声データを差し替える。
DTMF解析部2016は、音声解析生成部2015によって、受信された音声信号が受信ジッタバッファに蓄積されると、そのRTP音声データがDTMF信号の周波数に一致するか否かを判定し、そのRTP音声データがDTMF信号の周波数に一致すると判定した場合、その判定の際に認識したDTMF信号をSIPプロトコル制御部2014に出力する。DTMF解析部2016は、音声解析生成部2015に対して、RTP音声データに含まれるDTMF信号部分のデータを削除してその位置を記憶し、無音のRTP音声データ、あるいはDTMF信号とは無関係の周波数のノイズデータを同じ位置に挿入するように指示する。
設定情報記憶部2017は、例えば、HDD(Hard Disk Drive)やメモリ等の記憶装置である。設定情報記憶部2017は、IVR装置203のIPアドレスを記憶する。また設定情報記憶部2017は、音声解析部2015によって変換されたRTP音声データにDTMF信号が含まれているか否かを判定するためのDTMFテーブルを記憶する。
図7は、設定情報記憶部2017が記憶するDTMFテーブルの例を示す図である。図7に示すように、DTMFテーブルは、所定の規格によって定められた高周波数と低周波数とのマトリックスにより構成される。例えば、DTMF解析部2016は、音声解析部2015によって変換されたRTP音声データに、高周波数である1209Hzと低周波数697Hzとの2つの音声信号によって合成された音声信号を含んでいる場合には、「1」を示すDTMF信号がRTP音声データに含まれると判定する。DTMF解析部2016は、他の数字や記号についても、これと同様に判定する。
続いて、図4に示したゲートウェイサーバ201が行うRTP音声データを変換して送信し、DTMF信号のSIPメッセージにより送信する処理(以下、変換制御処理と呼ぶ。)の処理手順について説明する。図8は、上述した変換制御処理の処理手順を示すフローチャートである。以下に示す例では、ゲートウェイサーバ201が通話端末100から通話開始を示すメッセージを受信した状態にあるものとする。
図8に示すように、まず、変換制御処理では、ゲートウェイサーバ201が通話端末100から通話開始を示すメッセージを受信すると、音声解析生成部2015は、設定情報記憶部2017に記憶されているIVR装置203のIPアドレスと同じIPアドレスがそのメッセージに含まれているか否かを判定する(ステップS801)。
そして、音声解析生成部2015は、設定情報記憶部2017に記憶されているIVR装置203のIPアドレスと同じIPアドレスがそのメッセージに含まれていないと判定した場合(ステップS801;No)、架電者UとオペレータOとの2者間の通話であると判断して変換制御処理を終了させ、図1に示したように、ゲートウェイサーバ201は、通話による音声信号をRTP音声データに変換する処理を実行する。
一方、音声解析生成部2015は、設定情報記憶部2017に記憶されているIVR装置203のIPアドレスと同じIPアドレスがそのメッセージに含まれていると判定した場合(ステップS801;Yes)、さらに、架電者UとIVR装置203間の通話が継続しているか否かを判定する(ステップS802)。通話が継続しているか否かの判定は、例えば、通話端末100とIVR装置203との間のセッションが確立している場合には通話中であると判定する。
そして、音声解析生成部2015は、架電者UとIVR装置203間の通話が継続していない(すなわち通話終了である)と判定した場合(ステップS802;No)、受信ジッタバッファ20151に蓄積されているRTP音声データを、第二送受信制御部2012に出力し、第二送受信制御部2012は、そのRTP音声データをIVR装置203に送信し、処理終了させる(ステップS803)。
一方、音声解析生成部2015は、架電者UとIVR装置203間の通話が継続している(すなわち通話中である)と判定した場合(ステップS802;Yes)、受信された音声信号をRTP音声データに変換し、変換後のRTP音声データを受信ジッタバッファ20151に蓄積する(ステップS804)。
そして、DTMF解析部2016は、音声解析生成部2015によって変換されたRTP音声データを解析し(ステップS805)、その中に含まれるDTMF信号が、図7に示したDTMFテーブルに含まれる周波数で構成されているか否かを判定する(ステップS806)。
DTMF解析部2016は、変換されたRTP音声データに含まれるDTMF信号が、DTMFテーブルに含まれる周波数で構成されている(すなわち、一致する周波数がある)と判定した場合(ステップS806;Yes)、そのRTP音声データのDTMF信号が含まれる部分の情報(DTMF信号情報)を抽出し、SIPプロトコル制御部2014は、そのDTMF信号情報を、SIPメッセージ(INFOデータ)として第二送受信制御部2012に出力し、第二送受信制御部2012は、テレフォニーサーバ202を経由して、そのSIPメッセージをIVR装置203に送信する(ステップS807)。
そして、DTMF解析部2016は、音声解析生成部2015に対して、RTP音声データに含まれるDTMF信号情報を削除してその位置を記憶し、無音のRTP音声データ、あるいはDTMF信号とは無関係の周波数のノイズデータを同じ位置に挿入するように指示し、音声解析生成部2015は、その指示に従って、RTP音声データを差し替える(ステップS808)。
その後、音声解析部2015は、あらかじめ定められたタイミング(例えば、30ms周期)が到来したか否かを判定し(ステップS809)、そのタイミングが到来したと判定した場合(ステップS809;Yes)、受信ジッタバッファ20151に蓄積されているRTP音声データを周期的に第二送受信制御部2012に出力し、第二送受信制御部2012は、そのRTP音声データをIVR装置203に送信する(ステップS810)。一方、音声解析部2015は、そのタイミングが到来していないと判定した場合(ステップS809;No)、ステップS802に戻り、以降の処理を架電者UとIVR装置203の通話が終了するまで繰り返す。
このように、本実施例では、通話端末100から送信された音声信号を音声データに変換し、音声データに対して応答するIVR装置203に音声データを送信するゲートウェイサーバ201と、通話端末100とが公衆交換電話網300を介して接続された自動応答システムにおいて、通話端末100は、入力受付部101が、通話者Uからのプッシュ操作を受け付け、送話部103が、通話者Uが発した音声を受け取り、送信制御部104が、入力受付部101が受け付けたプッシュ操作による出力信号と音声とを音声信号に変換し、変換した音声信号を含む第一のフォーマット(PSTNプロトコル)の音声データをゲートウェイサーバ201に送信し、ゲートウェイサーバ201は、第一送受信制御部2011が、通話端末100から受信した第一のフォーマットの音声データを受信し、音声解析生成部2015が、第一送受信制御部2011が受信した第一のフォーマットの音声データを第一のフォーマットとは異なる第二のフォーマット(RTPプロトコル)の音声データに変換し、第二のフォーマットの音声データ内にプッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれていると判定された場合に、第二のフォーマットの音声データ内のデータを削除し、無音データに差し替えた差し替え音声データを生成し、DTMF解析部2016が、第二のフォーマットの音声データ内にプッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれているか否かを判定し、SIPプロトコル制御部2014が、音声解析生成部2015によって削除されたデータを差し替え音声データとは異なるプロトコルである第三のフォーマット(SIPプロトコル)で出力し、第二送受信制御部2012が、差し替え音声データと第三のフォーマットで出力されたデータとをIVR装置に送信するので、DTMF信号を第三者に漏えいさせることなくIVR装置に送信することができる。
また、従来技術のようにある一定のアルゴリズムで暗号化やスクランブリングした場合には、そのアルゴリズムの解読によって復号化されてしまう可能性があるが、本実施例の場合にはRTP音声データに含まれるDTMF信号情報を無音化してアルゴリズム自体を解読できないようにしているため、たとえ第三者にRTP音声データが聴取された場合であっても、その解読は不可能となる。さらに、スクランブリングした場合には、IVR装置からスクランブルするための音声を出力するため、架電者がそのような音声を聴取するため耳障りとなり、不快感を与えてしまうが、DTMF信号情報を無音化した場合には、そのような不快感を与えることがなくなる。また、RTP音声データが暗号化やスクランブルされた場合には、IVR装置側で復号化する処理が必要となるため、IVR装置側での処理負荷が増大するが、本実施例のようにRTP音声データに含まれるDTMF信号情報を無音化する場合にはそのような弊害はない。
より具体的には、図2に示したように、架電者Uが通話端末100を操作し、コールセンタ200に電話を掛けてIVR装置203に接続した場合、まず、図1に示した場合と同様に、架電者Uが話す通話音声が音声信号S4として公衆交換電話網300を経由して、コールセンタ200内のゲートウェイサーバ201に到達する。すると、ゲートウェイサーバ201によって音声信号がRTP音声データに変換され、あらかじめ記憶されているIVR装置203のIPアドレスと、RTO音声データに含まれているIPアドレスがそのIPアドレスに一致する場合には宛先がIVR装置203であると認識し、RTP音声データS6をIVR装置203に伝送する。一方、IVR装置203が再生するガイダンス音声は、RTP音声データS7としてゲートウェイサーバ201に到達する。ゲートウェイサーバ201内でRTP音声データをガイダンス音声(音声信号S4)に変換し、架電者Uの通話端末100に伝送する。
一方、架電者Uが通話端末100を操作して入力したDTMF信号を送信してIVR装置203で受け付けるコールセンタ200を運用する場合、架電者Uが入力したDTMF信号は、音声信号として公衆交換電話網300を経由し、コールセンタ200内のゲートウェイサーバ201に到達し、RTP音声データに変換される。ゲートウェイサーバ201は、上述したようにRTP音声データの伝送先がIVR装置203であると判定し、RTP音声データの伝送先がIVR装置203であると判定した場合のみ、さらにそのRTP音声データがあらかじめ定められたDTMF信号の周波数に一致する信号を有しているかどうかを判定する。そしてRTP音声データがDTMF信号の周波数に一致する信号を有していると判定した場合、一致すると判定されたその信号の情報をSIPプロトコルのINFOメソッドにより、テレフォニーサーバ202を経由してIVR装置203に伝送する。その後、ゲートウェイサーバ201は、RTP音声データのうちのSIPプロトコルのINFOメソッドとして伝送した部分のデータを削除し、その部分のデータに代えて、同じ長さの無音のRTP音声データを挿入する。このようにして加工されたRTP音声データは、他の通話音声(RTP音声データ)と同様に、IVR装置203に伝送される。
このような方式により、DTMF信号を含むRTP音声データのうち、DTMF信号部分とそれ以外の部分とを分離した上で各データをIVR装置203に送信するので、コールセンタ200内のネットワーク上においても、RTP音声データを蓄積・聴取(盗聴)された場合も、架電者Uが通話端末100から入力したDTMF信号の内容が第三者に知られることはない。また、ゲートウェイサーバ201がコールセンタ200と公衆交換電話網300との接続を仲介し、その内部で上述した変換制御処理を行っているので、コールセンタ200の内部ネットワークでは既にDTMF信号が無音化されているため、内部ネットワークからDTMF信号の内容が外部に漏れてしまう危険性もなくなる。
図9Aは、音声解析生成部2015が有する受信ジッタバッファ20151に記憶されるデータの遷移を示すイメージ図である。図9Aに示すように、受信ジッタバッファ20151では、まず、音声解析部2015が通話音声を示す音声信号から変換したRTP音声データ1が蓄積され、DTMF解析部2016が蓄積されたRTP音声データ1に含まれる音声信号の周波数を解析する。このとき、RTP音声データ1は、通話音声による音声信号であるため、DTMF信号の周波数に一致しない。したがって、RTP音声データ1はそのまま受信ジッタバッファ内に蓄積される(手順1)。
そして、音声解析生成部2015は、続いて入力されたRTP音声データ2をRTP音声データ1と同様に、受信ジッタバッファ20151内に蓄積する(手順2)。そして、DTMF解析部2016は、RTP音声データ2に含まれる音声信号の周波数を解析する。このとき、RTP音声データ2は、通話者Uが通話端末100を操作して入力したDTMF信号であるためDTMF信号の周波数に一致する。したがって、RTP音声データ2は、その部分が無音音声に差し替えられたRTP音声データ3に変換され、受信ジッタバッファ内に蓄積する(手順3)。
次に、音声解析生成部2015は、続いて入力されたRTP音声データ4は通話音声による音声信号であるため、DTMF解析部2016は、手順1の場合と同様にDTMF信号ではないと判定し、そのまま受信ジッタバッファ内に蓄積される(手順4)。そして、音声解析部2015は、RTP音声データ4が蓄積されたときに、あらかじめ定められたタイミングが到来したと判定し、その時点で受信ジッタバッファ20151内に蓄積されているRTP音声データをIVR装置203に伝送するように、第二送受信制御部2012に通知し、第二送受信制御部2012は通知に従って、これらのデータを送信する(手順5)。
なお、通常は、DTMF信号は50msよりも大きいため、RTP音声データの伝送先であるIVR装置203にRTP音声データを送信するために、受信ジッタバッファ20151の蓄積許容量を50msよりも大きな値で設定したうえで、上述した手順3でDTMF信号のRTP音声データを無音化したRTP音声データに差し替える必要がある。この場合、受信ジッタバッファ20151の蓄積量を、例えば500ms程度にまで極端に大きくした場合、RTP音声データの送受信の遅延が発生することが考えられるが、架電者UがIVR装置203の自動音声応答に従って通話端末100を操作している間だけであるため、コールセンタ200での業務を遅延させる程度ではなく、全体の業務には支障は生じない。また、一定のタイミングでのみRTP音声データをIVR装置203に伝送するので、逐次送信する場合に比べてゲートウェイサーバ201の処理負荷が軽減できる。
また、DTMF信号は、操作者Uが通話端末100を操作する時間(例えば、プッシュボタンを押下する時間)によって、その長さも変わる。したがって、図9Bに示すように、DTMF解析部2016は、音声解析生成部2015が受信ジッタバッファ20151に出力したRTP音声データを、一定の周期(例えば、DTMF信号のサイズの10分の1である5ms)で繰り返しサンプリングして取得し、取得したそのデータが、DTMF信号の周波数に一致するか否かを判定し、DTMF信号の周波数に一致すると判定した場合、DTMF解析部2016は、その周波数とそのDTMF信号の長さ(例えば、5ms間隔で10回同じ周波数を検出した場合には、その長さである50ms)を音声解析生成部2015に通知する。
そして、DTMF解析部2016は、RTP音声データのなかからDTMF信号の長さだけDTMF信号情報を抽出し、SIPプロトコル制御部2014は、そのDTMF信号情報を、SIPメッセージ(INFOデータ)として第二送受信制御部2012に出力し、第二送受信制御部2012は、テレフォニーサーバ202を経由して、そのSIPメッセージをIVR装置203に送信する。一方、DTMF解析部2016は、音声解析生成部2015に対して、その長さのDTMF信号情報を削除し、無音のRTP音声データ、あるいはDTMF信号とは無関係の周波数のノイズデータを同じ位置に挿入するように指示し、音声解析生成部2015は、その指示に従って、RTP音声データを差し替える。
このとき、DTMF解析部2016は、DTMF信号の周波数を検出する周期の1つ前の周期T1(あるいは1つ後の周期T2)では、DTMF信号とは異なった周波数を検出することとなるため、少なくともDTMF信号の周波数を検出した周期と、その前後の周期で検出した周波数とを比較して、その前後の周波数がDTMF信号の周波数とは異なる周波数であるか否かを判定し、その前後の周波数がDTMF信号の周波数とは異なる周波数であると判定した場合には、その間の長さのDTMF信号が入力されたと判定する。図9Bに示した例では、DTMF解析部2016が、T2のタイミングでDTMF信号とは異なった周波数を検出した場合には、その周期T2までの長さのDTMF信号が入力されたと判定し、その間のDTMF信号に相当する部分のRTP音声データが無音化されることとなる。また、通常のDTMF信号よりも短い長さで異なる周波数を検出した場合には、その周期T3までの長さのDTMF信号が入力されたと判定し、その間のDTMF信号に相当する部分のRTP音声データが無音化されることとなる。
このように、DTMF信号の周波数の変化を確認した上で無音化を行うので、通話端末100で1回の操作により発生したDTMF信号を確実に無音化させることができ、例えば、通話端末100におけるボタンの2度押し操作が行われた場合であっても、DTMF解析部2016が誤ってDTMF信号の長さを検出し、その結果、DTMF信号ではない部分のRTP音声データを誤って無音化することがなくなる。
なお、図2に示した例では、通話者UとIVR装置203とが通話状態にある場合について説明した。しかし、実際にはコールセンタ200内のオペレータOが状況を確認する等して、通話者UとIVR装置203とオペレータOとの三者通話の状態になる場合もある。この場合、図10に示すように、架電者Uが通話端末100を操作し、コールセンタ200に電話を掛け、オペレータOと通話状態になった後、架電者UとIVR装置203を通話状態にするために、オペレータOがコンピュータ204あるいは通話端末205を操作し、IVR装置203に接続する。このとき、架電者UとオペレータOの通話は終了せず、架電者U、オペレータO、IVR装置203の三者通話状態になる。
このような場合であっても、架電者UとオペレータOとの間の通話音声の伝送方式、および架電者UとIVR装置102との間の通話伝送方式は、図2に示した場合と同様であり(S4〜S9)、DTMF信号情報は、SIPプロトコルのINFOメソッドによりIVR装置203にのみ送信される一方、RTP音声データはゲートウェイサーバ201においてDTMF信号情報を有したRTP音声データが無音化されたRTP音声データに差し替えられ、IVR装置203および通話端末205に送信される。したがって、図2に示した場合と同様に、第三者が同じコールセンタのオペレータの場合であっても、DTMF信号情報が聴取(盗聴)されることを防止することができる。
また、図2に示した例では、1つのコールセンタを対象としたが、複数のコールセンタを有したマルチサイトコールセンタシステムについて適用することも可能である。図11は、本発明にかかる自動応答システムおよび自動応答方法を、マルチサイトコールセンタシステムに適用した場合の構成例を示す図である。図11では、マルチサイトコールセンタシステムにおいて、架電者UとIVR装置1102が通話状態にある場合を示している。
図11に示すように、マルチサイトコールセンタシステムでは、テレフォニーサーバ1101およびIVR装置1102が、コールセンタとは別のセンタ(データセンタ)1100に設けられ、各コールセンタとデータセンタ1100とが互いにWANにより接続されている。このような場合であっても、ゲートウェイサーバ201がDTMF信号情報をSIPプロトコルのINFOメソッドによりIVR装置1102に送信し、RTP音声データのうちのDTMF信号情報を無音化したRTP音声データに差し替える点は、図2に示した場合と同様である(S4、S10〜S13)。
マルチサイトコールセンタシステムでは、図11に示したように、データセンタ1100と各拠点のコールセンタ200とをWAN1100で接続することが多いが、WAN1100上を流れるRTP音声データのうち、架電者Uが入力したDTMF信号は、図2に示した場合と同様に、ゲートウェイサーバ201において、DTMF信号情報が無音化されたRTP音声データとして送信されるため、WAN1100上でRTP音声データを蓄積・聴取(盗聴)された場合であっても、架電者Uが入力したDTMF信号の内容が第三者に知られることはない。
さらに、WAN1100の通信品質が悪いときや帯域が不足した場合、WAN1100上で、RTP音声データに歪が発生することがあるため、この場合にはIVR装置1102がRTP音声データでDTMF信号を正しく認識できない場合があったが、IVR装置1102が、図2に示した場合のように、SIPプロトコルのINFOメソッドを受け取ることにより、DTMF信号情報を伝送する方式に変更することにより、そのような歪の影響を受けることなく、DTMF信号情報をIVR装置に正しく認識させることが可能となる。従来技術のように暗号化やスクランブリングした場合、盗聴に対するセキュリティを強化することはできるが、DTMF信号をRTP通信でIVR装置に送信するため、IVR装置における誤認識を防止することはできない。
また、上述したコールセンタシステム、マルチサイトコールセンタシステムにおいて、通話者の音声を録音する通話録音システムと連携させた場合等には、通話録音システム側では、DTMF信号情報が無音化された後のRTP音声データが録音されるため、録音された音声データを聞き取る際に耳障りな不必要な音を再生させることがなくなる。さらに、通話録音システムで録音されたRTP音声データを、コールセンタ側でテキスト化するような運用を行っている場合、従来技術のような暗号化やスクランブル化した場合には、その暗号化した部分やスクランブル化した部分が誤変換され、正しくテキスト化されない虞があるが、本実施例では音声データを無音化しているため、そのような誤変換の虞がなくなる。
100 通話端末
101 入力受付部
102 受話部
103 送話部
104 通信制御部
200 コールセンタ
201 ゲートウェイサーバ
2011 第一送受信制御部
2012 第二送受信制御部
2013 PSTNプロトコル制御部
2014 SIPプロトコル制御部
2015 音声解析生成部
2016 DTMF解析部
2017 設定情報記憶部

Claims (5)

  1. 通話端末から送信された音声信号を音声データに変換し、前記音声データに対して応答する応答装置に前記音声データを送信するサーバ装置と、前記通話端末とがネットワークを介して接続された自動応答システムであって、
    前記通話端末は、
    通話者が発した音声を受け取る送話部と、
    前記通話者からのプッシュ操作を受け付ける入力受付部と、
    前記入力受付部が受け付けたプッシュ操作による出力信号と前記音声とを音声信号に変換し、変換した音声信号を含む第一のフォーマットの音声データを前記サーバ装置に送信する送信制御部と、を備え、
    前記サーバ装置は、
    前記通話端末から受信した前記第一のフォーマットの音声データを受信する第一通信部と、
    前記第一通信部が受信した前記第一のフォーマットの音声データを前記第一のフォーマットとは異なる第二のフォーマットの音声データに変換し、前記第二のフォーマットの音声データ内に前記プッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれていると判定された場合に、前記第二のフォーマットの音声データ内の前記データを削除し、無音データに差し替えた差し替え音声データを生成する音声解析生成部と、
    前記第二のフォーマットの音声データ内に前記プッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれているか否かを判定する解析部と、
    前記音声解析生成部によって削除された前記データを前記差し替え音声データとは異なるプロトコルである第三のフォーマットで出力するプロトコル制御部と、
    前記差し替え音声データと前記第三のフォーマットで出力されたデータとを前記応答装置に送信する第二通信部と、
    を備えることを特徴とする自動応答システム。
  2. 前記音声解析生成部は、前記第二のフォーマットの音声データを蓄積するバッファ部を有し、
    前記音声解析生成部は、予め定められた周期が到来するまで前記第二のフォーマットの音声データを前記バッファ部に蓄積し、前記周期が到来した場合に、それまで蓄積された前記第二のフォーマットの音声データを前記第二通信部に出力し、前記第二通信部が、出力された前記第二のフォーマットの音声データを前記応答装置に送信する、
    ことを特徴とする請求項1に記載の自動応答システム。
  3. 前記解析部は、前記音声解析生成部が出力した前記第二のフォーマットの音声データに含まれる前記周波数のデータを所定の周期でサンプリングして取得し、取得した前記周波数のデータを取得したタイミングと、そのタイミングの前後のタイミングで前記周波数のデータが異なる周波数のデータであるか否か判定し、異なる周波数のデータであると判定した場合に、それまで取得した長さ分だけの前記周波数のデータを無音化するように、前記音声解析生成部に指示し、前記音声解析制御部が、前記指示に従って前記差し替え音声データを生成する、
    ことを特徴とする請求項1または2に記載の自動応答システム。
  4. 前記送信制御部は、PSTN(Public Switched Telephone Network)プロトコルに準拠した前記第一のフォーマットの音声データを出力し、
    前記音声解析生成部は、RTP(Real-time Transport Protocol)プロトコルに準拠した前記第二のフォーマットの音声データを出力し、
    前記プロトコル制御部は、SIP(Session Initiation Protocol)プロトコルに準拠したフォーマットのデータを出力する、
    ことを特徴とする請求項1〜3のいずれか1項に記載の自動応答システム。
  5. 通話端末から送信された音声信号を音声データに変換し、前記音声データに対して応答する応答装置に前記音声データを送信するサーバ装置と、前記通話端末とがネットワークを介して接続された自動応答システムで行われる自動応答方法であって、
    通話者が発した音声を受け取る送話ステップと、
    前記通話者からの前記通話端末におけるプッシュ操作を受け付ける入力受付ステップと、
    前記入力受付ステップにおいて受け付けたプッシュ操作による出力信号と前記音声とを音声信号に変換し、変換した音声信号を含む第一のフォーマットの音声データを前記サーバ装置に送信する第一送信ステップと、
    前記通話端末から受信した前記第一のフォーマットの音声データを受信する受信ステップと、
    前記受信ステップにおいて受信した前記第一のフォーマットの音声データを前記第一のフォーマットとは異なる第二のフォーマットの音声データに変換する変換ステップと、
    前記第二のフォーマットの音声データ内に前記プッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれているか否かを判定する解析ステップと、
    前記第二のフォーマットの音声データ内に前記プッシュ操作による出力信号が変換された音声信号の周波数に一致する周波数のデータが含まれていると判定された場合に、前記第二のフォーマットの音声データ内の前記データを削除し、無音データに差し替えた差し替え音声データを生成する生成ステップと、
    削除された前記データを前記差し替え音声データとは異なるプロトコルである第三のフォーマットで出力する出力ステップと、
    前記差し替え音声データと前記第三のフォーマットで出力されたデータとを前記応答装置に送信する第二送信ステップと、
    を含むことを特徴とする自動応答方法。
JP2012176797A 2012-08-09 2012-08-09 自動応答システムおよび自動応答方法 Pending JP2014036354A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012176797A JP2014036354A (ja) 2012-08-09 2012-08-09 自動応答システムおよび自動応答方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012176797A JP2014036354A (ja) 2012-08-09 2012-08-09 自動応答システムおよび自動応答方法

Publications (1)

Publication Number Publication Date
JP2014036354A true JP2014036354A (ja) 2014-02-24

Family

ID=50285078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012176797A Pending JP2014036354A (ja) 2012-08-09 2012-08-09 自動応答システムおよび自動応答方法

Country Status (1)

Country Link
JP (1) JP2014036354A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135581A (zh) * 2014-08-15 2014-11-05 国家电网公司 一种通信方法及装置
JP2021040226A (ja) * 2019-09-03 2021-03-11 オンキヨーホームエンターテイメント株式会社 コールセンターシステム、及び、方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198240A (ja) * 1997-09-17 1999-04-09 Aiwa Co Ltd 通信端末装置
JP2000188611A (ja) * 1998-12-22 2000-07-04 Oki Electric Ind Co Ltd 通信装置及びdtmf転送方法
JP2006222893A (ja) * 2005-02-14 2006-08-24 Nec Corp Dtmf信号処理方法、処理装置、中継装置、及び通信端末装置
JP2009026191A (ja) * 2007-07-23 2009-02-05 Nippon Telegraph & Telephone East Corp 配信装置、配信方法および配信システム
JP2012015568A (ja) * 2010-04-26 2012-01-19 Toshiba Corp サーバ装置及びそのdtmf通知方法
JP2012029057A (ja) * 2010-07-23 2012-02-09 Oki Networks Co Ltd 電話システム、センタ装置、音声応答制御プログラム、ユーザ端末及び音声通信プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198240A (ja) * 1997-09-17 1999-04-09 Aiwa Co Ltd 通信端末装置
JP2000188611A (ja) * 1998-12-22 2000-07-04 Oki Electric Ind Co Ltd 通信装置及びdtmf転送方法
JP2006222893A (ja) * 2005-02-14 2006-08-24 Nec Corp Dtmf信号処理方法、処理装置、中継装置、及び通信端末装置
JP2009026191A (ja) * 2007-07-23 2009-02-05 Nippon Telegraph & Telephone East Corp 配信装置、配信方法および配信システム
JP2012015568A (ja) * 2010-04-26 2012-01-19 Toshiba Corp サーバ装置及びそのdtmf通知方法
JP2012029057A (ja) * 2010-07-23 2012-02-09 Oki Networks Co Ltd 電話システム、センタ装置、音声応答制御プログラム、ユーザ端末及び音声通信プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104135581A (zh) * 2014-08-15 2014-11-05 国家电网公司 一种通信方法及装置
CN104135581B (zh) * 2014-08-15 2016-05-04 国家电网公司 一种通信方法及装置
JP2021040226A (ja) * 2019-09-03 2021-03-11 オンキヨーホームエンターテイメント株式会社 コールセンターシステム、及び、方法

Similar Documents

Publication Publication Date Title
JP4312700B2 (ja) ネットワーク通信装置
US8750467B2 (en) Systems and methods for handling calls associated with an interactive voice response application
CN1636384B (zh) 进行带可选语音到文本转换的电话会议的方法和系统
US20140278402A1 (en) Automatic Channel Selective Transcription Engine
CN101742001B (zh) 一种ip电话与ivr间数据信息交互方法、系统及装置
US20050232169A1 (en) System and method for providing telecommunication relay services
US11689585B2 (en) Processing sensitive information over VoIP
US11588935B2 (en) Forking transmit and receive call audio channels
JP4266188B2 (ja) 通信システム及びこの通信システムで使用される通信端末装置、及び通信システムで使用される通信方法
JP5691586B2 (ja) 秘話通信システム、装置及びプログラム
US7986773B2 (en) Interactive voice response system security
JP2014036354A (ja) 自動応答システムおよび自動応答方法
JP6028289B2 (ja) 中継システム、中継方法及びプログラム
US8837459B2 (en) Method and apparatus for providing asynchronous audio messaging
EP3435620A1 (en) Identity validation in a duplex communication
CN111246021A (zh) 用于实现对个人语音助理的远程访问的方法
CN103905675B (zh) 调节VoIP电话系统电话回声的方法及装置
JP6552027B1 (ja) 通信装置、通信データ記録システム、通信方法、およびプログラム
US20080101562A1 (en) Communication system and voice mail apparatus
JP2005094569A (ja) Ipコールセンタシステム及びその装置並びにプログラム
WO2019111810A1 (ja) 通信装置、通信データ記録システム、通信方法、およびプログラム
CN110249615A (zh) 电话系统、电话机、电话转移方法和程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150610

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160301

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160906