JP2009047865A - Information providing system using speech recognition - Google Patents

Information providing system using speech recognition Download PDF

Info

Publication number
JP2009047865A
JP2009047865A JP2007213087A JP2007213087A JP2009047865A JP 2009047865 A JP2009047865 A JP 2009047865A JP 2007213087 A JP2007213087 A JP 2007213087A JP 2007213087 A JP2007213087 A JP 2007213087A JP 2009047865 A JP2009047865 A JP 2009047865A
Authority
JP
Japan
Prior art keywords
information
voice
communication terminal
speech
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007213087A
Other languages
Japanese (ja)
Other versions
JP5139748B2 (en
Inventor
Masayuki Nonaka
誠之 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MOBI TECHNO KK
Original Assignee
MOBI TECHNO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MOBI TECHNO KK filed Critical MOBI TECHNO KK
Priority to JP2007213087A priority Critical patent/JP5139748B2/en
Publication of JP2009047865A publication Critical patent/JP2009047865A/en
Application granted granted Critical
Publication of JP5139748B2 publication Critical patent/JP5139748B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information providing system using speech recognition, capable of efficiently providing information, when necessary information is obtained by inputting speech from communication terminals. <P>SOLUTION: The information providing system using the speech recognition has a speech response management device 20 comprising: a speech recognition section 22 which receives speech information from a plurality of communication terminals, and which recognizes speech contents; an information management section 23 in which one or more pieces of associated information associated with specified speech which is recognized in the speech recognition section 22; and an operator management data base (DB) 26 in which the specified speech which is recognized and one or more pieces of associated information corresponding to the specified speech are registered while being given a priority order for each communication number of the communication terminal. When the specified speech which is registered on the operator management DB 26 is input from the communication terminal 10, the registered associated information is transmitted to the communication terminal according to the priority order. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、各人が所有、管理する各種の通信端末を介して音声情報を送信した際、その音声情報を認識して、所定の情報の提供が受けられる音声認識を用いた情報提供システムに関する。   The present invention relates to an information providing system using voice recognition that recognizes voice information and receives provision of predetermined information when the voice information is transmitted through various communication terminals owned and managed by each person. .

従来、携帯電話のような通信端末を介して音声を送信した際、その音声を認識する技術が知られている。例えば、特許文献1には、音声認識による個人認証と電話予約を結びつけた電話予約スケジュール管理方法が開示されている。   2. Description of the Related Art Conventionally, a technique for recognizing a voice when the voice is transmitted via a communication terminal such as a mobile phone is known. For example, Patent Document 1 discloses a telephone reservation schedule management method in which personal authentication by voice recognition and telephone reservation are combined.

この公知技術は、予め利用者が電話により予約管理サーバに音声情報を登録しておき、その声紋データを解析することで、個人認証するようにしている。すなわち、音声情報を登録した利用者が予約管理サーバにアクセスして、病院や店等に対して予約する場合、登録されている声紋データと、アクセスしてきた人物の声紋データの認識処理を行い、同一人物であると認証されれば、実際の予約ができるよう構成されている。   In this known technique, a user registers voice information in advance in the reservation management server by telephone and analyzes the voiceprint data to perform personal authentication. That is, when a user who has registered voice information accesses the reservation management server and makes a reservation to a hospital, a store, etc., the registered voiceprint data and the voiceprint data of the person who has accessed are recognized, If it is authenticated that they are the same person, an actual reservation can be made.

なお、音声認識に関する技術については、従来から様々な手法が存在しており、一般的には、統計的な手法を用いて話者の発音を解析することが行われている。具体的には、大量の発話を記録した学習用データから発音の特徴を学習しておき、実際に入力された音声信号から最もその特徴に近いものを認識結果として、文字列に変換したり、或いは、認識結果として記録することが行なわれている。
特開2005−182241号
Note that there have been various techniques related to speech recognition, and generally speaking, a speaker's pronunciation is analyzed using a statistical technique. Specifically, learning features of pronunciation from learning data that recorded a large amount of utterances, from the input speech signal that is closest to that feature, converted to a character string, Or recording as a recognition result is performed.
JP-A-2005-182241

ところで、組織内における情報伝達業務、とりわけ企業内で頻繁になされる電話を介しての情報伝達業務は、情報伝達希望者が様々な部署にアクセスし、各種の必要な情報を入手することが行われている。例えば、経営者(情報提供希望者)であれば、商品管理部等にアクセスして、当日の売上情報や、在庫管理情報を入手したり、或いは、ERPやホームサーバにアクセスして、経営資源に関する各種の情報を入手することが日常的に行われている。通常、情報提供希望者は、日常的に、略同一情報の提供を受けることが多く、電話で音声情報(入手を希望する情報の提供)を相手方の担当者等に伝える際、同一の言葉を使用するのが一般的である。例えば、当日の売上情報を知りたいのであれば、電話で「売上が知りたい」や、単に「売上」とか「あがり」等の単語を伝えるなど、人によって情報提供に伴う発話フレーズは略一致していると考えられる。   By the way, in the information transmission business in the organization, especially the information transmission business that is frequently done in the company, the information transmission applicant accesses various departments and obtains various necessary information. It has been broken. For example, if you are a manager (a person who wants to provide information), you can access the product management department and get sales information and inventory management information for the day, or you can access the ERP or home server to It is routine to obtain various information on In general, a person who wants to provide information is often provided with substantially the same information on a daily basis, and when the voice information (providing information desired to be obtained) is transmitted to the person in charge of the other party by telephone, It is common to use. For example, if you want to know the sales information for the day, the utterance phrases associated with the information provided by the person are almost the same, such as “I want to know the sales” by phone or simply telling the word “sales” or “raising”. It is thought that.

この場合、通話を受けた担当者が情報提供希望者の言葉(日常的に使われる言葉の意味)を理解しており、それにより、必要な情報を直ちに提供できれば問題ないが、異なる担当者が通話を受けた場合等、情報提供希望者は日常的な言葉を使用したつもりでも、適切に伝わらず、必要な情報を入手する上でトラブル等が生じる可能性もある。このため、企業内において、電話などの端末を介して日常的に行われる業務連絡や各種の報告に関しては、更に効率化する余地があると考えられる。   In this case, the person in charge who received the call understands the words of the person who wants to provide the information (meaning the words that are used on a daily basis). Even if a person who wants to provide information intends to use daily words when receiving a call, there is a possibility that trouble may occur in obtaining necessary information without being properly communicated. For this reason, it is considered that there is room for further efficiency in business communications and various reports that are made on a daily basis through terminals such as telephones.

本発明は、上記した問題に着目してなされたものであり、例えば、企業のような組織において、通信端末から音声を入力して必要情報を入手する場合、効率的な情報提供を可能にする、音声認識を用いた情報提供システムを提供することを目的とする。   The present invention has been made paying attention to the above-mentioned problems. For example, in an organization such as a company, when necessary information is obtained by inputting voice from a communication terminal, efficient information provision is enabled. An object is to provide an information providing system using voice recognition.

上記した目的を達成するために、請求項1に係る発明は、それぞれ固有の通信番号を有する複数の通信端末からの音声情報を受信し、その音声内容を認識する音声認識部と、前記音声認識部で認識された特定音声と関連付けされた1つ以上の関連情報を格納した情報管理部と、前記関連付けされた1つ以上の関連情報の優先順位を決定し、通信端末の通信番号毎に、音声認識された特定音声と、この特定音声に対応する1つ以上の関連情報を、優先順位をつけて登録する通信端末用情報記憶部と、を具備する音声応答管理装置を有し、前記音声応答管理装置は、前記通信端末から、前記通信端末用情報記憶部に登録された特定音声が入力された場合、前記登録されている関連情報を、前記優先順位に従って当該通信端末に送信することを特徴とする。   In order to achieve the above-described object, the invention according to claim 1 is configured to receive voice information from a plurality of communication terminals each having a unique communication number and recognize the voice content, and the voice recognition. An information management unit storing one or more related information associated with the specific voice recognized by the unit, and determining a priority order of the one or more related information, and for each communication number of the communication terminal, A voice response management device comprising: a voice-recognized specific voice; and a communication terminal information storage unit that registers one or more pieces of related information corresponding to the specific voice with priority. When a specific voice registered in the information storage unit for communication terminal is input from the communication terminal, the response management device transmits the related information registered to the communication terminal according to the priority order. Characteristic To.

上記した構成によれば、携帯電話のような通信端末を介して音声応答管理装置にアクセスし、その所有者が日常的に使用している言葉を音声で伝えると、その音声が認識され、その通信端末に対して、認識された音声と対応付けされた関連情報が送信される。この場合、上記した音声応答管理装置における情報管理部は、様々な情報を蓄積、アップデートすることで、通信端末の所有者は、単に、音声応答管理装置にアクセスして日常的に用いる言葉を送信するだけで、必要とされる最新情報を適宜入手することが可能になる。   According to the configuration described above, when the voice response management apparatus is accessed through a communication terminal such as a mobile phone and the owner uses the voice in daily use, the voice is recognized and the voice is recognized. Related information associated with the recognized voice is transmitted to the communication terminal. In this case, the information management unit in the voice response management apparatus described above accumulates and updates various information, so that the owner of the communication terminal simply accesses the voice response management apparatus and transmits the words used on a daily basis. This makes it possible to obtain the latest information that is needed as appropriate.

また、請求項2に係る発明は、前記通信端末毎に登録されている特定音声に関連付けされた関連情報についての優先順位は、当該通信端末からその特定音声に対して要求される関連情報が変更された場合、書換え処理が成されることを特徴とする。   Further, in the invention according to claim 2, the priority of the related information associated with the specific voice registered for each communication terminal is changed according to the related information required for the specific voice from the communication terminal. If it is done, a rewrite process is performed.

このような構成では、通信端末の所有者が、日常的に使用している言葉に関連付けされる入手希望情報について、その内容を変更するような場合、常に、言葉に関連付けされる入手希望情報は最新のものに書換え処理される。例えば、それまでは、「売上」という言葉が「当日の売上情報」と関連付けされていたような場合において、「売上」については「当日の収支情報」の入手を希望するのであれば、同一の言葉に対して、それまでの入手希望情報を変更することが可能となる。すなわち、言葉と、その言葉に関連付けされる入手希望情報との間で学習機能を持たせることで、通信端末所有者は、最適な希望情報を入手することが可能になる。   In such a configuration, when the owner of the communication terminal changes the content of the desired acquisition information associated with the words that are used daily, the desired acquisition information associated with the words is always Rewritten to the latest version. For example, until then, if the word “sales” was associated with “sales information for the day”, if you wanted to obtain “payment information for the day” for “sales”, the same It becomes possible to change the information desired to be obtained for words. That is, by providing a learning function between a word and the desired acquisition information associated with the word, the communication terminal owner can obtain the optimum desired information.

また、請求項3に係る発明は、前記通信端末用情報記憶部に記憶されている関連情報に対応する特定音声は、前記通信端末からの音声入力によって変更可能であることを特徴とする。   The invention according to claim 3 is characterized in that the specific voice corresponding to the related information stored in the information storage unit for communication terminal can be changed by voice input from the communication terminal.

このような構成では、通信端末の所有者が、日常的に使用している言葉と、それに関連付けされる入手希望情報について、その対応関係を変更することが可能であるため、例えば、通信端末の所有者は、入手希望情報と全く異なる言葉に変更することで、周囲に気兼ねすることなく、必要な情報を入手することが可能となる。   In such a configuration, since the owner of the communication terminal can change the correspondence relationship between the words that are used on a daily basis and the information that is desired to be acquired, the correspondence of the communication terminal, for example, The owner can obtain necessary information without worrying about the surroundings by changing the language to be completely different from the desired information.

本発明に係る音声認識を用いた情報提供システムによれば、通信端末から音声を入力して必要情報を入手する場合、効率的な情報提供が可能になる。   According to the information providing system using voice recognition according to the present invention, efficient information can be provided when necessary information is obtained by inputting voice from a communication terminal.

以下、本発明に係る音声認識を用いた情報提供システムの一実施形態について、具体的に説明する。   Hereinafter, an embodiment of an information providing system using voice recognition according to the present invention will be described in detail.

図1は、音声認識を用いた情報提供システム1の概略構成を示す図である。この実施形態における情報提供システム1は、企業体としての本社2と、本社2とは別の場所(同一場所でも良い)に存在する支社3との間で構築されており、両者は、所定の通信網100を介して接続されている。   FIG. 1 is a diagram showing a schematic configuration of an information providing system 1 using voice recognition. The information providing system 1 in this embodiment is constructed between a head office 2 as a business entity and a branch office 3 existing in a different location (may be the same location) as the head office 2. They are connected via the communication network 100.

通信網100は、例えば、一般的なアナログ電話公衆網、IP網、或いは専用回線(LAN等)で構築されており、多数の従業員が所有、管理する夫々の通信端末10が、後述する音声応答管理装置(音声応答管理サーバ)20に対してセッションを確立したときに、両者の間で各種情報(音声情報、画像情報)の送受が可能となるように作用する。この場合、通信網100は、複数のネットワークの融合ネットワークになっていても良く、その一部又は全てが携帯電話網のような無線通信に係るものであっても良い。なお、本実施形態では、通信端末10及び音声応答管理装置20間の通信方法として、例えば、VoIPを用いたIPネットワーク通信を適用しており、通信端末10から音声応答管理装置20に対して直接アクセスして、各種情報の送受信が可能となっている。   The communication network 100 is constructed by, for example, a general analog telephone public network, an IP network, or a dedicated line (such as a LAN), and each communication terminal 10 owned and managed by a large number of employees has a voice to be described later. When a session is established with respect to the response management device (voice response management server) 20, various information (voice information, image information) can be transmitted and received between the two. In this case, the communication network 100 may be a fusion network of a plurality of networks, or a part or all of the communication network 100 may be related to wireless communication such as a mobile phone network. In this embodiment, as a communication method between the communication terminal 10 and the voice response management apparatus 20, for example, IP network communication using VoIP is applied, and the voice response management apparatus 20 is directly accessed from the communication terminal 10. Various information can be transmitted and received.

本社2内には、前記通信網100に対して、IPネットワーク(LAN)101が接続されており、企業内における従業者は、夫々が所有する携帯可能な通信端末10から、アクセスポイント(AP)12を介して、LAN101内に設置された音声応答管理装置20にアクセス可能となっている。具体的には、各通信端末10からは、LAN101に設置されているルータ15を介して音声応答管理装置20に対してアクセス可能となっている。なお、本社2内に設置されるLAN101には、上記した音声応答管理装置20以外にも、構内交換機、いわゆるIP−PBX(Private Branch Exchange)16が設置されており、上記したLAN101に接続される各種機器同士の通信を制御する。   In the head office 2, an IP network (LAN) 101 is connected to the communication network 100, and an employee in the company can access an access point (AP) from a portable communication terminal 10 owned by each company. 12, the voice response management apparatus 20 installed in the LAN 101 can be accessed. Specifically, each communication terminal 10 can access the voice response management apparatus 20 via the router 15 installed in the LAN 101. The LAN 101 installed in the head office 2 is provided with a private branch exchange, so-called IP-PBX (Private Branch Exchange) 16, in addition to the voice response management apparatus 20 described above, and is connected to the LAN 101 described above. Controls communication between various devices.

図2は、上記したLAN101に接続される通信端末10の概略構成を示すブロック図である。本実施形態の通信端末10は、IP電話機能を備えた携帯可能な構成となっており、上記したアクセスポイント12、及びルータ15を介して、音声応答管理装置20との間でセッションが確立した際、両者の間で情報の送受が成されるようになっている。   FIG. 2 is a block diagram showing a schematic configuration of the communication terminal 10 connected to the LAN 101 described above. The communication terminal 10 of this embodiment has a portable configuration with an IP telephone function, and a session is established with the voice response management apparatus 20 via the access point 12 and the router 15 described above. At the same time, information is exchanged between the two.

通信端末10は、中央演算処理装置(CPU)を含み、装置全体を制御する制御部10aと、LAN101との間で無線通信を実行する送受信部10bと、制御部のための動作プログラムや画像データなどが格納されると共に、制御部や送受信部10b等のワーク領域となるメモリ10cと、画像や文字等の視認可能な情報(画像と総称する)を表示するLCD等の画像表示部10dと、テンキーや各種の機能キー等を含む操作部10eと、音声情報を送受信するためのマイクやスピーカ等によって構成される音声入出力部10fなどを備えており、バス11を介して各種情報のやりとりが成されるようになっている。なお、通信端末10については、上記したような携帯型に限定されることはなく、少なくとも音声の送受信ができれば良いのであり、例えば、一般化されているIP電話機能を備えた固定電話タイプのものや、そのような機能を有するコンピュータ等であっても良い。   The communication terminal 10 includes a central processing unit (CPU), a control unit 10a that controls the entire apparatus, a transmission / reception unit 10b that performs wireless communication with the LAN 101, and an operation program and image data for the control unit. And the like, and a memory 10c serving as a work area such as a control unit and a transmission / reception unit 10b, an image display unit 10d such as an LCD for displaying visible information (collectively referred to as an image) such as images and characters, An operation unit 10e including a numeric keypad and various function keys, and a voice input / output unit 10f including a microphone and a speaker for transmitting and receiving voice information are provided. Various types of information can be exchanged via the bus 11. It is to be made. Note that the communication terminal 10 is not limited to the above-described portable type, and it is sufficient that at least voice can be transmitted / received. For example, a fixed telephone type having a generalized IP telephone function is available. Or a computer having such a function.

図3は、上記したLAN101に接続される音声応答管理装置20の構成を示すブロック図である。音声応答管理装置20は、IPネットワークに接続されるサーバとして構成されており、各通信端末10から音声情報を受信する機能と、アクセスがあった通信端末10に対して、その通信端末10で要求される情報(関連情報と称する)を送信する機能を備えている。この場合、音声応答管理装置20は、セキュリティ管理を行なう構成、例えば、通信端末10毎に付与されるセキュリティレベル、及び関連情報に関するファイルに付与されたセキュリティレベルを保持する情報管理DB(図示せず)を備えていても良い。具体的には、各通信端末10からアクセスがあった際、その通信端末の固有の番号毎に付与されているセキュリティレベルを算出し、算出したセキュリティレベルと、要求のあったファイルのセキュリティレベルとを音声応答管理装置20に設置した判定手段において比較し、アクセスが許可されていると判定された場合に、要求されたファイルを、その通信端末に送信する。また、ユーザが通常使用している通信端末が故障した場合を想定し、音声応答管理装置にて、ユーザの音声情報から声紋などの特徴点を認識し、通信端末毎に付与されているセキュリティレベルを越えた音声応答により、要求されたファイルをその通信端末に送信する事も可能である。   FIG. 3 is a block diagram showing the configuration of the voice response management apparatus 20 connected to the LAN 101 described above. The voice response management apparatus 20 is configured as a server connected to the IP network, and receives a request from the communication terminal 10 for the function of receiving voice information from each communication terminal 10 and the accessed communication terminal 10. The function to transmit information (referred to as related information) is provided. In this case, the voice response management apparatus 20 is configured to perform security management, for example, an information management DB (not shown) that holds a security level given to each communication terminal 10 and a security level given to a file related to related information. ) May be provided. Specifically, when each communication terminal 10 is accessed, the security level assigned to each unique number of the communication terminal is calculated, and the calculated security level and the security level of the requested file are calculated. Are compared by the determination means installed in the voice response management apparatus 20, and if it is determined that access is permitted, the requested file is transmitted to the communication terminal. In addition, assuming that the communication terminal normally used by the user breaks down, the voice response management device recognizes a feature point such as a voiceprint from the user's voice information, and the security level assigned to each communication terminal It is also possible to send the requested file to the communication terminal by voice response exceeding.

なお、本発明においては、通信端末10で要求される情報(関連情報)については、音声情報に限られず、画像情報を含んでいても良いが、本実施形態では、関連情報は、音声情報として説明する。   In the present invention, the information requested by the communication terminal 10 (related information) is not limited to audio information, and may include image information. In this embodiment, the related information is audio information. explain.

音声応答管理装置20は、LAN101を介して音声情報やテンキー操作信号を受け付ける情報入力部21と、この情報入力部21から入力された音声信号を音声認識する音声認識部22と、音声認識部で認識された言葉と関連付けされた関連情報やインデックス情報を格納している情報管理部23と、音声認識部22で認識された言葉に応じて、情報管理部23に格納されている情報の中から適切なものを抽出する情報抽出部24と、通信端末10の操作者毎の情報(言葉と、それに関連付けされている関連情報、及び電話番号のような通信端末を特定可能な情報)を管理する操作者管理DB26と、操作者管理DB26に格納される操作者毎に、特定の言葉に対して関連付けされる関連情報の順位(当該操作者に送信する複数の関連情報の優位性)を変更処理する順位変更処理部28と、各操作者の通信端末に対してLAN101を介して関連情報を送信する情報出力部29と、上記した各構成部の動作を制御する音声情報制御部30とを備えている。   The voice response management apparatus 20 includes an information input unit 21 that receives voice information and numeric keypad operation signals via the LAN 101, a voice recognition unit 22 that recognizes voice signals input from the information input unit 21, and a voice recognition unit. An information management unit 23 that stores related information and index information associated with the recognized words, and information stored in the information management unit 23 according to the words recognized by the speech recognition unit 22. An information extraction unit 24 that extracts appropriate information and information for each operator of the communication terminal 10 (words, related information associated with the information, and information that can identify the communication terminal such as a telephone number) are managed. For each operator stored in the operator management DB 26 and the operator management DB 26, the ranking of related information associated with a specific word (a plurality of related information to be transmitted to the operator) Order change processing unit 28 for changing the superiority), information output unit 29 for transmitting relevant information to each operator's communication terminal via the LAN 101, and voice information for controlling the operation of each component unit described above. And a control unit 30.

上記した音声認識部22は、従来の手法、例えば、統計的な手法にしたがって、通信端末10を介して送信される音声情報を解析し、主要フレーズの中から特定音声を認識する機能を有する。例えば、「私に売上情報を送ってください」といった類の音声情報であれば、主要フレーズである「売上情報を送ってください」の中から、特定音声と考えられる「売上情報」を認識する。このような特定音声の認識に関しては、例えば、大量の発話や会話フレーズパターンを記録した学習用データから、特定音声になる可能性のある発音の特徴を予め学習させておき、実際に入力されたフレーズの中の音声信号から、その特徴に近いものを含んでいた場合、それを特定音声として割り出せば良い。   The voice recognition unit 22 described above has a function of analyzing voice information transmitted via the communication terminal 10 according to a conventional method, for example, a statistical method, and recognizing a specific voice from main phrases. For example, in the case of voice information such as “send me sales information”, “sales information” that is considered to be a specific voice is recognized from the main phrase “send sales information”. With regard to recognition of such specific speech, for example, learning features that may become specific speech are learned in advance from learning data that records a large amount of utterances and conversation phrase patterns, and are actually input. If the speech signal in the phrase contains something close to its characteristics, it may be determined as specific speech.

前記情報抽出部24は、音声認識部22で認識した音声に関し、認識した音声毎に関連する情報を抽出可能となるように、例えば、図4に示すような抽出テーブルを格納している。この抽出テーブルは、認識可能な音声を予め多数登録しておき、その登録した音声毎に、それに対応する関連情報を特定するためのコード値を付与することで構成されており、例えば、認識した音声に関連するであろう複数の関連情報を、認識音声毎にコード値として関連付けしている。具体的には、認識音声が「A」(アルファベットで代用する)という言葉であれば、その「A」という言葉に関連する情報群を、それぞれコード値(a〜a)として格納している。この場合、コード値が付与されている関連情報については、aからa、a…aに行くに従って、その言葉と関連性が低くなるように定められている。なお、抽出テーブルに存在する認識音声については、その具体的表現や、語彙数は限定されることはなく、認識音声毎に対応付けされている関連情報の個数についても限定されることはない。 For example, the information extraction unit 24 stores an extraction table as illustrated in FIG. 4 so that information related to each recognized voice can be extracted with respect to the voice recognized by the voice recognition unit 22. This extraction table is configured by registering a large number of recognizable voices in advance and assigning a code value for specifying the related information corresponding to each of the registered voices. A plurality of pieces of related information that will be related to the voice are associated as code values for each recognized voice. Specifically, if the word speech recognition is "A" (substitute the alphabet), and stores the information group associated with the word that "A", as respective code values (a 1 ~a n) Yes. In this case, the additional information code value is assigned, as it goes from a 1 to a 2, a 3 ... a n , relevance is defined so as to be lower and the word. Note that the specific expression and the number of vocabularies of the recognized speech existing in the extraction table are not limited, and the number of related information associated with each recognized speech is not limited.

前記情報管理部23は、上記したコード値毎に、そのインデックス情報(携帯端末に対して、操作者の選択を促す情報)が格納されている。例えば、図5に示す対応テーブルのように、コード値に応じて、最終的に送信する詳細な情報についてのインデックス情報が格納されている。   The information management unit 23 stores index information (information for prompting the mobile terminal to select an operator) for each code value described above. For example, as in the correspondence table shown in FIG. 5, index information about detailed information to be finally transmitted is stored according to the code value.

この場合、各インデックス情報には、最終的に操作者の通信端末10に送信される詳細情報(本実施形態では音声情報)が関連付けされているが、この詳細な情報については、随時更新されたり、定期的にアップデートされるようなものであっても良い。このため、情報管理部23については、詳細な情報を格納する手段として、上記したLAN101内に設置される情報管理専用のサーバにそのような機能を持たせても良いし、或いはパーソナルコンピュータ等によってその機能を持たせても良い。   In this case, detailed information (speech information in the present embodiment) that is finally transmitted to the operator's communication terminal 10 is associated with each index information, but this detailed information may be updated as needed. It may be something that is regularly updated. Therefore, for the information management unit 23, as a means for storing detailed information, a server dedicated to information management installed in the LAN 101 described above may have such a function, or by a personal computer or the like. You may give that function.

前記操作者管理DB26は、発信される通信端末10を特定できる固有情報(ここでは通信端末に付与される番号)に応じてその操作者毎の個別情報を管理する機能を有する。具体的には、図6に示すように、通信端末を特定する番号毎(操作者毎)に、登録されている音声(言葉)とそれに対応付けされている関連情報(コード値として関連付けする)を管理する。この場合、以下の順位変更処理部28によって、通信端末毎に、その操作者が登録した音声に対し、優先順位を付けてコード値が格納されている。   The operator management DB 26 has a function of managing individual information for each operator according to unique information (here, a number assigned to the communication terminal) that can identify the communication terminal 10 to be transmitted. Specifically, as shown in FIG. 6, for each number (each operator) specifying a communication terminal, a registered voice (word) and related information associated therewith (associated as a code value). Manage. In this case, the following rank change processing unit 28 stores, for each communication terminal, a code value with a priority assigned to the voice registered by the operator.

前記順位変更処理部28は、いわゆる学習機能として、操作者管理DB26に記録される音声毎に関連付けされる関連情報コード値の優位性を変更する機能を有する。例えば、特定の操作者が、登録されている言葉に関し、抽出する情報が頻繁に変更される場合、変更される毎にコード値に要求値を立てるようにし、その要求値が多い順に関連情報コード値に順位を付与する。具体的には、上記したように、通常であれば、コード値が付与されている関連情報については、当初は、aからa、a…に行くに従って、その言葉と関連性が低くなるように定められているが、その言葉と関連性が低い情報を操作者が要求することで、図6に示すように、関連性の低いコード値であっても優位性を高くするように変更処理する。 The rank change processing unit 28 has a function of changing the superiority of the related information code value associated with each voice recorded in the operator management DB 26 as a so-called learning function. For example, if the information to be extracted is frequently changed for a registered word by a specific operator, a required value is set for the code value each time the information is changed, and the related information codes are arranged in descending order of the required value. Give rank to values. Specifically, as described above, normally, related information to which code values are assigned is initially less relevant to the words as it goes from a 1 to a 2 , a 3 . As shown in FIG. 6, the operator requests information that has low relevance to the word so that even if the code value has low relevance, the advantage is increased. Change process.

前記情報出力部29は、セッションが確立した通信端末10に対し、その通信端末が要求する所望の情報(インデックス情報、及び詳細な情報)を音声情報として送信する機能を有する。この音声情報送信に際しては、上述したような情報管理DBによって、セキュリティ管理を行なうようにしても良い。すなわち、通信端末10毎に付与されるセキュリティレベル、及び関連情報に関するファイルに付与されたセキュリティレベルを保持する情報管理DBが、通信端末10との間で、情報セキュリティレベルを満たしていると判定した場合にのみ、その情報を出力するように動作し、満たさない場合は、例えば「申し訳ありませんが、情報読み出し権限がありません」等と返答しても良い。或いは、上記した操作者管理DB26は、各操作者の特徴点、例えば、音声情報による声紋や、操作者独自によって設定されたパスワード(音声であっても良いし、キー操作による入力であっても良い)等の特徴点を、セキュリティレベルを付与して記憶しておいても良い。このように、操作者毎の特徴点を、セキュリティレベルを付与して関連情報コード値に関連付けして記憶しておくことで、例えば、ユーザが通常使用している通信端末が故障した場合、或いは、手元に自らが管理する通信端末がないような場合であっても、ユーザの音声情報やパスワードからその特徴点を認識し、そのセキュリティレベルを越えたものであれば、要求されたファイルをその通信端末に送信することも可能となる。もちろん、上述したようなセキュリティ管理の手法については、適宜変形することが可能である。   The information output unit 29 has a function of transmitting desired information (index information and detailed information) requested by the communication terminal as voice information to the communication terminal 10 with which a session has been established. When this voice information is transmitted, security management may be performed by the information management DB as described above. That is, it is determined that the information management DB that holds the security level assigned to each communication terminal 10 and the security level assigned to the file relating to related information satisfies the information security level with the communication terminal 10. Only when the operation is performed to output the information, if not satisfied, for example, “sorry, there is no information read authority” may be replied. Alternatively, the operator management DB 26 described above may be a feature point of each operator, for example, a voice print based on voice information, or a password (speech or an input by key operation) set by the operator. May be stored with a security level. Thus, by storing the characteristic points for each operator in association with the related information code value by giving the security level, for example, when the communication terminal normally used by the user fails, or Even if there is no communication terminal managed by the user, the feature point is recognized from the user's voice information and password, and if the security level is exceeded, the requested file is deleted. It is also possible to transmit to a communication terminal. Of course, the security management method as described above can be modified as appropriate.

次に、図7に示すフローチャートにしたがって、上記した実施形態に関する音声応答管理装置20における音声情報制御部30が制御する動作手順の一例について説明する。   Next, according to the flowchart shown in FIG. 7, an example of an operation procedure controlled by the voice information control unit 30 in the voice response management apparatus 20 according to the above-described embodiment will be described.

最初、所定の通信端末10から音声信号が入力されると(ST01)、音声認識部22で特定音声が認識される(ST02)。そして、ここで認識された音声は、操作者管理DB26を参照して、その音声が、その通信端末において既に登録されたものであるか否かが判断される(ST03)。   Initially, when a voice signal is input from a predetermined communication terminal 10 (ST01), the voice recognition unit 22 recognizes a specific voice (ST02). Then, the voice recognized here is referred to the operator management DB 26, and it is determined whether or not the voice is already registered in the communication terminal (ST03).

認識した音声が登録されていない音声であれば(ST03:No)、その認識音声に関して、情報抽出部24は、その認識音声に関連付けされているコード値に基づき、情報管理部23から、その認識音声に関するインデックス情報を抽出する(ST04)。ここで抽出されるインデックス情報は、その認識音声に関連付けされたコード値全てであっても良いし、該当するコード値が多ければ、優先順位が高い(関連性が高い)所定の個数であっても良い。そして、ここで抽出されたインデックス情報(音声情報)は、情報出力部29を介してアクセスがあった通信端末10に送信され(ST05)、その通信端末から確定操作信号(テンキー操作による確定信号)の入力を待つ。確定操作信号の入力があれば(ST06;Yes)、確定したインデックス情報に伴う詳細な音声情報を情報管理部23から抽出し、再び、その通信端末10に送信する(ST07)。   If the recognized voice is not registered (ST03: No), the information extraction unit 24 recognizes the recognition voice from the information management unit 23 based on the code value associated with the recognized voice. Index information relating to voice is extracted (ST04). The index information extracted here may be all code values associated with the recognized speech, or if there are many corresponding code values, a predetermined number of high-priority orders (highly related). Also good. The index information (speech information) extracted here is transmitted to the communication terminal 10 accessed via the information output unit 29 (ST05), and a confirmation operation signal (confirmation signal by ten-key operation) is transmitted from the communication terminal. Wait for input. If there is an input of a confirmation operation signal (ST06; Yes), detailed audio information associated with the confirmed index information is extracted from the information management unit 23 and transmitted again to the communication terminal 10 (ST07).

一方、確定操作信号の入力がなく(ST06;No)、かつ新たなインデックス情報の抽出要求があれば(ST06A;Yes)、上記したST04からST06の処理が繰り返される。この場合、通信端末10に対しては、次第に、認識された音声と関連性が薄くなるインデックス情報が送信されるようになる。なお、新たなインデックス情報の抽出要求がなければ(ST06A;No)、終了となり、その通信端末に対しては、詳細な関連情報が送信されることはない。   On the other hand, if there is no input of a definite operation signal (ST06; No) and there is a request for extracting new index information (ST06A; Yes), the above-described processing from ST04 to ST06 is repeated. In this case, index information that becomes less relevant to the recognized voice is gradually transmitted to the communication terminal 10. If there is no new index information extraction request (ST06A; No), the process ends and detailed related information is not transmitted to the communication terminal.

次に、上記したST07の詳細な音声情報を送信した後、その該当する通信端末10から、音声変更の要求があるか否かを判断する(ST08)。音声変更の要求があった場合(ST08;Yes)、すなわち、通信端末10の操作者が、必要とされる所望の情報とは関連性のない言葉により、その情報の特定をしたい場合、音声の変更処理を実施する(ST09)。これは、通信端末10に対して上記ST08の処理を実行するに際し、例えば、該当する通信端末に対して、「送信した情報を、音声×××で登録しても良いですか」といった確認音声を送信することで実施することが可能である。具体的には、そのような「音声×××」の登録について同意することなく、その操作者が独自に定めた音声を送信することで音声変更することが可能である。そして、このように変更した音声を送信することで、以後、その確定した詳細情報を関連情報として受け取ることが可能になる。   Next, after transmitting the detailed audio information of ST07 described above, it is determined whether or not there is a request to change the audio from the corresponding communication terminal 10 (ST08). When there is a request to change the voice (ST08; Yes), that is, when the operator of the communication terminal 10 wants to specify the information by using a word unrelated to the desired information that is required, The change process is performed (ST09). This is because, for example, when the processing of ST08 is performed on the communication terminal 10, a confirmation voice such as “can the transmitted information be registered with the voice xxx” is sent to the corresponding communication terminal. It is possible to carry out by transmitting. Specifically, the voice can be changed by transmitting a voice uniquely defined by the operator without agreeing to such registration of “voice xxx”. Then, by transmitting the sound changed in this way, it becomes possible to receive the determined detailed information as related information thereafter.

一方、通信端末10との間で、音声変更要求がない場合(ST08;No)、或いは、ST09において、音声変更処理が終了した際、順位変更処理部28において、その確定した音声情報の順位変更処理が成され(ST10)、その音声情報が、コード値及び通信端末を特定する情報(電話番号など)と共に、操作者管理DB26に格納される。   On the other hand, when there is no voice change request with the communication terminal 10 (ST08; No), or when the voice change process ends in ST09, the rank change processing unit 28 changes the rank of the confirmed voice information. Processing is performed (ST10), and the voice information is stored in the operator management DB 26 together with the code value and information (telephone number or the like) specifying the communication terminal.

例えば、上記したST04からST06の処理において、その通信端末所有者が、比較的関連性の薄い情報を要求した場合等、図6の登録音声「A」に示すように、それまでは関連性が薄いコード値が、最優先情報として登録される。このため、以後、その通信端末10から、登録された音声「A」が入力されると(ST03;Yes)、操作者管理DB26で登録されている最上位の関連情報(コード値Aに対応する詳細情報)が選択され、その通信端末に送信されるようになる(ST20)。 For example, in the processing of ST04 to ST06 described above, when the communication terminal owner requests information that is relatively unrelated, as shown in the registered voice “A” in FIG. A thin code value is registered as top priority information. Therefore, hereafter, from the communication terminal 10, the voice registered "A" is input; corresponding to (ST03 Yes), relevant information uppermost registered in the operator management DB 26 (code value A 7 Detailed information) is selected and transmitted to the communication terminal (ST20).

なお、登録された最上位の情報を送信した後、その通信端末所有者が、別途、追加して関連情報の送信を要求するのであれば(ST21;Yes)、上述したST04以降の処理が繰り返され、その都度、要求された関連情報に関するコード値の要求値が変更され、順位変更処理が成される。すなわち、このような学習機能により、その通信端末10に対しては、要求順位が高い順に、詳細な関連情報が送信されるようになる。   In addition, after transmitting the registered top-level information, if the communication terminal owner additionally requests transmission of related information (ST21; Yes), the processing after ST04 described above is repeated. Each time, the request value of the code value related to the requested related information is changed, and the rank changing process is performed. That is, by such a learning function, detailed related information is transmitted to the communication terminal 10 in the order of the request order.

以上のように、その企業に所属する従業員は、携帯電話のような通信端末10を介して
音声応答管理装置20にアクセスし、その所有者が日常的に使用している言葉を音声で伝えることで、その音声が認識され、その通信端末10に対して、認識された音声と対応付けされた関連情報が送信されるようになる。この場合、上記した音声応答管理装置20における情報管理部23は、関連情報として、様々な情報、例えば、売上に関する情報、利益率に関する情報をはじめとした各種のERP情報を蓄積、アップデートすることが可能であることから、通信端末10の所有者は、単に、音声応答管理装置20にアクセスして日常的に用いる言葉を送信するだけで、常に、必要とされる最新情報を適宜入手することが可能になる。
As described above, an employee who belongs to the company accesses the voice response management apparatus 20 via the communication terminal 10 such as a mobile phone, and conveys the words that the owner uses on a daily basis by voice. Thus, the voice is recognized, and related information associated with the recognized voice is transmitted to the communication terminal 10. In this case, the information management unit 23 in the voice response management apparatus 20 described above can accumulate and update various types of ERP information including related information such as information related to sales and information related to profit margins as related information. Since it is possible, the owner of the communication terminal 10 can always obtain the necessary latest information as appropriate by simply accessing the voice response management apparatus 20 and transmitting words used on a daily basis. It becomes possible.

以上、本発明の実施形態について説明したが、本発明は、上記した実施形態に限定されることはなく、種々変形することが可能である。例えば、上記した実施形態では、通信端末10に送信する関連情報は、音声情報のみとしたが、音声情報とは別に、或いは音声情報と共に文字や画像情報を送信するようにしても良い。具体的には、通信端末10に送信するインデックス情報を、通信端末10の画像表示部10dに文字情報として表示させ、テンキー操作等によって情報を選択するような構成であっても良い。また、実際に送信する詳細な関連情報についても、通信端末10の画像表示部10dにおいて、グラフや表等のように、視認し易い情報として送信しても良い。   As mentioned above, although embodiment of this invention was described, this invention is not limited to above-described embodiment, It can change variously. For example, in the above-described embodiment, the related information to be transmitted to the communication terminal 10 is only voice information, but it is also possible to transmit text and image information separately from the voice information or together with the voice information. Specifically, the index information to be transmitted to the communication terminal 10 may be displayed as character information on the image display unit 10d of the communication terminal 10, and the information may be selected by a numeric keypad operation or the like. Also, the detailed related information that is actually transmitted may be transmitted as easily visible information such as a graph or a table in the image display unit 10d of the communication terminal 10.

また、音声認識の手法や、システム全体を構築する上において、設置される各種のインフラ(通信網、通信方式など)についても、それが利用される環境に応じて適宜変形することが可能である。   In addition, various infrastructures (communication networks, communication methods, etc.) installed in constructing the speech recognition method and the entire system can be modified as appropriate according to the environment in which they are used. .

本発明の一実施形態を示し、音声認識を用いた情報提供システムの概略構成を示す図。The figure which shows one Embodiment of this invention and shows schematic structure of the information provision system using speech recognition. 通信端末の概略構成を示すブロック図。The block diagram which shows schematic structure of a communication terminal. 音声応答管理装置の構成を示すブロック図。The block diagram which shows the structure of a voice response management apparatus. 認識した音声毎に関連する情報を抽出可能にする抽出テーブル。An extraction table that enables extraction of information related to each recognized voice. コード値毎に対応する関連情報のインデックス情報を関連付けした対応テーブル。Correspondence table in which index information of related information corresponding to each code value is associated. 操作者管理DBで管理される通信端末毎の固有情報の格納例を示す図。The figure which shows the example of storage of the specific information for every communication terminal managed by operator management DB. 音声応答管理装置における音声情報制御部が制御する動作手順の一例を示したフローチャート。The flowchart which showed an example of the operation | movement procedure which the audio | voice information control part in an audio | voice response management apparatus controls.

符号の説明Explanation of symbols

1 情報提供システム
10 通信端末
20 音声応答管理装置
22 音声認識部
23 情報管理部
26 操作者管理DB
100 通信網
101 LAN
DESCRIPTION OF SYMBOLS 1 Information provision system 10 Communication terminal 20 Voice response management apparatus 22 Voice recognition part 23 Information management part 26 Operator management DB
100 communication network 101 LAN

Claims (3)

それぞれ固有の通信番号を有する複数の通信端末からの音声情報を受信し、その音声内容を認識する音声認識部と、
前記音声認識部で認識された特定音声と関連付けされた1つ以上の関連情報を格納した情報管理部と、
前記関連付けされた1つ以上の関連情報の優先順位を決定し、通信端末の通信番号毎に、音声認識された特定音声と、この特定音声に対応する1つ以上の関連情報を、優先順位をつけて登録する通信端末用情報記憶部と、
を具備する音声応答管理装置を有し、
前記音声応答管理装置は、前記通信端末から、前記通信端末用情報記憶部に登録された特定音声が入力された場合、前記登録されている関連情報を、前記優先順位に従って当該通信端末に送信することを特徴とする、音声認識を用いた情報提供システム。
A voice recognition unit that receives voice information from a plurality of communication terminals each having a unique communication number and recognizes the voice content;
An information management unit storing one or more pieces of related information associated with the specific voice recognized by the voice recognition unit;
The priority order of the associated one or more related information is determined, and for each communication number of the communication terminal, the specific voice that has been voice-recognized and the one or more related information corresponding to the specific voice are assigned a priority. An information storage unit for communication terminals to be registered,
A voice response management device comprising:
The voice response management apparatus, when a specific voice registered in the information storage unit for communication terminal is input from the communication terminal, transmits the related information registered to the communication terminal according to the priority order. An information providing system using voice recognition.
前記通信端末毎に登録されている特定音声に関連付けされた関連情報についての優先順位は、当該通信端末からその特定音声に対して要求される関連情報が変更された場合、書換え処理が成されることを特徴とする、請求項1に記載の音声認識を用いた情報提供システム。   The priority order of the related information associated with the specific voice registered for each communication terminal is rewritten when the related information required for the specific voice from the communication terminal is changed. The information providing system using voice recognition according to claim 1. 前記通信端末用情報記憶部に記憶されている関連情報に対応する特定音声は、前記通信端末からの音声入力によって変更可能であることを特徴とする、請求項1又は2に記載の音声認識を用いた情報提供システム。   The voice recognition according to claim 1 or 2, wherein the specific voice corresponding to the related information stored in the information storage unit for communication terminal can be changed by voice input from the communication terminal. Information providing system used.
JP2007213087A 2007-08-17 2007-08-17 Information provision system using speech recognition Active JP5139748B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007213087A JP5139748B2 (en) 2007-08-17 2007-08-17 Information provision system using speech recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007213087A JP5139748B2 (en) 2007-08-17 2007-08-17 Information provision system using speech recognition

Publications (2)

Publication Number Publication Date
JP2009047865A true JP2009047865A (en) 2009-03-05
JP5139748B2 JP5139748B2 (en) 2013-02-06

Family

ID=40500157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007213087A Active JP5139748B2 (en) 2007-08-17 2007-08-17 Information provision system using speech recognition

Country Status (1)

Country Link
JP (1) JP5139748B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055022A (en) * 2016-09-30 2018-04-05 株式会社リコー Voice recognition system, information processor, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101990677B1 (en) * 2017-04-26 2019-06-18 주식회사 엘지유플러스 Sound-based information providing appratus and method thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111532A (en) * 1993-10-12 1995-04-25 Matsushita Electric Ind Co Ltd Private branch exchange telephone system
JPH07221833A (en) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd Voice recognition telephone system
JPH09233187A (en) * 1996-02-23 1997-09-05 Toshiba Corp Exchange system
JP2005128076A (en) * 2003-10-21 2005-05-19 Ntt Docomo Inc Speech recognition system for recognizing speech data from terminal, and method therefor
JP2005229396A (en) * 2004-02-13 2005-08-25 Nec Corp Portable terminal equipment, information retrieval method and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07111532A (en) * 1993-10-12 1995-04-25 Matsushita Electric Ind Co Ltd Private branch exchange telephone system
JPH07221833A (en) * 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd Voice recognition telephone system
JPH09233187A (en) * 1996-02-23 1997-09-05 Toshiba Corp Exchange system
JP2005128076A (en) * 2003-10-21 2005-05-19 Ntt Docomo Inc Speech recognition system for recognizing speech data from terminal, and method therefor
JP2005229396A (en) * 2004-02-13 2005-08-25 Nec Corp Portable terminal equipment, information retrieval method and program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018055022A (en) * 2016-09-30 2018-04-05 株式会社リコー Voice recognition system, information processor, and program

Also Published As

Publication number Publication date
JP5139748B2 (en) 2013-02-06

Similar Documents

Publication Publication Date Title
KR101827320B1 (en) Server for call center using artificial intelligence
JP3868423B2 (en) Automatic voice connection service method using personal telephone directory database constructed through voice recognition
US8085929B2 (en) Method and apparatus for providing customized ringbacks
US10244111B1 (en) System for providing data to an interactive response system
US8328089B2 (en) Hands free contact database information entry at a communication device
US8208609B2 (en) System and method for voice activated dialing from a home phone
US7440894B2 (en) Method and system for creation of voice training profiles with multiple methods with uniform server mechanism using heterogeneous devices
US20120284027A1 (en) Method and system for sharing portable voice profiles
KR101901920B1 (en) System and method for providing reverse scripting service between speaking and text for ai deep learning
WO2008137327A1 (en) Automated attendant grammar tuning
GB2492903A (en) Generating and processing voice-based forms
WO2005074407A2 (en) Method, system and service for achieving synchronous communication responsive to dynamic status
JP2008015439A (en) Voice recognition system
JP2016039383A (en) Contact center system and computer
JP5139748B2 (en) Information provision system using speech recognition
JP4809010B2 (en) Information retrieval system
CN117424960A (en) Intelligent voice service method, device, terminal equipment and storage medium
JP2005011089A (en) Interactive device
JP5224966B2 (en) Voice transcription server
JP2010219969A (en) Call recording device with retrieving function, and telephone set
JP5725565B2 (en) Telephone correspondence evaluation system, telephone correspondence evaluation method, voice evaluation apparatus, incident management apparatus, and program
US20030236666A1 (en) System for accessing a database using human speech
CN1197337C (en) Method and system for processing e-mail at remote end
KR20190100724A (en) Method, Server and Apparatus for connecting plural ARS server
US8396193B2 (en) System and method for voice activated signaling

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20090209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100728

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20111018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121019

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121019

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121116

R150 Certificate of patent or registration of utility model

Ref document number: 5139748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250