JP2012037783A - Information appliance system, information acquisition method and program - Google Patents

Information appliance system, information acquisition method and program Download PDF

Info

Publication number
JP2012037783A
JP2012037783A JP2010179095A JP2010179095A JP2012037783A JP 2012037783 A JP2012037783 A JP 2012037783A JP 2010179095 A JP2010179095 A JP 2010179095A JP 2010179095 A JP2010179095 A JP 2010179095A JP 2012037783 A JP2012037783 A JP 2012037783A
Authority
JP
Japan
Prior art keywords
information
voice
voice recognition
home appliance
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010179095A
Other languages
Japanese (ja)
Other versions
JP5351855B2 (en
Inventor
Kenichi Iso
健一 磯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2010179095A priority Critical patent/JP5351855B2/en
Publication of JP2012037783A publication Critical patent/JP2012037783A/en
Application granted granted Critical
Publication of JP5351855B2 publication Critical patent/JP5351855B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an information appliance system improved in operability without degrading its convenience.SOLUTION: An information appliance system 1 comprises: a portable communication terminal 10 or a client terminal 30; a voice recognition server 100 connected to the portable communication terminal 10 or the client terminal 30 via a communication network 50; and an information appliance 200 having a Web browser 210 and connected to the voice recognition server 100 via the communication network 50. The portable communication terminal 10 or the client terminal 30 comprises: voice input means; and voice transmission means transmitting user identification information and voice information 140. The voice recognition server 100 comprises: voice reception means receiving the voice information 140; voice recognition means performing voice recognition; and recognition result transmission means transmitting a result of the voice recognition as recognition result information 170 to the information appliance 200. The Web browser 210 of the information appliance 200 comprises recognition result acquisition means acquiring the recognition result information 170.

Description

本発明は、クライアント端末と、ネットワークを介して前記クライアント端末に接続する音声認識サーバと、ネットワークを介して音声認識サーバに接続する情報家電とを備える情報家電システム、情報取得方法及びプログラムに関する。   The present invention relates to an information home appliance system, an information acquisition method, and a program comprising a client terminal, a voice recognition server connected to the client terminal via a network, and an information home appliance connected to the voice recognition server via a network.

近年、ネットワークを介して、サーバに接続できる機能を備えるとともに、ディスプレイ上のWebブラウザを用いて、インターネットを利用することができるテレビジョン、カー・ナビゲーション等の家電、いわゆる情報家電(以下、情報家電と示す)が広く知られている(例えば、特許文献1)。   2. Description of the Related Art In recent years, home appliances such as televisions, car navigation systems, etc., which are equipped with a function capable of connecting to a server via a network and can use the Internet using a web browser on a display, so-called information home appliances (hereinafter referred to as information home appliances) Is widely known (for example, Patent Document 1).

このような情報家電によれば、ユーザは、従来から用いられているパソコン等に限定されることなく、インターネットを利用することができる。   According to such information household appliances, the user can use the Internet without being limited to a conventionally used personal computer or the like.

特開2008−79077号公報JP 2008-79077 A

しかしながら、上述した従来の情報家電には、次のような問題があった。すなわち、上述した情報家電を用いて、インターネットを利用する場合、ユーザは、パソコンにおけるキーボードに代わる入力装置として、通常、各情報家電に付属するリモコンを利用する。このようなリモコンは、本来、文字入力を目的としておらず、リモコンを用いた文字入力は、操作性に対するユーザの要求を満たせていないという問題がある。   However, the above-described conventional information appliances have the following problems. That is, when using the information home appliance described above and using the Internet, a user normally uses a remote control attached to each information home appliance as an input device instead of a keyboard in a personal computer. Such a remote control is not originally intended for character input, and character input using the remote control has a problem that it does not satisfy the user's request for operability.

上述した情報家電にキーボード等を接続して、操作性を解消することや、情報家電に制御プログラムをインストールし、外部に設置したパソコン等を用いて情報家電を制御することも可能であるが、この場合、追加の機器や、制御プログラムが必要となり、ユーザに経済的な負担や新たな作業負荷を強いることとなる。   It is also possible to connect a keyboard etc. to the information home appliance mentioned above to eliminate operability, install a control program on the information home appliance, and control the information home appliance using a personal computer installed outside, In this case, additional equipment and a control program are required, which imposes an economic burden and a new work load on the user.

そこで、本発明は、このような状況に鑑みてなされたものであり、特別な制御プログラムのインストールなど、ユーザに負担を強いて利便性を低下させることなく、操作性を向上させた情報家電システム、情報取得方法及びプログラムを提供することを目的とする。   Therefore, the present invention has been made in view of such a situation, such as the installation of a special control program, an information home appliance system with improved operability without imposing a burden on the user and reducing convenience, An object is to provide an information acquisition method and program.

上述した問題を解決するため、本発明は、次のような特徴を有している。まず、本発明の第1の特徴は、クライアント端末(例えば、携帯通信端末10、クライアント端末30)と、ネットワーク(通信ネットワーク50)を介して前記クライアント端末に接続する音声認識サーバ(音声認識サーバ100)と、Webブラウザ(Webブラウザ210)を有し、ネットワークを介して前記音声認識サーバに接続する情報家電(情報家電200)とを備える情報家電システム(情報家電システム1)であって、前記クライアント端末は、音声を入力する音声入力手段(音声入力部13)と、前記音声認識サーバを利用するユーザを識別するユーザ識別情報(例えば、ユーザID150)及び前記音声入力手段により入力された音声を送信する音声送信手段(通信部17)とを備え、前記音声認識サーバは、前記音声を受信する音声受信手段(通信部103)と、前記音声受信手段から取得した音声(音声情報140)について、音声認識をする音声認識手段(音声認識部113)と、前記音声認識手段の音声認識の結果を認識結果情報(認識結果情報170)として前記ユーザ識別情報に関連する情報家電に送信する認識結果送信手段(通信部103)とを備え、前記情報家電の前記Webブラウザ(Webブラウザ210)は、前記認識結果情報を取得する認識結果取得手段(データ取得部213)を備えることを要旨とする。   In order to solve the problems described above, the present invention has the following features. First, the first feature of the present invention is that a client terminal (for example, the mobile communication terminal 10, the client terminal 30) and a voice recognition server (voice recognition server 100) connected to the client terminal via a network (communication network 50). ) And an information home appliance (information home appliance system 1) having a Web browser (Web browser 210) and connecting to the voice recognition server via a network, the client The terminal transmits voice input means (speech input unit 13) for inputting voice, user identification information for identifying a user who uses the voice recognition server (for example, user ID 150), and voice input by the voice input means. Voice transmitting means (communication unit 17) for performing the voice recognition server A voice receiving unit (communication unit 103) for receiving, a voice recognition unit (speech recognition unit 113) for performing voice recognition on the voice (voice information 140) acquired from the voice receiving unit, and voice recognition by the voice recognition unit. A recognition result transmitting means (communication unit 103) for transmitting a result as recognition result information (recognition result information 170) to an information home appliance related to the user identification information, and the Web browser (Web browser 210) of the information home appliance The gist of the present invention is to include a recognition result acquisition means (data acquisition unit 213) for acquiring the recognition result information.

このような情報家電システムは、クライアント端末と、音声認識サーバと、情報家電とを備える。ここで、クライアント端末は、音声を入力する音声入力手段と、音声認識サーバを利用するユーザを識別するユーザ識別情報及び音声入力手段により入力された音声を送信する音声入力手段とを備える。   Such an information home appliance system includes a client terminal, a voice recognition server, and an information home appliance. Here, the client terminal includes voice input means for inputting voice and user input information for identifying a user who uses the voice recognition server and voice input means for transmitting the voice input by the voice input means.

また、音声認識サーバは、情報家電から受信した音声について、音声認識をする音声認識手段と、ユーザ識別情報に関連する情報家電に音声認識の結果である認識結果情報を送信するデータ取得手段とを備える。   In addition, the voice recognition server includes voice recognition means for performing voice recognition on voice received from the information home appliance, and data acquisition means for transmitting recognition result information that is a result of voice recognition to the information home appliance related to the user identification information. Prepare.

このため、情報家電は、ネットワークを介して音声認識サーバに接続し、Webブラウザさえ備えていれば、キーボード等を接続して、操作性を解消することや、情報家電に制御プログラムをインストールし、外部に設置したパソコン等を用いて制御されていなくてもよい。   For this reason, the information home appliance is connected to the voice recognition server via the network, and if it has a web browser, it can be connected to a keyboard or the like to eliminate operability or install a control program on the information home appliance. It may not be controlled using a personal computer installed outside.

従って、特別な制御プログラムのインストールなど、ユーザに負担を強いて利便性を低下させることなく、操作性を向上させた情報家電システムを提供できる。   Therefore, it is possible to provide an information home appliance system with improved operability without burdening the user and reducing convenience such as installation of a special control program.

本発明の第2の特徴は、本発明の第1の特徴に係り、前記ユーザ識別情報と、前記ユーザ識別情報に対応するとともに、前記認識結果情報を受信する情報家電を識別する情報家電識別情報(情報家電識別情報160)とを記憶する記憶手段(ユーザ情報記憶部105)を更に備え、前記認識結果送信手段は、前記音声認識手段が音声認識をしたことを確認し、前記認識結果情報を前記情報家電識別情報に関連する情報家電に送信することを要旨とする。   A second feature of the present invention relates to the first feature of the present invention, wherein the home appliance identification information corresponds to the user identification information and the user identification information, and information home appliance identification information for identifying the home information appliance that receives the recognition result information. Storage means (user information storage unit 105) for storing (information home appliance identification information 160), wherein the recognition result transmission means confirms that the voice recognition means has performed voice recognition, and stores the recognition result information. The gist is to transmit to the information home appliance related to the information home appliance identification information.

本発明の第3の特徴は、本発明の第1又は第2の特徴に係り、前記情報家電の前記Webブラウザは、所定のタイミングで、前記ユーザ識別情報に関連する前記情報家電に対する前記認識結果情報の有無を確認する確認要求を前記音声認識サーバに送信する確認要求送信手段を更に備え、前記認識結果送信手段は、前記確認要求に基づいて、前記確認要求を送信した情報家電に前記認識結果情報を送信することを要旨とする。   A third feature of the present invention relates to the first feature or the second feature of the present invention, wherein the Web browser of the information home appliance has the recognition result for the information home appliance related to the user identification information at a predetermined timing. The apparatus further comprises a confirmation request transmitting means for transmitting a confirmation request for confirming the presence or absence of information to the voice recognition server, and the recognition result transmitting means transmits the recognition result to the information home appliance that has transmitted the confirmation request based on the confirmation request. The gist is to send information.

本発明の第4の特徴は、本発明の第1乃至第3の特徴に係り、前記音声認識サーバは、インターネットサービス(インターネットサービス115a)と、前記インターネットサービスに関連するサービス関連単語(サービス関連単語117b)とを記憶するインターネットサービス記憶部(インターネットサービス記憶部115)と、前記音声認識手段の音声認識の結果と、前記インターネットサービス記憶部のサービス関連単語とに基づいて、対応するインターネットサービスを判定するインターネットサービス判定手段(インターネットサービス判定部119)とを更に備えることを要旨とする。   A fourth feature of the present invention relates to the first to third features of the present invention. The voice recognition server includes an Internet service (Internet service 115a) and a service-related word (service-related word) related to the Internet service. 117b), the corresponding Internet service is determined based on the result of speech recognition by the speech recognition means and the service-related word in the Internet service storage unit. The gist of the present invention is to further include Internet service determination means (Internet service determination unit 119).

本発明の第5の特徴は、本発明の第1乃至第3の特徴に係り、前記音声認識サーバは、
前記音声認識手段の音声認識の結果に基づいて、対応するインターネットサービスを指定するURL(URL115c)を作成するURL作成手段(URL作成部121)を更に備え、前記認識結果送信手段は、前記URLを認識結果情報として送信することを要旨とする。
A fifth feature of the present invention relates to the first to third features of the present invention, wherein the voice recognition server includes:
Based on the result of voice recognition by the voice recognition means, URL creation means (URL creation unit 121) for creating a URL (URL 115c) for designating the corresponding Internet service is further provided, and the recognition result transmission means includes the URL. The gist is to transmit it as recognition result information.

本発明の第6の特徴は、本発明の第5の特徴に係り、前記URL作成手段は、前記音声認識手段の音声認識の結果を用いてインターネット検索を行い、前記音声認識手段の音声認識の結果に対応するWebページの属性に基づいて、前記インターネットサービスを指定する前記URLを作成することを要旨とする。   A sixth feature of the present invention relates to the fifth feature of the present invention, wherein the URL creating means performs an Internet search using a voice recognition result of the voice recognition means, and performs voice recognition of the voice recognition means. The gist is to create the URL designating the Internet service based on the attribute of the Web page corresponding to the result.

本発明の第7の特徴は、本発明の第5又は第6の特徴に係り、前記音声認識サーバは、インターネットサービスと、前記インターネットサービスに関連するサービス関連単語とを記憶するインターネットサービス記憶部(インターネットサービス記憶部115)を更に備え、前記URL作成手段は、前記インターネットサービス記憶部に記憶されるサービス関連単語と、前記音声認識手段の音声認識の結果とに基づいて、前記インターネットサービスを判定し、前記URL(URL148)を作成することを要旨とする。   A seventh feature of the present invention relates to the fifth or sixth feature of the present invention, wherein the speech recognition server stores an Internet service and a service-related word related to the Internet service. An Internet service storage unit 115), wherein the URL creating unit determines the Internet service based on a service-related word stored in the Internet service storage unit and a voice recognition result of the voice recognition unit. The gist is to create the URL (URL 148).

本発明の第8の特徴は、本発明の第1乃至第7の特徴に係り、前記音声送信手段は、情報家電を識別する情報家電識別情報を更に送信し、前記記憶手段は、前記ユーザ識別情報に対応する複数の情報家電識別情報を記憶することを要旨とする。   An eighth feature of the present invention relates to the first to seventh features of the present invention, wherein the voice transmitting means further transmits information home appliance identification information for identifying information home appliances, and the storage means is the user identification. The gist is to store a plurality of information home appliance identification information corresponding to the information.

本発明の第9の特徴は、クライアント端末と、ネットワークを介して前記クライアント端末に接続する音声認識サーバと、Webブラウザを有し、ネットワークを介して前記音声認識サーバに接続する情報家電とを備える情報家電システムの情報取得方法であって、前記クライアント端末が、音声を入力するステップ(ステップS111)と、前記クライアント端末が、前記音声認識サーバを利用するユーザを識別するユーザ識別情報及び前記音声を送信するステップ(ステップS113)と、前記音声認識サーバが、前記音声を受信するステップ(ステップS121)と、前記音声認識サーバが、該音声について、音声認識をするステップ(ステップS123)と、前記音声認識サーバが、前記音声認識の結果を認識結果情報として前記ユーザ識別情報に関連する情報家電に送信するステップ(ステップS129)と、前記情報家電の前記Webブラウザが、前記認識結果情報を取得するステップ(ステップS131)と、を備えることを要旨とする。   A ninth feature of the present invention includes a client terminal, a voice recognition server connected to the client terminal via a network, and an information home appliance having a Web browser and connected to the voice recognition server via the network. An information acquisition method for an information home appliance system, in which the client terminal inputs a voice (step S111), and user identification information for identifying a user who uses the voice recognition server, and the voice. A transmitting step (step S113), a step in which the voice recognition server receives the voice (step S121), a step in which the voice recognition server performs voice recognition on the voice (step S123), and the voice A recognition server uses the speech recognition result as recognition result information. And transmitting the information appliance related to The identification information (step S129), the Web browser of the information appliances, and summarized in that comprises a step (step S131) for obtaining the recognition result information.

本発明の第10の特徴は、クライアント端末と、ネットワークを介して前記クライアント端末に接続する音声認識サーバと、Webブラウザを有し、ネットワークを介して前記音声認識サーバに接続する情報家電とを備える情報家電システムに情報を取得させるプログラムであって、前記クライアント端末に、音声を入力するステップと、前記クライアント端末に、前記音声認識サーバを利用するユーザを識別するユーザ識別情報及び前記音声を送信するステップと、前記音声認識サーバに、前記音声を受信するステップと、前記音声認識サーバに、該音声について、音声認識をするステップと、前記音声認識サーバに、前記音声認識の結果を認識結果情報として前記ユーザ識別情報に関連する情報家電に送信するステップと、前記情報家電の前記Webブラウザに、前記認識結果情報を取得するステップと、を実行させることを要旨とする。   A tenth feature of the present invention includes a client terminal, a voice recognition server connected to the client terminal via a network, and an information home appliance having a Web browser and connected to the voice recognition server via the network. A program for causing an information home appliance system to acquire information, the step of inputting voice to the client terminal, and transmitting user identification information for identifying a user who uses the voice recognition server and the voice to the client terminal. A step of receiving the voice at the voice recognition server, a step of voice recognition of the voice at the voice recognition server, and a result of the voice recognition as recognition result information at the voice recognition server. Transmitting to the information home appliance related to the user identification information; and the information home appliance The Web browser, and summarized in that to execute a step of acquiring the recognition result information.

本発明によれば、特別な制御プログラムのインストールなど、ユーザに負担を強いて利便性を低下させることなく、操作性を向上させた情報家電システム、情報取得方法及びプログラムを提供できる。   According to the present invention, it is possible to provide an information home appliance system, an information acquisition method, and a program with improved operability without imposing a burden on the user and reducing convenience such as installation of a special control program.

本発明の第1実施形態に係る情報家電システム1の全体概略構成図である。1 is an overall schematic configuration diagram of an information home appliance system 1 according to a first embodiment of the present invention. 本発明の第1実施形態に係る携帯通信端末10の機能ブロック図である。1 is a functional block diagram of a mobile communication terminal 10 according to a first embodiment of the present invention. 本発明の第1実施形態に係る音声認識サーバ100の機能ブロック図である。It is a functional block diagram of the voice recognition server 100 concerning a 1st embodiment of the present invention. 本発明の第1実施形態に係る音声認識サーバ100のユーザ情報記憶部105に記憶される情報の一例を示す図である。It is a figure showing an example of information memorized by user information storage part 105 of voice recognition server 100 concerning a 1st embodiment of the present invention. 本発明の第1実施形態に係る音声認識サーバ100の音声認識部113の動作を説明するための概念図である。It is a conceptual diagram for demonstrating operation | movement of the speech recognition part 113 of the speech recognition server 100 which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る音声認識サーバ100のインターネットサービス記憶部115に記憶される情報の一例を示す図である。It is a figure which shows an example of the information memorize | stored in the internet service memory | storage part 115 of the speech recognition server 100 which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る音声認識サーバ100の関連単語記憶部117に記憶される情報の一例を示す図である。It is a figure which shows an example of the information memorize | stored in the related word memory | storage part 117 of the speech recognition server 100 which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る音声認識サーバ100のインターネットサービス判定部119及びURL作成部121の動作を説明するための概念図である。It is a conceptual diagram for demonstrating operation | movement of the internet service determination part 119 and URL preparation part 121 of the speech recognition server 100 which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る音声認識サーバ100の認識結果記憶部123に記憶される情報の一例を示す図である。It is a figure showing an example of information memorized by recognition result storage part 123 of voice recognition server 100 concerning a 1st embodiment of the present invention. 本発明の第1実施形態に係る情報家電200の機能ブロック図である。It is a functional block diagram of the information household appliance 200 which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る情報家電システム1の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the information household appliance system 1 which concerns on 1st Embodiment of this invention. 本発明の第1実施形態に係る情報家電システム1の動作の詳細を示すフローチャートである。It is a flowchart which shows the detail of operation | movement of the information household appliance system 1 which concerns on 1st Embodiment of this invention. 本発明の第2実施形態に係る音声認識サーバ100aの機能ブロック図である。It is a functional block diagram of the speech recognition server 100a which concerns on 2nd Embodiment of this invention.

次に、図面を参照して、本発明の実施形態について説明する。   Next, embodiments of the present invention will be described with reference to the drawings.

なお、以下の図面の記載において、同一または類似の部分には、同一または類似の符号を付している。また、図面は模式的なものであり、各寸法の比率などは現実のものとは異なる。   In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals. Further, the drawings are schematic, and the ratio of each dimension is different from the actual one.

したがって、具体的な寸法などは以下の説明を参酌して判断すればよく、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれている。   Therefore, specific dimensions and the like may be determined in consideration of the following description, and include portions where the relationship and ratio of the dimensions are different between the drawings.

[第1実施形態]
以下の実施形態においては、(1)情報家電システム1の全体構成、(2)携帯通信端末10の詳細構成、(3)音声認識サーバ100の詳細構成、(4)情報家電200の詳細構成、(5)情報家電システム1の動作、及び(6)作用・効果について説明する。
[First Embodiment]
In the following embodiments, (1) the overall configuration of the information home appliance system 1, (2) the detailed configuration of the mobile communication terminal 10, (3) the detailed configuration of the voice recognition server 100, (4) the detailed configuration of the information home appliance 200, (5) The operation of the information home appliance system 1 and (6) actions and effects will be described.

(1)情報家電システム1の全体構成
図1は、第1実施形態に係る情報家電システム1の全体概略構成図である。
(1) Overall Configuration of Information Home Appliance System 1 FIG. 1 is an overall schematic configuration diagram of an information home appliance system 1 according to the first embodiment.

図1に示す情報家電システム1は、クライアント端末として機能する携帯通信端末10、クライアント端末30と、音声認識サーバ100と、情報家電200と、Webサーバ500とを備える。
第1実施形態では、携帯通信端末10、クライアント端末30、音声認識サーバ100、情報家電200、Webサーバ500が、通信ネットワーク50(インターネットなど)を介して接続されている。
An information home appliance system 1 illustrated in FIG. 1 includes a mobile communication terminal 10 that functions as a client terminal, a client terminal 30, a voice recognition server 100, an information home appliance 200, and a Web server 500.
In the first embodiment, the mobile communication terminal 10, the client terminal 30, the voice recognition server 100, the information home appliance 200, and the Web server 500 are connected via a communication network 50 (such as the Internet).

情報家電システム1では、音声情報140が、携帯通信端末10又はクライアント端末30から音声認識サーバ100に送信される。また、情報家電システム1では、認識結果情報170が、音声認識サーバ100から情報家電200に送信される。また、情報家電システム1では、HTML言語により構成され、JavaScript等が埋め込まれたWebページ510が、Webサーバ500から情報家電200に送信される。Webページ510は、認識結果情報170に含まれるプログラムの実行を反映できるWebページページである。   In the information home appliance system 1, the voice information 140 is transmitted from the mobile communication terminal 10 or the client terminal 30 to the voice recognition server 100. In the information home appliance system 1, the recognition result information 170 is transmitted from the voice recognition server 100 to the information home appliance 200. In the information home appliance system 1, a Web page 510 configured in HTML language and embedded with JavaScript or the like is transmitted from the Web server 500 to the information home appliance 200. The web page 510 is a web page page that can reflect the execution of the program included in the recognition result information 170.

音声認識サーバ100及びWebサーバ500は、CPU等の制御装置、メモリやHDD等の記憶装置、通信ネットワーク50と通信する通信I/F等の通信装置といったハードウェア資源を有するコンピュータ(単一或いは複数)により構成される。音声認識サーバ100が備える下記の各ブロックは、前述したコンピュータの制御装置等のハードウェア資源を用いてコンピュータプログラムを実行することによって実現されるものである。なお、これらの各ブロック、手段は、単一のコンピュータ上に配置される必要はなく、必要に応じて分散される構成を採用しても良い。   The voice recognition server 100 and the Web server 500 are computers (single or plural) having hardware resources such as a control device such as a CPU, a storage device such as a memory and an HDD, and a communication device such as a communication I / F communicating with the communication network 50 ). The following blocks included in the speech recognition server 100 are realized by executing a computer program using hardware resources such as the computer control device described above. These blocks and means do not have to be arranged on a single computer, and a configuration in which they are distributed as necessary may be adopted.

携帯通信端末10は、携帯通信端末装置(携帯電話機やスマートフォン)、クライアント端末30は、ユーザが利用するPC(Personal Computer)、タブレット型のPC、カーナビゲーションシステム等であり、無線LANや、近傍無線通信(Bluetooth(登録商標)や赤外線通信等)或いは有線通信(USB(Universal Serial Bus)ケーブル接続等)によって、通信ネットワーク50を介して、音声認識サーバ100に接続されている。携帯通信端末10、クライアント端末30は、音声認識サーバ100及びWebサーバ500が有するハードウェア資源に加えて、キーボタンやタッチパネル等の入力装置、液晶ディスプレイ等の出力装置、一般的なWebブラウザを備える。Webブラウザは、インターネットの標準プロトコルであるHTTP(Hyper Text Transfer Protocol)等に従い、HTML(Hyper Text Markup Language)等の言語で記述されたページデータの要求、取得及び表示、フォームデータの送信等を行う機能を有している。   The mobile communication terminal 10 is a mobile communication terminal device (mobile phone or smartphone), and the client terminal 30 is a PC (Personal Computer), tablet PC, car navigation system, or the like used by the user. It is connected to the speech recognition server 100 via the communication network 50 by communication (such as Bluetooth (registered trademark) or infrared communication) or wired communication (such as USB (Universal Serial Bus) cable connection). The mobile communication terminal 10 and the client terminal 30 include an input device such as a key button or a touch panel, an output device such as a liquid crystal display, and a general web browser in addition to the hardware resources of the voice recognition server 100 and the web server 500. . The Web browser requests, acquires and displays page data written in a language such as HTML (Hyper Text Markup Language) according to the Internet standard protocol such as HTTP (Hyper Text Transfer Protocol), and transmits form data. It has a function.

なお、携帯通信端末10、クライアント端末30は、同一の機能を有しており、以下の記載においては、主に携帯通信端末10について、記載する。従って、クライアント端末30についても携帯通信端末10と同様の機能を有しているが、詳細の記載は、適宜省略する。   Note that the mobile communication terminal 10 and the client terminal 30 have the same function, and the following description will mainly describe the mobile communication terminal 10. Accordingly, the client terminal 30 also has the same function as the mobile communication terminal 10, but detailed description will be omitted as appropriate.

情報家電200は、無線LANや、近傍無線通信(Bluetooth(登録商標)や赤外線通信等)或いは有線通信(LANケーブル等)によって、通信ネットワーク50を介して、音声認識サーバ100に接続されている。情報家電200は、いわゆる家電が有するハードウェア資源に加えて、ディスプレイ上のWebブラウザ210を用いて、インターネットを利用することができる情報家電である。例えば、情報家電200は、テレビジョン、カー・ナビゲーション等の従来からディスプレイを備える家電に限られず、冷蔵庫、電子レンジ、エアコンなどの家電であってもよい。また、情報家電200は、ネットワークを介して、サーバに接続できる機能を備えるとともに、ディスプレイ上のWebブラウザを用いて、インターネットを利用することができるいわゆるパソコンであってもよい。   The information home appliance 200 is connected to the voice recognition server 100 via the communication network 50 by wireless LAN, near field communication (Bluetooth (registered trademark), infrared communication, etc.) or wired communication (LAN cable, etc.). The information home appliance 200 is an information home appliance that can use the Internet using the Web browser 210 on the display in addition to the hardware resources of the so-called home appliance. For example, the information home appliance 200 is not limited to a conventional home appliance provided with a display such as a television or a car navigation, and may be a home appliance such as a refrigerator, a microwave oven, and an air conditioner. The information home appliance 200 may be a so-called personal computer that has a function of connecting to a server via a network and can use the Internet by using a Web browser on a display.

(2)携帯通信端末10の詳細構成
図2は、本発明の第1実施形態に係る携帯通信端末10の機能ブロック図である。図2に示すように、携帯通信端末10は、制御部11、音声入力部13、テキスト情報入力部15、通信部17、記憶部19を備える。これらの機能部は、いわゆるコンピュータにより構成され、演算/制御装置としてのCPU(Central Processing Unit)、記憶媒体としてのRAM(Random Access Memory)及びROM(Read Only Memory)、通信インターフェイス等が関連することで実現される。以下、各機能部について、説明する。なお、下記に示す音声認識サーバ100及び情報家電200の機能部も、携帯通信端末10の機能部と同様に、いわゆるコンピュータにより構成されている。
(2) Detailed Configuration of Mobile Communication Terminal 10 FIG. 2 is a functional block diagram of the mobile communication terminal 10 according to the first embodiment of the present invention. As shown in FIG. 2, the mobile communication terminal 10 includes a control unit 11, a voice input unit 13, a text information input unit 15, a communication unit 17, and a storage unit 19. These functional units are constituted by so-called computers, and related to a CPU (Central Processing Unit) as an arithmetic / control device, a RAM (Random Access Memory) and ROM (Read Only Memory) as a storage medium, a communication interface, and the like. It is realized with. Hereinafter, each functional unit will be described. Note that the functional units of the voice recognition server 100 and the information home appliance 200 shown below are also configured by so-called computers, similarly to the functional units of the mobile communication terminal 10.

(2.1)制御部11
制御部11は、携帯通信端末10を制御するCPU等の制御装置である。制御部11は、下記に示す機能部の動作を制御する。
(2.1) Control unit 11
The control unit 11 is a control device such as a CPU that controls the mobile communication terminal 10. The control unit 11 controls the operation of the functional unit shown below.

(2.2)音声入力部13
音声入力部13は、マイク等の入力装置であり、携帯通信端末10を利用するユーザ等の音声を入力する。また、音声入力部13は、入力されたアナログ音声をデジタルの音声信号からなる音声情報140に変換する。
(2.2) Voice input unit 13
The voice input unit 13 is an input device such as a microphone, and inputs voice of a user who uses the mobile communication terminal 10. The voice input unit 13 converts the input analog voice into voice information 140 including a digital voice signal.

(2.3)テキスト情報入力部15
テキスト情報入力部15は、キーボタンやタッチパネル等の入力装置であり、携帯通信端末10を利用するユーザの操作に伴ったテキストを入力する。
(2.3) Text information input unit 15
The text information input unit 15 is an input device such as a key button or a touch panel, and inputs text associated with a user operation using the mobile communication terminal 10.

(2.4)通信部17
通信部17は、通信ネットワーク50を介して、他の機器と通信を行う。具体的には、通信部17は、音声送信手段として機能し、音声認識サーバ100を利用するユーザを識別するユーザ識別情報であるユーザID150及び音声入力部13により入力され、変換された音声情報140を音声認識サーバ100に送信する。例えば、ユーザID150は、音声認識サーバ100により発行されるCookie等を用いることができる。また、通信部17は、ユーザID150の代わり、或いはユーザID150に加えて、情報家電200を識別する情報家電識別情報160を送信してもよい。
(2.4) Communication unit 17
The communication unit 17 communicates with other devices via the communication network 50. Specifically, the communication unit 17 functions as a voice transmission unit, and is converted by the user ID 150 that is user identification information for identifying a user who uses the voice recognition server 100 and the voice input unit 13 and converted into the voice information 140. Is transmitted to the voice recognition server 100. For example, a cookie issued by the voice recognition server 100 can be used as the user ID 150. Moreover, the communication part 17 may transmit the information household appliance identification information 160 which identifies the information household appliance 200 instead of the user ID 150 or in addition to the user ID 150.

(2.5)記憶部19
記憶部19は、音声入力部13により入力され、変換された音声情報140、ユーザID150、携帯通信端末10に固有の情報である端末識別情報等を記憶する。
(2.5) Storage unit 19
The storage unit 19 stores the voice information 140 that is input and converted by the voice input unit 13, the user ID 150, terminal identification information that is unique to the mobile communication terminal 10, and the like.

(3)音声認識サーバ100の詳細構成
図3は、第1実施形態に係る音声認識サーバ100の機能ブロック図である。図3に示すように、音声認識サーバ100は、制御部101、通信部103、ユーザ情報記憶部105、認証部107、音響モデル記憶部109、言語モデル記憶部111、音声認識部113、インターネットサービス記憶部115、関連単語記憶部117、インターネットサービス判定部119、URL作成部121、認識結果記憶部123を備える。
音声認識サーバ100は、音声情報140について、音声認識を行い、音声認識が終了後、適時、認識結果情報170を情報家電200に送信する。すなわち、音声認識サーバ100は、処理が終了後適宜、次の処理を進めるいわゆるプッシュ型の配信を行うコンピュータである。
(3) Detailed Configuration of Voice Recognition Server 100 FIG. 3 is a functional block diagram of the voice recognition server 100 according to the first embodiment. As shown in FIG. 3, the speech recognition server 100 includes a control unit 101, a communication unit 103, a user information storage unit 105, an authentication unit 107, an acoustic model storage unit 109, a language model storage unit 111, a speech recognition unit 113, an Internet service. A storage unit 115, a related word storage unit 117, an Internet service determination unit 119, a URL creation unit 121, and a recognition result storage unit 123 are provided.
The voice recognition server 100 performs voice recognition on the voice information 140, and transmits the recognition result information 170 to the information home appliance 200 in a timely manner after the voice recognition is completed. That is, the voice recognition server 100 is a computer that performs so-called push-type distribution in which the next process is appropriately performed after the process is completed.

(3.1)制御部101
制御部101、音声認識サーバ100を制御するCPU等の制御装置である。制御部101は、下記に示す機能部の動作を制御する。
(3.1) Control unit 101
The control unit 101 is a control device such as a CPU that controls the voice recognition server 100. The control unit 101 controls the operation of the functional unit shown below.

(3.2)通信部103
通信部103は、通信ネットワーク50を介して、他の機器と通信を行う。例えば、通信部103は、音声受信手段として機能し、音声情報140を携帯通信端末10から受信する。
(3.2) Communication unit 103
The communication unit 103 communicates with other devices via the communication network 50. For example, the communication unit 103 functions as a voice receiving unit and receives the voice information 140 from the mobile communication terminal 10.

また、通信部103は、認識結果送信手段として機能し、音声認識部113の音声認識の結果を認識結果情報170としてユーザID150に関連する情報家電200に送信する。通信部103は、音声認識部113が音声認識をしたことを確認し、適時、認識結果情報170を情報家電識別情報160に関連する情報家電200に送信する。すなわち、通信部103により、音声認識サーバ100は、いわゆるプッシュ型の配信を可能にする。   Moreover, the communication part 103 functions as a recognition result transmission means, and transmits the result of the voice recognition of the voice recognition part 113 to the information home appliance 200 related to the user ID 150 as the recognition result information 170. The communication unit 103 confirms that the voice recognition unit 113 has performed voice recognition, and transmits the recognition result information 170 to the information home appliance 200 related to the information home appliance identification information 160 when appropriate. That is, the speech recognition server 100 enables so-called push-type distribution by the communication unit 103.

(3.3)ユーザ情報記憶部105
図4は、第1実施形態に係る音声認識サーバ100のユーザ情報記憶部105に記憶される情報の一例を示す図である。図4に示すように、ユーザ情報記憶部105は、ユーザID150を記憶する。更に、ユーザ情報記憶部105は、認識結果情報170を受信する情報家電200を識別する情報家電識別情報160をユーザID150に対応させて記憶する。ユーザ情報記憶部105は、所定のユーザが、複数の情報家電を用いて、音声認識サーバ100を利用する場合、ユーザの要求等に基づいて、ユーザID150に対応する複数の情報家電識別情報160を記憶する。ユーザ情報記憶部105は、ユーザID150に対応するユーザのパスワード、ユーザの名前、居住地、メールアドレス、音声認識サーバ100の利用履歴等の情報をユーザ識別情報として記憶してもよい。
(3.3) User information storage unit 105
FIG. 4 is a diagram illustrating an example of information stored in the user information storage unit 105 of the voice recognition server 100 according to the first embodiment. As illustrated in FIG. 4, the user information storage unit 105 stores a user ID 150. Further, the user information storage unit 105 stores information home appliance identification information 160 for identifying the information home appliance 200 that receives the recognition result information 170 in association with the user ID 150. When a predetermined user uses the voice recognition server 100 using a plurality of information home appliances, the user information storage unit 105 stores a plurality of information home appliance identification information 160 corresponding to the user ID 150 based on a user request or the like. Remember. The user information storage unit 105 may store information such as a user password corresponding to the user ID 150, a user name, a residence, an e-mail address, and a usage history of the voice recognition server 100 as user identification information.

ユーザID150は、tarou等のユーザが任意に指定した文字列である。ユーザID150は、音声認識サーバ100により指定された乱数等であってもよい。
情報家電識別情報160は、情報家電200を構成する家電固有の情報である。情報家電識別情報160は、情報家電200の製造番号、通信ネットワーク50上で情報家電200を判別するためのIPアドレス等であってもよい。
The user ID 150 is a character string arbitrarily designated by a user such as tarou. The user ID 150 may be a random number specified by the voice recognition server 100.
The information home appliance identification information 160 is information unique to home appliances constituting the information home appliance 200. The information home appliance identification information 160 may be a serial number of the information home appliance 200, an IP address for identifying the information home appliance 200 on the communication network 50, or the like.

(3.4)認証部107
認証部107は、通信部103を介して携帯通信端末10又は情報家電200から取得したユーザを識別するユーザ識別情報に基づいて、ユーザの認証をする。例えば、認証部107は、情報家電200から取得したユーザID150と、パスワードとが、ユーザ情報記憶部105に記憶される情報と一致した場合に、音声認識サーバ100を利用するユーザとして、妥当であると判定し、ユーザ固有のセッションを作成する。
(3.5)音響モデル記憶部109
音響モデル記憶部109は、発音記号と、発音記号に対応する複数の音声波形又は音声波形の統計的な音声波形のモデルである音声波形モデルとを記憶する。例えば、音響モデル記憶部109は、「あ」から「ん」までの平仮名の発音記号と、各発音記号に対応する複数又は統計的な音声波形モデルとを記憶する。
(3.4) Authentication unit 107
The authentication unit 107 authenticates the user based on user identification information for identifying the user acquired from the mobile communication terminal 10 or the information home appliance 200 via the communication unit 103. For example, the authentication unit 107 is appropriate as a user who uses the voice recognition server 100 when the user ID 150 acquired from the information home appliance 200 and the password match the information stored in the user information storage unit 105. And create a user-specific session.
(3.5) Acoustic model storage unit 109
The acoustic model storage unit 109 stores phonetic symbols and a plurality of speech waveforms corresponding to the phonetic symbols or a speech waveform model that is a statistical speech waveform model of speech waveforms. For example, the acoustic model storage unit 109 stores hiragana phonetic symbols from “a” to “n” and a plurality of or statistical speech waveform models corresponding to each phonetic symbol.

(3.6)言語モデル記憶部111
言語モデル記憶部111は、辞書部と、n−gramを用いた言語モデルとからなる。辞書部には、発音記号と、発音記号に対応する単語とが含まれる。辞書部は、使用頻度に応じて各単語の出現確率をデータ化している。すなわち、辞書部の所定の発音記号に対する各単語の確率の累積は、100%になる。例えば、辞書部は、「ろっぽんぎ」という発音記号に対して、「六本木」である確率は、90%、「六方木」である確率は、5%・・・、という確率のデータを有し、「ろっぽんぎ」という発音記号に対する各単語の確率の累積は、100%になる。
(3.6) Language model storage unit 111
The language model storage unit 111 includes a dictionary unit and a language model using n-gram. The dictionary part includes phonetic symbols and words corresponding to the phonetic symbols. The dictionary unit converts the appearance probability of each word into data according to the usage frequency. That is, the cumulative probability of each word for a predetermined phonetic symbol in the dictionary part is 100%. For example, for the phonetic symbol “roppongi”, the dictionary unit has a probability data of 90% for “Roppongi”, 5% for “Roppongi”, and so on. And the cumulative probability of each word for the phonetic symbol “roppongi” is 100%.

n−gramを用いた言語モデルは、直前のn−1単語を指定したときに、n単語目の単語の出現頻度を示すテーブルを有する。これにより、例えば、2−gramを用いた言語モデルでは、「新宿」という地名の単語の次には、「行く」等の動詞、「私」等の代名詞、が続きにくく、「タワー」等の名詞、固有名詞等が続きやすいというデータを有する。   The language model using n-gram has a table indicating the appearance frequency of the n-th word when the immediately preceding n-1 word is designated. Thus, for example, in a language model using 2-gram, a place name such as “Shinjuku” is not followed by a verb such as “go” and a pronoun such as “I”. It has data that nouns, proper nouns etc. are easy to follow

(3.7)音声認識部113
図5は、第1実施形態に係る音声認識サーバ100の音声認識部113の動作を説明するための概念図である。具体的には、図5(a)は、音声認識部113で変換される音声情報140の概念図である。図5(b)は、音声認識部113で音声情報140に基づいて置き換えられる発音記号142の一例を示す図である。図5(c)は、音声認識部113で発音記号142に基づいて変換される音声変換候補144の概念図である。
(3.7) Speech recognition unit 113
FIG. 5 is a conceptual diagram for explaining the operation of the speech recognition unit 113 of the speech recognition server 100 according to the first embodiment. Specifically, FIG. 5A is a conceptual diagram of the voice information 140 converted by the voice recognition unit 113. FIG. 5B is a diagram showing an example of phonetic symbols 142 that are replaced by the voice recognition unit 113 based on the voice information 140. FIG. 5C is a conceptual diagram of the speech conversion candidate 144 that is converted by the speech recognition unit 113 based on the phonetic symbol 142.

図5に示すように、音声認識部113は、音声受信手段として機能する通信部103から取得した音声情報140に対して、音声認識をする。   As shown in FIG. 5, the voice recognition unit 113 performs voice recognition on the voice information 140 acquired from the communication unit 103 that functions as a voice reception unit.

まず、図5(b)に示すように、音声認識部113は、音声情報140と、音響モデル記憶部109とに基づいて、音声情報140を発音記号142に置き換える。具体的には、音声認識部113は、音声情報140の特徴量等に基づいて、音声情報140を単語又は文節等である音声区間に区切る。次に、音声認識部113は、音響モデル記憶部109から、音声情報140に対応する発音記号142を抽出することにより、音声情報140の所定の音声区間を発音記号142に置き換える。また、音声認識部113は、発音記号142に対して、音響モデル記憶部109に基づいた確率を付与して記憶する。   First, as shown in FIG. 5B, the speech recognition unit 113 replaces the speech information 140 with a phonetic symbol 142 based on the speech information 140 and the acoustic model storage unit 109. Specifically, the voice recognition unit 113 divides the voice information 140 into voice sections such as words or phrases based on the feature amount of the voice information 140 and the like. Next, the voice recognition unit 113 extracts a phonetic symbol 142 corresponding to the voice information 140 from the acoustic model storage unit 109, thereby replacing a predetermined voice section of the voice information 140 with the phonetic symbol 142. Further, the speech recognition unit 113 assigns and stores probabilities based on the acoustic model storage unit 109 to the phonetic symbols 142.

例えば、音声認識部113は、音声情報140の特徴量に基づいて、音響モデル記憶部109に基づいた確率付きで、音声情報140を「ろっぽんぎからしんじゅくまで」等の発音記号142に置き換える。   For example, the speech recognizing unit 113 converts the speech information 140 into a phonetic symbol 142 such as “from Roppongi to Shinju” with a probability based on the acoustic model storage unit 109 based on the feature amount of the speech information 140. Replace with

次に、図5(c)に示すように、音声認識部113は、発音記号142について、言語モデル記憶部111に記憶される単語と、確率統計的な手法に基づいて、音声認識をする。言語モデル記憶部111は、発音記号142について、音声変換候補144と、音声変換候補144の確率とを記憶する。例えば、音声認識部113は、「ろっぽんぎからしんじゅくまで」という発音記号142について、言語モデル記憶部111に基づいて、「六本木から新宿まで」という音声変換候補144を作成する。すなわち、音声変換候補144は、発音記号142に対応するテキストデータである。   Next, as illustrated in FIG. 5C, the speech recognition unit 113 performs speech recognition on the phonetic symbol 142 based on words stored in the language model storage unit 111 and a probability statistical method. The language model storage unit 111 stores the speech conversion candidate 144 and the probability of the speech conversion candidate 144 for the phonetic symbol 142. For example, the speech recognition unit 113 creates a speech conversion candidate 144 “from Roppongi to Shinjuku” based on the language model storage unit 111 for the phonetic symbol 142 “from Roppongi to Shinjuku”. That is, the speech conversion candidate 144 is text data corresponding to the phonetic symbol 142.

(3.8)インターネットサービス記憶部115
図6は、第1実施形態に係る音声認識サーバ100のインターネットサービス記憶部115に記憶される情報の一例を示す図である。インターネットサービス記憶部115は、インターネットサービス115aと、インターネットサービスを判定する条件115bと、インターネットサービスに対応するURL115c等を記憶する。
(3.8) Internet service storage unit 115
FIG. 6 is a diagram illustrating an example of information stored in the Internet service storage unit 115 of the voice recognition server 100 according to the first embodiment. The Internet service storage unit 115 stores an Internet service 115a, a condition 115b for determining the Internet service, a URL 115c corresponding to the Internet service, and the like.

具体的には、インターネットサービス115aは、サービスの概要を示す名称や、サービスIDであり、例えば、経路探索、地図、レシピ等である。   Specifically, the Internet service 115a is a name indicating the outline of the service and a service ID, such as a route search, a map, and a recipe.

条件115bは、各インターネットサービス115aに含まれるサービス関連単語117bと、条件式とを含む情報である。例えば、インターネットサービス記憶部115は、サービス関連単語として、「から」、「まで」、「路線」「経路」を、経路探索というインターネットサービス115aに対応させて記憶する。同様にしてインターネットサービス記憶部115は、サービス関連単語として、「地図」、「県」、「府」「市」等を、地図というインターネットサービス115aに、「天気」、「郵便番号」、「〒」等を、天気というインターネットサービス115aに、「作り方」、「料理」等を、レシピというインターネットサービス115aに、それぞれ対応させて記憶する。   The condition 115b is information including a service-related word 117b included in each Internet service 115a and a conditional expression. For example, the Internet service storage unit 115 stores “from”, “to”, “route”, and “route” as service-related words in association with the Internet service 115 a called route search. Similarly, the Internet service storage unit 115 stores “map”, “prefecture”, “prefecture”, “city”, etc. as service-related words in the Internet service 115 a called “map”, “weather”, “postal code”, “ ”And the like are stored in the Internet service 115 a called weather, and“ how to make ”,“ cooking ”, and the like are stored in correspondence with the Internet service 115 a called recipe.

URL115cは、各インターネットサービス115aに対応するWebページのURLである。   The URL 115c is a URL of a Web page corresponding to each Internet service 115a.

(3.9)関連単語記憶部117
図7は、第1実施形態に係る音声認識サーバ100の関連単語記憶部117に記憶される情報の一例を示す図である。関連単語記憶部117は、URL117aと、サービス関連単語117bと、該当項目117cと、処理プログラム117d等を記憶する。
具体的には、URL117aは、インターネットサービス記憶部115に記憶されるURL115cと共通のURLであり、各インターネットサービスに対応するWebページのURLである。
(3.9) Related word storage unit 117
FIG. 7 is a diagram illustrating an example of information stored in the related word storage unit 117 of the speech recognition server 100 according to the first embodiment. The related word storage unit 117 stores a URL 117a, a service related word 117b, a corresponding item 117c, a processing program 117d, and the like.
Specifically, the URL 117a is a URL common to the URL 115c stored in the Internet service storage unit 115, and is a URL of a Web page corresponding to each Internet service.

サービス関連単語117bは、インターネットサービス記憶部115に記憶される条件115bに含まれる各サービス関連単語であり、インターネットサービス115a又はURL117aの特徴となる単語である。   The service-related word 117b is each service-related word included in the condition 115b stored in the Internet service storage unit 115, and is a word that is characteristic of the Internet service 115a or the URL 117a.

該当項目117cは、URL117aに対応するWebページにおいて、サービス関連単語117bがどの項目に該当するかを示す属性情報である。例えば、該当項目117cは、URL117aに対応するWebページのHTMLにおいて、サービス関連単語117bがどのテキストボックスに該当するかを示す。   The corresponding item 117c is attribute information indicating which item the service-related word 117b corresponds to in the Web page corresponding to the URL 117a. For example, the corresponding item 117c indicates which text box the service-related word 117b corresponds to in the HTML of the Web page corresponding to the URL 117a.

処理プログラム117dは、サービス関連単語117bと、該当項目117cとに基づいて、URL117aに対応するWebページにおいて、どのような処理をすべきかを示す情報である。例えば、処理プログラム117dは、JavaScript等のスクリプト言語により記述され、URL117aに対応するWebページにおいて、どの項目に、サービス関連単語117bの前後の単語を入力すべきかを示している。   The processing program 117d is information indicating what processing should be performed on the Web page corresponding to the URL 117a based on the service-related word 117b and the corresponding item 117c. For example, the processing program 117d is described in a script language such as JavaScript, and indicates in which item the words before and after the service-related word 117b should be input on the Web page corresponding to the URL 117a.

(3.10)インターネットサービス判定部119
図8は、第1実施形態に係る音声認識サーバ100のインターネットサービス判定部119及びURL作成部121の動作を説明するための概念図である。具体的には、図8(a)は、インターネットサービス判定部119で変換される音声変換候補144の概念図である。図8(b)は、インターネットサービス判定部119で音声変換候補144に基づいて置き換えられる標準クエリ146の一例を示す図である。図8(c)は、URL作成部121で標準クエリ146に基づいて変換されるURL148の概念図である。
(3.10) Internet service determination unit 119
FIG. 8 is a conceptual diagram for explaining operations of the Internet service determination unit 119 and the URL creation unit 121 of the voice recognition server 100 according to the first embodiment. Specifically, FIG. 8A is a conceptual diagram of the voice conversion candidate 144 converted by the Internet service determination unit 119. FIG. 8B is a diagram illustrating an example of a standard query 146 that is replaced based on the voice conversion candidate 144 by the Internet service determination unit 119. FIG. 8C is a conceptual diagram of the URL 148 converted by the URL creation unit 121 based on the standard query 146.

インターネットサービス判定部119は、音声認識部113の音声認識の結果である音声変換候補144に基づいて、対応するインターネットサービスを判定する。具体的には、インターネットサービス判定部119は、インターネットサービス記憶部115のサービス関連単語117bと、音声変換候補144とに基づいて、音声変換候補144に含まれる単語と、条件115bとを比較して、インターネットサービス115aを判定する。   The Internet service determination unit 119 determines a corresponding Internet service based on the speech conversion candidate 144 that is the result of speech recognition by the speech recognition unit 113. Specifically, the Internet service determination unit 119 compares the word included in the speech conversion candidate 144 with the condition 115b based on the service-related word 117b in the Internet service storage unit 115 and the speech conversion candidate 144. The Internet service 115a is determined.

例えば、インターネットサービス判定部119は、音声変換候補144に「から」、「まで」、「路線」の全て、又は、「から」、「まで」、「経路」の全てが含まれている場合に、インターネットサービス115aが、経路探索であると判定する。   For example, when the voice conversion candidate 144 includes all of “from”, “to”, and “route” or all of “from”, “to”, and “route” in the speech conversion candidate 144. The Internet service 115a determines that the route search is being performed.

更に、図8(b)に示すように、インターネットサービス判定部119は、インターネットサービス記憶部115と、関連単語記憶部117とに基づいて、標準クエリ146を作成する。具体的には、インターネットサービス判定部119は、インターネットサービス115aを判定し、条件115bに含まれるサービス関連単語117bに基づいて、音声変換候補144をURL115cに対応するWebページにおいて該当する該当項目117cに変換することで、標準クエリ146を作成する。   Further, as shown in FIG. 8B, the Internet service determination unit 119 creates a standard query 146 based on the Internet service storage unit 115 and the related word storage unit 117. Specifically, the Internet service determination unit 119 determines the Internet service 115a, and based on the service-related word 117b included in the condition 115b, the voice conversion candidate 144 is added to the corresponding item 117c in the Web page corresponding to the URL 115c. The standard query 146 is created by the conversion.

例えば、インターネットサービス判定部119は、音声変換候補144に「から」、「まで」、「路線」の全て、又は、「から」、「まで」、「経路」の全てが含まれている場合に、インターネットサービス115aが、経路探索であると判定し、音声変換候補144に含まれる「から」を「出発地」、「まで」を「目的地」に変換し、更に「経路探索」を検索候補とした標準クエリ146を作成する。   For example, when the voice conversion candidate 144 includes all of “from”, “to”, and “route” or all of “from”, “to”, and “route” in the speech conversion candidate 144. The Internet service 115a determines that the route search is performed, converts “from” included in the voice conversion candidate 144 into “departure place”, “up to” into “destination”, and further searches for “route search” as a search candidate. A standard query 146 is created.

(3.11)URL作成部121
URL作成部121は、音声認識部113の音声認識の結果である音声変換候補144に基づいて、対応するインターネットサービスを指定するURL115cを作成する。
(3.11) URL creation unit 121
The URL creation unit 121 creates a URL 115c that designates the corresponding Internet service based on the speech conversion candidate 144 that is the result of speech recognition by the speech recognition unit 113.

具体的には、URL作成部121は、条件115bと、音声変換候補144とを比較して、インターネットサービス115aを判定し、URL115cを作成する。すなわち、URL作成部121は、インターネットサービス記憶部115に記憶される条件115bに含まれるサービス関連単語117bと、音声変換候補144とに基づいて、インターネットサービス115aを判定し、URL115cを作成する。   Specifically, the URL creation unit 121 compares the condition 115b with the voice conversion candidate 144, determines the Internet service 115a, and creates the URL 115c. That is, the URL creation unit 121 determines the Internet service 115a based on the service-related word 117b included in the condition 115b stored in the Internet service storage unit 115 and the voice conversion candidate 144, and creates the URL 115c.

図8(c)に示すように、URL作成部121は、音声変換候補144と、URL115cに対応するWebページにおいて該当する該当項目117cとに基づいて、標準クエリ146を反映したURL148を作成する。例えば、URL作成部121は、「出発地」が「六本木」であることに対応したURLと、「目的地」が、「新宿」であることに対応したURLと、URL115cとを合わせたURL148を作成する。すなわち、URL148は、経路探索サービスを提供するインターネットサービスにおいて、六本木から新宿までの経路を示したWebページのアドレスとなる。   As shown in FIG. 8C, the URL creation unit 121 creates a URL 148 reflecting the standard query 146 based on the voice conversion candidate 144 and the corresponding item 117c corresponding to the Web page corresponding to the URL 115c. For example, the URL creation unit 121 generates a URL 148 that combines the URL corresponding to the “departure location” being “Roppongi”, the URL corresponding to the “destination” being “Shinjuku”, and the URL 115 c. create. That is, URL 148 is the address of a Web page that indicates the route from Roppongi to Shinjuku in an Internet service that provides a route search service.

URL作成部121は、音声変換候補144と、URL115cに対応するWebページにおいて該当する該当項目117cとに基づいて、標準クエリ146を反映した処理プログラム117dを作成してもよい。この場合、例えば、URL作成部121は、関連単語記憶部117の情報に基づいて、「出発地」が「六本木」であることに対応した処理プログラム117dと、「目的地」が、「新宿」であることに対応した処理プログラム117dとを組み合わせたJavaScript等のプログラムを作成する。   The URL creation unit 121 may create the processing program 117d reflecting the standard query 146 based on the voice conversion candidate 144 and the corresponding item 117c corresponding to the Web page corresponding to the URL 115c. In this case, for example, based on the information in the related word storage unit 117, the URL creation unit 121 has a processing program 117 d corresponding to the “departure point” being “Roppongi” and the “destination” is “Shinjuku”. A program such as JavaScript that combines the processing program 117d corresponding to the above is created.

通信部103は、認識結果情報170として、URL148を情報家電200に送信する。又は、通信部103は、認識結果情報170として、URL115cと、処理プログラム117dの組み合わせからなる情報を情報家電200に送信してもよい。   The communication unit 103 transmits the URL 148 to the information home appliance 200 as the recognition result information 170. Or the communication part 103 may transmit the information which consists of URL115c and the processing program 117d to the information household appliance 200 as the recognition result information 170. FIG.

(3.12)認識結果記憶部123
図9は、第1実施形態に係る音声認識サーバ100の認識結果記憶部123に記憶される情報の一例を示す図である。
(3.12) Recognition result storage unit 123
FIG. 9 is a diagram illustrating an example of information stored in the recognition result storage unit 123 of the voice recognition server 100 according to the first embodiment.

認識結果記憶部123は、ユーザID150と、情報家電識別情報160と、認識結果情報170と、送信日時等を記憶する。送信日時は、通信部103により認識結果情報170が情報家電200に送信された日時を示す情報である。   The recognition result storage unit 123 stores a user ID 150, information home appliance identification information 160, recognition result information 170, transmission date and time, and the like. The transmission date and time is information indicating the date and time when the recognition result information 170 is transmitted to the information home appliance 200 by the communication unit 103.

(4)情報家電200の詳細構成
図10は、第1実施形態の情報家電200の機能ブロック図である。図10に示すように、情報家電200は、制御部201、通信部203、入力部205、情報記憶部207、Webブラウザ210を備える。
(4) Detailed Configuration of Information Home Appliance 200 FIG. 10 is a functional block diagram of the information home appliance 200 according to the first embodiment. As illustrated in FIG. 10, the information home appliance 200 includes a control unit 201, a communication unit 203, an input unit 205, an information storage unit 207, and a web browser 210.

(4.1)制御部201
制御部201は、情報家電200を制御するCPU等の制御装置である。制御部201は、下記に示す機能部の動作を制御する。
(4.1) Control unit 201
The control unit 201 is a control device such as a CPU that controls the information home appliance 200. The control unit 201 controls the operation of the functional unit shown below.

(4.2)通信部203
通信部203は、通信ネットワーク50を介して、他の機器と通信を行う。具体的には、通信部203は、送信手段として機能し、情報記憶部207に記憶されている情報を音声認識サーバ100に送信する。例えば、通信部203は、ログイン処理において、ユーザID150、パスワード、ログイン要求を音声認識サーバ100に送信する。
(4.2) Communication unit 203
The communication unit 203 communicates with other devices via the communication network 50. Specifically, the communication unit 203 functions as a transmission unit, and transmits information stored in the information storage unit 207 to the voice recognition server 100. For example, the communication unit 203 transmits a user ID 150, a password, and a login request to the voice recognition server 100 in the login process.

また、通信部203は、受信手段として機能し、音声認識サーバ100から認識結果情報170を受信する。具体的には、通信部203は、音声認識サーバ100から認識結果情報170として、URL115cと、処理プログラム117dの組み合わせからなる情報、又はURL148を受信する。   In addition, the communication unit 203 functions as a receiving unit and receives the recognition result information 170 from the voice recognition server 100. Specifically, the communication unit 203 receives, as the recognition result information 170 from the voice recognition server 100, information consisting of a combination of the URL 115c and the processing program 117d, or the URL 148.

また、通信部203は、外部入力装置からの信号の受信手段として機能する。例えば、通信部203は、情報家電200の外部から、情報を入力するリモコンの操作に基づいて、送信された信号を受信する。通信部203は、Webサーバに対して、Webページの送信要求を送信するとともに、WebサーバからWebページを受信する。   The communication unit 203 functions as a means for receiving a signal from the external input device. For example, the communication unit 203 receives a transmitted signal from the outside of the information home appliance 200 based on an operation of a remote controller that inputs information. The communication unit 203 transmits a Web page transmission request to the Web server and receives the Web page from the Web server.

(4.3)入力部205
入力部205は、ボタンやタッチパネル等の入力装置であり、情報家電200を利用するユーザの操作に伴った信号のオン、オフを入力する。
(4.3) Input unit 205
The input unit 205 is an input device such as a button or a touch panel, and inputs on / off of a signal in accordance with a user operation using the information home appliance 200.

(4.4)情報記憶部207
情報記憶部207は、情報家電200の機能に関連する情報を記憶する。また、情報記憶部207は、情報家電識別情報160と、情報家電識別情報160に関連する情報を記憶する。
(4.4) Information storage unit 207
The information storage unit 207 stores information related to the function of the information home appliance 200. The information storage unit 207 stores information home appliance identification information 160 and information related to the information home appliance identification information 160.

(4.5)Webブラウザ210
図10に示すように、Webブラウザ210は、表示部211、データ取得部213、スクリプト実行部215を備える。Webブラウザ210は、インターネットの標準プロトコルであるHTTP(Hyper Text Transfer Protocol)等に従い、HTML(Hyper Text Markup Language)等の言語で記述されたWebページの取得要求の送信、Webページの取得、及びWebページの表示、フォームデータの送信等を行う機能を有している。また、Webブラウザ210には、Webページを表示する際の操作を制御するスクリプト言語、例えば、JavaScriptが実装されている。
(4.5) Web browser 210
As shown in FIG. 10, the Web browser 210 includes a display unit 211, a data acquisition unit 213, and a script execution unit 215. The Web browser 210 transmits an acquisition request for a Web page written in a language such as HTML (Hyper Text Markup Language) according to HTTP (Hyper Text Transfer Protocol), which is a standard protocol of the Internet, and acquires a Web page. It has functions for displaying pages and sending form data. Further, the web browser 210 is implemented with a script language, for example, JavaScript, for controlling an operation when displaying a web page.

(4.5.1)表示部211
表示部211は、通信部203から取得したWebページを情報家電200のディスプレイ等を介して、Webページを表示する。
(4.5.1) Display unit 211
The display unit 211 displays the web page acquired from the communication unit 203 via the display of the information home appliance 200 or the like.

(4.5.2)データ取得部213
データ取得部213は、認識結果情報170を通信部203から取得する。具体的には、データ取得部213は、認識結果情報170として、URL148又は、URL115cと、処理プログラム117dの組み合わせからなる情報を取得する。
(4.5.2) Data acquisition unit 213
The data acquisition unit 213 acquires the recognition result information 170 from the communication unit 203. Specifically, the data acquisition unit 213 acquires, as the recognition result information 170, information including a URL 148 or a combination of the URL 115c and the processing program 117d.

(4.5.3)スクリプト実行部215
スクリプト実行部215は、Webページを構成するHTMLに埋め込まれたJavaScript等のプログラム、または、Webページと共に取得したJavaScript等のプログラムを実行する。これにより、Webブラウザ210を介して表示されるWebページにプログラムに基づいて、動きを付加する。
(4.5.3) Script execution unit 215
The script execution unit 215 executes a program such as JavaScript embedded in HTML constituting the Web page, or a program such as JavaScript acquired together with the Web page. Thereby, a motion is added to the Web page displayed via the Web browser 210 based on the program.

例えば、データ取得部213が、路線探索に関するWebページを記載したURL115cと、「出発地」に「六本木」を入力すること、「目的地」に「新宿」を入力することを示した処理プログラム117dの組み合わせからなる情報を取得した場合、Webブラウザ210は、URL115cに記載されたWebページをWebサーバより取得する。次に、表示部211は、路線探索に関するWebページを表示し、スクリプト実行部215は、取得したプログラムを実行することにより、対応するテキストボックスに、「六本木」、「新宿」を入力する。   For example, the processing program 117d indicates that the data acquisition unit 213 inputs a URL 115c describing a web page related to route search, “Roppongi” is input to “Departure”, and “Shinjuku” is input to “Destination”. When acquiring information consisting of the above combinations, the Web browser 210 acquires the Web page described in the URL 115c from the Web server. Next, the display unit 211 displays a Web page related to the route search, and the script execution unit 215 inputs “Roppongi” and “Shinjuku” into the corresponding text boxes by executing the acquired program.

(5)情報家電システム1の動作
情報家電システム1の動作について、(5.1)全体概略動作、(5.2)情報家電システム1のログイン動作、(5.3)携帯通信端末10の音声入力動作、(5.4)音声認識サーバ100の音声認識動作の順に説明する。
(5) Operation of information home appliance system 1 Regarding the operation of information home appliance system 1, (5.1) Overall outline operation, (5.2) Login operation of information home appliance system 1, (5.3) Voice of portable communication terminal 10 The input operation and (5.4) the voice recognition operation of the voice recognition server 100 will be described in this order.

(5.1)全体概略動作
図11は、第1実施形態に係る情報家電システム1の動作を示すフローチャートである。
(5.1) Overall Schematic Operation FIG. 11 is a flowchart showing the operation of the information home appliance system 1 according to the first embodiment.

図11に示すように、ステップS100において、ユーザは、情報家電200及び携帯通信端末10を用いて、それぞれ情報家電システム1にログインする。具体的には、携帯通信端末10が、ユーザの操作等により、ユーザID150を音声認識サーバ100に送信することにより、音声認識サーバ100にログインする。また、情報家電200が、ユーザの操作等により、ユーザID150又は、情報家電識別情報160を音声認識サーバ100に送信することにより、音声認識サーバ100にログインする。   As shown in FIG. 11, in step S <b> 100, the user logs in to the information home appliance system 1 using the information home appliance 200 and the mobile communication terminal 10. Specifically, the mobile communication terminal 10 logs in the voice recognition server 100 by transmitting the user ID 150 to the voice recognition server 100 by a user operation or the like. Further, the information home appliance 200 logs in the voice recognition server 100 by transmitting the user ID 150 or the information home appliance identification information 160 to the voice recognition server 100 by a user operation or the like.

ステップS110において、ユーザは、携帯通信端末10を用いて、音声を入力する。具体的には、携帯通信端末10が、音声入力部13により入力され、変換された音声情報140を音声認識サーバ100に送信する。   In step S <b> 110, the user inputs voice using the mobile communication terminal 10. Specifically, the mobile communication terminal 10 transmits the voice information 140 input and converted by the voice input unit 13 to the voice recognition server 100.

ステップS120において、音声認識サーバ100は、音声情報140について、音声認識を行い、認識結果情報170を情報家電200に送信する。   In step S <b> 120, the voice recognition server 100 performs voice recognition on the voice information 140 and transmits the recognition result information 170 to the information home appliance 200.

ステップS130において、情報家電200は、認識結果情報170に基づいて、該当するWebサーバから認識結果情報170に該当するWebページを取得する。   In step S <b> 130, the information home appliance 200 acquires a Web page corresponding to the recognition result information 170 from the corresponding Web server based on the recognition result information 170.

(5.2)情報家電システム1のログイン動作
図12は、第1実施形態に係る情報家電システム1の動作の詳細を示すフローチャートである。ステップS101〜ステップS109は、図11におけるステップS100のログイン動作の詳細を示す。
(5.2) Login Operation of Information Home Appliance System 1 FIG. 12 is a flowchart showing details of the operation of the information home appliance system 1 according to the first embodiment. Steps S101 to S109 show details of the login operation in step S100 in FIG.

ステップS101において、情報家電200は、ユーザの操作等により、ユーザを識別するユーザ識別情報と、情報家電システム1へのログイン要求とを音声認識サーバ100に送信する。具体的には、情報家電200の通信部203は、ユーザの操作等により、ユーザID150又は、情報家電識別情報160、パスワード等と、ログイン要求とを音声認識サーバ100に送信する。   In step S <b> 101, the information home appliance 200 transmits user identification information for identifying the user and a login request to the information home appliance system 1 to the voice recognition server 100 by a user operation or the like. Specifically, the communication unit 203 of the information home appliance 200 transmits the user ID 150 or the information home appliance identification information 160, a password, and a login request to the voice recognition server 100 by a user operation or the like.

ステップS103において、音声認識サーバ100の認証部107は、通信部103を介して情報家電200から取得したユーザ識別情報に基づいて、ユーザの認証をする。   In step S <b> 103, the authentication unit 107 of the voice recognition server 100 authenticates the user based on the user identification information acquired from the information home appliance 200 via the communication unit 103.

ステップS105において、携帯通信端末10は、ユーザの操作等により、ユーザを識別するユーザ識別情報と、情報家電システム1へのログイン要求とを音声認識サーバ100に送信する。具体的には、携帯通信端末10の通信部17は、ユーザの操作等により、ユーザID150又は、情報家電識別情報160、パスワード等と、ログイン要求とを音声認識サーバ100に送信する。   In step S <b> 105, the mobile communication terminal 10 transmits user identification information for identifying the user and a log-in request to the information home appliance system 1 to the voice recognition server 100 by a user operation or the like. Specifically, the communication unit 17 of the mobile communication terminal 10 transmits a user ID 150 or information home appliance identification information 160, a password, and a login request to the voice recognition server 100 by a user operation or the like.

ステップS107において、音声認識サーバ100の認証部107は、通信部17を介して携帯通信端末10から取得したユーザ識別情報に基づいて、ユーザの認証をする。   In step S <b> 107, the authentication unit 107 of the voice recognition server 100 authenticates the user based on the user identification information acquired from the mobile communication terminal 10 via the communication unit 17.

ステップS109において、音声認識サーバ100の通信部103は、ログインを示す情報を含むWebページ510を情報家電200及び携帯通信端末10に送信する。   In step S <b> 109, the communication unit 103 of the voice recognition server 100 transmits a Web page 510 including information indicating login to the information home appliance 200 and the mobile communication terminal 10.

(5.3)携帯通信端末10の音声入力動作
図12に示すステップS111〜ステップS113は、図11におけるステップS110の音声入力動作の詳細を示す。
(5.3) Voice Input Operation of Mobile Communication Terminal 10 Steps S111 to S113 shown in FIG. 12 show details of the voice input operation of step S110 in FIG.

ステップS111において、携帯通信端末10の音声入力部13は、携帯通信端末10を利用するユーザ等の音声を入力する。また、音声入力部13は、入力された音声を音声信号からなる音声情報140に変換する。   In step S <b> 111, the voice input unit 13 of the mobile communication terminal 10 inputs a voice of a user who uses the mobile communication terminal 10. The voice input unit 13 converts the input voice into voice information 140 including voice signals.

ステップS113において、携帯通信端末10の通信部17は、音声情報140を音声認識サーバ100に送信する。また、音声認識サーバ100を利用するユーザが、複数の情報家電を用いる場合、すなわち、ユーザ情報記憶部105にユーザID150に対応する情報家電識別情報160が複数記憶される場合、通信部17は、認識結果情報170を受信する情報家電200を識別する情報家電識別情報160を音声認識サーバ100に送信する。   In step S <b> 113, the communication unit 17 of the mobile communication terminal 10 transmits the voice information 140 to the voice recognition server 100. When the user who uses the voice recognition server 100 uses a plurality of information home appliances, that is, when a plurality of information home appliance identification information 160 corresponding to the user ID 150 is stored in the user information storage unit 105, the communication unit 17 Information home appliance identification information 160 for identifying the information home appliance 200 that receives the recognition result information 170 is transmitted to the voice recognition server 100.

また、ユーザ情報記憶部105にユーザID150に対応する情報家電識別情報160が複数記憶される場合において、携帯通信端末10の通信部17から情報家電200を識別する情報家電識別情報160が送信されなかった場合、音声認識サーバ100は、どの情報家電200に対して、認識結果情報170を送信するかを問いかける確認要求をステップS113以降で携帯通信端末10に送信してもよい。   In addition, when a plurality of information home appliance identification information 160 corresponding to the user ID 150 is stored in the user information storage unit 105, the information home appliance identification information 160 for identifying the information home appliance 200 is not transmitted from the communication unit 17 of the mobile communication terminal 10. In this case, the voice recognition server 100 may transmit a confirmation request asking which information home appliance 200 is to transmit the recognition result information 170 to the mobile communication terminal 10 after step S113.

(5.4)音声認識サーバ100の音声認識動作
図12に示すステップS121〜ステップS129は、図11におけるステップS120の音声認識動作の詳細を示す。
(5.4) Voice Recognition Operation of Voice Recognition Server 100 Steps S121 to S129 shown in FIG. 12 show details of the voice recognition operation of step S120 in FIG.

ステップS121において、音声認識サーバ100の通信部103は、音声情報140を受信する。   In step S <b> 121, the communication unit 103 of the voice recognition server 100 receives the voice information 140.

ステップS123において、音声認識サーバ100の音声認識部113は、通信部103から取得した音声情報140について、音声認識をする。   In step S <b> 123, the voice recognition unit 113 of the voice recognition server 100 performs voice recognition on the voice information 140 acquired from the communication unit 103.

ステップS125において、音声認識サーバ100のインターネットサービス判定部119は、音声認識部113の音声認識の結果である音声変換候補144に基づいて、対応するインターネットサービスを判定する。   In step S <b> 125, the Internet service determination unit 119 of the voice recognition server 100 determines a corresponding Internet service based on the voice conversion candidate 144 that is a result of the voice recognition of the voice recognition unit 113.

ステップS127において、音声認識サーバ100のURL作成部121は、音声認識部113の音声認識の結果である音声変換候補144に基づいて、対応するインターネットサービスを指定するURL115cを作成する。   In step S127, the URL creation unit 121 of the speech recognition server 100 creates a URL 115c that specifies the corresponding Internet service based on the speech conversion candidate 144 that is the result of speech recognition by the speech recognition unit 113.

ステップS129において、音声認識サーバ100の通信部103は、音声認識部113の音声認識の結果を認識結果情報170としてユーザID150に関連する情報家電200に送信する。具体的には、通信部103は、ユーザ情報記憶部105を参照して、ユーザID150に対応する情報家電識別情報160を備える情報家電200に認識結果情報170を送信する。音声認識サーバ100を利用するユーザが、複数の情報家電を用いる場合、通信部103は、携帯通信端末10から受信した情報家電識別情報160に基づいて、対応する情報家電200に認識結果情報170を送信する。   In step S129, the communication unit 103 of the voice recognition server 100 transmits the result of voice recognition by the voice recognition unit 113 to the information home appliance 200 related to the user ID 150 as the recognition result information 170. Specifically, the communication unit 103 refers to the user information storage unit 105 and transmits the recognition result information 170 to the information home appliance 200 including the information home appliance identification information 160 corresponding to the user ID 150. When the user using the voice recognition server 100 uses a plurality of information home appliances, the communication unit 103 sends the recognition result information 170 to the corresponding information home appliance 200 based on the information home appliance identification information 160 received from the mobile communication terminal 10. Send.

通信部103は、認識結果情報170としてURL148又は、URL115cと、処理プログラム117dの組み合わせからなる情報を情報家電200に送信する。なお、通信部103は、音声認識部113が音声認識をしたことを確認することにより、認識結果情報170を情報家電識別情報160に関連する情報家電200に送信してもよい。   The communication unit 103 transmits information including a combination of the URL 148 or the URL 115 c and the processing program 117 d as the recognition result information 170 to the information home appliance 200. The communication unit 103 may transmit the recognition result information 170 to the information home appliance 200 related to the information home appliance identification information 160 by confirming that the voice recognition unit 113 has performed voice recognition.

(5.5)情報家電200のWebページ取得動作
図12に示すステップS131〜ステップS137は、図11におけるステップS130のWebページの取得動作の詳細を示す。
(5.5) Web Page Acquisition Operation of Information Home Appliance 200 Steps S131 to S137 shown in FIG. 12 show details of the Web page acquisition operation of step S130 in FIG.

ステップS131において、情報家電200のデータ取得部213は、認識結果情報170を通信部203から取得する。具体的には、データ取得部213は、認識結果情報170として、URL148又は、URL115cと、処理プログラム117dの組み合わせからなる情報を取得する。   In step S131, the data acquisition unit 213 of the information home appliance 200 acquires the recognition result information 170 from the communication unit 203. Specifically, the data acquisition unit 213 acquires, as the recognition result information 170, information including a URL 148 or a combination of the URL 115c and the processing program 117d.

ステップS133において、情報家電200の通信部203は、URL148に基づいて、該当するWebサーバ500に対して、Webページの送信要求を送信する。   In step S <b> 133, the communication unit 203 of the information home appliance 200 transmits a Web page transmission request to the corresponding Web server 500 based on the URL 148.

ステップS135において、情報家電200の通信部203は、URL148に記載されたWebページをWebサーバ500から受信する。   In step S <b> 135, the communication unit 203 of the information home appliance 200 receives the Web page described in the URL 148 from the Web server 500.

ステップS137において、表示部211は、通信部203から取得したWebページ510を情報家電200のディスプレイ等を介して、表示する。   In step S137, the display unit 211 displays the Web page 510 acquired from the communication unit 203 via the display of the information home appliance 200 or the like.

(6)作用・効果
以上説明したように、第1実施形態によれば、情報家電システム1は、携帯通信端末10と、音声認識サーバ100と、情報家電200とを備える。
ここで、携帯通信端末10は、音声を入力する音声入力部13と、音声認識サーバ100を利用するユーザを識別するユーザ識別情報及び音声入力部13により入力された音声情報140を送信する通信部17とを備える。
(6) Action / Effect As described above, according to the first embodiment, the information home appliance system 1 includes the mobile communication terminal 10, the voice recognition server 100, and the information home appliance 200.
Here, the mobile communication terminal 10 includes a voice input unit 13 for inputting voice, a user identification information for identifying a user who uses the voice recognition server 100, and a communication unit for transmitting voice information 140 input by the voice input unit 13. 17.

また、音声認識サーバ100は、情報家電200から受信した音声について、音声認識をする音声認識部113と、ユーザ識別情報であるユーザID150に関連する情報家電200に音声認識の結果である認識結果情報170を送信する通信部103とを備える。   In addition, the voice recognition server 100 recognizes the voice received from the information home appliance 200, and the voice recognition unit 113 that performs voice recognition, and the recognition result information that is the result of voice recognition on the information home appliance 200 related to the user ID 150 that is user identification information. And a communication unit 103 that transmits 170.

このため、情報家電200は、通信ネットワーク50を介して音声認識サーバ100に接続し、Webブラウザ210さえ備えていれば、キーボード等を接続して、操作性を解消することや、情報家電に制御プログラムをインストールし、外部に設置したパソコン等を用いて制御されていなくてもよい。   For this reason, the information home appliance 200 is connected to the voice recognition server 100 via the communication network 50 and, as long as the web browser 210 is provided, a keyboard or the like is connected to eliminate operability or control the information home appliance. The program may be installed and not controlled using a personal computer installed outside.

従って、特別な制御プログラムのインストールなど、ユーザに負担を強いて利便性を低下させることなく、操作性を向上させた情報家電システム1を提供できる。   Therefore, it is possible to provide the information home appliance system 1 with improved operability without imposing a burden on the user and reducing convenience, such as installing a special control program.

また、情報家電200は、Webブラウザ210さえ備えていれば、それ以上の新たな構成を付与する必要がないため、情報家電200を製造する家電メーカの協力が無くとも情報家電システム1を利用可能とすることができる。   In addition, since the information home appliance 200 does not need to be given a new configuration any more as long as it has a web browser 210, the information home appliance system 1 can be used without the cooperation of a home appliance manufacturer that manufactures the information home appliance 200. It can be.

実施形態では、音声認識サーバ100のユーザ情報記憶部105は、認識結果情報170を受信する情報家電200を識別する情報家電識別情報160をユーザ識別情報に対応させて記憶する。また、通信部103は、音声認識部113が音声認識をしたことを確認し、認識結果情報170を情報家電識別情報160に関連する情報家電200に送信する。   In the embodiment, the user information storage unit 105 of the voice recognition server 100 stores information home appliance identification information 160 that identifies the information home appliance 200 that receives the recognition result information 170 in association with the user identification information. In addition, the communication unit 103 confirms that the voice recognition unit 113 has performed voice recognition, and transmits the recognition result information 170 to the information home appliance 200 related to the information home appliance identification information 160.

このため、通信部103は、音声認識部113が音声認識をした後、適宜、認識結果情報170を情報家電200に送信する。従って、情報家電200は、認識結果情報170をタイムリーに受信することができる。   Therefore, the communication unit 103 transmits the recognition result information 170 to the information home appliance 200 as appropriate after the voice recognition unit 113 performs voice recognition. Therefore, the information home appliance 200 can receive the recognition result information 170 in a timely manner.

実施形態では、音声認識サーバ100は、インターネットサービス115aと、インターネットサービス115aに関連するサービス関連単語117bとを記憶するインターネットサービス記憶部115と、音声認識部113の音声認識の結果である音声変換候補144と、インターネットサービス記憶部115に基づいて、対応するインターネットサービス115aを判定するインターネットサービス判定部119とを更に備える。   In the embodiment, the speech recognition server 100 includes the Internet service 115a, the Internet service storage unit 115 that stores the service-related words 117b related to the Internet service 115a, and the speech conversion candidate that is the result of speech recognition by the speech recognition unit 113. 144 and an Internet service determination unit 119 that determines the corresponding Internet service 115 a based on the Internet service storage unit 115.

このため、音声認識サーバ100は、音声認識部113の音声認識の結果を情報家電200に送信するだけでなく、対応するインターネットサービス115aを情報家電200に送信することができる。従って、情報家電システム1は、ユーザにより入力された音声に基づいて、音声認識の結果を出力する、いわゆる音声認識システムとして機能するだけでなく、ユーザの欲する最適なインターネットサービス115aを出力することができる。   For this reason, the voice recognition server 100 can transmit the corresponding Internet service 115 a to the information home appliance 200 as well as the result of the voice recognition of the voice recognition unit 113 to the information home appliance 200. Therefore, the information home appliance system 1 not only functions as a so-called voice recognition system that outputs the result of voice recognition based on the voice input by the user, but also outputs the optimal Internet service 115a desired by the user. it can.

実施形態では、音声認識サーバ100は、音声認識部113の音声認識の結果である音声変換候補144に基づいて、対応するインターネットサービス115aを指定するURL115cを作成するURL作成部121を更に備える。また、通信部103は、URL115cを認識結果情報170として送信する。   In the embodiment, the speech recognition server 100 further includes a URL creation unit 121 that creates a URL 115c that specifies the corresponding Internet service 115a based on the speech conversion candidate 144 that is the result of speech recognition by the speech recognition unit 113. In addition, the communication unit 103 transmits the URL 115 c as the recognition result information 170.

従って、情報家電システム1は、ユーザにより入力された音声に基づいて、音声認識の結果を出力する、いわゆる音声認識システムとして機能するだけでなく、ユーザの欲するインターネットサービス115aを提供するURL115cを出力することができる。これによれば、ユーザは、音声さえ入力すれば、URL115cを選択するだけで、ユーザの欲するインターネットサービス115aを提供するWebページへアクセスすることができる。   Therefore, the information home appliance system 1 not only functions as a so-called voice recognition system that outputs the result of voice recognition based on the voice input by the user, but also outputs the URL 115c that provides the Internet service 115a desired by the user. be able to. According to this, the user can access a web page that provides the Internet service 115a that the user wants only by selecting the URL 115c as long as the user inputs voice.

更に、実施形態では、URL作成部121は、インターネットサービス記憶部115に記憶されるサービス関連単語117bと、音声認識部113の音声認識の結果である音声変換候補144とに基づいて、インターネットサービス115aを判定し、URL148を作成する。   Furthermore, in the embodiment, the URL creating unit 121 uses the Internet service 115a based on the service-related word 117b stored in the Internet service storage unit 115 and the speech conversion candidate 144 that is the result of speech recognition by the speech recognition unit 113. And URL 148 is created.

すなわち、URL作成部121は、インターネットサービス115aを判定するだけでなく、音声認識部113の音声認識の結果である音声変換候補144に基づいたURL148を作成する。従って、情報家電システム1は、ユーザにより入力された音声に基づいて、音声認識の結果を出力する、いわゆる音声認識システムとして機能するだけでなく、ユーザの欲する項目を考慮したWebページを提供するURL148を出力することができる。例えば、ユーザは、「六本木から新宿まで」と音声入力すれば、URL148に基づいた六本木から新宿までの経路を示したWebページへアクセスすることができる。   That is, the URL creation unit 121 not only determines the Internet service 115 a but also creates a URL 148 based on the speech conversion candidate 144 that is the result of speech recognition by the speech recognition unit 113. Accordingly, the information home appliance system 1 not only functions as a so-called voice recognition system that outputs a result of voice recognition based on voice input by the user, but also provides a URL 148 that provides a Web page in consideration of items desired by the user. Can be output. For example, the user can access a Web page showing a route from Roppongi to Shinjuku based on URL 148 by inputting voice from “Roppongi to Shinjuku”.

実施形態では、携帯通信端末10の通信部17は、情報家電200を識別する情報家電識別情報160を更に送信する。また、音声認識サーバ100のユーザ情報記憶部105は、ユーザ識別情報に対応する複数の情報家電識別情報160を記憶する。このため、音声認識サーバ100の通信部103は、携帯通信端末10の通信部17により送信された情報家電識別情報160に基づいて、情報を情報家電識別情報160に関連する情報家電200に送信する。従って、情報家電システム1は、音声認識サーバ100のユーザ情報記憶部105が、ユーザ識別情報に対応する複数の情報家電識別情報160を記憶する場合においても、該当する情報家電200に認識結果情報170を送信することができる。   In the embodiment, the communication unit 17 of the mobile communication terminal 10 further transmits information home appliance identification information 160 that identifies the information home appliance 200. In addition, the user information storage unit 105 of the voice recognition server 100 stores a plurality of information home appliance identification information 160 corresponding to the user identification information. Therefore, the communication unit 103 of the voice recognition server 100 transmits information to the information home appliance 200 related to the information home appliance identification information 160 based on the information home appliance identification information 160 transmitted by the communication unit 17 of the mobile communication terminal 10. . Therefore, in the information home appliance system 1, even when the user information storage unit 105 of the voice recognition server 100 stores a plurality of information home appliance identification information 160 corresponding to the user identification information, the recognition result information 170 is included in the corresponding information home appliance 200. Can be sent.

[第2実施形態]
以下の第2実施形態においては、第1実施形態と異なる点を主に説明し、重複する説明を省略する。
[Second Embodiment]
In the following second embodiment, differences from the first embodiment will be mainly described, and overlapping description will be omitted.

上述した第1実施形態では、図3に示すように、音声認識サーバ100は、制御部101、通信部103、ユーザ情報記憶部105、認証部107、音響モデル記憶部109、言語モデル記憶部111、音声認識部113、インターネットサービス記憶部115、関連単語記憶部117、インターネットサービス判定部119、URL作成部121、認識結果記憶部123を備える。   In the first embodiment described above, as shown in FIG. 3, the speech recognition server 100 includes a control unit 101, a communication unit 103, a user information storage unit 105, an authentication unit 107, an acoustic model storage unit 109, and a language model storage unit 111. , A voice recognition unit 113, an Internet service storage unit 115, a related word storage unit 117, an Internet service determination unit 119, a URL creation unit 121, and a recognition result storage unit 123.

これに対して、第2実施形態では、図13に示すように、音声認識サーバ100aは、制御部101、通信部103、ユーザ情報記憶部105、認証部107、音響モデル記憶部109、言語モデル記憶部111、音声認識部113、認識結果記憶部123を備える。すなわち、音声認識サーバ100aは、第1実施形態に記載のインターネットサービス記憶部115、関連単語記憶部117、インターネットサービス判定部119、URL作成部121を備えない点で、音声認識サーバ100と異なる。   On the other hand, in the second embodiment, as shown in FIG. 13, the speech recognition server 100a includes a control unit 101, a communication unit 103, a user information storage unit 105, an authentication unit 107, an acoustic model storage unit 109, a language model. A storage unit 111, a speech recognition unit 113, and a recognition result storage unit 123 are provided. That is, the speech recognition server 100a differs from the speech recognition server 100 in that it does not include the Internet service storage unit 115, the related word storage unit 117, the Internet service determination unit 119, and the URL creation unit 121 described in the first embodiment.

また、第2実施形態では、スクリプト実行部215が実行するWebページを構成するHTMLに埋め込まれたJavaScript等のプログラム、または、Webページと共に取得したJavaScript等のプログラム(以下、プログラムと示す)が、第1実施形態に記載のプログラムと異なる。具体的には、第2実施形態では、上述したプログラムが、第1実施形態に記載のインターネットサービス記憶部115、関連単語記憶部117、インターネットサービス判定部119、URL作成部121の機能を備える。   In the second embodiment, a program such as JavaScript embedded in HTML constituting a Web page executed by the script execution unit 215 or a program such as JavaScript (hereinafter referred to as a program) acquired together with the Web page is provided. Different from the program described in the first embodiment. Specifically, in the second embodiment, the above-described program includes the functions of the Internet service storage unit 115, the related word storage unit 117, the Internet service determination unit 119, and the URL creation unit 121 described in the first embodiment.

すなわち、第2実施形態では、スクリプト実行部215が実行するプログラムが、インターネットサービス115a、条件115b、URL115c等を記憶する。また、上述したプログラムは、音声認識部113の音声認識の結果である音声変換候補144に基づいて、対応するインターネットサービスを判定する機能を備える。また、プログラムは、インターネットサービスを判定し、URL115cを作成する機能を備える。   That is, in the second embodiment, the program executed by the script execution unit 215 stores the Internet service 115a, the condition 115b, the URL 115c, and the like. The above-described program has a function of determining a corresponding Internet service based on the speech conversion candidate 144 that is a result of speech recognition by the speech recognition unit 113. The program also has a function of determining an Internet service and creating a URL 115c.

このようなプログラムは、Webページ510を送信するWebサーバ500から送信され、Webページ510向けの機能を備えていればよい。例えば、Webページ510が、地図を提供するページである場合、プログラムは、音声変換候補144に「地図」、「県」、「府」「市」等の地図に関連するサービス関連単語が含まれているか、否かに基づいて、判定をする機能を備えていればよい。   Such a program may be transmitted from the web server 500 that transmits the web page 510 and has a function for the web page 510. For example, when the Web page 510 is a page providing a map, the program includes service-related words related to the map such as “map”, “prefecture”, “prefecture”, “city”, etc. in the speech conversion candidate 144. It suffices to have a function of making a determination based on whether or not it is present.

なお、プログラムは、第1実施形態に記載のインターネットサービス記憶部115、関連単語記憶部117に相当する機能を備えていなくてもよい。この場合、Webページ510を送信するWebサーバ500が、インターネットサービス記憶部115、関連単語記憶部117に相当する機能を備えることにより、プログラムは、適宜Webサーバ500に問い合わせを行うことにより、インターネットサービス等の判定を実行できる。   The program may not have the functions corresponding to the Internet service storage unit 115 and the related word storage unit 117 described in the first embodiment. In this case, the Web server 500 that transmits the Web page 510 has functions corresponding to the Internet service storage unit 115 and the related word storage unit 117, so that the program makes an inquiry to the Web server 500 as appropriate so that the Internet service Etc. can be executed.

[その他の実施形態]
上述した第1実施形態では、音声認識サーバ100は、音声情報140について、音声認識を行い、音声認識が終了後、適時、認識結果情報170を情報家電200に送信する。すなわち、音声認識サーバ100は、処理が終了後適宜、次の処理を進めるいわゆるプッシュ型の配信を行うコンピュータである。本発明は、これに限られず、例えば、音声認識サーバ100は、音声情報140について、音声認識を行い、音声認識が終了後、情報家電200の要求に応じて、認識結果情報170を情報家電200に送信する。すなわち、情報家電200が、音声認識サーバ100に対して、情報家電200に送信すべき情報の有無を確認する、いわゆるポーリング型の配信を行うコンピュータであってもよい。
[Other Embodiments]
In the first embodiment described above, the voice recognition server 100 performs voice recognition on the voice information 140, and transmits the recognition result information 170 to the information home appliance 200 in a timely manner after the voice recognition is completed. That is, the voice recognition server 100 is a computer that performs so-called push-type distribution in which the next process is appropriately performed after the process is completed. The present invention is not limited to this. For example, the voice recognition server 100 performs voice recognition on the voice information 140, and after the voice recognition is completed, the recognition result information 170 is sent to the information household appliance 200 in response to a request from the information household appliance 200. Send to. In other words, the information home appliance 200 may be a computer that performs so-called polling-type distribution in which the voice recognition server 100 confirms whether or not there is information to be transmitted to the information home appliance 200.

この場合、情報家電200のWebブラウザ210は、所定のタイミングで、ユーザ識別情報に関連するWebブラウザ210に対する認識結果情報170の有無を確認する確認要求を音声認識サーバ100に送信する確認要求送信手段を更に備える。また、音声認識サーバ100の通信部103は、確認要求に基づいて、確認要求を送信した情報家電200に認識結果情報170を送信する。   In this case, the Web browser 210 of the information home appliance 200 transmits a confirmation request for confirming the presence or absence of the recognition result information 170 for the Web browser 210 related to the user identification information to the voice recognition server 100 at a predetermined timing. Is further provided. Further, the communication unit 103 of the voice recognition server 100 transmits the recognition result information 170 to the information home appliance 200 that has transmitted the confirmation request based on the confirmation request.

このような情報家電200によれば、例えば、情報家電200のセキュリティー仕様などにより、プッシュ型の配信を受け付けない場合においても、情報家電200の確認要求送信手段が、所定のタイミングで、確認要求を音声認識サーバ100に送信することにより、音声認識サーバ100と、情報家電200との通信を可能にすることができる。このようなポーリング型の配信は、情報家電200のWebブラウザ210に実装されるJavaScriptにより、実現できる。   According to such an information home appliance 200, for example, even if the push type distribution is not accepted due to the security specification of the information home appliance 200, the confirmation request transmitting unit of the information home appliance 200 issues a confirmation request at a predetermined timing. By transmitting to the voice recognition server 100, communication between the voice recognition server 100 and the information home appliance 200 can be enabled. Such polling-type distribution can be realized by JavaScript installed in the Web browser 210 of the information home appliance 200.

上述した第1実施形態では、URL作成部121は、音声認識部113の音声認識の結果である音声変換候補144に基づいて、対応するインターネットサービス115aを指定するURL115cを作成する。本発明は、これに限定されず、URL作成部121は、音声認識部113の音声認識の結果である音声変換候補144を用いてインターネット検索を行い、音声変換候補144に対応するWebページの属性に基づいて、インターネットサービス115aを指定するURL148を作成してもよい。具体的には、URL作成部121は、Webページの特徴語をTF/IDF等の技術により抽出して、サービスと特徴語とを関連づけたテーブルを参照することにより、インターネットサービス115aを指定するURL148を作成してもよい。   In the first embodiment described above, the URL creation unit 121 creates the URL 115c that specifies the corresponding Internet service 115a based on the speech conversion candidate 144 that is the result of speech recognition by the speech recognition unit 113. The present invention is not limited to this, and the URL creation unit 121 performs an Internet search using the speech conversion candidate 144 that is the result of speech recognition by the speech recognition unit 113, and the attribute of the Web page corresponding to the speech conversion candidate 144 Based on the URL, a URL 148 that designates the Internet service 115a may be created. Specifically, the URL creation unit 121 extracts a feature word of the Web page by a technique such as TF / IDF, and refers to a table in which the service and the feature word are associated with each other, thereby specifying the URL 148 that specifies the Internet service 115a. May be created.

このようなURL作成部121によれば、リアルタイムで、音声変換候補144に基づく、最適のインターネットサービス115aを提供するWebページを検索することができる。   According to such a URL creation unit 121, it is possible to search in real time for a Web page that provides the optimal Internet service 115a based on the voice conversion candidate 144.

上述した第1実施形態では、音声認識サーバ100を利用するユーザを識別するユーザ識別情報として、ユーザID150を用いている。本発明は、これに限られず、ユーザを識別するユーザ識別情報としてとして、ユーザ情報、端末の識別情報等を用いてもよい。ユーザ情報は、ユーザの氏名、居住地等の個人に関連する情報である。端末の識別情報は、端末固有の情報であり、端末を所有するユーザを特定できる。   In the first embodiment described above, the user ID 150 is used as user identification information for identifying a user who uses the voice recognition server 100. The present invention is not limited to this, and user information, terminal identification information, and the like may be used as user identification information for identifying a user. The user information is information related to an individual such as the user's name and residence. The terminal identification information is information unique to the terminal and can identify a user who owns the terminal.

これらのユーザ識別情報は、携帯通信端末10と、音声認識サーバ100との間で暗号化されて送受信されてもよい。また、携帯通信端末10及び音声認識サーバ100が、ユーザID、ユーザ情報、端末の識別情報等の少なくとも何れかに基づく情報をそれぞれ記憶し、共有してもよい。この場合、ユーザ識別情報は、携帯通信端末10及び音声認識サーバ100でそれぞれ記憶し、共有した情報であり、ユーザID、ユーザ情報、端末の識別情報等の少なくとも何れかに基づく情報であればよい。   Such user identification information may be encrypted and transmitted / received between the mobile communication terminal 10 and the voice recognition server 100. In addition, the mobile communication terminal 10 and the voice recognition server 100 may store and share information based on at least one of a user ID, user information, terminal identification information, and the like. In this case, the user identification information is information stored and shared by the mobile communication terminal 10 and the voice recognition server 100, and may be information based on at least one of user ID, user information, terminal identification information, and the like. .

上述した第1実施形態では、通信部103は、「出発地」が「六本木」であることに対応したURLと、「目的地」が、「新宿」であることに対応したURLと、URL115cとを合わせたURL148を認識結果情報170として、情報家電200に送信している。本発明は、これに限定されず、通信部103は、音声認識部113の音声認識の結果である音声変換候補144を認識結果情報170として、情報家電200に送信してもよい。また、通信部103は、音声変換候補144に含まれる「から」を「出発地」、「まで」を「目的地」に変換し、更に「経路探索」を検索候補とした標準クエリ146を認識結果情報170として、情報家電200に送信してもよい。   In the first embodiment described above, the communication unit 103 includes a URL corresponding to the “departure point” being “Roppongi”, a URL corresponding to the “destination” being “Shinjuku”, and the URL 115c. Is transmitted to the information home appliance 200 as recognition result information 170. The present invention is not limited to this, and the communication unit 103 may transmit the speech conversion candidate 144, which is a result of speech recognition by the speech recognition unit 113, to the information home appliance 200 as the recognition result information 170. Further, the communication unit 103 recognizes the standard query 146 in which “From” included in the speech conversion candidate 144 is converted into “Departure”, “To” is converted into “Destination”, and “Route search” is further used as a search candidate. The result information 170 may be transmitted to the information home appliance 200.

上述した第1実施形態では、音声認識の結果を情報家電200で表示しているが、本発明はこれに限定されず、認識結果を携帯通信端末10に送信して、携帯通信端末10で表示してもよい。   In the first embodiment described above, the result of speech recognition is displayed on the information home appliance 200, but the present invention is not limited to this, and the recognition result is transmitted to the mobile communication terminal 10 and displayed on the mobile communication terminal 10. May be.

上述した第1実施形態では、携帯通信端末10、音声認識サーバ100、情報家電200が備える各ブロックについて記載しているが、本発明はこれに限られず、例えば、上記の各ブロックの機能を実行するコンピュータプログラムとしてもよく、また、このコンピュータプログラムを配信する情報処理装置であってもよい。また、上述したように、情報を取得する情報取得方法であってもよい。   In 1st Embodiment mentioned above, although each block with which the portable communication terminal 10, the speech recognition server 100, and the information household appliance 200 are provided is described, this invention is not limited to this, For example, the function of said each block is performed. The computer program may be a computer program that distributes the computer program. Further, as described above, an information acquisition method for acquiring information may be used.

上述した第1実施形態では、本発明の情報家電200は、いわゆる家電が有するハードウェア資源に加えて、ディスプレイ上のWebブラウザ210を用いて、インターネットを利用することができる情報家電である。しかしながら、情報家電200は、前述の通りWebブラウザ210を備えていればよく、パソコンであってもよい。この場合、情報家電システム1によれば、キーボードを用いなくてもよいため、キーボード入力に不慣れなユーザ、キーボードによる入力に不自由なユーザに特に有効である。   In the first embodiment described above, the information home appliance 200 of the present invention is an information home appliance that can use the Internet using the Web browser 210 on the display in addition to the hardware resources of the so-called home appliance. However, the information home appliance 200 only needs to include the Web browser 210 as described above, and may be a personal computer. In this case, according to the information home appliance system 1, since it is not necessary to use a keyboard, it is particularly effective for a user who is unfamiliar with keyboard input and a user who is inconvenient for keyboard input.

上述した第1実施形態では、ステップS100において、携帯通信端末10及び情報家電200が、音声認識サーバ100にログインしてから音声認識を行っている。本発明は、これに限定されず、例えば、ステップS113において、携帯通信端末10の通信部17は、音声情報140と共に、ユーザID150を音声認識サーバ100に送信することにより、携帯通信端末10は、ステップS120の音声認識と同時に音声認識サーバ100にログインしてもよい。また、情報家電200は、ステップS120の音声認識の段階で、音声認識サーバ100にログインしていなくてもよく、代わりに携帯通信端末10が、認識結果情報170を送信すべく情報家電200を識別する情報家電識別情報160を音声認識サーバ100に送信していればよい。これによれば、情報家電200は、ステップS120の音声認識の段階で、音声認識サーバ100にログインしていなくても、認識結果情報170を受信した際に、音声認識サーバ100にログインすることで、情報家電システム1は、動作する。   In the first embodiment described above, in step S100, the mobile communication terminal 10 and the information home appliance 200 perform voice recognition after logging into the voice recognition server 100. The present invention is not limited to this. For example, in step S113, the communication unit 17 of the mobile communication terminal 10 transmits the user ID 150 together with the audio information 140 to the voice recognition server 100. You may log in to the speech recognition server 100 simultaneously with the speech recognition in step S120. In addition, the information home appliance 200 does not need to log in to the voice recognition server 100 at the stage of voice recognition in step S120. Instead, the mobile communication terminal 10 identifies the information home appliance 200 to transmit the recognition result information 170. Information home appliance identification information 160 to be transmitted may be transmitted to the voice recognition server 100. According to this, the information home appliance 200 can log in to the voice recognition server 100 when receiving the recognition result information 170 even if it is not logged in to the voice recognition server 100 in the stage of voice recognition in step S120. The information home appliance system 1 operates.

このように、本発明は、ここでは記載していない様々な実施の形態などを含むことは勿論である。したがって、本発明の技術的範囲は、上述の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。   As described above, the present invention naturally includes various embodiments that are not described herein. Therefore, the technical scope of the present invention is defined only by the invention specifying matters according to the scope of claims reasonable from the above description.

例えば、各構成図、フローチャート、概念図の図などは例示に過ぎず、各要素の有無、その順序や具体的内容などは適宜変更可能である。一例として、手動によるブロックの指定は必須ではなく、また、本発明において、各手段などの要素は、コンピュータの演算制御部に限らず、ワイヤードロジック等に基づく電子回路で実現してもよい。   For example, each configuration diagram, flowchart, conceptual diagram, and the like are merely examples, and the presence / absence of each element, its order, specific contents, and the like can be changed as appropriate. As an example, manual block designation is not indispensable, and in the present invention, elements such as each means are not limited to an arithmetic control unit of a computer but may be realized by an electronic circuit based on wired logic or the like.

1 情報家電システム
10 携帯通信端末
11 制御部
13 音声入力部
15 テキスト情報入力部
17 通信部
19 記憶部
30 クライアント端末
50 通信ネットワーク
100 音声認識サーバ
101 制御部
103 通信部
105 ユーザ情報記憶部
107 認証部
109 音響モデル記憶部
111 言語モデル記憶部
113 音声認識部
115 インターネットサービス記憶部
115a インターネットサービス
115b 条件
117 関連単語記憶部
117b サービス関連単語
117c 該当項目
117d 処理プログラム
119 インターネットサービス判定部
121 URL作成部
123 認識結果記憶部
140 音声情報
142 発音記号
144 音声変換候補
146 標準クエリ
150 ユーザID
160 情報家電識別情報
170 認識結果情報
200 情報家電
201 制御部
203 通信部
205 入力部
207 情報記憶部
210 ブラウザ
211 表示部
213 データ取得部
215 スクリプト実行部
500 Webサーバ
510 Webページ
DESCRIPTION OF SYMBOLS 1 Information appliance system 10 Mobile communication terminal 11 Control part 13 Voice input part 15 Text information input part 17 Communication part 19 Storage part 30 Client terminal 50 Communication network 100 Speech recognition server 101 Control part 103 Communication part 105 User information storage part 107 Authentication part 109 Acoustic model storage unit 111 Language model storage unit 113 Speech recognition unit 115 Internet service storage unit 115a Internet service 115b Condition 117 Related word storage unit 117b Service related word 117c Corresponding item 117d Processing program 119 Internet service determination unit 121 URL creation unit 123 recognition Result storage unit 140 Voice information 142 Phonetic symbol 144 Voice conversion candidate 146 Standard query 150 User ID
160 Information home appliance identification information 170 Recognition result information 200 Information home appliance 201 Control unit 203 Communication unit 205 Input unit 207 Information storage unit 210 Browser 211 Display unit 213 Data acquisition unit 215 Script execution unit 500 Web server 510 Web page

Claims (10)

クライアント端末と、ネットワークを介して前記クライアント端末に接続する音声認識サーバと、Webブラウザを有しネットワークを介して前記音声認識サーバに接続する情報家電とを備える情報家電システムであって、
前記クライアント端末は、
音声を入力する音声入力手段と、前記音声認識サーバを利用するユーザを識別するユーザ識別情報及び前記音声入力手段により入力された音声を送信する音声送信手段とを備え、
前記音声認識サーバは、
前記音声を受信する音声受信手段と、前記音声受信手段から取得した音声について、音声認識をする音声認識手段と、前記音声認識手段の音声認識の結果を認識結果情報として前記ユーザ識別情報に関連する情報家電に送信する認識結果送信手段とを備え、
前記情報家電の前記Webブラウザは、
前記認識結果情報を取得するデータ取得手段を備えることを特徴とする情報家電システム。
An information home appliance system comprising a client terminal, a voice recognition server connected to the client terminal via a network, and an information home appliance connected to the voice recognition server via a network having a web browser,
The client terminal is
Voice input means for inputting voice; user identification information for identifying a user who uses the voice recognition server; and voice transmission means for transmitting voice input by the voice input means,
The voice recognition server
The voice receiving means for receiving the voice, the voice recognition means for voice recognition for the voice acquired from the voice receiving means, and the result of voice recognition of the voice recognition means as the recognition result information is related to the user identification information A recognition result transmitting means for transmitting to the information home appliance,
The web browser of the information appliance is
An information home appliance system comprising data acquisition means for acquiring the recognition result information.
前記ユーザ識別情報と、前記ユーザ識別情報に対応するとともに、前記認識結果情報を受信する情報家電を識別する情報家電識別情報とを記憶する記憶手段を更に備え、
前記認識結果送信手段は、前記音声認識手段が音声認識をしたことを確認し、前記認識結果情報を前記情報家電識別情報に関連する情報家電に送信することを特徴とする請求項1に記載の情報家電システム。
The apparatus further comprises storage means for storing the user identification information and information home appliance identification information that corresponds to the user identification information and identifies the information home appliance that receives the recognition result information,
The said recognition result transmission means confirms that the said voice recognition means performed voice recognition, and transmits the said recognition result information to the information household appliance relevant to the said information household appliance identification information, The said household appliance is characterized by the above-mentioned. Information home appliance system.
前記情報家電の前記Webブラウザは、
所定のタイミングで、前記ユーザ識別情報に関連する前記情報家電に対する前記認識結果情報の有無を確認する確認要求を前記音声認識サーバに送信する確認要求送信手段を更に備え、
前記認識結果送信手段は、前記確認要求に基づいて、前記確認要求を送信した情報家電に前記認識結果情報を送信することを特徴とする請求項1又は2に記載の情報家電システム。
The web browser of the information appliance is
A confirmation request transmitting means for transmitting a confirmation request for confirming the presence or absence of the recognition result information for the information home appliance related to the user identification information to the voice recognition server at a predetermined timing;
The information home appliance system according to claim 1, wherein the recognition result transmission unit transmits the recognition result information to the information home appliance that has transmitted the confirmation request based on the confirmation request.
前記音声認識サーバは、
インターネットサービスと、前記インターネットサービスに関連するサービス関連単語とを記憶するインターネットサービス記憶部と、
前記音声認識手段の音声認識の結果と、前記インターネットサービス記憶部のサービス関連単語とに基づいて、対応するインターネットサービスを判定するインターネットサービス判定手段とを更に備えることを特徴とする請求項1乃至3の何れか一項に記載の情報家電システム。
The voice recognition server
An Internet service storage unit for storing an Internet service and a service-related word related to the Internet service;
4. An Internet service determination unit that determines a corresponding Internet service based on a result of voice recognition by the voice recognition unit and a service-related word in the Internet service storage unit. The information household appliance system as described in any one of.
前記音声認識サーバは、
前記音声認識手段の音声認識の結果に基づいて、対応するインターネットサービスを指定するURLを作成するURL作成手段を更に備え、
前記認識結果送信手段は、前記URLを認識結果情報として送信することを特徴とする請求項1乃至3の何れか一項に記載の情報家電システム。
The voice recognition server
URL creation means for creating a URL for designating a corresponding Internet service based on the result of voice recognition by the voice recognition means;
The information home appliance system according to any one of claims 1 to 3, wherein the recognition result transmitting unit transmits the URL as recognition result information.
前記URL作成手段は、
前記音声認識手段の音声認識の結果を用いてインターネット検索を行い、前記音声認識手段の音声認識の結果に対応するWebページの属性に基づいて、前記インターネットサービスを指定する前記URLを作成することを特徴とする請求項5に記載の情報家電システム。
The URL creation means
An Internet search is performed using the voice recognition result of the voice recognition means, and the URL designating the Internet service is created based on the attribute of the Web page corresponding to the voice recognition result of the voice recognition means. The information home appliance system according to claim 5, characterized in that:
前記音声認識サーバは、
インターネットサービスと、前記インターネットサービスに関連するサービス関連単語とを記憶するインターネットサービス記憶部を更に備え、
前記URL作成手段は、
前記インターネットサービス記憶部に記憶されるサービス関連単語と、前記音声認識手段の音声認識の結果とに基づいて、前記インターネットサービスを判定し、前記URLを作成することを特徴とする請求項5又は6に記載の情報家電システム。
The voice recognition server
An Internet service storage unit for storing an Internet service and a service-related word related to the Internet service;
The URL creation means
7. The URL is created by determining the Internet service based on a service-related word stored in the Internet service storage unit and a voice recognition result of the voice recognition means. Information home appliance system described in 1.
前記音声送信手段は、情報家電を識別する情報家電識別情報を更に送信し、
前記記憶手段は、前記ユーザ識別情報に対応する複数の情報家電識別情報を記憶することを特徴とする請求項1乃至7の何れか一項に記載の情報家電システム。
The voice transmission means further transmits information home appliance identification information for identifying information home appliances,
The information home appliance system according to any one of claims 1 to 7, wherein the storage unit stores a plurality of information home appliance identification information corresponding to the user identification information.
クライアント端末と、ネットワークを介して前記クライアント端末に接続する音声認識サーバと、Webブラウザを有し、ネットワークを介して前記音声認識サーバに接続する情報家電とを備える情報家電システムの情報取得方法であって、
前記クライアント端末が、音声を入力するステップと、
前記クライアント端末が、前記音声認識サーバを利用するユーザを識別するユーザ識別情報及び前記音声を送信するステップと、
前記音声認識サーバが、前記音声を受信するステップと、
前記音声認識サーバが、該音声について、音声認識をするステップと、
前記音声認識サーバが、前記音声認識の結果を認識結果情報として前記ユーザ識別情報に関連する情報家電に送信するステップと、
前記情報家電の前記Webブラウザが、前記認識結果情報を取得するステップと、
を備えることを特徴とする情報家電システムの情報取得方法。
An information home appliance system information acquisition method comprising: a client terminal; a voice recognition server connected to the client terminal via a network; and an information home appliance having a web browser and connected to the voice recognition server via the network. And
The client terminal inputting voice;
The client terminal transmitting user identification information for identifying a user who uses the voice recognition server and the voice;
The voice recognition server receiving the voice;
The voice recognition server performing voice recognition on the voice;
The voice recognition server transmitting the result of the voice recognition to the information home appliance related to the user identification information as recognition result information;
The web browser of the information appliance acquiring the recognition result information;
The information acquisition method of the information home appliance system characterized by comprising.
クライアント端末と、ネットワークを介して前記クライアント端末に接続する音声認識サーバと、Webブラウザを有し、ネットワークを介して前記音声認識サーバに接続する情報家電とを備える情報家電システムに情報を取得させるプログラムであって、
前記クライアント端末に、音声を入力するステップと、
前記クライアント端末に、前記音声認識サーバを利用するユーザを識別するユーザ識別情報及び前記音声を送信するステップと、
前記音声認識サーバに、前記音声を受信するステップと、
前記音声認識サーバに、該音声について、音声認識をするステップと、
前記音声認識サーバに、前記音声認識の結果を認識結果情報として前記ユーザ識別情報に関連する情報家電に送信するステップと、
前記情報家電の前記Webブラウザに、前記認識結果情報を取得するステップと、
を実行させるためのプログラム。
A program that causes an information home appliance system to acquire information including a client terminal, a voice recognition server that connects to the client terminal via a network, and an information home appliance that has a Web browser and connects to the voice recognition server via the network Because
Inputting voice to the client terminal;
Transmitting user identification information for identifying a user who uses the voice recognition server and the voice to the client terminal;
Receiving the voice at the voice recognition server;
Performing voice recognition on the voice to the voice recognition server;
Transmitting to the voice recognition server the result of the voice recognition as recognition result information to an information appliance related to the user identification information;
Obtaining the recognition result information in the web browser of the information appliance;
A program for running
JP2010179095A 2010-08-10 2010-08-10 Information home appliance system, information acquisition method and program Active JP5351855B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010179095A JP5351855B2 (en) 2010-08-10 2010-08-10 Information home appliance system, information acquisition method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010179095A JP5351855B2 (en) 2010-08-10 2010-08-10 Information home appliance system, information acquisition method and program

Publications (2)

Publication Number Publication Date
JP2012037783A true JP2012037783A (en) 2012-02-23
JP5351855B2 JP5351855B2 (en) 2013-11-27

Family

ID=45849817

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010179095A Active JP5351855B2 (en) 2010-08-10 2010-08-10 Information home appliance system, information acquisition method and program

Country Status (1)

Country Link
JP (1) JP5351855B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050625A1 (en) * 2012-09-26 2014-04-03 京セラ株式会社 Information terminal and voice control method
WO2014103035A1 (en) * 2012-12-28 2014-07-03 株式会社レイトロン Voice recognition device
US9888060B2 (en) 2013-11-28 2018-02-06 Panasonic Intellectual Property Corporation Of America Control method, communications terminal, and control system
WO2019159646A1 (en) * 2018-02-14 2019-08-22 パナソニックIpマネジメント株式会社 System for acquiring control information and method for acquiring control information
JP2020046546A (en) * 2018-09-19 2020-03-26 Kddi株式会社 Information processing system and information processing method
US10650825B2 (en) 2015-10-23 2020-05-12 Sharp Kabushiki Kaisha Communication device
JP2020087377A (en) * 2018-11-30 2020-06-04 株式会社リコー Information processing system, information processing apparatus, and method
JP2020119425A (en) * 2019-01-28 2020-08-06 シャープ株式会社 Information processing device, information processing system, information processing method, and program
JP2020136920A (en) * 2019-02-20 2020-08-31 パナソニックIpマネジメント株式会社 Voice control system and voice control method
CN113009836A (en) * 2019-12-20 2021-06-22 东芝生活电器株式会社 Information processing system, home electric appliance, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111642794A (en) 2015-03-31 2020-09-11 韩国烟草人参公社 Cigarette flavor capsule preparation device and nozzle with double-discharge structure

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116182A (en) * 2001-10-05 2003-04-18 Ntt Comware Corp Electric apparatus remote control system, method thereof, program thereof and recording medium with the program recorded thereon
JP2004334409A (en) * 2003-05-02 2004-11-25 Nippon Hoso Kyokai <Nhk> Data browsing support device, data browsing method, and data browsing program
JP2006203900A (en) * 2002-07-16 2006-08-03 Advanced Media Inc Voice recognition server and voice recognition system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116182A (en) * 2001-10-05 2003-04-18 Ntt Comware Corp Electric apparatus remote control system, method thereof, program thereof and recording medium with the program recorded thereon
JP2006203900A (en) * 2002-07-16 2006-08-03 Advanced Media Inc Voice recognition server and voice recognition system
JP2004334409A (en) * 2003-05-02 2004-11-25 Nippon Hoso Kyokai <Nhk> Data browsing support device, data browsing method, and data browsing program

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014050625A1 (en) * 2012-09-26 2014-04-03 京セラ株式会社 Information terminal and voice control method
JP2014068170A (en) * 2012-09-26 2014-04-17 Kyocera Corp Information terminal, voice operation program, and voice operation method
WO2014103035A1 (en) * 2012-12-28 2014-07-03 株式会社レイトロン Voice recognition device
JPWO2014103035A1 (en) * 2012-12-28 2017-01-12 株式会社レイトロン Speech recognition device
US9888060B2 (en) 2013-11-28 2018-02-06 Panasonic Intellectual Property Corporation Of America Control method, communications terminal, and control system
US10650825B2 (en) 2015-10-23 2020-05-12 Sharp Kabushiki Kaisha Communication device
JP2019139645A (en) * 2018-02-14 2019-08-22 パナソニックIpマネジメント株式会社 System and method for acquiring control information
WO2019159646A1 (en) * 2018-02-14 2019-08-22 パナソニックIpマネジメント株式会社 System for acquiring control information and method for acquiring control information
JP2020046546A (en) * 2018-09-19 2020-03-26 Kddi株式会社 Information processing system and information processing method
JP2020087377A (en) * 2018-11-30 2020-06-04 株式会社リコー Information processing system, information processing apparatus, and method
JP7180330B2 (en) 2018-11-30 2022-11-30 株式会社リコー Information processing system, information processing device, and method
JP2020119425A (en) * 2019-01-28 2020-08-06 シャープ株式会社 Information processing device, information processing system, information processing method, and program
JP2020136920A (en) * 2019-02-20 2020-08-31 パナソニックIpマネジメント株式会社 Voice control system and voice control method
CN113009836A (en) * 2019-12-20 2021-06-22 东芝生活电器株式会社 Information processing system, home electric appliance, and program

Also Published As

Publication number Publication date
JP5351855B2 (en) 2013-11-27

Similar Documents

Publication Publication Date Title
JP5351855B2 (en) Information home appliance system, information acquisition method and program
CN100586075C (en) Household network device controlling method and equipment management apparatus
CN103915095B (en) The method of speech recognition, interactive device, server and system
US10003683B2 (en) Method for communication between users and smart appliances
WO2016094303A1 (en) Accessing messaging applications in search
EP2605170A2 (en) Computer apparatus and method for operating application
US9418539B2 (en) Remote control apparatus and electronic device remotely controlled by the same
CN103384244A (en) Method and apparatus for configuring keyboard for web browser
CN102158522A (en) Information processing apparatus, information processing method, control target device, and information processing system
JP2007251630A (en) Remote desktop displaying method
JP2009265219A (en) Voice input distribution processing method, and voice input distribution processing system
JP4754432B2 (en) Remote operation system, communication terminal, server device, and computer program
JP5696749B2 (en) Information processing apparatus, information processing method, and computer program
TWI641969B (en) Electronic device and operation method thereof and server host device
KR100634798B1 (en) Home Appliance Network System and Its Operating Method
JP2010250740A (en) Method for input to web page, web server, and web system
KR20090002226A (en) Method and apparatus for a limited range search using the hot key
KR20090093370A (en) Method of Registering User Indication Name Used for On-Line Service
KR101618353B1 (en) Method for synchronizing server-side language and client-side language, and server-client system using the same
KR101546502B1 (en) Searching system and searching method using the text in page
KR20110073392A (en) System and method for supporting remote controller for event handling in web environment
KR20130130506A (en) Apparatus and method for servicing helper of application
KR20090061154A (en) Method and apparatus for external input by using user device
US20140032224A1 (en) Method of controlling electronic apparatus and interactive server
KR20170087149A (en) Server and method for providing conversation service of virtual

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120717

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120807

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120913

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20121002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121220

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20130104

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20130308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130823

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5351855

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350