JP3793913B2 - Remote control system, remote control method and recording medium - Google Patents
Remote control system, remote control method and recording medium Download PDFInfo
- Publication number
- JP3793913B2 JP3793913B2 JP2000289066A JP2000289066A JP3793913B2 JP 3793913 B2 JP3793913 B2 JP 3793913B2 JP 2000289066 A JP2000289066 A JP 2000289066A JP 2000289066 A JP2000289066 A JP 2000289066A JP 3793913 B2 JP3793913 B2 JP 3793913B2
- Authority
- JP
- Japan
- Prior art keywords
- remote control
- function
- information processing
- speech recognition
- function set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Description
【0001】
【発明の属する技術分野】
本発明は、音声認識を用いて所定の機器を遠隔操作するための遠隔制御システムおよび遠隔制御方法および記録媒体に関する。
【0002】
【従来の技術】
特開平11−345024号には、音声認識機能を用いて遠隔制御対象となる機器を操作するリモコン装置が示されている。しかしながら、特開平11−345024号に示されているリモコン装置では、音声認識用の辞書が読出専用メモリ(ROM)に保存されているので、音声認識対象語を変更できないという不都合がある。
【0003】
また、特開平10−322780号には、インターネットに接続できる環境において、音声認識機能を用いてページの閲覧,編集やメール操作を行うことが可能なリモコン装置が示されている。特開平10−322780号に示されているリモコン装置では、音声認識に必要な全処理をリモコン装置側で行うため、リモコン装置に高速な中央処理演算器と大容量メモリとが必要となり、装置の規模が大きくなってしまうという不都合がある。また、インターネットに接続する環境とテレビとが独立しているので、インターネット上の情報を利用してテレビ操作ができないという不都合がある。
【0004】
また、特開平9−23389号には、音声認識機能を用いてテレビを操作することが可能なテレビジョン受信機,テレビジョン受信機用リモコン送信機およびテレビジョン受信機システムが示されている。しかしながら、特開平9−23389号に示されている技術では、テレビの機能に対して認識対象語が固定されており、テレビ以外の機器を同一のリモコンで操作しようとする場合、音声認識対象語を変更することができないので、音声による操作ができなくなるという不都合がある。
【0005】
【発明が解決しようとする課題】
本発明は、サーバが提供する情報を利用して、音声認識対象語を入れ替え可能であって、音声認識を用いて所定の機器を遠隔操作することの可能な遠隔制御システムおよび遠隔制御方法および記録媒体を提供することを目的としている。
【0006】
【課題を解決するための手段】
上記目的を達成するために、請求項1記載の発明は、サーバが提供する情報の閲覧機能を有するテレビと、テレビの閲覧機能により得られた閲覧内容に対して所定の処理を行う情報処理手段と、音声認識によりテレビに対して遠隔操作を行なうリモコン手段とを備え、前記閲覧内容には、テレビを操作する機能コードと音声認識対象語とが対応している機能セットが含まれており、前記情報処理手段は、音声認識対象語を言語解析によって読みに変換して前記機能セットに付加し、該機能セットを、要求に応じてリモコン手段に送信し、前記リモコン手段は、前記情報処理手段から送信された機能セットに含まれている音声認識対象語に対応する読みのいずれかをユーザに発声させて音声認識を行ない、音声認識結果に対応する機能信号によってテレビを遠隔操作するようになっていることを特徴としている。
また、請求項2記載の発明は、サーバが提供する情報の閲覧機能を有するテレビと、テレビの閲覧機能により得られた閲覧内容に対して所定の処理を行う情報処理手段と、所定の外部機器と、音声認識により所定の外部機器に対して遠隔操作を行なうリモコン手段とを備え、前記閲覧内容には、所定の外部機器を操作する機能コードと音声認識対象語とが対応している機能セットが含まれており、前記情報処理手段は、音声認識対象語を言語解析によって読みに変換して前記機能セットに付加し、該機能セットを、要求に応じてリモコン手段に送信し、前記リモコン手段は、前記情報処理手段から送信された機能セットに含まれている音声認識対象語に対応する読みのいずれかをユーザに発声させて音声認識を行ない、音声認識結果に対応する機能信号によって所定の外部機器を遠隔操作するようになっていることを特徴としている。
【0008】
また、請求項3記載の発明は、請求項1または請求項2記載の遠隔制御システムにおいて、前記リモコン手段は、前記情報処理手段から送信された機能セットに含まれている音声認識対象語に対応する読みから言語モデルを生成し、当該言語モデルを構成する単位で表現された音声認識モデルとユーザの入力音声の特徴量とを比較することによって音声認識を行ない音声認識結果を得るようになっていることを特徴としている。
【0009】
また、請求項4記載の発明は、請求項1または請求項2記載の遠隔制御システムにおいて、前記情報処理手段は、前記機能セットを無線通信によってリモコン手段に送信するようになっていることを特徴としている。
【0010】
また、請求項5記載の発明は、請求項1または請求項2記載の遠隔制御システムにおいて、前記情報処理手段は、リモコン手段を装着することによって、前記機能セットをリモコン手段に送信するようになっていることを特徴としている。
【0011】
また、請求項6記載の発明は、請求項1または請求項2記載の遠隔制御システムにおいて、前記テレビは、該テレビの閲覧機能が前記閲覧内容を課金対象と判断した場合に、前記サーバに課金情報を送信するようになっていることを特徴としている。
【0012】
また、請求項7記載の発明は、請求項1至請求項6のいずれか一項に記載の遠隔制御システムにおいて、前記情報処理手段は、前記機能セットを複数のグループに分けて記憶し、要求に応じて、複数の当該グループの中の1つのグループの機能セットを選択し、前記リモコン手段に送信するようになっていることを特徴としている。
【0013】
また、請求項8記載の発明は、請求項1または請求項2記載の遠隔制御システムにおいて、前記機能セットは時刻に対応した情報を有し、また、前記情報処理手段は時計を有しており、前記情報処理手段は、前記時計を用いて、機能セットの一部を前記リモコン手段へ送信するようになっていることを特徴としている。
【0014】
また、請求項9記載の発明は、サーバが提供する情報の閲覧機能を有するテレビと、テレビの閲覧機能により得られた閲覧内容に対して所定の処理を行う情報処理手段と、音声認識によりテレビに対して遠隔操作を行なうリモコン手段とを有する遠隔制御システムにおける遠隔制御方法であって、前記閲覧内容には、テレビを操作する機能コードと音声認識対象語とが対応している機能セットが含まれており、前記情報処理手段は、音声認識対象語を言語解析によって読みに変換して前記機能セットに付加し、該機能セットを、要求に応じてリモコン手段に送信し、前記リモコン手段は、前記情報処理手段から送信された機能セットに含まれている音声認識対象語に対応する読みのいずれかをユーザに発声させて音声認識を行ない、音声認識結果に対応する機能信号によってテレビを遠隔操作することを特徴としている。
【0015】
また、請求項10記載の発明は、サーバが提供する情報の閲覧機能を有するテレビと、テレビの閲覧機能により得られた閲覧内容に対して所定の処理を行う情報処理手段と、所定の外部機器と、音声認識により所定の外部機器に対して遠隔操作を行なうリモコン手段とを有する遠隔制御システムにおける遠隔制御方法であって、前記閲覧内容には、所定の外部機器を操作する機能コードと音声認識対象語とが対応している機能セットが含まれており、前記情報処理手段は、音声認識対象語を言語解析によって読みに変換して前記機能セットに付加し、該機能セットを、要求に応じてリモコン手段に送信し、前記リモコン手段は、前記情報処理手段から送信された機能セットに含まれている音声認識対象語に対応する読みのいずれかをユーザに発声させて音声認識を行ない、音声認識結果に対応する機能信号によって所定の外部機器を遠隔操作することを特徴としている。
また、請求項11記載の発明は、請求項1乃至請求項8のいずれか一項に記載の遠隔制御システム、または、請求項9または請求項10に記載の遠隔制御方法における情報処理手段の機能をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【0016】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0017】
図1は本発明に係るリモコン装置(遠隔制御システム)の第1の構成例を示す図である。図1を参照すると、このリモコン装置(遠隔制御システム)は、電話回線に接続されているテレビ1と、情報処理手段2と、リモコン手段3とを備えている。
【0018】
また、図2は本発明に係るリモコン装置(遠隔制御システム)の第2の構成例を示す図である。なお、図2において図1に対応する箇所には同じ符号を付している。図2を参照すると、このリモコン装置(遠隔制御システム)は、電話回線に接続されているテレビ1と、情報処理手段2と、リモコン手段3と、リモコン手段3によって遠隔制御可能な所定の外部機器(例えば、ラジオなど)4−1〜4−Mとを備えている。
【0019】
図1,図2の構成例において、テレビ1は、電話回線を通して、例えばインターネットに接続されたサーバが提供する情報(例えば、HTML形式などで記述されたページ)を閲覧する閲覧機能を有している。
【0020】
図3は図1,図2の構成例における情報処理手段2の構成例を示す図であり、情報処理手段2は、テレビの閲覧機能により得られた閲覧内容に対して所定の処理を行うようになっている。すなわち、図3を参照すると、情報処理手段2は、言語辞書11と、テレビ1の閲覧機能により得られた閲覧内容(例えば、テレビ1がインターネットを通じてテレビ番組表を閲覧しているとするとき、図4に示すようなテレビ番組表に対応したテキスト情報)を、言語辞書11を用いて言語解析する言語解析部12とを有している。
【0021】
より詳細に、例えば図1の構成例では、閲覧内容には、テレビを操作する機能コードと音声認識対象語とが対応している機能セットが含まれており、情報処理手段2は、音声認識対象語を言語解析によって読みに変換して機能セットに付加するようになっている。図5には、言語解析部12によって変換された読みが付加された機能セットが示されている。
【0022】
そして、図3の例では、情報処理手段2には、さらに、言語解析部12によって得られた機能セット(図5に示すように読みが付加された機能セット)を複数の(N個の)グループに分けて(例えば、リモコン手段3で制御したい機器や機能別にグループ分けして)記憶するN個の機能記憶部13−1〜13−Nと、使用したい機能の要求(機能要求)が例えばリモコン手段3からテレビ1を通してあるとき、N個の機能記憶部13−1〜13−Nの中から機能要求に応じた1つの機能記憶部を選択し、この機能記憶部に記憶されている機能セットを読み出す機能判断部14と、機能判断部14によって読み出された機能セットをリモコン手段3へ送信する送信部15とが設けられている。
【0023】
また、図6はリモコン手段3の構成例を示す図であり、リモコン手段3は、音声認識により、図1の例ではテレビ1に対して、図2の例ではテレビ1,所定の外部機器4−1〜4−Mに対して遠隔操作を行なうようになっている。すなわち、図6を参照すると、リモコン手段3は、情報処理手段2から送信された図5に示すような機能セット(読みが付加された機能セット)を受信する受信部21と、受信部21によって受信した機能セット(読みが付加された機能セット)を記憶する機能記憶部22と、機能記憶部22に記憶された読みと言語構成情報とを用いて言語モデル(音素単位の並び)を作成する言語モデル作成部23と、使用者の入力音声の特徴量を抽出する特徴抽出部24と、言語モデル作成部23で作成された言語モデルを構成している音素から音声認識用の音素モデル(音声認識モデル)を参照し、音声認識モデルと特徴抽出部24で抽出された入力音声の特徴量とを比較して音声認識結果(読み)を得る比較部25と、比較部25によって得られた音声認識結果(読み)に対応する機能信号(制御信号)を、図1の例ではテレビ1に、また、図2の例ではテレビ1,所定の外部機器4−1〜4−Mに送信する(機能信号によって図1の例ではテレビ1を、また、図2の例ではテレビ1,所定の外部機器4−1〜4−Mを遠隔操作する)送信部26とを有している。
【0024】
このように、リモコン手段3は、音声認識機能を有し、使用者が発声した音声をリモコン手段3に入力することによって、図1の例ではテレビ1を、また、図2の例ではテレビ1,所定の外部機器4−1〜4−Mを遠隔操作できるようになっている。この際、発声可能な語は、リモコン手段3に格納されており、情報処理手段2から送信される機能セットをリモコン手段3に記憶しておくことにより、入れ換えが可能となっている。
【0025】
次に、このような構成のリモコン装置について、より詳細に説明する。いま、使用者は、インターネットを通じて、テレビ番組表をテレビ1で閲覧しているものとする。
【0026】
ここで、リモコン手段3においてテレビ番組名を発声してテレビチャンネルを切り替えるためには、次のような処理を行う。
【0027】
すなわち、まず、図4に示すようなテレビ番組表に対応したテキスト情報をサーバからテレビ1を介して情報処理手段2にダウンロードする。なお、図4において、音声認識語の列は、テレビ番組名を示している。また、機能コードの列には、音声認識語に対応してリモコン手段3から機能信号を出力するための命令が記述されている。ここで、TVch(7)は、テレビの7チャネルに切りかえるという命令を表わしている。また、終了時間は、番組(認識語)の放送終了時間を示している。
【0028】
情報処理手段2では、言語解析部12において、テキスト情報である音声認識語の欄の漢字かな混じり語を構成要素に分解した後、言語辞書11を検索し、読みに変換する。その後、図5に示す内容(以下、機能セットと呼ぶ)を機能記憶部に格納する。ここで、図3の例では、機能記憶部は、N個の機能記憶部13−1〜13−Nに分けられている。
【0029】
例えば、上述のようなテレビ番組表に対応した機能セット(図5に示すような機能セット)については、機能記憶部13−1に格納し、また、ラジオ番組表に対応した機能セットについては、機能記憶部13−2に格納することができる。すなわち、リモコン手段3が図2の例のように所定の外部機器としてラジオの遠隔操作にも対応している場合には、テレビ1は、ラジオの番組表を配信しているサーバ(あるいはページ)に接続し、図4と同様のテキスト情報をダウンロードすることができる。この時、図4と同様のテキスト情報において、機能コードの欄は、ラジオの1000kHzに合わせるという制御を表すため、例えばRd(1000)のような制御項目を記述しておく。そして、読み変換を行った後の内容(図5に対応する機能セット)を、テレビの機能記憶部13−1とは別の機能記憶部13−2に格納することができる。
【0030】
このように、機能セットをリモコン手段3で制御したい機器や機能別にグループに分けて記憶することができる。
【0031】
そして、使用したい機能の要求がリモコン手段3からテレビ1を通じてあると、機能判断部14は、機能要求のあった機能セットが記憶されている機能記憶部をN個の機能記憶部13−1〜13−Nの中から選択する。その後、選択した機能記憶部に格納されている機能セットから読みと機能コードの列を読み出して、送信部15によってリモコン手段3に送信する。
【0032】
ここで、送信部15には、よく知られた赤外線通信などの無線通信方式を使用することができる。また、送信速度をより速くするために、リモコン手段3を情報処理手段2に装着できるようにしておき、リモコン手段3において情報処理手段2の送信部15から機能セットを直接受信するようにすることもできる。
【0033】
リモコン手段3では、まず、受信部21において、情報処理手段2から送られてくる読みと機能コードとを受信し(図5に示すような機能セットを受信し)、機能記憶部22に格納する。
【0034】
次に、機能記憶部22に格納された図5に示すような読みと言語構成情報とを用いて、言語モデル作成部23は、言語モデルを作成する。ここで、言語構成情報は、音節と音声認識単位との対応情報であり、言語構成情報には、音声認識単位として音素を採用すれば、「あ」は/a/、「か」は/ka/のように対応させて、全音節に関する情報を格納しておけばよい。言語モデル作成部23では、言語構成情報を参照して、音素単位の並びを作成する。例えば、「すぺいんごこうざ」の場合、/s u p e i N g o k o u z a/という言語モデルが作成される。
【0035】
次に、比較部25においては、言語モデルを構成している音素から音声認識用の音素モデルを参照する。ここで、音素モデルには、音声のふるまいを音素単位にモデル化して格納してあり、よく知られた隠れマルコフモデルなどを用いればよい。比較部25では、参照された音素モデルの並びを入力音声の特徴量と比較して、得点を求める。ここで、入力音声の特徴量は、特徴抽出部24で得られ、よく知られたLPC(線形予測分析)ケプストラム係数などが用いられる。具体的に、入力音声の特徴量としては、例えば分析条件を標本化周波数:16kHz、256点ハミング窓、移動幅: 10ms、LPC分析次数: 20とし、10次元のケプストラム係数をフレーム単位で抽出したものを用いることができる。なお、特徴量は上記のものに限定されるものではなく、周波数分析を用いた各帯域ごとのスペクトルパワーなど他のどのような特徴量を抽出してもよい。
【0036】
このように、音声認識対象語すべての言語モデルを作成し、入力音声の特徴量に対する得点を求める。その後、最良点が得られた音声認識結果を比較部25から出力する。
【0037】
その後、比較部25から出力された音声認識結果がどのような機能コードをもっているかを機能記憶部22で検索する。例えば、音声認識結果が「すぺいんごこうざ」であった場合は、機能記憶部22から機能コードとしてTVch(7)が検索される。
【0038】
次いで、このように検索された機能コードよりリモコン手段3から送信すべき信号を機能表から求め、送信部26へ出力する。ここで、機能表には、リモコン手段3で制御可能な全機能コードと各機能に対応する送信信号命令とが対応づけられている。リモコン手段3の送信部26では、このように得られた命令に対応する信号を出力し、この信号を図1の構成例ではテレビ1で受信することによって、チャネルを7に切り替えることができる。
【0039】
上述したように、情報処理手段2の機能記憶部13−1〜13−Nを切り替えて所定の機能セットをリモコン手段3に送信することにより、リモコン手段3で音声認識対象語の入れ替えが可能となる。
【0040】
ところで、本発明では、音声認識対象語が提供される情報(ページ)は、インターネット上のサーバから提供され、このとき、提供される情報に対して課金を行なうよう構成することもできる。
【0041】
図7はサーバから提供される情報に対して課金を行なう機能を備えたリモコン装置の構成例を示す図である。図7を参照すると、テレビ1の閲覧機能に課金判断部31が設けられている。ここで、課金判断部31は、情報処理手段2にダウンロードするテキスト情報が課金対象の対象であるか否かを判断する機能を有している。この判断処理には、一般の閲覧ソフトウエアと同様に、使用者にユーザIDとパスワードを入力させ、使用者に閲覧情報の利用有無を判断させる機能を持たせればよい。課金対象である閲覧情報を利用する場合は、利用通知がインターネットを経由してサーバに送られる。サーバ側では、各ユーザに対する利用情報の種類ごとに課金情報を記憶しておけばよい。また、この課金処理のやりとりが外部に漏れないようにするためには、よく知られたSecure Socket Layerなどの暗号化技術を用いて安全を確保すればよい。
【0042】
このように、テレビ1は、該テレビ1の閲覧機能が前記閲覧内容を課金対象と判断した場合に、サーバに課金情報を送信するように構成することもできる。
【0043】
一方、リモコン手段3において、機器や用途によらない基本的な制御(例えば、機器のスイッチ入/切や、番号発声によるチャンネル切り替え)に用いる語は、使用する機会が多いので、情報処理手段2とリモコン手段3との間で入れ替えずに、常にリモコン手段3の機能記憶部22に格納しておく方が便利である。この場合は、機能記憶部22の一部(例えば読出専用メモリ)にあらかじめ音声認識対象語の読みと機能コードを記憶しておけばよい。さらに、課金する必要もないので、利用者は、サーバと通信することなくリモコン手段3を利用するだけでこれらの認識対象語を無料で利用できる。
【0044】
また、リモコン手段3において番組名を発声してテレビのチャンネルを切り替える機能を利用しているときは、既に放映が終了している番組を、音声認識対象語に含める必要はない。
【0045】
図8は情報処理手段2の変形例を示す図であり、図8の情報処理手段2は、機能セットの一部をリモコン手段3に送信する機能を備えている。すなわち、図8の情報処理手段2は、現在の時刻を計時する時計16と、機能判断部14から出力される図5に示すような機能セットの終了時間の欄と時計16によって計時される現在の時刻とを照合して、機能判断部14から出力される機能セットの中から有効な部分(範囲)を取り出す範囲指定部17とをさらに有している。
【0046】
このような構成では、有効な認識語をもつ読みと機能コードとを情報処理手段2からリモコン手段3に送信することができる。すなわち、使用したい機能をリモコン手段3からテレビ1を通じて要求すると、図3の情報処理手段2と同様に、機能判断部14は、要求した機能セットが記憶されている機能記憶部を選択する。その後、選択した機能セットの中から有効な部分を範囲指定部17により取り出す。図5の例では、終了時間の欄の時刻と時計16によって計時される現在の時刻とを比較することにより機能セットの範囲を指定できる。そして、指定した範囲の機能セットを送信部15からリモコン手段3に送信する。
【0047】
すなわち、xを現在の時刻、zを時間の範囲とすれば、次式(数1)を満たすyの範囲の終了時間をもつ読みと機能コードを範囲指定部17により取り出して、送信部15によってリモコン手段3に送信することができる。
【0048】
【数1】
x≦y≦x+z
【0049】
例えば、xを13:30,zを5時間とすれば、範囲指定部17は、終了時間が13:30〜18:30の間にある読みと機能コードの組を選択して送信部15に出力することができる。従って、図5の例の場合、「スペイン語講座」から「ニュース」までの範囲が選択され、該当する読みと機能コードとの組がリモコン手段3に送信される。さらにzの時間間隔で定期的に前述の処理を行うようにしておけば、リモコン手段3側では、現在放映中の番組名を常時、音声認識対象語として格納しておくことができる。以上のように、音声認識対象語を選択的に扱うことにより、リモコン手段3側で音声認識に必要な処理量を少なくできる。さらに、比較する音声認識対象語数も減るので、認識精度を向上させることができる。
【0050】
図9は情報処理手段2のハードウェア構成例を示す図である。図9の例では、情報処理手段2は、全体を制御するCPU51、CPU51の制御プログラムや読出専用データなどが記憶されているROM52、CPU51の作業領域などに使用されるRAM53、データ記憶領域などとして使用されるハードディスク54などを備えている。
【0051】
図9の例からもわかるように、情報処理手段2は、例えばワークステーション,パーソナルコンピュータなどで実現することが可能である。そして、このような情報処理手段2の機能を実現するためのプログラムは、例えばソフトウェアパッケージ(CD−ROMなどの記録媒体)の形態で提供することができる。つまり、本発明の情報処理手段2は、汎用OSが稼動する図9のようなハードウェア構成上の記憶装置(例えば、RAM53やハードディスク54)に、記録媒体に記録されたプログラムを読込ませて、所定の処理を実行することで実現可能である。なお、記録媒体としては、CD−ROMに限られるものではなく、ROM,RAM,フレキシブルディスク,メモリカードなどを用いることもできる。記録媒体に記録されたプログラムは、上述したように、ハードウェアシステムに組込まれている記憶装置、例えばハードディスクにインストールされることにより、このプログラムを実行して情報処理手段2としての機能を実現することができる。
【0052】
【発明の効果】
以上に説明したように、請求項1,請求項9,請求項11記載の発明によれば、サーバが提供する情報の閲覧機能を有するテレビと、テレビの閲覧機能により得られた閲覧内容に対して所定の処理を行う情報処理手段と、音声認識によりテレビに対して遠隔操作を行なうリモコン手段とを備え、前記閲覧内容には、テレビを操作する機能コードと音声認識対象語とが対応している機能セットが含まれており、前記情報処理手段は、音声認識対象語を言語解析によって読みに変換して前記機能セットに付加し、該機能セットを、要求に応じてリモコン手段に送信し、前記リモコン手段は、前記情報処理手段から送信された機能セットに含まれている音声認識対象語に対応する読みのいずれかをユーザに発声させて音声認識を行ない、音声認識結果に対応する機能信号によってテレビを遠隔操作するようになっており、インターネットに接続されたサーバが提供する情報を利用して、音声認識対象語を入れ替えることができる。
また、請求項2,請求項10,請求項11記載の発明によれば、サーバが提供する情報の閲覧機能を有するテレビと、テレビの閲覧機能により得られた閲覧内容に対して所定の処理を行う情報処理手段と、所定の外部機器と、音声認識により所定の外部機器に対して遠隔操作を行なうリモコン手段とを備え、前記閲覧内容には、所定の外部機器を操作する機能コードと音声認識対象語とが対応している機能セットが含まれており、前記情報処理手段は、音声認識対象語を言語解析によって読みに変換して前記機能セットに付加し、該機能セットを、要求に応じてリモコン手段に送信し、前記リモコン手段は、前記情報処理手段から送信された機能セットに含まれている音声認識対象語に対応する読みのいずれかをユーザに発声させて音声認識を行ない、音声認識結果に対応する機能信号によって所定の外部機器を遠隔操作するようになっており、インターネットに接続されたサーバが提供する情報を利用して、音声認識対象語を入れ替えることができる。
【0054】
また、請求項3乃至請求項5記載の発明によれば、音声認識の処理を分散しているので、処理量と記憶量とを少なくできる。
【0055】
また、請求項6記載の発明によれば、請求項1または請求項2記載の遠隔制御システムにおいて、前記テレビは、該テレビの閲覧機能が前記閲覧内容を課金対象と判断した場合に、前記サーバに課金情報を送信するようになっているので、利用者が認識可能な語を取得する対価として料金を徴収することができる。
【0056】
また、請求項7記載の発明によれば、請求項1至請求項6のいずれか一項に記載の遠隔制御システムにおいて、前記情報処理手段は、前記機能セットを複数のグループに分けて記憶し、要求に応じて、複数の当該グループの中の1つのグループの機能セットを選択し、前記リモコン手段に送信するようになっているので、複数の外部機器や機能を遠隔操作できる。
【0057】
また、請求項8記載の発明によれば、請求項1または請求項2記載の遠隔制御システムにおいて、前記機能セットは時刻に対応した情報を有し、また、前記情報処理手段は時計を有しており、前記情報処理手段は、前記時計を用いて、機能セットの一部を前記リモコン手段へ送信するようになっており、時刻に応じて音声認識対象語を選択できるので、音声認識処理量を減らすとともに、音声認識精度を向上できる。
【図面の簡単な説明】
【図1】本発明に係るリモコン装置の第1の構成例を示す図である。
【図2】本発明に係るリモコン装置の第2の構成例を示す図である。
【図3】情報処理手段の構成例を示す図である。
【図4】テレビ番組表に対応したテキスト情報の一例を示す図である。
【図5】機能セットの一例を示す図である。
【図6】リモコン手段の構成例を示す図である。
【図7】サーバから提供される情報に対して課金を行なう機能を備えたリモコン装置の構成例を示す図である。
【図8】情報処理手段の変形例を示す図である。
【図9】情報処理手段のハードウェア構成例を示す図である。
【符号の説明】
1 テレビ
2 情報処理手段
3 リモコン手段
−1〜4−M 外部機器
11 言語辞書
12 言語解析部
13−1〜13−N 機能記憶部
14 機能判断部
15 送信部
16 時計
17 範囲指定部
21 受信部
22 機能記憶部
23 言語モデル作成部
24 特徴抽出部
25 比較部
26 送信部
51 CPU
52 ROM
53 RAM
54 ハードディスク[0001]
BACKGROUND OF THE INVENTION
The present invention provides a method for remotely operating a predetermined device using voice recognition.Remote control systemRemote control method andBiographyRelated to recording media.
[0002]
[Prior art]
Japanese Patent Laid-Open No. 11-345024 discloses a remote control device that operates a device to be remotely controlled using a voice recognition function. However, the remote control device disclosed in Japanese Patent Application Laid-Open No. 11-345024 has a disadvantage that the speech recognition target word cannot be changed because the speech recognition dictionary is stored in the read-only memory (ROM).
[0003]
Japanese Laid-Open Patent Publication No. 10-322780 discloses a remote control device that can perform page browsing, editing, and mail operations using a voice recognition function in an environment that can be connected to the Internet. In the remote control device disclosed in Japanese Patent Laid-Open No. 10-322780, since all processing necessary for voice recognition is performed on the remote control device side, the remote control device requires a high-speed central processing unit and a large-capacity memory. There is a disadvantage that the scale becomes large. Further, since the environment connected to the Internet and the TV are independent, there is a disadvantage that the TV cannot be operated using information on the Internet.
[0004]
Japanese Patent Laid-Open No. 9-23389 discloses a television receiver capable of operating a television using a voice recognition function, a remote control transmitter for the television receiver, and a television receiver system. However, in the technique disclosed in Japanese Patent Application Laid-Open No. 9-23389, the recognition target word is fixed for the function of the television, and when attempting to operate a device other than the television with the same remote controller, the speech recognition target word Since it cannot be changed, there is an inconvenience that the voice operation cannot be performed.
[0005]
[Problems to be solved by the invention]
The present invention can replace a speech recognition target word using information provided by a server, and can remotely operate a predetermined device using speech recognition.Remote control systemRemote control method andBiographyThe purpose is to provide recording media.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1A television having a browsing function of information provided by the server; an information processing means for performing predetermined processing on browsing content obtained by the browsing function of the television; and a remote control means for remotely operating the television by voice recognition The browsing content includes a function set corresponding to a function code for operating a television and a speech recognition target word, and the information processing means reads the speech recognition target word by language analysis. The function set is converted and added to the function set, and the function set is transmitted to the remote control unit upon request, and the remote control unit converts the speech recognition target word included in the function set transmitted from the information processing unit. Voice recognition is performed by letting the user speak one of the corresponding readings, and the television is remotely controlled by a function signal corresponding to the voice recognition result.It is characterized by that.
According to a second aspect of the present invention, there is provided a television having a browsing function of information provided by the server, an information processing means for performing predetermined processing on browsing content obtained by the browsing function of the television, and a predetermined external device. And remote control means for remotely operating a predetermined external device by voice recognition, and the browsing contents include a function set corresponding to a function code for operating the predetermined external device and a speech recognition target word The information processing means converts the speech recognition target word into a reading by linguistic analysis and adds it to the function set, and transmits the function set to the remote control means upon request, and the remote control means Performs speech recognition by causing the user to utter one of the readings corresponding to the speech recognition target word included in the function set transmitted from the information processing means, and corresponds to the speech recognition result. It is characterized in that is adapted to remotely operate a predetermined external device by the function signal.
[0008]
Also,Claim 3The invention described in claim 1Or claim 2In the remote control system described above, the remote control unit generates a language model from a reading corresponding to the speech recognition target word included in the function set transmitted from the information processing unit, and is a unit constituting the language model. It is characterized in that a speech recognition result is obtained by performing speech recognition by comparing the expressed speech recognition model with the feature amount of the input speech of the user.
[0009]
Also,Claim 4The invention described in claim 1Or claim 2In the remote control system described above, the information processing means transmits the function set to the remote control means by wireless communication.
[0010]
Also,Claim 5The invention described in claim 1Or claim 2The remote control system described above is characterized in that the information processing means transmits the function set to the remote control means by mounting the remote control means.
[0011]
Also,Claim 6The invention described in claim 1Or claim 2In the remote control system described,The TV has a browsing function of the TV.When the browsing content is determined to be charged, the charging information is transmitted to the server.
[0012]
Also,Claim 7The invention described in
[0013]
Also,Claim 8The invention described in claim 1Or claim 2In the remote control system described above, the function set includes information corresponding to time, and the information processing unit includes a clock, and the information processing unit uses the clock to The unit is transmitted to the remote control means.
[0014]
Also,Claim 9The described inventionA television having a browsing function of information provided by the server; an information processing means for performing predetermined processing on browsing content obtained by the browsing function of the television; and a remote control means for remotely operating the television by voice recognition The browsing content includes a function set corresponding to a function code for operating a TV and a speech recognition target word, and the information processing means includes: A speech recognition target word is converted into a reading by linguistic analysis and added to the function set, and the function set is transmitted to the remote control unit upon request, and the remote control unit transmits the function set transmitted from the information processing unit. The speech recognition is performed by letting the user utter one of the readings corresponding to the speech recognition target word included in the voice recognition, and the function signal corresponding to the speech recognition result is used. To remote control the TVIt is characterized by that.
[0015]
According to a tenth aspect of the present invention, there is provided a television having a browsing function of information provided by the server, an information processing means for performing predetermined processing on browsing content obtained by the browsing function of the television, and a predetermined external device. And a remote control method in a remote control system having remote control means for remotely operating a predetermined external device by voice recognition, wherein the browsing content includes a function code for operating the predetermined external device and voice recognition A function set corresponding to the target word is included, and the information processing means converts the speech recognition target word into a reading by linguistic analysis and adds it to the function set. To the remote control means, and the remote control means informs the user of one of the readings corresponding to the speech recognition target words included in the function set transmitted from the information processing means. Performs speech recognition by voice is characterized by remotely operating a predetermined external device by function signal corresponding to the voice recognition result.
Also,Claim 11The invention described in
[0016]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0017]
FIG. 1 relates to the present invention.Remote control device (remote control system)It is a figure which shows the 1st structural example. Referring to FIG.Remote control device (remote control system)Comprises a
[0018]
FIG. 2 also relates to the present invention.Remote control device (remote control system)It is a figure which shows the 2nd structural example. In FIG. 2, the same reference numerals are given to the portions corresponding to FIG. With reference to FIG.Remote control device (remote control system)Are a
[0019]
1 and 2, the
[0020]
FIG. 3 is a diagram showing a configuration example of the information processing means 2 in the configuration examples of FIG. 1 and FIG. 2, and the information processing means 2 performs predetermined processing on the browsing content obtained by the browsing function of the television. It has become. That is, referring to FIG. 3, the information processing means 2 uses the language dictionary 11 and browsing contents obtained by the browsing function of the television 1 (for example, when the
[0021]
More specifically, for example, in the configuration example of FIG. 1, the browsing content includes a function set in which a function code for operating a television and a speech recognition target word correspond to each other. The target words are converted into readings by linguistic analysis and added to the function set. FIG. 5 shows a function set to which readings converted by the language analysis unit 12 are added.
[0022]
In the example of FIG. 3, the information processing means 2 further includes a plurality of (N) function sets obtained by the language analysis unit 12 (function sets to which readings are added as shown in FIG. 5). There are N function storage units 13-1 to 13-N to be stored in groups (for example, grouped according to devices and functions to be controlled by the remote controller 3), and requests (function requests) of functions to be used are, for example, When the remote control means 3 is passed through the
[0023]
FIG. 6 is a diagram showing an example of the configuration of the remote control means 3. The remote control means 3 recognizes the
[0024]
Thus, the remote control means 3 has a voice recognition function, and by inputting the voice uttered by the user to the remote control means 3, the
[0025]
Next, the remote controller having such a configuration will be described in more detail. Now, it is assumed that the user is browsing the TV program guide on the
[0026]
Here, in order to switch the TV channel by speaking the TV program name in the remote control means 3, the following processing is performed.
[0027]
That is, first, text information corresponding to the television program guide as shown in FIG. 4 is downloaded from the server to the information processing means 2 via the
[0028]
In the information processing means 2, the language analysis unit 12 searches the language dictionary 11 after converting the kanji / kana mixed words in the speech recognition word field, which is text information, into components, and converts them into readings. Thereafter, the contents shown in FIG. 5 (hereinafter referred to as function set) are stored in the function storage unit. Here, in the example of FIG. 3, the function storage unit is divided into N function storage units 13-1 to 13-N.
[0029]
For example, the function set corresponding to the TV program guide as described above (function set as shown in FIG. 5) is stored in the function storage unit 13-1, and the function set corresponding to the radio program guide is It can be stored in the function storage unit 13-2. That is, when the remote control means 3 is compatible with radio remote operation as a predetermined external device as in the example of FIG. 2, the
[0030]
As described above, the function sets can be stored in groups according to the devices and functions desired to be controlled by the remote control means 3.
[0031]
Then, when there is a request for a function to be used from the remote control means 3 through the
[0032]
Here, the transmission unit 15 can use a well-known wireless communication method such as infrared communication. In order to further increase the transmission speed, the remote control means 3 can be attached to the information processing means 2, and the remote control means 3 can directly receive the function set from the transmission unit 15 of the information processing means 2. You can also.
[0033]
In the
[0034]
Next, the language
[0035]
Next, the
[0036]
In this way, language models for all speech recognition target words are created, and a score for the feature amount of the input speech is obtained. Thereafter, the speech recognition result from which the best point is obtained is output from the
[0037]
Thereafter, the
[0038]
Next, a signal to be transmitted from the remote control means 3 is obtained from the function table based on the function code searched in this way, and is output to the
[0039]
As described above, by switching the function storage units 13-1 to 13 -N of the information processing means 2 and transmitting a predetermined function set to the remote control means 3, the speech recognition target words can be replaced by the remote control means 3. Become.
[0040]
By the way, in the present invention, the information (page) provided with the speech recognition target word is provided from a server on the Internet, and at this time, the provided information can be charged.
[0041]
FIG. 7 is a diagram illustrating a configuration example of a remote control device having a function of charging for information provided from a server. Referring to FIG. 7, a billing determination unit 31 is provided in the browsing function of the
[0042]
Thus, the
[0043]
On the other hand, in the remote control means 3, since words used for basic control (for example, switching on / off of the equipment and channel switching based on the number utterance) independent of the equipment and application are frequently used, the information processing means 2 It is more convenient to always store it in the
[0044]
Further, when the remote control means 3 uses the function of switching the TV channel by uttering the program name, it is not necessary to include the program that has already been broadcast in the speech recognition target word.
[0045]
FIG. 8 is a view showing a modification of the information processing means 2, and the information processing means 2 of FIG. 8 has a function of transmitting a part of the function set to the remote control means 3. That is, the information processing means 2 in FIG. 8 has a clock 16 that measures the current time, a function set end time column as shown in FIG. And a
[0046]
In such a configuration, a reading having a valid recognition word and a function code can be transmitted from the information processing means 2 to the remote control means 3. That is, when a function to be used is requested from the remote control means 3 through the
[0047]
That is, if x is the current time and z is the time range, a reading and a function code having an end time in the range y satisfying the following equation (Equation 1) are taken out by the
[0048]
[Expression 1]
x ≦ y ≦ x + z
[0049]
For example, if x is 13:30 and z is 5 hours, the
[0050]
FIG. 9 is a diagram illustrating a hardware configuration example of the information processing means 2. In the example of FIG. 9, the information processing means 2 includes a CPU 51 that controls the whole, a ROM 52 that stores a control program for the CPU 51 and read-only data, a RAM 53 that is used as a work area for the CPU 51, a data storage area, and the like. A
[0051]
As can be seen from the example of FIG. 9, the information processing means 2 can be realized by, for example, a workstation or a personal computer. And the program for implement | achieving the function of such an information processing means 2 can be provided with the form of a software package (recording medium, such as CD-ROM), for example. That is, the information processing means 2 of the present invention causes a storage device (for example, the RAM 53 or the hard disk 54) having a hardware configuration as shown in FIG. This can be realized by executing a predetermined process. Note that the recording medium is not limited to a CD-ROM, and a ROM, RAM, flexible disk, memory card, or the like can also be used. As described above, the program recorded on the recording medium is installed in a storage device incorporated in the hardware system, for example, a hard disk, so that the function as the information processing means 2 is realized by executing this program. be able to.
[0052]
【The invention's effect】
As explained above, claims 1,
According to the second, tenth, and eleventh aspects of the invention, a predetermined process is performed on a television having a browsing function of information provided by the server and browsing contents obtained by the browsing function of the television. Information processing means to perform, predetermined external equipment, and remote control means for remotely operating the predetermined external equipment by voice recognition, the browsing content includes a function code and voice recognition for operating the predetermined external equipment A function set corresponding to the target word is included, and the information processing means converts the speech recognition target word into a reading by linguistic analysis and adds it to the function set. To the remote control means, and the remote control means causes the user to utter one of the readings corresponding to the speech recognition target words included in the function set transmitted from the information processing means, thereby performing voice recognition. No rows, a predetermined external device by the function signal corresponding to the speech recognition result being adapted to remotely control, can utilize the information connected to the Internet server provides, replacing the speech recognition terms.
[0054]
Also,
[0055]
Also,Claim 6According to the described invention, claim 1Or claim 2In the remote control system described,The TV has a browsing function of the TV.When the browsing content is determined to be charged, the charging information is transmitted to the server, so that a charge can be collected as a price for acquiring a word that can be recognized by the user.
[0056]
Also,Claim 7According to the invention described in
[0057]
Also,Claim 8According to the described invention, claim 1Or claim 2In the remote control system described above, the function set includes information corresponding to time, and the information processing unit includes a clock, and the information processing unit uses the clock to Since the voice recognition target word can be selected according to the time, the voice recognition processing amount can be reduced and the voice recognition accuracy can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram showing a first configuration example of a remote control device according to the present invention.
FIG. 2 is a diagram showing a second configuration example of the remote control device according to the present invention.
FIG. 3 is a diagram illustrating a configuration example of information processing means.
FIG. 4 is a diagram illustrating an example of text information corresponding to a television program guide.
FIG. 5 is a diagram illustrating an example of a function set.
FIG. 6 is a diagram showing a configuration example of remote control means.
FIG. 7 is a diagram illustrating a configuration example of a remote control device having a function of charging for information provided from a server.
FIG. 8 is a diagram showing a modification of information processing means.
FIG. 9 is a diagram illustrating a hardware configuration example of an information processing unit.
[Explanation of symbols]
1 TV
2 Information processing means
3 Remote control means
-1-4-M External device
11 Language Dictionary
12 Language analysis department
13-1 to 13-N Function storage unit
14 Function judgment part
15 Transmitter
16 Clock
17 Range specification part
21 Receiver
22 Function storage
23 Language Model Creation Department
24 Feature extraction unit
25 comparison part
26 Transmitter
51 CPU
52 ROM
53 RAM
54 hard disk
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000289066A JP3793913B2 (en) | 2000-09-22 | 2000-09-22 | Remote control system, remote control method and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000289066A JP3793913B2 (en) | 2000-09-22 | 2000-09-22 | Remote control system, remote control method and recording medium |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2002101315A JP2002101315A (en) | 2002-04-05 |
JP2002101315A5 JP2002101315A5 (en) | 2005-07-21 |
JP3793913B2 true JP3793913B2 (en) | 2006-07-05 |
Family
ID=18772534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000289066A Expired - Lifetime JP3793913B2 (en) | 2000-09-22 | 2000-09-22 | Remote control system, remote control method and recording medium |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3793913B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469530A (en) * | 2014-11-28 | 2015-03-25 | 四川长虹电器股份有限公司 | Method for setting menus in smart television based on voice control |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6996537B2 (en) | 2001-08-13 | 2006-02-07 | Qualcomm Incorporated | System and method for providing subscribed applications on wireless devices over a wireless network |
US9203923B2 (en) | 2001-08-15 | 2015-12-01 | Qualcomm Incorporated | Data synchronization interface |
US20040044623A1 (en) * | 2002-08-28 | 2004-03-04 | Wake Susan L. | Billing system for wireless device activity |
US9232077B2 (en) | 2003-03-12 | 2016-01-05 | Qualcomm Incorporated | Automatic subscription system for applications and services provided to wireless devices |
AU2005206954A1 (en) | 2004-01-21 | 2005-08-04 | Qualcomm Incorporated | Application-based value billing in a wireless subscriber network |
US9350875B2 (en) | 2005-05-31 | 2016-05-24 | Qualcomm Incorporated | Wireless subscriber billing and distribution |
US9185538B2 (en) | 2005-05-31 | 2015-11-10 | Qualcomm Incorporated | Wireless subscriber application and content distribution and differentiated pricing |
US9143622B2 (en) | 2006-02-17 | 2015-09-22 | Qualcomm Incorporated | Prepay accounts for applications, services and content for communication devices |
US9185234B2 (en) | 2006-02-22 | 2015-11-10 | Qualcomm Incorporated | Automated account mapping in a wireless subscriber billing system |
EP2986014A1 (en) | 2011-08-05 | 2016-02-17 | Samsung Electronics Co., Ltd. | Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same |
JP5844375B2 (en) * | 2011-09-09 | 2016-01-13 | 株式会社日立製作所 | Object search system and object search method |
CN113205810A (en) * | 2021-05-06 | 2021-08-03 | 北京汇钧科技有限公司 | Voice signal processing method, device, medium, remote controller and server |
-
2000
- 2000-09-22 JP JP2000289066A patent/JP3793913B2/en not_active Expired - Lifetime
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104469530A (en) * | 2014-11-28 | 2015-03-25 | 四川长虹电器股份有限公司 | Method for setting menus in smart television based on voice control |
Also Published As
Publication number | Publication date |
---|---|
JP2002101315A (en) | 2002-04-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3793913B2 (en) | Remote control system, remote control method and recording medium | |
US5874939A (en) | Keyboard apparatus and method with voice recognition | |
US8407039B2 (en) | Method and apparatus of translating language using voice recognition | |
EP0965978B9 (en) | Non-interactive enrollment in speech recognition | |
US6487534B1 (en) | Distributed client-server speech recognition system | |
Rudnicky et al. | Survey of current speech technology | |
US20030130852A1 (en) | Headset with radio communication function for speech processing system using speech recognition | |
US20050273337A1 (en) | Apparatus and method for synthesized audible response to an utterance in speaker-independent voice recognition | |
US20080126093A1 (en) | Method, Apparatus and Computer Program Product for Providing a Language Based Interactive Multimedia System | |
EP0769184B1 (en) | Speech recognition methods and apparatus on the basis of the modelling of new words | |
EP1181684A1 (en) | Client-server speech recognition | |
WO2000045375A1 (en) | Method and apparatus for voice annotation and retrieval of multimedia data | |
JPH10275162A (en) | Radio voice actuation controller controlling host system based upon processor | |
JPH0916602A (en) | Translation system and its method | |
GB2423403A (en) | Distributed language processing system and method of outputting an intermediary signal | |
CN1813285B (en) | Device and method for speech synthesis | |
WO2007052884A1 (en) | Text input system and method based on voice recognition | |
JP2005249829A (en) | Computer network system performing speech recognition | |
JP2002101315A5 (en) | ||
KR20200069264A (en) | System for outputing User-Customizable voice and Driving Method thereof | |
Lee et al. | Voice access of global information for broad-band wireless: technologies of today and challenges of tomorrow | |
JP2011039468A (en) | Word searching device using speech recognition in electronic dictionary, and method of the same | |
CN1979636B (en) | Method for converting phonetic symbol to speech | |
JP2003131682A (en) | Equipment control system using voice command | |
Sreenu et al. | A human machine speaker dependent speech interactive system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051115 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060329 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3793913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100421 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110421 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120421 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130421 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140421 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |