JP2004334409A - データ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラム - Google Patents

データ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラム Download PDF

Info

Publication number
JP2004334409A
JP2004334409A JP2003127483A JP2003127483A JP2004334409A JP 2004334409 A JP2004334409 A JP 2004334409A JP 2003127483 A JP2003127483 A JP 2003127483A JP 2003127483 A JP2003127483 A JP 2003127483A JP 2004334409 A JP2004334409 A JP 2004334409A
Authority
JP
Japan
Prior art keywords
data
unit
character
link information
marker
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003127483A
Other languages
English (en)
Other versions
JP4157418B2 (ja
Inventor
Atsushi Goto
淳 後藤
Noriyoshi Uratani
則好 浦谷
Enbai Kin
淵培 金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to JP2003127483A priority Critical patent/JP4157418B2/ja
Publication of JP2004334409A publication Critical patent/JP2004334409A/ja
Application granted granted Critical
Publication of JP4157418B2 publication Critical patent/JP4157418B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

【課題】Webページやデータ放送を閲覧(視聴)する際に、利用者の音声によって、閲覧の操作を支援し、リンク先への画面遷移を行うことを可能にしたデータ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラムを提供する。
【解決手段】データ閲覧支援装置1は、マークアップ言語で記述されたデータの中から、リンク先を示すリンク情報を検索するリンク情報検索手段11と、リンク情報に同一画面のデータ内で識別可能なマーカ文字を付加してマーカ文字付データを生成するマーカ文字付加手段12と、マーカ文字付データを解析して閲覧可能な表示データを生成する表示データ生成手段14と、利用者の音声を認識する音声認識手段15と、認識結果がマーカ文字に対応する場合に、そのマーカ文字に関連するリンク先から、データを取得するリンク先切り替え部16b1とを備えていることを特徴とする。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、マークアップ言語で記述されたデータを閲覧する際に、利用者の音声によって閲覧の操作を支援するデータ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラムに関する。
【0002】
【従来の技術】
従来、ネットワークを介して提供される、インターネットのサービスの1つであるWWW(World Wide Web)では、Webサーバ上で公開される情報(Webページ)は、HTML(Hyper Text Markup Language)と呼ばれるマークアップ言語(ページ記述言語)で記述されている。このHTMLデータと他のHTMLデータとをリンクするには、リンク先のURL(Uniform Resource Locator)を画面上に表示される文字や図形に関連付けて、データ中に記述することにより行っている。一方、利用者は、パーソナルコンピュータ等で、HTMLを解析して表示を行うWebブラウザを動作させることで、HTMLデータの内容を閲覧することができる。また、このとき利用者は、マウス等の入力装置でリンク先を選択することで、URLで記述されている他のリンク先の情報を閲覧することができる。
【0003】
また、デジタル放送のサービスの1つであるデータ放送では、放送されるデータは、社団法人電波産業会(ARIB:Association of Radio Industries and Businesses)によって策定された、BML(Broadcast Markup Language)と呼ばれるマークアップ言語(ページ記述言語)で記述されている。利用者は、BMLブラウザを搭載したデジタル放送テレビ受像機によって、データ放送を視聴することができる。このBMLは、HTMLと同様に、リンク先をURLで記述しており、利用者はリモコンの矢印キー等によってリンク先を選択することで、表示画面の遷移を行っている。
【0004】
しかし、このようなマウスやリモコンは、子供や高齢者にとっては、操作し難いものである。そこで、最近では、マウス等の入力装置を用いずに、利用者がリンク先を示す文字列を音声として発声し、音声認識を行うことで、利用者が希望するリンク先の情報を閲覧(視聴)する、音声認識によるネットサーフィンの技術が開示されている(例えば、特許文献1参照。)。
【0005】
【特許文献1】
特開2001−273216号公報(第4−6頁、第1−3図)
【0006】
【発明が解決しようとする課題】
しかし、前記従来の技術では、利用者が、リンク先を示す画面上に表示された文字列を正確に発声しなければならず、音声認識において誤って認識してしまうという問題があった。また、この文字列は、Webページやデータ放送の制作者によって決定される任意の文字列であるため、予め音響・言語モデルに登録された文字(文字列)でない場合は認識することができないという問題がある。
さらに、前記従来の技術では、リンク先が画面上に表示されたバナー(Banner)等の図形や領域に設定されている場合、利用者は、リンク先を音声で指定することができないという問題があった。
【0007】
本発明は、以上のような問題点に鑑みてなされたものであり、Webページやデータ放送を閲覧(視聴)する際に、利用者の音声によって、閲覧の操作を支援し、音声のみでリンク先への画面遷移を行うことを可能にしたデータ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラムを提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項1に記載のデータ閲覧支援装置は、マークアップ言語で記述されたデータを閲覧する際に、利用者の音声によって閲覧の操作を支援するデータ閲覧支援装置であって、リンク情報検索手段と、マーカ文字付加手段と、リンク情報記憶手段と、表示データ生成手段と、音声認識手段と、リンク先切り替え手段とを備える構成とした。
【0009】
かかる構成によれば、データ閲覧支援装置は、リンク情報検索手段によって、HTML、BML等のマークアップ言語で記述されたデータの中から、リンク先を示すリンク情報を検索する。このリンク情報は、リンク先のアドレスを示す情報であって、例えば、HTML等では、「Aタグ」の「href属性」によって定義される情報である。そして、データ閲覧支援装置は、マーカ文字付加手段によって、リンク情報に、同一画面のデータ内で識別可能なマーカ文字を付加して、データからマーカ文字付データを生成し、マーカ文字とリンク情報とを関連付けてリンク情報記憶手段に記憶する。これによって、マーカ文字によって、リンク先(アドレス)を特定することが可能になる。
【0010】
ここで、マーカ文字とは、同一画面のデータ内で識別可能な文字(列)であれば何でもよく、「1」、「2」、「3」…、「a」、「b」、「c」…等の文字を用いることができる。
【0011】
そして、データ閲覧支援装置は、表示データ生成手段によって、マーカ文字付データを解析して、閲覧可能な表示データを生成して、画面上に表示する。これによって、データ閲覧支援装置は、リンク先を示す画像や文字列にマーカ文字を付加して表示することができるので、利用者は、マーカ文字が表示されている箇所にリンク先が含まれていることを認識することができる。
【0012】
さらに、データ閲覧支援装置は、音声認識手段によって、利用者の音声を認識する。すなわち、利用者のデータ閲覧支援装置に対する操作指示を音声により認識する。そして、データ閲覧支援装置は、リンク先切り替え手段によって、音声認識手段で認識された認識結果が、マーカ文字に対応する(マーカ文字と認識される)場合に、そのマーカ文字に基づいて、リンク情報記憶手段に記憶されているリンク情報で示されたリンク先から、データを取得する。これによって、利用者はマーカ文字を発声することで、リンク先を移動してデータを閲覧することが可能になる。
【0013】
また、請求項2に記載のデータ閲覧支援装置は、請求項1に記載のデータ閲覧支援装置において、前記マーカ文字として、予め音声認識用の辞書に登録してある語彙を用いる構成とした。
【0014】
かかる構成によれば、データ閲覧支援装置は、音声認識用の辞書に登録してある語彙(マーカ文字)を利用者が発声することになり、音声認識手段による音声認識の誤認識を低減させることができる。
【0015】
さらに、請求項3に記載のデータ閲覧支援装置は、請求項1又は請求項2に記載のデータ閲覧支援装置において、前記音声認識手段の認識結果である音声認識文字を、表示画面上に合成して表示させる文字合成手段を備える構成とした。
【0016】
かかる構成によれば、データ閲覧支援装置は、音声認識手段で認識した認識結果である音声認識文字を、文字合成手段によって、表示画面上に合成して表示する。これによって、利用者は、自分が発声した音声が、データ閲覧支援装置でどのように認識されているかを確認することができる。
【0017】
また、請求項4に記載のデータ閲覧支援装置は、請求項1乃至請求項3のいずれか1項に記載のデータ閲覧支援装置において、前記利用者からの操作指令を予め特定文字列の組み合わせで定型化しておき、前記音声認識手段の認識結果の中に含まれる前記特定文字列に基づいて、前記操作指令を解析する操作指令解析手段を備える構成とした。
【0018】
かかる構成によれば、データ閲覧支援装置は、操作指令を予め特定文字列の組み合わせで定型化しておくため、操作指令解析手段によって、音声認識手段の認識結果の中に含まれる特定文字列が、定型化されたパターンに含まれるかどうかで、操作指令を特定することができる。この特定文字列は、例えばテレビ視聴やインターネットのWebページの閲覧等で、高い確率で発生する文字列であって、「チャンネル」、「番組名」、「放送局名」、「ジャンル」等及び動作を示す動詞を組み合わせることで、操作指令を特定(推定)することができる。
【0019】
さらに、請求項5に記載のデータ閲覧支援装置は、請求項1乃至請求項4のいずれか1項に記載のデータ閲覧支援装置において、前記利用者からの操作指令に対する応答文を、音声として出力する音声合成手段を備える構成とした。
【0020】
かかる構成によれば、データ閲覧支援装置は、音声合成手段によって、利用者からの操作指令に対する応答文を、音声合成し音声として出力する。これによって、利用者の操作指令を受け付けた、操作指令に間違いがあった等の通知を音声によって利用者に通知する。あるいは、操作結果、例えば、検索を行う操作に対する検索結果の件数を音声合成によって通知することとしてもよい。
【0021】
また、請求項6に記載のデータ閲覧支援装置は、請求項1乃至請求項5のいずれか1項に記載のデータ閲覧支援装置において、放送データ受信手段と、通信データ受信手段と、受信切り替え手段とを備える構成とした。
【0022】
かかる構成によれば、データ閲覧支援装置は、放送データ受信手段によって、放送波を介して放送データを受信し、通信データ受信手段によって、通信回線を介して通信データを受信する。なお、データ閲覧支援装置は、利用者の指示により、受信切り替え手段が、放送データ受信手段による受信と、通信データ受信手段による受信とを切り替える。これによって、データ閲覧支援装置は、テレビ視聴時の任意のタイミングで、Webページの閲覧を行ったり、Webページの閲覧中にテレビの視聴に切り替える等の切り替え操作を行うことができる。
【0023】
さらに、請求項7に記載のデータ閲覧方法は、マークアップ言語で記述されたデータを閲覧する際に、リンク先への移動の操作を、利用者の音声によって行うデータ閲覧方法であって、前記データに埋め込まれている前記リンク先を示すリンク情報に、同一画面内で識別可能なマーカ文字を付加して表示するステップと、表示された前記マーカ文字を利用者が音声として発声するステップと、前記利用者が発声した前記マーカ文字を認識して、そのマーカ文字に対応する前記リンク先からデータを取得して提示するステップと、を含んでいることを特徴とする。
【0024】
この方法によれば、HTML、BML等のマークアップ言語で記述されたデータに埋め込まれているリンク先のアドレスを示すリンク情報に、同一画面のデータ内で識別可能なマーカ文字を付加するため、画面上でリンク先を示す画像や文字列にマーカ文字を付加して表示することができる。そして、このデータ閲覧方法は、利用者がマーカ文字を音声として発声することで、マーカ文字に対応するリンク先からデータを取得し、リンク先を移動(遷移)することが可能になる。
【0025】
また、請求項8に記載のデータ閲覧プログラムは、マークアップ言語で記述されたデータを閲覧する際に、前記データに埋め込まれたリンク先への移動の操作を、利用者の音声によって行うために、コンピュータを、リンク情報検索手段、マーカ文字付加手段、リンク情報記憶制御手段、表示データ生成手段、音声認識手段、リンク先切り替え手段として機能させることとした。
【0026】
かかる構成によれば、データ閲覧プログラムは、リンク情報検索手段によって、HTML、BML等のマークアップ言語で記述されたデータの中から、リンク先を示すリンク情報を検索する。そして、データ閲覧プログラムは、マーカ文字付加手段によって、リンク情報に、同一画面のデータ内で識別可能なマーカ文字を付加して、データからマーカ文字付データを生成し、リンク情報記憶制御手段がマーカ文字とリンク情報とを関連付けてリンク情報記憶手段に記憶する。
【0027】
そして、データ閲覧プログラムは、表示データ生成手段によって、マーカ文字付データを解析して、閲覧可能な表示データを生成して、画面上に表示する。さらに、データ閲覧プログラムは、音声認識手段によって、利用者の音声を認識し、その認識結果が、マーカ文字に対応する(マーカ文字と認識される)場合に、リンク先切り替え手段が、リンク情報記憶手段を参照して、マーカ文字に関連付けられているリンク情報で示されたリンク先からデータを取得する。
【0028】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。ここでは、本発明をデジタル放送テレビ受像機に適用し、テレビ操作支援装置として構成している。
【0029】
[テレビ操作支援装置(データ閲覧支援装置)の構成]
図1は、本発明におけるテレビ操作支援装置(データ閲覧支援装置)の構成を示したブロック図である。テレビ操作支援装置1は、デジタル放送の視聴と、インターネットによるWebページの閲覧を行うもので、さらに、利用者の音声によって、視聴(閲覧)のための操作を支援するものである。ここでは、テレビ操作支援装置1は、受信手段10と、リンク情報検索手段11と、マーカ文字付加手段12と、表示データ生成手段13と、表示制御手段14と、音声認識手段15と、対話処理手段16と、音声合成手段17と、記憶手段18とを備えている。また、ここでは、テレビ操作支援装置1は、映像、データ等を表示するための表示装置2と、音声を入力する入力手段であるマイク3と、音声を出力する音声出力手段であるスピーカ4とを外部に接続している。
【0030】
受信手段10は、放送波5によるデジタル放送の受信と、通信回線6によるデータ受信とを行うものである。ここでは、受信手段10は、放送データ受信部10aと、通信データ受信部10bと、受信切り替え部10cとを備えている。
【0031】
放送データ受信部(放送データ受信手段)10aは、放送波5を介して、デジタル放送で放送される放送データを受信するものである。この放送データ受信部10aでは、放送データを受信、復調し、誤り訂正やTMCC(Transmission and Multiplexing Configuration Control)復号等の復号を行い、MPEG2のトランスポートストリーム(Transport Stream)として出力する。なお、映像・音声(映像ストリーム及び音声ストリーム)は、表示制御手段14へ出力される。また、データ(BML:データストリーム)は、カルーセル伝送を復号したデータファイルとして、リンク情報検索手段11へ出力される。
【0032】
なお、放送データ受信部10aは、ARIB STD−B10で規定されているSI(Service Information;番組配列情報)をカルーセル伝送で受信し解析することで、チャンネル、番組名、放送局名、ジャンル、出演者名等の番組情報を取得し、個々の番組情報を1つの形態素として、音響・言語モデル18aに記憶する。これは、一般に番組名等は複数の形態素の組み合わせで表現されるが、ここでは、後記する対話処理手段16の操作指令解析部16aにおいて、番組名等を1つの形態素として認識させるためである。これによって、番組名等の音声認識率を高めることができる。
【0033】
通信データ受信部(通信データ受信手段)10bは、通信回線6を介して、データの通信を行うものである。例えば、インターネットのWebサイトに対して、Webページのデータ要求を送信し、要求したWebサイトからデータを受信する。なお、この通信データ受信部10bは、TCP/IPの通信プロトコルによってデータ(通信データ)の受信を行う。ここで受信したWebページのデータ(HTML)は、リンク情報検索手段11へ出力される。
【0034】
受信切り替え部(受信切り替え手段)10cは、後記する対話処理手段16から通知される「受信切り替え指示」に基づいて、放送データ受信部10aと通信データ受信部10bとの受信の切り替えを行うものである。例えば、デジタル放送を視聴中に、Webページの閲覧を行うときは、放送データ受信部10aにおける放送データの受信を停止させ、「受信切り替え指示」とともに通知されるリンク先(アドレス)に基づいて、通信データ受信部10bに対して通信データ(Webページ)の取得を行う旨を通知する。
【0035】
リンク情報検索手段11は、受信手段10で受信したデータ(マークアップ言語)を解析して、そのデータの中に含まれるリンク先を示すリンク情報を検索するものである。例えば、HTMLやBMLにおいて、リンク先の属性を示す「Aタグ」の「href属性」を検索する。これによって、リンク情報検索手段11は、「Aタグ」の「href属性」を含むタグ(「<」、「>」)内に、リンク情報が記述されていることを検出することができる。
【0036】
なお、リンク情報検索手段11は、リンク情報を含んだタグを検出するまでは、逐次入力されたデータ(マークアップ言語)をそのままマーカ文字付加手段12へ通知する。また、リンク情報検索手段11は、リンク情報を含んだタグを検出した場合は、リンク先を検出した旨を示す「検出通知」をマーカ文字付加手段12へ通知し、その後にリンク情報を含んだタグをマーカ文字付加手段12へ通知する。
【0037】
マーカ文字付加手段12は、リンク情報検出手段11から通知されるデータ(マークアップ言語)に、「検出通知」を通知される度に、マーカ文字を付加してマーカ文字付データを生成するものである。なお、このマーカ文字は、画面の背景色とは異なる色に設定するものとする。このマーカ文字を付加されたデータ(マーカ文字付データ)は、表示データ生成手段13へ通知される。
【0038】
また、マーカ文字付加手段12は、「検出通知」を通知された後のリンク情報と、付加したマーカ文字とを関連付け、記憶手段18にリンク先データ18cとして記憶しておく。
さらに、マーカ文字付加手段12は、「戻る」、「進む」等の指示によって画面の切り替えを可能にするため、マーカ文字を付加して生成されたマーカ文字付データを、記憶手段18に履歴データ18bとして記憶しておく。
【0039】
なお、マーカ文字は、同一画面のデータ内で、識別可能な文字であって、後記する音声認識手段15で参照する音響・言語モデル18aに登録してある語彙を用いる。例えば、音響・言語モデル18aに予め「ichi」=「1」、「ni」=「2」、「san」=「3」、…等で語彙が登録されている場合、「1」、「2」、「3」、…をマーカ文字として使用する。このマーカ文字は、同一画面のデータ内で識別可能で、音響・言語モデル18aに登録されている語彙であれば何でもよい。例えば、「a」、「b」、「c」、…や、「い」、「ろ」、「は」、…であってもよい。
【0040】
表示データ生成手段13は、マーカ文字付加手段12から通知されるマーカ文字付データを解析して、表示可能な出力形式に変換して出力するものである。これは、通知されたデータが、HTMLデータの場合はWebブラウザ、BMLデータの場合はBMLブラウザとして機能するものである。なお、ここで、表示可能な出力形式に変換された表示データは、表示制御手段14を介して表示装置2の画面上に表示される。
【0041】
なお、表示データ生成手段13は、対話処理手段16から「戻る」、「進む」等の履歴移動指示を通知されることで、履歴データ18bとして記憶されている過去に表示したデータ(マーカ文字付データ)を参照して、画面の遷移を行う。
【0042】
ここで、図2及び図3を参照(適宜図1参照)して、マークアップ言語で記述されたデータに、マーカ文字を付加する例について具体的に説明する。図2は、HTMLで記述された画面のデータ例を表したものである。図2(a)は、マーカ文字を付加する前の元となるデータであり、図2(b)は、図2(a)のデータにマーカ文字を付加したマーカ文字付データである。図3は、HTMLで記述されたデータを表示可能な出力形式に変換して表示した画面例である。図3(a)は、図2(a)で記述されたデータを表示した画面例である。図3(b)は、図2(b)で記述されたマーカ文字付データを表示した画面例である。
【0043】
図2(a)に示したように、HTMLでは、「Aタグ」の「href属性」(att)によって、リンク先(lnk)、例えば、”projectx/projectx.html”を定義している。すなわち、リンク情報検索手段11では、「href属性」(att)をキーとして、リンク先を示すリンク情報を検索することができる。
【0044】
そして、マーカ文字付加手段12では、リンク情報検索手段11で検索した「href属性」(att)を含んだタグ(「<」、「>」)の前に、図2(b)に示す「1」、「2」、「3」等のマーカ文字mkを付加する。
【0045】
なお、この図2(b)においては、「FONTタグ」によって、マーカ文字mkの色を指定し、「bタグ」によって、マーカ文字mkの太さを指定している。ここでは、<FONT color=”#ffff99”><b>1</b></font>とすることで、マーカ文字である「1」を付加している。
【0046】
この図2(b)では、「bodyタグ」の「bgcolor属性」によって、背景色が”#000066”(bc)と設定されている場合に、その背景色とは異なる色”#ffff99”(fc)にマーカ文字mkの色を設定している。このマーカ文字mkの色fcは、”ffffff”から、背景色bcの値を減算することで、常に背景色とは異なる色を設定することができる。また、図2(b)では、「bタグ」によって、マーカ文字mkを太字に設定している。このように、マーカ文字mkの色や太さを定義することで、マーカ文字mkの視覚性を高めることができる。
【0047】
図3(a)は、図2(a)で記述されたデータを表示した画面例であって、画面左側にリンク先が設定された画像B1〜B5や、画面中央にリンク先が設定された文字列C1及びC2を表示している。
【0048】
図3(b)は、図2(b)で記述されたマーカ文字付データを表示した画面例であって、図3(a)でリンク先が設定されている画像B1〜B5、文字列C1及びC2にマーカ文字(N1〜N6及びN6a)を付加して表示している。すなわち、画像B1に対しては、マーカ文字N1として「1」、画像B2に対しては、マーカ文字N2として「2」のように順番にマーカ文字を付加している。
【0049】
なお、ここでは、図3(a)の文字列C1及びC2のリンク先は同じであるものとして、図3(b)では、同じマーカ文字N6及びN6aとして「6」を付加している。このように、同じリンク先には同じマーカ文字を付加してもよいし、順番にマーカ文字を付加することとしてもよい。
【0050】
図2(b)及び図3(b)に示したように、リンク先が設定されている画像、文字等にマーカ文字を付加することで、利用者は、マウス等の入力手段がなくても、音声によってリンク先を指定することができる。
図1に戻って説明を続ける。
【0051】
表示制御手段14は、表示データ生成手段13から出力された表示データや、受信手段10の放送データ受信部10aから通知される映像・音声を外部に出力するものである。この表示制御手段14は、表示データ及び映像は表示装置2へ出力し、音声は音声出力手段であるスピーカ4へ出力する。
なお、この表示制御手段14は、表示画面上に文字を合成して表示する文字合成部14aを備えている。
【0052】
文字合成部(文字合成手段)14aは、後記する音声認識手段15で認識された音声認識文字を、表示画面上に合成するものである。この音声認識文字を、表示画面上の左下等の固定した領域に表示させることで、利用者は、利用者が発声した操作指令が正しく認識されているかどうかを確認することができる。
【0053】
音声認識手段15は、マイク3から入力される利用者の音声(操作指令)を、音声認識し、テキストデータ(文字列)として出力するものである。ここで認識された文字列は、対話処理手段16へ出力される。なお、この音声認識手段15の音声認識は、公知の一般的な音声認識技術を用いて実現することができる。さらに、ここで認識された文字列(音声認識文字)は、表示制御手段14へ出力され、音声認識結果として、表示装置2上に表示される。
【0054】
対話処理手段16は、音声認識手段15の認識結果であるテキストデータ(文字列)に基づいて、利用者の操作指令を解析し、その操作指令に対応する動作を実行するものである。ここでは、対話処理手段16は、操作指令解析部16aと、操作指令実行部16bとを備えている。
【0055】
操作指令解析部(操作指令解析手段)16aは、音声認識手段15から入力された文字列を解析して、利用者の操作指令を認識するものである。ここでは、操作指令解析部16aは、音響・言語モデル18aに基づいて、文字列を形態素解析することで形態素に分割し(ここでは、単語に分割するものとする)、その形態素を単位として、予め定めた操作テンプレート18dとマッチングを行うことで、操作指令の内容を特定(判断)する。
【0056】
また、操作指令解析部16aは、操作指令に対して予め設定してある応答文を音声合成手段17に通知して、利用者に対して操作指令を認識した、あるいは、認識できなかった等の応答を返す。
【0057】
ここで、図4及び図5を参照(適宜図1参照)して、操作指令解析部16aが、文字列から操作指令の内容を認識する手法について具体的に説明する。図4及び図5ともに、操作指令解析部16aが、利用者が発声する音声によって、利用者の意思をどのように判断するかを説明するための説明図である。図4は、マーカ文字に対応する音声によって、リンク先を閲覧したいという利用者の意思を判断する例であり、図5はマーカ文字以外の任意の音声によって、利用者の意思を判断する例である。
【0058】
まず、図4を参照して、マーカ文字に対応する音声によって、利用者の意思を判断する例について説明する。ここでは、操作指令解析部16aに、音声認識手段15で認識した「3番が見たい。」(図4(a))という操作文字列が入力された例を示している。
【0059】
ここで、操作指令解析部16aは、操作文字列を、音響・言語モデル18aに記憶されている形態素辞書dicに基づいて形態素解析を行い、図4(b)に示すように「3」「番」「が」「見」「たい。」と各形態素に分割する。なお、「3」というマーカ文字は、予め形態素辞書dicに登録されているものとする。そして、図4(c)に示すように、操作指令解析部16aは、各形態素と、操作テンプレート18dとして登録されている文字列の組み合わせ(定型文)とのマッチングを行うことで、利用者の意思を判断する。
【0060】
例えば、操作テンプレート18dに、「[@マーカ文字]*{[見る]|[替える]}」が登録されているとする。ここで、[@マーカ文字]は、形態素辞書dicに登録されているマーカ文字のいずれか1つを表し、{[見る]|[替える]}は、[見る]又は[替える]のいずれかの動詞を表すものとする。これによって、操作指令解析部16aは、図4(c)におけるマーカ文字である「3」と、動作を示す「見る」(ここでは活用していない動詞を用いる)が、操作テンプレート18dの「[@マーカ文字]*{[見る]|[替える]}」に合致し、「3」というマーカ文字のリンク先を見たいという意思と判断することができる。なお、操作テンプレート18dには、テンプレート以外に、そのテンプレートに該当する動作を記述しておくものとする。
【0061】
次に、図5を参照して、任意の音声によって、利用者の意思を判断する例について説明する。ここでは、操作指令解析部16aに、音声認識手段15で認識した「プロジェクトXのホームページを探して。」(図5(a))という操作文字列が入力された例を示している。
【0062】
ここで、操作指令解析部16aは、操作文字列を、音響・言語モデル18aに記憶されている形態素辞書dicに基づいて形態素解析を行い、図5(b)に示すように「プロジェクトX」「の」「ホームページ」「を」「探し」「て。」と各形態素に分割する。なお、形態素辞書dicには、「番組名」として「プロジェクトX」、「コマンド語」として「ホームページ」が登録されているものとする。ここで「コマンド語」とは、インターネット等の閲覧に用いる用語(他には、画面を戻す「戻る」、データの受信を中止する「中止」等)を示すものとする。
【0063】
そして、図5(c)に示すように、操作指令解析部16aは、各形態素と、操作テンプレート18dとして登録されている文字列の組み合わせ(定型文)とのマッチングを行うことで、利用者の意思を判断する。
【0064】
例えば、操作テンプレート18dに、「[@番組名]*[@コマンド語]*{[見る]|[探す]}」が登録されているとする。ここで、[@番組名]は、形態素辞書dicに登録されている番組名のいずれか1つを表し、[@コマンド語]は、形態素辞書dicに登録されているコマンド語のいずれか1つを表し、{[見る]|[探す]}は、[見る]又は[探す]のいずれかの動詞を表すものとする。これによって、操作指令解析部16aは、図5(c)における番組名である「プロジェクトX」と、コマンド語である「ホームページ」と、動作を示す「探す」(ここでは活用していない動詞を用いる)が、操作テンプレート18dの「[@番組名]*[@コマンド語]*{[見る]|[探す]}」に合致し、「プロジェクトX」という番組名のホームページを探したいという意思と判断することができる。
図1に戻って説明を続ける。
【0065】
操作指令実行部16bは、操作指令解析部16aで解析した操作指令に対する動作を実行するものである。なお、操作指令実行部16bには、リンク先切り替え部16b1を備えている。
【0066】
リンク先切り替え部(リンク先切り替え手段)16b1は、操作指令解析部16aによる操作指令の解析結果が、「マーカ文字のリンク先を見たい」という操作である場合に、リンク先データ18cを参照して、マーカ文字のリンク先を取得し、放送データ受信部10a又は通信データ受信部10bに対して、そのリンク先のデータを取得する旨の指示を行う。
【0067】
また、操作指令実行部16bには、リンク先切り替え部16b1以外にも、図示していない各操作指令を実行する処理部を備えている。例えば、テレビ視聴中にインターネットの所望のホームページを閲覧したいという、操作指示があった場合は、受信切り替え部10cに対して、放送データの受信から通信データの受信へ切り替える指示を通知する。
【0068】
また、操作指令実行部16bは、操作結果を応答文として音声合成手段17に通知して、利用者に対して操作の実行結果を返す。例えば、ある番組に関連するホームページを検索する旨の操作指示があったときに、その件数を「該当するホームページが5件ありました。」等の音声によって通知する。
【0069】
音声合成手段17は、対話処理手段16から通知される応答文を音声合成することで音声に変換し、スピーカ4を介して利用者に操作指令に対する応答を行う。これによって、利用者は、テレビ操作支援装置1と会話をする感覚で当該装置1の操作を行うことが可能になる。
【0070】
記憶手段18は、テレビ操作支援装置1において、音声認識、対話処理等に必要となる種々のデータを記憶しておくもので、半導体メモリ、ハードディスク等の一般的な記録媒体である。ここでは、記憶手段18に、音響・言語モデル18a、履歴データ18b、リンク先データ18c及び操作テンプレート18dを記憶することとした。なお、これらのデータは、1つの記憶手段に記憶する必要はなく、複数の記憶手段に記憶することとしてもよい。
【0071】
音響・言語モデル18aは、発音データに基づいて生成された音声の単語辞書と、個々の単語の繋がりを確率により表現したモデルとを、含んだデータである。さらに、この音響・言語モデル18aは、形態素(意味を担う最小の言語単位)の辞書(形態素辞書)を含んでおり、操作指令解析部16aにおいて、形態素解析を行う際に用いられる。
【0072】
なお、この形態素辞書には、「番組名」、「放送局名」、「出演者名」等の語彙を形態素として登録しておく。一般に番組名等は、複数の形態素の組み合わせで表現される場合が多いが、ここでは、テレビ操作における音声認識率を高めるため、複数の形態素からなる「番組名」等を1つの形態素として登録しておく。このテレビ操作用の語彙は、放送データ受信部10aが放送データを解析することで更新を行う。
【0073】
履歴データ18bは、マーカ文字付加手段12によってマーカ文字を付加されたデータ(マーカ文字付データ)を、記憶したものである。この履歴データ18bは、表示データ生成手段13によって参照され、画面の遷移が行われる。これによって、過去に表示したデータを放送波や通信回線を介して再度取得する必要がなくなる。
【0074】
リンク先データ18cは、マーカ文字付加手段12によって付加されたマーカ文字と、そのマーカ文字を付加したリンク情報とを関連付けたデータである。このリンク先データ18cは、対話処理手段16の操作指令解析部16aによって、利用者からの操作指令に含まれるマーカ文字に対応するリンク情報が読み出される。なお、記憶手段18に記憶されたリンク先データ18cが、特許請求の範囲に記載のリンク情報記憶手段に相当する。
【0075】
操作テンプレート18dは、利用者が発声する発話内容(操作指令)を、特定文字列の組み合わせで定型化して、個々の定型文毎にその動作を設定したものである。例えば、図5に示したように、「番組名」とインターネットを検索する用語である「コマンド語」と、動詞(見る又は探す)を組み合わせて定型化し、その定型文に対して、<「番組名」の「コマンド語」を見る又は探す>という動作を設定しておく。
【0076】
なお、この操作テンプレート18dには、個々の操作指令の定型文に対して、応答文を設定しておく。例えば、図5の例で、操作指令を認識した場合には、「分かりました。」という定型文を、「番組名」が音響・言語モデル18aの形態素辞書にない場合には、「<番組名>という番組は存在しません。」という定型文を定義しておく。
【0077】
以上、本発明に係るテレビ操作支援装置(データ閲覧支援装置)1の構成について説明したが、本発明はこれに限定されるものではない。例えば、受信手段10を放送データ受信部10a又は通信データ受信部10bのいずれか1つの構成として、デジタル放送におけるデータ放送の操作のみを支援したり、通信回線を介したインターネットのWebページの閲覧のみを支援するものとして構成してもよい。
【0078】
なお、テレビ操作支援装置(データ閲覧支援装置)1は、一般的なコンピュータにプログラムを実行させ、コンピュータ内の演算装置や記憶装置を動作させることにより実現することができる。このプログラム(データ閲覧プログラム)は、通信回線を介して配付することも可能であるし、BMLで記述することで、データ放送によって配信することも可能である。
【0079】
[テレビ操作支援装置(データ閲覧支援装置)の動作]
次に、図6及び図7を参照(適宜図1参照)して、本発明におけるテレビ操作支援装置(データ閲覧支援装置)の動作について説明する。図6は、テレビ操作支援装置1が、通信回線6を介してWebページのデータ(HTML)を取得して表示装置2に提示する動作(HTMLデータ表示動作)を示したフローチャートである。図7は、テレビ操作支援装置1が、利用者の音声による操作指令よって、リンク先を移動する動作を示すフローチャートである。
【0080】
(HTMLデータ表示動作)
まず、図6を参照(適宜図1参照)して、テレビ操作支援装置1が、HTMLデータを取得し、マーカ文字を付加した画面を表示する動作について説明する。なお、ここでは、通信回線6を介して取得したHTMLを解析して表示を行う動作について説明を行う。
【0081】
テレビ操作支援装置1は、受信手段10の通信データ受信部10bによってWebページのデータ(HTML)受信し、リンク情報検索手段11がそのデータ(HTML)の読み込みを行う(ステップS10)。そして、リンク情報検索手段11が、HTMLデータから、リンク先の属性を示すリンク情報である「href属性」を検索する(ステップS11)。
【0082】
そして、リンク情報の有無を判定し(ステップS12)、リンク情報が存在する場合(ステップS12でYes)は、マーカ文字付加手段12が、リンク情報の前にマーカ文字を付加しマーカ文字付データの生成を行う(ステップS13)。なお、この段階で、マーカ文字付加手段12は、マーカ文字付データを履歴データ18bとして記憶手段18に記憶する(ステップS14)。また、マーカ文字付加手段12は、リンク情報とそのリンク情報に付加したマーカ文字とを対応付けて、記憶手段18のリンク先データ18cとして記憶する(ステップS15)。そして、表示データ生成手段(ブラウザ)13が、マーカ文字付加手段12で生成されたマーカ文字付データから、表示可能な出力形式に変換した表示データを生成し、表示装置2へ出力する(ステップS16)。
【0083】
一方、リンク情報が存在しない場合(ステップS12でNo)は、ステップS16へ進み、表示データ生成手段(ブラウザ)13が、HTMLデータから、表示可能な出力形式に変換した表示データを生成し、表示装置2へ出力する。
【0084】
そして、リンク情報検索手段11において、HTMLデータの読み込みが終了したかどうかを判定し(ステップS17)、終了した場合(ステップS17でYes)は動作を終了し、終了していない場合(ステップS17でNo)は、ステップS10へ戻って、HTMLデータの読み込み以降の動作を継続する。
【0085】
以上の動作によって、テレビ操作支援装置1は、通信回線6を介して取得したWebページのデータ(HTML)を表示装置2に提示する際に、リンク先を示す領域や文字が存在する箇所に、「1」、「2」等のマーカ文字を付して画面上に表示させることができる。
【0086】
(リンク先移動動作)
次に、図7を参照(適宜図1参照)して、テレビ操作支援装置1が、利用者の音声による操作指令によって、リンク先を移動する動作について説明する。
まず、テレビ操作支援装置1は、音声認識手段15によって、マイク3から入力される利用者の音声(操作指令)を音声認識して、テキストデータ(文字列)に変換する(ステップS20)。そして、音声認識手段15が音声認識結果である文字列(音声認識文字)を表示制御手段14へ通知することで、表示制御手段14の文字合成部14aが、画面上に音声認識文字を合成して、表示装置2に表示する(ステップS21)。これによって、利用者は、自分が発声した音声が、どのように認識されたかを判定することができる。
【0087】
また、テレビ操作支援装置1は、対話処理手段16の操作指令解析部16aによって、音声認識文字の解析を行い利用者の操作指令を認識する。より具体的には、操作指令解析部16aが、記憶手段18に記憶されている音響・言語モデル18aに基づいて、音声認識文字に対して形態素解析を行い(ステップS22)、個々の形態素と、記憶手段18に記憶されている操作テンプレート18dとをパターンマッチングすることで、操作指令の意味を決定する(ステップS23)。
【0088】
そして、操作指令実行部16bが、ステップS23で決定した操作指令が、利用者がマーカ文字を発声したことによるリンク先の移動であるかどうかを判定し(ステップS24)、リンク先の移動である場合(ステップS24でYes)は、リンク先切り替え部16b1が、リンク先の切り替えを行う。すなわち、リンク先切り替え部16b1が、記憶手段18に記憶されているリンク先データ18cから、マーカ文字に対応するリンク情報(リンク先のアドレス)を取得し(ステップS25)、受信手段10に対してそのリンク先を通知することで、受信手段10が新しいリンク先からデータの取得を行う(ステップS26)。
【0089】
そして、テレビ操作支援装置1は、このステップS26で取得した新しいリンク先から取得したデータ(HTMLデータ)を、表示装置2へ表示する(ステップS27)。このステップS27の具体的な動作は、図6で説明した、HTMLデータを取得し、マーカ文字を付加した画面を表示する動作と同じである。
【0090】
一方、ステップS24において、操作指令がリンク先の移動でない場合(ステップS24でNo)は、操作指令実行部16bがその操作指令によって、種々の操作を実行する。例えば、利用者が「戻る」と発声したことを、操作指令解析部16aが認識することで、画面を1画面前に戻す操作を行う。この場合、操作指令実行部16bは、「戻る」を示す履歴移動指示を表示データ生成手段13へ通知し、表示データ生成手段13が、履歴データ18bから1画面前のデータを取得することで、1画面前のデータを表示可能な出力形式に変換し表示装置2の画面上に表示する。
【0091】
以上の動作によって、テレビ操作支援装置1は、利用者が発声する音声によって、利用者が望む操作を認識し実行することができる。また、画面上に表示されたマーカ文字を利用者が発声するという簡単な動作で、リンク先の切り替え動作(操作)を行うことができる。
【0092】
なお、図6及び図7においては、HTMLデータの表示動作と、HTMLデータのリンク先の移動動作について主に説明したが、放送波5を介して受信したデータ(BML)についても同様に動作させることが可能である。
【0093】
【発明の効果】
以上説明したとおり、本発明に係るデータ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラムでは、以下に示す優れた効果を奏する。
【0094】
請求項1、請求項7又は請求項8に記載の発明によれば、HTMLやBLM等のマークアップ言語で記述されたデータを閲覧する際に、画面上にマーカ文字を表示して、リンク先が存在することを提示するとともに、利用者がそのマーカ文字を発声することで、利用者が所望するリンク先へ画面を遷移させることができる。また、リンク先が、画像等で示されている場合であっても、利用者は、その画像に付されたマーカ文字を発声するという簡単な操作で、リンク先へ画面を遷移させることができる。これによって、マウスやキーボード等の面倒な入力手段を用いることなく、データ閲覧の操作を支援することができる。
【0095】
請求項2に記載の発明によれば、マーカ文字は、音声認識用の辞書、例えば、音響・言語モデルの形態素辞書等に登録されている文字を用いるため、利用者が音声によって操作をする場合に、認識できない、あるいは、誤認識の確率を低減することができる。
【0096】
請求項3に記載の発明によれば、利用者が発声し、認識された文字(音声認識文字)を表示装置の画面上に合成して表示するため、利用者はデータ閲覧支援装置が認識した文字を確認することができる。これによって、誤認識があった場合でも、利用者はその誤り箇所を知ることができ、利用者に対して操作に対する安心感を与えることができる。
【0097】
請求項4に記載の発明によれば、利用者が発声する操作指令を、複数の特定文字列の組み合わせで定型化することで、種々の操作指令をパターン化することができる。このように、操作指令をパターン化することで、多くの操作指令を少ないパターンで認識することが可能になり、会話によるユーザインタフェースを実現するができる。
【0098】
請求項5に記載の発明によれば、利用者からの操作指令に対する応答を音声によって行うので、操作の受付、操作間違い等を音声で通知することができる。これによって、操作性を向上させることができる。
【0099】
請求項6に記載の発明によれば、放送データの受信と、通信データの受信とを音声によって自由に切り替えることができる。これによって、例えば、放送データの情報だけでは情報が不充分な場合であっても、音声による簡単な操作で通信データの情報を取得することができる。
【図面の簡単な説明】
【図1】本発明におけるデータ閲覧支援装置(テレビ操作支援装置)の全体構成を示したブロック図である。
【図2】HTMLで記述された画面のデータ例を示した図である。
【図3】図2のデータを表示可能な出力形式に変換して表示した画面を示した図である。
【図4】マーカ文字に対応する音声によって、利用者の意思を判断する例を説明するための説明図である。
【図5】任意の音声によって、利用者の意思を判断する例を説明するための説明図である。
【図6】本発明におけるデータ閲覧支援装置(テレビ操作支援装置)が、HTMLデータにマーカ文字を付加して表示する動作を示したフローチャートである。
【図7】本発明におけるデータ閲覧支援装置(テレビ操作支援装置)が、音声によってリンク先を移動する動作を示したフローチャートである。
【符号の説明】
1 テレビ操作支援装置(データ閲覧支援装置)
10 受信手段
10a 放送データ受信部(放送データ受信手段)
10b 通信データ受信部(通信データ受信手段)
10c 受信切り替え部(受信切り替え手段)
11 リンク情報検索手段
12 マーカ文字付加手段
13 表示データ生成手段
14 表示制御手段
14a 文字合成部(文字合成手段)
15 音声認識手段
16 対話処理手段
16a 操作指令解析部(操作指令解析手段)
16b 操作指令実行部
16b1 リンク先切り替え部(リンク先切り替え手段)
17 音声合成手段
18 記憶手段
18a 音響・言語モデル
18b 履歴データ
18c リンク先データ(リンク情報記憶手段)
18d 操作テンプレート
2 表示装置
3 マイク
4 スピーカ
5 放送波
6 通信回線

Claims (8)

  1. マークアップ言語で記述されたデータを閲覧する際に、利用者の音声によって閲覧の操作を支援するデータ閲覧支援装置であって、
    前記データの中から、リンク先を示すリンク情報を検索するリンク情報検索手段と、
    このリンク情報検索手段で検索されたリンク情報に、同一画面のデータ内で識別可能なマーカ文字を付加して、前記データからマーカ文字付データを生成するマーカ文字付加手段と、
    前記マーカ文字と前記リンク情報とを関連付けて記憶するリンク情報記憶手段と、
    前記マーカ文字付データを解析して、閲覧可能な表示データを生成する表示データ生成手段と、
    前記利用者の音声を認識する音声認識手段と、
    この音声認識手段で認識された認識結果が、前記マーカ文字に対応する場合に、そのマーカ文字に基づいて、前記リンク情報記憶手段に記憶されているリンク情報で示されたリンク先から、データを取得するリンク先切り替え手段と、
    を備えていることを特徴とするデータ閲覧支援装置。
  2. 前記マーカ文字として、予め音声認識用の辞書に登録してある語彙を用いることを特徴とする請求項1に記載のデータ閲覧支援装置。
  3. 前記音声認識手段の認識結果である音声認識文字を、表示画面上に合成して表示させる文字合成手段を備えていることを特徴とする請求項1又は請求項2に記載のデータ閲覧支援装置。
  4. 前記利用者からの操作指令を予め特定文字列の組み合わせで定型化しておき、前記音声認識手段の認識結果の中に含まれる前記特定文字列に基づいて、前記操作指令を解析する操作指令解析手段を備えていることを特徴とする請求項1乃至請求項3のいずれか1項に記載のデータ閲覧支援装置。
  5. 前記利用者からの操作指令に対する応答文を、音声として出力する音声合成手段を備えていることを特徴とする請求項1乃至請求項4のいずれか1項に記載のデータ閲覧支援装置。
  6. 放送波を介して放送データを受信する放送データ受信手段と、
    通信回線を介して通信データを受信する通信データ受信手段と、
    前記操作指令解析手段で解析された操作指令に基づいて、前記放送データ受信手段の受信と前記通信データ受信手段の受信とを切り替える受信切り替え手段と、
    を備えていることを特徴とする請求項1乃至請求項5のいずれか1項に記載のデータ閲覧支援装置。
  7. マークアップ言語で記述されたデータを閲覧する際に、リンク先への移動の操作を、利用者の音声によって行うデータ閲覧方法であって、
    前記データに埋め込まれている前記リンク先を示すリンク情報に、同一画面内で識別可能なマーカ文字を付加して表示するステップと、
    表示された前記マーカ文字を利用者が音声として発声するステップと、
    前記利用者が発声した前記マーカ文字を認識して、そのマーカ文字に対応する前記リンク先からデータを取得して提示するステップと、
    を含んでいることを特徴とするデータ閲覧方法。
  8. マークアップ言語で記述されたデータを閲覧する際に、前記データに埋め込まれたリンク先への移動の操作を、利用者の音声によって行うために、コンピュータを、
    前記データの中から、前記リンク先を示すリンク情報を検索するリンク情報検索手段、
    このリンク情報検索手段で検索されたリンク情報に、同一画面内で識別可能なマーカ文字を付加して、前記データからマーカ文字付データを生成するマーカ文字付加手段、
    前記マーカ文字と前記リンク情報とを関連付けてリンク情報記憶手段に記憶するリンク情報記憶制御手段、
    前記マーカ文字付データを解析して、閲覧可能な表示データを生成する表示データ生成手段、
    前記利用者の音声を認識する音声認識手段、
    この音声認識手段で認識された認識結果が、前記マーカ文字に対応する場合に、そのマーカ文字に基づいて、前記リンク情報記憶手段に記憶されているリンク情報で示されたリンク先から、データを取得するリンク先切り替え手段、
    として機能させることを特徴とするデータ閲覧プログラム。
JP2003127483A 2003-05-02 2003-05-02 データ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラム Expired - Fee Related JP4157418B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003127483A JP4157418B2 (ja) 2003-05-02 2003-05-02 データ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003127483A JP4157418B2 (ja) 2003-05-02 2003-05-02 データ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラム

Publications (2)

Publication Number Publication Date
JP2004334409A true JP2004334409A (ja) 2004-11-25
JP4157418B2 JP4157418B2 (ja) 2008-10-01

Family

ID=33504013

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003127483A Expired - Fee Related JP4157418B2 (ja) 2003-05-02 2003-05-02 データ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラム

Country Status (1)

Country Link
JP (1) JP4157418B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007004280A (ja) * 2005-06-21 2007-01-11 Mitsubishi Electric Corp コンテンツ情報提供装置
JP2010134780A (ja) * 2008-12-05 2010-06-17 Casio Computer Co Ltd 情報処理装置およびその制御プログラム
JP2012037783A (ja) * 2010-08-10 2012-02-23 Yahoo Japan Corp 情報家電システム、情報取得方法及びプログラム
JP2012256047A (ja) * 2011-06-07 2012-12-27 Samsung Electronics Co Ltd ディスプレイ装置およびそのリンク実行方法、並びに、音声認識方法
JP2013137584A (ja) * 2011-12-27 2013-07-11 Toshiba Corp 電子機器、表示方法、およびプログラム
WO2013190957A1 (ja) * 2012-06-19 2013-12-27 株式会社エヌ・ティ・ティ・ドコモ 機能実行指示システム、機能実行指示方法及び機能実行指示プログラム
JP2014002795A (ja) * 2013-10-07 2014-01-09 Toshiba Corp 電子機器、表示方法、およびプログラム
US9449288B2 (en) 2011-05-20 2016-09-20 Deem, Inc. Travel services search
US9552599B1 (en) 2004-09-10 2017-01-24 Deem, Inc. Platform for multi-service procurement
US10217131B2 (en) 2005-12-28 2019-02-26 Deem, Inc. System for resource service provider
US10552849B2 (en) 2009-04-30 2020-02-04 Deem, Inc. System and method for offering, tracking and promoting loyalty rewards
JP2021182068A (ja) * 2020-05-19 2021-11-25 Necパーソナルコンピュータ株式会社 映像表示装置
CN115151888A (zh) * 2020-02-19 2022-10-04 发那科株式会社 具备项目显示迁移功能的显示系统

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9552599B1 (en) 2004-09-10 2017-01-24 Deem, Inc. Platform for multi-service procurement
US10049330B2 (en) 2004-09-10 2018-08-14 Deem, Inc. Platform for multi-service procurement
US10832177B2 (en) 2004-09-10 2020-11-10 Deem, Inc. Platform for multi-service procurement
JP4675691B2 (ja) * 2005-06-21 2011-04-27 三菱電機株式会社 コンテンツ情報提供装置
JP2007004280A (ja) * 2005-06-21 2007-01-11 Mitsubishi Electric Corp コンテンツ情報提供装置
US10217131B2 (en) 2005-12-28 2019-02-26 Deem, Inc. System for resource service provider
US11443342B2 (en) 2005-12-28 2022-09-13 Deem, Inc. System for resource service provider
JP2010134780A (ja) * 2008-12-05 2010-06-17 Casio Computer Co Ltd 情報処理装置およびその制御プログラム
US11720908B2 (en) 2009-04-30 2023-08-08 Deem, Inc. System and method for offering, tracking and promoting loyalty rewards
US10552849B2 (en) 2009-04-30 2020-02-04 Deem, Inc. System and method for offering, tracking and promoting loyalty rewards
JP2012037783A (ja) * 2010-08-10 2012-02-23 Yahoo Japan Corp 情報家電システム、情報取得方法及びプログラム
US9449288B2 (en) 2011-05-20 2016-09-20 Deem, Inc. Travel services search
US9870540B2 (en) 2011-05-20 2018-01-16 Deem, Inc. Travel services search
JP2012256047A (ja) * 2011-06-07 2012-12-27 Samsung Electronics Co Ltd ディスプレイ装置およびそのリンク実行方法、並びに、音声認識方法
JP2013137584A (ja) * 2011-12-27 2013-07-11 Toshiba Corp 電子機器、表示方法、およびプログラム
WO2013190957A1 (ja) * 2012-06-19 2013-12-27 株式会社エヌ・ティ・ティ・ドコモ 機能実行指示システム、機能実行指示方法及び機能実行指示プログラム
JP2014002795A (ja) * 2013-10-07 2014-01-09 Toshiba Corp 電子機器、表示方法、およびプログラム
CN115151888A (zh) * 2020-02-19 2022-10-04 发那科株式会社 具备项目显示迁移功能的显示系统
JP2021182068A (ja) * 2020-05-19 2021-11-25 Necパーソナルコンピュータ株式会社 映像表示装置
JP7132974B2 (ja) 2020-05-19 2022-09-07 Necパーソナルコンピュータ株式会社 映像表示装置

Also Published As

Publication number Publication date
JP4157418B2 (ja) 2008-10-01

Similar Documents

Publication Publication Date Title
JP4459267B2 (ja) 辞書データ生成装置及び電子機器
US8781840B2 (en) Retrieval and presentation of network service results for mobile device using a multimodal browser
KR100661687B1 (ko) 대화형 음성 응답 애플리케이션 구현 장치 및 방법, 머신 판독가능 매체 및 대화형 음성 응답 시스템
JP6603754B2 (ja) 情報処理装置
US6188985B1 (en) Wireless voice-activated device for control of a processor-based host system
JP6375521B2 (ja) 音声検索装置、音声検索方法、および表示装置
JPWO2005122143A1 (ja) 音声認識装置および音声認識方法
JP2001014319A (ja) ハイパーテキストアクセス装置
JP4157418B2 (ja) データ閲覧支援装置、データ閲覧方法及びデータ閲覧プログラム
JP2009042968A (ja) 情報選別システム、情報選別方法及び情報選別用プログラム
JPWO2007069512A1 (ja) 情報処理装置及びプログラム
US6985147B2 (en) Information access method, system and storage medium
JP5160594B2 (ja) 音声認識装置および音声認識方法
JP5902359B2 (ja) 方法、電子機器およびプログラム
JP2013137584A (ja) 電子機器、表示方法、およびプログラム
JP5533377B2 (ja) 音声合成装置、音声合成プログラムおよび音声合成方法
JP4175141B2 (ja) 音声認識機能を有する番組情報表示装置
JP2007164732A (ja) コンピュータ実行可能なプログラム、および情報処理装置
JP2005004100A (ja) 聴取システムおよび音声合成装置
JP2007257134A (ja) 音声検索装置、音声検索方法および音声検索プログラム
JP2004334369A (ja) 音声対話シナリオ変換方法、音声対話シナリオ変換装置、音声対話シナリオ変換プログラム
JP4080965B2 (ja) 情報提示装置及び情報提示方法
JP2005322148A (ja) ブラウザ装置
JP2006195900A (ja) マルチメディアコンテンツ生成装置及び方法
JP2009086597A (ja) テキスト音声変換サービスシステム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080522

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080617

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080711

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110718

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120718

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130718

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140718

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees