JP2002539528A - データベース注釈付け及び検索 - Google Patents
データベース注釈付け及び検索Info
- Publication number
- JP2002539528A JP2002539528A JP2000604324A JP2000604324A JP2002539528A JP 2002539528 A JP2002539528 A JP 2002539528A JP 2000604324 A JP2000604324 A JP 2000604324A JP 2000604324 A JP2000604324 A JP 2000604324A JP 2002539528 A JP2002539528 A JP 2002539528A
- Authority
- JP
- Japan
- Prior art keywords
- data
- phoneme
- word
- generating
- annotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004044 response Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims description 97
- 238000013518 transcription Methods 0.000 claims description 11
- 230000035897 transcription Effects 0.000 claims description 11
- 230000005236 sound signal Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims 11
- 238000006243 chemical reaction Methods 0.000 claims 5
- 230000008878 coupling Effects 0.000 claims 5
- 238000010168 coupling process Methods 0.000 claims 5
- 238000005859 coupling reaction Methods 0.000 claims 5
- 230000001360 synchronised effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 22
- 239000013598 vector Substances 0.000 description 11
- 230000003190 augmentative effect Effects 0.000 description 5
- 238000012015 optical character recognition Methods 0.000 description 4
- 125000002015 acyclic group Chemical group 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 101000818442 Homo sapiens Zinc finger protein 90 homolog Proteins 0.000 description 1
- 102100021137 Zinc finger protein 90 homolog Human genes 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/187—Phonemic context, e.g. pronunciation rules, phonotactical constraints or phoneme n-grams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/685—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using automatically derived transcript of audio data, e.g. lyrics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Library & Information Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】
データベース中のデータファイルに注釈付けするためのデータ構造を提供する。注釈データは、ユーザの入力問い合わせに応答してデータベース中のデータファイルを迅速に且つ効率良く探索することを可能にする音素・単語ラティスから構成される。注釈データの構造は、入力問い合わせが音声により形成されていても良く、その入力問い合わせを使用して、音響データファイル、ビデオデータファイル、マルチメディアデータファイルなどの様々な種類のデータファイルの注釈付けを実行できるようなものである。注釈データはデータファイル自体から生成されても良いし、あるいはユーザーにより音声入力又はキーボード入力のいずれかから入力されても良い。
Description
【０００１】 データベース注釈付け及び検索 本発明は、後に実行される検索を容易にするための、データベースに格納され
るべきデータファイルの注釈付けに関するものである。また、本発明は、データ
ファイルに追加される注釈データを生成するシステム及びユーザの入力問い合わ
せに対してデータベース中の注釈データを検索することで所望のデータファイル
を検索するシステムに関するものでもある。
るべきデータファイルの注釈付けに関するものである。また、本発明は、データ
ファイルに追加される注釈データを生成するシステム及びユーザの入力問い合わ
せに対してデータベース中の注釈データを検索することで所望のデータファイル
を検索するシステムに関するものでもある。
【０００２】 情報のデータベース化は周知なものとなっているが、これには、データベース
から所望の情報の格納場所をいかに迅速且つ効率良く特定し且つ検索するかとい
う問題がある。既存のデータベース探索ツールの場合、ユーザはキーワードをキ
ーボードから入力してデータベースを探索する。これは短時間で済み、効率も良
いのであるが、このタイプの探索はビデオデータベース又は音響データベースな
どの様々な種類のデータベースには適していない。
から所望の情報の格納場所をいかに迅速且つ効率良く特定し且つ検索するかとい
う問題がある。既存のデータベース探索ツールの場合、ユーザはキーワードをキ
ーボードから入力してデータベースを探索する。これは短時間で済み、効率も良
いのであるが、このタイプの探索はビデオデータベース又は音響データベースな
どの様々な種類のデータベースには適していない。
【０００３】 １つの態様によれば、本発明は、ユーザの入力問い合わせに対して迅速に且つ
効率良く探索を実行できるように、データベース中のデータファイルに注釈付け
を実行することができるデータ構造を提供することを目的としている。
効率良く探索を実行できるように、データベース中のデータファイルに注釈付け
を実行することができるデータ構造を提供することを目的としている。
【０００４】 １つの態様によれば、本発明は、データベース中に格納すべきデータファイル
に注釈付けするための注釈データとして使用する音素・単語ラティスを定義する
データを提供する。本データは望ましくは、ラティス内部の複数のノードと、ラ
ティス内部でそれらのノードを結合する複数のリンクとを定義し、更に、複数の
音素をそれぞれ対応する複数のリンクと関連付けると共に、少なくとも１つの語
をそれらのリンクのうち少なくとも１つと関連付ける。
に注釈付けするための注釈データとして使用する音素・単語ラティスを定義する
データを提供する。本データは望ましくは、ラティス内部の複数のノードと、ラ
ティス内部でそれらのノードを結合する複数のリンクとを定義し、更に、複数の
音素をそれぞれ対応する複数のリンクと関連付けると共に、少なくとも１つの語
をそれらのリンクのうち少なくとも１つと関連付ける。
【０００５】 別の態様によれば、本発明は、ユーザによる入力問い合わせに対して、先に述
べた注釈データから構成されるデータベースを探索する方法を提供する。本方法
は、ユーザの入力問い合わせに対応する音素データ及び単語データを生成する工
程と、ユーザの問い合わせに対応する単語データを使用してデータベースを探索
する工程と、単語探索の結果に基づいて更に探索を実行するために、データベー
ス中の音素・単語ラティスを定義するデータの一部を選択する工程と、ユーザの
入力問い合わせに対応する前記音素データを使用してデータベース中の前記選択
された部分を探索する工程と、探索結果を出力する工程とを備えるのが好ましい
。
べた注釈データから構成されるデータベースを探索する方法を提供する。本方法
は、ユーザの入力問い合わせに対応する音素データ及び単語データを生成する工
程と、ユーザの問い合わせに対応する単語データを使用してデータベースを探索
する工程と、単語探索の結果に基づいて更に探索を実行するために、データベー
ス中の音素・単語ラティスを定義するデータの一部を選択する工程と、ユーザの
入力問い合わせに対応する前記音素データを使用してデータベース中の前記選択
された部分を探索する工程と、探索結果を出力する工程とを備えるのが好ましい
。
【０００６】 １つの態様によれば、本発明は、データベース中のデータファイルに注釈付け
するために先に述べた注釈データを用いたデータベースを探索する装置を更に提
供する。本装置は、ユーザの入力問い合わせに対応する音素データ及び単語デー
タを生成する手段と、データベース中で類似の単語を識別するために、ユーザの
入力問い合わせに対応する単語データを使用してデータベースを探索する手段と
、単語探索の結果に基づいて更に探索を実行するために、データベース中の注釈
データの一部を選択する手段と、ユーザの入力問い合わせに対応する音素データ
を使用して選択された部分を探索する手段と、探索結果を出力する手段とを具備
するのが好ましい。
するために先に述べた注釈データを用いたデータベースを探索する装置を更に提
供する。本装置は、ユーザの入力問い合わせに対応する音素データ及び単語デー
タを生成する手段と、データベース中で類似の単語を識別するために、ユーザの
入力問い合わせに対応する単語データを使用してデータベースを探索する手段と
、単語探索の結果に基づいて更に探索を実行するために、データベース中の注釈
データの一部を選択する手段と、ユーザの入力問い合わせに対応する音素データ
を使用して選択された部分を探索する手段と、探索結果を出力する手段とを具備
するのが好ましい。
【０００７】 データファイルの音素データ及び注釈データはデータファイルに基づいて生成
されても良いし、あるいはユーザがキーボードから入力した又は話した注釈入力
から生成されても良い。
されても良いし、あるいはユーザがキーボードから入力した又は話した注釈入力
から生成されても良い。
【０００８】 本発明の実施形態は専用ハードウェア回路を使用して実現できるが、以下に説
明する実施形態は、パーソナルコンピュータ、ワークステーション、複写機、フ
ァクシミリ装置、パーソナルデジタルアシスタント（PDA）などの処理ハードウ
ェアと関連して実行されるコンピュータソフトウェア又はコードにおいて実現さ
れる。
明する実施形態は、パーソナルコンピュータ、ワークステーション、複写機、フ
ァクシミリ装置、パーソナルデジタルアシスタント（PDA）などの処理ハードウ
ェアと関連して実行されるコンピュータソフトウェア又はコードにおいて実現さ
れる。
【０００９】 図１は、本発明の一実施形態において動作させるようにプログラムされたパー
ソナルコンピュータ（PC）１を示す。キーボード３、指示装置５、マイクロホン
７及び電話回線９はインタフェース１１を介してPC１に接続している。ユーザは
、キーボード３と指示装置５によりシステムを制御できる。マイクロホン７はユ
ーザからの音声信号を等価の電気信号に変換し、それらの信号を処理のためにPC
１に供給する。PC１は、例えば、遠隔コンピュータ又は遠隔ユーザと通信できる
ように、内部モデム及び音声受信回路（図示せず）が電話回線９に接続している
。
ソナルコンピュータ（PC）１を示す。キーボード３、指示装置５、マイクロホン
７及び電話回線９はインタフェース１１を介してPC１に接続している。ユーザは
、キーボード３と指示装置５によりシステムを制御できる。マイクロホン７はユ
ーザからの音声信号を等価の電気信号に変換し、それらの信号を処理のためにPC
１に供給する。PC１は、例えば、遠隔コンピュータ又は遠隔ユーザと通信できる
ように、内部モデム及び音声受信回路（図示せず）が電話回線９に接続している
。
【００１０】 PC１を本発明に従って動作させるプログラム命令は、例えば、磁気ディスク１
３のような記憶装置に格納した形態で既存のPC１と共に使用できるように供給さ
れても良いし、あるいは、インターネット（図示せず）から内部モデム及び電話
回線９を介してソフトウェアをダウンロードすることにより供給されても良い。
３のような記憶装置に格納した形態で既存のPC１と共に使用できるように供給さ
れても良いし、あるいは、インターネット（図示せず）から内部モデム及び電話
回線９を介してソフトウェアをダウンロードすることにより供給されても良い。
【００１１】 データファイルの注釈付け 図２は、本実施形態において音素・単語注釈付け装置２５により入力データフ
ァイル２３の注釈データ２１を生成する方法を示すブロック図である。図示され
ているように、生成された音素・単語注釈データ２１はデータ組み合わせ装置２
７においてデータファイル２３と組み合わされ、その結果、組み合わせデータフ
ァイル出力がデータベース２９に入力される。本実施形態では、注釈データ２１
は、ユーザが音声問い合わせによりデータベースから情報を検索できるようにす
るための組み合わせ音素（又は音素状）・単語ラティスから構成されている。当
業者には理解されるであろうが、データファイル２３はビデオファイル、音響フ
ァイル、マルチメディアファイルなどの任意の種類のデータファイルで良い。
ァイル２３の注釈データ２１を生成する方法を示すブロック図である。図示され
ているように、生成された音素・単語注釈データ２１はデータ組み合わせ装置２
７においてデータファイル２３と組み合わされ、その結果、組み合わせデータフ
ァイル出力がデータベース２９に入力される。本実施形態では、注釈データ２１
は、ユーザが音声問い合わせによりデータベースから情報を検索できるようにす
るための組み合わせ音素（又は音素状）・単語ラティスから構成されている。当
業者には理解されるであろうが、データファイル２３はビデオファイル、音響フ
ァイル、マルチメディアファイルなどの任意の種類のデータファイルで良い。
【００１２】 ビデオデータファイルからの音響データを自動音声認識装置に通すことにより
、注釈データとして音響ストリームのN−ベスト単語リストを生成するためのシ
ステムが提案されている。しかし、そのような単語に基づくシステムにはいくつ
かの問題点がある。それらの問題点としては、（ｉ）従来の音声認識システムが
認識に際して依然として基本的な間違いをおかすこと、（ii）従来の自動音声認
識システムが推定で２０，０００語から１００，０００語の辞書を使用し、その
語彙を外れた語を生成できないこと、及び（iii）N−ベストリストの生成は各段
階における仮説の数に伴って指数関数で増加するため、発話が長い場合、得られ
る注釈データが余りにも大きくなってしまうことなどがある。
、注釈データとして音響ストリームのN−ベスト単語リストを生成するためのシ
ステムが提案されている。しかし、そのような単語に基づくシステムにはいくつ
かの問題点がある。それらの問題点としては、（ｉ）従来の音声認識システムが
認識に際して依然として基本的な間違いをおかすこと、（ii）従来の自動音声認
識システムが推定で２０，０００語から１００，０００語の辞書を使用し、その
語彙を外れた語を生成できないこと、及び（iii）N−ベストリストの生成は各段
階における仮説の数に伴って指数関数で増加するため、発話が長い場合、得られ
る注釈データが余りにも大きくなってしまうことなどがある。
【００１３】 これらの問題のうち第１の問題は、同じ自動音声認識システムを注釈データを
生成するために使用し、その後、対応するデータファイルを検索するために使用
すれば、同じ復号の誤りが起こりうると思われるので、それほど重大ではないか
もしれない。しかし、毎年のように自動音声認識システムの進歩が見られること
から、将来は同じ種類の誤りが起こらないようになることもあると考えられ、そ
の結果、後になって対応するデータファイルを検索することができなくなってし
まう。第２の問題点に関しては、ビデオデータに適用する場合にユーザが名前や
場所（音声認識用辞書には存在しないことも考えられる）を入力問い合わせの用
語として使用することがあるので、この問題は特に重大である。そのような名前
の代わりに、自動音声認識システムは、通常、語彙に含まれる語の中から発音の
上で類似する１つ又は複数の語を使用し、近接復号による誤りを持ち込む場合が
多い。これによっても、後に要求があったときに所要のデータファイルを検索で
きないという事態を引き起こす。
生成するために使用し、その後、対応するデータファイルを検索するために使用
すれば、同じ復号の誤りが起こりうると思われるので、それほど重大ではないか
もしれない。しかし、毎年のように自動音声認識システムの進歩が見られること
から、将来は同じ種類の誤りが起こらないようになることもあると考えられ、そ
の結果、後になって対応するデータファイルを検索することができなくなってし
まう。第２の問題点に関しては、ビデオデータに適用する場合にユーザが名前や
場所（音声認識用辞書には存在しないことも考えられる）を入力問い合わせの用
語として使用することがあるので、この問題は特に重大である。そのような名前
の代わりに、自動音声認識システムは、通常、語彙に含まれる語の中から発音の
上で類似する１つ又は複数の語を使用し、近接復号による誤りを持ち込む場合が
多い。これによっても、後に要求があったときに所要のデータファイルを検索で
きないという事態を引き起こす。
【００１４】 これに対し、提案されている音素・単語ラティス注釈データの場合には、デー
タベース２９の単語データを使用して迅速で、効率の良い探索を実行でき、所要
のデータファイルを提供できなかった場合には、より強固な音素データを使用す
る再度の探索を実行できる。音素・単語ラティスは、入口点と、出口点がそれぞ
れ１つずつある非巡回有向グラフである。このグラフは、データファイル中の音
響ストリームの複数の異なる語を表現している。各々の語は１つの選択肢と置き
換えなければならないというわけではなく、１つの単語を２つ以上の単語又は音
素と置き換えることが可能であり、構造全体が１つ以上の単語又は音素に代わる
ものを形成することもありうるので、これは単に複数の選択肢を伴う単語の系列
ではない。従って、音素・単語ラティスにおけるデータの密度は先に述べたN−
ベスト技法の場合のように指数関数で増加するのではなく、本質的には音響デー
タ全体を通して線形のままである。音声認識の分野の当業者には理解されるであ
ろうが、音素は辞書とは無関係であり、システムは名前、場所、外国語などの語
彙以外の単語に対処できるため、音素データの使用はより強固である。また、音
素データの使用により、単語が従来の自動音声認識システムにより理解されなか
った場合でも、データベースに挿入されたデータファイルを検索することが可能
になるので、システムは将来の発展にも対応することができる。
タベース２９の単語データを使用して迅速で、効率の良い探索を実行でき、所要
のデータファイルを提供できなかった場合には、より強固な音素データを使用す
る再度の探索を実行できる。音素・単語ラティスは、入口点と、出口点がそれぞ
れ１つずつある非巡回有向グラフである。このグラフは、データファイル中の音
響ストリームの複数の異なる語を表現している。各々の語は１つの選択肢と置き
換えなければならないというわけではなく、１つの単語を２つ以上の単語又は音
素と置き換えることが可能であり、構造全体が１つ以上の単語又は音素に代わる
ものを形成することもありうるので、これは単に複数の選択肢を伴う単語の系列
ではない。従って、音素・単語ラティスにおけるデータの密度は先に述べたN−
ベスト技法の場合のように指数関数で増加するのではなく、本質的には音響デー
タ全体を通して線形のままである。音声認識の分野の当業者には理解されるであ
ろうが、音素は辞書とは無関係であり、システムは名前、場所、外国語などの語
彙以外の単語に対処できるため、音素データの使用はより強固である。また、音
素データの使用により、単語が従来の自動音声認識システムにより理解されなか
った場合でも、データベースに挿入されたデータファイルを検索することが可能
になるので、システムは将来の発展にも対応することができる。
【００１５】 次に、図３を参照して、ビデオデータファイルに対してこの音素・単語ラティ
ス注釈データを生成する方法を説明する。図示されているように、ビデオデータ
ファイル３１は、ビデオ系列を形成する画像の系列を定義するビデオデータ３１
−１と、ビデオ系列と関連する音響を定義する音響データ３１−２とから構成さ
れている。周知の通り、使用中、ビデオデータと音響データが同時にユーザに提
供されるように、音響データ３１−２はビデオデータ３１−１と時間同期されて
いる。
ス注釈データを生成する方法を説明する。図示されているように、ビデオデータ
ファイル３１は、ビデオ系列を形成する画像の系列を定義するビデオデータ３１
−１と、ビデオ系列と関連する音響を定義する音響データ３１−２とから構成さ
れている。周知の通り、使用中、ビデオデータと音響データが同時にユーザに提
供されるように、音響データ３１−２はビデオデータ３１−１と時間同期されて
いる。
【００１６】 図３に示すように、本実施形態では、音響データ３１−２は自動音声認識装置
３３に入力され、自動音声認識装置３３は音響データ３１−２のストリームに対
応する音素ラティスを生成するように動作する。このような自動音声認識装置３
３は従来の技術においては一般に利用されていたものであるので、ここでは詳細
な説明を省略する。この種の音声認識システムの詳細については、例えば、Lawr
ence Rabiner、Biing−Hwang Juang共著の文献「Fundamentals of Speech Recog
nition」、特にその４２ページから５０ページを参照されたい。
３３に入力され、自動音声認識装置３３は音響データ３１−２のストリームに対
応する音素ラティスを生成するように動作する。このような自動音声認識装置３
３は従来の技術においては一般に利用されていたものであるので、ここでは詳細
な説明を省略する。この種の音声認識システムの詳細については、例えば、Lawr
ence Rabiner、Biing−Hwang Juang共著の文献「Fundamentals of Speech Recog
nition」、特にその４２ページから５０ページを参照されたい。
【００１７】 図４ａは、「...tell me about Jason....」というフレーズに対応する入力音
響に対して、音声認識装置３３により出力された音素ラティスデータの形態を示
す。図示されているように、自動音声認識装置３３は、この入力音響発話に対応
するいくつかの異なる音響系列候補を抽出する。例えば、音声認識システムは音
響系列の第１の音素は／t／又は／d／のいずれかであると考える。音声認識の分
野では良く知られている通り、これらの異なる候補はそれぞれ独自の重みを有し
、その重みは音声認識装置３３により生成され、音声認識装置の出力の信頼性を
示す。例えば、音素／t／に０．９の重みが与えられ、音素／d／には０．１の重
みが与えられているとすると、音声認識システムは、音響の対応する部分は音素
／t／を表現しているが、音素／d／である可能性もまだ残っているということを
かなりの確率で確信していることになる。しかし、本実施形態では、音素のこの
重み付けは実行されない。
響に対して、音声認識装置３３により出力された音素ラティスデータの形態を示
す。図示されているように、自動音声認識装置３３は、この入力音響発話に対応
するいくつかの異なる音響系列候補を抽出する。例えば、音声認識システムは音
響系列の第１の音素は／t／又は／d／のいずれかであると考える。音声認識の分
野では良く知られている通り、これらの異なる候補はそれぞれ独自の重みを有し
、その重みは音声認識装置３３により生成され、音声認識装置の出力の信頼性を
示す。例えば、音素／t／に０．９の重みが与えられ、音素／d／には０．１の重
みが与えられているとすると、音声認識システムは、音響の対応する部分は音素
／t／を表現しているが、音素／d／である可能性もまだ残っているということを
かなりの確率で確信していることになる。しかし、本実施形態では、音素のこの
重み付けは実行されない。
【００１８】 図３に示すように、自動音声認識装置３３により出力される音素ラティスデー
タ３５は語復号器３７に入力され、語復号器３７は音素ラティスデータ３５中の
可能な語を識別するように動作する。本実施形態では、語復号器３７により識別
される語は音素ラティスデータ構造に組み込まれている。例えば、図４aに示す
音素ラティスの場合、語復号器３７は単語「tell」、「dell」、「term」、「me
」、［a］、「boat」、「about」、「chase」及び「sun」を識別する。図４bに
示すように、識別されたこれらの語は音声認識装置３３により出力された音素ラ
ティスデータ構造に追加され、注釈データ３１−３を形成する音素・単語ラティ
スデータ構造を生成する。その後、この注釈データ３１−３はビデオデータファ
イル３１と組み合わされて増補ビデオデータファイル３１'を生成し、これがデ
ータベース２９に格納されるのである。当業者には理解されるであろうが、音響
データ３１−２がビデオデータ３１−１と時間同期されるのと同じように、注釈
データ３１−３も対応するビデオデータ３１−１及び音響データ３１−２と時間
同期し関連しているので、ビデオデータ３１−１及び音響データ３１−２の所望
の部分に対応する注釈データ３１−１の部分を探索し、その場所を限定すること
により、ビデオデータ及び音響データの所望の部分を検索できる。
タ３５は語復号器３７に入力され、語復号器３７は音素ラティスデータ３５中の
可能な語を識別するように動作する。本実施形態では、語復号器３７により識別
される語は音素ラティスデータ構造に組み込まれている。例えば、図４aに示す
音素ラティスの場合、語復号器３７は単語「tell」、「dell」、「term」、「me
」、［a］、「boat」、「about」、「chase」及び「sun」を識別する。図４bに
示すように、識別されたこれらの語は音声認識装置３３により出力された音素ラ
ティスデータ構造に追加され、注釈データ３１−３を形成する音素・単語ラティ
スデータ構造を生成する。その後、この注釈データ３１−３はビデオデータファ
イル３１と組み合わされて増補ビデオデータファイル３１'を生成し、これがデ
ータベース２９に格納されるのである。当業者には理解されるであろうが、音響
データ３１−２がビデオデータ３１−１と時間同期されるのと同じように、注釈
データ３１−３も対応するビデオデータ３１−１及び音響データ３１−２と時間
同期し関連しているので、ビデオデータ３１−１及び音響データ３１−２の所望
の部分に対応する注釈データ３１−１の部分を探索し、その場所を限定すること
により、ビデオデータ及び音響データの所望の部分を検索できる。
【００１９】 本実施形態では、データベース２９に格納される注釈データ３１−３は次のよ
うな一般形態を有する。 ヘッダ − 開始時間 − 単語か、音素か、混合かのフラグ − メモリ内の注釈データのブロックの場所を所定の時点と関連付ける時間指 標 − 使用される単語集合（すなわち、辞書） − 使用される音素集合 − 語彙が所属する言語 ブロック（ｉ） ｉ＝０，１，２，..... ノードNj j＝０，１，２，..... − ブロックの開始点からのノードの時間オフセット − 音素リンク（k） k＝０,１,２,..... ノードNjに対するオフセット＝Nk−Nj（NkはリンクKが結合している ノードである）、又はNkがブロック（ｉ＋１）にある場合には、ノー ドNjに対するオフセット＝Nk＋Nb−Nj（Nbはブロック（ｉ）に存在す るノードの数である） リンク（ｋ）に関連する音素 − 語リンク（l） l＝０,１,２,..... ノードNjに対するオフセット＝Ni−Nj（Njはリンクlが結合している ノードである）、又はNkがブロック（ｉ＋１）にある場合には、ノー ドNjに対するオフセット＝Nk＋Nb−Nj（Nbはブロック（ｉ）に存在す るノードの数である） リンク（l）と関連する語 ヘッダの開始時間によりデータの送信の日時を識別することができる。例えば
、ビデオファイルがニュース放送である場合、開始時間はその放送の厳密な時間
と、それが放送された日付を含んでも良い。
うな一般形態を有する。 ヘッダ − 開始時間 − 単語か、音素か、混合かのフラグ − メモリ内の注釈データのブロックの場所を所定の時点と関連付ける時間指 標 − 使用される単語集合（すなわち、辞書） − 使用される音素集合 − 語彙が所属する言語 ブロック（ｉ） ｉ＝０，１，２，..... ノードNj j＝０，１，２，..... − ブロックの開始点からのノードの時間オフセット − 音素リンク（k） k＝０,１,２,..... ノードNjに対するオフセット＝Nk−Nj（NkはリンクKが結合している ノードである）、又はNkがブロック（ｉ＋１）にある場合には、ノー ドNjに対するオフセット＝Nk＋Nb−Nj（Nbはブロック（ｉ）に存在す るノードの数である） リンク（ｋ）に関連する音素 − 語リンク（l） l＝０,１,２,..... ノードNjに対するオフセット＝Ni−Nj（Njはリンクlが結合している ノードである）、又はNkがブロック（ｉ＋１）にある場合には、ノー ドNjに対するオフセット＝Nk＋Nb−Nj（Nbはブロック（ｉ）に存在す るノードの数である） リンク（l）と関連する語 ヘッダの開始時間によりデータの送信の日時を識別することができる。例えば
、ビデオファイルがニュース放送である場合、開始時間はその放送の厳密な時間
と、それが放送された日付を含んでも良い。
【００２０】 データベース内の全てのデータファイルが先に述べた組み合わせ音素・単語ラ
ティス注釈データを含むとは限らないため、注釈データが単語注釈データである
か、音素注釈データであるか、又はその混合であるかを識別するフラグが提供さ
れ、このフラグにより、注釈データを探索するときの探索方法が異なってくる。
ティス注釈データを含むとは限らないため、注釈データが単語注釈データである
か、音素注釈データであるか、又はその混合であるかを識別するフラグが提供さ
れ、このフラグにより、注釈データを探索するときの探索方法が異なってくる。
【００２１】 本実施形態では、所定の音響データストリームに対して探索時に注釈データの
中央部分までジャンプすることができるように、注釈データは複数のブロックに
分割されている。従って、ヘッダは時間指標を含み、その時間指標によって、メ
モリ内の注釈データの各ブロックの場所は、開始時間とブロックの始まりに対応
する時間との所定の時間オフセットに関連付けられる。
中央部分までジャンプすることができるように、注釈データは複数のブロックに
分割されている。従って、ヘッダは時間指標を含み、その時間指標によって、メ
モリ内の注釈データの各ブロックの場所は、開始時間とブロックの始まりに対応
する時間との所定の時間オフセットに関連付けられる。
【００２２】 ヘッダは、使用される単語集合（すなわち、辞書）と、使用される音素集合と
、語彙が所属する言語とを定義するデータを更に含む。また、ヘッダは、注釈デ
ータを生成するために使用される自動音声認識システムと、注釈データの生成中
に使用されたシステムの適切なセッティングとに関する詳細を含んでいても良い
。
、語彙が所属する言語とを定義するデータを更に含む。また、ヘッダは、注釈デ
ータを生成するために使用される自動音声認識システムと、注釈データの生成中
に使用されたシステムの適切なセッティングとに関する詳細を含んでいても良い
。
【００２３】 ヘッダの後には注釈データのブロックが続き、各ブロックのノードごとに、ブ
ロックの開始からのそのノードの時間オフセットと、そのノードを音素により他
のノードに結合する音素リンクと、そのノードを語により他のノードに結合する
語リンクとを識別する。各音素リンクと各語リンクは、そのリンクと関連する音
素又は語を識別する。また、現在ノードに対するオフセットも識別する。例えば
、ノードN50が音素リンクによりノードN55に結合されている場合、ノードN50に
対するオフセットは５である。当業者には理解されるであろうが、このようなオ
フセット指示を使用することにより、連続する注釈データを複数の別個のブロッ
クに分割することが可能になる。
ロックの開始からのそのノードの時間オフセットと、そのノードを音素により他
のノードに結合する音素リンクと、そのノードを語により他のノードに結合する
語リンクとを識別する。各音素リンクと各語リンクは、そのリンクと関連する音
素又は語を識別する。また、現在ノードに対するオフセットも識別する。例えば
、ノードN50が音素リンクによりノードN55に結合されている場合、ノードN50に
対するオフセットは５である。当業者には理解されるであろうが、このようなオ
フセット指示を使用することにより、連続する注釈データを複数の別個のブロッ
クに分割することが可能になる。
【００２４】 自動音声認識装置がその音声認識装置の出力の信頼性を示す重みを出力するよ
うな実施形態においては、それらの重み、すなわち、信頼性スコアがデータ構造
の中にも含まれていてもよい。すなわち、ノードごとに、そのノードに到達する
ことの信頼性を示す信頼性スコアが提供され、音素リンク及び単語リンクの各々
は、対応する音素又は単語に与えられた重みに応じて遷移スコアを含むと考えら
れる。それらの重みは、後に、信頼性スコアの低い対を放棄することによりデー
タファイルの探索と検索を制御するために使用される。
うな実施形態においては、それらの重み、すなわち、信頼性スコアがデータ構造
の中にも含まれていてもよい。すなわち、ノードごとに、そのノードに到達する
ことの信頼性を示す信頼性スコアが提供され、音素リンク及び単語リンクの各々
は、対応する音素又は単語に与えられた重みに応じて遷移スコアを含むと考えら
れる。それらの重みは、後に、信頼性スコアの低い対を放棄することによりデー
タファイルの探索と検索を制御するために使用される。
【００２５】 データファイルの検索 図５は、データベース２９から注釈付けされたデータファイルを検索するため
に使用できるユーザ端末装置５９の形態を示すブロック図である。このユーザ端
末装置５９は、例えば、パーソナルコンピュータ、携帯型装置などであっても良
い。図示されているように、本実施形態では、ユーザ端末装置５９は注釈付けデ
ータファイルのデータベース２９と、自動音声認識装置５１と、探索エンジン５
３と、制御装置５５と、表示装置５７とを具備する。動作中、自動音声認識装置
５１はマイクロホン７及び入力回線６１を介して受信されたユーザ３９からの入
力音声問い合わせを処理し、そこから対応する音素データ及び単語データを生成
するように動作する。このデータは音素・単語ラティスの形態をとっていても良
いが、それは不可欠なことではない。この音素データ及び単語データは制御装置
５５に入力され、制御装置５５は探索エンジン５３を使用してデータベース２９
の適切な探索を開始するように動作する。探索エンジン５３により生成された探
索の結果は制御装置５５に戻され、制御装置５５は探索結果を解析して、適切な
表示データを生成し、そのデータを表示装置５７を介してユーザに対し表示する
。
に使用できるユーザ端末装置５９の形態を示すブロック図である。このユーザ端
末装置５９は、例えば、パーソナルコンピュータ、携帯型装置などであっても良
い。図示されているように、本実施形態では、ユーザ端末装置５９は注釈付けデ
ータファイルのデータベース２９と、自動音声認識装置５１と、探索エンジン５
３と、制御装置５５と、表示装置５７とを具備する。動作中、自動音声認識装置
５１はマイクロホン７及び入力回線６１を介して受信されたユーザ３９からの入
力音声問い合わせを処理し、そこから対応する音素データ及び単語データを生成
するように動作する。このデータは音素・単語ラティスの形態をとっていても良
いが、それは不可欠なことではない。この音素データ及び単語データは制御装置
５５に入力され、制御装置５５は探索エンジン５３を使用してデータベース２９
の適切な探索を開始するように動作する。探索エンジン５３により生成された探
索の結果は制御装置５５に戻され、制御装置５５は探索結果を解析して、適切な
表示データを生成し、そのデータを表示装置５７を介してユーザに対し表示する
。
【００２６】 図６ａ及び図６ｂは、本実施形態においてユーザ端末装置５９がどのように動
作するかを示すフローチャートである。ステップs１では、ユーザ端末装置５９
はアイドル状態にあり、ユーザ３９からの入力問い合わせを待っている。入力問
い合わせを受信すると、ステップs３で、自動音声認識装置５１はその入力問い
合わせに関わる音素データ及び単語データを生成する。次に、ステップs５で、
制御装置５５は入力問い合わせに関して生成された語データを使用してデータベ
ース２９の探索を実行するように探索エンジン５３に命令する。本実施形態で採
用される語探索は、キーボード入力によりキーワード探索する場合に既存の技術
として現在使用されている方法と同じであるので、ここでは詳細な説明を省略す
る。ステップs７で制御装置５５が探索結果からユーザの入力問い合わせについ
て一致したと識別したならば、制御装置５５は探索結果を表示装置５７を介して
ユーザに対し出力する。
作するかを示すフローチャートである。ステップs１では、ユーザ端末装置５９
はアイドル状態にあり、ユーザ３９からの入力問い合わせを待っている。入力問
い合わせを受信すると、ステップs３で、自動音声認識装置５１はその入力問い
合わせに関わる音素データ及び単語データを生成する。次に、ステップs５で、
制御装置５５は入力問い合わせに関して生成された語データを使用してデータベ
ース２９の探索を実行するように探索エンジン５３に命令する。本実施形態で採
用される語探索は、キーボード入力によりキーワード探索する場合に既存の技術
として現在使用されている方法と同じであるので、ここでは詳細な説明を省略す
る。ステップs７で制御装置５５が探索結果からユーザの入力問い合わせについ
て一致したと識別したならば、制御装置５５は探索結果を表示装置５７を介して
ユーザに対し出力する。
【００２７】 本実施形態では、この後、ユーザ端末装置５９はユーザに探索結果を検討させ
、その結果がユーザの求める情報に対応しているか否かに関するユーザの確認を
待つ。結果が妥当なものであれば、処理はステップs１１へ進んで処理を終了し
、ユーザ端末装置５９はアイドル状態に戻り、次の入力問い合わせを待つ。しか
し、ユーザが（例えば、適切な音声指令を入力することにより）探索結果は所望
の情報に相当しないと指示した場合には、処理はステップs１１からステップs１
３へ進み、探索エンジン５３はデータベース２９の音素探索を実行する。しかし
、本実施形態では、ステップs１３で実行される音素探索はデータベース２９の
全体にわたる探索ではない。それは、データベース２９全体の音素探索にはデー
タベース２９の大きさによって数時間もかかってしまうことがあるためである。
、その結果がユーザの求める情報に対応しているか否かに関するユーザの確認を
待つ。結果が妥当なものであれば、処理はステップs１１へ進んで処理を終了し
、ユーザ端末装置５９はアイドル状態に戻り、次の入力問い合わせを待つ。しか
し、ユーザが（例えば、適切な音声指令を入力することにより）探索結果は所望
の情報に相当しないと指示した場合には、処理はステップs１１からステップs１
３へ進み、探索エンジン５３はデータベース２９の音素探索を実行する。しかし
、本実施形態では、ステップs１３で実行される音素探索はデータベース２９の
全体にわたる探索ではない。それは、データベース２９全体の音素探索にはデー
タベース２９の大きさによって数時間もかかってしまうことがあるためである。
【００２８】 その代わりに、ステップs１３で実行される音素探索はステップs５で実行され
た単語探索の結果を利用して、データベース中の、ユーザの入力問い合わせに対
応すると思われる１つ以上の部分を識別する。本実施形態においてステップs１
３で実行される音素探索の方法については後に更に詳細に説明する。音素探索実
行後、ステップs１５で、制御装置５５は一致したか否かを識別する。一致して
いれば、処理はステップs１７へ進み、制御装置５５は探索結果を表示装置５７
を介してユーザに対し表示する。先の場合と同様に、システムは、この後、探索
結果が所望の情報に相当するか否かに関するユーザの確認を待つ。結果が正しけ
れば、処理はステップs１９から終了に向かい、ユーザ端末装置５９はアイドル
状態に戻って、次の入力問い合わせを待つ。しかし、ユーザが探索結果は所望の
情報に相当しないと指示した場合には、処理はステップs１９からステップs２１
へ進み、制御装置５５は、データベース２９全体について音素探索を実行すべき
か否かを表示装置５７を介してユーザに尋ねるように動作する。この問い合わせ
に対してユーザがそのような探索を実行すべきであると指示したならば、処理は
ステップs２３へ進み、探索エンジンはデータベース２９全体の音素探索を実行
する。
た単語探索の結果を利用して、データベース中の、ユーザの入力問い合わせに対
応すると思われる１つ以上の部分を識別する。本実施形態においてステップs１
３で実行される音素探索の方法については後に更に詳細に説明する。音素探索実
行後、ステップs１５で、制御装置５５は一致したか否かを識別する。一致して
いれば、処理はステップs１７へ進み、制御装置５５は探索結果を表示装置５７
を介してユーザに対し表示する。先の場合と同様に、システムは、この後、探索
結果が所望の情報に相当するか否かに関するユーザの確認を待つ。結果が正しけ
れば、処理はステップs１９から終了に向かい、ユーザ端末装置５９はアイドル
状態に戻って、次の入力問い合わせを待つ。しかし、ユーザが探索結果は所望の
情報に相当しないと指示した場合には、処理はステップs１９からステップs２１
へ進み、制御装置５５は、データベース２９全体について音素探索を実行すべき
か否かを表示装置５７を介してユーザに尋ねるように動作する。この問い合わせ
に対してユーザがそのような探索を実行すべきであると指示したならば、処理は
ステップs２３へ進み、探索エンジンはデータベース２９全体の音素探索を実行
する。
【００２９】 この探索が完了すると、ステップs２５で、制御装置５５はユーザの入力問い
合わせについての一致があったか否かを識別する。一致があったならば、処理は
ステップs２７へ進み、制御装置５５は探索結果を表示装置５７を介してユーザ
に対し表示させる。探索結果が正しい場合、処理はステップs２９から処理の終
了へ向かい、ユーザ端末装置５９はアイドル状態に戻って、次の入力問い合わせ
を待つ。これに対し、ユーザが探索結果は依然として所望の情報に相当しないと
指示した場合には、処理はステップs３１へ進み、制御装置５５は、ユーザが探
索問い合わせを再定義又は修正することを望むか否かを表示装置５７を介してユ
ーザに問い合わせる。ユーザが探索問い合わせを再定義又は修正することを望む
のであれば、処理はステップs３へ戻り、ユーザの次の入力問い合わせが同様に
して処理される。探索を再定義又は修正すべきでない場合には、探索結果とユー
ザの当初の入力問い合わせは放棄され、ユーザ端末装置５９はアイドル状態に戻
って、次の入力問い合わせを待つ。
合わせについての一致があったか否かを識別する。一致があったならば、処理は
ステップs２７へ進み、制御装置５５は探索結果を表示装置５７を介してユーザ
に対し表示させる。探索結果が正しい場合、処理はステップs２９から処理の終
了へ向かい、ユーザ端末装置５９はアイドル状態に戻って、次の入力問い合わせ
を待つ。これに対し、ユーザが探索結果は依然として所望の情報に相当しないと
指示した場合には、処理はステップs３１へ進み、制御装置５５は、ユーザが探
索問い合わせを再定義又は修正することを望むか否かを表示装置５７を介してユ
ーザに問い合わせる。ユーザが探索問い合わせを再定義又は修正することを望む
のであれば、処理はステップs３へ戻り、ユーザの次の入力問い合わせが同様に
して処理される。探索を再定義又は修正すべきでない場合には、探索結果とユー
ザの当初の入力問い合わせは放棄され、ユーザ端末装置５９はアイドル状態に戻
って、次の入力問い合わせを待つ。
【００３０】 音素の探索 先に述べた通り、ステップs１３及びs２３では、探索エンジン５３は入力問い
合わせの音素データをデータベース２９に格納されている音素・単語ラティスデ
ータ中の音素データと比較する。この比較を実行するときには、ダイナミックプ
ログラミングなどの標準的なパターン整合技法を含めた様々な技法を使用できる
。本実施形態では、M−GRAMSと呼ばれる技法を使用する。この技法はK.Ng及びV.
W.Zueにより提案されたもので、例えば、Eurospeech１９９７の会報に掲載され
た論文「Subword unit representations for spoken document retrieval」の中
で論じられている。
合わせの音素データをデータベース２９に格納されている音素・単語ラティスデ
ータ中の音素データと比較する。この比較を実行するときには、ダイナミックプ
ログラミングなどの標準的なパターン整合技法を含めた様々な技法を使用できる
。本実施形態では、M−GRAMSと呼ばれる技法を使用する。この技法はK.Ng及びV.
W.Zueにより提案されたもので、例えば、Eurospeech１９９７の会報に掲載され
た論文「Subword unit representations for spoken document retrieval」の中
で論じられている。
【００３１】 個々の音素を探索することに伴う問題点は、データベース内で各音素が何度も
出現することである。従って、個々の音素だけでは入力問い合わせの音素系列と
データベース中の音素系列との一致を判断するのに十分ではない。しかし、音節
サイズの単位であれば、より高い判別能力が得られると思われるが、これを識別
するのは容易ではない。
出現することである。従って、個々の音素だけでは入力問い合わせの音素系列と
データベース中の音素系列との一致を判断するのに十分ではない。しかし、音節
サイズの単位であれば、より高い判別能力が得られると思われるが、これを識別
するのは容易ではない。
【００３２】 M−GRAMS技法はこれら２つの可能性を適切に折衷した技法であり、音素系列か
ら互いに重なり合う一定の大きさのフラグメント、すなわち、M−GRAMSを取り出
して、１組の特徴を提供する。このことが図８に示されている。図８は、音素a
、b、c、d、e及びfを有し、４つのM−GRAMS（a,b,c）、（b,c,d）、（c,d,e）及
び（d,e,f）に分割された入力音素系列のそれぞれを示す。この図では、４つのM
−GRAMSの各々は、そのM−GRAMに独特であり且つ入力音素系列の中で見出すこと
ができる独自の特徴（fi）を表現する３つの音素の系列から構成されている。
ら互いに重なり合う一定の大きさのフラグメント、すなわち、M−GRAMSを取り出
して、１組の特徴を提供する。このことが図８に示されている。図８は、音素a
、b、c、d、e及びfを有し、４つのM−GRAMS（a,b,c）、（b,c,d）、（c,d,e）及
び（d,e,f）に分割された入力音素系列のそれぞれを示す。この図では、４つのM
−GRAMSの各々は、そのM−GRAMに独特であり且つ入力音素系列の中で見出すこと
ができる独自の特徴（fi）を表現する３つの音素の系列から構成されている。
【００３３】 従って、図７を参照すると、図６に示すステップs１３において音素探索を実
行するときの第１のステップs５１では、入力音素データの中にある異なる全て
のM−GRAMSと、それらの出現頻度とを識別する。次に、ステップs５３では、探
索エンジン５３はデータベースの選択された部分（図６のステップs５で実行さ
れる単語探索から識別される）における識別済みM−GRAMSの出現頻度を判定する
。これを例示するために、データベースの所定の一部分及び図８に示す例のM−G
RAMSについて、以下に情報のテーブルを提示する。
行するときの第１のステップs５１では、入力音素データの中にある異なる全て
のM−GRAMSと、それらの出現頻度とを識別する。次に、ステップs５３では、探
索エンジン５３はデータベースの選択された部分（図６のステップs５で実行さ
れる単語探索から識別される）における識別済みM−GRAMSの出現頻度を判定する
。これを例示するために、データベースの所定の一部分及び図８に示す例のM−G
RAMSについて、以下に情報のテーブルを提示する。
【００３４】
【表１】
【００３５】 次に、ステップs５５では、探索エンジン５３は入力問い合わせの音素系列と
、データベースの選択された部分の音素系列との類似度を表す類似度スコアを計
算する。本実施形態においては、この類似度スコアは、入力問い合わせとデータ
ベースの選択された部分における識別済みM−GRAMSの出現頻度をベクトルとして
使用する余弦尺度を利用して判定される。この技法の基礎となる原理は、入力音
素系列がデータベースの音素系列の選択された部分に類似している場合、M−GRA
Mの特徴の出現頻度はそれら２つの音素系列について類似しているという考えで
ある。従って、M−GRAMSの出現頻度をベクトルとして考えると（すなわち、先の
テーブルの第２及び第３の欄をベクトルとして考えると）、入力音素系列と、デ
ータベースの選択された部分との間に類似性があるならば、それらのベクトルが
成す角度は小さくなければならないということになる。図９には、２次元ベクト
ルa及びgに関してこのことが示されており、ベクトルが成す角度はθとして表さ
れている。図８に示す例では、ベクトルa及びgは４次元ベクトルになり、次の等
式から類似度スコアを計算することができる。
、データベースの選択された部分の音素系列との類似度を表す類似度スコアを計
算する。本実施形態においては、この類似度スコアは、入力問い合わせとデータ
ベースの選択された部分における識別済みM−GRAMSの出現頻度をベクトルとして
使用する余弦尺度を利用して判定される。この技法の基礎となる原理は、入力音
素系列がデータベースの音素系列の選択された部分に類似している場合、M−GRA
Mの特徴の出現頻度はそれら２つの音素系列について類似しているという考えで
ある。従って、M−GRAMSの出現頻度をベクトルとして考えると（すなわち、先の
テーブルの第２及び第３の欄をベクトルとして考えると）、入力音素系列と、デ
ータベースの選択された部分との間に類似性があるならば、それらのベクトルが
成す角度は小さくなければならないということになる。図９には、２次元ベクト
ルa及びgに関してこのことが示されており、ベクトルが成す角度はθとして表さ
れている。図８に示す例では、ベクトルa及びgは４次元ベクトルになり、次の等
式から類似度スコアを計算することができる。
【００３６】
【数１】
【００３７】 次に、このスコアをデータベースのその時点で選択されている部分と関連付け
、探索の終了時まで格納する。用途によっては、余弦尺度の計算に使用されるベ
クトルは出現頻度自体ではなく、出現頻度の対数になる場合もある。
、探索の終了時まで格納する。用途によっては、余弦尺度の計算に使用されるベ
クトルは出現頻度自体ではなく、出現頻度の対数になる場合もある。
【００３８】 次に、処理はステップs５７へ進み、探索エンジン５３はデータベース２９か
ら選択された音素系列の部分がまだ存在するか否かを識別する。まだ存在してい
れば、処理はステップs５３に戻り、データベースのその部分に関するスコアを
識別するために同様の手続きに従う。選択された部分がそれ以上存在しない場合
には探索は終了し、処理は図６に示すステップs１５に戻り、制御装置は探索エ
ンジン５３により生成されたスコアを考慮し、例えば、計算されたスコアを所定
の閾値と比較することにより一致があるか否かを識別する。
ら選択された音素系列の部分がまだ存在するか否かを識別する。まだ存在してい
れば、処理はステップs５３に戻り、データベースのその部分に関するスコアを
識別するために同様の手続きに従う。選択された部分がそれ以上存在しない場合
には探索は終了し、処理は図６に示すステップs１５に戻り、制御装置は探索エ
ンジン５３により生成されたスコアを考慮し、例えば、計算されたスコアを所定
の閾値と比較することにより一致があるか否かを識別する。
【００３９】 当業者には理解されるであろうが、図６に示すステップs２３でも類似の整合
動作が実行される。しかし、データベース全体が探索されているため、この探索
は先に述べたブロックの各々を順次探索することにより実行される。
動作が実行される。しかし、データベース全体が探索されているため、この探索
は先に述べたブロックの各々を順次探索することにより実行される。
【００４０】 他の実施形態 当業者には理解されるであろうが、データベース中のデータファイルのこの種
の音素及び単語注釈付けは、ユーザが音声によってデータベースを探索できるよ
うにするための便利且つ効果的な方法である。図示されている実施形態では、１
つの音響データストリームに注釈付けし、後のユーザによる検索に備えてデータ
ベースに格納していた。当業者には理解されるであろうが、入力データファイル
がビデオデータファイルに対応する場合、そのデータファイル中の音響データは
複数の異なる話者に関わる音響データを含んでいるのが普通である。音響データ
に対して１つの注釈データのストリームを生成するのではなく、各話者の音響デ
ータに対して別個の音素・単語ラティス注釈データを生成することが可能である
。これは、音声信号のピッチ又は別の明確に区別できる特徴から各話者に対応す
る音響データを識別し、次に、異なる話者の音声に個別に注釈付けすることによ
り実行されても良い。また、音響データをステレオで記録するか、又は音響デー
タを生成する際にマイクロホンのアレイを使用しても、話者ごとにデータを取り
出すために音響データを処理することが可能になるので、この技法を実現できる
であろう。
の音素及び単語注釈付けは、ユーザが音声によってデータベースを探索できるよ
うにするための便利且つ効果的な方法である。図示されている実施形態では、１
つの音響データストリームに注釈付けし、後のユーザによる検索に備えてデータ
ベースに格納していた。当業者には理解されるであろうが、入力データファイル
がビデオデータファイルに対応する場合、そのデータファイル中の音響データは
複数の異なる話者に関わる音響データを含んでいるのが普通である。音響データ
に対して１つの注釈データのストリームを生成するのではなく、各話者の音響デ
ータに対して別個の音素・単語ラティス注釈データを生成することが可能である
。これは、音声信号のピッチ又は別の明確に区別できる特徴から各話者に対応す
る音響データを識別し、次に、異なる話者の音声に個別に注釈付けすることによ
り実行されても良い。また、音響データをステレオで記録するか、又は音響デー
タを生成する際にマイクロホンのアレイを使用しても、話者ごとにデータを取り
出すために音響データを処理することが可能になるので、この技法を実現できる
であろう。
【００４１】 図１０は、かかる実施形態における注釈データの形態を示し、この場合、第１
の話者は「....this so」という語を発話し、第２の話者は「yes」と応答してい
る。図示されているように、異なる話者の音響データに対する注釈データは互い
に対して時間同期されているため、データファイル中のビデオデータと音響デー
タに対しても注釈データは時間同期されることになる。そのような実施形態にお
いては、データ構造のヘッダ情報は注釈データ中の異なる話者のリストと、話者
ごとの言語、アクセント、方言及び音素集合を定義するデータとを含むのが好ま
しく、また、各ブロックはそのブロックでアクティブ状態にある話者を識別すべ
きである。
の話者は「....this so」という語を発話し、第２の話者は「yes」と応答してい
る。図示されているように、異なる話者の音響データに対する注釈データは互い
に対して時間同期されているため、データファイル中のビデオデータと音響デー
タに対しても注釈データは時間同期されることになる。そのような実施形態にお
いては、データ構造のヘッダ情報は注釈データ中の異なる話者のリストと、話者
ごとの言語、アクセント、方言及び音素集合を定義するデータとを含むのが好ま
しく、また、各ブロックはそのブロックでアクティブ状態にある話者を識別すべ
きである。
【００４２】 上記の実施形態では、データベース中のデータファイルに注釈付けするための
注釈データを生成するときに音声認識システムを使用していた。当業者には理解
されるであろうが、この注釈データを生成する際に別の技法を使用しても良い。
例えば、オペレータが音響データを聴取し、音素・単語トランスクリプションを
生成することにより、手動操作で注釈データを生成することも可能である。
注釈データを生成するときに音声認識システムを使用していた。当業者には理解
されるであろうが、この注釈データを生成する際に別の技法を使用しても良い。
例えば、オペレータが音響データを聴取し、音素・単語トランスクリプションを
生成することにより、手動操作で注釈データを生成することも可能である。
【００４３】 上記の実施形態では、注釈データは、データファイル自体に格納されている音
響から生成される。当業者には明らかなことであるが、注釈データを入力する時
に別の技法を使用することもできる。
響から生成される。当業者には明らかなことであるが、注釈データを入力する時
に別の技法を使用することもできる。
【００４４】 図１１は、データベース２９に格納すべきデータファイル９１に注釈付けする
ためにユーザがマイクロホン７を介して音声注釈データを入力できるようなユー
ザ端末装置５９の形態を示す。本実施形態では、データファイル９１は、例えば
、カメラにより生成された２次元画像から構成されている。ユーザ３９はユーザ
端末装置５９を使用して、２Ｄ画像に適切な注釈を追加することができ、後にこ
れを使用してデータベース２９からその２Ｄ画像を検索できる。本実施形態では
、自動音声認識装置５１により入力音声注釈信号を音素・単語ラティス注釈デー
タに変換し、このデータは制御装置５５へ送信される。ユーザの入力に応答して
、制御装置５５はデータベース２９から適切な２Ｄファイルを検索し、音素・単
語注釈データをデータファイル９１に付加する。この後、増補されたデータファ
イルをデータベース２９に戻す。この注釈付け工程の間、注釈データが正しいデ
ータファイル９１と関連付けられていることをユーザが確認できるように、制御
装置５５は２Ｄ画像を表示装置５７に表示するように動作する。
ためにユーザがマイクロホン７を介して音声注釈データを入力できるようなユー
ザ端末装置５９の形態を示す。本実施形態では、データファイル９１は、例えば
、カメラにより生成された２次元画像から構成されている。ユーザ３９はユーザ
端末装置５９を使用して、２Ｄ画像に適切な注釈を追加することができ、後にこ
れを使用してデータベース２９からその２Ｄ画像を検索できる。本実施形態では
、自動音声認識装置５１により入力音声注釈信号を音素・単語ラティス注釈デー
タに変換し、このデータは制御装置５５へ送信される。ユーザの入力に応答して
、制御装置５５はデータベース２９から適切な２Ｄファイルを検索し、音素・単
語注釈データをデータファイル９１に付加する。この後、増補されたデータファ
イルをデータベース２９に戻す。この注釈付け工程の間、注釈データが正しいデ
ータファイル９１と関連付けられていることをユーザが確認できるように、制御
装置５５は２Ｄ画像を表示装置５７に表示するように動作する。
【００４５】 自動音声認識装置５１は、（ｉ）入力発話に対し音素ラティスを生成し、（ii
）次に、音素ラティス中の単語を識別し、（iii）最後にそれら２つを組み合わ
せることにより音素・単語ラティス注釈データを生成する。図１２は、「pictur
e of the Taj−Mahal」という入力発話に対して生成された音素・単語ラティス
注釈データの形態を示す。図示されているように、自動音声認識装置は、この入
力発話に対応するいくつかの異なる可能な音素系列を識別する。図１２に示すよ
うに、自動音声認識装置５１が音素ラティス中で識別する語は音素ラティスデー
タ構造に組み込まれる。図示されているように、この例のフレーズの場合、自動
音声認識装置５１は「picture」、「of」、「off」、「the」、「other」、「ta
」、「tar」、「jam」、「ah」、「hal」、［ha］及び「al」という語を識別す
る。そこで、制御装置５５はこの注釈データを２Ｄ画像データファイル９１に追
加するように動作し、データファイルはデータベース２９に格納される。
）次に、音素ラティス中の単語を識別し、（iii）最後にそれら２つを組み合わ
せることにより音素・単語ラティス注釈データを生成する。図１２は、「pictur
e of the Taj−Mahal」という入力発話に対して生成された音素・単語ラティス
注釈データの形態を示す。図示されているように、自動音声認識装置は、この入
力発話に対応するいくつかの異なる可能な音素系列を識別する。図１２に示すよ
うに、自動音声認識装置５１が音素ラティス中で識別する語は音素ラティスデー
タ構造に組み込まれる。図示されているように、この例のフレーズの場合、自動
音声認識装置５１は「picture」、「of」、「off」、「the」、「other」、「ta
」、「tar」、「jam」、「ah」、「hal」、［ha］及び「al」という語を識別す
る。そこで、制御装置５５はこの注釈データを２Ｄ画像データファイル９１に追
加するように動作し、データファイルはデータベース２９に格納される。
【００４６】 当業者には理解されるであろうが、本実施形態を使用して、患者のＸ線写真、
例えば、ＮＭＲスキャンの３Ｄ画像、超音波スキャンなどのどのような種類の画
像でも注釈付けすることができる。また、本実施形態を使用して音響データ又は
地震データなどの１次元データにも注釈付けすることが可能である。
例えば、ＮＭＲスキャンの３Ｄ画像、超音波スキャンなどのどのような種類の画
像でも注釈付けすることができる。また、本実施形態を使用して音響データ又は
地震データなどの１次元データにも注釈付けすることが可能である。
【００４７】 上記の実施形態では、データファイルは音声による注釈で注釈付けされていた
。当業者には理解されるであろうが、注釈を入力するときに別の技法を使用する
こともできる。例えば、図１３は、データベース２９に格納すべきデータファイ
ル９１に注釈付けするためにユーザがキーボード３を介してキーボード入力によ
る注釈データを入力できるユーザ端末装置５９の形態を示す。本実施形態では、
キーボード入力を音韻トランスクリプション装置７５により音素・単語ラティス
注釈データに変換し（内部音素辞書（図示せず）を使用する）、これを制御装置
５５へ送信する。ユーザの入力に応答して、制御装置５５はデータベース２９か
ら適切な２Ｄファイルを検索し、音素・単語注釈データをデータファイル９１に
付加する。この後、増補されたデータファイルをデータベース２９に戻す。この
注釈付け工程の間、注釈データが正しいデータファイル９１と関連付けられてい
ることをユーザが確認できるように、制御装置５５は表示装置５７に２Ｄ画像を
表示するように動作する。
。当業者には理解されるであろうが、注釈を入力するときに別の技法を使用する
こともできる。例えば、図１３は、データベース２９に格納すべきデータファイ
ル９１に注釈付けするためにユーザがキーボード３を介してキーボード入力によ
る注釈データを入力できるユーザ端末装置５９の形態を示す。本実施形態では、
キーボード入力を音韻トランスクリプション装置７５により音素・単語ラティス
注釈データに変換し（内部音素辞書（図示せず）を使用する）、これを制御装置
５５へ送信する。ユーザの入力に応答して、制御装置５５はデータベース２９か
ら適切な２Ｄファイルを検索し、音素・単語注釈データをデータファイル９１に
付加する。この後、増補されたデータファイルをデータベース２９に戻す。この
注釈付け工程の間、注釈データが正しいデータファイル９１と関連付けられてい
ることをユーザが確認できるように、制御装置５５は表示装置５７に２Ｄ画像を
表示するように動作する。
【００４８】 図１４は、入力発話「picture of the Taj−Mahal」に対して生成された音素
・単語ラティス注釈データの形態を示す。図２に示すように、音素・単語ラティ
スは１つの入口点と、１つの出口点とを有する非巡回有向グラフである。これは
ユーザの入力の複数の異なる語を表現している。図示されているように、音韻ト
ランスクリプション装置７５はキーボード入力に対応するいくつかの異なる可能
な音素系列を識別する。
・単語ラティス注釈データの形態を示す。図２に示すように、音素・単語ラティ
スは１つの入口点と、１つの出口点とを有する非巡回有向グラフである。これは
ユーザの入力の複数の異なる語を表現している。図示されているように、音韻ト
ランスクリプション装置７５はキーボード入力に対応するいくつかの異なる可能
な音素系列を識別する。
【００４９】 図１５は、文書注釈付けシステムを示すブロック図である。すなわち、図１５
に示すように、文書スキャナ１０３によりテキスト文書１０１を画像データファ
イルに変換する。次に、画像データファイルは光学式文字認識（OCR）装置１０
５へ送信され、光学式文字認識装置１０５は文書１０１の画像データを電子テキ
ストに変換する。この電子テキストは音韻トランスクリプション装置１０７に供
給され、音韻トランスクリプション装置１０７は、データファイル１１１を形成
するためにスキャナ１０３により出力された画像データに付加される音素・単語
注釈データ１０９を生成するように動作する。図示されているように、この後、
データファイル１１１は後の検索に備えてデータベース２９に格納される。この
実施形態では、注釈データ１０９は先に説明した組み合わせ音素・単語ラティス
から構成されており、ユーザは後に音声問い合わせによりデータベース２９から
データファイル１１１を検索することができる。
に示すように、文書スキャナ１０３によりテキスト文書１０１を画像データファ
イルに変換する。次に、画像データファイルは光学式文字認識（OCR）装置１０
５へ送信され、光学式文字認識装置１０５は文書１０１の画像データを電子テキ
ストに変換する。この電子テキストは音韻トランスクリプション装置１０７に供
給され、音韻トランスクリプション装置１０７は、データファイル１１１を形成
するためにスキャナ１０３により出力された画像データに付加される音素・単語
注釈データ１０９を生成するように動作する。図示されているように、この後、
データファイル１１１は後の検索に備えてデータベース２９に格納される。この
実施形態では、注釈データ１０９は先に説明した組み合わせ音素・単語ラティス
から構成されており、ユーザは後に音声問い合わせによりデータベース２９から
データファイル１１１を検索することができる。
【００５０】 図１６は、図１５に示す文書注釈付けシステムの他の態様を示す。図１６に示
すシステムと、図１５に示すシステムとの相違点は、スキャナ１０３により出力
された画像データではなく、光学式文字認識装置１０５の出力を使用してデータ
ファイル１１３を生成していることである。図１６に示すシステムのその他の部
分は図１５に示すシステムと同じであるので、詳細な説明を省略する。
すシステムと、図１５に示すシステムとの相違点は、スキャナ１０３により出力
された画像データではなく、光学式文字認識装置１０５の出力を使用してデータ
ファイル１１３を生成していることである。図１６に示すシステムのその他の部
分は図１５に示すシステムと同じであるので、詳細な説明を省略する。
【００５１】 図１７は、図１５に示す文書注釈付けシステムの他の態様を示す。図１７に示
す実施形態では、入力文書はスキャナ１０３ではなく、ファクシミリ装置１１５
により受信される。ファクシミリ装置により出力された画像データは図１５に示
すスキャナ１０３により出力される画像データと同じように処理されるので、詳
細な説明を省略する。
す実施形態では、入力文書はスキャナ１０３ではなく、ファクシミリ装置１１５
により受信される。ファクシミリ装置により出力された画像データは図１５に示
すスキャナ１０３により出力される画像データと同じように処理されるので、詳
細な説明を省略する。
【００５２】 上記の実施形態では、画像データ又はテキストデータに注釈付けするための注
釈データを生成するために音韻トランスクリプション装置１０７を使用していた
。当業者には理解されるであろうが、他の技法を使用することも可能である。例
えば、オペレータが文書自体の画像から手動操作でこの注釈データを生成するこ
とができる。
釈データを生成するために音韻トランスクリプション装置１０７を使用していた
。当業者には理解されるであろうが、他の技法を使用することも可能である。例
えば、オペレータが文書自体の画像から手動操作でこの注釈データを生成するこ
とができる。
【００５３】 上記の実施形態では、データベース２９と自動音声認識装置は共にユーザ端末
装置５９の内部に配置されていた。当業者には理解されるであろうが、これは不
可欠ではない。図１８は、データベース２９と探索エンジン５３が遠隔サーバ６
０にあり且つユーザ端末装置５９はネットワークインタフェース装置６７及び６
９と、データネットワーク６８（インターネットなど）とを介してデータベース
２９中のデータファイルをアクセスし、制御するような実施形態を示す。動作中
、ユーザはマイクロホン７を介して音声問い合わせを入力し、その音声問い合わ
せは自動音声認識装置５１により音素データ及び単語データに変換される。この
データは制御装置へ送信され、制御装置はこの音素データ及び単語データの遠隔
サーバ６０内部に配置された探索エンジン５３へのデータネットワーク６８を介
する送信を制御する。そこで、探索エンジン５３は受信した音素データ及び単語
データに従って探索を実行するか、又は受信した音素データ及び単語データに従
ってデータファイルの操作を制御する（例えば、ビデオファイルの再生、早送り
又は巻き戻しを制御する）。その後、データベース２９から検索されたデータ又
は探索に関連する他のデータはデータネットワーク６８を介して制御装置５５へ
戻され、制御装置５５は、ユーザ３９が適切なデータを見られるように、表示装
置５７へのデータの表示を制御する。このように、（入力音声を音素データ及び
単語データに変換するのはユーザ端末装置５９であるので）サーバの重要なコン
ピュータ資源を使用することなく遠隔サーバ６０においてデータファイルを検索
し、制御することが可能である。
装置５９の内部に配置されていた。当業者には理解されるであろうが、これは不
可欠ではない。図１８は、データベース２９と探索エンジン５３が遠隔サーバ６
０にあり且つユーザ端末装置５９はネットワークインタフェース装置６７及び６
９と、データネットワーク６８（インターネットなど）とを介してデータベース
２９中のデータファイルをアクセスし、制御するような実施形態を示す。動作中
、ユーザはマイクロホン７を介して音声問い合わせを入力し、その音声問い合わ
せは自動音声認識装置５１により音素データ及び単語データに変換される。この
データは制御装置へ送信され、制御装置はこの音素データ及び単語データの遠隔
サーバ６０内部に配置された探索エンジン５３へのデータネットワーク６８を介
する送信を制御する。そこで、探索エンジン５３は受信した音素データ及び単語
データに従って探索を実行するか、又は受信した音素データ及び単語データに従
ってデータファイルの操作を制御する（例えば、ビデオファイルの再生、早送り
又は巻き戻しを制御する）。その後、データベース２９から検索されたデータ又
は探索に関連する他のデータはデータネットワーク６８を介して制御装置５５へ
戻され、制御装置５５は、ユーザ３９が適切なデータを見られるように、表示装
置５７へのデータの表示を制御する。このように、（入力音声を音素データ及び
単語データに変換するのはユーザ端末装置５９であるので）サーバの重要なコン
ピュータ資源を使用することなく遠隔サーバ６０においてデータファイルを検索
し、制御することが可能である。
【００５４】 データベース２９と探索エンジン５３を遠隔サーバ６０に配置するのに加えて
、自動音声認識装置５１も遠隔サーバ６０に配置することが可能である。そのよ
うな実施形態を図１９に示す。本実施形態に示すように、ユーザからの入力音声
問い合わせは入力回線６１を介して音声符号化装置７３へ送信され、音声符号化
装置７３はデータネットワーク６８を介して効率良く転送するために動作を符号
化するように動作する。符号化されたデータは制御装置５５へ送信され、制御装
置５５はデータをネットワーク６８を介して遠隔サーバ６０へ送信し、そこでデ
ータは自動音声認識装置５１により処理される。入力問い合わせに対して音声認
識装置５１により生成された音素データ及び単語データは、データベース２９中
のデータファイルの探索及び制御に使用するために探索エンジン５３へ送信され
る。探索エンジン５３により検索された適切なデータは、この後、ネットワーク
インタフェース６９及びネットワーク６８を介してユーザ端末装置５９へ戻され
る。遠隔サーバから戻され、受信されたこのデータはネットワークインタフェー
ス装置６７を介して制御装置５５へ送信され、制御装置５５は適切なデータを生
成し、そのデータをユーザが見られるように表示装置５７に表示する。
、自動音声認識装置５１も遠隔サーバ６０に配置することが可能である。そのよ
うな実施形態を図１９に示す。本実施形態に示すように、ユーザからの入力音声
問い合わせは入力回線６１を介して音声符号化装置７３へ送信され、音声符号化
装置７３はデータネットワーク６８を介して効率良く転送するために動作を符号
化するように動作する。符号化されたデータは制御装置５５へ送信され、制御装
置５５はデータをネットワーク６８を介して遠隔サーバ６０へ送信し、そこでデ
ータは自動音声認識装置５１により処理される。入力問い合わせに対して音声認
識装置５１により生成された音素データ及び単語データは、データベース２９中
のデータファイルの探索及び制御に使用するために探索エンジン５３へ送信され
る。探索エンジン５３により検索された適切なデータは、この後、ネットワーク
インタフェース６９及びネットワーク６８を介してユーザ端末装置５９へ戻され
る。遠隔サーバから戻され、受信されたこのデータはネットワークインタフェー
ス装置６７を介して制御装置５５へ送信され、制御装置５５は適切なデータを生
成し、そのデータをユーザが見られるように表示装置５７に表示する。
【００５５】 上記の各実施形態では、ユーザは音声により問い合わせを入力する。図２０は
、ユーザがキーボード３を介して問い合わせを入力する別の実施形態を示す。図
示されているように、キーボード３を介して入力されたテキストは音韻トランス
クリプション装置７５へ送信され、音韻トランスクリプション装置７５は入力テ
キストから対応する音素系列を生成するように動作する。この音素系列はキーボ
ード３を介して入力された語と共に制御装置５５へ送信され、制御装置５５は探
索エンジン５３を使用してデータベースの探索を開始する。この探索を実行する
方法は上述の一実施形態における方法と同じであるので、詳細な説明を省略する
。先に説明したその他の実施形態の場合と同様に、音韻トランスクリプション装
置７５、探索エンジン５３及び／又はデータベース２９は全て遠隔サーバに配置
されていても良い。
、ユーザがキーボード３を介して問い合わせを入力する別の実施形態を示す。図
示されているように、キーボード３を介して入力されたテキストは音韻トランス
クリプション装置７５へ送信され、音韻トランスクリプション装置７５は入力テ
キストから対応する音素系列を生成するように動作する。この音素系列はキーボ
ード３を介して入力された語と共に制御装置５５へ送信され、制御装置５５は探
索エンジン５３を使用してデータベースの探索を開始する。この探索を実行する
方法は上述の一実施形態における方法と同じであるので、詳細な説明を省略する
。先に説明したその他の実施形態の場合と同様に、音韻トランスクリプション装
置７５、探索エンジン５３及び／又はデータベース２９は全て遠隔サーバに配置
されていても良い。
【００５６】 上述の一実施形態においては、音素注釈データを生成するために、データファ
イル３１からの音響データは自動音声認識装置を介して送信されていた。状況に
よっては、音響データのトランスクリプトがデータファイル中に存在することも
ある。そのような実施形態を図２１に示す。本実施形態では、データファイル８
１はビデオデータ８１−１と、音響データ８１−２と、ビデオフィルム中の様々
な俳優についてラインを定義するスクリプトデータ８１−３とを表現している。
図示されているように、スクリプトデータ８１−３はテキスト／音素変換器８３
を介して送信され、テキスト／音素変換器８３は、単語を可能な音素の系列に変
換する格納辞書を使用して音素ラティスデータ８５を生成する。この音素ラティ
スデータ８５はスクリプトデータ８１−３と組み合わされて、先に説明した音素
・単語ラティス注釈データ８１−４を生成する。その後、この注釈データはデー
タファイル８１に追加されて増補データファイル８１'を生成し、増補データフ
ァイル８１'はデータベース２９に追加される。当業者には理解されるであろう
が、通常、スクリプトデータは誰が話しているかを示す標識を含んでいるため、
本実施形態ではビデオデータファイル中の複数の異なる話者に対して別個の音素
・単語ラティス注釈データ容易に生成できる。音素・単語ラティス注釈データと
、ビデオデータ及び音響データとの同期は、自動音声認識システム（図示せず）
を使用してスクリプトデータと音響データを強制的に時間整列させることにより
実現できる。
イル３１からの音響データは自動音声認識装置を介して送信されていた。状況に
よっては、音響データのトランスクリプトがデータファイル中に存在することも
ある。そのような実施形態を図２１に示す。本実施形態では、データファイル８
１はビデオデータ８１−１と、音響データ８１−２と、ビデオフィルム中の様々
な俳優についてラインを定義するスクリプトデータ８１−３とを表現している。
図示されているように、スクリプトデータ８１−３はテキスト／音素変換器８３
を介して送信され、テキスト／音素変換器８３は、単語を可能な音素の系列に変
換する格納辞書を使用して音素ラティスデータ８５を生成する。この音素ラティ
スデータ８５はスクリプトデータ８１−３と組み合わされて、先に説明した音素
・単語ラティス注釈データ８１−４を生成する。その後、この注釈データはデー
タファイル８１に追加されて増補データファイル８１'を生成し、増補データフ
ァイル８１'はデータベース２９に追加される。当業者には理解されるであろう
が、通常、スクリプトデータは誰が話しているかを示す標識を含んでいるため、
本実施形態ではビデオデータファイル中の複数の異なる話者に対して別個の音素
・単語ラティス注釈データ容易に生成できる。音素・単語ラティス注釈データと
、ビデオデータ及び音響データとの同期は、自動音声認識システム（図示せず）
を使用してスクリプトデータと音響データを強制的に時間整列させることにより
実現できる。
【００５７】 上記の実施形態では、音素（音素状）・単語ラティスを使用してデータファイ
ルを注釈付けしていた。音声認識及び音声処理の分野の当業者には理解されるで
あろうが、以上の説明及び請求の範囲の中の用語「音素」はその言葉通りの意味
には限定されず、標準的な音声認識システムで識別され、使用される様々な部分
語単位を含む。
ルを注釈付けしていた。音声認識及び音声処理の分野の当業者には理解されるで
あろうが、以上の説明及び請求の範囲の中の用語「音素」はその言葉通りの意味
には限定されず、標準的な音声認識システムで識別され、使用される様々な部分
語単位を含む。
【図１】 本発明の一実施形態を動作させるようにプログラムされたコンピュータの概略
図である。
図である。
【図２】 データファイルに付随させるための音素注釈データ及び単語注釈データを生成
するように動作する音素・単語注釈付け装置を示すブロック図である。
するように動作する音素・単語注釈付け装置を示すブロック図である。
【図３】 音素・単語注釈付け装置が入力ビデオデータファイルから注釈データを生成で
きる方法の１つを示すブロック図である。
きる方法の１つを示すブロック図である。
【図４ａ】 入力ビデオデータファイルからの音響系列の一例に対応する音素ラティスの概
略図である。
略図である。
【図４ｂ】 入力ビデオデータファイルからの音響系列の一例に対する、本発明の１つの面
を具現化した単語・音素ラティスの概略図である。
を具現化した単語・音素ラティスの概略図である。
【図５】 音声問い合わせによりユーザがデータベースから情報を検索できるユーザの端
末装置の概略ブロック図である。
末装置の概略ブロック図である。
【図６ａ】 図５に示すユーザ端末装置のシーケンス制御の一部を示すフローチャートであ
る。
る。
【図６ｂ】 図５に示すユーザ端末装置のシーケンス制御の残る部分を示すフローチャート
である。
である。
【図７】 ユーザの端末装置の一部を形成する探索エンジンがデータベース中で音素探索
を実行する方法を示すフローチャートである。
を実行する方法を示すフローチャートである。
【図８】 音素系列及びその音素系列から生成された４つのM−GRAMSの形態を示す概略図
である。
である。
【図９】 ２つのベクトルと、それら２つのベクトルが成す角度とを示すグラフである。
【図１０】 ２人の話者からの音響系列の例に関する一対の単語・音素ラティスの概略図で
ある。
ある。
【図１１】 ユーザから入力された音響信号から生成される注釈データによってデータファ
イルに注釈付けできるユーザ端末装置を示す概略ブロック図である。
イルに注釈付けできるユーザ端末装置を示す概略ブロック図である。
【図１２】 データファイルに注釈付けするためにユーザにより入力された発話の例につい
て生成された音素・単語ラティス注釈データの概略図である。
て生成された音素・単語ラティス注釈データの概略図である。
【図１３】 ユーザからのキーボード入力から生成される注釈データによってデータファイ
ルに注釈付けできるユーザ端末装置を示す概略ブロック図である。
ルに注釈付けできるユーザ端末装置を示す概略ブロック図である。
【図１４】 データファイルに注釈付けするためのユーザによるキーボード入力から生成さ
れた音素・単語ラティス注釈データの概略図である。
れた音素・単語ラティス注釈データの概略図である。
【図１５】 文書注釈付けシステムの形態を示す概略ブロック図である。
【図１６】 別の文書注釈付けシステムの概略ブロック図である。
【図１７】 別の文書注釈付けシステムの概略ブロック図である。
【図１８】 ユーザによる入力発話に応答してデータネットワークを介して遠隔サーバに配
置されたデータベースをアクセスするように動作するユーザ端末装置を示す概略
ブロック図である。
置されたデータベースをアクセスするように動作するユーザ端末装置を示す概略
ブロック図である。
【図１９】 ユーザからの入力発話に応答してユーザが遠隔サーバに配置されたデータベー
スをアクセスできるユーザ端末装置の概略ブロック図である。
スをアクセスできるユーザ端末装置の概略ブロック図である。
【図２０】 キーボード入力される入力問い合わせによりユーザがデータベースをアクセス
できるユーザ端末装置の概略ブロック図である。
できるユーザ端末装置の概略ブロック図である。
【図２１】 ビデオデータファイルに含まれるスクリプトデータから音素・単語ラティスを
生成できる方法を示す概略ブロック図である。
生成できる方法を示す概略ブロック図である。
───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ９９０５１６０．９ (32)優先日 平成11年３月５日(1999．3．5) (33)優先権主張国 イギリス（ＧＢ） (31)優先権主張番号 ９９０５１９９．７ (32)優先日 平成11年３月５日(1999．3．5) (33)優先権主張国 イギリス（ＧＢ） (31)優先権主張番号 ９９０５１８７．２ (32)優先日 平成11年３月５日(1999．3．5) (33)優先権主張国 イギリス（ＧＢ） (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＬ，ＳＺ，ＴＺ，ＵＧ，ＺＷ )，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ， ＴＪ，ＴＭ)，ＡＥ，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＡＺ， ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，ＣＡ，ＣＨ，ＣＮ，Ｃ Ｒ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，ＤＭ，ＥＥ，ＥＳ，ＦＩ ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ， ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，Ｋ Ｚ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ， ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，Ｓ Ｋ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者 ラジャン， ジェブ， ジェイコブ イギリス国 ジーユー２ ５ワイジェイ サリー， ギルドフォード， サリー リ サーチ パーク， オッカム ロード， オッカム コート １， キヤノン リサ ーチ センター ヨーロッパ リミテッド (72)発明者 ガーナー， フィリップ， ニール イギリス国 ジーユー２ ５ワイジェイ サリー， ギルドフォード， サリー リ サーチ パーク， オッカム ロード， オッカム コート １， キヤノン リサ ーチ センター ヨーロッパ リミテッド Ｆターム(参考） 5B075 NK10 NK21 NK44 PP02 PP07 PP26
Claims (97)
- 【請求項１】 音素・単語ラティスを定義するデータであって、 ラティス内部の複数のノードと、ラティス内部のノードを結合する複数のリン
クとを定義するためのデータと、 複数の音素を対応する複数のリンクと関連付けるデータと、 少なくとも１つの語を前記リンクのうち少なくとも１つと関連付けるデータと を備えることを特徴とするデータ。 - 【請求項２】 前記音素・単語ラティスを定義する前記データは複数のノー
ドのブロックとして配列されていることを特徴とする請求項１記載のデータ。 - 【請求項３】 前記ノードの各々についてタイムスタンプ情報を定義するデ
ータを更に含むことを特徴とする請求項１記載のデータ。 - 【請求項４】 持続時間の等しい複数のブロックとして配列されていること
を特徴とする請求項３記載のデータ。 - 【請求項５】 前記データ内部における各ブロックの場所を定義するデータ
を更に含むことを特徴とする請求項２又は４記載のデータ。 - 【請求項６】 音素・単語ラティスを定義する前記データは時間逐次信号を
定義する別のデータと関連し、且つ前記タイムスタンプ情報は前記時間逐次信号
と時間同期されていることを特徴とする請求項３又は請求項３に従属するいずれ
かの請求項に記載のデータ。 - 【請求項７】 前記別のデータは音響信号及び／又はビデオ信号であること
を特徴とする請求項６記載のデータ。 - 【請求項８】 前記別のデータは少なくとも音声データで、且つ前記音素・
単語ラティスを定義する前記データは前記別のデータから取り出されることを特
徴とする請求項７記載のデータ。 - 【請求項９】 前記音声データは音響データを含み、前記音素・単語ラティ
スを定義する前記データは、自動音声認識装置を通過する音響信号によって得ら
れることを特徴とする請求項８記載のデータ。 - 【請求項１０】 前記音声データは複数の話者の言葉を定義し、且つ前記デ
ータは各話者の言葉から別個の音素・単語ラティスを定義することを特徴とする
請求項８又は９記載のデータ。 - 【請求項１１】 前記リンクと関連する音素及び／又は語の重みを定義する
データを更に含むことを特徴とする請求項１乃至１０のいずれか１項に記載のデ
ータ。 - 【請求項１２】 前記ノードのうち少なくとも１つは複数のリンクにより複
数の他のノードに結合されていることを特徴とする請求項１乃至１１のいずれか
１項に記載のデータ。 - 【請求項１３】 前記ノードを前記複数の他のノードに結合する前記複数の
リンクのうち少なくとも１つは１つの音素と関連し、且つ前記ノードを前記複数
の他のノードに結合する前記リンクのうち少なくとも１つは１つの語と関連して
いることを特徴とする請求項１２記載のデータ。 - 【請求項１４】 入力問い合わせに応答して、請求項１乃至１３のいずれか
１項に記載のデータから構成されるデータベースを探索する方法であって、 入力問い合わせに対応する音素データ及び／又は語データを生成する工程と、 前記入力問い合わせに対して生成される前記音素データ及び／又は語データを
使用して音素・単語ラティスを探索する工程と、 前記探索する工程の結果に従って探索結果を出力する工程と を備えることを特徴とする方法。 - 【請求項１５】 前記探索する工程は、 （ｉ）前記音素・単語ラティス中の類似の語を識別するために、前記ユーザの
入力問い合わせに対して生成される語データを使用して前記音素・単語ラティス
を探索する工程と、 （ii）前記語探索の結果に応答して更に探索を実行するために前記音素・単語
ラティスの１つ又は複数の部分を選択する工程と、 （iii）前記ユーザの入力問い合わせに対して生成される音素データを使用し
て前記音素・単語ラティスの前記１つ以上の選択された部分を探索する工程と を含むことを特徴とする請求項１４記載の方法。 - 【請求項１６】 前記語探索の結果は、前記データベースの選択された部分
について音素探索が実行される前にユーザに対し出力されることを特徴とする請
求項１５記載の方法。 - 【請求項１７】 前記音素探索は、前記語探索の結果の出力に応答したユー
ザの更なる入力にのみ応答して実行されることを特徴とする請求項１６記載の方
法。 - 【請求項１８】 前記音素探索は、前記ユーザの入力問い合わせに対応する
音素系列の中のいくつかの特徴を識別し、且つ前記データベース中の前記音素ラ
ティスを定義するデータの中の類似の特徴を識別することにより実行されること
を特徴とする請求項１５乃至１７のいずれか１項に記載の方法。 - 【請求項１９】 前記特徴の各々は前記ユーザの入力問い合わせの音素デー
タの中の独自の音素の系列を表現することを特徴とする請求項１８記載の方法。 - 【請求項２０】 前記音素探索は、前記ユーザの入力問い合わせに対応する
音素データと、前記データベース中の音素データとの類似性を指示するために余
弦尺度を採用することを特徴とする請求項１９記載の方法。 - 【請求項２１】 前記探索結果は表示装置へ出力されることを特徴とする請
求項１４乃至２０のいずれか１項に記載の方法。 - 【請求項２２】 ユーザによる前記入力問い合わせは音声により入力され、
且つ前記音素データ及び語データを生成する工程は、自動音声認識システムを採
用することを特徴とする請求項１４乃至２１のいずれか１項に記載の方法。 - 【請求項２３】 前記入力問い合わせはキーボード入力であり、且つ前記音
素データ及び語データを生成する工程はテキスト／音素変換器であることを特徴
とする請求項１４乃至２１のいずれか１項に記載の方法。 - 【請求項２４】 入力問い合わせに応答して、請求項１乃至１３のいずれか
１項に記載のデータから構成されるデータベースを探索する装置であって、 入力問い合わせに対応する音素データ及び／又は語データを生成する手段と、 前記入力問い合わせに対して生成される前記音素データ及び／又は語データを
使用して音素・単語ラティスを探索する手段と、 前記探索する手段の結果に従って探索結果を出力する手段と を備えることを特徴とする装置。 - 【請求項２５】 前記探索する手段は、 （ｉ）前記音素・単語ラティス中の類似の語を識別するために、前記ユーザの
入力問い合わせに対して生成される前記語データを使用して音素・単語ラティス
を探索する手段と、 （ii）前記語探索の結果に応答して更に探索を実行するために前記音素・単語
ラティスの１つ以上の部分を選択する手段と、 （iii）前記ユーザの入力問い合わせに対して生成される音素データを使用し
て音素・単語ラティスの前記１つ以上の選択された部分を探索する手段と を備えることを特徴とする請求項２４記載の装置。 - 【請求項２６】 前記出力する手段は、前記データベースの選択された部分
について音素探索が実行される前に前記語探索の結果をユーザに対し出力するよ
うに動作することを特徴とする請求項２５記載の装置。 - 【請求項２７】 前記音素探索は、前記語探索の結果の出力に応答したユー
ザの更なる入力にのみ応答して実行されることを特徴とする請求項２６記載の装
置。 - 【請求項２８】 前記音素探索は、前記ユーザの入力問い合わせに対応する
音素系列の中のいくつかの特徴を識別し、且つ前記データベース中の前記音素ラ
ティスを定義するデータの中の類似の特徴を識別することにより実行されること
を特徴とする請求項２５乃至２７のいずれか１項に記載の装置。 - 【請求項２９】 前記特徴の各々は前記ユーザの入力問い合わせの音素デー
タの中の独自の音素の系列を表現することを特徴とする請求項２８記載の装置。 - 【請求項３０】 前記音素探索は、前記ユーザの入力問い合わせに対応する
音素データと、前記データベース中の音素データとの類似度を指示するために余
弦尺度を採用することを特徴とする請求項２９記載の装置。 - 【請求項３１】 前記出力する手段は表示装置を備えることを特徴とする請
求項２４乃至３０のいずれか１項に記載の装置。 - 【請求項３２】 ユーザによる前記入力問い合わせは音声により入力され、
且つ前記音素データ及び語データを生成する手段は、 前記音素データを生成するように動作する自動音声認識システムと、 前記語データを生成するように動作する語復号器と を備えることを特徴とする請求項２４乃至３１のいずれか１項に記載の装置。 - 【請求項３３】 前記入力問い合わせはキーボード入力であり、且つ前記音
素データ及び語データを生成する手段は前記音素データを生成するように動作す
るテキスト／音素変換器であることを特徴とする請求項２４乃至３１のいずれか
１項に記載の装置。 - 【請求項３４】 音響データから構成されるデータファイルに注釈付けする
ときに使用するための注釈データを生成する装置であって、 前記データファイル中の音響データに関する音素データを生成する自動音声認
識システムと、 前記自動音声認識システムにより生成される前記音素データの中の可能な語を
識別する語復号器と、 前記生成された音素データと復号された語とを組み合わせることにより注釈デ
ータを生成する生成手段と を備えることを特徴とする装置。 - 【請求項３５】 テキストデータから構成されるデータファイルに注釈付け
するときに使用するための注釈データを生成する装置であって、 前記データファイル中のテキストデータに関して音素データを生成するテキス
ト／音素変換器と、 前記テキストデータ中の音素データと語とを組み合わせることにより注釈デー
タを生成する生成手段と を備えることを特徴とする装置。 - 【請求項３６】 データファイルに注釈付けするときに使用するための注釈
データを生成する装置であって、 入力音声を受信する入力手段と、 前記入力音声を音素データ及び語に変換する音声認識手段と、 前記音素データと語とを組み合わせることにより注釈データを生成する生成手
段と を備えることを特徴とする装置。 - 【請求項３７】 データファイルに注釈付けするときに使用するための注釈
データを生成する装置であって、 ユーザからのキーボード入力を受信する入力手段と、 前記キーボード入力中の語を音素データに変換する変換手段と、 前記キーボード入力中の音素データと語とを組み合わせることにより注釈デー
タを生成する生成手段と を備えることを特徴とする装置。 - 【請求項３８】 データファイルに注釈付けするときに使用するための注釈
データを生成する装置であって、 テキストを表現する画像データを受信する手段と、 前記画像データをテキストデータに変換する文字認識手段と、 前記テキストデータ中の語を音素データに変換する変換手段と、 前記テキストデータ中の前記音素データと語とを組み合わせることにより注釈
データを生成する生成手段と を備えることを特徴とする装置。 - 【請求項３９】 前記注釈データは音素・単語ラティスを定義し、且つ前記
生成手段は、 （ｉ）前記ラティス中の複数のノードと、前記ラティス中の該ノードを結合す
る複数のリンクとを定義するデータを生成する手段と、 （ii）前記音素データの複数の音素を対応する複数のリンクと関連付けるデー
タを生成する手段と、 （iii）前記語のうち少なくとも１つを前記リンクの少なくとも１つと関連付
けるデータを生成する手段と を備えることを特徴とする請求項３４乃至３８のいずれか１項に記載の装置。 - 【請求項４０】 前記生成手段は、前記音素・単語ラティスを定義する前記
データを複数の前記ノードのブロックとして生成するように動作することを特徴
とする請求項３９記載の装置。 - 【請求項４１】 前記生成手段は、前記ノードの各々に対してタイムスタン
プ情報を定義するデータを生成するように動作することを特徴とする請求項３９
又は４０記載の装置。 - 【請求項４２】 前記生成手段は、前記音素・単語ラティスデータを持続時
間の等しい複数のブロックとして生成するように構成されていることを特徴とす
る請求項４１記載の装置。 - 【請求項４３】 前記生成手段は、データベース内における各ブロックの場
所を定義するデータを生成するように動作することを特徴とする請求項４０、４
１又は４２記載の装置。 - 【請求項４４】 前記データファイルは時間逐次信号を含み、且つ前記生成
手段は、前記時間逐次信号と時間同期されるタイムスタンプデータを生成するよ
うに動作することを特徴とする請求項４１又は請求項４１に従属するいずれかの
請求項に記載の装置。 - 【請求項４５】 前記時間逐次信号は音響信号及び／又はビデオ信号である
ことを特徴とする請求項４４記載の装置。 - 【請求項４６】 前記音響データは、複数の話者の発話を定義する音響デー
タを含み、且つ前記生成手段は、該各話者の発話に対して別個の音素及び語注釈
データを定義するデータを生成するように動作することを特徴とする請求項３４
又は請求項３４に従属するいずれかの請求項に記載の装置。 - 【請求項４７】 前記テキストデータは複数の話者の発話を定義し、前記生
成手段は、該各話者の発話に対して別個の音素及び語注釈データを定義するデー
タを生成するように動作することを特徴とする請求項３５又は請求項３５に従属
するいずれかの請求項に記載の装置。 - 【請求項４８】 前記音声認識システムは、前記音素データ中の音素の重み
を定義するデータを生成するように動作することを特徴とする請求項３４又は請
求項３４に従属するいずれかの請求項に記載の装置。 - 【請求項４９】 前記語復号器は、前記音素データ中で識別される語の重み
を定義するデータを生成するように動作することを特徴とする請求項３４又は請
求項３４に従属するいずれかの請求項に記載の装置。 - 【請求項５０】 前記複数のノードと、前記複数のリンクとを定義するデー
タを生成する手段は、複数の他のノードに複数のリンクにより結合される少なく
とも１つのノードを定義するように動作することを特徴とする請求項３９又は請
求項３９に従属するいずれかの請求項に記載の装置。 - 【請求項５１】 前記ノードを前記複数の他のノードに結合する前記複数の
リンクのうち少なくとも１つは１つの音素と関連付けられ、且つ前記ノードを前
記複数の他のノードに結合する前記リンクのうち少なくとも１つは１つの語と関
連付けられることを特徴とする請求項５０記載の装置。 - 【請求項５２】 前記音声認識手段は、前記音素データ中の音素の重みを定
義するデータを生成するように動作することを特徴とする請求項３６又は請求項
３６に従属するいずれかの請求項に記載の装置。 - 【請求項５３】 前記音声認識手段は、前記語データ中の語の重みを定義す
るデータを生成するように動作することを特徴とする請求項５２記載の装置。 - 【請求項５４】 前記注釈データを前記データファイルと関連付ける手段を
更に具備することを特徴とする請求項３６、請求項３７又は請求項３６又は３７
に従属するいずれかの請求項に記載の装置。 - 【請求項５５】 前記変換手段は、前記キーボード入力中の語から前記音素
データを生成する自動音韻トランスクリプション装置を備えることを特徴とする
請求項３７又は請求項３７に従属するいずれかの請求項に記載の装置。 - 【請求項５６】 前記変換手段は、前記文字認識手段により出力されるテキ
ストデータ中の語から前記音素データを生成する自動音韻トランスクリプション
装置を備えることを特徴とする請求項３８又は請求項３８に従属するいずれかの
請求項に記載の装置。 - 【請求項５７】 前記注釈データを前記テキストを表現する前記画像データ
又は前記テキストデータと関連付ける手段を更に具備することを特徴とする請求
項３８又は請求項３８に従属するいずれかの請求項に記載の装置。 - 【請求項５８】 前記変換手段は文書スキャナ又はファクシミリ装置を備え
ることを特徴とする請求項３８又は請求項３８に従属するいずれかの請求項に記
載の装置。 - 【請求項５９】 音響データから構成されるデータファイルに注釈付けする
ときに使用するための注釈データを生成する方法であって、 自動音声認識システムを使用して、前記データファイル中の音響データに関す
る音素データを生成する工程と、 語復号器を使用して、前記自動音声認識システムにより生成される前記音素デ
ータ中の可能な語を識別する工程と、 前記生成された音素データと復号された語とを組み合わせることにより注釈デ
ータを生成する工程と を備えることを特徴とする方法。 - 【請求項６０】 テキストデータから構成されるデータファイルに注釈付け
するときに使用するための注釈データを生成する方法であって、 テキスト／音素変換器を使用して、前記データファイル中のテキストデータに
関する音素データを生成する工程と、 前記テキストデータ中の音素データと語を組み合わせることにより注釈データ
を生成する工程と を備えることを特徴とする方法。 - 【請求項６１】 データファイルに注釈付けするときに使用するための注釈
データを生成する方法であって、 入力音声信号を受信する工程と、 音声認識システムを使用して前記入力音声信号を処理して、該入力音声信号に
関する音素データ及び語データを生成する工程と、 前記入力音声信号に関して生成された前記音素データと語データとを組み合わ
せることにより注釈データを生成する工程と を備えることを特徴とする方法。 - 【請求項６２】 データファイルに注釈付けするときに使用するための注釈
データを生成する方法であって、 キーボード入力を受信する工程と、 前記キーボード入力中の語を音素データに変換する工程と、 前記キーボード入力中の前記音素データと語とを組み合わせることにより注釈
データを生成する工程と を備えることを特徴とする方法。 - 【請求項６３】 データファイルに注釈付けするときに使用するための注釈
データを生成する方法であって、 テキストを表現する画像データを受信する工程と、 文字認識装置を使用して前記画像データをテキストデータに変換する工程と、 前記テキストデータ中の語を音素データに変換する工程と、 前記テキストデータ中の前記音素データと語とを組み合わせることにより注釈
データを生成する工程と を備えることを特徴とする方法。 - 【請求項６４】 前記注釈データは音素・単語ラティスを定義し、且つ前記
生成する工程は、 （ｉ）前記ラティス中の複数のノードと、前記ラティス中の該ノードを結合す
る複数のリンクとを定義するデータを生成する工程と、 （ii）前記音素データの複数の音素を対応する複数のリンクと関連付けるデー
タを生成する工程と、 （iii）前記語のうち少なくとも１つを前記リンクの少なくとも１つと関連付
けるデータを生成する工程と を含むことを特徴とする請求項５９乃至６３のいずれか１項に記載の方法。 - 【請求項６５】 前記生成する工程は、前記音素・単語ラティスを定義する
前記データを複数の前記ノードのブロックとして生成することを特徴とする請求
項６４記載の方法。 - 【請求項６６】 前記生成する工程は、前記ノードの各々に対してタイムス
タンプ情報を定義するデータを生成することを特徴とする請求項６４又は６５記
載の方法。 - 【請求項６７】 前記生成する工程は、前記音素・単語ラティスデータを持
続時間の等しい複数のブロックとして生成することを特徴とする請求項６６記載
の方法。 - 【請求項６８】 前記生成する工程は、データベース内における各ブロック
の場所を定義するデータを生成することを特徴とする請求項６５、６６又は６７
記載の方法。 - 【請求項６９】 前記データファイルは時間逐次信号を含み、且つ前記生成
する工程は、前記時間逐次信号と時間同期されるタイムスタンプデータを生成す
ることを特徴とする請求項６６又は請求項６６に従属するいずれかの請求項に記
載の方法。 - 【請求項７０】 前記時間逐次信号は音響信号及び／又はビデオ信号である
ことを特徴とする請求項６９記載の方法。 - 【請求項７１】 前記音響データは、複数の話者の発話を定義する音響デー
タを含み、且つ前記生成する工程は、該各話者の発話に対して別個の音素及び語
注釈データを定義するデータを生成するように動作することを特徴とする請求項
５９又は請求項５９に従属するいずれかの請求項に記載の方法。 - 【請求項７２】 前記テキストデータは複数の話者の発話を定義し、前記生
成する工程は、該各話者の発話に対して別個の音素及び語注釈データを定義する
データを生成するように動作することを特徴とする請求項６０又は請求項６０に
従属するいずれかの請求項に記載の方法。 - 【請求項７３】 前記音声認識システムは、前記リンクと関連付けられる音
素の重みを定義するデータを生成することを特徴とする請求項５９又は請求項５
９に従属するいずれかの請求項に記載の方法。 - 【請求項７４】 前記語復号器は、前記リンクと関連付けられる語の重みを
定義するデータを生成することを特徴とする請求項５９又は請求項５９に従属す
るいずれかの請求項に記載の方法。 - 【請求項７５】 前記複数のノードと、前記複数のリンクとを定義するデー
タを生成する工程は、複数の他のノードに複数のリンクにより結合される少なく
とも１つのノードを定義することを特徴とする請求項６４又は請求項６４に従属
するいずれかの請求項に記載の方法。 - 【請求項７６】 前記ノードを前記複数の他のノードに結合する前記複数の
リンクのうち少なくとも１つは１つの音素と関連付けられ、且つ前記ノードを前
記複数の他のノードに結合する前記リンクのうち少なくとも１つは１つの語と関
連付けられることを特徴とする請求項７５記載の方法。 - 【請求項７７】 前記音声認識手段は、前記リンクと関連付けられる音素の
重みを定義するデータを生成することを特徴とする請求項６１又は請求項６１に
従属するいずれかの請求項に記載の方法。 - 【請求項７８】 前記音声認識システムは、前記リンクと関連付けられる語
の重みを定義するデータを生成することを特徴とする請求項６１又は請求項６１
に従属するいずれかの請求項に記載の方法。 - 【請求項７９】 前記注釈データを前記データファイルと関連付ける工程を
更に含むことを特徴とする請求項６１、請求項６２又は請求項６１又は６２に従
属するいずれかの請求項に記載の方法。 - 【請求項８０】 前記変換する工程は、前記キーボード入力中の語に関して
前記音素データを生成する自動音韻トランスクリプション装置を使用することを
特徴とする請求項６２又は請求項６２に従属するいずれかの請求項に記載の方法
。 - 【請求項８１】 前記語を音素に変換する工程は、前記文字認識装置により
出力されるテキストデータ中の語に関して前記音素データを生成する自動音韻ト
ランスクリプション装置を使用することを特徴とする請求項６３又は請求項６３
に従属するいずれかの請求項に記載の方法。 - 【請求項８２】 前記注釈データを前記受信された画像データ又は前記テキ
ストデータと関連付ける工程を更に含むことを特徴とする請求項６３又は請求項
６３に従属するいずれかの請求項に記載の方法。 - 【請求項８３】 前記受信する工程は文書スキャナ又はファクシミリ装置を
使用することを特徴とする請求項６３又は請求項６３に従属するいずれかの請求
項に記載の方法。 - 【請求項８４】 入力問い合わせに応答して注釈データを含むデータファイ
ルを探索する方法であって、 前記入力問い合わせに対応する音素データ及び語データを生成する工程と、 前記音素データ及び／又は語データと、前記注釈データとに基づいてデータフ
ァイルを探索する工程と、 前記探索する工程の結果に従って探索結果を出力する工程と を備えることを特徴とする方法。 - 【請求項８５】 前記注釈データは、 （ｉ）音素・単語ラティス中の複数のノードと、該ラティス中のノードを結合
する複数のリンクとを定義するためのデータと、 （ii）前記音素データの複数の音素を対応する複数のリンクと関連付けるため
のデータと、 （iii）少なくとも１つの語を前記リンクの少なくとも１つと関連付けるため
のデータとを含む音素・単語ラティスを定義することを特徴とする請求項８４記
載の方法。 - 【請求項８６】 データファイルをデータベースに格納する方法であって、 前記データファイルをデータファイルに対応し、音素データを含む注釈データ
と組み合わせる工程と、 前記データファイルを前記注釈データと共に格納する工程と を備えることを特徴とする方法。 - 【請求項８７】 入力問い合わせに応答して注釈データを含むデータファイ
ルを探索する装置であって、 前記入力問い合わせに対応する音素データ及び語データを生成する手段と、 前記音素データ及び／又は語データと、注釈データとに基づいて前記データフ
ァイルを探索する手段と、 前記探索する手段の結果に従って探索結果を出力する手段と を備えることを特徴とする装置。 - 【請求項８８】 音素・単語ラティスを定義する前記注釈データは、 （ｉ）前記音素・単語ラティス中の複数のノードと、音素・単語ラティスを定
義するラティス中の該ノードを結合する複数のリンクとを定義するためのデータ
と、 （ii）前記音素データの複数の音素を対応する前記複数のリンクと関連付ける
ためのデータと、 （iii）少なくとも１つの語を前記リンクの少なくとも１つと関連付けるため
のデータと を含むことを特徴とする請求項８７記載の装置。 - 【請求項８９】 データファイルをデータベースに格納する装置であって、 前記データファイルと、該データファイルに対応し、音素データを含む注釈デ
ータとを入力する手段と、 前記データファイルを前記注釈データと共に格納する手段と を備えることを特徴とする装置。 - 【請求項９０】 データファイルを格納するための媒体であって、 前記データファイルは、 音響データと、 前記音響データに対応し、音素データを含む注釈データと を含むことを特徴とする媒体。
- 【請求項９１】 データファイルを格納するための媒体であって、 前記データファイルは、 ビデオデータと、 前記ビデオデータに対応する音響データと、 前記音響データに対応し、音素データを含む注釈データと を含むことを特徴とする媒体。
- 【請求項９２】 データファイルを格納するための媒体であって、 前記データファイルは、 テキストデータと、 前記テキストデータに対応し、音素データを含む注釈データと を含むことを特徴とする媒体。
- 【請求項９３】 音響データを含み、更に、該音響データに対応し、音素デ
ータを含む注釈データを含むことを特徴とするデータ。 - 【請求項９４】 ビデオデータを含み、更に、該ビデオデータに対応する音
響データと、該音響データに対応し、音素データを含む注釈データとを含むこと
を特徴とするデータ。 - 【請求項９５】 テキストデータを含み、更に、該テキストデータに対応し
、音素データを含む注釈データを含むことを特徴とするデータ。 - 【請求項９６】 請求項１乃至１３のいずれか１項に記載のデータ、又は請
求項１４乃至２３、５９から８３又は８４乃至８６のいずれか１項に記載の方法
を実現するためにプロセッサを制御するためのプロセッサ実現可能な命令を搬送
するデータキャリア。 - 【請求項９７】 請求項１４乃至２３、５９乃至８３又は８４乃至８６のい
ずれか１項に記載の方法を実現するためにプロセッサを制御するためのプロセッ
サ実現可能な命令。
Applications Claiming Priority (11)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| GBGB9905187.2A GB9905187D0 (en) | 1999-03-05 | 1999-03-05 | Database annotation and retrieval |
| GB9905201.1 | 1999-03-05 | ||
| GB9905199.7 | 1999-03-05 | ||
| GBGB9905186.4A GB9905186D0 (en) | 1999-03-05 | 1999-03-05 | Database annotation and retrieval |
| GB9905186.4 | 1999-03-05 | ||
| GB9905160.9 | 1999-03-05 | ||
| GBGB9905201.1A GB9905201D0 (en) | 1999-03-05 | 1999-03-05 | Database annotation and retrieval |
| GBGB9905160.9A GB9905160D0 (en) | 1999-03-05 | 1999-03-05 | Database annotation and retrieval |
| GB9905187.2 | 1999-03-05 | ||
| GBGB9905199.7A GB9905199D0 (en) | 1999-03-05 | 1999-03-05 | Database annotation and retrieval |
| PCT/GB2000/000718 WO2000054168A2 (en) | 1999-03-05 | 2000-03-01 | Database annotation and retrieval |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002539528A true JP2002539528A (ja) | 2002-11-19 |
| JP2002539528A5 JP2002539528A5 (ja) | 2007-05-10 |
Family
ID=27517497
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000604324A Pending JP2002539528A (ja) | 1999-03-05 | 2000-03-01 | データベース注釈付け及び検索 |
Country Status (8)
| Country | Link |
|---|---|
| US (2) | US6990448B2 (ja) |
| EP (1) | EP1159688A2 (ja) |
| JP (1) | JP2002539528A (ja) |
| KR (1) | KR100828884B1 (ja) |
| CN (1) | CN1343337B (ja) |
| AU (2) | AU777693B2 (ja) |
| CA (1) | CA2366057C (ja) |
| WO (1) | WO2000054168A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006065675A (ja) * | 2004-08-27 | 2006-03-09 | Canon Inc | データ検索方法および装置 |
Families Citing this family (268)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100828884B1 (ko) | 1999-03-05 | 2008-05-09 | 캐논 가부시끼가이샤 | 데이터베이스 주석 및 검색 |
| EP1228452B1 (en) | 1999-10-28 | 2007-09-19 | Canon Kabushiki Kaisha | Pattern matching method and apparatus |
| US7310600B1 (en) | 1999-10-28 | 2007-12-18 | Canon Kabushiki Kaisha | Language recognition using a similarity measure |
| US6882970B1 (en) | 1999-10-28 | 2005-04-19 | Canon Kabushiki Kaisha | Language recognition using sequence frequency |
| US7392185B2 (en) * | 1999-11-12 | 2008-06-24 | Phoenix Solutions, Inc. | Speech based learning/training system using semantic decoding |
| US9076448B2 (en) * | 1999-11-12 | 2015-07-07 | Nuance Communications, Inc. | Distributed real time speech recognition system |
| US7725307B2 (en) * | 1999-11-12 | 2010-05-25 | Phoenix Solutions, Inc. | Query engine for processing voice based queries including semantic decoding |
| US7050977B1 (en) | 1999-11-12 | 2006-05-23 | Phoenix Solutions, Inc. | Speech-enabled server for internet website and method |
| US7263484B1 (en) * | 2000-03-04 | 2007-08-28 | Georgia Tech Research Corporation | Phonetic searching |
| US8645137B2 (en) | 2000-03-16 | 2014-02-04 | Apple Inc. | Fast, language-independent method for user authentication by voice |
| GB0011798D0 (en) | 2000-05-16 | 2000-07-05 | Canon Kk | Database annotation and retrieval |
| US7010483B2 (en) | 2000-06-02 | 2006-03-07 | Canon Kabushiki Kaisha | Speech processing system |
| US6954745B2 (en) | 2000-06-02 | 2005-10-11 | Canon Kabushiki Kaisha | Signal processing system |
| US7035790B2 (en) | 2000-06-02 | 2006-04-25 | Canon Kabushiki Kaisha | Speech processing system |
| US7072833B2 (en) | 2000-06-02 | 2006-07-04 | Canon Kabushiki Kaisha | Speech processing system |
| GB0015233D0 (en) | 2000-06-21 | 2000-08-16 | Canon Kk | Indexing method and apparatus |
| AU2000276392A1 (en) * | 2000-09-28 | 2002-04-08 | Intel Corporation | Method and system for expanding a word graph to a phone graph based on a cross-word acoustical model to improve continuous speech recognition |
| GB0023930D0 (en) | 2000-09-29 | 2000-11-15 | Canon Kk | Database annotation and retrieval |
| US6774908B2 (en) * | 2000-10-03 | 2004-08-10 | Creative Frontier Inc. | System and method for tracking an object in a video and linking information thereto |
| GB0027178D0 (en) | 2000-11-07 | 2000-12-27 | Canon Kk | Speech processing system |
| GB0028277D0 (en) | 2000-11-20 | 2001-01-03 | Canon Kk | Speech processing system |
| US6996531B2 (en) * | 2001-03-30 | 2006-02-07 | Comverse Ltd. | Automated database assistance using a telephone for a speech based or text based multimedia communication mode |
| US7225126B2 (en) | 2001-06-12 | 2007-05-29 | At&T Corp. | System and method for processing speech files |
| GB2388739B (en) | 2001-11-03 | 2004-06-02 | Dremedia Ltd | Time ordered indexing of an information stream |
| GB2388738B (en) * | 2001-11-03 | 2004-06-02 | Dremedia Ltd | Time ordered indexing of audio data |
| US20030098869A1 (en) * | 2001-11-09 | 2003-05-29 | Arnold Glenn Christopher | Real time interactive video system |
| DE10218226A1 (de) * | 2002-04-24 | 2003-11-06 | Volkswagen Ag | Verfahren und Einrichtung zur sprachgesteuerten Ansteuerung einer Multimediaeinrichtung, insbesondere in Kraftfahrzeugen |
| US7548863B2 (en) * | 2002-08-06 | 2009-06-16 | Apple Inc. | Adaptive context sensitive analysis |
| US7610237B1 (en) * | 2002-09-30 | 2009-10-27 | Trading Technologies International Inc. | System and method for creating trade-related annotations in an electronic trading environment |
| US7716112B1 (en) | 2002-09-30 | 2010-05-11 | Trading Technologies International, Inc. | System and method for price-based annotations in an electronic trading environment |
| GB2394347A (en) * | 2002-10-15 | 2004-04-21 | Canon Kk | Lattice encoding |
| US6973654B1 (en) * | 2003-05-27 | 2005-12-06 | Microsoft Corporation | Systems and methods for the repartitioning of data |
| US7305557B2 (en) * | 2003-06-20 | 2007-12-04 | International Business Machines Corporation | Management and recovery of data object annotations using digital fingerprinting |
| US20040266337A1 (en) * | 2003-06-25 | 2004-12-30 | Microsoft Corporation | Method and apparatus for synchronizing lyrics |
| US7904296B2 (en) * | 2003-07-23 | 2011-03-08 | Nexidia Inc. | Spoken word spotting queries |
| US20050114131A1 (en) * | 2003-11-24 | 2005-05-26 | Kirill Stoimenov | Apparatus and method for voice-tagging lexicon |
| US7401019B2 (en) * | 2004-01-15 | 2008-07-15 | Microsoft Corporation | Phonetic fragment search in speech data |
| CN100419751C (zh) * | 2004-03-11 | 2008-09-17 | 台达电子工业股份有限公司 | 使用语音输入查询方式及使用语音输入的行动电子装置 |
| JP4587160B2 (ja) * | 2004-03-26 | 2010-11-24 | キヤノン株式会社 | 信号処理装置および方法 |
| US7912699B1 (en) | 2004-08-23 | 2011-03-22 | At&T Intellectual Property Ii, L.P. | System and method of lattice-based search for spoken utterance retrieval |
| WO2006026578A2 (en) * | 2004-08-27 | 2006-03-09 | Peng Tao | Online annotation management system and method |
| JP2008538016A (ja) * | 2004-11-12 | 2008-10-02 | メイク センス インコーポレイテッド | 概念または項目を用いて知識相関を構成することによる知識発見技術 |
| US8126890B2 (en) * | 2004-12-21 | 2012-02-28 | Make Sence, Inc. | Techniques for knowledge discovery by constructing knowledge correlations using concepts or terms |
| US9330175B2 (en) | 2004-11-12 | 2016-05-03 | Make Sence, Inc. | Techniques for knowledge discovery by constructing knowledge correlations using concepts or terms |
| US20060161471A1 (en) * | 2005-01-19 | 2006-07-20 | Microsoft Corporation | System and method for multi-dimensional average-weighted banding status and scoring |
| US8694317B2 (en) * | 2005-02-05 | 2014-04-08 | Aurix Limited | Methods and apparatus relating to searching of spoken audio data |
| EP1693830B1 (en) * | 2005-02-21 | 2017-12-20 | Harman Becker Automotive Systems GmbH | Voice-controlled data system |
| EP1693829B1 (en) * | 2005-02-21 | 2018-12-05 | Harman Becker Automotive Systems GmbH | Voice-controlled data system |
| US8438142B2 (en) | 2005-05-04 | 2013-05-07 | Google Inc. | Suggesting and refining user input based on original user input |
| US7634407B2 (en) | 2005-05-20 | 2009-12-15 | Microsoft Corporation | Method and apparatus for indexing speech |
| US8898134B2 (en) | 2005-06-27 | 2014-11-25 | Make Sence, Inc. | Method for ranking resources using node pool |
| US8140559B2 (en) * | 2005-06-27 | 2012-03-20 | Make Sence, Inc. | Knowledge correlation search engine |
| US8677377B2 (en) | 2005-09-08 | 2014-03-18 | Apple Inc. | Method and apparatus for building an intelligent automated assistant |
| US7809568B2 (en) | 2005-11-08 | 2010-10-05 | Microsoft Corporation | Indexing and searching speech with text meta-data |
| US7831428B2 (en) * | 2005-11-09 | 2010-11-09 | Microsoft Corporation | Speech index pruning |
| US8024653B2 (en) * | 2005-11-14 | 2011-09-20 | Make Sence, Inc. | Techniques for creating computer generated notes |
| IL172551A0 (en) * | 2005-12-13 | 2006-04-10 | Grois Dan | Method for assigning one or more categorized scores to each document over a data network |
| US7831425B2 (en) | 2005-12-15 | 2010-11-09 | Microsoft Corporation | Time-anchored posterior indexing of speech |
| KR100719514B1 (ko) * | 2005-12-20 | 2007-05-17 | 엔에이치엔(주) | 파일 정리/검색 방법, 시스템 및 이를 위한 기록매체 |
| US20070143175A1 (en) * | 2005-12-21 | 2007-06-21 | Microsoft Corporation | Centralized model for coordinating update of multiple reports |
| US20070156680A1 (en) * | 2005-12-21 | 2007-07-05 | Microsoft Corporation | Disconnected authoring of business definitions |
| NO325191B1 (no) * | 2005-12-30 | 2008-02-18 | Tandberg Telecom As | Sokbar multimedia strom |
| IL174107A0 (en) * | 2006-02-01 | 2006-08-01 | Grois Dan | Method and system for advertising by means of a search engine over a data network |
| US7716592B2 (en) * | 2006-03-30 | 2010-05-11 | Microsoft Corporation | Automated generation of dashboards for scorecard metrics and subordinate reporting |
| US8261181B2 (en) * | 2006-03-30 | 2012-09-04 | Microsoft Corporation | Multidimensional metrics-based annotation |
| US7840896B2 (en) * | 2006-03-30 | 2010-11-23 | Microsoft Corporation | Definition and instantiation of metric based business logic reports |
| US8190992B2 (en) | 2006-04-21 | 2012-05-29 | Microsoft Corporation | Grouping and display of logically defined reports |
| US8126750B2 (en) * | 2006-04-27 | 2012-02-28 | Microsoft Corporation | Consolidating data source queries for multidimensional scorecards |
| US7716571B2 (en) * | 2006-04-27 | 2010-05-11 | Microsoft Corporation | Multidimensional scorecard header definition |
| US20070271503A1 (en) * | 2006-05-19 | 2007-11-22 | Sciencemedia Inc. | Interactive learning and assessment platform |
| US7698258B2 (en) * | 2006-06-02 | 2010-04-13 | Microsoft Corporation | Searchable storage system |
| CN101512521B (zh) * | 2006-06-02 | 2013-01-16 | Tti发明有限责任公司 | 基于概念对语音文档的跨媒体索引和检索 |
| US7961851B2 (en) * | 2006-07-26 | 2011-06-14 | Cisco Technology, Inc. | Method and system to select messages using voice commands and a telephone user interface |
| US7739255B2 (en) | 2006-09-01 | 2010-06-15 | Ma Capital Lllp | System for and method of visual representation and review of media files |
| US9318108B2 (en) | 2010-01-18 | 2016-04-19 | Apple Inc. | Intelligent automated assistant |
| US8341152B1 (en) | 2006-09-12 | 2012-12-25 | Creatier Interactive Llc | System and method for enabling objects within video to be searched on the internet or intranet |
| US8694318B2 (en) | 2006-09-19 | 2014-04-08 | At&T Intellectual Property I, L. P. | Methods, systems, and products for indexing content |
| US7991613B2 (en) * | 2006-09-29 | 2011-08-02 | Verint Americas Inc. | Analyzing audio components and generating text with integrated additional session information |
| US9058307B2 (en) | 2007-01-26 | 2015-06-16 | Microsoft Technology Licensing, Llc | Presentation generation using scorecard elements |
| US8321805B2 (en) | 2007-01-30 | 2012-11-27 | Microsoft Corporation | Service architecture based metric views |
| US8495663B2 (en) | 2007-02-02 | 2013-07-23 | Microsoft Corporation | Real time collaboration using embedded data visualizations |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| IL182518A0 (en) * | 2007-04-12 | 2007-09-20 | Grois Dan | Pay per relevance (ppr) advertising method and system |
| US7983915B2 (en) * | 2007-04-30 | 2011-07-19 | Sonic Foundry, Inc. | Audio content search engine |
| US20080270110A1 (en) * | 2007-04-30 | 2008-10-30 | Yurick Steven J | Automatic speech recognition with textual content input |
| US20080270344A1 (en) * | 2007-04-30 | 2008-10-30 | Yurick Steven J | Rich media content search engine |
| EP2153563A4 (en) * | 2007-05-30 | 2011-04-27 | Creatier Interactive Llc | METHOD AND SYSTEM FOR ENHANCING ADVERTISING AND TRANSACTION WITHIN USER-PRODUCED VIDEO CONTENT |
| US9405823B2 (en) * | 2007-07-23 | 2016-08-02 | Nuance Communications, Inc. | Spoken document retrieval using multiple speech transcription indices |
| US8831946B2 (en) * | 2007-07-23 | 2014-09-09 | Nuance Communications, Inc. | Method and system of indexing speech data |
| US8019748B1 (en) | 2007-11-14 | 2011-09-13 | Google Inc. | Web search refinement |
| JP4887264B2 (ja) * | 2007-11-21 | 2012-02-29 | 株式会社日立製作所 | 音声データ検索システム |
| US8060494B2 (en) * | 2007-12-07 | 2011-11-15 | Microsoft Corporation | Indexing and searching audio using text indexers |
| US8019604B2 (en) * | 2007-12-21 | 2011-09-13 | Motorola Mobility, Inc. | Method and apparatus for uniterm discovery and voice-to-voice search on mobile device |
| US9330720B2 (en) | 2008-01-03 | 2016-05-03 | Apple Inc. | Methods and apparatus for altering audio output signals |
| US8099662B2 (en) * | 2008-01-17 | 2012-01-17 | Seiko Epson Corporation | Efficient image annotation display and transmission |
| US8015005B2 (en) * | 2008-02-15 | 2011-09-06 | Motorola Mobility, Inc. | Method and apparatus for voice searching for stored content using uniterm discovery |
| US8996376B2 (en) | 2008-04-05 | 2015-03-31 | Apple Inc. | Intelligent text-to-speech conversion |
| US8315456B2 (en) | 2008-04-10 | 2012-11-20 | The Nielsen Company | Methods and apparatus for auditing signage |
| US10496753B2 (en) | 2010-01-18 | 2019-12-03 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| US20090319883A1 (en) * | 2008-06-19 | 2009-12-24 | Microsoft Corporation | Automatic Video Annotation through Search and Mining |
| US20100030549A1 (en) | 2008-07-31 | 2010-02-04 | Lee Michael M | Mobile device having human language translation capability with positional feedback |
| US8112802B2 (en) * | 2008-11-21 | 2012-02-07 | At&T Intellectual Property I, Lp | Verification of outsourced data streams |
| WO2010067118A1 (en) | 2008-12-11 | 2010-06-17 | Novauris Technologies Limited | Speech recognition involving a mobile device |
| US20100153366A1 (en) * | 2008-12-15 | 2010-06-17 | Motorola, Inc. | Assigning an indexing weight to a search term |
| US8737770B2 (en) * | 2009-02-16 | 2014-05-27 | Cisco Technology, Inc. | Method and apparatus for automatic mash-up generation |
| US9858925B2 (en) | 2009-06-05 | 2018-01-02 | Apple Inc. | Using context information to facilitate processing of commands in a virtual assistant |
| US10241644B2 (en) | 2011-06-03 | 2019-03-26 | Apple Inc. | Actionable reminder entries |
| US10241752B2 (en) | 2011-09-30 | 2019-03-26 | Apple Inc. | Interface for a virtual digital assistant |
| US10706373B2 (en) | 2011-06-03 | 2020-07-07 | Apple Inc. | Performing actions associated with task items that represent tasks to perform |
| US9431006B2 (en) | 2009-07-02 | 2016-08-30 | Apple Inc. | Methods and apparatuses for automatic speech recognition |
| US20110004473A1 (en) * | 2009-07-06 | 2011-01-06 | Nice Systems Ltd. | Apparatus and method for enhanced speech recognition |
| US8707381B2 (en) | 2009-09-22 | 2014-04-22 | Caption Colorado L.L.C. | Caption and/or metadata synchronization for replay of previously or simultaneously recorded live programs |
| JP4930564B2 (ja) * | 2009-09-24 | 2012-05-16 | カシオ計算機株式会社 | 画像表示装置及び方法並びにプログラム |
| US20130166303A1 (en) * | 2009-11-13 | 2013-06-27 | Adobe Systems Incorporated | Accessing media data using metadata repository |
| US8494852B2 (en) | 2010-01-05 | 2013-07-23 | Google Inc. | Word-level correction of speech input |
| US10553209B2 (en) | 2010-01-18 | 2020-02-04 | Apple Inc. | Systems and methods for hands-free notification summaries |
| US10679605B2 (en) | 2010-01-18 | 2020-06-09 | Apple Inc. | Hands-free list-reading by intelligent automated assistant |
| US10276170B2 (en) | 2010-01-18 | 2019-04-30 | Apple Inc. | Intelligent automated assistant |
| US10705794B2 (en) | 2010-01-18 | 2020-07-07 | Apple Inc. | Automatically adapting user interfaces for hands-free interaction |
| DE202011111062U1 (de) | 2010-01-25 | 2019-02-19 | Newvaluexchange Ltd. | Vorrichtung und System für eine Digitalkonversationsmanagementplattform |
| US8682667B2 (en) | 2010-02-25 | 2014-03-25 | Apple Inc. | User profiling for selecting user specific voice input processing information |
| US8903847B2 (en) * | 2010-03-05 | 2014-12-02 | International Business Machines Corporation | Digital media voice tags in social networks |
| KR101078862B1 (ko) * | 2010-04-01 | 2011-11-02 | 서울대학교산학협력단 | 사용주체의 가중치를 이용한 개념격자 기반 질의용어 매핑지원 시스템 및 방법 |
| JP5083367B2 (ja) * | 2010-04-27 | 2012-11-28 | カシオ計算機株式会社 | 検索装置、検索方法、ならびに、コンピュータプログラム |
| US8670983B2 (en) * | 2010-09-02 | 2014-03-11 | Nexidia Inc. | Speech signal similarity |
| US8880399B2 (en) * | 2010-09-27 | 2014-11-04 | Rosetta Stone, Ltd. | Utterance verification and pronunciation scoring by lattice transduction |
| US8831947B2 (en) * | 2010-11-07 | 2014-09-09 | Nice Systems Ltd. | Method and apparatus for large vocabulary continuous speech recognition using a hybrid phoneme-word lattice |
| US10762293B2 (en) | 2010-12-22 | 2020-09-01 | Apple Inc. | Using parts-of-speech tagging and named entity recognition for spelling correction |
| US9418152B2 (en) * | 2011-02-09 | 2016-08-16 | Nice-Systems Ltd. | System and method for flexible speech to text search mechanism |
| US9262612B2 (en) | 2011-03-21 | 2016-02-16 | Apple Inc. | Device access using voice authentication |
| US20120246238A1 (en) | 2011-03-21 | 2012-09-27 | International Business Machines Corporation | Asynchronous messaging tags |
| US8688090B2 (en) | 2011-03-21 | 2014-04-01 | International Business Machines Corporation | Data session preferences |
| US20120244842A1 (en) | 2011-03-21 | 2012-09-27 | International Business Machines Corporation | Data Session Synchronization With Phone Numbers |
| US10057736B2 (en) | 2011-06-03 | 2018-08-21 | Apple Inc. | Active transport based notifications |
| EP2707572A1 (en) * | 2011-06-24 | 2014-03-19 | Halliburton Energy Services, Inc. | Apparatus and methods of analysis of pipe and annulus in a wellbore |
| US8805869B2 (en) * | 2011-06-28 | 2014-08-12 | International Business Machines Corporation | Systems and methods for cross-lingual audio search |
| JP2013025299A (ja) * | 2011-07-26 | 2013-02-04 | Toshiba Corp | 書き起こし支援システムおよび書き起こし支援方法 |
| US8994660B2 (en) | 2011-08-29 | 2015-03-31 | Apple Inc. | Text correction processing |
| AU2011226985B2 (en) * | 2011-09-30 | 2014-05-01 | Canon Kabushiki Kaisha | Image retrieval method |
| WO2013115235A1 (ja) * | 2012-02-03 | 2013-08-08 | シャープ株式会社 | 出力システム、出力システムの制御方法、制御プログラム、および記録媒体 |
| JP5393816B2 (ja) * | 2012-02-08 | 2014-01-22 | 株式会社Ｎｔｔドコモ | 情報検索装置および情報検索方法 |
| US10134385B2 (en) | 2012-03-02 | 2018-11-20 | Apple Inc. | Systems and methods for name pronunciation |
| US9483461B2 (en) | 2012-03-06 | 2016-11-01 | Apple Inc. | Handling speech synthesis of content for multiple languages |
| US9280610B2 (en) | 2012-05-14 | 2016-03-08 | Apple Inc. | Crowd sourcing information to fulfill user requests |
| US11023520B1 (en) | 2012-06-01 | 2021-06-01 | Google Llc | Background audio identification for query disambiguation |
| US9721563B2 (en) | 2012-06-08 | 2017-08-01 | Apple Inc. | Name recognition system |
| US9495129B2 (en) | 2012-06-29 | 2016-11-15 | Apple Inc. | Device, method, and user interface for voice-activated navigation and browsing of a document |
| US20140039871A1 (en) * | 2012-08-02 | 2014-02-06 | Richard Henry Dana Crawford | Synchronous Texts |
| US9311914B2 (en) * | 2012-09-03 | 2016-04-12 | Nice-Systems Ltd | Method and apparatus for enhanced phonetic indexing and search |
| US9576574B2 (en) | 2012-09-10 | 2017-02-21 | Apple Inc. | Context-sensitive handling of interruptions by intelligent digital assistant |
| US9547647B2 (en) | 2012-09-19 | 2017-01-17 | Apple Inc. | Voice-based media searching |
| CN102855330B (zh) * | 2012-09-19 | 2015-07-08 | 东莞宇龙通信科技有限公司 | 搜索方法和系统、移动终端 |
| KR102516577B1 (ko) | 2013-02-07 | 2023-04-03 | 애플 인크. | 디지털 어시스턴트를 위한 음성 트리거 |
| US9368114B2 (en) | 2013-03-14 | 2016-06-14 | Apple Inc. | Context-sensitive handling of interruptions |
| WO2014144579A1 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | System and method for updating an adaptive speech recognition model |
| WO2014144949A2 (en) | 2013-03-15 | 2014-09-18 | Apple Inc. | Training an at least partial voice command system |
| US9916295B1 (en) * | 2013-03-15 | 2018-03-13 | Richard Henry Dana Crawford | Synchronous context alignments |
| WO2014197334A2 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for user-specified pronunciation of words for speech synthesis and recognition |
| US9582608B2 (en) | 2013-06-07 | 2017-02-28 | Apple Inc. | Unified ranking with entropy-weighted information for phrase-based semantic auto-completion |
| WO2014197336A1 (en) | 2013-06-07 | 2014-12-11 | Apple Inc. | System and method for detecting errors in interactions with a voice-based digital assistant |
| WO2014197335A1 (en) | 2013-06-08 | 2014-12-11 | Apple Inc. | Interpreting and acting upon commands that involve sharing information with remote devices |
| KR101922663B1 (ko) | 2013-06-09 | 2018-11-28 | 애플 인크. | 디지털 어시스턴트의 둘 이상의 인스턴스들에 걸친 대화 지속성을 가능하게 하기 위한 디바이스, 방법 및 그래픽 사용자 인터페이스 |
| US10176167B2 (en) | 2013-06-09 | 2019-01-08 | Apple Inc. | System and method for inferring user intent from speech inputs |
| EP3008964B1 (en) | 2013-06-13 | 2019-09-25 | Apple Inc. | System and method for emergency calls initiated by voice command |
| US9245523B2 (en) * | 2013-07-25 | 2016-01-26 | Nice-Systems Ltd | Method and apparatus for expansion of search queries on large vocabulary continuous speech recognition transcripts |
| WO2015020942A1 (en) | 2013-08-06 | 2015-02-12 | Apple Inc. | Auto-activating smart responses based on activities from remote devices |
| BR112016006860B8 (pt) * | 2013-09-13 | 2023-01-10 | Arris Entpr Inc | Aparelho e método para criar um único fluxo de dados de informações combinadas para renderização em um dispositivo de computação do cliente |
| KR101537370B1 (ko) * | 2013-11-06 | 2015-07-16 | 주식회사 시스트란인터내셔널 | 녹취된 음성 데이터에 대한 핵심어 추출 기반 발화 내용 파악 시스템과, 이 시스템을 이용한 인덱싱 방법 및 발화 내용 파악 방법 |
| US9384731B2 (en) * | 2013-11-06 | 2016-07-05 | Microsoft Technology Licensing, Llc | Detecting speech input phrase confusion risk |
| CN104170362B (zh) * | 2013-12-09 | 2017-07-14 | 华为终端有限公司 | 一种语音通信的信息交互方法和设备 |
| US9196243B2 (en) * | 2014-03-31 | 2015-11-24 | International Business Machines Corporation | Method and system for efficient spoken term detection using confusion networks |
| CN104978963A (zh) * | 2014-04-08 | 2015-10-14 | 富士通株式会社 | 语音识别装置、方法以及电子设备 |
| JP6400936B2 (ja) * | 2014-04-21 | 2018-10-03 | シノイースト・コンセプト・リミテッド | 音声検索方法、音声検索装置、並びに、音声検索装置用のプログラム |
| CA3077488C (en) * | 2014-04-27 | 2022-08-16 | Lg Electronics Inc. | Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal, and method for receiving broadcast signal |
| US9620105B2 (en) | 2014-05-15 | 2017-04-11 | Apple Inc. | Analyzing audio input for efficient speech and music recognition |
| US10592095B2 (en) | 2014-05-23 | 2020-03-17 | Apple Inc. | Instantaneous speaking of content on touch devices |
| US9502031B2 (en) | 2014-05-27 | 2016-11-22 | Apple Inc. | Method for supporting dynamic grammars in WFST-based ASR |
| US9715875B2 (en) | 2014-05-30 | 2017-07-25 | Apple Inc. | Reducing the need for manual start/end-pointing and trigger phrases |
| US9633004B2 (en) | 2014-05-30 | 2017-04-25 | Apple Inc. | Better resolution when referencing to concepts |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US10078631B2 (en) | 2014-05-30 | 2018-09-18 | Apple Inc. | Entropy-guided text prediction using combined word and character n-gram language models |
| US9785630B2 (en) | 2014-05-30 | 2017-10-10 | Apple Inc. | Text prediction using combined word N-gram and unigram language models |
| US9734193B2 (en) | 2014-05-30 | 2017-08-15 | Apple Inc. | Determining domain salience ranking from ambiguous words in natural speech |
| US9842101B2 (en) | 2014-05-30 | 2017-12-12 | Apple Inc. | Predictive conversion of language input |
| WO2015184186A1 (en) | 2014-05-30 | 2015-12-03 | Apple Inc. | Multi-command single utterance input method |
| US10289433B2 (en) | 2014-05-30 | 2019-05-14 | Apple Inc. | Domain specific language for encoding assistant dialog |
| US9430463B2 (en) | 2014-05-30 | 2016-08-30 | Apple Inc. | Exemplar-based natural language processing |
| US9760559B2 (en) | 2014-05-30 | 2017-09-12 | Apple Inc. | Predictive text input |
| US10659851B2 (en) | 2014-06-30 | 2020-05-19 | Apple Inc. | Real-time digital assistant knowledge updates |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| CN105320510B (zh) * | 2014-07-29 | 2018-10-26 | 上海爱韦讯信息技术股份有限公司 | 一种自动追踪数据关系的方法及装置 |
| AU2015305397A1 (en) * | 2014-08-21 | 2017-03-16 | Jobu Productions | Lexical dialect analysis system |
| US20160062979A1 (en) * | 2014-08-27 | 2016-03-03 | Google Inc. | Word classification based on phonetic features |
| US10446141B2 (en) | 2014-08-28 | 2019-10-15 | Apple Inc. | Automatic speech recognition based on user feedback |
| US9818400B2 (en) | 2014-09-11 | 2017-11-14 | Apple Inc. | Method and apparatus for discovering trending terms in speech requests |
| US10789041B2 (en) | 2014-09-12 | 2020-09-29 | Apple Inc. | Dynamic thresholds for always listening speech trigger |
| US9646609B2 (en) | 2014-09-30 | 2017-05-09 | Apple Inc. | Caching apparatus for serving phonetic pronunciations |
| US9886432B2 (en) | 2014-09-30 | 2018-02-06 | Apple Inc. | Parsimonious handling of word inflection via categorical stem + suffix N-gram language models |
| US10074360B2 (en) | 2014-09-30 | 2018-09-11 | Apple Inc. | Providing an indication of the suitability of speech recognition |
| US9668121B2 (en) | 2014-09-30 | 2017-05-30 | Apple Inc. | Social reminders |
| US10127911B2 (en) | 2014-09-30 | 2018-11-13 | Apple Inc. | Speaker identification and unsupervised speaker adaptation techniques |
| US9530404B2 (en) | 2014-10-06 | 2016-12-27 | Intel Corporation | System and method of automatic speech recognition using on-the-fly word lattice generation with word histories |
| US10552013B2 (en) | 2014-12-02 | 2020-02-04 | Apple Inc. | Data detection |
| US9711141B2 (en) | 2014-12-09 | 2017-07-18 | Apple Inc. | Disambiguating heteronyms in speech synthesis |
| US9865280B2 (en) | 2015-03-06 | 2018-01-09 | Apple Inc. | Structured dictation using intelligent automated assistants |
| US9721566B2 (en) | 2015-03-08 | 2017-08-01 | Apple Inc. | Competing devices responding to voice triggers |
| US9886953B2 (en) | 2015-03-08 | 2018-02-06 | Apple Inc. | Virtual assistant activation |
| US10567477B2 (en) | 2015-03-08 | 2020-02-18 | Apple Inc. | Virtual assistant continuity |
| US9899019B2 (en) | 2015-03-18 | 2018-02-20 | Apple Inc. | Systems and methods for structured stem and suffix language models |
| US9842105B2 (en) | 2015-04-16 | 2017-12-12 | Apple Inc. | Parsimonious continuous-space phrase representations for natural language processing |
| EP3089159B1 (en) | 2015-04-28 | 2019-08-28 | Google LLC | Correcting voice recognition using selective re-speak |
| US10083688B2 (en) | 2015-05-27 | 2018-09-25 | Apple Inc. | Device voice control for selecting a displayed affordance |
| US10127220B2 (en) | 2015-06-04 | 2018-11-13 | Apple Inc. | Language identification from short strings |
| US9578173B2 (en) | 2015-06-05 | 2017-02-21 | Apple Inc. | Virtual assistant aided communication with 3rd party service in a communication session |
| US10101822B2 (en) | 2015-06-05 | 2018-10-16 | Apple Inc. | Language input correction |
| US10186254B2 (en) | 2015-06-07 | 2019-01-22 | Apple Inc. | Context-based endpoint detection |
| US10255907B2 (en) | 2015-06-07 | 2019-04-09 | Apple Inc. | Automatic accent detection using acoustic models |
| US11025565B2 (en) | 2015-06-07 | 2021-06-01 | Apple Inc. | Personalized prediction of responses for instant messaging |
| US10332506B2 (en) * | 2015-09-02 | 2019-06-25 | Oath Inc. | Computerized system and method for formatted transcription of multimedia content |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US10671428B2 (en) | 2015-09-08 | 2020-06-02 | Apple Inc. | Distributed personal assistant |
| US9697820B2 (en) | 2015-09-24 | 2017-07-04 | Apple Inc. | Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks |
| CN105335466A (zh) * | 2015-09-25 | 2016-02-17 | 百度在线网络技术（北京）有限公司 | 一种音频数据的检索方法与装置 |
| US10366158B2 (en) | 2015-09-29 | 2019-07-30 | Apple Inc. | Efficient word encoding for recurrent neural network language models |
| US11010550B2 (en) | 2015-09-29 | 2021-05-18 | Apple Inc. | Unified language modeling framework for word prediction, auto-completion and auto-correction |
| US11587559B2 (en) | 2015-09-30 | 2023-02-21 | Apple Inc. | Intelligent device identification |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US10430407B2 (en) | 2015-12-02 | 2019-10-01 | International Business Machines Corporation | Generating structured queries from natural language text |
| US10049668B2 (en) | 2015-12-02 | 2018-08-14 | Apple Inc. | Applying neural network language models to weighted finite state transducers for automatic speech recognition |
| US10223066B2 (en) | 2015-12-23 | 2019-03-05 | Apple Inc. | Proactive assistance based on dialog communication between devices |
| KR102468763B1 (ko) * | 2016-02-05 | 2022-11-18 | 삼성전자 주식회사 | 영상처리장치 및 그 제어방법 |
| US10446143B2 (en) | 2016-03-14 | 2019-10-15 | Apple Inc. | Identification of voice inputs providing credentials |
| US10860638B2 (en) * | 2016-04-07 | 2020-12-08 | Uday Gorrepati | System and method for interactive searching of transcripts and associated audio/visual/textual/other data files |
| US9934775B2 (en) | 2016-05-26 | 2018-04-03 | Apple Inc. | Unit-selection text-to-speech synthesis based on predicted concatenation parameters |
| US9972304B2 (en) | 2016-06-03 | 2018-05-15 | Apple Inc. | Privacy preserving distributed evaluation framework for embedded personalized systems |
| US10249300B2 (en) | 2016-06-06 | 2019-04-02 | Apple Inc. | Intelligent list reading |
| US10049663B2 (en) | 2016-06-08 | 2018-08-14 | Apple, Inc. | Intelligent automated assistant for media exploration |
| DK179588B1 (en) | 2016-06-09 | 2019-02-22 | Apple Inc. | INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT |
| US10192552B2 (en) | 2016-06-10 | 2019-01-29 | Apple Inc. | Digital assistant providing whispered speech |
| US10586535B2 (en) | 2016-06-10 | 2020-03-10 | Apple Inc. | Intelligent digital assistant in a multi-tasking environment |
| US10509862B2 (en) | 2016-06-10 | 2019-12-17 | Apple Inc. | Dynamic phrase expansion of language input |
| US10490187B2 (en) | 2016-06-10 | 2019-11-26 | Apple Inc. | Digital assistant providing automated status report |
| US10067938B2 (en) | 2016-06-10 | 2018-09-04 | Apple Inc. | Multilingual word prediction |
| DK201670540A1 (en) | 2016-06-11 | 2018-01-08 | Apple Inc | Application integration with a digital assistant |
| DK179049B1 (en) | 2016-06-11 | 2017-09-18 | Apple Inc | Data driven natural language event detection and classification |
| DK179415B1 (en) | 2016-06-11 | 2018-06-14 | Apple Inc | Intelligent device arbitration and control |
| DK179343B1 (en) | 2016-06-11 | 2018-05-14 | Apple Inc | Intelligent task discovery |
| US10043516B2 (en) | 2016-09-23 | 2018-08-07 | Apple Inc. | Intelligent automated assistant |
| US10593346B2 (en) | 2016-12-22 | 2020-03-17 | Apple Inc. | Rank-reduced token representation for automatic speech recognition |
| DK201770439A1 (en) | 2017-05-11 | 2018-12-13 | Apple Inc. | Offline personal assistant |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK179745B1 (en) | 2017-05-12 | 2019-05-01 | Apple Inc. | SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT |
| DK201770431A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | Optimizing dialogue policy decisions for digital assistants using implicit feedback |
| DK201770432A1 (en) | 2017-05-15 | 2018-12-21 | Apple Inc. | Hierarchical belief states for digital assistants |
| DK179560B1 (en) | 2017-05-16 | 2019-02-18 | Apple Inc. | FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES |
| GB201713728D0 (en) * | 2017-08-25 | 2017-10-11 | Just Eat Holding Ltd | System and method of language processing |
| KR102452644B1 (ko) * | 2017-10-31 | 2022-10-11 | 삼성전자주식회사 | 전자 장치, 음성 인식 방법 및 기록 매체 |
| US11140450B2 (en) * | 2017-11-28 | 2021-10-05 | Rovi Guides, Inc. | Methods and systems for recommending content in context of a conversation |
| KR102468214B1 (ko) * | 2018-02-19 | 2022-11-17 | 삼성전자주식회사 | 사용자의 발화를 기반으로 컨텐츠를 제공하는 장치 및 시스템 |
| WO2020053862A1 (en) * | 2018-09-13 | 2020-03-19 | Ichannel.Io Ltd. | A system and computerized method for subtitles synchronization of audiovisual content using the human voice detection for synchronization |
| US10856041B2 (en) * | 2019-03-18 | 2020-12-01 | Disney Enterprises, Inc. | Content promotion using a conversational agent |
| US11270123B2 (en) * | 2019-10-22 | 2022-03-08 | Palo Alto Research Center Incorporated | System and method for generating localized contextual video annotation |
| KR20210100368A (ko) * | 2020-02-06 | 2021-08-17 | 삼성전자주식회사 | 전자장치 및 그 제어방법 |
| US11032620B1 (en) * | 2020-02-14 | 2021-06-08 | Sling Media Pvt Ltd | Methods, systems, and apparatuses to respond to voice requests to play desired video clips in streamed media based on matched close caption and sub-title text |
| US11683558B2 (en) * | 2021-06-29 | 2023-06-20 | The Nielsen Company (Us), Llc | Methods and apparatus to determine the speed-up of media programs using speech recognition |
| US11736773B2 (en) * | 2021-10-15 | 2023-08-22 | Rovi Guides, Inc. | Interactive pronunciation learning system |
| US11902690B2 (en) * | 2021-10-27 | 2024-02-13 | Microsoft Technology Licensing, Llc | Machine learning driven teleprompter |
| US11785278B1 (en) * | 2022-03-18 | 2023-10-10 | Comcast Cable Communications, Llc | Methods and systems for synchronization of closed captions with content output |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0233200A (ja) * | 1988-07-22 | 1990-02-02 | Mitsubishi Electric Corp | データベース検索方式 |
| WO1997009683A1 (fr) * | 1995-09-01 | 1997-03-13 | Hitachi, Ltd. | Systeme de mediatisation d'informations multimedia contenant des informations audio |
| JPH10177469A (ja) * | 1996-12-16 | 1998-06-30 | Casio Comput Co Ltd | 移動端末音声認識／データベース検索／リソースアクセス通信システム |
Family Cites Families (79)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4227176A (en) * | 1978-04-27 | 1980-10-07 | Dialog Systems, Inc. | Continuous speech recognition method |
| JPS59226400A (ja) | 1983-06-07 | 1984-12-19 | 松下電器産業株式会社 | 音声認識装置 |
| US5131043A (en) | 1983-09-05 | 1992-07-14 | Matsushita Electric Industrial Co., Ltd. | Method of and apparatus for speech recognition wherein decisions are made based on phonemes |
| FR2554623B1 (fr) | 1983-11-08 | 1986-08-14 | Texas Instruments France | Procede d'analyse de la parole independant du locuteur |
| US4980918A (en) * | 1985-05-09 | 1990-12-25 | International Business Machines Corporation | Speech recognition system with efficient storage and rapid assembly of phonological graphs |
| US4903305A (en) | 1986-05-12 | 1990-02-20 | Dragon Systems, Inc. | Method for representing word models for use in speech recognition |
| JP2739945B2 (ja) | 1987-12-24 | 1998-04-15 | 株式会社東芝 | 音声認識方法 |
| US5075896A (en) | 1989-10-25 | 1991-12-24 | Xerox Corporation | Character and phoneme recognition based on probability clustering |
| US6236964B1 (en) | 1990-02-01 | 2001-05-22 | Canon Kabushiki Kaisha | Speech recognition apparatus and method for matching inputted speech and a word generated from stored referenced phoneme data |
| US5136655A (en) * | 1990-03-26 | 1992-08-04 | Hewlett-Pacard Company | Method and apparatus for indexing and retrieving audio-video data |
| US5202952A (en) | 1990-06-22 | 1993-04-13 | Dragon Systems, Inc. | Large-vocabulary continuous speech prefiltering and processing system |
| US5345536A (en) * | 1990-12-21 | 1994-09-06 | Matsushita Electric Industrial Co., Ltd. | Method of speech recognition |
| US5205952A (en) * | 1991-02-22 | 1993-04-27 | Nl Industries, Inc. | Methods for controlling airborne dissemination of lead and lead-contaminated fines during the storage and processing of lead-contaminated materials |
| US5390278A (en) | 1991-10-08 | 1995-02-14 | Bell Canada | Phoneme based speech recognition |
| US5333275A (en) | 1992-06-23 | 1994-07-26 | Wheatley Barbara J | System and method for time aligning speech |
| US5625554A (en) * | 1992-07-20 | 1997-04-29 | Xerox Corporation | Finite-state transduction of related word forms for text indexing and retrieval |
| EP0583559B1 (en) | 1992-07-31 | 2004-02-25 | International Business Machines Corporation | Finding token sequences in a database of token strings |
| EP0597798A1 (en) * | 1992-11-13 | 1994-05-18 | International Business Machines Corporation | Method and system for utilizing audible search patterns within a multimedia presentation |
| AU5803394A (en) * | 1992-12-17 | 1994-07-04 | Bell Atlantic Network Services, Inc. | Mechanized directory assistance |
| US5467425A (en) | 1993-02-26 | 1995-11-14 | International Business Machines Corporation | Building scalable N-gram language models using maximum likelihood maximum entropy N-gram models |
| US5787414A (en) * | 1993-06-03 | 1998-07-28 | Kabushiki Kaisha Toshiba | Data retrieval system using secondary information of primary data to be retrieved as retrieval key |
| EP0645757B1 (en) * | 1993-09-23 | 2000-04-05 | Xerox Corporation | Semantic co-occurrence filtering for speech recognition and signal transcription applications |
| JP2986345B2 (ja) * | 1993-10-18 | 1999-12-06 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 音声記録指標化装置及び方法 |
| SE513456C2 (sv) | 1994-05-10 | 2000-09-18 | Telia Ab | Metod och anordning vid tal- till textomvandling |
| IT1272259B (it) | 1994-05-30 | 1997-06-16 | Texas Instruments Italia Spa | Procedimento ed apparecchio per il riconoscimento dei caratteri |
| JP3260979B2 (ja) | 1994-07-15 | 2002-02-25 | 株式会社リコー | 文字認識方法 |
| US5799267A (en) | 1994-07-22 | 1998-08-25 | Siegel; Steven H. | Phonic engine |
| US5737723A (en) | 1994-08-29 | 1998-04-07 | Lucent Technologies Inc. | Confusable word detection in speech recognition |
| US5835667A (en) | 1994-10-14 | 1998-11-10 | Carnegie Mellon University | Method and apparatus for creating a searchable digital video library and a system and method of using such a library |
| EP0789901B1 (en) | 1994-11-01 | 2000-01-05 | BRITISH TELECOMMUNICATIONS public limited company | Speech recognition |
| US5680605A (en) | 1995-02-07 | 1997-10-21 | Torres; Robert J. | Method and apparatus for searching a large volume of data with a pointer-based device in a data processing system |
| WO1996027872A1 (en) | 1995-03-07 | 1996-09-12 | British Telecommunications Public Limited Company | Speech recognition |
| CA2170669A1 (en) * | 1995-03-24 | 1996-09-25 | Fernando Carlos Neves Pereira | Grapheme-to phoneme conversion with weighted finite-state transducers |
| US5675706A (en) | 1995-03-31 | 1997-10-07 | Lucent Technologies Inc. | Vocabulary independent discriminative utterance verification for non-keyword rejection in subword based speech recognition |
| US5729741A (en) * | 1995-04-10 | 1998-03-17 | Golden Enterprises, Inc. | System for storage and retrieval of diverse types of information obtained from different media sources which includes video, audio, and text transcriptions |
| EP0769184B1 (en) | 1995-05-03 | 2000-04-26 | Koninklijke Philips Electronics N.V. | Speech recognition methods and apparatus on the basis of the modelling of new words |
| US6070140A (en) | 1995-06-05 | 2000-05-30 | Tran; Bao Q. | Speech recognizer |
| JPH0916598A (ja) | 1995-07-03 | 1997-01-17 | Fujitsu Ltd | エラー・パターンを用いた文字列修正システムおよび方法 |
| US5721939A (en) * | 1995-08-03 | 1998-02-24 | Xerox Corporation | Method and apparatus for tokenizing text |
| US5684925A (en) | 1995-09-08 | 1997-11-04 | Matsushita Electric Industrial Co., Ltd. | Speech representation by feature-based word prototypes comprising phoneme targets having reliable high similarity |
| US5737489A (en) | 1995-09-15 | 1998-04-07 | Lucent Technologies Inc. | Discriminative utterance verification for connected digits recognition |
| JPH09128396A (ja) | 1995-11-06 | 1997-05-16 | Hitachi Ltd | 対訳辞書作成方法 |
| US6567778B1 (en) | 1995-12-21 | 2003-05-20 | Nuance Communications | Natural language speech recognition using slot semantic confidence scores related to their word recognition confidence scores |
| US5960395A (en) | 1996-02-09 | 1999-09-28 | Canon Kabushiki Kaisha | Pattern matching method, apparatus and computer readable memory medium for speech recognition using dynamic programming |
| US5963903A (en) * | 1996-06-28 | 1999-10-05 | Microsoft Corporation | Method and system for dynamically adjusted training for speech recognition |
| KR980011719A (ko) * | 1996-07-31 | 1998-04-30 | 구자홍 | 문장 텍스트 데이터 베이스 발생방법 |
| GB2302199B (en) | 1996-09-24 | 1997-05-14 | Allvoice Computing Plc | Data processing method and apparatus |
| US5870740A (en) * | 1996-09-30 | 1999-02-09 | Apple Computer, Inc. | System and method for improving the ranking of information retrieval results for short queries |
| US5708759A (en) | 1996-11-19 | 1998-01-13 | Kemeny; Emanuel S. | Speech recognition using phoneme waveform parameters |
| US6172675B1 (en) * | 1996-12-05 | 2001-01-09 | Interval Research Corporation | Indirect manipulation of data using temporally related data, with particular application to manipulation of audio or audiovisual data |
| US5852822A (en) | 1996-12-09 | 1998-12-22 | Oracle Corporation | Index-only tables with nested group keys |
| EP0849723A3 (en) | 1996-12-20 | 1998-12-30 | ATR Interpreting Telecommunications Research Laboratories | Speech recognition apparatus equipped with means for removing erroneous candidate of speech recognition |
| JP3402100B2 (ja) * | 1996-12-27 | 2003-04-28 | カシオ計算機株式会社 | 音声制御ホスト装置 |
| US6122613A (en) | 1997-01-30 | 2000-09-19 | Dragon Systems, Inc. | Speech recognition using multiple recognizers (selectively) applied to the same input sample |
| WO1998047084A1 (en) | 1997-04-17 | 1998-10-22 | Sharp Kabushiki Kaisha | A method and system for object-based video description and linking |
| WO1999005681A1 (de) | 1997-07-23 | 1999-02-04 | Siemens Aktiengesellschaft | Verfahren zum abspeichern von suchmerkmalen einer bildsequenz und zugriff auf eine bildfolge in der bildsequenz |
| CA2303312A1 (en) | 1997-09-24 | 1999-04-01 | Guido Gallopyn | Apparatus and method for distinguishing similar-sounding utterances in speech recognition |
| US6026398A (en) | 1997-10-16 | 2000-02-15 | Imarket, Incorporated | System and methods for searching and matching databases |
| US6061679A (en) | 1997-11-25 | 2000-05-09 | International Business Machines Corporation | Creating and searching a data structure ordered by ranges of key masks associated with the data structure |
| US5983177A (en) | 1997-12-18 | 1999-11-09 | Nortel Networks Corporation | Method and apparatus for obtaining transcriptions from multiple training utterances |
| US6289140B1 (en) | 1998-02-19 | 2001-09-11 | Hewlett-Packard Company | Voice control input for portable capture devices |
| US6182039B1 (en) | 1998-03-24 | 2001-01-30 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus using probabilistic language model based on confusable sets for speech recognition |
| US6243680B1 (en) | 1998-06-15 | 2001-06-05 | Nortel Networks Limited | Method and apparatus for obtaining a transcription of phrases through text and spoken utterances |
| US6321226B1 (en) * | 1998-06-30 | 2001-11-20 | Microsoft Corporation | Flexible keyboard searching |
| US6192337B1 (en) | 1998-08-14 | 2001-02-20 | International Business Machines Corporation | Apparatus and methods for rejecting confusible words during training associated with a speech recognition system |
| US6490563B2 (en) | 1998-08-17 | 2002-12-03 | Microsoft Corporation | Proofreading with text to speech feedback |
| DE19842404A1 (de) | 1998-09-16 | 2000-03-23 | Philips Corp Intellectual Pty | Verfahren zur Schätzung von Auftrittswahrscheinlichkeiten für Sprachvokabularelemente |
| AU1520000A (en) | 1998-11-25 | 2000-06-13 | Sony Electronics Inc. | Method and apparatus for very large vocabulary isolated word recognition in a parameter sharing speech recognition system |
| KR100828884B1 (ko) | 1999-03-05 | 2008-05-09 | 캐논 가부시끼가이샤 | 데이터베이스 주석 및 검색 |
| US6463413B1 (en) | 1999-04-20 | 2002-10-08 | Matsushita Electrical Industrial Co., Ltd. | Speech recognition training for small hardware devices |
| GB2349260B (en) | 1999-04-23 | 2003-05-28 | Canon Kk | Training apparatus and method |
| US6662180B1 (en) | 1999-05-12 | 2003-12-09 | Matsushita Electric Industrial Co., Ltd. | Method for searching in large databases of automatically recognized text |
| US6567816B1 (en) | 2000-03-07 | 2003-05-20 | Paramesh Sampatrai Desai | Method, system, and program for extracting data from database records using dynamic code |
| US6535850B1 (en) | 2000-03-09 | 2003-03-18 | Conexant Systems, Inc. | Smart training and smart scoring in SD speech recognition system with user defined vocabulary |
| US7035790B2 (en) | 2000-06-02 | 2006-04-25 | Canon Kabushiki Kaisha | Speech processing system |
| US6954745B2 (en) | 2000-06-02 | 2005-10-11 | Canon Kabushiki Kaisha | Signal processing system |
| US7010483B2 (en) | 2000-06-02 | 2006-03-07 | Canon Kabushiki Kaisha | Speech processing system |
| US20020026253A1 (en) | 2000-06-02 | 2002-02-28 | Rajan Jebu Jacob | Speech processing apparatus |
| US7072833B2 (en) | 2000-06-02 | 2006-07-04 | Canon Kabushiki Kaisha | Speech processing system |
-
2000
- 2000-03-01 KR KR1020017011250A patent/KR100828884B1/ko not_active IP Right Cessation
- 2000-03-01 CA CA002366057A patent/CA2366057C/en not_active Expired - Fee Related
- 2000-03-01 WO PCT/GB2000/000718 patent/WO2000054168A2/en active IP Right Grant
- 2000-03-01 EP EP00906518A patent/EP1159688A2/en not_active Withdrawn
- 2000-03-01 JP JP2000604324A patent/JP2002539528A/ja active Pending
- 2000-03-01 AU AU28177/00A patent/AU777693B2/en not_active Ceased
- 2000-03-01 CN CN008046743A patent/CN1343337B/zh not_active Expired - Fee Related
-
2001
- 2001-08-23 US US09/934,799 patent/US6990448B2/en not_active Expired - Fee Related
-
2005
- 2005-01-28 AU AU2005200340A patent/AU2005200340B2/en not_active Ceased
- 2005-09-22 US US11/231,739 patent/US7257533B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0233200A (ja) * | 1988-07-22 | 1990-02-02 | Mitsubishi Electric Corp | データベース検索方式 |
| WO1997009683A1 (fr) * | 1995-09-01 | 1997-03-13 | Hitachi, Ltd. | Systeme de mediatisation d'informations multimedia contenant des informations audio |
| JPH10177469A (ja) * | 1996-12-16 | 1998-06-30 | Casio Comput Co Ltd | 移動端末音声認識／データベース検索／リソースアクセス通信システム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006065675A (ja) * | 2004-08-27 | 2006-03-09 | Canon Inc | データ検索方法および装置 |
| JP4587165B2 (ja) * | 2004-08-27 | 2010-11-24 | キヤノン株式会社 | 情報処理装置及びその制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2000054168A3 (en) | 2000-12-14 |
| US7257533B2 (en) | 2007-08-14 |
| KR100828884B1 (ko) | 2008-05-09 |
| CA2366057A1 (en) | 2000-09-14 |
| CN1343337A (zh) | 2002-04-03 |
| AU2005200340B2 (en) | 2007-12-06 |
| CN1343337B (zh) | 2013-03-20 |
| AU2817700A (en) | 2000-09-28 |
| AU777693B2 (en) | 2004-10-28 |
| WO2000054168A2 (en) | 2000-09-14 |
| US20060015339A1 (en) | 2006-01-19 |
| EP1159688A2 (en) | 2001-12-05 |
| US6990448B2 (en) | 2006-01-24 |
| AU2005200340A1 (en) | 2005-02-24 |
| KR20010108308A (ko) | 2001-12-07 |
| CA2366057C (en) | 2009-03-24 |
| US20020052740A1 (en) | 2002-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002539528A (ja) | データベース注釈付け及び検索 | |
| US7240003B2 (en) | Database annotation and retrieval | |
| US6873993B2 (en) | Indexing method and apparatus | |
| US7054812B2 (en) | Database annotation and retrieval | |
| US20070038450A1 (en) | Lattice matching | |
| US20060264209A1 (en) | Storing and retrieving multimedia data and associated annotation data in mobile telephone system | |
| JP2008083855A (ja) | 機械翻訳を行う装置、システム、方法およびプログラム | |
| JPWO2008114811A1 (ja) | 情報検索システム、情報検索方法及び情報検索用プログラム | |
| JP2009216986A (ja) | 音声データ検索システム及び音声データの検索方法 | |
| EP2135180A1 (en) | Method and apparatus for distributed voice searching | |
| WO2005104093A2 (en) | System and method for utilizing speech recognition to efficiently perform data indexing procedures | |
| JP2003255992A (ja) | 対話システムおよびその制御方法 | |
| KR20060100646A (ko) | 영상물의 특정 위치를 검색하는 방법 및 영상 검색 시스템 | |
| Robert-Ribes et al. | Automatic generation of hyperlinks between audio and transcript. | |
| JPH06175698A (ja) | 音声検索装置 | |
| Adell Mercado et al. | Buceador, a multi-language search engine for digital libraries | |
| JPH07105235A (ja) | 画像検索方法及び画像検索装置 | |
| JPH09146977A (ja) | データ検索装置 | |
| Ajmera et al. | A Cross-Lingual Spoken Content Search System. | |
| Novak et al. | Evaluation of a WFST-based ASR system for train timetable information | |
| Sherry | Photo annotation and retrieval through speech |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070301 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091030 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091228 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100312 |