JP2006503329A - 音声データを再生するための装置、方法、およびコンピュータプログラム - Google Patents

Abstract

単語から構成されたテキストからのテキストデータ（Ｔｉ）に対応する、メモリ手段（１９）に記憶された音声データ（Ａｉ）の再生であって、音声データ（Ａｉ）の順方向モードおよび逆方向モードでの再生を制御することのできる再生の間に、音声データ（Ａｉ）中の特定の一時点の再生位置から開始して、ターゲット位置へ向かって、少なくとも約２つの単語分の長さに相当する戻り距離（１Ａ、２Ａ、３Ａ、６Ａ）に亘り、順方向シーケンスと反対向きの逆方向ジャンプが、逆方向モードでの音声データ（Ａｉ）の再生のために自動的に始動され、その後、その特定のターゲット位置から開始して、戻り距離の一部（１Ｂ、２Ｂ、３Ｂ、６Ｂ）のみについて、順方向シーケンスでの音声データ（Ａｉ）の再生が行われる。

Description

本発明は、単語から構成されたテキストからのテキストデータに対応する音声データを再生するための装置であって、記憶されるべき音声データをそのメモリ手段内に順方向シーケンスで読み込むことができる、音声データを記憶するためのメモリ手段と、記憶された音声データの、順方向モードおよび逆方向モードでの再生を制御する制御手段と、音声再生手段とを有する装置に関するものである。

本発明はまた、記憶されるべき音声データが順方向シーケンスで読み込まれるメモリ手段内に記憶された音声データであり、単語から構成されたテキストからのテキストデータに対応する音声データを再生するための方法であって、音声データの、順方向モードおよび逆方向モードでの再生を制御することができる方法にも関するものである。

本発明はさらに、コンピュータプログラム、およびこの種のコンピュータプログラムを実行するためのコンピュータにも関するものである。

テキストの手動または自動による文字化、とりわけ音声認識システムを用いて自動的に文字化されたテキストを修正する際には、口述されて音声データの形態でデジタル記憶されたテキストを、たとえばヘッドホン等の音声再生手段を用いて聞くのが普通である。その際、テキストが既に文字化されており修正を要する場合には、記憶された音声データに対応する、既にテキストファイルとして記憶されたテキストが、たとえばコンピュータワークステーションのモニター等のテキスト表示手段を用いて、同時に表示されるかもしれない。とりわけ、互いに対応する音声データおよびテキストデータに、たとえば単語の始点を示す対応の単語マーキングデータであって、互いに対応（すなわち一致）する音声データとテキストデータとが音響的および視覚的に順方向モードで同期再生されるように、それらの音声データとテキストデータとを表示する、リンクデータとしての単語マーキングデータが供給されることも知られている。この目的に適した１つの技術が、たとえば国際公開ＷＯ０１／４６８５３ Ａ１号に記載されている。また、現在音響再生されている特定の単語が、視覚的に表示されているテキスト部分内で視覚的に強調されることも知られている。このことも、単語マーキングデータすなわちリンクデータによって形成された制御データを用いて実現され得る。

単語の聞取りおよび表示を互いに関連付けて行うことは、順方向モードおよび順方向シーケンスでのみ可能とされる。仮に、一時点の再生位置から開始して、順方向シーケンスと反対向きに前のテキスト位置に戻る動作が生じると、音声の再生も同時にアクティブ状態とされてもよいが、この音声の再生も同様に順方向シーケンスと反対向きになるため、理解不能な形態となる。たとえば口述が自動または手動により文字化され、文字化と修正（修正が適用可能である場合）とを担当する人物が、口述を行った人物と異なる場合、文字化を担当する人物は、前のテキスト位置への戻りに非常に苛立ちを感じる。これは、文字化を担当する人物は、口述されたテキストが全く分からず、かつ、メモリ手段内にデジタル形式で記憶された音声データが、利用可能なソフトウェアに応じて、順方向シーケンスと反対向きに、理解不能な形態で、文字化を担当する人物に高速で連続して提示されるためである。そのため、文字化を担当する人物は、順方向シーケンスでの再生に手動で切り換えて、口述された問題の節の聞取りを行わなければならず、前もって自動的な文字化が行われた場合には、対応するテキストの単語を目で確認しなくてはならない。この場合、視覚的に表示されたテキストと同期させられた音声再生は、この順方向モードにおいてのみ可能である。このことは、比較的大きな時間投入量を意味し、その結果、テキストの処理を行っている人物の集中力が落ちてしまうかもしれない。テキストの処理を行っている人物の処理能率も、悪影響を受ける。

米国特許出願公開２００２／００６２２１４ Ａ１号には、単語のグループがコンピュータのモニター上に表示され、異なる作業工程の制御のために、切換フィールドが提供されたテキストマーキングシステムが記載されている。これにより、テキストの１つの行において視覚的に強調されてマーキングされた単語から、その直前の単語またはその直後の単語へのジャンプの発生を可能とし、その単語を視覚的に強調すると同時に音響再生するため、別個にアクティブ状態とされた２つの切換フィールドが提供される。しかしながら、ある特定の単語から開始して、たとえば１０単語または２０単語前といった、その単語より前に比較的遠くはなれたテキスト位置が探索される場合には、適当な切換フィールドにおいて手動で繰返しクリック操作を行う必要があるため、この制御システムは、非常な労力および時間を要するものである。

本発明の１つの目的は、上記の状況を改善し、処理を担当する人物の側において、最小限の可能な手動制御操作を必要とする、記憶された音声データ内の口述されたテキスト節の、高速かつターゲットを絞った探索を可能とする装置および方法を実現することである。

上記の目的を達成するため、本発明の第１の側面によれば、本発明は、単語から構成されたテキストからのテキストデータに対応する記憶された音声データを再生するための装置であって、記憶されるべき音声データをそのメモリ手段内に順方向シーケンスで読み込むことができる、音声データを記憶するためのメモリ手段と、記憶された音声データの、順方向モードおよび逆方向モードでの再生を制御する制御手段と、音声再生手段とを有し、逆方向モードでの音声データの再生の間に、その音声データ中の特定の一時点の再生位置から開始して、ターゲット位置へ向かって、少なくとも約２つの単語分の長さに相当する戻り距離に亘り、順方向シーケンスと反対向きの逆方向ジャンプを自動的に始動させ、その後、その特定のターゲット位置から開始して、上記の戻り距離の一部のみについて、順方向シーケンスでの音声データの再生を始動させるように、上記の制御手段が設定されている装置を提供する。

本発明の第２の側面によれば、本発明は、記憶されるべき音声データが順方向シーケンスで読み込まれるメモリ手段内に記憶された音声データであり、単語から構成されたテキストからのテキストデータに対応する音声データを再生するための方法であって、音声データの、順方向モードおよび逆方向モードでの再生を制御することができ、逆方向モードでの音声データの再生の間に、その音声データ中の特定の一時点の再生位置から開始して、ターゲット位置へ向かって、少なくとも約２つの単語分の長さに相当する戻り距離に亘り、順方向シーケンスと反対向きの逆方向ジャンプが自動的に生じ、その後、その特定のターゲット位置から開始して、上記の戻り距離の一部のみについて、順方向シーケンスでの再生が行われる方法を提供する。

本発明に係る方法を用いれば、音声データ内の特定のテキスト節の探索を、従来技術の場合よりも速く、かつ効率的に行うことができる。たとえば仮に、ある人物がテキストの文字化または修正を行っている際、あるテキスト位置に到達したときに、その人物が、文字化または修正途中のテキスト内の、１０単語分または２０単語分前にあった既に文字化または修正したテキスト位置において、明確さの欠如、矛盾、または間違いがあったかもしれないと認識する問題が生じたとする。その場合、コンピュータによる支援により、テキスト内のさらに以前に位置するターゲット位置への、指定された戻り距離に従うジャンプが自動的に発生し、その後、その特定の戻り距離の指定された部分のみについて、順方向シーケンスでの音響再生が行われる本発明に係る方法を始動させれば、逆方向モードでの対応の探索を、極めて速く、かつ完全自動で行うことができる。その結果、理解可能な音声再生が実現され、作業中の人物は、理解上の問題を有さないこととなる。対応の文字化されたテキストが既に利用可能である場合、音声データにより表されたテキスト内での逆方向ジャンプは、好ましくは、通常は新しい単語の始点を示すものである制御文字として、単語マーキングデータを利用して生じる。文字化されたテキストがまだ利用可能でない場合、音声データ内での自動的な逆方向ジャンプのための戻り距離は、たとえば少なくとも２つの単語の平均データ長または平均データ時間に対応するものとして推定される。その場合、たとえば１秒または２秒の順方向再生時間が基礎となる。したがって、かかる状況においては、平均化された「単語長」に従って音声データがセグメントに分割されてもよいので、特定の戻り距離は、必ずしも、実際に話された複数の単語分の長さに厳密に対応していなくてもよいとも言える。各々の逆方向ジャンプの後に提供される、順方向シーケンスでの再生の持続時間についても、同じことが言える。

したがって、本発明に係る方法の下では、（約）２つまたは３つの単語分の逆方向ジャンプが起こり得て、それに続き、（約）１つの単語分の自動的な音声再生が起こり得る。その際、現在再生されている単語は、その後、後続の工程において生じる音声データ内での逆方向ジャンプによって跳び越される、２つまたは３つの単語のうちの１つとなる。しかしながら、より多くの数の単語に対応する戻り距離を逆方向ジャンプし、順方向シーケンスで再生を行う際、たとえば４つおきまたは５つおきの単語のみを再生するといったように、口述されたテキスト内の単語を一度につき１つのみアクティブ状態にする、すなわち再生することも考えられる。しかしながら、順方向シーケンスにおいて、複数の単語が再生されてもよい。

音声再生は、単純に単語ベースで行われてもよい。すなわち、単語マーキングデータが既に利用可能な場合には、次の単語の始点を特定する次の単語マーキングデータの出現まで再生を行ってもよい。しかしながら、たとえばタイミング回路によって規定された平均単語持続時間に対応する、たとえば０．５から１．５秒の範囲内の、固定された再生時間を用いて、セグメントベースの再生を行うことも可能である。これは、主として、対応の単語マーキングデータを伴う文字化されたテキストがまだ利用可能でない場合のケースである。また、１つの単語の全体が再生されて、次のマーキングされた単語は、その単語の始めの方の一部のみが再生されることも考えられる。さらに、処理を担当する人物が、上記に述べた種々の選択肢の中から選択を行うことも考えられる。

処理を担当する人物が、探索の実行全体を必要に応じてより高速でまたはより低速で行うようにすることができるように、本発明によれば、上記の逆方向探索の実行の際、順方向シーケンスでの特定の音声再生が、調節可能なスピードで行われることが好ましい。たとえば上記の単語マーキングデータによって規定されていてもよい、再生中のテキスト内の以前のターゲット位置への逆方向ジャンプは、非常に高速で、すなわち実質的に時間損失なしでも行われ得る。この「高速巻戻し」モードでは、音響的な音声再生は行われる必要がない。

本発明に係る方法は、それ自体は従来からある方式（たとえば、ＬＡＮ、ＷＡＮ、もしくはインターネットといった通信ネットワークを介して、または音声担体を介して）で口述内容が受信され、音声認識手段によって自動的にテキストファイルに変換され、そのテキストファイルがチェックされ、適用可能であればその口述内容の音声データを聞きながらワードプロセッサソフトウェアを用いてそのテキストファイルが修正されるような文字化システムと共に、極めて格別に有利に働くように用いることができる。一方の音声ファイル内の単語と、他方のテキストファイル内の対応単語との間のリンクは、割り当てられた単語マーキングデータに基づいて確立される。したがって、この単語マーキングデータは、リンクデータとも呼ばれる。再生時には、現在音響再生されている単語は、テキスト表示手段上でも、たとえば背景が明るくされる等によって、視覚的に強調される。ここに、本発明は、テキストファイルからの単語が、順方向シーケンスとは反対方向のシーケンスで視覚的に強調され、各単語が視覚的に強調されるのと同期して、その単語に対応する音声データ内の単語が、記録時のシーケンスで、すなわち理解可能な形態で音響再生される、「同期逆方向再生モード」を提供する。このことは、対応の音声データの理解可能な音声再生の助けを借りながら、視覚的に表示された対応の単語の確認作業を、問題なく行うことができるようになるという利点を実現する。テキスト内のある位置の位置特定も著しく単純化され、文字化された口述内容の修正作業の全体的な効率が上がる。

したがって、本発明は、口述内容が受信ステーションによって受信され、文字化ステーションによって自動的に文字化され、その後、文字化された口述内容の手動による修正が修正ステーションにおいて行われ、最後に、受信された口述内容に対応するテキストファイルが送出ステーションによって送出される、この種の典型的な文字化システムにおいて、有利に働くように利用することができる。しかしながら、本発明はもちろん、上記の各工程、すなわち、受信、自動的な文字化、修正、およびテキストデータの最終的な送出の各工程を行い得る単一のコンピュータ、とりわけパーソナルコンピュータによって実現された文字化システムにおいても、利用することができる。

既に述べたように、口述を用いて、すなわち音声データを聞きながら、ワードプロセッサシステムによりテキストファイルが手動で生成される場合には、本発明はさらに、口述されたテキストの手動による文字化にも利用することができる。その場合、テキストファイルの手動による生成は、好ましくは、上記に述べた単語マーキングデータに対応する、音声データとテキストデータとのリンクデータの割当てを伴って行われ、生成すなわち文字化の工程に続いて、適用可能であれば修正作業も行われる。したがって、本発明は特に、モバイル型の口述装置や、デジタル設計の音声再生装置においても実現され得る。

本発明の第３の側面によれば、本発明は、コンピュータのメモリ内にロード可能なコンピュータプログラムであって、コンピュータのメモリ内へのロード後に実行されることによって、上記の本発明に係る方法をコンピュータで実行できるようにするためのソフトウェアコード部分を含む、コンピュータプログラムを提供する。

最後に、本発明の第４の側面によれば、本発明は、処理ユニットと内部メモリとを有する、上記の本発明に係るコンピュータプログラムを実行するためのコンピュータを提供する。

以下、図面に示した実施形態の例を参照して、本発明をさらに説明する。しかしながら、本発明は、これらの実施形態に限定されるものではない。

図１は、テキストデータＴ１、・・・、Ｔ４（Ｔｉと一般表記する）と同期させて、音声データＡ１、・・・、Ａ４（Ａｉと一般表記する）を順方向モードで再生するためのルーチンを概略的に示した図である。この順方向モードでは、データの再生（読出し）は、データの記録（読込み）と同一シーケンスすなわち同一方向（図１では左から右）で行われる。このシーケンスは、常に、順方向シーケンスと呼ばれる。対応付けられた対をなす音声データＡｉとテキストデータＴｉとは、テキストからの単語の連なりＡ１／Ｔ１、・・・、Ａ４／Ｔ４を表す。単語マーキングコードすなわち単語マーキングデータＭ１、・・・、Ｍ５（Ｍｉと一般表記する）は、音声データＡｉとテキストデータＴｉとの同期再生のためのリンクデータを同時に形成するものであり、各単語の始点に割り当てられている。再生時においては、図１の下側に示された矢印１、２、３、４に従って、テキストデータＴ１、Ｔ２、・・・、Ｔ４（すなわち連続した単語）が連続的にアクティブ状態とされ、表示手段（図１には図示せず）上において視覚的に強調される。それと同期して、図１の上側に矢印１、２、３、４で示された各工程に従って、対応のデジタル音声データＡ１、Ａ２、・・・、Ａ４から、特定の単語が音響再生される。順方向モードにおける、マーキングすなわちリンクデータＭｉを用いた、テキストからの単語のこの視覚的および音響的な同時再生自体は、既知である。

図２もまた、逆方向モードにおける再生のための既知のルーチンを、概略的に示した図である。ここでは、単語Ｔ４、Ｔ３、Ｔ２、Ｔ１が、図２の下側の矢印１、２、３、４で示されるように、逆方向（すなわち図２の右から左）に連続的にアクティブ状態とされ、表示手段（図示せず）上で視覚的に強調される。同時に、単語マーキングすなわちリンクデータＭ５、Ｍ４、Ｍ３、Ｍ２を用いて、対応の音声データＡ４、Ａ３、Ａ２、Ａ１、すなわち順方向シーケンスと反対方向に並ぶ単語が、図２の上側の矢印１、２、３、４で示されるように再生される。これにより、この音響再生は、記録時のシーケンスと反対方向、すなわち記録方向と反対方向に行われることとなり、したがって、理解不能な音声信号をもたらす。このことは、特定のテキスト位置を見つけることを妨げる。特定のテキスト位置を見つけることは、視覚的な表示に基づいてのみ可能であるが、このことは、口述を追いながらのテキストの文字化または修正時における通常の動作モードとは相容れない。なぜなら、文字化または文字化された文書の修正を行っている人物は、逆方向と順方向との双方に探索を行う場合には、音響再生されている音声信号に集中力を傾け、たとえ直接処理を行う場合であっても、聞き取られた音声信号に基づいて、テキストの書取りまたは修正を行うためである。

この場合、文字化されたテキスト（単語Ｔ１、・・・、Ｔ４を有するテキスト）がまだ利用可能でない場合には、音声データＡｉのみを用いてずっと前に位置する単語を見つけることは、極めて非能率的である。

これらの既知の技術と異なり、本発明では、逆方向モードにおいても、たとえば上記のＡ４、Ａ３、Ａ２、Ａ１のシーケンスの場合には、図３においてこれらの音声データＡ４、Ａ３、Ａ２、Ａ１の上側の矢印１、２、３、４で概略的に示されているとおり、音響再生が順方向シーケンスすなわち記録方向で行われるように、個々の音声データＡｉを音響再生することが可能となる。同時に、対応のテキストデータＴ４、Ｔ３、Ｔ２、Ｔ１が既に利用可能である場合には、テキストデータＴｉにより表される単語の視覚的な表示が、図３の下側に示した矢印１、２、３、４に従って始動させられる。

図４Ａは、この種の「逆方向モードにおける同期再生」の際に、音声データＡ１からＡ６、および対応のテキストデータＴ１からＴ６内において、どのように逆方向ジャンプが生じ、理解可能な音声再生が生成されるのかを、詳細に示した図である。ここで使用される例は、正しくは「ＴＯ ＢＥ ＯＲ ＮＯＴ ＴＯ ＢＥ（生きるべきか死ぬべきか）」であるが（図４Ｂも参照）、自動文字化システムによって、図４Ａに示された形態すなわち「ＴＷＯ ＢＥＥ ＯＲ ＮＯＴ ＴＷＯ ＢＥＥ（２匹の蜂であるまたは２匹の蜂でない）」と文字化されてしまった、ある口述中のテキスト節の例である。図４Ａでは、この単語のシーケンスは、横棒１１で示されている。個々の単語すなわちテキストデータＴ１、Ｔ２、・・・、Ｔ６を視覚的に表示するため、この横棒１１は、たとえば視覚的な表示手段（図示せず、たとえばモニター）上に、このまま表示される。これらの単語はまた、デジタル形式の対応の音声データＡ１、Ａ２、・・・、Ａ６として、音声データメモリ手段（図４Ａには図示せず）に記憶もされており、このメモリ手段から、音声再生のために読み出され得る。この目的のために与えられている単語マーキングすなわちリンクデータＭｉは、ここでも、図４ＡにおいてＭ１、Ｍ２、・・・、Ｍ７で概略的に示されている。

具体的には、図４Ａに示されているように、口述または文字化されたテキストＴｉ内においてより先に進んだ方（図４Ａにおいて、より右の方）に位置する一時点の再生位置から、より前のターゲット位置（たとえば、リンクデータＭ６によって特定される、単語Ｔ６／Ａ６（「ＢＥＥ」）の始点）へと、逆方向ジャンプが生じる。この逆方向ジャンプは、図４Ａでは、矢印１Ａで示されている。その後、記憶されている音声データＡｉから、特にこの単語Ａ６が、順方向シーケンスで再生される（矢印１Ｂ参照）。単語Ａ６／Ｔ６の終点（すなわちマーキングデータＭ７でマーキングされた次の単語）に到達すると、この例では２つの単語Ａ５＋Ａ６（すなわちＴ５＋Ｔ６）分の長さに対応する最小戻り距離に亘って、リンクデータＭ５によって示される単語Ｔ５（テキストデータ）すなわち単語Ａ５（音声データ）の始点へと、逆方向ジャンプが自動的に生じる（矢印２Ａ参照）。続いて、矢印２Ｂで示されるように、単語Ａ５が、順方向シーケンスの音声信号として再生される。この手順が、単語Ａ４／Ｔ４、Ａ３／Ｔ３、・・・についても自動的かつ連続的に繰り返される（矢印３Ａ（ターゲット位置Ｍ４への逆方向ジャンプ）、３Ｂ（単語Ａ４の、記録方向への音響再生）、・・・、６Ａ、６Ｂ参照）。したがって、図４Ａでは、矢印１Ａ、２Ａ、３Ａ、・・・、６Ａが戻り距離を示し、矢印１Ｂ、２Ｂ、３Ｂ、・・・・、６Ｂが、それらの戻り距離の、順方向シーケンスでの音声再生がなされるセクションを示している。

図４Ｂの横棒１１’に示されているような正しいテキストを得るためには、上記のセクションベースの逆方向ジャンプと、順方向シーケンスでの個々の単語Ａｉの聞取りとを行いながら、特定の単語自体が直接修正されてもよいし、あるいは、特定のテキスト節の始点へと戻り、その後、順方向シーケンスで聞取りを行い、かつやはり順方向シーケンスで視覚的な表示を見ながら、通常の手法で、Ｔ１からＴ６の単語のシーケンス全体が修正されてもよい。

個々の音声データＡ１、・・・、Ａ６の音響再生の間、それに対応するテキストデータＴ１、・・・、Ｔ６が、たとえば明るい背景の表示等によって、モニター上で視覚的に特に強調される。

図４Ａにはさらに、矢印２Ｂの個所における破線の延長線によって、音響再生が、含まれるべき問題の単語を過ぎて、次に続く単語まで部分的に続いてもよいことが概略的に示されている。すなわち、「単語重複」型の音響再生が提供されてもよい。この状況は、たとえば、次に続くマーキングデータＭｉ（たとえばＭ６）が、特定の音声再生を終了させるための制御コードとしては用いられず、代わりに時間カウントに基づく固定再生時間が与えられている場合に生じる。この固定再生時間は、たとえば１秒または１．５秒であってもよいし、１秒よりも若干短い時間であってもよい。特に、文字化されたテキストがまだ利用可能でなく、したがって制御コードとしての単語マーキングデータもまだ利用可能でないような場合には、音声再生のためのこの種の予め決められた持続時間が与えられるべきである。

同様に、逆方向ジャンプのための戻り距離も、たとえば平均単語長の２倍または３倍に対応する、固定されたタイムスパンに対応するように計算されてもよい。

図５は、テキストデータＴｉの再生と同期させて、音声データＡｉを再生するための装置１２の例を示した図である。この装置１２は、文字化データ処理装置１３を含んでいる。この装置１２では、それ自体は通常である手法で、口述ファイルが、通信媒体（たとえば、ＬＡＮ、ＷＡＮ、またはインターネットといった通信ネットワーク１５）を介して、ユーザー１４．１、・・・、１４．Ｎから装置１２へと伝送され、通信装置（この例ではモデム１６）を介して受信され、その後、音声認識手段１７へと送られる。ここで、通信手段は、いわゆる「構内交換設備（Ｐｒｉｖａｔｅ Ｂｒａｎｃｈ Ｅｘｃｈａｎｇｅ；ＰＢＸ）」によって実現されてもよい点に留意されたい。

それ自体は通常のものである音声認識ソフトウェアが実装された、音声認識手段１７は、口述ファイルのテキストファイルへの自動的な文字化を行う。この際、対応の音声ファイルからの音声データＡｉの個々の項目に対応する、単語マーキングデータすなわちリンクデータＭｉを生成しながら、テキストデータＴｉの個々の単語が、テキストメモリ手段１８と音声メモリ手段１９とにそれぞれ記憶される。既に上記に述べたように、互いに対応するテキストデータＴｉ中の単語と音声データＡｉ中の単語とは（それぞれ、テキストメモリ手段１８および音声メモリ手段１９に対応）、単語マーキングデータＭｉによって、常に互いに対応付けすなわち互いにリンクされている。このリンクを通じて、制御手段２０により、共に属する音声データＡｉとテキストデータＴｉとが、対として呼出しおよび再生される。制御手段２０によって始動されるテキストデータＴｉの視覚的な再生は、ワードプロセッサ手段２１を介して、とりわけコンピュータのモニターといったような表示手段２２上になされる。

音声データＡｉの音響再生は、デジタル形式で記憶された音声データＡｉを、メモリ手段１９から読み出し、電気音響変換器２４のための再生回路２３に送ることによって行われる。この目的のため、一般的にはヘッドホンが使用される。これにより、順方向シーケンスでの読出しが行われる。

テキスト中において、一時点の再生位置から、より前のターゲット位置へと逆方向ジャンプする際、および順方向の同期再生のための、ルーチン全体の制御は、内部メモリ２５に記憶されたソフトウェアコード部分を用いて行われる。特定の制御手順をアクティブ状態とするため、および文字化またはテキスト修正の過程において様々な入力を行うための、ユーザーとのインターフェースとして、従来型のキーボードまたはそれに類似のものが、入力手段２６として働く。順方向および逆方向の再生を制御するために、フットスイッチ型の操作装置が与えられてもよい。

再生回路２３は、それ自体は通常の形態で、デジタル／アナログ変換器と、増幅器と、その他の類似の構成要素とを含んでいてもよく、変換器２４と共に、音声再生手段２７を形成している。

図６は、音声メモリ手段１９から音声データＡｉを再生すなわち読み出す動作、および、その音声データＡｉを、テキストデータＴｉと関連付けて、たとえばテキストメモリ手段１８に記憶された単語マーキングデータＭｉと共に再生手段２７へと送る動作を、制御手段２０がどのように制御するのかをより詳細に示した図である。中央制御回路２８は、音声メモリ手段１９に、直接または規定手段２９を介して接続されている。規定手段２９は、音声データＡｉ内で逆方向ジャンプを行う際の、特定の戻り距離を規定するものである。図４Ａを参照しながら上記に述べたように、予め決められた固定持続時間に亘って、逆方向モードにおける順方向シーケンスでの音声データの音響再生を可能とするためのタイミング回路３０も、制御回路２８に接続されている。タイミング回路３０は、たとえば通常のクロック発生器であってもよい。その場合、制御回路２８は、たとえば入力手段２６を通じて設定可能な所望の特定の持続時間を、クロックパルスのカウントによって計測する。このようにして、たとえば１秒または１．５秒の、再生持続時間を設定することができる（図４Ａの矢印２Ｂ参照）。あるいは、単語マーキングデータＭｉが既に利用可能である場合は、「単語ベース」の再生が選択されてもよい。その場合、次に続くマーキングデータＭｉに到達すると、制御回路２８によって再生動作が終了させられる。タイミング回路３０によって発せられるタイミング信号、とりわけクロックパルスが、規定手段２９内において戻り距離を規定するための基として用いられてもよい。

好ましくは、前のテキスト中のターゲット位置への、セクションベースの逆方向ジャンプのための戻り距離を設定することも可能とされる。その場合、一度につき２つよりも多い単語、たとえば３つ、４つ、または５つの単語の跳越しが考えられ、対応するマーキングデータすなわちリンクデータＭｉの数がカウントされなくてはならない。この目的のため、制御回路２８はカウント手段３１に接続される。

タイミング回路３０と同様に、このカウント手段３１も当然、制御手段２０による支援の下、ソフトウェアで実現されてもよい。規定手段２９も同様であってもよく、メモリ手段１９内における対応のアドレス指定により実現されてもよい。その場合、図６に従う制御回路２８は、図５に従う制御手段２０と一致する。加えて、再生手段２７による音声再生のスピードを設定するために、設定手段３２が設けられている。

ここで、単語マーキングデータＭｉは、全体が音声メモリ手段１９に記憶されていてもよいし、テキストメモリ手段１８と音声メモリ手段１９との双方に分割されて記憶されていてもよい点に留意されたい。

よりよい説明を行うために、図７は、一度につき２つの単語分より長い距離、たとえば一度につき３つの単語分の距離だけ逆方向ジャンプが行われる際の工程（逆方向向きの矢印１Ａ参照）を概略的に示している。図７では、この種の逆方向ジャンプの工程に続いて、後続の単語の順方向（すなわち順方向シーケンス）での音響再生が行われる（たとえば図７の矢印１Ｂ参照）。このようにして、図７に示された例では、マーキングデータＭ７、Ｍ５、Ｍ３、Ｍ１で特定された単語のみが、（この順番で）音響再生される（図７中で、この参照符号上に付された黒丸も参照）。一方、マーキングデータＭ８、Ｍ６、Ｍ４、Ｍ２が割り当てられた単語は、音響再生に関しては省略される。

もちろん、逆方向ジャンプの際に一度につき３つよりも多い単語が跳び越されて、その後の音響再生の際に、３つおき、４つおき等の単語のみが再生されてもよい。

図８は、上記の同期させられた逆方向再生および順方向再生の際の手順の一例を図解した、フローチャートを示している。このフローチャートは、実際の逆方向ジャンプ工程および順方向再生工程に先立って行われる、環境設定段階および計算段階も含んでいる。

図８によれば、ブロック３３において処理が開始され、上記に述べたような、音声再生と、音声データ内での逆方向ジャンプのための戻り距離１Ａ、２Ａ、３Ａ、・・・、６Ａの計算とに関して、選択肢Ｏ１からＯ５を有する環境設定が行われる。これらの選択肢Ｏ１からＯ５としては、たとえば以下のような選択肢が与えられ得る。

Ｏ１−音声認識手段１７が提供されており、その音声認識手段１７が、音声データＡｉから自動的にテキストデータＴｉを生成するのに使用され、上記の単語マーキングデータＭｉもまた、音声認識手段１７によってリンクデータとして自動的に規定される場合には、この選択肢Ｏ１が選択される。

Ｏ２−この選択肢Ｏ２は、手動により文字化されたテキストデータＴｉが、音声データＡｉの個々のセグメントまたは「単語」の長さを規定するのに用いられるケースに関連する。選択肢Ｏ２によれば、すべての音声セグメントについて固定された長さが与えられる。この固定された長さは、音声データＡｉの合計の持続時間と、文字化された単語の数とから、制御手段２０を用いた単純な割り算によって計算される。その後、個々の音声セグメントまたは単語が「番号付け」されて（すなわちアドレスまたは添数が与えられて）、それらの番号またはアドレスが、戻り距離１Ａ、２Ａ、３Ａ、・・・、６Ａおよび／または音響再生されるべきセクション１Ｂ、２Ｂ、３Ｂ、・・・、６Ｂを特定するために用いられてもよい。

Ｏ３−この選択肢Ｏ３は、選択肢Ｏ２に非常によく似たものであり、聞き取られた音声データＡｉに基づくテキストデータＴｉの手動による文字化に同様に基づいて、単語の音節と音声データＡｉの全体の長さとに基づき、可変の長さの音声セグメントが、制御手段２０によって計算される場合に選択される。すべての音節は、同一の長さのものであると仮定される。

Ｏ４−テキストデータＴｉがまだ利用可能でなく、音声データＡｉの音声セグメントまたは単語の長さが、音声エネルギープロファイル情報に基づいて計算される場合には、選択肢Ｏ４が選択され得る。

Ｏ５−この選択肢Ｏ５では、たとえば１秒のセグメント長といったような、固定長の音声セグメントが仮定される。また、たとえば１／３秒の持続時間を有するような、セグメントの重複が与えられてもよい。

順方向シーケンスでの通常の再生のスピード、高速で逆方向ジャンプするためのスピード、高速順方向再生のスピード、および逆方向ジャンプ中における順方向シーケンスでのセクションベースの音声再生のスピードも、ブロック３３において選択されてもよい。

その後、ブロック３４において、ここで問題になっている逆方向モードでの再生が、たとえば入力手段２６上で対応のキーを操作することによって開始される。続いて、ブロック３５において、逆方向モードで生じる音声データＡｉ内における逆方向ジャンプ全体の全体戻り距離を、ユーザーが指定したか否かが自動的に照会される。ユーザーによる指定が行われていない場合は（ブロック３５の出力Ｎ参照）、逆方向ジャンプのための適当な全体距離が、デフォルト値として規定される（たとえば音声データの始点への逆方向ジャンプ）（図８のブロック３６参照）。一方、ユーザーが適当な入力を行っていた場合には（ブロック３５の出力Ｙ）、その選択された全体戻り距離が、ブロック３７において基準として用いられる。

上記のようにして到達された図８のフローチャート中の２つの分岐路は、その後、ノード３８において再び１つとなる。逆方向モード（ブロック３４参照）が終了させられずに、一時点の音声位置前のテキスト修正が行われる場合には、以下の各工程が繰り返されることが、図中の矢印によって記号的に示されている。

ブロック３９においては、音声認識の出力データが利用可能であるか否か、すなわち音声認識手段１７内の音声認識ソフトウェアを用いて自動的に文字化されたテキストファイルＴｉが利用可能であるか否かが、照会される。利用可能である場合には（図８中のブロック３９の出力Ｙ参照）、ブロック４０において、選択肢Ｏ１（ブロック３３参照）が指定されたか否かが照会される。選択肢Ｏ１が指定されていた場合には（ブロック４０の出力Ｙ）、ブロック４１において、既に分かっており編集されているテキストデータＴｉ中のテキスト単語に対応するように、音声データＡｉ中の音声セグメントまたは単語の計算が行われる。

一方、音声認識が使用されていない場合は（ブロック３９の出力Ｎ）、ブロック４２において、一時点の音声位置より前にテキストデータＴｉが存在するか否かが照会される。存在しない場合、すなわちテキストデータＴｉがまだ利用可能でない場合には（ブロック４２の出力Ｎ）、ブロック４３において、音声データの全体の長さまたは音声エネルギープロファイルに基づいて、音声セグメントの長さの推定が行われる（上記の選択肢Ｏ４およびＯ５参照）。

一方、ブロック４２における確認の結果、一時点の音声位置より前にテキストデータＴｉが既に存在する場合には（ブロック４２の出力Ｙ参照）、ブロック４４において、ブロック３３で選択肢Ｏ２またはＯ３が設定されたか否かが照会される。選択肢Ｏ２またはＯ３が設定されていなかった場合には（ブロック４４の出力Ｎ）、ブロック４３に関連して上記で述べたような推定が同様に行われる。選択肢Ｏ２またはＯ３が設定されていた場合には（ブロック４４の出力Ｙ）、ブロック４５において、音声データの全体の長さと、単語または音節の数とに基づいて、音声データＡｉの音声セグメントまたは単語の長さの推定が行われる（選択肢Ｏ２およびＯ３）。

図８に示されたフローチャートの、破線で囲まれた領域４６では、逆方向ジャンプ、および順方向シーケンスでのセクションベースの再生に含まれる、実際の各工程が行われる。ブロック４７では、音声データＡｉの単語またはセグメントの、順方向シーケンス（したがって理解可能な形態）での音声再生が開始される。ここで、再生は、ブロック３３で設定されたスピードで行われる。その後、ブロック４８において、順方向シーケンスで再生されるべき音声データＡｉの単語またはセグメントの終点に到達したか否かが照会される。到達していない場合は（出力Ｎ）、ブロック４９において、ブロック４８での照会が最終的に単語またはセグメントの終点に到達したことを示すまで（ブロック４８の出力Ｙ）、再生が続けられる。その後、ブロック５０では、音声データＡｉ内において、次の指定されたターゲット位置への逆方向ジャンプが行われる。この逆方向ジャンプは、たとえば３つの単語分の長さに対応する戻り距離に亘って行われる。最後に、ブロック５１において、指定された開始位置（ブロック３６および３７参照）に到達したか否かが照会される。到達していない場合は（出力Ｎ）、ブロック４７への戻りが生じる。一方、開始位置、すなわち逆方向モードの終点に到達した場合には（ブロック５１の出力Ｙ）、ブロック５２において逆方向モードが終了させられる。

また、制御手段２０による制御を受けて、自動的に実行される上記の処理が、入力手段２６における「ＳＴＯＰ（停止）」入力によって、指定された終点より前の任意の時点で、手動で終了させられるようにするのも好ましい。

ここで、いくつかの状況では、テキストの修正の後に、単語マーキングデータＭｉの再規定、または音声セグメントの長さの再計算が必要となるかもしれない点に留意されたい。

また、２つよりも多い単語（たとえば４つ、５つ、６つ、またはそれ以上の単語）を構成する逆方向ジャンプに続いて、１つよりも多い単語（たとえば２つ、３つ、または４つの単語）の音響的に満足な再生が行われてもよい点にも留意されたい。

順方向モードにおける、音声データとテキストデータとの同期再生のルーチンを概略的に示した図 従来技術による逆方向モードにおける、相互の対応付けを伴う音声データとテキストデータとの再生のルーチンを概略的に示した図 本発明に係る逆方向モードにおける、音声データとテキストデータとの再生のルーチンを概略的に示した図 予め自動的に文字化され修正を要するテキストが図解された、逆方向モードにおける音声データの聞取可能な再生のための、図３に示したルーチンに類似のルーチンを示した図 単語のシーケンスをたとえばモニター上に表示させながら、逆方向モードでの再生時において図４Ａに示されたルーチンを用いて修正された、テキストを示した図 図３および図４Ａに示した概略図に従う「同期逆方向モード再生」を行うことができる、音声再生のための機構を有する文字化システムを概略的に示したブロック図 「同期逆方向モード再生」のために提供された図５の文字化システムの、システム構成要素のより詳細なブロック図 図４Ａに示したルーチンと類似であるが、いくらか簡素化された形態の、逆方向モードでの再生のための変更形態のルーチンを示した図 逆方向モードでの同期再生のための方法の、１つの変更形態を示したフローチャート

Claims (20)

1. 単語から構成されたテキストからのテキストデータに対応する記憶された音声データを再生するための装置であって、記憶されるべき音声データをメモリ手段内に順方向シーケンスで読み込むことができる、前記音声データを記憶するための該メモリ手段と、記憶された音声データの、順方向モードおよび逆方向モードでの再生を制御する制御手段と、音声再生手段とを有し、逆方向モードでの音声データの再生の間に、該音声データ中の特定の一時点の再生位置から開始して、ターゲット位置へ向かって、少なくとも約２つの単語分の長さに相当する戻り距離に亘り、前記順方向シーケンスと反対向きの逆方向ジャンプを自動的に始動させ、その後、特定の前記ターゲット位置から開始して、前記戻り距離の一部のみについて、前記順方向シーケンスでの音声データの再生を始動させるように、前記制御手段が設定されていることを特徴とする装置。
2. 前記単語に割り当てられた単語マーキングデータを制御データとして用いて、特定の前記ターゲット位置への逆方向ジャンプを始動させるように、前記制御手段が設定されていることを特徴とする請求項１記載の装置。
3. 逆方向ジャンプまたは再生の間に到達した前記マーキングデータをカウントするために、前記制御手段にカウント手段が割り当てられていることを特徴とする請求項２記載の装置。
4. 前記音声再生の持続時間を計算するために、前記制御手段にタイミング回路が割り当てられていることを特徴とする請求項１記載の装置。
5. 前記音声再生のスピードを設定するために、前記制御手段に設定手段が接続されていることを特徴とする請求項１記載の装置。
6. 前記制御手段がさらに、前記音声データに対応するテキストデータを記憶するためのテキストメモリ手段に接続されており、該テキストメモリ手段が、テキスト表示手段に接続されており、前記制御手段が、前記音声データおよび前記テキストデータについてのリンクデータを用いて、前記音声データと対応の前記テキストデータとの同期再生を始動させるように設定されていることを特徴とする請求項１記載の装置。
7. 前記制御手段と、前記テキストメモリ手段と、前記音声データのための前記メモリ手段とが、自動的な文字化を行う音声認識手段に接続されていることを特徴とする請求項６記載の装置。
8. 記憶されるべき音声データが順方向シーケンスで読み込まれるメモリ手段内に記憶された音声データであり、単語から構成されたテキストからのテキストデータに対応する音声データを再生するための方法であって、音声データの、順方向モードおよび逆方向モードでの再生を制御することができ、逆方向モードでの音声データの再生の間に、該音声データ中の特定の一時点の再生位置から開始して、ターゲット位置へ向かって、少なくとも約２つの単語分の長さに相当する戻り距離に亘り、前記順方向シーケンスと反対向きの逆方向ジャンプが自動的に生じ、その後、特定の前記ターゲット位置から開始して、前記戻り距離の一部のみについて、前記順方向シーケンスでの再生が行われることを特徴とする方法。
9. 前記ターゲット位置への前記逆方向ジャンプの間、前記単語に割り当てられた単語マーキングデータが、制御データとして用いられることを特徴とする請求項８記載の方法。
10. 再生中において次の前記単語マーキングデータに到達すると、前記順方向シーケンスでの再生が自動的に終了させられることを特徴とする請求項９記載の方法。
11. 前記順方向シーケンスでの再生が、指定された時間の経過後に自動的に終了させられることを特徴とする請求項８記載の方法。
12. 前記順方向シーケンスでの再生が終了すると、前記少なくとも約２つの単語分の長さに相当する戻り距離に亘る逆方向ジャンプが、自動的に生じることを特徴とする請求項８記載の方法。
13. 前記音声データ内での前記逆方向ジャンプが、前記順方向シーケンスでの再生の再生スピードよりも速いスピードで、かつ記憶された前記音声データの音響再生なしで行われることを特徴とする請求項８記載の方法。
14. 前記順方向シーケンスでの記憶された前記音声データの再生が、調節可能な再生スピードで行われることを特徴とする請求項８記載の方法。
15. 前記順方向シーケンスでの記憶された前記音声データの再生と同期して、該音声データに対応するテキストデータの視覚的な表示が行われ、該表示が、記憶された該音声データおよび対応の該テキストデータについてのリンクデータによって制御されることを特徴とする請求項８記載の方法。
16. 前記テキストデータの複数の単語の前記視覚的な表示の間、対応の音声データが再生中である視覚的に表示された特定の単語が、視覚的に強調されることを特徴とする請求項１５記載の方法。
17. 音声データに対応する前記テキストデータが、自動音声認識法によって取得され、同時に、単語マーキングデータが発生させられ、互いに対応する該テキストデータおよび該音声データについてのリンクデータとして記憶されることを特徴とする請求項１５記載の方法。
18. コンピュータのメモリ内にロード可能なコンピュータプログラムであって、該メモリ内へのロード後に実行されることによって、請求項８記載の方法を前記コンピュータで実行できるようにするためのソフトウェアコード部分を含むことを特徴とするコンピュータプログラム。
19. コンピュータ読取可能な媒体上に記憶されていることを特徴とする請求項１８記載のコンピュータプログラム。
20. 処理ユニットと内部メモリとを有する、請求項１８記載のコンピュータプログラムを実行するためのコンピュータ。

Images