JP2008210500A5 - - Google Patents

Description

データ編集装置、データ編集プログラム及び再生装置

本発明は、音声の再生に合わせてテキストを所定の形態で表示するための連動表示用データを編集可能なデータ編集装置、データ編集プログラム及び再生装置に関する。

音楽に合わせて画面に表示される歌詞を見ながら歌を歌うためのカラオケ機器が広く普及している。多くのカラオケ機器は、音楽の再生に合わせて歌詞を画面に表示し、歌われる部分の歌詞の表示色を適当なタイミングで滑らかに変えていく。例えば、グレーから白に歌詞の表示色を変えていく。このようなカラオケ機器は、音楽データ及び歌詞データの他に、音楽の再生に合わせて歌詞の表示色を変えるための連動表示用データを用いる。連動表示用データは、歌詞データと、歌詞を細分化した各区分に割り当てられたタイムスタンプ情報とを含む。タイムスタンプ情報は、各区分の歌詞の表示色を変える開始時間と、その区分の歌詞の表示色を変え終わるまでの時間長又は終了時間とを含む。なお、各区分の開始時間及び終了時間は、音楽の再生開始からの経過時間によって表わされる。

連動表示用データの生成方法には、大別して、歌及び伴奏を含む楽曲を人が実際に聴きながら生成する方法と、歌及び伴奏を含む楽曲の楽譜データ又は音声データ、及びこの楽曲の歌詞データを用いてコンピュータが生成する方法とがある。前者の方法によれば、操作者が楽曲を聴きながら手動で連動表示用データを生成するため、コストや時間がかかる。このため、後者の方法が開発された（特許文献１、特許文献２を参照）。

特許文献１（特許第３７８７５４５号明細書）に開示された方法によれば、コンピュータが、楽譜情報に基づく楽譜の画像を画面に表示するとともに、文字情報に基づく歌詞の文字列を画面に表示し、歌詞の各文字の位置を楽譜上の音符に対応させるように画面上のレイアウトを設定し、楽譜の横軸を時間座標として扱うことによって楽譜上の音符に対応して配置された歌詞の各文字情報に歌唱時間情報を付加する。当該方法によって生成される連動表示用データは、主に歌詞の各一文字に時間情報を付加した情報である。

特許文献２（特開２００１−１７５２６７号公報）に開示された方法によれば、コンピュータが、楽曲の音声データから歌音声データを抽出して文字データに変換し、この文字データと歌詞データとを照合し、文字データを補正して第１の照合結果を出力する。また、コンピュータは、歌詞データを音声に変換し、音声データから抽出した歌音声データと照合し、歌音声データを補正して第２の照合結果を出力する。コンピュータは、第１の照合結果と第２の照合結果から、表示歌詞に表示時間情報を割り付けた表示歌詞データを作成する。当該方法によって生成される連動表示用データは、歌詞の一部である各区分に時間情報を割り付けた情報である。

上記説明した特許文献１や特許文献２に開示の方法を利用することによって、必要なデータを用意すればコンピュータが自動的に連動表示用データを生成するため、手動での生成方法に比べてコストや時間を削減できる。

特許第３７８７５４５号明細書 特開２００１−１７５２６７号公報 特開平７−０４６４６２号公報

従来は、カラオケ機器が歌詞をテレビ画面に表示する形態が一般的であった。このため、テレビ画面中の歌詞が表示される領域に適したレイアウトで歌詞を表示する連動表示用データが生成されていた。しかし、最近では、携帯電話や携帯情報端末（Personal Digital Assistant: PDA）等の画面に歌詞を表示して伴奏を再生する形態も実現されている。携帯電話やＰＤＡの画面とテレビ画面とでは画面比率や画面サイズが異なる。このため、テレビ画面表示用に生成された連動表示用データに基づいて携帯電話やＰＤＡの画面に歌詞を表示すると、歌詞の一部が表示されない等といった問題が生じ得る。したがって、携帯電話やＰＤＡの画面に対応した連動表示用データを別途生成する必要があった。

また、連動表示用データを利用した技術は、カラオケだけでなく、外国語を習得するための教材にも適用可能である。例えば、外国語の文章を発声した音声の再生に合わせて、その文章を画面に表示するといった教材のために連動表示用データを活用できる。なお、このような教材では、カラオケと異なり、音声の再生に合わせて文字の表示色を滑らかに変えていく必要はなく、音声の再生箇所に対応する文章を行毎又はページ毎に表示すれば良い。このように、外国語を習得するための教材とカラオケとでは、テキストの適した表示形態が異なるといった違いがある。

以上説明したように、音楽や外国語等の音声の再生に合わせて歌詞や文章等のテキストを所望の形態で表示する際には、画面中のテキストの表示領域や表示形態に適した連動表示用データが用いられる必要がある。しかし、複数の表示領域又は表示形態のそれぞれに適した連動表示用データを個々に生成するのは非常に手間であり、コスト及び時間がかかる。

なお、特許文献３（特開平７−０４６４６２号公報）には、映像クリップをメモリにデジタルデータとして記憶し、選択したクリップを画面上に引き伸ばしたトラックに表示し、表示されたカーソルとアイコンの操作に対応してクリップに対して編集作業を行い、編集映像プログラムを組み合わせて試写する映像編集方法と装置が開示されている。しかし、この方法及び装置においても、音声クリップを画面上に表示し、そのクリップを参照しながら歌詞や文章等のテキストを音声と関係付け、連動表示用データを生成する事は可能ではあるが、複数の表示領域又は表示形態のそれぞれに適した連動表示用データを個々に生成するのは非常に手間であり、コスト及び時間がかかる。

本発明の目的は、音声の再生に合わせてテキストを所定の形態で表示するための連動表示用データを、テキストの表示領域又は表示形態に応じて容易に編集可能なデータ編集装置、データ編集プログラム及び再生装置を提供することである。

本発明は、音声の内容が記載されているテキストを音声の再生に合わせて所定の形態で表示するための連動表示用データを編集するデータ編集装置であって、前記連動表示用データを所定の表示形態で表示するための表示データを生成する表示制御部を備え、前記表示制御部は、前記テキストの少なくとも一部を表示する表示領域のサイズを設定し、前記連動表示用データは、前記テキストと、１文字以上の文字で構成される文字列の各々に付された、前記音声の所定の再生経過時間によって示されるタイムスタンプ情報と、を有するデータ編集装置を提供する。

上記データ編集装置では、前記タイムスタンプ情報は、前記テキストの表示形態または表示領域の設定値によって変わらない固有の時間情報である。

上記データ編集装置では、前記データ編集装置は、前記連動表示用データを加工するデータ加工部を備え、前記データ加工部は、前記タイムスタンプ情報を変更する。

上記データ編集装置では、前記データ加工部は、前記連動表示用データに含まれる前記テキストを、複数の、１文字以上の文字で構成される文字列の集合であるブロックに区分けする。

上記データ編集装置では、前記連動表示用データは、前記データ加工部で区分けされた各ブロックの区画を前記音声の再生経過時間によって示すブロック情報を有する。

上記データ編集装置では、前記テキストの表示形態は、１つの文字列を１つのブロックに含める第１の形態、前記テキストの一行に含まれる文字列を１つのブロックに含める第２の形態、及び前記テキストの表示領域に応じた一ページに含まれる文字列を１つのブロックに含める第３の形態の内、いずれか１つ以上を有する。

上記データ編集装置では、前記テキストの表示形態の内の１つが設定されると、設定後のブロックに対応して前記ブロック情報が更新される。

上記データ編集装置では、前記タイムスタンプ情報は、文字列を表示し始める開始時間と、当該文字列を表示し終える終了時間又は当該文字列を表示し終えるまでの時間長と、を含む。

上記データ編集装置では、前記ブロック情報は、各ブロックに含まれる最初の文字列を表示し始める開始時間と、各ブロックに含まれる最後の文字列を表示し終える終了時間又は各ブロックに含まれる最後の文字列を表示し終えるまでの時間長と、を含む。

上記データ編集装置では、前記ブロック情報は、前記テキストの表示領域の大きさが設定されると、設定後の大きさに対応して前記ブロック情報が更新される。

上記データ編集装置では、前記テキストの表示領域は、行数及び一行当たりの最大バイト数によって設定される。

上記データ編集装置では、前記テキストの表示領域は、行数及び一行当たりの最大文字数によって設定される。

上記データ編集装置では、前記表示制御部で生成された表示データに基づく前記所定の表示形態で表示される編集画面は、前記テキストの少なくとも一部を表示する第１の領域と、前記複数のブロックに区分けされた前記テキストの文字列を、前記ブロック情報に基づいて、各ブロック毎に前記再生経過時間の時間軸上に並べて表示する第２の領域と、を含む。

上記データ編集装置では、前記テキストの表示形態として前記第１の形態又は前記第２の形態が設定されたとき、前記第１の領域には、前記テキストの一部が行毎に表示され、前記テキストの表示形態として前記第３の形態が設定されたとき、前記第１の領域には、前記テキストの一部がページ毎に表示される。

上記データ編集装置では、前記編集画面は、前記テキストの表示領域を示す情報又は前記テキストの表示形態を示す情報を表示する。

上記データ編集装置では、前記表示制御部は、１つのブロックが含む全ての文字列を前記第２の領域に表示できないとき、前記ブロック内に所定のイメージ又は文字列を表示するよう前記表示データを処理し、前記所定のイメージ又は文字列又は前記ブロックが選択されたとき、前記全ての文字列を異なる画面に表示する表示データを生成する。

上記データ編集装置では、前記表示制御部で生成された表示データに基づく前記所定の表示形態で表示される編集画面上の前記第１の領域又は第２の領域が選択されたとき、各々の領域に含まれる連動表示用データの再生経過時間に基づき、音声の再生を行う。

上記データ編集装置では、前記連動表示用データの編集に関する指示が禁止されている内容かを判定する判定部を備える。

上記データ編集装置では、前記禁止されている前記連動表示用データの編集の指示は、時間軸上でブロックの順序を変更する指示、又は時間軸上で隣接する複数のブロックを重ねる指示である。

上記データ編集装置では、前記連動表示用データの編集に関する指示が、前記時間軸上で隣接する複数のブロックを重ねる指示である場合、前記データ加工部は、時間的に先のブロックの終了時間又は時間的に先のブロックの時間長と時間的に後のブロックの開始時間を同時間に保ったまま前記連動表示用データを加工する。

上記データ編集装置では、前記連動表示用データに基づいて前記音声の再生に合わせて前記テキストを前記所定の形態で表示中に一時停止されたとき、前記データ加工部は、一時停止されたときの再生経過時間に前記所定の形態で表示されていた文字列が含まれるブロックの開始時間又は終了時間又は時間長を前記再生経過時間に変更する。

上記データ編集装置では、前記音声の再生時間の一部の範囲のデータと前記テキストのデータとを用いて、前記一部の範囲の連動表示用データを生成するデータ生成部を備えた。

上記データ編集装置では、前記表示制御部は、文字列毎に信頼度が付された連動表示用データに基づいて、各文字列の表示色又は模様が信頼度によって異なるよう表示データを生成する。

上記データ編集装置では、前記データ加工部は、１つの音声データ及びこれに対応するテキストデータに基づいて生成された複数の連動表示用データを用いて、指定された範囲の連動表示用データを別の連動表示用データの同範囲のデータに置き換える。

上記データ編集装置では、前記連動表示用データは、１文字以上の文字で構成される文字列の各々に付された、前記第１の領域に表示されるテキストの行番号を示す行情報を有し、前記表示制御部は、前記第２の領域に表示される文字列に対応した行情報が示す行番号を前記第２の領域に表示するための表示データを生成する。

上記データ編集装置では、前記第２の領域に表示されている行番号はブロックによって表示され、各ブロックの幅が、当該データ編集装置のユーザによる操作によって変更されると、前記データ加工部は、前記連動表示用データに含まれる前記行情報を加工する。

上記データ編集装置では、前記第２の領域には、前記第１の領域が有する行数と同数の時間軸が表示され、各時間軸には異なる行番号が付されている。

上記データ編集装置では、前記テキストの文字列の時間的な位置が変更される際、前記表示制御部は、当該変更によって影響を受ける時間軸の値を変更する。

上記データ編集装置では、前記連動表示用データの編集に関する指示が禁止されている内容かを判定する判定部を備え、前記禁止されている前記連動表示用データの編集の指示は、時間軸上でブロックの順序を変更する指示、又は時間軸上で隣接する複数のブロックを重ねる指示である。

上記データ編集装置では、前記表示制御部は、前記第２の領域に表示される文字列に対応した行情報が示す行番号及び前記第１の領域が有する行数から導出されるページ番号を前記第２の領域に表示するための表示データを生成する。

上記データ編集装置では、前記表示制御部は、前記連動表示用データの１文字以上の文字で構成される文字列の各々の大きさと前記表示領域の大きさを比較し、前記第１の領域及び前記第２の領域に表示するための表示データを生成する。

上記データ編集装置では、前記連動表示用データは、前記テキストの表示領域の大きさ及び、表示形態に対応した前記ブロック情報をそれぞれの設定に応じて複数保持する。

上記データ編集装置では、前記データ加工部は、再生時間長が０の文字列に付されたタイムスタンプ情報を編集して、当該文字列の再生時間長が所定値以上の時間となるよう前記連動表示用データを加工する。

上記データ編集装置では、前記再生時間長が０の文字列は、句読点又は特殊文字である。

本発明は、コンピュータを、上記データ編集装置が備える各部として機能させるためのデータ編集プログラムを提供する。

本発明は、音声の再生に合わせて、上記データ編集装置又は上記データ編集プログラムにより編集された連動表示用データに基づくテキストを所定のタイミングで表示する再生装置を提供する。

本発明は、上記データ編集装置又は上記データ編集プログラムにより編集された連動表示用データに基づき、音声の再生に合わせてテキストを表示し、その表示部分を利用してユーザの選択箇所を取得する事により、その文字列から再生を開始する再生装置を提供する。

本発明に係るデータ編集装置、データ編集プログラム及び再生装置によれば、連動表示用データを表示領域又は表示形態に応じて容易に編集することができる。

以下、本発明の実施形態について、図面を参照して説明する。以下説明する実施形態のデータ編集装置は、音声の再生に合わせてテキストを所定の形態で表示するための、予め生成された連動表示用データを編集するために用いられる。なお、音声とは、カラオケの伴奏、バックコーラス、歌声や外国語の音声教材等である。テキストは、句読点や特殊文字を含む日本語又は外国語の文章、歌詞等である。また、所定の形態でテキストを表示するとは、例えば、テキストの表示色の透過率を５０％から０％に変更したり、テキストの表示色を別の見やすい色に変更することや、テキストが全く表示されていない状態から表示することである。

また、データ編集装置にはモニターが接続されている。データ編集装置は、編集中の連動表示用データをユーザが視覚的かつ直感的に把握できる画面をモニターに表示するよう動作する。

連動表示用データが生成される際、テキストは１文字以上の文字で構成される文字列に分けられる。この文字列は、形態素（言語で意味を持つ最小単位）でも文字１つでも音素（言語の持つ音の最小単位）でも構わない。以降の説明においては、形態素を例として用いるものとする。生成された連動表示用データは、テキストデータと、テキストを細分化した各形態素に割り当てられた固有の時間情報であるタイムスタンプ情報とを含む。タイムスタンプ情報は、各形態素を所定の形態で表示する開始時間と、その形態素を所定の形態で表示し終えるまでの時間長又は終了時間とを含む。これら開始時間及び終了時間は、音声の所定の再生経過時間によって示される。

また、連動表示用データには、複数の形態素から構成される各グループの先頭の形態素を所定の形態で表示する開始時間と、そのグループの全ての形態素を所定の形態で表示し終えるまでの時間長又はそのグループの最後の形態素を所定の形態で表示する終了時間とを含むブロック情報も含まれる。ブロック情報の詳細については後述する。

（第１の実施形態）
図１は、第１の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。図１に示す連動表示用データを編集中の画面（以下「編集画面」という。）１０には、テキストの表示領域を示す情報１１と、テキストの表示形態を示す情報１３と、テキストの実際の表示を示すテキスト部１５と、テキストの形態素の一部をブロックで囲んだ状態で時系列に並べて表示するタイムライン部１７とが表示される。なお、テキスト部１５は、連動表示用データに含まれるテキストデータに基づく。また、タイムライン部１７は、連動表示用データに含まれるタイムスタンプ情報及びブロック情報に基づく。さらに、図１に示した画面例では、表示領域として「６行３０バイト」が選択され、表示形態として「カラオケモード」が選択されている。（なお、日本語の１文字は２バイトである。）

本実施形態のデータ編集装置の操作者は、表示領域として、「１０行３０バイト」や「３行２０バイト」といったように、行数及び一行当たりの最大バイト数を設定する。編集画面のテキスト部１５には、表示領域として設定された行数及び最大バイト数内に収まるテキストが表示される。なお、最大バイト数の代わりに、一行当たりの最大文字数と行数とによって表示領域を設定しても良い。

また、操作者は、表示形態として、「カラオケモード」、「スクロールモード」及び「ページ切替モード」の中から１つを選択する。「カラオケモード」が選択された場合、編集画面のタイムライン部１７には、１つの形態素が１つのブロックで囲まれた状態で表示される。このため、カラオケモード時の連動表示用データに含まれるブロック情報は、対応する形態素のタイムスタンプ情報が示す時間情報と同一である。

編集画面のテキスト部１５には、音声の指定された再生経過時間におけるテキストの実際の表示が示される。すなわち、テキスト部１５には、指定された再生経過時間に対応する形態素を含む前後のテキストが表示され、かつ、指定された再生経過時間に対応する形態素の表示色が変わる状態が表示される。このように、カラオケモードが表示形態として選択された連動表示用データを用いて音声を再生した際は、音声の再生に合わせて、テキスト部１５に表示されるテキストの再生経過時間に対応する形態素の表示色が変わる。

「スクロールモード」が選択された場合、編集画面のタイムライン部１７には、テキスト部１５に表示されるテキストの一行に含まれる形態素が１つのブロックで囲まれた状態で表示される。このため、スクロールモード時の連動表示用データに含まれるブロック情報は、各行の先頭の形態素のタイムスタンプ情報が示す開始時間と、その行の最後の形態素のタイムスタンプ情報が示す終了時間とを含む。

編集画面のテキスト部１５には、音声の指定された再生経過時間におけるテキストの実際の表示が示される。すなわち、テキスト部１５には、指定された再生経過時間に対応する行を含む前後のテキストが表示され、かつ、指定された再生経過時間に対応する行の表示色が変わる状態が表示される。なお、一行当たりの文字数及び一ページ当たりの行数は、設定された表示領域に基づく。スクロールモードが選択された場合、音声の再生に合わせて、テキスト部１５に表示されるテキストが行方向にスクロールされる。このように、スクロールモードが表示形態として選択された連動表示用データを用いて音声を再生した際は、音声の再生に合わせて、テキスト部１５に表示されるテキストの再生経過時間に対応する行の表示色が変わる。

「ページ切替モード」が選択された場合、編集画面のタイムライン部１７には、一ページに含まれる形態素が１つのブロックで囲まれた状態で表示される。このため、ページ切替モード時の連動表示用データに含まれるブロック情報は、各ページの先頭の形態素のタイムスタンプ情報が示す開始時間と、そのページの最後の形態素のタイムスタンプ情報が示す終了時間とを含む。

編集画面のテキスト部１５には、音声の指定された再生経過時間におけるテキストの実際の表示が示される。すなわち、テキスト部１５には、指定された再生経過時間に対応するページのテキストが表示される。なお、一ページ当たりの行数及び一行当たりの文字数は、設定された表示領域に基づく。このように、ページ切替モードが表示形態として選択された連動表示用データを用いて音声を再生した際は、音声の再生に合わせて、テキスト部１５に表示されるテキストがページ毎に切り替わる。

以上説明したように、本実施形態では、設定された表示領域に応じて、編集画面のテキスト部１５に表示可能な行数及び文字数が変更され、設定された表示形態に応じて、テキスト部１５に表示されるテキストの音声の再生に合わせた表示の仕方及び複数のブロックによるテキストの区分けの仕方が変更される。

なお、編集画面中のタイムライン部１７に表示される各ブロック内には、図１に示すように、表示形態のモードに応じたテキスト（形態素、一行に含まれるテキスト、一ページに含まれるテキスト）が表示される。しかし、一ブロックに収めるべきテキストの量が多く収まらない場合は、テキストの代わりにアイコン等のイメージをブロック中に表示する。この場合、データ編集装置の操作者が、マウスによって操作可能な表示画面中のポインタをアイコンに位置させたとき、データ編集装置はこのアイコンのブロックに対応するテキストを別ウインドウ又は吹き出しに表示する。

図２は、第１の実施形態のデータ編集装置を示すブロック図である。図２に示すように、第１の実施形態のデータ編集装置１００は、入力部１０１と、データ記憶部１０３と、設定記憶部１０５と、受信部１０７と、データ加工部１０９と、表示制御部１１１とを備える。なお、受信部１０７、データ加工部１０９及び表示制御部１１１はプログラムを実行することによって動作する。上述したように、データ編集装置１００にはモニター１５１が接続されている。モニター１５１には、表示制御部１１１によって生成された表示データ基づく画面が表示される。

入力部１０１は、音声データ及びこの音声データに対応した連動表示用データをデータ記憶部１０３に格納するための入力インタフェースである。データ記憶部１０３は、入力部１０１を介して入力された音声データ及び連動表示用データを記憶する。設定記憶部１０５は、行数及び一行当たりの最大バイト数に応じた表示領域に関する情報と、カラオケモード、スクロールモード及びページ切替モードの各モードに応じた表示形態に関する情報とを記憶する。

受信部１０７は、データ編集装置１００の操作者による表示領域又は表示形態の設定及び連動表示用データの編集のための操作を受け付ける。操作者は、モニター１５１に表示された編集画面を参照しながらＧＵＩで編集できる。表示領域は、操作者が編集画面中の表示領域を示す情報１１の部分をクリックして、新たに表示されるウインドウに行数やバイト数を入力又は変更することによって設定される。また、表示形態は、操作者が編集画面中の表示形態を示す情報１３の部分をクリックして、１つのモードを選択することによって設定される。さらに、連動表示用データのタイムスタンプ情報は、編集画面中のタイムライン部１７に表示されたブロックを操作者がポインタで選択して時間方向（図１では横方向）に動かしたり、ブロックの時間方向の長さを変えることによって編集される。受信部１０７は、受け付けた操作を解析して、その操作が示す指示をデータ加工部１０９に送る。

データ加工部１０９は、データ記憶部１０３から読み出した連動表示用データを、受信部１０７から送られた指示に基づいて加工する。表示形態が設定された際、データ加工部１０９は、設定された表示形態に関する情報を設定記憶部１０５から読み出して、当該設定された表示形態に応じて、１つの形態素、一行に含まれる形態素、又は一ページに含まれる形態素を含む複数のブロックに区分けする。すなわち、データ加工部１０９は、設定された表示形態に応じて、各ブロックの開始時間及び終了時間を含むブロック情報を作成又は更新する。但し、表示形態として「スクロールモード」又は「ページ切替モード」が選択された場合、一行又は一ページ（一ブロック）に含まれる形態素は表示領域によって異なる。このため、データ加工部１０９は、設定された表示領域に関する情報を設定記憶部１０５から読み出して、一行又は一ページに含まれる形態素を、当該設定された表示領域に応じて、行又はページ毎に決定し、ブロック情報を作成又は更新する。

また、データ加工部１０９による表示形態及び表示領域に応じた処理の後、受信部１０７からタイムスタンプ情報の変更指示が送られると、データ加工部１０９は、当該指示に応じてタイムスタンプ情報を変更する。例えば、表示形態として「カラオケモード」が選択され、指定されたブロックに対応する形態素の開始タイミングをずらす指示を受け取った場合、データ加工部１０９は、タイムスタンプ情報中のその形態素に対応する開始時間を変更する。

さらに、データ加工部１０９は、図示しないキャッシュメモリを有し、加工した連動表示用データをこのキャッシュメモリに一時格納する。加工した連動表示用データをデータ記憶部１０３に書き込むよう指示されると、データ加工部１０９は、キャッシュメモリに格納された連動表示部データをデータ記憶部１０３に保存する。

表示制御部１１１は、データ加工部１０９によって加工された連動表示用データ（テキスト、タイムスタンプ情報及びブロック情報）、並びに、表示領域及び表示形態を示す各情報を、上述した編集画面の形態でモニター１５１に表示するための表示データを生成する。また、表示制御部１１１は、受信部１０７が操作者からの表示領域の変更指示を受け付けると、設定された表示領域に関する情報を設定記憶部１０５から読み出して、編集画面のテキスト部１５が所望の表示領域となるよう表示データを変更する。

さらに、表示制御部１１１は、一ブロックに収めるべきテキストの量が多く収まらない場合は、テキストの代わりにアイコンをブロック中に表示するよう表示データを変更する。当該表示データによる編集画面がモニターに表示されている際、ポインタがアイコンの位置に動かされると、表示制御部１１１は、このアイコンのブロックに対応するテキストを別ウインドウ又は吹き出しに表示するよう表示データを変更する。

本実施形態では、データ加工部１０９は、連動表示用データの編集中に行ったタイムスタンプ情報の変更内容を、表示形態が変更されても保持する。例えば、表示形態としてページ切替モードが選択されている際に、あるページの先頭の形態素の開始時間が変更された場合、この後に表示形態がページ切替モードからカラオケモードに変更されても、カラオケモードにおけるこの形態素の開始時間は変更された時間である。

これは、表示形態にかかわらず、形態素毎にタイムスタンプ情報が固有に割り当てられ、ブロック情報は形態素のタイムスタンプ情報を利用しているためである。

しかし、例えば、カラオケモードが選択されている際に形態素の開始時間を変更した後、表示形態をスクロールモード又はページ切替モードに変更し、かつ開始時間を変更した形態素が各モードにおけるブロックで先頭及び最後以外の途中に位置する場合、編集画面中のタイムライン部１７に表示されるブロックは開始時間、終了時間に基づき表示されるため、前記形態素の開始時間変更前と変更後において表示上、変化がないように見える。

（第２の実施形態）
第２の実施形態では、時間軸上でブロックの順序を変更する操作、及び時間軸上で隣接する複数のブロックを重ねる操作を禁止する。すなわち、データ編集装置の操作者は、編集画面を参照してブロックを動かす際に、時間軸上でブロックの順序を変更したり、時間軸上で隣接する複数のブロックを重ねる操作ができない。この機能を実現するため、本実施形態のデータ編集装置は、第１の実施形態のデータ編集装置１００が備える構成要素に加えて、受信部１０７とデータ加工部１０９との間に判定部１１３を備える。

図３は、第２の実施形態のデータ編集装置を示すブロック図である。判定部１１３は、受信部１０７によって解析された操作の指示が禁止された操作か否かを判定する。判定部１１３は、禁止されていない操作に係る指示だけをデータ加工部１０９に送り、禁止されている操作に係る指示は送らない。例えば、操作者によって選択されたブロックが動かされる場合、判定部１１３は、このブロックと隣りのブロックとが互いに接するまでは、この操作に係る指示をデータ加工部１０９に送る。しかし、これら２つのブロックの少なくとも一部を重ねる操作が行われたとき、判定部１１３は、この操作に係る指示をデータ加工部１０９には送らない。

本実施形態では、編集画面のタイムライン部１７に表示されている２つのブロックを重ねる操作が行われたとき、判定部１１３は、この操作に係る指示の代わりに、これら２つのブロックが接した状態でまとめて動かす指示をデータ加工部１０９に送る。図４は、表示形態としてカラオケモードが選択された状態で、空白の時間帯を挟んで隣り合う形態素のブロックの１つを動かすときの、タイムライン部１７に表示される画面の一部を示す図である。図４に示すように、時間的に後のブロック２１が時間的に前に動かされる場合、後のブロック２１の開始時間が先のブロック２３の終了時間に一致するまで後のブロック２１は動かされる。しかし、後のブロック２１をさらに前に動かそうとした場合、これら２つのブロック２１，２３が接したまま先のブロック２３も動く。

このように、２つのブロックが接した状態でまとめて動かす指示を受け取ったデータ加工部１０９は、先のブロックの終了時間と後のブロックの開始時間を同時間に保ったまま、各ブロックの開始時間及び終了時間を変更するよう連動表示用データに含まれるタイムスタンプ情報及びブロック情報を加工する。なお、本実施形態では、隣り合う２つのブロックについて説明したが、時系列的に隣接する３つ以上のブロックについても同様である。また、図４では表示形態としてカラオケモードが選択されているときについて説明したが、スクロールモード及びページ切替モードについても同様である。

（第３の実施形態）
第３の実施形態では、音声の再生に合わせたテキストの表示を操作者が一時停止したとき、一時停止されたときの再生経過時間に所定の形態で表示されていた形態素の開始時間又は終了時間を当該再生経過時間に変更する。なお、本実施形態のデータ編集装置は、音声の再生及び連動表示用データに基づくテキストの所定の形態での表示（以下、これらをまとめて単に「再生」という。）を行う機能を有する。この機能を実現するため、本実施形態のデータ編集装置は、第１の実施形態のデータ編集装置１００が備える構成要素に加えて、さらに再生部１１５を備える。

図５は、第３の実施形態のデータ編集装置を示すブロック図である。再生部１１５は、データ記憶部１０３から音声データ及び連動表示用データを読み出して再生する。テキストは表示制御部１１１を介してモニター１５１に表示され、音声は外部に設けられたスピーカ１５３から出力される。本実施形態の受信部３０７は、操作者による再生のための操作を受け付ける。受信部３０７は、この操作を解析して、再生指示を再生部１１５に送る。再生部１１５は、受信部３０７から再生指示を受け取ると再生処理を開始する。また、受信部３０７は、再生を一時停止するための操作も受け付ける。再生部１１５は、受信部３０７から一時停止の指示を受け取ると再生を一時停止する。

本実施形態の受信部３０７は、一時停止されたときの再生経過時間に表示されていた形態素の開始時間又は終了時間を当該再生経過時間に変更するための操作も受け付ける。受信部３０７は、この操作が示す指示をデータ加工部１０９に送る。データ加工部１０９は、この指示に応じて連動表示用データを加工する。図６は、表示形態としてカラオケモードが選択された状態で、一時停止されたときの再生経過時間に表示されていた形態素の開始時間（ａ）及び終了時間（ｂ）を当該再生経過時間に変更するときの様子を示す図である。図６（ａ）及び図６（ｂ）に示すように、データ加工部１０９は、一時停止されたときの形態素３１の開示時間又は終了時間を一時停止時の再生経過時間に変更する。なお、データ加工部１０９は、開始時間を変更した形態素の終了時間は変更しない。同様に、データ加工部１０９は、終了時間を変更した形態素の開始時間は変更しない。

図６では、カラオケモードが選択された状態での例について説明したが、スクロールモード及びページ切替モードの場合も同様である。但し、スクロールモード及びページ切替モードの場合は、一時停止されたときの形態素が含まれるブロックの開始時間又は終了時間が変更される。

また、本実施形態において、操作者が所定の形態で表示されているブロックを選択した場合に、受信部３０７は、上記ブロックに含まれる形態素を再生部１１５に通知し、再生部１１５は、上記形態素の開始時間及び終了時間を取得し、上記ブロックに含まれる形態素が該当する音声を再生するようにしてもよい。

（第４の実施形態）
第４の実施形態では、音声の再生時間の一部の範囲に対応する連動表示用データを再生成する。なお、音声の再生時間の一部の範囲は操作者によって指定される。この機能を実現するため、本実施形態のデータ編集装置は、第１の実施形態のデータ編集装置１００が備える構成要素に加えて、データ生成部１１７を備える。

図７は、第４の実施形態のデータ編集装置を示すブロック図である。データ生成部１１７は、操作者によって指定された範囲の連動表示用データを、この範囲の音声データとテキストデータとを用いて生成する。連動表示用データの生成方法としては、関連技術（特開２００１−１７５２６７号公報）を使用しても、Ｗｅｂ等にあらかじめ用意されている連動表示用データから該当するデータを検索し、取得しても良い。本実施形態の受信部４０７は、操作者による範囲を指定するための操作及びこの範囲の連動表示用データの生成を指示するための操作を受け付ける。受信部４０７は、これら操作を解析して、指定範囲の連動表示用データの生成指示をデータ生成部１１７に送る。データ生成部１１７は、この生成指示を受け取るとデータ記憶部１０３から音声データ及びテキストデータを読み出して生成処理を開始する。データ生成部１１７は、生成した連動表示用データをデータ記憶部１０３に記憶されている元の連動表示用データの該当する箇所に上書きする。

（第５の実施形態）
第５の実施形態では、データ記憶部１０３に格納されている連動表示用データには形態素毎に信頼度が付されている。各形態素の信頼度の導出方法は１つに限定されない。例えば、異なる者によって手動で生成された複数の連動表示用データを利用して、各形態素のタイムスタンプ情報の平均と標準偏差に基づいて信頼度を導出しても良い。なお、第５の実施形態のデータ編集装置は第１の実施形態のデータ編集装置１００と構成が同じであるため、図示を省略する。

本実施形態の表示制御部は、連動表示用データに含まれるタイムスタンプ情報を編集画面のタイムライン部１７に表示するための表示データを生成する際、ブロック内に表示される形態素の表示色又は模様が信頼度によって異なるよう表示データを生成する。尚、全ての形態素毎の信頼度を合計した値がある定められた閾値より低かった場合等、その連動表示用データまたは連動表示用データの該当する音声データの名前をモニター１５１に表示しても良い。

（第６の実施形態）
第６の実施形態では、１つの音声データ及びこれに対応するテキストデータに基づいて生成された複数の連動表示用データがデータ記憶部１０３に格納されており、図８に示すように、操作者によって指定された範囲の連動表示用データ４１を別の連動表示用データの同範囲のデータ４３に置き換える。

この機能を実現するため、本実施形態の受信部１０７は、操作者による音声の再生時間の一部の範囲を指定するための操作及び当該範囲の指定された連動表示用データを別の連動表示用データのデータに置き換えるための操作を受け付ける。受信部１０７は、これら操作を解析して、指定範囲の指定された連動表示用データを別の連動表示用データのデータに置き換える指示をデータ加工部１０９に送る。データ加工部１０９は、データ記憶部１０３から連動表示用データを読み出して、受信部１０７から送られた指示に応じて連動表示用データを加工する。なお、第６の実施形態のデータ編集装置は第１の実施形態のデータ編集装置と構成が同じであるため、図示を省略する。

なお、各連動表示用データに第４の実施形態で説明した信頼度が付されている場合、操作者は信頼度を参照して置き換える範囲及び置き換え元の連動表示用データを決定しても良い。

（第７の実施形態）
第７の実施形態では、上記説明した実施形態の構成に加えて、連動表示用データが、各形態素に割り当てられる情報として、タイムスタンプ情報だけでなく、設定された表示領域に基づいてテキスト部１５に表示されるテキストの行番号を示す情報（以下「行情報」という。）を含む。図９は、第７の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。図９に示すように、表示制御部１１１は、連動表示用データに含まれる各形態素に割り当てられた行情報及び表示領域に基づいて、本実施形態の編集画面２０のタイムライン部２７に、タイムライン２７１と平行にして、行ブロック２７３及びページブロック２７５をモニター１５１に表示するよう制御する。行ブロック２７３は、各形態素が何行目に表示されるかを示し、ページブロック２７５は、各形態素が何ページ目に表示されるかを示す。なお、本実施形態における行及びページは、テキスト部１５に表示される実際の行及びページではなく、テキスト部１５に表示され得るテキスト全体の内の行及びページをいう。

ページブロック２７５が示すページ番号は、形態素に割り当てられた行番号と表示領域が示す行数とから導出できる。図９に示した例では、表示領域として「２行１６バイト」が選択されているため、テキスト部１５には１ページ当たり２行が表示される。したがって、１行目又は２行目として割り当てられた形態素は１ページ目に表示され、３行目又は４行目として割り当てられた形態素は２ページ目に表示される。
尚、各表示領域が示す行数とバイト数により導出される上記複数のページ番号を連動表示用データに保持してもよい。

本実施形態のデータ編集装置の操作者は、タイムライン部２７中の行ブロック２７３の左右の端のいずれかを、マウスによって操作可能な表示画面中のポインタを用いて左右にスライドすることができる。行ブロック２７３の端がスライドされることによって、データ加工部１０９は、当該端にかかる形態素に割り当てられている行情報を変更する。

例えば、図９に示す編集画面２０で、操作者が、２行目を示す行ブロックの右端（３行目を示す行ブロックの左端）を点線で示す位置まで左にスライドすると、２行目の最後の形態素である「の」の行情報が、２行目から３行目に変更される。なお、当該例では、２行目を示す行ブロックの右端（３行目を示す行ブロックの左端）と１ページ目を示すページブロックの右端（２ページ目を示すページブロックの左端）は同一時間上に位置すべきであるため、上記スライドを行うと、１ページ目を示すページブロックの右端（２ページ目を示すページブロックの左端）も同様にスライドされる。

また、行情報は、形態素の途中で切り替わることはないため、操作者が行ブロックの端を形態素の中間までスライドした場合には、当該形態素の開始時間及び終了時間とスライドした位置の時間を比較し、近い位置へ自動的に行ブロックの端をスライドし、該当する形態素の行情報についても上記行ブロックの端をスライド後の値に変更してもよい。尚、頁情報においても前記行情報の操作時と同様である。

本実施形態によれば、データ編集装置の操作者は、各形態素が表示される行及びページをタイムライン部２７の表示によって視覚的に認識しながらデータを編集できる。特に、テキスト部１５上での改行位置を視覚的に認識することができる。

尚、本実施形態ではすでに連動表示用データに行番号を示す情報を含んだ例を説明しているが、表示制御部１１１において連動表示用データの各形態素のバイト数と表示領域１１に設定されたバイト数及び行数を比較する事で、必要な行数及びページ数を計算し、前記行数及びページ数の計算結果を連動表示用データに保存し、テキスト部１５及びタイムライン部２７に表示してもよい。また、前記連動表示用データに含まれる行情報は、前記表示領域１１に設定されたバイト数及び行数に基づき複数保持していてもよい。尚、本実施形態では行ブロック２７３及びページブロック２７５をタイムライン部２７内にそれぞれ上下に配置しているが、行、ページを示す範囲毎に該当する形態素を枠で囲い、その枠の大きさを変更する事で操作者に編集させても良い。

（第８の実施形態）
第８の実施形態では、連動表示用データは第７の実施形態と同様であるが、モニター１５１によって表示される編集画面が異なる。図１０は、第８の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。図１０に示すように、表示制御部１１１は、本実施形態の編集画面３０のタイムライン部３７に、表示領域１１に設定された行数、すなわち、テキスト部１５に表示された行数と同数のタイムライン及び各タイムラインに割り当てられた形態素をモニター１５１に表示するよう制御する。また、各タイムラインには、該当する行番号３７３が示されている。さらに、各タイムラインには、該当するページ番号３７５も表示されている。

図１０に示した例では、表示領域として「３行３０バイト」が選択されているため、テキスト部１５には１ページ当たり３行が表示される。したがって、１行目、２行目又は３行目として割り当てられた形態素は１ページ目に表示され、４行目、５行目又は６行目として割り当てられた形態素は２ページ目に表示される。

本実施形態のデータ編集装置の操作者は、マウスによって操作可能な表示画面中のポインタを用いて、タイムライン部３７中のブロックを左右に動かすことにより当該ブロックの時間情報を修正することができる。さらに、当該ブロックを別の行に動かすことができ、当該ブロックを別の行に動かすことによって、データ加工部１０９は、当該ブロックに含まれる形態素に割り当てられている行情報を変更する。また、動かされたブロックに含まれる形態素に割り当てられているタイムスタンプ情報に基づいて、表示制御部１１１は、移動先の行及び移動元の行の各タイムラインが変更される。
なお、上記ブロックを別の行に移動に移動する際、当該ブロックの時間情報は変更されない。

図１０に示す編集画面３０で、操作者が、例えば２行目の最後の形態素「は」を含むブロックを指定して３行目に動かすと、当該ブロックは３行目の先頭に移動する。また、当該移動によって、２行目及び３行目のタイムラインが変更される。２行目のタイムラインは、５秒〜９秒であったのが５秒〜８秒に変更され、３行目のタイムラインは、９秒〜１２秒であったのが８秒〜１２秒に変更される。すなわち、２行目のタイムラインは、動かされたブロックに含まれる形態素のタイムスタンプ情報が示す時間を除いた時間に変更され、３行目のタイムラインは、当該形態素のタイムスタンプ情報が示す時間を追加した時間に変更される。

また、図１０に示す編集画面３０で、操作者が、例えば２行目の最後から２番目に位置する形態素「とり」を含むブロックを指定して３行目に動かした場合、本実施形態では、当該ブロックと共に、２行目の最後の形態素「は」を含むブロックも３行目の先頭に移動される。なお、移動された２つのブロックの時間的な前後関係は変わらない。当該移動の際も、２行目及び３行目のタイムラインは変更される。

なお、上記説明は、若い行番号から古い行番号へのブロックの移動について説明したが、その逆の場合、移動されたブロックは移動先の行の最後尾に移動する。

本実施形態によれば、データ編集装置の操作者は、各形態素が表示される行及びページをタイムライン部３７の表示によって視覚的に認識しながらデータを編集できる。特に、テキスト部１５上での改行位置を視覚的に認識することができる。

（第９の実施形態）
図１１は、第９の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。図１１に示すように、表示制御部１１１は、第９の実施形態の編集画面４０に、タイムライン部１７のタイムラインと平行して、同じ時間スケールで、伴奏音等を含む音声を示す波形１８もしくは歌唱音声のみを示す波形１９を表示する。なお、波形データはデータ記憶部１０３に格納されている。本実施形態によれば、波形１８及び１９の変化に基づいて、視覚的な判断によってブロックを動かすことができる。

（第１０の実施形態）
上述したように、テキストには、句読点や特殊文字が含まれ得る。但し、句読点や？、！等の特殊文字は１つの形態素であるが、音がない。このため、当該形態素に割り当てられるタイムスタンプ情報を生成する際に音声認識技術を用いた場合、開始時間には音声の所定の再生経過時間が設定されるが、時間長には０が設定され、終了時間には開始時間と同じ時間が設定される可能性がある。このため、当該形態素は、編集画面１０中のタイムライン部１７には、全く幅を持たない線として表される。すなわち、当該形態素は、タイムライン部１７中に操作可能な形態素として表示されない。

第１０の実施形態では、データ加工部１０９が、このような形態素のタイムスタンプ情報として含まれる時間長を例えば０．５秒に変更し、開始時間と終了時間の時間差が例えば０．５秒となるようタイムスタンプ情報を変更する。図１２は、第１０の実施形態のデータ編集装置による編集前後のモニターに表示されるタイムライン部の一例を示す図である。例えば、図１２（ａ）に示すように、テキストとしては形態素「やる」の後ろに形態素「？」が存在するが、形態素「？」には音がないため、当該形態素はタイムライン部１７中に表示されない。しかし、本実施形態では、当該形態素が約０．５秒の時間長を持つよう、当該形態素のタイムスタンプ情報が変更される。すなわち、変更前の形態素「？」のタイムスタンプ情報としては、開始時間が１１．７秒、時間長が０秒（終了時間が１１．７秒）に設定されているが、時間長が０．５秒（終了時間が１２．２秒）に変更される。したがって、図１２（ｂ）に示すように、形態素「やる」の後ろに形態素「？」が表示される。

なお、このような形態素の時間的前後に別の形態素が設定されており、当該形態素に時間幅を持たせると、隣接する形態素と重なってしまう場合があり得る。このような場合は、データ加工部１０９が、隣接する形態素の時間長を短くして、表示させたい形態素の時間長を上述のように設定することによって、表示制御部１１１は、当該表示させたい形態素をタイムライン部１７に表示させることができる。
なお、本実施の形態では、上記表示されない形態素を単独で表示させる方法を記述したが、当該形態素に隣接する形態素に含めて表示してもよい。
例えば、当該形態素の直前の形態素の終了時間を当該形態素の終了時間にすることにより、直前の形態素に含めることができる。また、当該形態素の直後の形態素の開始時間を当該形態素の開始時間にすることにより、直前の形態素に含めることができる。

（第１１の実施形態）
図１３は、第７の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図である。第１１の実施形態では、図１３に示すように、編集画面１０のテキスト部１５に表示されている形態素が、マウスによって操作可能な表示画面中のポインタによって特定されると、表示制御部１１１は、ポインタによって特定された形態素をタイムライン部１７中に異なる色で表示するよう制御する。なお、ポインタによって特定された形態素が含まれるブロックを表示形態に応じて認識した後に、当該認識されたブロックに含まれる全ての形態素をタイムライン部１７中に色で表示しても良い。

さらに、本実施形態では、ポインタによって特定された形態素が含まれるブロックを表示形態に応じて認識した後、当該認識されたブロックに含まれる先頭の形態素から最後の形態素までの音声を再生して、図示しないスピーカから出力する。
尚、表示制御部１１１は、表示領域１１の行数、バイト数に基づき、テキスト部１５及びタイムライン部１７に各形態素を表示する際に、形態素毎に編集画面内の位置を計算し、その位置と形態素の関係を前記連動表示用データに記憶しておいても良い。

本発明に係るデータ編集装置は、伴奏等の音声の再生に合わせて歌詞等のテキストを所定の形態で表示するための連動表示用データを、テキストの表示領域又は表示形態に応じて容易に編集できる装置又はプログラム等として有用である。

第１の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図 第１の実施形態のデータ編集装置を示すブロック図 第２の実施形態のデータ編集装置を示すブロック図 表示形態としてカラオケモードが選択された状態で、空白の時間帯を挟んで隣り合う形態素のブロックの１つを動かすときの、タイムライン部に表示される画面の一部を示す図 第３の実施形態のデータ編集装置を示すブロック図 表示形態としてカラオケモードが選択された状態で、一時停止されたときの再生経過時間に表示されていた形態素の開始時間（ａ）及び終了時間（ｂ）を当該再生経過時間に変更するときのブロックを示す図 第４の実施形態のデータ編集装置を示すブロック図 一部の範囲の連動表示用データを別の連動表示用データの同範囲のデータに置き換える様子を示す図 第７の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図 第８の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図 第９の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図 第１０の実施形態のデータ編集装置による編集前後のモニターに表示されるタイムライン部の一例を示す図 第１１の実施形態のデータ編集装置によってモニターに表示される連動表示用データを編集中の画面の一例を示す図

１０１ 入力部
１０３ データ記憶部
１０５ 設定記憶部
１０７，３０７，４０７ 受信部
１０９ データ加工部
１１１ 表示制御部
１１３ 判定部
１１５ 再生部
１１７ データ生成部

Claims (37)

1. 音声の内容が記載されているテキストを音声の再生に合わせて所定の形態で表示するための連動表示用データを編集するデータ編集装置であって、
   前記連動表示用データを所定の表示形態で表示するための表示データを生成する表示制御部を備え、
   前記表示制御部は、前記テキストの少なくとも一部を表示する表示領域のサイズを設定し、
   前記連動表示用データは、前記テキストと、１文字以上の文字で構成される文字列の各々に付された、前記音声の所定の再生経過時間によって示されるタイムスタンプ情報と、を有することを特徴とするデータ編集装置。
2. 請求項１に記載のデータ編集装置であって、
   前記タイムスタンプ情報は、前記テキストの表示形態または表示領域の設定値によって変わらない固有の時間情報であることを特徴とするデータ編集装置。
3. 請求項１又は２に記載のデータ編集装置であって、
   前記データ編集装置は、前記連動表示用データを加工するデータ加工部を備え、
   前記データ加工部は、前記タイムスタンプ情報を変更することを特徴とするデータ編集装置。
4. 請求項３に記載のデータ編集装置であって、
   前記データ加工部は、前記連動表示用データに含まれる前記テキストを、複数の、１文字以上の文字で構成される文字列の集合であるブロックに区分けすることを特徴とするデータ編集装置。
5. 請求項４に記載のデータ編集装置であって、
   前記連動表示用データは、前記データ加工部で区分けされた各ブロックの区画を前記音声の再生経過時間によって示すブロック情報を有することを特徴とするデータ編集装置。
6. 請求項４又は５に記載のデータ編集装置であって、
   前記テキストの表示形態は、
   １つの文字列を１つのブロックに含める第１の形態、
   前記テキストの一行に含まれる文字列を１つのブロックに含める第２の形態、及び
   前記テキストの表示領域に応じた一ページに含まれる文字列を１つのブロックに含める第３の形態の内、いずれか１つ以上を有することを特徴とするデータ編集装置。
7. 請求項４〜６のいずれか一項に記載のデータ編集装置であって、
   前記テキストの表示形態の内の１つが設定されると、設定後のブロックに対応して前記ブロック情報が更新されることを特徴とするデータ編集装置。
8. 請求項１〜７のいずれか一項に記載のデータ編集装置であって、
   前記タイムスタンプ情報は、文字列を表示し始める開始時間と、当該文字列を表示し終える終了時間又は当該文字列を表示し終えるまでの時間長と、を含むことを特徴とするデータ編集装置。
9. 請求項４〜７のいずれか一項に記載のデータ編集装置であって、
   前記ブロック情報は、各ブロックに含まれる最初の文字列を表示し始める開始時間と、各ブロックに含まれる最後の文字列を表示し終える終了時間又は各ブロックに含まれる最後の文字列を表示し終えるまでの時間長と、を含むことを特徴とするデータ編集装置。
10. 請求項４〜７及び９のいずれか一項に記載のデータ編集装置であって、
    前記ブロック情報は、前記テキストの表示領域の大きさが設定されると、設定後の大きさに対応して前記ブロック情報が更新されることを特徴とするデータ編集装置。
11. 請求項１〜１０のいずれか一項に記載のデータ編集装置であって、
    前記テキストの表示領域は、行数及び一行当たりの最大バイト数によって設定されることを特徴とするデータ編集装置。
12. 請求項１〜１１のいずれか一項に記載のデータ編集装置であって、
    前記テキストの表示領域は、行数及び一行当たりの最大文字数によって設定されることを特徴とするデータ編集装置。
13. 請求項１〜１２のいずれか一項に記載のデータ編集装置であって、
    前記表示制御部で生成された表示データに基づく前記所定の表示形態で表示される編集画面は、
    前記テキストの少なくとも一部を表示する第１の領域と、
    前記複数のブロックに区分けされた前記テキストの文字列を、前記ブロック情報に基づいて、各ブロック毎に前記再生経過時間の時間軸上に並べて表示する第２の領域と、を含むことを特徴とするデータ編集装置。
14. 請求項１３に記載のデータ編集装置であって、
    前記テキストの表示形態として前記第１の形態又は前記第２の形態が設定されたとき、前記第１の領域には、前記テキストの一部が行毎に表示され、
    前記テキストの表示形態として前記第３の形態が設定されたとき、前記第１の領域には、前記テキストの一部がページ毎に表示されることを特徴とするデータ編集装置。
15. 請求項１３又は１４に記載のデータ編集装置であって、
    前記編集画面は、前記テキストの表示領域を示す情報又は前記テキストの表示形態を示す情報を表示することを特徴とするデータ編集装置。
16. 請求項１３〜１５のいずれか一項に記載のデータ編集装置であって、
    前記表示制御部は、１つのブロックが含む全ての文字列を前記第２の領域に表示できないとき、前記ブロック内に所定のイメージ又は文字列を表示するよう前記表示データを処理し、前記所定のイメージ又は文字列又は前記ブロックが選択されたとき、前記全ての文字列を異なる画面に表示する表示データを生成することを特徴とするデータ編集装置。
17. 請求項１３〜１６のいずれか一項に記載のデータ編集装置であって、
    前記表示制御部で生成された表示データに基づく前記所定の表示形態で表示される編集画面上の前記第１の領域又は第２の領域が選択されたとき、各々の領域に含まれる連動表示用データの再生経過時間に基づき、音声の再生を行うことを特徴とするデータ編集装置。
18. 請求項１〜１７のいずれか一項に記載のデータ編集装置であって、
    前記連動表示用データの編集に関する指示が禁止されている内容かを判定する判定部を備えることを特徴とするデータ編集装置。
19. 請求項１８に記載のデータ編集装置であって、
    前記禁止されている前記連動表示用データの編集の指示は、時間軸上でブロックの順序を変更する指示、又は時間軸上で隣接する複数のブロックを重ねる指示であることを特徴とするデータ編集装置。
20. 請求項１８又は１９に記載のデータ編集装置であって、
    前記連動表示用データの編集に関する指示が、前記時間軸上で隣接する複数のブロックを重ねる指示である場合、
    前記データ加工部は、時間的に先のブロックの終了時間又は時間的に先のブロックの時間長と時間的に後のブロックの開始時間を同時間に保ったまま前記連動表示用データを加工することを特徴とするデータ編集装置。
21. 請求項３〜２０のいずれか一項に記載のデータ編集装置であって、
    前記連動表示用データに基づいて前記音声の再生に合わせて前記テキストを前記所定の形態で表示中に一時停止されたとき、前記データ加工部は、一時停止されたときの再生経過時間に前記所定の形態で表示されていた文字列が含まれるブロックの開始時間又は終了時間又は時間長を前記再生経過時間に変更することを特徴とするデータ編集装置。
22. 請求項３〜２１のいずれか一項に記載のデータ編集装置であって、
    前記音声の再生時間の一部の範囲のデータと前記テキストのデータとを用いて、前記一部の範囲の連動表示用データを生成するデータ生成部を備えたことを特徴とするデータ編集装置。
23. 請求項３〜２２のいずれか一項に記載のデータ編集装置であって、
    前記表示制御部は、文字列毎に信頼度が付された連動表示用データに基づいて、各文字列の表示色又は模様が信頼度によって異なるよう表示データを生成することを特徴とするデータ編集装置。
24. 請求項３〜２３のいずれか一項に記載のデータ編集装置であって、
    前記データ加工部は、１つの音声データ及びこれに対応するテキストデータに基づいて生成された複数の連動表示用データを用いて、指定された範囲の連動表示用データを別の連動表示用データの同範囲のデータに置き換えることを特徴とするデータ編集装置。
25. 請求項１３〜２４のいずれか一項に記載のデータ編集装置であって、
    前記連動表示用データは、１文字以上の文字で構成される文字列の各々に付された、前記第１の領域に表示されるテキストの行番号を示す行情報を有し、
    前記表示制御部は、前記第２の領域に表示される文字列に対応した行情報が示す行番号を前記第２の領域に表示するための表示データを生成することを特徴とするデータ編集装置。
26. 請求項２５に記載のデータ編集装置であって、
    前記第２の領域に表示されている行番号はブロックによって表示され、各ブロックの幅が、当該データ編集装置のユーザによる操作によって変更されると、前記データ加工部は、前記連動表示用データに含まれる前記行情報を加工することを特徴とするデータ編集装置。
27. 請求項２５又は２６に記載のデータ編集装置であって、
    前記第２の領域には、前記第１の領域が有する行数と同数の時間軸が表示され、各時間軸には異なる行番号が付されていることを特徴とするデータ編集装置。
28. 請求項２５〜２７のいずれか一項に記載のデータ編集装置であって、
    前記テキストの文字列の時間的な位置が変更される際、前記表示制御部は、当該変更によって影響を受ける時間軸の値を変更することを特徴とするデータ編集装置。
29. 請求項２５〜２８のいずれか一項に記載のデータ編集装置であって、
    前記連動表示用データの編集に関する指示が禁止されている内容かを判定する判定部を備え、
    前記禁止されている前記連動表示用データの編集の指示は、時間軸上でブロックの順序を変更する指示、又は時間軸上で隣接する複数のブロックを重ねる指示であることを特徴とするデータ編集装置。
30. 請求項２５〜２９のいずれか一項に記載のデータ編集装置であって、
    前記表示制御部は、前記第２の領域に表示される文字列に対応した行情報が示す行番号及び前記第１の領域が有する行数から導出されるページ番号を前記第２の領域に表示するための表示データを生成することを特徴とするデータ編集装置。
31. 請求項２５〜３０のいずれか一項に記載のデータ編集装置であって、
    前記表示制御部は、前記連動表示用データの１文字以上の文字で構成される文字列の各々の大きさと前記表示領域の大きさを比較し、前記第１の領域及び前記第２の領域に表示するための表示データを生成することを特徴とするデータ編集装置。
32. 請求項２５〜３１のいずれか一項に記載のデータ編集装置であって、
    前記連動表示用データは、前記テキストの表示領域の大きさ及び、表示形態に対応した前記ブロック情報をそれぞれの設定に応じて複数保持することを特徴とするデータ編集装置。
33. 請求項３〜３２のいずれか一項に記載のデータ編集装置であって、
    前記データ加工部は、再生時間長が０の文字列に付されたタイムスタンプ情報を編集して、当該文字列の再生時間長が所定値以上の時間となるよう前記連動表示用データを加工することを特徴とするデータ編集装置。
34. 請求項３３に記載のデータ編集装置であって、
    前記再生時間長が０の文字列は、句読点又は特殊文字であることを特徴とするデータ編集装置。
35. コンピュータを、請求項１〜３４のいずれか一項に記載のデータ編集装置が備える各部として機能させるためのデータ編集プログラム。
36. 音声の再生に合わせて、請求項１〜３４のいずれか一項に記載のデータ編集装置又は請求項３５に記載のデータ編集プログラムにより編集された連動表示用データに基づくテキストを所定のタイミングで表示することを特徴とする再生装置。
37. 請求項１〜３４のいずれか一項に記載のデータ編集装置又は請求項３５に記載のデータ編集プログラムにより編集された連動表示用データに基づき、音声の再生に合わせてテキストを表示し、その表示部分を利用してユーザの選択箇所を取得する事により、その文字列から再生を開始することを特徴とする再生装置。