JP2016177311A - Text processing device, text processing method and text processing program - Google Patents
Text processing device, text processing method and text processing program Download PDFInfo
- Publication number
- JP2016177311A JP2016177311A JP2016104588A JP2016104588A JP2016177311A JP 2016177311 A JP2016177311 A JP 2016177311A JP 2016104588 A JP2016104588 A JP 2016104588A JP 2016104588 A JP2016104588 A JP 2016104588A JP 2016177311 A JP2016177311 A JP 2016177311A
- Authority
- JP
- Japan
- Prior art keywords
- character string
- text
- data
- position information
- speech
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 41
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims description 32
- 238000003860 storage Methods 0.000 claims description 12
- 238000013518 transcription Methods 0.000 abstract description 30
- 230000035897 transcription Effects 0.000 abstract description 30
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000009194 climbing Effects 0.000 description 2
- 239000000945 filler Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 241000590419 Polygonia interrogationis Species 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
Images
Landscapes
- Document Processing Apparatus (AREA)
Abstract
Description
本発明の実施形態は、音声データをテキスト化する書き起こし作業を支援するためのテキスト処理装置、テキスト処理方法およびテキスト処理プログラムに関する。 Embodiments described herein relate generally to a text processing apparatus, a text processing method, and a text processing program for supporting a transcription work for converting voice data into text.
従来、書き起こし作業の効率化を図るための様々な技術が知られている。例えば、音声データに対して音声認識処理を実行することにより得られた音声テキストデータを構成する複数の文字列の各々と、音声データの位置(再生位置)とを対応付けて画面上に表示させるという技術が知られている。この技術では、画面上の文字列が選択されると、その文字列に対応する再生位置から音声データが再生されるので、ユーザー(書き起こし作業者)は、文字列を選択して音声データを聞きながら当該文字列の修正を行う。 Conventionally, various techniques for improving the efficiency of transcription work are known. For example, each of a plurality of character strings constituting speech text data obtained by executing speech recognition processing on speech data is associated with the position (reproduction position) of the speech data and displayed on the screen. This technology is known. In this technology, when a character string on the screen is selected, the audio data is reproduced from the reproduction position corresponding to the character string. Therefore, the user (transcriber) selects the character string and selects the audio data. Correct the character string while listening.
上述した技術では、音声テキストデータを構成する複数の文字列の各々と、音声データの再生位置とを対応付けて画面上に表示させる必要があるので、表示制御の構成が複雑になるという問題がある。また、書き起こし作業では、フィラーや文法的な誤りを含む音声データをそのまま書き起こすことは少なく、整文作業を行うのが一般的である。すなわち、音声データと、ユーザーが書き起こそうとする文章との間には大きな差異があるので、上述した技術のように、音声データの音声認識結果を修正する作業を行うことは、必ずしも効率的ではない。したがって、構成の簡素化を図るという観点からは、音声認識結果の修正作業を行う書き起こす方式よりも、音声データを再生しながら、聞き取れた範囲をテキスト化していく書き起こし方式の方が好ましい。この場合、ユーザーは、音声データの一時停止、巻き戻しを繰り返しながら書き起こし作業を行うことになる。ここで、一時停止を解除して音声データの再生を再開する場合(書き起こし作業を再開する場合)は、音声データのうち書き起こしが完了した位置から再生が再開されることが望ましい。 In the above-described technique, it is necessary to display each of a plurality of character strings constituting the voice text data on the screen in association with the reproduction position of the voice data, so that there is a problem that the configuration of the display control becomes complicated. is there. Also, in the transcription work, it is rare to transcribe voice data including fillers and grammatical errors as they are, and it is common to perform literary work. That is, since there is a big difference between the voice data and the sentence that the user wants to transcribe, it is not always efficient to perform the work of correcting the voice recognition result of the voice data as in the above-described technique. is not. Therefore, from the viewpoint of simplifying the configuration, the transcription system that converts the audible range into text while reproducing the voice data is preferable to the transcription system that corrects the speech recognition result. In this case, the user performs the transcription work while repeatedly pausing and rewinding the audio data. Here, when the pause is released and the reproduction of the audio data is resumed (when the transcription work is resumed), the reproduction is preferably resumed from the position where the transcription is completed in the audio data.
しかしながら、従来においては、音声データのうち書き起こしが完了した位置を特定することは困難であるという問題がある。 However, conventionally, there is a problem that it is difficult to specify a position where transcription has been completed in audio data.
本発明が解決しようとする課題は、音声データのうち書き起こしが完了した位置を特定可能なテキスト処理装置、テキスト処理方法およびテキスト処理プログラムを提供することである。 The problem to be solved by the present invention is to provide a text processing device, a text processing method, and a text processing program capable of specifying a position where transcription has been completed in audio data.
実施形態のテキスト処理装置は、処理部を備える。処理部は、音声データに対応するテキストを構成する文字列の終端の文字列が、音声データの認識処理により得られる音声テキストデータに含まれる文字列と一致せず、かつ、終端の文字列以外の文字列の中に、音声テキストデータに含まれる文字列と一致する文字列が存在する場合、一致する文字列の音声データにおける位置情報から、音声データにおける前記終端の文字列の位置情報を取得する。 The text processing apparatus according to the embodiment includes a processing unit. The processing unit does not match the character string at the end of the character string that constitutes the text corresponding to the sound data, and does not match the character string included in the sound text data obtained by the sound data recognition process, and other than the character string at the end If there is a character string that matches the character string included in the voice text data, the position information of the terminal character string in the voice data is obtained from the position information in the voice data of the matching character string. To do.
実施形態のテキスト処理装置は、作成部と処理部とを備える。作成部は、音声データに対応するテキストを作成する。処理部は、音声データの認識処理により得られる音声テキストデータと、音声テキストデータに含まれる文字列の音声データにおける位置情報とを用いて、音声データに対応するテキストを構成する文字列の終端の文字列の音声データにおける位置情報を取得する。また、処理部は、作成部が、改行、句読点、疑問符および感嘆符の何れかを指示する入力を受け付けた場合、終端の文字列の音声データにおける位置情報を取得する。 The text processing apparatus according to the embodiment includes a creation unit and a processing unit. The creation unit creates text corresponding to the voice data. The processing unit uses the speech text data obtained by the speech data recognition process and the position information in the speech data of the character string included in the speech text data, to determine the end of the character string constituting the text corresponding to the speech data. Acquires position information in voice data of a character string. In addition, when the creation unit receives an input indicating any one of a line feed, a punctuation mark, a question mark, and an exclamation point, the processing unit acquires position information in the speech data of the terminal character string.
実施形態のテキスト処理方法は、コンピュータが実行するテキスト処理方法であって、音声データに対応するテキストを構成する文字列の終端の文字列が、音声データの認識処理により得られる音声テキストデータに含まれる文字列と一致せず、かつ、終端の文字列以外の文字列の中に、音声テキストデータに含まれる文字列と一致する文字列が存在する場合、一致する文字列の音声データにおける位置情報から、音声データにおける終端の文字列の位置情報を取得する。 The text processing method of the embodiment is a text processing method executed by a computer, and the character string at the end of the character string constituting the text corresponding to the voice data is included in the voice text data obtained by the voice data recognition process. If there is a character string that matches the character string contained in the voice text data in the character string other than the terminal character string, the position information in the voice data of the matching character string From the position information of the end character string in the voice data.
実施形態のテキスト処理プログラムは、コンピュータに、音声データに対応するテキストを構成する文字列の終端の文字列が、音声データの認識処理により得られる音声テキストデータに含まれる文字列と一致せず、かつ、終端の文字列以外の文字列の中に、音声テキストデータに含まれる文字列と一致する文字列が存在する場合、一致する文字列の音声データにおける位置情報から、音声データにおける終端の文字列の位置情報を取得する機能を実現させるためのプログラムである。 In the text processing program of the embodiment, the character string at the end of the character string constituting the text corresponding to the voice data is not matched with the character string included in the voice text data obtained by the voice data recognition process. In addition, when there is a character string that matches the character string included in the voice text data in a character string other than the character string at the end, the character at the end in the voice data is determined from the position information in the voice data of the matching character string. This is a program for realizing a function of acquiring column position information.
以下、添付図面を参照しながら、本発明に係る書き起こし支援システムの実施の形態を詳細に説明する。なお、以下の各実施形態では、書き起こし支援システムとして、音声データを再生する機能、および、ユーザーの操作に応じてテキストを作成するテキスト作成機能を有するPC(Personal Computer)を例に挙げて説明するが、これに限定されるものではない。以下の各実施形態では、書き起こし作業を行う場合、ユーザーは、収録された音声データを再生しながらキーボードを操作してテキスト入力を行い、音声データをテキスト化していく。 Hereinafter, embodiments of a transcription support system according to the present invention will be described in detail with reference to the accompanying drawings. In each of the following embodiments, as a transcription support system, a PC (Personal Computer) having a function of reproducing voice data and a function of creating a text in response to a user operation will be described as an example. However, the present invention is not limited to this. In each of the following embodiments, when performing a transcription work, the user inputs text by operating the keyboard while reproducing the recorded voice data, and converts the voice data into text.
図1は、本実施形態の書き起こし支援システム100の概略構成例を示すブロック図である。図1に示すように、書き起こし支援システム100は、第1記憶部11と、再生部12と、音声認識部13と、インデックス生成部14と、第2記憶部15と、入力受付部16と、テキスト作成部17と、推定部18と、設定部19と、再生指示受付部20と、再生制御部21とを含む。
FIG. 1 is a block diagram illustrating a schematic configuration example of the
第1記憶部11は、音声データを記憶する。音声データは、例えばwav、mp3などの形式の音声ファイルである。音声データの取得方法は任意であり、例えばインターネット等のネットワーク経由で取得することもできるし、マイクロフォンなどを用いて取得することもできる。再生部12は、音声データを再生する手段であり、例えばスピーカ、DAコンバータおよびヘッドフォンなどから構成される機器である。
The
音声認識部13は、音声データに対して音声認識処理を実行してテキスト化する。音声認識処理により得られたテキストデータを音声テキストデータと呼ぶ。音声認識処理は、公知の様々な技術を利用することができる。本実施形態では、音声認識部13により生成された音声テキストデータは、単語・形態素・文節などの文よりも小さい単位で分割され、ラティスと呼ばれる認識候補(分割単位の候補)をつないだネットワーク構造で表される。音声テキストデータの形態はこれに限られない。例えば音声認識処理の最適な認識結果を表す一次元構造(1つのパス)で音声テキストデータを表すこともできる。図2は、「先ほどの内容、今日議題にございました件ですが」という音声データに対して音声認識処理を実行して得られた音声テキストデータの一例を示す図である。図2の例では、分割単位は形態素である。
The
再び図1に戻って説明を続ける。インデックス生成部14は、音声認識部13により生成された音声テキストデータを構成する複数の文字列の各々と、音声データの位置(再生位置)を示す音声位置情報とを対応付けた音声インデックスを生成する。例えば、音声認識部13により図2に示す音声テキストデータが生成された場合を想定する。この場合、インデックス生成部14は、音声テキストデータを構成する複数の形態素の各々と、音声データの音声位置情報とを対応付ける。これにより、図3に示されるような音声インデックスが生成される。音声認識処理では、音声データを10〜20ms程度の一定間隔で処理する。音声位置情報との対応付けは、処理対象となっている音声データとそれに対応する認識結果を音声認識処理の過程で取得することで実現できる。
Returning to FIG. 1 again, the description will be continued. The
図3の例では、音声データの音声位置情報は、音声データの先頭からその位置まで再生するのに要する時間を示す時間情報を用いて表される(単位はミリ秒)。例えば図3の「今日」に対応する音声位置情報は「1100ms−1400ms」であるが、これは、音声データを再生した場合に、「今日」という音声の再生開始位置が1100msで、再生終了位置が1400msであることを意味している。言い換えれば、音声データを再生した場合に、当該音声データの先頭から1100ms経過した時点を始点とし、先頭から1400ms経過した時点を終点とする期間が、「今日」という音声が再生される期間であることを意味している。 In the example of FIG. 3, the audio position information of the audio data is represented by using time information indicating the time required to reproduce from the beginning of the audio data to that position (unit: millisecond). For example, the audio position information corresponding to “Today” in FIG. 3 is “1100 ms-1400 ms”. When audio data is reproduced, the reproduction start position of the audio “Today” is 1100 ms, and the reproduction end position is Means 1400 ms. In other words, when audio data is reproduced, a period in which 1100 ms from the beginning of the audio data starts as a start point and a point in time when 1400 ms elapses from the beginning is an end point is a period during which the sound “Today” is reproduced. It means that.
再び図1に戻って説明を続ける。第2記憶部15は、インデックス生成部14で生成された音声インデックスを記憶する。なお、音声インデックスは、書き起こし作業の開始前に既に作成されていてもよいし、書き起こし作業中にリアルタイムで作成されてもよい。
Returning to FIG. 1 again, the description will be continued. The
入力受付部16は、ユーザーからのテキストを作成するための各種の入力(テキスト入力と呼ぶ)を受け付ける。ユーザーは、例えばキーボードなどの操作デバイスを操作することによりテキスト入力を行うことができる。テキスト作成部17は、ユーザーからの操作入力に応じてテキストを作成する。より具体的には、テキスト作成部17は、入力受付部16で受け付けたテキスト入力に従ってテキストを作成する。以下では、説明の便宜上、テキスト作成部17で作成されたテキストを「入力済みテキスト」と呼ぶ。
The
図4は、テキスト作成部17が実行するテキスト作成処理の一例を示すフローチャートである。図4に示すように、テキスト作成部17は、入力受付部16でテキスト入力を受け付けた場合(ステップS1の結果:YES)、その受け付けたテキスト入力が、改行を指示する入力または「punctuation」の入力であるか否かを判定する(ステップS2)。なお、「punctuation」の入力とは、例えば句読点、疑問符、感嘆符などの入力を意味する。
FIG. 4 is a flowchart showing an example of text creation processing executed by the
ステップS1で受け付けたテキスト入力が、改行を指示する入力または「punctuation」の入力であると判定した場合(ステップS2の結果:YES)、テキスト作成部17は、先頭の入力位置から現在の入力位置までの文字列をテキストとして確定する(ステップS3)。一方、ステップS1で受け付けたテキスト入力が、改行を指示する入力または「punctuation」の入力ではないと判定した場合(ステップS2の結果:NO)、処理はステップS4へ移行する。
When it is determined that the text input accepted in step S1 is an input for instructing a line feed or an input of “punctuation” (result of step S2: YES), the
ステップS4では、テキスト作成部17は、受け付けたテキスト入力が、変換処理の確定を指示する入力であるか否かを判定する。変換処理の一例としては、平仮名を漢字に変換する処理などが挙げられる。なお、ここでは、変換処理の確定を指示する入力には、平仮名を漢字に変換せずにそのまま確定することを指示する入力も含まれる。受け付けたテキスト入力が、変換処理の確定を指示する入力であると判定した場合(ステップS4の結果:YES)、処理は上述のステップS3へ移行し、現在の入力位置までの文字列がテキストとして確定する。そして、テキスト作成部17は、確定したテキスト(入力済みテキスト)を推定部18へ送信する(ステップS5)。以上でテキスト作成処理が終了する。
In step S4, the
再び図1に戻って説明を続ける。推定部18は、音声インデックスに基づいて、音声データのうち、テキストの作成が完了した位置(つまりは書き起しが完了した位置)を示す作成済み音声位置情報を推定する。図5は、推定部18が実行する推定処理の一例を示すフローチャートである。図5に示すように、入力済みテキストを取得した場合(ステップS10の結果:YES)、推定部18は、入力済みテキストを構成する文字列(ここでは形態素を単位とする文字列)の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する(ステップS11)。
Returning to FIG. 1 again, the description will be continued. Based on the speech index, the estimating
ステップS11において、入力済みテキストを構成する文字列の中に、音声インデックスに含まれる文字列と一致する文字列が存在すると判断した場合(ステップS11の結果:YES)、推定部18は、入力済みテキストを構成する文字列の終端の文字列(最後の文字列)が、音声インデックスに含まれる文字列と一致するか否かを判断する(ステップ12)。
In step S11, when it is determined that there is a character string that matches the character string included in the speech index in the character strings constituting the input text (result of step S11: YES), the estimating
上述のステップS12において、終端の文字列が、音声インデックスに含まれる文字列と一致すると判断した場合(ステップS12の結果:YES)、推定部18は、終端の文字列と一致する文字列に対応する音声位置情報を音声インデックスから読み出し、その読み出した音声位置情報から作成済み音声位置情報を推定する(ステップS13)。一方、上述のステップS12において、終端の文字列が、音声インデックスに含まれる文字列と一致しないと判断した場合(ステップS12の結果:NO)、処理はステップS14に移行する。
In step S12 described above, when it is determined that the character string at the end matches the character string included in the speech index (result of step S12: YES), the
ステップS14では、推定部18は、音声インデックスに含まれる文字列と一致する文字列のうち終端の文字列に最も近い文字列を示す基準文字列に対応する音声位置情報を音声インデックスから読み出す(ステップS14)。また、推定部18は、入力済みテキストを構成する文字列のうち、基準文字列の次の文字列から終端の文字列までの文字列を示す不一致文字列を再生するのに要する時間を示す第1再生時間を推定する(ステップS15)。第1再生時間の推定方法は任意であり、例えば不一致文字列を音素列に変換し、各音素に対する標準的な音素継続時間のデータを用いて、その不一致文字列を再生(発話)するのに要する時間を推定することもできる。
In step S14, the estimating
次に、推定部18は、ステップS14で読み出した音声位置情報(基準文字列に対応する音声位置情報)と、ステップS15で推定した第1再生時間とから、作成済み音声位置情報を推定する(ステップS16)。より具体的には、推定部18は、音声データのうち基準文字列の終端を示す位置よりも、ステップS15で推定した第1再生時間だけ先の位置を、作成済み音声位置情報として推定する。
Next, the
一方、上述のステップS11において、入力済みテキストを構成する文字列の中に、音声インデックスに含まれる文字列と一致する文字列が存在しないと判断した場合(ステップS11の結果:NO)、推定部18は、入力済みテキストを再生するのに要する時間を示す第2再生時間を推定する(ステップS17)。第2再生時間の推定方法は任意であり、例えばテキストを構成する文字列を音素列に変換し、各音素に対する標準的な音素継続時間のデータを用いて、テキストを構成する文字列を再生(発話)するのに要する時間を推定することもできる。そして、推定部18は、第2再生時間から作成済み音声位置情報を推定する(ステップS18)。
On the other hand, when it is determined in step S11 described above that there is no character string that matches the character string included in the speech index among the character strings that constitute the input text (result of step S11: NO), the
いま、具体例として、ユーザー(書き起こし作業者)が「先ほどの内容、今日議題にございました件ですが」という音声データを聞いて、書き起こし作業を行う場合を想定する。ここでは、音声データの再生は、上記音声データの終端の位置で一時停止しているものとする。また、この例では、書き起こし作業の開始前において、図3に示す音声インデックスが既に生成されており、当該音声インデックスは第2記憶部15に格納されているものとする。
As a specific example, a case is assumed in which a user (a transcription worker) listens to voice data “The previous content was on the agenda today” and performs a transcription work. Here, it is assumed that the reproduction of the audio data is paused at the end position of the audio data. In this example, it is assumed that the speech index shown in FIG. 3 has already been generated and the speech index is stored in the
最初に、ユーザーが、「さきほどの」という文字列を入力し、その入力文字列の漢字への変換を確定することで、「先ほどの」という入力済みテキストが推定部18に送信された場合を想定する。まず推定部18は、「先ほどの」を構成する文字列(「先」「ほど」「の」)の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する(図5のステップS11)。この場合、「先ほどの」を構成する全ての文字列の各々が、音声インデックスに含まれる文字列と一致するので、推定部18は、終端の文字列「の」に対応する音声位置情報を音声インデックスから読み出し、その読み出した音声位置情報から作成済み音声位置情報を推定する(図5のステップS12、ステップS13)。この例では、推定部18は、終端の文字列「の」に対応する音声位置情報「600ms−700ms」の終点700msを、作成済み音声位置情報として推定する。
First, when the user inputs the character string “Same time” and confirms the conversion of the input character string to Kanji, the input text “Last time” is transmitted to the
次に、ユーザーが、上述の「先ほどの」という文字列(変換が確定済みの文字列)の後に続けて「ぎだいに」という文字列を入力し、その入力文字列の漢字への変換を確定することで、「先ほどの議題に」という入力済みテキストが推定部18に送信された場合を想定する。まず推定部18は、「先ほどの議題に」を構成する文字列(「先」「ほど」「の」「議題」「に」)の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する(図5のステップS11)。この場合、「先ほどの議題に」を構成する全ての文字列の各々が、音声インデックスに含まれる文字列と一致するので、推定部18は、終端の文字列「に」に対応する音声位置情報を音声インデックスから読み出し、その読み出した音声位置情報から作成済み音声位置情報を推定する(図5のステップS12、ステップS13)。この例では、推定部18は、終端の文字列「に」に対応する音声位置情報「1700ms−1800ms」の終点1800msを、作成済み音声位置情報として推定する。
Next, the user inputs the character string “giantly” after the character string “above” (character string for which conversion has been confirmed), and converts the input character string into kanji. By confirming, it is assumed that the input text “on the previous agenda” is transmitted to the
次に、ユーザーが、上述の「先ほどの議題に」という文字列の後に続けて「のぼった」という文字列を入力し、その入力文字列を確定(平仮名のままとすることを確定)することで、「先ほどの議題にのぼった」という入力済みテキストが推定部18に送信された場合を想定する。まず推定部18は、「先ほどの議題にのぼった」を構成する文字列(「先」「ほど」「の」「議題」「に」「のぼった」)の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する(図5のステップS11)。この場合、「先ほどの議題にのぼった」を構成する5つの文字列のうち4つの文字列(「先」「ほど」「の」「議題」「に」)の各々が、音声インデックスに含まれる文字列と一致するものの、終端の文字列「のぼった」が、音声インデックスに含まれる文字列と一致しない。つまり、終端の文字列「のぼった」が音声インデックスに存在しない(図5のステップS12の結果:NO)。
Next, the user inputs the character string “climbed” after the character string “above the agenda” described above, and confirms the input character string (confirms that it will remain hiragana) In this case, it is assumed that the input text “Climbed to the previous agenda” is transmitted to the
したがって、推定部18は、音声インデックスに含まれる文字列と一致する文字列のうち終端の文字列「のぼった」に最も近い文字列を示す基準文字列「に」に対応する音声位置情報「1700ms−1800ms」を音声インデックスから読み出す(図5のステップS14)。また、推定部18は、入力済みテキストを構成する文字列(「先」「ほど」「の」「議題」「に」「のぼった」)のうち基準文字列「に」の次の文字列から終端の文字列までの文字列を示す不一致文字列の再生に要する第1再生時間を推定する(図5のステップS15)。この例では、不一致文字列は「のぼった」であり、当該「のぼった」の再生に要する時間の推定結果は350msであったとする。この場合、推定部18は、基準文字列「に」に対応する音声位置情報「1700ms−1800ms」の終点1800msよりも、「のぼった」の再生に要する350msだけ先の位置である「2150ms」を、作成済み音声位置情報として推定する(図5のステップS16)。
Therefore, the
次に、ユーザーが、上述の「先ほどの議題にのぼった」という文字列の後に続けて「けんですが」という文字列を入力し、その入力文字列の漢字への変換を確定することで、「先ほどの議題にのぼった件ですが」という入力済みテキストが推定部18に送信された場合を想定する。まず推定部18は、「先ほどの議題にのぼった件ですが」を構成する文字列(「先」「ほど」「の」「議題」「に」「のぼった」「件」「です」「が」)の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する(図5のステップS11)。この場合、「先ほどの議題にのぼった件ですが」を構成する9つの文字列のうち8つの文字列(「先」「ほど」「の」「議題」「に」「件」「です」「が」)の各々が、音声インデックスに含まれる文字列と一致し、終端の文字列「が」も、音声インデックスに含まれる文字列と一致するので、推定部18は、終端の文字列「が」に対応する音声位置情報を音声インデックスから読み出し、その読み出した音声位置情報から作成済み音声位置情報を推定する(図5のステップS12、ステップS13)。この例では、推定部18は、終端の文字列「が」に対応する音声位置情報「2800ms−2900ms」の終点2900msを、作成済み音声位置情報として推定する。
Next, the user inputs the character string “Ken-ga-ga” after the above-mentioned character string “Climbed the previous agenda”, and confirms the conversion of the input character string to Kanji. Assume that the input text “I have reached the previous agenda” is transmitted to the
この例では、入力済みテキストを構成する文字列のうち、音声インデックスに含まれない文字列「のぼった」を無視し、終端の文字列が、音声インデックスに含まれている文字列と一致していることを優先して、終端の文字列に対応する音声位置情報から作成済み音声位置情報を推定している。すなわち、テキストを構成する文字列の終端の文字列が、音声インデックスに含まれている文字列と一致している場合は、無条件に、終端の文字列に対応する音声位置情報から作成済み音声位置情報を推定しているが、これに限らず、例えば終端の文字列が、音声インデックスに含まれている文字列と一致している場合であっても、所定の条件を満たさない限りは、終端の文字列に対応する音声位置情報から作成済み音声位置情報を推定することはしない構成であってもよい。 In this example, among the strings that make up the entered text, the string that is not included in the speech index is ignored, and the end string matches the string that is included in the speech index. The created voice position information is estimated from the voice position information corresponding to the terminal character string. In other words, if the character string at the end of the character string that constitutes the text matches the character string included in the audio index, the created voice is unconditionally created from the audio position information corresponding to the character string at the end. Although the position information is estimated, the present invention is not limited to this. For example, even when the terminal character string matches the character string included in the speech index, as long as the predetermined condition is not satisfied, The configuration may be such that the created voice position information is not estimated from the voice position information corresponding to the terminal character string.
上記所定の条件は任意に設定可能である。例えば推定部18は、入力済みテキストを構成する文字列のうち音声インデックスに含まれる文字列と一致する文字列の数が所定数以上である場合は、所定の条件を満たすと判断することもできる。また、例えば推定部18は、入力済みテキストを構成する文字列であって終端の文字列以外の文字列の中に、音声インデックスに含まれる文字列と一致する文字列が存在し、その文字列のうち終端の文字列に最も近い文字列に対応する音声位置情報が示す位置と、終端の文字列に対応する音声位置情報が示す位置との差が所定範囲内である場合は、所定の条件を満たすと判断することもできる。
The predetermined condition can be arbitrarily set. For example, the
再び図1に戻って説明を続ける。設定部19は、推定部18で推定された作成済み音声位置情報に基づいて、音声データのうち再生が開始される位置を示す再生開始位置を設定する。本実施形態では、設定部19は、推定部18で推定された作成済み音声位置情報が示す位置を、再生開始位置に設定する。再生指示受付部20は、音声データの再生を指示する再生指示を受け付ける。例えばユーザーは、マウスなどのポインティングデバイスを操作して、コンピュータの画面上に表示された再生用ボタンを選択することで、再生指示を入力することができるが、これに限らず、再生指示の入力方法は任意である。なお、本実施形態では、ユーザーは、マウスなどのポインティングデバイスを操作して、コンピュータの画面上に表示された停止用ボタン、巻き戻し用ボタン、早送り用ボタンなどを選択することで、各種の指示を入力することができる。そして、その入力に応じて音声データの再生が制御される。
Returning to FIG. 1 again, the description will be continued. The setting
再生制御部21は、再生指示受付部20で再生指示を受け付けた場合、設定部19で設定された再生開始位置から音声データを再生するように再生部12を制御する。再生制御部21は、例えばPCのオペレーションシステムやドライバが有するオーディオ機能で実現されるが、電子回路などのハードウェア回路でも実現可能である。
The
本実施形態では、上述の第1記憶部11、再生部12および第2記憶部15はハードウェア回路で構成される。一方、上述の音声認識部13、インデックス生成部14、入力受付部16、テキスト作成部17、推定部18、設定部19、再生指示受付部20および再生制御部21の各々は、PCに搭載されたCPUがROMなどに格納された制御プログラムを実行することにより実現されるが、これに限らず、例えば音声認識部13、インデックス生成部14、入力受付部16、テキスト作成部17、推定部18、設定部19、再生指示受付部20および再生制御部21のうちの少なくとも一部がハードウェア回路で構成されてもよい。
In the present embodiment, the
以上に説明したように、本実施形態の書き起こし支援システム100は、音声データに対する音声認識処理を実行することにより得られる音声テキストデータを構成する複数の文字列の各々と、音声データの音声位置情報とを対応付けた音声インデックスに基づいて、音声データのうち、テキストの作成が完了した位置(つまりは書き起しが完了した位置)を示す作成済み音声位置情報を推定する。これにより、ユーザーが、音声データに含まれるフィラーや文法的な誤りを修正しながら書き起こし作業を行い、入力済みテキストと、音声テキストデータ(音声認識結果)とが相違する場合であっても、音声データのうち書き起こしが完了した位置を正確に特定することができる。また、本実施形態の書き起こし支援システム100は、推定した作成済み音声位置情報が示す音声データの位置を再生開始位置に設定するので、ユーザーは、音声データの巻き戻しや早送りを繰り返しながら、書き起こしが完了した位置に再生開始位置を合わせる必要はない。これにより、作業効率を向上させることが可能になる。
As described above, the
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。以下に変形例を記載する。以下の変形例は、任意に組み合わせることが可能である。 As mentioned above, although embodiment of this invention was described, this embodiment is shown as an example and is not intending limiting the range of invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof. Modified examples will be described below. The following modifications can be arbitrarily combined.
(1)変形例1
上述の実施形態では、書き起こし支援システムとして、PCが採用されているが、これに限定されるものではない。例えば、音声データを再生する機能を有する第1装置(テープレコーダー等)と、テキスト作成機能を有する第2装置とを含むシステムが、書き起こし支援システムとして採用されてもよい。そして、上述した各部(第1記憶部11、再生部12、音声認識部13、インデックス生成部14、第2記憶部15、入力受付部16、テキスト作成部17、推定部18、設定部19、再生指示受付部20、再生制御部21)が、第1装置および第2装置の何れかに含まれていればよい。
(1) Modification 1
In the above-described embodiment, the PC is employed as the transcription support system, but the present invention is not limited to this. For example, a system including a first device (such as a tape recorder) having a function of reproducing audio data and a second device having a text creation function may be employed as the transcription support system. And each part mentioned above (the
(2)変形例2
上述の実施形態では、書き起こし作業の対象となる言語は日本語であるが、これに限らず、書き起こし作業の対象となる言語の種類は任意である。例えば書き起こし作業の対象となる言語は英語であってもよいし、中国語であってもよい。英語音声を聞いて書き起こしを行う場合、書き起こし文は英語である。この場合に作成済み音声位置情報を推定する方法は、日本語音声の場合とほとんど同じであるが、上述の第1再生時間および第2再生時間の推定が異なる。英語の場合の入力文字列はアルファベットであるため、アルファベット列に対する音素継続時間を使用する必要がある。これに関しては母音・子音の音素継続時間や音節単位での継続時間を使って上述の第1再生時間および第2再生時間を推定してもよい。中国語音声を聞いて書き起こしを行う場合、書き起こし文は中国語である。この場合に作成済み音声位置情報を推定する方法は、日本語音声の場合とほとんど同じであるが、上述の第1再生時間および第2再生時間の推定が異なる。中国語の場合は入力文字ごとにピン音が決まっているため、ピン音列に対する音素継続時間を使用して第1再生時間および第2再生時間を推定する。
(2) Modification 2
In the above-described embodiment, the language that is the target of the transcription work is Japanese, but is not limited thereto, and the type of language that is the target of the transcription work is arbitrary. For example, the language to be transcribed may be English or Chinese. When you transcribe by listening to English speech, the transcript is English. In this case, the method for estimating the created voice position information is almost the same as that for Japanese voice, but the estimation of the first playback time and the second playback time is different. Since the input character string in English is an alphabet, it is necessary to use the phoneme duration for the alphabet string. In this regard, the first reproduction time and the second reproduction time may be estimated using the vowel / consonant phoneme duration or duration in syllable units. When a Chinese voice is heard and transcribed, the transcript is Chinese. In this case, the method for estimating the created voice position information is almost the same as that for Japanese voice, but the estimation of the first playback time and the second playback time is different. In the case of Chinese, since the pin sound is determined for each input character, the first playback time and the second playback time are estimated using the phoneme duration for the pin string.
11 第1記憶部
12 再生部
13 音声認識部
14 インデックス生成部
15 第2記憶部
16 入力受付部
17 テキスト作成部
18 推定部
19 設定部
20 再生指示受付部
21 再生制御部
100 書き起こし支援システム
DESCRIPTION OF
Claims (14)
テキスト処理装置。 The character string at the end of the character string constituting the text corresponding to the speech data does not match the character string included in the speech text data obtained by the speech data recognition process, and a character other than the character string at the end If there is a character string that matches the character string included in the voice text data in the column, the position information of the terminal character string in the voice data from the position information in the voice data of the matching character string A processing unit for acquiring
Text processing device.
請求項1に記載のテキスト処理装置。 An acquisition unit for acquiring text corresponding to the audio data;
The text processing apparatus according to claim 1.
請求項1または2に記載のテキスト処理装置。 The acquisition unit acquires text corresponding to the voice data according to an input of a user who has heard the voice data.
The text processing apparatus according to claim 1 or 2.
請求項1乃至3のうちの何れか1項に記載のテキスト処理装置。 When the difference between the position information of the terminal character string and the position information of the matching character string is within a predetermined range, the audio data is reproduced.
The text processing apparatus according to any one of claims 1 to 3.
請求項1乃至4のうちの何れか1項に記載のテキスト処理装置。 The processing unit acquires position information of the terminal character string using position information in the voice data of a character string closest to the terminal character string among the matching character strings.
The text processing apparatus according to any one of claims 1 to 4.
請求項1乃至5のうちの何れか1項に記載のテキスト処理装置。 The processing unit acquires position information of the terminal character string using a predetermined phoneme duration,
The text processing apparatus according to any one of claims 1 to 5.
請求項6に記載のテキスト処理装置。 The processing unit estimates the time required to reproduce from the character string closest to the terminal character string to the terminal character string among the matching character strings using the predetermined phoneme duration. And, the position information ahead of the estimated time from the position information of the character string closest to the end character string among the matched character strings is acquired as the position information of the end character string.
The text processing apparatus according to claim 6.
請求項1乃至7のうちの何れか1項に記載のテキスト処理装置。 The processing unit is configured such that a character string at the end of a character string constituting text corresponding to the voice data does not match a character string included in the voice text data, and a character string other than the character string at the end If there is a predetermined number or more of character strings that match the character string included in the voice text data, the position information of the terminal character string in the voice data is acquired.
The text processing apparatus according to any one of claims 1 to 7.
前記音声データの認識処理により得られる音声テキストデータと、前記音声テキストデータに含まれる文字列の前記音声データにおける位置情報とを用いて、前記音声データに対応するテキストを構成する文字列の終端の文字列の前記音声データにおける位置情報を取得する処理部と、を備え、
前記処理部は、前記作成部が、改行、句読点、疑問符および感嘆符の何れかを指示する入力を受け付けた場合、前記終端の文字列の前記音声データにおける位置情報を取得する、
テキスト処理装置。 A creation unit that creates text corresponding to the audio data;
Using the speech text data obtained by the speech data recognition process and the position information in the speech data of the character string included in the speech text data, the end of the character string constituting the text corresponding to the speech data A processing unit that acquires position information in the voice data of a character string,
The processing unit obtains position information in the audio data of the character string at the end when the creation unit receives an input indicating any of a line feed, punctuation mark, question mark, and exclamation point,
Text processing device.
請求項1乃至9のうちの何れか1項に記載のテキスト処理装置。 A storage unit for storing the speech text data;
The text processing apparatus according to any one of claims 1 to 9.
請求項1乃至10のうちの何れか1項に記載のテキスト処理装置。 The character string constituting the text corresponding to the speech data is in units of morphemes.
The text processing apparatus according to claim 1.
請求項1乃至11のうちの何れか1項に記載のテキスト処理装置。 A playback unit that plays back the audio data based on position information of the terminal character string;
The text processing device according to claim 1.
音声データに対応するテキストを構成する文字列の終端の文字列が、前記音声データの認識処理により得られる音声テキストデータに含まれる文字列と一致せず、かつ、前記終端の文字列以外の文字列の中に、前記音声テキストデータに含まれる文字列と一致する文字列が存在する場合、前記一致する文字列の前記音声データにおける位置情報から、前記音声データにおける前記終端の文字列の位置情報を取得する、
テキスト処理方法。 A text processing method executed by a computer,
The character string at the end of the character string constituting the text corresponding to the speech data does not match the character string included in the speech text data obtained by the speech data recognition process, and a character other than the character string at the end If there is a character string that matches the character string included in the voice text data in the column, the position information of the terminal character string in the voice data from the position information in the voice data of the matching character string To get the
Text processing method.
音声データに対応するテキストを構成する文字列の終端の文字列が、前記音声データの認識処理により得られる音声テキストデータに含まれる文字列と一致せず、かつ、前記終端の文字列以外の文字列の中に、前記音声テキストデータに含まれる文字列と一致する文字列が存在する場合、前記一致する文字列の前記音声データにおける位置情報から、前記音声データにおける前記終端の文字列の位置情報を取得する機能を実現させるためのテキスト処理プログラム。 On the computer,
The character string at the end of the character string constituting the text corresponding to the speech data does not match the character string included in the speech text data obtained by the speech data recognition process, and a character other than the character string at the end If there is a character string that matches the character string included in the voice text data in the column, the position information of the terminal character string in the voice data from the position information in the voice data of the matching character string Text processing program to realize the function to acquire.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016104588A JP6387044B2 (en) | 2016-05-25 | 2016-05-25 | Text processing apparatus, text processing method, and text processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016104588A JP6387044B2 (en) | 2016-05-25 | 2016-05-25 | Text processing apparatus, text processing method, and text processing program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015091893A Division JP2015187733A (en) | 2015-04-28 | 2015-04-28 | Transcription support system and transcription support method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016177311A true JP2016177311A (en) | 2016-10-06 |
JP6387044B2 JP6387044B2 (en) | 2018-09-05 |
Family
ID=57069200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016104588A Expired - Fee Related JP6387044B2 (en) | 2016-05-25 | 2016-05-25 | Text processing apparatus, text processing method, and text processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6387044B2 (en) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002351484A (en) * | 2001-05-28 | 2002-12-06 | Clarion Co Ltd | Voice reading-aloud device and its control method |
JP2005165066A (en) * | 2003-12-03 | 2005-06-23 | Internatl Business Mach Corp <Ibm> | Speech recognition system, data processor, and its data processing method and program |
JP2005228178A (en) * | 2004-02-16 | 2005-08-25 | Nec Corp | System and program for supporting preparation of written text |
JP2007133033A (en) * | 2005-11-08 | 2007-05-31 | Nec Corp | System, method and program for converting speech into text |
JP2007334429A (en) * | 2006-06-12 | 2007-12-27 | Nippon Telegr & Teleph Corp <Ntt> | Keyword generating method, document retrieval method, topic range estimating method, topic boundary estimating method, and device therefor, its program, and its recording medium |
JP2008083855A (en) * | 2006-09-26 | 2008-04-10 | Toshiba Corp | Device, system, method and program for performing machine translation |
JP2010055030A (en) * | 2008-08-29 | 2010-03-11 | Nippon Hoso Kyokai <Nhk> | Acoustic processor and program |
JP2010257425A (en) * | 2009-04-28 | 2010-11-11 | Nippon Hoso Kyokai <Nhk> | Topic boundary detection device and computer program |
JP5638479B2 (en) * | 2011-07-26 | 2014-12-10 | 株式会社東芝 | Transcription support system and transcription support method |
JP5787780B2 (en) * | 2012-01-25 | 2015-09-30 | 株式会社東芝 | Transcription support system and transcription support method |
-
2016
- 2016-05-25 JP JP2016104588A patent/JP6387044B2/en not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002351484A (en) * | 2001-05-28 | 2002-12-06 | Clarion Co Ltd | Voice reading-aloud device and its control method |
JP2005165066A (en) * | 2003-12-03 | 2005-06-23 | Internatl Business Mach Corp <Ibm> | Speech recognition system, data processor, and its data processing method and program |
JP2005228178A (en) * | 2004-02-16 | 2005-08-25 | Nec Corp | System and program for supporting preparation of written text |
JP2007133033A (en) * | 2005-11-08 | 2007-05-31 | Nec Corp | System, method and program for converting speech into text |
JP2007334429A (en) * | 2006-06-12 | 2007-12-27 | Nippon Telegr & Teleph Corp <Ntt> | Keyword generating method, document retrieval method, topic range estimating method, topic boundary estimating method, and device therefor, its program, and its recording medium |
JP2008083855A (en) * | 2006-09-26 | 2008-04-10 | Toshiba Corp | Device, system, method and program for performing machine translation |
JP2010055030A (en) * | 2008-08-29 | 2010-03-11 | Nippon Hoso Kyokai <Nhk> | Acoustic processor and program |
JP2010257425A (en) * | 2009-04-28 | 2010-11-11 | Nippon Hoso Kyokai <Nhk> | Topic boundary detection device and computer program |
JP5638479B2 (en) * | 2011-07-26 | 2014-12-10 | 株式会社東芝 | Transcription support system and transcription support method |
JP5787780B2 (en) * | 2012-01-25 | 2015-09-30 | 株式会社東芝 | Transcription support system and transcription support method |
Also Published As
Publication number | Publication date |
---|---|
JP6387044B2 (en) | 2018-09-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5787780B2 (en) | Transcription support system and transcription support method | |
US10522133B2 (en) | Methods and apparatus for correcting recognition errors | |
JP2013025299A (en) | Transcription support system and transcription support method | |
JP4972645B2 (en) | System and method for synchronizing sound and manually transcribed text | |
JP5750380B2 (en) | Speech translation apparatus, speech translation method, and speech translation program | |
US20120016671A1 (en) | Tool and method for enhanced human machine collaboration for rapid and accurate transcriptions | |
US20140372117A1 (en) | Transcription support device, method, and computer program product | |
JP5638479B2 (en) | Transcription support system and transcription support method | |
US20060195318A1 (en) | System for correction of speech recognition results with confidence level indication | |
JP2016062357A (en) | Voice translation device, method, and program | |
JP2014202848A (en) | Text generation device, method and program | |
JPWO2018043138A1 (en) | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM | |
US20210064327A1 (en) | Audio highlighter | |
US9798804B2 (en) | Information processing apparatus, information processing method and computer program product | |
US20120154514A1 (en) | Conference support apparatus and conference support method | |
JP6387044B2 (en) | Text processing apparatus, text processing method, and text processing program | |
JP5818753B2 (en) | Spoken dialogue system and spoken dialogue method | |
JP6499228B2 (en) | Text generating apparatus, method, and program | |
JP2007041302A (en) | Voice reproducing apparatus and voice reproduction processing program | |
JP5892598B2 (en) | Spoken character conversion work support device, phonetic character conversion system, phonetic character conversion work support method, and program | |
US20140207454A1 (en) | Text reproduction device, text reproduction method and computer program product | |
JP7416078B2 (en) | Speech recognition device, speech recognition method, and program | |
JP2015187733A (en) | Transcription support system and transcription support method | |
JP2016186646A (en) | Voice translation apparatus, voice translation method and voice translation program | |
JP2015187738A (en) | Speech translation device, speech translation method, and speech translation program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170704 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180223 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180717 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180810 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6387044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313114 Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |