JP2005107617A - 音声データ検索装置。 - Google Patents

Abstract

【課題】 録音済みの音声ファイルの検索を音声入力により行ない目的の場所見つけ出し、自動的にそこから再生を開始し、その見つけた場所が必要な場合、その見つけた場所に呼出し可能なマークを付ける。
【解決手段】 マイクからの音声をデータとして録音する録音部と、録音した音声データを再生する音声再生部とを有するＩＣレコーダ等において、録音したデータの特定部分をマイクから入力された音声を検索鍵として探し出す検索部と、検索により目的の場所を見つけ出すと、5秒間の時間計測を開始すると共に再生出力し、5秒以内にＥＮＴＥＲキーを押下すると、検索鍵と一致した場所にマークを付加する手段（Ｓ３０１〜Ｓ３０４）と、マークを付完了手段（Ｓ３０５）とを設けた。一致した場所にマークを付加したので、簡単にマーク位置を呼び出すことができ、一致した場所から自動的に再生することが可能となる。
【選択図】 図３

Description

この発明は、録音済みの音声ファイルの検索を音声入力により行なうことで、短時間で目的の場所見つけ出し、そこから自動的再生することができる音声データ検索装置に関する。

従来、音声データ検索装置には、音声入力により音声キーワードを規定する音声キーワード規定手段と、この音声キーワード規定手段により規定された音声キーワードと実質的に一致する音声信号を記録媒体から検索する検索部と、一致した音声信号を含む所定範囲から、音声信号を再生する再生手段とを備え、音声信号を記録した記録媒体から所望の部分を、所定のキーワードに基づいて検索できるようにしたものがある（例えば、特許文献１参照）。
特開平５−３３４８６１号公報（第１−３頁、図１、２）

長時間の会議などを録音した場合、記録されたデータから聞きたい場所を探すにはデータを再生し聞かなければならないので大変手間がかかる。録音中に「検索を容易にするための目印」をデータに埋め込むことは可能ではあるが、この操作を行なうユーザは少ない。行ったとしても、目印を埋め込む操作は注目すべき発言を聞いたときに行われるので、目印は注目の発言の後ろに記録される。そのため、ユーザが注目の発言を聞くには、再生位置を目印のところに移動させたあと、少し前に戻す操作をしなければならない。希望の場所の先に進み過ぎたり、戻り過ぎたりして、この操作を繰り返さなければならないのは、ユーザにとってとても面倒でありストレスのたまる作業である。

この発明は、このような課題に鑑みてなされたものであり、録音済みの音声ファイルの検索を音声入力により行なうことで、短時間で目的の場所見つけ出して自動的にそこから再生を開始し、その見つけた場所が必要な場合、その見つけた目的の場所に呼出し可能なマークを付け、少し前に戻す操作をすることなく再生することができる音声データ検索装置を提供することを目的とする。

この発明の音声データ検索装置は、マイクから入力された音声をデータとして録音する録音部と、上記録音部で録音した音声データを再生する音声再生部と、上記録音部で録音したデータの特定部分をマイクから入力された音声を検索鍵として探し出す検索機能を持つ検索部と、上記検索により見つかった場所にマークを付加するマーク付加手段と、上記マークが付加された場所を呼び出すことができるマーク付加位置呼出し手段とを有し、上記マークが付加された場所を呼び出すことにより、少し前に戻す操作をすることなく検索により見つかった場所から自動再生するようにしたものである。

この発明によれば、（１）検索鍵を音声で入力することで、録音済みの音声ファイルの検索を行い、該当する位置を見つけ出し、自動的にそこから再生を開始することが可能になる。
（２）録音中に「検索を容易にするための目印」を付ける操作が不要であるばかりか、目印を付け忘れた場合でも手軽に検索が可能になる。
（３）録音中に目印を付ける操作を行うと、その操作音も雑音として録音されてしまう恐れがあるが、これも防ぐことができる。
（４）さらに、検索により見つけた場所に簡単操作でマークを付加することを可能にしたので、次回以降はマークの位置にジャンプする機能により簡単にその位置を呼び出すことができる。
（５）録音済みの音声ファイルに対してだけでなく、録音前にあらかじめ予想できるキーワードを音声で入力しＩＣレコーダに記憶させておくことで、録音と同時進行でキーワード検索を実行し、録音が終わったらすぐに該当位置を確認できるようになり、議事録の作成や聞き返したい箇所の検索が容易にできる。
（６）また、この発明の構成をＩＣレコーダーなどの録音機器に持たせることで、録音したデータをパーソナルコンピュータなどの他の機器に移す必要もなくなる。

この発明の実施形態について図面を用いて説明する。図１はこの発明をＩＣレコーダーに適用した場合の音声データ検索装置の構成例を示し、図２は同装置のシステム構成を示すブロック図である。
（システム構成）
図１において、 ＣＰＵ１０１は中央処理装置であり、バス１０２を介してＲＯＭ１３０に記録された命令コードを読み込み、処理を実行すると共に、バス１０２を介して各種処理部、各種デバイスを制御する。バス１０２には、操作部１０３と接続されている入力処理部１１２と、データ記録装置１１４と接続されているファイル処理部１１３と、データ圧縮処理部１２７、データ伸張処理部１２８、データ比較処理部１２９等の処理部と、マイク１２１と接続されているＡ／Ｄコンバータ１２２と、スピーカー１２３と接続されているＤ／Ａコンバータ１２４と、ＲＡＭ１１７、表示部１２６を制御する表示制御部１２５と、時間計測部１３１等が接続されている。

操作部１０３は、ＲＥＣキー１０４、ＰＬＡＹキー１０５、ＳＴＯＰキー１０６、ＳＥＡＲＣＨキー１０７、ＥＮＮＴＥＲ１０８キー、ＣＡＮＳＥＬキー１０９、ＮＥＸＴキー１１０、ＰＲＥＶキー１１１等のキー有する。データ記録装置１１４は、フラッシュメモリやそれを用いたメモリカード、またはハードディスクドライブなどの高容量メモリであり、音声ファイル１１５、データベース領域１１６等を有する。ＲＡＭ１１７は、ＰＣＭデータ領域１１８、圧縮データ領域１１９、検索鍵領域１２０等を有する。

図２について、この音声データ検索装置は、上記図１の装置により従来ＩＣレコーダと同様に録音及び再生が可能に構成された録音部１及び音声再生部２と、音声入力により音声データの検索が可能な検索部３と、検索して見つかった場所にマークを付加するマーク付加手段４と、マーク付加位置を呼出し再生させるマーク付加位置呼出し手段５とを有する構成となっている。

以下に、この音声データ検索装置の各部の構成及び動作を処理の流れと共に説明する。
（録音部）
録音部１の録音時の処理の流れの一例について述べる。

ユーザが操作部１０３にあるＲＥＣキー１０４を押下すると、入力処理部１１２がそれを検知し、ＣＰＵ１０１に通知する。ＣＰＵ１０１は、ファイル処理部１１３にファイル記録を指示する。ファイル処理部１１３は、データ記録装置１１４に音声ファイル１１５を作成する。

ＣＰＵ１０１は、Ａ／Ｄコンバータ１２２にマイク１２１から入力されるアナログ音声信号をデジタル信号に変換することを指示する。Ａ／Ｄコンバータ１２２は、マイク１２１から入力されるアナログ信号を一定周期ごとに変換したデジタル信号をＲＡＭ１１７のＰＣＭデータ領域１１８に書き込み、書き込んだことをＣＰＵ１０１に通知する。

ＣＰＵ１０１は、データ圧縮処理部１２７にＰＣＭデータ領域１１８のデータの圧縮を指示する。データ圧縮処理部１２７は、圧縮したデータをＲＡＭ１１７の圧縮データ領域１１９に書き込む。ＣＰＵ１０１は、ファイル処理部１１３に圧縮データ領域１１９のデータを音声ファイル１１５に書き込むことを指示する。ファイル処理部１１３は、書き込みが完了したことをＣＰＵ１０１に通知する。

ユーザが操作部１０３にあるＳＴＯＰキー１０６を押下するまで、上記録音時の処理の流れを繰り返す。

ユーザがＳＴＯＰキー１０６を押下すると、入力処理部１１２がそれを検知し、ＣＰＵ１０１に通知する。ＣＰＵ１０１は、ファイル処理部１１３に音声ファイル１１５への書き込みの停止を、データ圧縮処理部１２７に圧縮処理の停止を、Ａ／Ｄコンバータ１２２にデジタル信号への変換の停止を、指示する。
（音声再生部）
音声再生部２の音声ファイルを再生する処理の流れの一例について述べる。

ユーザが操作部１０３にあるＰＬＡＹキー１０５を押下すると、入力処理部１１２がそれを検知し、ＣＰＵ１０１に通知する。ＣＰＵ１０１は、ファイル処理部１１３にデータ記録装置１１４上の音声ファイル１１５の読み出しを指示する。ファイル処理部１１３は、システムで規定された量のデータを読み出し、ＲＡＭ１１７上の圧縮データ領域１１９に書き込み、ＣＰＵ１０１に通知する。ＣＰＵ１０１は、データ伸長処理部１２８に圧縮データ領域１１９のデータの伸長を指示する。データ伸長処理部１１８は、伸長したデータをＲＡＭ１１７上のＰＣＭデータ領域１１８に書き込み、ＣＰＵ１０１に通知する。

ＣＰＵ１０１は、Ｄ／Ａコンバータ１２４に、ＰＣＭデータ領域１１８のデジタルデータをアナログデータに変換し、スピーカー１２３から出力することを指示する。Ｄ／Ａコンバータ１２４は、変換したデータを出力したことをＣＰＵ１０１に通知する。

ユーザがＳＴＯＰキー１０６を押下するまで、上記音声ファイルを再生する処理の流れを繰り返す。

ユーザがＳＴＯＰキー１０６を押下すると、入力処理部１１２がそれを検知し、ＣＰＵ１０１に通知する。ＣＰＵ１０１は、ファイル処理部１１３に音声ファイル１１５からの読み出しの停止を、データ伸長処理部１２８に伸長処理の停止を、Ａ／Ｄコンバータ１２４にアナログ信号への変換の停止を、指示する。
（検索部）
この発明の主である検索部３における音声による検索処理の流れについて、図３を用いて述べる。この実施形態では、ユーザがＳＥＡＲＣＨキー１０７を押下しながら、マイク１２１に向かって検索鍵をしゃべり、ＳＥＡＲＣＨキー１０７を放すことで検索機能が実行されるようにしてある。
（検索鍵データ処理Ｓ２０１）ユーザが操作部１０３にあるＳＥＡＲＣＨキー１０７を押下すると、入力処理部１１２がそれを検知する。ＳＥＡＲＣＨキー１０７が一定時間、例えば、５００ｍｓｅｃ、押されたままであればＣＰＵ１０１に通知する。ＣＰＵ１０１は、表示制御部１２５にユーザ操作法を説明するメッセージ、例えば、「探したい言葉をマイクに向かってお話ください」を表示するように指示する。表示制御部１２５は画面を作成し、表示部１２６に表示する。

さらに、ＣＰＵ１０１は、Ａ／Ｄコンバータ１１８にマイク１１７からのアナログ信号をデジタル信号に変換することを指示する。Ａ／Ｄコンバータ１２２は、マイク１２１から入力されるアナログ信号を一定周期ごとに変換したデジタル信号をＲＡＭ１１７のＰＣＭデータ領域１１８に書き込み、書き込んだことをＣＰＵ１０１に通知する。ＣＰＵ１０１は、ＰＣＭデータ領域１１８に書き込まれたデータを同じくＲＡＭ１１７上にある検索鍵領域１２０に書き込む。

ユーザがＳＥＡＲＣＨキー１０７を放すまで（Ｓ２０２）、上記Ｓ２０１、Ｓ２０２の処理を繰り返す。

ユーザがＳＥＡＲＣＨキー１０７を放すと、入力処理部１１２がそれを検知し、ＣＰＵ１０１に通知する。ＣＰＵ１０１は、Ａ／Ｄコンバータ１２２にデジタル信号への変換の停止を指示する。

さらに、ＣＰＵ１０１は、ファイルの終端になっていないことを条件に（Ｓ２０３）、ファイル処理部１１３にデータ記録装置１１４上の音声ファイル１１５の読み出し処理を、データ比較処理部１２９にデータ比較処理の開始を指示する。

（音声ファイル読み出し処理Ｓ２０４）ファイル処理部１１３は、システムで規定された量のデータを読み出し、ＲＡＭ１１７上の圧縮データ領域１１９に書き込み、ＣＰＵ１０１に通知する。ＣＰＵ１０１は、データ伸長処理部１２８に圧縮データ領域１１９のデータの伸長を指示する。データ伸長処理部１１８は、伸長したデータをＲＡＭ１１７上のＰＣＭデータ領域１１８に書き込み、ＣＰＵ１０１に通知する。

データ比較処理部１２９は、検索鍵領域１２０とＰＣＭデータ領域１１８のデータを比較する（Ｓ２０５）。（この発明では、データ比較処理部１２９の比較アルゴリズムについては規定しない。）データ比較処理部１２９は検索鍵と一致すると判断したときにＣＰＵ１０１に一致したことを、一致した場所を特定する情報と共に通知する。

データ比較処理部１２９から一致したと通知されるか（Ｓ２０５）、音声ファイル１１５の終端に達するまで（Ｓ２０３）、上記Ｓ２０３〜Ｓ２０５の処理を繰り返す。

ＣＰＵ１０１は、データ比較処理部１２９から一致した（検索鍵が見つかった）と通知されると、ファイル処理部１１３に音声ファイル１１５からの読み出しの停止を、データ伸長処理部１２８に伸長処理の停止を、データ比較処理部１２９にデータ比較処理の停止を指示する。
（マーク付加手段・マーク付加位置呼出手段）
この実施形態では、検索鍵が見つかった場合、その位置から自動再生を開始し、5秒間表示部１２６に「この位置にマークを付けますか？ＥＮＴＥＲ／ＣＡＮＣＥＬ」とメッセージを表示し、表示している間にユーザがＥＮＴＥＲキー１０８を押下したら検索鍵が見つかった位置にマークを付加するものとする。

検索鍵が見つかったときの、ＣＰＵ１０１の処理の流れの一例について図４を用いて述べる。

ＣＰＵ１０１は、時間計測部１３１に5秒間の時間計測を指示する（Ｓ３０１）。
（音声ファイル再生処理Ｓ３０２）ＣＰＵ１０１は、表示制御部１２５に「この位置にマークを付けますか？ＥＮＴＥＲ／ＣＡＮＣＥＬ」とメッセージを表示することを指示する。表示制御部１２５は画面を構成し、表示部１２６に表示する。ファイル処理部１１３に一致した位置からの読み出しを指示する。ファイル処理部１１３は、システムで規定された量のデータを読み出し、ＲＡＭ１１７上の圧縮データ領域１１９に書き込み、ＣＰＵ１０１に通知する。

ＣＰＵ１０１は、データ伸長処理部１２８に圧縮データ領域１１９のデータの伸長を指示する。データ伸長処理部１２８は伸長したデータをＲＡＭ１１７上のＰＣＭデータ領域１１８に書き込み、ＣＰＵ１０１に通知する。

ＣＰＵ１０１はＤ／Ａコンバータ１２４に、ＰＣＭデータ領域１１８のデジタルデータをアナログデータに変換し、スピーカー１２３から出力することを指示する。Ｄ／Ａコンバータ１２４は変換したデータを出力したことをＣＰＵ１０１に通知する。検索鍵が見つかった位置からの録音がスピーカー１２３から自動再生される。

ユーザが操作部１０３にあるＥＮＴＥＲキー１０８を押下すると（Ｓ３０３）、入力処理部１１２がそれを検出し、ＣＰＵ１０１に通知する。ＣＰＵ１０１は、ファイル処理部１１３に検索鍵と一致した場所にマークを付加することを指示する。ファイル処理部１１３は、データ記録装置１１４上のデータベース領域１１６に当該音声ファイル１１５に関する情報として、検索鍵と一致した場所のアドレス情報を書き込む（Ｓ３０４）。これにより、検索鍵と一致した発言の前にインデックスとしてのマークが付く。

ＣＰＵ１０１は、表示制御部１２５にマークの付加が完了したことをユーザに通知するためのメッセージ(例えば「マークが付加されました」)の表示を指示する。表示制御部１２５は、画面を構成し、表示部１２６に表示する（Ｓ３０５）。

このようにして、検索鍵を音声で入力し、一致した場所にマークを付加したので、ユーザがこの音声ファイルを再生中に、操作部１０３にあるＮＥＸＴキー１１０またはＰＲＥＶキー１１１を押下することで、簡単にマーク位置を呼び出すことができるようになる。つまり、1度だけ音声で検索すれば、次回以降は簡単操作で希望の場所を呼び出すことができるようになる。

以上、検索鍵と一致すると判断された場所が、ユーザの希望するものであった場合について述べたが、希望するものでなかった場合、ユーザは操作部にあるＣＡＮＣＥＬキー１０９を押下するか（Ｓ３０６）、何も操作をせず5秒経過するのを待てばよい（Ｓ６０７）。

ユーザがＥＮＴＥＲキー１０８を押下しないまま、時間計測部１３１から5秒経過したことがＣＰＵ１０１に通知された場合は、ＣＰＵ１０１は表示制御部１２５にメッセージの表示消去を指示する。また、ユーザがＥＮＴＥＲキー１０８ではなくＣＡＮＣＥＬキー１０９を押下した場合も、ＣＰＵ１０１は表示制御部１２５にメッセージの表示消去を指示する。表示制御部１２５はメッセージが消去された画面を構成し、表示部１２６に表示する。

以上、検索鍵と一致する部分が見つかった場合の処理について述べたが、データ比較処理部１２９から一致したことの通知が無いままファイルの終端まで達したとき、ＣＰＵ１０１は表示制御部１２５に一致する部分が無かったことをユーザに知らせるためのメッセージ(例えば「見つかりませんでした」)を表示することを指示する。表示制御部１２５は画面を作成し、表示部１２６に表示する。
（変形例）
上記実施形態では、検索鍵と一致する最初の位置で検索機能を停止しているが、ユーザ操作でそれ以降に一致する個所がないか、検索の再開を行うこともできる。例えば、最初に一致すると判断した位置を再生中にユーザにより操作部１０３にあるＮＥＸＴキー１１０を押下されると、現在の再生位置より後方に検索鍵に一致する場所が無いか検索を開始しＰＲＥＶキー１１１が押下されたら、現在の再生位置より前方に検索鍵に一致する場所が無いか検索を開始する。あるいは、音声ファイル１１５全体に対して検索を行い、一致すると判断した個所を一覧表示することもできる。

一覧表示する場合、データ比較処理部１２９に一致の度合いを評価する機能を設けることにより、その値を合致率として併記したり、合致率の高い順に整列したりして表示することもできる。合致率がある値を下回るものについては表示しないようにユーザが設定できてもよい。

図５に、音声ファイル１１５全体に対して検索を行ったときの結果画面表示の一例として、時間と一致の度合（％）の画面を示す。この画面を見て、一致度の高い順にマーク位置を呼び出して自動再生することができる。また、一致度の低いマークを削除することができる。

上記例は録音済みのデータに対して、音声入力により検索を行うものであったが、録音前に予め複数のキーワードを音声入力し、それをＩＣレコーダが記憶する。録音を開始すると、記憶しているキーワードと録音している音声を比較し、一致した場所にマークを付加する。ユーザは録音終了後に、操作部１０３にあるＮＥＸＴキー１１０、ＰＲＥＶキー１１１を押下することで、マーク位置つまりキーワードに一致したと判断された場所を簡単に探すことができる。マークがつけられていた場所が希望の場所でなかった場合は、マーク削除操作により簡単に取り除くことができる。

会議を録音する際などは、予め議題が分かっていれば、議題をキーワードとして記憶させておくことで、議題の変わり目にマークが付加されることが期待でき、あとで議事録を作成する際に便利である。また複数の講演者が登場する講演会においては、講演者名をキーワードとして記憶させておくことで、講演者の変わり目にマークが付加されることが期待でき、あとで講演を聞く際に、希望の講演者の講演を探しやすくなる。

この発明の音声データ検索装置（例）の構成図である。 同装置のシステム構成を示すブロック図である。 音声ファイル再生処理の流れの一例を示すフロー図である。 検索鍵が見つかったときの処理の流れの一例を示すフロー図である。 ファイル全体に対して検索を行なったときの結果表示画面の一例を示す図である。

符号の説明

１０１…ＣＰＵ（中央処理装置） １０２…バス
１０３…操作部 １０４…ＲＥＣキー
１０５…ＰＬＡＹキー １０６…ＳＴＯＰキー
１０７…ＳＥＡＲＣＨキー １０８…ＥＮＴＥＲキー
１０９…ＣＡＮＣＥＲＵキー １１０…ＮＥＸＴキー
１１１…ＰＲＥＶキー １１２…入力処理部
１１３…ファイル処理部 １１４…データ記録装置
１１５…音声ファイル １１６…データベース領域
１１７…ＲＡＭ １１８…ＰＣＭデータ領域
１１９…圧縮データ領域 １２０…検索鍵領域
１２１…マイク １２２…Ａ／Ｄコンバータ
１２３…スピーカー １２４…Ｄ／Ａコンバータ
１２５…表示制御部 １２６…表示部
１２７…データ圧縮処理部 １２８…データ伸張処理部
１２９…でーた比較処理部 １３０…ＲＯＭ
１３１…時間計測部

Claims (4)

1. マイクから入力された音声をデータとして録音可能な録音部と、
   上記録音部で録音した音声データを再生可能な音声再生部と、
   上記録音部で録音したデータの特定部分をマイクから入力された音声を検索鍵として探し出す検索機能を持つ検索部と、
   上記検索部の検索機能により上記録音したデータを検索し、見つかった場所にマークを付加するマーク付加手段と、
   上記マークが付加された場所を呼び出すことができるマーク付加位置呼出し手段と
   を有することを特徴とする音声データ検索装置。
2. 上記検索部は、上記マーク付加位置を再生中に現在の再生位置より前方又は後方に上記検索鍵に一致する場所が無いか検索する機能を有することを特徴とする請求項１に記載の音声データ検索装置。
3. 上記検索により一致すると判断した個所を一覧表示する表示手段を有することを特徴とする請求項１又は２に記載の音声データ検索装置。
4. 上記検索鍵を上記音声データの録音前に入力して置くことを特徴とする請求項１又は２又は３に記載の音声データ検索装置。
   
   
   

Images