JP2009109913A - 確認支援装置及びコンピュータプログラム - Google Patents

Abstract

【課題】動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対する正誤確認作業を支援する確認支援装置及びコンピュータプログラムを提供する。
【解決手段】確認支援装置１は、音データに含まれる各単位データ間の時期データの関係から、続けて出力すべき一又は複数の単位データを選択し（Ｓ１０２）、選択された単位データに該当する音を、選択された単位データに係る時期データに基づく順序で出力し（Ｓ１０４）、またステップＳ１０２にて選択された単位データに対応する認識処理の結果を示す画像を表示し（Ｓ１０６）、ステップＳ１０２へ戻り、以降の処理を繰り返す。
【選択図】図４

Description

本発明は、動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対する正誤確認を支援する確認支援装置、及び該確認支援装置を実現するためのコンピュータプログラムに関する。

話者が発声した音声に基づく音声データに対し、発声内容に基づくテキストデータを生成する音声認識処理が実用化されており、音声認識処理により生成されたテキストデータは、発声内容を文章化する書き起こし処理、検索用キーワードを付与する処理等の様々な処理に用いられる。ただし現在の音声認識処理の技術は、１００％の認識率が保証されたものではなく、誤認識を行うこともあるため、認識処理の結果に対し、人手による確認、修正等の作業を要する。この様な音声認識処理の結果の確認を支援する装置として、認識結果に基づく音声を出力し、話者に認識結果の確認を求める装置が、特許文献１に開示されている。
特開２０００−８９７９７号公報

しかしながら特許文献１に開示された装置は、話者がその場で発声した音声の正誤判定を、原則的には話者が行うものであり、発声内容を文章化する書き起こし処理、検索用キーワードを付与する処理等の話者の過去の発声内容に対する認識処理の結果に対して、話者に限らない確認者が確認する形態に適用することはできない。

本発明は斯かる事情に鑑みてなされたものであり、音声データ等の出力データについて、認識の対象となる認識対象区間毎の出力データである単位データに対し、続けて出力すべき複数の単位データを選択して、続けて出力すると共に、出力している単位データに係る認識データが示す認識処理の結果を出力し、認識処理の結果に対する正誤判定の結果の入力を受け付けて記録することにより、認識処理の結果に対する正誤確認の作業を支援し、しかもその正誤確認を、認識処理後に話者以外の確認者が行うことも可能な確認支援装置、及び該確認支援装置を実現するためのコンピュータプログラムの提供を目的とする。

第１の装置は、動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対する正誤確認を支援する確認支援装置において、各単位データについて、出力時期を示す時期データ及び認識処理の結果を示す認識データを対応付けて記録するデータベースと、各単位データ間の時期データの関係から、続けて出力すべき複数の単位データを選択する選択手段と、選択した複数の単位データを、該単位データに対応付けられた時期データに基づく順序で出力する第１出力手段と、単位データを出力中に、該単位データに対応する認識データが示す認識処理の結果を出力する第２出力手段と、認識処理の結果に対する正誤判定の結果の入力を受け付ける受付手段と、正誤判定の結果を記録する結果記録手段とを備えることを要件とする。

第２の装置は、第１の装置において、前記選択手段、第１出力手段及び第２出力手段による処理と、前記受付手段及び結果記録手段による処理とを夫々繰り返す様に構成してあることを要件とする。

第３の装置は、第２の装置において、前記結果記録手段は、正誤判定の結果を受け付けることなく所定回数以上繰り返して出力された単位データに対し、予め設定されている所定の正誤判定の結果を記録する様に構成してあることを要件とする。

第４の装置は、第１乃至第３の装置のいずれかにおいて、前記認識処理は、単位データを、予め登録されている複数の候補データと照合した結果を示す類似度に基づき選択された一の候補データを認識データとする様に構成してあり、前記受付手段が受け付けた正誤判定の対象となる一の単位データと認識処理の結果が同じである他の単位データの中で、類似度が所定値以上である単位データを抽出する抽出手段を更に備え、前記記録手段は、前記抽出手段が抽出した単位データの正誤判定の結果を、一の単位データと同じ正誤判定の結果として記録する様に構成してあることを要件とする。

第５のコンピュータプログラムは、動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対する正誤確認を、コンピュータに支援させるコンピュータプログラムにおいて、コンピュータに、各単位データについて、出力時期を示す時期データ及び認識処理の結果を示す認識データを対応付けて記録するデータベースにアクセスして、各単位データ間の時期データの関係から、続けて出力すべき複数の単位データを選択させる手順と、選択した複数の単位データを、該単位データに対応付けられた時期データに基づく順序で出力させる手順と、単位データを出力中に、該単位データに対応付けられた認識データが示す認識処理の結果を出力させる手順と、認識処理の結果に対する正誤判定の結果の入力を受け付けた場合に、受け付けた結果を記録させる手順とを実行させることを要件とする。

第１の装置及び第２の装置並びに第５のコンピュータプログラムでは、認識処理の結果に対する正誤確認の作業を効率化することが可能である。

第３の装置は、繰り返し回数が所定回数に達した単位データに対し、例えば誤認識を示す所定の正誤判定を自動的に行うことにより、認識処理の結果の正誤判定を効率化する。

第４の装置は、一の単位データに対する正誤判定の結果が例えば正である場合に、認識処理の結果が同じである他の単位データの中で、類似度が所定値以上である単位データに対する正誤判定の結果を、一の単位データと同じ正誤判定の結果とすることにより、正誤判定作業を軽減する。

本発明の確認支援装置及びコンピュータプログラムは、動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対する正誤確認を支援する。本発明は、各単位データについて、出力時期を示す時期データ及び認識処理の結果を示す認識データを対応付けて記録するデータベースを用い、各単位データ間の時期データの関係から、続けて出力すべき複数の単位データを選択し、選択した複数の単位データを、該単位データに係る時期データに基づく順序で続けて出力し、単位データを出力中に、該単位データに係る認識データが示す認識処理の結果を出力する。そして本発明は、認識処理の結果に対する正誤判定の結果の入力を受け付け、正誤判定の結果を記録する。

この構成により本発明では、例えば音データである出力データに含まれる、人が発声した音声を示す音声データに対する音声認識処理に適用することが可能であり、正誤判定の対象となる出力データを自動的に選択して出力し、認識処理の結果に対する正誤確認の作業を効率化することが可能である等、優れた効果を奏する。しかも認識処理後に、話者以外の確認者が正誤確認を行うことも可能である。

また本発明は、単位データの選択、出力、認識処理結果の出力、正誤判定の結果の受け付け及び記録を繰り返し、正誤判定の結果を受け付けることなく所定回数以上繰り返して出力された単位データに対し、予め設定されている所定の正誤判定の結果を記録する。

この構成により、本発明では、繰り返し回数が所定回数に達した単位データに対し、例えば誤認識を示す所定の正誤判定を自動的に行うことで、確認者が正誤を付け難い単位データに対して、自動的に誤認識として、認識処理の結果の正誤判定を効率化することが可能である等、優れた効果を奏する。

さらに本発明は、受け付けた正誤判定の対象となる一の単位データと認識処理の結果が同じである他の単位データの中で、類似度が所定値以上である単位データを抽出し、抽出した単位データの正誤判定の結果を、一の単位データと同じ正誤判定の結果として記録する。

この構成により、本発明では、例えば単位データに対して認識結果が正であることを示す判定を行った場合に、類似度が所定値以上である他の単位データの認識結果が自動的に正として判定されるので、確認者による正誤判定作業を軽減し、正誤判定作業を効率化することが可能である等、優れた効果を奏する。

以下、本発明をその実施の形態を示す図面に基づいて詳述する。本発明の実施例に係る確認支援装置は、動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対して、確認者が正誤の確認を行うことを支援する。なおここでは確認支援装置の一例として、音を出力させる音データを出力データとして用い、音データに含まれる、人が発声した音声を示す音声データに対する音声認識処理を行い、音声認識処理の結果に対する正誤判定を支援する形態について説明する。

図１は、本発明の実施例に係る確認支援装置の構成例を示すブロック図である。図１に示す確認支援装置１は、パーソナルコンピュータ等のコンピュータを用いた本発明の実施例に係る確認支援装置１であり、確認支援装置１は、装置全体を制御するＣＰＵ等の制御部１０と、本発明のコンピュータプログラム１００等のプログラム及びデータ等の各種情報を記録するＣＤ−ＲＯＭ等の記録媒体から各種情報を読み取るＣＤ−ＲＯＭドライブ等の補助記憶部１１と、補助記憶部１１により読み取った各種情報を記録するハードディスク等の記録部１２と、一時的に発生する情報を記録するＲＡＭ等の記憶部１３とを備えている。そして記録部１２に記録したコンピュータプログラム１００を記憶部１３に記憶させ、制御部１０の制御にて実行することにより、コンピュータは、本発明の実施例に係る確認支援装置１として動作する。

さらに確認支援装置１は、音を出力するスピーカ等の音出力部１４と、画像を出力するモニタ等の表示部１５と、確認者の操作を受け付けるマウス、キーボード等の操作部１６とを備えている。

また本発明の実施例に係る確認支援装置１は、本発明のコンピュータプログラム１００を実行することにより、記録部１２の記録領域の一部を、音声データを含む音データを記録する音データベース（音ＤＢ）１２ａ、音声認識処理の結果を記録する認識結果データベース（認識結果ＤＢ）１２ｂ、音声認識処理の結果に対する判定結果を記録する判定結果データベース（判定結果ＤＢ）１２ｃ等の各種データベースとして用いる。なお記録部１２の記録領域の一部を各種データベースとして用いるのではなく、確認支援装置１に接続された他の装置にデータベースを確保する様にしても良い。

音データベース１２ａには、ＷＡＶファイル等のファイル形式で音データが記録されており、各音データには、音データを特定する音ＩＤとして、「００１」等のファイル名が付されている。

図２は、本発明の実施例に係る確認支援装置１が備える認識結果データベース１２ｂの記録内容の例を概念的に示す説明図である。認識結果データベース１２ｂには、音声認識処理の結果として、音ＩＤ、認識対象区間、認識結果、類似度等の各種データがレコード単位で記録されている。なお本発明において、認識対象区間毎の音データを、認識処理の単位となる単位データと定義する。

ここで音声認識処理の一例について説明する。音声認識処理としては、例えば図示しない音声認識装置により、先ず話者が発声した音声及び雑音を含む音に基づく音データから、所定時間長のフレームを生成し、生成したフレーム単位でスペクトルに変換し、変換したスペクトルからパワー、ピッチ、ケプストラム等の特徴量を抽出する。さらに音声認識装置は、抽出した特長量等のフレームに係る情報から、当該フレームの区間が音声を含む音声区間であるか、音声を含まない非音声区間であるかを判定する。そして音声認識装置は、音声区間であると判定したフレームに係る音データのパワー、ピッチ、ケプストラム等の特徴量を、音響モデル及び単語辞書と照合し、単語辞書に登録されている単語、即ち認識の候補となる候補データとの類似度を導出し、類似度が高い候補データにより示される単語を音声認識処理の結果である認識データとして出力する。

図２に戻り、音ＩＤとは、音データベース１２ａに記録されている音データを特定するデータである。認識対象区間とは、音データ中で音声認識処理が行われた区間を、出力時期を示す時期データとして示している。例えば認識対象区間が「１．０−２．３」である場合、当該音データに基づく出力を開始する時刻を基準時刻として、出力開始時刻が基準時刻から１．０秒後であり、出力終了時刻が２．３秒後である区間、即ち１．０秒後から２．３秒後までの時間に対する区間が認識対象区間であることを示している。認識結果とは、音声認識処理の結果を示す認識データを示している。類似度とは、音声認識処理において、認識結果となった候補データに対する音データの類似度である。例えば図２において、音ＩＤが「００１」である音データの「１．０−２．３」秒の区間に含まれる音声は、「あした」であると認識され、認識に係る類似度は、「０．８」である。なお図２に示す類似度は、０．０〜１．０の値をとり、候補データと音データとが一致した場合に１．０となる。例えば単語辞書に対する音データの特徴量の音響尤度が類似度として用いられる。

図３は、本発明の実施例に係る確認支援装置１が備える判定結果データベース１２ｃの記録内容の例を概念的に示す説明図である。判定結果データベース１２ｃは、認識結果データベース１２ｂに記録されている認識結果に対する正誤判定の結果を記録するデータベースであり、音ＩＤ、認識対象区間、認識結果、類似度等の認識結果に係るデータと、判定結果、訂正結果等の正誤判定結果に係るデータとが対応付けて記録されている。判定結果としては、認識結果が正しいと判定したことを示す「確認」、認識結果が誤っていたが、訂正されたことを示す「訂正」、認識結果が誤っていたことを示す「削除」等のデータが記録される。誤認識と判定した場合で、異なる単語と誤認識していると判定され、確認者による訂正が行われたときには、訂正結果として訂正後のデータが記録される。例えば図３の例では、認識結果である「さきゅう」が「やきゅう」に訂正されている。誤認識と判定した場合で、例えば雑音である非音声区間の音データを音声区間の音データと判定したときには、当該音データを認識の対象から除外する削除が行われる。なお認識結果データベース１２ｂ及び判定結果データベース１２ｃを夫々異なるデータベースとして用いるのではなく、判定結果に基づいて、認識結果データベース１２ｂを更新する様にしても良い。その場合、訂正が行われた単位データに対する認識結果を訂正する更新が行われる。また削除が行われた単位データに係るレコードを削除する更新が行われる。

次に本発明の実施例に係る確認支援装置１の処理について説明する。図４は、本発明の実施例に係る確認支援装置１の認識結果出力処理の例を示すフローチャートである。確認者は、操作部１６を用いて確認支援装置１を操作し、音声認識結果に対する判定の対象となる音データ、例えば音ＩＤが「００１」である音データを指定する。音データの指定を受け付けた確認支援装置１は、コンピュータプログラム１００を実行する制御部１０の制御により、認識結果データベース１２ｂの中から指定された音データに係る単位データについてのレコードを抽出する（Ｓ１０１）。ステップＳ１０１では、指定された音データを特定する音ＩＤに合致するレコードを抽出する。

確認支援装置１は、制御部１０の制御により、抽出したレコードの中で、各単位データ間の時期データの関係から、続けて出力すべき一又は複数の単位データを選択する（Ｓ１０２）。ステップＳ１０２の処理として、確認支援装置１は、認識対象区間として示されている時期データである出力開始時刻に基づいて、各単位データに対して出力順序に応じた並べ替えを行い、一の単位データの直前に出力すべき単位データの出力終了時刻から、一の単位データの出力開始時刻までの時間が、予め設定されている連続出力基準時間未満である場合、一の単位データは、直前に出力すべき単位データに続けて出力すべき単位データであると判定する。この判定を二番目に出力すべき単位データから繰り返し行うことで続けて出力すべき一連の単位データを判定し、判定した一連の単位データを続けて出力すべき複数の単位データとして選択する。なお最初に出力すべき単位データの出力終了時刻から、二番目に出力すべき単位データの出力開始時刻までの時間が、連続出力時間以上である場合、最初に出力すべき単位データのみが選択される。連続出力基準時間は、例えば記録部１２に予め記録されている。また続けて出力すべきとして選択される単位データの出力開始時刻から出力終了時刻までの時間の合計が、予め設定されている上限時間を超えない様に単位データの選択に制限を設ける様にしても良い。

確認支援装置１は、制御部１０の制御により、音データベース１２ａから、判定の対象となる音データを読み取り（Ｓ１０３）、読み取った音データに基づいて、ステップＳ１０２にて選択された単位データに該当する音を、選択された単位データに係る時期データに基づく順序で音出力部１４から出力する（Ｓ１０４）。選択された単位データに該当する音データの音とは、音データにおける、単位データの認識対象区間として示されている時期データが示す出力開始時刻から出力終了時刻までの区間の音である。時期データに基づく順序とは、認識対象区間として示されている時期データである出力開始時刻に基づく順序である。ステップＳ１０４では、認識対象区間である単位データに基づく音が出力されるため、例えば図３に例示した認識対象区間が「１．０−２．３」、「２．８−４．４」及び「６．２−８．５」である音データに基づく音を出力することになるが、続けて出力する音データについては、認識対象区間以外の音声が含まれないと見なされた区間をも含む音データ、即ち「１．０−８．５」の区間の音データに基づく音を出力する様にしても良い。

また確認支援装置１は、制御部１０の制御により、ステップＳ１０２にて選択された単位データに対応付けられた認識データを、認識結果データベース１２ｂから読み取り（Ｓ１０５）、読み取った認識データが示す認識処理の結果を示す画像を表示部１５に表示（出力）する（Ｓ１０６）。ステップＳ１０３〜Ｓ１０４の処理と、ステップＳ１０５〜Ｓ１０６の処理とは、実質的に並行して実行する。即ち確認支援装置１は、単位データに該当する音を出力中に、当該単位データの認識結果を表示する。

そして確認支援装置１は、制御部１０の制御により、ステップＳ１０２へ戻り、以降の処理を繰り返す。

図５は、本発明の実施例に係る確認支援装置１の表示部１５から出力する画像の例を示す説明図である。図５は、ステップＳ１０６にて出力される認識結果確認画面の例を示している。図５に例示した画像では、続けて出力すべき単位データに対応する音データに係る信号波形が表示されている。図５において、Ｔ１〜Ｔ２として示す区間の信号波形が、続けて出力すべき一連の単位データである。また信号波形の単位データに該当する箇所の下方に、認識データが示す「あした」、「ごご」、「てんき」等の認識結果が表示されており、更に認識結果の下方に、認識結果に対する正誤判定の判定結果を入力する「確認」、「削除」等の押釦を模した画像が表示されている。そして図５に例示した画像を表示中に、確認支援装置１は、ステップＳ１０４の処理として、認識結果が表示されている単位データに該当する音データに基づく音を、音出力部１４から出力する。ステップＳ１０２〜Ｓ１０６の処理は、繰り返し実行されるため、認識結果が表示されている単位データに該当する音データに基づく音は繰り返し出力される。この様にして確認支援装置１は、認識結果出力処理を実行する。

図４及び図５を用いて説明した認識結果出力処理と並行して、判定結果入力処理が行われる。図５に例示した画面が表示されている時に、確認者は、音出力部１４から出力された音を聴取し、表示部１５に表示されている認識結果の正誤判定を行う。そして確認者は、認識結果が正しいと判定した場合、操作部１６により、「確認」と示された画像を指定する操作を行う。また確認者は、認識結果が誤りであると判定した場合、「削除」と示された画像を指定する操作を行う。さらに確認者は、認識結果が誤りであり、訂正を要すると判定した場合、認識結果が表示されている欄を指定して、訂正結果を入力した上で、「確認」と示された画像を指定する操作を行う。

図６は、本発明の実施例に係る確認支援装置１の判定結果入力処理の例を示すフローチャートである。確認支援装置１は、コンピュータプログラム１００を実行する制御部１０の制御により、操作部１６から、認識処理の結果に対する正誤判定の結果の入力を受け付け（Ｓ２０１）、受け付けた正誤判定の結果を判定結果データベース１２ｃに記録し（Ｓ２０２）、ステップＳ２０１へ戻り、以降の処理を繰り返す。判定結果入力処理は、認識結果出力処理と連動した処理であり、認識結果出力処理が実行されている間、認識結果出力処理にて出力されている認識処理の結果に対する判定結果の受付及び記録を繰り返す処理である。この様にして確認支援装置１は、判定結果入力処理を実行する。

次に確認支援装置１の認識結果出力処理又は判定結果出力処理に追加して実行することが可能な各種追加処理について説明する。図７は、本発明の実施例に係る確認支援装置１の第１追加処理の例を示すフローチャートである。第１追加処理は、認識結果出力処理におけるステップＳ１０２〜Ｓ１０６の処理の繰り返し時において、ステップＳ１０２の実行前に行われる処理である。確認支援装置１は、コンピュータプログラム１００を実行する制御部１０の制御により、判定結果データベース１２ｃを参照して、正誤判定の結果が記録されている単位データを、ステップＳ１０２の選択の対象から除外し（Ｓ３０１）、ステップＳ１０２以降の処理を実行する。即ち認識結果出力処理に追加して第１追加処理を実行することにより、ステップＳ１０２〜Ｓ１０６の処理の繰り返し時において、確認支援装置１は、ステップＳ３０１にて除外された単位データ以外の単位データの中から単位データを選択するステップＳ１０２以降の処理を実行する。

図８は、本発明の実施例に係る確認支援装置１の表示部１５から出力する画像の例を示す説明図である。図８（ａ）は、図５に例示した状態から認識処理の結果である「ごご」に対し、確認者は、認識結果が正しいと判定して「確認」を指定した状態を示している。この様な判定結果が入力された後の第１追加処理により、認識処理の結果が「ごご」である単位データは、ステップＳ１０２の選択の対象から除外される。図５に示す状態では、認識処理の結果が「あした」、「ごご」及び「てんき」である単位データが、続けて出力すべき一連の単位データとして選択されていたが、「ごご」が選択の対象から除外された図８（ａ）の状態では、「あした」に係る単位データの出力終了時刻から、「てんき」に係る単位データの出力開始時刻までの時間が、連続出力基準時間以上となるため、続けて出力すべき一連の単位データとしては、「あした」に係る単位データのみが選択される。従って図８（ａ）の状態では、Ｔ１〜Ｔ３として示す区間、即ち「あした」の区間のみに対応する音が繰り返し出力される。

図８（ｂ）は、図８（ａ）に例示した状態から認識処理の結果である「あした」に対し、確認者は、認識結果が誤りであると判定して「削除」を指定した状態を示している。この様な判定結果が入力された後の第１追加処理により、認識処理の結果が「あした」である単位データは、ステップＳ１０２の選択の対象から除外される。図５に示す状態から「あした」及び「ごご」が除外されることにより、続けて出力すべき一連の単位データとして「てんき」のみが選択される。従って図８（ｂ）の状態では、Ｔ４〜Ｔ２として示す区間、即ち「てんき」の区間のみに対応する音が繰り返し出力される。なお図８（ｂ）に示す状態から、「てんき」に対して判定結果が入力された場合、音ＩＤが「００１」である音データの中で、「てんき」の次に出力すべき単位データの中から、続けて出力すべき一連の単位データの選択が行われる。

図９は、本発明の実施例に係る確認支援装置１の第２追加処理の例を示すフローチャートである。第２追加処理は、認識結果出力処理におけるステップＳ１０６の実行後に行われる処理である。確認支援装置１は、コンピュータプログラム１００を実行する制御部１０の制御により、判定結果データベース１２ｃを参照して、ステップＳ１０４にて対応する音が出力された単位データであって、正誤判定の結果が記録されていない単位データについて、ステップＳ１０４における出力回数を計数する（Ｓ４０１）。ステップＳ４０１の計数は、例えば予め判定結果データベース１２ｃに初期値が「０」である出力回数の項目を設定しておき、ステップＳ１０４の出力を行う毎に、出力回数の項目のデータに「１」を加算することにより実現される。

そして確認支援装置１は、制御部１０の制御により、計数した出力回数が、予め設定されている「５」等の上限出力回数以上である単位データに対し、認識結果が誤りであることを示す「削除」が指定されたものとして、正誤判定の結果を判定結果データベース１２ｃに記録し（Ｓ４０２）、ステップＳ１０２へ戻り、以降の処理を繰り返す。ステップＳ４０２において、「削除」以外の正誤判定の結果を記録する様に設定することも可能である。なお上限出力回数は、例えば記録部１２に予め記録されている。また第１追加処理及び第２追加処理を組み合わせて実行することも可能である。

図１０は、本発明の実施例に係る確認支援装置１の第３追加処理の例を示すフローチャートである。第３追加処理は、判定結果入力処理におけるステップＳ２０１の実行後に行われる処理である。確認支援装置１は、コンピュータプログラム１００を実行する制御部１０の制御により、ステップＳ２０１にて受け付けた正誤判定の結果が、認識結果が正しいことを示す「確認」である場合に限り、正誤判定の対象となった一の単位データと認識処理の結果が同じである他の単位データの中で、類似度が「０．８」等の予め設定されている基準類似度以上である単位データを認識結果データベース１２ｂから抽出する（Ｓ５０１）。なお抽出の対象となる他の単位データは、一の単位データと同じ音データに係る単位データに限る様にしても良い。ステップＳ５０１において、単位データを抽出する条件として、一の単位データの正誤判定の結果が「確認」であり、他の単位データの類似度が「０．８」以上であることを設定しているが、これらの条件は適宜設定することが可能である。また正誤判定の結果を受け付けた一の単位データの類似度が所定値以上である場合にのみ、他の単位データの正誤判定を自動的に行うという様に、一の単位データに対して類似度についての条件を設定することも可能である。

そして確認支援装置１は、制御部１０の制御により、判定結果データベース１２ｃを参照して、ステップＳ５０１にて抽出した他の単語データに対して、正誤判定の結果が記録されていない場合に限り、正誤判定の対象となった一の単位データと同じ正誤判定の結果、即ち「確認」を他の単語データの正誤判定の結果として判定結果データベース１２ｃに記録する（Ｓ５０２）。ステップＳ５０２の処理は、判定結果入力処理におけるステップＳ２０２の処理と共に実行される。即ち一の単位データ及び他の単位データに対して正誤判定の結果が記録される。この様な第３追加処理は、第１追加処理及び第２追加処理と共に実行することも可能である。

図１１は、本発明の実施例に係る確認支援装置１の第３追加処理の例を概念的に示す説明図である。図１１は、音データに係る信号波形と、音データに含まれる単位データに対する認識処理の結果及び類似度とを時系列で示している。図１１（ａ）は、音データに、認識処理の結果が「きのう」、「かいぎ」、「かいぎ」及び「かいぎ」である単位データが含まれており、夫々の類似度が「０．９」、「０．８」、「０．８」及び「０．７」であることを示している。また「きのう」に係る単位データと、最初の「かいぎ」に係る単位データとが続けて出力すべき一連の単位データとして選択されている。図１１（ａ）に示す状態において、確認支援装置１は、認識結果出力処理として、Ｔ５〜Ｔ６に示す区間、即ち「きのう」及び「かいぎ」を繰り返し出力する。

図１１（ｂ）は、図１１（ａ）に示す状態から、「きのう」及び最初の「かいぎ」に対して、確認者により正誤判定の結果として「確認」が入力された状態を示している。最初の「かいぎ」に対して「確認」が入力されることにより、２番目の「かいぎ」は、最初の「かいぎ」と認識処理の結果が同じであり、しかも類似度が基準類似度である「０．８」以上であることから、確認支援装置１は、２番目の「かいぎ」に対して「確認」を正誤判定の結果として記録する。また３番目の「かいぎ」は、認識処理の結果が最初の「かいぎ」と同じであるが、類似度が基準類似度である「０．８」未満であるため、確認支援装置１による自動的な正誤判定は行われない。なお「きのう」並びに最初の「かいぎ」及び２番目の「かいぎ」の正誤判定の結果が記録されることにより、これらの単位データは、認識結果出力処理の単位データの選択の対象から除外されるため、図１１（ｂ）の段階での認識結果出力処理として、確認支援装置１は、Ｔ７〜Ｔ８に示す区間、即ち３番目の「かいぎ」を繰り返し出力する。

前記実施の形態は、本発明の無限にある実施の形態の一部を例示したに過ぎず、各種ハードウェア及びソフトウェア等の構成は、適宜設定することが可能である。例えば前記実施の形態では、出力データが音データであり、認識処理として、音声認識処理を実行する形態を示したが、本発明はこれに限らず、動画を出力させる動画データを出力データとし、動画に対する認識処理の判定を支援する形態に展開することも可能である。例えば幹線道路、高速道路等の道路に設置されたカメラにより撮影して得られた動画データに対し、道路を走行する車両に対する車種、色等の種類を認識する認識処理を行い、その認識処理の結果に対して正誤判定を行う作業を支援する形態に展開する等、様々な形態に展開することが可能である。この様な形態に展開する場合、確認支援装置は、走行する車両を撮影した動画と、当該車両の車種についての認識結果とを表示し、確認者は動画として表示された車両と認識処理の結果である車種との整合性を判定する。

以上の実施の形態に関し、更に以下の付記を開示する。

（付記１）
動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対する正誤確認を支援する確認支援装置において、
各単位データについて、出力時期を示す時期データ及び認識処理の結果を示す認識データを対応付けて記録するデータベースと、
各単位データ間の時期データの関係から、続けて出力すべき複数の単位データを選択する選択手段と、
選択した複数の単位データを、該単位データに対応付けられた時期データに基づく順序で出力する第１出力手段と、
単位データを出力中に、該単位データに対応する認識データが示す認識処理の結果を出力する第２出力手段と、
認識処理の結果に対する正誤判定の結果の入力を受け付ける受付手段と、
正誤判定の結果を記録する結果記録手段と
を備えることを特徴とする確認支援装置。

（付記２）
前記選択手段、第１出力手段及び第２出力手段による処理と、前記受付手段及び結果記録手段による処理とを夫々繰り返す様に構成してあることを特徴とする付記１に記載の確認支援装置。

（付記３）
前記結果記録手段にて正誤判定の結果が記録された単位データを、前記選択手段による選択の対象から除外する手段を更に備えることを特徴とする付記１又は付記２に記載の確認支援装置。

（付記４）
前記結果記録手段は、正誤判定の結果を受け付けることなく所定回数以上繰り返して出力された単位データに対し、予め設定されている所定の正誤判定の結果を記録する様に構成してあることを特徴とする付記２又は付記３に記載の確認支援装置。

（付記５）
前記認識処理は、単位データを、予め登録されている複数の候補データと照合した結果を示す類似度に基づき選択された一の候補データを認識データとする様に構成してあり、
前記受付手段が受け付けた正誤判定の対象となる一の単位データと認識処理の結果が同じである他の単位データの中で、類似度が所定値以上である単位データを抽出する抽出手段を更に備え、
前記記録手段は、前記抽出手段が抽出した単位データの正誤判定の結果を、一の単位データと同じ正誤判定の結果として記録する様に構成してある
ことを特徴とする付記１乃至付記４のいずれかに記載の確認支援装置。

（付記６）
前記受付手段が受け付けた一の単位データに対する正誤判定の結果が、正である場合にのみ、前記抽出手段は、類似度が所定値以上である単位データを抽出する様に構成してあることを特徴とする付記５に記載の確認支援装置。

（付記７）
前記出力データは、音を出力させる音データであり、
前記認識処理は、音データに含まれる、人が発声した音声を示す音声データに対する音声認識処理である
ことを特徴とする付記１乃至付記６のいずれかに記載の確認支援装置。

（付記８）
動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対する正誤確認を、コンピュータに支援させるコンピュータプログラムにおいて、
コンピュータに、
各単位データについて、出力時期を示す時期データ及び認識処理の結果を示す認識データを対応付けて記録するデータベースにアクセスして、各単位データ間の時期データの関係から、続けて出力すべき複数の単位データを選択させる手順と、
選択した複数の単位データを、該単位データに対応付けられた時期データに基づく順序で出力させる手順と、
単位データを出力中に、該単位データに対応付けられた認識データが示す認識処理の結果を出力させる手順と、
認識処理の結果に対する正誤判定の結果の入力を受け付けた場合に、受け付けた結果を記録させる手順と
を実行させることを特徴とするコンピュータプログラム。

本発明の実施例に係る確認支援装置の構成例を示すブロック図である。 本発明の実施例に係る確認支援装置が備える認識結果データベースの記録内容の例を概念的に示す説明図である。 本発明の実施例に係る確認支援装置が備える判定結果データベースの記録内容の例を概念的に示す説明図である。 本発明の実施例に係る確認支援装置の認識結果出力処理の例を示すフローチャートである。 本発明の実施例に係る確認支援装置の表示部から出力する画像の例を示す説明図である。 本発明の実施例に係る確認支援装置の判定結果入力処理の例を示すフローチャートである。 本発明の実施例に係る確認支援装置の第１追加処理の例を示すフローチャートである。 本発明の実施例に係る確認支援装置の表示部から出力する画像の例を示す説明図である。 本発明の実施例に係る確認支援装置の第２追加処理の例を示すフローチャートである。 本発明の実施例に係る確認支援装置の第３追加処理の例を示すフローチャートである。 本発明の実施例に係る確認支援装置の第３追加処理の例を概念的に示す説明図である。

符号の説明

１ 確認支援装置
１０ 制御部
１１ 補助記憶部
１２ 記録部
１２ａ 音データベース
１２ｂ 認識結果データベース
１２ｃ 判定結果データベース
１３ 記憶部
１４ 音出力部
１５ 表示部
１６ 操作部
１００ コンピュータプログラム

Claims (5)

1. 動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対する正誤確認を支援する確認支援装置において、
   各単位データについて、出力時期を示す時期データ及び認識処理の結果を示す認識データを対応付けて記録するデータベースと、
   各単位データ間の時期データの関係から、続けて出力すべき複数の単位データを選択する選択手段と、
   選択した複数の単位データを、該単位データに対応付けられた時期データに基づく順序で出力する第１出力手段と、
   単位データを出力中に、該単位データに対応する認識データが示す認識処理の結果を出力する第２出力手段と、
   認識処理の結果に対する正誤判定の結果の入力を受け付ける受付手段と、
   正誤判定の結果を記録する結果記録手段と
   を備えることを特徴とする確認支援装置。
2. 前記選択手段、第１出力手段及び第２出力手段による処理と、前記受付手段及び結果記録手段による処理とを夫々繰り返す様に構成してあることを特徴とする請求項１に記載の確認支援装置。
3. 前記結果記録手段は、正誤判定の結果を受け付けることなく所定回数以上繰り返して出力された単位データに対し、予め設定されている所定の正誤判定の結果を記録する様に構成してあることを特徴とする請求項２に記載の確認支援装置。
4. 前記認識処理は、単位データを、予め登録されている複数の候補データと照合した結果を示す類似度に基づき選択された一の候補データを認識データとする様に構成してあり、
   前記受付手段が受け付けた正誤判定の対象となる一の単位データと認識処理の結果が同じである他の単位データの中で、類似度が所定値以上である単位データを抽出する抽出手段を更に備え、
   前記記録手段は、前記抽出手段が抽出した単位データの正誤判定の結果を、一の単位データと同じ正誤判定の結果として記録する様に構成してある
   ことを特徴とする請求項１乃至請求項３のいずれかに記載の確認支援装置。
5. 動画及び／又は音を出力させる出力データに対し、認識処理の対象となる認識対象区間を検出し、検出した認識対象区間毎の出力データである単位データについてなされた認識処理の結果に対する正誤確認を、コンピュータに支援させるコンピュータプログラムにおいて、
   コンピュータに、
   各単位データについて、出力時期を示す時期データ及び認識処理の結果を示す認識データを対応付けて記録するデータベースにアクセスして、各単位データ間の時期データの関係から、続けて出力すべき複数の単位データを選択させる手順と、
   選択した複数の単位データを、該単位データに対応付けられた時期データに基づく順序で出力させる手順と、
   単位データを出力中に、該単位データに対応付けられた認識データが示す認識処理の結果を出力させる手順と、
   認識処理の結果に対する正誤判定の結果の入力を受け付けた場合に、受け付けた結果を記録させる手順と
   を実行させることを特徴とするコンピュータプログラム。

Images