JP2020042229A

JP2020042229A - 議事録生成システムおよび議事録生成プログラム

Info

Publication number: JP2020042229A
Application number: JP2018171569A
Authority: JP
Inventors: 夏子宮端; Natsuko Miyahata
Original assignee: Kyocera Document Solutions Inc
Current assignee: Kyocera Document Solutions Inc
Priority date: 2018-09-13
Filing date: 2018-09-13
Publication date: 2020-03-19
Anticipated expiration: 2038-09-13
Also published as: JP7205684B2

Abstract

【課題】議事録における重要な内容を利用者に容易に理解させることができる議事録生成システムおよび議事録生成プログラムを提供する。【解決手段】音声データから音声認識によって文字データとしての議事録を生成し、議事録に含まれる用語の重要度を判定し、重要度に基づいた出力内容で用語を出力する議事録生成システムは、音声データにおける音声の音調の変化と、音声データにおける音声の音量の変化と、音声データにおける賛同を示す賛同用語の存在とに基づいて音声データにおける重要な期間を特定し、重要な期間に含まれる用語の重要度を、重要な期間に含まれない用語の重要度より高く判定する（Ｓ５４〜Ｓ５６）ことを特徴とする。【選択図】図２

Description

本発明は、音声データから音声認識によって文字データとしての議事録を生成する議事録生成システムおよび議事録生成プログラムに関する。

従来、音声データから音声認識によって文字データとしての議事録を生成する議事録生成システムが知られている（例えば、特許文献１−３参照。）。

特開２０００−３５２９９５号公報特開２００６−２６７９３４号公報特開２０１４−１７８９３４号公報

しかしながら、従来の議事録生成システムにおいては、議事録における重要な内容を利用者に容易に理解させることが困難であるという問題がある。

そこで、本発明は、議事録における重要な内容を利用者に容易に理解させることができる議事録生成システムおよび議事録生成プログラムを提供することを目的とする。

本発明の議事録生成システムは、音声データから音声認識によって文字データとしての議事録を生成する議事録生成部と、前記議事録に含まれる用語の重要度を判定する重要度判定部と、前記重要度に基づいた出力内容で前記用語を出力する用語出力部とを備え、前記重要度判定部は、前記音声データにおける音声の音調の変化と、前記音声データにおける音声の音量の変化と、前記音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて前記音声データにおける重要な期間を特定し、前記重要な期間に含まれる前記用語の前記重要度を、前記重要な期間に含まれない前記用語の前記重要度より高く判定することを特徴とする。

この構成により、本発明の議事録生成システムは、音声データにおける音声の音調の変化と、音声データにおける音声の音量の変化と、音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて音声データにおける重要な期間を特定し、重要な期間に含まれる用語の重要度を、重要な期間に含まれない用語の重要度より高く判定し、重要度に基づいた出力内容で用語を出力するので、議事録における重要な用語を利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。

本発明の議事録生成システムにおいて、前記用語出力部は、前記重要度が特定の程度以上である前記用語を強調した状態で前記議事録を出力しても良い。

この構成により、本発明の議事録生成システムは、議事録における重要な用語を議事録上で利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。

本発明の議事録生成システムにおいて、前記用語出力部は、前記重要度の大きさ順に、または、前記重要度が特定の程度以上である前記用語を強調した状態で、前記用語の一覧を出力しても良い。

この構成により、本発明の議事録生成システムは、議事録における重要な用語を用語の一覧上で利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。

本発明の議事録生成システムにおいて、前記用語出力部は、前記音声データにおける音声の音調の変化に基づいた値を示す軸と、前記音声データにおける音声の音量の変化に基づいた値を示す軸と、前記音声データにおける前記賛同用語の存在に基づいた値を示す軸とのうち、少なくとも２軸によって構成される空間上に、前記重要度が特定の程度以上である前記用語を配置したマップを出力しても良い。

この構成により、本発明の議事録生成システムは、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸とのうち、少なくとも２軸によって構成される空間上に用語を配置したマップ上で、議事録における重要な用語の重要度の詳細な内容を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。

本発明の議事録生成システムにおいて、前記用語出力部は、前記重要度が特定の程度以上である前記用語同士の相互の関係を示す相互関係図を出力し、前記相互関係図は、前記音声データにおいて同一の前記重要な期間に含まれる前記用語同士が相互に関係があることを示しても良い。

この構成により、本発明の議事録生成システムは、用語同士の相互の関係を示す相互関係図上で、議事録における重要な用語同士の相互の関係を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。

本発明の議事録生成システムにおいて、前記用語出力部は、前記重要度が特定の程度以上である前記用語が含まれるフレーズまたは文を前記議事録から抽出して出力しても良い。

この構成により、本発明の議事録生成システムは、重要度が特定の程度以上である用語が含まれるフレーズまたは文を議事録から抽出して出力するので、議事録における重要なフレーズまたは文を利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。

本発明の議事録生成プログラムは、音声データから音声認識によって文字データとしての議事録を生成する議事録生成部と、前記議事録に含まれる用語の重要度を判定する重要度判定部と、前記重要度に基づいた出力内容で前記用語を出力する用語出力部とをコンピューターに実現させ、前記重要度判定部は、前記音声データにおける音声の音調の変化と、前記音声データにおける音声の音量の変化と、前記音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて前記音声データにおける重要な期間を特定し、前記重要な期間に含まれる前記用語の前記重要度を、前記重要な期間に含まれない前記用語の前記重要度より高く判定することを特徴とする。

この構成により、本発明の議事録生成プログラムを実行するコンピューターは、音声データにおける音声の音調の変化と、音声データにおける音声の音量の変化と、音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて音声データにおける重要な期間を特定し、重要な期間に含まれる用語の重要度を、重要な期間に含まれない用語の重要度より高く判定し、重要度に基づいた出力内容で用語を出力するので、議事録における重要な用語を利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。

本発明の議事録生成システムおよび議事録生成プログラムは、議事録における重要な内容を利用者に容易に理解させることができる。

本発明の一実施の形態に係る議事録生成システムのブロック図である。会議の音声データに基づいて議事録を生成する場合の図１に示す議事録生成システムの動作のフローチャートである。図２に示す音調式重要度判定処理のフローチャートである。図２に示す音量式重要度判定処理のフローチャートである。図２に示す賛同用語式重要度判定処理のフローチャートである。議事録を出力する場合の図１に示す議事録生成システムの動作のフローチャートである。図１に示す表示部に表示される２次元マップの一例である。図１に示す表示部に表示される相互関係図の一例である。

以下、本発明の実施の形態について、図面を用いて説明する。

まず、本発明の一実施の形態に係る議事録生成システムの構成について説明する。

図１は、本実施の形態に係る議事録生成システム１０のブロック図である。

図１に示すように、議事録生成システム１０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部１１と、種々の情報を表示する例えばＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）などの表示デバイスである表示部１２と、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部１３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部１４と、議事録生成システム１０全体を制御する制御部１５とを備えている。議事録生成システム１０は、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）などのコンピューターによって構成されている。

記憶部１４は、議事録を生成するための議事録生成プログラム１４ａを記憶している。議事録生成プログラム１４ａは、例えば、議事録生成システム１０の製造段階で議事録生成システム１０にインストールされていても良いし、ＣＤ（ＣｏｍｐａｃｔＤｉｓｋ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｋ）、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリーなどの外部の記憶媒体から議事録生成システム１０に追加でインストールされても良いし、ネットワーク上から議事録生成システム１０に追加でインストールされても良い。

記憶部１４は、議事録のデータ（以下「議事録データ」という。）１４ｂを記憶可能である。記憶部１４は、議事録データ１４ｂ以外にも、議事録データを少なくとも１つ記憶可能である。

記憶部１４は、例えば「なるほど」、「いいね」などの賛同を示す用語（以下「賛同用語」という。）が登録される賛同用語データベース１４ｃを記憶している。

記憶部１４は、会議に参加する可能性がある者の音声の特徴を発声者毎に示す音声特徴情報１４ｄを記憶可能である。

制御部１５は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）と、制御部１５のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）とを備えている。制御部１５のＣＰＵは、記憶部１４または制御部１５のＲＯＭに記憶されているプログラムを実行する。

制御部１５は、議事録生成プログラム１４ａを実行することによって、音声データから音声認識によって文字データとしての議事録を生成する議事録生成部１５ａと、議事録に含まれる用語の重要度を判定する重要度判定部１５ｂと、重要度に基づいた出力内容で用語を出力する用語出力部１５ｃとを実現する。

次に、議事録生成システム１０の動作について説明する。

まず、会議の音声データに基づいて議事録を生成する場合の議事録生成システム１０の動作について説明する。

図２は、会議の音声データに基づいて議事録を生成する場合の議事録生成システム１０の動作のフローチャートである。

利用者は、議事録の生成の基になる音声データ（以下「対象音声データ」という。）を操作部１１を介して指定して、議事録生成システム１０に議事録の生成を操作部１１を介して指示することができる。議事録生成システム１０の議事録生成部１５ａは、議事録の生成が指示されると、図２に示す動作を実行する。

図２に示すように、議事録生成部１５ａは、音声特徴情報１４ｄを利用して対象音声データに対して音声認識を実行することによって、対象音声データに含まれる音声の発声者を全て検出する（Ｓ５１）。

次いで、議事録生成部１５ａは、対象音声データに対して音声認識を実行することによって、対象音声データから文字データを生成する（Ｓ５２）。ここで、議事録生成部１５ａは、対象音声データから文字データを生成する場合、対象音声データから生成した文字データにおけるいずれの文字が、Ｓ５１において検出したいずれの発声者による発言に基づいた文字であるかも特定する。

次いで、重要度判定部１５ｂは、Ｓ５２において生成した文字データに含まれる用語を抽出する（Ｓ５３）。重要度判定部１５ｂは、Ｓ５３において、重複がないように用語を抽出する。

次いで、重要度判定部１５ｂは、音声データにおける音調の変化に基づいて用語の重要度を判定する音調式重要度判定処理を実行する（Ｓ５４）。

図３は、音調式重要度判定処理のフローチャートである。

図３に示すように、重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者のうち、今回の音調式重要度判定処理において未だ対象にしていない１人の発声者のみを対象とする（Ｓ６１）。

次いで、重要度判定部１５ｂは、対象音声データにおいて現在の対象の発声者の音声の音調が特定の高さ超になる時点を検索する（Ｓ６２）。ここで、特定の高さは、対象音声データにおける現在の対象の発声者の音声に基づいて設定されても良いし、音声特徴情報１４ｄにおける現在の対象の発声者の音声に基づいて設定されても良い。例えば、特定の高さは、対象音声データにおける現在の対象の発声者の最初の音声の高さでも良いし、対象音声データにおける現在の対象の発声者の全ての音声の高さの平均でも良い。

次いで、重要度判定部１５ｂは、Ｓ６２における検索において現在の対象の発声者の音声の音調が特定の高さ超になる時点が抽出されたか否かを判断する（Ｓ６３）。

重要度判定部１５ｂは、現在の対象の発声者の音声の音調が特定の高さ超になる時点が抽出されたとＳ６３において判断すると、Ｓ６２における検索において抽出された時点のうち、今回の音調式重要度判定処理において未だ対象にしていない１つの時点のみを対象とする（Ｓ６４）。

重要度判定部１５ｂは、Ｓ６４の処理の後、対象音声データにおいて現在の対象の時点を含む特定の期間を重要な期間として特定する（Ｓ６５）。ここで、現在の対象の時点を含む特定の期間とは、例えば、現在の対象の時点を基準として前の１０秒と、後ろの１０秒との合計２０秒間である。

重要度判定部１５ｂは、Ｓ６５の処理の後、Ｓ５３において抽出された用語のうち、対象音声データにおいてＳ６５において特定した期間に含まれる用語の重要度に特定の値を加算する（Ｓ６６）。ここで、重要度判定部１５ｂは、Ｓ６５において特定した期間に対象の用語が１回存在する場合には対象の用語の重要度に１ポイントを加算し、２回存在する場合には対象の用語の重要度に２ポイントを加算し、３回存在する場合には対象の用語の重要度に３ポイントを加算するなど、Ｓ６５において特定した期間に対象の用語が存在する回数に応じたポイントを対象の用語の重要度にＳ６６において加算する。また、重要度判定部１５ｂは、Ｓ６５において特定した期間に用語の後端が含まれる場合にのみ、Ｓ６５において特定した期間に、この用語が含まれるとＳ６６において判定する。

重要度判定部１５ｂは、Ｓ６６の処理の後、Ｓ６２における検索において抽出された全ての時点を今回の音調式重要度判定処理において対象にしたか否かを判断する（Ｓ６７）。

重要度判定部１５ｂは、Ｓ６２における検索において抽出された少なくとも１つの時点を未だ対象にしていないとＳ６７において判断すると、Ｓ６４の処理を実行する。

重要度判定部１５ｂは、現在の対象の発声者の音声の音調が特定の高さ超になる時点が抽出されなかったとＳ６３において判断するか、Ｓ６２における検索において抽出された全ての時点を対象にしたとＳ６７において判断すると、Ｓ５１において検出された全ての発声者を今回の音調式重要度判定処理において対象にしたか否かを判断する（Ｓ６８）。

重要度判定部１５ｂは、Ｓ５１において検出された少なくとも１人の発声者を未だ対象にしていないとＳ６８において判断すると、Ｓ６１の処理を実行する。

重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者を対象にしたとＳ６８において判断すると、図３に示す音調式重要度判定処理を終了する。

図２に示すように、重要度判定部１５ｂは、Ｓ５４の音調式重要度判定処理の後、音声データにおける音量の変化に基づいて用語の重要度を判定する音量式重要度判定処理を実行する（Ｓ５５）。

図４は、音量式重要度判定処理のフローチャートである。

図４に示すように、重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者のうち、今回の音量式重要度判定処理において未だ対象にしていない１人の発声者のみを対象とする（Ｓ７１）。

次いで、重要度判定部１５ｂは、対象音声データにおいて現在の対象の発声者の音声の音量が特定の大きさ超になる時点を検索する（Ｓ７２）。ここで、特定の大きさは、対象音声データにおける現在の対象の発声者の音声に基づいて設定されても良いし、音声特徴情報１４ｄにおける現在の対象の発声者の音声に基づいて設定されても良い。例えば、特定の大きさは、対象音声データにおける現在の対象の発声者の最初の音声の大きさでも良いし、対象音声データにおける現在の対象の発声者の全ての音声の大きさの平均でも良い。

次いで、重要度判定部１５ｂは、Ｓ７２における検索において現在の対象の発声者の音声の音量が特定の大きさ超になる時点が抽出されたか否かを判断する（Ｓ７３）。

重要度判定部１５ｂは、現在の対象の発声者の音声の音量が特定の大きさ超になる時点が抽出されたとＳ７３において判断すると、Ｓ７２における検索において抽出された時点のうち、今回の音量式重要度判定処理において未だ対象にしていない１つの時点のみを対象とする（Ｓ７４）。

重要度判定部１５ｂは、Ｓ７４の処理の後、対象音声データにおいて現在の対象の時点を含む特定の期間を重要な期間として特定する（Ｓ７５）。ここで、現在の対象の時点を含む特定の期間とは、例えば、現在の対象の時点を基準として前の１０秒と、後ろの１０秒との合計２０秒間である。

重要度判定部１５ｂは、Ｓ７５の処理の後、Ｓ５３において抽出された用語のうち、対象音声データにおいてＳ７５において特定した期間に含まれる用語の重要度に特定の値を加算する（Ｓ７６）。ここで、重要度判定部１５ｂは、Ｓ７５において特定した期間に対象の用語が存在する回数に応じたポイントを対象の用語の重要度にＳ７６において加算する。また、重要度判定部１５ｂは、Ｓ７５において特定した期間に用語の後端が含まれる場合にのみ、Ｓ７５において特定した期間に、この用語が含まれるとＳ７６において判定する。

重要度判定部１５ｂは、Ｓ７６の処理の後、Ｓ７２における検索において抽出された全ての時点を今回の音量式重要度判定処理において対象にしたか否かを判断する（Ｓ７７）。

重要度判定部１５ｂは、Ｓ７２における検索において抽出された少なくとも１つの時点を未だ対象にしていないとＳ７７において判断すると、Ｓ７４の処理を実行する。

重要度判定部１５ｂは、現在の対象の発声者の音声の音量が特定の大きさ超になる時点が抽出されなかったとＳ７３において判断するか、Ｓ７２における検索において抽出された全ての時点を対象にしたとＳ７７において判断すると、Ｓ５１において検出された全ての発声者を今回の音量式重要度判定処理において対象にしたか否かを判断する（Ｓ７８）。

重要度判定部１５ｂは、Ｓ５１において検出された少なくとも１人の発声者を未だ対象にしていないとＳ７８において判断すると、Ｓ７１の処理を実行する。

重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者を対象にしたとＳ７８において判断すると、図４に示す音量式重要度判定処理を終了する。

図２に示すように、重要度判定部１５ｂは、Ｓ５５の音量式重要度判定処理の後、音声データにおける賛同用語の存在に基づいて用語の重要度を判定する賛同用語式重要度判定処理を実行する（Ｓ５６）。

図５は、賛同用語式重要度判定処理のフローチャートである。

図５に示すように、重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者のうち、今回の賛同用語式重要度判定処理において未だ対象にしていない１人の発声者のみを対象とする（Ｓ８１）。

次いで、重要度判定部１５ｂは、Ｓ５２において生成した文字データと、賛同用語データベース１４ｃとに基づいて、対象音声データにおいて現在の対象の発声者によって賛同用語が発声された時点を検索する（Ｓ８２）。ここで、重要度判定部１５ｂは、対象音声データにおける賛同用語の後端に対応する時点を、賛同用語が発声された時点として扱う。

次いで、重要度判定部１５ｂは、Ｓ８２における検索において現在の対象の発声者によって賛同用語が発声された時点が抽出されたか否かを判断する（Ｓ８３）。

重要度判定部１５ｂは、現在の対象の発声者によって賛同用語が発声された時点が抽出されたとＳ８３において判断すると、Ｓ８２における検索において抽出された時点のうち、今回の賛同用語式重要度判定処理において未だ対象にしていない１つの時点のみを対象とする（Ｓ８４）。

重要度判定部１５ｂは、Ｓ８４の処理の後、対象音声データにおいて現在の対象の時点を含む特定の期間を重要な期間として特定する（Ｓ８５）。ここで、現在の対象の時点を含む特定の期間とは、例えば、現在の対象の時点を基準として前の１０秒と、後ろの１０秒との合計２０秒間である。

重要度判定部１５ｂは、Ｓ８５の処理の後、Ｓ５３において抽出された用語のうち、対象音声データにおいてＳ８５において特定した期間に含まれる用語の重要度に特定の値を加算する（Ｓ８６）。ここで、重要度判定部１５ｂは、Ｓ８５において特定した期間に対象の用語が存在する回数に応じたポイントを対象の用語の重要度にＳ８６において加算する。また、重要度判定部１５ｂは、Ｓ８５において特定した期間に用語の後端が含まれる場合にのみ、Ｓ８５において特定した期間に、この用語が含まれるとＳ８６において判定する。

重要度判定部１５ｂは、Ｓ８６の処理の後、Ｓ８２における検索において抽出された全ての時点を今回の賛同用語式重要度判定処理において対象にしたか否かを判断する（Ｓ８７）。

重要度判定部１５ｂは、Ｓ８２における検索において抽出された少なくとも１つの時点を未だ対象にしていないとＳ８７において判断すると、Ｓ８４の処理を実行する。

重要度判定部１５ｂは、現在の対象の発声者によって賛同用語が発声された時点が抽出されなかったとＳ８３において判断するか、Ｓ８２における検索において抽出された全ての時点を対象にしたとＳ８７において判断すると、Ｓ５１において検出された全ての発声者を今回の賛同用語式重要度判定処理において対象にしたか否かを判断する（Ｓ８８）。

重要度判定部１５ｂは、Ｓ５１において検出された少なくとも１人の発声者を未だ対象にしていないとＳ８８において判断すると、Ｓ８１の処理を実行する。

重要度判定部１５ｂは、Ｓ５１において検出された全ての発声者を対象にしたとＳ８８において判断すると、図５に示す賛同用語式重要度判定処理を終了する。

図２に示すように、重要度判定部１５ｂは、Ｓ５６の賛同用語式重要度判定処理の後、Ｓ５４〜Ｓ５６の処理によって用語毎に判定された重要度を示す用語重要度情報を生成する（Ｓ５７）。

次いで、議事録生成部１５ａは、Ｓ５２において生成した文字データと、Ｓ５７において生成した用語重要度情報とを含む議事録データを生成する（Ｓ５８）。

次いで、議事録生成部１５ａは、Ｓ５８において生成した議事録データを記憶部１４に記憶して（Ｓ５９）、図２に示す動作を終了する。

次に、議事録を出力する場合の議事録生成システム１０の動作について説明する。

図６は、議事録を出力する場合の議事録生成システム１０の動作のフローチャートである。

利用者は、記憶部１４に記憶されているいずれかの議事録データを操作部１１を介して指定して、議事録生成システム１０に議事録の出力を操作部１１を介して指示することができる。議事録生成システム１０の用語出力部１５ｃは、議事録の出力が指示されると、図６に示す動作を実行する。

図６に示すように、用語出力部１５ｃは、議事録データの用語重要度情報に基づいて、特定の程度、すなわち、特定のポイント以上の重要度が付されている用語を抽出する（Ｓ９１）。

次いで、用語出力部１５ｃは、Ｓ９１において抽出した用語を強調した状態で、議事録データに含まれる文字データ、すなわち、議事録を表示部１２への表示によって出力して（Ｓ９２）、図６に示す動作を終了する。ここで、Ｓ９２における強調の方法としては、種々の方法を採用することが可能である。例えば、用語出力部１５ｃは、Ｓ９１において抽出した用語を、Ｓ９１において抽出していない用語より太字にしたり、Ｓ９１において抽出していない用語よりフォントサイズを大きくしたり、Ｓ９１において抽出していない用語とはフォントの種類を変えたりすることによって強調することができる。

議事録生成システム１０は、重要度が特定の程度以上である用語を強調した状態で議事録を出力する（Ｓ９２）ので、議事録における重要な用語を議事録上で利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。

なお、用語出力部１５ｃは、対象音声データに含まれる用語の出力方法として、図６に示す出力方法以外の方法を採用しても良い。例えば、用語出力部１５ｃは、対象音声データに含まれる用語の出力方法として、以下に説明する種々の方法を採用しても良い。用語出力部１５ｃは、対象音声データに含まれる用語の出力方法を、操作部１１を介した指示に応じて切り替えても良い。

例えば、用語出力部１５ｃは、対象音声データに含まれる用語の一覧を表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。なお、用語出力部１５ｃは、対象音声データに含まれる用語の全てではなく、対象音声データに含まれる用語の一部の一覧を表示しても良い。例えば、用語出力部１５ｃは、対象音声データに含まれる用語のうち、議事録データの用語重要度情報における重要度が１ポイント以上である用語の一覧を表示しても良い。用語出力部１５ｃは、議事録データの用語重要度情報における重要度の大きさ順に用語の一覧を表示部１２に表示しても良い。また、用語出力部１５ｃは、用語の一覧を表示部１２に表示する場合に、議事録データの用語重要度情報における重要度が特定の程度以上である用語を強調した状態で表示しても良い。ここで、強調の方法としては、種々の方法を採用することが可能である。例えば、用語出力部１５ｃは、議事録データの用語重要度情報における重要度が特定の程度以上である用語を、議事録データの用語重要度情報における重要度が特定の程度未満である用語より太字にしたり、議事録データの用語重要度情報における重要度が特定の程度未満である用語よりフォントサイズを大きくしたり、議事録データの用語重要度情報における重要度が特定の程度未満である用語とはフォントの種類を変えたりすることによって強調することができるし、議事録データの用語重要度情報における重要度が特定の程度以上である用語を、議事録データの用語重要度情報における重要度が特定の程度未満である用語より上位に配置することによって強調することができる。

議事録生成システム１０は、重要度の大きさ順に、または、重要度が特定の程度以上である用語を強調した状態で、用語の一覧を出力する場合、議事録における重要な用語を用語の一覧上で利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。

例えば、用語出力部１５ｃは、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸とのうち、いずれか２軸によって構成される２次元空間上に用語を配置した２次元マップを表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。例えば、用語出力部１５ｃは、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸とのうち、利用者によって選択された２軸によって構成される２次元空間上に用語を配置した２次元マップを表示部１２に表示しても良い。

ここで、音声データにおける音声の音調の変化に基づいた値としては、例えば、音調式重要度判定処理において用語毎に加算した重要度や、音調式重要度判定処理において重要度を加算した要因になった発声者の、用語毎の人数が採用されることができる。音声データにおける音声の音量の変化に基づいた値としては、例えば、音量式重要度判定処理において用語毎に加算した重要度や、音量式重要度判定処理において重要度を加算した要因になった発声者の、用語毎の人数が採用されることができる。音声データにおける賛同用語の存在に基づいた値としては、例えば、賛同用語式重要度判定処理において用語毎に加算した重要度や、賛同用語式重要度判定処理において重要度を加算した要因になった発声者の、用語毎の人数が採用されることができる。

なお、用語出力部１５ｃは、対象音声データに含まれる用語の全てではなく、対象音声データに含まれる用語の一部を２次元マップ上に表示しても良い。例えば、用語出力部１５ｃは、対象音声データに含まれる用語のうち、議事録データの用語重要度情報における重要度が特定の程度以上である用語のみを２次元マップ上に表示しても良い。

図７は、音声データにおける音声の音調の変化に基づいた値として、音調式重要度判定処理において用語毎に加算した重要度を示す軸と、音声データにおける賛同用語の存在に基づいた値として、賛同用語式重要度判定処理において用語毎に加算した重要度を示す軸との２軸によって構成される２次元空間上に用語を配置した２次元マップ２０の一例である。２次元マップ２０には、用語２１〜２５が配置されている。例えば、２次元マップ２０において、用語２１は、音調が高くなった時点を含む特定の期間に発声されていることと、賛同用語が発声された時点を含む特定の期間に発声されていることとの両方が多く、非常に重要な用語である可能性が高い。また、２次元マップ２０において、用語２２は、賛同用語が発声された時点を含む特定の期間に発声されていることが多いが、音調が高くなった時点を含む特定の期間に発声されていることが少ないので、用語２１よりは重要ではない可能性が高い。また、２次元マップ２０において、用語２４は、音調が高くなった時点を含む特定の期間に発声されていることが多いが、賛同用語が発声された時点を含む特定の期間に発声されていることが少ないので、用語２１よりは重要ではない可能性が高い。また、２次元マップ２０において、用語２５は、音調が高くなった時点を含む特定の期間に発声されていることと、賛同用語が発声された時点を含む特定の期間に発声されていることとの両方が少なく、用語２１〜２４よりは重要ではない可能性が高い。

なお、用語出力部１５ｃは、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸との３軸によって構成される３次元空間上に用語を配置した３次元マップを表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。

議事録生成システム１０は、音声データにおける音声の音調の変化に基づいた値を示す軸と、音声データにおける音声の音量の変化に基づいた値を示す軸と、音声データにおける賛同用語の存在に基づいた値を示す軸とのうち、少なくとも２軸によって構成される空間上に、重要度が特定の程度以上である用語を配置したマップを出力する場合、このマップ上で、議事録における重要な用語の重要度の詳細な内容を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。

例えば、用語出力部１５ｃは、用語同士の相互の関係を示す相互関係図を表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。なお、用語出力部１５ｃは、対象音声データに含まれる用語の全てではなく、対象音声データに含まれる用語の一部を相互関係図上に表示しても良い。例えば、用語出力部１５ｃは、対象音声データに含まれる用語のうち、議事録データの用語重要度情報における重要度が特定の程度以上である用語のみを相互関係図上に表示しても良い。

図８は、用語同士の相互の関係を示す相互関係図３０の一例である。相互関係図３０には、用語３１〜３６が配置されている。相互関係図３０において、Ｓ６６、Ｓ７６またはＳ８６において同一の特定の期間に含まれていた用語同士は、相互に関係があることを示す矢印３７ａ〜矢印３７ｇによって接続されている。矢印３７ａ〜矢印３７ｇは、Ｓ６６、Ｓ７６またはＳ８６において同一の特定の期間に含まれていた回数が多いほど、太く表示される。また、用語３１〜３６は、議事録データの用語重要度情報において付されている重要度が大きいほど、大きく表示される。

議事録生成システム１０は、重要度が特定の程度以上である用語同士の相互の関係を示す相互関係図を出力する場合、この相互関係図上で、議事録における重要な用語同士の相互の関係を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。

例えば、用語出力部１５ｃは、議事録データの用語重要度情報における重要度が特定の程度以上である用語が含まれるフレーズを、議事録データに含まれる文字データから抽出して表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。また、用語出力部１５ｃは、議事録データの用語重要度情報における重要度が特定の程度以上である用語が含まれる文を、議事録データに含まれる文字データから抽出して表示部１２に表示することによって、対象音声データに含まれる用語を出力しても良い。

議事録生成システム１０は、重要度が特定の程度以上である用語が含まれるフレーズまたは文を、議事録データに含まれる文字データ、すなわち、議事録から抽出して出力する場合、議事録における重要なフレーズまたは文を利用者に容易に理解させることができるので、議事録における重要な内容を利用者に容易に理解させることができる。

以上に説明したように、議事録生成システム１０は、音声データにおける音声の音調の変化と、音声データにおける音声の音量の変化と、音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて音声データにおける重要な期間を特定し（Ｓ６５、Ｓ７５またはＳ８５）、重要な期間に含まれる用語の重要度を、重要な期間に含まれない用語の重要度より高く判定し（Ｓ６６、Ｓ７６またはＳ８６）、重要度に基づいた出力内容で用語を出力する（Ｓ９２）ので、議事録における重要な用語を利用者に容易に理解させることができ、その結果、議事録における重要な内容を利用者に容易に理解させることができる。

議事録生成システム１０は、上述のＳ５１において、音声特徴情報１４ｄを利用して対象音声データに対して音声認識を実行することによって、対象音声データに含まれる音声の発声者を全て検出する。しかしながら、議事録生成システム１０は、Ｓ５１において、音声特徴情報１４ｄを利用せずに対象音声データに対して音声認識を実行することによって、対象音声データに含まれる音声の発声者を全て検出しても良い。議事録生成システム１０は、音声特徴情報１４ｄを利用せずに対象音声データに対して音声認識を実行する場合、対象音声データに含まれる音声の発声者を音声特徴情報１４ｄに登録されている特定の人物として識別することはできないが、対象音声データに複数の発声者の音声が含まれるときに、対象音声データに含まれる音声の発声者同士を識別することは可能である。

議事録生成システム１０は、上述のＳ６６、Ｓ７６およびＳ８６において、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に対象の用語が存在する回数に応じたポイントを対象の用語の重要度に加算する。しかしながら、議事録生成システム１０は、Ｓ６６、Ｓ７６およびＳ８６において、上述の方法以外の方法によってポイントを対象の用語の重要度に加算しても良い。例えば、議事録生成システム１０は、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に対象の用語が存在する回数にかかわらず、Ｓ６６、Ｓ７６およびＳ８６において１ポイントのみを対象の用語の重要度に加算しても良い。

議事録生成システム１０は、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に用語の後端が含まれる場合にのみ、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に、この用語が含まれると、上述のＳ６６、Ｓ７６およびＳ８６において判定する。しかしながら、議事録生成システム１０は、Ｓ６６、Ｓ７６およびＳ８６において、上述の方法以外の方法によって、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に、この用語が含まれると判定しても良い。例えば、議事録生成システム１０は、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に用語の少なくとも一部が含まれる場合に、Ｓ６５、Ｓ７５またはＳ８５において特定した期間に、この用語が含まれると、Ｓ６６、Ｓ７６およびＳ８６において判定しても良い。

議事録生成システム１０は、上述のＳ８２において、対象音声データにおける賛同用語の後端に対応する時点を、賛同用語が発声された時点として扱う。しかしながら、議事録生成システム１０は、Ｓ８２において、対象音声データにおける賛同用語の後端に対応する時点以外の時点を、賛同用語が発声された時点として扱っても良い。例えば、議事録生成システム１０は、Ｓ８２において、対象音声データにおける賛同用語の前端に対応する時点を、賛同用語が発声された時点として扱っても良い。

議事録生成システム１０は、本実施の形態において、議事録や用語の出力方法として、表示を採用している。しかしながら、議事録生成システム１０は、表示以外の方法によって議事録や用語を出力しても良い。例えば、議事録生成システム１０は、印刷によって議事録や用語を出力しても良い。

議事録生成システム１０は、本実施の形態において、１台のコンピューターによって構成されている。しかしながら、議事録生成システム１０は、複数台のコンピューターによって構成されても良い。

１０議事録生成システム（コンピューター）
１４ａ議事録生成プログラム
１５ａ議事録生成部
１５ｂ重要度判定部
１５ｃ用語出力部
２０２次元マップ（マップ）
２１〜２５用語
３０相互関係図
３１〜３６用語
３７ａ〜３７ｇ矢印（用語同士の相互の関係を示す矢印）

Claims

音声データから音声認識によって文字データとしての議事録を生成する議事録生成部と、
前記議事録に含まれる用語の重要度を判定する重要度判定部と、
前記重要度に基づいた出力内容で前記用語を出力する用語出力部と
を備え、
前記重要度判定部は、前記音声データにおける音声の音調の変化と、前記音声データにおける音声の音量の変化と、前記音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて前記音声データにおける重要な期間を特定し、前記重要な期間に含まれる前記用語の前記重要度を、前記重要な期間に含まれない前記用語の前記重要度より高く判定することを特徴とする議事録生成システム。
前記用語出力部は、前記重要度が特定の程度以上である前記用語を強調した状態で前記議事録を出力することを特徴とする請求項１に記載の議事録生成システム。
前記用語出力部は、前記重要度の大きさ順に、または、前記重要度が特定の程度以上である前記用語を強調した状態で、前記用語の一覧を出力することを特徴とする請求項１に記載の議事録生成システム。
前記用語出力部は、前記音声データにおける音声の音調の変化に基づいた値を示す軸と、前記音声データにおける音声の音量の変化に基づいた値を示す軸と、前記音声データにおける前記賛同用語の存在に基づいた値を示す軸とのうち、少なくとも２軸によって構成される空間上に、前記重要度が特定の程度以上である前記用語を配置したマップを出力することを特徴とする請求項１に記載の議事録生成システム。
前記用語出力部は、前記重要度が特定の程度以上である前記用語同士の相互の関係を示す相互関係図を出力し、
前記相互関係図は、前記音声データにおいて同一の前記重要な期間に含まれる前記用語同士が相互に関係があることを示すことを特徴とする請求項１に記載の議事録生成システム。
前記用語出力部は、前記重要度が特定の程度以上である前記用語が含まれるフレーズまたは文を前記議事録から抽出して出力することを特徴とする請求項１に記載の議事録生成システム。
音声データから音声認識によって文字データとしての議事録を生成する議事録生成部と、
前記議事録に含まれる用語の重要度を判定する重要度判定部と、
前記重要度に基づいた出力内容で前記用語を出力する用語出力部と
をコンピューターに実現させ、
前記重要度判定部は、前記音声データにおける音声の音調の変化と、前記音声データにおける音声の音量の変化と、前記音声データにおける賛同を示す賛同用語の存在との少なくとも１つに基づいて前記音声データにおける重要な期間を特定し、前記重要な期間に含まれる前記用語の前記重要度を、前記重要な期間に含まれない前記用語の前記重要度より高く判定することを特徴とする議事録生成プログラム。