JP2014085998A - 電子ノート作成支援装置および電子ノート作成支援装置用プログラム - Google Patents

Abstract

【課題】受講者・会議参加者であるユーザが授業や会議の内容を把握しながら、適切なノート・記録を素早くとることは困難であるという問題があった。
【解決手段】電子ノート作成閲覧端末と、音声データを取得する音声入力手段と、前記音声データから音声認識により文字データを生成する音声認識手段と、前記文字データに含まれる語句が、登録語句データベースに登録された語句であるかどうかを検出する登録語句検出手段と、前記登録語句を検出した場合に、あらかじめ決められた処理を行う制御手段と、を備えたことを特徴とする電子ノート作成支援装置を提供する。
【選択図】図１

Description

本発明は、教育機関の授業・講演会・会議等において、受講者・会議参加者がノート・記録を取る際に用いる電子ノート作成支援装置に関し、特に音声認識による文字データを処理する電子ノート作成支援装置に関する。

従来、高校や大学等の授業では、一般的な黒板を用いた授業や、マイクロソフト社製プレゼンテーションソフトウェア「パワーポイント」（登録商標）等のスライドソフトウェアを用いた授業が行われている。しかしながら、授業に参加している受講者にとって、黒板を用いる授業では黒板の文字をノートに書き写すのに時間がとられ講師の話をきちんと聞けないという問題や、スライドを用いた授業は授業の展開が速すぎてついていけないといった問題があった。

このような問題を解決するために、例えば特許文献1には、講師が黒板やスライドで行なっている授業の様子を録画した講演ビデオからコンテンツを自動的に生成する装置が開示されている。ビデオ画像を加工してスクリーン領域と講師領域とに分けて切り出すなどの処理が記載されているが、音声データについての処理は特に記載されてはいない。

一方、特許文献２には、議事録を作成するシステムが開示されており、音声データから文字データを抽出・解析し、シーン毎のコンテンツに貼り付けることが記載されている。

また、特許文献３には、手書き文字入力表示支援装置が開示されており、音声認識結果を使って入力している手書き文字を予測し、予測候補をなぞると文字全体を書き込む必要なく文字が入力できる装置が記載されている。

特開２０１１−４０９２１ 特開２０１２−４３０４６ 特開２００７−１８２９０

しかしながら、特許文献1では、音声データから文字データへの変換はなされていない。特許文献２では、音声データから文字データに変換し、加工した文字データを記録するのみで、記録する文字データを選択することや、語句そのものの重要度や属性に応じてなんらかの処理を行うものではない。特許文献３においても正しい語句を予測するのみで、語句そのものの重要度や属性に応じてなんらかの処理を行うものではない。従って、多くの語句の中から重要な語句やある属性を有する語句を抽出しなんらかの処理を行うことはいずれの従来技術にも開示はなく、受講者・会議参加者であるユーザが授業や会議の内容を把握しながら、適切なノート・記録を素早くとることは困難であるという問題があった。

本発明による電子ノート作成支援装置は、電子ノート作成閲覧端末と、音声データを取得する音声入力手段と、前記音声データから音声認識により文字データを生成する音声認識手段と、前記文字データに含まれる語句が登録語句データベースに登録された語句であるかどうかを検出する登録語句検出手段と、前記登録語句を検出した場合にあらかじめ決められた処理を行う制御手段とを備えたことを特徴とする。

また、本発明による電子ノート作成支援装置プログラムは、取得した音声データから音声認識により生成した文字データに含まれる語句と登録語句データベースに登録された語句とを比較し検出する手順と、前記登録語句を検出した場合にあらかじめ決められた処理を行う手順とを備えたことを特徴とする。

また、本発明による電子ノート作成支援装置プログラムは、画面獲得手段により生成された静止画データをキャプチャ画像編集部に送る手順と、登録語句が検出された場合、あらかじめ決められた処理を行う手順と、音声データから音声認識により生成された文字データに含まれる語句が表示された語句候補表示部で選択された語句を前記キャプチャ画像編集部に送る手順と、前記静止画データに文字列データや図形データを合成する手順とを備えたことを特徴とする。

本発明によれば、多くの語句の中から重要な語句やある属性を有する語句を抽出し適切な処理を行うことができ、受講者・会議参加者であるユーザが授業や会議の内容を把握しながら、適切なノート・記録を素早く取ることができるという効果がある。

本発明の第一の実施例による電子ノート作成支援装置の構成を示す図である。 本発明の第二の実施例による電子ノート作成支援装置の簡単な概要を示す図である。 本発明の第二の実施例による電子ノート作成支援装置の構成を示す図である。 本発明の第二の実施例により登録語句を検出するプログラムの手順を説明する図である。 本発明の第二の実施例により画面表示等を制御するプログラムの手順を説明する図である。 本発明の第二の実施例による電子ノート作成閲覧端末の表示部分を説明するための図である。 本発明の第二の実施例による電子ノート作成閲覧端末で電子ノートを閲覧するときの俯瞰表示画面を説明するための図である。 本発明の第二の実施例による電子ノート作成支援装置を用いた授業の概要を示す図である。 本発明の第三の実施例による電子ノート作成支援装置を用いた授業の概要を示す図である。 本発明の第三の実施例による電子ノート作成支援装置の構成を示す図である。

以下に本発明の実施例について図面を参照しながら詳細に説明する。

図１は本発明による第一の実施例による電子ノート作成支援装置の構成を示す図である。電子ノート作成閲覧端末1は、ユーザが授業を受ける際に手元において入出力を行う端末である。ノートパソコンやタブレットパソコン、携帯端末などを利用しても構わない。画像や文字を表示する表示機構と、文字データや図形データなどが入力できる入力機構を備えている。表示機構は液晶パネル、入力機構はタッチパネルである。表示機構は他のディスプレイデバイスであっても構わないし、入力機構はマウス、ジョイスティック、キーボードなどによるものであっても構わない。

音声入力手段２は通常のマイクロフォンであり、講師が発声した言葉である音声を音声データに変換する。電子ノート作成閲覧端末1とは無線あるいは有線により接続され、音声データを電子ノート作成閲覧端末1に送信する。

電子ノート作成閲覧端末1に内蔵されている音声認識手段３は、音声入力手段２から音声データを受信し、音声認識により文字データに変換する。

変換された文字データは、音声認識結果表示手段４により、単語レベルに分けて語句候補表示部５に表示される。ここで語句候補表示部５は、表示機能を有する構成要素であるとともに電子ノート作成閲覧端末1における表示画面の表示領域をも示していて、タッチパネルにおける入力領域でもある。語句候補表示部５は、この入力機能を利用して表示された語句の中からユーザが選択した電子ノートとして記録すべき語句の情報を、制御手段６に送信する。

一方、文字データは登録語句検出手段７にも送信され、単語レベルに分けて登録語句データベース８に登録されている語句と照合することにより、登録語句の検出が行われる。

登録語句はいくつかのグループに分類されている。あるいは属性を保有していると考えても良い。検出された登録語句は、そのグループあるいは属性に従い、あらかじめ定められた処理を行うように設定さている。つまり、登録語句検出手段７に処理内容を登録しておき直接に処理を行うか、あるいは処理情報を制御手段６に送付し制御手段６から処理を行うようにしてもよい。また、登録語句検出手段７が登録語句とグループの情報を制御手段６に送信し、制御手段６にあらかじめ内蔵された命令に従い定められた処理を行うようにしてもよい。

本実施例では、登録語句は重要語とトリガー語というグループに分類されている。重要語は、それ自体が重要な意味を持つ語句であり、授業や会議などにおいてキーワードとなるような語句である。専門用語や固有名詞、あるいは数値を示す単語である場合もある。トリガー語は、それ自体は重要な意味を持たないが、近傍に発言される語句が重要な意味をもつ可能性の高い語句、あるいは注意を促すような語句である。例えば、授業では「重要です」、「試験に出ます」、会議では「繰り返します」、「問題点」などである。

本実施例では、重要語が検出された場合、音声認識結果表示手段４にその情報が送られ、語句候補表示部５における重要語の表示を、他の語句の表示とは異なるようにする。具体的には他の語句は黒い文字で表示するのに対し、重要語は赤い文字で表示する。あるいは、重要語の背景をハイライトにしたり、文字を点滅させたり、矢印などの特別な図形を表示して重要語を示すというようなことでもよい。

一方、トリガー語が検出された場合、その情報は制御手段６に送られる。制御手段６は振動素子９に信号を送り、電子ノート作成閲覧端末1を振動させることにより、ユーザに注意を喚起する。つまりユーザに注意喚起信号である振動を送信する。あるいは制御手段６から電子ノート作成閲覧端末1の表示画面の色調を、例えば警告を示す赤色に変えることでもよく、振動と色調の変更の両方の処理を行ってもよい。端末がスピーカを備えている場合には警告音を発することでもよいし、電子ノート作成閲覧端末1を保持している手や指に感知できる程度の少量の電流を流すようなことでもよい。

授業や会議で使われる黒板やホワイトボード、プレゼン用のスクリーン、あるいは立体的なディスプレイや具体的な物品のサンプル、さらには講師自体のジェスチャーなど、視覚に訴える媒体での説明がなされる場合には、ビデオ撮影手段１０により、映像データとして情報を取込む。通常、映像データは動きを伴う動画として取込まれるが、画像獲得手段１１により、複数の静止画データに変換し制御手段６に送られる。静止画データを獲得する頻度は問わないが、授業や会議の内容に応じて区分できるまとまりのあるシーンごとに獲得することが望ましい。

また、手動入力データとして、キーボード入力手段１２が備えられている場合にはキーボード入力による文字列データ、手書き入力手段１３が備えられている場合には手書き入力による図形データが入力され、制御手段６に送られる。あるいは手動入力データは手書き図形から認識した文字列データでもよい。また電子ノート作成閲覧端末1が記憶している他の文字列データ、図形データを呼び出しても良いし、ネットワーク環境が整っている場合には、インターネット経由で他のサーバなどから読み出したデータでもよい。

制御手段６では、静止画データ、語句候補の中から選択された語句の情報、手動入力データ、あるいは登録語句を検出した場合に表示画面上で処理する場合の情報などを総合して、キャプチャ画像編集部１４に送付する。ここでキャプチャ画像編集部１４は、語句候補表示部５と同様に、表示機能を有する構成要素であるとともに、電子ノート作成閲覧端末1における表示画面の表示領域をも示し、タッチパネルにおける入力領域でもある。ユーザからの入力に応じて、静止画データを切り替えたり、選択された語句の配置を調整したり、手動入力データを配置したり、アレンジしたりすることができる。

このような過程を経てキャプチャ画像編集部１４で作成した静止画データをノート保存手段１５により、電子ノート１６として記録する。電子ノート１６は単なる静止画データではなく、静止画データの集積であり、順序やタイムスタンプなどの属性を付与され、また、画像データに記録された各種データの属性を保持したものであってもよい。また、URLなどインターネット上でのリンク情報を付与されたものであっても良い。また、動画としての画像データや、音声データそのものを記録する手段を有している場合はそれらを付与されたデータであっても良い。

保存された電子ノート１６は必要に応じて、電子ノート作成閲覧端末1上に読み出すこともできるし、他のPCや携帯端末などで閲覧することも可能であり、また再度編集を行い、修正できるようなデータであることが望ましい。

以下に本発明の第二の実施例について図面を参照しながら詳細に説明する。

図２は本発明による第二の実施例による電子ノート作成支援装置の構成の簡単な概要を示す図である。黒板やスライド投影によってプレゼンテーションされている授業・講演を、ビデオ撮影手段１０ならびに音声入力手段２を通じて映像データおよび音声データを音声・映像処理計算機１７が獲得する。音声・映像処理計算機１７では獲得した映像データをビデオ録画手段１８により保存するとともに、ビデオデータから静止画データを作成し、静止画像撮影手段９により保存する。さらに，音声データは音声認識手段３によって自動的に文字データである単語列に変換する。ノート作成者が使用する電子ノート作成・閲覧端末１には，通信手段を介して得られる単語列や撮影した静止画データが表示されている。ノート作成者は音声認識された単語列から手書き文字入力手段２０を用いてノートに記録する単語を選択しそれを画像データ上に自由に配置できる。また、単語列に含まれる単語は登録語句検出手段７により登録語句データベース内の語句と比較検出され、検出された場合には文字の色を変えるなど、あらかじめ決められた処理を行う。これらの処理は制御手段６により行われる。これらによりノート作成者の負担が軽減し、講義・講演に集中することができる。

図３は、図２の概要図において、処理とデータの流れを含め、さらに詳細な構成を示す図である。電子ノート作成支援装置は，大きく２つの部分から成る。すなわち、映像・音声処理計算機（以下、サーバと称す）１７と電子ノート作成・閲覧操作を行う電子ノート作成閲覧端末（以下、ユーザ端末と称す）１である。サーバは特にオペレーティングシステム（OS）は限定されない。またユーザ端末においても、特にOSを限定しない。なお、本発明は、黒板を使ったプレゼンテーションやスクリーンへパソコン画面を投影するスタイルのプレゼンテーション双方に対応できるように２つの装置に分けられているが、この形に限定されない。すなわち、将来電子黒板が普及した際には電子黒板に表示されている内容がユーザ端末側に表示させることは容易であることから、サーバは不要となる。

音声入力手段２には、ワイヤレス（ワイヤード）マイクロフォンを利用する。入力された音声は、音声認識手段３によって音声認識が為され、音声は文字データである単語列に変換される。変換された単語列は音声認識結果記録手段２１を通して一旦サーバに文字データ２２として保存される。入力された音声は音声認識と同時に録音手段２３によって音声波形である音声データ２４としてサーバに保存される。音声認識手段３は、既に様々な手法が提案されているが、本発明では一つの手法に限定しない。

ビデオ撮影手段１０には，サーバと接続可能なビデオカメラを利用する。ビデオ撮影手段１０により得られた映像データは、ビデオ録画手段１８によってビデオデータ２５として保存しておく。音声データとビデオデータは、ユーザ端末に転送することが可能である。静止画像撮影手段１９は、設定した時間毎に（例えば５秒おき，１分おき等）映像データから静止画データに変換し、これを静止画データ２６として保存しておく。ユーザ端末利用者が静止画像を要求した際には、静止画データはユーザ端末へ転送される。

サーバとユーザ端末は通信手段によって構築されたネットワークに接続されている。通信手段は、無線LAN等の一般的な技術等であり、無線や有線の種類は問わない。

サーバに保存された音声認識手段３により得られた単語列は、ネットワークを通して即座にユーザ端末の登録語句検出手段７と音声認識結果表示手段４に送信される。登録語句検出手段７は、音声認識手段によって得られた単語列にあらかじめ登録された語句が含まれているか否かを比較する処理を行なう。

図４により、登録語句検出手段７におけるプログラムの処理の流れを説明する。まず、音声認識手段３によって得られた文字データである単語列を取得（ｓｔｅｐ１）する。次に、登録語句データベースに登録してある語句と単語列とを比較（ｓｔｅｐ２）する。登録語句データベースは、トリガー語リストと重要語リストから構成されている。重要語、トリガー語については先に述べたとおりである。比較方法は多種な方法があるため本発明はその方法については一意に限定しない。もし、トリガー語リストに登録されている語と比較が成功した場合は、それを制御手段6に通知し、ユーザに対し注意喚起信号を創出（ｓｔｅｐ３）する。具体的には、ユーザ端末の表示画面の色調を変えたり、端末を振動させたりする。また、重要語リストに登録されている語と比較が成功した場合は、それを音声認識結果表示手段４に通知し、重要語を他の語句の表示とは異なる表示にする（ｓｔｅｐ４）。具体的には、文字の色を変えたり、点滅させたりといった処理をする。

登録語句データベースに登録する語句については、予めプレゼンテーションを行なう人間が設定しておき、ユーザ端末利用者がそれをダウンロードすることもできるし、ユーザ端末利用者自身がそれを登録することも可能である。また、同じ種類の授業や会議の電子ノートの記録から、言語解析を行うことにより、抽出したものでも構わない。

一方、図3の音声認識結果表示手段４は、受信した音声認識結果である文字データの中からユーザ端末に表示させる語を選別する。音声認識手段３で得られた全ての単語列をユーザ端末に表示させると端末利用者が不便を被ることが考えられるため、例えば、表示させる品詞の種類を限定するなどして、必要最低限の音声認識結果を選別し語句候補表示部５に送り、表示する。先に述べたように、もし、登録語句検出手段７によって、重要語リストに登録されている語が検出された場合、利用者に重要語が含まれていることを通知する。

ユーザが、語句候補表示部５に表示された単語を、音声認識語句獲得手段２７を通じて、選択すると、選択された単語が制御手段６に送られ、結果としてノートとして記録することができる。音声認識語句獲得手段２７は、タッチパネル画面上に表示された単語を利用者が自身の指、あるいはタッチペンで触ることで、単語選択を提供する。

画像獲得手段１１は、ユーザ端末のタッチパネル上に表示されている画像取得ボタンを選択することで、サーバ上の静止画像データを画面表示制御手段に転送する。

キーボード入力手段１２は、ユーザ端末に物理的あるいはソフトウェアで実現されているキーボードによって実現される。キーボード入力手段１２によって入力された文字情報は、制御手段６に転送される。

手書き入力手段１３は、ユーザがタッチパネル上に手書き文字入力を行った際に、筆圧軌跡を画像データ化し、それを制御手段６に転送する。

しおり実行手段２８は、本にしおりをはさみ、後から閲覧しやすいようにする動作と同様に、キャプチャ画面編集部１４に表示されているページに電子的なしおりを挟みこむ。電子的なしおりが挟み込まれたことが利用者に分かるように画面の色を変えたり、印をつけたりする。

制御手段６は，画像獲得手段１１、音声認識語句獲得手段２７、キーボード入力手段１２、手書き文字入力手段１３それぞれから得られた情報を、キャプチャ画像編集部１４上の適切な位置へ配置する。この時、各獲得・入力手段によって入力された情報には時間タグを付与しておく。この時間タグは、ビデオデータ２５ならびに音声データ２４と完全に同期がとられており、これを用いることで画像・音声の頭出しに利用することが可能となる。

図５により、制御手段６の処理プログラムの流れを説明する。制御手段６は、画像獲得手段１１によって画像獲得が行われたときには、静止画データをキャプチャ画像編集部上に送付し表示する（ｓｔｅｐ５）。登録語句検出手段７によって重要語やトリガー語が検出された場合には、あらかじめ決められた処理、つまり重要語の表示色を変えたり、ユーザに注意喚起信号を送信したりする（ｓｔｅｐ６）。音声認識語句獲得手段２７により、音声認識語句獲得がなされた場合には、選択された語句を制御手段６に送付する（ｓｔｅｐ７）。キーボード入力手段１２や手書き入力手段１３により、手書きによる文字・図形やキーボード入力に対応した文字が入力された場合には、入力されたデータをキャプチャ画像編集部１４上に送付し表示する。しおり実効手段２８により、しおりが挟まれた場合には、ページにしおりが挟まれたことを記録する（ｓｔｅｐ９）。ユーザは、これらの処理が行われることにより、電子データのページを自由に編集することができる。

図３のページ破棄手段２９は、ユーザが現在作成しているキャプチャ画像編集部１４上の情報を削除する操作を行なうことで、キャプチャ画像編集部１４の情報をすべてクリアする。ノート保存手段１５は、現在表示されているページ、もしくはノート全体を電子データである電子ノート１６として保存する。また、サーバに録音・録画された音声・ビデオデータをユーザ端末にダウンロードする。

保存された電子ノート１６のデータは、利用者が許可すればサーバに送られる。これによって、同じ授業や会議に参加している利用者同士の電子ノートを共有することができる。サーバ上の電子ノート共有化手段３０は、複数の利用者が作成した電子ノートに含まれる手書き文字、キャプチャ画像、ならびに音声認識語句獲得手段２７により取得した単語情報を融合し、１つの電子ノートを作成することができる。さらに、ウェブブラウザと親和性の高い形式（例えばXML形式）に変換することにより、ウェブサーバを介して、授業や会議の様子をコンテンツ化し、（一般・限定）公開することも可能な公開用電子ノート３１となる。この点からは、本発明は人出によるコンテンツ作成支援装置とも言える。

ノート読込み手段３２は、過去に保存された電子ノート１６のデータ、あるいは他のユーザ端末で作成されたサーバ上にある電子ノート１６を、ユーザ端末１上のノート共有手段３３を通して読み込む。読込まれた電子データは、制御手段６を通して、キャプチャ画像編集部１４上に表示される。

音声データ検索手段３４は、例えば、発明者が既に開発した音声中の検索語検出アルゴリズム（非特許文献５）などを利用して実現する。なお、本手段は、非特許文献５の技術に限定されるものではない。非特許文献５に開示した技術では、まず複数の音声認識手段によって、複数のパターンの音声認識結果を得る。音声認識結果は単語列に限らず、単語の音節あるいは音素表現である。次に複数の音声認識手段によって得られた複数パターンの単語列・音素列・音節列を動的計画法によって統合し、これを音声データ検索手段向けのインデックスとする。こうして作られたインデックスは、電子ノートのページ毎に対応が付けられている。このインデックスに対して、人間の検索要求（検索したい語句を入力する）があった際、インデックスと入力された語句との間の類似度を別の動的計画法を用いて計算し、類似性が高い音声が含まれるページを出力する。

ノート検索手段３５は、あるキーワード（文字列）が与えられたとき、ノート保存手段１６によって保存されている電子ノート１６の内にある同じ文字列を検索する。キーワードが電子ノート内に見つかった場合、それが含まれているページを出力する。俯瞰表示手段３６は、作成されたノートの各ページの画像をサムネイルで表示する。ノート共有手段は，他人の端末で作成されたノートの電子データをダウンロードする。

図６により、電子ノートを作成するユーザ端末上の表示レイアウトを説明する。画像のキャプチャを要求する画像取得ボタン、作成したページを破棄するページ破棄ボタン、新規ページを作成するボタン、作成したノート（ページの集合）を保存するノート保存ボタン、等が備わっている。この図では授業の一形態として黒板を用いた一般的な例を図示しているが、スライド投影タイプの授業でも差し支えなく利用できることは先に述べた通りである。表示部は、主にキャプチャ画像編集部１４と語句候補表示部５の２画面から構成される。キャプチャ画像編集部１４にはキャプチャされた静止画が貼り付けられる。キャプチャ画像編集部１４に獲得された静止画上もしくは余白部分に、自由に手書き文字や図形を書き込むことができる。

また、音声認識結果から音声認識結果表示手段４によって選別された単語列が語句候補表示部５に表示され、ユーザが所望の単語列を選択することで、選択された単語列をキャプチャ画像編集部１４に配置することもできる。キャプチャ画像編集部１４に表示されている情報が1ページであり、ノートは単数または複数のページから構成されている。もし、音声認識結果に登録語句（重要語またはトリガー語）が含まれていた場合には、その存在をユーザに注意喚起する機能も備え持つ。

図７により、ノートを閲覧するときの俯瞰表示画面を説明する。ノートの各ページがサムネイルで一覧表示されている。特定のサムネイルをタッチすることで、そのページが図６のようなレイアウトで表示される。トリガー語が検出されたページや電子的なしおりが挟み込まれたページには、それが一見で分かるようなしくみ（例えば色を変える・印をつける）を用いて利用者に知らせる。

本発明により、黒板の板書やスクリーンに投影されたスライド情報を、リアルタイムで利用者の端末に取り込むことができる。その結果、取り込んだ情報を利用することで、従来の紙のノートと同等の情報を有した電子ノートを、より少ない労力で作成することができる。

また、本発明は、音声の録音ならびに、それを音声認識して文字列化する機能を有しているので、講師等が発話した音声が正しく文字列に変換された場合は、手書き作業の代わりに、文字列を選択する操作（通常はワンタッチ操作）のみで情報の追加が可能であり、そのためさらに少ない労力でノートを作成することができる。

さらに、本発明は、講師等が発話した重要なキーワード、フレーズ（例えば「これは試験に出しますよ」や「ここが今回のポイントです」）を自動的に検知し、ユーザに知らせる機能を有している。その結果、ユーザの聞き逃しを防ぎ、学習効果を高めることができる。

また、しおり機能を備えていることで、利用者自らが重要なページに印を付けることができ、後から電子ノートを効率的に見直すことができる。

加えて、本発明は、本発明により提供される機能を用いて作成した電子ノート情報を、他人と共有する機能を有している。その結果、共有したユーザ同士で情報の記録漏れなどを知ることができ、学習効果を高めることができる。

また、プレゼンテーションを行った講師なども、利用者が作成したノートを閲覧することで、利用者の理解度を把握することが可能となる。例えば、ノート上の「わからない」「？」のような文字列、記号を手がかりに、講師が受講者の理解度を把握することが可能であり、フィードバックが容易となる。

従来のコンテンツ生成型（e-Learning支援）発明とは異なり、授業等に参加しているユーザが主体となってコンテンツを作り上げることで、受け身の学習から能動的な学習が可能となり、学習効果を高めることができる。

もちろん、従来のe-Learning支援関連の発明と同様に、作成されたノート（コンテンツ）は、復習に利用できる。もちろん電子ノートのデータ形式をウェブブラウザとの親和性が高い形式（例えばXML形式）にすることで、ウェブを介して（一般・限定）公開することも可能となる。これまでに自動でプレゼンテーションをコンテンツ化する既存の発明とは異なり、人間がコンテンツ作成に介入することで、より分かりやすい、意味のあるコンテンツを作成・公開することが可能となる。

図８は、教育機関の授業において、本発明が利用されている例を示している。
黒板やスライド投影による授業の様子をキャプチャ用カメラによって撮影し、同時に教員に装着されたマイクから取得した音声をサーバに送る。サーバではビデオの録画・静止画の保存が行われ、同時に取得した音声の音声認識を行なう。本例では、ビデオカメラはサーバに直接接続されている。教員に装着されるマイクは、教員が自由に教室内を歩き回れるようワイヤレスマイクが望ましいが、有線マイクでも構わない。ワイヤレスマイクの場合は、サーバに受信機が接続され、それを介して音声がサーバに送信される。

本例では、サーバと受講者が利用している電子ノート作成端末は、無線ＬＡＮルータを介してローカルな同一のネットワーク上に配置されている。そのため、サーバと無線ルータはＴＣＰ／ＩＰ通信などの既存の通信プロトコルによって接続されている。サーバ上の音声認識手段によって音声認識された音声認識結果は、受講生が利用しているユーザ端末に送られる。受講生は、教員の説明を聞きながら、図５に示す表示画面において、自由に電子ノートを作成していく。受講者は他人の作成した電子ノートの閲覧もできるし、サーバ上の共有化手段によって複数の受講者の電子ノートがまとめられて別に作成された公開用電子ノートも閲覧することができる。教員は、受講生が記録した電子ノートを閲覧することができる。これによって、受講生の理解度を測ることも可能である。

図９は、本発明による第三の実施例である電子黒板装置を用いた場合を示す。本実施例ではサーバを必要としない。電子黒板装置では、黒板上に電子的に表示されている画面をキャプチャすることが可能であることから、第一の実施例と比べてビデオカメラが不要である。さらに、個々の電子ノート作成端末にマイクロフォンを搭載すれば、電子ノート作成端末側で音声認識手段を実行できるため、画像・音声処理用サーバが不要となる。

図１０は本実施例の詳細な構成を示している。本実施例による電子ノート作成支援装置は、ビデオ撮影手段、ビデオ録画手段と静止画像撮影手段を備えておらず、替わりに電子黒板装置３７に内蔵されている黒板画面録画手段３８と、黒板画面静止画保存手段３９を備えている。黒板画面録画手段３８は映像データを取込み、動画としてビデオデータを保存する。また黒板画面静止画保存手段３９は静止画データを取込み、また静止画データとして保存する。一方、音声入力手段２は、電子ノート作成閲覧端末１に付属し、音声認識手段３、音声認識結果記録手段２１と録音手段２３も、電子ノート作成閲覧端末１に内蔵されている。また、音声認識手段３により生成された文字データ２２や、録音手段２３により記録された音声データ２４も電子ノート作成閲覧端末１に蓄積される。

本実施例では、電子黒板を利用することにより、音声・映像処理計算機が不要になるという利点がある。

本発明によれば、多くの語句の中から重要な語句やある属性を有する語句を抽出し適切な処理を行うことができ、受講者・会議参加者であるユーザが授業や会議の内容を把握しながら、適切なノート・記録を素早く取ることができる電子ノート作成支援装置を提供することができる。

Claims (19)

1. 電子ノート作成閲覧端末と、
   音声データを取得する音声入力手段と、
   前記音声データから音声認識により文字データを生成する音声認識手段と、
   前記文字データに含まれる語句が、登録語句データベースに登録された語句であるかどうかを検出する登録語句検出手段と、
   前記登録語句を検出した場合に、あらかじめ決められた処理を行う制御手段と、
   を備えたことを特徴とする電子ノート作成支援装置。
2. 前記文字データに含まれる語句を、前記電子ノート作成閲覧端末に表示する音声認識結果表示手段をさらに備え、
   前記登録語句が重要語の場合、前記決められた処理が前記音声認識結果表示手段において前記重要語を他の語句とは異なる表示にする処理であることを特徴とする請求項１に記載の電子ノート作成支援装置。
3. 前記異なる表示が、語句の色を変えることであることを特徴とする請求項２に記載の電子ノート作成支援装置。
4. 前記登録語句がトリガー語の場合、前記決められた処理が前記電子ノート作成閲覧端末から注意喚起信号を送出する処理であることを特徴とする請求項１から３に記載の電子ノート作成支援装置。
5. 前記注意喚起信号を送出する処理が、前記電子ノート作成閲覧端末の表示画面の色調を変える処理であるか、または前記電子ノート作成閲覧端末を振動させる処理であるか、あるいはその両方の処理であることを特徴とする請求項４に記載の電子ノート作成支援装置。
6. 前記注意喚起信号を送出する処理が、前記トリガー語を検出した前記文字データに含まれる語句を時系列で並べたときに、前記トリガー語との間にある語句の個数がある所定の個数よりも小さい語句を選択し、他の語句とは異なる表示をする処理であることを特徴とする請求項４に記載の電子ノート作成支援装置。
7. 前記音声データを保存する録音手段を備えたことを特徴とする請求項1から６に記載の電子ノート作成支援装置。
8. 映像データを取込むビデオ撮影手段と、
   前記映像データから静止画データを獲得する画像獲得手段と、
   前記静止画データに文字列データや図形データを合成するキャプチャ画像編集部と、
   前記文字データに含まれる語句が表示される語句候補表示部と、
   を備え、
   前記制御手段は、前記語句候補表示部に表示された語句から選択された語句を前記キャプチャ画像編集部に送り、前記静止画データに合成することを特徴とする請求項１から７に記載の電子ノート作成支援装置。
9. 前記映像データから生成した静止画データを保存する静止画像撮影手段、または前記映像データから生成した動画をビデオデータとして保存するビデオ録画手段、あるいは前記静止画像撮影手段と前記ビデオ録画手段をともに備えたことを特徴とする請求項８に記載の電子ノート作成支援装置。
10. 電子黒板の画面から映像データを取込み、動画をビデオデータとして保存する黒板画面録画手段と、
    前記電子黒板の画面から静止画データを取込み、保存する黒板画面静止画保存手段と、
    前記静止画データに文字列データや図形データを合成するキャプチャ画像編集部と、
    前記文字データに含まれる語句が表示される語句候補表示部と、
    を備え、
    前記制御手段は、前記語句候補表示部に表示された語句から選択された語句を前記キャプチャ画像編集部に送り、前記静止画データに合成することを特徴とする請求項１から７に記載の電子ノート作成支援装置。
11. 前記キャプチャ画像編集部で合成された静止画データを電子ノートとして保存するノート保存手段を備えたことを特徴とする請求項８から１０に記載の電子ノート作成支援装置。
12. 手動入力データを前記キャプチャ画像編集部に送り、前記静止画データに合成することを特徴とする請求項８から１１に記載の電子ノート作成支援装置。
13. 前記手動入力データは、キーボード入力手段で生成された前記文字列データ、または手書き入力手段で生成された前記図形データであることを特徴とする請求項１２に記載の電子ノート作成支援装置。
14. 前記電子ノートのデータをネットワーク・サーバー上に保存し、複数のユーザー間で共有することを可能とすることを特徴とする請求項１１から１３に記載の電子ノート作成支援装置。
15. 取得した音声データから音声認識により生成した文字データに含まれる語句と、登録語句データベースに登録された語句とを比較し、検出する手順と、
    前記登録語句を検出した場合に、あらかじめ決められた処理を行う手順と、
    を備えたことを特徴とする電子ノート作成支援装置プログラム。
16. 前記登録語句データベースには、重要語が登録され、前記重要語が検出された場合には、前記決められた処理が前記音声認識結果表示手段において前記重要語を他の語句とは異なる表示をする処理であることを特徴とする請求項１５に記載の電子ノート作成支援装置用プログラム。
17. 前記登録語句データベースには、トリガー語が登録され、前記トリガー語が検出された場合には、前記決められた処理が前記電子ノート作成閲覧端末から注意喚起信号を送出する処理であることを特徴とする請求項１５から１６に記載の電子ノート作成支援装置用プログラム。
18. 画面獲得手段により生成された静止画データをキャプチャ画像編集部に送る手順と、
    登録語句が検出された場合、あらかじめ決められた処理を行う手順と、
    音声データから音声認識により生成された文字データに含まれる語句が表示された語句候補表示部で選択された語句を前記キャプチャ画像編集部に送る手順と、
    前記静止画データに文字列データや図形データを合成する手順と、
    を備えたことを特徴とする電子ノート作成支援装置用プログラム。
19. 音声入力手段と、
    ビデオ撮影手段と、
    電子ノート作成閲覧端末と、
    音声・映像処理計算機と、
    を備え、前記電子ノート作成閲覧端末は、
    制御手段と、
    前記制御手段により制御されるキャプチャ画像編集部と、
    前記キャプチャ画像編集部で編集されたデータを電子ノートとして保存するノート保存手段と、
    文字データから登録語句データベースに登録された登録語句を検出する登録語句検出手段と、
    前記文字データから前記電子ノートに記録する語句の候補を抽出する音声認識結果表示手段と、
    前記語句の候補を表示する語句候補表示部と、
    前記語句候補表示部に表示された語句の中から語句を選択して前記制御手段に送る音声認識語句獲得手段と、
    映像データから画像データを獲得して前記制御手段に送る画像獲得手段と、
    手書きでデータを入力する手書き入力手段と、
    キーボードから入力するキーボード入力手段と、
    を備え、前記音声・映像処理計算機は、
    前記音声入力手段から音声データを受けて前記文字データを生成する音声認識手段と、
    前記前記文字データを保存する音声認識結果記録手段と、
    前記音声データを保存する録音手段と、
    前記ビデオ撮影手段から映像データを受けてビデオデータとして保存するビデオ録画手段と、
    前記静止画データを保存する静止画像撮影手段と、
    を備えたことを特徴とする電子ノート作成支援装置。

Images