JP2009175803A - 障がい者向けパーソナルコンピュータ要約者支援方法及び装置及びプログラム - Google Patents

Abstract

【課題】指示代名詞が含まれる発話音声から聴覚障がい者に提示する要約を作成する際に、指示代名詞に対応する図、写真、式等も含めた要約を作成する。
【解決手段】本発明は、取得した話者音声情報から指示代名詞及び指示代名詞の指示対象カテゴリを抽出し、取得した話者映像情報から指示動作を抽出し、描画情報から指示対象候補を抽出し、指示代名詞及び指示代名詞の指示対象カテゴリと、指示対象候補を合成して、描画情報認識結果を生成し、入力テキストから指示代名詞を検出し、指示代名詞の指示対象カテゴリと描画情報認識結果との適合性に基づいて、指示対象を絞り込み、表示手段に表示し、要約者によって選択された指示対象を入力テキストと共に、聴覚障がい者の表示装置に適切な形式で表示する。
【選択図】図１

Description

本発明は、障がい者向けパーソナルコンピュータ（ＰＣ）要約者支援方法及び装置及びプログラムに係り、特に、聴覚障がい者に対する情報保障のための、講演・会議・講義・研究発表会などにおけるパーソナルコンピュータ（ＰＣ）要約投入者に対する障がい者向けパーソナルコンピュータ要約者支援方法及び装置及びプログラムに関する。

近年、講演会・講義・研究発表会・会議における聴覚障がい者に提供する情報保障のため、発話内容をＰＣなどで要約テキスト投入し、補助情報として表示する方式が増えてきつつある。ここで、通常の要約は、話者のいる会場で作業が行われているが、要約者の利便性を鑑み、ネットワーク通じて要約者が遠隔地より要約テキストを投入するシステムも実現されつつある（例えば、非特許文献１参照）。

今後は、このような情報保障に関する技術、システムは、ユニバーサルデザイン的な観点からますます、普及させていく必要がある。
「聴覚障がい者の情報保障におけるパソコン要約筆記入力者に対するキーワード提示」加藤、他、ヒューマンインタフェース学会論文誌、Vol.9, No.2, pp.125-133 (2007).

しかしながら、このような従来の遠隔地からのＰＣ要約方法・装置では、要約テキストが表示されるまでに、無視できない時間差（１０秒前後）が生じたり、何を指しているのかが見えなかったりしており、このため、指示代名詞（「この式」「こちらの図」「この方式」など）が、どのような対象を指し示しているかが不明となるため、聴覚障がい者の理解を著しく阻害していた。あるいは、要約者自らが、指示代名詞の指示対象を特定し、投入要約テキストにできる範囲で含めなくてはならないという過剰な負荷が要約者にかかっていた。

本発明は、上記の点に鑑みなされたもので、要約テキストの表示時間差のため、聴覚障がい者の理解を著しく低下させる、ないしは、要約者の投入稼動を著しく増大させる、指示代名詞の使用について、指示対象候補を推定・提示し、最終的に選択された正解指示対象を要約テキストない、または、補助情報として表示することによって、聴覚障がい者の著しい理解低下やＰＣ要約者の稼動増大を解消することが可能な障がい者向けＰＣ要約者支援方法及び装置及びプログラムを提供することを目的とする。

より具体的には、話者の描画情報を分析し、必要に応じて発生情報や話者動作映像情報を利用して、指示対象となりうる候補をセグメント化し、話者動作映像情報、発声情報または要約者投入テキスト情報の少なくとも一つから指示代名詞を検出し、指示対象候補を要約者に提示・選択させることによって、正解指示対象を取得し、聴覚障がい者への表示テキスト内、または、補助情報として適切に表示するための障がい者向けＰＣ要約者支援方法及び装置及びプログラムを提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、聴覚障がい者に対する情報保障のためのＰＣ要約者による要約の投入を支援する障がい者向けＰＣ要約者支援方法であって、
話者音声情報を取得して、該話者音声情報から指示代名詞及び該指示代名詞の指示対象カテゴリを抽出する指示音声推定ステップ（ステップ１）と、
話者映像情報と描画情報を取得して、該話者映像情報から指示動作を抽出し、該描画情報から必要に応じて話者動作映像情報と発声情報のうちいずれか１つ以上を利用して、指示対象候補を抽出する指示動作推定ステップ（ステップ２）と、
指示音声推定ステップ（ステップ１）で抽出された指示代名詞及び指示代名詞の指示対象カテゴリと、指示対象候補抽出ステップ（ステップ２）で抽出された指示対象候補を合成して、描画情報認識結果を生成する指示推定情報合成ステップ（ステップ３）と、
要約者から入力された指示代名詞と指示対象カテゴリが含まれる入力テキストから指示代名詞を検出する指示代名詞検出ステップ（ステップ４）と、
指示代名詞検出ステップで検出された指示代名詞の指示対象カテゴリと描画情報認識結果の指示対象カテゴリとの適合性に基づいて、指示対象を絞り込み（ステップ５）、表示手段に表示する絞込みステップ（ステップ６）と、
表示手段に表示された指示対象から要約者によって選択された指示対象を入力テキストと共に、聴覚障がい者の表示装置に適切な形式で表示する指示対象表示ステップ（ステップ７）と、を行う。

また、本発明（請求項２）は、指示音声推定ステップ（ステップ１）において、話者音声情報から指示発話の尤度を測定し、
指示動作推定ステップ（ステップ２）において、話者映像情報から指示動作である尤度を計算し、
指示推定情報合成ステップ（ステップ３）において、指示発話の尤度と指示動作である尤度の和が所定の値より大きい場合に、指示発話と判定し、指示動作推定ステップ（ステップ２）で抽出された指示対象候補と指示音声推定ステップ（ステップ１）で抽出されたカテゴリ情報とを描画情報認識結果とする。

また、本発明（請求項３）は、絞込みステップ（ステップ６）において、
指示代名詞のカテゴリ情報と、描画情報認識結果のカテゴリ情報との適合度を求め、上位Ｎ個の指示対象候補、または、該適合度が所定のレベルに達した指示対象候補を選択し、表示手段に表示する。

図２は、本発明の原理構成図である。

本発明（請求項４）は、聴覚障がい者に対する情報保障のためのＰＣ要約者による要約の投入を支援する障がい者向けＰＣ要約者支援装置であって、
話者音声情報を取得して、該話者音声情報から指示代名詞及び該指示代名詞の指示対象カテゴリを抽出する指示音声推定手段１１１と、
話者映像情報と話者の描画情報を取得して、該話者映像情報から指示動作を抽出し、該描画情報から必要に応じて話者動作映像情報と発声情報のうちいずれか１つ以上を利用して、指示対象候補を抽出する指示動作推定手段１１２と、
指示音声推定手段１１１で抽出された指示代名詞及び指示代名詞の指示対象カテゴリと、指示動作推定手段１１２で抽出された指示対象候補を合成して、描画情報認識結果を生成する指示推定情報合成手段１１３と、
要約者から入力された指示代名詞と指示対象カテゴリが含まれる入力テキストから指示代名詞を検出する指示代名詞検出手段１２１と、
指示代名詞の指示対象カテゴリと描画情報認識結果との適合性に基づいて、指示対象を絞り込み、表示手段に表示し、該表示手段に表示された該指示対象から要約者によって選択された指示対象を入力テキストと共に、聴覚障がい者の表示装置に適切な形式で表示する指示対象候補絞込み・提示手段１２２と、を有する。

また、本発明（請求項５）は、指示音声推定手段１１１において、話者音声情報から指示発話の尤度を測定する手段を含み、
指示動作推定手段１１２において、話者映像情報から指示動作である尤度を計算する手段を含み、
指示推定情報合成手段１１３において、指示発話の尤度と指示動作である尤度の和が所定の値より大きい場合に、指示発話と判定し、指示動作推定手段１１２で抽出された指示対象候補と指示音声推定手段１１１で抽出されたカテゴリ情報とを描画情報認識結果として、指示対象候補絞込み・提示手段１２２に出力する手段を含む。

また、本発明（請求項６）は、指示対象候補絞込み・提示手段１２２において、
指示代名詞のカテゴリ情報と、描画情報認識結果のカテゴリ情報との適合度を求め、上位Ｎ個の指示対象候補、または、該適合度が所定のレベルに達した指示対象候補を選択し、表示手段に表示する手段を含む。

本発明（請求項７）は、請求項４乃至６のいずれか１項に記載の障がい者向けＰＣ要約者支援装置を構成する各手段としてコンピュータを機能させる障がい者向けＰＣ要約者支援プログラムである。

上記のように、本発明によれば、時間差の生じている要約テキスト内の指示代名詞の指示対象（図、写真、式など）が具体的な形で聴覚障がい者に提示され、理解のしやすさを飛躍的に向上させることができる。あるいは、従来要約者が、可能な範囲で指示代名詞の指示対象を自ら推定し、投入テキストに反映させていた稼動を軽減することが可能となる。

以下、図面と共に本発明の実施の形態を説明する。

以下の説明において、「話者」とは講演・会議・講義・研究発表会において、発話している人物を指し、「発声」とは、話者の発話音声そのものを指す。「要約者」とは、発声を要約し、その内容を文字でＰＣに投入するＰＣ要約者、及び、ＰＣ要約原稿をＰＣにて編集するＰＣ要約編集者を指す。話者が黒板などに記述する板書情報やＰＣを利用してプレゼンテーションを行っているプレゼンテーションコンテンツそのものなどを、一括して「描画情報」と呼ぶ。

本実施の形態では、指示対象の候補を抽出する際に、描画情報と音声情報の両方を利用した場合である。

図３は、本発明の一実施の形態における障がい者向けＰＣ用役者支援システムの構成を示す。同図に示す障がい者向けＰＣ要約者支援システム１００は、指示情報推定装置１１０と要約者・編集者入出力端末１２０から構成される。

指示情報推定装置１１０は、話者音声情報１１、話者映像情報１２、描画情報１３が格納された講義情報ＤＢ１０及び要約者・編集者入出力端末１２０に接続され、講義情報ＤＢ１０からこれらの情報を取得し、処理結果を要約者・編集者入出力端末に出力する。

要約者・編集者入出力端末１２０は、ＰＣ要約結果表示装置２０に接続され、処理された結果をＰＣ要約結果表示装置２０に出力する。

図４は、本発明の一実施の形態における指示情報推定装置の構成を示す。指示情報推定装置１１０は、指示音声推定部１１１、指示動作推定部１１２、指示推定情報合成部１１３から構成される。

指示音声推定部１１１は、講義情報ＤＢ１０から話者音声情報１１を取得し、指示発話の尤度を測定し、図や写真や式などの指示対象物のカテゴリを抽出する。なお、指示音声推定部１１１は、測定された尤度を一時的に格納するメモリ（図示せず）を有する。

指示動作推定部１１２は、講義情報ＤＢ１０から話者映像情報１２を取得し、話者映像情報１２から指示動作である尤度を計算し、講義情報ＤＢ１０の描画情報１３を取得して指示対象候補を少なくとも一つ抽出する。なお、指示動作推定部１１２は、計算された尤度を一時的に格納するメモリ（図示せず）を有する。

指示推定情報合成部１１３は、指示音声推定部１１１と指示動作推定部１１２で求められた２つの尤度の和によって指示発話尤度を計算し、当該指示発話尤度が所定の閾値より大きいとき『指示発話』であると判定され、指示音声推定部１１１で抽出されたカテゴリ情報を要約者・編集者入出力端末１２０に送る。

図５は、本発明の一実施の形態における要約者・編集者入出力端末の構成を示す。同図に示す要約者・編集者入出力端末１２０は、指示代名詞検出部１２１と指示対象候補絞込み・提示部１２２から構成される。

指示代名詞検出部１２１は、要約者または、編集者からテキストが入力されると、入力テキスト中から指示代名詞（指示連体詞）を検出し、当該指示代名詞に続く図や写真、式などのカテゴリ情報と共に指示対象候補絞込み・提示部１２２に送る。

指示対象候補絞込み・提示部１２２は、指示情報推定装置１１０の指示推定情報合成部１１３から取得した指示対象候補のカテゴリ情報と指示代名詞検出部１２１で検出された指示代名詞のカテゴリ情報とのマッチングを行い、適合度を計算し、指示対象候補毎にメモリ（図示せず）に格納する。当該適合度の上位Ｎ個の指示対象候補または、適合度が所定のレベルに達した指示対象候補を選択して、要約者・編集者入出力端末１２０の画面上に提示する。これにより、要約者または編集者は、適切なものを指示対象候補から選択してする。指示対象候補絞込み・提示部１２２は、選択された候補を適切な大きさに編集してＰＣ要約結果表示装置２０に出力する。

次に、上記の障がい者向けＰＣ要約者支援システムの一連の動作を説明する。

最初に、指示情報推定装置１１０の動作を説明する。

図６は、本発明の一実施の形態における指示情報推定装置の処理のフローチャートである。

ステップ１０１） 指示情報推定装置１１０の指示音声推定部１１１及び指示動作推定部１１２は、講義情報ＤＢ１０から講義情報を取得する。

ステップ１０２） 指示音声推定部１１１は、講義情報ＤＢ１０から取得した発話音声情報から、文献『「音声の感性情報に着目したマルチメディアコンテンツ要約技術」、日高他、インターラクション２００３予稿集、pp17-24 (2003)』等の技術を用いて、指示発話の尤度Ｌａを測定し、メモリ（図示せず）に格納する。

ステップ１０３） さらに、指示音声推定部１１１は、発話音声情報に付加されている指示対象物のカテゴリ情報（図、写真、式等）を抽出する。

ステップ１０４） 指示動作推定部１１２は、講義情報ＤＢ１０から取得した話者映像情報１２から、文献『「講義における教材中の指示対象の抽出」、丸谷、他、電子情報通信学会論文誌、D, Vol. J90-D No.5 pp.1238-1248 (2007)』等の技術を用いて、指示動作である尤度Ｌｖを計算し、メモリ（図示せず）に格納する。

ステップ１０５） さらに、指示動作推定部１１２は、文献『「指示棒による指示領域の検出」、先山、他、MIRU2000, Vol. I, pp. I-283-288, 2000』等の技術を用いて、講義情報ＤＢ１０から取得した描画情報１３から指示対象候補を少なくとも１つ抽出する。

ステップ１０６） 指示推定情報合成部１１３は、ステップ１０２で求められた尤度Ｌａとステップ１０４で求められた尤度Ｌｖをそれぞれメモリ（図示せず）から読み出して、
ＬＰ＝Ｌａ＋Ｌｖ
により指示発話の尤度ＬＰを計算する。

ステップ１０７） 指示推定情報合成部１１３は、ステップ１０６で求められた指示発話の尤度ＬＰが所定の閾値ＴＰより大きいかを判定し、ＬＰ＞ＴＰである場合には、ステップ１０８に移行し、ＬＰ≦ＴＰである場合は処理を終了する。

ステップ１０８） 指示推定情報合成部１１３は、ＬＰ＞ＴＰである場合は、指示発話と判定し、指示動作推定部１１２によりステップ１０５で抽出された指示対象候補と、指示音声推定部１１１によりステップ１０３で抽出されたカテゴリ情報が、その指示対象候補のカテゴリ情報として要約者・編集者入出力端末１２０の指示対象候補絞込み・提示部１２２に送る。

上記に引き続き、要約者・編集者入出力端末１２０の動作を説明する。

図７は、本発明の一実施の形態における要約者・編集者入出力端末の処理のフローチャートである。

ステップ２０１） 要約者・編集者入出力端末１２０の指示代名詞検出部１２１は、要約者からのテキスト入力を受け付ける。

ステップ２０２） 指示代名詞検出部１２１は、入力テキストから「この、あの、その」などの指示代名詞（指示連体詞）を検出する。

ステップ２０３） 指示代名詞検出部１２１は、指示代名詞（指示連体詞）が検出された場合に、その指示代名詞（指示連体詞）を、その指示代名詞（指示連体詞）に続くカテゴリ情報（図、写真、式など）と共に指示対象候補絞込み部１２２に送る。

ステップ２０４） 指示対象候補絞込み部１２２は、指示代名詞のカテゴリ情報と、ステップ１０８において指示音声推定部１１１から送られてきた指示対象候補のカテゴリ情報とのマッチングを行い、適合度Ｆを計算し、メモリ（図示せず）に格納する。

ステップ２０５） 指示対象候補絞込み部１２２は、メモリ（図示せず）から上位Ｎｃ個の指示対象候補、もしくは、適合度が予め決められたレベルＬｃに達した指示対象候補を選択する。

ステップ２０６） ステップ２０５で選択された指示対象候補を要約者・編集者入出力端末１２０の画面上に表示する。

以降、要約者または編集者は、指示代名詞の対象として適切なものを候補より選択する。これにより、指示対象候補絞込み部１２２は、選択された候補（図、写真、式等）は、適切な大きさにスケールされ、投入テキストと共に、ＰＣ要約結果表示装置２０に出力される。

ＰＣ要約結果表示装置２０に表示された例を図８に示す。図８の表示例では、テキスト情報と表示サイズが調整されたグラフや写真が表示されている。

上記のように、話者の発生に含まれる指示代名詞の指示対象候補（図、写真、式など）を要約者の端末上に表示し、要約者に選択させることにより、要約者の投入稼動を低減することができ、また、要約者により選択された指示対象を聴覚障がい者の表示装置に表示することにより、時間差があり、これまで理解しにくかった要約テキスト情報が、より理解しやすい内容となる。

なお、上記の実施の形態では、指示情報推定装置１１０と要約者・編集者入出力端末１２０に分けた構成としているが、これらを１つの装置として構成してもよい。

また、指示情報推定装置１１０と要約者・編集者入出力端末１２０の各構成要素の動作をプログラムとして構築し、これらの装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることも可能である。

また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、講演・会議・講義・研究発表会等において、聴覚障がい者向けにプレゼンテーションの要約を作成する際に、当該プレゼンテーションに含まれる指示代名詞に対応する指示対象を抽出する技術はもとより、入力された音声情報から指示代名詞を抽出し、映像情報から当該指示代名詞に対応する内容を抽出する技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における障がい者向けＰＣ要約支援システムの構成図である。 本発明の一実施の形態における指示情報推定装置の構成図である。 本発明の一実施の形態における要約者・編集者入出力端末の構成図である。 本発明の一実施の形態における指示情報推定装置の処理のフローチャートである。 本発明の一実施の形態における要約者・編集者入出力端末の処理のフローチャートである。 本発明の一実施の形態におけるＰＣ要約結果表示装置に表示される選択された指示対象候補の例である。

符号の説明

１０ 講義情報ＤＢ
１１ 話者音声情報
１２ 話者映像情報
１３ 描画情報
２０ ＰＣ要約結果表示装置
１００ 障がい者向けＰＣ要約者支援システム
１１０ 指示情報推定装置
１１１ 指示音声推定手段、指示音声推定部
１１２ 指示動作推定手段、指示動作推定部
１１３ 指示推定情報合成手段、指示推定情報合成部
１２０ 要約者・編集者入出力端末
１２１ 指示代名詞検出手段、指示代名詞検出部
１２２ 指示対象候補絞込み・表示手段、指示対象候補絞込み・提示部

Claims (7)

1. 聴覚障がい者に対する情報保障のためのパーソナルコンピュータ（ＰＣ）要約者による要約の投入を支援する障がい者向けＰＣ要約者支援方法であって、
   話者音声情報を取得して、該話者音声情報から指示代名詞及び害指示代名詞の指示対象カテゴリを抽出する指示音声推定ステップと、
   話者映像情報と話者の描画情報を取得して、該話者映像情報から指示動作を抽出し、該描画情報から必要に応じて話者動作映像情報と発声情報のうちいずれか１つ以上を利用して、指示対象候補を抽出する指示動作推定ステップと、
   前記指示音声推定ステップで抽出された前記指示代名詞及び前記指示代名詞の指示対象カテゴリと、前記指示動作推定ステップで抽出された前記指示対象候補を合成して、描画情報認識結果を生成する指示推定情報合成ステップと、
   前記要約者から入力された指示代名詞と指示対象カテゴリが含まれる入力テキストから指示代名詞を検出する指示代名詞検出ステップと、
   前記指示代名詞検出ステップで検出された前記指示代名詞の指示対象カテゴリと前記描画情報認識結果の指示対象カテゴリとの適合性に基づいて、指示対象を絞り込み、表示手段に表示する絞込みステップと、
   前記表示手段に表示された前記指示対象から前記要約者によって選択された指示対象を前記入力テキストと共に、聴覚障がい者の表示装置に適切な形式で表示する指示対象表示ステップと、
   を行うことを特徴とする障がい者向けＰＣ要約者支援方法。
2. 前記指示音声推定ステップにおいて、前記話者音声情報から指示発話の尤度を測定し、
   前記指示動作推定ステップにおいて、前記話者映像情報から指示動作である尤度を計算し、
   前記指示推定情報合成ステップにおいて、前記指示発話の尤度と前記指示動作である尤度の和が所定の値より大きい場合に、指示発話と判定し、前記指示動作推定ステップで抽出された指示対象候補と、前記指示音声推定ステップで抽出されたカテゴリ情報を前記描画情報認識結果とする
   請求項１記載の障がい者向けＰＣ要約者支援方法。
3. 前記絞込みステップにおいて、
   前記指示代名詞のカテゴリ情報と、前記描画情報認識結果のカテゴリ情報との適合度を求め、上位Ｎ個の指示対象候補、または、該適合度が所定のレベルに達した指示対象候補を選択し、前記表示手段に表示する
   請求項１記載の障がい者向けＰＣ要約者支援方法。
4. 聴覚障がい者に対する情報保障のためのＰＣ要約者による要約の投入を支援する障がい者向けＰＣ要約者支援装置であって、
   話者音声情報を取得して、該話者音声情報から指示代名詞及び害指示代名詞の指示対象カテゴリを抽出する指示音声推定手段と、
   話者映像情報と話者の描画情報を取得して、該話者映像情報から指示動作を抽出し、該描画情報から必要に応じて話者動作映像情報と発声情報のうちいずれか１つ以上を利用して、指示対象候補を抽出する指示動作推定手段と、
   前記指示音声推定手段で抽出された前記指示代名詞及び前記指示代名詞の指示対象カテゴリと、前記指示動作推定手段で抽出された前記指示対象候補を合成して、描画情報認識結果を生成する指示推定情報合成手段と、
   前記要約者から入力された指示代名詞と指示対象カテゴリが含まれる入力テキストから指示代名詞を検出する指示代名詞検出手段と、
   前記指示代名詞検出手段で検出された前記指示代名詞の指示対象カテゴリと前記描画情報認識結果の指示対象カテゴリとの適合性に基づいて、指示対象を絞り込み、表示手段に表示し、該表示手段に表示された該指示対象から前記要約者によって選択された指示対象を前記入力テキストと共に、聴覚障がい者の表示装置に適切な形式で表示する指示対象候補絞込み・提示手段と、
   を有することを特徴とする障がい者向けＰＣ要約者支援装置。
5. 前記指示音声推定手段は、前記話者音声情報から指示発話の尤度を測定する手段を含み、
   前記指示動作推定手段は、前記話者映像情報から指示動作である尤度を計算する手段を含み、
   前記指示推定情報合成手段は、前記指示発話の尤度と前記指示動作である尤度の和が所定の値より大きい場合に、指示発話と判定し、前記指示動作推定手段で抽出された指示対象候補と前記指示音声推定手段で抽出されたカテゴリ情報とを前記描画情報認識結果として、前記指示対象候補絞込み・提示手段に出力する手段を含む
   請求項４記載の障がい者向けＰＣ要約者支援装置。
6. 前記指示対象候補絞込み・提示手段は、
   前記指示代名詞のカテゴリ情報と、前記描画情報認識結果の前記カテゴリ情報との適合度を求め、上位Ｎ個の指示対象候補、または、該適合度が所定のレベルに達した指示対象候補を選択し、前記表示手段に表示する手段を含む
   請求項４記載の障がい者向けＰＣ要約者支援装置。
7. 請求項４乃至６のいずれか１項に記載の障がい者向けＰＣ要約者支援装置を構成する各手段としてコンピュータを機能させる障がい者向けＰＣ要約者支援プログラム。

Images