JP2020162138A

JP2020162138A - 情報処理装置及びプログラム

Info

Publication number: JP2020162138A
Application number: JP2020096695A
Authority: JP
Inventors: 麻衣鈴木; Mai Suzuki
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2015-09-16
Filing date: 2020-06-03
Publication date: 2020-10-01
Anticipated expiration: 2035-09-16
Also published as: JP6973567B2

Abstract

【課題】時系列情報を区分した各パートの重要度を利用者に認識させる情報処理装置を提供する。【解決手段】情報処理装置は、音声情報及び画像情報を含み時間とともに変化する時系列情報を複数のパートに区分する区分手段と、利用者による操作指示を受け付ける操作指示受付手段と、前記区分されたパートの重要度に応じた大きさで表示された、前記区分されたパートの特徴を示す特徴画像を含む要約画像を表示すよう制御する表示制御手段と、を備え、前記表示制御手段は、前記特徴画像の大きさに応じて、当該特徴画像に関連付けられた、前記区分されたパートの特徴を示す特徴語の表示を制限し、前記操作指示受付手段が、前記特徴語の表示の制限をされた前記特徴画像を指示する操作を受け付けると、前記表示の制限をされた前記特徴語を表示させた前記要約画像を表示するよう制御する。【選択図】図９

Description

本発明は、情報処理装置及びプログラムに関する。

例えば、利用者が視聴する映画等の時系列情報を複数のパートに区分し、区分された各パートにおいてパートに含まれる音声から得られる当該パートに関する特徴語と、パートに含まれる画像から得られる当該パートに関する特徴画像と、を関連付けて要約を作成する技術がある（特許文献１）。

特開２００８−１４８１２１号公報

各パートにおける特徴語の重要度は、各パート間で異なるため、特徴語の重要度に応じてユーザーが時系列情報を閲覧した場合、各パートの特徴語の重要度をユーザーに示す必要がある。そこで、複数の特徴画像を含む要約を作成する際に特徴語の重要度に応じて複数の特徴画像の大きさを異ならせることができれば利用者の利便性が向上する。

本発明の目的の一つは、時系列情報を区分した各パートの特徴語の重要度を利用者に把握させることができる情報処理装置を提供することにある。

本発明に係る情報処理装置は、音声情報及び画像情報を含み時間とともに変化する時系列情報を複数のパートに区分する区分手段と、利用者による操作指示を受け付ける操作指示受付手段と、前記区分されたパートの重要度に応じた大きさで表示された、前記区分されたパートの特徴を示す特徴画像を含む要約画像を表示すよう制御する表示制御手段と、を備え、前記表示制御手段は、前記特徴画像の大きさに応じて、当該特徴画像に関連付けられた、前記区分されたパートの特徴を示す特徴語の表示を制限し、前記操作指示受付手段が、前記特徴語の表示の制限をされた前記特徴画像を指示する操作を受け付けると、前記表示の制限をされた前記特徴語を表示させた前記要約画像を表示するよう制御することを特徴とする。

本発明の請求項２に係る情報処理装置は、請求項１に記載の情報処理装置において、前記区分されたパートの特徴を示す前記特徴語を当該パートに含まれる前記音声情報に基づいて取得する特徴語取得手段をさらに含み、前記特徴語取得手段は、前記区分されたパートに対応する前記音声情報における出現頻度に応じて前記特徴語を取得する。

本発明に係る情報処理装置は、それぞれが前記重要度に応じた大きさで表示される前記複数の特徴画像を含む前記要約画像を生成する。

本発明の請求項３に係る情報処理装置は、請求項１に記載の情報処理装置において、前記特徴画像は、前記重要度が高いほど大きく表示され、前記重要度が低いほど小さく表示される。

本発明の請求項４に係る情報処理装置は、請求項１に記載の情報処理装置において、前記重要度は前記音声情報における前記特徴語の出現回数から決定される。

本発明の請求項５に係る情報処理装置は、請求項１に記載の情報処理装置において、前記重要度は前記音声情報における前記特徴語の音量から決定される。

本発明の請求項６に係る情報処理装置は、請求項１に記載の情報処理装置において、前記重要度は前記音声情報において前記特徴語が出現する時間の直前に無音の時間があるか否かによって決定される。

本発明に係る情報処理装置は、前記要約画像は、前記特徴語が関連付けられた前記特徴画像を含む。

本発明に係る情報処理装置は、前記要約画像は、前記特徴画像の大きさに応じた態様の前記特徴語が関連付けられた前記特徴画像を含む。

本発明に係る情報処理装置は、前記要約画像生成手段は、前記特徴画像の大きさに応じて当該特徴画像に関連付けられる前記特徴語の表示を制限する。

本発明の請求項７に係る情報処理装置は、請求項１に記載の情報処理装置において、前記要約画像生成手段は、前記特徴画像の大きさが予め定められた閾値以下または未満の場合に、当該特徴画像に関連付けられる前記特徴語を表示させない。

本発明の請求項８に係る情報処理装置は、請求項１に記載の情報処理装置において、前記要約画像生成手段は、前記特徴画像の大きさが予め定められた閾値以下または未満の場合に、当該特徴画像に関連付けられる前記特徴語の一部を表示させる。

本発明に係る情報処理装置は、利用者による操作指示を受け付ける操作指示受付手段、をさらに含み、前記操作指示受付手段が、前記特徴語の表示の制限をされた前記特徴画像を指示する操作を受け付けると、前記要約画像生成手段は前記表示の制限をされた前記特徴語を表示させた前記要約画像を生成する。

本発明に係るプログラムは、音声情報及び画像情報を含み時間とともに変化する時系列情報を複数のパートに区分する区分手段、前記区分されたパートの特徴を示す特徴画像を当該パートに含まれる前記画像情報から取得する特徴画像取得手段、前記区分されたパートの特徴を示す特徴語を当該パートに含まれる前記音声情報に基づいて取得する特徴語取得手段、前記区分されたパートの特徴語の重要度に応じた態様で表示された複数の前記特徴画像を含む要約画像を生成する要約画像生成手段、としてコンピュータを機能させるためのプログラムである。

本発明によれば、時系列情報を区分した各パートの特徴語の重要度を利用者に把握させることができる。

本発明の請求項２によれば、各パートにおける出現頻度に応じて特徴語を決定することができる。

本発明によれば、特徴画像の大きさにより各パートの特徴語の重要度を利用者に把握させることができる。

本発明の請求項３によれば、特徴画像が大きいほど特徴語の重要度が高く、特徴画像が小さいほど特徴語の重要度が低い、ことを利用者に把握させることができる。

本発明の請求項４によれば、音声情報における特徴語の出現回数から特徴語の重要度を決定することができる。

本発明の請求項５によれば、音声情報における特徴語の音量から特徴語の重要度を決定することができる。

本発明の請求項６によれば、音声情報において特徴語が出現する時間の直前に無音の時間があるか否かから特徴語の重要度を決定することができる。

本発明によれば、利用者に各パートの情報把握をさせやすくする。

本発明によれば、特徴語の表示態様から各パートの特徴語の重要度を利用者に把握させることができる。

本発明によれば、特徴語の重要度の低いパートについての情報量を少なくすることができる。

本発明によれば、特徴語の重要度の低いパートについては利用者が要求したときだけ情報を提供することができる。

本実施形態に係る情報処理システムのハードウェア構成の一例を示す図である。本実施形態に係るサーバが実現する主な機能の一例を示す機能ブロック図である。本実施形態に係る要約画像の一例を示す図である。本実施形態に係るサーバが実行する要約画像生成処理の一例を示すフロー図である。本実施形態に係るサーバが実行する特徴情報取得処理の一例を示すフロー図である。本実施形態に係るサーバが実行する表示態様設定処理の一例を示すフロー図である。本実施形態に係る要約画像の一例を示す図である。本実施形態に係るサーバが実行する表示態様設定処理の一例を示すフロー図である。本実施形態に係る要約画像の一例を示す図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本実施形態に係る情報処理システム１のハードウェア構成の一例を示す図である。図１に示すように、本実施形態に係る情報処理システム１は、ネットワークを介して接続されるサーバ１０及び端末装置２０を含んで構成される。なお、図１においては、情報処理システム１は、１つの端末装置２０のみを含んでいるが、その他複数の端末装置２０を含んでいてもよい。

サーバ１０は、例えばサーバコンピュータ等の情報処理装置であって、制御部１１と、記憶部１２と、通信部１３と、を含んで構成される。

制御部１１は、例えばＣＰＵ等であって、記憶部１２に格納されるプログラムに従って各種の情報処理を実行する。

記憶部１２は、例えばＲＡＭやＥＯＭ等のメモリ素子、ハードディスクなどを含んで構成される。記憶部１２は、制御部１１によって実行されるプログラムや、各種のデータを保持する。また、記憶部１２は、制御部１１のワークメモリとしても動作する。

通信部１３は、例えばＬＡＮカード等のネットワークインタフェースであって、ＬＡＮや無線通信網などの通信手段を介して、サーバ１０との間で情報の送受信を行う。なお、制御部１１、記憶部１２、通信部１３は、それぞれバスを介して接続される。

端末装置２０は、例えばパーソナルコンピュータ等の情報処理装置であって、制御部２１と、記憶部２２と、通信部２３と、表示部２４と、操作部２５と、を含んで構成される。上記各部２１〜２５はバスを介して接続される。なお、制御部２１、記憶部２２、及び通信部２３は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様の構成であってよい。

表示部２４は、例えば液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ等であって、制御部２１からの指示に従って、情報の表示を行う。

操作部２５は、例えばキーボード、マウス、ボタンやタッチパネル等であって、利用者の指示操作を受け付けて、当該指示操作の内容を制御部２１に出力する。

次に、本実施形態に係る情報処理システム１が実現する機能について、説明する。図２は、本実施形態に係るサーバ１０が実現する主な機能の一例を示す機能ブロック図である。図２に示すように、サーバ１０は、機能的には、時系列情報取得部５０、パート区分部５１、特徴語取得部５２、特徴画像取得部５３、特徴情報関連付け部５４、重要度算出部５５、表示態様設定部５６、及び要約画像生成部５７を含んで構成される。これらの機能は、記憶部１２に記憶されたプログラムを制御部１１が実行することにより実現される。
このプログラムは、例えば、磁気ディスク（ＨＤＤ、ＦＤ（Flexible Disk））など）、光記録媒体（光ディスク（ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk））など）、光磁気記録媒体、半導体メモリ（フラッシュＲＯＭなど）などのコンピュータが読み取り可能な記録媒体を介して、あるいは、インターネットなどの通信手段を介してサーバ１０に供給される。

時系列情報取得部５０は、時系列情報を取得する。ここで、時系列情報は、時間とともに変化する情報であり、本実施形態では音声情報と、複数のフレーム画像を含む画像情報と、を含む情報とする。具体的な時系列情報としては、講演を記録した講演情報や、テレビやインターネットで配信されている映像を記録した配信記録情報であってよい。当該時系列情報は、サーバ１０の記憶部１２に記憶されていてもよいし、端末装置２０から提供されてもよい。

パート区分部５１は、時系列情報を複数のパートに区分する。パート区分部５１は、時系列情報に含まれる音声情報及び画像情報を複数のパートに区分する。パート区分部５１は、例えば、連続する２つのフレーム画像のカラーヒストグラムの差、画素差、離散コサイン変換などの変換係数差などを算出し、算出された差が所定の閾値以上となった場合に当該２つのフレーム画像をパートの区切りとする。

特徴語取得部５２は、パート区分部５１が区分した各パートにおいて、当該パートの特徴を示す特徴語を取得する。本実施形態に係る特徴語取得部５２は、音声情報に応じて特徴語を取得する。まず特徴語取得部５２は、各パートの音声情報に対して音声認識を行い文字情報に変換する。そして特徴語取得部５２は、変換した文字情報から特徴語を取得する。例えば、特徴語取得部５２は、変換した文字情報のなかから出現する頻度の最も高い単語を特徴語として抽出する。

特徴画像取得部５３は、パート区分部５１が区分した各パートにおいて、当該パートの特徴を示す特徴画像を取得する。特徴画像取得部５３は、特徴語取得部５２が取得した特徴語に対応するフレーム画像を特徴画像として取得する。具体的には、特徴画像取得部５３は、音声情報における特徴語の出現位置を取得し、当該出現位置に対応するフレーム画像を特徴画像として取得する。なお特徴画像取得部５３は、画像情報に基づいて特徴画像を取得してもよい。例えば特徴画像取得部５３は、パートにおいて最初に出現するフレーム画像を特徴画像として取得してもよいし、パートに含まれる複数のフレーム画像から所定の基準を満たすフレーム画像を特徴画像として取得してもよい。

特徴情報関連付け部５４は、特徴語取得部５２が取得した特徴語と、特徴画像取得部５３が取得した特徴画像と、を関連付けた関連付け情報を関連付け情報記憶部に保存する。
関連付け情報は、パート毎に特徴語と特徴画像とが関連付けられていることとする。関連付け情報には、パート毎に特徴語や特徴画像に関連する情報がさらに関連付けられてもよい。例えば時系列情報において特徴語が出現する出現位置（例えば再生時間など）や、時系列情報において特徴画像が出現する出現位置などが関連付けられてもよい。

重要度算出部５５は、パート区分部５１が区分した各パートの重要度を算出する。重要度算出部５５は、特徴語取得部５２が取得した特徴語に基づいて各パートの重要度を算出する。例えば、重要度算出部５５は、音声情報において特徴語が出現する時間の音量に基づいて重要度を算出する。具体的には重要度算出部５５は、特徴語が出現する時間の音量が大きいほど重要度を高く算出し、特徴語が出現する時間の音量が小さいほど重要度を低く算出する。これは音量が大きいほど主張したい内容が含まれていると考えられるからである。また重要度算出部５５は、音声情報において特徴語が出現する時間の直前に無音の時間があるか否かにより重要度を算出してもよい。具体的には重要度算出部５５は、特徴語が出現する時間の直前に無音の時間がある場合に重要度を高く算出する。これは時系列情報が講演の記録である場合など、聴衆の注意を惹きつけるためにあえて沈黙していると判断し、無音の時間の後に主張したい内容が含まれていると考えられるからである。また重要度算出部５５は、各パートにおける特徴語の出現回数に応じて重要度を算出してもよい。これは、パート内における特徴語の出現回数が多いほど、該パートの特徴語が重要だと考えられるからである。なお、重要度算出部５５は、特徴画像に基づいて重要度を算出してもよい。例えば重要度算出部５５は、特徴画像のカラーヒストグラムや画像分布等から重要度を算出してもよい。また重要度算出部５５は、上述した重要度算出手法の２つ以上を組み合わせて各パートの重要度を算出してもよい。例えば、重要度算出部５５は、特徴語と特徴画像とに基づいて重要度を算出してもよい。

表示態様設定部５６は、要約画像生成部５７が複数の特徴画像を用いて時系列情報の要約を表す要約画像を生成する際の、各特徴画像の表示態様を設定する。そして、要約画像生成部５７は、表示態様設定部５６が設定した表示態様にしたがって要約画像を生成する。

表示態様設定部５６は、重要度算出部５５が算出した各パートの重要度に基づいて、各特徴画像の表示態様を設定する。具体的には表示態様設定部５６は、複数の特徴画像の大きさを重要度に応じて異ならせる。つまり表示態様設定部５６は、重要度の高いパートの特徴画像を大きく、重要度の低いパートの特徴画像を小さく表示されるよう設定する。

図３は、本実施形態に係る要約画像１００の一例を示す図である。図３に示す要約画像１００は、複数のコマ１１０を含み、各コマ１１０に特徴画像が表示される。複数のコマ１１０は、それぞれ大きさが異なっており、例えばコマ１１０ａはコマ１１０ｂより大きい。そして複数の特徴画像は、各コマ１１０の大きさに応じてそれぞれ異なる大きさで表示されている。これらコマの大きさ、特徴画像の大きさは上述したように重要度に応じて設定されている。なお、表示態様設定部５６は、特徴画像の大きさを設定してもよいし、要約画像１００の各コマ１１０の大きさを設定してもよい。表示態様設定部５６が各コマ１１０の大きさを設定する場合は、要約画像生成部５７が各特徴画像を対応するコマ１１０に応じた大きさに変換して表示させればよい。

図３に示すような要約画像１００は、ネットワークを介して端末装置２０へ送信され、端末装置２０の表示部２４に表示される。端末装置２０の利用者は、端末装置２０の表示部２４に表示された要約画像１００を見ることができる。そして、利用者がいずれかの特徴画像を選択すると、当該特徴画像の出現位置から時系列情報が再生され利用者が視聴できるようになっている。このように利用者はコマ割りされた特徴画像の大きさから重要度を判断することができ、重要度に応じて再生位置を選択することが可能となる。

また、表示態様設定部５６は、要約画像１００における複数の特徴画像それぞれの表示位置を設定してもよい。例えば表示態様設定部５６は、時系列順に特徴画像が並ぶように各特徴画像の表示位置を設定してもよい。また表示態様設定部５６は、特徴画像の大きさに応じて各特徴画像の表示位置を設定してもよい。例えば表示態様設定部５６は特徴画像の大きさが大きい順に並ぶよう各特徴画像の表示位置を設定してもよいし、最も大きい特徴画像が要約画像１００の中心に位置するよう各特徴画像の表示位置を設定してもよい。

また、図３に示す要約画像１００において各特徴画像に当該特徴画像に関連付けられている特徴語を文字で示した文字画像を重畳して表示させる場合がある。このとき、特徴画像の大きさが予め定められた閾値以下または未満の場合に、特徴語文字をすべて表示できないことがある。例えば、特徴語の文字数に対して特徴画像が小さいと、特徴語の文字をすべて表示できない場合がある。そこで、表示態様設定部５６は、各特徴画像の大きさに応じて文字画像を調整する。例えば表示態様設定部５６は、特徴画像の大きさに応じて特徴語の文字がすべて表示されるよう文字画像のサイズを小さくする。また表示態様設定部５６は、特徴画像の大きさに対して特徴語の文字をすべて表示できない場合には、文字画像の表示を制限させてもよい。この場合、要約画像１００を見た利用者が、文字画像の表示が制限されている特徴画像にマウスオーバーすると、文字画像が表示されるようにしてもよい。これらの具体的な処理については後述する。

ここで、本実施形態に係るサーバ１０が実行する要約画像生成処理の一例について図４に示すフロー図を用いて説明する。

まず、時系列情報取得部５０が、時系列情報を取得する（Ｓ１０１）。ここで時系列情報は、音声情報と、複数のフレーム画像を含む画像情報と、を含む。

パート区分部５１は、時系列情報取得部５０が取得した時系列情報を複数のパートに区分する（Ｓ１０２）。ここでパート区分部５１は、時系列情報をＫ個のパートに区分し、区分した各パートに時系列順に１〜Ｋの番号を付す。

そして、変数ｎにｎ＝１の初期値が設定され（Ｓ１０３）、特徴情報取得処理が実行される（Ｓ１０４）。ここで変数ｎは、１以上の整数値をとるカウンタ変数である。

本実施形態に係るサーバが実行する特徴情報取得処理の一例については図５のフロー図を用いて説明する。ここで特徴情報取得処理により取得される特徴情報は各パートの特徴を示す情報であり、本実施形態においては特徴語と特徴画像とが取得される。

まず特徴語取得部５２は、ｎ番目パートの音声情報を取得する（Ｓ２０１）。

次に特徴語取得部５２は、ｎ番目パートの音声情報を音声認識することで文字情報に変換する（Ｓ２０２）。

そして特徴情報取得部は、処理Ｓ２０２において得られた文字情報から、ｎ番目パートの特徴を示す特徴語を抽出する（Ｓ２０３）。

次に特徴画像取得部５３は、処理Ｓ２０３において得られた特徴語の、音声情報における出現位置を取得し、当該出現位置に対応するフレーム画像をｎ番目パートの特徴を示す特徴画像として取得する（Ｓ２０４）。

そして、特徴情報関連付け部５４が、処理Ｓ２０３において取得された特徴語と、処理Ｓ２０４において取得された特徴画像と、を関連付けて（Ｓ２０５）、リターンする。ここで特徴情報関連付け部５４は、パートを識別する番号と、特徴語と、特徴画像と、を関連付けた関連付け情報を記憶部に記憶することとする。

処理Ｓ１０４における特徴情報抽出処理が終了すると、ｎ＝Ｋが成立するか否かが判断される（Ｓ１０５）。つまりＫ個のパートすべてにおいて特徴情報抽出処理が行われたかを判断される。

処理Ｓ１０５の判断の結果、ｎ＝Ｋが成立しないと判断された場合は（Ｓ１０５：Ｎ）、変数ｎに１が加算され（Ｓ１０６）、処理Ｓ１０４以降の処理が繰り返し実行される。

処理Ｓ１０５の判断の結果、ｎ＝Ｋが成立すると判断された場合は（Ｓ１０５：Ｙ）、重要度算出部５５がＫ個のパートそれぞれについての重要度を算出する（Ｓ１０７）。ここで重要度算出部５５により算出された重要度は、関連付け情報に追加して関連付けられて記憶されることとする。

そして、表示態様設定処理が実行される（Ｓ１０８）。本実施形態に係るサーバが実行する表示態様設定処理の一例については図６のフロー図を用いて説明する。

図６に示すように、まず、表示態様設定部５６は、処理Ｓ１０７において重要度算出部５５が算出した各パートの重要度に基づいて、各パートの特徴画像を表示させるコマ１１０の大きさを設定する（Ｓ３０１）。ここでは表示態様設定部５６は、Ｋ個のパートにそれぞれ対応するＫ個のコマ１１０の大きさを設定する。例えば表示態様設定部５６は、重要度の高いパートに対応するコマ１１０を大きく、重要度の低いパートに対応するコマ１１０を小さく設定する。ここで表示態様設定部５６が設定した情報は各パートの関連付け情報に追加して関連付ける。

次に、変数ｍにｍ＝１の初期値が設定される（Ｓ３０２）。ここで変数ｍは、１以上の整数値をとるカウンタ変数である。

そして表示態様設定部５６は、ｍパートの特徴語の文字数を算出する（Ｓ３０３）。また表示態様設定部５６は、ｍパートに対応するコマ１１０に文字を配置する際の配置可能な文字数を算出する（Ｓ３０４）。ここでコマ１１０に配置可能な文字数は、コマ１１０の大きさと使用する文字サイズとに応じて予め定められていることとする。

そして配置可能な文字数が、特徴語の文字数以上となるかが判断される（Ｓ３０５）。
つまり処理Ｓ３０１において設定されたコマ１１０に特徴語の文字をすべて配置することができるかが判断される。

処理Ｓ３０５の判断の結果、配置可能な文字数が特徴語の文字数以上となる場合は（Ｓ３０５：Ｙ）、表示態様設定部５６は、特徴語の文字を示す特徴語文字データを特徴画像に関連付ける（Ｓ３０６）。ここで表示態様設定部５６は、ｍパートに対応する関連付け情報に特徴語文字データを追加して関連付けて記憶する。特徴語文字データは、文字のフォント、配置位置等の情報を含んでいてもよい。なお表示態様設定部５６が、特徴語文字データを関連付けた特徴画像を新たに生成して記憶してもよい。

そして、ｍ＝Ｋが成立するか否かが判断される（Ｓ３０７）。つまりＫ個のパートすべてにおいて特徴語文字データが関連付けられたか判断される。

処理Ｓ３０７の判断の結果、ｍ＝Ｋが成立しないと判断された場合は（Ｓ３０７：Ｎ）、変数ｍに１が加算され（Ｓ３０８）、処理Ｓ３０３以降の処理が繰り返し実行される。

処理Ｓ３０７の判断の結果、ｍ＝Ｋが成立すると判断された場合は（Ｓ３０７：Ｙ）、リターンする。

また、処理Ｓ３０５の判断の結果、配置可能な文字数が特徴語の文字数より少ない場合は（Ｓ３０５：Ｎ）、表示態様設定部５６は、コマ１１０に配置する特徴語の文字を示す特徴語文字データを調整する（Ｓ３０９）。例えば表示態様設定部５６は、特徴語文字データの文字サイズを、コマ１１０に配置可能なサイズに変更する。そして、処理Ｓ３０７以降の処理を実行する。なお、表示態様設定部５６は、特徴語の一部を特徴語文字データとして特徴画像に関連付けてもよい。また表示態様設定部５６は、特徴語文字データが示す特徴語の文字をテロップ表示させるよう設定してもよい。

表示態様設定処理が終了すると、要約画像生成部５７が表示態様設定処理において設定された表示態様に従って要約画像１００を生成し（Ｓ１０９）、要約画像生成処理が終了する。ここでは要約画像生成部５７は、関連付け情報のパート毎に、関連付けられている各種情報に従って要約画像１００を生成すればよい。

図７は、本実施形態に係る要約画像１００の一例を示す図である。図７は、処理Ｓ１０９において要約画像生成部５７が生成する要約画像１００の一例を示している。図７に示す要約画像１００は、各コマ１１０の特徴画像に特徴語文字データに対応する特徴語文字画像２００が重畳されている。そして、小さいコマ１１０ｂの特徴画像に重畳されている特徴語文字画像２００ｂは、大きいコマ１１０ａの特徴画像に重畳されている特徴語文字画像２００ａより文字サイズが小さくなっている。このように小さいコマ１１０ｂの特徴画像にも特徴語の文字をすべて表示させることで、利用者に各パートの情報把握をさせやすくする。

次に、本実施形態に係るサーバが実行する表示態様設定処理の他の例について図８のフロー図を用いて説明する。ここでは特徴画像に特徴語文字画像を重畳させない場合の処理について説明する。

まず表示態様設定部５６は、処理Ｓ１０７において重要度算出部５５が算出した各パートの重要度に基づいて、各パートの特徴画像を表示させるコマ１１０の大きさを設定する
（Ｓ４０１）。

次に表示態様設定部５６は、特徴語文字画像を重畳させないパートを選択する（Ｓ４０２）。ここでは表示態様設定部５６は、配置可能文字数が特徴語文字数より少ないパートを選択する。なお、表示態様設定部５６は、すべてのパートを選択してもよい。

そして表示態様設定部５６は、特徴語文字画像を重畳させないパートについて、特徴語文字画像の代わりに重畳させる代替データを生成する（Ｓ４０３）。ここで代替データは、特徴語文字画像は重畳されていないが文字情報が存在することを、要約画像１００を見る利用者に知らせるためのものである。代替データとしては、例えば画像アイコンや、「・・・」などの文字データとする。

そして表示態様設定部５６は、表示文字データを生成する（Ｓ４０４）。表示文字データは、利用者が特徴語文字画像を重畳させていない特徴画像を選択する操作指示（例えばマウスオーバー操作など）を行った場合に、表示させるものである。表示文字データは、特徴語の文字を示すものであってもよいし、パートに含まれる音声情報を音声認識により変換した文字情報を示すものであってもよい。

表示態様設定部５６は、処理Ｓ４０３において生成した代替データと、表示文字データとを特徴画像に関連付けて（Ｓ４０４）、リターンする。ここで表示態様設定部５６は、各パートに対応する関連付け情報に代替データ及び表示文字データを追加して関連付けて記憶する。

図９は、本実施形態に係る要約画像１００の一例を示す図である。図９は、要約画像生成部５７が、図８に示した表示態様設定処理により設定された表示態様に従って生成した要約画像１００の一例を示している。図９に示す要約画像１００において、小さいコマ１１０ｂの特徴画像には代替データに対応する代替データ画像３００が重畳されている。ここで利用者がマウスオーバー操作等により代替データ画像３００を選択すると、当該操作指示が端末装置２０からサーバ１０へ送信される。サーバ１０が操作指示を受け付けると、要約画像生成部５７が表示文字データに対応する表示文字画像４００を重畳させた要約画像１００を生成する。そして生成された要約画像は端末装置２０へ送信される。そして表示文字画像４００が重畳された要約画像１００が端末装置２０の表示部２４に表示される。なお表示文字画像４００は、表示文字データが示す文字がテロップ表示されるよう構成されていてもよい。

またサーバ１０が、利用者によるマウスオーバー操作等により代替データ画像３００を選択する操作指示を受け付けると、要約画像生成部５７が表示文字データに対応する表示文字画像４００を生成して端末装置２０へ送信することとしてもよい。

本発明は、上記の実施形態に限定されるものではない。

例えば、処理Ｓ３０５において配置可能な文字数が、特徴語の文字数より少ない場合に、特徴語を変更してもよい。ここでは特徴情報取得処理を実行させて、特徴語取得部５２が表示態様設定部５６の設定した大きさのコマに配置される特徴語を取得してもよい。

また、上記の実施形態では、サーバ１０と端末装置２０とが別体の例を示したが、サーバ１０と端末装置２０とが一体の装置であってもよい。

１情報処理システム、１０サーバ、１１，２１制御部、１２，２２記憶部、１３，２３通信部、２０端末装置、２４表示部、２５操作部、５０時系列情報取得部、５１パート区分部、５２特徴語取得部、５３特徴画像取得部、５４特徴情報関連付け部、５５重要度算出部、５６表示態様設定部、５７要約画像生成部、１００要約画像、１１０，１１０ａ，１１０ｂコマ、２００，２００ａ，２００ｂ特徴語文字画像、３００代替データ画像、４００表示文字画像。

Claims

音声情報及び画像情報を含み時間とともに変化する時系列情報を複数のパートに区分する区分手段と、
利用者による操作指示を受け付ける操作指示受付手段と、
前記区分されたパートの重要度に応じた大きさで表示された、前記区分されたパートの特徴を示す特徴画像を含む要約画像を表示すよう制御する表示制御手段と、を備え、
前記表示制御手段は、前記特徴画像の大きさに応じて、当該特徴画像に関連付けられた、前記区分されたパートの特徴を示す特徴語の表示を制限し、前記操作指示受付手段が、前記特徴語の表示の制限をされた前記特徴画像を指示する操作を受け付けると、前記表示の制限をされた前記特徴語を表示させた前記要約画像を表示するよう制御する、
ことを特徴とする情報処理装置。
前記区分されたパートの特徴を示す前記特徴語を当該パートに含まれる前記音声情報に基づいて取得する特徴語取得手段をさらに含み、
前記特徴語取得手段は、前記区分されたパートに対応する前記音声情報における出現頻度に応じて前記特徴語を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
前記特徴画像は、
前記重要度が高いほど大きく表示され、前記重要度が低いほど小さく表示される、
ことを特徴とする請求項１に記載の情報処理装置。
前記重要度は前記音声情報における前記特徴語の出現回数から決定される、
ことを特徴とする請求項１に記載の情報処理装置。
前記重要度は前記音声情報における前記特徴語の音量から決定される、
ことを特徴とする請求項１に記載の情報処理装置。
前記重要度は前記音声情報において前記特徴語が出現する時間の直前に無音の時間があるか否かによって決定される、
ことを特徴とする請求項１に記載の情報処理装置。
前記要約画像生成手段は、
前記特徴画像の大きさが予め定められた閾値以下または未満の場合に、当該特徴画像に関連付けられる前記特徴語を表示させない、
ことを特徴とする請求項１に記載の情報処理装置。
前記要約画像生成手段は、
前記特徴画像の大きさが予め定められた閾値以下または未満の場合に、当該特徴画像に関連付けられる前記特徴語の一部を表示させる、
ことを特徴とする請求項１に記載の情報処理装置。
音声情報及び画像情報を含み時間とともに変化する時系列情報を複数のパートに区分する区分手段、
前記区分されたパートの特徴を示す特徴画像を当該パートに含まれる前記画像情報から取得する特徴画像取得手段、
前記区分されたパートの特徴を示す特徴語を当該パートに含まれる前記音声情報に基づいて取得する特徴語取得手段、
利用者による操作指示を受け付ける操作指示受付手段、
前記区分されたパートの特徴語の重要度に応じた大きさでそれぞれが表示された複数の前記特徴画像であって前記特徴画像の大きさに応じた態様の前記特徴語が関連付けられた前記特徴画像を含む要約画像を生成し、前記特徴画像の大きさに応じて当該特徴画像に関連付けられる前記特徴語の表示を制限し、前記操作指示受付手段が、前記特徴語の表示の制限をされた前記特徴画像を指示する操作を受け付けると、前記表示の制限をされた前記特徴語を表示させた前記要約画像を生成する要約画像生成手段、
としてコンピュータを機能させるためのプログラム。