JP2017174161A - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP2017174161A
JP2017174161A JP2016059546A JP2016059546A JP2017174161A JP 2017174161 A JP2017174161 A JP 2017174161A JP 2016059546 A JP2016059546 A JP 2016059546A JP 2016059546 A JP2016059546 A JP 2016059546A JP 2017174161 A JP2017174161 A JP 2017174161A
Authority
JP
Japan
Prior art keywords
time
tag
text
keyword
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016059546A
Other languages
English (en)
Other versions
JP6165913B1 (ja
Inventor
長 健太
Kenta Cho
健太 長
泰成 宮部
Yasunari Miyabe
泰成 宮部
後藤 和之
Kazuyuki Goto
和之 後藤
政久 篠崎
Masahisa Shinozaki
政久 篠崎
佳祐 酒主
Keisuke Sakanushi
佳祐 酒主
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2016059546A priority Critical patent/JP6165913B1/ja
Priority to US15/453,988 priority patent/US10366154B2/en
Application granted granted Critical
Publication of JP6165913B1 publication Critical patent/JP6165913B1/ja
Publication of JP2017174161A publication Critical patent/JP2017174161A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/58Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザが指定する任意のスケールで時系列テキストの話題を示すタグを表示できるようにする。
【解決手段】実施形態のサーバ装置10は、ユーザ操作に応じて設定された時間範囲内の時系列テキストからキーワードを抽出するキーワード抽出部15と、時間範囲の大きさに応じて定まる時間幅内で複数回出現する同一キーワードの最初の出現時刻から最後の出現時刻までの時間帯に対応し、当該キーワードをラベルとするタグを生成するタグ生成部17と、時間範囲に対応する時間軸を表示する時間軸領域と、時間軸における時間帯に対応させてタグを表示するタグ領域とを有するUI画面を生成し、UI画面上でタグを選択するユーザ操作に応じて、選択されたタグの時間帯を時間範囲に設定してUI画面を更新するUI制御部19と、を備える。
【選択図】図1

Description

本発明の実施形態は、情報処理装置、情報処理方法およびプログラムに関する。
長時間の映像や音声などの様々なコンテンツから必要な部分を効率よく閲覧できるようにするために、階層化されたタグをそれらコンテンツに付加して、タグの階層構造を表示する技術がある。この技術によれば、ユーザは階層化されたタグをたどっていくことで、コンテンツの概要を把握したり、必要な部分を素早く見つけ出したりすることが可能となる。
また、会議の記録やコールセンターにおける電話対応の記録などの大量の時系列テキストを分析する場合においても、必要とする部分の話題把握や特定の話題に対応する部分の発見を容易にするために、時系列テキストの話題を示すタグを表示することが有効である。しかし、従来技術はタグの階層化が固定的であるため、ユーザが指定する任意のスケールで時系列テキストの話題を示すタグを表示することができず、改善が求められる。
特許第3574606号公報
本発明が解決しようとする課題は、ユーザが指定する任意のスケールで時系列テキストの話題を示すタグを表示することができる情報処理装置、情報処理方法およびプログラムを提供することである。
実施形態の情報処理装置は、キーワード抽出部と、タグ生成部と、UI制御部と、を備える。キーワード抽出部は、ユーザ操作に応じて設定された時間範囲内の時系列テキストからキーワードを抽出する。タグ生成部は、前記時間範囲の大きさに応じて定まる時間幅内で複数回出現する同一キーワードの最初の出現時刻から最後の出現時刻までの時間帯に対応し、当該キーワードをラベルとするタグを生成する。UI制御部は、前記時間範囲に対応する時間軸を表示する第1表示領域と、前記時間軸における前記時間帯に対応させて前記タグを表示する第2表示領域とを有するUI画面を生成し、前記UI画面上で前記タグを選択するユーザ操作に応じて、選択された前記タグの時間帯を前記時間範囲に再設定して前記UI画面を更新する。
図1は、実施形態のサーバ装置の機能的な構成例を示すブロック図である。 図2は、ユーザ管理テーブルの一例を示す図である。 図3は、音声テーブルの一例を示す図である。 図4は、時系列テキストテーブルの一例を示す図である。 図5は、キーワードテキストテーブルの一例を示す図である。 図6は、キーワードテーブルの一例を示す図である。 図7は、タグテーブルの一例を示す図である。 図8は、キーワード抽出およびタグ生成の処理の概要を説明する模式図である。 図9は、タグを配置する処理の概要を説明する模式図である。 図10は、UI画面の一例を示す図である。 図11は、UI画面の一例を示す図である。 図12は、UI画面の一例を示す図である。 図13は、サーバ装置による処理手順の一例を示すフローチャートである。 図14は、キーワード抽出処理の一例を示すフローチャートである。 図15は、タグ生成処理の一例を示すフローチャートである。 図16は、UI画面生成処理の一例を示すフローチャートである。 図17は、アジェンダの具体例を示す図である。 図18は、変形例のUI画面の一例を示す図である。 図19は、点検指示書の具体例を示す図である。 図20は、変形例のUI画面の一例を示す図である。 図21は、サーバ装置のハードウェア構成例を示すブロック図である。
<実施形態の概要>
以下、実施形態の情報処理装置、情報処理方法およびプログラムを、図面を参照して詳細に説明する。本実施形態では、時系列テキストとして例えば会議中の発話などの音声を音声認識した認識結果テキストを用い、発話の話題を示すタグを表示することで話題把握を支援するシステムを適用例として想定する。ただし、適用可能な例はこれに限らない。例えば、時系列テキストとして、文字認識を用いて手書き文字や活字などの文字画像を認識したテキストや、認識したテキストを他の言語に機械翻訳したテキストを用いてもよい。
本実施形態の情報処理装置は、例えば、ネットワークを利用したサーバ・クライアントシステムのサーバ装置として実現することができる。システムの形態としては、Webシステムを想定する。この場合、サーバ装置はWebサーバとしての機能を持ち、Webブラウザを搭載したPC(パーソナルコンピュータ)やスマートフォンなどのクライアント端末の表示装置に、後述のUI画面を表示させる。クライアント端末の表示装置に表示されるUI画面は、このUI画面上で行われるユーザ操作に応じて、サーバ装置により更新される。
<サーバ装置の構成>
図1は、本実施形態のサーバ装置10の機能的な構成例を示すブロック図である。本実施形態のサーバ装置10は、例えば図1に示すように、音声記録部11と、音声データ蓄積部12と、音声認識部13と、時系列テキスト蓄積部14と、キーワード抽出部15と、キーワード保持部16と、タグ生成部17と、タグ保持部18と、UI制御部19とを備える。
また、本実施形態のサーバ装置10は、ネットワークを介して、クライアント端末の音声入力装置50と表示装置60とに接続される。音声入力装置50は、クライアント端末に内蔵または外部接続されるマイクと、マイクで収録した音声をサーバ装置10に送信する音声送信部とを含む。表示装置60は、サーバ装置10により生成されてクライアント端末に搭載されたWebブラウザによりレンダリングされるUI画面を表示する液晶ディスプレイなどの表示装置である。なお、音声入力装置50と表示装置60は、同一のクライアント端末が備えるものである必要はない。
ユーザは、クライアント端末を用いてシステムにログインすることで、本実施形態のサーバ装置10によるサービスを利用することができる。システムにログインできるユーザは事前に登録されているものとする。登録されたユーザは、ユーザ管理テーブルT1により管理される。
図2は、ユーザ管理テーブルT1の一例を示す図である。ユーザ管理テーブルT1は、例えば図2に示すように、ユーザに対して一意に割り当てられたユーザIDと、そのユーザIDにより識別されるユーザのユーザ名とを対応付けて格納している。ユーザ名のほかに、ログインに用いるアカウント名やパスワードなどをユーザIDと対応付けて格納してもよい。サーバ装置10に入力された音声はシステム内で共有され、システム内のすべてのユーザが参照することができる。複数のユーザに対してグループを設定し、特定の音声は特定のグループ内のユーザのみで共有できるようにしてもよい。
音声記録部11は、音声入力装置50によってサーバ装置10に入力された音声を音声データ蓄積部12に格納する。音声データ蓄積部12は、サーバ装置10に入力された音声を蓄積する。音声は、例えばリニアPCMのバイトデータで音声データ蓄積部12に格納される。任意の音声コーデックを用いてバイトデータを生成してもよい。
音声データ蓄積部12が蓄積する音声は、音声テーブルT2により管理される。図3は、音声テーブルT2の一例を示す図である。音声テーブルT2は、例えば図3に示すように、音声に対して一意に割り当てられた音声IDと、その音声IDにより識別される音声(音声データ)と、その音声の入力が開始された時刻とを対応付けて格納している。なお、図3の例では、音声の入力が開始された時刻について年、月、日を省略して示している。以下に示す例においても、時刻の表記において年、月、日を省略するが、実際には年、月、日を含む時刻を扱うものとする。
音声認識部13は、音声データ蓄積部12が蓄積する音声に対して音声認識処理を行い、得られた認識結果テキストを時系列テキストとして時系列テキスト蓄積部14に格納する。音声認識部13は、音声記録部11がサーバ装置10に入力された音声を音声データ蓄積部12に格納するのと並行して、サーバ装置10に入力された音声に対して音声認識処理を行ってもよい。また、音声認識処理により複数の認識結果テキストの候補が得られた場合は、これらの候補を含めた時系列テキストを時系列テキスト蓄積部14に格納してもよい。時系列テキスト蓄積部14は、音声認識部13の音声認識処理により得られた時系列テキストを蓄積する。
時系列テキスト蓄積部14が蓄積する時系列テキストは、時系列テキストテーブルT3により管理される。図4は、時系列テキストテーブルT3の一例を示す図である。時系列テキストテーブルT3は、例えば図4に示すように、時系列テキストに対して一意に割り当てられた時系列テキストIDと、その時系列テキストIDにより識別される時系列テキストと、その時系列テキストの時刻と、その時系列テキストに対応する音声を発話したユーザのユーザIDと、その音声の音声IDとを対応付けて格納している。
時系列テキストの時刻は、その時系列テキストに対応する音声の時刻、つまり、その時系列テキストを得るために音声認識処理を行った音声の入力が開始された時刻である。時系列テキストは、上述のように複数の認識結果テキストの候補を含んでいてもよい。
キーワード抽出部15は、時系列テキスト蓄積部14が蓄積する時系列テキストのうち、ユーザ操作に応じて設定された時間範囲内の時系列テキストからキーワードを抽出する。時間範囲を設定するユーザ操作としては、範囲指定が可能な任意の方法を用いることができる。例えば、クライアント端末としてスマートフォンを用いる場合はスマートフォンでのピンチイン、ピンチアウト操作、クライアント端末としてPCを用いる場合はPCでのマウス操作などに応じて時間範囲を設定してもよいし、プルダウンリストなどで時間範囲の始端と終端を指定する操作に応じて時間範囲を設定してもよい。
キーワード抽出部15は、時系列テキストテーブルT3を参照し、時系列テキスト蓄積部14が蓄積する時系列テキストのうち、以上のように設定された時間範囲内の時刻を持つ時系列テキストを切り出す。そして、キーワード抽出部15は、切り出した時系列テキストからキーワードを抽出する。キーワードの抽出は、例えば、TF−IDFなどのワードの出現頻度に関連する尺度を用いた手法で行い、キーワードとその重要度を示す重みを算出する。例えば、キーワード抽出部15は、切り出した時系列テキストに対して形態素解析を行い、名詞や未知語を対象にTF−IDFなどを用いて重みを算出して、重みの高い順にソート、上位一定数のものをキーワードとする。
キーワードの重みは、一例として、TF−IDFによって算出されるそのキーワード固有の重みと、そのキーワードが出現する時刻から一定時間範囲の時系列テキストにそのキーワードが何個出現するかの頻度を掛け合わせることで算出される。そのため、同一キーワードに対する重みは、その出現時刻によって異なる場合がある。
なお、連続して出現する複数のキーワードを連結して新たなキーワードにするなどの後処理を行ってもよい。また、ワードの共起関係などを用いる別の尺度を用いてキーワードの抽出を行ってもよい。また、時系列テキストが複数の認識結果テキストの候補を含む場合は、これら候補のそれぞれからキーワードを抽出してもよい。
キーワード抽出部15は、以上の処理により、設定された時間範囲内の時系列テキストからキーワードを抽出すると、抽出した各キーワードを管理するためのキーワードテキストテーブルT4およびキーワードテーブルT5を生成して、キーワード保持部16に格納する。キーワード保持部16は、キーワードテキストテーブルT4およびキーワードテーブルT5を一時的に(例えば、時間範囲の設定が変更されるまで)保持する。
図5は、キーワード保持部16が保持するキーワードテキストテーブルT4の一例を示す図である。キーワードテキストテーブルT4は、例えば図5に示すように、キーワードテキスト(キーワードの表記にあたるテキスト)に対して一意に割り当てられたキーワードテキストIDと、そのキーワードテキストIDにより識別されるキーワードテキストとを対応付けて格納している。
図6は、キーワード保持部16が保持するキーワードテーブルT5の一例を示す図である。キーワードテーブルT5は、例えば図6に示すように、キーワード抽出部15が抽出したキーワードに対して一意に割り当てられたキーワードIDと、そのキーワードIDにより識別されるキーワードに対応するキーワードテキストIDと、そのキーワードが出現した時刻と、そのキーワードに対して算出された重みと、そのキーワードが出現した時系列テキストの時系列テキストIDとを対応付けて格納している。
本実施形態では、キーワードが出現した時刻として、そのキーワードが含まれる時系列テキストの時刻(時系列テキストに対応する音声の入力開始時刻)を用いるが、これに限らない。例えば、音声認識処理においてワード単位でその出現時刻を記録している場合は、そのワード単位で記録した出現時刻をキーワードの出現時刻として用いてもよい。
タグ生成部17は、キーワード保持部16が保持するキーワードテキストテーブルT4およびキーワードテーブルT5を参照し、キーワード抽出部15が抽出したキーワードのうち、一定時間幅でキーワードテキストが同じキーワード群を特定する。時間幅は、ユーザ操作に応じて設定された時間範囲の大きさに応じて定まる。タグ生成部17は、この時間幅内で複数回出現する同一キーワード(キーワードテキストが同じキーワード)の最初の出現時刻から最後の出現時刻までの時間帯に対応し、当該キーワード(キーワードテキスト)をラベルとするタグを生成する。タグ生成の基準として用いる時間幅は、例えば、ユーザ操作に応じて設定された時間範囲の10分の1などが用いられる。なお、ユーザ操作に応じて設定された時間範囲の大きさと、タグ生成の基準として用いる時間幅との関係は、上記の例に限らず、用途などに応じて任意に定めておけばよい。
タグ生成部17は、特定したキーワード群の中で出現時刻が上述の時間幅内で密集しているキーワード同士を一つにまとめることで、ユーザ操作に応じて設定された時間範囲内での時系列テキストの話題を示すタグを生成する。つまり、設定された時間範囲内で発話が繰り返されているキーワードは、その時間範囲内での話題を示していることが多いため、そのキーワードをタグ化する。タグを後述のUI画面に表示する際には、その対応する時間帯に配置され、そのタグのラベルであるキーワードテキストが表示される。
タグ生成部17は、以上の処理により、時系列テキストの話題を示すタグを生成すると、生成したタグを管理するためのタグテーブルT6を生成してタグ保持部18に格納する。タグ保持部18は、タグテーブルT6を一時的に(例えば、時間範囲の設定が変更されるまで)保持する。
図7は、タグ保持部18が保持するタグテーブルT6の一例を示す図である。タグテーブルT6は、例えば図7に示すように、タグ生成部17により生成されたタグに対して一意に割り当てられたタグIDと、そのタグIDにより識別されるタグに対応するキーワードテキストのキーワードテキストIDと、そのタグの時間帯を表す開始時刻および終了時刻と、そのタグに対して算出された重みと、そのタグの代表時系列テキストを識別する代表時系列テキストIDとを対応付けて格納している。
開始時刻は、タグとして生成したキーワードの最初の出現時刻を示しており、終了時刻は、タグとして生成したキーワードの最後の出現時刻を示している。これら開始時刻と終了時刻との間の時間帯が、当該タグの時間帯となる。タグの重みは、一つにまとめられた各キーワードの重みに基づいて算出される。例えば、それぞれのキーワードの重みの合算を用いてもよいし、タグの表示幅が長いほど重みが高くなるなどの補正を行ってもよい。また、それぞれのキーワードの重みの平均を用いてもよい。代表時系列テキストは、そのタグに対応するキーワードが抽出された時系列テキストのうちの代表的な時系列テキストであり、その時系列テキストの時系列テキストIDが代表時系列テキストIDである。代表時系列テキストとしては、例えば、一つにまとめられたキーワードの中で最大の重みを持つものが抽出された時系列テキストが用いられる。他のキーワードも多く含む時系列テキストを優先的に代表時系列テキストとするなどの補正を行ってもよい。
図8は、キーワード抽出およびタグ生成の処理の概要を説明する模式図である。キーワード抽出部15は、まず、時系列テキスト蓄積部14が蓄積する時系列データに対して、ユーザ操作に応じて設定された時間範囲で切り出しを行う。図8の例では、2014年1月20日の13時から14時が時間範囲として設定され、この時間範囲内の時系列テキストが切り出されている。
次に、キーワード抽出部15は、切り出した時系列テキストに対して、キーワードの抽出を行う。キーワードにはそのテキスト(キーワードテキスト)、そのキーワードが含まれる時系列テキストの時刻、重みが含まれる。図8の例では、切り出された時系列テキストは、システム開発に関するある会議の認識結果テキストである。キーワード抽出部15は、これらの時系列テキストに対して形態素解析を行い、名詞や未知語を対象に重みを算出して重みの高い順にソートし、上位一定数のものをキーワードとする。そして、キーワード抽出部15は、図5に例示したキーワードテキストテーブルT4と、図6に例示したキーワードテーブルT5とを生成し、キーワード保持部16に格納する。
次に、タグ生成部17が、キーワードテーブルT5内の同一キーワードテキストIDを持つキーワードに対して、その時刻(出現時刻)が、時間範囲の大きさに応じて定まる時間幅内にあるものを一つにまとめてタグとする。図8の例では、13:00:15、13:00:19、13:01:35に出現している「転属」というキーワード(図5および図6参照)が、一つのタグとしてまとめられる。この「転属」タグは、上記の時間幅内で「転属」というキーワードが最初に出現した時刻である13:00:15から最後に出現した時刻である13:01:35までの時間帯を持つ。また、図8の例では、同様にして、「ビルドツール」タグ、「コード規約」タグ、「プロセスヘルスチェック」タグ、「インテグレーションツール」タグなどが生成されている。そして、タグ生成部17は、図7に例示したタグテーブルT6を生成し、タグ保持部18に格納する。
UI制御部19は、クライアント端末の表示装置60が表示するUI画面を生成する。UI制御部19が生成するUI画面は、ユーザ操作に応じて設定された時間範囲を表す時間軸に対応させて、タグ生成部17が生成したタグを配置し、それぞれのタグに対応する代表時系列テキストを併せて表示する画面である。また、UI制御部19は、UI画面上で行われるユーザ操作に応じて、UI画面の更新を行う。特にUI画面上で任意のタグを選択する操作が行われると、UI制御部19は、選択されたタグに対応する時間帯を上述した時間範囲に再設定する。これにより、再設定された新たな時間範囲に基づくキーワード抽出およびタグ生成が行われる。UI制御部19は、このようにして新たに生成されたタグを用いてUI画面を再生成し、表示装置60が表示するUI画面を更新する。
図9は、タグを配置する処理の概要を説明する模式図である。タグ生成部17により生成されたタグは、図9(a)に示すように、キーワードの出現時刻に応じた時間帯を持つ。UI制御部19は、タグ生成部17により生成されたタグを重みの高い順にソートしてリストに入れる。そして、リストから最も重みの高いから順にタグを選択し、選択したタグを対応する時間帯へ配置可能かを確認して、配置可能であればその時間帯に配置する。その後、選択したタグをリストから削除する。UI制御部19は、以上の処理をリストが空になるまで行う。図9(b)は、最も重みの高い「ビルドツール」タグを配置した様子を示し、図9(c)は、図9(a)に示す全てのタグの配置を試みた結果を示している。
UI制御部19が生成するUI画面は、タグを配置可能な複数の列を持つ。図9(b)および図9(c)の例では、タグを配置可能な2列のスペースがあり、同一時間帯に2つのタグを配置できる。タグを配置可能な列の数は、UI画面をレンダリングするブラウザの横幅などに応じて変化する。タグは、重みの高い順に、対応する時間帯の空いている列に配置される。配置するスペースがない場合、そのタグを配置する処理はスキップされる。UI制御部19は、この処理を生成された全てのタグに対して行う。
UI制御部19は、以上のようにしてタグを配置した後、各タグに対応する代表時系列テキストを配置する。代表時系列テキストも、タグと同様に、重みでソートされたタグごとに配置が試みられる。なお、代表時系列テキストを配置する場所は、可能な限り対応するタグの時間帯に一致するようにするが、座標のずれも許容される。
UI制御部19は、以上の処理により、ユーザ操作に応じて設定された時間範囲に対応する時間軸、タグ生成部17が生成したタグおよびタグの代表時系列テキストを表示するUI画面を生成する。UI制御部19により生成されたUI画面は、クライアント端末の表示装置60に表示される。
図10は、UI制御部19により生成されてクライアント端末の表示装置60に表示されるUI画面20の一例を示す図である。このUI画面20は、ユーザ操作に応じて設定された時間範囲に対応する時間軸を表示する画面左側の時間軸領域21(第1表示領域)と、時間軸領域21の時間軸における時間帯に対応させてタグを表示する画面中央のタグ領域22(第2表示領域)と、タグ領域22に表示されるタグに対応する代表時系列テキストを表示する画面右側の発話一覧領域23(第3表示領域)とを有する。
図10の例では、ユーザ操作に応じて2013年12月6日から2014年1月20日という1ヶ月以上の時間範囲が設定され、この時間範囲に対応する時間軸が時間軸領域21に表示された例を示している。ユーザ操作に応じて設定された時間範囲に時系列テキストが存在しない時間帯が多く含まれる場合は、図10に例示するように、それらの時間帯を省略して表示してもよい。
タグ領域22には、設定された時間範囲内の時系列テキストを対象としてタグ生成部17が生成したタグのうち、重みの高い順に配置可能なタグが表示される。また、発話一覧領域23には、タグ領域22に配置されたタグの代表時系列テキストのうち、タグの重みが高い順に配置可能な代表時系列テキストが表示される。これらタグ領域22に表示されるタグと発話一覧領域23に表示される代表時系列テキストは、所定の視覚表現によって対応関係が明示的に示されていることが望ましい。図10の例では、タグと代表時系列テキストとを繋ぐ線により、これらタグと代表時系列テキストとの対応関係を明示的に示している。なお、タグと代表時系列テキストとの対応関係を明示的に示す視覚表現はこの例に限らない。例えば、対応関係にあるタグと代表時系列テキストの背景を同じ色で表示するなど、他の視覚表現を用いてもよい。
ユーザは、以上のようなUI画面20上で、タグ領域22に表示されているタグを選択することができる。ユーザ操作によりタグが選択されると、そのタグに対応する時間帯が新たな時間範囲に設定され、新たな時間範囲に基づくキーワード抽出およびタグ生成が行われて、UI画面20が更新される。
図11は、ユーザ操作に応じて更新されたUI画面20の一例を示す図であり、図10のUI画面20上で「ビルドプロセス」タグが選択されたことに応じて更新されたUI画面20を示している。図10のUI画面20上でユーザにより「ビルドプロセス」タグが選択されると、「ビルドプロセス」タグの時間帯である2014年1月20日13:00付近から14:00付近までの時間帯が、新たな時間範囲に設定される。そして、この時間範囲に対応する時間軸が時間軸領域21に表示される。また、この時間範囲内の時系列テキストを対象としてタグ生成部17が生成したタグのうち、重みの高い順に配置可能なタグがタグ領域22に表示される。また、タグ領域22に配置されたタグの代表時系列テキストのうち、タグの重みが高い順に配置可能な代表時系列テキストが表示される。代表時系列テキストに候補のテキストが含まれる場合、ユーザが選択したタグのラベルである「ビルドプロセス」というキーワードが含まれるテキストを優先的に表示してもよい。
また、図11に示すように、ユーザにより選択された「ビルドプロセス」タグはタグ領域22の左端に表示され、ユーザがこのタグを選択すると、図10に示したUI画面20に戻る。
図12は、ユーザ操作に応じて更新されたUI画面20の一例を示す図であり、図11のUI画面20上で「ビルドツール」タグが選択されたことに応じて更新されたUI画面20を示している。図11のUI画面20のタグ領域22には、2つの「ビルドツール」タグが表示されている。これは、キーワードテキストが「ビルドツール」であるキーワードが、設定された時間範囲内の異なる時間帯で繰り返し出現したことによるものである。この図11のUI画面20上でユーザによりいずれか一方の「ビルドツール」タグが選択されると、選択された「ビルドツール」タグの時間帯に加えて、同じラベルを持つ他方の「ビルドツール」タグの時間帯も、新たな時間範囲に設定される。そして、これらの時間範囲に対応する時間軸が時間軸領域21に表示される。また、これらの時間範囲内の時系列テキストを対象としてタグ生成部17が生成したタグのうち、重みの高い順に配置可能なタグがタグ領域22に表示される。また、タグ領域22に配置されたタグの代表時系列テキストのうち、タグの重みが高い順に配置可能な代表時系列テキストが表示される。
また、図12に示すように、ユーザにより選択された「ビルドツール」タグと、同じラベルを持つ他方の「ビルドツール」タグがタグ領域22の左端に表示され、ユーザがこれらのタグの一方を選択すると、図11に示したUI画面20に戻る。
また、図12のUI画面20では、発話一覧領域23のさらに右側に、ユーザがテキストの編集を行うための議事録作成領域24(第4表示領域)が追加されている。UI画面20に対する議事録作成領域24の追加/削除は、UI画面20上の所定のボタン操作などにより任意のタイミングで切り替えることができる。本実施形態では、会議中の発話の音声認識テキストを時系列データとして用いることを想定しており、ユーザはこの議事録作成領域24を用いて会議の議事録を作成することができる。なお、議事録作成領域24の追加/削除を切り替えるボタンは図示を省略している。
UI画面20に議事録作成領域24が追加されると、図12に示すように、発話一覧領域23に表示されている代表時系列テキストのそれぞれに対して、「転写」ボタン31と「一覧(代表)」ボタン32とが付加される。「一覧(代表)」ボタン32は、発話一覧領域23の表示モードに応じて、ラベル表記が「一覧」と「代表」とで切り替わる。図12では「一覧」ボタン32を示している。
ユーザにより「転写」ボタン31が押されると、押された「転写」ボタン31に対応する代表時系列テキストが議事録作成領域24に転写される。「転写」ボタン31の操作に応じて代表時系列テキストを議事録作成領域24に転写する際、転写する代表時系列テキストに対応する音声(元データ)を再生するようにしてもよい。また、代表時系列テキストが原言語のテキストを機械翻訳した翻訳語のテキストである場合、原言語のテキスト(元データ)を議事録作成領域24などに一定時間表示させるようにしてもよい。また、代表時系列テキストが手書き文字や活字などの文字画像を文字認識したテキストである場合、文字画像(元データ)を議事録作成領域24などに一定時間表示させるようにしてもよい。
ユーザにより「一覧」ボタン32が押されると、発話一覧領域23の表示モードが、代表時系列テキストのみを表示する第1モードから、代表時系列テキストとその周辺の時系列テキストとを表示する第2モードへと切り替わる。そして、押された「一覧」ボタン31に対応する代表時系列テキストの周辺の時系列テキスト全てが発話一覧領域23に表示されるようになる。この第2モードでは、発話一覧領域23をスクロールさせることで、さらに周辺の時系列テキストを閲覧することができる。また、各時系列テキストに付加される「一覧」ボタン32が「代表」ボタン32となり、「代表」ボタン32が押されると、発話一覧領域23の表示モードが第2モードから第1モードへと切り替わり、代表時系列テキストのみが発話一覧領域23に表示される元の画面に戻る。
<サーバ装置の動作>
次に、本実施形態のサーバ装置10の動作について、図13乃至図16のフローチャートを参照しながら説明する。なお、以下では、音声入力装置50によってサーバ装置10に入力された音声が、音声データ蓄積部12にすでに蓄積されているものとし、ユーザがサーバ装置10にログインして表示装置60でUI画面20を閲覧する際のサーバ装置10の動作を説明する。
図13は、本実施形態のサーバ装置10による処理手順の一例を示すフローチャートである。まず、ユーザがサーバ装置10にログインして時間範囲を指定する所定の操作を行うと、UI制御部19がこのユーザ操作に応じて時間範囲を設定する(ステップS101)。
次に、キーワード抽出部15が、ステップS101で設定された時間範囲に基づいて、キーワード抽出処理を実施する(ステップS102)。
図14は、キーワード抽出処理の一例を示すフローチャートである。キーワード抽出処理が開始されると、キーワード抽出部15は、まず、時系列テキスト蓄積部14が蓄積する時系列テキストから、ステップS101で設定された時間範囲で時系列テキストの切り出しを行う(ステップS201)。そして、キーワード抽出部15は、ステップS201で切り出した時系列テキストからキーワードを抽出する(ステップS202)。
その後、キーワード抽出部15は、ステップS202の結果に応じて、キーワードテキストテーブルT4およびキーワードテーブルT5を生成してキーワード保持部16に格納し(ステップS203)、キーワード抽出処理を終了する。
キーワード抽出処理が終了すると、次に、タグ生成部17が、キーワード保持部16が保持するキーワードテキストテーブルT4およびキーワードテーブルT5に基づいて、タグ生成処理を実施する(ステップS103)。
図15は、タグ生成処理の一例を示すフローチャートである。タグ生成処理が開始されると、タグ生成部17は、まず、キーワード保持部16が保持するキーワードテキストテーブルT4およびキーワードテーブルT5を参照し、ステップS102で抽出されたキーワードのうち、ステップS101で設定された時間範囲に応じて定まる所定の時間幅内で複数回出現する同一キーワードを一つにまとめてタグ化する(ステップS301)。ここで生成されるタグは、一つにまとめたキーワードの最初の出現時刻から最後の出現時刻までの時間帯を持ち、そのキーワードのキーワードテキストをラベルとする。
次に、タグ生成部17は、ステップS301で生成したタグの重みを算出する(ステップS302)。そして、タグ生成部17は、ステップS301およびステップS302の結果に応じて、タグテーブルT6を生成してタグ保持部18に格納し(ステップS303)、タグ生成処理を終了する。
タグ生成処理が終了すると、次に、UI制御部19が、UI画面生成処理を実施する(ステップS104)。
図16は、UI画面生成処理の一例を示すフローチャートである。UI画面生成処理が開始されると、UI制御部19は、まず、ステップS101で設定された時間範囲に対応する時間軸を、UI画面20の時間軸領域21に表示する(ステップS401)。
次に、UI制御部19は、タグ保持部18が保持するタグテーブルT6を参照し、ステップS103で生成されたタグを重みの高い順にソートしてリストを生成する(ステップS402)。そして、UI制御部19は、ステップS402で生成したリストの先頭からタグを取り出し(ステップS403)、そのタグをUI画面20のタグ領域22の対応する時間帯に配置可能か否かを判定する(ステップS404)。ここで、ステップS403でリストから取り出したタグが配置可能であれば(ステップS404:Yes)、対応する時間帯にタグを配置して(ステップS405)、そのタグをリストから削除する(ステップS406)。一方、ステップS403でリストから取り出したタグを配置できない場合は(ステップS404:No)、そのタグをそのままリストから削除する(ステップS406)。
その後、UI制御部19は、ステップS402で生成したリストが空になったか否かを判定し(ステップS407)、リストが空でなければ(ステップS407:No)、ステップS403に戻って以降の処理を繰り返す。一方、リストが空になると(ステップS407:No)、UI制御部19は、UI画面20のタグ領域22に表示するタグの代表時系列テキストを発話一覧領域23に表示して(ステップS408)、UI画面生成処理を終了する。
UI画面生成処理が終了すると、UI制御部19は、生成したUI画面20をクライアント端末の表示装置60に表示させる(ステップS105)。その後、UI制御部19は、UI画面20上でいずれかのタグを選択するユーザ操作の有無を監視する(ステップS106)。そして、いずれかのタグが選択された場合は(ステップS106:Yes)、ステップS101に戻って、選択されたタグの時間帯を新たな時間範囲に設定する。その後、ステップS102以降の処理が繰り返されることにより、UI画面20が更新される。
また、タグが選択されずに(ステップS106:No)、UI画面20に議事録作成領域24を追加する所定の操作が行われた場合、UI制御部19は、発言一覧領域23の代表時系列テキストに付加された「転写」ボタン31や「一覧(代表)」ボタン32を押すユーザ操作の有無を監視する(ステップS107、ステップS109)。そして、「転写」ボタン31を押す操作があった場合は(ステップS107:Yes)、操作された「転写」ボタン31に対応する代表時系列テキストを議事録作成領域24に転写する(ステップS108)。また、「一覧(代表)」ボタン32を押す操作があった場合は(ステップS109:Yes)、発話一覧領域23の表示モードを、代表時系列テキストのみを表示するモードと代表時系列テキストとその周辺の時系列テキストとを併せて表示するモードとの間で切り替える(ステップS110)。
その後、UI画面20の表示を終了する操作が行われるまで(ステップS111:No)、ステップS106以降のUI画面20上におけるユーザ操作の監視が継続され、UI画面20の表示を終了する操作が行われると(ステップS111:Yes)、サーバ装置10の一連の動作が終了する。
<実施形態の効果>
以上、具体的な例を挙げながら詳細に説明したように、本実施形態のサーバ装置10は、ユーザ操作に応じて設定された時間範囲内の時系列テキストからキーワードを抽出し、所定の時間幅内の同一キーワードを一つにまとめて時間帯を持つタグを生成し、設定された時間範囲を表す時間軸上で対応する時間帯にタグを配置したUI画面20を生成して表示装置60に表示させるようにしている。そして、UI画面20上でタグを選択するユーザ操作があると、選択されたタグの時間帯を新たな時間範囲に再設定し、UI画面20を更新するようにしている。したがって、本実施形態によれば、ユーザが指定する任意のスケールで時系列テキストの話題を示すタグを表示することができる。
また、本実施形態のサーバ装置10は、重みの高い順にUI画面20のタグ領域22に配置できるタグのみを選択してタグ領域22に表示させるようにしているので、重要度の高いタグをUI画面20上で見やすく表示させることができる。
また、本実施形態のサーバ装置10は、UI画面20のタグ領域22に表示されるタグの代表時系列テキストを発話一覧領域23に表示させるようにしているので、話題の概要把握を適切に支援することができる。また、このとき、複数のテキスト候補を含む時系列テキストが代表時系列テキストとして選択された場合に、ユーザ操作により選択されたタグのキーワードを含むテキスト候補を代表時系列テキストとして発話一覧領域23に表示させることで、ユーザ操作により選択されたタグと新たに表示されるタグとの関連性をユーザに的確に把握させることができる。
また、本実施形態のサーバ装置10は、タグ領域22に表示されるタグと発話一覧領域23に表示される代表時系列テキストとを線で繋ぐなど、これらの対応関係を明示的に示す視覚表現を含むUI画面20を生成して表示装置60に表示させるようにしているので、表示されるタグと代表時系列テキストとの対応関係をユーザに的確に把握させることができる。
また、本実施形態のサーバ装置10は、UI画面20の発話一覧領域23の表示モードを、「一覧(代表)」ボタン32の操作に応じて、代表時系列テキストのみを表示するモードと、代表時系列テキストとその周辺の時系列テキストとを表示するモードとの間で切り替えられるようにしているので、必要な情報の探索を適切に支援することができる。
また、本実施形態のサーバ装置10は、所定のユーザ操作に応じて、ユーザがテキストの編集を行うための議事録作成領域24をUI画面20に追加するようにしているので、蓄積された時系列テキストを用いたテキスト編集作業を適切に支援することができる。
また、本実施形態のサーバ装置10は、UI画面20の発話一覧領域23に表示されている代表時系列テキストを、この代表時系列テキストに付加された「転写」ボタン31の操作に応じて、議事録作成領域24に転写するようにしているので、テキスト編集作業を効率よく行わせることができる。また、このとき、議事録作成領域24に転写する代表時系列テキストの元データを再生または表示させるようにしているので、ユーザにその代表時系列テキストの内容を確実に認識させることができる。
<変形例>
なお、以上説明した実施形態では、スマートフォンやPCを用いたユーザ操作に応じて最初の時間範囲を設定することを想定したが、例えば、ユーザにより指定された会議のアジェンダを利用して時間範囲の設定を行ってもよい。
図17は、ユーザにより指定された会議のアジェンダの具体例を示す図であり、図18は、このアジェンダに沿って進行された会議の発話の認識結果テキストを時系列テキストとした場合のUI画面20’の一例を示す図である。図18(a)に示すUI画面20’では、時間軸領域21’に図17のアジェンダ内の議題が表示されている。この時間軸領域21’で表示される議題の一つをユーザが指定すると、例えば図18(b)に示すように、UI画面20’がユーザにより指定された議題に関連する部分のみの表示に切り替わる。図18(b)は、図18(a)のUI画面20’上で「ビルドツール比較」の議題がユーザによって指定された場合に表示されるUI画面20’を示している。
本変形例では、ユーザが特定の会議を指定すると、まず、その会議の時系列テキストを対象として、上述した実施形態と同様の方法によりタグの生成および配置が行われる。その後、指定された会議のアジェンダがテキストファイルとしてサーバ装置10に入力されると、UI制御部19は、そのアジェンダを用いて議題リストを生成する。議題リストは、例えば、サーバ装置10に入力されたテキストファイル中で議題とアイテマイズされている行から下の各行のテキストを議題として認識することで生成される。議題リストは、他のテキスト解析技術を用いてアジェンダから生成してもよいし、何らかのUIを用いてユーザが明示的に入力してもよい。また、すでに生成されているタグから議題として用いるタグを選択してもよい。
その後、UI制御部19は、議題リストから先頭の議題を取り出し、その議題に最も類似したタグを検索する。タグの類似度は、例えば、議題とタグを形態素解析により分かち書きし、分かち書きされたそれぞれのテキストが一致した語の文字の総数を用いる。一致する総数が最大のタグを、最も類似したタグとして選択する。すべてのタグに対して一致する総数が0の場合は、類似したタグが存在しないものとする。
ここで、同じラベルを持つタグが複数見つかった場合は、それら複数のタグを時間帯の出現順でソートする。そして、最も早く出現するタグの時間帯にある時系列テキストの後ろに、その後のタグの時間帯にある時系列テキストを順に挿入し、タグの時間帯の時系列テキストをまとめることで、タグに対応する時系列テキストが連続するように並び替える。この動作を議題リストが空になるまで繰り返す。
その後、タグ生成部17が、以上の処理によって順番が入れ替えられた時系列テキストに対して再度タグを生成する。その際に、議題に最も類似するタグとして利用されたタグは生成しないようにする。そして、タグ生成部17により生成されたタグが、上述した実施形態と同様に、UI画面20’のタグ領域22に表示される。
また、会議のアジェンダ以外にも、例えば、ユーザにより指定された点検指示書の点検項目を利用して時間範囲の設定を行ってもよい。この場合、時系列テキストは、この点検指示書に従って点検結果を音声で入力した認識結果テキストなどである。また、時系列でメモ書きしたテキストや、メモをOCRなどで文字認識したテキストを、時系列テキストとして用いてもよい。
図19は、ユーザにより指定された点検指示書の具体例を示す図であり、図20は、この点検指示書に従って点検結果を音声で入力した認識結果テキストを時系列テキストとした場合のUI画面20’の一例を示す図である。図20に示すUI画面20’では、時間軸領域21’に図19の点検指示書の点検項目が表示されている。この時間軸領域21’で表示される点検項目の一つをユーザが指定すると、UI画面20’がユーザにより指定された点検項目に関連する部分のみの表示に切り替わる。なお、サーバ装置10の動作は、会議のアジェンダを利用する場合と同様であるので、説明を省略する。
<補足説明>
本実施形態のサーバ装置10は、例えば、一般的なコンピュータを構成するハードウェアと、コンピュータで実行されるプログラム(ソフトウェア)との協働により実現することができる。例えば、コンピュータが所定のプログラムを実行することによって、上述した音声記録部11、音声認識部13、キーワード抽出部15、タグ生成部17およびUI制御部19を実現することができる。また、コンピュータが備える大容量記憶装置を用いて、上述した音声データ蓄積部12、時系列テキスト蓄積部14、キーワード保持部16およびタグ保持部18を実現することができる。なお、キーワード保持部16やタグ保持部18は、一時的にデータを保持するRAMなどの記憶装置を用いて実現してもよい。
図21は、本実施形態のサーバ装置10のハードウェア構成例を示すブロック図である。サーバ装置10は、例えば図21に示すように、CPU101などのハードウェアプロセッサと、RAM102やROM103などの記憶装置と、HDD104などの大容量記憶装置と、ネットワーク40を介して外部と通信を行う通信I/F105と、周辺機器を接続するための機器I/F106と、を備えた通常のコンピュータとしてのハードウェア構成を有する。
このとき、上記のプログラムは、例えば、磁気ディスク、光ディスク、半導体メモリ、またはこれに類する記録媒体に記録されて提供される。プログラムを記録する記録媒体は、コンピュータシステムが読み取り可能な記録媒体であれば、その記憶形式は何れの形態であってもよい。また、上記プログラムを、コンピュータに予めインストールするように構成してもよいし、ネットワークを介して配布される上記のプログラムをコンピュータに適宜インストールするように構成してもよい。
上記のコンピュータで実行されるプログラムは、上述した音声記録部11、音声認識部13、キーワード抽出部15、タグ生成部17およびUI制御部19などの機能的な各部を含むモジュール構成となっており、プロセッサがこのプログラムを適宜読み出して実行することにより、上述した各部がRAM102などの主記憶上に生成されるようになっている。
なお、本実施形態のサーバ装置10は、上述した機能的な各部の一部または全部を、ASIC(Application Specific Integrated Circuit)やFPGA(Field-Programmable Gate Array)などの専用のハードウェアにより実現する構成であってもよい。
また、本実施形態のサーバ装置10は、複数台のコンピュータを通信可能に接続したネットワークシステムとして構成し、上述した各部を複数台のコンピュータに分散して実現する構成であってもよい。また、本実施形態のサーバ装置10は、クラウドシステム上で動作する仮想マシンであってもよい。
また、以上説明した実施形態では、本実施形態の情報処理装置をサーバ・クライアントシステムのサーバ装置10として実現し、クライアント端末の音声入力装置50から音声を入力し、クライアント端末の表示装置60にUI画面を表示させる例を想定したが、これに限らない。本実施形態の情報処理装置は、上述したサーバ装置10としての機能を持つだけでなく、音声入力装置50としての機能や、表示装置60としての機能を持つ構成であってもよい。すなわち、本実施形態の情報処理装置は、上述したサーバ装置10と音声入力装置50または表示装置60の少なくとも一方とが一体化された構成であってもよい。
以上、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
10 サーバ装置
14 時系列テキスト蓄積部
15 キーワード抽出部
16 キーワード保持部
17 タグ生成部
18 タグ保持部
19 UI制御部
20 UI画面
21 時間軸領域
22 タグ領域
23 発話一覧領域
24 議事録作成領域
31 「転写」ボタン
32 「一覧(代表)」ボタン
60 表示装置

Claims (11)

  1. ユーザ操作に応じて設定された時間範囲内の時系列テキストからキーワードを抽出するキーワード抽出部と、
    前記時間範囲の大きさに応じて定まる時間幅内で複数回出現する同一キーワードの最初の出現時刻から最後の出現時刻までの時間帯に対応し、当該キーワードをラベルとするタグを生成するタグ生成部と、
    前記時間範囲に対応する時間軸を表示する第1表示領域と、前記時間軸における前記時間帯に対応させて前記タグを表示する第2表示領域とを有するUI画面を生成し、前記UI画面上で前記タグを選択するユーザ操作に応じて、選択された前記タグの時間帯を前記時間範囲に再設定して前記UI画面を更新するUI制御部と、を備える情報処理装置。
  2. 前記タグ生成部は、生成した前記タグのそれぞれに対して重みを算出し、
    前記UI制御部は、前記重みの高い順に前記第2表示領域に配置できる前記タグのみを選択して前記第2表示領域に表示させる、請求項1に記載の情報処理装置。
  3. 前記UI制御部は、前記第2表示領域に表示される前記タグに対応する時系列テキストから選択された代表時系列テキストを表示する第3表示領域をさらに有する前記UI画面を生成する、請求項1または2に記載の情報処理装置。
  4. 前記UI制御部は、複数のテキスト候補を含む時系列テキストが前記代表時系列テキストとして選択された場合に、ユーザ操作により選択された前記タグのキーワードを含むテキスト候補を前記代表時系列テキストとして前記第3表示領域に表示させる、請求項3に記載の情報処理装置。
  5. 前記UI制御部は、前記第2表示領域に表示される前記タグと前記第3表示領域に表示される前記代表時系列テキストとの対応関係を明示的に示す視覚表現を含む前記UI画面を生成する、請求項3または4に記載の情報処理装置。
  6. 前記UI制御部は、ユーザ操作に応じて、前記第3表示領域の表示モードを、前記代表時系列テキストのみを表示する第1モードと、当該代表時系列テキストとその周辺の時系列テキストとを表示する第2モードとのいずれかに切り替える、請求項3乃至5のいずれか一項に記載の情報処理装置。
  7. 前記UI制御部は、ユーザ操作に応じて、ユーザがテキストの編集を行うための第4表示領域をさらに有する前記UI画面を生成する、請求項3乃至6のいずれか一項に記載の情報処理装置。
  8. 前記UI制御部は、ユーザ操作に応じて、前記第3表示領域に表示される前記代表時系列テキストを前記第4表示領域に転写する、請求項7に記載の情報処理装置。
  9. 前記代表時系列テキストは、入力された元データに対する認識処理または機械翻訳処理により得られた時系列テキストであり、
    前記UI制御部は、前記第3表示領域に表示される前記代表時系列テキストを前記第4表示領域に転写する際に、転写する前記代表時系列テキストの元データを再生または表示させる、請求項8に記載の情報処理装置。
  10. 情報処理装置により実行される情報処理方法であって、
    ユーザ操作に応じて設定された時間範囲内の時系列テキストからキーワードを抽出するステップと、
    前記時間範囲の大きさに応じて定まる時間幅内で複数回出現する同一キーワードの最初の出現時刻から最後の出現時刻までの時間帯に対応し、当該キーワードをラベルとするタグを生成するステップと、
    前記時間範囲に対応する時間軸を表示する第1表示領域と、前記時間軸における前記時間帯に対応させて前記タグを表示する第2表示領域とを有するUI画面を生成するステップと、
    前記UI画面上で前記タグを選択するユーザ操作に応じて、選択された前記タグの時間帯を前記時間範囲に再設定して前記UI画面を更新するステップと、を含む情報処理方法。
  11. コンピュータに、
    ユーザ操作に応じて設定された時間範囲内の時系列テキストからキーワードを抽出する機能と、
    前記時間範囲の大きさに応じて定まる時間幅内で複数回出現する同一キーワードの最初の出現時刻から最後の出現時刻までの時間帯に対応し、当該キーワードをラベルとするタグを生成する機能と、
    前記時間範囲に対応する時間軸を表示する第1表示領域と、前記時間軸における前記時間帯に対応させて前記タグを表示する第2表示領域とを有するUI画面を生成し、前記UI画面上で前記タグを選択するユーザ操作に応じて、選択された前記タグの時間帯を前記時間範囲に再設定して前記UI画面を更新する機能と、を実現させるためのプログラム。
JP2016059546A 2016-03-24 2016-03-24 情報処理装置、情報処理方法およびプログラム Active JP6165913B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016059546A JP6165913B1 (ja) 2016-03-24 2016-03-24 情報処理装置、情報処理方法およびプログラム
US15/453,988 US10366154B2 (en) 2016-03-24 2017-03-09 Information processing device, information processing method, and computer program product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016059546A JP6165913B1 (ja) 2016-03-24 2016-03-24 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP6165913B1 JP6165913B1 (ja) 2017-07-19
JP2017174161A true JP2017174161A (ja) 2017-09-28

Family

ID=59351274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016059546A Active JP6165913B1 (ja) 2016-03-24 2016-03-24 情報処理装置、情報処理方法およびプログラム

Country Status (2)

Country Link
US (1) US10366154B2 (ja)
JP (1) JP6165913B1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192230A (ja) * 2018-04-20 2019-10-31 株式会社リコー 通信端末、管理システム、表示方法、及びプログラム
JP7215770B1 (ja) 2021-09-30 2023-01-31 エピックベース株式会社 情報処理システム、プログラム及び情報処理方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9936066B1 (en) 2016-03-16 2018-04-03 Noble Systems Corporation Reviewing portions of telephone call recordings in a contact center using topic meta-data records
JP6729232B2 (ja) * 2016-09-20 2020-07-22 富士通株式会社 メッセージ振り分けプログラム、メッセージ振り分け装置、およびメッセージ振り分け方法
JP6646001B2 (ja) * 2017-03-22 2020-02-14 株式会社東芝 音声処理装置、音声処理方法およびプログラム
JP2018159759A (ja) 2017-03-22 2018-10-11 株式会社東芝 音声処理装置、音声処理方法およびプログラム
JP6914154B2 (ja) * 2017-09-15 2021-08-04 シャープ株式会社 表示制御装置、表示制御方法及びプログラム
JP7100797B2 (ja) * 2017-12-28 2022-07-14 コニカミノルタ株式会社 文書スコアリング装置、プログラム
JP7302270B2 (ja) * 2019-05-10 2023-07-04 株式会社リコー 表示端末、共用システム、表示制御方法およびプログラム
JP7451917B2 (ja) * 2019-09-26 2024-03-19 株式会社Jvcケンウッド 情報提供装置、情報提供方法及びプログラム
US11842160B2 (en) * 2021-07-14 2023-12-12 International Business Machines Corporation Keyword extraction with frequency—inverse document frequency method for word embedding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182365A (ja) * 1993-12-24 1995-07-21 Hitachi Ltd マルチメディア会議録作成支援装置および方法
JP2008077495A (ja) * 2006-09-22 2008-04-03 Toshiba Corp 会議支援装置、会議支援方法および会議支援プログラム
JP2008262301A (ja) * 2007-04-10 2008-10-30 Dainippon Printing Co Ltd 検索キーワードの流行時期を提示する方法及び検索サーバ
JP2012173774A (ja) * 2011-02-17 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> シーン重要点抽出装置、シーン重要点抽出方法及びシーン重要点抽出プログラム
JP2015197736A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 データ出力装置、方法及びプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5257330A (en) 1975-11-04 1977-05-11 Sankyo Co Ltd Breeding accelerators for animals
JPS574606A (en) 1980-06-11 1982-01-11 Matsushita Electric Ind Co Ltd Voltage transmitting circuit
US5794249A (en) * 1995-12-21 1998-08-11 Hewlett-Packard Company Audio/video retrieval system that uses keyword indexing of digital recordings to display a list of the recorded text files, keywords and time stamps associated with the system
US7689898B2 (en) * 1998-05-07 2010-03-30 Astute Technology, Llc Enhanced capture, management and distribution of live presentations
JP2001043215A (ja) * 1999-08-02 2001-02-16 Sony Corp 文書処理装置、文書処理方法、及び記録媒体
JP3574606B2 (ja) 2000-04-21 2004-10-06 日本電信電話株式会社 映像の階層的管理方法および階層的管理装置並びに階層的管理プログラムを記録した記録媒体
US8635531B2 (en) * 2002-02-21 2014-01-21 Ricoh Company, Ltd. Techniques for displaying information stored in multiple multimedia documents
US20050114131A1 (en) * 2003-11-24 2005-05-26 Kirill Stoimenov Apparatus and method for voice-tagging lexicon
US20050154760A1 (en) * 2004-01-12 2005-07-14 International Business Machines Corporation Capturing portions of an electronic document
CN1773536A (zh) * 2004-11-11 2006-05-17 国际商业机器公司 生成话音纪要的方法、设备和系统
US20060271869A1 (en) * 2005-05-31 2006-11-30 Microsoft Corporation Custom task panes that provide accessibility to one or more functions of an application program
JP4631574B2 (ja) * 2005-07-19 2011-02-16 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置
US8751502B2 (en) * 2005-11-29 2014-06-10 Aol Inc. Visually-represented results to search queries in rich media content
US20070192313A1 (en) * 2006-01-27 2007-08-16 William Derek Finley Data search method with statistical analysis performed on user provided ratings of the initial search results
US20080065618A1 (en) * 2006-07-25 2008-03-13 Maluf David A Indexing for rapid database searching
JP5257330B2 (ja) 2009-11-06 2013-08-07 株式会社リコー 発言記録装置、発言記録方法、プログラム及び記録媒体
JP5284990B2 (ja) * 2010-01-08 2013-09-11 インターナショナル・ビジネス・マシーンズ・コーポレーション キーワードの時系列解析のための処理方法、並びにその処理システム及びコンピュータ・プログラム
US8825478B2 (en) * 2011-01-10 2014-09-02 Nuance Communications, Inc. Real time generation of audio content summaries
US20130308922A1 (en) * 2012-05-15 2013-11-21 Microsoft Corporation Enhanced video discovery and productivity through accessibility
US20140101527A1 (en) * 2012-10-10 2014-04-10 Dominic Dan Suciu Electronic Media Reader with a Conceptual Information Tagging and Retrieval System
JP6464411B6 (ja) * 2015-02-25 2019-03-13 Dynabook株式会社 電子機器、方法及びプログラム
US20170092277A1 (en) * 2015-09-30 2017-03-30 Seagate Technology Llc Search and Access System for Media Content Files

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07182365A (ja) * 1993-12-24 1995-07-21 Hitachi Ltd マルチメディア会議録作成支援装置および方法
JP2008077495A (ja) * 2006-09-22 2008-04-03 Toshiba Corp 会議支援装置、会議支援方法および会議支援プログラム
JP2008262301A (ja) * 2007-04-10 2008-10-30 Dainippon Printing Co Ltd 検索キーワードの流行時期を提示する方法及び検索サーバ
JP2012173774A (ja) * 2011-02-17 2012-09-10 Nippon Telegr & Teleph Corp <Ntt> シーン重要点抽出装置、シーン重要点抽出方法及びシーン重要点抽出プログラム
JP2015197736A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 データ出力装置、方法及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019192230A (ja) * 2018-04-20 2019-10-31 株式会社リコー 通信端末、管理システム、表示方法、及びプログラム
JP7322480B2 (ja) 2018-04-20 2023-08-08 株式会社リコー 通信端末、管理システム、表示方法、及びプログラム
JP7215770B1 (ja) 2021-09-30 2023-01-31 エピックベース株式会社 情報処理システム、プログラム及び情報処理方法
JP2023051656A (ja) * 2021-09-30 2023-04-11 エピックベース株式会社 情報処理システム、プログラム及び情報処理方法

Also Published As

Publication number Publication date
JP6165913B1 (ja) 2017-07-19
US20170277672A1 (en) 2017-09-28
US10366154B2 (en) 2019-07-30

Similar Documents

Publication Publication Date Title
JP6165913B1 (ja) 情報処理装置、情報処理方法およびプログラム
JP4985974B2 (ja) コミュニケーション支援方法、システムおよびサーバ装置
JP6413256B2 (ja) 会議支援装置、会議支援装置の制御方法、及びプログラム
US20150142800A1 (en) Generating electronic summaries of online meetings
JP4722195B2 (ja) データベース・メッセージ分析支援プログラム、方法及び装置
JP6529761B2 (ja) 話題提供システム、及び会話制御端末装置
US20150046423A1 (en) Refining Search Query Results
KR101607468B1 (ko) 콘텐츠에 대한 키워드 태깅 방법 및 시스템
JP6180470B2 (ja) 文章候補提示端末、文章候補提示システム、文章候補提示方法、及びプログラム
JP2012178078A (ja) 文書処理装置
CN102591897A (zh) 文件检索装置以及文件检索方法
KR102281266B1 (ko) 영상 내 자막 키워드 추출 및 순위 산정 시스템 및 방법
US20140136963A1 (en) Intelligent information summarization and display
JP2019003472A (ja) 情報処理装置及び情報処理方法
CN112418875A (zh) 跨平台税务智能客服语料迁移方法及装置
JP2008181218A (ja) 入力支援方法及び装置
JP2010277332A (ja) 共通クエリグラフパターン生成方法、共通クエリグラフパターン生成装置及び共通クエリグラフパターン生成プログラム
KR20100090178A (ko) 키워드 정련 장치 및 방법과 그를 위한 컨텐츠 검색 시스템 및 그 방법
JP2007133763A (ja) 要素情報比較装置およびプログラム
KR102368823B1 (ko) 뉴스 기사 기반 소셜 컨텐츠 서비스 장치 및 방법
JP5911839B2 (ja) 情報検索システム、情報検索装置、情報検索方法、及びプログラム
JP5903171B2 (ja) データ加工システムおよびデータ加工方法
JP6828287B2 (ja) 情報処理装置及び情報処理プログラム
JP2009098829A (ja) 漫画のコマ検索装置
JP5184987B2 (ja) 索引情報作成装置、索引情報作成方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170621

R151 Written notification of patent or utility model registration

Ref document number: 6165913

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

Free format text: JAPANESE INTERMEDIATE CODE: R313114

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350