JP2020034823A - ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法 - Google Patents

ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法 Download PDF

Info

Publication number
JP2020034823A
JP2020034823A JP2018162658A JP2018162658A JP2020034823A JP 2020034823 A JP2020034823 A JP 2020034823A JP 2018162658 A JP2018162658 A JP 2018162658A JP 2018162658 A JP2018162658 A JP 2018162658A JP 2020034823 A JP2020034823 A JP 2020034823A
Authority
JP
Japan
Prior art keywords
description
support device
specified
information
discussion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018162658A
Other languages
English (en)
Inventor
純 諏訪部
Jun Suwabe
純 諏訪部
宏治 出水
Koji Izumi
宏治 出水
秀勝 佐々木
Hidekatsu Sasaki
秀勝 佐々木
義仁 奥脇
Yoshihito Okuwaki
義仁 奥脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2018162658A priority Critical patent/JP2020034823A/ja
Priority to US16/520,451 priority patent/US20200075025A1/en
Publication of JP2020034823A publication Critical patent/JP2020034823A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • G06F16/4387Presentation of query results by the use of playlists
    • G06F16/4393Multimedia presentations, e.g. slide shows, multimedia albums
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/06Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065Adaptation
    • G10L15/07Adaptation to the speaker
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00Speaker identification or verification techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Child & Adolescent Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Hospice & Palliative Care (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】ボードに記述されたオブジェクトに関する発言を確認しやすくし、ファシリテーションを支援すること。【解決手段】ファシリテーション支援装置120は、ホワイトボード110を用いて行われた会議について、ホワイトボード110に記述されたオブジェクト#0の指定を受け付けた場合に、オブジェクト#0についての対応情報130を表示する。対応情報130は、オブジェクト#0の記述前、記述中および記述後の各期間における会議の発言者をそれぞれ示している。ユーザは、この対応情報130を参照して、発言を確認したい参加者が発言者として含まれる期間を指示する。ファシリテーション支援装置120は、会議において録音された音声のうち、指定された期間における音声を再生する。【選択図】図1

Description

本発明は、ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法に関する。
従来、会議等のディスカッションにおいて情報の共有を支援する技術や、ディスカッションにおいて得られた情報の記録を支援する技術や、ディスカッションにおいて得られて記録された情報の利用を支援する技術などが知られている。たとえば、紙媒体を撮像装置への入力領域および画像投影領域として利用する技術が知られている(たとえば、下記特許文献1参照。)。また、入力された情報と手書きによる書き込みとの合成を行う技術が知られている(たとえば、下記特許文献2参照。)。
また、情報を記述した情報要素に対し、その情報要素が選択されている間に取得された映像や音声を関連づけて記録する技術が知られている(たとえば、下記特許文献3参照。)。また、プレゼンテーションで用いられる資料とこの資料を説明する音声等とを対応付けて記録することにより、資料と映像・音声とを同期させて再生する技術が知られている(たとえば、下記特許文献4参照。)。
特開2006−202016号公報 特開2007−257058号公報 特開2009−194718号公報 特開2002−109099号公報
しかしながら、上述した従来技術では、ディスカッションにおいてホワイトボード等のボードに記述された文章や説明図等のオブジェクトに関する、ディスカッションの参加者による発言を確認することが困難であるという問題がある。
たとえば、上述した従来技術では、音声が録音されるディスカッションにおいて、ボードに記述された特定のオブジェクトに関して特定の参加者がどのタイミングで発言したかをユーザが把握することができない。したがって、ユーザにとって、所望のオブジェクトについての所望の参加者による発言を会議の録音データから聞くための頭出しの作業が困難である。このため、所望のオブジェクトについての所望の参加者の発言を聞くまでに時間がかかる。
1つの側面では、本発明は、ボードに記述されたオブジェクトに関する発言を確認しやすくし、ファシリテーションを支援することができるファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法を提供することを目的とする。
上述した課題を解決し、目的を達成するため、1つの実施態様では、ディスカッションにおいてボードに記述されたオブジェクトと対応付けて、前記ディスカッションの参加者のうち前記オブジェクトの記述開始前、記述中および記述終了後の各期間のそれぞれにおける発言者を特定可能な情報を記憶する第1記憶部を参照して、前記ボードに記述されたオブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定し、前記指定されたオブジェクトについての前記各期間とそれぞれ対応付けて、特定した前記各期間のそれぞれにおける発言者を特定可能な情報を出力し、前記指定されたオブジェクトについての録音された前記ディスカッションの音声のうち前記ボードに記述されたオブジェクトについての前記各期間における各音声を特定可能な情報を記憶する第2記憶部を参照して、前記指定されたオブジェクトについての指定された前記期間における音声を特定し、特定した前記音声のデータを出力するファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法が提案される。
本発明の一側面によれば、ボードに記述されたオブジェクトに関する発言を確認しやすくし、ファシリテーションを支援することができるという効果を奏する。
図1は、実施の形態にかかるファシリテーション支援装置によるファシリテーション支援の一例を示す図である。 図2は、実施の形態にかかるファシリテーション支援システムの一例を示す図である。 図3は、実施の形態にかかるファシリテーション支援装置のハードウェア構成の一例を示す図である。 図4は、実施の形態にかかるファシリテーション支援装置の一例を示す図である。 図5Aは、実施の形態にかかるファシリテーション支援装置による情報記憶処理の一例を示すフローチャート(その1)である。 図5Bは、実施の形態にかかるファシリテーション支援装置による情報記憶処理の一例を示すフローチャート(その2)である。 図6は、実施の形態にかかる会議状態の判定処理の一例を示す図である。 図7は、実施の形態にかかるファシリテーション支援装置による記述状態の判定処理の一例を示す図(その1)である。 図8は、実施の形態にかかるファシリテーション支援装置による記述状態の判定処理の一例を示す図(その2)である。 図9は、実施の形態にかかるファシリテーション支援装置による記述状態の判定処理の一例を示す図(その3)である。 図10は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第1段階を示す図(その1)である。 図11は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第1段階を示す図(その2)である。 図12は、図10および図11に示した第1段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。 図13は、図10および図11に示した第1段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。 図14は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第2段階を示す図(その1)である。 図15は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第2段階を示す図(その2)である。 図16は、図14および図15に示した第2段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。 図17は、図14および図15に示した第2段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。 図18は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第3段階を示す図(その1)である。 図19は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第3段階を示す図(その2)である。 図20は、図18および図19に示した第3段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。 図21は、図18および図19に示した第3段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。 図22は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第4段階を示す図(その1)である。 図23は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第4段階を示す図(その2)である。 図24は、図22および図23に示した第4段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。 図25は、図22および図23に示した第4段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。 図26は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第5段階を示す図(その1)である。 図27は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第5段階を示す図(その2)である。 図28は、図26および図27に示した第5段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。 図29は、図26および図27に示した第5段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。 図30は、実施の形態にかかるファシリテーション装置による情報出力処理の一例を示すフローチャートである。 図31は、実施の形態にかかるファシリテーション支援装置が表示するオブジェクト再生画面の一例を示す情報である。 図32は、実施の形態にかかるファシリテーション支援装置によるサブウィンドウの表示の一例を示す情報である。 図33は、実施の形態にかかるファシリテーション支援装置によるサブウィンドウの表示の他の一例を示す図(その1)である。 図34は、実施の形態にかかるファシリテーション支援装置によるサブウィンドウの表示の他の一例を示す図(その2)である。
以下に図面を参照して、本発明にかかるファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法の実施の形態を詳細に説明する。
(実施の形態)
(実施の形態にかかるファシリテーション支援装置によるファシリテーション支援)
図1は、実施の形態にかかるファシリテーション支援装置によるファシリテーション支援の一例を示す図である。図1に示すファシリテーション支援装置120は、ホワイトボード110などのボードを用いて行われたディスカッションについてのファシリテーションを支援する。ここでいうファシリテーションとは、たとえば、実施済みのディスカッションの内容を示す情報の利用に関するものである。
ディスカッションとは、複数の参加者が発言するイベントである。たとえば、ディスカッションには、会議、打ち合わせ、討論、ミーティング、ヒアリング、設計レビューといった各種のイベントが含まれる。これらのディスカッションの目的は、アイディアソン、現状確認、手法検討など各種の目的とすることができる。また、ディスカッションには、複数の参加者がネットワークを介して会話を行う電子会議などが含まれてもよい。ここでは、会議室等の特定の場所に集まった複数の参加者が、その場所に設置されたホワイトボード110を用いて行う会議の例について説明する。
たとえば、図1に示すように、参加者にAさんおよびBさんを含み、ホワイトボード110を用いた会議が行われたとする。ホワイトボード110は、インクを用いたマーカ等により記述が可能な記述エリア111を有するボードである。この会議における音声は録音され、録音により得られた音声データは、ファシリテーション支援装置120がアクセス可能な記憶部(たとえば図4に示す音声データ記憶部405)に記憶される。
この会議において、Aさんがホワイトボード110の記述エリア111にオブジェクト#0を記述したとする。記述は、情報をかき表すことである。たとえば、記述は、文字(符号等を含む)を書くことや、図(絵等を含む)を描くことである。オブジェクトとは、ホワイトボード110の記述エリア111に記述された一連の情報である。一連の情報とは、たとえば、記述エリア111への記述の動作が開始されてから、その記述の動作が終了するまでに記述エリア111に記述された文字や図である。
図1に示す例では、Aさんが、マーカを持った手を記述エリア111の高さまで上げてノート型のパーソナルコンピュータの図を描き始め、この図を描き終わるとマーカを持った手を下げたとする。この場合に、ファシリテーション支援装置120は、Aさんが手を上げてから下げるまでの間に記述エリア111に追加されたノート型のパーソナルコンピュータの図を、1つのオブジェクト(オブジェクト#0)として認識する。ただし、オブジェクトの認識方法はこれに限らず、各種の方法を用いることができる。
上述の会議において、Aさんが、発言を行いながらオブジェクト#0の記述を開始し、図1に示すようにオブジェクト#0の記述中にも発言を続け、Aさんがオブジェクト#0の記述を終了した後にAさんおよびBさんが発言したとする。
この場合に、オブジェクト#0と対応付けて、会議の参加者のうちオブジェクト#0の記述開始前、記述中および記述終了後の各期間のそれぞれにおける発言者を特定可能な情報が第1記憶部に記憶される。第1記憶部は、ファシリテーション支援装置120がアクセス可能な記憶装置に含まれる。
たとえば、第1記憶部は、ファシリテーション支援装置120が備える記憶装置に含まれる記憶部(たとえば図4に示すオブジェクト情報記憶部407)である。または、第1記憶部は、ファシリテーション支援装置120がアクセス可能な外部の記憶装置に含まれてもよい。第1記憶部への上述の情報の記憶は、たとえばファシリテーション支援装置120の制御により行われてもよいし、ファシリテーション支援装置120とは異なる装置の制御により行われてもよい。以下、第1記憶部への上述の情報の記憶の制御をファシリテーション支援装置120が行う場合について説明する。
また、オブジェクト#0と対応付けて、会議において録音された音声(会議全体の音声)のうち、オブジェクト#0についての記述開始前、記述中および記述終了後における各音声を特定可能な情報が第2記憶部に記憶される。第2記憶部は、ファシリテーション支援装置120がアクセス可能な記憶装置に含まれる。また、第2記憶部は、第1記憶部を含む記憶装置に含まれてもよいし、第1記憶部を含む記憶装置とは異なる記憶装置に含まれてもよい。
たとえば、第2記憶部は、ファシリテーション支援装置120が備える記憶装置に含まれる記憶部(たとえば図4に示すオブジェクト情報記憶部407)である。または、第2記憶部は、ファシリテーション支援装置120がアクセス可能な外部の記憶装置に含まれてもよい。第2記憶部への上述の情報の記憶は、たとえばファシリテーション支援装置120の制御により行われてもよいし、ファシリテーション支援装置120とは異なる装置の制御により行われてもよい。以下、第2記憶部への上述の情報の記憶の制御をファシリテーション支援装置120が行う場合について説明する。
オブジェクト#0の記述開始前は、オブジェクト#0の記述が開始される前の期間である。たとえば、オブジェクト#0が会議において最初に記述されたオブジェクトである場合、オブジェクト#0の記述開始前は、会議の最初から、オブジェクト#0の記述が開始されるまでの期間である。また、オブジェクト#0が会議において2番目以降に記述されたオブジェクトである場合、オブジェクト#0の記述開始前は、オブジェクト#0の直前に記述されたオブジェクトの記述が終了してから、オブジェクト#0の記述が開始されるまでの期間である。以下、記述開始前を記述前と称する。
オブジェクト#0の記述中は、オブジェクト#0の記述が開始されてから、オブジェクト#0の記述が終了するまでの期間である。
オブジェクト#0の記述終了後は、オブジェクト#0の記述が終了した後の期間である。たとえば、オブジェクト#0が会議において最後に記述されたオブジェクトである場合、オブジェクト#0の記述終了後は、オブジェクト#0の記述が終了してから、会議の終了までの期間である。オブジェクト#0が会議において最後から2番目以前に記述されたオブジェクトである場合、オブジェクト#0の記述終了後は、オブジェクト#0の記述が終了してから、オブジェクト#0の直後に記述されたオブジェクトの記述が開始されるまでの期間である。以下、記述終了後を記述後と称する。
図1に示す例では、上述の第1記憶部には、オブジェクト#0と対応付けて、オブジェクト#0の記述前における発言者としてAさんを特定可能な情報(たとえばAさんの識別情報)が記憶される。また、上述の第1記憶部には、オブジェクト#0と対応付けて、オブジェクト#0の記述中における発言者としてAさんを特定可能な情報が記憶される。また、上述の第1記憶部には、オブジェクト#0と対応付けて、オブジェクト#0の記述後における発言者としてAさんおよびBさんを特定可能な情報(たとえばAさんの識別情報およびBさんの識別情報)が記憶される。
ファシリテーション支援装置120は、記述エリア111に記述されたオブジェクトの中から、オブジェクトの指定(選択)をユーザから受け付ける。オブジェクトの指定を受け付けると、ファシリテーション支援装置120は、上述の第1記憶部を参照して、指定されたオブジェクトについての上述の記述前、記述中および記述後における発言者をそれぞれ特定する。
たとえば、ユーザがファシリテーション支援装置120に対してオブジェクト#0を指定する操作を行ったとする。この場合に、ファシリテーション支援装置120は、オブジェクト#0について、記述前における発言者としてAさんを特定し、記述中における発言者としてAさんを特定し、記述後における発言者としてAさんおよびBさんを特定する。
そして、ファシリテーション支援装置120は、オブジェクト#0についての記述前、記述中および記述後と対応付けて、特定した記述前、記述中および記述後における発言者を特定可能な情報を出力する。図1に示す例では、ファシリテーション支援装置120は、ディスプレイにより対応情報130を表示する。対応情報130は、オブジェクト#0について、記述前とAさんとを対応付け、記述中とAさんとを対応付け、記述後とAさんおよびBさんとを対応付けている。
これにより、ユーザは、オブジェクト#0に関して、オブジェクト#0の記述前、記述中および記述後の各期間について、その期間における発言者を把握することができる。あるいは、ユーザは、オブジェクト#0に関して特定の参加者が発言した期間が、オブジェクト#0の記述前、記述中および記述後のいずれであるかを把握することができる。
ファシリテーション支援装置120は、指定されたオブジェクト#0の記述前、記述中および記述後の各期間の中から、期間の指定をユーザから受け付ける。たとえば、対応情報130には、それぞれ記述前、記述中および記述後に対応付けて再生ボタン131〜133が設けられている。
たとえばユーザが再生ボタン131を指定する操作を行うと、ファシリテーション支援装置120は、記述前の指定を受け付けたと判断する。また、ユーザが再生ボタン132を指定する操作を行うと、ファシリテーション支援装置120は、記述中の指定を受け付けたと判断する。また、ユーザが再生ボタン133を指定する操作を行うと、ファシリテーション支援装置120は、記述後の指定を受け付けたと判断する。期間の指定を受け付けると、ファシリテーション支援装置120は、上述の第2記憶部を参照して、会議において録音された音声のうち、指定された期間における音声を特定する。
そして、ファシリテーション支援装置120は、特定した音声のデータを出力する。特定した音声のデータとは、特定した音声を再生するための音声データである。たとえば、ファシリテーション支援装置120は、特定した音声のデータをスピーカへ出力することにより、特定した音声を再生する。
たとえば、会議における全期間の音声が1つの音声データとして記憶されている場合、ファシリテーション支援装置120は、その音声データが示す会議における全期間の音声における、指定された期間に対応する再生位置を特定する。そして、ファシリテーション支援装置120は、記憶された音声データに基づいて、会議における全期間の音声のうち、特定した再生位置の音声を再生する。
また、会議における音声は、オブジェクトの記述開始および記述終了の各タイミングで分割された音声データとして記憶されてもよい。この場合に、ファシリテーション支援装置120は、分割された各音声データのうち、指定された期間に対応する音声データを特定する。そして、ファシリテーション支援装置120は、特定した音声データを先頭から再生する。
たとえば、ユーザは、記述エリア111に記述されたオブジェクト#0に関するBさんの発言を参照したいとする。この場合に、ユーザは、オブジェクト#0を指定する操作を行い、それにより表示された対応情報130を参照して、Bさんがオブジェクト#0の記述後に発言していることを把握する。そのため、ユーザは、オブジェクト#0の記述後と対応付けられた再生ボタン133を指定する操作を行う。
これに対して、ファシリテーション支援装置120は、再生ボタン133を指定する操作を受け付けたことにより、オブジェクト#0の記述後が指定されたと判断する。そして、ファシリテーション支援装置120は、上述の第2記憶部を参照して、オブジェクト#0についての記述後における音声を特定する。そして、ファシリテーション支援装置120は、上述の記憶部に記憶された音声データを読み出し、特定した音声を再生する。
これにより、ユーザは、会議の全期間のうちオブジェクト#0に関するBさんの発言が含まれる部分的な期間における音声を聞くことができる。このため、ユーザは、オブジェクト#0に関するBさんの発言を効率よく把握することができる。たとえば、会議の全期間の音声を最初から聞いてオブジェクト#0に関するBさんの発言を参照するよりも、オブジェクト#0に関するBさんの発言を短時間で把握することができる。
また、オブジェクト#0についての記述前、記述中および記述後の各期間は、オブジェクト#0についての会話の各段階に対応している。すなわち、オブジェクト#0の記述開始のタイミングと、オブジェクト#0の記述終了のタイミングと、において、オブジェクト#0に関する会話の段階が進んでいると考えることができる。このため、記述前、記述中および記述後の各期間において、発言者が異なる可能性が高い。
たとえば、Bさんは、オブジェクト#0に関する会話において結論を出す立場の参加者であるとする。この場合、Bさんは、オブジェクト#0についての記述前および記述中よりも、オブジェクト#0の記述後において発言を行う可能性が高い。したがって、記述前、記述中および記述後のそれぞれについて発言者を特定することで、特定の参加者が発言した期間を、その参加者が発言していない期間と分けてユーザに提示することができる。このため、ユーザは、記述エリア111に記述された特定のオブジェクト(たとえばオブジェクト#0)についての特定の参加者(たとえばBさん)の発言を効率よく把握することができる。
このように、図1に示したファシリテーション支援装置120によれば、ホワイトボード110の記述エリア111に記述されたオブジェクトに関する会議の内容を把握しやすくし、ファシリテーションを支援することができる。
たとえば、ファシリテーション支援装置120によれば、ユーザによる頭出しの作業が容易になる。頭出しとは、録音された音声のうち所望の部分の先頭をさがし出すことである。たとえば、ユーザは、指定したオブジェクトについて提示された、記述前、記述中および記述後のそれぞれにおける発言者を参照して、所望の発言者を含む期間を指定することにより、その発言者の発言を聞くことができる。
たとえば、ユーザは、録音データを最初から再生し、所望のオブジェクトについての所望の参加者の発言が再生されるまで待つという作業を行わなくてもよい。あるいは、ユーザは、録音データのうち所望のオブジェクトについての所望の参加者の発言が含まれると予測した位置の音声を再生することを、所望のオブジェクトについての所望の参加者が見つかるまで繰り返すという作業を行わなくてもよい。したがって、ユーザは、所望のオブジェクトについての所望の参加者の発言を、簡単に早く聞くことができる。
(実施の形態にかかるファシリテーション支援システム)
図2は、実施の形態にかかるファシリテーション支援システムの一例を示す図である。図2において、図1に示した部分と同様の部分については同一の符号を付して説明を省略する。図2に示すファシリテーション支援システム200は、ホワイトボード110と、ファシリテーション支援装置120と、ボード撮影用カメラ201と、参加者撮影用カメラ202と、マイク203と、を含む。
ホワイトボード110は、マーカ等を用いてオブジェクトの記述が可能な矩形の上述の記述エリア111と、記述エリア111を囲む枠112と、記述エリア111および枠112を所定の高さで立てた状態で保持する足部113と、を有する。
ボード撮影用カメラ201は、ホワイトボード110の記述エリア111に記述されたオブジェクトや、ボード撮影用カメラ201とホワイトボード110との間の人物を撮影するカメラである。たとえば、ボード撮影用カメラ201は、記述エリア111に対向し、ホワイトボード110の記述エリア111の全体を撮影する位置に設置される。また、ボード撮影用カメラ201は、ファシリテーション支援装置120と接続されており、撮影により得られた撮影データをファシリテーション支援装置120へ送信する。
参加者撮影用カメラ202は、ホワイトボード110を用いた会議への参加者を撮影するカメラである。たとえば、参加者撮影用カメラ202は、ホワイトボード110の前の位置であって、会議への参加者に囲まれる位置に設置される。また、参加者撮影用カメラ202は、ファシリテーション支援装置120と接続されており、撮影により得られた撮影データをファシリテーション支援装置120へ送信する。
マイク203は、ホワイトボード110を用いた会議における音声を録音する。たとえば、マイク203は、会議への各参加者の発言を録音可能な位置に設置される。また、マイク203は、ファシリテーション支援装置120と接続されており、録音により得られた音声データをファシリテーション支援装置120へ送信する。
ファシリテーション支援装置120は、記述エリア111に記述されたオブジェクトに関する情報や音声データの記憶を行う。また、ファシリテーション支援装置120は、記憶したオブジェクトに関する情報や音声データの再生を行う。図2に示す例では、ファシリテーション支援装置120はノート型のパーソナルコンピュータである。ただし、ファシリテーション支援装置120はこれに限らず、デスクトップ型のパーソナルコンピュータであってもよいし、タブレット型のパーソナルコンピュータなどであってもよい。
ファシリテーション支援装置120がオブジェクトに関する情報や音声データを記憶する記憶媒体(上述の各記憶部)は、たとえば、ファシリテーション支援装置120が内蔵する記憶媒体である。または、ファシリテーション支援装置120がオブジェクトに関する情報や音声データを記憶する記憶媒体は、ファシリテーション支援装置120がアクセス可能な外部の記憶媒体であってもよい。また、上述したオブジェクトに関する情報や音声データの再生は、ファシリテーション支援装置120とは異なるコンピュータが、上述の記憶媒体にアクセスすることによって行ってもよい。
(実施の形態にかかるファシリテーション支援装置のハードウェア構成)
図3は、実施の形態にかかるファシリテーション支援装置のハードウェア構成の一例を示す図である。図1に示したファシリテーション支援装置120は、たとえば図3に示すコンピュータ300により実現することができる。コンピュータ300は、プロセッサ301と、メモリ302と、カメラインタフェース303と、マイクインタフェース304と、ユーザインタフェース305と、を備える。プロセッサ301、メモリ302、カメラインタフェース303、マイクインタフェース304およびユーザインタフェース305は、たとえばバス309によって接続される。
プロセッサ301は、信号処理を行う回路であり、たとえばコンピュータ300の全体の制御を司るCPU(Central Processing Unit)である。メモリ302には、たとえばメインメモリおよび補助メモリが含まれる。メインメモリは、たとえばRAM(Random Access Memory)である。メインメモリは、プロセッサ301のワークエリアとして使用される。
補助メモリは、たとえば磁気ディスク、光ディスク、フラッシュメモリなどの不揮発性メモリである。補助メモリには、コンピュータ300を動作させる各種のプログラムが記憶されている。補助メモリに記憶されたプログラムは、メインメモリにロードされてプロセッサ301によって実行される。
また、補助メモリは、コンピュータ300から取り外し可能な可搬型のメモリを含んでもよい。可搬型のメモリには、USBフラッシュドライブやSDメモリカードなどのメモリカードや、外付けハードディスクドライブなどがある。USBはUniversal Serial Busの略語である。SDはたとえばSecure Digitalの略語である。
カメラインタフェース303は、図2に示したボード撮影用カメラ201および参加者撮影用カメラ202との間で有線や無線による通信を行うインタフェースである。カメラインタフェース303は、プロセッサ301によって制御される。マイクインタフェース304は、図2に示したマイク203との間で有線や無線による通信を行うインタフェースである。マイクインタフェース304は、プロセッサ301によって制御される。
ユーザインタフェース305は、たとえば、ユーザからの操作入力を受け付ける入力デバイスや、ユーザへ情報を出力する出力デバイスなどを含む。入力デバイスは、たとえばポインティングデバイス(たとえばマウス)、キー(たとえばキーボード)やリモコンなどにより実現することができる。出力デバイスは、たとえばディスプレイやスピーカなどにより実現することができる。また、タッチパネルなどによって入力デバイスおよび出力デバイスを実現してもよい。ユーザインタフェース305は、プロセッサ301によって制御される。
(実施の形態にかかるファシリテーション支援装置)
図4は、実施の形態にかかるファシリテーション支援装置の一例を示す図である。実施の形態にかかるファシリテーション支援装置120は、たとえば、図4に示すように、操作受付部401と、ボード撮影用カメラデータ取得部402と、参加者撮影用カメラデータ取得部403と、マイクデータ取得部404と、を備える。また、ファシリテーション支援装置120は、音声データ記憶部405と、記憶制御部406と、オブジェクト情報記憶部407と、出力制御部408と、出力部409と、を備える。これらのファシリテーション支援装置120の各部の処理結果は、たとえば図3に示したメモリ302などの記憶装置に記憶される。
操作受付部401は、ファシリテーション支援装置120のユーザからの操作を受け付ける。そして、操作受付部401は、情報の記憶に関する操作を受け付けた場合は、受け付けた操作に応じた指示情報を記憶制御部406へ出力する。また、操作受付部401は、情報の再生に関する操作を受け付けた場合は、受け付けた操作に応じた指示情報を出力制御部408へ出力する。
ボード撮影用カメラデータ取得部402は、図2に示したボード撮影用カメラ201から送信される撮影データを取得し、取得した音声データを記憶制御部406へ出力する。ボード撮影用カメラデータ取得部402により取得される撮影データは、周期的なタイミングで撮影された画像のデータであってもよいし、時系列的に連続して撮影された画像のデータに基づく動画データであってもよい。
参加者撮影用カメラデータ取得部403は、図2に示した参加者撮影用カメラ202から送信される撮影データを取得し、取得した音声データを記憶制御部406へ出力する。参加者撮影用カメラデータ取得部403により取得される撮影データは、周期的なタイミングで撮影された画像のデータであってもよいし、時系列的に連続して撮影された画像のデータに基づく動画データであってもよい。
マイクデータ取得部404は、図2に示したマイク203から送信される音声データを取得し、取得した音声データを記憶制御部406および音声データ記憶部405へ出力する。音声データ記憶部405は、マイクデータ取得部404から出力された音声データを記憶する。
記憶制御部406は、オブジェクト情報記憶部407によるオブジェクトに関する情報の記憶を制御する。出力制御部408による制御は、たとえば操作受付部401から出力された指示情報に基づいて行われる。この指示情報は、たとえば、会議の開始とともに操作受付部401によって受け付けられる、会議の情報の記憶の開始を指示する情報である。たとえば、記憶制御部406は、音声データの記憶処理、発言者の検出処理、参加者状態の判定処理および記述状態の判定処理を行う。以下、これらの処理についてそれぞれ説明する。
音声データの記憶処理は、マイク203から出力される音声データをメモリ302に順次記憶させる処理である。このとき、記憶制御部406は、たとえば会議中にマイク203から出力された音声データを1つの音声データとして音声データ記憶部405に順次記憶させる。または、記憶制御部406は、会議中にマイク203から出力された音声データを、後述の記述状態の判定処理によって判定される記述開始および記述終了の各タイミングで分割し、分割した各音声データを音声データ記憶部405に記憶させてもよい。
発言者の検出処理は、現在時点での会議における発言の有無を判定し、発言があったと判定した場合は、その発言を行った発言者を会議の参加者の中から特定する処理である。発言者の検出処理は、たとえばマイクデータ取得部404から出力された音声データが示す音声から検出される声紋や声の方向に基づいて行われる。また、発言者の検出処理は、参加者撮影用カメラデータ取得部403から出力される撮影データから検出される参加者の状態等に基づいて行われてもよい。
一例としては、発言者の検出処理は、マイクデータ取得部404から出力された音声データと、音声データから話者識別を行うSpeaker Recognition APIなどのAPIと、を用いて行うことができる。APIはApplication Programming Interfaceの略語である。発言者の検出処理には、さらに、特定した発言者の状態を判定する処理が含まれてもよい。
発言者の状態を判定する処理は、たとえば、参加者撮影用カメラ202から出力される撮影データと、FaceAPIやHaar−CascadeなどのAPIと、を用いて行うことができる。FaceAPIは、人物の顔画像からその人物の感情を判定(各感情の信頼度を算出)するAPIである。FaceAPIにより判定可能な感情には、たとえば「怒り」、「軽蔑」、「嫌悪」、「恐怖」、「喜び」、「中立」、「哀しみ」、「驚き」などが含まれる。Haar−Cascadeは、笑顔検出を行うAPIである。また、発言者の状態を判定する処理は、脳波測定装置によって測定された発言者の脳波の情報や、マイクデータ取得部404から出力された音声データから判定された発言者の精神状態なども用いて行われてもよい。
参加者状態の判定処理は、現在時点での会議の参加者状態を判定する処理である。参加者状態は、たとえば、会議の各参加者についての感情に関する状態である。たとえば、参加者状態は、上述のFaceAPIなどを用いて判定される、会議の各参加者についての感情である。この場合に、記憶制御部406は、参加者状態の判定処理において、参加者撮影用カメラデータ取得部403から出力された撮影データと、上述のFaceAPIと、に基づいて、会議の各参加者の感情を参加者状態として判定する。
また、参加者状態は、上述のHaar−Cascadeなどを用いて判定される、会議の各参加者についての笑顔か否かの状態であってもよい。この場合に、記憶制御部406は、参加者状態の判定処理において、参加者撮影用カメラデータ取得部403から出力された撮影データと、上述のHaar−Cascadeと、に基づいて、会議の各参加者が笑顔か否かを参加者状態として判定する。
また、参加者状態は、上述の会議の各参加者についての笑顔か否かの状態に基づく、会議の各参加者のうちの笑顔と判定された参加者の割合を示す笑顔指数であってもよい。この場合に、記憶制御部406は、参加者状態の判定処理において、上述の会議の各参加者が笑顔か否かの判定結果に基づいて、笑顔と判定した参加者の数を会議の各参加者の数で除算することにより得た笑顔指数を、参加者状態の判定結果とする。
また、記憶制御部406は、参加者状態の判定処理において、たとえばマイクデータ取得部404から出力された音声データに基づく声認識や、参加者の脳波を測定する脳波測定装置の測定結果などを用いて参加者状態を判定してもよい。
記述状態の判定処理は、記述エリア111への記述状態を判定する処理である。記述エリア111への記述状態は、記述エリア111に対する記述が行われているか否か(記述中か非記述中か)の状態である。記述状態の判定処理は、たとえばボード撮影用カメラ201から得られた撮影データに基づいて行われる。記述状態の判定処理の例については後述する(たとえば図7〜図9参照)。
オブジェクト情報記憶部407は、記憶制御部406からの制御にしたがって、記述エリア111に記述されたオブジェクトに関する情報を記憶する。オブジェクト情報記憶部407が記憶する各情報の例については後述する。
出力制御部408は、操作受付部401から出力された指示情報に基づいて、オブジェクト情報記憶部407に記憶されたオブジェクトに関する情報と、音声データ記憶部405に記憶された音声データと、の出力部409による出力を制御する。出力制御部408による制御は、たとえば、会議の終了後に操作受付部401によって受け付けられた操作に基づく指示情報に基づいて行われる。この指示情報には、たとえば、会議中に記述エリア111に記述された各オブジェクトの表示を指示する情報や、その中からオブジェクトを指示する情報や、そのオブジェクトの記述前、記述中および記述後のいずれの音声を再生するかを指示する情報が含まれる。
出力部409は、出力制御部408からの制御にしたがって、オブジェクト情報記憶部407に記憶されたオブジェクトに関する情報を出力する。また、出力部409は、出力制御部408からの制御にしたがって、音声データ記憶部405に記憶された音声を再生する。出力部409による情報の出力の例については後述する(たとえば図31〜図34参照)。
図1を用いて説明した第1記憶部および第2記憶部は、たとえばオブジェクト情報記憶部407により実現することができる。また、図1を用いて説明した参加者の特定を行う第1特定部および音声の特定を行う第2特定部は、たとえば出力制御部408により実現することができる。また、図1を用いて説明した参加者を特定可能な情報を出力する第1出力部および音声のデータの出力を行う第2出力部は、たとえば出力部409により実現することができる。
図4に示した操作受付部401および出力部409は、たとえば図3に示したユーザインタフェース305により実現することができる。図4に示したボード撮影用カメラデータ取得部402および参加者撮影用カメラデータ取得部403は、たとえば図3に示したカメラインタフェース303により実現することができる。図4に示したマイクデータ取得部404は、たとえば図3に示したマイクインタフェース304により実現することができる。
図4に示した記憶制御部406および出力制御部408は、たとえば図3に示したプロセッサ301およびメモリ302により実現することができる。図4に示した音声データ記憶部405およびオブジェクト情報記憶部407は、たとえば図3に示したメモリ302に含まれる補助メモリにより実現することができる。
(実施の形態にかかるファシリテーション支援装置による情報記憶処理)
図5Aおよび図5Bは、実施の形態にかかるファシリテーション支援装置による情報記憶処理の一例を示すフローチャートである。実施の形態にかかるファシリテーション支援装置120は、ホワイトボード110を用いた会議の開始時に、情報の記憶を指示する操作を受け付けると、たとえば図5A,図5Bに示す情報記憶処理を開始する。図5A,図5Bに示す情報記憶処理は、たとえば図4に示した記憶制御部406により実行される。
まず、図5Aに示すように、ファシリテーション支援装置120は、上述の音声データの記憶処理、発言者の検出処理、参加者状態の判定処理および記述状態の判定処理を開始する(ステップS501)。ステップS501により開始されるこれらの処理は、たとえば図5A,図5Bに示す情報記憶処理が終了するまで繰り返し行われる。
つぎに、ファシリテーション支援装置120は、ステップS501により開始した発言者の検出処理の結果に基づいて、現在時点の発言者をオブジェクト情報記憶部407に仮記憶させる(ステップS502)。仮記憶とは、たとえば後述のステップS511によって作成する記述オブジェクトに関連付けて記憶させる情報とは別に、一時的に記憶させることである。ステップS502において、たとえば現在時点で発言者がいない場合は、発言者がいないことを示す情報が仮記憶される。現在時点で発言者が1人いる場合は、その1人の発言者の識別情報が仮記憶される。現在時点で発言者が2人以上いる場合は、その2人以上の発言者のそれぞれの識別情報が仮記憶される。
また、ファシリテーション支援装置120は、ステップS501により開始した参加者状態の判定処理の結果に基づいて、現在時点の上述の参加者状態をオブジェクト情報記憶部407に仮記憶させる(ステップS503)。参加者状態は、上述のように、たとえば笑顔の参加者の割合を示す笑顔指数などである。ステップS502,S503は互いに順序を入れ替えてもよい。
つぎに、ファシリテーション支援装置120は、ステップS501により開始した記述状態の判定処理の結果に基づいて、記述エリア111への記述状態に変化があったか否かを判断する(ステップS504)。記述状態の変化には、非記述中から記述中への変化(記述の開始)と、記述中から非記述中への変化(記述の終了)と、がある。
ステップS504において、記述状態に変化がなかった場合(ステップS504:No)は、ファシリテーション支援装置120は、ステップS502へ戻る。記述状態に変化があった場合(ステップS504:Yes)は、ファシリテーション支援装置120は、ステップS505へ移行する。すなわち、ファシリテーション支援装置120は、ステップS501により開始した音声データの記憶処理によって音声データ記憶部405に記憶中の音声データの現在時点に対応する位置にチャプタを設定する。そして、ファシリテーション支援装置120は、設定したチャプタを示すチャプタ番号をオブジェクト情報記憶部407に仮記憶させる(ステップS505)。
また、ファシリテーション支援装置120は、ステップS503により仮記憶した参加者状態等に基づく会議状態を判定し、判定した会議状態をオブジェクト情報記憶部407に仮記憶させる(ステップS506)。ステップS506における会議状態の判定処理については後述する。ステップS505,S506は互いに順序を入れ替えてもよい。
つぎに、図5Bに示すように(符号A)、ファシリテーション支援装置120は、ステップS501により開始した記述状態の判定処理の結果に基づいて、記述エリア111への記述中であるか否かを判断する(ステップS507)。記述中である場合(ステップS507:Yes)は、ステップS504においてあったと判断した記述状態の変化が、記述の開始であることを意味する。この場合に、ファシリテーション支援装置120は、現在時点で記述中のオブジェクトより前に記述エリア111へ記述されたオブジェクトを示す前の記述オブジェクトがオブジェクト情報記憶部407に存在するか否かを判断する(ステップS508)。
ステップS508において、前の記述オブジェクトが存在しない場合(ステップS508:No)は、現在時点で記述中のオブジェクトが記述エリア111に最初に記述されたオブジェクトであることを意味する。この場合に、ファシリテーション支援装置120は、オブジェクト情報記憶部407に仮記憶している発言者、チャプタ番号および会議状態を含む一時情報をオブジェクト情報記憶部407に記憶させる(ステップS509)。一時情報は、たとえば後述のステップS511によって作成する記述オブジェクトに関連付けて記憶させる情報とは別に、一時的に記憶される情報である。
つぎに、ファシリテーション支援装置120は、オブジェクト情報記憶部407に仮記憶している各情報をクリアし(ステップS510)、図5Aに示したステップS502へ戻る(符号B)。ステップS510においてクリアされる各情報は、たとえば、ステップS502,S503,S505,S506により仮記憶された発言者、参加者状態、チャプタ番号および会議状態である。すなわち、ステップS509により記憶された一時情報はこの時点でクリアされない。
ステップS507において、記述中でない場合(ステップS507:No)は、ステップS504においてあったと判断した記述状態の変化が記述の終了であることを意味する。この場合に、ファシリテーション支援装置120は、記述が終了したオブジェクトを示す記述オブジェクトを作成する(ステップS511)。記述オブジェクトは、オブジェクトを示す画像データである。画像データは、画像の画素ごとの情報を含むビットマップデータや、画像を数式や式(解析幾何的な図形の集まり)として表現するベクタデータなど各種の画像データとすることができる。
つぎに、ファシリテーション支援装置120は、記憶している一時情報に含まれる各情報を、記述前の属性情報として、ステップS511により作成した記述オブジェクトに関連付けてオブジェクト情報記憶部407に記憶させる(ステップS512)。ステップS512において用いる一時情報は、ステップS509によりオブジェクト情報記憶部407に記憶したものである。この一時情報に含まれる各情報とは、発言者、チャプタ番号および会議状態の情報である。つぎに、ファシリテーション支援装置120は、ステップS509によりオブジェクト情報記憶部407に記憶した一時情報をクリアする(ステップS513)。
また、ファシリテーション支援装置120は、現在時点で仮記憶している各情報を、記述中の属性情報として、ステップS511により作成した記述オブジェクトに関連付けてオブジェクト情報記憶部407に記憶させる(ステップS514)。この仮記憶している各情報は、ステップS502,S505,S506により仮記憶した発言者、チャプタ番号および会議状態である。ステップS512,S513と、ステップS514と、は互いに順序を入れ替えてもよい。
つぎに、ファシリテーション支援装置120は、会議が終了したか否かを判断する(ステップS515)。会議が終了したか否かの判断は、たとえば、操作受付部401が会議の終了を示す操作を受け付けたか否かの判断や、会議の終了を示す音声が検出されたか否かの判断などにより行うことができる。会議が終了していない場合(ステップS515:No)は、ファシリテーション支援装置120は、ステップS510へ移行する。
ステップS508において、前の記述オブジェクトが存在すると判断した場合(ステップS508:Yes)は、ファシリテーション支援装置120は、ステップS516へ移行する。すなわち、ファシリテーション支援装置120は、ステップS502,S505,S506により仮記憶した各情報を、記述後の属性情報として、その前の記述オブジェクトに関連付けてオブジェクト情報記憶部407に記憶させる(ステップS516)。そして、ファシリテーション支援装置120は、ステップS509へ移行する。この仮記憶した各情報は、発言者、チャプタ番号および会議状態である。
ステップS515において、会議が終了した場合(ステップS515:Yes)は、ファシリテーション支援装置120は、一連の情報記憶処理を終了する。
(実施の形態にかかる会議状態の判定処理)
図6は、実施の形態にかかる会議状態の判定処理の一例を示す図である。ファシリテーション支援装置120のメモリ302には、たとえば図6に示す会議状態判定テーブル600が記憶されている。会議状態判定テーブル600においては、発言者状態の評価値、発言者数、時間単位の発言数、参加者状態の評価値および記述エリアへの記述間隔の組み合わせごとに会議状態が対応付けられている。
たとえば図5Aに示したステップS506において、ファシリテーション支援装置120は、直前の期間について、発言者状態の評価値、発言者数、時間単位の発言数、参加者状態の評価値および記述エリアへの記述間隔の組み合わせを判定する。直前の期間とは、記述エリア111への記述開始および記述終了の各タイミングで区切られる会議中の各期間のうち、現在時点の期間の直前の期間である。
ファシリテーション支援装置120は、その直前の期間を対象として、判定した組み合わせと会議状態判定テーブル600とに基づいて会議状態を判定する。これにより、ファシリテーション支援装置120は、記述エリア111への記述開始および記述終了の各タイミングで区切られる会議中の各期間について会議状態を判定することができる。
会議状態判定テーブル600の会議状態には、「発散」、「解明」、「選択/定義」、「共有」および「コンフリクト」がある。「発散」は、たとえば各参加者から様々な発言が出る状態である。「解明」は、たとえば「発散」において出た発言をまとめて議論を収束させる状態である。「選択/定義」は、たとえば議論する内容を選択したり曖昧な事項を定義したりする状態である。「共有」は、たとえば参加者の間で会議の前提事項や会議の結論を共有する状態である。「コンフリクト」は、たとえば参加者の間で意見が合わずに議論になる状態である。
会議状態判定テーブル600の発言者状態の評価値は、対象の期間において検出された発言者状態の評価値であり、上述の発言者の検出処理により判定される。図6に示す例では、発言者状態の評価値には、たとえば「中立・喜び・驚き」、「怒り・嫌悪」の2通りの状態がある。たとえば、対象の期間において、発言者から1度でも怒りまたは嫌悪の感情が検出された場合は、その対象の期間についての発言者状態の評価値は「怒り・嫌悪」と判定される。それ以外の場合はその対象の期間についての発言者状態の評価値は「中立・喜び・驚き」と判定される。
会議状態判定テーブル600の発言者数は、対象の期間において検出された発言者の数である。たとえば、発言者数は、対象の期間において上述の発言者の検出処理(たとえばSpeaker Recognition API)により検出された発言者を計数することにより判定される。
一例として、対象の期間において、まずAさんが発言し、つぎにBさんが発言し、つぎにAさんが発言した場合は、その期間の発言者数は2と判定される。図6に示す例では、発言者数は、「多い」および「少ない」の2通りとなっている。たとえば、発言者数が所定の閾値以上であれば「多い」と判定され、発言者数がその閾値未満であれば「少ない」と判定される。
会議状態判定テーブル600の時間単位の発言数は、対象の期間において検出された時間あたりの発言の数である。たとえば、時間単位の発言数は、対象の期間において上述の発言者の検出処理(たとえばSpeaker Recognition API)により検出された発言を計数し、計数した発言の数を対象の期間の時間長により除算することにより判定される。発言の計数は、たとえば、Speaker Recognition APIなどを用いて、発言者が切り替わるごとに発言数をカウントアップすることにより行うことができる。
一例として、対象の期間において、まずAさんが発言し、つぎにBさんが発言し、最後にAさんが発言し、その期間が2分であった場合は、その期間の時間単位の発言数は3÷2=1.5と判定される。図6に示す例では、時間単位の発言数は、「多い」および「少ない」の2通りとなっている。たとえば、時間単位の発言数が所定の閾値以上であれば「多い」と判定され、時間単位の発言数がその閾値未満であれば「少ない」と判定される。
会議状態判定テーブル600の参加者状態の評価値は、対象の期間において、図5A,図5Bに示したステップS503の参加者状態の判定処理により判定された参加者状態に基づく評価値である。たとえば、参加者状態が、上述のHaar−Cascadeなどを用いて判定される、上述の笑顔指数(笑顔の参加者の割合)であるとする。
この場合に、参加者状態の評価値は、たとえば対象の期間において判定された笑顔指数の代表値とすることができる。代表値は、たとえば平均値、中央値または最頻値などである。たとえば、対象の期間において、図5A,図5Bに示したステップS503が100回実行され、100回のステップS503により判定された100個の笑顔指数の平均値が75%であったとする。この場合は、参加者状態の評価値は75%と判定される。
図6に示す例では、参加者状態の評価値は、「◎」(良い)、「○」(普通)および「△」(悪い)の3通りとなっている。たとえば、第1の閾値(一例としては80%)と、第1の閾値より低い第2の閾値(一例としては20%)と、を用いる。そして、参加者状態の評価値が第1の閾値以上であれば「◎」と判定され、参加者状態の評価値が第1の閾値未満かつ第2閾値以上である場合は「○」と判定され、参加者状態の評価値が第2閾値未満である場合は「△」と判定される。
または、参加者状態は、上述のように、FaceAPIなどを用いて判定される、会議の各参加者についての感情であってもよい。この場合に、参加者状態の評価値は、たとえば、対象の期間において、「喜び」が検出された回数に基づいて判定される。「喜び」が検出された回数は、たとえば同時に2人の参加者の感情が「喜び」と判定された場合は、2回分カウントアップされる。
また、第1の閾値(一例としては10)と、第1の閾値より低い第2の閾値(一例としては5)と、を用いる。そして、「喜び」が検出された回数が第1の閾値以上であれば参加者状態の評価値は「◎」と判定される。また、「喜び」が検出された回数が第1の閾値未満かつ第2閾値以上である場合は参加者状態の評価値は「○」と判定される。また、「喜び」が検出された回数が第2閾値未満である場合は参加者状態の評価値は「△」と判定される。
または、対象の期間において、会議の参加者の少なくともいずれかから1度でも「怒り」または「嫌悪」の感情が検出された場合は、参加者状態の評価値は「△」と判定され、それ以外の場合は、発言者状態の評価値は「○」と判定されてもよい。
または、参加者状態は、上述のように、Haar−Cascadeなどを用いて判定される、会議の各参加者についての笑顔か否かの状態であってもよい。この場合に、参加者状態の評価値は、たとえば、対象の期間において、参加者の笑顔が検出された回数に基づいて判定される。参加者の笑顔が検出された回数は、たとえば同時に2人の参加者が笑顔と判定された場合は、2回分カウントアップされる。
また、第1の閾値(一例としては10)と、第1の閾値より低い第2の閾値(一例としては5)と、を用いる。そして、参加者の笑顔が検出された回数が第1の閾値以上であれば参加者状態の評価値は「◎」と判定される。また、参加者の笑顔が検出された回数が第1の閾値未満かつ第2閾値以上である場合は参加者状態の評価値は「○」と判定される。また、参加者の笑顔が検出された回数が第2閾値未満である場合は参加者状態の評価値は「△」と判定される。
会議状態判定テーブル600の記述エリアへの記述間隔は、記述エリア111に対して前のオブジェクトを記述してから次のオブジェクトを記述するまでの時間である。記述エリアへの記述間隔が短い場合は、記述エリア111への記述の頻度が高く、会議の状態が「発散」等に近いことを意味する。記述エリアへの記述間隔が長い場合は、記述エリア111への記述の頻度が低く、会議の状態が「発散」等に近くないことを意味する。
上述のように、対象の期間は記述エリア111への記述開始および記述終了の各タイミングで区切られる。したがって、対象の期間が記述エリア111への非記述中の期間である場合は、対象の期間の記述エリアへの記述間隔は、対象の期間の時間長である。また、対象の期間が記述エリア111への記述中の期間である場合は、対象の期間の記述エリアへの記述間隔は、対象の期間の直前の期間(非記述中の期間)の時間長である。
または、記述中の期間においては会議が発散しにくいことから、対象の期間が記述エリア111への記述中の期間である場合は、記述エリアへの記述間隔については判定しなくてもよい。この場合に、会議状態判定テーブル600に基づく会議状態の判定処理は、発言者状態の評価値、発言者数、時間単位の発言数および参加者状態の評価値の組み合わせにより行われる。また、この場合に、たとえば、「選択/定義」と「共有」は、区別されず、たとえば「選択/定義または共有」と判定される。
図6に示す例では、記述エリアへの記述間隔は、「長い」および「短い」の2通りとなっている。たとえば、記述エリアへの記述間隔が所定の閾値以上であれば「長い」と判定され、記述エリアへの記述間隔がその閾値未満であれば「短い」と判定される。
一例として、発言者状態の評価値が「中立・喜び・驚き」、発言者数が「多い」、時間単位の発言数が「多い」、参加者状態の評価値が「◎」、記述エリアへの記述間隔が「短い」である期間については、会議状態が「発散」と判定される。また、発言者状態の評価値が「怒り・嫌悪」、発言者数が「少ない」、時間単位の発言数が「多い」、参加者状態の評価値が「△」、記述エリアへの記述間隔が「長い」である期間については、会議状態が「コンフリクト」と判定される。
(実施の形態にかかるファシリテーション支援装置による記述状態の判定処理)
図7〜図9は、実施の形態にかかるファシリテーション支援装置による記述状態の判定処理の一例を示す図である。ファシリテーション支援装置120は、たとえばボード撮影用カメラ201により得られる撮影データが示す画像の中から、記述エリア111と、記述エリア111に対して記述を行う参加者101と、を抽出する。記述エリア111の抽出は、たとえば記述エリア111の形状や色に基づく画像マッチングにより行うことができる。
参加者101の抽出は、たとえば人物の形状や色に基づく画像マッチングにより行うことができる。また、画像から複数の人物が抽出された場合、たとえば、ファシリテーション支援装置120は、記述エリア111に最も近い人物を、記述エリア111に対して記述を行う参加者101として抽出してもよい。
たとえば、ファシリテーション支援装置120は、画像に含まれる人物のうち、記述エリア111により隠れていない人物を特定することにより、記述エリア111の手前(ボード撮影用カメラ201側)にいる人物を特定する。そして、ファシリテーション支援装置120は、特定した人物のうち、最も記述エリア111に近い人物を特定することにより、記述エリア111に対して記述を行う参加者101を抽出することができる。
記述エリア111と、記述エリア111の手前にいる人物と、の間の近さは、たとえば、画像上の人物の大きさに基づいて比較することができる。すなわち、画像上の大きさが小さい人物ほど奥側(記述エリア111側)に位置すると判断することができる。
また、ボード撮影用カメラ201が被写体との距離を測定可能なカメラである場合は、記述エリア111と人物との間の近さは、画像上の人物とボード撮影用カメラ201との間の距離に基づいて比較することができる。すなわち、ボード撮影用カメラ201との間の距離が長い人物ほど奥側に位置すると判断することができる。
また、人物間で重なりがある場合は、記述エリア111と人物との間の近さは、たとえば、人物間の重なりに基づいて比較することができる。すなわち、たとえば記述エリア111の手前にAさんとBさんがいて、BさんによってAさんの一部が隠れている場合は、AさんはBさんより奥側に位置すると判断することができる。
ファシリテーション支援装置120は、特定した参加者101の頭と手を抽出する。頭と手の抽出は、たとえば人物の頭と手の形状や色に基づく画像マッチングにより行うことができる。そして、ファシリテーション支援装置120は、抽出した参加者101の頭と手との間の距離を算出し、算出した距離に基づいて、参加者101が記述エリア111への記述中か否かを判定する。たとえば、ファシリテーション支援装置120は、算出した距離が閾値以上であれば、参加者101が記述エリア111への記述中であると判定する。また、ファシリテーション支援装置120は、算出した距離が閾値未満であれば、参加者101が記述エリア111への記述中でない(非記述中)と判定する。
また、ボード撮影用カメラ201が被写体との距離を測定可能なカメラである場合に、ファシリテーション支援装置120は、記述エリア111との間の距離と、記述エリア111に最も近い人物との間の距離と、の差分を算出してもよい。これにより、記述エリア111と、記述エリア111に最も近い人物と、の間の距離を算出することができる。そして、ファシリテーション支援装置120は、算出した距離が閾値以上である場合は、記述エリア111への記述を行う参加者はいないと判断し、参加者101が記述エリア111への記述中でないと判定してもよい。
図7〜図9に示す抽出領域701は、ファシリテーション支援装置120により抽出された参加者101の頭の領域である。図7〜図9に示す抽出領域702は、ファシリテーション支援装置120により抽出された参加者101の手の領域である。図7,図8に示す例では、抽出領域701,702の間の距離が短いため、ファシリテーション支援装置120は参加者101が記述エリア111への記述中であると判定する。一方、図9に示す例では、抽出領域701,702の間の距離が長いため、ファシリテーション支援装置120は参加者101が記述エリア111への記述中でないと判定する。
図7または図8の状態から図9の状態になった場合に、ファシリテーション支援装置120は、記述が終了したと判断する。そして、ファシリテーション支援装置120は、ボード撮影用カメラ201により得られた撮影データが示す画像から、それ以前と比べて更新された領域を抽出することにより、今回記述が終了したオブジェクト#1を抽出する。
たとえば、現在時点までに記述オブジェクトが作成されていない場合、ファシリテーション支援装置120は、会議の初期状態における記述エリア111の画像と、現在時点における記述エリア111の画像と、の差分を抽出する。これにより、オブジェクト#1を抽出することができる。記述エリア111の画像は、ボード撮影用カメラ201により得られた撮影データに基づく画像である。
また、現在時点までに記述オブジェクトが作成されている場合、ファシリテーション支援装置120は、会議の初期状態における記述エリア111の画像と、現在時点における記述エリア111の画像と、の差分の画像を抽出する。そして、ファシリテーション支援装置120は、抽出した差分の画像から、作成済みの記述オブジェクトに対応するオブジェクトを除外する。これにより、オブジェクト#1を抽出することができる。
このオブジェクト#1を抽出する処理において、ファシリテーション支援装置120は、ボード撮影用カメラ201により得られた撮影データが示す画像のうち、参加者101などの人物の領域については除外して各判断を行う。
(実施の形態にかかるファシリテーション支援装置の会議の進行に伴う処理)
つぎに、図10〜図29を用いて、会議の進行の一例と、その一例におけるファシリテーション支援装置120の処理について説明する。この例においては、会議の参加者は、Aさん、Bさん、Cさん、DさんおよびEさんの5名であるとする。また、この例においては、会議の開始時には記述エリア111に何も記述されておらず、会議中にAさんが記述エリア111に少なくとも3つのオブジェクト(後述のオブジェクト#1〜#3)を記述するとする。
図10および図11は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第1段階を示す図である。図12は、図10および図11に示した第1段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。図13は、図10および図11に示した第1段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。
図12において、横軸は時刻を示す。記述状態1201は、図5A,図5Bに示したステップS501において開始される上述の記述状態の判定処理により判定される記述エリア111への記述状態であり、非記述中および記述中のいずれかである。発言者1202は、記述状態1201の変化(記述開始および記述終了)により区切られる各期間について、図5A,図5Bに示したステップS501において開始される上述の発言者の検出処理により検出された発言者である。
会議状態1203は、図5A,図5Bに示したステップS506において上述の会議状態の判定処理により判定される会議状態である。記憶音声データ1204は、マイク203により得られ、図5A,図5Bに示したステップS501において開始される上述の音声データの記憶処理により音声データ記憶部405に記憶される音声データである。チャプタ番号1205は、図5A,図5Bに示したステップS505により設定される音声データに設定されたチャプタを示す番号である。
記述状態変化タイミング1206は、図5A,図5Bに示したステップS504において有無が判定される、記述状態1201の変化のタイミングである。記述状態変化タイミング1206には上述のように記述の開始および記述の終了がある。記述終了タイミング1207は、記述状態変化タイミング1206のうち記述の終了のタイミングである。記述オブジェクト作成タイミング1208は、図5A,図5Bに示したステップS511により記述オブジェクトが作成されるタイミングである。
まず、図10に示すように、時刻t0において、ファシリテーション支援装置120による図5A,図5Bに示した情報記憶処理が開始されるとともに会議が開始され、Aさん、BさんおよびCさんが発言したとする。このとき、ファシリテーション支援装置120は、図12の記憶音声データ1204に示すように、マイク203により得られた音声データである「Voice_1」の記憶を開始する。このとき、図12のチャプタ番号1205に示すように、ファシリテーション支援装置120は、「Voice_1」における時刻t0に対応する位置にチャプタ番号「0」を設定する。
つぎに、図11に示すように、時刻t1において、Aさんが記述エリア111へのオブジェクト#1(棒グラフ)の記述を開始したとする。この場合に、図12の記述状態1201に示すように、時刻t0から時刻t1までの期間は非記述中となる。このとき、図12の記述状態変化タイミング1206に示すように、ファシリテーション支援装置120は、図5A,図5Bに示したステップS504において、記述エリア111への記述状態に変化があったと判断する。
また、図12の発言者1202に示すように、ファシリテーション支援装置120は、時刻t0から時刻t1までの期間における発言者としてAさん、BさんおよびCさんを検出する。また、図12の会議状態1203に示すように、ファシリテーション支援装置120は、時刻t0から時刻t1までの期間における会議状態を判定する。ここではファシリテーション支援装置120が会議状態を「会議状態_1」と判定したとする。また、図12のチャプタ番号1205に示すように、ファシリテーション支援装置120は、「Voice_1」における時刻t1に対応する位置にチャプタ番号「1」を設定する。
また、ファシリテーション支援装置120は、図13に示すように、一時情報1310を生成してオブジェクト情報記憶部407に記憶させる。一時情報1310は、時刻t0から時刻t1までの期間における情報である。たとえば、一時情報1310は、発言者としてAさん、BさんおよびCさんを示し、会議状態として「会議状態_1」を示し、チャプタ番号として「0」を示す。
図14および図15は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第2段階を示す図である。図16は、図14および図15に示した第2段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。図17は、図14および図15に示した第2段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。
図10,図11に示した第1段階の後、図14に示すように、Aさんが記述エリア111へオブジェクト#1を記述中に、Bさんが発言したとする。つぎに、図15に示すように、時刻t2において、Aさんが記述エリア111へのオブジェクト#1の記述を終了したとする。この場合に、図16の記述状態1201に示すように、時刻t1から時刻t2までの期間は記述中となる。
このとき、ファシリテーション支援装置120は、図16の記憶音声データ1204に示すように、第1段階から開始した「Voice_1」の記憶を継続している。また、図16の発言者1202に示すように、ファシリテーション支援装置120は、時刻t1から時刻t2までの期間における発言者としてBさんを検出する。
また、図16の会議状態1203に示すように、ファシリテーション支援装置120は、時刻t1から時刻t2までの期間における会議状態を判定する。ここではファシリテーション支援装置120が会議状態を「会議状態_2」と判定したとする。また、図16のチャプタ番号1205に示すように、ファシリテーション支援装置120は、「Voice_1」における時刻t2に対応する位置にチャプタ番号「2」を設定する。
また、ファシリテーション支援装置120は、図17に示すように、記述オブジェクト1710と、オブジェクト管理情報1720と、属性情報1730と、を生成してオブジェクト情報記憶部407に記憶させる。記述オブジェクト1710は、時刻t2において記述が終了したオブジェクト#1を示す画像データである。
オブジェクト管理情報1720は、対象の1回の会議において記述エリア111に記述されたオブジェクトのそれぞれを対象として、記述位置および格納アドレスを示す情報である。記述位置とは、対象のオブジェクトが記述された記述エリア111における記述位置(たとえばXY座標)である。格納アドレスは、対象のオブジェクトを示す記述オブジェクトが格納されたオブジェクト情報記憶部407(メモリ302)におけるアドレスである。図17に示すように、第1段階においては、オブジェクト管理情報1720は、時刻t2において記述が終了したオブジェクト#1の記述位置「x1,y1」および格納アドレス「address_1」を示している。
また、オブジェクト管理情報1720は、各オブジェクトの情報を、各オブジェクトが記述された順番に格納することで、各オブジェクトが記述された順番を特定可能な情報でもある。ここではオブジェクト#1の情報がオブジェクト管理情報1720の先頭に格納されることにより、最初に記述されたオブジェクトがオブジェクト#1であると特定することができる。
属性情報1730は、オブジェクト#1の記述前(時刻t0〜t1)、オブジェクト#1の記述中(時刻t1〜t2)およびオブジェクト#1の記述後の各期間について、発言者と、会議状態と、チャプタ番号と、を示す情報である。図17に示すように、第1段階において、属性情報1730は、記述前の発言者としてAさん、BさんおよびCさんを示し、記述前の会議状態として「会議状態_1」を示し、記述前のチャプタ番号として「0」を示す。この記述前の各情報については、図13に示した一時情報1310に基づいて生成される。
また、第1段階において、属性情報1730は、記述中の発言者としてBさんを示し、記述中の会議状態として「会議状態_2」を示し、記述中のチャプタ番号として「1」を示す。この記述中の各情報については、時刻t1から時刻t2までの期間において判定されて仮記憶された各情報に基づいて生成される。
また、第1段階においては、オブジェクト#1の記述後の期間、すなわちオブジェクト#1の記述終了からオブジェクト#2の記述開始までの期間が確定していない。このため、属性情報1730における記述後の情報は空欄になっている。また、ファシリテーション支援装置120は、図17に示すように、図13に示した一時情報1310をオブジェクト情報記憶部407からクリアする。
図18および図19は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第3段階を示す図である。図20は、図18および図19に示した第3段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。図21は、図18および図19に示した第3段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。
図14,図15に示した第2段階の後、図18に示すように、Aさん、Bさん、CさんおよびDさんが発言したとする。つぎに、図19に示すように、時刻t3において、Aさんが記述エリア111へのオブジェクト#2(ノート型のパーソナルコンピュータの図)の記述を開始したとする。この場合に、図20の記述状態1201に示すように、時刻t2から時刻t3までの期間は非記述中となる。
このとき、ファシリテーション支援装置120は、図20の記憶音声データ1204に示すように、第1段階から開始した「Voice_1」の記憶を継続している。また、図20の発言者1202に示すように、ファシリテーション支援装置120は、時刻t2から時刻t3までの期間における発言者としてAさん、Bさん、CさんおよびDさんを検出する。
また、図20の会議状態1203に示すように、ファシリテーション支援装置120は、時刻t2から時刻t3までの期間における会議状態を判定する。ここではファシリテーション支援装置120が会議状態を「会議状態_3」と判定したとする。また、図20のチャプタ番号1205に示すように、ファシリテーション支援装置120は、「Voice_1」における時刻t3に対応する位置にチャプタ番号「3」を設定する。
また、ファシリテーション支援装置120は、図21に示すように、一時情報2110を生成してオブジェクト情報記憶部407に記憶させる。一時情報2110は、時刻t2から時刻t3までの期間における情報である。たとえば、一時情報2110は、発言者としてAさん、Bさん、CさんおよびDさんを示し、会議状態として「会議状態_3」を示し、チャプタ番号として「2」を示す。
また、ファシリテーション支援装置120は、図21に示すように、一時情報2110と同じ内容を、オブジェクト#1の記述後(時刻t2〜t3)の情報として属性情報1730に追加する。これにより、オブジェクト#1に関する属性情報1730が完成する。
図22および図23は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第4段階を示す図である。図24は、図22および図23に示した第4段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。図25は、図22および図23に示した第4段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。
図18,図19に示した第3段階の後、図22に示すように、Aさんが記述エリア111へオブジェクト#2を記述中に、Bさんが発言したとする。つぎに、図23に示すように、時刻t4において、Aさんが記述エリア111へのオブジェクト#2の記述を終了したとする。この場合に、図24の記述状態1201に示すように、時刻t3から時刻t4までの期間は記述中となる。
このとき、ファシリテーション支援装置120は、図24の記憶音声データ1204に示すように、第1段階から開始した「Voice_1」の記憶を継続している。また、図24の発言者1202に示すように、ファシリテーション支援装置120は、時刻t3から時刻t4までの期間における発言者としてBさんを検出する。
また、図24の会議状態1203に示すように、ファシリテーション支援装置120は、時刻t3から時刻t4までの期間における会議状態を判定する。ここではファシリテーション支援装置120が会議状態を「会議状態_4」と判定したとする。また、図24のチャプタ番号1205に示すように、ファシリテーション支援装置120は、「Voice_1」における時刻t4に対応する位置にチャプタ番号「4」を設定する。
また、ファシリテーション支援装置120は、図25に示すように、記述オブジェクト2510と、属性情報2530と、を生成してオブジェクト情報記憶部407に記憶させる。記述オブジェクト2510は、時刻t4において記述が終了したオブジェクト#2を示す画像データである。
属性情報2530は、オブジェクト#2の記述前(時刻t2〜t3)、オブジェクト#2の記述中(時刻t3〜t4)およびオブジェクト#2の記述後の各期間について、発言者と、会議状態と、チャプタ番号と、を示す情報である。図25に示すように、第4段階において、属性情報2530は、記述前の発言者としてAさん、Bさん、CさんおよびDさんを示し、記述前の会議状態として「会議状態_3」を示し、記述前のチャプタ番号として「2」を示す。この記述前の各情報については、図21に示した一時情報2110に基づいて生成される。
また、第4段階において、属性情報2530は、記述中の発言者としてBさんを示し、記述中の会議状態として「会議状態_4」を示し、記述中のチャプタ番号として「3」を示す。この記述中の各情報については、時刻t3から時刻t4までの期間において判定されて仮記憶された各情報に基づいて生成される。
また、第4段階においては、オブジェクト#2の記述後の期間、すなわちオブジェクト#2の記述終了からオブジェクト#3の記述開始までの期間が確定していない。このため、属性情報2530における記述後の情報は空欄になっている。また、ファシリテーション支援装置120は、図25に示すように、図21に示した一時情報2110をオブジェクト情報記憶部407からクリアする。
また、ファシリテーション支援装置120は、図25に示すように、オブジェクト情報記憶部407のオブジェクト管理情報1720にオブジェクト#2の情報を追加する。図25に示すように、第4段階においては、オブジェクト管理情報1720は、上述したオブジェクト#1の情報に加えて、時刻t4において記述が終了したオブジェクト#2の記述位置「x2,y2」および格納アドレス「address_2」を示している。格納アドレス「address_2」は、オブジェクト#2を示す記述オブジェクト2510が格納されたオブジェクト情報記憶部407(メモリ302)におけるアドレスである。
図26および図27は、実施の形態にかかるファシリテーション支援装置の対象の会議の一例における第5段階を示す図である。図28は、図26および図27に示した第5段階におけるファシリテーション支援装置の処理のタイミングの一例を示す図である。図29は、図26および図27に示した第5段階においてファシリテーション支援装置がオブジェクト情報記憶部に記憶させる情報の一例を示す図である。
図22,図23に示した第4段階の後、図26に示すように、AさんおよびDさんが発言したとする。つぎに、図27に示すように、時刻t5において、Aさんが記述エリア111へのオブジェクト#3の記述を開始したとする。この場合に、図28の記述状態1201に示すように、時刻t4から時刻t5までの期間は非記述中となる。
このとき、ファシリテーション支援装置120は、図28の記憶音声データ1204に示すように、第1段階から開始した「Voice_1」の記憶を継続している。また、図28の発言者1202に示すように、ファシリテーション支援装置120は、時刻t4から時刻t5までの期間における発言者としてAさんおよびDさんを検出する。
また、図28の会議状態1203に示すように、ファシリテーション支援装置120は、時刻t4から時刻t5までの期間における会議状態を判定する。ここではファシリテーション支援装置120が会議状態を「会議状態_5」と判定したとする。また、図28のチャプタ番号1205に示すように、ファシリテーション支援装置120は、「Voice_1」における時刻t5に対応する位置にチャプタ番号「5」を設定する。
また、ファシリテーション支援装置120は、図29に示すように、一時情報2910を生成してオブジェクト情報記憶部407に記憶させる。一時情報2910は、時刻t4から時刻t5までの期間における情報である。たとえば、一時情報2910は、発言者としてAさんおよびDさんを示し、会議状態として「会議状態_5」を示し、チャプタ番号として「4」を示す。
また、ファシリテーション支援装置120は、図29に示すように、一時情報2910と同じ内容を、オブジェクト#2の記述後(時刻t4〜t5)の情報として属性情報2530に追加する。これにより、オブジェクト#2に関する属性情報2530が完成する。
図5A,図5Bおよび図10〜図29に示した例では、会議の進行中、すなわち録音データの記憶中にオブジェクトに関する各情報を生成する例について説明したが、このような処理に限らない。たとえば、ボード撮影用カメラ201および参加者撮影用カメラ202により得られる各撮影データと、マイク203により得られる音声データと、を会議の全期間について記憶していてもよい。この場合、ファシリテーション支援装置120は、会議の終了後に、記憶しておいた各撮影データおよび音声データに基づいて上述の情報出力処理により生成するオブジェクトに関する各情報と同様の各情報を生成する。
(実施の形態にかかるファシリテーション装置による情報出力処理)
図30は、実施の形態にかかるファシリテーション装置による情報出力処理の一例を示すフローチャートである。実施の形態にかかるファシリテーション支援装置120は、ホワイトボード110を用いた会議の終了後に、その会議についての情報の出力を指示する操作を受け付けると、たとえば図30に示す情報出力処理を開始する。図30に示す情報出力処理は、たとえば図4に示した出力制御部408により実行される。
まず、ファシリテーション支援装置120は、対象の会議において記述エリア111に記述された各オブジェクトを表示する(ステップS3001)。たとえば、ファシリテーション支援装置120は、オブジェクト情報記憶部407に記憶されたオブジェクト管理情報1720および各記述オブジェクトに基づいて、記述エリア111に記述された各オブジェクトを表示する(たとえば図31参照)。また、たとえば、ファシリテーション支援装置120は、上述のユーザインタフェース305に含まれるディスプレイへ表示情報を出力することによりステップS3001の表示を行う。
つぎに、ファシリテーション支援装置120は、ステップS3001により表示した各オブジェクトの中から、いずれかのオブジェクトの指定をユーザから受け付ける(ステップS3002)。オブジェクトの指定の受け付け方法の例については後述する(たとえば図32〜図34参照)。
つぎに、ファシリテーション支援装置120は、ステップS3002により指定を受け付けたオブジェクトの記述前、記述中および記述後の各期間における発言者および会議状態をそれぞれ特定する(ステップS3003)。たとえば、ファシリテーション支援装置120は、指定を受け付けたオブジェクトについてオブジェクト情報記憶部407に記憶された属性情報に基づいてステップS3003の特定を行う。この属性情報は、上述のように、対象のオブジェクトの記述前、記述中および記述後の各期間における発言者と会議状態の情報を含む。
つぎに、ファシリテーション支援装置120は、上述の指定を受け付けたオブジェクトの記述前、記述中および記述後の各期間と、ステップS3003により特定した発言者および会議状態と、をそれぞれ対応付けて表示する(ステップS3004)。たとえば、ファシリテーション支援装置120は、上述のユーザインタフェース305に含まれるディスプレイへ表示情報を出力することによりステップS3003の表示を行う(たとえば図32〜図34参照)。
つぎに、ファシリテーション支援装置120は、ステップS3004により表示した記述前、記述中および記述後の各期間の中から、いずれかの期間の指定をユーザから受け付ける(ステップS3005)。期間の指定の受け付け方法の例については後述する(たとえば図31〜図34参照)。
つぎに、ファシリテーション支援装置120は、音声データ記憶部405に記憶された音声データが示す音声のうち、ステップS3005により指定を受け付けた期間における音声を特定する(ステップS3006)。たとえば、ファシリテーション支援装置120は、オブジェクト情報記憶部407に記憶された属性情報に基づいて、音声データ記憶部405に記憶された音声データに設定されたチャプタ番号のうち、指定を受け付けた期間に対応するチャプタ番号を特定する。この属性情報は、上述のように、対象のオブジェクトの記述前、記述中および記述後の各期間における音声データのチャプタ番号を含む。
つぎに、ファシリテーション支援装置120は、音声データ記憶部405に記憶された音声データに基づいて、ステップS3006により特定した音声を再生し(ステップS3007)、一連の情報出力処理を終了する。たとえば、ファシリテーション支援装置120は、音声データ記憶部405に記憶された音声データが示す音声を、ステップS3006において特定したチャプタ番号が示すチャプタから再生する。また、たとえば、ファシリテーション支援装置120は、上述のユーザインタフェース305に含まれるスピーカへ情報を出力することによりステップS3007の再生を行う。
(実施の形態にかかるファシリテーション支援装置が表示するオブジェクト再生画面)
図31は、実施の形態にかかるファシリテーション支援装置が表示するオブジェクト再生画面の一例を示す情報である。ここでは、過去に行われた1回の会議において、オブジェクト#11〜#14が、オブジェクト#11、オブジェクト#12、オブジェクト#13、オブジェクト#14の順に記述エリア111へ記述されたとする。
ファシリテーション支援装置120は、この会議について図5A,図5Bに示した情報記憶処理を行っており、その結果、この会議において録音された音声を示す音声データを音声データ記憶部405に記憶している。
また、ファシリテーション支援装置120は、オブジェクト#11〜#14に関する各情報をオブジェクト情報記憶部407に記憶している。ここで、ファシリテーション支援装置120は、オブジェクト#11〜#14が記述された順番を特定可能な情報も記憶していてもよい。たとえば、上述のオブジェクト管理情報1720には、オブジェクト#11〜#14に関する情報が、オブジェクト#11に関する情報、オブジェクト#12に関する情報、オブジェクト#13に関する情報、オブジェクト#14に関する情報の順に格納されている。
ファシリテーション支援装置120は、たとえばこの会議についてのオブジェクト再生画面3100の表示の指示を受け付けると、オブジェクト情報記憶部407に記憶したオブジェクト#11〜#14の各情報を取得する。そして、ファシリテーション支援装置120は、取得した各情報に基づいて、オブジェクト#11〜#14を含むオブジェクト再生画面3100を表示する。オブジェクト再生画面3100は、たとえば図3に示したユーザインタフェース305に含まれるディスプレイなどにより表示される。
たとえば、ファシリテーション支援装置120は、オブジェクト管理情報1720に含まれるオブジェクト#11〜#14のそれぞれについて、オブジェクト管理情報1720における上述の格納アドレスを参照して対象の記述オブジェクトを読み出す。そして、ファシリテーション支援装置120は、読み出した記述オブジェクトが示すオブジェクトを、オブジェクト管理情報1720における上述の記述位置が示す位置に描写する。これにより、オブジェクト#11〜#14を含むオブジェクト再生画面3100が表示され、対象の会議における記述エリア111への記述内容が再現される。
カーソル3111は、オブジェクト再生画面3100に重ねて表示され、ユーザが操作可能なポインタである。たとえば、カーソル3111は、図3に示したユーザインタフェース305に含まれるマウスなどによりユーザが操作可能である。
(実施の形態にかかるファシリテーション支援装置によるサブウィンドウの表示)
図32は、実施の形態にかかるファシリテーション支援装置によるサブウィンドウの表示の一例を示す情報である。図32において、図31に示した部分と同様の部分については同一の符号を付して説明を省略する。たとえば、図31に示した状態から、ユーザが、図32に示すように、マウスなどによりカーソル3111を操作し、カーソル3111をオブジェクト#13に合わせた(マウスオーバした)とする。または、ユーザが、カーソル3111をオブジェクト#13に合わせた状態で指示操作(たとえばマウスのボタンのクリック)を行ったとする。
この場合、ファシリテーション支援装置120は、オブジェクト#13の指示を受け付けたと判断する。そして、ファシリテーション支援装置120は、オブジェクト#13についての属性情報をオブジェクト情報記憶部407から取得し、取得した属性情報に基づくサブウィンドウ3210をポップアップにより表示する。
サブウィンドウ3210は、オブジェクト#13の表示領域と重ならない位置に表示される。図32に示す例では、サブウィンドウ3210はオブジェクト#13の右下に表示されている。サブウィンドウ3210は、オブジェクト#13の記述前、記述中および記述後の各期間について、発言者3212および会議状態3213を示している。また、図32に示す例では、サブウィンドウ3210は、会議状態3213とともに上述の参加者状態も表示している。
サブウィンドウ3210により、ユーザは、オブジェクト#13に関して、特定の参加者が発言したのがオブジェクト#13の記述前、記述中および記述後のいずれの期間であるかを把握することができる。また、ユーザは、オブジェクト#13に関して、特定の会議状態や参加者状態となったのがオブジェクト#13の記述前、記述中および記述後のいずれの期間であるかを把握することができる。
また、サブウィンドウ3210は、再生ボタン3211a〜3211cを含む。再生ボタン3211a〜3211cは、それぞれオブジェクト#13の記述前、記述中、記述後の各期間における音声データを再生するためのボタンである。音声データの再生は、たとえば図3に示したユーザインタフェース305に含まれるスピーカにより行われる。
たとえば、記述前に対応する再生ボタン3211aがカーソル3111で指示(クリック等)されると、ファシリテーション支援装置120は、オブジェクト情報記憶部407におけるオブジェクト#13についての属性情報から記述前のチャプタ番号を取得する。そして、ファシリテーション支援装置120は、音声データ記憶部405の音声データを、取得したチャプタ番号が示す位置(チャプタ)から再生する。
また、記述中に対応する再生ボタン3211bがカーソル3111で指示されると、ファシリテーション支援装置120は、オブジェクト情報記憶部407におけるオブジェクト#13についての属性情報から記述中のチャプタ番号を取得する。そして、ファシリテーション支援装置120は、音声データ記憶部405の音声データを、取得したチャプタ番号が示す位置から再生する。
また、記述後に対応する再生ボタン3211cがカーソル3111で指示されると、ファシリテーション支援装置120は、オブジェクト情報記憶部407におけるオブジェクト#13についての属性情報から記述後のチャプタ番号を取得する。そして、ファシリテーション支援装置120は、音声データ記憶部405の音声データを、取得したチャプタ番号が示す位置から再生する。
ファシリテーション支援装置120は、取得したチャプタ番号が示す位置から音声データを再生した場合に、たとえば、次のチャプタ番号が設定された位置で音声データの再生を停止する。または、ファシリテーション支援装置120は、取得したチャプタ番号が示す位置から音声データを再生した場合に、音声データの最後まで再生を行うようにしてもよい。
たとえば、ユーザは、オブジェクト#13に関するAさんの発言を確認したい場合に、カーソル3111をオブジェクト#13に合わせてサブウィンドウ3210を表示させる。これにより、ユーザは、サブウィンドウ3210から、オブジェクト#13の記述前の期間の発言者にAさんが含まれることを把握することができる。この場合に、ユーザは、記述前に対応する再生ボタン3211aをカーソル3111により指示する。これにより、音声データ記憶部405の音声データが示す音声のうち、オブジェクト#13に関するAさんの発言があった期間の音声が再生される。
または、ユーザは、オブジェクト#13に関して会議でコンフリクトが生じた際の会議の音声を確認したい場合に、カーソル3111をオブジェクト#13に合わせてサブウィンドウ3210を表示させる。これにより、ユーザは、サブウィンドウ3210から、オブジェクト#13の記述後の期間の会議状態がコンフリクトであることを把握することができる。この場合に、ユーザは、記述後に対応する再生ボタン3211cをカーソル3111により指示する。これにより、音声データ記憶部405の音声データが示す音声のうち、オブジェクト#13に関して会議でコンフリクトが生じた期間の音声が再生される。
また、サブウィンドウ3210は、クローズボタン3214を含む。カーソル3111によりクローズボタン3214を指示すると、サブウィンドウ3210が非表示になる。
カーソル3111がオブジェクト#13に合わされた場合に、ファシリテーション支援装置120は、オブジェクト#13を囲む枠3223(図32に示す例では実線の矩形枠)を表示してもよい。これにより、オブジェクト#13が選択され、オブジェクト#13に関するサブウィンドウ3210が表示されていることをユーザが容易に把握することができる。
また、カーソル3111がオブジェクト#13に合わされた場合に、ファシリテーション支援装置120は、オブジェクト#13の前に記述されたオブジェクト#12を囲む枠3222(図32に示す例では点線の矩形枠)を表示してもよい。また、オブジェクト#12を囲む枠3222から、オブジェクト#13を囲む枠3223へ向かう矢印3231(図32に示す例では点線の矢印)を表示してもよい。これにより、カーソル3111を合わせたオブジェクト#13の前に記述されたオブジェクトがオブジェクト#12であることをユーザが容易に把握することができる。このため、会議の流れをユーザが容易に把握することができる。
また、カーソル3111がオブジェクト#13に合わされた場合に、ファシリテーション支援装置120は、オブジェクト#13の後に記述されたオブジェクト#14を囲む枠3224(図32に示す例では点線の矩形枠)を表示してもよい。また、オブジェクト#13を囲む枠3223から、オブジェクト#14を囲む枠3224へ向かう矢印3232(図32に示す例では実線の矢印)を表示してもよい。これにより、カーソル3111を合わせたオブジェクト#13の後に記述されたオブジェクトがオブジェクト#14であることをユーザが容易に把握することができる。
オブジェクト#12〜#13の強調表示に枠3222〜3223を用いる場合について説明したが、オブジェクト#12〜#13の強調表示はこれらに限らず、背景色の変更や反転表示など各種の強調表示とすることができる。
図33は、実施の形態にかかるファシリテーション支援装置によるサブウィンドウの表示の他の一例を示す図(その1)である。図33において、図32に示した部分と同様の部分については同一の符号を付して説明を省略する。ファシリテーション支援装置120は、オブジェクト再生画面3100の表示の指示を受け付けると、図33に示すようにリストウィンドウ3310を含むオブジェクト再生画面3100を表示してもよい。
リストウィンドウ3310は、会議状態や発言者からオブジェクトを選択して指示可能なウィンドウである。たとえば、リストウィンドウ3310は、初期状態において「▽会議状態」および「▽発言者」を示している。ここで、たとえば「▽会議状態」をカーソル3111で指示すると、図33に示すように、「▽発散」、「▽解明」、「▽選択/定義」、「▽共有」および「▽コンフリクト」が表示される。
そして、たとえば「▽発散」をカーソル3111で指示すると、記述前、記述中および記述後の少なくともいずれかの会議状態が「発散」である各オブジェクトが表示される。図33に示す例では、オブジェクト#12,#13がリストウィンドウ3310に表示されている。そして、たとえばリストウィンドウ3310に表示されたオブジェクト#13にカーソル3111が合わせられると、ファシリテーション支援装置120は、オブジェクト#13についての上述のサブウィンドウ3210をポップアップにより表示する。
これにより、ユーザは、記述の際に特定の会議状態を含むオブジェクトを容易に選択し、そのオブジェクトの記述前、記述中および記述後のそれぞれにおける発言者および会議状態を示す情報(たとえばサブウィンドウ3210)を表示させることができる。
図34は、実施の形態にかかるファシリテーション支援装置によるサブウィンドウの表示の他の一例を示す図(その2)である。図34において、図33に示した部分と同様の部分については同一の符号を付して説明を省略する。上述のように、リストウィンドウ3310は、初期状態において「▽会議状態」および「▽発言者」を示している。
ここで、たとえば「▽発言者」をカーソル3111で指示すると、図34に示すように、オブジェクト#11〜#14に対応する会議の参加者である「Aさん」、「Bさん」、「Cさん」および「Dさん」がリストウィンドウ3310に表示される。
そして、たとえば「Cさん」をカーソル3111で指示すると、記述前、記述中および記述後の少なくともいずれかの発言者にCさんを含む各オブジェクトが表示される。図34に示す例では、オブジェクト#11〜#13がリストウィンドウ3310に表示されている。そして、たとえばリストウィンドウ3310に表示されたオブジェクト#13にカーソル3111が合わせられると、ファシリテーション支援装置120は、オブジェクト#13についての上述のサブウィンドウ3210をポップアップにより表示する。
これにより、ユーザは、特定の発言者の発言があったオブジェクトを容易に選択し、そのオブジェクトの記述前、記述中および記述後のそれぞれにおける発言者および会議状態を示す情報(たとえばサブウィンドウ3210)を表示させることができる。
このように、実施の形態にかかるファシリテーション支援装置120は、ディスカッションにおいてボードに記述されたオブジェクトの中から指定されたオブジェクトについての記述前、記述中および記述後の各期間における発言者を特定可能な情報を出力する。そして、ファシリテーション支援装置120は、上述のディスカッションにおいて録音された音声のうち、上述の各期間のうち指定された期間における音声を出力する。
これにより、ユーザは、指定したオブジェクトの記述前、記述中および記述後のそれぞれにおける発言者を把握し、把握した発言者に基づいて指定した期間における音声を参照することができる。したがって、ユーザは、ディスカッションにおいてボードに記述された所望のオブジェクトについての所望の参加者(たとえば会議のステークホルダ等)による発言を、そのディスカッションにおいて録音された音声の中から容易に探して参照することができる。すなわち、ユーザは、所望のオブジェクトについての所望の参加者による発言を早く聞くことができる。このため、ボードに記述された所望のオブジェクトに関する所望の参加者による発言を確認しやすくし、ファシリテーションを支援することができる。発言の確認には、発言の内容や、発言のニュアンス(口調等)が含まれる。
また、ファシリテーション支援装置120は、オブジェクトの記述前、記述中および記述後の各期間のそれぞれにおける発言者を特定可能な情報を上述の第1記憶部に記憶させる処理を行ってもよい。たとえば、ファシリテーション支援装置120は、ディスカッションにおける参加者がボードに記述中か否かを監視する。そして、ファシリテーション支援装置120は、その監視結果と、そのディスカッションにおいて得られたボードの記述内容を示す画像と、に基づいてボードに記述されたオブジェクトを抽出する。また、ファシリテーション支援装置120は、ディスカッションにおいて録音された音声に基づいて、抽出したオブジェクトの記述前、記述中および記述後の各期間のそれぞれにおける発言者を検出する。そして、ファシリテーション支援装置120は、検出した発言者に基づいて、抽出したオブジェクトの記述前、記述中および記述後の各期間のそれぞれにおける発言者を特定可能な情報を第1記憶部に記憶させる。
また、ファシリテーション支援装置120は、ディスカッションにおける各時点について参加者がボードに記述中か否かの監視を、たとえば、撮影データから判定した、参加者のディスカッションにおける頭と手との間の距離に基づいて行うことができる。一例としては、ファシリテーション支援装置120は、参加者の頭と手との間の距離が所定の閾値以上である場合は、参加者がボードに記述中であると判定する。また、ファシリテーション支援装置120は、参加者の頭と手との間の距離がその閾値未満である場合は、参加者がボードに記述中でないと判定する。
上述したオブジェクトの記述前、記述中および記述後の各期間は、たとえば、上述の記述中か否かの監視結果に基づいて、会議の期間を、そのオブジェクトの記述の開始および終了の各タイミングにより区切った各期間とすることができる。
また、上述の第1記憶部は、ディスカッションにおいてボードに記述されたオブジェクトと対応付けて、そのオブジェクトの記述前、記述中および記述後の各期間におけるディスカッションの状態を特定可能な情報をさらに記憶していてもよい。ディスカッションの状態とは、たとえば上述の会議状態(たとえば「発散」、「解明」、「選択/定義」、「共有」および「コンフリクト」)である。ファシリテーション支援装置120は、この第1記憶部を参照して、指定されたオブジェクトについての記述前、記述中および記述後の各期間におけるディスカッションの状態をそれぞれ特定な情報を出力する。
これにより、ユーザは、指定したオブジェクトの記述前、記述中および記述後のそれぞれにおけるディスカッションの状態を把握し、把握したディスカッションの状態に基づいて指定した期間における音声を参照することができる。したがって、ユーザは、ディスカッションにおいてボードに記述された特定のオブジェクトについての特定のディスカッションの状態における音声を、そのディスカッションにおいて録音された音声の中から容易に探して参照することができる。このため、ボードに記述されたオブジェクトに関する発言を確認しやすくし、ファシリテーションを支援することができる。
ある期間におけるディスカッションの状態は、たとえば、ディスカッションのその期間における発言者の感情に関する状態(たとえば図6において説明した発言者状態の評価値)を指標として判定される状態である。また、ある期間におけるディスカッションの状態は、ディスカッションのその期間における発言者の数(たとえば図6において説明した発言者数)を指標として判定される状態であってもよい。
また、ある期間におけるディスカッションの状態は、ディスカッションのその期間における時間あたりの発言の数(たとえば図6において説明した時間単位の発言数)を指標として判定される状態であってもよい。また、ある期間におけるディスカッションの状態は、ディスカッションの参加者のその期間における感情に関する状態(たとえば図6において説明した参加者状態の評価値)を指標として判定される状態であってもよい。
また、ある期間におけるディスカッションの状態は、その期間の時間長(たとえば図6において説明した記述エリアへの記述間隔)を指標として判定される状態であってもよい。また、ある期間におけるディスカッションの状態は、上述の各指標の情報を組み合わせて判定される状態であってもよい。
また、ファシリテーション支援装置120は、オブジェクトの指定を受け付ける前に、上述のディスカッションの状態の指定を受け付けてもよい(たとえば図33参照)。この場合に、ファシリテーション支援装置120は、ディスカッションにおいてボードに記述された各オブジェクトのうち、指定された状態となった期間が、記述前、記述中および記述後の各期間の少なくともいずれかに含まれるオブジェクトを特定する。そして、ファシリテーション支援装置120は、特定したオブジェクトを特定可能な情報を出力する。これにより、ユーザは、記述の際にディスカッションが特定の状態になったオブジェクトを容易に指定することができる。
また、ファシリテーション支援装置120は、オブジェクトの指定を受け付ける前に、ディスカッションの発言者の指定を受け付けてもよい(たとえば図34参照)。この場合に、ファシリテーション支援装置120は、ディスカッションにおいてボードに記述された各オブジェクトのうち、指定された参加者が発言した期間が、記述前、記述中および記述後の各期間の少なくともいずれかに含まれるオブジェクトを特定する。そして、ファシリテーション支援装置120は、特定したオブジェクトを特定可能な情報を出力する。これにより、ユーザは、記述の際に特定の参加者が発言したオブジェクトを容易に指定することができる。
また、ファシリテーション支援装置120は、ディスカッションにおいてボードに記述された各オブジェクトの中からオブジェクトが指定された場合に、つぎのような処理を行ってもよい。すなわち、ファシリテーション支援装置120は、指定されたオブジェクトについて、指定されたオブジェクトの直前にボードに記述されたオブジェクトと、指定されたオブジェクトの直後にボードに記述されたオブジェクトと、の少なくともいずれかを特定する。そして、ファシリテーション支援装置120は、特定したオブジェクトを特定可能な情報(たとえば図32〜図34に示した枠3222,3224や矢印3231,3232)を出力する(たとえば図32〜図34参照)。
これにより、ユーザは、指定したオブジェクトの前後に記述されたオブジェクトを容易に把握することができる。このため、ユーザは、オブジェクトが記述された順序を容易に把握することができる。
上述した実施の形態においては、会議に用いられるボードの例としてホワイトボード110を挙げて説明したが、ボードはホワイトボード110に限らない。たとえば、会議に用いられるボードは、記述の有無や記述された内容を電気的に検出可能な電子黒板(インタラクティブホワイトボード)であってもよい。この場合に、上述の記述状態の監視や記述オブジェクトの取得は、ボード撮影用カメラ201ではなく電子黒板を用いた情報処理によって行うことも可能である。
たとえば、ペンによる接触を検知可能な電子黒板において、上述の記述状態の監視は、初期状態を含む非記述状態においてペンが接触すると記述中と判定し、記述中においてペンが接触しない状態が一定時間継続すると非記述中と判定することにより実現できる。また、ボードに記述されたオブジェクトの画像を電子黒板により取得し、上述の記述オブジェクトとして記憶することもできる。
また、会議に用いられるボードは、たとえば会議の参加者がそれぞれ所有する情報端末において画面共有している仮想的なボードであってもよい。
また、オブジェクトの記述前、記述中および記述後の各期間について会議状態を表示する場合について説明したが、会議状態はオブジェクトごとに表示する処理としてもよい。
また、オブジェクトの抽出を、記述中か否かの監視結果や、電子黒板に対する接触時間に基づいて行う処理について説明したが、このような処理に限らない。たとえば、記述エリア111等のボードに入力枠(区画)を設けておき、入力枠の内側に記述された内容を1個のオブジェクトとして抽出する処理としてもよい。
また、あるオブジェクトの記述後の期間の各情報と、そのオブジェクトの次に記述されたオブジェクトの記述前の期間の各情報と、をそれぞれ記憶する構成について説明したが、このような構成に限らない。たとえば、これらの各期間は同じ期間であるため、いずれか一方の各情報を記憶しておいてもよい。
たとえば、図29に示した例において、属性情報1730が示すオブジェクト#1の記述後の各情報と、属性情報2530が示すオブジェクト#2の記述前の各情報と、は同一である。このため、たとえば、属性情報2530から記述前の各情報を省いてもよい。この場合に、オブジェクト#2の記述前がユーザから指定された場合は、属性情報1730の記述後の各情報を、オブジェクト#2の記述前の各情報として参照することができる。
以上説明したように、ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法によれば、ボードに記述されたオブジェクトに関する発言を確認しやすくし、ファシリテーションを支援することができる。
たとえば、会議内容の詳細を記録する方法として、議事録等の文字情報を記録する方法の他に、音声レコーダやビデオレコーダで記録する方法や、これらで記録した音声データに資料データや情報要素(文字や図等)を関連付けて保存するものがある。しかしながら、たとえばアイデア発想、現状確認、手法分析など多数の意見を取り纏めながら進める会議では、後から会議の詳細を確認するとき、要約された議事録では会議当時のイメージが湧きにくい。また、会議の録音データでは、必要な録音箇所を探すのに手間がかかり、全て聞いて時間を要したり、部分的に聞いて聞き漏らしたりするといった問題がある。
これに対して、上述の実施の形態によれば、たとえば逐次更新されるホワイトボード(議事の可視化)の議論内容と、録音により得られた音声データと、を記憶し、その時の発言者や会議状態なども音声データと一緒に記憶する。そして、これらの情報を再現するときには、ホワイトボードに記述した文字や図において、会議の流れを可視化することができる。また、発言者やオブジェクト単位で音声を素早く探し出し、会議の詳細な確認を短い時間で実現することができる。
一例としては、開発者の設計レビューを実施する際、開発製品についての懸念事項、指摘事項などを議論する場においてホワイトボードに記述された図と、その時の音声、発言者、会議状態等を関連付けて記憶することができる。そして、記憶したそれらの情報を可視化することにより、後日、設計修正を行う時に、設計レビューで懸念された箇所や指摘された箇所の音声について素早く正確に確認することができる。
なお、本実施の形態で説明したファシリテーション支援方法は、たとえば、予め用意されたプログラムをパーソナルコンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、CD−ROM、MO、DVD等のコンピュータで読み取り可能な記憶媒体に記録され、コンピュータによって記憶媒体から読み出されることによって実行される。CD−ROMはCompact Disc−Read Only Memoryの略である。MOはMagneto Optical diskの略である。DVDはDigital Versatile Discの略である。またこのプログラムは、インターネット等のネットワークを介して配布されてもよい。
上述した各実施の形態に関し、さらに以下の付記を開示する。
(付記1)ディスカッションにおいてボードに記述されたオブジェクトと対応付けて、前記ディスカッションの参加者のうち前記オブジェクトの記述開始前、記述中および記述終了後の各期間のそれぞれにおける発言者を特定可能な情報を記憶する第1記憶部を参照して、前記ボードに記述されたオブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定し、
前記指定されたオブジェクトについての前記各期間とそれぞれ対応付けて、特定した前記各期間のそれぞれにおける発言者を特定可能な情報を出力し、
前記指定されたオブジェクトについての前記各期間の中から期間の指定を受け付け、
録音された前記ディスカッションの音声のうち前記ボードに記述されたオブジェクトについての前記各期間における各音声を特定可能な情報を記憶する第2記憶部を参照して、前記指定されたオブジェクトについての指定された前記期間における音声を特定し、
特定した前記音声のデータを出力する、
処理をコンピュータに実行させることを特徴とするファシリテーション支援プログラム。
(付記2)前記ディスカッションにおける前記参加者が前記ボードに記述中か否かを監視し、
前記記述中か否かの監視結果と、前記ディスカッションにおいて得られた前記ボードの記述内容を示す画像と、に基づいて前記ボードに記述されたオブジェクトを抽出し、
前記録音された音声に基づいて、抽出した前記オブジェクトの前記各期間のそれぞれにおける発言者を検出し、
抽出した前記オブジェクトと対応付けて、抽出した前記オブジェクトについての前記各期間について検出した発言者をそれぞれ特定可能な情報を前記第1記憶部に記憶させる、
処理を前記コンピュータに実行させることを特徴とする付記1に記載のファシリテーション支援プログラム。
(付記3)前記記述中か否かを監視する処理においては、前記ディスカッションにおける撮影により得られた撮影データから判定した、前記参加者の前記ディスカッションにおける頭と手との間の距離に基づいて、前記参加者が前記ボードに記述中か否かを監視する処理を前記コンピュータに実行させることを特徴とする付記2に記載のファシリテーション支援プログラム。
(付記4)前記記述中か否かを監視する処理においては、前記距離が閾値以上である場合は前記参加者が前記ボードに記述中であると判定し、前記距離が前記閾値未満である場合は前記参加者が前記ボードに記述中でないと判定する処理を前記コンピュータに実行させることを特徴とする付記3に記載のファシリテーション支援プログラム。
(付記5)抽出した前記オブジェクトの前記各期間は、前記記述中か否かの監視結果に基づく、抽出した前記オブジェクトの記述の開始および終了の各タイミングにより区切られた各期間であることを特徴とする付記2〜4のいずれか一つに記載のファシリテーション支援プログラム。
(付記6)前記第1記憶部は、前記ディスカッションにおいて前記ボードに記述されたオブジェクトと対応付けて、前記オブジェクトの各期間のそれぞれにおける発言者を特定可能な情報と、前記オブジェクトの各期間における前記ディスカッションの状態を特定可能な情報と、を記憶し、
前記第1記憶部を参照して、前記指定されたオブジェクトについての前記各期間における前記ディスカッションの状態をそれぞれ特定し、
前記指定されたオブジェクトについての前記各期間とそれぞれ対応付けて、特定した前記各期間における前記ディスカッションの状態を特定可能な情報を出力する、
処理を前記コンピュータに実行させることを特徴とする付記1〜5のいずれか一つに記載のファシリテーション支援プログラム。
(付記7)前記ディスカッションにおいて前記ボードに記述された各オブジェクトのうち、前記ディスカッションの状態が指定された状態となった期間が前記各期間の少なくともいずれかに含まれるオブジェクトを特定し、
特定した前記オブジェクトを特定可能な情報を出力し、
前記発言者をそれぞれ特定する処理においては、特定した前記オブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定する、
処理を前記コンピュータに実行させることを特徴とする付記1〜6のいずれか一つに記載のファシリテーション支援プログラム。
(付記8)前記各期間のうちの特定の期間における前記ディスカッションの状態は、前記ディスカッションの前記特定の期間における発言者の感情に関する状態と、前記ディスカッションの前記特定の期間における発言者の数と、前記ディスカッションの前記特定の期間における時間あたりの発言の数と、前記ディスカッションの参加者の前記特定の期間における感情に関する状態と、前記特定の期間の時間長と、の少なくともいずれかに基づいて判定される状態であることを特徴とする付記6または7に記載のファシリテーション支援プログラム。
(付記9)前記ディスカッションにおいて前記ボードに記述された各オブジェクトのうち、指定された参加者が発言した期間が前記各期間の少なくともいずれかに含まれるオブジェクトを特定し、
特定した前記オブジェクトを特定可能な情報を出力し、
前記発言者をそれぞれ特定する処理においては、特定した前記オブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定する、
処理を前記コンピュータに実行させることを特徴とする付記1〜7のいずれか一つに記載のファシリテーション支援プログラム。
(付記10)前記ディスカッションにおいて前記ボードに記述された各オブジェクトの中から指定されたオブジェクトについて、前記各オブジェクトのうち、前記指定されたオブジェクトの直前に前記ボードに記述されたオブジェクトと、前記指定されたオブジェクトの直後に前記ボードに記述されたオブジェクトと、の少なくともいずれかを特定可能な情報を出力することを特徴とする付記1〜9のいずれか一つに記載のファシリテーション支援プログラム。
(付記11)前記オブジェクトは、書かれた文字および描かれた図の少なくともいずれかを含む情報であることを特徴とする付記1〜10のいずれか一つに記載のファシリテーション支援プログラム。
(付記12)前記ディスカッションにおいて前記指定されたオブジェクトより前に記述されたオブジェクトがある場合、前記指定されたオブジェクトの前記記述開始前は、前記前に記述されたオブジェクトの記述終了から前記指定されたオブジェクトの記述開始までの期間であり、
前記ディスカッションにおいて前記指定されたオブジェクトより後に記述されたオブジェクトがある場合、前記指定されたオブジェクトの前記記述終了後は、前記指定されたオブジェクトの記述終了から前記後に記述されたオブジェクトの記述開始までの期間である、
ことを特徴とする付記1〜11のいずれか一つに記載のファシリテーション支援プログラム。
(付記13)ディスカッションにおいてボードに記述されたオブジェクトと対応付けて、前記ディスカッションの参加者のうち前記オブジェクトの記述開始前、記述中および記述終了後の各期間のそれぞれにおける発言者を特定可能な情報を記憶する第1記憶部を参照して、前記ボードに記述されたオブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定する第1特定部と、
前記指定されたオブジェクトについての前記各期間とそれぞれ対応付けて、前記第1特定部により特定された前記各期間のそれぞれにおける発言者を特定可能な情報を出力する第1出力部と、
前記指定されたオブジェクトについての前記各期間の中から期間の指定を受け付ける受付部と、
録音された前記ディスカッションの音声のうち前記ボードに記述されたオブジェクトについての前記各期間における各音声を特定可能な情報を記憶する第2記憶部を参照して、前記指定されたオブジェクトについての前記受付部により指定された前記期間における音声を特定する第2特定部と、
前記第2特定部により特定された前記音声のデータを出力する第2出力部と、
を備えることを特徴とするファシリテーション支援装置。
(付記14)コンピュータが、
ディスカッションにおいてボードに記述されたオブジェクトと対応付けて、前記ディスカッションの参加者のうち前記オブジェクトの記述開始前、記述中および記述終了後の各期間のそれぞれにおける発言者を特定可能な情報を記憶する第1記憶部を参照して、前記ボードに記述されたオブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定し、
前記指定されたオブジェクトについての前記各期間とそれぞれ対応付けて、特定した前記各期間のそれぞれにおける発言者を特定可能な情報を出力し、
前記指定されたオブジェクトについての前記各期間の中から期間の指定を受け付け、
録音された前記ディスカッションの音声のうち前記ボードに記述されたオブジェクトについての前記各期間における各音声を特定可能な情報を記憶する第2記憶部を参照して、前記指定されたオブジェクトについての指定された前記期間における音声を特定し、
特定した前記音声のデータを出力する、
ことを特徴とするファシリテーション支援方法。
101 参加者
110 ホワイトボード
111 記述エリア
112,3222〜3224 枠
113 足部
120 ファシリテーション支援装置
130 対応情報
131〜133,3211a,3211b,3211c 再生ボタン
200 ファシリテーション支援システム
201 ボード撮影用カメラ
202 参加者撮影用カメラ
203 マイク
300 コンピュータ
301 プロセッサ
302 メモリ
303 カメラインタフェース
304 マイクインタフェース
305 ユーザインタフェース
309 バス
401 操作受付部
402 ボード撮影用カメラデータ取得部
403 参加者撮影用カメラデータ取得部
404 マイクデータ取得部
405 音声データ記憶部
406 記憶制御部
407 オブジェクト情報記憶部
408 出力制御部
409 出力部
600 会議状態判定テーブル
701,702 抽出領域
1201 記述状態
1202,3212 発言者
1203,3213 会議状態
1204 記憶音声データ
1205 チャプタ番号
1206 記述状態変化タイミング
1207 記述終了タイミング
1208 記述オブジェクト作成タイミング
1310,2110,2910 一時情報
1710,2510 記述オブジェクト
1720 オブジェクト管理情報
1730,2530 属性情報
3100 オブジェクト再生画面
3111 カーソル
3210 サブウィンドウ
3214 クローズボタン
3231,3232 矢印
3310 リストウィンドウ

Claims (10)

  1. ディスカッションにおいてボードに記述されたオブジェクトと対応付けて、前記ディスカッションの参加者のうち前記オブジェクトの記述開始前、記述中および記述終了後の各期間のそれぞれにおける発言者を特定可能な情報を記憶する第1記憶部を参照して、前記ボードに記述されたオブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定し、
    前記指定されたオブジェクトについての前記各期間とそれぞれ対応付けて、特定した前記各期間のそれぞれにおける発言者を特定可能な情報を出力し、
    前記指定されたオブジェクトについての前記各期間の中から期間の指定を受け付け、
    録音された前記ディスカッションの音声のうち前記ボードに記述されたオブジェクトについての前記各期間における各音声を特定可能な情報を記憶する第2記憶部を参照して、前記指定されたオブジェクトについての指定された前記期間における音声を特定し、
    特定した前記音声のデータを出力する、
    処理をコンピュータに実行させることを特徴とするファシリテーション支援プログラム。
  2. 前記ディスカッションにおける前記参加者が前記ボードに記述中か否かを監視し、
    前記記述中か否かの監視結果と、前記ディスカッションにおいて得られた前記ボードの記述内容を示す画像と、に基づいて前記ボードに記述されたオブジェクトを抽出し、
    前記録音された音声に基づいて、抽出した前記オブジェクトの前記各期間のそれぞれにおける発言者を検出し、
    抽出した前記オブジェクトと対応付けて、抽出した前記オブジェクトについての前記各期間について検出した発言者をそれぞれ特定可能な情報を前記第1記憶部に記憶させる、
    処理を前記コンピュータに実行させることを特徴とする請求項1に記載のファシリテーション支援プログラム。
  3. 前記記述中か否かを監視する処理においては、前記ディスカッションにおける撮影により得られた撮影データから判定した、前記参加者の前記ディスカッションにおける頭と手との間の距離に基づいて、前記参加者が前記ボードに記述中か否かを監視する処理を前記コンピュータに実行させることを特徴とする請求項2に記載のファシリテーション支援プログラム。
  4. 前記第1記憶部は、前記ディスカッションにおいて前記ボードに記述されたオブジェクトと対応付けて、前記オブジェクトの各期間のそれぞれにおける発言者を特定可能な情報と、前記オブジェクトの各期間における前記ディスカッションの状態を特定可能な情報と、を記憶し、
    前記第1記憶部を参照して、前記指定されたオブジェクトについての前記各期間における前記ディスカッションの状態をそれぞれ特定し、
    前記指定されたオブジェクトについての前記各期間とそれぞれ対応付けて、特定した前記各期間における前記ディスカッションの状態を特定可能な情報を出力する、
    処理を前記コンピュータに実行させることを特徴とする請求項1〜3のいずれか一つに記載のファシリテーション支援プログラム。
  5. 前記ディスカッションにおいて前記ボードに記述された各オブジェクトのうち、前記ディスカッションの状態が指定された状態となった期間が前記各期間の少なくともいずれかに含まれるオブジェクトを特定し、
    特定した前記オブジェクトを特定可能な情報を出力し、
    前記発言者をそれぞれ特定する処理においては、特定した前記オブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定する、
    処理を前記コンピュータに実行させることを特徴とする請求項1〜4のいずれか一つに記載のファシリテーション支援プログラム。
  6. 前記ディスカッションにおいて前記ボードに記述された各オブジェクトのうち、指定された参加者が発言した期間が前記各期間の少なくともいずれかに含まれるオブジェクトを特定し、
    特定した前記オブジェクトを特定可能な情報を出力し、
    前記発言者をそれぞれ特定する処理においては、特定した前記オブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定する、
    処理を前記コンピュータに実行させることを特徴とする請求項1〜5のいずれか一つに記載のファシリテーション支援プログラム。
  7. 前記ディスカッションにおいて前記ボードに記述された各オブジェクトの中から指定されたオブジェクトについて、前記各オブジェクトのうち、前記指定されたオブジェクトの直前に前記ボードに記述されたオブジェクトと、前記指定されたオブジェクトの直後に前記ボードに記述されたオブジェクトと、の少なくともいずれかを特定可能な情報を出力することを特徴とする請求項1〜6のいずれか一つに記載のファシリテーション支援プログラム。
  8. 前記ディスカッションにおいて前記指定されたオブジェクトより前に記述されたオブジェクトがある場合、前記指定されたオブジェクトの前記記述開始前は、前記前に記述されたオブジェクトの記述終了から前記指定されたオブジェクトの記述開始までの期間であり、
    前記ディスカッションにおいて前記指定されたオブジェクトより後に記述されたオブジェクトがある場合、前記指定されたオブジェクトの前記記述終了後は、前記指定されたオブジェクトの記述終了から前記後に記述されたオブジェクトの記述開始までの期間である、
    ことを特徴とする請求項1〜7のいずれか一つに記載のファシリテーション支援プログラム。
  9. ディスカッションにおいてボードに記述されたオブジェクトと対応付けて、前記ディスカッションの参加者のうち前記オブジェクトの記述開始前、記述中および記述終了後の各期間のそれぞれにおける発言者を特定可能な情報を記憶する第1記憶部を参照して、前記ボードに記述されたオブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定する第1特定部と、
    前記指定されたオブジェクトについての前記各期間とそれぞれ対応付けて、前記第1特定部により特定された前記各期間のそれぞれにおける発言者を特定可能な情報を出力する第1出力部と、
    前記指定されたオブジェクトについての前記各期間の中から期間の指定を受け付ける受付部と、
    録音された前記ディスカッションの音声のうち前記ボードに記述されたオブジェクトについての前記各期間における各音声を特定可能な情報を記憶する第2記憶部を参照して、前記指定されたオブジェクトについての前記受付部により指定された前記期間における音声を特定する第2特定部と、
    前記第2特定部により特定された前記音声のデータを出力する第2出力部と、
    を備えることを特徴とするファシリテーション支援装置。
  10. コンピュータが、
    ディスカッションにおいてボードに記述されたオブジェクトと対応付けて、前記ディスカッションの参加者のうち前記オブジェクトの記述開始前、記述中および記述終了後の各期間のそれぞれにおける発言者を特定可能な情報を記憶する第1記憶部を参照して、前記ボードに記述されたオブジェクトの中から指定されたオブジェクトについての前記各期間のそれぞれにおける発言者を特定し、
    前記指定されたオブジェクトについての前記各期間とそれぞれ対応付けて、特定した前記各期間のそれぞれにおける発言者を特定可能な情報を出力し、
    前記指定されたオブジェクトについての前記各期間の中から期間の指定を受け付け、
    録音された前記ディスカッションの音声のうち前記ボードに記述されたオブジェクトについての前記各期間における各音声を特定可能な情報を記憶する第2記憶部を参照して、前記指定されたオブジェクトについての指定された前記期間における音声を特定し、
    特定した前記音声のデータを出力する、
    ことを特徴とするファシリテーション支援方法。
JP2018162658A 2018-08-31 2018-08-31 ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法 Pending JP2020034823A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018162658A JP2020034823A (ja) 2018-08-31 2018-08-31 ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法
US16/520,451 US20200075025A1 (en) 2018-08-31 2019-07-24 Information processing apparatus and facilitation support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018162658A JP2020034823A (ja) 2018-08-31 2018-08-31 ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法

Publications (1)

Publication Number Publication Date
JP2020034823A true JP2020034823A (ja) 2020-03-05

Family

ID=69641496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018162658A Pending JP2020034823A (ja) 2018-08-31 2018-08-31 ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法

Country Status (2)

Country Link
US (1) US20200075025A1 (ja)
JP (1) JP2020034823A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI773907B (zh) * 2019-07-11 2022-08-11 緯創資通股份有限公司 資料擷取裝置與資料運算系統及方法

Also Published As

Publication number Publication date
US20200075025A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
US7870488B2 (en) Media editing system
US6728680B1 (en) Method and apparatus for providing visual feedback of speed production
JP4439462B2 (ja) 情報提示方法、情報提示装置及び情報提示プログラム
US20050259959A1 (en) Media data play apparatus and system
CN111193890B (zh) 会议记录解析装置、方法和会议记录播放系统
JP2007006473A (ja) ディジタル情報を注釈するためのシステム、方法及び該方法を実行させる命令を記憶する記憶媒体
JP5949843B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
US20190171760A1 (en) System, summarization apparatus, summarization system, and method of controlling summarization apparatus, for acquiring summary information
JP2005267279A (ja) 情報処理システム及び情報処理方法、並びにコンピュータ・プログラム
JP6176041B2 (ja) 情報処理装置及びプログラム
WO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
US9711181B2 (en) Systems and methods for creating, editing and publishing recorded videos
JP2007066018A (ja) 情報処理方法及び情報処理装置
JP3879793B2 (ja) 発言構造検出表示装置
JP6276570B2 (ja) 画像音声再生システム及び画像音声再生方法とプログラム
JP2020034823A (ja) ファシリテーション支援プログラム、ファシリテーション支援装置およびファシリテーション支援方法
US10460178B1 (en) Automated production of chapter file for video player
WO2023160288A1 (zh) 会议纪要生成方法、装置、电子设备和可读存储介质
JP2016063477A (ja) 会議システム、情報処理方法、及びプログラム
JPWO2018105373A1 (ja) 情報処理装置、情報処理方法、および情報処理システム
JP4342529B2 (ja) オーサリング支援装置、オーサリング支援方法及びプログラム、並びにオーサリング情報共有システム
JP6261198B2 (ja) 情報処理装置、情報処理方法およびプログラム
KR101562901B1 (ko) 대화 지원 서비스 제공 시스템 및 방법
JP7288491B2 (ja) 情報処理装置、及び制御方法
JP6638281B2 (ja) 情報処理装置及びプログラム