JP2020005030A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】参加者ごとに算出した発言率に基づき、参加者に対する通知を表示制御する情報処理装置等を提供すること。【解決手段】音声入力部１１０を備えた情報処理装置１０において、複数の参加者の情報を記憶する参加者情報記憶部と、前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定部と、前記発言者の発言時間を計測する発言時間計測部と、前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出部と、前記発言率に基づき通知を表示する制御を行う表示制御部１４０と、を備える。【選択図】図２

Description

本発明は、情報処理装置等に関する。

近年、会議や打ち合わせにおいて、遠隔地にいる者同士が、ネットワークを介して映像・音声を伝送して会議を行うテレビ会議システムが広く普及している。しかし、テレビ会議においては、１か所に集まって実施する会議に比べ、雰囲気などを読み取りにくく、気軽に発言できない場合がある。この場合、一部の発言者のみで議事が進行し、決議されるといった問題がある。

発言の抑制や発言の促進を実現する技術として、例えば、ある話者の発言継続時間が所定値を超えた時にそのヘッドセットから発言の終了を促す音声を放音させる一方、無言継続時間が所定値を超えた時に発言を促す音声を放音させる技術が提案されている（例えば、特許文献１参照）。

特開２００６−３３０２８１号公報

しかしながら、特許文献１の技術は、音声が放音された参加者以外には、放音された内容を知ることができない。したがって、特定の参加者の発言が長く一方的に話している状態であるのか、特定の参加者の発言が少ない状態であるのか、それぞれの参加者がある程度発言をしているのかといったような、会議の全体の雰囲気を、会議に参加しているそれぞれの参加者が読み取ることはできない。

本願は上述した課題に鑑み、参加者ごとに算出した発言率に基づき、参加者に対する通知を表示制御する情報処理装置等を提供することを目的とする。

上述した課題を解決するために、本発明の情報処理装置は、
音声入力部を備えた情報処理装置において、
複数の参加者の情報を記憶する参加者情報記憶部と、
前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定部と、
前記発言者の発言時間を計測する発言時間計測部と、
前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出部と、
前記発言率に基づき通知を表示する制御を行う表示制御部と、
を備えることを特徴とする。

本発明の情報処理方法は、
音声入力部を備えた情報処理装置における情報処理方法であって、
複数の参加者の情報を記憶する参加者情報記憶ステップと、
前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定ステップと、
前記発言者の発言時間を計測する発言時間計測ステップと、
前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出ステップと、
前記発言率に基づき通知を表示する制御を行う表示制御ステップと、
含むことを特徴とする。

本発明のプログラムは、
音声入力部を備えたコンピュータに、
複数の参加者の情報を記憶する参加者情報記憶機能と、
前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定機能と、
前記発言者の発言時間を計測する発言時間計測機能と、
前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出機能と、
前記発言率に基づき通知を表示する制御を行う表示制御機能と、
を実現させることを特徴とする。

本発明によれば、発言者の発言時間を計測し、参加者ごとに発言率を算出し、発言率に応じた通知を表示する制御を行う。したがって、参加者は、表示された通知を視覚確認することにより、会議の雰囲気を読み取ることが可能となる。また、参加者は、通知によって発言の状況を知ることにより、発言の少ない参加者に対する発言機会を生み出し、会議の活性化させることができる。

第１実施形態における全体構成の全体構成を説明するための図である。 第１実施形態における情報処理装置の機能構成を説明するための図である。 第１実施形態における予定情報のデータ構成の一例を示した図である。 第１実施形態における参加者情報のデータ構成の一例を示した図である。 第１実施形態における発言率情報のデータ構成の一例を示した図である。 第１実施形態における通知設定情報のデータ構成の一例を示した図である。 第１実施形態におけるメイン処理を説明するための動作フロー図である。 第１実施形態における進行状況表示処理を説明するための動作フロー図である。 第１実施形態における発言率算出処理を説明するための動作フロー図である。 第１実施形態における警告処理を説明するための動作フロー図である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第１実施形態における動作例を説明するための図である。 第２実施形態における情報処理装置の機能構成を説明するための図である。 第２実施形態における通知設定情報のデータ構成の一例を示した図である。 第２実施形態における発言率算出処理を説明するための動作フロー図である。 第２実施形態における警告処理を説明するための動作フロー図である。 第２実施形態における実施例を説明するための図である。 第３実施形態における参加者情報のデータ構成の一例を示した図である。 第３実施形態における通知設定情報のデータ構成の一例を示した図である。 第３実施形態における警告処理を説明するための動作フロー図である。 第４実施形態における情報処理装置の機能構成を説明するための図である。 第４実施形態における進行情報のデータ構成の一例を示した図である。 第４実施形態におけるメイン処理を説明するための動作フロー図である。 第４実施形態における進行状況表示処理を説明するための動作フロー図である。 第４実施形態における警告処理を説明するための動作フロー図である。 第４実施形態における動作例を説明するための図である。 第５実施形態における警告処理を説明するための動作フロー図である。 第５実施形態における動作例を説明するための図である。 第６実施形態における警告処理を説明するための動作フロー図である。 第７実施形態における警告処理を説明するための動作フロー図である。

以下、本発明の実施の形態について、図面を参照して説明する。なお、本実施形態では、一例として、本発明の情報処理装置を含んだ表示システムについて説明する。

［１．第１実施形態］
［１．１ 全体構成］
まず、第１実施形態の全体構成について、図を参照して説明する。図１に示すように、本実施形態の表示システム１は、本発明を適用した情報処理装置１０と、音声入力装置２０と、映像入力装置３０と、表示装置４０とを含んで構成される。音声入力装置２０は、例えばマイクであり、映像入力装置３０は、例えばカメラであり、表示装置４０は、例えば、ＬＣＤ（Liquid Crystal Display）や、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro Luminescence Display）といったディスプレイである。

なお、情報処理装置１０は、表示装置４０と一体となってもよいし、全ての構成が同一の装置で実現されてもよい。例えば、表示システム１は、情報処理装置１０と、音声入力装置２０と、映像入力装置３０と、表示装置４０と一体にして構成したタブレットや、スマートフォンといった装置であってもよい。

図１に示した表示システム１は、会議、打ち合わせ、検討会などの、議論に用いることが可能である。説明のため、情報処理装置１０を会議に用いることとして説明するが、打ち合わせや検討会といった会議以外の議論においても、表示システム１を使用することができる。

また、音声入力装置２０と、映像入力装置３０と、表示装置４０とは、情報処理装置１０にそれぞれ複数接続されていてもよい。例えば、情報処理装置１０には、参加者ごとの個別のマイクが接続されていたり、参加者ごとの個別のカメラが接続されていたり、複数の会議の拠点の映像を表示するために、複数のディスプレイが接続されていてもよい。

［１．２ 機能構成］
つづいて、図２を参照して、情報処理装置１０の機能構成について説明する。図２に示すように、情報処理装置１０は、制御部１００と、音声入力部１１０と、映像入力部１２０と、操作入力部１３０と、表示制御部１４０と、通信部１５０と、音声出力部１５５と、記憶部１６０とを備えて構成される。

制御部１００は、情報処理装置１０の全体を制御するための機能部である。制御部１００は、各種プログラムを読み出して実行することにより各種機能を実現しており、１又は複数の演算装置（例えば、ＣＰＵ（Central Processing Unit））により構成されている。

音声入力部１１０は、マイクといった音声入力装置２０から入力された音声を制御部１００に出力する機能部である。音声入力部１１０としては、例えば、音声入力装置２０と接続可能な音声入力インターフェイスと、音声入力インターフェイスに接続された音声入力装置２０とによって構成される。なお、音声入力部１１０は、情報処理装置１０に予め備えられたマイクであってもよい。また、会議を行う拠点が複数ある場合は、音声入力部１１０から入力された音声を、通信部１５０を介して他の拠点に送信してもよい。

映像入力部１２０は、カメラといった映像入力装置３０から入力された映像を、制御部１００に出力する機能部である。映像入力部１２０としては、例えば、映像入力装置３０と接続可能な映像入力インターフェイスと、映像入力インターフェイスに接続された映像入力装置３０とによって構成される。なお、映像入力部１２０は、情報処理装置１０に予め備えられたカメラであってもよい。また、会議を行う拠点が複数ある場合は、映像入力部１２０から入力された映像を、通信部１５０を介して他の拠点に送信してもよい。

操作入力部１３０は、参加者が各種操作を行うための機能部である。操作入力部１３０は、例えば、情報処理装置１０に接続された表示装置４０の上に重ねて設けられるタッチパネルによって構成される。タッチパネルによるタッチの検出は、静電誘電方式であったり、感圧方式であったり、公知の技術によって実現する。なお、操作入力部１３０は、タッチパネル以外にも、操作入力部１３０は、マウス、キーボードといった種々の操作装置によって構成可能なことは勿論である。

表示制御部１４０は、情報処理装置１０に接続された表示装置４０に、映像の表示制御を行う機能部である。例えば、映像入力部１２０から入力された映像を表示装置４０に表示する制御を行う。

通信部１５０は、情報処理装置１０が外部機器と通信を行うための機能部である。例えば、有線／無線ＬＡＮで利用されるＮＩＣ（Network Interface Card）や、ＬＴＥ（Long Term Evolution）／ＬＴＥ−Ａ（LTE-Advanced）／ＬＡＡ（License-Assisted Access using LTE）／５Ｇ回線に接続可能な通信モジュールにより構成される。

音声出力部１５５は、音声を出力する機能部であり、例えばスピーカといった音声出力装置によって構成される。音声出力部１５５は、例えば、通信部１５０を介して受信した、他の拠点の音声を出力する。

記憶部１６０は、情報処理装置１０の動作に必要な各種プログラムや、各種データを記憶する機能部である。記憶部１６０は、例えば、半導体メモリであるＳＳＤ（Solid State Drive）や、ＨＤＤ（Hard Disk Drive）等により構成される。

記憶部１６０には、予定情報記憶領域１６２と、参加者情報記憶領域１６４と、発言率情報記憶領域１６６とが確保される。また、通知設定情報１６８が記憶される。

予定情報記憶領域１６２は、会議において取り扱う議事の予定に関する情報である予定情報を記憶する領域である。議事とは、会議において議論する事柄であり、議事ごとに予定情報が記憶される。図３は、予定情報の例である。図３に示すように、予定情報には、議事を開始する予定の時刻を示す予定時刻（例えば、「１５：００」）と、議事を取り扱う時間を示す予定時間（例えば、「５分」）と、議事の内容を表した議事名（例えば、「開会」）とが記憶される。

参加者情報記憶領域１６４は、会議の参加者に関する情報である参加者情報を記憶する領域である。図４は、参加者情報の例である。図４に示すように、参加者情報には、参加者を識別するための参加者名（例えば、「橋本」）と、音声入力部１１０から入力された音声から参加者を特定するための音声特定データ（例えば、「hashimoto.dat」）が記憶される。

音声特定データは、例えば、音声の特徴を数値で表したデータであったり、音声に含まれる特定の周波数成分の強度とタイミングとを表したスペクトログラムであったりする。また、音声入力部１１０に、参加者ごとに設けられたマイクが接続されている場合は、参加者のマイクが接続された入力端子を特定する情報（例えば、端子番号）を記憶してもよい。

発言率情報記憶領域１６６は、参加者の発言率に関する情報である発言率情報を記憶する領域である。図５は、発言率情報の例である。図５に示すように、発言率情報には、参加者を識別するための参加者名（例えば、「橋本」）と、会議において発言した時間の合計を示す合計発言時間（例えば、「３００秒」）と、参加者が会議において発言した割合を示す発言率（例えば、「５０％」）とが記憶される。

通知設定情報１６８は、表示制御部１４０によって、表示装置４０に発言率に基づく通知を表示する制御を行う際に用いる設定である。本実施形態では、図６に示すように、発言率の閾値（例えば、発言率上限値として「４０％」、発言率下限値として「１０％」）と、発言率に基づく通知を開始する通知開始時刻（例えば、「１５：１５」）とが記憶される。通知設定情報は、予め情報処理装置１０に記憶されていてもよいし、参加者によって設定されてもよい。

発言率上限値は、発言者の発言が長いと判定する場合における発言率の値である。情報処理装置１０は、発言率が発言率上限値の値を超えた参加者に対して、発言が長いことを通知する。なお、発言率が発言率上限値を超過する参加者を、以下、「第１の参加者」という。発言率下限値は、発言者の発言が短いと判定する場合における発言率の値である。情報処理装置１０は、発言率が発言率下限値の値を下回った参加者に対して、発言が短いことを通知する。なお、発言率が発言率下限値を下回る参加者を、以下、「第２の参加者」という。発言率の閾値として、発言率上限値又は発言率下限値のどちらか一方が記憶されてもよい。

また、通知開始時刻により、情報処理装置１０が参加者に対する通知を開始する時刻を、会議が開始される時刻よりも遅くする。これは、会議が開始されてから暫くの時間は、発言率として、０％や１００％又はそれらの値に近い値といったような極端な値が算出されてしまい、その発言率に基づく不適切な通知がされてしまうことを防ぐことを目的としている。極端な発言率の具体例としては、まず、会議開始直後は、全ての参加者の発言率は０％である。そして、会議が開始された直後に何らかの発言をした場合は、会議の経過時間が短いため、発言時間が短くても発言率が１００％又は１００％に近い値となってしまう。通知を開始する時刻を、会議が開始される時刻よりも遅くすることで、発言率が適切な値となり、適切に通知が可能となる。

通知開始時刻には、具体的な時刻が記憶されてもよいし、会議が開始してから１５分後といったように、相対的な時間が記憶されてもよい。また、発言率算出処理の説明において詳述するが、発言率を予定情報に基づいて、議事ごとに算出する場合は、通知開始時刻を、予定情報の予定時刻から１０分後といったように、予定時刻からの相対的な時間が指定されてもよい。

通知開始時刻の代わりに、通知を開始する時刻と、終了する時刻とによって表現した通知時間を１又は複数記憶してもよい。この場合は、現在時刻が通知時間に含まれる場合に、情報処理装置１０が通知を行うことを示す。

［１．３ 処理の流れ］
つづいて、図を参照して、本実施形態の情報処理装置１０の処理の流れについて説明する。図７はメイン処理の流れを示したフロー図である。

まず、制御部１００は、予定情報の入力を行い（ステップＳ１０２）、予定情報記憶領域１６２に記憶する。予定情報の入力は、例えば、表示制御部１４０が、表示装置４０に対して、議事の情報を入力する画面を表示する制御を行い、参加者によって操作入力部１３０を介して入力された、議事の情報を予定情報として予定情報記憶領域１６２に記憶する。また、情報処理装置１０が、通信部１５０を介して、予定情報を管理しているサーバに接続されている場合は、制御部１００は、接続されているサーバから予定情報を取得し、予定情報記憶領域１６２に記憶してもよい。

つづいて、制御部１００は、参加者名の入力を行う（ステップＳ１０４）。また、制御部１００は、入力した参加者名を含んだ参加者情報を、参加者情報記憶領域１６４に記憶する。このとき、制御部１００は、入力した参加者名と、合計発言時間を０秒、発言率を０％とした発言率情報を発言率情報記憶領域１６６に記憶する。参加者名の入力は、ステップＳ１０２と同様に、参加者によって入力されてもよいし、サーバから取得してもよい。また、表示制御部１４０の制御によって表示装置４０に社員リストを表示し、会議の参加者が選択されることにより参加者を入力してもよいし、情報処理装置１０にカードリーダを接続し、カード所持者の名前の情報が記憶されたカードを読み取ることで参加者名を入力してもよい。

つづいて、制御部１００は、音声特定データを記憶する（ステップＳ１０６）。例えば、参加者は、会議の開始前に、音声入力部１１０に対して名乗るようにする。そして、情報処理装置１０は、音声入力部１１０から入力された音声から参加者の名前を特定する。認識した参加者の名前が、参加者情報記憶領域１６４に記憶された参加者情報の参加者名の何れかと一致する場合は、入力された音声の特徴を、音声特定データとして記憶する。

つづいて、制御部１００は、会議の開始が指示されたか否かを判定する（ステップＳ１０８）。例えば、表示制御部１４０は、会議を開始する指示を受け付けるための会議開始ボタンを表示装置４０に表示する。そして、会議の参加者（例えば、司会を担当する参加者）によって、会議開始ボタンが選択されたら、制御部１００は、会議の開始が指示されたと判定する。

なお、ステップＳ１０４と、ステップＳ１０６と、ステップＳ１０８は、矛盾のない範囲において、ステップの順番を変更したり、一部のステップを同時に実行したり、スキップしてもよい。例えば、制御部１００は、会議の開始が指示されたあとに、音声特定データを記憶してもよい。このようにすることで、会議の開始後に挨拶を行うという運用がされる場合に対応することができる。また、情報処理装置１０に接続されたカードリーダに、カード所持者の名前と音声の特徴を数値で表したデータとが記憶されている場合は、制御部１００は、カードリーダにかざされたカードを読み取り、参加者名の入力と、音声特定データの記憶を行ってもよい。さらに、参加者ごとに音声入力装置が備えられている場合は、参加者情報として、参加者名と、その参加者が使用する音声入力装置が入力された端子番号とを予め参加者情報として記憶しておき、ステップＳ１０４とステップＳ１０６とをスキップしてもよい。

会議の開始が指示されたら、つづいて、制御部１００は、進行状況表示処理を行う（ステップＳ１０８；Ｙｅｓ→ステップＳ１１０）。進行状況表示処理とは、予定情報に基づいて、会議の進行の状況を、例えばインジケータにより表示装置４０に表示制御する処理である。具体的な内容について、図８を参照して説明する。

はじめに、制御部１００は、予定情報記憶領域１６２に記憶された予定情報を読み出す（ステップＳ１２２）。そして、表示制御部１４０は、予定情報ごとに、予定時刻が参加者によって視認できるように進行状況の表示（進行状況表示）をする（ステップＳ１２４）。ステップＳ１２４における進行状況表示の例を以下に示す。

（１）表形式での表示
予定情報に記憶された予定時間と、議事名とを、予定時刻が早い順に、表形式で表示する。予定時間を文字として表示するため、予定時間を正確に把握することが可能である。

（２）帯状の表示
予定時刻を横位置とし、予定時間を幅とした議事名のラベルを並べて、帯状に表示する。この場合は、ラベルの左の位置が、予定時刻に対応する。

（３）インジケータ状の表示
会議の開始時刻と終了時刻とを１つのインジケータとして表示する。予定時刻の位置は、インジケータの目盛りとして表示する。

つづいて、表示制御部１４０は、進行状況表示に現在時刻に対応する位置を表示する（ステップＳ１２６）。例えば、ステップＳ１２４において、制御部１００が、議事名を表形式で表示した場合は、現在時刻に対応する議事名を表示したセルの背景を変えて現在時刻に対応する議事名を識別表示させる。また、ステップＳ１２４において、制御部１００が、議事名を帯状に表示した場合は、現在時刻に対応する位置を、帯状に並べたラベルの周囲に印によって表示したり、ラベルの背景を変えたりすることによって識別表示を行う。

なお、ステップＳ１２４及びステップＳ１２６において、予定情報の表示方法や、現在時刻の識別表示の方法は、設計事項として種々の方法が考えられる。参加者が、現在進行すべき議事を視覚によって把握することができる方法であれば、どのような方法で表示してもよい。

つづいて、図７に戻り、制御部１００は、参加者ごとに、発言率を算出する処理である、発言率算出処理を行う（ステップＳ１１２）。具体的な内容について、図９を参照して説明する。

はじめに、制御部１００は、音声入力部１１０に音声が入力されているか否かを判定する（ステップＳ１４２）。音声が入力されていない場合は、ステップＳ１５０へ進む（ステップＳ１４２；Ｎｏ→ステップＳ１５０）。

音声が入力されている場合は、つづいて、制御部１００は、発言者を特定する（ステップＳ１４４）。発言者の特定は、音声入力部１１０を介して入力された音声の特徴と、音声特定データに記憶された音声の特徴のデータとを比較して、最も類似する参加者を発言者として特定する。また、音声が入力された音声入力装置が接続されている音声入力端子から特定してもよい。なお、ノイズが入力された場合のように、入力された音声が、参加者情報に記憶されている音声特定データのいずれにも類似しないこと場合は、発言者を特定できないとして、ステップＳ１４４〜ステップＳ１４８の処理をスキップしてもよい。

つづいて制御部１００は、ステップＳ１４４で特定した発言者の発言時間を計測する（ステップＳ１４６）。例えば、制御部１００は、入力された音声の音圧レベルが、予め定められた音圧レベルを超えた時刻と、予め定められた音圧レベルを下回った時刻とを記憶し、２つの時刻の間の長さを発言時間とする。また、所定時間（例えば、１０秒）ごとに音声を録音し、録音された音声の音圧レベルを解析することで発言時間を計測してもよい。定期的（例えば、１秒ごと）に発言者が発声しているかを判定して、発声がされてから発声しなくなったときまでの時間を発言時間としてもよい。なお、上述した方法以外であっても、発言時間が計測できる方法であれば何れの方法を用いても構わない。

つづいて制御部１００は、ステップＳ１４４で特定した発言者の発言率情報を読み出し、発言者の合計発言時間にステップＳ１４６で計測した発言時間を加算して、発言率情報を記憶する（ステップＳ１４８）。上述した、ステップＳ１４２〜ステップＳ１４８により、参加者ごとに、会議において発言した発言時間の合計が、合計発言時間として発言率情報に記憶される。

つづいて、制御部１００は、現在時刻から、会議の経過時間を算出する（ステップＳ１５０）。具体的には、制御部１００は、予定情報記憶領域１６２から、最も予定時刻が早い会議情報を読み出し、読み出した会議情報の予定時刻と、現在時刻との差分を、経過時間として算出する。なお、制御部１００は、ステップＳ１０８において、会議の開始が指示された時刻を記憶し、会議の開始が指示された時刻と、現在時刻との差分を、経過時間として算出してもよい。

つづいて、制御部１００は、発言率情報記憶領域１６６から、発言率情報を１件読み出し（ステップＳ１５２）、発言率を算出する（ステップＳ１５４）。発言率は、例えば、発言率情報に含まれる合計発言時間を、ステップＳ１５０で算出した経過時間で除算することで算出する。そして、制御部１００は、ステップＳ１５４で算出した発言率を含めた発言率情報を、発言率情報記憶領域１６６に記憶する（ステップＳ１５６）。

なお、合計発言時間を会議の経過時間で除算する方法は、発言率の算出方法の一例であり、以下に示す算出方法を発言率の算出方法として用いてもよい。

（１）参加者の合計発言時間を全参加者の合計発言時間で除算する方法
ステップＳ１５４において、参加者の合計発言時間を、全参加者の合計発言時間で除算する方法である。全参加者の合計発言時間は、制御部１００は、発言率情報記憶領域１６６に記憶された発言率情報を全て読み出して、参加者ごとの合計発言時間を全て加算することで算出できる。

（２）議事ごとに発言率を算出する方法
ステップＳ１５４において、現在の議事における参加者の合計発言時間を、現在の議事が開始してからの経過時間で除算する方法である。なお、現在の議事とは、現在時刻において進行する予定となっている議事である。また、現在の議事に対応する予定情報は、予定情報記憶領域１６２に記憶されている記憶情報のうち、予定情報の予定時刻と、予定時刻に予定時間を加算して求められる時刻との間に、現在時刻が含まれる予定情報である。

制御部１００は、現在時刻に基づきと予定情報から、現在の議事を特定し、現在の議事が変わったことを検知したら、全参加者の発言率情報に記憶された合計発言時間を０秒にし、発言率を０％にして発言率情報記憶領域１６６に記憶する（リセットする）。このようにすることで、発言率情報には、現在の議事の開始してからの発言時間の合計が、合計発言時間として記憶される。また、ステップＳ１５０では、現在の議事に対応する会議情報の予定時刻と、現在時刻との差分を経過時間として算出する。ステップＳ１５４では、現在の議事が開始してからの合計発言時間を、現在の議事が開始してからの経過時間で除算することとなり、議事ごとの発言率を算出することが可能となる。

なお、特定の議事に限って発言者の発言時間の計測を行ってもよい。例えば、参加者によって議論を行う議事に対してのみ、発言時間の計測を行う。この場合は、例えば、現在の議事に対応する予定情報の議事名に「議論時間」という文字列が含まれている場合のみ、発言時間を計測する。なお、参加者によって議論を行う議事が複数ある場合は、議事別に発言時間を計測して、一の議事の発言時間と他の議事の発言時間とを別々に計測してもよい。また、議事を通して発言時間を計測し続けて、参加者によって議論を行う議事全体に対する発言時間を計測してもよい。発言時間を計測する議事ごと発言時間を計測するか、発言時間を計測する議事を通して発言時間を計測するかは、予め情報処理装置１０に設定されていてもよいし、参加者によって設定されてもよい。

また、特定の議事に限って発言者の発言時間を計測する場合は、予定情報に、発言時間を計測するか否かを示すフラグを記憶し、フラグに基づいて発言時間の計測を行ってもよい。このようにすることで、プレゼンテーションの時間や、開会・閉会の時間といったような、議論を行わない議事における発言時間を、発言率に反映されてしまうことを防ぐことができる。

（３）現在時刻の直前における発言率を算出する方法
例えば、現在時刻の直前１０分間といった、所定の時間（以下、「発言率算出時間」という）における発言率を算出する方法である。なお、発言者の発言時間を合計発言時間として加算すると、いつ発言がされたかが特定できず、所定の時間における発言率を算出できなくなる。したがって、この方法を用いる場合は、どの参加者が、どの時刻からどの時刻まで発言をしたかを表した発言履歴情報を格納する領域を、記憶部１６０に設ける。また、ステップＳ１４６においては、発言が開始された時刻と、発言が終了した時刻とを特定する。さらに、ステップＳ１４８においては、ステップＳ１４４で特定した参加者と、ステップＳ１４６で特定した発言開始時刻と、発言終了時刻とを、発言履歴情報を記憶部１６０に記憶する。

ステップＳ１５４では、発言履歴情報を読み出し、参加者ごとに、発言率算出時間において発言された発言時間を加算して、発言率算出時間における発言時間の合計時間を算出する。そして、ステップＳ１５６で、発言率算出時間における発言時間の合計時間を、発言率算出時間の長さで除算することにより、発言率算出時間における発言率を算出することが可能である。

なお、発言率算出時間の長さは、予め定められてもよいし、参加者によって設定されてもよい。この方法によれば、会議が開始されてから、ある程度長い時間発言をした参加者の発言率が高いままとなってしまい、発言率に基づく通知の対象となり続けてしまうといった状態を防ぐことができる。

このように、発言率の算出方法は様々ある。どのような方法で発言率を算出するかは、予め決められていてもよいし、いくつかの算出方法の中から、参加者によって指定できてもよい。

つづいて、制御部１００は、発言率情報記憶領域１６６に記憶された全ての発言率情報を読み出したか否かを判定する（ステップＳ１５８）。全ての発言率情報を読み出していない場合は、ステップＳ１５２へ戻る（ステップＳ１５８；Ｎｏ→ステップＳ１５２）。全ての発言率情報を読み出した場合は、発言率算出処理を終了する（ステップＳ１５８；Ｙｅｓ）。このようにして、参加者ごとに発言率を算出して、発言率情報として記憶する。

つづいて、図７に戻り、制御部１００は、発言率に基づく参加者への通知として、発言率に基づく警告メッセージを表示制御する処理である警告処理を行う（ステップＳ１１４）。具体的な内容について、図１０を参照して説明する。

はじめに、制御部１００は、通知設定情報１６８に記憶された通知開始時刻を読み出し、現在時刻が、通知開始時刻を過ぎたか否かを判定する（ステップＳ１７２）。通知開始時刻を過ぎていない場合は、警告処理を終了する（ステップＳ１７２；Ｎｏ）。通知開始時刻を過ぎた場合は、ステップＳ１７４に進む（ステップＳ１７２；Ｙｅｓ→ステップＳ１７４）。なお、通知開始時刻として、相対的な時刻を指定されている場合は、実際の通知開始時刻を算出して、現在時刻と比較をする。例えば、会議の開始時刻から１５分後という指定がされていて、会議が１５時に開始された場合は、実際の通知開始時刻は１５時１５分となる。また、通知時間が記憶されていた場合は、現在時刻が通知時間に含まれている場合に、ステップＳ１７２の判定をＹｅｓとする。

つづいて、制御部１００は、発言率情報記憶領域１６６から発言率情報を１件読み出し（ステップＳ１７４）、読み出した発言率情報に記憶されている発言率が、通知設定情報１６８に記憶された発言率上限値を超過するか否かを判定する（ステップＳ１７６）。発言率が、発言率上限値を超過する場合は、ステップＳ１７４で読み出した発言率情報に対応する参加者を第１の参加者とする。そして、表示制御部１４０は、第１の参加者に対する警告メッセージ（例えば、「○○さんの発言が長くなっています」）を表示装置４０に表示する制御を行う（ステップＳ１７６；Ｙｅｓ→ステップＳ１７８）。

つづいて、制御部１００は、ステップＳ１７６で読み出した発言率情報に記憶されている発言率が、通知設定情報１６８に記憶された発言率下限値を下回るか否かを判定する（ステップＳ１８０）。発言率が、発言率下限値を下回る場合は、ステップＳ１７４で読み出した発言率情報に対応する参加者を第２の参加者とする。そして、表示制御部１４０は、第２の参加者に対する警告メッセージ（例えば、「○○さん発言しましょう」）を表示装置４０に表示する制御を行う（ステップＳ１８０；Ｙｅｓ→ステップＳ１８２）。

つづいて、制御部１００は、発言率情報記憶領域１６６に記憶された全ての発言率情報を読み出したか否かを判定する（ステップＳ１８４）。全ての発言率情報を読み出していない場合は、ステップＳ１７４へ戻る（ステップＳ１８４；Ｎｏ→ステップＳ１７４）。なお、ステップＳ１７４においては、制御部１００は、まだ読み出していない発言率情報を読み出す。ステップＳ１８４において、全ての発言率情報を読み出した場合は、警告処理を終了する（ステップＳ１８４；Ｙｅｓ）。

なお、第１の参加者、第２の参加者が複数いる場合は、表示制御部１４０は、表示装置４０に表示するメッセージを変えてもよい。例えば、第１の参加者が複数いる場合は、第１の参加者の参加者名を列挙した警告メッセージを表示してもよいし（例えば、「○○さん、××さんの発言が長くなっています」）、第１の参加者の中で最も発言率が高い参加者に対する警告メッセージを表示してもよい。第２の参加者が複数いる場合も同様であり、第２の参加者の参加者名を列挙した警告メッセージを表示してもよいし、第２の参加者の中で最も発言率が低い参加者に対する警告メッセージを表示してもよい。第１の参加者と、第２の参加者がいる場合は、交互に警告メッセージを表示してもよいし、発言が長い参加者の警告メッセージの表示を優先するといったように、優先度に基づいて表示する警告メッセージを変えてもよい。

また、本実施形態では、発言率に基づく通知方法として、表示装置４０に警告メッセージを表示制御する方法を説明したが、これ以外の方法によって通知してもよい。例えば、音声出力部１５５から警告メッセージを音声によって出力してもよい。また、情報処理装置１０は、情報処理装置１０に接続されたＬＥＤライト等を光らせる制御を行い、光によって発言率に基づく通知をしてもよい。表示装置４０への表示制御の方法も、警告メッセージを表示するのではなく、表示装置４０に第１の参加者の参加者名を表示する領域と、第２の参加者の参加者名を表示する領域とを設け、それぞれの領域に、参加者名を表示することにより通知してもよい。このように、参加者に対する通知の方法は、音や光や映像等、様々な方法によって実現可能である。どのような通知方法を用いるかは、予め情報処理装置１０に設定されていてもよいし、参加者によって選択できてもよい。

図７に戻り、制御部１００は、会議の終了が指示されたか否かを判定する（ステップＳ１１６）。例えば、表示制御部１４０は、会議を終了する指示を受け付けるための会議終了ボタンを表示装置４０に表示する。そして、会議の参加者（例えば、司会を担当する参加者）によって、会議終了ボタンが選択されたら、制御部１００は、会議の終了が指示されたと判定する。

会議の終了が指示された場合は、メイン処理を終了する（ステップＳ１１６；Ｙｅｓ）。会議の終了が指示されない場合は、ステップＳ１１０へ戻る（ステップＳ１１６；Ｎｏ→ステップＳ１１０）。このようにすることで、会議が開催されている間は、進行状況表示処理と、発言率算出処理と、警告処理とが実行されることとなり、状況に応じて、発言率の算出及び発言率に基づく参加者への通知の表示がされる。

なお、ステップＳ１１６の代わりに、制御部１００は、予定情報記憶領域１６２に記憶された予定情報のうち、予定時刻が最も遅い予定情報を読み出し、読み出した予定情報の予定時刻に予定時間を加算した時刻を現在時刻が超過したか否かを判定してもよい。この場合は、予定時刻に予定時間を加算した時刻を現在時刻が超過したときにメイン処理を終了し、予定時刻に予定時間を加算した時刻を現在時刻が超過しないときは、ステップＳ１１０へ戻る。

［１．３ 動作例］
つづいて、図を参照して本実施形態の動作例を説明する。図１１は、会議が開催されているときに、表示制御部１４０の制御により表示装置４０に表示される表示画面Ｗ１００の画面例である。表示画面Ｗ１００には、映像入力部１２０から入力された映像を表示する映像表示領域Ｅ１００と、予定情報に基づく進行状況表示が表示される進行状況表示領域Ｅ１０２と、現在時刻の位置を三角形の印によって識別表示をした識別表示Ｅ１０４とが含まれている。

進行状況表示の一例としては、図１１に示すように、画面の一部に、矩形状の進行が解る表示を行う。進行状況表示には、各議事名が、時間に応じた長さにて表示される。

なお、図１１の例では、映像入力部１２０から入力される、情報処理装置１０が置かれた場所における参加者の映像を表示する映像表示領域Ｅ１００を、表示装置４０の全体に設けているが、表示装置４０の表示は適宜変更可能である。特に、遠隔地との会議を行う場合には、映像入力部１２０から入力された映像の他に、遠隔地にいる参加者の映像も表示装置４０に映し出すことにより、参加者に会議の雰囲気が伝わりやすくなる。したがって、情報処理装置１０は、会議の拠点が複数ある場合は、表示装置４０の表示領域を分割して、会議が開催されている拠点ごとの映像を表示したり、参加者の操作によって、表示装置４０に表示する映像を切り替えられるようにしたりしてもよい。また、複数の表示装置４０を情報処理装置１０に接続して、一のモニタに情報処理装置１０が置かれた場所の映像を表示し、他のモニタに拠点の映像を表示してもよい。

情報処理装置１０は、図１１の進行状況表示領域Ｅ１０２に示すように、会議情報に基づき、議事名を帯状に並べて予定情報を表示する。会議の参加者によって、進行状況表示領域Ｅ１０２と、識別表示Ｅ１０４とが視認されることにより、現在時刻において進行する予定となっている議事（現在進行すべき議事）や、その議事を取り扱う長さや、他の議事に移る目処といった、会議の進行状況を視認させることができる。

なお、時系列的に連続した複数の予定情報の議事名に、共通する文字列が含まれる場合は、それらの予定情報をグループ化して表示してもよい。例えば、議事名が「議題Ａ プレゼン」、「議題Ａ 議論時間」、「議題Ａ まとめ」である３つの予定情報が時系列的に連続している場合は、「議題Ａ」が共通しているため、グループ化する。そして、進行状況表示領域Ｅ１０２に示すように、「議題Ａ」と記載したラベルを上段に、「プレゼン」「議論時間」「まとめ」と記載したラベルを下段に、２段で表示する。このようにすることで、参加者に対して、会議の議事を、大議事と小議事といった単位で把握させることが可能となる。なお、予定情報に大項目と小項目とを記憶して、大項目に基づいて小項目をグループ化してもよい。

図１２は、第１の参加者に対する警告メッセージが、表示制御部１４０の制御により表示装置４０に表示されたときの画面例である。情報処理装置１０は、図１２に示すように、第１の参加者の参加者名を含んだ警告メッセージＥ１１０を、進行状況表示領域Ｅ１０２の上に表示する。このようにすることで、第１の参加者と他の参加者とに、第１の参加者の発言率が高い（発言が長い）ことを視認させることができる。

図１３は、第２の参加者に対する警告メッセージが、表示制御部１４０の制御により表示装置４０に表示されたときの画面例である。情報処理装置１０は、図１３に示すように、第２の参加者の参加者名を含んだ警告メッセージＥ１２０を、進行状況表示領域Ｅ１０２の上に表示する。このようにすることで、第２の参加者と他の参加者とに、第２の参加者の発言率が低い（発言が少ない）ことを視認させることができる。

なお、表示装置４０の解像度が低い場合など、議事名をラベルで表示すると文字が見づらくなってしまう場合は、表示制御部１４０は、予定情報を他の表示方法によって表示してもよい。例えば、図１４（ａ）のように、会議情報の議事名を吹き出しＥ１３０で示し、予定時刻の位置を三角形の識別表示Ｅ１３２で示し、現在時刻をインジケータの背景で示す表示をしてもよい。

吹き出しＥ１３０は、現在の議事が変わった時点で一定時間表示させるようにしてもよい。この場合は、情報処理装置１０は、現在の議事が変わってから一定期間（例えば、１分）が経過した後に、図１４（ｂ）のように、吹き出しＥ１３０を非表示にする。そして、現在の議事が変更になった場合に、情報処理装置１０は、図１４（ｃ）のように、再度吹き出しＥ１３４を表示する。

また、警告メッセージは、インジケータの周囲に表示する。例えば、情報処理装置１０は、図１４（ｄ）のように、第１の参加者に対する警告メッセージを吹き出しＥ１３６のように表示したり、第２の参加者に対する警告メッセージを吹き出しＥ１３８のように表示したりする。このようにすることで、表示装置４０の解像度が低い場合であっても、参加者に会議の進行状況を視認させることができる。

本実施形態によれば、発言率に基づく通知を表示装置に表示することにより、発言が長い参加者や、発言が少ない参加者を参加者全員に視認させることができる。この結果、一部の発言者のみで議事が進行してしまうことにより、発言が長くなっている参加者の発言を抑制して、他の参加者の発言機会を生み出すことができる。また、雰囲気などを読み取りにくく発言の少ない参加者に対して発言機会を生み出すことができる。このように、発言率に基づく通知を行うことで、発言ができなかった参加者に対する発言機会を生み出し、会議の活性化を実現することが可能となる。

また、予定情報に基づいて、現在進行すべき議事を進行状況表示として表示することにより、参加者に対して、予定通りの進行を手助けすることが可能となる。このようにすることで、会議の円滑な進行を可能となる。

［２．第２実施形態］
つづいて第２実施形態について説明する。第２実施形態は第１実施形態の発言率に基づく通知に加え、会議の参加者の全員が発言をしない沈黙時間が続く場合にも通知を表示し、発言を促す実施形態である。本実施形態は、第１実施形態の図２を図１５に、図６を図１６に、図９を図１７に、図１０を図１８に、それぞれ置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

［２．１ 機能構成］
本実施形態における情報処理装置１２の機能構成を図１５を参照して説明する。情報処理装置１２は、情報処理装置１０と異なり、記憶部１６０に、さらに沈黙時間情報１７０が記憶される点が異なる。

沈黙時間情報１７０とは、会議の参加者の全員が発言をしない沈黙時間の長さを示した情報である。例えば、「３０秒」といった値が記憶される。

本実施形態における通知設定情報１６８の例を図１６に示す。図１６に示すように、発言率上限値、発言率下限値、通知開始時刻に加え、さらに、沈黙時間上限値（例えば、「６０秒」）が記憶される。

［２．２ 処理の流れ］
つづいて、本実施形態における発言率算出処理と、警告処理の流れについて説明する。まず、図１７を参照して、発言率算出処理について説明する。ステップＳ１４２において、制御部１００は、音声入力部１１０に音声が入力されていると判定したら、つづいて、制御部１００は、発言者を特定した上で、沈黙時間情報１７０に「０秒」と記憶して、沈黙時間情報１７０をリセットする（ステップＳ１４２；Ｙｅｓ→ステップＳ１４４；ステップＳ２４２）。

また、ステップＳ１４２において、制御部１００は、音声入力部１１０に音声が入力されていないと判定したら、つづいて制御部１００は、沈黙時間を計測する（ステップＳ１４２；Ｎｏ→ステップＳ２４４）。例えば、制御部１００は、音声が入力されていないことを定期的（例えば、１秒ごと）に判定し、音声が入力されていない時間を沈黙時間とする。なお、このような方法でなくてもよく、沈黙している時間（発言がされていない時間）を計測する方法であれば何れの方法を用いても構わない。そして、制御部１００は、ステップＳ２４４で計測した沈黙時間を、沈黙時間情報１７０に記憶する（ステップＳ２４６）。なお、ステップＳ１４４において、発言者を特定できない場合も、参加者が沈黙しているとして、沈黙時間の計測をしてもよい。

つづいて、図１８を参照して、警告処理について説明する。はじめに、制御部１００は、現在時刻が通知開始時刻を過ぎたか否かを判定し、通知開始時刻を過ぎた場合は、沈黙時間情報１７０を読み出す（ステップＳ１７２；Ｙｅｓ→ステップＳ２７２）。つづいて、制御部１００は、通知設定情報１６８に記憶された沈黙時間上限値を読み出し、沈黙時間情報１７０によって示される沈黙時間が、沈黙時間上限値を超過するか否かを判定する（ステップＳ２７４）。そして、沈黙時間が沈黙時間上限値を超過する場合は、表示部に警告メッセージを表示する（ステップＳ２７４；Ｙｅｓ→ステップＳ２７６）。

［２．３ 動作例］
つづいて、図１９を参照して本実施形態における情報処理装置１２の表示例を説明する。図１９は、沈黙時間が沈黙時間上限値を超過する場合における表示画面Ｗ２００の画面例である。表示制御部１４０は、表示装置４０に表示画面Ｗ２００として、映像入力部１２０から入力された映像と、進行状況表示とに加え、沈黙時間が沈黙時間上限値を超過したことを示すに警告メッセージＥ２００を表示する。例えば、警告メッセージとして「皆さん発言しませんか」といったメッセージを表示する。このように、発言を促すメッセージを参加者によって視認されることにより、参加者の発言を促すことができる。

なお、沈黙時間が沈黙時間上限値を超過した場合の通知方法は、第１実施形態と同様に、警告メッセージの表示以外にも、音や光や映像による通知を行ってもよい。

［３．第３実施形態］
つづいて、第３実施形態について説明する。本実施形態は、第１実施形態とは異なり、参加者の属性によって、通知の有無や、通知を行う場合における閾値を変える実施形態である。本実施形態は、第１実施形態の図４を図２０に、図６を図２１に、図１０を図２２にそれぞれ置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

本実施形態の参加者情報の例を図２０に示す。本実施形態の参加者情報には、参加者名、音声特定データに加えて、参加者の属性（例えば、「司会者」）を記憶する。参加者の属性は、会議における役割であってもよいし、参加者の役職や職種であってもよい。

本実施形態の通知設定情報１６８の例を図２１に示す。図２１に示すように、本実施形態では、発言率上限値と発言率下限値を属性ごとに記憶する。図２１の例では、属性が「司会者」である属性の参加者に対しては、発言率上限値と発言率下限値とに値を記憶していない。この場合は、属性が「司会者」である参加者には、発言率がどのような値であっても通知を行わない。また、属性が「役職者」である参加者は、発言率上限値の値を記憶せず、発言率下限値の値に「５％」を記憶している。この場合は、属性が「司会者」である参加者には、発言率が発言率下限値を下回った場合にのみ通知を行う。

つづいて、図２２を参照して、警告処理の流れについて説明する。制御部１００は、発言率情報を１件読み出した後に、読み出した発言率情報の参加者名を含む参加者情報を読み出して、読み出した発言率情報に対応する参加者の属性を特定する。そして、制御部１００は、通知設定情報１６８を読み出し、参加者の属性に対応する発言率上限値と発言率下限値を特定する（ステップＳ３７２）。

そして、ステップＳ１７６においては、ステップＳ３７２で特定した発言率上限値に基づいて、参加者の発言率が発言率上限値を超過するか否かを判定する。なお、発言率上限値に値が記憶されていない場合は、ステップＳ１７６及びステップＳ１７８の処理をスキップする。また、ステップＳ１８０においては、ステップＳ３７２で特定した発言率下限値に基づいて、参加者の発言率が発言率下限値を下回るか否かを判定する。なお、発言率下限値に値が記憶されていない場合は、ステップＳ１８０及びステップＳ１８２の処理をスキップする。

なお、通知方法や通知内容は属性に応じて変えてもよい。例えば、発言率が低い場合に対する警告メッセージとして、一般参加者に対しては「○○さん発言しましょう」とし、役職者に対しては「○○さんのご意見はどうでしょうか」としたメッセージを表示してもよい。

本実施形態によれば、通知を行うのに適切でない参加者に対して、通知を行わなかったり、通知を抑制したりすることが可能となる。

［４．第４実施形態］
つづいて、第４実施形態について説明する。本実施形態は、第１実施形態とは異なり、会議の進行状況によって、議事を開始する時刻を調整する実施形態である。本実施形態は、第１実施形態の図２を図２３に、図７を図２５に、図８を図２６に、図１０を図２７にそれぞれ置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

本実施形態における情報処理装置１４の機能構成を、図２３を参照して説明する。情報処理装置１４は、情報処理装置１０と異なり、記憶部１６０に、さらに進行情報記憶領域１７２が確保される点が異なる。

進行情報記憶領域１７２は、会議の議事の進行の情報である進行情報を記憶する領域である。進行情報は、図２４に示すように、予定情報に含まれる予定時刻と、予定時間と、議事名に加えて、議事を開始する時刻を調整した時刻である開始時刻（例えば、「１５：３３：００」）と、議事を開始する時刻の調整により予定時間を調整した調整後予定時間（例えば、「４分」）とを記憶する。

なお、既に完了した議事に対応する進行情報については、開始時刻として実際に議事が開始された時刻を記憶し、調整後予定時間には何も記憶しないこととする。例えば、図２４に示すように、議事名が「開会」である議事が既に完了している場合は、開始時刻には実際に議事を開始した時刻（例えば、「１５：００：１０」）を記憶し、調整後予定時間には何も記憶しない。

つづいて、本実施形態のメイン処理について説明する。制御部１００は、会議の開始が指示されたら、予定情報を読み出し、進行情報に情報をコピーする（ステップＳ４０２）。具体的には、予定情報の予定時刻を進行情報の予定時刻と開始時刻に、予定情報の予定時間を進行情報の予定時間と調整後予定時間に、予定情報の議事名を進行情報の議事名にコピーする。このようにして、会議が開始された段階では、全ての議事は予定時刻通りに始まることとして、進行情報の開始時刻を、予定情報の予定時刻と一致させる。

つづいて、制御部１００は、現在の議事に対応する進行情報の開始時刻に、現在時刻を記憶する（ステップＳ４０４）。なお、現在の議事に対応する進行情報とは、完了していない議事のうち、予定時刻が最も早い進行情報である。

また、制御部１００は、進行状況表示処理、発言率算出処理、警告処理を実行し、つづいて議事が完了したか否かを判定する（ステップＳ４０６）。例えば、表示制御部１４０の制御により、表示装置４０に、議事を完了する指示を受け付けるための議事完了ボタンを表示する。そして、司会を担当する参加者により、議事完了ボタンが選択された場合に、制御部１００は、議事が完了したと判定する。

議事が完了した場合は、つづいて制御部１００は、全ての議事が完了したか否かを判定する（ステップＳ４０６；Ｙｅｓ→ステップＳ４０８）。例えば、進行情報記憶領域１７２の進行情報を読み出し、全ての進行情報の開始時刻が現在時刻よりも前であれば、現在時刻以降の議事がないこととなるため、全ての議事が完了したと判定する。なお、ステップＳ４０６において、議事が完了していない場合は、ステップＳ１１０へ戻る（ステップＳ４０６；Ｎｏ→ステップＳ１１０）。

全ての議事が完了した場合は、メイン処理を終了する（ステップＳ４０８；Ｙｅｓ）。全ての議事が完了していない場合は、次の議事を進行するため、ステップＳ４０４へ戻る（ステップＳ４０８；Ｎｏ→ステップＳ４０４）。

つづいて、図２６を参照して、本実施形態の進行状況表示処理について説明する。まず、制御部１００は、進行情報記憶領域１７２から進行情報を読み出し（ステップＳ４２２）、現在時刻が、現在の議事の次の議事に対応する進行情報に記憶されている開始時刻を過ぎているか否かを判定する（ステップＳ４２４）。現在の議事の次の議事に対応する進行情報とは、進行情報のうち、開始時刻が現在時刻よりも未来であって、最も早い時刻のものである。

現在時刻が次の議事の開始時刻を過ぎている場合は（ステップＳ４２４；Ｙｅｓ）、現在の議事が、予定していた時間よりも長くなっている等の理由により、進行が予定よりも遅れていることを示す。したがって、この場合は、制御部１００は、進行情報のうち、開始時間が現在時刻よりも後の時刻となっている議事（以下、「未完了の議事」という）に対応する進行情報を読み出して、開始時刻を調整する（ステップＳ４２６）。例えば、現在の議事の当初の終了時刻と、現在時刻との差分を遅延時間として、遅延時間分だけ次の議事の開始時刻を遅らせる。また、未完了の議事の開始時間を少しずつ遅らせて、未完了の議事を取り扱う時間を短縮させてもよい。また、開始時間を調整することによって議事を取り扱う時間が短縮された場合は、短縮後の予定時間を調整後予定時間とする。このように、予定情報と実際の進行の状況に基づいて、未完了の議事に関する予定を調整する。

そして、制御部１００は、ステップＳ４２４で調整した開始時間と、調整後予定時間とを含んだ進行情報を、進行情報記憶領域１７２に記憶する（ステップＳ４２８）。このようにして、会議の進行が遅れた場合、未完了の議事の開始時間を遅らせ、予定時間を短縮することで、予定情報に基づく会議の終了時間までに、全ての議事が完了できるように、進行情報を修正する。

つづいて、制御部１００は、進行情報に基づいて、進行状況の表示をする（ステップＳ４３０）。進行状況の表示の方法は、第１実施形態のステップＳ１２４のように、表形式や帯状に表示する。そして、調整後予定時間が予定時間よりも短くなっている議事名を識別表示する（ステップＳ４３２）。このようにすることで、進行が遅れていることと、開始時間を調整したことによって短縮された議事とを、参加者に視認させることができる。

図２５に戻り、つづいて、発言率算出処理を実行する。本実施形態の発言率算出処理においては、発言時間の計測、経過時間の算出、発言率の算出は、進行情報に記憶された開始時刻や、調整後予定時間に基づいて計測又は算出を行ってもよい。このようにすることで、現実の会議の進行状況に応じた発言率を算出することが可能となる。

つづいて、図２７を参照して、本実施形態の警告処理について説明する。制御部１００は、進行情報表示処理によって、調整後予定時間が予定時間よりも短縮された議事があるか否かを判定し、調整後予定時間が予定時間よりも短縮された議事がある場合は、表示制御部１４０の制御により、表示装置４０に警告を表示する（ステップＳ４７２；Ｙｅｓ→ステップＳ４７４）。例えば、制御部１００は、進行情報に記憶された予定時間と、調整後予定時間とを比較し、調整後予定時間が予定時間よりも短い予定情報がある場合は、予定時間が短縮された議事があると判定する。

本実施形態の動作例を図２８を参照して説明する。図２８（ａ）は進行情報に基づいて、進行状況を帯状に表示させた場合の進行状況表示の表示例であり、現在の議事である「議題Ａ 議論時間」が、次の議事である「議題Ａ まとめ」の開始時刻に至ったときの様子を示したものである。この場合であっても、現在の議事である「議題Ａ 議論時間」は完了とはしない。そして、現在時刻が、次の議事である「議題Ａ まとめ」の開始時刻を超えたら、制御部１００は、未完了の議事の開始時間を調整する。

図２８（ｂ）は、未完了の議事の開始時間を調整した後の進行情報に基づいて、進行状況を帯状に表示させた場合の進行状況表示の表示例である。この例では、「議題Ａ まとめ」と、議題Ｂに含まれる議事との開始時間を遅らせ、さらに、議題Ｂに含まれる議事については、調整後予定時間が予定時間よりも短縮された場合を示している。図２８（ｂ）に示すように、調整後予定時間が予定時間よりも短縮された議事のラベルについては、領域Ｌ４００のように、ラベルの背景色を変えて強調表示を行う。なお、強調表示は、議事名の文字色を変えたり、ラベルの外枠の線を太くしたりするなどしてもよい。

図２８（ｃ）は、会議の進行が遅れていることを通知する表示画面Ｗ４００の画面例である。表示画面Ｗ４００には、警告メッセージＥ４００と進行状況表示領域Ｅ４０２とを含む。警告メッセージＥ４００と、予定時間を短縮した議事を識別表示した進行状況表示領域Ｅ４０２とにより、進行が遅れていることを参加者に視認させる。

本実施形態によれば、会議が円滑に進行にしていない場合は、未完了の議事の開始時間を調整して進行状況を表示することにより、参加者に対して、会議の終了時間を超過させないための進行を行うための手助けを行うことができる。

［５．第５実施形態］
つづいて、第５実施形態について説明する。本実施形態は、第１実施形態に記載した通知を行う際に、表示制御部１４０が通知の対象となる参加者を識別表示する表示制御を行う実施形態である。本実施形態は、第１実施形態の図１０を図２９に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

参加者の識別表示とは、会議の参加者の映像に写っている参加者のうち、第１の参加者及び第２の参加者である参加者の表示態様を変える表示である。参加者を識別表示することにより、会議の参加者は、第１の参加者及び第２の参加者を、より視認することが容易となる。参加者の識別表示としては、識別表示の対象の参加者を表示装置４０に拡大して表示させたり、カメラを切り替えて識別表示の対象の参加者の映像のみが表示装置４０に表示されるように制御したりする。また、会議の参加者の映像の中から、識別表示の対象の参加者が目立つように輝度を挙げたり、印や囲みを加えたりしてもよい。なお本実施形態では、識別表示の対象の参加者を表示装置４０に拡大して表示する（ズームする）ことにより識別表示を行うこととして説明する。

本実施形態の警告処理の流れを図２９に示す。本実施形態では、ステップＳ１７６において、発言率が発言率上限値を超過する場合、表示制御部１４０は、発言率が発言率上限値を超過する第１の参加者を、表示装置４０に拡大して表示されるように表示制御する（ステップＳ５７２）。例えば、参加者情報に参加者が映像に映り込む位置を予め記憶しておき、表示制御部１４０は、第１の参加者の位置を拡大した映像を表示装置４０へ表示する制御を行うことにより実現する。

なお、第１の参加者を拡大する方法としては、上述した方法以外にも、映像を顔認識して、第１の参加者の顔がある位置を拡大した映像を表示装置４０へ表示する制御を行ってもよい。参加者ごとに映像入力装置がある場合は、第１の参加者の映像のみが表示装置４０に表示されるように、映像を入力する映像入力装置を切り替えてもよい。また、参加者情報に、参加者のいる位置を記憶し、制御部１００が映像入力部１２０を制御して、第１の参加者のいる位置を拡大した映像が入力されるように映像入力部１２０を制御してもよい。

また、ステップＳ１８０において、発言率情報に記憶された発言率が発言率下限値を下回る場合、発言率が発言率下限値を下回った第２の参加者を、表示装置４０に拡大して表示する（ステップＳ５７４）。第２の参加者を表示装置４０に拡大して表示する方法は、ステップＳ５７２の方法と同様である。

図３０は、本実施形態の動作例を示した図である。図３０（ａ）は警告をしない場合における表示装置４０に表示する表示画面Ｗ５００の画面例である。表示画面Ｗ５００には、映像入力部１２０から入力された映像と、進行状況表示とが表示される。図３０（ｂ）は、参加者に対する警告を行う場合における表示装置４０に表示する表示画面Ｗ５０２の画面例である。図３０（ａ）と比べ、図３０（ｂ）は、通知の対象となる参加者を拡大して表示する。なお、通知の対象となる参加者を拡大して表示したら、さらに、警告メッセージＥ５０２を表示する。

本実施形態によれば、通知の対象となる参加者が表示装置４０に識別表示して表示されるため、より、警告されていることを参加者に意識させることが可能となる。

［６．第６実施形態］
つづいて、第６実施形態について説明する。本実施形態は、会議の参加者のそれぞれに個別の端末が用意されているときに、第１の参加者及び第２の参加者となった参加者の端末に通知を送信する実施形態である。本実施形態は、第１実施形態の図１０を図３１に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。

本実施形態の警告処理の流れを図３１に示す。本実施形態では、ステップＳ１７６において、発言率情報に記憶された発言率が発言率上限値を超過する場合、発言率が発言率上限値を超過する第１の参加者の端末に通知データを送信する（ステップＳ６７２）。通知データとは、参加者に対する通知の内容（例えば、警告メッセージ）を含んだデータである。ステップＳ６７２においては、例えば、制御部１００は、通知データを通信部１５０を介して、第１の参加者の端末に送信する。第１の参加者の端末では、通知データを受信したら、通知データを読み出して、第１の参加者の端末の表示部に、通知（例えば、警告メッセージ）を表示する。なお、通知データの送信先は、参加者情報に、参加者の端末への接続情報（例えば、ＩＰアドレス）を予め記憶し、制御部１００は、通知データを送信する際に、送信先となる参加者の端末の接続情報に基づいて通知データを送信すればよい。

また、制御部１００は、通知データを送信しても第１の参加者の発言が続くか否かを判定し、通知データの送信後も第１の参加者の発言が続く場合は、表示制御部１４０は、表示装置４０に警告メッセージを表示する制御を行う（ステップＳ６７４；Ｙｅｓ→ステップＳ１７８）。このように、端末への通知データの送信と、表示装置４０への警告メッセージの表示制御との２段階の通知を行う。

同様にして、ステップＳ１８０において、発言率情報に記憶された発言率が発言率下限値を下回る場合、発言率が発言率下限値を下回る第２の参加者の端末に通知データを送信する（ステップＳ６７６）。制御部１００は、通知データを送信しても第２の参加者の発言がされないか否かを判定し、通知データの送信後も第２の参加者の発言がされない場合は、表示制御部１４０は、表示装置４０に警告メッセージを表示する制御を行う（ステップＳ６７８；Ｙｅｓ→ステップＳ１８２）。

本実施形態によれば、表示制御部１４０が、表示装置４０に通知を表示する制御を行う前に、参加者の端末に通知データを送信し、参加者の端末で通知を表示することが可能となる。このようにすることで、第１の参加者及び第２の参加者は、端末を確認することで、発言が長いことや、発言が短いことを知ることが可能となる。

［７．第７実施形態］
つづいて、第７実施形態について説明する。本実施形態は、警告に応じて、音声を入力するマイクを切り替えることで、入力する音声の一部を無効化する実施形態である。本実施形態は、第１実施形態の図１０を図３２に置き換えたものである。なお、同一の機能部及び処理には同一の符号を付し、説明については省略する。また、本実施形態では、音声入力部１１０は、マイクといった音声入力装置が参加者ごとに備えられていて、音声入力部１１０と接続されていることとする。

本実施形態の警告処理の流れを図３２に示す。本実施形態では、第１の参加者に対する警告を表示しても発言が続く場合は、制御部１００は、第１の参加者の音声の入力を無効化する（ステップＳ７７２）。そして、制御部１００は、第１の参加者の発言が終了したか否かを判定し、第１の参加者の発言が終了した場合は、制御部１００は、ステップＳ７７２で無効化した第１の参加者の音声の入力を有効化する（ステップＳ７７４；Ｙｅｓ→ステップＳ７７６）。第１の参加者の発言が終了したか否かの判定は、例えば、音声入力部１１０から入力された第１の参加者の音声が、予め定められた音圧レベルを下回ったか否かによって判定する。

また、第２の参加者に対する警告を表示しても発言がされない場合は、制御部１００は、第２の参加者以外の参加者の音声の入力を無効化する（ステップＳ７７８）。そして、制御部１００は、第２の参加者の発言がされたか否かを判定し、第２の参加者の発言がされた場合は、制御部１００は、ステップＳ７７８で無効化した第２の参加者以外の参加者の音声の入力を有効化する（ステップＳ７８０；Ｙｅｓ→ステップＳ７８２）。第２の参加者の発言がされた否かの判定は、例えば、音声入力部１１０から入力された第２の参加者の音声が、予め定められた音圧レベルを超えたか否かによって判定する。

なお、ステップＳ１７８や、ステップＳ１８２において、表示制御部１４０が表示装置４０に表示する警告メッセージとして、音声の入力が一部無効化していることを表示してもよい。例えば、「○○さんの音声を無効化しています」といったように表示を行う。

このように、本実施形態では、表示システム１が、表示部による通知の表示に加え、音声入力装置２０から入力される音声の一部を無効化するといった、音声入力制御を行うことにより、会議の参加者の発言機会を生み出すことが可能となる。

［８．変形例］
本発明は上述した各実施の形態に限定されるものではなく、種々の変更が可能である。すなわち、本発明の要旨を逸脱しない範囲内において適宜変更した技術的手段を組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。また、上述した各実施の形態において説明した処理のフローは、矛盾のない範囲において、ステップの順番を変更したり、一部のステップを同時に実行したり、スキップしてもよい。

また、上述した実施形態は、説明の都合上、それぞれ別に説明している部分があるが、技術的に可能な範囲で組み合わせて実行してもよいことは勿論である。例えば、第４実施形態と第５実施形態とを組み合わせてもよい。この場合は、議事の進行の調整をしつつ、第１の参加者及び第２の参加者を表示部に拡大表示することが可能な表示装置となる。

また、実施形態において各装置で動作するプログラムは、上述した実施形態の機能を実現するように、ＣＰＵ等を制御するプログラム（コンピュータを機能させるプログラム）である。そして、これら装置で取り扱われる情報は、その処理時に一時的に一時記憶装置（例えば、ＲＡＭ）に蓄積され、その後、各種ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＨＤＤ等の記憶装置に格納され、必要に応じてＣＰＵによって読み出し、修正・書き込みが行なわれる。

ここで、プログラムを格納する記録媒体としては、半導体媒体（例えば、ＲＯＭや、不揮発性のメモリカード等）、光記録媒体・光磁気記録媒体（例えば、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ Ｄｉｓｃ）、ＭＤ（Ｍｉｎｉ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＢＤ （Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｋ） 等）、磁気記録媒体（例えば、磁気テープ、フレキシブルディスク等）等の何れであってもよい。また、ロードしたプログラムを実行することにより、上述した実施形態の機能が実現されるだけでなく、そのプログラムの指示に基づき、オペレーティングシステムあるいは他のアプリケーションプログラム等と共同して処理することにより、本発明の機能が実現される場合もある。

また、市場に流通させる場合には、可搬型の記録媒体にプログラムを格納して流通させたり、インターネット等のネットワークを介して接続されたサーバコンピュータに転送したりすることができる。この場合、サーバコンピュータの記憶装置も本発明に含まれるのは勿論である。

１０、１２、１４ 情報処理装置
１００ 制御部
１１０ 音声入力部
１２０ 映像入力部
１３０ 操作入力部
１４０ 表示制御部
１５０ 通信部
１５５ 音声出力部
１６０ 記憶部
１６２ 予定情報記憶領域
１６４ 参加者情報記憶領域
１６６ 発言率情報記憶領域
１６８ 通知設定情報
１７０ 沈黙時間情報
１７２ 進行情報記憶領域

Claims (12)

1. 音声入力部を備えた情報処理装置において、
   複数の参加者の情報を記憶する参加者情報記憶部と、
   前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定部と、
   前記発言者の発言時間を計測する発言時間計測部と、
   前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出部と、
   前記発言率に基づき通知を表示する制御を行う表示制御部と、
   を備えることを特徴とする情報処理装置。
2. 前記表示制御部は、前記参加者のうち、前記発言率が予め定められた発言率上限値を超過する第１の参加者又は前記発言率が予め定められた発言率下限値を下回る第２の参加者がいる場合に、通知を表示することを特徴とする請求項１に記載の情報処理装置。
3. 議事の開始の時刻である予定時刻及び議事名の情報を含む予定情報を議事ごとに記憶する予定情報記憶部を更に備え、
   前記表示制御部は、前記予定情報に基づき、進行状況を示す進行状況表示を表示する制御を行うことを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記進行状況表示は、予定時刻の位置を横位置とした議事名のラベルを並べて表示することを特徴とする請求項３に記載の情報処理装置。
5. 現在時刻が未完了の前記議事の予定時刻を超えた場合に、前記未完了の議事の予定時間及び議事を取り扱う時間を調整する予定調整部を更に備え、
   前記表示制御部は、前記予定調整部によって、議事を取り扱う時間が短縮された場合は、短縮された議事の議事名のラベルを識別表示することを特徴とする請求項４に記載の情報処理装置。
6. 前記発言率算出部は、前記予定情報に基づき、議事単位の発言率を算出することを特徴とする請求項３から５の何れか一項に記載の情報処理装置。
7. 前記参加者の映像を入力する映像入力部を更に備え、
   前記表示制御部は、通知の対象となる参加者を識別表示する制御を行うことを特徴とする請求項１から６の何れか一項に記載の情報処理装置。
8. 通知の対象となる前記参加者の端末に、通知を通信可能な通信部を更に備たことを特徴とする請求項１から７の何れか一項に記載の情報処理装置。
9. 前記参加者の何れもが発言しない沈黙時間を計測する沈黙時間計測部を更に備え、
   前記表示制御部は、前記沈黙時間が予め定められた沈黙時間上限値を超えた場合に、通知を表示する制御を行うことを特徴とする請求項１から８の何れか一項に記載の情報処理装置。
10. 前記音声入力部は、前記参加者ごとに備えられた音声入力装置と接続され、
    前記第１の参加者がいる場合には、第１の参加者の音声入力装置からの音声の入力を無効化し、前記第２の参加者がいる場合には、前記第２の参加者以外の参加者の音声入力装置からの音声の入力を無効化する音声入力制御部を更に備えることを特徴とする請求項２に記載の情報処理装置。
11. 音声入力部を備えた情報処理装置における情報処理方法であって、
    複数の参加者の情報を記憶する参加者情報記憶ステップと、
    前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定ステップと、
    前記発言者の発言時間を計測する発言時間計測ステップと、
    前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出ステップと、
    前記発言率に基づき通知を表示する制御を行う表示制御ステップと、
    含むことを特徴とする情報処理方法。
12. 音声入力部を備えたコンピュータに、
    複数の参加者の情報を記憶する参加者情報記憶機能と、
    前記音声入力部から入力された音声に基づき、前記参加者の中から発言者を特定する発言者特定機能と、
    前記発言者の発言時間を計測する発言時間計測機能と、
    前記発言時間に基づき、前記参加者ごとに発言率を算出する発言率算出機能と、
    前記発言率に基づき通知を表示する制御を行う表示制御機能と、
    を実現させるプログラム。

Images