JP2007086935A

JP2007086935A - 多重ワーク支援システムおよび多重ワーク支援方法

Info

Publication number: JP2007086935A
Application number: JP2005272898A
Authority: JP
Inventors: Yoshibumi Matsunaga; 義文松永; Akimasa Komura; 晃雅小村; Hideto Yuzawa; 秀人湯澤; Tomokazu Yago; 友和矢後
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2005-09-20
Filing date: 2005-09-20
Publication date: 2007-04-05
Anticipated expiration: 2025-09-20
Also published as: JP4910343B2

Abstract

【課題】複数の業務を並行的に遂行する利用者の業務に対する注意力を軽減できる多重ワーク支援システム提供する。
【解決手段】本発明は、対話業務を含む複数の業務を並行的に遂行する利用者を支援する多重ワーク支援システム１であって、前記対話業務に参加している参加者の発話情報を取得する発話情報取得部３１１と、前記対話業務の状態を予測する言葉の情報を記憶するキーフレーズ・キーシーンＤＢ６３と、前記参加者の発話情報に基づいて前記参加者の発話内容がキーフレーズ・キーシーン６３に記憶された前記対話業務の状態を予測する言語に当たる場合、前記利用者に前記複数の業務を提供する多重ワーク支援装置７に対する制御を変更する制御部６５とを備える。
【選択図】図１

Description

本発明は、複数の業務を遂行する利用者を支援する多重ワーク支援システムおよび多重ワーク支援方法に関する。

従来、オフィスにおける業務（タスクともいう）では、コミュニケーション業務も含めた複数の業務を並行して実行することが要求されている。特に、近年のように情報がネットワークで連携され、更にモバイル環境によってどこからでも情報にアクセスできるようになると、ユーザが一つの業務遂行中に他者からコミュニケーションを要求され、かつ新たな業務を依頼されるシーンが増加する。したがって、複数の業務を効率よく、かつ相互に支障を招来することなく、遂行することが重要になってきている。このような技術としては以下のようなものが提案されている。

特許文献１では、複数のアプリケーションの起動情報、可動／休止状況を監視して複数のタスクの実行順序を制御することが提案されている。例えば、ある業務がメール待ち状態のときに所望のメールが到来したときには、当該業務を処理できることをユーザに通知する。また、特許文献２では、マルチウィンドウ環境において、ユーザが指定した検索基準を包含しているウインドウをアクティブにする自動ナビゲーションが提案されている。
特開平０７−５６７４８号公報特開平０６−９５８３５号公報

しかしながら、作業者が複数の業務を並行的に遂行する場合、作業者は遂行するすべての業務に対して同じように意識を向けなければならず、複数の業務を遂行する作業者の負担が大きいという問題があった。すなわち、例えば会議の参加者が遠隔地から複数の会議に並行的に参加している場合を考えると、会議の参加者は、まず、参加している第１の会議に意識を集中させ、第１の会議での話題が自分の興味が無い話題になったことを確認後、並行的に遂行する第２の会議に意識を向け、さらに第２の会議で自分の興味の無い話題になったことを確認後、再度、第１の会議に意識を向けることが必要になり、複数の会議に参加する参加者の負担は大きいものであった。なお、特許文献１および２は業務の多重化を支援するものではあるが、上記問題点を解決することはできない。

そこで、本発明は、上記問題点に鑑みてなされたもので、複数の業務を並行的に遂行する利用者の業務に対する注意力を軽減できる多重ワーク支援システムおよび多重ワーク支援方法を提供することを目的とする。

上記課題を解決するために、本発明は、対話業務を含む複数の業務を並行的に遂行する利用者を支援する多重ワーク支援システムであって、前記対話業務に参加している参加者の発話情報を取得する取得部と、前記対話業務の状態を予測する言葉の情報を記憶する記憶部と、前記参加者の発話情報に基づいて前記参加者の発話内容が前記記憶部に記憶された前記対話業務の状態を予測する言語に当たる場合、前記利用者に前記複数の業務を提供する制御装置に対する制御を変更する制御部とを有する。

本発明によれば、参加者が、例えば「話は脱線しますが」などの言葉を発話した場合に、対話業務での話が脱線することが予測できるので、この場合には、利用者が他の業務に意識を集中するよう制御装置を制御する。これにより、利用者の業務に対する注意力を軽減することができる。また、意識の有効な集中調整を実現することができるので、多重ワークを効率的よくかつ効果的に遂行することができる。

本発明の多重ワーク支援システムは、前記参加者の発話情報を音声認識することにより前記参加者の発話内容を生成する生成部をさらに有する。本発明によれば、参加者の発話情報から音声認識により参加者の発話内容を自動的に生成することができる。本発明の多重ワーク支援システムは、前記参加者の発話情報を検出する検出部をさらに有る。本発明によれば、参加者の発話情報はマイクなどのような検出部によって自動的に検出される。

本発明の多重ワーク支援システムは、前記参加者の発話情報を入力する入力部とをさらに有する。本発明によれば、音声認識の精度があまり望めないような場合でも、実際に対話業務に参加する参加者によりパーソナルコンピュータなどに接続されたキーボードなどのような入力部から直接入力することができる。前記記憶部は、キーワード、キーフレーズおよびキーセンテンスのうちの少なくとも１つを前記対話業務の状態を予測する言語の情報として記憶する。

前記制御部は、前記参加者の発話内容が前記記憶部に記憶された前記対話業務の状態を予測する言語に当たる場合、前記制御装置が提供する音声の音量および映像の輝度のうち少なくとも一方を制御する。前記制御部は、前記参加者の発話内容が前記記憶部に記憶された前記対話業務の状態を予測する言語に当たる場合、前記制御装置が制御する複数の業務のうちの第１の業務に対する音声の音量および映像の輝度のうち少なくとも一方を下げ、前記複数の業務のうちの第２の業務に対する音声の音量および映像の輝度のうちの少なくとも一方を上げるよう制御する。

本発明の多重ワーク支援システムは、前記参加者を撮像した映像情報を取得する映像取得部と、前記映像取得部が取得した参加者の映像情報に基づいて前記対話業務の状態を推定する推定部と、前記対話業務の状態に関する情報を記憶部と、前記制御部は、前記推定部が推定する参加者の動作が、前記記憶部に記憶された対話業務の状態に当たる場合、前記制御装置に対する制御を変更する。本発明によれば、対話業務中にプロジェクタを操作しているときなどの動作を推定することができ、このような場合には他の業務に意識を集中してもよいと判断し利用者へ複数の業務を提供する制御装置への制御を変更する。これにより、対話業務が集中しなくても良い状態のときに他の業務に意識を集中させることができる。

本発明は、対話業務を含む複数の業務を並行的に遂行する利用者を支援する多重ワーク支援システムであって、前記参加者を撮像した映像情報を取得する映像取得部と、前記映像取得部が取得した参加者の映像情報に基づいて前記参加者の動作を推定する推定部と、前記対話業務の状態に関する情報を記憶する記憶部と、前記推定部が推定する参加者の動作が前記記憶部に記憶された対話業務の状態に当たる場合、前記利用者に前記複数の業務を提供する制御装置に対する制御を変更する制御部とを有する。

本発明によれば、対話業務中にプロジェクタを操作しているときなどの動作を推定することができ、このような場合には他の業務に意識を集中してもよいと判断し利用者へ複数の業務を提供する制御装置への制御を変更する。これにより、対話業務に集中しなくても良い状態のときに他の業務に意識を集中させることができる。

本発明は、対話業務を含む複数の業務を並行的に遂行する利用者を支援する多重ワーク支援方法であって、前記対話業務に参加している参加者の発話情報を取得する取得ステップと、前記参加者の発話情報に基づいて前記参加者の発話内容が、前記対話業務の状態を予測する言葉に当たる場合、前記利用者に前記複数の業務を提供する制御装置に対する制御を変更する制御ステップとを有する。

本発明の多重ワーク支援方法は、前記参加者の発話情報を音声認識することにより前記参加者の発話内容を生成するステップをさらに有する。本発明によれば、参加者の発話情報から音声認識により参加者の発話内容を自動的に生成することができる。本発明の多重ワーク支援方法は、前記参加者の発話情報を検出するステップをさらに有する。本発明によれば、参加者の発話情報はマイクなどのような検出部によって自動的に検出される。

本発明の多重ワーク支援方法は、前記参加者の発話情報を入力する入力部とをさらに有する。本発明によれば、音声認識の精度があまり望めないような場合でも、実際に対話業務に参加する参加者によりパーソナルコンピュータなどに接続されたキーボードなどのような入力部から直接入力することができる。

本発明の多重ワーク支援方法は、前記参加者を撮像した映像情報を取得する映像取得ステップと、前記映像取得ステップで取得した参加者の映像情報に基づいて前記参加者の動作を推定する推定ステップと、前記推定ステップで推定した参加者の動作が、所定の記憶部に記憶された対話業務の状態に当たる場合、前記制御装置に対する制御を変更するステップをさらに有する。

本発明によれば、対話業務中にプロジェクタを操作しているときなどの動作を推定することができ、このような場合には他の業務に意識を集中してもよいと判断し利用者へ複数の業務を提供する制御装置への制御を変更する。これにより、対話業務が集中しなくても良い状態のときに他の業務に意識を集中させることができる。

本発明は、対話業務を含む複数の業務を並行的に遂行する利用者を支援する多重ワーク支援方法であって、前記参加者を撮像した映像情報を取得する映像取得ステップと、前記映像取得ステップで取得された参加者の映像情報に基づいて前記参加者の動作を推定する推定ステップと、前記推定ステップで推定された参加者の動作が、所定の記憶部に記憶された前記対話業務の状態に当たる場合、前記利用者に前記複数の業務を提供する制御装置に対する制御を変更する制御ステップとを有する。

本発明によれば、複数の業務を並行的に遂行する利用者の業務に対する注意力を軽減できる多重ワーク支援システムおよび多重ワーク支援方法を提供できる。

以下、本発明を実施するための最良の形態について説明する。以下、本発明を実施するための最良の形態について説明する。図１は、発明を実施する多重ワーク支援システムの全体の構成を示す図である。多重ワーク支援システム１は、対話業務を含む複数の業務を並行的に遂行する利用者を支援するものである。以下対話業務の例として会議を用いて説明する。多重ワーク支援システム１は、会議室２、会議キャプチャ・配信サーバ３、スケジューリングサービス４、会議室予約サービス５および多重ワークサービス６および多重ワーク支援装置７を備えている。

以下では一連の会議をＣｎ（ｎ：ａ〜Ｎ）とする。この会議の事務局（ファシリテータ）をＦ、今回の会議Ｃａ(１≦ａ≦Ｎ)に遠隔からの参加をしようとしている参加者をＡとする。会議室２には、会議映像を取得するビデオカメラ２１、会議音声を取得するマイク２２および実際に会議に参加している参加者が各種情報を入力するパーソナルコンピュータ２３が設置されている。パーソナルコンピュータ２３は、会議参加者が持ち込むものであってもよい。検出部としてのマイク２２は、会議の参加者の発話情報を検出する。

会議キャプチャ・配信サーバ３は、会議情報をキャプチャすると共に、会議情報を配信する機能を有し、会議の日時Ｄにおいて稼動中、または手動あるいは自動で起動される。この会議キャプチャ・配信サーバ３は、進行状況判定部３１、会議映像配信部３２、音声認識部３３、生成部としての会議メモ形成部３４および記憶部としての会議資料保管サーバ３５を備える。

進行状況判定部３１は、取得部としての発話情報取得部３１１、進行予定生成部３１２および進行状況判断部３１３を備えている。発話情報取得部３１１は、会議に参加している参加者の発話情報を取得する。会議室２のマイク２２で参加者の発話情報を検出する場合には、発話情報取得部３１１は、マイク２２で検出した会議の参加者の発話情報を取得する。また、会議室２の参加者は、入力部としてのパーソナルコンピュータ２３から会議の参加者の発話を聞きながら参加者の発話情報を入力することができ、この場合、発話情報取得部３１１は、パーソナルコンピュータ２３から入力された会議の参加者の発話情報をテキストの形式で取得する。そして、このテキストの形式の発話情報を発話内容として扱うことができる。

進行予定生成部３１２は、会議資料保管サーバ３５に格納された会議の関連データに基づいて会議の進行予定を生成する。進行予定生成部３１２は、進行予定項目および発言予定者を会議の進行予定に含めて生成する。なお、進行予定生成部３１２は、会議の進行予定を生成するときに会議室予約サービス５が管理する会議のスケジュールを参照して時刻情報などを取得するようにしてもよい。

進行状況判断部３１３は、会議メモ形成部３４が生成する参加者の発話内容と会議の進行予定内に出現する言葉から会議の現在の進行状況を判断する。例えば、進行状況判断部３１３は、参加者の発話情報が進行予定項目又は発言予定者に含まれているかを調べることで会議の現在の進行状況を判断する。なお、参加者の発話内容は、会議メモ形成部３４で生成される場合と発話情報取得部３１１からテキストの形式の発話情報として入力される場合とがある。

会議映像配信部３２は、会議室２内のカメラ２１およびマイク２２で取得された会議映像と会議音声を配信する処理を行う。音声認識部３３は、音声認識技術を用いて会議の参加者の発話情報を音声認識する。会議メモ形成部３４は、音声認識部３３の認識結果から会議の参加者の発話内容を生成する。このとき、会議メモ形成部３４は、会議参加者の発話内容をテキストによって生成する。会議資料保管サーバ３５は、詳細は後述するが会議の関連データを記憶する。この会議の関連データには、例えば会議の配布資料のデータなどが含まれる。会議の関連データには会議の識別子および会議の実施日時が含まれる。

スケジューリングサービス４は、個人のスケジュールを管理するものである。スケジューリングサービス４は、会議Ｃａの開催日時がＤに決まった時点で、会議の事務局Ｆ、会議参加者Ａ自身または発行された議事録から参加者Ａのスケジュール取りを自動的に処理し、参加者Ａのスケジュールデータを保存する。会議の事務局Ｆによって予め遠隔参加が認められ調整されている場合は、会議事務局Ｆまたはサービスによって、参加者Ａの参加の可否がスケジューリングサービス４に自動的に設定される。会議室予約サービス５は、会議のスケジュールを管理する機能と、会議室の予約する機能を有する。

多重ワークサービス６は、エージェント的な働きをするものであり、多重ワーク支援装置７を使用して会議に参加する参加者Ａに対して多重ワークサービスを提供する。多重ワーク支援装置７は、複数の業務を並行的に遂行する参加者Ａを支援する装置である。この多重ワーク支援装置７は、複数の表示部７１〜７３、複数の操作部７４、７５を備えている。表示部７１〜７３は、例えばフラットパネルディスプレイ等により構成され、作業者Ａが並行的に遂行する複数の業務の内容が表示される。操作部７４、７５は例えばタッチパネルやキーボードにより構成されている。

また、多重ワーク支援装置７は、表示部７１〜７３に対話ワーク連携ユーザインタフェースを表示する。この多重ワーク支援装置７は、それぞれ利用者ごとに定義できるボタン指定属性によって、どのモニタにどの業務を表示させるか定められている。多重ワーク支援装置７上の対話業務は、主に２つの方法によって起動される。第１の方法は、利用者が操作部７４および７５の所定の指示ボタンを押下する方法である。第２の方法は、スケジューリングサービス４のスケジューラに登録されている業務が、所定の時刻になったら、自動的に起動するという方法である。

図２は、多重ワーク支援装置７を説明するための図である。図２に示すように、多重ワーク支援装置７の表示部７１は、遠隔対話ワーク支援のためのユーザインタフェースとして、参加者Ａが参加する会議の会議名を表示する会議名表示領域７１１、会議の進行を案内する会議進行インジケータ７１２、会議室２内の実際の会議の映像を表示する会議映像表示領域７１３、多重ワーク支援装置７を操作する参加者Ａの撮像画像を表示する領域７１４およびテキスト表示領域７１５を表示する。なお、図２では会議進行インジケータ７１２を拡大して示している。会議進行インジケータ７１２には、対話ワークインジケータとして、会議の進行予定７１２１上に会議の現在の進行状況を示した針７１２２の画像が表示されている。会議映像表示領域７１３には、会議室２内の会議の映像が表示されている。また、テキスト表示領域７１５には、会議メモ形成部３４で生成された会議の参加者の発話内容がテキストで表示される。会議の参加者Ａは、必要に応じて、多重ワーク支援装置７内のカメラを通じて自分の映像とマイクを使って会議室２で行われている会議で発言をすることができる。

このように、会議の進行予定上で、進行状態を示すインジケータを表示することで、時々意識を外しても直ぐに会議に復帰することができる。また、会議で交わされている会話がテキストに変換されて、逐次表示されるので、いつ復帰しても、それまでの対話がどのように進んできたかを瞬時に把握できる。

図３は、会議資料保管サーバ３５の会議関連データの内容を示す図である。図３に示すように、会議資料保管サーバ３５には、実施日時・実施予定日時、会議名（ＩＤ）、事前資料、当日に提出された資料や当日に作成された資料などの当日資料、事後資料の各欄にデータが格納されている。事前資料には、例えば開催連絡、宿題、事前メール対話などが含まれる。開催連絡にはアジェンダを含む。２００４年１２月１１日の１３:００〜１５:００に行われた品質タスク３回目の会議においては、事前資料として「品質タスク第３回開催案内」、当日資料として「品質設計表例１」「品質設計表例２」、事後資料として「品質タスク第３回議事録」が配布されている。

図４は、事前資料として配布された「品質タスク第５回開催案内」の例を示す図である。図５は、進行予定生成部３１２が生成する会議進行予定表を示す図である。進行予定生成部３１２は、会議資料保管サーバ３５にある会議関連データから図４に示したような会議進行予定表を生成する。ここでは、会議進行予定表は、例えば、予定時刻、予定項目、発言予定者などの欄から構成されている。会議進行予定表により何時に何の内容を誰が話すかを知ることができる。

図６は、多重ワークサービスにおける対話ワーク連携機構の構成を示す図である。図６に示すように、多重ワークサービス６は、並行的対話ワーク認識部６１、キーフレーズ認定部６２、記憶部としてのキーフレーズ・キーシーンＤＢ６３、キーシーン認定部６４および制御部６５を備えている。並行的対話ワーク認識部６１は、特定の時間に、稼動している対話ワークを管理するスケジューリングサービス４にアクセスすることにより、他の並行的進行中の対話ワークを認識する。

キーフレーズ認定部６２は、会議メモ形成部３４で生成された参加者の発話内容がキーフレーズ・キーシーンＤＢ６３に記憶された会議の状態を予測する言語に当たるかを認定することにより会議の間など会議の状態を先読みする。キーフレーズ認定部６２は、１文単位、又は適当な長さの単位で、キーフレーズ・キーシーンＤＢ６３の照合を行う。なお、キーフレーズ認定部６２は、会議メモ形成部３４で生成されたテキストを参加者の発話内容として利用してもよいが、実際に会議に参加している参加者がパーソナルコンピュータ２３を操作して入力したテキストを参加者の発話内容として利用してもよい。

キーフレーズ・キーシーンＤＢ６３は、会議の状態を予測する言葉の情報および対話業務の状態に関する情報を記憶する。会議の状態には、様々な状態があるが、ここでは、会議に間が発生する状態を予測する言語がキーフレーズ・キーシーンＤＢ６３に格納されている例を示す。

図７（ａ）はキーフレーズ・キーシーンＤＢ６３に格納されたキーフレーズの例を示す図、（ｂ）は個人別のキーフレーズを示す図である。キーフレーズ・キーシーンＤＢ６３には、同図（ａ）に示すように、「では次は」「話は脱線しますが」「余談になりますが」「ちょっと失礼」など明らかに会議で間を発生させる可能性が高いレベル２のフレーズと、同図（ｂ）に示すように、この雰囲気を持っている話は聞きたくないという利用者が登録したレベル１のフレーズ（例えば、「わけがわからない」「儲かるの」「遊んでいる」「Ａさんどうぞ」など）がある。また、図８は、キーフレーズ・キーシーンＤＢ６３に格納されたキーシーンの例を示す図である。図８に示すように、キーシーンには、例えば「プロジェクタ」「プレゼン資料」「話者のプレゼン風景」などがある。

キーシーン認定部６４は、所定のキーシーンが会議映像に含まれるかどうかを認定するものである。このキーシーン認定部６４は、映像取得部６４１および状態推定部６４３を備える。映像取得部６４１は、会議映像配信部３２からビデオカメラ２１で撮像した会議映像の情報を取得する。

状態推定部６４２は、映像取得部６４１が取得した会議映像の情報に対して画像処理を施すことによって、会議の状態を推定する。上述と同様に会議の状態には、様々な状態があるがここでは会議に間が発生する状態を推定する場合を例にとって説明する。例えば、状態推定部６４２は、会議映像の情報に対して画像処理を施すことによって、参加者がプロジェクタを操作している状態、プレゼンテーション資料が表示されていない状態、現在スライドを使ってプレゼンテーションが行われているなどの状態を検出することによって、会議に間が発生していることを推定する。

状態推定部６４２は、画像処理によって、プロジェクタなどを使って話者が交代してプレゼンテーション資料を表示して説明するような場合には、会議映像の情報からプレゼンテーション資料の表示の有無を判定できれば、表示が無いときを会議に間があると判定する。反対に状態推定部６４２は、話者の交代で話者がスクリーンの近くで説明しているような場合は、スクリーン上にプレゼンテーション資料の表示があっても、説明する話者の存在が確認されていない場合には会議に間があると判断する。

制御部６５は、多重ワークサービス６の全体を制御するものである。この制御部６５は、参加者の発話内容がキーフレーズＤＢ６３に記憶された会議の状態を予測する言語に当たる場合または状態推定部６４３が推定した会議の状態が、キーシーンＤＢ６４２に記憶された会議の状態に当たる場合、多重ワーク支援装置７に対する制御を変更するよう制御情報を生成し、生成した制御情報を多重ワーク支援装置７へ送る。

例えば、制御部６５は、参加者の発話内容がキーフレーズＤＢ６３に記憶された会議の状態を予測する言語に当たる場合、多重ワーク支援装置７が提供する音声の音量または映像の輝度を制御するような制御信号を生成する。なお、制御部６５は、参加者の発話内容がキーフレーズＤＢ６３に記憶された会議の状態を予測する言葉に当たる場合、多重ワーク支援装置７の表示上のウィンドウを小さくするようにしてもよい。例えば制御部６５は、会議で間が発生する可能性があると認定された場合には、所定時間、多重ワーク支援装置７での会議の出力を下げ、他の会議の出力を上げる。

図９は、多重ワークサービス６の基本的フローを示す図である。図６では、１つの遠隔会議参加の処理フローを示している。多重ワーク支援装置７を操作する会議の参加者Ａは、会議Ｃａに時々は意識を移して、概要を把握しようと考えている。しかし、ずっと意識を集中しているわけにはいかず別の業務を遂行する状態にある。それが、会議Ｃａに遠隔参加することにした事情である。会議Ｃａのメンバーは、会議参加者Ａが欠席するよりは、会議参加者Ａが概要だけでもリアルタイムで把握し、またどうしてもというときは呼び出して対話することができる状態にあることが望ましいと考えている。会議参加者Ａにしてみれば、会議にフル参加できないのは残念だが、自分が居なくても大方は支障無く進んでいく会議であり、できるだけリアルタイムで状況を共用できるほうが望ましいと思っている。

まず、ステップＳ１１で、多重ワークサービス６の制御部６５は、会議参加依頼があった場合、その会議の会議ＩＤを特定する。ステップＳ１２で、制御部６５は、会議資料保管サーバ３５から、本日の会議Ｃａの会議開催内容のデータを取り出し、会議Ｃａの会議進行予定７１２１を、多重ワーク支援装置７の表示部７１の会議進行インジケータ７１２１に表示する。この段階では会議の進行位置を示す針７１２２はまたゼロをさしている。

ステップＳ１３で、会議キャプチャ・配信サービス３の進行状況判定部３１による判定処理を行う。会議が始まると、会議室２内のマイク２２で集音された音声情報が音声認識部３３に供給され、音声認識部３３は、会議の参加者の音声情報を音声認識し、会議メモ形成部３４は書き起こしテキストを作成する。進行状況判断部３１３は、会議メモ形成部３４で作成されたテキストと進行予定生成部３１２が生成した会議の進行予定と照合しながら、現在どの時点まで会議が進行しているかを判断する。なお、進行状況判定部３１は、各アジェンダ項目の開始予定時刻については、予定時刻の記載が無い場合は、基本的には全体の予定を項目数でわって均等配分計算を行う。

ステップＳ１４で、制御部６５は、会議の進行が継続されている場合、ステップＳ１５に進み、進行状況判断部３１３の結果を、多重ワーク支援装置７内の対話ワークインジケータ７１２１に反映し、テキスト表示領域７１５のテキスト表示を更新する。一方、ステップＳ１４で、制御部６５は、会議の進行が継続しないと判断した場合、処理を終了する。

次に、多重ワークサービス６の多重ワーク支援システム７に対する制御処理について説明する。図１０は、多重ワークサービス６の多重ワーク支援システム７に対する制御処理のフローチャートを示す図である。ステップＳ２１で、並行的対話ワーク認識部６１は、スケジューリングサービス４にアクセスして、Ａさんのスケジューラより並行的対話ワークＩＷｉを同定する。ここでｉ＝１〜ｎとする。まず、初期設定でＫ＝０とする。ステップＳ２２で、並行的対話ワーク認識部６１は、Ｋをインクリメントする。ステップＳ２３で、並行的対話ワーク認識部６１は、Ｋ＜ｎ＋１の場合、ステップＳ２４で、キーフレーズ認定部６２は、会議メモ形成部３４よりＫ番目の対話ワークＩＷｋのテキスト（ＩＷｋｔ）を獲得する。

ステップＳ２５で、キーフレーズ認定部６２は、キーフレーズ・キーシーンＤＢ６３内のキーフレーズが会議メモ形成部３から獲得したテキストＩＷｋｔに含まれるかどうかを判断し、含まれる場合はステップＳ２８に進み、含まれない場合はステップＳ２６に進む。ステップＳ２６で、映像取得部６４１は、会議映像配信部３２よりＫ番目の対話ワークＩＷｋの映像（ＩＷｋｉ）を獲得する。ステップＳ２７で、状態推定部６４２は、キーフレーズ・キーシーンＤＢ６３内に格納されるキーシーンが映像ＩＷｋｉ中に含まれるかを判定し、含まれる場合にはステップＳ２８に進み、含まれない場合にはステップＳ２２に戻る。ステップＳ２８で、制御部６５は、Ｋ番目の対話ワークＩＷＫの出力レベルが小の場合、ステップＳ２９に進み、Ｋ番目以外の出力を上げる指示を多重ワーク支援装置７へ送る。一方、ステップＳ２８で、制御部６５は、ＩＷＫの出力レベルが小でない場合、ステップＳ２１０で、Ｋ番目の出力を下げるよう指示情報を多重ワーク支援装置７へ送る。

図１１は、多重ワーク支援装置７での出力のイメージを示す図であり、同図（ａ）は通常出力時の例、（ｂ）は音量をダウンした場合の例、（ｃ）は映像の輝度をダウンした場合の例、（ｄ）は他の出力をアップした場合の例をそれぞれ示す図である。通常状態では、図１１（ａ）のように、多重ワーク支援装置７の表示部７１〜７３には、各会議の映像がそれぞれ表示される。そして、表示部７１および７２に表示されている会議で間が発生しそうな場合には、同図（ｂ）のように、表示部７１、７２に表示されている会議の音量を下げる。また、表示部７３で表示されている会議で間が発生しそうな場合は、同図（ｃ）のように、表示部７３に表示されている会議映像の輝度を下げて会議映像を表示する。さらに、表示部７３で表示されている会議で間が発生することが予測される場合、同図（ｄ）に示すように、表示部７１、７２に表示されている会議の音量および会議映像の輝度を上げるような処理を行う。

なお、制御部６５は、会議室内でプロジェクタが操作されたことが認識され、さらに「では次は」などの発話交代の可能性のあるキーフレーズが出現したことが認識された場合、会話の移行に時間がかかる可能性が高いため、通常の２倍から５倍の調整時間をとるように多重ワーク支援装置７を制御する。なお、制御部６５は、会議での間の信号を実際に会議に参加している参加者がパーソナルコンピュータを操作することにより、多重ワークワービス６に直接指示を与えるようにしてもよい。

本実施形態によれば、利用者は実効的に意味のある有音声時間にのみ意識を集中できるので、効率的に複数の業務を遂行できる。扱う対話業務が、一度録画されたものであって、オンデマンドで再生利用する場合には、多重ワークワービス６の機能を適用するかの属性を与えることが出来る。これにより、ある時間帯に２つ以上の遠隔対話ワークが実行されたとき、どちらにどのタイミングで意識を向ければよいかを推測する。リアルタイムに構成された多重ワーク用のビデオを録画し蓄積しておくことで、それを別の時間に再生することができる。

この場合、一定の上げ下げ効果が反映されたコンテンツであるので、フラグを立てて、特に他との干渉を閉ざすようにしてもいいし、同様に組み込んで上げ下げを増幅させてもよい。音声なり輝度が上がり、そうでないところは下がりというかたちで録画されているので、そのまま聞いても既に効果がある状態になっている。他との相対において制御が無いことを選択するスイッチとしてフラグを立てる。フラグがＯＮなら、本発明の効果を通常通り反映させる使い方（同様に組み込んで上げさげを増幅させる）になり、ＯＦＦなら、他との干渉を閉ざして、そのまま制御なしで聞くことになる。その場合でも既に上記上げ下げ効果が反映されているので効果がある。また、この対話ワーク連携機構は、本例では、ネットワーク上の独立のサービスとしているが、会議情報のキャプチャサービスで持ってもよい。また、多重ワーク支援装置７の機能として保持しても構わない。

なお、本発明の多重ワーク支援方法は、上述した多重ワーク支援システム１により実現される。また、図１の各サービスは、単一のまたは複数のサーバによって構成される。サーバは、例えば、ＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、ＲＡＭ(Random Access Memory)等を用いて構成され、所定のプログラムを実行することにより各機能が実現される。

以上本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

本発明の実施形態に係る多重ワーク支援システムの全体の構成を示す図である。多重ワーク支援装置を説明するための図である。会議資料保管サーバの会議関連データの内容を示す図である。事前資料として配布された品質タスク第５回開催案内の例を示す図である。進行予定生成部が生成する会議進行予定表を示す図である。多重ワークサービスの詳細構成を説明するための図である。キーフレーズ・キーシーンＤＢに格納されたキーフレーズの例を示す図である。キーフレーズ・キーシーンＤＢに格納されたキーシーンの例を示す図である。多重ワークサービスの基本的フローを示す図である。多重ワークサービスの多重ワーク支援装置の制御処理のフローチャートを示す図である。多重ワーク支援装置での出力のイメージを示す図である。

符号の説明

１多重ワーク支援システム３４会議メモ形成部
２会議室３５会議資料保管サーバ
２１ビデオカメラ４スケジューリングサービス
２２マイク５会議室予約サービス
２３パーソナルコンピュータ６多重ワークサービス
３会議キャプチャ・配信サービス６１並行的対話ワーク認識部
３１進行状況判定部６２キーフレーズ認識部
３１１発話情報取得部６３キーフレーズ・キーシーンＤＢ
３１２進行予定生成部６４キーシーン認定部
３１３進行状況判断部６５制御部
３２会議映像配信部７多重ワーク支援装置
３３音声認識部

Claims

対話業務を含む複数の業務を並行的に遂行する利用者を支援する多重ワーク支援システムであって、
前記対話業務に参加している参加者の発話情報を取得する取得部と、
前記対話業務の状態を予測する言葉の情報を記憶する記憶部と、
前記参加者の発話情報に基づいて前記参加者の発話内容が前記記憶部に記憶された前記対話業務の状態を予測する言語に当たる場合、前記利用者に前記複数の業務を提供する制御装置に対する制御を変更する制御部と
を有することを特徴とする多重ワーク支援システム。
前記参加者の発話情報を音声認識することにより前記参加者の発話内容を生成する生成部をさらに有することを特徴とする請求項１に記載の多重ワーク支援システム。
前記参加者の発話情報を検出する検出部をさらに有ることを特徴とする請求項１に記載の多重ワーク支援システム。
前記参加者の発話情報を入力する入力部とさらに有することを特徴とする請求項１に記載の多重ワーク支援システム。
前記記憶部は、キーワード、キーフレーズおよびキーセンテンスのうちの少なくとも１つを前記対話業務の状態を予測する言語の情報として記憶することを特徴とする請求項１に記載の多重ワーク支援システム。
前記制御部は、前記参加者の発話内容が前記記憶部に記憶された前記対話業務の状態を予測する言語に当たる場合、前記制御装置が提供する音声の音量および映像の輝度のうち少なくとも一方を制御することを特徴とする請求項１に記載の多重ワーク支援支援システム。
前記制御部は、前記参加者の発話内容が前記記憶部に記憶された前記対話業務の状態を予測する言語に当たる場合、前記制御装置が制御する複数の業務のうちの第１の業務に対する音声の音量および映像の輝度のうち少なくとも一方を下げ、前記複数の業務のうちの第２の業務に対する音声の音量および映像の輝度のうちの少なくとも一方を上げるよう制御することを特徴とする請求項１に記載の多重ワーク支援システム。
前記参加者を撮像した映像情報を取得する映像取得部と、
前記映像取得部が取得した参加者の映像情報に基づいて前記対話業務の状態を推定する推定部と、
前記対話業務の状態に関する情報を記憶する記憶部と、
前記制御部は、前記推定部が推定した対話業務の状態が、前記記憶部に記憶された対話業務の状態に当たる場合、前記制御装置に対する制御を変更することを特徴とする請求項１から請求項７のいずれか一項に記載の多重ワーク支援システム。
対話業務を含む複数の業務を並行的に遂行する利用者を支援する多重ワーク支援システムであって、
前記参加者を撮像した映像情報を取得する映像取得部と、
前記映像取得部が取得した参加者の映像情報に基づいて前記対話業務の状態を推定する推定部と、
前記対話業務の状態をに関する情報を記憶する記憶部と、
前記推定部が推定した対話業務の状態が、前記記憶部に記憶された対話業務の状態に当たる場合、前記利用者に前記複数の業務を提供する制御装置に対する制御を変更する制御部と
を有することを特徴とする多重ワーク支援システム。
対話業務を含む複数の業務を並行的に遂行する利用者を支援する多重ワーク支援方法であって、
前記対話業務に参加している参加者の発話情報を取得する取得ステップと、
前記参加者の発話情報に基づいて前記参加者の発話内容が、前記対話業務の状態を予測する言葉に当たる場合、前記複数の業務を制御する制御装置に対する制御を変更する制御ステップと
を有することを特徴とする多重ワーク支援方法。
前記参加者の発話情報を音声認識することにより前記参加者の発話内容を生成するステップをさらに有することを特徴とする請求項１０に記載の多重ワーク支援方法。
前記参加者の発話情報を検出するステップをさらに有することを特徴とする請求項１０又は請求項１１に記載の多重ワーク支援方法。
前記参加者の発話情報を入力する入力部とさらに有することを特徴とする請求項１０又は請求項１１に記載の多重ワーク支援方法。
前記参加者を撮像した映像情報を取得する映像取得ステップと、
前記映像取得ステップで取得した参加者の映像情報に基づいて前記対話業務の状態を推定する推定ステップと、
前記推定ステップで推定した対話業務の状態が、所定の記憶部に記憶された対話業務の状態に当たる場合、前記制御装置に対する制御を変更するステップをさらに有することを特徴とする請求項１０から請求項１３のいずれか一項に記載の多重ワーク支援方法。
対話業務を含む複数の業務を並行的に遂行する利用者を支援する多重ワーク支援方法であって、
前記参加者を撮像した映像情報を取得する映像取得ステップと、
前記映像取得ステップで取得された参加者の映像情報に基づいて前記対話業務の状態を推定する推定ステップと、
前記推定ステップで推定された対話業務の状態が、所定の記憶部に記憶された前記対話業務の状態に当たる場合、前記利用者に前記複数の業務を提供する制御装置に対する制御を変更する制御ステップと
を有することを特徴とする多重ワーク支援方法。