JP2017027186A - コミュニケーション支援装置、コミュニケーション支援方法およびプログラム - Google Patents

Abstract

【課題】映像内のオブジェクトを介したアプリケーションの統合を実現する。
【解決手段】撮像装置によって撮像された映像と１または複数のアプリケーションウィンドウとを表示する出力部と、前記映像からオブジェクトの位置を選択オブジェクトの位置として選択し、前記アプリケーションウィンドウにおいて前記選択オブジェクトに対応する項目の位置を取得し、前記映像における前記選択オブジェクトの位置と前記アプリケーションウィンドウにおける前記項目の位置とに基づいて、前記選択オブジェクトの表示位置と前記項目の表示位置との関連を示すリンク情報を生成し、前記リンク情報を前記出力部に表示させる表示制御部と、を備える、コミュニケーション支援装置が提供される。
【選択図】図１

Description

本発明は、コミュニケーション支援装置、コミュニケーション支援方法およびプログラムに関するものである。

最も直接的なコミュニケーションは、会話やミーティングなどといった対面によるコミュニケーションである。しかし、コミュニケーション相手が遠隔オフィスにいる場合などには、固定電話や、携帯電話、電子メール、ビデオ会議システム、チャットシステム、電子掲示板などのテレコミュニケーションが用いられている。特に、下記特許文献１に開示されている技術では、遠隔オフィスから配信される俯瞰映像の表示画面に対して、ユーザにより指定される俯瞰映像における位置と、上記オフィスに対応する３次元空間内の位置を対応付けることで、遠隔オフィスとのテレコミュニケーション手段が提供される。これにより、俯瞰映像に写る人物とのコミュニケーションの開始が直接的かつ容易にできる。

一方、ワークフローツールやナビゲーションツール、バグ管理ツールなどに代表されるグループウェアアプリケーションは、オフィス業務を円滑に進める上でなくてはならないツールになっている。また、Ｗｉｎｄｏｗｓ（登録商標）ＯＳなどが提供するファイル共有の仕組みも複数のユーザの間での協調作業に重要な仕組みである。このような協調作業支援の観点から、下記特許文献２においては、作業空間内のユーザ位置履歴やファイルへのアクセス履歴およびファイルの更新履歴を収集管理し、ユーザ間で再利用できるように提供する技術が開示されている。

このような背景から、物理的に離れたオフィス間での協調作業支援の必要性はますます増えていくことになる。一般的には、前述したような協調作業を支援するアプリケーション内の情報を駆使しながら、必要なときに必要な手段で離れたオフィスのユーザとコミュニケーションをとりながら協調作業を進めていくことになる。

特開２０１４−９９０４１号公報 特開２００４−２５８８０２号公報

しかしながら、協調作業を支援するアプリケーションは、より複雑化、多機能化された形で提供されることも多く、離れたオフィスとのコミュニケーションを直感的かつ容易に開始するような仕組みを組み入れて拡張するためには、注意深くユーザインタフェースの設計をしなければならない。また、単独のアプリケーションを拡張することによるのではなく、複数のアプリケーションを統合することで、さまざまな協調作業とそれに伴うコミュニケーションを対応させることも有効なアプローチの一つであると考える。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、離れた拠点から配信される映像の周囲に協調作業のためのアプリケーションウィンドウを配しながら、映像内のオブジェクトとアプリケーション内の項目との関係を視覚的に図示することで、当該映像内のオブジェクトを介したアプリケーションの統合を実現するコミュニケーション支援装置を提供することである。映像内のオブジェクトに対しては、当該映像の表示画面を見るユーザがインタラクションをすることができてもよい。

これにより、離れた拠点との協調作業であっても、あたかも離れた拠点の近くにいて当該人物の作業状況を確認しながら簡便にかつ直感的に最適なテレコミュニケーションを確立することを可能にする臨場感のあるコミュニケーション環境を確立できる。また、当該コミュニケーション支援装置から、作業状況を確認することによってコミュニケーションの欲求が想起されたり、誰かに連絡を取る必要があることが思い出されたりするなど、活発なオフィスコミュニケーション環境を創出することができる。

上記問題を解決するために、本発明のある観点によれば、撮像装置によって撮像された映像と１または複数のアプリケーションウィンドウとを表示する出力部と、前記映像からオブジェクトの位置を選択オブジェクトの位置として選択し、前記アプリケーションウィンドウにおいて前記選択オブジェクトに対応する項目の位置を取得し、前記映像における前記選択オブジェクトの位置と前記アプリケーションウィンドウにおける前記項目の位置とに基づいて、前記選択オブジェクトの表示位置と前記項目の表示位置との関連を示すリンク情報を生成し、前記リンク情報を前記出力部に表示させる表示制御部と、を備える、コミュニケーション支援装置が提供される。

前記リンク情報は、前記選択オブジェクトの表示位置と前記項目の表示位置とに応じた所定の仮想表示を含んでよい。

前記仮想表示は、前記選択オブジェクトの表示位置に応じたハイライト表示と前記項目の表示位置に応じたハイライト表示とを含んでよい。

前記仮想表示は、前記選択オブジェクトの表示位置と前記項目の表示位置とを両端とする仮想的なラインを含んでよい。

前記コミュニケーション支援装置は、前記映像に対する指定位置を入力する入力部を備え、前記映像における１または複数のオブジェクトの位置から前記指定位置に基づいて１のオブジェクトの位置を前記選択オブジェクトの位置として選択してよい。

前記表示制御部は、前記選択オブジェクトに対応する前記項目の位置が更新された場合、前記項目の位置の更新に従って、前記リンク情報を動的に更新してよい。

前記１または複数のオブジェクトの位置は、人物の位置およびデバイスの位置のうち少なくともいずれか一方を含んでよい。

前記表示制御部は、前記選択オブジェクトに対応する前記項目を特定するための所定の項目名を取得し、前記項目名に対応する前記項目の位置をアプリケーションから取得してよい。

前記表示制御部は、前記選択オブジェクトの表示位置が移動された場合、前記選択オブジェクトの表示位置の移動に従って、前記リンク情報を動的に更新してよい。

前記表示制御部は、前記選択オブジェクトが前記映像から外れてしまった場合、前記映像を前記選択オブジェクトが写るように切り替えてよい。

前記表示制御部は、複数の前記選択オブジェクトの位置を選択した場合、前記リンク情報の表示態様を前記選択オブジェクトごとに異ならせてよい。

前記表示制御部は、複数のユーザそれぞれから前記指定位置が入力される場合、前記リンク情報の表示態様を前記ユーザごとに異ならせてよい。

また、本発明の他の観点によれば、撮像装置によって撮像された映像と１または複数のアプリケーションウィンドウとを表示することと、前記映像からオブジェクトの位置を選択オブジェクトの位置として選択し、前記アプリケーションウィンドウにおいて前記選択オブジェクトに対応する項目の位置を取得し、前記映像における前記選択オブジェクトの位置と前記アプリケーションウィンドウにおける前記項目の位置とに基づいて、前記選択オブジェクトの表示位置と前記項目の表示位置との関連を示すリンク情報を生成し、前記リンク情報を出力部に表示させることと、を含む、コミュニケーション支援方法が提供される。

また、本発明の他の観点によれば、コンピュータを、撮像装置によって撮像された映像と１または複数のアプリケーションウィンドウとを表示する出力部と、前記映像からオブジェクトの位置を選択オブジェクトの位置として選択し、前記アプリケーションウィンドウにおいて前記選択オブジェクトに対応する項目の位置を取得し、前記映像における前記選択オブジェクトの位置と前記アプリケーションウィンドウにおける前記項目の位置とに基づいて、前記選択オブジェクトの表示位置と前記項目の表示位置との関連を示すリンク情報を生成し、前記リンク情報を前記出力部に表示させる表示制御部と、を備えるコミュニケーション支援装置として機能させるためのプログラムが提供される。

以上説明したように本発明によれば、離れた拠点から配信される映像の周囲に協調作業のためのアプリケーションウィンドウを配しながら、映像内のオブジェクトとアプリケーション内の項目との関係を視覚的に図示することで、当該映像内のオブジェクトを介したアプリケーションの統合を実現することが可能である。

本発明の実施形態に係るコミュニケーション支援装置の構成例を示す機能構成図である。 映像およびアプリケーションウィンドウの表示例を示す図である。 アプリケーション情報の構成例を示す図である。 オブジェクト情報の構成例を示す図である。 リンク情報表示の動作の流れを示すフローチャートである。 映像およびアプリケーションウィンドウの他の表示例を示す図である。 リンク情報更新の動作の流れを示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合もある。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。

まず、図１を参照しながら、本発明の実施形態に係るコミュニケーション支援装置の構成例について説明する。図１は、本発明の実施形態に係るコミュニケーション支援装置１０の構成例を示す機能構成図である。図１に示したように、本発明の実施形態に係るコミュニケーション支援装置１０は、通信網４０を介して二つの撮像装置５０と通信可能に構成されている。ここでは、撮像装置５０が二つ存在する場合を説明するが、撮像装置５０は一つであってもよいし、二つ以外の複数であってもよい。このような二つの撮像装置５０は、オフィス内の場所や公共施設などの多様な場所に設置され得る。

また、図１に示したように、コミュニケーション支援装置１０は、映像受信部１１０と、アプリケーション情報記憶部１２１と、アプリケーション情報制御部１２２と、オブジェクト情報記憶部１３１と、オブジェクト情報制御部１３２と、入力部１４０と、表示制御部１５０と、出力部１６０と、アプリケーション起動部１７０とを備える。また、コミュニケーション支援装置１０には、三つのアプリケーションＡｐが記憶されている。ここでは、アプリケーションＡｐが三つ存在する場合を説明するが、アプリケーションＡｐは一つであってもよいし、三つ以外の複数であってもよい。また、三つのアプリケーションＡｐは、コミュニケーション支援装置１０の外部において記憶されていてもよい。

入力部１４０は、ユーザからの操作を入力する機能を有する。以下では、入力部１４０が出力部１６０に積層されるタッチパネルによって構成される場合を主に想定するが、入力部１４０の構成は、かかる構成に限定されない。例えば、入力部１４０は、マウスであってもよい。かかる場合、入力部１４０は、クリック操作、ドラッグ操作などを入力することが可能である。また、入力部１４０は、赤外線カメラであってもよい。かかる場合、入力部１４０は、ジェスチャによる入力が可能である。あるいは、入力部１４０は、複数の入力手法を利用してユーザからの操作を入力可能であってもよい。

出力部１６０は、各種情報を出力する機能を有する。以下では、出力部１６０がユーザによって視覚可能な形態により情報を表示する表示部（例えば、液晶ディスプレイなど）によって構成される場合を主に想定するが、出力部１６０の構成は、かかる構成に限定されない。例えば、出力部１６０は、表示部以外の他の構成（例えば、音声出力装置、バイブレータなど）をさらに有していてもよい。

撮像装置５０は，映像を撮像する機能と、通信網４０を介してコミュニケーション支援装置１０に映像を送信する機能とを有する。ここでは、図１に示したように、二つの撮像装置５０がオフィス内のさまざまな位置に設置されていることを想定している。しかし、二つの撮像装置５０が設置される場所は特に限定されない。また、撮像装置５０のカメラ情報（例えば、パン・チルト・ズーム、映像が表示対象として選択されているか否かなどといった撮像装置５０に関連する所定パラメータ）は、ユーザの操作に従って適宜に変更されてもよい。

映像受信部１１０は、二つの撮像装置５０それぞれによって撮像された映像を、通信網４０を介して受信する。このとき、映像受信部１１０は、受信した二つの映像それぞれに対して、各映像を撮像した撮像装置５０を一意に識別するための固有の識別情報（例えば、カメラ番号など）を付与してもよい。そうすれば、付与された識別情報によって映像を撮像した撮像装置５０を識別することが可能である。映像受信部１１０によって受信された各映像は、表示制御部１５０に出力される。

表示制御部１５０は、表示対象として選択されている映像が表示されるように出力部１６０を制御する。また、表示制御部１５０は、アプリケーションＡｐのウィンドウ（以下、単に「アプリケーションウィンドウ」とも言う。）が表示されるように出力部１６０を制御する。図２は、映像およびアプリケーションウィンドウの表示例を示す図である。図２に示したように、表示制御部１５０は、出力部１６０に表示対象として選択されている映像Ｇａ１とアプリケーションウィンドウＡｐ１〜Ａｐ３とを表示させる。

アプリケーション情報記憶部１２１は、アプリケーションに関する情報（以下、「アプリケーション情報」とも言う。）を記憶している。図３は、アプリケーション情報の構成例を示す図である。図３に示すように、アプリケーション情報は、アプリケーションの番号（Ｎｏ．）、アプリケーション名、アプリケーションが格納されているアドレス、出力部１６０におけるアプリケーションウィンドウの表示位置、アプリケーション情報の更新間隔、アプリケーションにログインしたユーザのＩＤとパスワードとを含んだログイン情報などを有している。

アプリケーション情報制御部１２２は、アプリケーション情報記憶部１２１によって記憶されているアプリケーション情報を制御する。例えば、アプリケーション情報制御部１２２は、アプリケーション情報記憶部１２１によって記憶されているアプリケーション情報を取得したり、更新したりする。アプリケーション情報の更新は、アプリケーション情報記憶部１２１への新たなアプリケーション情報の追加、アプリケーション情報記憶部１２１によって記憶されているアプリケーション情報の変更、アプリケーション情報記憶部１２１によって記憶されているアプリケーション情報の削除などであってよい。

オブジェクト情報記憶部１３１は、オブジェクトに関する情報（以下、「オブジェクト情報」とも言う。）を記憶している。以下では、オブジェクトとして人物を主に例として挙げて説明するが、オブジェクトは人物に限定されず、固定電話などといったデバイスであってもよい。図４は、オブジェクト情報の構成例を示す図である。図４に示すように、オブジェクト情報は、映像を特定するための表示映像ソース、映像におけるユーザの座席位置、ユーザ名、アプリ別ログイン名（アプリケーション名およびそのアプリケーションへのログイン名）などを有している。

オブジェクト情報制御部１３２は、オブジェクト情報記憶部１３１によって記憶されているオブジェクト情報を制御する。例えば、オブジェクト情報制御部１３２は、オブジェクト情報記憶部１３１によって記憶されているオブジェクト情報を取得したり、更新したりする。オブジェクト情報の更新は、オブジェクト情報記憶部１３１への新たなアプリケーション情報の追加、オブジェクト情報記憶部１３１によって記憶されているオブジェクト情報の変更、オブジェクト情報記憶部１３１によって記憶されているオブジェクト情報の削除などであってよい。

図２を参照すると、出力部１６０によって表示されている映像Ｇａ１には、ユーザＵ３が写っている。表示制御部１５０は、オブジェクト情報（図４）に基づいて、映像Ｇａ１からユーザＵ３の位置を選択する。より具体的には、図４において、出力部１６０によって表示されている映像Ｇａ１を特定するための表示映像ソース「Ｃａｍ１」に対応付けられた座席位置「ｘ１，ｙ１」を検出する。そして、表示制御部１５０は、座席位置「ｘ１，ｙ１」に人物が検出されるか否かを判断する。

なお、ユーザＵ１からの操作がない場合には、表示映像ソース「Ｃａｍ１」に対応付けられた座席位置「ｘ２，ｙ２」も検出され得るが、座席位置「ｘ１，ｙ１」だけを指定するため、図２に示すように、ユーザＵ１が映像Ｇａ１における位置を指定する操作を行うようにするとよい。かかる場合には、ユーザＵ１によって指定された位置が指定位置として入力部１４０によって入力され、オブジェクト情報（図４）と指定位置とに基づいてユーザＵ３の位置「ｘ１，ｙ１」が選択される。

表示制御部１５０は、座席位置「ｘ１，ｙ１」に人物（ユーザＵ３）が存在することを検出した場合、座席位置「ｘ１，ｙ１」に対応付けられたユーザ名「山田 太郎」およびアプリ別ログイン名「アプリケーション名，そのアプリケーションへのログイン名」＝「バグトラックツール，ｙａｍａｄａ」、「スケジュールツール，ｔａｒｏ０１」「版数管理ソフトウェア，ｙａｍａｄａｔａｒｏ」を取得する（図４）。そして、表示制御部１５０は、アプリケーションへのログイン名に対応する項目の位置をアプリケーションに問い合わせる。

アプリケーションへの問い合わせは、検索クエリを生成し、生成した検索クエリをアプリケーションに送信することによって実現され得る。検索クエリの送信手法は、アプリケーションによって異なることも想定される。例えば、アプリケーションがブラウザであれば、検索クエリを含むＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）を送信すればよい。また、アプリケーションがネイティブアプリケーションであれば、プロセス間通信を通じて検索クエリを送信すればよい。

問い合わせの結果として、表示制御部１５０は、アプリケーション「バグトラックツール」へのログイン名「ｙａｍａｄａ」に対応する項目の位置（アプリケーション「バグトラックツール」のウィンドウであるアプリケーションウィンドウＡｐ１における項目「ｙａｍａｄａ」の位置）を得る。同様に、表示制御部１５０は、アプリケーション「スケジュールツール」へのログイン名「ｔａｒｏ０１」に対応する項目の位置（アプリケーション「スケジュールツール」のウィンドウであるアプリケーションウィンドウＡｐ２における項目「ｔａｒｏ０１」の位置）を得る。さらに、表示制御部１５０は、アプリケーション「版数ソフトウェア」へのログイン名「ｙａｍａｄａｔａｒｏ」に対応する項目の位置（アプリケーション「版数ソフトウェア」のウィンドウであるアプリケーションウィンドウＡｐ３における項目「ｙａｍａｄａｔａｒｏ」の位置）を得る。

続いて、表示制御部１５０は、映像Ｇａ１におけるユーザＵ３の位置とアプリケーションウィンドウＡｐ１における項目「ｙａｍａｄａ」の位置とに基づいて、ユーザＵ３の表示位置とアプリケーションウィンドウＡｐ１における項目「ｙａｍａｄａ」の表示位置との関連を示すリンク情報を生成する。

より具体的には、表示制御部１５０は、出力部１６０における映像Ｇａ１の表示位置と映像Ｇａ１におけるユーザＵ３の位置との加算により、ユーザＵ３の表示位置を算出する。また、表示制御部１５０は、出力部１６０におけるアプリケーションウィンドウＡｐ１の表示位置とアプリケーションウィンドウＡｐ１における項目「ｙａｍａｄａ」の位置との加算により、アプリケーションウィンドウＡｐ１における項目「ｙａｍａｄａ」の表示位置を算出する。

そして、表示制御部１５０は、このようにして得られたユーザＵ３の表示位置とアプリケーションウィンドウＡｐ１における項目「ｙａｍａｄａ」の表示位置とに応じたリンク情報を生成し、このようなリンク情報を出力部１６０に出力させる。リンク情報は、ユーザＵ３の表示位置とアプリケーションウィンドウＡｐ１における項目「ｙａｍａｄａ」の表示位置とに応じた所定の仮想表示を含んでよい。

例えば、図２に示すように、仮想表示は、ユーザＵ３の表示位置に応じたハイライト表示Ｔ０とアプリケーションウィンドウＡｐ１における項目「ｙａｍａｄａ」の表示位置に応じたハイライト表示Ｔ１とを含んでよい。あるいは、仮想表示は、ユーザＵ３の表示位置とアプリケーションウィンドウＡｐ１における項目「ｙａｍａｄａ」の表示位置とを両端とする仮想的なラインＲｋ１を含んでもよい。あるいは、図２に示したように、仮想表示は、ハイライト表示Ｔ０およびハイライト表示Ｔ１と仮想的なラインＲｋ１との双方を含んでもよい。

同様な手法により、表示制御部１５０は、ユーザＵ３の表示位置とアプリケーションウィンドウＡｐ２における項目「ｔａｒｏ０１」の表示位置とに応じたリンク情報を生成し、このようなリンク情報を出力部１６０に出力させてよい。リンク情報は、ユーザＵ３の表示位置とアプリケーションウィンドウＡｐ２における項目「ｔａｒｏ０１」の表示位置とに応じた所定の仮想表示を含んでよい。

例えば、仮想表示は、ユーザＵ３の表示位置に応じたハイライト表示Ｔ０とアプリケーションウィンドウＡｐ２における項目「ｔａｒｏ０１」の表示位置に応じたハイライト表示Ｔ２とを含んでよい。あるいは、仮想表示は、ユーザＵ３の表示位置とアプリケーションウィンドウＡｐ２における項目「ｔａｒｏ０１」の表示位置とを両端とする仮想的なラインＲｋ２を含んでもよい。あるいは、図２に示したように、仮想表示は、ハイライト表示Ｔ０およびハイライト表示Ｔ２と仮想的なラインＲｋ２との双方を含んでもよい。

また、表示制御部１５０は、ユーザＵ３の表示位置とアプリケーションウィンドウＡｐ３における項目「ｙａｍａｄａｔａｒｏ」の表示位置とに応じたリンク情報を生成し、このようなリンク情報を出力部１６０に出力させてよい。リンク情報は、ユーザＵ３の表示位置とアプリケーションウィンドウＡｐ３における項目「ｙａｍａｄａｔａｒｏ」の表示位置とに応じた所定の仮想表示を含んでよい。

例えば、仮想表示は、ユーザＵ３の表示位置に応じたハイライト表示Ｔ０とアプリケーションウィンドウＡｐ３における項目「ｙａｍａｄａｔａｒｏ」の表示位置に応じたハイライト表示Ｔ３とを含んでよい。あるいは、仮想表示は、ユーザＵ３の表示位置とアプリケーションウィンドウＡｐ３における項目「ｙａｍａｄａｔａｒｏ」の表示位置とを両端とする仮想的なラインＲｋ３を含んでもよい。あるいは、図２に示したように、仮想表示は、ハイライト表示Ｔ０およびハイライト表示Ｔ３と仮想的なラインＲｋ３との双方を含んでもよい。

このような仮想表示は、図２に示すように、映像Ｇａ１に重畳されて出力部１６０によって表示されてよい。ユーザＵ１は、このような仮想表示に基づいて、コミュニケーション相手およびコミュニケーション手段を決定することが可能となる。ユーザＵ１は、このような決定結果を指定すると、入力部１４０は、ユーザＵ１から決定結果を入力することが可能である。

アプリケーション起動部１７０は、ユーザＵ１による決定結果に基づいて、アプリケーションを起動することが可能である。例えば、アプリケーション起動部１７０は、通信相手（情報通信機器やコミュニケーションソフトウェア）を特定した上でビデオ通話システムを起動することにより通信網４０を介して通信相手と通信を行ったり、メールアプリケーションを起動したりすることが可能である。

以上に説明したように、コミュニケーション支援装置１０によるリンク情報の表示によれば、離れた拠点から配信される映像の周囲に協調作業のためのアプリケーションウィンドウを配しながら、映像内のオブジェクトとアプリケーション内の項目との関係を視覚的に図示される。かかる構成によって、当該映像内のオブジェクトを介したアプリケーションの統合を実現することが可能となる。

続いて、コミュニケーション支援装置１０によるリンク情報の表示の動作の流れについて説明する。図５は、リンク情報表示の動作の流れを示すフローチャートである。図５に示すように、表示制御部１５０は、映像およびアプリケーションウィンドウを出力部１６０に表示させる（Ｓ１０１）。続いて、表示制御部１５０は、ユーザによって映像における位置が指定されない場合には（Ｓ１０２において「Ｎｏ」）、Ｓ１０２に戻る。一方、表示制御部１５０は、ユーザによって映像における位置が指定された場合には（Ｓ１０２において「Ｙｅｓ」）、指定位置に基づいてオブジェクト情報を取得する（Ｓ１０３）。

続いて、表示制御部１５０は、オブジェクト情報に含まれるアプリ別ログイン名に基づいて、各アプリケーションにアプリケーションウィンドウにおける項目の位置の問い合わせを行い（Ｓ１０４）、各アプリケーションからのレスポンスを受信する（Ｓ１０５）。続いて、表示制御部１５０は、各アプリケーションから受信したレスポンスに基づいてリンク情報を生成する（Ｓ１０６）。続いて、表示制御部１５０は、生成したリンク情報を映像に重畳して出力部１６０に表示させる（Ｓ１０７）。

以上、リンク情報表示の例について説明した。このようなリンク情報は、更新されなくてもよいが、アプリケーションウィンドウの更新に伴って表示制御部１５０によって自動的に更新されてもよい。例えば、表示制御部１５０は、選択されたユーザＵ３に対応する項目の位置が更新された場合、その項目の位置の更新に従って、リンク情報を動的に更新してもよい。かかる例について具体的に説明する。

例えば、表示制御部１５０は、所定の更新間隔（図３）でアプリケーションに更新確認を行う。アプリケーションは、アプリケーションウィンドウに更新があった場合、更新情報を含んだレスポンスを表示制御部１５０に応答する。一方、アプリケーションは、アプリケーションウィンドウに更新がない場合、更新情報を含まないレスポンスを表示制御部１５０に応答する。

図６は、映像およびアプリケーションウィンドウの他の表示例を示す図である。図６に示したように、表示制御部１５０は、出力部１６０に表示対象として選択されている映像Ｇａ１とアプリケーションウィンドウＡｐ１〜Ａｐ３とを表示させる。しかし、図６に示したアプリケーションウィンドウＡｐ３においては、図２に示したアプリケーションウィンドウＡｐ３と比べて、データが一行追加されている。

かかる場合、表示制御部１５０は、アプリケーションに更新確認を行うと、更新情報を含んだレスポンスをアプリケーションから取得する。例えば、表示制御部１５０は、更新情報に基づいて、アプリケーションウィンドウＡｐ３においてユーザＵ３に対応する項目「ｙａｍａｄａｔａｒｏ」の位置が更新されたと判断した場合、アプリケーションウィンドウＡｐ３における項目「ｙａｍａｄａｔａｒｏ」の位置の更新に従って、リンク情報を動的に更新してもよい。

例えば、図６に示したように、表示制御部１５０は、アプリケーションウィンドウＡｐ３における項目「ｙａｍａｄａｔａｒｏ」の更新後の位置に基づいて、ハイライト表示Ｔ３を更新してよい。また、図６に示したように、表示制御部１５０は、アプリケーションウィンドウＡｐ３における項目「ｙａｍａｄａｔａｒｏ」の更新後の位置に基づいて、仮想的なラインＲｋ１、Ｒｋ２を更新し、仮想的なラインＲｋ０を追加してよい。

以上に説明したように、コミュニケーション支援装置１０によるリンク情報の更新によれば、アプリケーションの更新情報に応じて、リンク情報が適宜に更新される。したがって、アプリケーションの内部の情報変化（例えば、オフィス業務の進捗率の変化など）と映像内の人物とを視覚的に図示することによって、その人物とのコミュニケーションを直感的かつ容易に開始することが支援される。

続いて、コミュニケーション支援装置１０によるリンク情報の更新の動作の流れについて説明する。図７は、リンク情報更新の動作の流れを示すフローチャートである。図７に示すように、表示制御部１５０は、各アプリケーションにアプリケーションウィンドウの更新確認を行う（Ｓ２０１）。各アプリケーションは、アプリケーションウィンドウに更新があった場合、更新情報を含んだレスポンスを表示制御部１５０に応答する。一方、アプリケーションは、アプリケーションウィンドウに更新がない場合、更新情報を含まないレスポンスを表示制御部１５０に応答する。

続いて、表示制御部１５０は、各アプリケーションからのレスポンスを受信する（Ｓ２０２）。表示制御部１５０は、アプリケーションからのレスポンスに更新情報が含まれていない場合には（Ｓ２０３において「Ｎｏ」）、Ｓ２０２に戻る。一方、表示制御部１５０は、アプリケーションからのレスポンスに更新情報が含まれている場合には（Ｓ２０３において「Ｙｅｓ」）、レスポンスに基づいてリンク情報を更新し（Ｓ２０４）、更新後のリンク情報を映像に重畳して出力部１６０に表示させる（Ｓ２０５）。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記では、アプリケーションへのログイン名に対応する項目の位置をアプリケーションに問い合わせる例を説明したが、アプリケーションへのログイン名の代わりに（あるいは、アプリケーションへのログイン名に追加して）、何らかの項目名が利用されてもよい。すなわち、表示制御部１５０は、選択したユーザＵ３に対応する項目を特定するための所定の項目名を取得し、項目名に対応する項目の位置をアプリケーションから取得してもよい。項目名は、プロジェクトを特定するためのプロジェクト名であってもよいし、製品を特定するための製品名であってもよい。

また、上記では、リンク情報がアプリケーションウィンドウの更新に伴って表示制御部１５０によって自動的に更新される例を説明した。しかし、選択されているオブジェクトの表示位置が移動する場合もあり得る。かかる場合、表示制御部１５０は、選択されているオブジェクトの表示位置の移動に伴って、リンク情報を自動的に更新してもよい。このときの更新間隔は特に限定されず、アプリケーション情報（図３）の更新間隔であってもよい。

また、上記では、リンク情報がアプリケーションウィンドウの更新に伴って表示制御部１５０によって自動的に更新される例を説明した。しかし、ユーザによる項目の更新に伴って自動的にリンク情報が更新されてもよい。すなわち、入力部１４０は、ユーザによる項目の更新を入力し、表示制御部１５０は、更新後の項目に基づいてリンク情報を更新してもよい。例えば、表示制御部１５０は、更新後の項目に基づいて、ハイライト表示を更新してもよいし、仮想的なラインを更新してもよい。

また、選択されているオブジェクトが映像から外れてしまう場合も想定される。かかる場合、表示制御部１５０は、選択されているオブジェクトが写るように映像を切り替えてもよい。このとき、映像の切り替えの手法は特に限定されない。例えば、映像の切り替えは、パン・チルト・ズームの切り替えであってもよいし、表示対象の映像を撮像する撮像装置５０の切り替えであってもよい。また、映像切り替えのタイミングも特に限定されない。

また、上記では、表示制御部１５０が１のユーザ（ユーザＵ３）の位置を選択する例を説明した。しかし、複数のユーザそれぞれの位置を選択する場合も想定される。このとき、表示制御部１５０は、リンク情報の表示態様をユーザごとに異ならせてもよい。表示態様は特に限定されないが、ハイライト表示の色であってもよいし、ハイライト表示の透明度であってもよいし、仮想的なラインの色であってもよいし、仮想的なラインの形式（例えば、破線、実線など）であってもよい。

また、上記では、１のユーザ（ユーザＵ１）から指定位置が入力される例を説明した。しかし、複数のユーザそれぞれから指定位置が入力される場合も想定される。このとき、表示制御部１５０は、リンク情報の表示態様をユーザごとに異ならせてもよい。表示態様は特に限定されないが、ハイライト表示の色であってもよいし、ハイライト表示の透明度であってもよいし、仮想的なラインの色であってもよいし、仮想的なラインの形式（例えば、破線、実線など）であってもよい。

また、上記では、表示制御部１５０がアプリケーションウィンドウの項目の位置をアプリケーションに問い合わせる例を説明した。しかし、表示制御部１５０は、アプリケーションウィンドウの項目以外の情報も追加的にアプリケーションに問い合わせてもよい。例えば、アプリケーションウィンドウの項目のサイズ、数量、スクロール量などをアプリケーションに問い合わせてもよい。かかる場合、表示制御部１５０は、項目のサイズ、数量、スクロール量に従って、リンク情報を出力部１６０に表示させてもよい。

また、上記では、本発明の実施形態は、一般的なオフィス環境において拠点が複数地点に分散している場合に有効に適用され得ることを説明した。しかし、本発明の実施形態は、金融機関や公共機関、一般店舗などにも応用可能である。例えば、複数の店舗を持つ金融機関で本部が各支店を映像によって遠隔監視する場合などにおいて、管理者が異常を発見した際に、すぐにコミュニケーションを取る場合や、顧客などの気を遣いながらコミュニケーション手段を選択する場合にも、本発明の実施形態は有効に適用され得る。このように、本発明の実施形態は、ユーザが直接的に映像内の人物を知らない場合にも有効に適用され得る。

１０ コミュニケーション支援装置
４０ 通信網
５０ 撮像装置
１１０ 映像受信部
１２１ アプリケーション情報記憶部
１２２ アプリケーション情報制御部
１３１ オブジェクト情報記憶部
１３２ オブジェクト情報制御部
１４０ 入力部
１５０ 表示制御部
１６０ 出力部
１７０ アプリケーション起動部
Ａｐ アプリケーション
Ａｐ１〜ＡＰ３ アプリケーションウィンドウ
Ｇａ１ 映像
Ｒｋ０〜Ｒｋ３ 仮想的なライン
Ｔ０〜Ｔ３ ハイライト表示

Claims (14)

1. 撮像装置によって撮像された映像と１または複数のアプリケーションウィンドウとを表示する出力部と、
   前記映像からオブジェクトの位置を選択オブジェクトの位置として選択し、前記アプリケーションウィンドウにおいて前記選択オブジェクトに対応する項目の位置を取得し、前記映像における前記選択オブジェクトの位置と前記アプリケーションウィンドウにおける前記項目の位置とに基づいて、前記選択オブジェクトの表示位置と前記項目の表示位置との関連を示すリンク情報を生成し、前記リンク情報を前記出力部に表示させる表示制御部と、
   を備える、コミュニケーション支援装置。
2. 前記リンク情報は、前記選択オブジェクトの表示位置と前記項目の表示位置とに応じた所定の仮想表示を含む、
   請求項１に記載のコミュニケーション支援装置。
3. 前記仮想表示は、前記選択オブジェクトの表示位置に応じたハイライト表示と前記項目の表示位置に応じたハイライト表示とを含む、
   請求項２に記載のコミュニケーション支援装置。
4. 前記仮想表示は、前記選択オブジェクトの表示位置と前記項目の表示位置とを両端とする仮想的なラインを含む、
   請求項２に記載のコミュニケーション支援装置。
5. 前記コミュニケーション支援装置は、
   前記映像に対する指定位置を入力する入力部を備え、
   前記映像における１または複数のオブジェクトの位置から前記指定位置に基づいて１のオブジェクトの位置を前記選択オブジェクトの位置として選択する、
   請求項１に記載のコミュニケーション支援装置。
6. 前記表示制御部は、前記選択オブジェクトに対応する前記項目の位置が更新された場合、前記項目の位置の更新に従って、前記リンク情報を動的に更新する、
   請求項１に記載のコミュニケーション支援装置。
7. 前記１または複数のオブジェクトの位置は、人物の位置およびデバイスの位置のうち少なくともいずれか一方を含む、
   請求項１に記載のコミュニケーション支援装置。
8. 前記表示制御部は、前記選択オブジェクトに対応する前記項目を特定するための所定の項目名を取得し、前記項目名に対応する前記項目の位置をアプリケーションから取得する、
   請求項１に記載のコミュニケーション支援装置。
9. 前記表示制御部は、前記選択オブジェクトの表示位置が移動された場合、前記選択オブジェクトの表示位置の移動に従って、前記リンク情報を動的に更新する、
   請求項１に記載のコミュニケーション支援装置。
10. 前記表示制御部は、前記選択オブジェクトが前記映像から外れてしまった場合、前記映像を前記選択オブジェクトが写るように切り替える、
    請求項１に記載のコミュニケーション支援装置。
11. 前記表示制御部は、複数の前記選択オブジェクトの位置を選択した場合、前記リンク情報の表示態様を前記選択オブジェクトごとに異ならせる、
    請求項１に記載のコミュニケーション支援装置。
12. 前記表示制御部は、複数のユーザそれぞれから前記指定位置が入力される場合、前記リンク情報の表示態様を前記ユーザごとに異ならせる、
    請求項５に記載のコミュニケーション支援装置。
13. 撮像装置によって撮像された映像と１または複数のアプリケーションウィンドウとを表示することと、
    前記映像からオブジェクトの位置を選択オブジェクトの位置として選択し、前記アプリケーションウィンドウにおいて前記選択オブジェクトに対応する項目の位置を取得し、前記映像における前記選択オブジェクトの位置と前記アプリケーションウィンドウにおける前記項目の位置とに基づいて、前記選択オブジェクトの表示位置と前記項目の表示位置との関連を示すリンク情報を生成し、前記リンク情報を出力部に表示させることと、
    を含む、コミュニケーション支援方法。
14. コンピュータを、
    撮像装置によって撮像された映像と１または複数のアプリケーションウィンドウとを表示する出力部と、
    前記映像からオブジェクトの位置を選択オブジェクトの位置として選択し、前記アプリケーションウィンドウにおいて前記選択オブジェクトに対応する項目の位置を取得し、前記映像における前記選択オブジェクトの位置と前記アプリケーションウィンドウにおける前記項目の位置とに基づいて、前記選択オブジェクトの表示位置と前記項目の表示位置との関連を示すリンク情報を生成し、前記リンク情報を前記出力部に表示させる表示制御部と、
    を備えるコミュニケーション支援装置として機能させるためのプログラム。
    

Images