JP2015018172A - 表示制御装置及び方法 - Google Patents

Abstract

【課題】複数の電子情報ボード間で描画されるストローク画像と映像がずれのないように共有できるようにすること。【解決手段】入力映像と該入力映像に対応したストローク画像とを重畳させた映像を複数配置して表示する電子情報ボード１００である。映像表示制御部１０４が指定された表示レイアウトからすべての入力映像の表示領域を特定するための情報を計算し保存しておく。この情報に基づいて、座標検知部１０２に検知された座標が、いずれの入力映像に指示されたのかを判別し、当該座標を判別した入力映像上の座標に変換し、変換した座標を、判別した入力映像に対応するストロークデータとして保存する。入力映像と該入力映像に対応したストローク画像とを重畳させ、指定された表示レイアウトにしたがって、複数の入力映像を配置して表示部１０１に表示させる。【選択図】図２

Description

本発明は、表示制御装置及び方法に関し、特に、描画されるストローク画像とそれに対応する入力映像とを、複数装置間で共有する技術に関する。

ディスプレイに、タッチパネルを搭載した、いわゆる「電子情報ボード」製品が知られている。一例として、電子情報ボードの外観を図９に示す。これらの製品はパソコン等を接続することによって、接続したパソコン等の画面を映すことができ、企業や行政機関の会議におけるプレゼンテーション等や教育機関等で用いられている。

電子情報ボードによって、タッチパネルを介した操作機能が提供されている。操作機能は、搭載するタッチパネル機能を用いて、映されている画面にマウス操作の代わりに直接タッチすることで、画面を表示させているパソコン等を操作する機能である。

一方で、電子情報ボードと一緒に、接続したパソコン上で動かすアプリケーションソフトウエアが提供されている。このアプリケーションソフトウエアは、黒板の役割をする画面を提供しその上に手書き文字などをタッチパネルを介して描く機能や、このアプリケーションを提供するパソコンの画面を取り込んでその上に手書きを重畳して描く機能など、すなわち、タッチパネルを介した手書き機能を提供する。

このような手書き機能が動作する電子情報ボードを利用すると、オフィスの会議シーン等において、説明のための表示資料を操作しながら、適宜画面上に直接指摘事項等の書き込みを行い、さらに必要に応じ書き込みを含む画面内容を記録することができる。その結果、会議終了時に画面内容を振り返り、画面内容を再利用することで効率的に結論などをまとめることが期待できる。

電子情報ボードは、１つの電子情報ボードだけでなく、ノートＰＣや他の拠点の電子情報ボード等と画面やストロークを共有することができる。

このような機能を有する電子情報ボードを利用した会議において重要なことは、会議の進行を妨げずに電子情報ボードが操作されて必要な情報の表示と入力が可能であることである。

しかしながら、電子情報ボードとノートＰＣ、もしくは複数の電子情報ボード等で画面やストロークを共有する場合、画面とストロークの関係性を崩すことなく共有することができないという問題があった。

特許文献１には、電子情報ボードに接続した複数台のノートＰＣ画面を同時に閲覧する目的で、電子情報ボードに接続したノートＰＣの映像をさまざまなレイアウトで表示する方法が開示されている。複数台のノートＰＣ映像を並べて表示することができると考えられる。しかしながら、画面とストロークの関係性を崩すことなく共有することができない。

本発明は、上記実情に鑑みてなされたものであって、複数の電子情報ボード間で描画される図形と映像がずれのないように共有できるようにすることを目的とする。

上記目的を達成するために本発明の一態様は、入力映像と該入力映像に対応したストロークデータに基づいて生成されるストローク画像とを重畳させた映像を複数配置して表示部に表示させる表示制御装置であって、指定された表示レイアウトからすべての入力映像の表示領域を特定するための情報を得て保存する映像表示制御部と、前記表示部で指示された座標を検知する座標検知部と、前記映像表示制御部に保存されている情報に基づいて、前記座標検知部に検知された座標が、いずれの入力映像の表示領域に対して指示されたのかを判別し、前記座標検知部に検知された座標を、判別した入力映像上の座標に変換する座標変換手段と、前記座標変換手段で変換した座標を、前記判別した入力映像に対応するストロークデータとして、ストロークデータ保存部に保存するストローク生成部と、入力映像と該入力映像に対応したストロークデータに基づいて生成されるストローク画像とを重畳させ、前記指定された表示レイアウトにしたがって、複数の入力映像を配置して前記表示部に表示させる制御を行う合成画像生成部と、を有することを特徴とする。

本発明によれば、複数の電子情報ボード間で描画される図形と映像がずれのないように共有できるようにすることが可能となる。

本発明の実施形態のシステム全体構成を示す図である。 本発明の実施形態のシステム全体構成の詳細を示す図である。 本実施形態のストローク保存処理の流れを示すフローチャート図である。 図２のストロークデータ保存部１１０に保存されるストロークデータの一例を示す図である。 本実施形態の表示レイアウト変更処理の流れを示すフローチャート図である。 図２のストローク画像生成部１０７により生成されたストローク画像の一例を示す図である。 図２の映像表示制御部１０４から取得する表示座標とサイズを含む情報及び表示例を示す図である。 図２の合成画像生成部１０３による表示例を示す図である。 従来の電子情報ボードの外観例及び表示例を示す図である。 従来の電子情報ボードの問題点を説明するための図である。

以下に開示する発明は、電子情報ボードにおける入力映像表示の処理に際して、次の特徴を有する。要するに、合成画像生成部１０３、映像表示制御部１０４、ストローク画像生成部１０７、ストロークデータ保存部１１０、ストローク生成部１１１を有することが特徴になっている。その結果、１つの画面に複数の入力端末からの映像を配置することができ、その配置方法をすべての拠点で共有することができ、入力映像毎に管理されたストロークをそれぞれの入力映像に重畳して表示することができる（図８参照）。

まず、電子情報ボードについて図９と図１０を参照して説明する。電子情報ボードは、ノートＰＣのデスクトップ画面を電子情報ボードのディスプレイに表示することができ、電子情報ボードに表示したノートＰＣのデスクトップ画面上にストロークを描画することができる。また、ネットワークに接続された電子情報ボード間で、ノートＰＣのデスクトップ画面とストロークを共有することができる（図９参照）。

今、ネットワークに接続された２台の電子情報ボードにそれぞれノートＰＣが１台ずつ接続されているとする。接続されているノートＰＣを、ノートＰＣ（Ａ）とノートＰＣ（Ｂ）とする。ここで、２台のノートＰＣそれぞれに保存されている資料と比較しながら議論を進めたいときには、２台のノートＰＣのデスクトップ画面をならべて表示する必要がある。

また、遠隔会議中はコミュニケーションをスムーズに行うために、遠隔会議中のすべての電子情報ボードが同じ画面を表示している必要がある。そのため、２台のノートＰＣのデスクトップ画面を並べて表示した場合、すべての拠点の電子情報ボードで同じように並べて表示されている必要がある。

さらに、電子情報ボードはノートＰＣのデスクトップ画面上にストロークを描画することができるのだが、そのストロークはノートＰＣのデスクトップ画面に紐付いていることが一般的である（例えば、ノートＰＣに表示した資料へのコメントや指摘事項をストロークで描画するときなど。）。このため、ノートＰＣのデスクトップ画面を並べて表示したときには、ノートＰＣ（Ａ）のデスクトップ画面上に描画されたストロークは、ノートＰＣ（Ａ）のデスクトップ画面上に表示され、ノートＰＣ（Ｂ）のデスクトップ画面上に描画されたストロークは、ノートＰＣ（Ｂ）のデスクトップ画面上に表示される必要がある。

しかしながら、電子情報ボードとノートＰＣ、もしくは複数の電子情報ボード等で画面やストロークを共有する場合、画面とストロークの関係性を崩すことなく共有することができないという問題があった。電子情報ボード２台の場合における画面とストロークの関係性が崩れる例を、図１０に示す。

なお、特許文献１では、映像とストローク（特許文献１内では文字や記号、線、図形）が追従しない。例えば、段落００７１に通信相手の映像を小窓に表示するとあるが、「小窓」ではなく「並べて表示」に切り替えたときに、映像とストロークにずれが生じてしまう。また、特許文献１では、レイアウトを共有できない。

以下、本発明の実施形態について図面を参照しながら説明する。
図１及び図２を参照して、システム全体構成について説明する。図１は、本発明の実施形態のシステム全体構成を示す図である。図１に示すように、本システムはネットワークに接続された電子情報ボード１００と呼制御サーバー１１、ストローク共有サーバー１２、映像共有サーバー１３を含んで構成される。

電子情報ボード１００は、制御装置１０の外部入力映像を表示できる専用ボードタイプと、一般的なＰＣにインストールできるタイプがある。図１には、専用ボードタイプを示している。図１には、電子情報ボード１００の一例として、液晶やプラズマなどのフラットパネルやプロジェクタを用いた４０インチ〜８０インチ程度のサイズの大型のものが示されているが、これに限定される必要はない。

図２は、システム全体構成の詳細を示す図である。図２には、本実施形態を構成する各機能ブロックを囲むように、当該機能ブロックを具体的に実現するためのハードウェアデバイスが併記されているが、これは一例であって、種々の変形実施が可能である。

図２において、電子情報ボード１００は、表示部１０１と、座標検知部１０２と、その他の主要部を含む構成である。その他の主要部には、合成画像生成部１０３、映像表示制御部１０４、映像表示指定部１０５、映像表示情報送受信部１０６、ストローク画像生成部１０７、遠隔入力映像生成部１０８、入力映像生成部１０９、ストロークデータ保存部１１０、ストローク生成部１１１、映像入力部１１２、ストローク送受信部１１３、映像送受信部１１４、通信部１１５、座標変換部１１６が含まれる。

表示部１０１は、合成画像生成部１０３により生成された画像を表示する。
座標検知部１０２は、表示部１０１上で指示された座標を検知する。
合成画像生成部１０３は、映像表示指定部１０５に設定されている配置に従って、ストローク画像と入力映像を合成する。

映像表示制御部１０４は、映像表示指定部１０５で指定された表示レイアウトと画面解像度から、どの拠点の画面でも同じ映像が表示されるように、すべての入力映像の表示領域を特定するための情報を計算し保存する。表示領域を特定するための情報は、例えば、表示領域が矩形である場合、表示領域の左上隅の座標と表示領域のサイズなどが該当する。表示領域特定の態様は、種々存在する。例えば、左上隅と右下隅の２点の座標だけでも表示領域は特定することができ、この場合、この２点の座標が「表示領域を特定するための情報」に該当する。映像表示制御部１０４は、入力映像ごとに表示領域を特定するための情報を計算し、保存する。保存したすべての入力映像に対応する表示領域を特定するための情報を「映像表示制御部１０４の設定情報」と呼ぶ。

映像表示指定部１０５は、入力した映像の表示レイアウトを設定する。
映像表示情報送受信部１０６は、映像表示指定より指定された表示レイアウトを他拠点へ送信する。また、他拠点から表示レイアウトを受信し、映像表示制御部１０４へインプットする。

ストローク画像生成部１０７は、ストロークデータ保存部１１０に保存されているストロークデータを取得し、入力映像毎にストローク画像を生成する。ある入力映像上で、ポイントされた点の座標がどのように変化したかを示すデータが、ストロークデータである。また、そのデータを可視化したものが、ストローク画像である。
遠隔入力映像生成部１０８は、映像送受信部１１４が受信したフレーム画像から遠隔入力映像を生成する。
入力映像生成部１０９は、映像入力部１１２が受信した映像信号から入力映像を生成する。

ストロークデータ保存部１１０は、ストローク生成部１１１とストローク送受信部１１３で受信したストロークデータを、入力映像毎に保存する。
座標変換部１１６は、座標検知部１０２より座標データを取得し、映像表示制御部１０４の設定情報からどの入力映像上に描画されたのかを判別し、座標検知部１０２から取得した座標データを入力映像上の座標に変換する。
ストローク生成部１１１は、その入力映像上の座標に変換されたストロークデータを生成し、ストロークデータ保存部１１０に保存する。

映像入力部１１２は、ノートＰＣなどからの映像信号を複数受信する。
ストローク送受信部１１３は、ストローク生成部１１１から生成されたストロークデータを取得し、通信部１１５を介してストローク共有サーバー１２へ送信する。また、通信部１１５を介してストローク共有サーバー１２から送信されたストロークデータを受信し、ストロークデータ保存部１１０へ保存する。

映像送受信部１１４は、映像入力部１１２が受信した映像信号からフレーム画像を生成し、通信部１１５を介して映像共有サーバー１３へ送信する。また、通信部１１５を介して映像共有サーバー１３からフレーム画像を受信し、遠隔入力映像生成部１０８に送信する。
通信部１１５は、ネットワークを介した通信を行う。

呼制御サーバー１１は、制御装置１０とストローク共有サーバー１２、映像共有サーバー１３との間にセッションを確立する。
ストローク共有サーバー１２は、制御装置１０から受信したストロークデータをセッション確立中の制御装置１０へ送信する。
映像共有サーバー１３は、制御装置１０から受信したフレーム画像をセッション確立中の制御装置１０へ送信する。

次に、ストローク保存処理について、図３のフローチャートを参照しながら説明する。図３は、本実施形態のストローク保存処理の流れを示すフローチャート図である。
Ｓ１０１に示すように、ストロークの更新は以下の場合に行われる。
１．座標検知部１０２が表示装置上で支持された座標を検知し、ストローク生成部１１１によりストロークデータが生成されストロークデータ保存部１１０に保存したとき。
２．ストローク送受信部１１３が他拠点より送信されたストロークを受信し、ストロークデータ保存部１１０に保存したとき。

Ｓ１０２に示すように、座標変換部１１６は、ストロークデータが更新されたときに、映像表示情報制御部１０６の設定情報からストロークがどの入力映像上のデータかを判別し、検知座標を、判別した入力映像の座標に変換する。また、ストローク生成部１１１により生成されたストロークデータは、ストロークデータ保存部１１０が入力映像毎に保存する。図４に、ストロークデータ保存部１１０に保存されるストロークデータの一例を示す。

Ｓ１０３に示すように、ストローク画像生成部１０７は、ストロークデータ保存部１１０のストロークの変更を検知し、入力映像毎にストローク画像を更新する。
Ｓ１０４に示すように、合成画像生成部１０３は、ストローク画像生成部１０７の画像の変更を検知し、合成画像を更新する。
Ｓ１０５に示すように、合成画像生成部１０３は、合成画像を表示装置の表示部１０１に表示する。

次に、表示レイアウト変更処理について、図５のフローチャートを参照しながら説明する。図５は、本実施形態の表示レイアウト変更処理の流れを示すフローチャート図である。
Ｓ２０１に示すように、表示レイアウトの変更は以下の場合に行われる。
１．映像表示指定部１０５により自拠点で表示レイアウトが変更されたとき。
２．映像表示情報送受信部１０６が遠隔から表示レイアウトを受信したとき。

Ｓ２０２及びＳ２０３に示すように、自拠点で表示レイアウトが変更されたときは、ストローク送受信部１１３が遠隔に表示レイアウトを送信する。
Ｓ２０４に示すように、映像表示制御部１０４は、表示レイアウトと画面解像度から入力映像の配置を計算する。
Ｓ２０５に示すように、ストローク画像生成部１０７は、ストロークデータ保存部１１０よりストロークデータを取得し、入力映像毎にストローク画像を生成する。生成されたストローク画像の一例を図６に示す。

Ｓ２０６に示すように、合成画像生成部１０３は、映像表示制御部１０４より、入力映像の表示座標とサイズを取得し、入力映像生成部１０９と遠隔入力映像生成部１０８の映像を指定された座標とサイズで配置し、映像上にストローク画像生成部１０７より取得したストローク画像を重畳して表示する。映像表示制御部１０４から取得する表示座標とサイズを含む情報及び表示例を図７に示す。

Ｓ２０７に示すように、合成画像生成部１０３は、入力映像生成部１０９と遠隔入力映像生成部１０８の映像上に、ストローク画像生成部１０７より取得したストローク画像を重畳して表示する。合成画像生成部１０３による表示例を図８に示す。

上記本実施形態によれば、ノートＰＣのデスクトップ画面とその上に描画されたストロークの関係性を崩すことなく、複数台のノートＰＣのデスクトップ画面を並べて表示し、その表示レイアウトをすべての拠点の電子情報ボードで共有することができる。また、１つの画面に複数の入力端末からの映像を配置することができ、その配置方法をすべての拠点で共有することができ、入力映像毎に管理されたストロークをそれぞれの入力映像に重畳して表示することができるのでストロークの描画された複数台の入力映像を並べて表示し、その表示レイアウトをすべての拠点の電子情報ボードで共有することができる。

１０ 制御装置
１１ 呼制御サーバー
１２ ストローク共有サーバー
１３ 映像共有サーバー
１００ 電子情報ボード
１０１ 表示部
１０２ 座標検知部
１０３ 合成画像生成部
１０４ 映像表示制御部
１０５ 映像表示指定部
１０６ 映像表示情報送受信部
１０７ ストローク画像生成部
１０８ 遠隔入力映像生成部
１０９ 入力映像生成部
１１０ ストロークデータ保存部
１１１ ストローク生成部
１１２ 映像入力部
１１３ ストローク送受信部
１１４ 映像送受信部
１１５ 通信部
１１６ 座標変換部

特開２０１２−１６８７９４号公報

Claims (5)

1. 入力映像と該入力映像に対応したストロークデータに基づいて生成されるストローク画像とを重畳させた映像を複数配置して表示部に表示させる表示制御装置であって、
   指定された表示レイアウトからすべての入力映像の表示領域を特定するための情報を得て保存する映像表示制御部と、
   前記表示部で指示された座標を検知する座標検知部と、
   前記映像表示制御部に保存されている情報に基づいて、前記座標検知部に検知された座標が、いずれの入力映像の表示領域に対して指示されたのかを判別し、前記座標検知部に検知された座標を、判別した入力映像上の座標に変換する座標変換手段と、
   前記座標変換手段で変換した座標を、前記判別した入力映像に対応するストロークデータとして、ストロークデータ保存部に保存するストローク生成部と、
   入力映像と該入力映像に対応したストロークデータに基づいて生成されるストローク画像とを重畳させ、前記指定された表示レイアウトにしたがって、複数の入力映像を配置して前記表示部に表示させる制御を行う合成画像生成部と、
   を有することを特徴とする、表示制御装置。
2. 前記ストロークデータ保存部に保存されたストロークデータを、他の表示制御装置と共有するために送受信する送受信部を有することを特徴とする、請求項１に記載の表示制御装置。
3. 前記指定された表示レイアウトを、他の表示制御装置へ送信し、又は、他の表示制御装置から受信した表示レイアウトを指定されたものとする映像上放送受信部を有することを特徴とする、請求項１又は２に記載の表示制御装置。
4. 前記映像表示制御部は、解像度と前記指定された表示レイアウトからすべての入力映像の表示座標とサイズを計算することを特徴とする、請求項１から３のいずれか１項に記載の表示制御装置。
5. 表示部と、前記表示部で指示された座標を検知する座標検知部と、を有し、入力映像と該入力映像に対応したストロークデータに基づいて生成されるストローク画像とを重畳させた映像を複数配置して表示部に表示させる表示制御装置が実行する表示制御方法であって、
   指定された表示レイアウトからすべての入力映像の表示領域を特定するための情報を得て保存する映像表示制御工程と、
   前記映像表示制御工程で保存された情報に基づいて、前記座標検知部に検知された座標が、いずれの入力映像の表示領域に対して指示されたのかを判別し、前記座標検知部に検知された座標を、判別した入力映像上の座標に変換する座標変換工程と、
   前記座標変換工程で変換した座標を、前記判別した入力映像に対応するストロークデータとしてストロークデータ保存部に保存するストローク生成工程と、
   入力映像と該入力映像に対応したストロークデータに基づいて生成されるストローク画像とを重畳させ、前記指定された表示レイアウトにしたがって、複数の入力映像を配置して前記表示部に表示させる制御を行う合成画像生成工程と、
   を含むことを特徴とする、表示制御方法。

Images