JP2006202016A - 会議情報共有支援装置及び方法及びプログラム - Google Patents

Abstract

【課題】 会議において、普段使い慣れたペンと紙の使いやすさはそのままに、ＩＴ機器の高機能性という両者の長所が両立した会議を行う。
【解決手段】 本発明は、撮像装置から手書き入力領域及び画像投影領域が設定され、かつビジュアルマーカが印刷された複数の紙の撮影画像を入力し、撮影画像の紙の各々について、該紙の位置及び姿勢を認識し、紙の位置及び姿勢に基づいて、撮影画像からビジュアルマーカの埋め込み情報を抽出し、紙の位置、姿勢及びビジュアルマーカの埋め込み情報に基づいて、紙の各々について、手書き入力領域及び画像投影領域を特定し、指定された紙において特定された手書き入力領域に含まれる画像を他の紙における特定された画像投影領域への投影画像に変換し、変換された投影画像を画像投影装置に出力する。
【選択図】 図１

Description

本発明は、複数の人間が参加する会議システムに用いられる会議情報共有支援装置及び方法及びプログラムに係り、特に、一つの会議室内でローカルに開催される会議システム及び、場所の異なる複数の会議室をネットワークで接続した遠隔会議システムにおける会議情報共有支援装置及び方法及びプログラムに関する。

まず、これまでの一般的な会議における参加者間の情報共有の方法を説明する。

一般的な会議においては、参加者間の情報共有手段として紙が多用されている。参加者は、配布資料、白紙、ノート等の紙媒体に対してペンを用いて、メモを記入したり、アイディアイメージをスケッチして、お互いにその情報を共有する行為が頻繁に行われている。

一方、紙と同様にホワイトボードも、全員で同時に一覧可能な情報共有空間として利用されている。

しかしながら、これらの伝統的な方法では、お互いの紙面上の情報を、その紙を見る方向がそれぞれ異なる複数の参加者に対して、見易い角度と位置に迅速に提示することが困難である。例えば、会議テーブル上に対面する参加者に対しては、紙を１８０度回転させて提示するか、または、参加者自身がその紙の場所まで歩いて来て、同時に眺めるという方法をとらざるを得ない。

また、ホワイトボードによる情報共有は、上記の問題は解決されるものの、自分の席を離れてわざわざホワイトボードまで近寄り垂直に書かなければならない、という煩わしさがある。

一方、近年、小型パーソナルコンピュータ（ＰＣ）、大型プロジェクタ、インターネットの普及により会議がＩＴ化されており、情報の提示、入力、検索、処理等、会議を強力にサポートする便利なツールが一般的になりつつある。さらに、最近では、会議テーブルの頭上に、プロジェクタとカメラを備えて、カメラによりテーブル上の様々な情報を読み取り、処理した後、プロジェクタでテーブル表面の適当な場所、あるいは、機器や本などテーブル上に存在するものに投影することで、会議内の情報共有を促進する技術が報告されている。特に、Augment Reality技術を用いて、現実に存在するものに情報を重畳することで、情報共有効果を強化する方法が提案されている（例えば、特許文献１参照）。
特開平９−３１９５５６号公報

しかしながら、上記のＩＴ技術を利用した方法では、投影対象は会議テーブルのみを考慮しており、ペンを用いて記入する日常の白紙媒体をカメラへの入力領域、あるいは、プロジェクタからの投影領域として利用するという考え方が完全に欠如している。それゆえ、参加者同士で、それぞれの紙に描いた手書き情報とリアルタイムにかつ、効果的に提示・共有する仕組みがない。さらに、紙の位置と姿勢及びその紙面内の入力領域及び統計領域を効率的に計測する具体的な手法についてはは、開示されていない。加えて、通常の白紙媒体の両面を入力と表示に利用しようという考え方がない。

本発明は、上記の点に鑑みなされたもので、会議において、普段使い慣れたペンと紙の使いやすさはそのままに、ＩＴ機器の高機能性という両者の長所が両立した会議を行うことが可能な会議情報共有支援装置及び方法及びプログラムを提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、紙媒体を撮像装置への入力領域及び出力するための画像投影領域として利用する会議情報共有支援装置であって、
撮像装置１０から、手書き入力領域及び画像投影領域が設定され、かつビジュアルマーカが印刷された複数の紙の撮影画像を入力し、記憶手段１２０に格納する画像入力手段１１０と、
記憶手段１２０から撮影画像を読み込んで、紙の各々について、該紙の位置及び姿勢を認識する位置・姿勢認識手段１３０と、
紙の位置及び姿勢に基づいて、撮影画像からビジュアルマーカを認識して、該ビジュアルマーカの埋め込み情報を抽出するビジュアルマーカ抽出手段１４０と、
紙の位置、姿勢及びビジュアルマーカの埋め込み情報に基づいて、紙の各々について、手書き入力領域及び画像投影領域を特定する領域特定手段１５０と、
指定された紙において特定された手書き入力領域に含まれる画像を記憶手段１２０から読み込んで、他の紙における特定された画像投影領域への投影画像に変換する変換手段１６０と、
変換された投影画像を画像投影装置２０に出力する出力手段１７０と、を有する。

また、本発明（請求項２）は、ビジュアルマーカの埋め込み情報が、紙識別情報及び紙面レイアウト情報を含む。

また、本発明（請求項３）は、紙面レイアウト情報が、手書き入力領域を、当該紙面の座標系で表現した情報、及び、画像投影領域を当該紙面の座標系で表現した情報であり、
領域特定手段１５０において、座標系で表現した情報から、手書き入力領域及び画像統計領域を特定する。

図２は、本発明の原理説明図である。

本発明（請求項４）は、紙媒体を撮像装置への入力領域及び出力するための画像投影領域として利用する会議情報共有支援方法において、
撮像装置から、手書き入力領域及び画像投影領域が設定され、かつビジュアルマーカが印刷された複数の紙の撮影画像を入力し、記憶手段に格納する画像入力ステップ（ステップ１）と、
記憶手段から撮影画像を読み込み、紙の各々について、該紙の位置及び姿勢を認識する位置・姿勢認識ステップ（ステップ２）と、
紙の位置及び姿勢に基づいて、撮影画像からビジュアルマーカを認識して、該ビジュアルマーカの埋め込み情報を抽出するビジュアルマーカ抽出ステップ（ステップ３）と、
紙の位置、姿勢及びビジュアルマーカの埋め込み情報に基づいて、紙の各々について、手書き入力領域及び画像投影領域を特定する領域特定ステップ（ステップ４）と、
指定された紙において特定された手書き入力領域に含まれる画像を記憶手段から読み込んで、他の紙における特定された画像投影領域への投影画像に変換する変換ステップ（ステップ５）と、
変換された投影画像を画像投影装置に出力する出力ステップ（ステップ６）と、を行う。

また、本発明（請求項５）は、ビジュアルマーカ抽出ステップ（ステップ３）において、
ビジュアルマーカの埋め込み情報として、紙識別情報及び紙面レイアウト情報を抽出する。

また、本発明（請求項６）は、領域特定ステップ（ステップ４）において、
手書き入力領域を、当該紙面の座標系で表現した情報、及び、画像投影領域を当該紙面の座標系で表現した情報であるレイアウト情報から、手書き入力領域及び画像統計領域を特定する。

本発明（請求項７）は、紙媒体を撮像装置への入力領域及び出力するための画像投影領域として利用する会議情報共有支援プログラムであって、
請求項４乃至６記載の会議情報共有支援方法を実現するための処理をコンピュータに実行させるプログラムである。

上記のように本発明によれば、日常品である紙とペンの使い易さと、ＩＴ機器の高機能性という両面の長所が両立した会議を行うことができる。具体的には、下記のような会議参加者間の情報共有が可能となる。

ある参加者が紙の上に描いた情報が、他の参加者の紙の上に、それぞれの参加者が自然に見える場所と方向と大きさに自動的に変換されて投影されることにより、参加者は態々相手の紙の方向を変えたり、参加者自身が席を立って移動したりする必要はなく、自分の椅子に座ったまま会議を進行させることができる。しかも、全ての紙の位置は、それぞれ好みの場所と向きにいつでも変更することが可能である。このため、紙の場所や向きという会議の中身と無関係な事象に煩わされずに、思考を会議内容に集中することができる。

紙はＩＴが進む一方で決して無くなっておらず、特に、配布資料、アイディアシート等、会議における紙の重要性は今後も消えることはない。殊に、創造的な活動を共同で行う会議においては、普段使い慣れたペンと白い紙が、自由な発想を行うための最も自然な道具の一つといえる。このため、本発明の会議システムを利用することにより、より生産性が高く効率的な会議を行うことができる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における会議情報共有支援装置の構成を示す。

同図に示す会議情報共有支援装置１００には、手書き入力領域及び画像投影領域が設定され、かつビジュアルマーカが印刷された複数の紙を撮影するカメラ等の撮影装置１０と、投影画像を投影領域に表示するプロジェクタ等の画像投影装置２０が接続されている。

会議情報共有支援装置１００は、画像入力部１１０、画像記憶部１２０、ビジュアルマーカ位置・姿勢認識部１３０、ビジュアルマーカデコード部１４０、変換行列算出部１５０、画像変換部１６０、画像出力部１７０及びメモリ１８０から構成される。

画像入力部１１０は、撮影装置１０で撮影された画像を入力し、画像記憶部１２０に格納する。

ビジュアルマーカ位置・姿勢認識部１３０は、画像記憶部１２０から画像を読み込み、画像中の紙のそれぞれの位置及び姿勢を認識し、紙のレイアウト情報を取得し、ビジュアルマーカデコード部１４０に転送する。

ビジュアルマーカデコード部１４０は、画像記憶部１２０から画像を読み込み、画像中の紙中に存在するビジュアルマーカの存在を認識し、当該ビジュアルマーカの埋め込み情報を取得し、メモリ１８０に格納する。ここで、ビジュアルマーカの埋め込み情報は、紙識別情報及び紙面レイアウト情報であり、紙面レイアウト情報は、手書き入力領域を紙面の座標系で表現した情報及び、画像投影領域を当該紙面の座標系で表現したものである。

変換行列算出部１５０は、メモリ１８０から位置、姿勢、ビジュアルマーカの埋め込み情報を取得して、手書き入力領域座標への同次変換行列を計算し、また、投影領域座標への同次変換行列を計算する。

画像変換部１６０は、画像入力部１１０から入力された画像の紙における手書き入力領域に含まれる画像を、他の紙における特定された画像投影領域への投影画像に変換する。

画像出力部１７０は、変換された投影画像を画像統計装置２０に出力する。

以下に具体的な例を用いて説明する。

図４は、本発明の一実施の形態における会議システムの利用イメージを示し、図５は、本発明の一実施の形態における紙Ａの紙面構成の例であり、図６は、本発明の一実施の形態における紙Ｂの紙面構成の例であり、図７は、本発明の一実施の形態における紙と会議テーブルの座標系を示す。

以下では、参加者ａの紙Ａと参加者ｂの紙Ｂを用いて説明する。

まず、紙Ａの紙面構成について図５を用いて説明する。手書き入力領域は４つの点ｗ_ａｉ（ｉ＝１，Λ，４）で規定されている。ここで、ｗ_ａｉｘ，ｗ_ａｉｙは、座標系Σ_ａにおける点ｗ_ａｉのＸＹ座標値である。同様に、紙Ａの投影領域は４つの点ｄ_ａｉ（ｉ＝１，Λ，４）で規定されており、ｄ_ａｉｘ，ｄ_ａｔｙは点ｄ_ａｉの座標系Σ_ａにおけるＸＹ座標値である。ここで説明の簡略化のため、入力領域、投影領域共に一辺の長さがそれぞれＬ_ａｗ，Ｌ_ａｄで紙の４辺と平行な正方形と仮定すると、それぞれの領域は、６個のパラメータ

のみで規定される。

同様に、紙Ｂの入力領域、投影領域は、一辺の長さがそれぞれＬ_ｂｗ、Ｌ_ｂｄの正方形と仮定すると、それぞれの領域は６個のパラメータ

のみで規定される。

以下では、紙Ａ内の手書き入力情報を紙Ｂ内の投影領域へ表示する場合を例として、図８の処理ステップを詳細に説明する。なお、ビジュアルマーカへの埋め込みデータのエンコーディング（encoding）／デコーディング（decoding）は既存技術であり、例えば、「Jun Rekimoto, “Matrix:A Realtime Object Identification and Registration Method for Augmented Reality” Asia Pacific Computer Human Interaction 1998 (APCHI’98), Information Processing Society of Japan (IPSJ), 1998年７月１４日」に記載されている方法を用いればよい。

以下の処理の前提として、紙識別記号「Ａ」と紙面レイアウト情報Ｗ_ａＬ，Ｌ_ａｗ，ｄ_ａＬ，Ｌ_ａｄのエンコードを行ったビジュアルマーカをプリンタで紙Ａに印刷する。同様に紙識別記号「Ｂ」と紙面レイアウト情報ｗ_ｂＬ，Ｌ_ｂｗ，ｄ_ｂＬ，Ｌ_ｂｄのエンコードを行ったビジュアルマーカをプリンタで紙Ｂに印刷しておくものとする。

ステップ１０１） 会議テーブル全体を上方からキャプチャするカメラ１０により撮影された、会議テーブル上に置かれた紙Ａ，Ｂの画像が画像入力部１１０から入力され、画像記憶部１２０に格納される。ビジュアルマーカ位置・姿勢認識部１３０は、画像記憶部１２０から会議テーブル上に置かれた紙Ａ，Ｂのビジュアルマーカの存在を認識する。

ステップ１０２） ビジュアルマーカデコード部１４０が、ビジュアルマーカ位置・姿勢認識部１３０により認識された紙Ａのビジュアルマーカから、紙識別記号「Ａ」と紙面レイアウト情報ｗ_ａＬ，Ｌ_ａｗ，ｄ_ａＬ，Ｌ_ａｄをデコードし、メモリ１８０に格納する。同様に、紙Ｂのビジュアルマーカから、紙識別記号「Ｂ」と紙面レイアウト情報ｗ_ｂＬ，Ｌ_ｂｗ，ｄ_ｂＬ，Ｌ_ｂｄをデコードし、メモリ１８０に格納する。

ステップ１０３） 変換行列算出部１５０は、メモリ１８０からビジュアルマーカの位置と姿勢を取得し、例えば、「Jun Rekimoto, “Matrix:A Realtime Object Identification and Registration Method for Augmented Reality” Asia Pacific Computer Human Interaction 1998 (APCHI’98), Information Processing Society of Japan (IPSJ), 1998年７月１４日」に記載されている方法を用いて、紙Ａ，Ｂの原点の座標

とθa（座標軸ｘtとＸａのなす角度）、θb（座標軸ｘtとＸbのなす角度）を計測する。

なお、上記では、紙の位置・姿勢を、ビジュアルマーカの位置・姿勢から求めているが、紙の位置・姿勢として、紙の外縁を認識し、これから求めてもよいし、予め紙にビジュアルマーカ以外の例えば、線分等の図形を印刷しておき、その図形から求めてもよい。

ステップ１０４） 変換行列算出部１５０は、テーブル原点から見た紙面Ａの手書きの入力座標への同次変換行列を以下に従い計算する。

ただし、

ステップ１０５） 変換行列算出部１５０は、テーブル原点から見た紙面Ｂの投影領域座標への同次変換行列を以下に従い計算する。

ただし、

ステップ１０６） 画像変換部１６０は、カメラ１０から得られた会議テーブル座標全体の画像から、ステップ１０２、ステップ１０４で求められた同次変換行列に基づき、紙Ａ内の手書き入力領域内の画像を特定する。

ステップ１０７） 出力部１７０は、ステップ１０６で取得された紙Ａ内の手書き入力画像を、Ｌ_ｂｄ／Ｌ_ａｗの倍率で、ステップ１０５で求められた同次変換行列に基づき、紙Ｂ内の投影領域へプロジェクタ２０で投影する。具体的には、ステップ１０６で取得された紙Ａ内の手書き入力画像のピクセル

は、下記の計算により、紙Ｂ内の投影領域画像ピクセル

に変換される。

ステップ１０８） ステップ１０１に移行する。

上記のような処理により、紙Ａの手書き入力情報を、紙Ｂの投影領域の位置と姿勢と大きさに適合させ、表示させることが可能となる。

また、上記の例では、ビジュアルマーカは１個の場合を説明したが、図９に示すように複数印刷することも可能であり、この場合、紙同士の重なりによる部分的なビジュアルマーカの情報損失や低解像度カメラによる認識力低下等に対処可能となる。

さらには、エンコード可能な情報も増加するので、会議関連情報として、例えば、会議参加者名、会議名称、会議回数、場所、日程、開催時刻、関連するＵＲＬ等をエンコードすることが容易になる。これにより、必要に応じてこれらの情報を、会議中に紙面内投影領域に表示したり、会議終了後の保存された段階でこの紙の位置付けを理解するのに利用可能である。

また、図５における紙面Ａ上方の円も手書き入力領域の一種であり、本例では、点

とこれを中心とする円の半径ｒａＬで規定されている。これらの情報を、ビジュアルマーカ内に、紙面レイアウト情報の一部として、エンコードしておけば、システム側でこの円内の情報を上記のステップと同様に取得可能である。そしてこの円内に、単純な図形や文字等の手書きの認識の容易なマークを手書きすることで、ＰＣへのコマンド入力やＯＮ・ＯＦＦスイッチとして利用可能である。例えば、参加者間の手書き情報の投影出力先を制御したり、関連情報ＵＲＬのホームページの投影領域への表示ＯＮ・ＯＦＦを行ったりすることが可能である。

また、図９の例は、一つの会議室内の利用イメージを示すものであり、書道の師匠Ａが生徒Ｂ，Ｃ，Ｄに「岩」という文字の書き方を教えているシーンである。師匠Ａが書いた文字を、生徒それぞれが自分の席で自分の紙の上で、自分の書いた文字と見比べることができる。また、生徒が書いた文字の上に、師匠があたかも筆で朱書きするが如く、修正ポイントを生徒が見ることができる。また、リアルタイムに投影することができるので、単に描いた結果のみならず、師匠が書いている最中の手や筆の動きも生徒の紙の上で投影されるので、書き順やスピード等のテクニックも手にとるように習得可能となる。

なお、上記では、ローカルな会議を例として説明したが、図３に示される画像入力部１１０、画像出力部１７０にネットワークインタフェースを有する通信装置を接続し、遠隔地で行われている会議における画像の受信及び、処理された投影画像の送信を行うことも可能である。

なお、上記の図８に示す処理をプログラムとして構築し、カメラやプロジェクタが接続されたコンピュータにインストールして実行させる、または、ネットワークを介して流通させることも可能である。

また、構築したプログラムをハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、配布することも可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、会議参加者が紙と筆記具を用いて会議を行う場合、紙に描かれた内容を他の会議参加者の紙面に画像投影する技術に適用可能である。また、会議のみならず、文字の習得等、紙面上で何かを説明するような状況においても適用可能である。

本発明の原理構成図である。 本発明の原理説明図である。 本発明の一実施の形態における会議情報共有支援装置の構成図である。 本発明の一実施の形態における会議システムの利用イメージを示す図である。 本発明の一実施の形態における紙Ａの紙面構成を示す図である。 本発明の一実施の形態における紙Ｂの紙面構成を示す図である。 本発明の一実施の形態における紙と会議テーブルの座標系を示す図である。 本発明の一実施の形態における動作のフローチャートである。 本発明の一実施の形態における手書き入力と表示の例である。

符号の説明

１０ 撮像装置、カメラ
２０ 画像投影装置、プロジェクタ
１００ 会議情報共有支援装置
１１０ 画像入力手段、画像入力部
１２０ 記憶手段、画像記憶部
１３０ 位置・姿勢認識手段、ビジュアルマーカ位置・姿勢認識部
１４０ ビジュアルマーカ抽出手段、ビジュアルマーカデコード部
１５０ 領域特定手段、変換行列算出部
１６０ 変換手段、画像変換部
１７０ 出力手段、画像出力部
１８０ メモリ

Claims (7)

1. 紙媒体を撮像装置への入力領域及び出力するための画像投影領域として利用する会議情報共有支援装置であって、
   撮像装置から、手書き入力領域及び画像投影領域が設定され、かつビジュアルマーカが印刷された複数の紙の撮影画像を入力し、記憶手段に格納する画像入力手段と、
   前記記憶手段から前記撮影画像を読み込んで、前記紙の各々について、該紙の位置及び姿勢を認識する位置・姿勢認識手段と、
   前記紙の位置及び姿勢に基づいて、前記撮影画像から前記ビジュアルマーカを認識して、該ビジュアルマーカの埋め込み情報を抽出するビジュアルマーカ抽出手段と、
   前記紙の位置、姿勢及び前記ビジュアルマーカの埋め込み情報に基づいて、前記紙の各々について、前記手書き入力領域及び前記画像投影領域を特定する領域特定手段と、
   指定された紙において特定された前記手書き入力領域に含まれる画像を前記記憶手段から読み込んで、他の紙における特定された前記画像投影領域への投影画像に変換する変換手段と、
   変換された前記投影画像を画像投影装置に出力する出力手段と、
   を有することを特徴とする会議情報共有支援装置。
2. 前記ビジュアルマーカの埋め込み情報が、紙識別情報及び紙面レイアウト情報を含む請求項１記載の会議情報共有支援装置。
3. 前記紙面レイアウト情報は、
   前記手書き入力領域を、当該紙面の座標系で表現した情報、及び、前記画像投影領域を当該紙面の座標系で表現した情報であり、
   前記領域特定手段は、
   前記座標系で表現した情報から、前記手書き入力領域及び前記画像統計領域を特定する請求項２記載の会議情報共有支援装置。
4. 紙媒体を撮像装置への入力領域及び出力するための画像投影領域として利用する会議情報共有支援方法において、
   撮像装置から、手書き入力領域及び画像投影領域が設定され、かつビジュアルマーカが印刷された複数の紙の撮影画像を入力し、記憶手段に格納する画像入力ステップと、
   前記記憶手段から前記撮影画像を読み込み、前記紙の各々について、該紙の位置及び姿勢を認識する位置・姿勢認識ステップと、
   前記紙の位置及び姿勢に基づいて、前記撮影画像から前記ビジュアルマーカを認識して、該ビジュアルマーカの埋め込み情報を抽出するビジュアルマーカ抽出ステップと、
   前記紙の位置、姿勢及び前記ビジュアルマーカの埋め込み情報に基づいて、前記紙の各々について、前記手書き入力領域及び前記画像投影領域を特定する領域特定ステップと、
   指定された紙において特定された前記手書き入力領域に含まれる画像を前記記憶手段から読み込んで、他の紙における特定された前記画像投影領域への投影画像に変換する変換ステップと、
   変換された前記投影画像を画像投影装置に出力する出力ステップと、
   を行うことを特徴とする会議情報共有支援方法。
5. 前記ビジュアルマーカ抽出ステップにおいて、
   前記ビジュアルマーカの埋め込み情報として、紙識別情報及び紙面レイアウト情報を抽出する請求項４記載の会議情報共有支援方法。
6. 前記領域特定ステップにおいて、
   前記手書き入力領域を、当該紙面の座標系で表現した情報、及び、前記画像投影領域を当該紙面の座標系で表現した情報である前記レイアウト情報から、前記手書き入力領域及び前記画像統計領域を特定する請求項５記載の会議情報共有支援方法。
7. 紙媒体を撮像装置への入力領域及び出力するための画像投影領域として利用する会議情報共有支援プログラムであって、
   前記請求項４乃至６記載の会議情報共有支援方法を実現するための処理をコンピュータに実行させることを特徴とする会議情報共有支援プログラム。
   

Images