JP2009086952A - 情報処理システム及び情報処理プログラム - Google Patents

Abstract

【課題】利用者による電子情報に対する明示的な検索操作を必要とせず、実世界におけるカードと該カードに関する電子情報とを結びつけて提示する情報処理システムを提供する。
【解決手段】情報処理システムの画像取込手段は、カードを含む撮影対象の画像を取り込み、カード識別手段は、前記画像取込手段によって取り込まれたカードの画像を識別し、操作解析手段は、前記カードに対する操作を解析し、情報生成手段は、前記カード識別手段による識別結果又は前記操作解析手段による解析結果に基づいて、前記カードに関する情報を生成し、情報提示手段は、前記情報生成手段によって生成された情報を提示する。
【選択図】図１

Description

本発明は、情報処理システム及び情報処理プログラムに関する。

会議等においては、物理的な実体であるカードに意見等を記載して、議論されることがある。また、その会議等において、議論に関連する電子情報を、コンピュータを用いて検索することが行われる。

これに関連する技術として、例えば、特許文献１には、人が行うべき記録に関する動作を最小限に止め、従来の会議と同様に議論を進めることができると共に、持ち運ぶ機材の量が少なく、会議等の場所を選ばない意見集約支援システム及び意見集約方法を提供することを課題とし、ユニークな識別印が付与され、参加者の意見が書き込まれたカードを１つずつ個別画像として撮像する個別画像記録手段と、前記個別画像から前記識別印を抽出すると共に、前記抽出された識別印と個別画像を関連付ける個別画像関連付け手段と、前記カードが複数配置された平面を全体画像として撮像する全体画像記録手段と、前記全体画像から前記複数のカードに付与された識別印の位置を検出して、当該検出された識別印と識別印の位置とを関連付ける全体画像関連付け手段とを具備することが開示されている。

また、例えば、特許文献２には、紙文書やノートの記述をその場で電子化し、画像表示し、書き込み等をしながら議論できるテーブル型表示装置を提供することを課題とし、主に天板と装置本体である筐体とからなるコラボレーション用テーブル等と称されるものであり、天板は、透明部材に拡散性の優れた透過型スクリーン等のスクリーン部材で覆い、筐体内部のＰＣの画像や各種合成画像等をプロジェクタで投影する背面投影表示部、スクリーン部材を設けずに透明のままとして原稿等の画像をＣＣＤカメラで撮影可能とした周縁部の撮影用透明窓部、同じくスクリーン部材を設けずに透明として第１上基板上のキーボードを視認できるようにした操作用透明窓部とを有することが開示されている。

また、例えば、特許文献３には、物理オブジェクトを介してデジタル・オブジェクトを操作することを課題とし、物理的な実空間とコンピュータ上のデジタル空間との融合関係がさらに深まることによって、マウスやキーボードなどのコンピュータにネイティブのユーザ入力装置だけでなく、実世界上に散在する各種の物理オブジェクトを介してユーザ・コマンドをコンピュータに入力したり、あるいは、物理オブジェクトを介してデジタル・オブジェクトを引き出すことが可能になり、この結果、コンピュータ操作はさらに直感的で理解容易なものとなり、かつユーザにとって魅力的になることが開示されている。

また、例えば、特許文献４には、実空間に設置されたテーブル型や壁面型などのコンピュータ群と、各ユーザが持ち運ぶ携帯型コンピュータ群との組合せによって動的に構成される情報環境を提供することを課題とし、テーブルや壁面が、携帯型コンピュータを空間的に拡張する作業環境として機能し、また、実世界上のオブジェクト（紙文書、カード、ビデオ・テープなど）を、マーカー認識によって特定し、それらの間での自由な情報交換を可能にし、ユーザは、単一のコンピュータという閉じた作業空間の境界を超えて機能する直接操作技法によって、個々の機器や物体のアドレスやＩＤを意識することなく、実世界における各オブジェクトの空間的な位置関係を利用して情報を操作することができ、例えば、あるユーザのコンピュータ・ディスプレイ上のドラッグ操作を、そのままコンピュータが設置された平面（テーブルや壁面）に継承する「ハイパードラッグ」操作が可能となることが開示されている。

また、例えば、非特許文献１には、テーブル型コラボレーション装置上で、ノート型の複数オブジェクトを電子的に表示し、それらを用いたデータ探索及びそれらを用いた意見集約を支援する直感的なＵＩを提供し、データのグルーピング操作、データ間の関連提示及び、議論の過程提示により情報探索や意見集約を支援することが開示されている。
特開２００６−０２４１３５号公報 特開２００４−１０９４０２号公報 特開２００１−１７５３７４号公報 特開２００１−１３６５０４号公報 Sun, X., Chiu, P., Huang, J., Back, M., and Polak, W. "Implicit brushing and target snapping: data exploration and sense-making on large displays." Proceedings of the Working Conference on Advanced Visual interfaces. AVI06, 2006. pp 258-261

新たな視点で議論等を行う際には、実世界におけるカードを並べ替えることが必要であり、またそのカードと該カードに関する電子情報とを組合わせて並べ替えることは出来なかった。
本発明は、実世界におけるカードと該カードに関する電子情報とを結びつけて提示する情報処理システム及び情報処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の情報処理システムは、カードを含む撮影対象の画像を取り込む画像取込手段と、前記画像取込手段によって取り込まれたカードの画像を識別するカード識別手段と、前記カードに対する操作を解析する操作解析手段と、前記カード識別手段による識別結果又は前記操作解析手段による解析結果に基づいて、前記カードに関する情報を生成する情報生成手段と、前記情報生成手段によって生成された情報を提示する情報提示手段を具備することを特徴とする。

請求項２の情報処理システムは、請求項１に記載の情報処理システムであって、前記情報提示手段は、前記画像取込手段によって取り込まれた画像である撮影対象に対して、前記情報生成手段によって生成された情報を提示することを特徴とする。

請求項３の情報処理システムは、請求項１に記載の情報処理システムであって、前記カードに対する操作情報を記憶する操作記憶手段をさらに具備し、前記情報生成手段は、前記操作記憶手段に記憶されている操作情報に基づいて、操作の履歴に関する情報を生成することを特徴とする。

請求項４の情報処理プログラムは、コンピュータを、カードを含む撮影対象の画像を取り込む画像取込手段と、前記画像取込手段によって取り込まれたカードの画像を識別するカード識別手段と、前記カードに対する操作を解析する操作解析手段と、前記カード識別手段による識別結果又は前記操作解析手段による解析結果に基づいて、前記カードに関する情報を生成する情報生成手段と、前記情報生成手段によって生成された情報を提示する情報提示手段として機能させることを特徴とする。

請求項１記載の情報処理システムによれば、実世界におけるカードと該カードに関する電子情報とを結びつけて提示することができるようになる。

請求項２記載の情報処理システムによれば、実世界におけるカードのある場所に対して該カードに関する電子情報を提示することができるようになる。

請求項３記載の情報処理システムによれば、実世界におけるカードにおける操作の過程を振り返ることができるようになる。

請求項４記載の情報処理プログラムによれば、実世界におけるカードと該カードに関する電子情報とを結びつけて提示することができるようになる。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、コンピュータ・プログラム、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させること、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能にほぼ一対一に対応しているが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。

以下、本実施の形態が使用される形態として、会議を主に例示して説明する。
また、カードとは、文字が記載された媒体をいう。より具体的には、実世界において可搬型のものであって筆記具によって書き込みが行える紙票をいう。材質は紙に限る必要はなく、電子ペーパー等であってもよい。
また、説明の都合上、その状況によって、利用者、会議参加者等を用いるが、同一人物であってもよく、異なる人物であってもよい。また、一人であってもよく、複数人であってもよい。

本実施の形態は、図１に示すように、情報処理装置１００は識別モジュール１１０、操作記録モジュール１２０、操作解析モジュール１３０、情報取得モジュール１４０、付加情報生成モジュール１５０、カードＤＢ（ＤａｔａＢａｓｅ、データベース）１６０を有している。操作解析モジュール１３０は、制御操作検知モジュール１３１、関係解析モジュール１３２を有しており、情報取得モジュール１４０はカード属性取得モジュール１４１、カード位置取得モジュール１４２、関連情報取得モジュール１４３を有しており、付加情報生成モジュール１５０は可視化情報生成モジュール１５１、提示画像生成モジュール１５２を有している。
識別モジュール１１０、操作記録モジュール１２０、操作解析モジュール１３０、及び情報取得モジュール１４０のカード属性取得モジュール１４１、カード位置取得モジュール１４２は、カードＤＢ１６０と接続されており、情報取得モジュール１４０の関連情報取得モジュール１４３は、関連ＤＢ１９１と接続されている。

識別モジュール１１０は、カードを含む撮影対象の画像を取り込み、そのカードの画像を識別する。つまり、カードを撮影した画像から、付与された識別印を読み取り、また、その位置、色、そのカードに記載された文字等を識別する。ここでの識別印とは、例えば、バーコード、ＱＲコード等の情報画像をいい、その識別印は、そのカードを一意に識別できる識別符号を少なくとも表している。また、カードの識別符号を会議参加者専用の識別符号と関連付けるようにしてもよい。つまり会議参加者専用のカードを用意し、そのカードが使われた場合は、どの会議参加者がカードによる意見を述べたかがわかるようにしてもよい。
カードを撮影するとは、例えば、会議で壁等に貼り付けられたカードを撮影することをいう。また、カードに記載された文字等を識別するために、文字認識技術等を利用してもよい。
そのカードから識別した情報を、カードＤＢ１６０に記憶する。その際、そのカードの識別符号に対応付けて情報を記憶させる。

操作記録モジュール１２０は、会議参加者によるカードの位置変更、手書きアノテーション及び情報投影の制御をカードＤＢ１６０に記憶する。例えば、識別モジュール１１０によって識別された情報の時系列の変化を解析して操作を抽出するようにしてもよい。また、会議に用いる情報機器の操作情報を抽出するようにしてもよい。

操作解析モジュール１３０は、制御操作検知モジュール１３１、関係解析モジュール１３２を用いて、会議参加者のカードに対する操作、その他の操作、カード間の関係を解析する。そして、その操作に関する情報、解析の結果をカードＤＢ１６０に記憶する。
制御操作検知モジュール１３１は、会議参加者が、制御カードを提示する行為、身振り（例えば、カードを提示する、はがす、再提示する、移動する、重ねる等である。）やストロークなどの操作を検知する。ここで、制御カードとは、意見等を記載する一般的なカードとは異なり、会議の進行等を制御するためのカードをいい、情報処理装置１００に対する指示を行うためのものである。
関係解析モジュール１３２は、カードの重なり状態、アノテーションによる囲み、矢線及び全体の配置などから、カードのグループ、変化、対立などの関係を解析する。

情報取得モジュール１４０は、カード属性取得モジュール１４１、カード位置取得モジュール１４２、関連情報取得モジュール１４３を用いて、識別モジュール１１０による識別結果又は操作解析モジュール１３０による解析結果に基づいて、対象となっているカードに関する情報を取得する。なお、対象となっているカードは、会議参加者の操作によって指定される。つまり、操作解析モジュール１３０によって解析された結果を用いて、対象となるカードを特定し、そのカードに関する情報をカードＤＢ１６０又は関連ＤＢ１９１から取得する。
また、カードＤＢ１６０に記憶されている操作情報に基づいて、操作の履歴に関する情報を生成するようにしてもよい。
カード属性取得モジュール１４１は、対象となっているカードの属性値、つまり重畳提示を指定されたカードの属性値を取得する。
カード位置取得モジュール１４２は、その時点でのカードの位置を、カードＤＢ１６０を用いて取得する。
関連情報取得モジュール１４３は、対象となっているカードに関連する情報を関連ＤＢ１９１から取得する。

付加情報生成モジュール１５０は、可視化情報生成モジュール１５１、提示画像生成モジュール１５２を用いて、情報取得モジュール１４０によって取得された情報に基づいて、対象となっているカードの近傍に、又は重ね合わせて提示すべき情報を生成する。また、情報取得モジュール１４０によって生成された操作の履歴に関する情報の提示情報を生成するようにしてもよい。なお、近傍には、対象カードの周囲が含まれ、具体的には対象カードから所定距離内であることをいい、所定距離とは予め定められた距離、周囲にあるカードとの位置関係に応じて定められた距離等をいう。距離の測定は、カードの中心からの距離、カードの周囲からの距離等であってもよい。以下、同様の意で用いる。
可視化情報生成モジュール１５１は、関連情報取得モジュール１４３によって取得されたカード属性、その属性値の分類、量、質等を表現要素（色、囲み線、矢線、着色面積、テクスチャなど）を用いて可視化する。また、関連情報取得モジュール１４３によって取得された関連情報を可視化する。
提示画像生成モジュール１５２は、現在のカード位置の近傍に、又は重ね合わせて投影できる画像を生成する。なお、現在のカードの位置は、カード位置取得モジュール１４２によって取得されている。

カードＤＢ１６０は、識別モジュール１１０、操作記録モジュール１２０、操作解析モジュール１３０、カード属性取得モジュール１４１、カード位置取得モジュール１４２からアクセスされる。それぞれのモジュールによって、カード、操作に関する操作情報の記憶又は読み取りが行われる。
カードＤＢ１６０内のデータ構造を、図５を用いて説明する。
カード情報テーブル５００は、カード識別符号欄５０１、カード記載内容欄５０２、内容属性欄５０３、位置欄５０４、操作履歴欄５０５を有しており、さらに、操作履歴欄５０５は、操作時刻欄５０６、操作内容欄５０７を有している。
カード識別符号欄５０１は、識別モジュール１１０によって識別されたカードの識別符号を記憶する。
カード記載内容欄５０２は、識別モジュール１１０によって識別されたカードの記載内容を記憶する。
内容属性欄５０３は、カード記載内容欄５０２に記憶されている記載内容の属性を記憶する。ここで、属性としては、例えば、その記載の内容の分類（意見、反論、提案等）、その記載内容の評価点、及び発言者、作成者などのユーザ情報等がある。
位置欄５０４は、識別モジュール１１０によって識別されたカードの物理的位置（撮影した画像内の位置）を記憶する。また、その位置情報は、カード位置取得モジュール１４２によって読み取られる。
操作履歴欄５０５は、対象としているカードに対する操作の履歴を記憶する。つまり、操作時刻欄５０６は、その操作が行われた時刻（年月日等を含んでもよい）を記憶し、操作内容欄５０７は、操作の内容として操作種別等を記憶する。

関連ＤＢ１９１は、関連情報取得モジュール１４３からアクセスされ、カードに関する情報を記憶している。
なお、関連情報取得モジュール１４３は、情報処理装置１００外にある関連ＤＢ１９１を検索したが、情報処理装置１００内に関連ＤＢ１９１を有しており、これを検索するようにしてもよい。

図２は、本実施の形態のハードウェア構成例についての概念的なモジュール構成図を示している。なお、ここでのハードウェアのモジュールは、機能的なモジュールとして説明している。より具体的なハードウェア構成については、図１２を用いて説明する。

図２に示すハードウェア構成は、情報処理装置２００、カード生成装置２７０、情報提示装置２８０、撮影装置２８５、推薦システム２９０を有しており、これらは、通信回線２９９によって接続されている。
情報処理装置２００は、識別モジュール２１０、操作記録モジュール２２０、操作解析モジュール２３０、情報取得モジュール２４０、付加情報生成モジュール２５０、カードＤＢ２６０を有している。
情報処理装置２００は、図１に示した情報処理装置１００に該当し、それぞれ識別モジュール２１０は識別モジュール１１０に、操作記録モジュール２２０は操作記録モジュール１２０に、操作解析モジュール２３０は操作解析モジュール１３０に、情報取得モジュール２４０は情報取得モジュール１４０に、付加情報生成モジュール２５０は付加情報生成モジュール１５０に、カードＤＢ２６０はカードＤＢ１６０に該当する。

カード生成装置２７０は、生成モジュール２７１を有している。生成モジュール２７１によって、情報画像を印刷したカードを生成する。より具体的には、プリンタ等が該当する。
情報提示装置２８０は、提示モジュール２８１を有しており、その提示モジュール２８１は、情報処理装置２００の付加情報生成モジュール２５０によって生成された付加情報を提示する。より具体的には、プロジェクタ等が該当する。
付加情報生成モジュール２５０は、情報提示装置２８０を制御して、付加情報を提示する。また、付加情報生成モジュール２５０は、生成した情報を、撮影装置２８５によって取り込まれた画像である撮影対象に対して提示するように制御してもよい。より具体的には、カードの近傍に、又は重ね合わせて提示するように制御してもよい。
撮影装置２８５は、カードを含む画像を撮影し、その画像を情報処理装置２００の識別モジュール２１０へ送信する。より具体的には、カメラ等が該当する。
推薦システム２９０は、複数の関連ＤＢ２９１があり、関連ＤＢ２９１は図１に示した関連ＤＢ１９１に該当する。なお、図２では、複数の関連ＤＢ２９１があるが、一つであってもよい。

図３を用いて、本実施の形態の利用場面の例を説明する。
会議室に設置されており、カードを貼り付ける（カードを置く場合を含む）箇所として３箇所の場合を示している。その３箇所とは、壁３１０、テーブルトップディスプレイ３２０、プラズマディスプレイ３３０である。なお、１箇所であってもよいし、より多い箇所があってもよい。

壁３１０には、カード３９０Ａ、３９０Ｂ、３９０Ｃが貼り付けられており、これらの状態を壁用カメラ３１２が撮影する。また、その撮影した画像を情報処理装置１００へ送信する。そして、情報処理装置１００によって生成された情報を壁用プロジェクタ３１１が、壁３１０に投影する。
テーブルトップディスプレイ３２０は、半透明の板であり、下面からテーブル用プロジェクタ３２１によって投影された画像がテーブルトップディスプレイ３２０の上面から見えるようになっている。
テーブルトップディスプレイ３２０には、カード３９０Ｄ、３９０Ｅ、３９０Ｆが置かれており、これらの状態をテーブル用カメラ３２２が撮影する。また、その撮影した画像を情報処理装置１００へ送信する。そして、情報処理装置１００によって生成された情報をテーブル用プロジェクタ３２１が、テーブルトップディスプレイ３２０に投影する。
プラズマディスプレイ３３０には、カード３９０Ｇ、３９０Ｈ、３９０Ｉ、３９０Ｊ、３９０Ｋが貼り付けられており、これらの状態をプラズマディスプレイ用カメラ３３１が撮影する。また、その撮影した画像を情報処理装置１００へ送信する。そして、情報処理装置１００によって生成された情報をプラズマディスプレイ３３０の制御装置が、プラズマディスプレイ３３０に出力する。なお、手書の書き込み記号３９１Ａ、３９１Ｂ、３９１Ｃ、３９１Ｄは、会議参加者が電子ペンを用いて、書き込みをしたものである。つまり、その電子ペンの軌跡を読み取って、プラズマディスプレイ３３０にその軌跡を提示するものである。また、その軌跡等は操作記録モジュール１２０によって記録され、また、操作解析モジュール１３０によって解析の対象となる。

また、カードがどの面に位置しているかを、それぞれの面を撮影するカメラ画像より識別する。提示用のデバイス（壁用プロジェクタ３１１、テーブル用プロジェクタ３２１、プラズマディスプレイ３３０）によって出力できるものに制限（例えば、解像度、色等の制限）があるため、その制限に応じた可視化情報を、提示画像生成モジュール１５２が生成するようにしてもよい。
なお、壁用カメラ３１２、テーブル用カメラ３２２、プラズマディスプレイ用カメラ３３１は、図２に示した撮影装置２８５に該当する。つまり、撮影装置２８５は、壁用カメラ３１２、テーブル用カメラ３２２、プラズマディスプレイ用カメラ３３１自体を制御し、カード等を含めた壁３１０等を撮影する。壁用プロジェクタ３１１、テーブル用プロジェクタ３２１、プラズマディスプレイ３３０の制御装置は、図２に示した情報提示装置２８０に該当する。つまり、提示モジュール２８１によって、壁用プロジェクタ３１１、テーブル用プロジェクタ３２１、プラズマディスプレイ３３０を制御し、カードの付加情報を壁３１０等に投影又は出力する。

図４を用いて、本実施の形態における実世界と仮想世界との関係を説明する。
プラズマディスプレイ３３０、カード３９０Ｇ等は、実世界の会議室にあるものである。そして、仮想世界４１０は、情報処理装置１００等内にある仮想世界である。この両者は、プラズマディスプレイ用カメラ３３１、プラズマディスプレイ３３０への出力制御によって結ばれている。つまり、プラズマディスプレイ用カメラ３３１によって撮影された撮影画像４２０を情報処理装置１００が取り込み、識別モジュール１１０が識別し、そのカードに関する情報である関連情報４３０を抽出し、プラズマディスプレイ３３０に関連情報出力画像４４０として出力する。関連情報出力画像４４０としては、その場に配置されている実物のカードを解析し、それに関連する情報（例えば、カードに記載されている言葉で検索できるような情報）である。
例えば、データが記載された実体のカードを壁などに貼って、アイデア出しの会議を行うような場合について説明する。マップ（議論の対象となっている議題における座標系）を形成するように貼られたカードに対して、会議参加者が分析できるように、その関連情報を可視化し、実体のカードに重畳して投影する。また、カードを移動、カードのグルーピングを変更してしまったものに対して、過去の状態を重畳して投影するようにしてもよい。

次に、作用・働き（動作）を説明する。
＜１＞会議参加者から多くの意見を集めるための情報を提示する場合
会議において、参加者から意見を多く集めたい場合がある。そのための情報を提示する場合について説明する。
＜１．１＞会議への関与度を動的に計算し提示する
（１）あらかじめトピックに関連するカードを、過去の議事録データから抽出しカード化する。つまり、会議前にカードＤＢ１６０から、その会議に関係する過去の会議の議事録データを取り出し、カード生成装置２７０を用いてそれを印刷する。
（２）会議参加者はそのカードを使いながら、新しい意見を記載したカードを作成して、壁等に貼り付けてマップを形成する。
（３）カードをマップに追加するときに、その会議参加者の過去に提出した意見カードをハイライトすると共に、累計カード枚数を数値で提示する。つまり、識別モジュール１１０が、カードの識別符号を識別し、そのカードの使用者を特定する。情報取得モジュール１４０が、その会議参加者の他のカードを抽出し枚数を計数する。そして、付加情報生成モジュール１５０が、その抽出したカードの付加情報としてハイライト（輝度を上げるための画像）及び枚数の画像を生成し、撮影装置２８５が、カード位置取得モジュール１４２によって取得された位置にハイライト提示及び所定の位置に枚数を提示する。

＜１．２＞会議への関与度を動的に計算し提示する
（１）＜１．１＞の（１）と同様。
（２）＜１．１＞の（２）と同様。
（３）目標とするカード生成枚数に到達するまで、一定量ごとに、その時点でカードを多く生成した会議参加者（ベスト３など）のカードを色別にハイライトすると共に、名前を提示する。つまり、識別モジュール１１０が、追加されたカードの識別符号を識別し、そのカードの使用者を特定する。情報取得モジュール１４０が、会議参加者の名前及びその会議参加者毎のカードの枚数を計数する。そして、付加情報生成モジュール１５０が、貼り付けたカードの枚数が多い会議参加者を特定し、その会議参加者が提出したカードを抽出し、会議参加者毎に色別のハイライトを生成し、情報提示装置２８０が、カード位置取得モジュール１４２によって取得された位置にハイライト提示及び所定の位置にハイライト提示された会議参加者の名前を提示する。

＜１．３＞評価者等による評価を加味した関与度を動的に計算し提示する
（１）＜１．１＞の（１）と同様。
（２）＜１．１＞の（２）と同様。
（３）良い意見はポイントを加算される。例えば、評価者又は会議参加者全員がカードに付与したアノテーションの数をポイントとする方法、又は、ファシリテータや書記が議論の中での注目度を情報処理装置１００にインプットする方法等がある。なお、アノテーションの数は、操作解析モジュール１３０がアノテーションに該当する操作を検知し、情報取得モジュール１４０がその付近にあるカードを特定し、カード毎にアノテーションの数を計数しポイントとする。
（４）特定の会議参加者の合計ポイントが所定以上になったときに、対象カードをハイライトし、点数を提示する。つまり、付加情報生成モジュール１５０が、カード毎のポイントが所定以上になったか否かを判断し、所定以上のカードを抽出し、ハイライトを生成し、情報提示装置２８０が、カード位置取得モジュール１４２によって取得された位置にハイライトを提示する。

＜２＞その場に参加していない注目人物候補者を提示する
会議において、会議には参加していないが、議題と似ている課題・問題意識を持った人物に意見を求めたい場合がある。そのような人物を動的に検索し提示する場合について説明する。
＜２．１＞似ている課題・問題意識を持った人物を動的に検索し提示する
（１）あらかじめ課題等に関連するカードを、過去の議事録データから抽出し、カード化する。つまり、会議前にカードＤＢ１６０から、その課題等に関係する過去の会議の議事録データを取り出し、カード生成装置２７０を用いてそれを印刷する。
（２）会議参加者はそのカードを使いながら、新しい意見を記載したカードを作成して、壁等に貼り付けてマップを形成する。
（３）会議参加者によるグルーピング（カードを集める操作）やアノテーションにより、課題・問題が明らかになった時点で、過去に似ている課題・問題を指摘した人物を提示する。つまり、操作解析モジュール１３０が、会議参加者の操作を解析してグルーピング等を検知し、例えば、そのグルーピングが終了した時点で、又はグルーピング後の所定時間に何も操作がない場合等に、情報取得モジュール１４０が、そのグルーピング等されたカードを特定し、そのカードに記載された内容に関係する過去の議題のカードを抽出する。そして、そのカードを記載した人物の名前を抽出し、現在の会議に参加していないことを確認する。その後、付加情報生成モジュール１５０が、抽出された人物の名前の画像を生成し、情報提示装置２８０が、グルーピング等がされた位置に名前を提示する。

＜２．２＞似ている課題・問題意識を持っており、かつ参加者から最も遠い存在の人物を動的に検索し提示する
組織が近いと似た意見となりやすいので、異なった意見を求める場合等に利用する。
（１）＜２．１＞の（１）と同様。
（２）＜２．１＞の（２）と同様。
（３）課題・問題が明らかになった時点で、その時点での参加者から組織的に最も遠い人物で、かつ似ている課題・問題を指摘した人物を検索して提示する。組織的な遠さは、例えば組織図上での到達ホップ数（その人物に到達するまでに経由した組織の数）を用いる。つまり、＜２．１＞の（２）と同様に人物を抽出し、情報取得モジュール１４０が、その人物までの到達ホップ数を検出する。そして、付加情報生成モジュール１５０が、抽出された人物の名前の画像を生成し、情報提示装置２８０が、関係するカードの位置に名前を提示する。

図６〜１１を用いて、壁３１０、テーブルトップディスプレイ３２０、プラズマディスプレイ３３０に提示する画面の例を説明する。
図６を用いて、会議への関与度を提示する画面例を説明する。
重要な意見が出されたポイントを可視化する場合に用いる画面例であり、会議への関与度を動的に計算し提示するものである。
（１）議長が重要なカードを評価すると、そのカードとの関連度を重みとして、カードの重要度を計算する。つまり、操作解析モジュール１３０が、議長によるポイント付与のアノテーションを検知し、情報取得モジュール１４０が、カードの重要度を計算する。
（２）会議終了後、意見集約に対して大きく寄与したカード（意見）やその分布を俯瞰するために、時系列でカードの重要度分布を提示する。情報取得モジュール１４０が、操作記録モジュール１２０が記憶した履歴を用いて、議事録を生成し、ポイントの高いカードを特定する。そして、付加情報生成モジュール１５０が、図６（Ａ）に示すような横軸に時間、縦軸に重要度のレベルを示し、カードが発生した時刻に発生カード６０１〜６０６の画像を生成する。発生カードの重要度を示す画像６０１等の大きさは、その意見の数を示している。情報提示装置２８０が、所定の位置に図６（Ａ）の画像を提示する。
（３）また、重要な議事記述であるかどうかを客観的に見るようにするために、議事録を記載時刻と照らし合わせて提示する。つまり、付加情報生成モジュール１５０が、図６（Ｂ）に示すような議事録の画像及び議事録提示期間６５０の画像を生成する。情報提示装置２８０が、図６（Ａ）の近辺に図６（Ｂ）の画像を提示する。

図７を用いて、カードの属性値を提示する画面例を説明する。
過去のレビュー等での指摘事項を振り返りながら、今後の方針などを議論する場合に用いられる画面例である。
カードＤＢ１６０から、その会議に関係する過去の会議の議事録データを取り出し、それをカード生成装置２７０を用いて印刷する。つまり、蓄積された議事録より関連する指摘事項発言とその時に用いられた資料（発表用のスライド等を含む）をカード化する。その場合、カードの面積は限られているため、発言のキーワードのみを印刷する。
図７（Ａ）は、カード生成装置２７０により生成されたカードが平面上に配置され、議論しながらグルーピングされた例である。６枚のカードが貼り付けられて、カード７０１Ａ〜７０４Ａがグルーピングされた状態である。

図７（Ｂ）は、図７（Ａ）の状態から、会議参加者による情報処理装置１００に対する指示により、カードの属性値を色別にカードに重畳して提示した例である。その際には、情報処理装置１００の識別モジュール１１０は、カードの識別印を読み取り、位置を識別する。位置を識別したそれぞれのカードの指定された属性情報（例えばカード記載者（発言者）の役割等）をカードＤＢ１６０及び関連ＤＢ１９１より取得し、属性値ごとに異なる色でカードに重なるように投影する。つまり、図７（Ｂ）に示すように、グルーピングされたカード７０１Ａ〜７０４Ａに、それぞれのカードの記載者の役割（経営者、ミドル管理者、一般社員）の別が判別できるように提示する。

図８を用いて、議論の履歴を提示する画面例を説明する。
図８（Ａ）は、カードの貼り付けが行われた初期の状態を示している。ここで、カードのグルーピング状態の検知は、識別モジュール１１０、操作解析モジュール１３０が、カードの位置、重なりを解析して、時刻とともにカードＤＢ１６０に記憶する。グループとしての記憶のタイミングは、例えば、カードが近接している時間が所定時間以上であること等による。図８（Ａ）の場合は、カード８０１Ａ〜８０４Ａがグループとして記憶される。
図８（Ｂ）は、図８（Ａ）の状態から、会議参加者によってカードの移動、書き込みが加えられた状態を示している。つまり、３つのグループに分かれ、手書の書き込み記号８５１Ｂ〜８５３Ｂが書き込まれた状態である。
図８（Ｃ）は、図８（Ｂ）の状態から、さらに数回に及ぶカードの移動、書き込みが加えられた状態を示している。ここで、例えば、議論が煮詰まったような場合、過程を振り返るために一つ前の状態を重ねて提示する。つまり、一つ前の状態では、カード８０１Ｃとカード８０２Ｃが一つのグループであることを示す点線で囲み、カード８０３Ｃとカード８０６Ｃとが一つのグループであることを示すグルーピング記号８６１Ｃでそのカードを囲み結ぶようにしている。これらは、操作記録モジュール１２０によって記憶された履歴を基にして、付加情報生成モジュール１５０が、カード８０１Ｃとカード８０２Ｃを囲む点線、グルーピング記号８６１Ｃを提示する。

図９を用いて、カードに情報を重畳して提示する画面例を説明する。
カード９０１〜９０６が引用されている場合、その引用数を提示した例である。つまり、関係解析モジュール１３２がカード間の引用関係を解析し、その解析結果に基づいて、付加情報生成モジュール１５０が、各カードに引用数に応じて大きさを異ならせた引用を示す画像を、各カードに重畳して（つまり、カード位置取得モジュール１４２によって取得した位置に）提示する。

図１０を用いて、カードに情報を重畳して提示する画面例を説明する。
カードに記載された内容が発言の場合、操作者との組織的な距離を提示した例である。つまり、操作解析モジュール１３０が操作者を特定し、情報取得モジュール１４０が、識別モジュール１１０によって識別されたカードの記載者までの到達ホップ数を検出する。そして、付加情報生成モジュール１５０が、その到達ホップ数に応じて大きさが異なる組織的距離を示す画像を生成し、情報提示装置２８０が、そのカードの位置に画像を提示する。図１０では、カード１００１、１００２は組織的な距離が離れた人物によって記載されたカードであることを示している。

図１１を用いて、カードに情報を重畳して提示する画面例を説明する。
カードに記載されていない属性情報であるコンテキスト（時、人、場所等）や、動的に検索された推薦情報を提示した例である。つまり、情報取得モジュール１４０が、カード１１０３、カード１１０６の属性を取得する。付加情報生成モジュール１５０が、属性情報１１１１、属性情報１１１２のような属性の画像を生成し、情報提示装置２８０が、そのカードの近傍に画像を提示する。

なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図１２に示すように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。識別モジュール１１０、操作記録モジュール１２０、操作解析モジュール１３０、情報取得モジュール１４０、付加情報生成モジュール１５０等のプログラムを実行するＣＰＵ１２０１と、そのプログラムやデータを記憶するＲＡＭ１２０２と、本コンピュータを起動するためのプログラム等が格納されているＲＯＭ１２０３と、補助記憶装置であるＨＤ１２０４（例えばハードディスクを用いることができる）と、キーボード、マウス等のデータを入力する入力装置１２０６と、ＣＲＴや液晶ディスプレイ等の出力装置１２０５と、通信ネットワークと接続するための通信回線インタフェース１２０７（例えばネットワークインタフェースカードを用いることができる）、そして、それらをつないでデータのやりとりをするためのバス１２０８により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。

前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図１２に示すハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１２に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えばＡＳＩＣ等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１２に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、情報家電、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

なお、前記実施の形態においては、カードに識別印が印刷されているが、識別印の代わりにＲＦＩＤ（Ｒａｄｉｏ Ｆｉｎｄｅｒ ＩＤｅｎｔｉｆｉｃａｔｉｏｎ）を埋め込んだものであってもよい。その場合は、ＲＦＩＤに情報を記憶させ、リーダーを用いることによって、そのカードと情報とを対応付ける。例えば、カードの識別符号の他に、利用者の識別番号をＲＦＩＤに記憶させたカードを用いることによって、識別モジュール１１０において利用者の識別番号を識別することができる。
また、前記実施の形態において、図５で示したデータ構造は、このデータ構造に限られず、他のデータ構造であってもよい。例えば、テーブル構造はリンク構造等であってもよい。また、データ項目は、これに図示したものに限られず、他のデータ項目を有していてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態のハードウェア構成例についての概念的なモジュール構成図である。 本実施の形態の利用場面の例を示す説明図である。 本実施の形態における実世界と仮想世界との関係の例を示す説明図である。 カード情報テーブルのデータ構造例を示す説明図である。 会議への関与度を提示する画面例を示す説明図である。 カードの属性値を提示する画面例を示す説明図である。 議論の履歴を提示する画面例を示す説明図である。 カードに情報を重畳して提示する画面例を示す説明図である。 カードに情報を重畳して提示する画面例を示す説明図である。 カードに情報を重畳して提示する画面例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

符号の説明

１００…情報処理装置
１１０…識別モジュール
１２０…操作記録モジュール
１３０…操作解析モジュール
１３１…制御操作検知モジュール
１３２…関係解析モジュール
１４０…情報取得モジュール
１４１…カード属性取得モジュール
１４２…カード位置取得モジュール
１４３…関連情報取得モジュール
１５０…付加情報生成モジュール
１５１…可視化情報生成モジュール
１５２…提示画像生成モジュール
１６０…カードＤＢ
１９１…関連ＤＢ
２００…情報処理装置
２１０…識別モジュール
２２０…操作記録モジュール
２３０…操作解析モジュール
２４０…情報取得モジュール
２５０…付加情報生成モジュール
２６０…カードＤＢ
２７０…カード生成装置
２７１…生成モジュール
２８０…情報提示装置
２８１…提示モジュール
２８５…撮影装置
２９０…推薦システム
２９１…関連ＤＢ
２９９…通信回線
３１０…壁
３１１…壁用プロジェクタ
３１２…壁用カメラ
３２０…テーブルトップディスプレイ
３２１…テーブル用プロジェクタ
３２２…テーブル用カメラ
３３０…プラズマディスプレイ
３３１…プラズマディスプレイ用カメラ
４１０…仮想世界
４２０…撮影画像
４３０…関連情報
４４０…関連情報出力画像

Claims (4)

1. カードを含む撮影対象の画像を取り込む画像取込手段と、
   前記画像取込手段によって取り込まれたカードの画像を識別するカード識別手段と、
   前記カードに対する操作を解析する操作解析手段と、
   前記カード識別手段による識別結果又は前記操作解析手段による解析結果に基づいて、前記カードに関する情報を生成する情報生成手段と、
   前記情報生成手段によって生成された情報を提示する情報提示手段
   を具備することを特徴とする情報処理システム。
2. 前記情報提示手段は、
   前記画像取込手段によって取り込まれた画像である撮影対象に対して、前記情報生成手段によって生成された情報を提示する
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記カードに対する操作情報を記憶する操作記憶手段
   をさらに具備し、
   前記情報生成手段は、
   前記操作記憶手段に記憶されている操作情報に基づいて、操作の履歴に関する情報を生成する
   ことを特徴とする請求項１に記載の情報処理システム。
4. コンピュータを、
   カードを含む撮影対象の画像を取り込む画像取込手段と、
   前記画像取込手段によって取り込まれたカードの画像を識別するカード識別手段と、
   前記カードに対する操作を解析する操作解析手段と、
   前記カード識別手段による識別結果又は前記操作解析手段による解析結果に基づいて、前記カードに関する情報を生成する情報生成手段と、
   前記情報生成手段によって生成された情報を提示する情報提示手段
   として機能させることを特徴とする情報処理プログラム。

Images