JP2021149296A - 現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラム - Google Patents

Abstract

【課題】物理物体を用いた情報等の分類・整理を効率的に行うことができるようにする。【解決手段】投影面に存在する付箋紙２００に対するユーザのタッチ操作を検出する操作検出部１４と、検出したユーザのタッチ操作に基づいて、投影面に存在する付箋紙２００に対するクラスタリングを行うクラスタリング部１５と、クラスタリングの結果を識別可能に表した空間像（影画像）を形成するための識別画像データを生成してプロジェクタ２０に供給する画像データ生成部１６とを備え、プロジェクタ２０が投影面に空間像を付箋紙２００に付随する態様で表示させることにより、投影面に存在する付箋紙２００をユーザが実際に移動させることなく、付箋紙２００に対するタッチ操作を行うだけで、クラスタリングの結果を影画像により可視化して、付箋紙２００に記述された情報等の分類・整理を効率的に行うことができるようにする。【選択図】図２

Description

本発明は、現実物体に対するクラスタリングの可視化システム、可視化制御装置、可視化方法および可視化制御用プログラムに関し、特に、３次元空間上に存在する複数の現実物体に対して行ったクラスタリングの結果を可視化して表示するシステムに用いて好適なものである。

従来、情報・知識・アイデアなど（以下、これらを総称して「情報等」という）を付箋紙に記述し、記述した内容を分類・整理するプロセスは、創造的な活動で広く用いられている。この場合における情報等の分類・整理は、同一または類似の内容、あるいは関連性のある内容が記述された付箋紙どうしが互いに近くの位置に配置されるように、付箋紙を適宜移動させることによって行われる。物理的な付箋紙に代えて、ディスプレイに表示される電子的な付箋を用いるようにしたシステムも知られている（例えば、特許文献１参照）。

特許文献１に記載の情報処理システムでは、物理的な付箋紙と、当該付箋紙が貼られている投影面に付箋画像を投影することにより表示される電子的な付箋（以下、電子付箋という）とを混在させて利用可能な仕組みを提供している。この特許文献１に記載の情報処理システムでは、投影面に付箋画像を投影する際に、付箋紙が電子付箋の上に重なる位置に配置される場合は、付箋紙と電子付箋とが重なる領域を付箋画像から削除して投影する。逆に、電子付箋が付箋紙の上に重なる位置に配置される場合は、電子付箋が付箋紙の上に重ねられていることを示す指標情報を付箋画像に含めて投影する。

付箋紙および／または電子付箋（以下、これらを総称して「付箋」という）を用いた情報等の分類・整理プロセスには試行錯誤を要するため、付箋の移動（貼り替え）が頻繁に発生する。この付箋の移動作業を支援することで、情報等の分類・整理プロセスを効率化させたり、分類・整理の質を向上させたりすることが期待できる。

電子付箋を用いる場合は、当該電子付箋の移動をコンピュータ処理によって実現するため、電子付箋の移動を簡単に行えるようにするための処理を工夫することが行いやすい。例えば、移動させたい電子付箋をマウスクリックで指定した後、移動先として希望する位置をマウスクリックで指定することにより、指定した電子付箋を指定した位置に瞬時に移動させるといった工夫が考えられる。これに対し、物理的な付箋紙の場合は、付箋紙を物理的に移動させることが必要であるため、上述のような電子付箋と同様の工夫は適用することができない。

なお、ここでは付箋紙を例に課題を説明したが、付箋紙以外の物理的な物体（以下、物理物体という）を用いて情報等の分類・整理を行う場合にも同様の課題が存在する。

特開２０１５−６４７９３号公報

本発明は、このような問題を解決するために成されたものであり、物理物体を用いた情報等の分類・整理を効率的に行うことができるようにすることを目的とする。

上記した課題を解決するために、本発明では、投影面に存在する物理物体に対するユーザの操作を検出し、当該検出したユーザの操作に基づいて、投影面に存在する物理物体に対するクラスタリングの結果を識別可能に表した空間像を形成するための識別画像データを生成して画像投影装置に供給し、画像投影装置が識別画像データに基づいて投影面に画像を投影することにより、クラスタリングの結果を識別可能に表した空間像を物理物体に付随する態様で表示させるようにしている。

上記のように構成した本発明によれば、ユーザが投影面に存在する物理物体に対する操作を行うと、物理物体に対するクラスタリングの結果を識別可能に表した空間像が物理物体に付随する態様で表示されることにより、どの物理物体がどのようにクラスタリングされたのかが可視化される。これにより、情報等が記述された物理物体を用いて当該情報等について試行錯誤を伴う分類・整理を行う際に、物理物体に記述された情報等の分類・整理を、物理物体を実際に移動させることなく効率的に行うことができる。

第１の実施形態による現実物体に対するクラスタリングの可視化システムのハードウェア構成例を示す図である。 第１の実施形態による情報処理装置の機能構成例を示すブロック図である。 第１の実施形態における画像データ生成部の処理内容を説明するための図である。 第１の実施形態において、付箋紙に影画像を表示させた状態の一例を示す図である。 第１の実施形態による可視化システムの動作例を示すフローチャートである。 第２の実施形態による情報処理装置の機能構成例を示すブロック図である。 第２の実施形態において、付箋紙に影画像を表示させた状態の一例を示す図である。

（第１の実施形態）
以下、本発明の第１の実施形態を図面に基づいて説明する。図１は、第１の実施形態による現実物体に対するクラスタリングの可視化システム１（以下、単に可視化システム１という）のハードウェア構成例を示す図である。図１に示すように、第１の実施形態による可視化システム１は、情報処理装置１０（特許請求の範囲の可視化制御装置に相当）、プロジェクタ２０、カメラ３０および動きセンサ４０を備えて構成される。

プロジェクタ２０は、投影面１００に画像を投影して空間像を表示させる画像投影装置である。投影面１００には、１つ以上の付箋紙２００（現実物体の一例）が貼り付けられる。ユーザは、情報等を分類・整理する際に、当該情報等が記述された１つ以上の付箋紙２００を投影面１００の任意の位置に貼り付けたり剥がしたりすることが可能である。本実施形態において、プロジェクタ２０が投影面１００に画像を投影して表示させる空間像は、付箋紙２００の疑似的な影の像であり、付箋紙２００に付随する態様で表示される。

カメラ３０は、付箋紙２００が貼られた投影面１００を一定間隔で繰り返し撮影し、得られた撮影画像データを情報処理装置１０に逐次供給する撮影装置である。このカメラ３０の撮影領域内の位置と、プロジェクタ２０の表示領域内の位置とがあらかじめ１：１に対応するようにマッチングされて座標変換マップ情報が生成されており、この座標変換マップ情報を用いることにより、撮影領域内の投影面１００の位置情報を、それに対応する表示領域内の位置情報に変換できるようになっている。

動きセンサ４０は、投影面１００の付近に設定した検出対象領域内における物体の動きを検出する動き検出装置である。例えば、動きセンサ４０は、投影面１００に向けてレーザを照射し、投影面１００またはその周囲にある物体から反射するレーザを受信して、受信状態の変化を感知することにより、検出対象領域内に存在する物体の形状および動きを検出する。なお、レーザに代えて赤外線を用いてもよい。ユーザが手を使って投影面１００に貼られた付箋紙２００を操作すると、その手の動きが動きセンサ４０により検出される。動きセンサ４０は、検出対象領域内における物体の動きを一定間隔で繰り返し検出し、検出した物体の形状および動きを示す動きデータを情報処理装置１０に逐次供給する。

この動きセンサ４０が物体の動きを検出する検出対象領域内の位置と、カメラ３０の撮影領域内の位置とがあらかじめ１：１に対応するようにマッチングされて座標変換マップ情報が生成されており、この座標変換マップ情報を用いることにより、動きセンサ４０により検出対象領域内で検出される物体の位置情報を、それに対応する撮影領域内の位置情報に変換できるようになっている。動きセンサ４０により動きが検出される物体は、カメラ３０により撮影される画像内にも写っている。上述の座標変換マップ情報を用いることにより、撮影画像内に写っている物体の動きを検出することが可能である。

情報処理装置１０は、例えばパーソナルコンピュータにより構成され、カメラ３０から供給される撮影画像データと、動きセンサ４０から供給される動きデータとに基づいて、以下に説明する処理を実行することにより、投影面１００に貼られた付箋紙２００に付随する態様で表示させる空間像（付箋紙２００の疑似的な影の像。以下、影画像という）を形成するための画像データを生成し、当該画像データをプロジェクタ２０に供給する。

図２は、第１の実施形態による情報処理装置１０の機能構成例を示すブロック図である。図２に示すように、第１の実施形態による情報処理装置１０は、機能構成として、撮影画像データ入力部１１、動きデータ入力部１２、存在位置検出部１３、操作検出部１４、クラスタリング部１５および画像データ生成部１６を備えている。

上記各機能ブロック１１〜１６は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１６は、実際にはコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶された可視化制御用プログラムが動作することによって実現される。

撮影画像データ入力部１１は、カメラ３０から一定間隔ごとに供給される撮影画像データを逐次入力する。動きデータ入力部１２は、動きセンサ４０から一定間隔ごとに供給される動きデータを逐次入力する。以下に説明する存在位置検出部１３、操作検出部１４、クラスタリング部１５および画像データ生成部１６の各処理も、一定間隔ごとに繰り返し実行する。

存在位置検出部１３は、撮影画像データ入力部１１により入力されたカメラ３０からの撮影画像データに基づいて、投影面１００に存在する付箋紙２００の位置を検出する。ここで、存在位置検出部１３は、付箋紙２００の撮影領域内での位置（カメラ座標上の位置）を検出する。例えば、存在位置検出部１３は、撮影画像を２値化した後、公知の輪郭抽出処理を行い、矩形形状をした領域を付箋紙２００の領域（以下、付箋領域という）として検出する。また、存在位置検出部１３は、撮影領域内における付箋領域の座標を付箋紙２００の存在位置として検出する。なお、付箋領域として検出する矩形形状は、その大きさや形状をあらかじめ登録しておいてもよい。この場合、存在位置検出部１３は、登録内容に合致する矩形形状のみを付箋領域として検出する。存在位置検出部１３は、存在位置を検出した付箋紙２００に対して付箋ＩＤを付与して管理し、その付箋ＩＤに対応づけて位置情報をメモリに記憶する。

このような存在位置検出部１３の処理が一定間隔ごとに繰り返し実行されるため、投影面１００に対して新たな付箋紙２００が貼られると、その貼られた位置において付箋紙２００が検出され、その付箋紙２００に対して付与された付箋ＩＤに対応付けて存在位置の位置情報がメモリに記憶される。また、投影面１００から付箋紙２００が剥がされると、そのことが検出され、その付箋紙２００に対応する付箋ＩＤとそれに対応付けて記憶されている位置情報とがメモリから消去される。

また、投影面１００に存在する付箋紙２００の位置が移動されると、移動された付箋紙２００が検出され、その付箋ＩＤに対応付けて記憶されている位置情報が、移動前の位置情報から移動後の位置情報に更新される。この場合、存在位置検出部１３は、移動中の付箋紙２００をトラッキングし、移動がなくなったことを検出した時点で、そのときの位置情報を記憶する。なお、存在位置検出部１３は、移動中の付箋紙２００をトラッキングすることは行わず、移動前の付箋紙２００に付与されていた付箋ＩＤとそれに対応する位置情報とをメモリから消去し、移動後の付箋紙２００に対して別の付箋ＩＤを付与して位置情報を記憶するようにしてもよい。

操作検出部１４は、存在位置検出部１３により検出された付箋紙２００の存在位置と、動きデータ入力部１２により入力された動きセンサ４０からの動きデータとに基づいて、投影面１００に存在する付箋紙２００に対するユーザのタッチ操作を検出する。例えば、操作検出部１４は、動きデータに基づいて、動きセンサ４０により検出された物体が人間の手か否かを判定する。さらに、操作検出部１４は、検出された物体が人間の手である場合に、その人間の手の動きが付箋紙２００に対するタッチ操作か否かを判定する。そして、操作検出部１４は、これらの判定結果に基づいて、投影面１００に存在する複数の付箋紙２００のうち、どの付箋紙２００をユーザが何回タッチ操作したかを検出する。

ここで、操作検出部１４は、人間の手の指の位置が付箋紙２００の位置と重なっていて（人間の手の指の位置が付箋領域内に含まれていて）、指が投影面１００に対して略垂直な方向に動く動作を検出し、かつ、その動作の過程で付箋紙２００が動いたり変形したりしていないことを検出した場合に、そのときの手の動きをユーザによる付箋紙２００に対するタッチ操作として検出する。また、操作検出部１４は、手の指が付箋紙２００に対して遠い位置から近い位置へとｎ回（ｎ≧１）移動したときに、タッチ操作がｎ回行われたことを検出する。操作検出部１４は、検出対象領域内で検出された物体が人間の手であると判定した場合であっても、人間の手の指の位置が付箋紙２００の位置と重なっていない場合、指が投影面１００に対して略水平な方向に動く動作である場合、または、手の動きに伴って付箋紙２００が動いたり変形したりしている場合には、付箋紙２００に対するタッチ操作としては検出しない。

クラスタリング部１５は、操作検出部１４により検出されたユーザのタッチ操作に基づいて、投影面１００に存在する付箋紙２００に対するクラスタリングを行う。第１の実施形態では、クラスタリング部１５は、付箋紙２００がユーザによりタッチ操作された回数に応じて、付箋紙２００のクラスタリングを行う。具体的には、ある付箋紙２００に対してタッチ操作が１回行われた場合、クラスタリング部１５はその付箋紙２００を第１分類にクラスタリングする。また、ある付箋紙２００に対してタッチ操作が２回行われた場合、クラスタリング部１５はその付箋紙２００を第２分類にクラスタリングする。タッチ操作が１回も行われていない付箋紙２００については、クラスタリング部１５はそれを第０分類にクラスタリングする。

ここで、分類の数はあらかじめ決められている。その分類の上限を超える回数のタッチ操作が行われた場合、クラスタリング部１５はサイクリックにクラスタリングを行う。すなわち、例えば分類の数が５つ（第０分類〜第４分類）である場合において、ある付箋紙２００に対してタッチ操作が１〜４回行われた場合、クラスタリング部１５はその付箋紙２００を第１分類〜第４分類にクラスタリングする。また、ある付箋紙２００に対してタッチ操作が５回行われた場合、クラスタリング部１５はその付箋紙２００を第０分類にクラスタリングする。

また、１つの付箋紙２００に対するタッチ操作の回数は、通算の回数とする。例えば、ある付箋紙２００に対して初めてのタッチ操作が１回行われた場合、クラスタリング部１５はその付箋紙２００を第１分類にクラスタリングする。このとき、クラスタリング部１５は、その付箋紙２００に対して１回のタッチ操作が行われ、第１分類にクラスタリングしたことを示す情報を付箋ＩＤに対応付けて記憶しておく。その後、同じ付箋紙２００に対してタッチ操作が２回行われた場合、クラスタリング部１５はその付箋紙２００を第３分類（第１分類から開始して２つ先に進んだ第３分類）にクラスタリングする。

画像データ生成部１６は、クラスタリング部１５によるクラスタリングの結果を識別可能に表した識別画像データを生成し、生成した識別画像データをプロジェクタ２０に供給する。第１の実施形態では、画像データ生成部１６は、付箋紙２００がユーザによりタッチ操作された回数に応じた態様から成る空間像をユーザによりタッチ操作された付箋紙２００に付随して表示させるための識別画像データを生成する。具体的には、画像データ生成部１６は、ユーザによりタッチ操作された回数に応じて大きさが異なる影画像をユーザによりタッチ操作された付箋紙２００に付随して表示させるための識別画像データを生成する。

すなわち、画像データ生成部１６は、ユーザにより１回のタッチ操作が行われて第１分類にクラスタリングされた付箋紙２００に対して、第１分類に応じた大きさの影画像を付箋紙２００に付随して表示させるための識別画像データを生成する。また、画像データ生成部１６は、ユーザにより２回のタッチ操作が行われて第２分類にクラスタリングされた付箋紙２００に対して、第２分類に応じた大きさの影画像を付箋紙２００に付随して表示させるための識別画像データを生成する。なお、第０分類にクラスタリングされた付箋紙２００に対しては影画像を付随して表示させない。

ここで、影画像を付箋紙２００に付随して表示させるとは、付箋紙２００が投影面１００の表面から手前方向に浮いていると仮定し、その付箋紙２００に一の方向から光を当てると仮定した場合に投影面１００にできる付箋紙２００の影を模写した画像を生成して表示させることを意味する。このような態様で影画像を付箋紙２００に付随して表示させることにより、投影面１００に貼られている付箋紙２００に対して奥行き感を与えることができる。また、影画像の大きさを変えることにより、奥行き感の程度を変えることができる。すなわち、影画像を大きくするほど奥行き感を強くし、影画像を小さくするほど奥行き感を弱くすることができる。

画像データ生成部１６は、投影面１００に貼られている付箋紙２００（第０分類にクラスタリングされたものを除く）のそれぞれに対してタッチ回数に応じた大きさの影画像を付随して表示させるように形成した識別画像データを生成して、それをプロジェクタ２０に供給する。プロジェクタ２０は、画像データ生成部１６から供給された識別画像データに基づいて投影面１００に識別画像を投影することにより、投影面１００に存在する付箋紙２００に対するクラスタリングの結果を識別可能に表した空間像（クラスタリングの結果を影の大きさにより識別可能に表した影画像）を付箋紙２００に付随する態様で投影面１００に表示させる。

図３は、画像データ生成部１６の処理内容を説明するための図である。図３は、５つの付箋紙２００_-0〜２００_-4が投影面１００に貼られた状態を示している。この５つの付箋紙２００_-0〜２００_-4には、説明の便宜上、クラスタリングされた結果（第０分類〜第４分類の何れか）を示す数値を表記している。５つの付箋紙２００_-0〜２００_-4のうち、第１分類から第４分類にクラスタリングされた４つの付箋紙２００_-1〜２００_-4には、クラスタリングの結果を影の大きさにより識別可能に表した影画像２０１〜２０４がプロジェクタ２０により表示されている。

図３の例では、投影面１００から手前方向に所定距離の位置かつ投影面１００の斜め左上方向の位置に光源があると仮定した場合において、付箋紙２００が投影面１００から手前方向に浮いた位置にあると仮定した場合にできる影を模写した影画像を表示している。これにより、影画像が大きくなるほど、付箋紙２００があたかも投影面１００から大きく浮いたように見え、奥行き感が強い印象をユーザに与えることができる。一方、影画像が小さくなるほど、付箋紙２００が投影面１００から浮いている量が小さくなるように見え、奥行き感が弱い印象をユーザに与えることができる。

図４は、第１の実施形態による可視化システム１をユーザが実際に使用する場合における投影面１００の状態の一例を示す図である。図４は、複数の付箋紙２００_-11〜２００_-15が投影面１００に貼られた状態を示している。それぞれの付箋紙２００_-11〜２００_-15には、様々な情報等が記述されている。ユーザは、これらの付箋紙２００_-11〜２００_-15に記述されている情報等を読み、その内容を把握し、分類する。このときユーザは、同じ分類にクラスタリングさせたいと考える複数の付箋紙２００を同じ回数ずつタッチ操作する。

図４の例では、ユーザは、２つの付箋紙２００_-11，２００_-15をそれぞれ１回ずつタッチ操作している。これにより、これら２つの付箋紙２００_-11，２００_-15には、これに付随する態様で第１分類に応じた大きさの影画像２０１が表示されている。また、ユーザは、別の２つの付箋紙２００_-12，２００_-13をそれぞれ２回ずつタッチ操作している。これにより、これら２つの付箋紙２００_-12，２００_-13には、これに付随する態様で第２分類に応じた大きさの影画像２０２が表示されている。もう１つの付箋紙２００_-14にはタッチ操作が行われていないため、影画像は表示されていない。

このように、ユーザは、投影面１００に貼られた付箋紙２００を実際に移動させて同じ分類に属する付箋紙２００どうしを近くに集めるような操作を行わなくても、タッチ操作の回数を変えるだけで、所望の付箋紙２００を所望の分類にクラスタリングすることができる。また、そのクラスタリングの結果をユーザが容易に識別可能な態様で可視化することができる。この影画像による可視化処理は、投影面１００に対して垂直な奥行き方向へ付箋紙２００を疑似的に移動させる処理ということもできる。つまり、第１の実施形態による可視化システム１は、付箋紙２００の奥行き方向への疑似的な移動操作を行うためのユーザインタフェースを提供するものであるともいえる。

図５は、上記のように構成した第１の実施形態による可視化システム１の動作例を示すフローチャートである。図５に示すフローチャートは、一定間隔ごとに繰り返し実行される。

まず、情報処理装置１０の存在位置検出部１３は、撮影画像データ入力部１１により入力されたカメラ３０からの撮影画像データに基づいて、投影面１００に存在する付箋紙２００の位置を検出する（ステップＳ１）。次に、操作検出部１４は、動きデータ入力部１２により入力された動きセンサ４０からの動きデータに基づいて、存在位置検出部１３により投影面１００での存在位置が検出された付箋紙２００に対してユーザのタッチ操作が行われたか否かを判定する（ステップＳ２）。

ここで、ある付箋紙２００に対してユーザのタッチ操作が行われたと判定された場合、クラスタリング部１５は、操作検出部１４により検出されたユーザのタッチ操作の回数に基づいて、タッチ操作された付箋紙２００に対するクラスタリングを行う（ステップＳ３）。そして、画像データ生成部１６は、クラスタリング部１５によるクラスタリングの結果を識別可能に表した空間像（影画像）を付箋紙２００に付随する態様で投影面１００に表示させるための識別画像データを生成してプロジェクタ２０に供給する（ステップＳ４）。

プロジェクタ２０は、情報処理装置１０の画像データ生成部１６から供給された識別画像データに基づいて投影面１００に画像を投影することにより、付箋紙２００に付随する態様で投影面１００に影画像を表示させる（ステップＳ５）。この場合、タッチ操作された付箋紙２００に対する影画像の表示状態だけが変わり、他の付箋紙２００に対する影画像については表示状態が変わらない。これにより、一定間隔ごとに行われる１回の処理が終了する。

上記ステップＳ２において、付箋紙２００に対するユーザのタッチ操作が検出されなかった場合、操作検出部１４は、動きデータ入力部１２により入力された動きセンサ４０からの動きデータに基づいて、存在位置検出部１３により投影面１００での存在位置が検出されていた付箋紙２００を剥がす操作、貼付位置を移動させる操作、または新たに付箋紙２００を投影面１００に貼り付ける操作の何れかが行われたか否かを判定する（ステップＳ６）。これらの何れかの操作が行われたと判定された場合、それらに対応する位置情報の処理が存在位置検出部１３により実行される（ステップＳ７）。これにより、一定間隔ごとに行われる１回の処理が終了する。

以上詳しく説明したように、第１の実施形態では、投影面１００に存在する付箋紙２００に対するユーザのタッチ操作を検出し、当該検出したユーザのタッチ操作の回数に基づいて、タッチ操作した付箋紙２００のクラスタリングを行う。そして、そのクラスタリングの結果を識別可能に表した影画像をプロジェクタ２０から投影面１００に投影することにより、影画像を付箋紙２００に付随する態様で表示させるようにしている。

上記のように構成した第１の実施形態によれば、ユーザが付箋紙２００に対するタッチ操作を行うと、その付箋紙２００に対するクラスタリングの結果を識別可能に表した影画像が付箋紙２００に付随する態様で表示されることにより、どの付箋紙２００がどのようにクラスタリングされたのかが可視化される。これにより、情報等が記述された付箋紙２００を用いて当該情報等について試行錯誤を伴う分類・整理を行う際に、付箋紙２００に記述された情報等の分類・整理を、付箋紙２００を実際に移動させることなく効率的に行うことができる。

（第２の実施形態）
次に、本発明の第２の実施形態を図面に基づいて説明する。第２の実施形態による可視化システム１’のハードウェア構成は、図１と同様である。ただし、情報処理装置１０に代えて情報処理装置１０’を用いる。図６は、第２の実施形態による情報処理装置１０’の機能構成例を示すブロック図である。なお、この図６において、図２に示した符号と同一の符号を付したものは同一の機能を有するものであるので、ここでは重複する説明を省略する。

図６に示すように、第２の実施形態による情報処理装置１０’は、機能構成として、操作検出部１４、クラスタリング部１５および画像データ生成部１６に代えて、操作検出部１４’、クラスタリング部１５’および画像データ生成部１６’を備えている。クラスタリング部１５’は、機能構成として、類似度検出部１５Ａを備えている。

操作検出部１４’は、存在位置検出部１３により検出された付箋紙２００の存在位置と、動きデータ入力部１２により入力された動きセンサ４０からの動きデータとに基づいて、投影面１００に存在する複数の付箋紙２００のうち、どの付箋紙２００をユーザがタッチ操作したかを検出する。第２の実施形態では、操作検出部１４’は、ユーザが付箋紙２００を何回タッチ操作したかは検出しない。

クラスタリング部１５’の類似度検出部１５Ａは、撮影画像データ入力部１１により入力されたカメラ３０からの撮影画像データに基づいて、投影面１００に存在する複数の付箋紙２００に記述されている内容を分析し、ユーザによりタッチ操作された付箋紙２００に記述されている内容と、他の付箋紙２００に記述されている内容との類似度を検出する。この類似度の検出は、公知の技術を用いて行うことが可能である。

例えば、類似度検出部１５Ａは、撮影画像に写っている付箋紙２００に記述されている情報等の文字列をテキストデータに変換し、形態素解析、構文解析、文脈解析、意味解析などの自然言語処理を行うことにより、各付箋紙２００の情報等をベクトルに変換する。そして、そのベクトルの近さ（コサイン類似度等）の計算により、各付箋紙２００に記述された情報等間の類似度（以下、便宜的に付箋間の類似度ともいう）を算出する。なお、類似度の算出法はこれに限らず、他の方法を用いてもよい。

クラスタリング部１５’は、類似度検出部１５Ａにより検出された類似度に応じて、複数の付箋紙２００のクラスタリングを行う。例えば、クラスタリング部１５’は、タッチ操作された付箋紙２００以外の他の付箋紙２００を、タッチ操作された付箋紙２００との類似度の大きさに応じて、第０分類から第４分類の何れかにクラスタリングする。すなわち、類似度をその値に応じて５つのランクに分けて、類似度が最も大きいランクに属する付箋紙２００を第４分類にクラスタリングし、類似度のランクが小さくなるにつれて付箋紙２００を第３分類〜第１分類にクラスタリングし、類似度が最も小さいランクに属する付箋紙２００を第０分類にクラスタリングする。

画像データ生成部１６’は、類似度検出部１５Ａにより検出された類似度に応じた態様から成る空間像を投影面１００に存在する複数の付箋紙２００のそれぞれに付随して表示させるための識別画像データを生成する。第２の実施形態においても、空間像として影画像を用いる。すなわち、画像データ生成部１６’は、類似度検出部１５Ａにより検出された類似度に応じて大きさが異なる影画像を投影面１００に存在する複数の付箋紙２００のそれぞれに付随して表示させるための識別画像データを生成する。

具体的には、画像データ生成部１６’は、タッチ操作された付箋紙２００以外の他の付箋紙２００のうち、類似度検出部１５Ａにより検出された類似度の大きさに応じて第１分類にクラスタリングされた付箋紙２００に対して、第１分類に応じた大きさの影画像を付箋紙２００に付随して表示させるための識別画像データを生成する。同様に、画像データ生成部１６’は、第２分類〜第４分類にクラスタリングされた付箋紙２００に対して、第２分類〜第４分類に応じた大きさの影画像を付箋紙２００に付随して表示させるための識別画像データを生成する。第０分類にクラスタリングされた付箋紙２００に対しては影画像を付随して表示させない。ここで、第４分類に応じた大きさの影画像が最も大きく、第１分類に応じた大きさの影画像が最も小さい。

タッチ操作された付箋紙２００については、例えば、第４分類に応じた大きさの影画像を付箋紙２００に付随して表示させる。あるいは、投影面１００に存在する他の付箋紙２００に対して表示される影画像のうち、最も大きい影画像と同じ大きさの影画像を、タッチ操作された付箋紙２００に付随して表示させるようにしてもよい。例えば、他の付箋紙２００が第０分類〜第３分類の何れかにクラスタリングされ、第４分類にクラスタリングされた他の付箋紙２００がなかった場合、タッチ操作された付箋紙２００については、第３分類に応じた大きさの影画像を付箋紙２００に付随して表示させる。

画像データ生成部１６’は、投影面１００に貼られている複数の付箋紙２００（第０分類にクラスタリングされたものを除く）のそれぞれに対して類似度に応じた大きさの影画像を付随して表示させるように形成した識別画像データを生成して、それをプロジェクタ２０に供給する。プロジェクタ２０は、画像データ生成部１６’から供給された識別画像データに基づいて投影面１００に識別画像を投影することにより、投影面１００に存在する付箋紙２００に対するクラスタリングの結果を識別可能に表した空間像（クラスタリングの結果を影の大きさにより識別可能に表した影画像）を付箋紙２００に付随する態様で投影面１００に表示させる。

図７は、複数の付箋紙２００に対して影画像が付随する態様で表示された状態の一例を示す図である。図７は、５つの付箋紙２００_-21〜２００_-25が投影面１００に貼られた状態を示している。図７（ａ）は、ユーザが第１の付箋紙２００_-21をタッチ操作した場合に表示される影画像の例を示している。この場合、タッチ操作された第１の付箋紙２００_-21と他の付箋紙２００_-22〜２００_-25との類似度の大きさに応じてクラスタリングされた結果に基づいて、第０分類〜第４分類の何れかに応じた大きさの影画像が各付箋紙２００_-21〜２００_-25に付随する態様で表示される。

また、図７（ｂ）は、ユーザが第５の付箋紙２００_-25をタッチ操作した場合に表示される影画像の例を示している。この場合、タッチ操作された第５の付箋紙２００_-25と他の付箋紙２００_-21〜２００_-24との類似度の大きさに応じてクラスタリングされた結果に基づいて、第０分類〜第４分類の何れかに応じた大きさの影画像が各付箋紙２００_-21〜２００_-25に付随する態様で表示される。このように、ユーザがどの付箋紙２００をタッチ操作するかによって、各付箋紙２００_-21〜２００_-25に付随して表示される影画像の大きさが変わる。

以上のように、第２の実施形態では、ユーザがタッチ操作した付箋紙２００に記述されている情報等と他の付箋紙２００に記述されている情報等との類似度を自動解析し、その類似度に基づいて、投影面１００に貼られている複数の付箋紙２００のクラスタリングを行う。そして、クラスタリングされた結果に応じた影画像を各付箋紙２００に付随する態様で表示させるようにしている。これにより、ユーザが所望の付箋紙２００に対するタッチ操作を行うと、付箋間の類似度に応じてクラスタリングされた結果を識別可能に表した影画像が各付箋紙２００に付随する態様で表示されることにより、どの付箋紙２００がどのようにクラスタリングされたのかが可視化される。これにより、付箋紙２００に記述された情報等の分類・整理を、付箋紙２００を実際に移動させることなく効率的に行うことができる。

なお、上述した第１の実施形態と第２の実施形態とを組み合わせて適用するようにしてもよい。例えば、ユーザは、第２の実施形態による方法によって付箋間の類似度に基づき自動的にクラスタリングされた結果を可視化された影画像で確認し、そのようなコンピュータ処理によるクラスタリングの結果を参考にしながら、第１の実施形態による方法によってユーザが自分の判断を加えて情報等のクラスタリングを行うことが可能である。この場合においてもユーザは、付箋紙２００を実際に移動させることなく、所望の付箋紙２００をタッチ操作するだけで、付箋紙２００に記述された情報等の分類・整理を効率的に行うことができる。

なお、第１の実施形態と第２の実施形態とを組み合わせて適用する場合、何れか一の付箋紙２００に対するタッチ操作によって第１の実施形態の処理を実行するのか、第２の実施形態の処理を実行するのかを区別する必要がある。例えば、付箋紙２００を所定時間未満の短い時間タッチ操作した場合に第１の実施形態の処理を実行し、所定時間以上連続してタッチ操作（長押し）した場合に第２の実施形態の処理を実行するようにすることが考えられる。あるいは、どの指でタッチ操作するかに応じて、第１の実施形態の処理または第２の実施形態の処理を実行するようにしてもよい。

また、第１の実施形態の処理によって表示する影画像と、第２の実施形態の処理によって表示する影画像とを区別できるようにしてもよい。例えば、第２の実施形態の処理によって表示する影画像は薄い影画像とし、第１の実施形態の処理によって表示する影画像は濃い影画像とする。あるいは、第１の実施形態の処理によって表示する影画像と、第２の実施形態の処理によって表示する影画像とを別の色で表示するようにしてもよい。このようにすれば、付箋間の類似度に応じてクラスタリングされた結果を影画像により参考にしながら、ユーザが自分の判断を加えて情報等のクラスタリングを行うことをやりやすくすることができる。

以上、第１および第２の実施形態について説明したが、本発明はこれらに限定されない。例えば、上記実施形態では、カメラ３０、プロジェクタ２０および動きセンサ４０がそれぞれ個別に存在する例について説明したが、これに限定されない。例えば、プロジェクタ２０がカメラ３０および／または動きセンサ４０を備える構成としてもよい。また、情報処理装置１０がカメラ３０、プロジェクタ２０、動きセンサ４０の何れか１つまたは複数を備える構成としてもよい。

また、上記第１および第２の実施形態では、カメラ３０の他に動きセンサ４０を備える構成について説明したが、これに限定されない。例えば、動きセンサ４０を省略し、カメラ３０により撮影された画像データを解析することにより、投影面１００の周囲に存在する物体の動きを検出するようにしてもよい。

また、上記第１および第２の実施形態では、付箋紙２００に付随する態様で表示させる空間像の一例として影画像を用いる例について説明したが、これに限定されない。例えば、付箋紙２００の周りを囲む矩形枠の画像を空間像として用い、クラスタリングの結果に応じて矩形枠の太さや色、数などを変えるようにしてもよい。あるいは、クラスタリングされた分類を表す数値や所定のマークなどを付箋紙２００に付随する態様で表示させるようにしてもよい。あるいは、白い付箋紙２００の面に対して、クラスタリングの結果に応じて異なる色の画像を投影させるようにしてもよい。

また、上記第１および第２の実施形態では、第０分類にクラスタリングされた付箋紙２００については影画像を表示させない例について説明したが、これに限定されない。例えば、第１分類にクラスタリングされた付箋紙２００に対して表示される影画像よりも小さい影画像を表示させるようにしてもよい。

また、上記第１および第２の実施形態では、物理物体の一例として付箋紙２００を例に挙げたが、これに限定されない。情報等を記述または貼付可能な物体であれば何れも用いることが可能である。例えば、所定サイズのメモ用紙を机上に置いて分類・整理する際にも、上記第１および第２の実施形態を適用することが可能である。

また、上記第１の実施形態では、１つの付箋紙２００に対するタッチ操作の回数を通算の回数とする例について説明したが、これに限定されない。例えば、ユーザがタッチ操作を行う都度、タッチ操作の回数を１回からカウントするようにしてもよい。

また、上記第２の実施形態において、複数の付箋紙２００に付随して付箋間の類似度に応じた影画像を表示させる際に、付箋紙２００に対するタッチ操作が行われてから所定時間、影画像を振動させるようなアニメーション表示を行うようにしてもよい。この場合、影画像の大きさに応じて振動の大きさも変えるようにしてもよい。

また、上記第２の実施形態では、投影面１００に貼られている複数の付箋紙２００に対して付箋間の類似度に応じたクラスタリングを行い、第０分類にクラスタリングされた付箋紙２００以外は全て影画像を表示させる例について説明したが、これに限定されない。例えば、所定の閾値より大きい類似度とされた付箋紙２００についてのみ影画像を表示させるようにしてもよい。

また、上記第２の実施形態では、付箋紙２００に記述されている情報等が文字列である例について説明したが、これに限定されない。例えば、図形または画像であってもよい。これは第１の実施形態についても同様である。

また、上記第１および第２の実施形態では、箋紙２００へのタッチ操作に応じて影画像を表示させる例について説明したが、付箋紙２００に対する操作はタッチ操作に限定されない。例えば、投影面１００にカーソル画像を投影して表示させ、マウスやコントローラなどのデバイスの操作によってカーソル画像を付箋紙２００の位置に合わせる操作またはクリック操作としてもよい。あるいは、カメラ３０により撮影した投影面１００の画像を図示しないディスプレイにカーソルと共に表示させ、マウスやコントローラなどのデバイスの操作によって、ディスプレイ上に表示された付箋紙２００に対応する電子付箋の位置にカーソルを合わせる操作またはクリック操作としてもよい。別の例として、ユーザが所望の付箋紙２００の位置を指定するように行った発話音声を音声認識して該当の付箋紙２００を指定する操作、視線検出デバイスによりユーザの視線を検出してその視線が向いている付箋紙２００を指定する操作、ユーザの指・手・体などのジェスチャーを認識して付箋紙２００を指定する操作などとしても良い。

また、上記第１および第２の実施形態では、分類の数を第０分類〜第４分類の５つとする例について説明したが、分類の数はこれに限定されない。また、クラスタリングの分類（影画像の大きさ）は、第０分類〜第４分類のように離散的でなく連続的であってもよい。例えば、第１の実施形態において、付箋紙２００を所定時間以上連続してタッチ操作（長押し）している間は影画像の大きさを連続的に変化させ、タッチ操作が解除されたときに影画像の大きさの変化を停止することにより、任意の連続的な大きさに影画像を変更できるようにしてもよい。また、第２の実施形態において、連続値として得られる類似度の大きさを、連続的な影画像の大きさとしてそのまま表示するようにしてもよい。

その他、上記第１および第２の実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１，１’ 現実物体に対するクラスタリングの可視化システム
１０ 情報処理装置（可視化制御装置）
１１ 撮影画像データ入力部
１２ 動きデータ入力部
１３ 存在位置検出部
１４，１４’ 操作検出部
１５，１５’ クラスタリング部
１５Ａ 類似度検出部
１６，１６’ 画像データ生成部
２０ プロジェクタ（画像投影装置）
３０ カメラ（撮影装置）
４０ 動きセンサ
１００ 投影面
２００ 付箋紙（物理物体）

Claims (8)

1. 投影面に画像を投影して空間像を表示させる画像投影装置と、
   上記空間像を形成するための画像データを生成して上記画像投影装置に供給する情報処理装置と、
   上記投影面を撮影し、得られた撮影画像データを上記情報処理装置に供給する撮影装置とを備え、
   上記情報処理装置は、
   上記撮影装置から供給される上記撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する存在位置検出部と、
   上記存在位置検出部により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する操作検出部と、
   上記操作検出部により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行うクラスタリング部と、
   上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データを生成して上記画像投影装置に供給する画像データ生成部とを備え、
   上記画像投影装置は、上記画像データ生成部から供給された上記識別画像データに基づいて投影面に識別画像を投影することにより、上記空間像を上記物理物体に付随する態様で上記投影面に表示させる
   ことを特徴とする現実物体に対するクラスタリングの可視化システム。
2. 上記操作検出部は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが何回操作したかを検出し、
   上記クラスタリング部は、上記物理物体が操作された回数に応じて当該物理物体のクラスタリングを行い、
   上記画像データ生成部は、上記物理物体が上記ユーザにより操作された回数に応じた態様から成る空間像を上記ユーザにより操作された物理物体に付随して表示させるための識別画像データを生成する
   ことを特徴とする請求項１に記載の現実物体に対するクラスタリングの可視化システム。
3. 上記物理物体に付随して表示させる空間像は、上記物理物体の疑似的な影の像であり、
   上記画像データ生成部は、上記ユーザにより操作された回数に応じて大きさが異なる影の像を上記ユーザにより操作された物理物体に付随して表示させるための識別画像データを生成する
   ことを特徴とする請求項２に記載の現実物体に対するクラスタリングの可視化システム。
4. 上記操作検出部は、上記投影面に存在する複数の物理物体のうち、どの物理物体をユーザが操作したかを検出し、
   上記クラスタリング部は、上記撮影装置から供給される上記撮影画像データに基づいて、上記投影面に存在する複数の上記物理物体に記述されている内容を分析し、上記ユーザにより操作された物理物体に記述されている内容と、他の物理物体に記述されている内容との類似度を検出する類似度検出部を備え、上記類似度検出部により検出された類似度に応じて上記複数の物理物体のクラスタリングを行い、
   上記画像データ生成部は、上記類似度検出部により検出された類似度に応じた態様から成る空間像を上記投影面に存在する上記複数の物理物体のそれぞれに付随して表示させるための識別画像データを生成する
   ことを特徴とする請求項１に記載の現実物体に対するクラスタリングの可視化システム。
5. 上記物理物体に付随して表示させる空間像は、上記物理物体の疑似的な影の像であり、
   上記画像データ生成部は、上記類似度検出部により検出された類似度に応じて大きさが異なる影の像を上記投影面に存在する複数の上記物理物体のそれぞれに付随して表示させるための識別画像データを生成する
   ことを特徴とする請求項４に記載の現実物体に対するクラスタリングの可視化システム。
6. 撮影装置から供給される投影面の撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する存在位置検出部と、
   上記存在位置検出部により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する操作検出部と、
   上記操作検出部により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行うクラスタリング部と、
   上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データであって、画像投影装置が上記投影面に画像を投影することによって上記空間像を表示させるための識別画像データを生成して上記画像投影装置に供給する画像データ生成部とを備えた
   ことを特徴とする現実物体に対するクラスタリングの可視化制御装置。
7. 情報処理装置の存在位置検出部が、撮影装置から供給される投影面の撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する第１のステップと、
   上記情報処理装置の操作検出部が、上記存在位置検出部により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する第２のステップと、
   上記情報処理装置のクラスタリング部が、上記操作検出部により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行う第３のステップと、
   上記情報処理装置の画像データ生成部が、上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データを生成して画像投影装置に供給する第４のステップと、
   上記画像投影装置が、上記画像データ生成部から供給された上記識別画像データに基づいて上記投影面に画像を投影することにより、上記空間像を上記物理物体に付随する態様で上記投影面に表示させる第５のステップとを有する
   ことを特徴とする現実物体に対するクラスタリングの可視化方法。
8. 撮影装置から供給される投影面の撮影画像データに基づいて、上記投影面に存在する物理物体の位置を検出する存在位置検出手段、
   上記存在位置検出手段により上記投影面での存在位置が検出された上記物理物体に対するユーザの操作を検出する操作検出手段、
   上記操作検出手段により検出された上記ユーザの操作に基づいて、上記投影面に存在する上記物理物体に対するクラスタリングを行うクラスタリング手段、および
   上記投影面に存在する上記物理物体に対するクラスタリングの結果を識別可能に表した空間像を上記物理物体に付随する態様で表示させるための識別画像データであって、画像投影装置が上記投影面に画像を投影することによって上記空間像を表示させるための識別画像データを生成して上記画像投影装置に供給する画像データ生成手段、
   としてコンピュータを機能させるための現実物体に対するクラスタリングの可視化制御用プログラム。

Images