JP2009151351A - 画像情報処理システム - Google Patents

Abstract

【課題】直感的に理解しやすいユーザ・インターフェースを有する画像情報処理システムを提供する。
【解決手段】電源ボタンが押下されると、データ通信シート１００は、磁界結合により表示媒体２００へ、ケーブルによりカメラ３００へそれぞれ電力を供給する。データ通信シート１００は、検出部１０３の検出結果に基づいてシート側通信コイル層１０１と媒体側通信コイル層２０１との間に磁界結合を形成する。データ通信シート１００は表示媒体２００に媒体識別情報を送信するように要求し、この要求に応じて表示媒体２００は、媒体識別情報を送信する。カメラ３００は、表示媒体２００が置かれたデータ通信シート１００を含む空間を撮像して撮像画像を示す撮像画像データをデータ通信シート１００に出力する。データ通信シート１００はカメラ３００が出力した撮像画像データと、媒体識別情報から表示媒体２００に対する利用者の操作内容を認識する。
【選択図】図６

Description

本発明は、画像情報処理システムにおけるユーザ・インターフェースの技術に関する。

近年、パーソナルコンピュータのＧＵＩ（Graphical User Interface）において、表示を三次元構造化することにより、人の空間感覚を情報認識／操作に組み込み、複数のコンテンツに対する情報操作ユーザビリティを改善する技術が開発されている。さらに、アイコンなどのディスプレイ内に表示されるユーザ・インターフェースに対して、間接的に人の空間感覚を応用する以外に、タンジブル・ビットのような物理的なユーザ・インターフェースによって、直接的に人の空間感覚に訴える情報操作ユーザビリティの技術が開発されている。物理的なユーザ・インターフェースはディスプレイ内に表示されるユーザ・インターフェースと異なり、実際にその物に触れたり掴めたりするため、人がその物に対してどのような物理的操作ができるかということを直感的に理解しやすいという利点がある。

例えば、特許文献１には、複数の媒体（コンテンツ）を画像認識により連携させ、実空間での情報操作を可能とする発明が開示されている。
特開２００１−２６５５２３号公報

本発明の課題は、電子ペーパーなどの表示手段を実空間での情報操作に用いた画像情報処理システムを提供することである。

上述した課題を解決するため、本発明に係る画像情報処理システムは、利用者が処理の内容を指示するための指示領域を含む画像を表した画像データを送信する送信面を有する送信手段と、前記送信面に置かれ、当該送信面から送信されてくる画像データを受信して、当該画像データが表す画像を表示する表示領域を有する表示手段と、前記表示手段が置かれた前記送信面を含む空間を撮像した撮像画像を取得する取得手段と、前記取得手段が取得した撮像画像を解析して、利用者が前記指示領域を用いて指示した処理の内容を認識する認識手段と、前記認識手段が認識した内容の処理を実行する処理実行手段とを具備することを特徴とする。

好ましくは、前記取得手段が取得した撮像画像に基づいて、前記送信面における前記表示手段の向きを特定する特定手段と、前記表示手段が有する表示領域のうち、前記特定手段が特定した前記表示手段の向きに応じた部分に前記指示領域が配置された画像を表す画像データを生成する画像データ生成手段とを備え、前記送信手段は、前記画像データ生成手段によって生成された画像データを送信するとよい。

また、好ましくは、前記特定手段が特定した前記表示手段の向きから、当該表示手段において表示の基準となる基準方向を選択する方向選択手段と、前記表示手段の表示領域のうち、前記方向選択手段が選択した基準方向に対して所定の位置にある部分に前記指示領域が配置された画像を表す画像データを生成する画像データ生成手段とを備え、前記送信手段は、前記画像データ生成手段によって生成された画像データを送信するとよい。

また、好ましくは、前記特定手段は、前記取得手段が取得した撮像画像に基づいて、前記送信面における前記表示手段の位置および向きを特定し、前記特定手段が特定した前記表示手段の位置と前記送信面の所定の点または外縁との位置関係および当該表示手段の向きから、当該表示手段において表示の基準となる基準方向を選択する方向選択手段と、前記表示手段の表示領域のうち、前記方向選択手段が選択した基準方向に対して所定の位置にある部分に前記指示領域が配置された画像を表す画像データを生成する画像データ生成手段とを備え、前記送信手段は、前記画像データ生成手段によって生成された画像データを送信するとよい。

また、好ましくは、前記送信面には、複数の前記表示手段が置かれており、前記撮像画像に基づいて、前記複数の表示手段がそれぞれ有する表示領域のうち、互いに重なり合う表示領域を特定する特定手段と、表示領域が重なり合う表示手段のうち、上に重なっている表示手段によって表示される画像であって、前記特定手段が特定した表示領域に前記指示領域が配置された画像を表す画像データを生成する画像データ生成手段とを備え、前記送信手段は、表示領域が重なり合う表示手段のうち、上に重なっている表示手段に対して、前記画像データ生成手段によって生成された画像データを送信するとよい。

また、好ましくは、前記送信面には、それぞれ異なる識別情報が割り当てられた複数の前記表示手段が置かれており、前記画像データと、当該画像データの送信先の表示手段に割り当てられた前記識別情報とを対応付けて記憶する記憶手段を具備し、前記表示手段は、自身に割り当てられた前記識別情報を発信し、前記送信手段は、前記表示手段によって発信される識別情報を受信する受信面を有し、前記受信面が受信した識別情報に対応付けられて前記記憶手段に記憶されている画像データを読み出して前記送信面から送信するとよい。

本発明に係る画像情報処理システムによれば、そのユーザ・インターフェースが人にとって直感的に理解しやすいため、操作の習得が容易になり、作業効率が向上するという効果がある。

以下、図面を参照して本発明の実施の形態を説明する。
（Ａ：構成）
（Ａ−１：画像情報処理システムの全体構成）
図１は画像情報処理システム１の全体構成を示す図である。図に示すように、画像情報処理システム１は、薄手の平面状に構成されたデータ通信装置であるデータ通信シート１００と、薄手の平面状に構成された表示装置である表示媒体２００と、データ通信シート１００の鉛直方向上方に設置されたカメラ３００とを備える。表示媒体２００は、データ通信シート１００の上に置かれた状態で使用され、データ通信シート１００とカメラ３００は通信ケーブルによって接続されている。図には表示媒体２００を１つしか図示していないが、この表示媒体は複数であってもよい。

データ通信シート１００は、平らな面を有しており、その面から表示媒体２００に対して磁界結合を利用して電力および画像データの供給を行う装置である。以下、このデータ通信シート１００の面のことを「送信面」という。表示媒体２００は、データ通信シート１００の送信面から電力および画像データを受け取り、その電力を用いて受け取った画像データに基づいた画像を表示する装置である。カメラ３００は、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの固体撮像素子を備え、データ通信シート１００およびこれに置かれた表示媒体２００を含む空間を撮像し、撮像した撮像画像を撮像画像データにしてデータ通信シート１００に出力する装置である。このカメラ３００の位置や撮像素子の向き或いはカメラ３００のズーム機能は予め適切に調整されており、これにより、カメラ３００の撮像領域は、図中点線で示す如く、データ通信シートの送信面全域をカバーするようになっている。

（Ａ−２：表示媒体の構成）
図２は表示媒体２００の構成の一例を示すブロック図である。
制御部２３０はＣＰＵ（Central Processing Unit）などの演算装置であり、バス２９０を介して、媒体側通信コイル層２０１、パワー受給コイル層２１１、記憶部２４０及び表示部２５０を制御する。記憶部２４０はＲＯＭ（Read Only Memory）やＳＲＡＭ（Static Random Access Memory）などのメモリであり、表示部２５０に表示する画像データや制御部２３０に読み込まれる制御プログラムなどを記憶するほか、表示媒体２００に固有の媒体識別情報ＭＩＤを記憶する。この制御部２３０と記憶部２４０はフィルム状の電子回路基板である基板２００Ｂの中に設けられている。媒体側通信コイル層２０１は、少なくとも１つの媒体側通信コイル２０１ｃを備える。この媒体側通信コイル２０１ｃは、データ通信シート１００の要求に応じて上述の媒体識別情報ＭＩＤに対応する信号を送信するほか、データ通信シート１００から画像データを受け取る。パワー受給コイル層２１１は、データ通信シート１００から電力を受け取る、少なくとも１つのパワー受給コイル２１１ｃを備える。表示部２５０は例えば矩形の表示領域を有しており、制御部２３０による制御の下で、画像データに基づいた画像をその表示領域に表示する。この表示部２５０の表示方式は、電力の供給がなくても、一定期間表示内容を維持することができる表示方式であり、例えば、マイクロカプセル方式をはじめ、電子粉流体方式、液晶方式など様々な方式を採用することができる。

（Ａ−３：データ通信シートの構成）
図３はデータ通信シート１００の構成の一例を示す図である。
図に示すように、データ通信シート１００は、シート側通信コイル層１０１と、スイッチ層１０２と、検出部１０３と、パワー供給コイル層１１１と、制御部１３０と、記憶部１４０と、外部機器インターフェース１５０とを備え、これらがバス１９０を介して接続されている。検出部１０３、制御部１３０、記憶部１４０および外部機器インターフェース１５０は電子回路基板である基板１００Ｂの中に設けられている。
シート側通信コイル層１０１は、碁盤目状に配列された複数のシート側通信コイル１０１ｃを備えている。これらシート側通信コイル１０１ｃにはそれぞれ固有の識別情報ＳＩＤ（後述する）が割り振られている。スイッチ層１０２は、シート側通信コイル層１０１に備えられた各シート側通信コイル１０１ｃに対応するスイッチ（図示略）を備えており、オンにされたスイッチに対応するシート側通信コイル１０１ｃには、図示せぬ電源から電流が流される構成になっている。検出部１０３は、電流が流されたシート側通信コイル１０１ｃのインダクタンスを検出し、検出結果を出力する。パワー供給コイル層１１１は、碁盤目状に配列された複数のパワー供給コイル１１１ｃを備えており、これにより電磁波を送出し、表示媒体２００に対する無線送電を行う。

制御部１３０は、例えばＣＰＵなどの演算装置であり、記憶部１４０に記憶されている制御プログラムを読み出して実行することにより、データ通信シート１００の各部を制御する。記憶部１４０はフラッシュメモリなどの記憶装置であり、制御部１３０に読み込まれる制御プログラムや、後述する画像認識処理に必要な情報を記憶する。さらに、この記憶部１４０は、表示媒体２００が表示する画像データのほか、各々の表示媒体２００とこれらに送信する画像データとの対応関係を記述した画像データ対応表１４１と、媒体側通信コイル２０１ｃとシート側通信コイル１０１ｃとの対応関係を記述する識別情報対応表１４２とを記憶する。表示媒体２００の表示部２５０は、同時に１ページ分の画像データを表示するが、記憶部１４０に記憶された各画像データは、１又は複数ページの画像データからなるファイルであり、各画像データにはページ番号が割り当てられている。外部機器インターフェース１５０は、ＵＳＢ（Universal Serial Bus）などの接続端子であり、ＵＳＢケーブルなどの通信ケーブルを介してカメラ３００に接続されており、カメラ３００から出力される撮像画像データを受け取る。

（Ａ−４：画像データ対応表の構成）
次に、画像データ対応表１４１の詳細について説明する。
図４は画像データ対応表１４１を示す図であり、この図に示すような画像データ対応表１４１が記憶部１４０の所定の領域に予め記憶されている。画像データ対応表１４１には、各表示媒体２００の媒体識別情報ＭＩＤと、その媒体識別情報ＭＩＤが示す表示媒体２００に対して最後に送信した画像データが属するファイルのファイル名およびその画像データに割り当てられたページ数が対応付けられて記述されている。図に示す例では、媒体識別情報ＭＩＤが「ＭＩＤ−１」の表示媒体２００には、ファイル名「ＤＡＴＡ１」に含まれるページ「１」にあたる画像データが最後に送信されたことが記述されている。

（Ａ−５：識別情報対応表の構成）
次に、識別情報対応表１４２の詳細について説明する。
図５は識別情報対応表１４２を示す図であり、この図に示すような識別情報対応表１４２が記憶部１４０の所定の領域に予め記憶されている。この識別情報対応表１４２には、シート側通信コイル層１０１に設けられた全てのシート側通信コイル１０１ｃの識別情報ＳＩＤと、各シート側通信コイル１０１ｃの中心座標とが対応付けられて記述されている。この中心座標は、データ通信シート１００の送信面に定めた２次元のＸＹ座標によって表わされる。また、識別情報対応表１４２には、媒体識別情報ＭＩＤを記述するフィールドが設けられている。初期状態において、このフィールドはブランクであるが、いずれかのシート側通信コイル１０１ｃが媒体側通信コイル２０１ｃから媒体識別情報ＭＩＤを示す信号を受信したとき、制御部１３０は、そのシート側通信コイル１０１ｃの識別情報ＳＩＤに対応するフィールドに、受信した媒体識別情報ＭＩＤを記述する。

（Ａ−６：通信状態にあるデータ通信シートおよび媒体の構造）
図６は、表示媒体２００がデータ通信シート１００の送信面に置かれた状態の断面図である。
図に示すように、表示媒体２００は、下から順に、絶縁保護膜（図示略）、媒体側通信コイル層２０１、パワー受給コイル層２１１、基板２００Ｂ及び表示部２５０が重ねられた構成となっている。また、データ通信シート１００は、上から順に、絶縁保護膜（図示略）、シート側通信コイル層１０１、スイッチ層１０２、パワー供給コイル層１１１及び基板１００Ｂが重ねられた構成となっている。この構成において、シート側通信コイル層１０１と媒体側通信コイル層２０１とは、図示しない絶縁保護膜を挟んで、対向配置されることになる。そして、シート側通信コイル層１０１と媒体側通信コイル層２０１のそれぞれに設けられたコイル同士が磁界結合を形成し、データ通信を行う。さらに、これら２層を挟んで、パワー供給コイル層１１１とパワー受給コイル層２１１とが、それぞれに設けられたコイルによって磁界結合を形成して、パワー供給コイル層１１１からパワー受給コイル層２１１へ無線送電を行うことにより、表示媒体２００に電力が供給される。

図７は表示媒体２００がデータ通信シート１００の送信面に置かれた状態を鉛直方向上方から見た平面図である。データ通信シート１００の送信面を上方から見たとき、実際にはコイルは目に見えないが、ここでは、各コイルの位置関係を説明するため、各コイルを図中に示している。
パワー供給コイル層１１１に碁盤目状に配列された複数のパワー供給コイル１１１ｃは、それぞれ電磁波を送出している。パワー受給コイル２１１ｃは、自身のコイル周の内側領域に重なっているパワー供給コイル１１１ｃから電磁波を受けて表示媒体２００を駆動する電力を得る。制御部１３０がスイッチ層１０２の複数のスイッチを順番にオンにすると、検出部１０３はオンにされたスイッチに対応するシート側通信コイル１０１ｃのインダクタンスを順番に検出する。媒体側通信コイル２０１ｃがシート側通信コイル１０１ｃに重なると、そのインダクタンスは変化するので、制御部１３０は、その変化を検出して媒体側通信コイル２０１ｃに重なるシート側通信コイル１０１ｃを特定する。

なお、媒体側通信コイル２０１ｃはシート側通信コイル１０１ｃと任意の相対位置に置かれるため、上述した磁界結合を形成するためには、媒体側通信コイル２０１ｃがシート側通信コイル１０１ｃよりも大きいことが望ましい。同様に、パワー受給コイル２１１ｃはパワー供給コイル１１１ｃよりも大きいことが望ましい。

（Ｂ：動作）
次に、画像情報処理システム１の動作を説明する。
図８は画像情報処理システム１の動作の流れを説明するためのシーケンス図である。上述したように表示媒体２００は電力が供給されていない状態でも表示状態を維持できるので、表示媒体２００には、表示媒体２００が行った前回の画像表示処理によって表示された画像がそのまま表示されている。ここでは、例えば後で詳述する図９のように或る画像（図中「１」の画像）と、利用者が処理の内容を指示するための指示領域Ｒの画像とが表示されている。

利用者は、このような前回の画像が表示された状態の表示媒体２００をデータ通信シート１００の上に置き、データ通信シート１００の図示しない電源ボタンを押下すると、データ通信シート１００に電力が供給される（ステップＳＡ０１）。そして、上述した磁界結合により、パワー供給コイル１１１ｃからパワー受給コイル２１１ｃへ電力が供給される一方（ステップＳＡ０２）、外部機器インターフェース１５０からＵＳＢケーブルを通じてカメラ３００に電力が供給される（ステップＳＡ０３）。データ通信シート１００の制御部１３０は、全てのシート側通信コイル１０１ｃのインダクタンスを検出し（ステップＳＡ０４）、媒体側通信コイル２０１ｃに重なるシート側通信コイル１０１ｃを特定すると、そのシート側通信コイル１０１ｃに電流を流して媒体側通信コイル２０１ｃとの間に磁界結合を形成する（ステップＳＡ０５）。

次に、データ通信シート１００の制御部１３０は、磁界結合を形成したシート側通信コイル１０１ｃから媒体側通信コイル２０１ｃへ、その表示媒体２００に固有の媒体識別情報ＭＩＤを送信するように要求する（ステップＳＡ０６）。この要求に応じて表示媒体２００の制御部２３０は、記憶部２４０から媒体識別情報ＭＩＤを読出し、これに応じた信号を媒体側通信コイル２０１ｃから送信する（ステップＳＡ０７）。上述の要求をしたシート側通信コイル１０１ｃがこの信号を受信すると、制御部１３０は、受信した信号に応じた媒体識別情報ＭＩＤを、このシート側通信コイル１０１ｃと対応付けて識別情報対応表１４２に記述する（ステップＳＡ０８）。

一方、データ通信シート１００から電力を供給されたカメラ３００は、周期的（例えば０．０５秒毎など）に、表示媒体２００が置かれたデータ通信シート１００を含む空間を撮像する（ステップＳＡ０９）。そして、カメラ３００は撮像した撮像画像を示す撮像画像データをデータ通信シート１００に出力する（ステップＳＡ１０）。データ通信シート１００の制御部１３０は、カメラ３００が出力した撮像画像データを記憶部１４０に記憶し（ステップＳＡ１１）、その撮像画像データから表示媒体２００に対する利用者の操作内容を認識する（ステップＳＡ１２）。

ここで表示媒体２００に対する利用者の操作内容を認識する認識処理について説明する。図９は表示媒体２００に表示される指示領域の一例を示す図である。図に示す例においては、表示媒体２００の表示領域は矩形であり、表示領域において、この矩形の頂点の一つ（図では表示領域の左下隅の頂点）を原点とする２次元のｘｙ座標が定められている。そしてこのｘｙ座標のｙ軸方向を、表示部２５０による表示の基準となる基準方向として定めている。利用者が処理の内容を指示するための矩形の指示領域Ｒは、表示領域の基準方向に対して所定の位置関係にある部分に表示されている。これは、利用者が表示媒体を２００の表示領域をそのｙ軸方向から参照する場合を想定しており、そのｙ軸方向から参照したときに利用者が見やすい位置に指示領域Ｒを配置すべきだからである。図に示す例では、ｙ座標値が最も小さく、かつ、ｘ座標値が最も大きくなる部分である表示部２５０の右下隅の部分に、指示領域Ｒが表示されている。この指示領域Ｒの４つの頂点の座標値は、それぞれ（ｘａ，ｙａ）、（ｘｃ，ｙｃ）、（ｘｄ，ｙｄ）、（ｘｆ，ｙｆ）である。

この指示領域Ｒの内側には、ページ戻し又はページ送りを指示するための２つの領域Ｒａ、Ｒｂが表示されている。図の例では、指示領域Ｒの２つに分ける点線の左側に領域Ｒａが表示されており、右側に領域Ｒｂが表示されている。領域Ｒａは、表示媒体２００に表示されている画像をそのページ番号が１つ小さい画像に遷移させる、いわゆるページ戻しを行うための指示領域である。領域Ｒｂは、表示媒体２００に表示されている画像をそのページ番号が１つ大きい画像に遷移させる、いわゆるページ送りを行うための指示領域である。また、指示領域Ｒを２つに分ける点線と、指示領域Ｒの外縁が交差する点の座標値は、（ｘｂ，ｙｂ）、（ｘｅ，ｙｅ）である。

図１０はカメラ３００が撮像する撮像画像の一例を示す図である。
ここでは、データ通信シート１００には、２つの異なる表示媒体２００，２００−１がそれぞれ置かれている。利用者が表示媒体２００の領域Ｒｂの上に、操作子Ｐの先端を置くと、この状態を撮像したカメラ３００は、図１０に示すような撮像画像を示す撮像画像データをデータ通信シート１００に出力する。データ通信シート１００の制御部１３０は、記憶部１４０に記憶している画像認識処理用の情報を基に、この撮像画像データが表す画像を解析して、利用者が指示領域Ｒを用いて指示した処理の内容を認識し、認識した内容の処理を実行する。

図１１は制御部１３０が行う操作内容の認識処理の動作を説明するフロー図である。制御部１３０は、予め記憶部１４０に記憶している表示媒体２００の表示領域の形状や大きさを基に、カメラ３００から出力された撮像画像データを画像パターン解析などの手法で解析して、表示媒体２００の表示領域の輪郭を認識する（ステップＳＢ０１）。次に、制御部１３０は、データ通信シート１００の送信面に定めた２次元のＸＹ座標平面における、表示媒体２００の表示領域の４つの頂点をそれぞれ（Ｘａ，Ｙａ）、（Ｘｂ，Ｙｂ）、（Ｘｃ，Ｙｃ）、（Ｘｄ，Ｙｄ）として記憶部１４０に記憶する（ステップＳＢ０２）。この送信面上のＸＹ座標は、送信面の頂点の一つ（ここでは図中左下隅の頂点）を原点としている。

次に、制御部１３０は、予め記憶部１４０に記憶している操作子Ｐの形状やサイズと、予め記憶部１４０に記憶している指示領域Ｒａ，Ｒｂのｘｙ座標平面上の座標値（ｘａ，ｙａ）、（ｘｂ，ｙｂ）、（ｘｃ，ｙｃ）、（ｘｄ，ｙｄ）、（ｘｅ，ｙｅ）、（ｘｆ，ｙｆ）とを基に、操作子Ｐの輪郭と指示領域の輪郭とを認識し（ステップＳＢ０３）、その操作子Ｐの先端部分と同じ位置にある領域が領域Ｒａであるか領域Ｒｂであるかを検出して、その検出結果を記憶部１４０に記憶する（ステップＳＢ０４）。ここでは、図のように、操作子Ｐの先端部分は領域Ｒｂを指しているので、制御部１３０は、指示された領域が領域Ｒｂであることを記憶部１４０に記憶する。

次に、制御部１３０は、識別情報対応表１４２に記述されたシート側通信コイル１０１ｃのうち、その位置が表示媒体２００の４つの頂点に含まれているシート側通信コイル１０１ｃの識別情報ＳＩＤを検索し（ステップＳＢ０５）、さらに、識別情報対応表１４２において、そのシート側通信コイル１０１ｃに対応付けられている媒体識別情報ＭＩＤを特定する（ステップＳＢ０６）。図５の例で説明すると、制御部１３０は、該当する識別情報ＳＩＤとして「ＳＩＤ−４７」を検索し、これに対応する媒体識別情報ＭＩＤとして「ＭＩＤ−１」を特定する。

次に、制御部１３０は、画像データ対応表１４１を参照し、特定した「ＭＩＤ−１」に対応するファイル名及びおよびページ数を読み出す。この場合、図４に示すように、「ＭＩＤ−１」に対応するファイル名は「ＤＡＴＡ１」であり、そのページ数は「１」である。そして、制御部１３０は、読み出したファイル名及びページ数と、記憶部１４０に記憶しておいた操作子Ｐが指示する領域とに基づいて、表示媒体２００に表示すべき画像データを特定する（ステップＳＢ０７）。ここでは、ファイル名は「ＤＡＴＡ１」でページ数は「１」であり、記憶部１４０に記憶されている領域はページ送りを意味する領域Ｒｂであるから、表示媒体２００に表示すべき画像データは、ファイル名は「ＤＡＴＡ１」でページ数は「１」の画像データの次のページの画像データということになる。したがって、制御部１３０は、読出したページ数を１増加させた画像データである、ファイル名「ＤＡＴＡ１」のページ「２」の画像データを特定する。

再び図８の説明に戻る。制御部１３０は、ステップＳＡ１３において処理の内容を認識すると、その認識結果に応じた処理を行う（ステップＳＡ１３）。具体的には、制御部１３０は、図１１のステップＳＢ０７にて特定された画像データを記憶部１４０から読み出してシート側通信コイル１０１ｃから送信する。このとき、記憶部１４０に記憶されている画像データに、指示領域Ｒを表す画像データが含まれていてもよいし、含まれていなくてもよい。前者の場合には、制御部１３０は記憶部１４０から読み出した画像データをそのままシート側通信コイル１０１ｃから送信すればよいし、後者の場合には、記憶部１４０から読み出した画像データに、指示領域Ｒを表す画像データを合成し、その合成によって得られた画像データをシート側通信コイル１０１ｃから送信すればよい。この画像データを受信した表示媒体２００の制御部２３０は、この画像データに基づいて表示部２５０に画像を表示する（ステップＳＡ１４）。

以上説明した実施形態によれば、表示媒体２００をデータ通信シート１００の送信面上のどの位置に置いたとしても、データ通信シート１００から表示媒体２００に対して電力と画像データを供給して、表示媒体２００に画像を表示させることができる。よって、表示媒体２００には、電源も必要ないし、画像データを記憶する不揮発性の記憶手段も必要ない。
また、表示媒体２００が表示した表示内容は電力の供給がなくても一定期間、維持されるので、利用者は、データ通信シート１００から表示媒体２００を離し、それを持ち帰っても、表示内容を確認することができる。さらに、表示媒体２００には、データ通信シート１００から供給される画像データに基づいて、利用者が処理の内容を指示するための指示領域が表示されるため、表示媒体２００に例えばキーやボタンなどの専用の指示手段を設ける必要がない。よって、表示媒体２００の装置構成が簡単になり、製造コストを抑制することができる。

（Ｃ：変形例）
上記の実施形態を以下のように変形してもよい。
（変形例１）上述の実施形態においては、表示部２５０による表示の基準となる基準方向を、その表示領域の座標軸であるｙ軸方向としていたが、これは、複数の表示媒体２００がある場合でも同様である。図１２は、複数の表示媒体２００をデータ通信シート１００に様々な向きで置いた状態を上から見た図である。図１２（ａ）では、データ通信シート１００に３つの表示媒体２００−１、２００−２、２００−３が置かれており（以下、これらを区別しないときには単に表示媒体２００という）、各表示領域の表示の基準となる基準方向Ｄ１，Ｄ２，Ｄ３は、各ｘｙ座標のｙ軸である矢線ｙ１方向、矢線ｙ２方向、矢線ｙ３方向で定められている。表示媒体２００は、データ通信シート１００に対して任意の相対位置に置くことができるので、必ずしもこれらの基準方向がデータ通信シート１００の一つの方向に一致するとは限らない。例えば、図１２（ａ）に示すように、基準方向Ｄ１は、データ通信シート１００の送信面にとっては図中下向きの方向であるし、基準方向Ｄ２は図中上向きの方向であるし、基準方向Ｄ３は図中左方向であるというように、各表示媒体２００で定められる基準方向はそれぞれ異なる。したがって、表示媒体２００−１、２００−２、２００−３のそれぞれには、図に示すような位置に、指示領域Ｒ１、Ｒ２、Ｒ３が表示される。

ここで、利用者が全ての表示媒体を２００を或る１つの方向から参照する場合を想定して、その方向から参照したときに利用者が見やすい位置に各表示媒体２００の指示領域Ｒを配置するようにしてもよい。これにより、図１２（ａ）に示すような表示状態から、図１２（ｂ）に示すような表示状態となる。このように表示状態の遷移させるときの処理を以下に説明する。以下の説明では、利用者がデータ通信シート１００の送信面のＹ軸方向から各表示媒体２００を参照するものと仮定し、データ通信シート１００の記憶部１４０にはその旨が予め記憶されているものとする。図１２に示す状態において、利用者が上述の電源ボタンを押下し、各表示媒体２００とデータ通信シート１００との間でデータ通信のための磁界結合が形成されると、データ通信シート１００の制御部１３０は、各表示媒体２００を撮像した撮像画像データをカメラ３００から受け取り、これを解析することによって、各表示媒体２００の４つの頂点と指示領域Ｒ１、Ｒ２、Ｒ３の位置から、現在の基準方向Ｄ１、Ｄ２、Ｄ３を特定する。

次に、制御部１３０は、新しい基準方向Ｄ１０、Ｄ２０、Ｄ３０を各表示媒体２００の向きによって決める。この新しい基準方向Ｄ１０、Ｄ２０、Ｄ３０は、各表示媒体２００におけるｘｙ座標のｘ軸並びにｙ軸の示す方向、およびこれらの逆方向のうち、データ通信シート１００の送信面のＸＹ座標におけるＹ軸方向となす角度が最も小さい方向である。例えば、図１２（ａ）に示した表示媒体２００−１の基準方向Ｄ１０は、表示媒体２００−１におけるｘ軸（ｘ１軸という）の正方向（以下、方向ｘ１という）とその逆方向（以下、方向ｘ１ｒという）、および表示媒体２００−１におけるｙ軸（ｙ１軸という）の正方向（以下、方向ｙ１という）とその逆方向（以下、方向ｙ１ｒという）のいずれかとなる。このうち、データ通信シート１００の送信面のＸＹ座標におけるＹ軸方向となす角度が最も小さいものは、図１２（ｃ）に示すように方向ｙ１ｒである。したがって、図１２（ｂ）に示すように、ｙ１軸方向の逆方向（図１２（ｃ）における方向ｙ１ｒ）に平行な基準方向Ｄ１０が制御部１３０によって選択される。同様に、表示媒体２００−２では、ｙ２軸方向の正方向に平行な基準方向Ｄ２０が選択され、表示媒体２００−３では、ｘ３軸方向の正方向に平行な基準方向Ｄ３０が選択される。

そして、制御部１３０は、表示媒体２００−１、２００−２、２００−３における現在の基準方向Ｄ１、Ｄ２、Ｄ３と新しい基準方向Ｄ１０、Ｄ２０、Ｄ３０とがそれぞれ成す角度を算出し、算出した角度に応じた回転演算を施した画像データを各表示媒体２００に送信する。例えば現在の基準方向と新しい基準方向とが成す角度が１８０度である場合、１８０度回転させられた画像を表す画像データが各表示媒体２００に送信されることになる。図の例では、この演算の結果、指示領域Ｒ１、Ｒ３はそれぞれ指示領域Ｒ１０、Ｒ３０へ移動して表示される。一方、指示領域Ｒ２は、その位置が移動することなく、指示領域Ｒ２０となる。なお、上述の通り、指示領域Ｒ３は指示領域Ｒ３０へ移動して表示されるが、新しく定められた基準方向Ｄ３０は表示媒体２００−１、２００−２と異なり、表示媒体２００−３の長手方向ではない。このような場合には、制御部１３０は上述した回転演算に加えて、指示領域Ｒ除く画像データに対して画像の全体が表示されるような縮小演算をしてもよい。

また、この変形例１において、新たに選択される基準方向Ｄ１０、Ｄ２０、Ｄ３０はデータ通信シート１００の送信面のＸＹ座標におけるＹ軸方向と、表示媒体２００のそれぞれの向きによって定められたが、これ以外の方法で定められてもよい。例えば、図１３はデータ通信シート１００の送信面が円状である場合を説明する図である。このような円状の送信面においては、複数の利用者の各々は、その送信面を囲むような位置に居るものと想定することができる。このことを踏まえて、図に示すような場合においては、基準方向Ｄ１０、Ｄ２０、Ｄ３０は次のように定義される。すなわち、各表示媒体２００の表示領域の重心と、送信面の外縁Ｃに含まれる点とを結ぶ線分のうち、最短の線分を特定し、この線分の外縁Ｃに含まれる点から上記重心に向いた方向を各表示媒体２００における基準方向として定義する。なお、上記最短の線分をもって基準方向を定義するという態様は、表示媒体２００と上記外縁とが所定の位置関係にあることの一例であって他の態様であってもよい。
また、上記基準方向は、送信面の外縁Ｃとの位置関係で定義されるのではなく、データ通信シート１００の所定の点との位置関係によって定義されるものであってもよい。例えば、データ通信シート１００の送信面が円卓状である場合において、各表示媒体２００の基準方向は、その重心から上記送信面の中心Ｏ（又は中心Ｏに近い所定の点）へ引いた直線で示す方向で定義される、といった具合である。
利用者は、データ通信シート１００に対して所定の位置から表示媒体２００を参照するので、上述のようにすることで、利用者の視点に対して一定の位置に指示領域を表示させることができ、利用者にとって指示操作がしやすくなるという効果がある。

（変形例２）上述の実施形態において、指示領域Ｒは表示媒体２００の右下隅に表示されていたが、各表示媒体２００の相対的な位置によって、指示領域Ｒの表示位置が決定されてもよい。例えば、制御部１３０は、データ通信シート１００の送信面上に置かれた複数の表示媒体２００が互いに重なる場合には、その重なる領域に指示領域Ｒを表示させてもよい。この場合、制御部１３０は、各表示媒体２００の４つの頂点座標を認識しているので、これらに基づいて各表示媒体２００が互いに重なる領域を特定すればよい。また、このように重なる領域には、上述のページ送りのための指示領域Ｒ以外の指示領域を表示させてもよい。

図１４は変形例２に係る指示領域Ｒｃの表示位置について示した図である。データ通信シート１００には媒体識別情報が「ＭＩＤ−１」である表示媒体２００−１が置かれている。表示媒体２００−１の４つの頂点は（Ｘａ，Ｙａ）、（Ｘｂ，Ｙｂ）、（Ｘｃ，Ｙｃ）、（Ｘｄ，Ｙｄ）として記憶部１４０に記憶されている。ここで、利用者が新たに媒体識別情報が「ＭＩＤ−２」である表示媒体２００−２を、表示媒体２００−１の左下隅に重なるように置く。各表示媒体２００に表示されている画像データは、図４に示すとおりである。したがって、表示媒体２００−１にはファイル名「ＤＡＴＡ１」のページ「１」が、表示媒体２００−２にはファイル名「ＤＡＴＡ２」のページ「５」が、それぞれ表示されている。制御部１３０は、表示媒体２００−２の４つの頂点を認識し、そのうちの１点、（Ｘｅ，Ｙｅ）が上述した表示媒体２００−１の４つの頂点の内部に存在することを判定し、これらの頂点座標から表示媒体２００−１と表示媒体２００−２が互いに重なる領域を特定する。そして、制御部１３０は当該領域に指示領域Ｒｃを表示させる。

利用者が操作子Ｐの先端を指示領域Ｒｃに置くと、制御部１３０はこれを撮像した撮像画像データを解析する。指示領域Ｒｃは予め「上に置かれた表示媒体２００の画像を下に置かれた表示媒体２００へ複写する」という処理を指示するものとして定義されている。したがって、制御部１３０は、撮像画像データに基づいて、上に置かれた表示媒体２００−２の４つの頂点を特定し、識別情報対応表１４２を参照して、表示媒体２００−２の媒体識別情報「ＭＩＤ−２」を特定する。そして、この媒体識別情報「ＭＩＤ−２」に基づいて、画像データ対応表１４１を参照し、表示媒体２００−２に表示されている画像データとして、ファイル名「ＤＡＴＡ２」およびページ「５」を特定すると、表示媒体２００−１へ、この画像データを送信する。そして、図１５に示すように、記憶部１４０に記憶された画像データ対応表１４１の内容のうち、媒体識別情報「ＭＩＤ−１」に対応するファイル名を「ＤＡＴＡ２」に、ページ数を「５」に書き換える。この結果、表示媒体２００−１には表示媒体２００−２に表示されている画像が複写される。各表示媒体２００と画像データとの対応関係を記述した画像データ対応表１４１が更新される。

なお、上述の例においては、処理の内容は「複写」であったが、各表示媒体２００に表示された画像を入れ替える処理であってもよいし、「各表示媒体２００に表示された画像を縮小し、下に置かれた表示媒体２００に並べて表示する」という、いわゆる統合処理であってもよい。また、各表示媒体２００に表示された画像データを、各表示媒体２００の重なりの順序と、それぞれのページ数にしたがって並べ替える処理であってもよい。この場合、下に置かれた表示媒体２００の一部の領域は、その上に置かれた別の表示媒体２００によって隠されるので、制御部１３０は、その領域をカメラ３００の撮像する撮像画像データによって特定することにより、各表示媒体２００の重なりの順序を特定することができる。

上述のような構成により、表示媒体２００を操作子Ｐで指し示すことに加えて、表示媒体２００の配置そのものが、表示媒体２００に対する処理内容を表現する操作手段となる。したがって、この構成を用いることにより、画像情報処理の操作が、直感的にわかりやすくなり、操作習得までの期間が短縮され、誤作動が減り、効率が向上するという効果がある。

画像情報処理システムの全体構成を示す図である。 媒体の機能構成の一例を示すブロック図である。 データ通信シートの機能構成の一例を示す図である。 画像データ対応表を示す図である。 識別情報対応表を示す図である。 媒体がデータ通信シートの送信面に配置された状態の断面図である。 媒体がデータ通信シートの送信面に配置された状態を上から見た図である。 画像情報処理システムの動作の流れを説明するためのシーケンス図である。 媒体に表示される指示領域の一例を示す図である。 カメラが撮像する撮像画像の一例を示す図である。 データ通信シートの制御部が行う操作内容の認識処理の動作を説明するフロー図である。 媒体をデータ通信シートに様々な向きで置いた状態を上から見た図である。 データ通信シートが円卓である場合を説明する図である。 変形例２に係る指示領域の表示位置について示した図である。 変形例２に係る識別情報対応表を示す図である。

符号の説明

１…画像情報処理システム、１００…データ通信シート、１００Ｂ…基板、１０１…シート側通信コイル層、１０１ｃ…シート側通信コイル、１０２…スイッチ層、１０３…検出部、１１１…パワー供給コイル層、１１１ｃ…パワー供給コイル、１３０…制御部、１４０…記憶部、１４１…画像データ対応表、１４２…識別情報対応表、１５０…外部機器インターフェース、１９０…バス、２００，２００−１，２００−２，２００−３…表示媒体２００Ｂ…基板、２０１…媒体側通信コイル層、２０１ｃ…媒体側通信コイル、２１１…パワー受給コイル層、２１１ｃ…パワー受給コイル、２３０…制御部、２４０…記憶部、２５０…表示部、２９０…バス、３００…カメラ、Ｃ…周、ＭＩＤ…媒体識別情報、Ｏ…中心、Ｐ…操作子、Ｒ，Ｒ１，Ｒ１０，Ｒ２，Ｒ２０，Ｒ３，Ｒ３０…指示領域、ＳＩＤ…識別情報。

Claims (6)

1. 利用者が処理の内容を指示するための指示領域を含む画像を表した画像データを送信する送信面を有する送信手段と、
   前記送信面に置かれ、当該送信面から送信されてくる画像データを受信して、当該画像データが表す画像を表示する表示領域を有する表示手段と、
   前記表示手段が置かれた前記送信面を含む空間を撮像した撮像画像を取得する取得手段と、
   前記取得手段が取得した撮像画像を解析して、利用者が前記指示領域を用いて指示した処理の内容を認識する認識手段と、
   前記認識手段が認識した内容の処理を実行する処理実行手段と
   を具備することを特徴とする画像情報処理システム。
2. 前記取得手段が取得した撮像画像に基づいて、前記送信面における前記表示手段の向きを特定する特定手段と、
   前記表示手段が有する表示領域のうち、前記特定手段が特定した前記表示手段の向きに応じた部分に前記指示領域が配置された画像を表す画像データを生成する画像データ生成手段とを備え、
   前記送信手段は、前記画像データ生成手段によって生成された画像データを送信する
   ことを特徴とする請求項１に記載の画像情報処理システム。
3. 前記特定手段が特定した前記表示手段の向きから、当該表示手段において表示の基準となる基準方向を選択する方向選択手段と、
   前記表示手段の表示領域のうち、前記方向選択手段が選択した基準方向に対して所定の位置にある部分に前記指示領域が配置された画像を表す画像データを生成する画像データ生成手段とを備え、
   前記送信手段は、前記画像データ生成手段によって生成された画像データを送信する
   ことを特徴とする請求項２に記載の画像情報処理システム。
4. 前記特定手段は、前記取得手段が取得した撮像画像に基づいて、前記送信面における前記表示手段の位置および向きを特定し、
   前記特定手段が特定した前記表示手段の位置と前記送信面の所定の点または外縁との位置関係および当該表示手段の向きから、当該表示手段において表示の基準となる基準方向を選択する方向選択手段と、
   前記表示手段の表示領域のうち、前記方向選択手段が選択した基準方向に対して所定の位置にある部分に前記指示領域が配置された画像を表す画像データを生成する画像データ生成手段とを備え、
   前記送信手段は、前記画像データ生成手段によって生成された画像データを送信する
   ことを特徴とする請求項２に記載の画像情報処理システム。
5. 前記送信面には、複数の前記表示手段が置かれており、
   前記撮像画像に基づいて、前記複数の表示手段がそれぞれ有する表示領域のうち、互いに重なり合う表示領域を特定する特定手段と、
   表示領域が重なり合う表示手段のうち、上に重なっている表示手段によって表示される画像であって、前記特定手段が特定した表示領域に前記指示領域が配置された画像を表す画像データを生成する画像データ生成手段とを備え、
   前記送信手段は、表示領域が重なり合う表示手段のうち、上に重なっている表示手段に対して、前記画像データ生成手段によって生成された画像データを送信する
   ことを特徴とする請求項１に記載の画像情報処理システム。
6. 前記送信面には、それぞれ異なる識別情報が割り当てられた複数の前記表示手段が置かれており、
   前記画像データと、当該画像データの送信先の表示手段に割り当てられた前記識別情報とを対応付けて記憶する記憶手段を具備し、
   前記表示手段は、
   自身に割り当てられた前記識別情報を発信し、
   前記送信手段は、
   前記表示手段によって発信される識別情報を受信する受信面を有し、
   前記受信面が受信した識別情報に対応付けられて前記記憶手段に記憶されている画像データを読み出して前記送信面から送信する
   ことを特徴とする請求項１に記載の画像情報処理システム。

Images