JP4550460B2

JP4550460B2 - コンテンツ表現制御装置およびコンテンツ表現制御プログラム

Info

Publication number: JP4550460B2
Application number: JP2004099912A
Authority: JP
Inventors: 実西畑; 信彦舟渡; 克哉中川; あずさ梅本; 巌石橋
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2004-03-30
Filing date: 2004-03-30
Publication date: 2010-09-22
Anticipated expiration: 2024-03-30
Also published as: JP2005284882A

Description

この発明はコンテンツ表現制御装置に関し、特に、比較的小型の表示画面を用いて比較的大型あるいは１ページあたりの情報量が多いコンテンツを閲覧するための携帯型のコンテンツ表現制御装置、およびコンテンツ表現制御プログラムに関する。

パーソナルコンピュータやワードプロセッサ、あるいはワークステーションなど（以下「ＰＣなど」）では、通常、比較的大型の画面を備えているため、比較的大型あるいは１ページあたりの情報量が多い電子文書を閲覧する場合に適している。

しかし、１ページあたりの情報量がさらに多い場合は、電子文書の大きさが画面以上になる程度に拡大表示したい場合がある。また、画面の一部に配置した小型のウィンドウに大型の電子文書の一部を表示したい場合もある。このような場合、ＰＣなどでは、表示部分の右端や下端にスクロールバーと呼ばれるユーザインターフェイス部材を設け、マウスなどのポインティングデバイスによる操作を通じて、電子文書上の見える範囲（ビュー）を制御している。その他、一時的にスクロール専用モードに遷移し、マウスのドラッグ操作などによりビュー制御をおこなう方法もある。なお、この方法はマウスなどでは好適であるが、画面に対して直接操作するペン型の入力器具では、画面外にドラッグできないため不適である。

また、表示される電子文書の拡大／縮小率を制御するためには、数値で指定する方法、メニューから所定の拡大率を選択する方法、スライドバーにより連続的に操作する方法、あるいは、拡大／縮小モードに遷移してポインティングデバイスでクリックすることにより所定の部分を中心に拡大／縮小をおこなう方法（いわゆる虫眼鏡ツール）などがある。

一方、携帯情報機器においては、机上での操作を想定したマウスなどの使用は好ましくないため、４方向にスクロールするための４個のボタンを設けている場合や、感圧タブレットを張り合わせた表示画面に上記スクロールバーを表示し、上述のペン型の器具で操作する場合などがある。しかしながらこのような方法では、特に電子文書が大型である場合、ビューを任意の場所に移動させたい場合の直感性に欠けることから操作者のストレスの原因になり、また、操作時間が多くかかってしまう。

そこで、たとえば、非特許文献１は、画面の小さい情報機器において電子文書の直感的なスクロール操作を実現するために、情報機器の背面にマウスのボール機構を組み込み、机上を移動すると、その移動量および移動方向に従って表示内容がスクロールするという仕組みを開示している。

また、非特許文献１に類似する仕組みとして、非特許文献２では、バーコードリーダとペン型マウスを組み合わせたデバイスを小型情報機器に接続したシステムを用いている。この非特許文献２によると、壁の特定の位置にバーコードを貼り付け、バーコードの位置を基点として壁の表面をデバイスでなぞり、デバイスの変位に応じて小型情報機器の表示部に表示した情報をスクロールさせることにより、あたかも壁の中を覗くような感覚をもたらすという仕組みを開示している。

その他、「拡張現実感」（ＡｕｇｍｅｎｔｅｄＲｅａｌｉｔｙの訳語。強調現実感、強化現実感、複合現実感などと訳される場合もある）と呼ばれる技術分野では、コンピュータに接続されたカメラにより現実世界を撮影し、撮影された現実世界の画像中における特定の物体に、コンピュータによって生成された仮想的な文書や画像（以下仮想画像）を重ね合わせて表示するという試みがなされている。これによると、カメラと特定の物体の位置関係により、仮想画像の見え方を制御するようなシステムが実現可能となる。

たとえば非特許文献３では、現実世界に置かれた２次元マトリックスコードの位置を認識し、それに対応付けられた仮想画像の表示位置の制御をおこなう手法を開示している。

また、特許文献１は、カメラから特定の物体（アクセス要素）に付加された識別子までの距離を含む相対位置情報を測定し、距離に応じて識別子に対応する仮想画像の表示内容を変化させる装置を開示している。

また、特許文献２は、現実世界に設置された複数の標識をカメラで捉え、それらの画面内の位置を認識したうえで仮想画像の表示位置を調整することにより、現実世界の物体とそれに対応する仮想画像の表示位置とのずれを小さくしようとする装置を開示している。
特許第２８８１９７３号公報特開２０００−４１１７３号公報椎尾一郎、「Scroll Display:超小型情報機器のための指示装置」、情報処理学会論文誌、Vol.39, No.5, pp.1448-1454, May 1998年5月, 情報処理学会ISSN 0387-5806 (1997年７月１日受付、1997年１２月１日採録) 椎尾一郎、「Scroll Browser:壁の中のブラウザー」、インタラクション’99論文集 ISSN 1344-0640 情報処理学会シンポジウムシリーズ Vol.99, No.4, pp.39-40,1999年3月暦本純一、「2次元マトリックスコードを利用した拡張現実感の構成手法」、インタラクティブシステムとソフトウェア４ ISBN4-7649-0258-3 日本ソフトウェア科学会WISS'96、田中二郎編、近代科学社

しかしながら、以上説明した従来技術、たとえば、上記非特許文献１では、主に机上での操作を前提としているが、目的のビューの電子文書内での絶対的な位置が既知の場合であっても、ビューの移動には試行錯誤が要求される。

例えば、電子文書内での絶対的な位置、たとえば「下端の中央」などにビューを移動する場合、操作者は変化する表示内容を目で追いながら同時に機器を移動操作しなければならない。このとき、電子文書の下端を超えるような動作操作をおこなった場合を想定すると、主に２種類の対応が考えられる。

第１は下端を越えた場合、空白を表示すると同時に、超えた距離に応じたビューの座標を維持するという対応である。しかしながら第１の対応では、空白を表示している状態では、電子文書の位置を基準にした現在のビューがどこになるかという見当がつきにくくなるためビューの復帰が困難となる。

第２は下端を越えた場合、画像を下端の状態で静止させるという対応である。しかしながら第２の対応では、電子文書上の原点と机上の原点の対応が失われるため操作者の直感に反し、安定した操作ができなくなる。

また、非特許文献１において、電子文書として地図を例にとって、同文献の記載に従い「東京と大阪の位置を手がかりに名古屋の部分へスクロールする」（非特許文献１、ｐ．３、左上から１０行目）場合を考えてみる。この場合、地図が大きく、最初に東京の位置（第１点）だけが見えている場合、名古屋（第３点）に移動するためには、前提として、あらかじめ大阪の位置（第２点）に移動して、第１点および第２点に対応する、機器の机上の物理的な位置をそれぞれ確認しておく、という準備操作が必要となる。この準備操作中においては、操作者は変化する表示内容を目で追いながら同時に機器を移動させて第２点を探索しなければならないため、目の疲労の原因となり、操作時間も多くかかってしまう可能性がある。その他、机上の操作では、表示部分の物理的な位置を移動させることになるため、操作者は視線で表示部分の位置を追跡せざるを得ないという負担が生じ、目の疲労の原因となる可能性がある。

また、非特許文献１では、出先などで机が無い環境では、手を用いたマウスボールの操作を提案している（非特許文献１、ｐ．３、左下から５行目〜）が、大きな電子文書内でビューを遠い場所に移動させたい場合には、マウスボールを何度も繰り返し回す操作が必要となり、机上での操作に比較して直感性に欠け、操作時間も多くかかってしまう可能性があるという問題がある。

さらに、非特許文献２の方法では、操作デバイスがバーコード（原点）を離れた状態でトラッキングがずれると、再びバーコードに戻る必要がある。トラッキングがずれる原因としては、操作デバイスの向きが一定でなければならない（一定を保つのは困難である）ことと、デバイスが壁面から離れた場合、または壁面に凹凸がある場合などが考えられる。

また、非特許文献３、特許文献１および特許文献２に開示された発明では、携帯可能なシステムにおいて、特定のオブジェクトに接近してそのビューを精密に制御するための構成については、必ずしも明確でない。

本発明は、このような問題を解決するためになされたものであって、携帯機器に適し、容易にコンテンツ内のビュー移動等の表現に関するひとつ以上のパラメータの制御を行うことが可能なコンテンツ表現制御装置、およびコンテンツ表現制御プログラムを提供することを目的とする。

この発明の他の目的は、コンテンツに対応する特定の実物体にカメラを接近させてその輪郭が撮影範囲の外となった場合も、表現に関するパラメータを容易に制御することが可能なコンテンツ表現制御装置、およびコンテンツ表現制御プログラムを提供することである。

この発明のある局面に従うと、コンテンツ表現制御装置は、
コンテンツを表示する画像表示手段と、
ユーザが表示することを望む前記コンテンツの表示範囲をガイドするガイド画像を得るために、前記コンテンツの表示を制御するための基準物体を撮影するガイド画像撮影手段と、
表示対象となる前記コンテンツの表示データを保持する表示データ保持手段と、
前記ガイド画像撮影手段が撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記ガイド画像データ入力手段が入力したガイド画像のデータにおいて、前記基準物体の表面に複数個配置され、前記基準物体の表面位置を特定する位置指示マーカーを認識するマーカー認識手段と、
前記マーカー認識手段が認識する位置指示マーカーのうちの少なくとも２個を、前記基準物体に対して前記ガイド画像のデータが占める領域であるガイド領域を特定する重要マーカー群として決定する重要マーカー群決定手段と、
前記重要マーカー群決定手段が決定した各重要マーカーのそれぞれに含まれる位置情報を読み取り前記ガイド領域を特定するガイド領域特定手段と、
前記ガイド領域特定手段が特定するガイド領域に基づいて、前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて、前記表示データ保持手段が保持するコンテンツの表示データの少なくとも表示範囲を制御して該表示範囲の表示データを前記画像表示手段に表示させる制御を行なう表示制御手段とを備える。

好ましくは、前記位置指示マーカーは、該位置指示マーカーの基準点が指示する点の位置情報を特定する基準点情報を含み、
前記ガイド領域特定手段は該基準点情報を認識することにより前記ガイド領域を特定する。

好ましくは、前記基準点情報は、２色以上の着色領域のパターンによって符号化された位置情報を含む。

好ましくは、前記位置指示マーカーの基準点は、背景色以外の第１色で着色され、
前記基準点情報は、前記背景色および前記第１色を除く第２色を含む色で着色されたパターンでそれぞれコード化されたものであり、
前記ガイド領域特定手段は、該第１色で着色された基準点および該基準点情報を認識することにより前記ガイド領域を特定する。

好ましくは、コンテンツ表現制御装置は、
前記ガイド画像における前期位置指示マーカーとして電子透かしにより位置データが付与された画像を用いる。

この発明の他の局面にしたがうと、コンテンツの表現を制御するコンテンツ表現制御プログラムであって、
コンテンツを表示する画像表示ステップと、
ユーザが表示することを望む前記コンテンツの表示範囲をガイドするガイド画像を得るために、前記コンテンツの表示を制御するための基準物体を撮影するガイド画像撮影ステップと、
表示対象となる前記コンテンツの表示データを保持する表示データ保持ステップと、
前記ガイド画像撮影ステップが撮影したガイド画像のデータを入力するガイド画像データ入力ステップと、
前記ガイド画像データ入力ステップが入力したガイド画像のデータにおいて、前記基準物体の表面に複数個配置され、前記基準物体の表面位置を特定する位置指示マーカーを認識するマーカー認識ステップと、
前記マーカー認識ステップが認識する位置指示マーカーのうちの少なくとも２個を、前記基準物体に対して前記ガイド画像のデータが占める領域であるガイド領域を特定する重要マーカー群として決定する重要マーカー群決定ステップと、
前記重要マーカー群決定ステップが決定した各重要マーカーのそれぞれに含まれる位置情報を読み取り前記ガイド領域を特定するガイド領域特定ステップと、
前記ガイド領域特定ステップが特定するガイド領域に基づいて、前記画像表示ステップが表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成ステップと、
前記表示制御データ生成ステップが生成する表示制御データを出力する表示制御データ出力ステップと、
前記表示制御データ出力ステップが出力する表示制御データに基づいて、前記表示データ保持ステップが保持するコンテンツの表示データの少なくとも表示範囲を制御して該表示範囲の表示データを前記画像表示ステップに表示させる制御を行なう表示制御ステップとをコンピュータに実行させる。

本発明では、ガイド画像の変化に追随してコンテンツのパラメータ制御がおこなわれるので、コンテンツの表示位置などのパラメータをスムーズに制御することができる。とりわけ、対応関係情報として二次元以上の座標情報を取得して用いると、たとえば表示位置と拡大率など、異なるパラメータを同時あるいは連続的に制御することが可能となる。

また、コンテンツ表現制御装置は撮影手段をさらに備える場合は、操作者が撮影手段と基準物体との位置関係を自在に操作しながら基準物体を撮影してガイド画像として用いることにより、パラメータを直感的かつ瞬時に制御することが可能となる。

また、コンテンツ表現制御装置を動かさずに撮影対象物のみを動かすことによってもパラメータを制御することができ、コンテンツが画像の場合は操作者の視線の移動による疲労を軽減することができる。

［実施の形態１］
以下に、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品および構成要素には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰返さない。

図１は、本実施の形態にコンテンツ表現制御装置の具体例を示す図である。

本実施の形態においてはコンテンツ表現制御装置の一例として、携帯電話機のハードウェアを用いるものとして説明を行う。

図１（ａ）は携帯電話機の前面、図１（ｂ）は携帯電話機の背面をそれぞれ示している。携帯電話機は、筐体１０１と、ＬＣＤ（Liquid Crystal Display）１０２と、操作ボタン群１０３と、ＣＣＤ（Charge-Coupled Devices）カメラ１０６と、マイクロフォン１０５と、スピーカ１０４とを備える。

次に、図２に、本実施の形態におけるコンテンツ表現制御装置のハードウェア構成の具体例を示す。

図２を参照して、本実施の形態におけるコンテンツ表現制御装置２００は、ＣＰＵ（Central Processing Unit）等から構成されて、装置全体を制御する制御部２２と、装置の外部に対してデータの入出力をおこなう入出力部２４と、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などから構成されて、制御部２２において実行されるプログラムや、そのプログラムの中間データまたは他のコンピュータから受信したデータ等を記憶する記憶部２３とを含む。

さらに上述の入出力部２４は、「１」、「２」などの数字ボタンおよびメニュー項目指示・選択ボタンなどを含む操作部２４１と、ユーザに情報を表示するＬＣＤなどの表示部２４２と、画像を入力するＣＣＤカメラなどの画像入力部２４３と、他の装置と通信するための通信部２４４と、音声を入力するマイクロフォンなどの音声入力部２４５と、音声を出力するスピーカなどの音声出力部２４６とを含む。

なお、図２に示されるハードウェア構成は、一般的な携帯電話のハードウェア構成であって、本発明にかかるコンテンツ表現制御装置のハードウェア構成は、図２に示されるハードウェア構成に限定されるものではない。

たとえば、図３は、本発明にかかるコンテンツ表現制御装置の最小構成を示す図である。図３に示したコンテンツ表現制御装置２００ｂは、入出力部２４ｂは対象となるコンテンツの表現に関するパラメータ（表示部分の位置・向き・表示倍率・時間軸における再生時点他、例を下記各実施例に示す）を制御するためのデータを生成する表現制御データ生成部２４２ｂと、ガイド画像データを入力する画像データ入力部２４３ｂとを含む。なお、記憶部２３ｂの内部構造は２３と同様であるので省略している。この構成では、画像の入出力をおこなうＬＣＤ１０２やＣＣＤカメラ１０６は、本発明にかかるコンテンツ表現制御装置２００ｂの外部にあって使用時に接続することとしてもよい。

次に、図４は、本実施の形態におけるコンテンツ表現制御装置の機能構成を示すブロック図である。図４を参照して、本実施の形態におけるコンテンツ表現制御装置は、表現を制御するための基準物体が撮影されたガイド画像データ３１１を取得する画像データ取得部３０１と、基準物体に対するガイド画像の位置や拡大／縮小率などの対応関係情報を取得する対応関係情報取得部３０２と、取得された対応関係情報に基づいて、コンテンツのビューの左上の座標や拡大率など、表現に関するパラメータを制御するためのデータを生成する表現制御データ生成部３０３と、表現制御データをもとにして入力コンテンツ３１２の表現に関するパラメータを制御して出力データ３１３として出力するパラメータ制御部３０４とを含んで構成される。画像データ取得部３０１の機能は、たとえば、図２の画像入力部２４３により実現され、それ以外の機能は、制御部２２が、記憶部２３に記憶されるプログラムを読出し、そのプログラムを実行して図２に示されるハードウェア構成の各部を制御することによって発揮される。例えば、記憶部２３に記憶されるプログラムによって、制御部２２は、特定の操作ボタンが押されている間のみ画像データを取得し表現制御データを生成するように制御してもよい。出力データ３１３が、たとえば、図２の表示部２４２に与えられる。

次に、図５に、上記ガイドとなる画像の元になるパターンを印刷したガイドシート４０１の具体例を示す。ガイドシート４０１は、その表面を含む平面上のある点を原点にした二次元の座標を示す座標指示マーカー４０２が多数印刷されたものである。

ガイドシート４０１上の各数値４０３は、各座標指示マーカーの横軸に対応する値、すなわちＸ座標をわかりやすく示すための目盛りであり、たとえば”１０”は１０×２５６というＸ座標を示している。同様に、ガイドシート４０１上の各数値４０４は、Ｙ座標をわかりやすく示すため目盛りである。これらの目盛りの数値４０３および４０４は参考として付与したものであって、本実施の形態に関して必ずしも必要なものではない。

図６に座標指示マーカー４０２の詳細な構造の例を示す。

図６（ａ）は、座標表示マーカー４０２の一例のパターン５０６を示す。座標指示マーカーパターン５０６は、認識の基準となる基準パターン５０１と、基準パターンの中心位置のＸ座標およびＹ座標の値をそれぞれ表す座標情報パターン５０４および５０５と、それらの座標情報パターンが存在する方向を示す方向指示子５０２とを含む。

図６（ｂ）は各座標情報パターンと座標値との対応表である。図６（ｂ）を参照して、座標値は１６進数で示している。たとえば、“０ｘ１００”は１６進数の１００すなわち十進数の２５６という座標値を示しており、対応する座標情報パターン５１１の右下角部分が塗りつぶされている。座標情報パターンの右下角、左下角、右上角、左上角、の各部分は、座標値を二進数で表現した場合の下位から数えた第９ビット、第１０ビット、第１１ビット、第１２ビット、をそれぞれ表現している。例えば図６（ａ）では、基準パターン５０１の中心座標（Ｘ，Ｙ）は（０ｘ２００、０ｘ１００）であることを示す。すなわち、図５に戻って、各座標指示マーカー（４０２など）はシート上で各々が異なる二次元の座標（Ｘ，Ｙ）を表現している。

次に、本実施の形態におけるコンテンツ表現制御装置において、コンテンツの閲覧制御を実行する際の処理について、図７、図８、図９、および図１０を参照して説明する。

図７に、本実施の形態におけるコンテンツ表現制御を実行する際の処理の流れをフローチャートで示す。

図７を参照して、始めに、ステップＳ０１でガイド画像データが取得される。ガイド画像データとは、例えば図５を参照して、４０１のようなガイドシートの部分領域７００をＣＣＤカメラ１０６によって撮影し、撮影した画像の各点の輝度を画像入力部２４３の機能によりディジタルデータの配列に変換したものである。なお、本実施の形態では説明の簡略化のためガイド画像データはモノクロームであり、ガイドシート４０１とビュー７００はＣＣＤカメラの（複数軸を中心とした）回転、ビューの中心と周辺との距離の差、レンズの特性、シートの歪みなどによるずれがないものと仮定する。（実際にはこれらに対して補正処理が必要になる場合がある。）
次にステップＳ０２でガイド画像データの輝度とコントラストが補正される。例えばガイド画像データを構成する各画素の輝度の平均値と分散がそれぞれ一定の値に近くなるように補正すると次のステップの処理が容易になる場合がある。

次のステップＳ０３ではガイド画像データが２値化される。すなわち、例えば各画素の輝度の値が一定の閾値以上のものを１、閾値未満のものを０、というそれぞれの値に変換する。

次にステップＳ０４で座標指示マーカーの探索をおこない、ガイド画像データ内に存在する座標指示マーカー画像の左端の基準パターン（図６では５０１）の中心位置の座標データをリストアップする。ここでいう座標データはガイドシート４０１上の座標情報のことではなく、ガイド画像データ７００の左上の原点を基準にした座標情報のことである。なお、座標指示マーカーの基準パターンの探索については如何なる方法を用いてもよいが、その一例については後述する。このステップＳ０４により、図８の部分領域７００内の座標指示マーカーの基準パターンの中心位置の座標データの大部分がリストアップされる。

但し、一定の仮想的な境界線７０４より右の基準パターンはリストアップしない。なぜなら７０４より右の基準パターン、例えば７０３はそれ自身が保持する座標情報パターンが画面外となり、後のステップＳ０５に用いることが出来ないからである。すなわちステップＳ０４では、７０１を始めとする９行×３列＝２７個の座標指示マーカーに関するガイド画像データ内の座標データがリストアップされる。

次にステップＳ０５では、ステップＳ０４でリストアップされた座標指示マーカーのうち、重要マーカーを選択・決定する。重要マーカーとは、ガイドシート４０１内の原点を基準とした、ガイド画像データ７００の位置（すなわち左上の座標および領域の大きさ）を特定するために必要な最小限の座標指示マーカーのことである。ここでは、リストアップされた座標データについて、Ｘ座標およびＹ座標がともに最小のもの８０１および、ともに最大のもの８０２、の２個を重要マーカーとして決定する。ここでは回転などによるずれがないものと仮定する。この場合は、重要マーカーの個数は２個で十分である。

図９は、ガイド画像データ中の重要マーカーのみを示した図である。図９を参照して、ガイド画像データ８００の左上角を原点として、マーカー８０１の基準パターンの中心座標は（Ｘ１，Ｘ１）であり、またマーカー８０２の基準パターンの中心座標は（Ｘ２，Ｘ２）であることを示している。次にステップＳ０６では、各重要マーカーに記載された座標値（ガイドシートの原点を基準とした座標値）を読み取る。重要マーカー８０１内の座標情報パターンを図６（ｂ）の表と照合すると、１６進数で（０ｘ２００，０ｘ２００）すなわち１０進数で（５１２，５１２）という座標値を持つことがわかる。同様に重要マーカー８０２は１６進数で（０ｘＡ００，０ｘ６００）すなわち１０進数で（２５６０，１５３６）という座標値を持つことがわかる。なお、座標値読み取りの詳細な手順は後述する。

ここで、図１０に、本実施の形態におけるコンテンツ（電子地図）およびコンテンツのビューの例を示す。

図７において、次のステップＳ０７では、図１０を参照してコンテンツ９００の一部をＬＣＤ１０２に表示するための表示範囲９０１が算出される。コンテンツ９００（電子地図）上の各座標はガイドシート４０１上の各座標に対応しているものとする。ここでビュー９０１の左上の頂点９０２のコンテンツ上の座標（Ｘｐ，Ｙｐ）と右下の頂点９０３のコンテンツ上の座標（Ｘｑ，Ｙｑ）を求める。図９および図１０に付与された変数を用いると、以下のとおりとなる。

Ｘｐ＝（Ｘ２・Ｘａ−Ｘ１・Ｘｂ）／（Ｘ２−Ｘ１）
Ｙｐ＝（Ｙ２・Ｙａ−Ｙ１・Ｙｂ）／（Ｙ２−Ｙ１）
Ｘｑ＝Ｘｐ＋Ｘｖ・（Ｘａ−Ｘｐ）／Ｘ１
Ｙｑ＝Ｙｐ＋Ｙｖ・（Ｙａ−Ｙｐ）／Ｙ１
右辺の変数の値はいずれもこれまでのステップで算出済である。

次にステップＳ０８ではコンテンツのビューの切り出しおよび表示がおこなわれる。例えばコンテンツ９００がビットマップデータであるとすると、表示用メモリの各画素に対応するコンテンツ上の各点の輝度データが切り出され、表示用メモリに転送される。表示用メモリとガイド画像データは必ずしも同一の解像度である必要はないが、ここでは簡便のために同一の解像度であるとすると、例えば表示用メモリ内のある画素の座標（Ｘｗ，Ｙｗ）に対応するコンテンツ内の座標（Ｘｒ，Ｙｒ）は、次の式により計算され、表示用メモリ内の（Ｘｗ，Ｙｗ）に対応するアドレスに転送され、ＬＣＤ１０２における表示に用いられる。

Ｘｒ＝Ｘｗ・（Ｘｑ−Ｘｐ）／Ｘｖ＋Ｘｐ
Ｙｒ＝Ｙｗ・（Ｙｑ−Ｙｐ）／Ｙｖ＋Ｙｐ
なお、コンテンツ９００がベクトルデータであるとすると、コンテンツ内の各特徴点の座標データ（Ｘｒ，Ｙｒ）は、次の式によって表示用メモリ内の対応する画素の座標（Ｘｗ，Ｙｗ）に変換することができる。

Ｘｗ＝Ｘｖ・（Ｘｒ−Ｘｐ）／（Ｘｑ−Ｘｐ）
Ｙｗ＝Ｙｖ・（Ｙｒ−Ｙｐ）／（Ｙｑ−Ｙｐ）
ベクトルデータの場合は、次いで輝度データを転送する代わりに、求められた座標群を元にして表示用メモリ上に図形データのレンダリングがおこなわれる。このとき、図形が画面外となる部分はクリッピング処理により除外する。最後にステップＳ０９では終了の指示が検出されているかどうかによって分岐し、検出されていない場合はステップＳ０１に戻って繰り返し、検出されている場合は処理を終了する。

ここで上述のステップＳ０４における、座標指示マーカーの探索方法の一例について図１１（ａ）〜（ｃ）を参照して説明する。

図１１（ｂ）は座標指示マーカーの左端にある基準パターン５０１を数値の二次元配列によって表現したものである。すなわち黒い部分は０、白い部分は１でそれぞれ表現している。図１１（ａ）はステップＳ０３で２値化されたガイド画像データの各画素を左上から右下へ順に走査し、基準パターン付近を中心として周囲計５×５画素を取得したデータの一例である。

図１１（ａ）では、本来０であるべき画素が１となっていたり、また逆の場合もあり、本来の基準パターン図１１（ｂ）とは誤差が出ている。このように、カメラで撮影した画像データでは、ノイズの影響や位置のずれなどにより、誤差が発生することが多い。

ここで図１１（ａ）の各要素から図１１（ｂ）の対応する各要素を差し引いた結果の配列が図１１（ｃ）である。

図１１（ｃ）において、各要素の絶対値の総和を計算すると３となる。この値はパターン類似度の評価値とすることができ、この評価値が小さいほど図１１（ａ）の中心は基準パターンの中心に近いと評価することができる。

たとえば、ある座標を中心として計算したこの値が一定の閾値以下の場合、その座標を基準パターンの中心座標の候補とし、その周囲にある計Ｎ×Ｎ画素以内で評価値が最小となる座標を上記リストアップの対象とすればよい。

なお、実際はＣＣＤカメラとガイドシートとの距離が一定ではないため、図１１（ｂ）のパターンは、ガイド画像内のひとつの画素を中心として、大きさを変えて複数回照合することが好ましい。図１１（ｂ）は５×５画素であるが、たとえばこの他、７×７画素、９×９画素などの相似形に近いパターンで照合するとよい。ここでそれぞれ求めた、各要素の差の絶対値の総和をそれぞれのパターンの画素数で除算した値を評価値として用いることができる。これにより、ＣＣＤカメラとガイドシートとのおおよその距離を推定することも可能となる。なお、本実施例では、ガイド画像を２値化したパターンで照合しているが、必ずしも２値化する必要はなく、輝度の階調を伴ったガイド画像を用いて照合してもよい。

ここで、前述のステップＳ０６において、重要マーカーに記載されたガイドシート上の座標値を読み取る詳細な方法について、図１２を参照して説明する。

図１２は、ガイド画像内の重要マーカーのひとつの例を示し、黒丸は黒い画素、白丸は白い画素がそれぞれの位置に存在していることを示している。

前述のステップＳ０４において基準パターンの中心点１１０３のガイド画像内の座標が既に求められている。中心点１１０３を起点として１方向およびその反対方向（ここでは左右それぞれの方向）に各画素を走査すると、それぞれ「黒、白、黒」というパターンが検出される。このそれぞれのパターンの端となる黒い点１１０１から黒い点１１０５までの距離が、基準パターンの見かけの大きさｕ（図１２に示す）であると認識される。

さらにある方向（ここでは右）への走査を進めると、上下を白い領域に挟まれた黒い領域上の点１１０６が発見される。これにより、中心点１１０３を基準として１１０６の方向にガイドシート上の座標情報が存在することが認識される。

点１１０５から引き続き右に走査すると、再び「黒、白、黒」というパターンが検出される。このパターンの端となる黒い点１１０８の先に座標情報が存在する。点１１０１から点１１０８までの距離は、ほぼ２ｕ（図示）となるはずであり、この値に近いほど座標指示マーカーの認識精度が高いと判断することができ、逆にこの値がある閾値より外れていると、認識が失敗したと判断することができる。

失敗した場合はエラー処理として以前のいずれかのステップに戻ることになる。例えばＳ０５に戻って重要マーカーが別のものに選びなおすなどの処理をおこなうとよい。

なお、このようなエラー処理は本実施例の本質ではないため、図７のフローチャートからは省略している。

次に、マーカーの左端から２．５ｕの点１１０９を中心として右下、左下、右上、左上それぞれの方向の距離約０．３ｕと画素を調べると、点１１０３に対応するガイドシート上のＸ座標を表すパターンを認識することができる。同様にマーカーの左端から３．５ｕの点１１１０を中心として画素を調べると点１１０３に対応するガイドシート上のＹ座標を表すパターンを認識することができる。これらのパターンがどのような座標値を表すかという対応表は、図６（ｂ）の通りである。

以上の説明のように、実施の形態１では、ガイドシートとＣＣＤカメラの位置関係により、少なくとも２つの座標指示マーカー（但しそれぞれのＸ座標とＹ座標のいずれもが同一でないもの）が撮影範囲内にあれば、コンテンツをガイドシートの位置に対応させて表示することができる。

実施の形態１では、図７のフローチャートに示すように繰り返し処理され、ガイドシートとＣＣＤカメラの位置関係が刻々と変化する場合でも、その変化に追随して処理がおこなわれるので、コンテンツのビュー制御、すなわちスクロールやズーム操作をスムーズにおこなうことができる。とりわけ、スクロールとズーム操作を同時あるいは連続的におこなうことが可能となる。また、ガイドシートの特定の位置を撮影することにより、ビューを直感的かつ瞬時に移動することが可能となる。なお、携帯電話装置を動かさずにガイドシートのみを動かすことによってもビューを制御することができ、操作者の視線の移動による疲労を軽減することができる。

なお、コンテンツの仮想的な大きさは、ガイドシートに印刷された座標情報に依存する。ここで、精度の高いビュー制御のためにはガイドシート中の実際の長さに対して対応する座標の変化が大きい（すなわち全体として大きい）ガイドシートを用いるとよいし、少ない動作で広範囲のビュー制御をおこなうためには座標の変化が小さい（すなわち全体として小さい）ガイドシートを用いるとよい。このように実際の長さに対する座標の変化が異なるガイドシートを複数用意して用いてもよいし、プログラム内で座標情報に特定の係数を掛けることにより座標の変化を論理的に変更してもよい。

また、１枚のガイドシートの中で部分的に座標の変化が異なるような特殊なガイドシートを用いると、コンテンツの部分によって、異なる精度でビュー制御をおこなうことが可能となる。例えば、コンテンツに印章の画像が含まれている場合、印章の位置に対応する座標のスケールを大きくしたガイドシートを用いると、印章の照合作業が容易となる。また特定の領域を切り出して拡大したガイドシートを別に用意して、必要に応じて用いてもよい。

［実施の形態１の変形例１］
実施の携帯１では、説明の簡略化のためＣＣＤカメラとガイドシートの間で、３次元空間のいずれかの座標軸を中心とする回転によるずれが無視できる程度と仮定している。

ところが実際は操作者が実施例１のようにガイドシートとＣＣＤカメラとを相対的に回転させずに正確に保持することは困難な場合もある。また、意図的に回転させることによってコンテンツのビューの長辺・短辺を都合の良い向きに変えることができたり、鳥瞰図のように斜めから見て近接部分を大きくかつ遠くも含めて一度に広く閲覧することができれば便利である。

このような場合についても、原則として図７のフローチャートに添った処理が可能である。但し、以下に説明するいくつかのステップにおける処理の内容が異なる。

（ステップＳ０４の処理）
まず、ステップＳ０４にて座標指示マーカーの探索およびリストアップをおこなう場合、ガイドシートを斜めから撮影することによりガイド画像内のマーカーが極端に変形していると、図１１のような形状のパターンマッチングによって探索することが困難となる。

そこで、たとえば座標指示マーカーの基準パターンを特定の色（赤色など）で着色しておき、カラー対応のＣＣＤカメラで撮影し、色情報を保持したガイド画像を取得すれば、基準パターンを容易に探索することができる。この場合ステップＳ０３では２値ではなく、赤・白・黒など３値以上に変換するとよい。

（ステップＳ０５の処理）
ステップＳ０５では、後述する理由により、４個の重要マーカーを決定する。たとえば、まずガイド画像内でそれぞれの基準パターンが最も離れた２個のマーカーを重要マーカーとして決定し、次いで、その２個の基準パターンを結ぶ直線からの距離が最も離れた基準パターンを含むマーカーを第３の重要マーカーとし、最後に第３の重要マーカーの基準パターンからの距離が最も離れた基準パターンを含むマーカーを第４の重要マーカーとするとよい。このように、相互にできるだけ離れるような複数のマーカーを重要マーカーとして選択・決定することにより、コンテンツのビュー制御の精度が高くなる。

（ステップＳ０６の処理）
次いで、ステップＳ０６では各重要マーカーに記載されたガイドシート上の座標情報の読み取りが必要になるが、ここでも仮にガイドシート上のマーカーが図１２のような形状であって、撮影する向きによりガイド画像内の該形状が極端に変形していると、座標情報の読み取りが困難となる。

そこで、たとえば図１３に示すように、着色によるパターンを用いて座標指示マーカーを構成すると、形状が変形していても読み取り処理が比較的容易となる。

ここで、図１３を参照して、座標指示マーカー１２００は、それぞれ特定の色で着色された小領域（セル）の配列１２０１ないし１２１０、および黒色の枠１２１１によって構成され、認識の基準となる基準セル１２０１と、基準セルの中心位置のＸ座標の値を表すＸ座標情報セル群１２０２〜１２０５、およびＹ座標の値を表すＹ座標情報セル群１２０６〜１２０９、およびそれらのセル群の読み取り誤りを検出する為のパリティ値表示セル１２１０を含んでいる。

ここで、基準セル１２０１は上述のとおり赤色、その他のセルについては表示すべきビット値に応じて青色（ビット値＝０）または緑色（ビット値＝１）に着色しておくものとする。パリティ値表示セル１２１０は青のセルの総数を偶数とするための調整値として定めておくことにより、この規則に反する場合は読み取り誤りによりデータは無効と判定することができる。

例として、あるマーカーについてセルの色の配列が「赤、（青、緑、青、緑、）（青、緑、緑、緑、）青」とすると、赤色のセルの中心座標はＸ＝０ｂ０１０１×２５６、Ｙ＝０ｂ０１１１×２５６となる（ここで０ｂに続く４桁の数字は二進数とする）。また、青色のセルの総数が４すなわち偶数であるため正常と判定する。

（ステップＳ０７の処理）
次にステップＳ０７では、ＬＣＤ１０２上の座標と対応するコンテンツ９００上の座標とを１方向あるいは相互に変換するための係数を算出する。

図１４は、ガイドシート４０１上の任意の点がＣＣＤカメラ１０６内の撮像面にガイド画像中の１点として投影される様子をモデル化して示したものである。後述するように、カメラ内部の正確なモデル化は本実施形態には必要ないことがあるため、本モデルはピンホールカメラのような簡単な形態を採っている。

図１４を参照して、ガイドシート面S_gは、３次元空間における平面の投影変換によって、カメラ内部の撮像面S_cに写像される。

いまS_g上の点P_gがS_c上の点P_cに投影されるとき、適当な座標系Gのもとで、P_g=(x,y,z)、投影の中心点O(図１４ではピンホールの点)をO=(x0,y0,z0)とする。さらにxy平面が撮像面S_cを含むような座標系Cのもとで、P_c=(u,v,0)、O=(u0,v0,d)とする
中心点OとP_cとP_gは直線上にあるから、以下のことが言える。

このことは、座標系Cの原点および３×３の回転行列Rを適当に定め、座標系Cをz軸方向に平行移動することで、座標系GをRで回転した系が得られるようにすれば、以下のように座標値を用いて表現できる。

座標系G上の点P_g=(x,y,z)が、投影変換によって座標系C上の点P_c=(u,v,0)に写される関係は、一般にz≠0の場合も含めて上式で表せる。上記の関係にもとづき、幾つかのサンプル点からP_gとP_cの座標値を対応づけるのに必要なパラメータを求める問題は、カメラのキャリブレーション問題の一種であり、ＤＬＴ（Direct Linear Transformation）法という解法が知られている。このようなＤＬＴ法については、たとえば、文献：Abdel-Aziz et al, Direct Linear Transformation from comparator coordinates into object space coordinates in close-range photogrammetry, Proc. of the Symp. On Close-Range Photogrammetry (1971), pp.11-18, American Soc. of Photogrammetryに開示がある。

本実施形態の変形例では、ガイドシート面S_gが座標系Gのxy平面であって、P_g=(x,y,z)において常にz=0となる。このときＤＬＴ法は、４つのサンプル点に対するガイドシート面と撮像面それぞれにおける座標値にもとづいて、８元１次の連立方程式を解くことに帰着し、携帯機器を含む今日のコンピュータでは比較的高速に解ける。

すなわち、i番目のサンプル点についてP_g=(x_i,y_i,0)、P_c=(u_i,v_i,0)とするとき、式Ｙを展開して、P_gからP_cを計算する以下の式を得る。

ここで、Ｒi、K₁, K₂, …, K₈については以下の関係がある。

式ＺをＫ=(K₁, K₂, …, K₈)^Tについて解くと、以下の関係式を得る。

４つのサンプル点に対する式Ｗを並置して得られる８元連立１次方程式を解けばパラメータK₁, K₂, …, K₈が得られる。すると、式ＺによってP_gからP_cを計算できる。ここでは略すが、式Ｚを変形してP_cからP_gを計算する式も得られる。

結局、パラメータK₁, K₂, …, K₈を求めておけば、撮像面すなわちガイド画像上の座標と、ガイドシート面の座標は簡単な計算によって相互に変換できることから、ガイド画像に対応するＬＣＤ１０２上の座標と、ガイドシート面に対応するコンテンツ９００上の座標とが同様の計算によって相互に変換できる。たとえば、本実施例でも実施の形態１と同様、コンテンツ９００がビットマップデータであれば、ＬＣＤ上の各座標に対応するコンテンツ上のそれぞれの座標を求めてその輝度データをＬＣＤに対応するメモリに転送すればよいし、コンテンツ９００がベクトルデータであれば、コンテンツ上の特徴点の座標をＬＣＤ上の座標に変換した上でＬＣＤに対応するメモリ上でレンダリングをおこなうとよい。

実際のカメラは複数のレンズを備えることもあり、座標変換の精度を重視するときは、光学歪みなどの補正を考慮したより複雑な方法を用いることもできる。しかし、本実施形態の変形例においては、ユーザによるガイドシート面や撮像面の位置変更は、ＬＣＤ上における閲覧内容に即座に反映されるべきである。例えば所定の時間間隔で連続的に変更を反映するならば、高速に座標変換の計算ができる本実施例の方法が好ましい。また、座標変換にはある程度の精度が求められるが、ユーザによる意図的な変更以外に手ブレによっても座標位置は変化するから、変換で得られた座標をそのままＬＣＤ上に反映せずに、後述する手ブレ補正を施した方が、ユーザにとっては見易く好ましいことがある。

なお、上述の座標変換方法の説明は、ガイドシート面上の座標を撮像面上の座標に変換するために公知の手法が応用できることを示しているが、本実施形態にとっては、どのような座標変換方法を用いても構わない。例えば、最初にＤＬＴ法を用いて座標変換のパラメータを求めた後は、後述する動きベクトルを求める方法を用いて、座標値の変化を求めるようにしてもよい。

［実施の形態１の変形例２］
上記実施の形態は、ガイドシート面が仮想的な平面の一部であること、すなわち彎曲していないことを前提としている。ところがガイドシートが薄い紙のようなものである場合、ガイドシートの彎曲に従って対応するコンテンツも彎曲して見えるとより自然である。このような場合、ガイド画像について各座標指示マーカーを頂点とした四角形の小領域に区切り、それぞれの四角形の４つの頂点をサンプル点として上記パラメータK₁, K₂, …, K₈を求め、ＬＣＤの該当部分に該当部コンテンツの該当部分をマッピングして表示するとよい。これによりガイドシートの彎曲に添ってコンテンツも彎曲して見える。

上記の応用として、球面をガイドシートとして用いることもできる。たとえば、球面に経度と緯度による座標情報を書き込んでおいたものをガイドシートとして、本発明によるコンテンツ表現制御装置を用いて、メルカトル図法で表現された世界地図のデータを上記のような四角形の小領域毎にマッピングすると、あたかも地球儀を見るように閲覧することが可能となる。実際の地球儀では固定された１種類の世界地図が閲覧できるだけであるが、本発明によると、時間軸別あるいは用途別の世界地図データを複数用意することにより、ひとつの球を表示媒体に見立てて、用途別の地球儀を閲覧したり、時間とともに変化する気象図を閲覧したりすることが可能となる。

同様に、立体的に成型された山岳模型に経度と緯度による座標情報を書き込んでおいたものをガイドシートとして、各種用途別の地図データをマッピングして利用することも可能である。

［実施の形態１の変形例３］（ガイドシートのバリエーション）
以下では、実施の形態１の変形例３として、その他の多様なガイドシートの形態について図１５および図１６を参照して説明する。

図１５（ａ）はガイドシート上の各点（図では”“＊”で示す）のそれぞれの座標を図形や色のパターンではなく。文字（数字を含む）によって表現したものである。文字によって表現された座標値をデータとして読み取るには、ＯＣＲ(Optical Character Reader)と呼ばれる装置において広く使用されている文字読取技術を応用することによって可能となる。

図１５（ｂ）はガイドシートとして自由な画像を用いたものである。すなわち、コンテンツ表現制御装置の内部にあらかじめ外部基準画像[図１５（ｂ）]の全体と同一または相似形のデータを照合用基準画像として保持しておき、操作時には図１５（ｂ）の一部を撮影してディジタル化したガイド画像とパターン照合することにより、どの部分がガイド画像として切り取られているか、すなわちビューを算出することができ、その算出結果を元にして表示するコンテンツのビュー制御が可能となる。

このとき用いる画像は、できるだけ隅々までパターンが書き込まれ、しかも部分ごとに似たパターンが少ないほど誤認識が少なくなり好適である。

なお、照合用基準画像とガイド画像のパターン照合はいかなる方法を用いてもよいが、第１の方法として、照合用画像データの左上の座標から順に拡大率を変えながらガイド画像を構成する各画素との輝度の差をとり、その差を比較部分の画素数で割った値が最小となる座標および拡大率を探索することによってビューを算出する方法がある。また、第２の方法として、照合用画像データを適切なブロックに分割し、ブロック毎に縦横の画素の色成分別の輝度の列を離散コサイン変換したデータと、ガイド画像について同様に離散コサイン変換したデータとを周波数成分別に照合する方法がある。

第２の方法はガイド画像全体に対して、まず低い周波数成分すなわち大まかな輝度変化のパターンから照合し、差異がある閾値内である場合のみ順次階層的に高い周波数成分照合していくことにより、無駄な細部の照合をできるだけ省略し、照合処理の効率化を図ろうというものである。

ここで、図１５（ｂ）のようにガイドシートとして自由な画像を用いる場合、使用する場所で撮影した静止画を用いることも可能であり、専用のガイドシートを持ち歩く必要がないという利点がある。たとえば、出張先でコンテンツを閲覧する場合、現地にて雑誌の表紙あるいは新聞紙の一部などを、撮影して照合用画像として登録した上で、ガイドシートとして用いるとよい。この場合、撮影した対象物の大きさにより、コンテンツの仮想的な大きさを決定することができる。例えば、新聞紙をＡ４版の大きさに折りたたんでそれを撮影・登録してガイドシートとして利用すると、コンテンツがＡ４版の大きさにマッピングされるので、操作者はコンテンツの仮想的な大きさがあたかもＡ４版であるように知覚する。

ここで、精度の高いビュー制御のためには比較的大きなガイドシートを用いるとよいし、一方、少ない動作で広範囲のビュー制御をおこなうためには比較的小さなガイドシートを用いるとよい。このように目的に応じて任意にビュー制御の精度を選択することが可能となる。なお、第１の実施例においても同様に、複数種類のスケールのガイドシートを用意して、要求される精度に応じて使い分けることができる。複数種類のスケールのガイドシートは、たとえば元になるガイドシートを単に拡大または縮小して複写することによって作成することができる。

また、逐次撮影されたガイド画像の変化から、カメラの撮像面に対するガイドシートの動きを表す動きベクトルを検出可能であれば、検出された動きベクトルを元にして表現するコンテンツの表現制御を可能としてもよい。輝度パターンの見かけの動き（オプティカルフロー）を検出して、そこから動きベクトルを計算する手法については、動画像処理の分野における多くの研究があり、その基本的な手法は文献: J.K.Aggarwal et al, On the computation of motion from sequences of images -- a review, Proc. IEEE, Vol. 76, No.8, pp.917-935, 1988に開示されている。ここで、ガイドとなる物体は平面状の物体や剛体でなくても、動きベクトルを検出可能なことがある。図１６（ｃ）はガイドとして操作者の片手（機器を持たないほうの手）を用いた例である。この場合、手の輪郭パターンや、手の皮膚のしわのパターンを用いたパターン照合を行ってビューを算出し、そこから動きベクトルを検出してもよいし、より一般的にオプティカルフローにもとづいて動きベクトルを求めてもよい。また、照合や検出の精度を上げるために、手の皮膚に特徴的な図形パターンあるいは図６のような座標指示マーカーを書き込んでおいたり、または、座標指示マーカーが印刷された手袋を用いてもよい。これらの際に、背景光の条件を整えるために、対象を撮影するカメラ１０６の近くに、同じ対象を照射するライトを設けて、撮影時に対象を照射するようにしてもよい。

図１６（ｄ）はたとえば携帯電話装置において撮影方向の転換が可能な場合、ＣＣＤカメラを操作者自身の顔に向け、ガイドとして顔の画像を用いた例である。この場合についても認識の精度が条件により変動するので、顔の皮膚に座標指示マーカーを書き込んでおく方法や座標指示マーカーが印刷された仮面や眼鏡を用いる方法も考えられる。このように、ビュー制御のために操作者自身の顔を用いる場合は、前後が反転するため処理のモード変更が必要となる。このとき、機器を顔から離すに伴い、通常は拡大率を上げると直感に合致して好ましいが、拡大率を上げる場合は細部を見たい場合が多いため、顔に近づけるに伴って拡大率を上げるほうが好ましい場合もある。

なお、基準画像の部分別に座標情報を含む電子透かしを挿入しておき、撮影された電子透かしを解読することにより座標情報を求め、コンテンツの表現に関するパラメータを制御する方法もある。画像の部分別に電子透かしを挿入する方法の例は、特開２００１−１０９７５６公報に開示されている。該公報では、画像を部分毎に検索するためのキーワードを、特殊な電子透かし技術を用いて画像に埋め込むことを提案しているが、本願に係る発明に応用すると、ガイドシートとして用いる画像内の部分毎の座標情報を表現するために、該公報と同様の電子透かし技術を用いることができる。

また、図示しないが、座標情報はガイドシート上の色の変化で表現することも可能である。たとえば、ガイドシートの特定の座標の色を光の３原色である赤、緑、青、のそれぞれの成分の割合（Ｒ％，Ｇ％，Ｂ％）で表示すると、左上の色を（１００％、０％、０％）とし、右上の色を（０％、１００％、０％）として左上から右上にかけて赤と緑の成分をグラデーションとして徐々に変化させ、また、左下の色を（１００％、０％、１００％）、右下の色を（０％、１００％、１００％）として、縦軸および横軸ともに徐々に変化するように印刷しておくと、ガイドシート上の特定の点の色はユニークとなる。このガイドシートの一部を撮影してガイド画像とし、ガイド画像中の着色部分の任意の画素（着色部分のコーナーなど）の色の成分を分離することにより、その画素に対応するガイドシート上での縦軸および横軸の座標を逆算して推定することが可能となる。たとえば上記の例では、ある画素の色成分が（５０％、５０％、０％）となっているとすると、その画素はガイドシートの上辺の中点付近であることが推定できる。

このような場合、外部の照明の明るさや色などの条件により、認識される色の成分の値が変動するため、たとえば、ビュー制御の操作に先立って、あらかじめガイドシート全体を撮影し、着色部分の各コーナー４点の色の成分を記憶しておき、ビュー制御時の各座標算出のための基準値として利用するとよい。

［実施の形態１の変形例４］（手ブレ補正など）
本発明に係るコンテンツ表現制御システムでは、前述のように、ユーザによる意図的な変更以外に、装置とガイドシートの位置関係が微妙に動くことによりコンテンツ表示が見づらくなることが考えられる。

そこで、ガイドシートの撮影に際して、いわゆる手ブレ補正の機能があると好ましい。手ブレ補正は如何なる方法を用いてもよい。たとえば、複数の時点のガイド画像をもとにしてそれぞれのビューに関するパラメータを算出し、それらの平均（移動平均)をとって得られる値を用いてコンテンツのビューを制御すると、表示上の細かいブレが緩和される。

また、ガイドシートの動きに対して、ビューの動き方を一部制限することで見やすくなることがある。たとえば、前述のようにＣＣＤカメラとガイドシートの間で３次元空間のいずれかの座標軸を中心とする回転は閲覧の自由度を高めるが、反面、文字などのコンテンツは見にくくなることがあると考えられるため、カメラを基準とする３次元のｘｙｚ座標系で考えると、ｘ、ｙ、ｚのいずれかまたは全ての軸を中心とする回転を制限してもよい。たとえば、ｘおよびｙ軸を中心とする回転は、いずれも原則としてビュー制御に影響しないものとし、ｚ軸を中心とする回転においては、−４５度〜＋４５度の回転はビュー制御に影響しないとすると、表示は安定する一方、ビューの縦横の向きは制御可能となる。また、コンテンツが変化する最小時間間隔を制限することによっても表示を安定させることができる。さらにズーム制御を一時的あるいは恒常的に停止すると、ビュー制御の自由度は制限される反面、表示の安定度は向上する。上述のように、特に文字においては表示の安定度が要求されるために、ビューの回転や拡大・縮小に際して、各文字列の左上の座標のみを制御の対象とし、各文字の形状や向きには影響しないように制御してもよい。また、キー操作などにより全ての方向および回転軸によるビュー移動を一時停止させることができれば表示を安定させることができ見やすくなる。すなわち図７のフローチャートを参照して、ステップＳ０９において、終了指示有無の判定の他、一時停止指示有無を判定し、一時停止指示がある場合は指示が解除されるまでステップＳ０１への帰還を保留するとよい。

［実施の形態１の変形例５］（カメラの位置）
本発明にかかる以上の実施の形態およびその変形例においては、図１を参照して、ＬＣＤ１０２の中央の裏面にＣＣＤカメラ１０６が位置するように構成することが好ましい。これにより、機器とガイドシートを十分接近させた場合でも直感的な移動操作により、あたかもコンテンツを虫眼鏡で覗くようにビュー制御することが可能となる。

しかしながら、実際の携帯電話装置においては構造上の制限によりＣＣＤカメラがＬＣＤの周辺部の裏面に位置する場合がある。

たとえば、図１７を参照して、ＣＣＤカメラ１４０６がＬＣＤ１４０２の右下端１４０７の裏面１４０６に位置する場合を考える。この場合、操作者がコンテンツの左上の頂点付近を見ようとして、ＬＣＤの中心をガイドシートの左上の頂点付近に移動させると、ＣＣＤカメラはガイドシートの左上の頂点より右下方を中心として撮影することになる。その結果、実施の形態１の方法では、コンテンツがガイドシートの左上方向にずれてマッピングされているような感覚をもたらしてしまうことになる。そこで、上記実施の形態１に準じる場合においてはコンテンツの座標（Ｘｒ,Ｙｒ）の計算式について、次のように一定の値αおよびβを加算して補正するとよい。

Ｘｒ＝Ｘｗ・（Ｘｑ−Ｘｐ）／Ｘｖ＋Ｘｐ＋α
Ｙｒ＝Ｙｗ・（Ｙｑ−Ｙｐ）／Ｙｖ＋Ｙｐ＋β
但し、この場合、ガイドシートの下端または右端付近を見ようとすると、ＣＣＤカメラがガイドシートの有効部分の外側を撮影することになるので、注意が必要である。この場合、図１８を参照して座標指示マーカー群をガイドシートの右下方向に拡張または平行移動させて印刷する方法がある。各座標指示マーカーの値を変えずに座標指示マーカー群を単に右下方向に平行移動させておく場合は上記計算式のαおよびβによる補正は必要ない。

また、図１９を参照して、１枚の座標指示マーカーを複数の端末機種に対応させる方法を示す。すなわち、大きめのガイドシート１６００の中央に座標指示マーカー群１６０１を配置し、操作者の携帯電話装置の機種に応じて定められた撮影範囲を破線１６０２または１６０３によって示しておくものである。例えば、ＣＣＤカメラが、ＬＣＤの右下の裏面に位置する機種の場合は操作者が破線１６０２によって示された撮影範囲を使用し、ＬＣＤの左上の裏面に位置する機種の場合は操作者が破線１６０３によって示された撮影範囲を使用するなどのように定めておくとよい。

［実施の形態１の変形例６］（カメラの位置）
あるいは、図２０のように鏡面またはプリズムを用いてカメラＬＣＤの中心とカメラの中心を一致させてもよい。

図２０（ａ）本実施例における側面図であり、図２０（ｂ）は背面図である。携帯電話機１７００においてＬＣＤ１７０１とＣＣＤカメラ１７０２の中心位置が図のように異なる場合、補正器具１７１０を用いてＣＣＤカメラの撮像における中心線を補正することが可能である。補正器具１７１０の内部に鏡面１７１１および鏡面１７１２を固定することにより、ＣＣＤカメラ１７０２の撮像における中心線がそれぞれの鏡面による反射により経路１７１２をたどることになり、撮影範囲の中心１７１４がＬＣＤ１７０１の中心位置と一致する。

なお、携帯電話機１７００への補正器具１７１０の固定は、周知の方法を用いることが可能であるので、ここでは説明を省略する。

［実施の形態１の変形例７］（ビュー以外の制御）
ここでは、本発明に係るコンテンツの表現に対する制御として、これまでの実施の形態および変形例で示したビューの制御以外にも適用可能であることを示す。

実施の形態１において、ＸｐおよびＸｑ（あるいはＹｐおよびＹｑ）を求めることにより、ＣＣＤカメラ１０６からガイドシートＡ１０１までの距離を求めることができる。すなわちその距離をｄとすると、ｄはＸｑ−Ｘｐに比例する。たとえば、Ｘｑ−Ｘｐ＝Ｘｖ（等倍表示）であるときの距離をｖとすると、
ｄ＝ｖ・（Ｘｑ−Ｘｐ）／Ｘｖ
として計算できる。

たとえば、複数ページから構成されるプレゼンテーションのようなコンテンツでは、ｚ軸上の値（すなわち機器とガイドシートとの距離＝ｄ）を、コンテンツの拡大率の決定ではなく、閲覧対象ページの決定に用いることができる。具体的にはコンテンツの各ページのデータの先頭を指し示すポインタの配列をＰ_ｉ（ｉ＝１..ｎ）とすると、添え字ｉは、以下のようにして計算できる。

ｉ＝ｎ−［ａ・ｄ］
（但し、[]は小数点以下切り捨て演算、aは定数，１≦ｉ≦ｎ）
このときはコンテンツの拡大率は一定となるが、ＣＣＤカメラ１０６からガイドシート４０１までの距離（以下これをガイドシート上の原点を基準とするｚ軸方向の値とする）を、コンテンツの拡大率の決定に用いるか、あるいは閲覧対象ページの決定に用いるか、といういずれかのモードを操作者がキー操作などで選択できるようにしておけばよい。なお、コンテンツ表現制御装置はＷＷＷ（World Wide Web）ページへのアクセス機能を備え、上記ポインタが示す対象はＵＲＬ（Uniformed Resource Locator）であって、Ｚ軸方向の値を、たとえば閲覧履歴などに基づいてあらかじめ順序付けされたＵＲＬが示すＷＷＷページの表示制御に用いてもよい。

同様に、時間軸を持った動画コンテンツに関してはｚ軸をコンテンツ内の表示対象フレームあるいは再生開始フレームの決定に用いることができる。具体的には上記コンテンツの各ページを各表示フレームあるいは各表示開始フレームに置き換えることで実現できる。

以上のようなコンテンツにおけるページあるいは時間軸の制御に関しては、ｚ軸を用いるだけではなく、ガイドシートを撮影することによって読み取るｘ軸またはｙ軸方向の座標情報を用いてもよい。たとえば、動画コンテンツに関して、ｘ軸方向の座標情報を表示フレーム単位の細かい制御に用い、ｙ軸方向の座標情報をおおまかな表示シーンの制御に用いてもよいし、ｚ軸方向を表示拡大率の制御に用いてもよい。この場合は表示部分の中心位置などが一定となるため、ｘ軸またはｙ軸方向の座標情報はスクロールの制御に用いることができないが、ｘ軸またはｙ軸を、コンテンツの時間軸の制御に用いるか、あるいはスクロールの制御に用いるか、といういずれかのモードを操作者がキー操作などで選択できるようにしておけばよい。なお、ｘ軸あるいはｙ軸に割り当てられたパラメータはガイドシート上の絶対座標の指示が容易であるため、ｚ軸に割り当てられたパラメータと比較して、より精密に制御することが可能となる。

［実施の形態１の変形例８］
上記のように本発明による制御装置により、ｘ軸、ｙ軸、あるいはｚ軸に対応する制御値を取得することにより、その制御値を用いてコンテンツの表現に関する様々なパラメータの制御が可能となる。

たとえば、本発明に係るコンテンツを音声、音響、または音楽とすると、表現に対する制御の対象となるパラメータとしては、時間軸上の再生位置、音量、音像の定位、再生ピッチ、あるいは特定の音響効果の度合いなどが挙げられる。たとえば特定の音源について、上記ｘ軸およびｙ軸上の位置により平面上の音像の定位を直感的に制御し、ｚ軸上の位置により音量を制御することなどが可能である。なお、本発明による制御装置の出力は数値データとして得られるので、その数値データを用いて音に関する上記各パラメータを制御する方法は、当業者にとって周知な方法を用いることができるので、ここでは詳細な説明を省略する。

［実施の形態１の変形例９］
本実施例に係るコンテンツ表現制御装置によって制御されるコンテンツを、テレビジョン放送を一括してハードディスクなどに記録した動画データの集合であるとすると、たとえばｘ軸は放送局あるいは放送日、ｙ軸は放送時間帯、ｚ軸は特定の番組内の時間軸、をそれぞれ制御することができる。

この場合、ガイドシートは番組一覧表と兼用するとよい。すなわち、通常の番組一覧表上に座標指示マーカーを縦横に並べたものをガイドシートとして使用すると、番組の検索が容易となる。この場合、番組一覧表と座標指示マーカーは別の色で印刷すると画像処理において分離が容易となり計算コストを抑えることができる。同様の目的で、座標指示マーカーを透明なフィルム上に特定の色で印刷しておき、新聞などで供給される番組一覧表の上に重ね合わせて使用してもよい。ここでも、本発明による制御装置によりｘ軸、ｙ軸、あるいはｚ軸に対応する制御値を取得することができれば、ハードディスク中の再生すべき動画データの放送日、放送時間帯、または特定の番組内の時間軸などのパラメータを制御することは当業者に自明であるのでここでは詳細な説明を省略する。

［実施の形態１の変形例１０］（ロボットカメラ）
本実施例に係るコンテンツ表現制御装置は、遠隔制御可能な監視カメラのビューを制御対象とする。ここでは、監視カメラが撮影し出力する映像を制御対象のコンテンツと考える。たとえばステッピングモータなどの機構を用いることにより、縦方向の撮影角度、横方向の撮影角度、またはズームを遠隔制御可能な監視カメラが存在するが、本発明によるコンテンツ表現制御装置の出力を用いて、ｘ軸による制御値を縦方向の撮影角度、ｙ軸による制御値を横方向の撮影角度、そしてｚ軸による制御値をズームの、それぞれの制御に用い、監視カメラの映像データはそのまま操作者の手許のコンテンツ表現制御装置に送信し、ＬＣＤに表示することにより、直感的に監視カメラのビューを制御することが可能となる。

図２１は、本実施の形態１の変形例におけるコンテンツ表現制御システムの機能構成を示す図である。

図２１を参照して、本システムはコンテンツ表現制御装置１８００と、遠隔制御可能な監視カメラ装置１８１０と、ガイド画像データ３１１の元になるガイドシートから構成される。コンテンツ表現制御装置１８００において、３０１ないし３０３は図４に示す各部に準じる。表現制御データ生成部３０３からは、上述のｘ軸、ｙ軸、および、ｚ軸による制御値が出力され、監視カメラ装置１８１０に送られ１８１０ないし１８１３の各部の制御に用いられる。監視画像入力部１８１４によって入力された監視画像はそのままコンテンツ表現制御装置１８００の表示部１８０５に送られ、表示される。

このような監視カメラは、遠隔操作により移動可能な車体やロボットなどに搭載されている場合、本発明によるコンテンツ表現制御装置の出力を用いて車体やロボットなどの位置や移動方向・移動速度などを制御してもよい。

［実施の形態１の変形例１１］
本実施例に係るコンテンツ表現制御装置はコンテンツの編集に際して編集ポイントの移動に用いることができる。文書編集装置、図形編集装置、または動画編集装置などを総称してコンテンツ編集装置と呼ぶことにすると、コンテンツ編集装置はコンテンツ閲覧装置の機能を含むといえる。

コンテンツ編集装置の編集ポイントはカーソルとして扱われることが多いが、このようなカーソルの移動に本発明による制御装置の出力を用いることができる。たとえば、カーソルの縦方向の移動にｘ軸による制御値、横方向の移動にｙ軸による制御値、をそれぞれ用いることができる。この場合カーソル移動にしたがいコンテンツのビューを移動させてもよいし、移動させなくてもよい。また、この場合、ｚ軸の制御値を先の実施例のようなズーム制御に用いてもよいし、コンテンツのページあるいは時間軸の移動制御に用いてもよい。ページあるいは時間軸の制御に用いた場合は、編集ポイントを示すカーソルも時間軸に添って移動させるとよい。

［実施の形態１の変形例１２］
さらに、上述の装置すなわちコンピュータにおけるコンテンツ表現制御方法を、プログラムとして提供することもできる。このようなプログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc-ROM）、ＲＯＭ、ＲＡＭおよびメモリカードなどのコンピュータ読取り可能な記録媒体にて記録させて、プログラム製品として提供することもできる。あるいは、コンピュータに内蔵するハードディスクなどの記録媒体にて記録させて、プログラムを提供することもできる。また、通信ネットワークを介したダウンロードによって、プログラムを提供することもできる。

提供されるプログラム製品は、ハードディスクなどのプログラム格納領域２３１に読み込まれて実行される。なお、プログラム製品は、プログラム自体と、プログラムが記録された記録媒体とを含む。

以上の実施の形態および変形例において説明したように、本発明では、ズーム操作を、ビュー移動操作の一種として、スクロール操作と同時あるいは連続的な操作で行うことが可能である。

さらに、本発明では、その操作にあたり、システム全体の携帯性を維持しつつ、操作を行うことが可能になる。

また、本発明では、特定のオブジェクトに接近してそのビューを精密に制御することが可能である。たとえば、上述した非特許文献３のようにコード枠の形状の認識による位置合わせで十分な精度を得るためには、少なくともひとつの２次元マトリックスコードの全体がカメラの撮影範囲内に十分な大きさで撮影されていることが必要であり、撮影されたコードの画像が小さいほどコード枠の形状の認識における量子化誤差が大きくなって精度が低下する。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本実施の形態におけるコンテンツ表現制御装置の具体例として携帯電話機の構成の例を示す図である。本実施の形態におけるコンテンツ表現制御装置の具体例として携帯電話機のハードウェア構成の例を示す図である。本実施の形態におけるコンテンツ表現制御装置の最小限のハードウェア構成の例を示す図である。本実施の形態におけるコンテンツ表現制御装置の機能構成を示すブロック図である本実施の形態におけるガイドシートの具体例を示す図である。本実施の形態における座標指示マーカーの具体例を示す図である。本実施の形態におけるコンテンツ表現制御を実行する際の処理を示すフローチャートである。本実施の形態におけるガイドシートとその撮影部分の例を示す図である。本実施の形態におけるガイド画像データ中の重要マーカーのみを抜粋して示した図である。本実施の形態におけるコンテンツ（電子地図）およびコンテンツのビューの例を示した図である。座標指示マーカーの探索方法の一例を示す図である。座標指示マーカーに記載された座標値を読み取るための詳細な方法を説明するための図である。座標指示マーカーを色情報を用いて実現した例を説明するための図である。ガイドシート上の任意の点がＣＣＤカメラ内の撮像面にガイド画像中の１点として投影される様子をモデル化して示した図である。ガイド画像の元になる画像の例を示す図である。ガイド画像の元になる画像の他の例を示す図である。ＣＣＤカメラがＬＣＤの中央の裏面に位置しない携帯電話機の例を示す図である。ＣＣＤカメラがＬＣＤの中央の裏面に位置しない携帯電話機に対応するガイドシートの例を示す図である。ＣＣＤカメラの取り付け位置が異なる複数の携帯電話機に対応するガイドシートの例を示す図である。ＣＣＤカメラがＬＣＤの中央の裏面に位置しない携帯電話機に補正器具を取り付けた例を示す側面断面図および背面図である。遠隔制御可能な監視カメラのビューを制御対象とするコンテンツ表現制御システムの機能構成を示すブロック図である。

符号の説明

１０１携帯電話機、１０２ＬＣＤ、１０６ＣＣＤカメラ、３１１ガイド画像データ、３０１画像データ取得部、３０２対応関係情報取得部、３０３表現制御データ生成部、３０４表現データ制御部、４０１ガイドシート、４０２座標指示マーカー、７００ガイド画像、９００コンテンツ、９０１ビュー、１７１０補正器具。

Claims

コンテンツを表示する画像表示手段と、
ユーザが表示することを望む前記コンテンツの表示範囲をガイドするガイド画像を得るために、前記コンテンツの表示を制御するための基準物体を撮影するガイド画像撮影手段と、
表示対象となる前記コンテンツの表示データを保持する表示データ保持手段と、
前記ガイド画像撮影手段が撮影したガイド画像のデータを入力するガイド画像データ入力手段と、
前記ガイド画像データ入力手段が入力したガイド画像のデータにおいて、前記基準物体の表面に複数個配置され、前記基準物体の表面位置を特定する位置指示マーカーを認識するマーカー認識手段と、
前記マーカー認識手段が認識する位置指示マーカーのうちの少なくとも２個を、前記基準物体に対して前記ガイド画像のデータが占める領域であるガイド領域を特定する重要マーカー群として決定する重要マーカー群決定手段と、
前記重要マーカー群決定手段が決定した各重要マーカーのそれぞれに含まれる位置情報を読み取り前記ガイド領域を特定するガイド領域特定手段と、
前記ガイド領域特定手段が特定するガイド領域に基づいて、前記画像表示手段が表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成手段と、
前記表示制御データ生成手段が生成する表示制御データを出力する表示制御データ出力手段と、
前記表示制御データ出力手段が出力する表示制御データに基づいて、前記表示データ保持手段が保持するコンテンツの表示データの少なくとも表示範囲を制御して該表示範囲の表示データを前記画像表示手段に表示させる制御を行なう表示制御手段とを備える、コンテンツ表現制御装置。
前記位置指示マーカーは、該位置指示マーカーの基準点が指示する点の位置情報を特定する基準点情報を含み、
前記ガイド領域特定手段は該基準点情報を認識することにより前記ガイド領域を特定する、請求項１に記載のコンテンツ表現制御装置。
前記基準点情報は、２色以上の着色領域のパターンによって符号化された位置情報を含む、請求項２に記載のコンテンツ表現制御装置。
前記位置指示マーカーの基準点は、背景色以外の第１色で着色され、
前記基準点情報は、前記背景色および前記第１色を除く第２色を含む色で着色されたパターンでそれぞれコード化されたものであり、
前記ガイド領域特定手段は、該第１色で着色された基準点および該基準点情報を認識することにより前記ガイド領域を特定する、請求項２または３に記載のコンテンツ表現制御装置。
前記ガイド画像における前期位置指示マーカーとして電子透かしにより位置データが付与された画像を用いる、請求項１〜４のいずれかに記載のコンテンツ表現制御装置。
コンテンツを表示する画像表示ステップと、
ユーザが表示することを望む前記コンテンツの表示範囲をガイドするガイド画像を得るために、前記コンテンツの表示を制御するための基準物体を撮影するガイド画像撮影ステップと、
表示対象となる前記コンテンツの表示データを保持する表示データ保持ステップと、
前記ガイド画像撮影ステップが撮影したガイド画像のデータを入力するガイド画像データ入力ステップと、
前記ガイド画像データ入力ステップが入力したガイド画像のデータにおいて、前記基準物体の表面に複数個配置され、前記基準物体の表面位置を特定する位置指示マーカーを認識するマーカー認識ステップと、
前記マーカー認識ステップが認識する位置指示マーカーのうちの少なくとも２個を、前記基準物体に対して前記ガイド画像のデータが占める領域であるガイド領域を特定する重要マーカー群として決定する重要マーカー群決定ステップと、
前記重要マーカー群決定ステップが決定した各重要マーカーのそれぞれに含まれる位置情報を読み取り前記ガイド領域を特定するガイド領域特定ステップと、
前記ガイド領域特定ステップが特定するガイド領域に基づいて、前記画像表示ステップが表示する表示画像の少なくとも表示範囲を制御するための表示制御データを生成する表示制御データ生成ステップと、
前記表示制御データ生成ステップが生成する表示制御データを出力する表示制御データ出力ステップと、
前記表示制御データ出力ステップが出力する表示制御データに基づいて、前記表示データ保持ステップが保持するコンテンツの表示データの少なくとも表示範囲を制御して該表示範囲の表示データを前記画像表示ステップに表示させる制御を行なう表示制御ステップとをコンピュータに実行させる、コンテンツ表現制御プログラム。