JP2009258340A - 視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示する携帯端末、方法、プログラム及びシステム - Google Patents

Abstract

【課題】視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示する携帯端末、方法、及びプログラムを提供すること。
【解決手段】携帯端末１０は媒体１１が含む視認可能な原オブジェクトに対応する代替オブジェクトを示す代替オブジェクトデータと代替オブジェクトの表示位置を示す代替オブジェクト表示位置データとを関連付けて記憶手段１０２に記憶し原オブジェクト位置取得手段１０１は媒体１１において原オブジェクトに重畳して印刷され媒体１１における原オブジェクトの位置を示す原オブジェクト位置データを取得し原オブジェクト位置取得手段１０１が取得した原オブジェクト位置データに基づいて対応する代替オブジェクト表示位置データに関連付けられて記憶手段に記憶された代替オブジェクトデータを読み出して原オブジェクトに代えて代替オブジェクトを重ね合わせて代替オブジェクト表示手段１０３に表示する。
【選択図】図１

Description

本発明は、視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示する携帯端末、方法、プログラム及びシステムに関する。

従来、高価な位置センサーや距離センサーを用いることなく、撮影手段から入力されたガイド画像の変化に追随して、表示するコンテンツのスクロールやズームを制御する技術が提案されている（特許文献１）。

また、表示機能付き携帯情報装置をシースルービュアーとして用い、撮像部が撮像した印刷物の画像を、予め記憶している画像情報と照合して、関連する印刷物情報を重畳して表示する技術も開示されている（特許文献２）。
特開２００７−１７９５６５号公報 特開２００６−１３９１０４号公報

しかしながら、特許文献１に開示された技術において、当該撮影手段が撮影するのは、表示するコンテンツとは全く対応関係のないガイド画像であり、ガイド画像と表示するコンテンツとを対応付ける技術に関しては、何ら開示されていない。また、特許文献２に記載された技術において、当該携帯情報装置は、画像の照合により印刷物の画像を特定するため、認識する画像の判定や位置の特定の精度には改善の余地がある。

そこで本発明は、視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示する携帯端末、方法、プログラム及びシステムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

（１） 媒体（例えば、紙、樹脂、金属等）にかざすことによりオブジェクトを表示する携帯端末（例えば、携帯電話、ＰＤＡ、電子手帳等）であって、
前記媒体が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶する記憶手段（例えば、半導体メモリ、ハードディスク、光ディスク等）と、
前記媒体にかざすことにより、前記媒体において前記原オブジェクトに重畳して印刷され、前記媒体における前記原オブジェクトの位置を示す、原オブジェクト位置データを取得する原オブジェクト位置取得手段（例えば、ＣＣＤカメラ等）と、
前記原オブジェクト位置取得手段が取得した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて前記記憶手段に記憶された前記代替オブジェクトデータを読み出して、前記原オブジェクトに代えて（虫メガネのように）、前記代替オブジェクトを重ね合わせて表示する代替オブジェクト表示手段（例えば、ＬＣＤ、有機ＥＬディスプレイ等）と、を備える携帯端末。

このような構成によれば、媒体にかざすことによりオブジェクトを表示する携帯端末は、前記媒体が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶し、前記媒体にかざすことにより、前記媒体において前記原オブジェクトに重畳して印刷され、前記媒体における前記原オブジェクトの位置を示す、原オブジェクト位置データを取得し、取得した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて記憶された前記代替オブジェクトデータを読み出して、前記原オブジェクトに代えて（虫メガネのように）、前記代替オブジェクトを重ね合わせて表示する。

このことにより、当該携帯端末は、媒体にかざすことにより原オブジェクトに対応する代替オブジェクトを原オブジェクト位置データに基づいて表示することができ、代替オブジェクトデータを原オブジェクトに代えて重ね合わせて表示することができる。

したがって、視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示することが可能になる。

（２） 前記代替オブジェクトデータと、前記代替オブジェクト表示位置データと、を関連付けて受信して前記記憶手段に記憶するデータ受信手段（例えば、携帯インターネット通信インターフェイス、赤外線通信インターフェイス、シリアルバスインターフェイス等）を更に備える請求項１記載の携帯端末。

このような構成によれば、当該携帯端末は、前記代替オブジェクトデータと、前記代替オブジェクト表示位置データと、を関連付けたデータを受信する。

このことにより、当該携帯端末は、前記代替オブジェクトデータの更新及び追加を行うことができる。

したがって、当該携帯端末は、前記代替オブジェクトデータを更新及び追加して、前記原オブジェクト位置データに応じた前記代替オブジェクトを表示することができる。

（３） 前記原オブジェクト位置取得手段は、前記媒体において略正三角形を構成する頂点の組み合わせを基本単位として縦横に配したドットであって、前記ドットが規定する複数の略正六角形の所定の一の頂点に位置する前記ドットのみ所定の方向に所定距離シフトして配されたドットと、前記略正六角形を構成する略正三角形の幾何学的中心位置から所定の方向に所定距離シフトして更に配されたドットと、を撮像することにより、前記略正六角形に対応する前記原オブジェクトの位置を示す前記原オブジェクト位置データを取得することを特徴とする請求項１又は請求項２記載の携帯端末。

このような構成によれば、当該携帯端末は、前記媒体において略正三角形を構成する頂点の組み合わせを基本単位として縦横に配したドットであって、前記ドットが規定する複数の略正六角形の所定の一の頂点に位置する前記ドットのみ所定の方向に所定距離シフトして配されたドットと、前記略正六角形を構成する略正三角形の幾何学的中心位置から所定の方向に所定距離シフトして更に配されたドットと、を撮像することにより、前記略正六角形に対応する前記原オブジェクトの位置を示す前記原オブジェクト位置データを取得する。

このことにより、当該携帯端末は、前記媒体に配したドットを撮像することにより前記原オブジェクトの位置を示す前記原オブジェクト位置データを取得することができる。

したがって、当該携帯端末は、媒体に配したドットより前記原オブジェクト位置データを取得して、前記原オブジェクト位置データに応じた前記代替オブジェクトを表示することができる。

（４） 前記原オブジェクト位置取得手段は、前記媒体上に二次元座標系を設定した場合における各座標軸に沿って前記略正六角形が等ピッチとなるように配された前記ドットを撮像することにより、前記原オブジェクト位置データを取得することを特徴とする請求項３記載の携帯端末。

このような構成によれば、当該携帯端末は、前記媒体上に二次元座標系を設定した場合における各座標軸に沿って前記略正六角形が等ピッチとなるように配された前記ドットを撮像することにより、前記原オブジェクト位置データを取得する。

このことにより、当該携帯端末は、前記媒体上に二次元座標系を設定した場合における、前記原オブジェクト位置データを取得することができる。

したがって、当該携帯端末は、前記媒体上にユーザがイメージしやすい二次元座標系を設定した場合における、前記原オブジェクト位置データを取得して、前記原オブジェクト位置データに応じた代替オブジェクトを表示することができる。

（５） 前記代替オブジェクト表示手段は、前記原オブジェクト位置取得手段が撮像した前記ドットの配置に基づいて、表示する前記代替オブジェクトの大きさ及び表示角度を調整することを特徴とする請求項３又は請求項４記載の携帯端末。

このような構成によれば、当該携帯端末は、前記原オブジェクト位置取得手段が撮像した前記ドットの配置に基づいて、表示する前記代替オブジェクトの大きさ及び表示角度を調整することを特徴とする請求項３又は請求項４記載の携帯端末。

このことにより、当該携帯端末は、撮像した前記ドットの配置に基づいて、表示する前記代替オブジェクトの大きさ及び表示角度を調整することができる。

したがって、当該携帯端末は、撮像した前記ドットの配置に基づいて視角を判定し、前記原オブジェクト位置データに応じた前記代替オブジェクトを表示するときに代替オブジェクトの大きさ及び表示角度を調整することができる。

（６） 携帯端末（例えば、携帯電話、ＰＤＡ、電子手帳等）を媒体（例えば、紙、樹脂、金属等）にかざすことにより携帯端末にオブジェクトを表示する表示方法であって、
前記媒体が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶するステップと、
前記媒体にかざすことにより、前記媒体において前記原オブジェクトに重畳して印刷され、前記媒体における前記原オブジェクトの位置を示す、原オブジェクト位置データを取得するステップと、
前記原オブジェクト位置取得手段が取得した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて前記記憶手段に記憶された前記代替オブジェクトデータを読み出して、前記原オブジェクトに代えて、前記代替オブジェクトを重ね合わせて表示するステップと、を含む表示方法。

このような構成によれば、当該方法を実行することにより、（１）と同様の効果が期待できる。

（７） 携帯端末（例えば、携帯電話、ＰＤＡ、電子手帳等）を媒体（例えば、紙、樹脂、金属等）にかざすことにより携帯端末にオブジェクトを表示するための表示プログラムであって、
前記媒体が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶するステップと、
前記媒体にかざすことにより、前記媒体において前記原オブジェクトに重畳して印刷され、前記媒体における前記原オブジェクトの位置を示す、原オブジェクト位置データを取得するステップと、
前記原オブジェクト位置取得手段が取得した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて前記記憶手段に記憶された前記代替オブジェクトデータを読み出して、前記原オブジェクトに代えて、前記代替オブジェクトを重ね合わせて表示するステップと、を含む表示プログラム。

このような構成によれば、当該プログラムを実行することにより、（１）と同様の効果が期待できる。

（８） 媒体（例えば、紙、樹脂、金属等）にかざすことによりオブジェクトを表示する携帯端末（例えば、携帯電話、ＰＤＡ、電子手帳等）と、通信ネットワークを介して前記端末と接続可能なサーバと、を含むシステムであって、
前記端末は、前記媒体にかざすことにより、前記媒体において前記原オブジェクトに重畳して印刷され、前記媒体における前記原オブジェクトの位置を示す、原オブジェクト位置データを取得して、前記サーバに送信する原オブジェクト位置取得手段（例えば、ＣＣＤカメラ等）を備え、
前記サーバは、前記媒体が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶する記憶手段（例えば、半導体メモリ、ハードディスク、光ディスク等）と、
前記端末が送信した前記原オブジェクト位置データを受信したことに応じて、受信した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて前記記憶手段に記憶された前記代替オブジェクトデータを読み出して、前記端末に送信する代替オブジェクトデータ読出手段と、を備え、
前記端末は、更に、前記サーバが送信した前記代替オブジェクトデータを受信したことに応じて、前記原オブジェクトに代えて、前記代替オブジェクトを重ね合わせて表示する代替オブジェクト表示手段（例えば、ＬＣＤ、有機ＥＬディスプレイ等）と、を備えるシステム。

本発明のこのような構成によれば、当該システムは、（１）と同様の効果が期待できる。

本発明に係る携帯端末は、媒体にかざすことにより原オブジェクトに対応する代替オブジェクトを原オブジェクト位置データに基づいて表示することができ、代替オブジェクトデータを原オブジェクトに代えて重ね合わせて表示することができる。したがって、視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示することが可能になる。

以下、本発明の実施形態について図を参照しながら説明する。

図１は、本発明の実施形態に係る携帯端末１０の一例を示す図である。

携帯端末１０は、媒体１１から、後述する原オブジェクト位置取得手段１０１を介して取得した原オブジェクト位置データに応じて、視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示する情報処理装置である。携帯端末１０は、例えば、この携帯端末１０が処理する情報、データを制御する制御部と、通信ネットワークと接続されて通信を実現する通信部と、この携帯端末１０の入力を受け付ける入力部とより構成されてよい。なお、携帯端末１０は、例えば、コンピュータ、ネットワークテレビであってよく、携帯電話、ＰＤＡ等の携帯情報端末であってもよい。

また、上述の入力部は、例えば、媒体１１の有する視認可能な原オブジェクト及び肉眼ではほとんど不可視な微細なドットにより印刷された座標位置に関する情報を画像処理可能に撮影可能なＣＣＤカメラを備えていてもよい。また、携帯端末１０は、例えば、上述の画像処理を行うためのプログラムを記憶するための記憶装置及び上述の画像処理を行うためのプログラムを実行するためのＣＰＵを備えていてもよく、上述の画像処理を行うためのＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である画像プロセッサを備えていてもよい。

媒体１１は、視認可能な原オブジェクト及び肉眼ではほとんど不可視な微細なドットを含む媒体である。媒体１１の素材は、例えば、ドットが印刷可能な紙であってよく、ドットが印刷可能な樹脂及び金属であってもよい。ドットを重畳印刷するためのインクは、例えば、後述する撮像装置１１１０のＣＣＤカメラに入力する赤外光を反射するカーボンインクであってよく、可視的に印刷を重畳印刷する場合に用いるインクは、例えば、可視光を反射し赤外光を反射しないノンカーボンインクであってよい。

媒体１１は、図７〜図１４において後述する、視認可能な原オブジェクトに重畳して縦横に印刷した複数の微細なドットを有する。当該複数の微細なドットは、互いの位置関係により、媒体１１における原オブジェクトの位置を示す。

図２は、本発明の実施形態に係る携帯端末１０の一例を示す構成図である。

携帯端末１０は、媒体１１の有する視認可能な原オブジェクトの位置を後述する原オブジェクト位置取得手段１０１によりＡＢの範囲で読み取る。更に、携帯端末１０の後述する代替オブジェクト表示手段１０３は、原オブジェクト位置取得手段１０１の読み取ったＡＢの範囲の位置情報に基づいて、ＣＤの範囲に相当する原オブジェクトに代わる代替オブジェクトを表示する。その結果、ユーザは、視認可能な現オブジェクトに代えて重ね合わせて表示された代替オブジェクトを視認することになる。

原オブジェクトの位置は原オブジェクトに重畳して印刷された微細なドット（図示せず）に基づいて取得する。代替オブジェクトの表示位置は原オブジェクト位置データに対応する後述する代替オブジェクト位置データより決定する。

これにより、範囲ＣＤと代替オブジェクト表示手段１０３の対応する端部を結んだ直線の交点にユーザの視点があるときに、携帯端末１０は、携帯端末１０の後述する代替オブジェクト表示手段１０３に媒体１１の有する原オブジェクトを代替する代替オブジェクトを媒体１１の有する視認可能な原オブジェクトに代えて重ね合わせて表示する。なお、ユーザの視点と携帯端末１０の間の距離や視線の角度、携帯端末１０と媒体１１との距離や互いの角度等により、代替オブジェクト表示手段１０３により表示すべき代替オブジェクトの大きさや角度は変化するが、詳しくは後述するとおり、適当なモードを切り替えて使用することにより、代替オブジェクトの大きさや角度を適宜調整してよい。なお、図２において、原オブジェクト位置取得手段１０１の視野ＡＢは、表示すべき視野ＣＤより広くなっている例を示しているが、これに限らず、原オブジェクト位置取得手段１０１の視野は、媒体１１において原オブヘクトの位置及び大きさが算出できるだけ十分な広さがあればよく、ＣＤより狭くとも良いし、ＣＤと全く重複する部分がなくとも差し支えないことは言うまでもない。

図３は、本発明の実施形態に係る携帯端末１０を含むシステム構成の一例を示す図である。

上述の携帯端末１０は、サーバ１２と通信ネットワークを介して通信可能に接続されている。

サーバ１２は、代替オブジェクトデータと代替オブジェクト表示位置データとを関連付けてデータを携帯端末１０に送信する情報処理装置である。サーバ１２は、例えば、このサーバ１２が処理する情報、データを制御する制御部と、通信ネットワークと接続されて通信を実現する通信部と、このサーバ１２が処理する情報、データを記憶する記憶部と、このサーバ１２が処理する情報、データを表示する表示部と、このサーバ１２の入力を受け付ける入力部とより構成されてよい。なお、サーバ１２は、例えば、コンピュータ、ネットワークテレビであってよく、携帯電話、ＰＤＡ等の携帯情報端末であってもよい。また、サーバ１２の通信部は、例えば、携帯インターネット通信インターフェイス、赤外線通信インターフェイス、シリアルバスインターフェイスを含む有線及び無線による通信可能な通信回線であってよい。

上述のシステム構成の考えられうる代替装置としては、例えば、後述する原オブジェクト位置取得手段１０１及び後述する代替オブジェクト表示手段１０３を備えた端末と後述する記憶手段１０２及び後述するデータ受信手段１０４を備えたサーバとを通信回線により通信可能に接続したシステムであってもよい。

図４は、本発明の好適な実施形態の一例に係る携帯端末１０の機能構成を表すブロック図である。

携帯端末１０の原オブジェクト位置取得手段１０１は、上述の媒体１１の表面の複数の微細なドットを撮像することにより原オブジェクト位置データを読み取り可能な撮像装置であって、当該原オブジェクト位置データを記憶手段１０２に送信する。

記憶手段１０２は、代替オブジェクトデータと、前記代替オブジェクト表示位置データと、を関連付けて記憶している。

代替オブジェクト表示手段１０３は、原オブジェクト位置取得手段１０１が取得した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて前記記憶手段に記憶された前記代替オブジェクトデータを読み出して、表示する。

更に、データ受信手段１０４は、代替オブジェクトデータと、前記代替オブジェクト表示位置データと、を関連付けたデータを受信して、記憶手段１０２に記憶する。そのため、代替オブジェクト表示手段１０３は、新たな代替オブジェクトデータ及び前記代替オブジェクト表示位置データにより表示をすることができる。

図５は、本発明の別の実施形態の一例に係るシステム１の機能構成を示す図である。携帯端末１０は、上述の原オブジェクト位置取得手段１０１、後述する代替オブジェクト表示手段１０３及び通信手段１０５を備え、サーバ１２は、代替オブジェクトデータ読出手段１２１、記憶手段１２２及び通信手段１２３を備える。

図６は、図４で説明した本発明の好適な実施形態の一例に係る携帯端末１０のハードウェア構成図である。

携帯端末１０は、制御部１０６を構成するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１０（マルチプロセッサ構成ではＣＰＵ１０１２等複数のＣＰＵが追加されてもよい）、バスライン１００５、通信Ｉ／Ｆ１０４０、メインメモリ１０５０、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）１０６０、ＵＳＢポート１０９０、Ｉ／Ｏコントローラ１０７０、並びにキー及びポインティングデバイス等を含む入力装置１１００等の入力手段やＬＣＤ、有機ＥＬディスプレイ等を含む表示装置１０２２を備えるコンピュータであってよい。

Ｉ／Ｏコントローラ１０７０には、テープドライブ１０７２、ハードディスク１０７４、光ディスクドライブ１０７６、半導体メモリ１０７８、等の記憶装置を接続することができる。

ＢＩＯＳ１０６０は、携帯端末１０の起動時にＣＰＵ１０１０が実行するブートプログラムや、携帯端末１０のハードウェアに依存するプログラム等を格納する。

データ記憶部１０７を構成するハードディスク１０７４は、携帯端末１０が画像処理装置及び検索装置として機能するための各種プログラム及び本発明の機能を実行するプログラムを記憶しており、記憶手段１０２を含む各種データベースを構成可能である。

光ディスクドライブ１０７６としては、例えば、ＤＶＤ−ＲＯＭドライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＡＭドライブ、ＣＤ−ＲＡＭドライブを使用することができる。この場合は各ドライブに対応した光ディスク１０７７を使用する。光ディスク１０７７から光ディスクドライブ１０７６によりプログラム又はデータを読み取り、Ｉ／Ｏコントローラ１０７０を介してメインメモリ１０５０又はハードディスク１０７４に提供することもできる。また、同様にテープドライブ１０７２に対応したテープメディア１０７１を主としてバックアップのために使用することもできる。

携帯端末１０に提供されるプログラムは、予め半導体メモリ１０７８に記録されて提供され、また、ハードディスク１０７４、光ディスク１０７７、又はメモリーカード等の記録媒体に格納されて提供されてもよい。このプログラムは、Ｉ／Ｏコントローラ１０７０を介して、記録媒体から読み出され、又は通信Ｉ／Ｆ１０４０を介してダウンロードされることによって、携帯端末１０にインストールされ実行されてもよい。

上述のプログラムは、内部又は外部の記憶媒体に格納されてもよい。ここで、データ記憶部１０７を構成する記憶媒体としては、ハードディスク１０７４、光ディスク１０７７、又はメモリーカードの他に、ＭＤ等の光磁気記録媒体、テープ媒体を用いることができる。また、専用通信回線やインターネットに接続されたサーバシステムに設けたハードディスク１０７４又は光ディスクライブラリー等の記憶装置を記録媒体として使用し、通信回線を介してプログラムを携帯端末１０に提供してもよい。

また、表示装置１０２２は、ユーザにデータの入力を受付ける画面を表示したり、携帯端末１０による演算処理結果の画面を表示したりするものであり、液晶表示装置（ＬＣＤ）、有機ＥＬディスプレイ等のディスプレイ装置を含む。

また、入力装置１１００は、ユーザによる入力の受付を行うものであり、キー及びポインティングデバイス等により構成してよい。

また、通信Ｉ／Ｆ１０４０は、携帯端末１０を専用ネットワーク又は公共ネットワークを介して通信回線と通信可能に接続できるようにするためのネットワーク・アダプタである。通信Ｉ／Ｆ１０４０は、携帯インターネット通信インターフェイス、赤外線通信インターフェイス、シリアルバスインターフェイス、モデム、ケーブル・モデム及びイーサネット（登録商標）・アダプタを含む有線及び無線による通信可能な通信回線であってよい。

また、撮像装置１１１０は、上述の媒体１１の表面に座標位置に関する情報を印刷した肉眼ではほとんど不可視な微細なドットを撮影するためのものであり、ＣＣＤカメラ、ＣＭＯＳカメラ等の撮影装置を含む。

以上の例は、携帯端末１０について主に説明したが、装置に、プログラムをインストールして、その装置を画像処理装置及び検索装置として動作させることにより上記で説明した機能を実現することもできる。したがって、本発明において一実施形態として説明した画像処理装置及び検索装置により実現される機能は、上述の方法を当該装置により実行することにより、或いは、上述のプログラムを当該装置に導入して実行することによっても実現可能である。

図７〜図１４は、媒体１１において、媒体が含む視認可能な原オブジェクトに、媒体１１上の座標位置を示すドットを重畳して印刷する方法の説明図である

図７は媒体１１上に略正三角形を構成する頂点の組み合わせを基本単位として縦横に配したドットを示す説明図である。媒体１１は、このような微細なドットを印刷することにより、図４に実線で示した略正六角形ＡＢＣＤＥＦをはじめとして、様々な大きさの正六角形を規定することができる。なお、ドットは赤外線を反射する、例えば、カーボンインクにより原オブジェクト位置取得手段１０１によりドットの位置を読み取り可能に印刷される。この例ではカーボンインクを使用する例を示しているが、これに限らず、視認可能な原オブジェクト（地図、写真、イラスト、文字等）を印刷するインクと光学的な性質（例えば赤外線を吸収するか否か、紫外線を吸収するか否か等）の異なるインクであれば、様々な組み合わせが採用可能である。

図８は上述の略正六角形を構成する略正三角形を示す説明図である。上述の略正六角形の頂点の位置に印刷したドットより、対向する頂点に位置するドットを結ぶ直線の中点を点Ｇとする。略正六角形の隣接する２つの頂点と点Ｇは略正六角形を構成する６個の略正三角形を規定する。

図９は上述の略正三角形の幾何学的中心位置を示す説明図である。上述の略正六角形の隣接する２つの頂点である点Ａ及び点Ｆと点Ｇとによって構成される略正三角形において、頂点と対向する辺の中点を結んだ直線の交点（重心）を略正三角形の幾何学的中心位置を示す点Ｈとする。なお、この幾何学的中心位置は、これに限らず、垂心その他の所定のものが採用されてよい。

図１０は上述の幾何学的中心位置から所定の方向に所定距離シフトしたドットの説明図である。上述の幾何学的中心位置を示す点Ｈから所定の方向に所定距離シフトしたドットＩを印刷する。点ＨとドットＩの距離及び図１０において後述する方向を基準にした方向より規定されるベクトルＳにより情報を表現することができる。

図１１は複数の略正六角形の所定の一の頂点に位置するドットのみ所定の方向に所定距離シフトして配したドットの説明図である。頂点Ｃ及び頂点ＫＬＭＮＯにより構成される略正六角形のブロックにおいて頂点ＣをドットＪ１に印刷する。頂点Ｃ及び頂点ＫＬＭＮＯにより構成される略正六角形のブロックと同じサイズの略正六角形のブロックにおいて同じ位置の頂点をドットＪ２〜Ｊ４のようにドットＪ１と同じ方向に同じ距離移動した位置に印刷する。そのため、略正六角形の頂点の位置を比較して略正六角形のブロックの大きさ及び方向を定めることができる。したがって、略正六角形のブロックの大きさを任意に変更して略正六角形のブロックに含まれる上述の情報を表現する点Ｉの数を任意に決定することができ、点Ｉを複数組み合わせることにより、より複雑な情報を表現することが可能になる。

図１２は上述の複数の略正六角形の所定の一の頂点を所定の方向にシフトしたドット及び略正三角形の幾何学的中心位置から所定の方向にシフトしたドットの関係を示す図である。上述の略正六角形の所定の一の頂点Ｃを所定の方向に所定距離シフトして配したドットＪ１の方向に対する上述のベクトルＳの角度θをベクトルＳの方向とする。

図１３は二次元座標系の各座標軸に沿って互いに直行する略正六角形の配列を抽出したものを示す説明図である。この図に示すように、例えば、Ｇ１、Ｇ２、Ｇ３、Ｇ４を含む略正六角形を抽出すると、直交する２次元座標系の各座標軸に沿って、略正六角形を配することができる。これにより、印刷媒体に２次元直交座標を規定でき、媒体１１に位置情報を持たせる場合にユーザや設計者がイメージしやすい２次元直交座標系に基づいて原オブジェクトと原オブジェクト位置データとの関係を設計することができる。

図１４は図１３の二次元座標系の各座標軸に沿って等ピッチとなる様に略正六角形が規定できるようにドットを印刷した例を示す説明図である。図１１の場合と比較して、各座標軸上の略正六角形の配列が等ピッチとなるため、媒体１１上に方眼紙を導入した様に更にユーザや設計者がイメージしやすい２次元座標系を規定することができる。

図１５は、本発明の好適な実施形態の一例に係る携帯端末１０における情報連携処理の流れを示すフローチャートである。

ステップＳ１においては、携帯端末１０は代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶している。具体的には、携帯端末１０の記憶手段１０２は媒体１１が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータ及び代替オブジェクトの表示位置を示す代替オブジェクト表示位置データを関連付けて記憶している。このようにしておくことにより、携帯端末１０は、原オブジェクト位置取得手段１０１からの原オブジェクト位置データに基づいて、代替オブジェクト表示位置データを検索することができる。

ステップＳ２においては、携帯端末１０は原オブジェクト位置取得手段１０１から原オブジェクト位置データを取得する。具体的には、携帯端末１０の原オブジェクト位置取得手段１０１は原オブジェクト位置データを取得し、記憶手段１０２に記憶する。

ステップＳ３においては、携帯端末１０は代替オブジェクト表示手段１０３に代替オブジェクトを表示する。具体的には、携帯端末１０の代替オブジェクト表示手段１０３は記憶手段１０２から原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データを読み出し、記憶手段１０２から代替オブジェクト表示位置データに関連付けられた代替オブジェクトデータを読み出して表示する。

図１６は本発明の好適な実施形態の一例に係る代替オブジェクトの表示例を示す説明図である。

図１６（１）は、媒体１１上に視認可能に印刷された原オブジェクトである皇居の位置及び形状を示す現在の地図である。携帯端末１０の撮像装置１１１０は、媒体１１上の範囲ＡＢＣＤを撮影する。携帯端末１０の制御部１０６は、媒体１１上に二次元座標系を設定した場合における範囲ＡＢＣＤを構成する頂点の位置データＡ（Ｘ１，Ｙ２）、Ｂ（Ｘ２，Ｙ２）、Ｃ（Ｘ１，Ｙ１）及びＤ（Ｘ２，Ｙ１）を算出して原オブジェクトの位置を示す原オブジェクト位置データを取得する。

図１６（２）は、記憶手段１０２に代替オブジェクトデータとして記憶された代替オブジェクトである江戸城の位置及び形状を示す江戸時代の地図である。携帯端末１０の制御部１０６は、原オブジェクト位置データＡ（Ｘ１，Ｙ２）、Ｂ（Ｘ２，Ｙ２）、Ｃ（Ｘ１，Ｙ１）及びＤ（Ｘ２，Ｙ１）に基づいて、対応する代替オブジェクト表示位置データＬ（Ｘ１，Ｙ２）、Ｍ（Ｘ２，Ｙ２）、Ｎ（Ｘ１，Ｙ１）及びＯ（Ｘ２，Ｙ１）に関連付けられた範囲ＬＭＮＯの前記代替オブジェクトデータをメインメモリ１０５０から読み出して、範囲ＬＭＮＯの江戸城の位置及び形状を示す江戸時代の地図を表示装置１０２２に表示する。

そのため、携帯端末１０は、表示装置１０２２において、媒体１１上に視認可能に印刷された原オブジェクトである皇居の位置及び形状を示す現在の地図の範囲ＡＢＣＤに換わる代替オブジェクトである範囲ＬＭＮＯの江戸城の位置及び形状を示す江戸時代の地図を表示することができる。

したがって、携帯端末１０は、視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示することができる。

図１７は本発明の好適な実施形態の一例に係る代替オブジェクトの表示例を示す説明図である。

図１７は、媒体１１上に視認可能に印刷された原オブジェクトであるアメリカ合衆国の位置及び形状を示す現在の地図である。携帯端末１０の撮像装置１１１０は、媒体１１上の原オブジェクト位置データを取得する。携帯端末１０の制御部１０６は、原オブジェクト位置データに基づいて、対応する代替オブジェクト表示位置データ及び代替オブジェクト表示位置データに関連付けられた代替オブジェクトデータを読み出そうとするが、メインメモリ１０５０及びデータ記憶部１０７に代替オブジェクト表示位置データ及び代替オブジェクト表示位置データに関連付けられた代替オブジェクトデータが存在しないため、データ受信手段１０４より代替オブジェクト表示位置データ及び代替オブジェクト表示位置データに関連付けられた代替オブジェクトデータを上述のサーバ１２より受信して記憶する。

そのため、携帯端末１０は、代替オブジェクトデータを更新及び追加して、表示装置１０２２において、媒体１１上に視認可能に印刷された原オブジェクトであるアメリカ合衆国の位置及び形状を示す現在の地図に換わる代替オブジェクトを表示することができる。

したがって、携帯端末１０は、代替オブジェクトデータを更新及び追加して、視認可能な原オブジェクトに代えて対応する代替オブジェクトを重ね合わせて表示することができる。なお、この例では、携帯端末１０を媒体１１にかざして原オブジェクトの位置を読み取る際に代替オブジェクトデータを受信したが、これに限らず、定期的なデータのメンテナンスを実施して、予め代替オブジェクトデータを読み込んでから使用してもよい。このようにすることで、ユーザは、常に最新の代替オブジェクトデータを使用し、或いは、新たな現オブジェクト＝代替オブジェクトの組み合わせを通信ネットワークを介して受信し、携帯端末１０自体を交換することなく半永久的に新たなサービスを受け続けることができる。

図１８は本発明の好適な実施形態の一例に係る代替オブジェクトの表示例を示す説明図である。

図１８（１）は、立体的な形状を有する媒体１１上に視認可能に印刷された原オブジェクトである富士山及び重畳して印刷されたドットを示す図である。携帯端末１０の撮像装置１１１０は、媒体１１上の表面の複数の微細なドットを撮像する。

ドットは媒体１１の立体形状及び携帯端末１０の角度に応じて携帯端末１０のに視認される位置関係が変化する。そこで、制御部１０６は、当該位置関係が変化したドットに基づいて、表示すべき代替オブジェクトの大きさや角度を調整する。

具体的には、携帯端末１０の制御部１０６は、図１８（２）に示す代替オブジェクトの有するテクスチャを表示装置１０２２に図１８（３）に示すようにレンダリングして表示する。

このように、携帯端末１０は、撮像したドットの配置に基づいて視角を判定し、代替オブジェクトの表示角度を調整することができる。なお、この例では、立体的な形状を有する媒体１１について説明したが、平面形状を有する媒体１１について、携帯端末１０の角度が媒体１１に対して平行ではなく、斜めから視認する場合にも上記と同様に、表示する代替オブジェクトの大きさと角度の調整を行うことが可能であることは言うまでもない。

図１９は本発明の好適な実施形態の一例に係る代替オブジェクトの表示例を示す説明図である。

図１９（１）は、球状の媒体１１上に視認可能に印刷された原オブジェクトである世界地図を有する地球儀である。携帯端末１０の撮像装置１１１０は、媒体１１上の表面の複数の微細なドットを撮像する。

この場合にも、図１８の場合と同様にして、携帯端末１０は、球面上に印刷された微細なドットを視認し、その角度や大きさに基づいて、表示すべき代替オブジェクトの大きさや角度を調整して、或いは変形して表示する。このようにして、本発明に係る携帯端末１０は、立体形状を持つ媒体１１において、印刷された微細なドットを撮像することにより、その立体形状や視認角度、大きさ等に基づいて、表示すべき代替オブジェクトの大きさや角度を調整することができる。

なお、上述の例では、いずれも地図に関する原オブジェクト＝代替オブジェクトについて説明したが、これに限られず、本発明は様々な原オブジェクト＝代替オブジェクトの組み合わせに対して適用可能である。具体的には、例えば、原オブジェクトとして人の写真、代替オブジェクトとしてその人のレントゲン写真をそれぞれ組み合わせてもよい。また、原オブジェクトとして熊のイラスト、代替オブジェクトとしてウサギのイラスト、或いは、原オブジェクトとして日本語の単語リスト、代替オブジェクトとして対応する外国語の単語リスト、をそれぞれ組み合わせてもよい。このように、視認可能な原オブジェクトに代えて重ね合わせて表示させることが可能なあらゆる代替オブジェクトデータが本発明において適用可能であることは言うまでもない。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限るものではない。上述の実施例では、原オブジェクト位置データに基づいて、対応する代替オブジェクト表示位置データに関連付けられて記憶手段に記憶された代替オブジェクトデータを読み出すこととしたが、これに限らない。携帯端末１０の記憶手段１０２が原オブジェクト上に不可視に印刷されたデータ及び代替オブジェクトデータを関連付けて記憶し、原オブジェクト上の不可視に印刷されたデータより代替オブジェクトデータを読み出すこととしてもよい。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施例に記載されたものに限定されるものではない。

本発明の好適な携帯端末の概念図。 本発明の好適な携帯端末の構成図。 本発明の好適な実施形態に係る携帯端末を含むシステムの概念図。 本発明の好適な実施形態の一例に係る携帯端末の機能構成を表すブロック図。 本発明の好適な実施形態の一例に係るシステムの機能構成を表すブロック図。 本発明の好適な実施形態の一例に係る携帯端末のハードウェア構成を表すブロック図。 本発明の好適な実施形態の一例に係る印刷媒体において、ユーザが視認する原オブジェクトに座標位置を示すドットを重畳して印刷する方法を表す説明図。 本発明の好適な実施形態の一例に係る印刷媒体において、ユーザが視認する原オブジェクトに座標位置を示すドットを重畳して印刷する方法を表す説明図。 本発明の好適な実施形態の一例に係る印刷媒体において、ユーザが視認する原オブジェクトに座標位置を示すドットを重畳して印刷する方法を表す説明図。 本発明の好適な実施形態の一例に係る印刷媒体において、ユーザが視認する原オブジェクトに座標位置を示すドットを重畳して印刷する方法を表す説明図。 本発明の好適な実施形態の一例に係る印刷媒体において、ユーザが視認する原オブジェクトに座標位置を示すドットを重畳して印刷する方法を表す説明図。 本発明の好適な実施形態の一例に係る印刷媒体において、ユーザが視認する原オブジェクトに座標位置を示すドットを重畳して印刷する方法を表す説明図。 本発明の好適な実施形態の一例に係る印刷媒体において、ユーザが視認する原オブジェクトに座標位置を示すドットを重畳して印刷する方法を表す説明図。 本発明の好適な実施形態の一例に係る印刷媒体において、ユーザが視認する原オブジェクトに座標位置を示すドットを重畳して印刷する方法を表す説明図。 本発明の好適な実施形態の一例に係る携帯端末における情報連携処理の流れを表すフローチャート。 本発明の好適な実施形態の一例に係る表示例を表す説明図。 本発明の好適な実施形態の一例に係る表示例を表す説明図。 本発明の好適な実施形態の一例に係る表示例を表す説明図。 本発明の好適な実施形態の一例に係る表示例を表す説明図。

符号の説明

１０ 携帯端末
１１ 媒体
１０１ 原オブジェクト位置取得手段
１０２ 記憶手段
１０３ 代替オブジェクト表示手段

Claims (8)

1. 媒体（例えば、紙、樹脂、金属等）にかざすことによりオブジェクトを表示する携帯端末（例えば、携帯電話、ＰＤＡ、電子手帳等）であって、
   前記媒体が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶する記憶手段（例えば、半導体メモリ、ハードディスク、光ディスク等）と、
   前記媒体にかざすことにより、前記媒体において前記原オブジェクトに重畳して印刷され、前記媒体における前記原オブジェクトの位置を示す、原オブジェクト位置データを取得する原オブジェクト位置取得手段（例えば、ＣＣＤカメラ等）と、
   前記原オブジェクト位置取得手段が取得した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて前記記憶手段に記憶された前記代替オブジェクトデータを読み出して、前記原オブジェクトに代えて、前記代替オブジェクトを重ね合わせて表示する代替オブジェクト表示手段（例えば、ＬＣＤ、有機ＥＬディスプレイ等）と、を備える携帯端末。
2. 前記代替オブジェクトデータと、前記代替オブジェクト表示位置データと、を関連付けて受信して前記記憶手段に記憶するデータ受信手段（例えば、携帯インターネット通信インターフェイス、赤外線通信インターフェイス、シリアルバスインターフェイス等）を更に備える請求項１記載の携帯端末。
3. 前記原オブジェクト位置取得手段は、前記媒体において略正三角形を構成する頂点の組み合わせを基本単位として縦横に配したドットであって、前記ドットが規定する複数の略正六角形の所定の一の頂点に位置する前記ドットのみ所定の方向に所定距離シフトして配されたドットと、前記略正六角形を構成する略正三角形の幾何学的中心位置から所定の方向に所定距離シフトして更に配されたドットと、を撮像することにより、前記略正六角形に対応する前記原オブジェクトの位置を示す前記原オブジェクト位置データを取得することを特徴とする請求項１又は請求項２記載の携帯端末。
4. 前記原オブジェクト位置取得手段は、前記媒体上に二次元座標系を設定した場合における各座標軸に沿って前記略正六角形が等ピッチとなるように配された前記ドットを撮像することにより、前記原オブジェクト位置データを取得することを特徴とする請求項３記載の携帯端末。
5. 前記代替オブジェクト表示手段は、前記原オブジェクト位置取得手段が撮像した前記ドットの配置に基づいて、表示する前記代替オブジェクトの大きさ及び表示角度を調整することを特徴とする請求項３又は請求項４記載の携帯端末。
6. 媒体（例えば、紙、樹脂、金属等）にかざすことにより携帯端末（例えば、携帯電話、ＰＤＡ、電子手帳等）がオブジェクトを表示する表示方法であって、
   前記媒体が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶するステップと、
   前記媒体にかざすことにより、前記媒体において前記原オブジェクトに重畳して印刷され、前記媒体における前記原オブジェクトの位置を示す、原オブジェクト位置データを取得するステップと、
   取得した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて記憶された前記代替オブジェクトデータを読み出して、前記原オブジェクトに代えて、前記代替オブジェクトを重ね合わせて表示するステップと、を含む表示方法。
7. 携帯端末（例えば、携帯電話、ＰＤＡ、電子手帳等）を媒体（例えば、紙、樹脂、金属等）にかざすことにより前記携帯端末にオブジェクトを表示させる表示プログラムであって、
   前記媒体が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶するステップと、
   前記媒体にかざすことにより、前記媒体において前記原オブジェクトに重畳して印刷され、前記媒体における前記原オブジェクトの位置を示す、原オブジェクト位置データを取得するステップと、
   取得した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて記憶された前記代替オブジェクトデータを読み出して、前記原オブジェクトに代えて、前記代替オブジェクトを重ね合わせて表示するステップと、を前記携帯端末に実行させる表示プログラム。
8. 媒体（例えば、紙、樹脂、金属等）にかざすことによりオブジェクトを表示する携帯端末（例えば、携帯電話、ＰＤＡ、電子手帳等）と、通信ネットワークを介して前記端末と接続可能なサーバと、を含むシステムであって、
   前記端末は、前記媒体にかざすことにより、前記媒体において前記原オブジェクトに重畳して印刷され、前記媒体における前記原オブジェクトの位置を示す、原オブジェクト位置データを取得して、前記サーバに送信する原オブジェクト位置取得手段（例えば、ＣＣＤカメラ等）を備え、
   前記サーバは、前記媒体が含む視認可能な原オブジェクト（例えば、現在の地図、人の写真、ウサギのイラスト、日本語の単語リスト等）に対応する代替オブジェクト（例えば、江戸時代の地図、その人のレントゲン写真、熊のイラスト、外国語の単語リスト等）を示す代替オブジェクトデータと、前記代替オブジェクトの表示位置を示す代替オブジェクト表示位置データと、を関連付けて記憶する記憶手段（例えば、半導体メモリ、ハードディスク、光ディスク等）と、
   前記端末が送信した前記原オブジェクト位置データを受信したことに応じて、受信した前記原オブジェクト位置データに基づいて、対応する前記代替オブジェクト表示位置データに関連付けられて前記記憶手段に記憶された前記代替オブジェクトデータを読み出して、前記端末に送信する代替オブジェクトデータ読出手段と、を備え、
   前記端末は、更に、前記サーバが送信した前記代替オブジェクトデータを受信したことに応じて、前記原オブジェクトに代えて、前記代替オブジェクトを重ね合わせて表示する代替オブジェクト表示手段（例えば、ＬＣＤ、有機ＥＬディスプレイ等）と、を備えるシステム。
   

Images