JP2004094909A

JP2004094909A - Information input device, information input method, terminal device, and content acquisition method

Info

Publication number: JP2004094909A
Application number: JP2003026527A
Authority: JP
Inventors: Yutaka Usuda; 臼田　裕; Masanori Idesawa; 出澤　正徳
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-10
Filing date: 2003-02-03
Publication date: 2004-03-25
Anticipated expiration: 2023-02-03
Also published as: JP4211415B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an information input device and a terminal device which precisely recognize information encoded by a rotation direction of an image pattern, even under environments that a positional relationship between an imaging means and an information input medium can be varied. <P>SOLUTION: An image of an information entry area of an information input medium where information for specifying images which can be provided for a terminal device 1 as contents is entered as information encoded by the rotation direction of a prescribed image pattern is picked up by a CCD camera 3. Picked-up image information is processed to discriminate the rotation direction of an image pattern 48. In this case, distortions of swing, tilt, rotation, etc. caused by projecting an object in a three-dimensional space on a two-dimensional image surface are removed from image data by coordinate transformation from an imaging coordinate system based on the least square method to a medium coordinate system, and the rotation direction of the image pattern 48 is discriminated from the image data having the distortions removed, and thus information for specifying images which can be provided as contents is recognized. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、画像パターンの回転方向により符号化された情報を画像として取り込み認識して情報の入力を行う情報入力装置および情報入力方法と、ウェブなどからの取得したコンテンツを表示する機能を有する端末装置、さらにはこの端末装置のコンテンツ取得方法に関する。
【０００２】
【従来の技術】
情報を画像パターンを用いて符号化する技術には次のようなものがある。たとえば、特開平１０−２１４３１８号公報には、情報を所定の画像パターンの回転方向により符号化する技術が開示されている。この技術によると、単純な画像パターンのｎ個の種類の回転方向に対してｎ種類のコードを割り当てることによって、たとえばｍ個の画像パターンでｎｍ種類のコードを定義することができる。このように画像パターンにより符号化された情報を認識する場合には、画像パターンの記載部分をカメラで撮像することで得られた画像情報から画像パターンを抽出し、この画像パターンについて回転方向などの特徴を計算すればよい。したがって、簡単な処理でコードを高い精度で判別することが可能である。また、人間による符号化と認識も可能であるという利点を有する。
【０００３】
【発明が解決しようとする課題】
上記のような情報の符号化・認識システムを、利用者が携帯するＣＣＤカメラなどの撮像手段で画像パターンの記載部分を撮像して、この画像情報に基づいて符号化情報を認識しようとした場合、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪が画像パターンの回転方向の判別に影響し、コードを正しく認識することが困難になるというおそれがあった。
【０００４】
本発明は、以上のような事情を鑑みて、画像パターンの回転方向により符号化された情報を、撮像手段と情報入力媒体との位置関係が変動し得る環境においても高精度に認識することのできる情報入力装置および情報入力方法を提供することを目的とする。
【０００５】
また、本発明は、目的のコンテンツを簡単な手順で、かつ画像パターンの回転方向により符号化されたコンテンツ特定情報を、撮像手段と情報入力媒体との位置関係が変動し得る環境においても精度良く認識することのできる端末装置およびそのコンテンツ取得方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の情報入力装置は、入力すべき情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像する撮像手段と、前記撮像手段により撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換する座標変換手段と、この座標変換手段により変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記入力すべき情報を認識する認識手段とを具備する。
【０００７】
この発明によれば、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別することによって、入力すべき情報を精度良く認識することができる。
【０００８】
本発明の別の観点に基づいた情報入力方法は、入力すべき情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像し、この撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換し、この変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記入力すべき情報を認識することを特徴とする。
【０００９】
この発明によれば、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別することによって、入力すべき情報を精度良く認識することができる。
【００１０】
本発明の別の観点に基づいた端末装置は、画像を表示可能な表示部と、コンテンツとして提供可能な画像を特定する情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像する撮像手段と、前記撮像手段により撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換する座標変換手段と、この座標変換手段により変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記コンテンツとして提供可能な画像を特定する情報を認識する認識手段と、前記認識手段によって認識された情報に基づいて該当するコンテンツとしての画像を取得するコンテンツ取得手段とを具備する。
【００１１】
ここで、コンテンツとは、情報サービスから提供される様々な内容のことである。したがって、情報サービスが提供する情報であれば、画像、音楽、文書、実用機能すべてをコンテンツと言うことができる。
【００１２】
この発明の端末装置では、端末装置にコンテンツとして提供可能な画像を特定する情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域をＣＣＤカメラなどの撮像手段により撮像する。ここで、情報入力媒体には、複数の画像について、これらを個々に特定する複数の情報の符号化情報が記載されていてもよく、その中の所望の一画像についてこれを特定する情報の符号化情報の記載領域を撮像の対象として選択するようにしてもよい。
【００１３】
この後、撮像された画像情報を処理して画像パターンの回転方向の判別を行う。この際、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別するようにする。これにより、コンテンツとして提供可能な画像を特定する情報を精度良く認識することができる。
【００１４】
また、この発明によれば、情報入力媒体における一つの情報記載領域を撮像するだけで目的のコンテンツである画像を取得することができ、コンテンツの取得のための利用者の負担が軽減される。また、符号化できるコード長を自由に選択できるので、提供可能なコンテンツの数の増大に柔軟に対応できる。
【００１５】
この発明の端末装置は、端末装置の移動を検出する検出手段と、表示部の表示画面にこの表示画面よりサイズが大きい画像を表示させる場合に検出手段によって検出された端末装置の移動に応じて表示画面に表示させる画像の位置を移動させるスクロール手段とをさらに具備するものであってよい。
【００１６】
これにより、表示画面よりサイズが大きい画像を鑑賞する場合のスクロール表示のための操作部が不要になるとともに、人間の直感に合致した画像のスクロール表示が可能になる。
【００１７】
本発明の端末装置はさらに、コンテンツ取得手段によってコンテンツとして取得した画像を区分する複数の領域それぞれに個別の機能を設定するためのテーブルを取得するテーブル取得手段と、スクロール手段によって画像を移動させて表示画面に表示させた領域に設定された機能をテーブル取得手段によって取得されたテーブルに基づいて実行する手段とを具備するものであってもよい。
【００１８】
ここで、画像を区分する各領域に設定された機能とは、たとえば、ウェブ上のサイトから画像、音楽、文書、アプリケーションプログラム等の様々なコンテンツを入手する機能の他に、地図検索、辞書検索といったウェブ上の各種サービスを利用する機能、あるいは、この端末装置を各種機器を赤外線通信などによって遠隔操作する端末として利用した場合には機器を操作する機能などである。
【００１９】
このようにウェブ上のサイトなどからコンテンツを入手する機能を実現するために、テーブルには、画像を区分する複数の領域それぞれの機能を設定する情報として、その機能を実現するために必要なウェブ上のコンテンツの入手場所が登録されていればよい。
【００２０】
この発明によれば、領域ごとに様々な機能が設定された画像を表示画面の背景画像として設定でき、画面のスクロールによって領域を選択してその領域に設定された機能を選択実行することができる。したがって、表示画面のサイズが小さくても、簡単な操作で、背景画像の交換を通じて、様々なコンテンツの提供を受けられる。
この発明において、複数の画像が蓄積されている場所および複数のテーブルが蓄積されている場所はウェブ上のサイト、あるいは着脱自在な記憶媒体であってよい。
【００２１】
本発明の別の観点に基づいた端末装置のコンテンツ取得方法は、画像を表示可能な表示部と、撮像を行う撮像部とを備えた端末装置の画像コンテンツ取得方法であって、コンテンツとして提供可能な画像を特定する情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像するステップと、前記撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換するステップと、前記座標変換された画像情報に基づいて前記画像パターンの回転方向を判別して前記コンテンツとして提供可能な画像を特定する情報を認識するステップと、この認識された情報に基づいて該当するコンテンツとしての画像を取得するステップとを有することを特徴とする。
【００２２】
この発明によれば、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別することによって、コンテンツとして提供可能な画像を特定する情報を精度良く認識することができる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
図１は本発明の実施の一形態に係る端末装置１の外観を概略的に示す斜視図である。
【００２４】
図１に示すように、この端末装置１は、例えば利用者が片手で持てるような大きさの筐体２を有する。筐体２の前面２ａには、撮像手段としてのカメラ３、マイク４、スピーカ５、表示部６及び操作領域７などが設けられている。また、筐体２の側面２ｂには、例えばスティック状の記憶媒体８が着脱自在に装着される装着部９が設けられている。カメラ３は例えばＣＣＤカメラにより構成され、表示部６は例えばカラー液晶表示装置により構成される。操作領域７には、ＯＫボタン１０、Ｕｎｄｏボタン１１、カメラキャプチャーボタン１２等が設けられている。
【００２５】
図２はこの端末装置１のハードウェア構成を示すブロック図である。
図２に示すように、端末装置１は、メインバス１４にＣＰＵ１５、ＲＯＭ１６、Ｓ−ＲＡＭ（スタティックラム）１７、ＲＡＭ１８、記憶媒体用インタフェース１９、センサインタフェース２０の他、各種のインタフェース、例えばＴＴＹ（Ｔｅｌｅ　Ｔｙｐｅｗｒｉｔｅｒ）２１、イーサネット（登録商標）ボード（Ｅｔｈｅｒｎｅｔ（登録商標）　Ｂｏａｒｄ）２２、イメージプロセッシングユニット（Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２３、Ｖｉｓｃａインタフェース（Ｖｉｓｃａ　Ｉｎｔｅｒｆａｃｅ）２４、ＶＧＡボード（ＶＧＡ　Ｂｏａｒｄ）２５、オーディオビデオインタフェース（Ａｕｄｉｏ＆Ｖｉｄｅｏ
Ｉｎｔｅｒｆａｃｅ）２６を接続して構成される。
【００２６】
ＣＰＵ１５は、この端末装置１全体を統括的に制御するもので、ＲＯＭ１６にはその動作に必要なプログラムが記憶され、Ｓ−ＲＡＭ１７には、たとえば後述するコンテンツテーブル、コード変換テーブルなどが記憶され、ＲＡＭ１８は処理の際の作業スペースとして用いられる。
記憶媒体用インタフェース１９には、装着部９が接続され、装着部９に装着された記憶媒体８との間でデータの通信が行われるようになっている。
【００２７】
センサインタフェース２０には、位置検出センサ２７が接続されている。位置検出センサ２７としては、例えば加速度センサを用いることができる。加速度センサは例えば利用者はがこの端末装置１を手に持った状態で空間を移動させたとき、２軸方向あるいは３軸方向の加速度を検知する素子である。例えば加速度センサを２軸方向の加速度を検出するセンサとして用い、端末装置１に加わる加速度の縦方向成分及び横方向成分を検知し、それぞれの成分ごとに時間積分演算を行って速度成分、変位成分を算出するようになっている。この算出結果は後述する画像のスクロール表示に用いられる。
【００２８】
ＴＴＹ（Ｔｅｌｅ　Ｔｙｐｅｗｒｉｔｅｒ）２１は、上記の操作領域の各種のボタン１０，１１，１２と接続されている。
イーサネット（登録商標）ボード（Ｅｔｈｅｒｎｅｔ（登録商標）　Ｂｏａｒｄ）２２は、イーサネット（登録商標）に接続可能とするものである。イーサネット（登録商標）を介してたとえばホスト装置に接続され、このホスト装置を介してインターネットに接続できるようになっている。また、ホスト装置を介さず、端末装置１を直接インターネットにオンライン接続して、コンテンツを提供するサービスを行っているサーバ装置に接続するようにしてもよい。
【００２９】
イメージプロセッシングユニット（Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）２３にはカメラインタフェース（Ｃａｍｅｒａ　Ｉｎｔｅｒｆａｃｅ）２８が接続され、このカメラインタフェース２８には上記のＣＣＤカメラ３が接続されている。ＣＣＤカメラ３により撮影された画像はカメラインタフェース２８を通じて端末装置１内にデジタル画像として取り込まれ、表示部６に表示できるようになっている。
【００３０】
Ｖｉｓｃａインタフェース（Ｖｉｓｃａ　Ｉｎｔｅｒｆａｃｅ）２４には外部のパーソナルコンピュータ等が接続され、このインタフェースを介して端末装置１の各種の制御を行うことが可能とされている。
ＶＧＡボード（ＶＧＡ　Ｂｏａｒｄ）２５には上記の表示部６としての液晶表示装置が接続されている。
【００３１】
オーディオビデオインタフェース（Ａｕｄｉｏ＆Ｖｉｄｅｏ　Ｉｎｔｅｒｆａｃｅ）２６には、オーディオビデオ系の機器が接続されるようになっている。このインタフェース２６を介してオーディオビデオ系の機器からの信号を端末装置１内に取り込んだり、逆にオーディオ信号や画像信号をオーディオビデオ系の機器に出力することができる。
【００３２】
図３に、ＲＯＭ１６およびＳ−ＲＡＭ１７に記憶されたプログラムおよびデータの構成の一部を示す。
ＲＯＭ１６には、基本プログラム３１、コンテンツ処理プログラム３２、コード認識プログラム３３、コンテンツ取得プログラム３４、座標変換プログラム７１などが格納されている。
【００３３】
基本プログラム３１は、この端末装置１を動作させるために必要な基本的なプログラムである。
コンテンツ処理プログラム３２は、コンテンツとして取得した画像、サウンド、文書などを処理するためのプログラムであり、たとえば画像を描画するプログラム、サウンドを再生するプログラム、文書を処理するためのプログラムなどである。
【００３４】
コード認識プログラム３３は、コンテンツとして提供可能な画像を特定する情報（コード）が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域をカメラ３にて撮像することによって得られた画像情報に基づいて、上記画像パターンの回転方向を判別して、コンテンツとして提供可能な画像を特定する情報（コード）を認識する処理を行うためのプログラムである。
【００３５】
コンテンツ取得プログラム３４は、コード認識プログラム３３によって認識されたコードに基づき後述するコード変換テーブルを参照して目的の背景画像およびコンテンツテーブルを取得するためのプログラムである。
座標変換プログラム７１は、カメラ３により撮像された画像情報の撮像座標系から媒体座標系への座標変換を行うためのプログラムである。
なお、上記のコード認識プログラム３３、コンテンツ取得プログラム３４および座標変換プログラム７１は基本プログラム３１に含まれるものであってよい。
【００３６】
Ｓ−ＲＡＭ１７には、画像、サウンド、文書、アプリケーションプログラムなどのコンテンツの実体３５のほか、コンテンツテーブル３６、コード変換テーブル５０などが格納される。なお、これらのコンテンツの実体３５、コンテンツテーブル３６、コード変換テーブル５０は端末装置１に着脱自在な記憶媒体８に記憶させてもよい。
【００３７】
この端末装置１はスクロール表示機能を備えている。このスクロール表示機能はハードウェアもしくはソフトウェア、あるいはその両方によって実現される。
図４を用いて、この端末装置１のスクロール表示機能について説明する。
【００３８】
ここで、ＡＢは全体の背景画像であり、この全体の背景画像ＡＢはたとえばこれを縦横に等分割する複数（この例では４つ）の部分画像の領域Ａ１、Ａ２、Ｂ１、Ｂ２で構成される。なお、部分画像の領域の数は可変である。
図中点線で囲まれる領域Ｃは、背景画像ＡＢの中で実際の表示画面に表示される範囲である。すなわち、背景画像ＡＢは実際の表示画面より大きなサイズの画像であり、表示画面には常に全体の背景画像ＡＢのうち一部が表示されている。
【００３９】
端末装置１が右方向に移動されると、位置検出センサ２７によりその移動が検出されて表示画面の領域Ｃに対して背景画像ＡＢが右方向へスクロールされ、逆に端末装置１が左方向に移動されると、位置検出センサ２７によりその移動が検出されて表示画面の領域Ｃに対して背景画像ＡＢが左方向へスクロールされる。同様に、端末装置１が上（下）方向に移動されると、位置検出センサ２７によりその移動が検出され、表示画面の領域Ｃに対して背景画像ＡＢが上（下）方向へスクロールされる。
【００４０】
このように、端末装置１を左右上下に動かすことによって、背景画像ＡＢの全体を利用者が参照することができる。そして、全体の背景画像ＡＢの中で利用者が希望する部分画像の領域をスクロール操作によって表示画面の領域Ｃに表示させ、ＯＫボタン１０を押すことによって、その部分画像の領域を選択することができる。
【００４１】
上記背景画像ＡＢの各領域Ａ１、Ａ２、Ｂ１、Ｂ２は、ウェブや着脱自在な記憶媒体８より取得可能なコンテンツとコンテンツテーブル３６上で関連付けられており、ある一つの領域が選択されると、コンテンツテーブル３６上でその領域に関連付けられたコンテンツをウェブや着脱自在な記憶媒体８より取り込むことができる。すなわち、背景画像ＡＢの各領域Ａ１、Ａ２、Ｂ１、Ｂ２には、コンテンツテーブル３６によってそれぞれ個別の機能が設定されている。
【００４２】
図５に、コンテンツテーブル３６の一例を示す。
同図に示すように、コンテンツテーブル３６には、符号３７の項目に示される部分画像の領域Ａ１、Ａ２、Ｂ１、Ｂ２ごとに、これに関連付けられたコンテンツの情報として、少なくとも、コンテンツＩＤ３８、コンテンツ名３９、コンテンツ属性４０、コンテンツ価格４１、コンテンツ名４２などが登録されている。
【００４３】
コンテンツＩＤ３８は、システムがコンテンツを識別するために個々のコンテンツごとにユニークに付与された識別情報である。
コンテンツ名３９とは、便宜上利用者等がコンテンツを識別するために個々のコンテンツに付けられた名前である。
【００４４】
コンテンツ属性４０とは、たとえばコンテンツの入手日時、作成日時、バージョン番号などの属性情報である。
コンテンツ価格４１とは、コンテンツの入手に対して課される料金あるいはコンテンツの利用に対して課される料金等である。
【００４５】
コンテンツ名４２は、たとえばＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）など、ウェブ上でのコンテンツの置き場所を示す情報である。
端末装置１は、このようなコンテンツテーブルを背景画像の情報とともに外部から入手し、Ｓ−ＲＡＭ１７や着脱自在な記憶媒体８に保存する。
【００４６】
背景画像とコンテンツテーブルの入手方法には、たとえば、ウェブ上に背景画像とコンテンツテーブルを提供するサービスを行うサイトを設けておき、このサイトに端末装置１からアクセスして所望の背景画像とこれに対応するコンテンツテーブルとをダウンロードする方法、背景画像とコンテンツテーブルが記憶されたスティック状の記憶媒体８を購入して端末装置１に装着し、ここから所望の背景画像とこれに対応するコンテンツテーブルとを読み込む方法などがある。
なお、前者の場合、背景画像とコンテンツテーブルを提供するサービスを行うサイトは一つのサイトであっても複数のサイトであっても構わない。
【００４７】
また、後者の場合、背景画像と、コンテンツテーブルの入手場所を示すコンテンツテーブル名とを記憶媒体８に記憶しておき、コンテンツテーブルについてはウェブ上のサイトから端末装置１が配信を受けるようにしてもよい。
さらに、前者の、ウェブ上のサイトから背景画像とこれに対応するコンテンツテーブルとを取得する場合、利用者に様々な背景画像とこれに関連する情報を紹介することによってそれらの取得を利用者に喚起し、そのなかで利用者に希望の背景画像を選択させることによって、その選択された背景画像とコンテンツテーブルを提供するようにしてもよい。以下に、この仕組みについて詳細に説明する。
【００４８】
この端末装置１では、上記の仕組みを実現する手段の一つとして、背景画像を特定するコードを所定の画像パターンの回転方向によって符号化する技術を用いている。
そこで、かかる符号化技術について説明する。
図６に、画像パターンの回転方向によって符号化された情報を含む認識対象画像４７とこの認識対象画像４７が記載された情報入力媒体４３の例を示す。
【００４９】
同図に示す情報入力媒体４３は、たとえば冊子状の媒体であり、この情報入力媒体４３の各ページ４４には、たとえば背景画像（の見本）４５と、この背景画像４５に関する情報として画像名（ｔｉｔｌｅ）、関連付けられたコンテンツ名（ｃｏｎｔｅｎｔｓ）、価格（ｐｒｉｃｅ）などの詳細情報４６と、上記の認識対象画像４７が少なくとも記載されている。ここで認識対象画像４７は同ページに掲載されている背景画像に対応させたコードを符号化した情報である。
【００５０】
たとえば、図中左側のページ（４４Ｌ）の背景画像（４５Ｌ）は、４つの異なる都会の部分画像４５Ｌ（Ａ１），４５Ｌ（Ａ２），４５Ｌ（Ｂ１），４５Ｌ（Ｂ２）により全体画像が構成され、画像名（ｔｉｔｌｅ）として「都会のパノラマ風景」が付けられている。
【００５１】
コンテンツ名（ｃｏｎｔｅｎｔｓ）は、上記４つの異なる都会の部分画像４５Ｌ（Ａ１），４５Ｌ（Ａ２），４５Ｌ（Ｂ１），４５Ｌ（Ｂ２）にそれぞれ設定された機能の内容を示しており、この例では「カレンダー」「地図検索」「道路検索」「電卓」といった実用機能が個々の都会の部分画像に設定されていることを示している。
【００５２】
これらの実用機能は、たとえば、ウェブ上の特定のサイトで提供されているサービスであったり、あるいは、端末装置１上で実行される形式のアプリケーションプログラムであってもよい。前者の場合、コンテンツテーブルに示すコンテンツの入手場所は、サービスを提供するウェブサイトのページなどであり、後者の場合はアプリケーションプログラムのダウンロード用のページなどである。
【００５３】
また、図中右側のページ（４４Ｒ）の背景画像（４５Ｒ）は、４つの異なる乗り物の部分画像４５Ｒ（Ａ１），４５Ｒ（Ａ２），４５Ｒ（Ｂ１），４５Ｒ（Ｂ２）により全体画像が構成され、画像名（ｔｉｔｌｅ）として「乗り物」が付けられている。上記４つの異なる部分画像４５Ｒ（Ａ１），４５Ｒ（Ａ２），４５Ｒ（Ｂ１），４５Ｒ（Ｂ２）には、「ゲーム１」「ゲーム３」「音楽１」「イラスト１」の機能が設定されていることを示している。たとえば「音楽１」「イラスト１」といったコンテンツ名はこれがダウンロード対象のコンテンツであって、端末装置１上で鑑賞できる音楽、画像であることを意味する。
【００５４】
図７に認識対象画像４７の一例を示す。同図に示すように、認識対象画像４７は１つ以上の画像パターン４８（４８ａ，４８ｂ，４８ｃ，４８ｄ）とこれらの画像パターン４８（４８ａ，４８ｂ，４８ｃ，４８ｄ）を一体に囲う矩形の枠線４９とで構成される。
【００５５】
図８に示すように、画像パターン４８は８つの回転モードを持ち、その方向によって８種類のコードが割り当てられている。したがって、たとえば、４個の画像パターンで、８^６　＝４０９６種類のコードを定義することができる。たとえば図７の認識対象画像４７のコードは”８５７２”である。
【００５６】
図９に、情報入力媒体４３に記載されている認識対象画像４７からコードを認識する処理の流れを示す。
端末装置１の利用者は、たとえば図６に示した情報入力媒体４３の各ページ４４に掲載されている背景画像の見本４５とその詳細情報４６を参考に、取得したい背景画像があればそのページ４４に記載されている認識対象画像４７を端末装置１のカメラ３で撮像する。
【００５７】
認識対象画像４７を撮像してコード認識を行う場合、利用者はボタン操作等によって端末装置１を通常の撮像モードからコード認識モードに切り替える。コード認識モードが設定されると、カメラ３で撮像された画像データに対してコード認識のための以下の処理が実行される。
【００５８】
まず、画像データの前処理として、ノイズ除去、濃淡処理、しきい値調整などを行われる（ステップ９０１）。次に全体の画像の中から枠線４９を検出し、検出された枠線４９内の画像データを切り出す。そして検出された枠線４９内の画像データについて、撮像座標系から媒体座標系への変換を行うことによって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪の成分を取り除く処理を行う（ステップ９０２）。この歪補正処理については後で詳述する。
【００５９】
次に、このように歪成分か除去された枠線４９内の画像データから個々の画像パターンを抽出する処理を行う（ステップ９０３）。この画像パターン抽出処理は、たとえば、図１０に示すように、個々の画像パターン４８の濃淡値の重心座標６８と外接矩形６９を求めることによって行われる。
【００６０】
次に、この画像パターン抽出処理によって求められた画像パターン４８の濃淡値の重心座標と外接矩形の縦横比をパラメータとして、たとえば図１１に示すような方向特徴テーブルを参照することにより、画像パターン４８の回転モード（方向）を求める。そして求めた画像パターンの方向に対応するコードを、図８に示した画像パターンの方向とコードとの対応を示す情報に基づいて判定する（ステップ９０４）。
【００６１】
さらに、このようにして４つの画像パターンについて判定されたコードと、あらかじめ定義された図１２に示すようなコードの候補群７０とを比較し、最も距離の近いコードを認識対象画像４７の認識結果として判定する（ステップ９０５）。ここでの距離とは、４つの画像パターンそれぞれについての判定コードと定義コードとの差の総和である。いずれの距離も予め定められたしきい値を越えている場合には認識不可となる。
【００６２】
以上により、端末装置１は、情報入力媒体４３に掲載された背景画像の中で利用者が取得することを希望する背景画像の掲載ページ４４に記載されている認識対象画像４７の認識結果であるコードを得ることができる。
【００６３】
次に、最小二乗法を用いた撮像座標系から媒体座標系への座標変換について詳述する。
一般に、二次元平面での座標変換は、下式（１），（２）のように記述できる。

いま、撮像面上で検出されたｎ個の画像パターンの位置を（ｘｉ，ｙｉ）（ｉ＝１，…，ｎ）とし、この位置に対応する認識対象座標系上の座標値をそれぞれ（Ｘｉ，Ｙｉ）とすると、（Ｘｉ，Ｙｉ）と（ｘｉ，ｙｉ）との関係は式（１），（２）となり、ａｘ，ｂｘ，ｃｘおよびａｙ，ｂｙ，ｃｙを定められれば撮像面上の任意の点をこの変換によって認識対象座標系上での座標値に変換できる。３点（ｎ＝３）について（Ｘｉ，Ｙｉ）と（ｘｉ，ｙｉ）の値か与えられれば、パラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝を求めることができる。しかし、この端末装置１では、複数の画像パターンを含んだ領域が撮像されることを想定しており、また、撮像される画像はあおりや回転歪のみでなく、撮像画面上での座標検出誤差や、認識対象画像が撮像平面から外れることによる誤差等も考えられる。
【００６４】
そこで、撮像領域全体にわたる点の座標値ができるだけ少ない誤差で認識対象座標系上の座標値に変換できるように最小２乗法によって上記の変換パラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝を定めることとした。
すなわち、下式（３）で示される平均２乗誤差Ｊを最小にするようなパラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝を求める。

このＪが最小値（極値）をとる変換パラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝を求めるため、Ｊを各パラメータについて偏微分したものを０とおき下式（４），（５）を得る。

上式（４），（５）をそれぞれ解くことによって座標変換パラメータ｛ａｘ，ｂｘ，ｃｘ｝および｛ａｙ，ｂｙ，ｃｙ｝が求まる。

の逆行列とする。
すなわち、
図１３に、認識対象画像４７のデータの撮像座標系から媒体座標系への座標変換の結果を示す。同図において、（ａ）は認識対象画像４７（情報入力媒体４３）をカメラ３に向かって右に回転された場合の撮像座標系の画像７２ａから媒体座標系の画像７３ａへ変換結果、（ｂ）は認識対象画像４７をカメラ３に向かって左に回転された場合の撮像座標系の画像７２ｂから媒体座標系の画像７３ｂへ変換結果である。
このように、最小二乗法による座標変換により、撮像座標系から媒体座標系への変換を良好に行うことができる。
【００６５】
次に、このように認識対象画像４７を認識することによって得たコードから背景画像およびコンテンツテーブルを特定する方法について説明する。
コードから、これに対応させた背景画像とコンテンツテーブルを特定するために、たとえば図１４に示すようなコード変換テーブル５０が用いられる。
【００６６】
同図に示すように、このコード変換テーブル５０には、コード５１、背景画像ＩＤ５２、背景画像名５３、画像価格５４、コンテンツテーブル名５５などが対応付けて登録されている。
ここで、コード５１は、コード変換テーブル５０の個々の項目にユニークに割り当てられたコードであり、このコードを上記画像パターンの回転方向によって符号化したものが、上記の認識対象画像４７の画像パターン４８である。
【００６７】
画像名５２は、背景画像を特定するための情報であり、たとえばＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）など、ウェブ上での背景画像の置き場所を示す情報からなる。
画像ＩＤ５３は、システムが個々の背景画像を識別するための情報である。
画像価格５４は、背景画像とコンテンツテーブルの入手に対して課される料金である。
コンテンツテーブル名５５は、背景画像に対応付けられたコンテンツテーブルを特定するための情報である。たとえばＵＲＬ（Ｕｎｉｆｏｒｍ　Ｒｅｓｏｕｒｃｅ　Ｌｏｃａｔｏｒ）など、ウェブ上でのコンテンツテーブルの置き場所を示す情報からなる。
【００６８】
図１５は背景画像、コンテンツテーブル、コンテンツを端末装置１に提供するシステム構成を示す図である。
【００６９】
同図に示すように、ウェブ（インターネット）６０上には、コンテンツを提供するコンテンツ提供サイト６１、背景画像とコンテンツテーブルを提供する背景画像・コンテンツテーブル提供サイト６２、そしてコード変換テーブルを提供するコード変換テーブル提供サイト６３が設けられている。ただし、背景画像とコンテンツテーブルは別々のサイトによって提供されるものであってよいし、コンテンツ、背景画像、コンテンツテーブル、コード変換テーブルが同じサイトから取得可能であってもよい。すなわち、コンテンツ、背景画像、コンテンツテーブル、コード変換テーブルの提供元はウェブ上のどこかに存在していればよい。また、記憶媒体８から端末装置１が直接入手してもよい。
【００７０】
コンテンツ提供サイト６１は、コンテンツのソース６４を管理しており、端末装置１からのコンテンツ配信要求ＲＱ１に対する応答ＲＳ１として、該当するコンテンツを端末装置１に提供するサービスを行う。
背景画像・コンテンツテーブル提供サイト６２は、背景画像のソース６５とコンテンツテーブルのソース６６とを管理しており、端末装置１からの背景画像・コンテンツテーブル配信要求ＲＱ２に対する応答ＲＳ２として、該当する背景画像とコンテンツテーブルを端末装置１に配信するサービスを行う。
【００７１】
コード変換テーブル提供サイト６３は、コード変換テーブルのソース６７を管理しており、端末装置１からのコード変換テーブル配信要求ＲＱ３に対する応答ＲＳ３として、該当するコード変換テーブルを端末装置１に配信するサービスを行う。なお、端末装置１にはデフォルトのコード変換テーブルが設定されていてもよい。
また、端末装置１は、装着された記憶媒体８を読み込んで、この記憶媒体８からコンテンツ、背景画像、コンテンツテーブル、コード変換テーブルを入手することも可能である。
【００７２】
次に、この実施形態の端末装置１の動作を説明する。
図１６に、端末装置１がウェブから背景画像、コンテンツテーブル、コンテンツを取得する場合の動作の流れを示す。
【００７３】
まず、端末装置１の利用者は、図６に示した情報入力媒体４３から取得したい背景画像とコンテンツテーブルがあれば、ボタン操作等によって端末装置１にコード認識モードを設定する。このコード認識モードが設定されることによって、コード認識プログラム３３が起動され（ステップ１６０１）、以降カメラ３により撮像された画像データに対して上記のコード認識が行われるようになっている。
【００７４】
コード認識プログラム３３は、起動後、まずコード変換テーブル５０の所有を確認する（ステップ１６０２）。コード変換テーブル５０を所有していないことを確認したならば、このコード変換テーブル５０をウェブ６０や記憶媒体８などから取り込む処理が行われる（ステップ１６０３）。ただし、端末装置１内にデフォルトのコード変換テーブル５０を用意しておくことで、外部からのコード変換テーブル５０の取り込みは不要である。
【００７５】
また、外部からコード変換テーブル５０を取り込む方法としては、端末装置１内にコード変換テーブル提供サイト６３のＵＲＬをデフォルトで登録しておき、コード認識プログラム３３がこのＵＲＬを読み込んでコード変換テーブル提供サイト６３へのオンライン接続を実行し、同サイト６３から自動的に取り込む方法などが考えられる。
【００７６】
コード変換テーブル５０の所有が確認できたなら（ステップ１６０２のＹＥＳ）、情報入力媒体４３に紹介されているもののなかから取得したい背景画像の掲載ページに記載された認識対象画像４７の記載領域をカメラ３で撮像する（ステップ１６０４）。
次に、カメラ３で撮像された認識対象画像４７の情報に対して上述した認識処理が行われ、利用者が選択した背景画像に対応するコードが得られる（ステップ１６０５）。
【００７７】
続いて、コード認識プログラム３３は、コード変換テーブル５０から、上記コードに対応付けられている画像名５２およびコンテンツテーブル名５５を調べる（ステップ１６０６）。
たとえば、図６において図中右側のページ（４４Ｒ）の認識対象画像（４７Ｒ）をカメラ３で撮像した場合、認識結果としてコード”８５７２”が得られ、このコードを基にたとえば図１２に示したコード変換テーブル５０から、画像ＩＤが”２”の項目の画像名とコンテンツテーブル名とが得られる。
【００７８】
すると後述する課金のための処理を挟んで（ステップ１６０７，１５０８）、端末装置１から背景画像・コンテンツテーブル提供サイト６２に目的の背景画像とコンテンツテーブルの配信要求ＲＱ２が送られる（ステップ１６０９）。
背景画像・コンテンツテーブル提供サイト６２は、この端末装置１からの要求ＲＱ２に対する応答ＲＳ２として、該当する背景画像とコンテンツテーブルを端末装置１に配信する。端末装置１は背景画像とコンテンツテーブルを受信してこれらをＳ−ＲＡＭ１７に保存する（ステップ１６１０）。
【００７９】
このようにして端末装置１は、画像名が「乗り物」の背景画像と、この背景画像の個々の部分画像に設定されている各種機能を取得するために必要なコンテンツテーブル（図５）を入手することができる。
以後、端末装置１にて、入手した背景画像を表示画面に表示させることができる（ステップ１６１１）。そして上記のスクロール操作によって、背景画像の中の任意の部分画像の領域を表示画面に表示させ、ＯＫボタン１０を押すことによって、その表示された部分画像の領域に設定されている機能が選択される（ステップ１６１２）。
【００８０】
ここで、たとえば図４に示した例において、領域Ｂ２が選択されたとする。すると図５に示したコンテンツテーブル３６から、この選択された領域Ｂ２に関連付けられている情報が読み出され、たとえば以下の処理が行われる。
【００８１】
後述する課金のための処理が行われた後（ステップ１６１３，１５１４）、端末装置１は、コンテンツテーブル３６から領域Ｂ２に関連付けられているコンテンツの入手場所４２を読み込む。そして、このコンテンツの入手場所４２が示すコンテンツ提供サイト６１にアクセスし、このコンテンツ提供サイト６１に対してコンテンツの提供を要求する（ステップ１６１５）。
コンテンツ提供サイト６１は、この要求ＲＱ１に応じて端末装置１にコンテンツを提供する（ステップ１６１６）。
【００８２】
次に、課金処理について説明する。
コンテンツテーブル３６にはコンテンツごとのコンテンツ価格４１が設定されている。このコンテンツ価格４１は、コンテンツの入手や利用に対して課せられる料金である。このコンテンツ価格４１に基づいて、端末装置１へのコンテンツの提供について課金処理を行うことが可能になる。
【００８３】
たとえば、背景画像の中の部分画像の領域が選択された後（ステップ１６１２）、この選択された領域に関連付けられているコンテンツのコンテンツ価格４１をコンテンツテーブル３６から読み出して端末装置１の表示画面に表示し、課金についての利用者の承諾を求める（ステップ１６１３）、利用者が課金に承諾したならば（ステップ１６１４のＹＥＳ）、端末装置１がコンテンツ提供サイト６１からコンテンツの配信を受けることを許可する。
【００８４】
このとき、ウェブ６０を通じて端末装置１からコンテンツ提供サイト６１へ、利用者のＩＤ、コンテンツＩＤ、コンテンツ価格等が送られることで、これらの情報に基づいて画像提供者側で課金処理を行うことができる。また、端末装置１の側で一定期間分のコンテンツの入手や利用についての課金金額を計算し、この課金金額と利用者のＩＤを画像提供者へ送るようにしてもよい。
【００８５】
また、コード変換テーブル５０には、背景画像ごとの画像価格５４が設定されており、この画像価格５４に基づいて、端末装置１への背景画像の提供について課金処理を行うことが可能である。
たとえば、認識対象画像４７の認識結果であるコードが得られた後（ステップ１６０５）、端末装置１は、このコードに対応する背景画像の画像価格５４をコード変換テーブル５０から読み出して端末装置１の表示画面に表示し、課金についての利用者の承諾を求める（ステップ１６０７）。利用者が課金に承諾したならば（ステップ１６０８のＹＥＳ）、端末装置１が背景画像・コンテンツテーブル提供サイト６２から背景画像とコンテンツテーブルの配信を受けることを許可する。
【００８６】
このとき、ウェブ６０を通じて端末装置１から背景画像・コンテンツテーブル提供サイト６２へ、利用者のＩＤ、画像ＩＤ、画像価格等が送られることで、これらの情報に基づいて背景画像・コンテンツテーブル提供者側で課金処理を行うことができる。
また、端末装置１の側で一定期間分の背景画像とコンテンツテーブルの入手や利用についての課金金額を計算し、この課金金額と利用者のＩＤを背景画像・コンテンツテーブル提供者へ送るようにしてもよい。
【００８７】
なお、記憶媒体８から背景画像とコンテンツテーブルを入手する場合は、記憶媒体８に、背景画像の読み込みに対し、オンラインでの課金処理を行うプログラムを記憶しておく。このプログラムは、記憶媒体８からの背景画像の読み出しが発生すると、コード変換テーブル５０から当該背景画像の画像価格５４を読み出して端末装置１の表示画面に表示させ、課金についての利用者の承諾を求める。利用者が課金に承諾したならば、プログラムは、端末装置１に記憶媒体８からの目的の背景画像の読み込みを許可する。このときプログラムは端末装置１をウェブ上の課金用のサーバにオンライン接続し、読み出された背景画像の画像ＩＤ、画像価格、利用者のＩＤ等をサーバに送る。これによりサーバで課金処理が行われる。
なお、記憶媒体８の購入時に背景画像とコンテンツテーブルの権利を同時に購入する場合は、上記のような課金の機能は不要であることは言うまでもない。
【００８８】
以上説明したように、この端末装置１は、情報入力媒体４３に記載された認識対象画像４７を端末装置１に装備されたカメラ３で撮像し、認識処理を行うことによって、利用者が所望する背景画像とこの背景画像に付加価値として設けられた機能を利用するために必要なコンテンツテーブルを取得することができる。すなわち、利用者自身で背景画像やコンテンツテーブルの置き場所をサーチするといった手間を要することなく、容易に背景画像とコンテンツテーブルを入手することができる。
【００８９】
また、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターン４８の回転方向を判別することによって、背景画像とコンテンツテーブルを特定するコードを精度良く認識することが可能になる。
【００９０】
また、コンテンツとして提供可能な背景画像やコンテンツテーブルを特定するコードを画像パターンの回転方向によって符号化する方式は、符号化できるコード長を自由に選択できるので、提供可能なコンテンツの数の増大に柔軟に対応することができる。
【００９１】
さらに、この端末装置１は、領域ごとに様々な機能が設定された画像を表示画面の背景画像として設定でき、画面のスクロールによって領域を選択してその領域に設定された機能を選択実行することができる。したがって、表示画面のサイズが小さくても、簡単な操作で、背景画像の交換を通じて、様々な機能を利用することができる。
【００９２】
本発明は、以上の実施形態に限定されるものではない。
背景画像を区分する部分画像の数は４に限らない。４未満でも、５以上でもよい。
画面のスクロールは、領域の単位で行われてもよい。設定により、スクロールの分解能を可変できるようにしてもよい。
【００９３】
記憶媒体には、背景画像とコンテンツテーブルの両方が記憶されていてもよい。また、記憶媒体には、背景画像ではなく、コンテンツテーブルおよび／またはコンテンツが記憶されていてもよい。
一つの背景画像に対して複数のコンテンツテーブルの中から取得したいテーブルを選択できるようにしてもよい。すなわち、背景画像の領域に割り当てられる機能を選択できるようにしても構わない。
【００９４】
記憶媒体としては、コピーガード付きのメモリーデバイス等、不正コピー防止技術を用いたものでもよい。
符号化のための画像パターン４８は、様々なものを利用可能である。図１７に、他の画像パターン４８−１，４８−２，４８−３の例を示す。
情報入力媒体４３は、冊子状のものに限定されない。認識対象画像４７を記載可能なものであれば、いかなる物品を用いてもよい。
【００９５】
また、本発明は、上記の端末装置１への適用に限定されるものではなく、入力すべき情報が所定の画像パターンの回転方向により符号化された情報として記載された情報入力媒体の情報記載領域を撮像する撮像手段と、この撮像手段により撮像された画像情報の座標を撮像座標系から媒体座標系に最小二乗法により変換する座標変換手段と、この座標変換手段により変換された画像情報に基づいて画像パターンの回転方向を判別して前記入力すべき情報を認識する認識手段とを具備する、あらゆる形態の情報入力装置への適用も可能である。
【００９６】
【発明の効果】
以上説明したように、本発明によれば、最小二乗法による撮像座標系から媒体座標系への座標変換によって、三次元空間の対象物を二次元撮像面上に投影することによるあおりや回転などの歪を画像データから除去し、この歪が除去された画像データから画像パターンの回転方向を判別することによって、入力すべき情報を精度良く認識することができる。
【図面の簡単な説明】
【図１】図１は本発明の実施の一形態に係る端末装置の外観を概略的に示す斜視図である。
【図２】この端末装置のハードウェア構成を示すブロック図である。
【図３】この端末装置のプログラムおよびデータの構成の一部を示すブロック図である。
【図４】この端末装置のスクロール表示機能を説明するための図である。
【図５】コンテンツテーブルの一例を示す図である。
【図６】認識対象画像が記載された情報入力媒体の例を示す図である。
【図７】認識対象画像の例を示す図である。
【図８】認識対象画像を構成する画像パターンの回転モードとコードとの関係を示す図である。
【図９】情報入力媒体に記載されている認識対象画像からコードを認識する処理の流れを示す図である。
【図１０】画像パターンの抽出処理を示す図である。
【図１１】方向特徴テーブルの例を示す図である。
【図１２】コード認識結果を判定するために用いられる候補コード群の例を示す図である。
【図１３】最小二乗法による撮像座標系から媒体座標系への座標変換の例を示す図である。
【図１４】コード変換テーブルの例を示す図である。
【図１５】背景画像、コンテンツテーブル、コンテンツを端末装置に提供するネットワークシステムの構成を示す図である。
【図１６】この端末装置の動作を示すフローチャートである。
【図１７】画像パターンの他の例を示す図である。
【符号の説明】
１　　　端末装置
３　　　カメラ
６　　　表示部
７　　　操作領域
８　　　記憶媒体
２７　　　位置検出センサ
３１　　　基本プログラム
３２　　　コンテンツ処理プログラム
３３　　　コード認識プログラム
３４　　　コンテンツ取得プログラム
３５　　　コンテンツの実体
３６　　　コンテンツテーブル
４３　　　情報入力媒体
４７　　　認識対象画像
４８　　　画像パターン
５０　　　コード変換テーブル
７１　　　座標変換プログラム
７２ａ，７２ｂ　　　撮像座標系の画像
７３ａ，７３ｂ　　　媒体座標系の画像[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an information input device and information input method for inputting and recognizing information encoded according to the rotation direction of an image pattern as an image, and a terminal having a function of displaying acquired content from the web or the like The present invention also relates to a content acquisition method of the terminal device.
[0002]
[Prior art]
There are the following techniques for encoding information using an image pattern. For example, Japanese Patent Laid-Open No. 10-214318 discloses a technique for encoding information according to the rotation direction of a predetermined image pattern. According to this technique, by assigning n types of codes to n types of rotation directions of a simple image pattern, for example, nm types of codes can be defined by m image patterns. When recognizing the information encoded by the image pattern in this way, the image pattern is extracted from the image information obtained by capturing the description portion of the image pattern with the camera, and the rotation direction of the image pattern is determined. What is necessary is just to calculate a feature. Therefore, it is possible to determine the code with high accuracy by a simple process. It also has the advantage that it can be encoded and recognized by humans.
[0003]
[Problems to be solved by the invention]
When the information coding / recognition system as described above is used to capture the description part of the image pattern with an imaging means such as a CCD camera carried by the user and to recognize the encoded information based on this image information. Therefore, distortions such as tilt and rotation caused by projecting an object in a three-dimensional space onto a two-dimensional imaging surface may affect the determination of the rotation direction of the image pattern, making it difficult to correctly recognize the code. It was.
[0004]
In view of the circumstances as described above, the present invention recognizes information encoded according to the rotation direction of an image pattern with high accuracy even in an environment where the positional relationship between the imaging means and the information input medium may vary. An object of the present invention is to provide an information input device and an information input method.
[0005]
In addition, the present invention provides accurate content identification information in which the target content is encoded in a simple procedure and according to the rotation direction of the image pattern, even in an environment where the positional relationship between the imaging means and the information input medium can vary. It is an object to provide a terminal device that can be recognized and a content acquisition method thereof.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an information input device according to the present invention includes an imaging unit that images an information description area of an information input medium in which information to be input is described as information encoded by a rotation direction of a predetermined image pattern; , Coordinate conversion means for converting the coordinates of the image information imaged by the imaging means from the imaging coordinate system to the medium coordinate system by the least square method, and rotation of the image pattern based on the image information converted by the coordinate conversion means Recognizing means for recognizing the information to be input by determining the direction.
[0007]
According to the present invention, distortion such as tilting and rotation caused by projecting an object in a three-dimensional space onto a two-dimensional imaging surface is converted from image data by coordinate transformation from the imaging coordinate system to the medium coordinate system by the least square method. The information to be input can be accurately recognized by removing the image data from which the distortion is removed and determining the rotation direction of the image pattern.
[0008]
An information input method based on another aspect of the present invention images an information description area of an information input medium in which information to be input is described as information encoded by the rotation direction of a predetermined image pattern. Converting the coordinates of the image information from the imaging coordinate system to the medium coordinate system by the least square method, and determining the rotation direction of the image pattern based on the converted image information to recognize the information to be input. Features.
[0009]
According to the present invention, distortion such as tilting and rotation caused by projecting an object in a three-dimensional space onto a two-dimensional imaging surface is converted from image data by coordinate transformation from the imaging coordinate system to the medium coordinate system by the least square method. The information to be input can be accurately recognized by removing the image data from which the distortion is removed and determining the rotation direction of the image pattern.
[0010]
In the terminal device based on another aspect of the present invention, a display unit capable of displaying an image and information for specifying an image that can be provided as content are described as information encoded by a rotation direction of a predetermined image pattern. An imaging unit that images an information description area of an information input medium, a coordinate conversion unit that converts coordinates of image information captured by the imaging unit from an imaging coordinate system to a medium coordinate system by a least square method, and the coordinate conversion unit Recognizing means for recognizing information for identifying an image that can be provided as the content by determining the rotation direction of the image pattern based on the converted image information, and corresponding content based on the information recognized by the recognizing means Content acquisition means for acquiring an image.
[0011]
Here, the contents are various contents provided from the information service. Therefore, if it is information provided by an information service, all of images, music, documents, and practical functions can be called content.
[0012]
In the terminal device of the present invention, an information description area of an information input medium in which information for specifying an image that can be provided as content to the terminal device is described as information encoded according to the rotation direction of a predetermined image pattern is used as a CCD camera or the like. Imaging is performed by an imaging unit. Here, the information input medium may include a plurality of pieces of information encoding information for individually specifying a plurality of images, and a code of information specifying this for a desired one of the images. The description area of the conversion information may be selected as an imaging target.
[0013]
Thereafter, the captured image information is processed to determine the rotation direction of the image pattern. At this time, by transforming the imaging coordinate system from the imaging coordinate system by the least square method to the medium coordinate system, distortion such as tilt and rotation caused by projecting the object in the three-dimensional space onto the two-dimensional imaging surface is removed from the image data. The rotation direction of the image pattern is determined from the image data from which the distortion has been removed. As a result, information specifying an image that can be provided as content can be accurately recognized.
[0014]
Furthermore, according to the present invention, it is possible to acquire an image that is the target content simply by imaging one information description area in the information input medium, and the burden on the user for acquiring the content is reduced. Further, since the code length that can be encoded can be freely selected, it is possible to flexibly cope with an increase in the number of contents that can be provided.
[0015]
The terminal device according to the present invention is configured to detect a movement of the terminal device and a movement of the terminal device detected by the detection unit when displaying an image having a size larger than the display screen on the display screen of the display unit. It may further comprise scroll means for moving the position of the image to be displayed on the display screen.
[0016]
This eliminates the need for an operation unit for scroll display when viewing an image having a size larger than that of the display screen, and enables scroll display of an image that matches human intuition.
[0017]
The terminal device of the present invention further includes a table acquisition unit that acquires a table for setting individual functions in each of a plurality of areas that divide an image acquired as content by the content acquisition unit, and a scroll unit that moves the image. And a means for executing the function set in the area displayed on the display screen based on the table acquired by the table acquisition means.
[0018]
Here, the functions set for each area for dividing an image include, for example, a map search and a dictionary search in addition to a function for obtaining various contents such as images, music, documents, and application programs from a site on the web. A function for using various services on the web, or a function for operating a device when this terminal device is used as a terminal for remotely controlling various devices by infrared communication or the like.
[0019]
As described above, in order to realize the function of obtaining content from a website on the web, the table includes information necessary for realizing the function as information for setting the functions of a plurality of areas for dividing the image. It is only necessary that the location where the above content is obtained is registered.
[0020]
According to the present invention, an image in which various functions are set for each area can be set as a background image of the display screen, and an area can be selected by scrolling the screen and a function set in the area can be selected and executed. . Therefore, even if the size of the display screen is small, various contents can be provided by exchanging background images with a simple operation.
In the present invention, the place where a plurality of images are accumulated and the place where a plurality of tables are accumulated may be a web site or a removable storage medium.
[0021]
A content acquisition method for a terminal device according to another aspect of the present invention is an image content acquisition method for a terminal device that includes a display unit capable of displaying an image and an imaging unit that performs imaging, and can be provided as content. Imaging an information description area of an information input medium in which information specifying a specific image is described as information encoded by the rotation direction of a predetermined image pattern, and coordinates of the captured image information from the imaging coordinate system Converting to a medium coordinate system by a least squares method, recognizing information for identifying an image that can be provided as the content by determining a rotation direction of the image pattern based on the coordinate-converted image information, A step of acquiring an image as corresponding content based on the recognized information.
[0022]
According to the present invention, distortion such as tilting and rotation caused by projecting an object in a three-dimensional space onto a two-dimensional imaging surface is converted from image data by coordinate transformation from the imaging coordinate system to the medium coordinate system by the least square method. By identifying the rotation direction of the image pattern from the image data from which the distortion has been removed, information for specifying an image that can be provided as content can be accurately recognized.
[0023]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
FIG. 1 is a perspective view schematically showing an appearance of a terminal device 1 according to an embodiment of the present invention.
[0024]
As shown in FIG. 1, the terminal device 1 includes a housing 2 having a size that can be held by a user with one hand, for example. The front surface 2a of the housing 2 is provided with a camera 3, a microphone 4, a speaker 5, a display unit 6, an operation area 7, and the like as imaging means. Further, on the side surface 2b of the housing 2, for example, a mounting portion 9 to which a stick-shaped storage medium 8 is detachably mounted is provided. The camera 3 is composed of, for example, a CCD camera, and the display unit 6 is composed of, for example, a color liquid crystal display device. In the operation area 7, an OK button 10, an Undo button 11, a camera capture button 12, and the like are provided.
[0025]
FIG. 2 is a block diagram showing a hardware configuration of the terminal device 1.
As shown in FIG. 2, the terminal device 1 includes a CPU 15, a ROM 16, an S-RAM (static ram) 17, a RAM 18, a storage medium interface 19, and a sensor interface 20, as well as various interfaces such as TTY ( Tele Typewriter 21, Ethernet (registered trademark) board (Ethernet (registered trademark) Board) 22, image processing unit (Image Processing Unit) 23, Visca interface (Visca Interface) 24, VGA board (VGA Board) 25, audio video interface (Audio & Video
(Interface) 26 is connected.
[0026]
The CPU 15 controls the terminal device 1 as a whole. The ROM 16 stores a program necessary for its operation, and the S-RAM 17 stores, for example, a content table and a code conversion table described later. The RAM 18 is used as a work space for processing.
A mounting unit 9 is connected to the storage medium interface 19, and data communication is performed with the storage medium 8 mounted on the mounting unit 9.
[0027]
A position detection sensor 27 is connected to the sensor interface 20. As the position detection sensor 27, for example, an acceleration sensor can be used. The acceleration sensor is, for example, an element that detects acceleration in a biaxial direction or a triaxial direction when the user moves the space while holding the terminal device 1 in his / her hand. For example, an acceleration sensor is used as a sensor for detecting acceleration in two axial directions, and a longitudinal component and a lateral component of acceleration applied to the terminal device 1 are detected, and a time integration operation is performed for each component to thereby obtain a velocity component and a displacement component. Is calculated. This calculation result is used for scroll display of an image to be described later.
[0028]
A TTY (Tele Typewriter) 21 is connected to

various buttons

10, 11, 12 in the operation area.
An Ethernet (registered trademark) board 22 can be connected to the Ethernet (registered trademark). It is connected to, for example, a host device via Ethernet (registered trademark), and can be connected to the Internet via this host device. Further, the terminal device 1 may be directly connected to the Internet online without going through the host device, and may be connected to a server device that provides a content providing service.
[0029]
A camera interface 28 is connected to an image processing unit 23, and the above-described CCD camera 3 is connected to the camera interface 28. An image photographed by the CCD camera 3 is captured as a digital image in the terminal device 1 through the camera interface 28 and can be displayed on the display unit 6.
[0030]
An external personal computer or the like is connected to the Visca interface (Visca Interface) 24, and various controls of the terminal device 1 can be performed via this interface.
The liquid crystal display device as the display unit 6 is connected to a VGA board 25.
[0031]
An audio video system (Audio & Video Interface) 26 is connected to an audio video system device. Via this interface 26, a signal from an audio / video device can be taken into the terminal device 1, and an audio signal or an image signal can be output to the audio / video device.
[0032]
FIG. 3 shows a part of the configuration of programs and data stored in the ROM 16 and the S-RAM 17.
The ROM 16 stores a basic program 31, a content processing program 32, a code recognition program 33, a content acquisition program 34, a coordinate conversion program 71, and the like.
[0033]
The basic program 31 is a basic program necessary for operating the terminal device 1.
The content processing program 32 is a program for processing an image, sound, document, etc. acquired as content, and is, for example, a program for drawing an image, a program for reproducing a sound, a program for processing a document, or the like.
[0034]
The code recognition program 33 uses the camera 3 to capture an information description area of an information input medium in which information (code) for specifying an image that can be provided as content is encoded as information encoded according to the rotation direction of a predetermined image pattern. This is a program for determining the rotation direction of the image pattern on the basis of the image information obtained by doing this and recognizing information (code) for specifying an image that can be provided as content.
[0035]
The content acquisition program 34 is a program for acquiring a target background image and content table by referring to a code conversion table described later based on the code recognized by the code recognition program 33.
The coordinate conversion program 71 is a program for performing coordinate conversion of image information captured by the camera 3 from the imaging coordinate system to the medium coordinate system.
The code recognition program 33, the content acquisition program 34, and the coordinate conversion program 71 described above may be included in the basic program 31.
[0036]
The S-RAM 17 stores a content entity 35 such as an image, sound, document, and application program, a content table 36, a code conversion table 50, and the like. Note that the content entity 35, the content table 36, and the code conversion table 50 may be stored in the storage medium 8 detachably attached to the terminal device 1.
[0037]
The terminal device 1 has a scroll display function. This scroll display function is realized by hardware, software, or both.
The scroll display function of the terminal device 1 will be described with reference to FIG.
[0038]
Here, AB is the entire background image, and this entire background image AB is composed of, for example, a plurality of (four in this example) partial image areas A1, A2, B1, and B2 that are equally divided vertically and horizontally. The Note that the number of regions of the partial image is variable.
A region C surrounded by a dotted line in the figure is a range displayed on the actual display screen in the background image AB. That is, the background image AB is a larger image than the actual display screen, and a part of the entire background image AB is always displayed on the display screen.
[0039]
When the terminal device 1 is moved in the right direction, the movement is detected by the position detection sensor 27, and the background image AB is scrolled in the right direction with respect to the area C of the display screen. Conversely, the terminal device 1 is moved in the left direction. When moved, the position detection sensor 27 detects the movement, and the background image AB is scrolled to the left with respect to the area C of the display screen. Similarly, when the terminal device 1 is moved in the upward (downward) direction, the movement is detected by the position detection sensor 27, and the background image AB is scrolled in the upward (downward) direction with respect to the area C of the display screen. .
[0040]
In this way, the user can refer to the entire background image AB by moving the terminal device 1 left and right and up and down. Then, the partial image area desired by the user in the entire background image AB is displayed in the area C of the display screen by scrolling, and the area of the partial image can be selected by pressing the OK button 10. it can.
[0041]
Each area A1, A2, B1, B2 of the background image AB is associated with content that can be acquired from the web or the removable storage medium 8 on the content table 36, and when a certain area is selected, The content associated with the area on the content table 36 can be fetched from the web or the removable storage medium 8. That is, individual functions are set by the content table 36 in each of the areas A1, A2, B1, and B2 of the background image AB.
[0042]
FIG. 5 shows an example of the content table 36.
As shown in the figure, the content table 36 includes at least a content ID 38 and a content as content information associated with each of the partial image areas A1, A2, B1, and B2 indicated by the item 37. A name 39, a content attribute 40, a content price 41, a content name 42, and the like are registered.
[0043]
The content ID 38 is identification information uniquely assigned to each content so that the system can identify the content.
The content name 39 is a name given to each content for the user or the like to identify the content for convenience.
[0044]
The content attribute 40 is attribute information such as content acquisition date / time, creation date / time, and version number.
The content price 41 is a fee charged for content acquisition or a fee charged for content use.
[0045]
The content name 42 is information indicating the location of the content on the web, such as a URL (Uniform Resource Locator).
The terminal device 1 obtains such a content table together with the background image information from the outside, and stores it in the S-RAM 17 or the removable storage medium 8.
[0046]
As a method for obtaining the background image and the content table, for example, a site that provides a service for providing the background image and the content table on the web is provided. A method of downloading a corresponding content table, a stick-shaped storage medium 8 storing a background image and a content table is purchased and mounted on the terminal device 1, and a desired background image and a corresponding content table are There is a method of reading.
In the former case, the site that provides the service that provides the background image and the content table may be one site or a plurality of sites.
[0047]
In the latter case, the background image and the content table name indicating the location where the content table is obtained are stored in the storage medium 8 so that the terminal device 1 receives distribution from the site on the web. Also good.
Furthermore, when acquiring the background image and the corresponding content table from the former website on the web, the acquisition is provided to the user by introducing various background images and related information to the user. The selected background image and content table may be provided by invoking and allowing the user to select a desired background image. This mechanism will be described in detail below.
[0048]
In the terminal device 1, as one of means for realizing the above-described mechanism, a technique for encoding a code for specifying a background image according to a rotation direction of a predetermined image pattern is used.
Therefore, such an encoding technique will be described.
FIG. 6 shows an example of a recognition target image 47 including information encoded by the rotation direction of the image pattern and an information input medium 43 on which the recognition target image 47 is described.
[0049]
An information input medium 43 shown in the figure is, for example, a booklet-shaped medium. Each page 44 of the information input medium 43 has, for example, a background image (sample) 45 and an image name (information) as information about the background image 45. title), detailed information 46 such as an associated content name (contents), price (price), and the like, and the recognition target image 47 are described at least. The recognition target image 47 is information obtained by encoding a code corresponding to the background image posted on the same page.
[0050]
For example, the background image (45L) of the page (44L) on the left side in the figure is composed of four different partial images 45L (A1), 45L (A2), 45L (B1), and 45L (B2). , “City panoramic view” is attached as an image name (title).
[0051]
The content name (contents) indicates the content of the function set in each of the four different urban partial images 45L (A1), 45L (A2), 45L (B1), and 45L (B2). It shows that practical functions such as “calendar”, “map search”, “road search”, and “calculator” are set in partial images of individual cities.
[0052]
These practical functions may be, for example, a service provided at a specific site on the web, or an application program in a format executed on the terminal device 1. In the former case, the content acquisition location shown in the content table is a page of a website that provides the service, and in the latter case, it is a page for downloading an application program.
[0053]
Also, the background image (45R) of the page (44R) on the right side of the figure is composed of the whole image by four different vehicle partial images 45R (A1), 45R (A2), 45R (B1), 45R (B2). , “Vehicle” is attached as an image name (title). In the four different partial images 45R (A1), 45R (A2), 45R (B1), and 45R (B2), the functions of “Game 1”, “Game 3”, “Music 1”, and “Illustration 1” are set. It shows that. For example, content names such as “music 1” and “illustration 1” indicate that this is content to be downloaded, and music and images that can be viewed on the terminal device 1.
[0054]
FIG. 7 shows an example of the recognition target image 47. As shown in the figure, the recognition target image 47 includes one or more image patterns 48 (48a, 48b, 48c, 48d) and a rectangular frame that integrally surrounds these image patterns 48 (48a, 48b, 48c, 48d). And line 49.
[0055]
As shown in FIG. 8, the image pattern 48 has eight rotation modes, and eight types of codes are assigned depending on the directions. Thus, for example, with 4 image patterns, 8 ⁶ = 4096 types of codes can be defined. For example, the code of the recognition target image 47 in FIG. 7 is “8572”.
[0056]
FIG. 9 shows a flow of processing for recognizing a code from the recognition target image 47 described in the information input medium 43.
For example, the user of the terminal device 1 refers to the background image sample 45 and the detailed information 46 posted on each page 44 of the information input medium 43 shown in FIG. The recognition target image 47 described in 44 is captured by the camera 3 of the terminal device 1.
[0057]
When imaging the recognition target image 47 and performing code recognition, the user switches the terminal device 1 from the normal imaging mode to the code recognition mode by a button operation or the like. When the code recognition mode is set, the following processing for code recognition is performed on the image data captured by the camera 3.
[0058]
First, as preprocessing of image data, noise removal, shading processing, threshold adjustment, and the like are performed (step 901). Next, the frame line 49 is detected from the entire image, and the image data within the detected frame line 49 is cut out. Then, the image data within the detected frame 49 is converted from the imaging coordinate system to the medium coordinate system, so that the object in the three-dimensional space is projected on the two-dimensional imaging surface, such as tilt and rotation. Processing for removing distortion components is performed (step 902). This distortion correction processing will be described in detail later.
[0059]
Next, processing for extracting individual image patterns from the image data in the frame line 49 from which distortion components have been removed is performed (step 903). This image pattern extraction process is performed, for example, by obtaining the barycentric coordinates 68 and circumscribed rectangle 69 of the gray value of each image pattern 48 as shown in FIG.
[0060]
Next, the image pattern 48 is referred to, for example, by referring to a direction feature table as shown in FIG. 11 using the barycentric coordinates of the gray value of the image pattern 48 obtained by this image pattern extraction process and the aspect ratio of the circumscribed rectangle as parameters. Determine the rotation mode (direction) of. Then, the code corresponding to the obtained image pattern direction is determined based on the information indicating the correspondence between the image pattern direction and the code shown in FIG. 8 (step 904).
[0061]
Further, the codes determined for the four image patterns in this way are compared with the predefined code candidate group 70 as shown in FIG. 12, and the closest distance code is recognized as the recognition result of the recognition target image 47. (Step 905). The distance here is the sum of the differences between the determination code and the definition code for each of the four image patterns. If any distance exceeds a predetermined threshold value, recognition is impossible.
[0062]
As described above, the terminal device 1 is the recognition result of the recognition target image 47 described in the background image posting page 44 that the user wants to acquire among the background images posted on the information input medium 43. You can get the code.
[0063]
Next, coordinate conversion from the imaging coordinate system to the medium coordinate system using the least square method will be described in detail.
In general, coordinate transformation on a two-dimensional plane can be described as the following equations (1) and (2).

Now, the positions of the n image patterns detected on the imaging surface are (xi, yi) (i = 1,..., N), and the coordinate values on the recognition target coordinate system corresponding to these positions are (Xi, respectively). , Yi), the relationship between (Xi, Yi) and (xi, yi) is expressed by equations (1) and (2). If ax, bx, cx and ay, by, cy are determined, An arbitrary point can be converted into a coordinate value on the recognition target coordinate system by this conversion. If the values of (Xi, Yi) and (xi, yi) are given for three points (n = 3), the parameters {ax, bx, cx} and {ay, by, cy} can be obtained. However, in this terminal device 1, it is assumed that a region including a plurality of image patterns is captured, and the captured image is not only tilted or rotational distortion, but also a coordinate detection error on the imaging screen. In addition, an error due to the recognition target image deviating from the imaging plane may be considered.
[0064]
Therefore, the above conversion parameters {ax, bx, cx} and {ay, by, cy are obtained by the least square method so that the coordinate values of the points over the entire imaging region can be converted into the coordinate values on the recognition target coordinate system with as little error as possible. } Was decided.
That is, parameters {ax, bx, cx} and {ay, by, cy} that minimize the mean square error J expressed by the following equation (3) are obtained.

In order to obtain the conversion parameters {ax, bx, cx} and {ay, by, cy} where J takes the minimum value (extreme value), the partial differentiation of J with respect to each parameter is set to 0 and the following equation (4) , (5) is obtained.

The coordinate transformation parameters {ax, bx, cx} and {ay, by, cy} are obtained by solving the above equations (4) and (5), respectively.

The inverse matrix of
That is,
FIG. 13 shows the result of coordinate conversion of the data of the recognition target image 47 from the imaging coordinate system to the medium coordinate system. In the same figure, (a) shows the result of conversion from the image 72a in the imaging coordinate system to the image 73a in the medium coordinate system when the recognition target image 47 (information input medium 43) is rotated to the right toward the camera 3, (b) ) Is a result of conversion from the image 72b in the imaging coordinate system to the image 73b in the medium coordinate system when the recognition target image 47 is rotated to the left toward the camera 3.
As described above, the transformation from the imaging coordinate system to the medium coordinate system can be favorably performed by the coordinate transformation by the least square method.
[0065]
Next, a method for specifying the background image and the content table from the code obtained by recognizing the recognition target image 47 in this way will be described.
For example, a code conversion table 50 as shown in FIG. 14 is used to specify the background image and the content table corresponding to the code from the code.
[0066]
As shown in the figure, in the code conversion table 50, a code 51, a background image ID 52, a background image name 53, an image price 54, a content table name 55, and the like are registered in association with each other.
Here, the code 51 is a code uniquely assigned to each item of the code conversion table 50. The code obtained by encoding the code according to the rotation direction of the image pattern is the image pattern of the recognition target image 47. 48.
[0067]
The image name 52 is information for specifying the background image, and includes information indicating the location of the background image on the web, such as a URL (Uniform Resource Locator).
The image ID 53 is information for the system to identify individual background images.
The image price 54 is a fee charged for obtaining the background image and the content table.
The content table name 55 is information for specifying the content table associated with the background image. For example, it consists of information indicating the location of the content table on the web, such as a URL (Uniform Resource Locator).
[0068]
FIG. 15 is a diagram showing a system configuration for providing a background image, a content table, and content to the terminal device 1.
[0069]
As shown in the figure, on the web (Internet) 60, a content providing site 61 that provides content, a background image / content table providing site 62 that provides a background image and a content table, and a code that provides a code conversion table A conversion table providing site 63 is provided. However, the background image and the content table may be provided by different sites, and the content, the background image, the content table, and the code conversion table may be acquired from the same site. That is, the provider of the content, the background image, the content table, and the code conversion table only needs to exist somewhere on the web. Further, the terminal device 1 may obtain directly from the storage medium 8.
[0070]
The content providing site 61 manages the content source 64 and provides a service for providing the corresponding content to the terminal device 1 as a response RS1 to the content distribution request RQ1 from the terminal device 1.
The background image / content table providing site 62 manages the source 65 of the background image and the source 66 of the content table, and the corresponding background image as a response RS2 to the background image / content table distribution request RQ2 from the terminal device 1. And a service for distributing the content table to the terminal device 1.
[0071]
The code conversion table providing site 63 manages the source 67 of the code conversion table, and provides a service for distributing the corresponding code conversion table to the terminal device 1 as a response RS3 to the code conversion table distribution request RQ3 from the terminal device 1. Do. Note that a default code conversion table may be set in the terminal device 1.
The terminal device 1 can also read the attached storage medium 8 and obtain the content, background image, content table, and code conversion table from the storage medium 8.
[0072]
Next, operation | movement of the terminal device 1 of this embodiment is demonstrated.
FIG. 16 shows a flow of operations when the terminal device 1 acquires a background image, a content table, and content from the web.
[0073]
First, if there is a background image and content table that the user of the terminal device 1 wants to acquire from the information input medium 43 shown in FIG. 6, the code recognition mode is set in the terminal device 1 by a button operation or the like. By setting the code recognition mode, the code recognition program 33 is started (step 1601), and the above-described code recognition is performed on the image data captured by the camera 3 thereafter.
[0074]
After being activated, the code recognition program 33 first confirms the possession of the code conversion table 50 (step 1602). If it is confirmed that the code conversion table 50 is not owned, the code conversion table 50 is fetched from the web 60 or the storage medium 8 (step 1603). However, by preparing the default code conversion table 50 in the terminal device 1, it is not necessary to import the code conversion table 50 from the outside.
[0075]
Also, as a method for fetching the code conversion table 50 from the outside, the URL of the code conversion table providing site 63 is registered in the terminal device 1 by default, and the code recognition program 33 reads this URL to read the code conversion table providing site. A method of performing online connection to 63 and automatically taking in from the site 63 can be considered.
[0076]
If the possession of the code conversion table 50 can be confirmed (YES in step 1602), the region of the recognition target image 47 described on the posted page of the background image to be acquired from the information introduced in the information input medium 43 is displayed on the camera. 3 to capture an image (step 1604).
Next, the above-described recognition processing is performed on the information of the recognition target image 47 captured by the camera 3, and a code corresponding to the background image selected by the user is obtained (step 1605).
[0077]
Subsequently, the code recognition program 33 checks the image name 52 and the content table name 55 associated with the code from the code conversion table 50 (step 1606).
For example, when the recognition target image (47R) of the page (44R) on the right side in FIG. 6 is captured by the camera 3 in FIG. 6, a code “8572” is obtained as a recognition result, and the code shown in FIG. From the code conversion table 50, the image name and content table name of the item whose image ID is “2” are obtained.
[0078]
Then, with the billing process described later (steps 1607 and 1508), the terminal device 1 sends a target background image and content table distribution request RQ2 to the background image / content table providing site 62 (step 1609).
The background image / content table providing site 62 distributes the corresponding background image and content table to the terminal device 1 as a response RS2 to the request RQ2 from the terminal device 1. The terminal device 1 receives the background image and the content table and stores them in the S-RAM 17 (step 1610).
[0079]
In this way, the terminal device 1 obtains a background image whose image name is “vehicle” and a content table (FIG. 5) necessary for acquiring various functions set in the individual partial images of the background image. can do.
Thereafter, the terminal device 1 can display the acquired background image on the display screen (step 1611). Then, an area of an arbitrary partial image in the background image is displayed on the display screen by the above scroll operation, and the function set in the displayed partial image area is selected by pressing the OK button 10. (Step 1612).
[0080]
Here, for example, it is assumed that the region B2 is selected in the example shown in FIG. Then, information associated with the selected area B2 is read from the content table 36 shown in FIG. 5, and the following processing is performed, for example.
[0081]
After processing for billing described later is performed (steps 1613 and 1514), the terminal device 1 reads the content acquisition location 42 associated with the area B2 from the content table 36. Then, the content providing site 61 indicated by the content acquisition location 42 is accessed, and the content providing site 61 is requested to provide the content (step 1615).
The content providing site 61 provides content to the terminal device 1 in response to the request RQ1 (step 1616).
[0082]
Next, the accounting process will be described.
A content price 41 for each content is set in the content table 36. This content price 41 is a charge imposed on the acquisition and use of content. Based on the content price 41, it is possible to perform a charging process for providing the content to the terminal device 1.
[0083]
For example, after a partial image area in the background image is selected (step 1612), the content price 41 of the content associated with the selected area is read from the content table 36 and displayed on the display screen of the terminal device 1. Display and request user consent for billing (step 1613). If the user accepts billing (YES in step 1614), the terminal device 1 is permitted to receive content distribution from the content providing site 61. To do.
[0084]
At this time, the user ID, content ID, content price, and the like are sent from the terminal device 1 to the content providing site 61 through the web 60, so that the image provider can perform charging processing based on these pieces of information. it can. Alternatively, the terminal device 1 may calculate a charge amount for obtaining and using content for a certain period, and send this charge amount and the user ID to the image provider.
[0085]
In addition, an image price 54 for each background image is set in the code conversion table 50, and it is possible to perform a charging process for providing the background image to the terminal device 1 based on the image price 54.
For example, after the code which is the recognition result of the recognition target image 47 is obtained (step 1605), the terminal device 1 reads the image price 54 of the background image corresponding to this code from the code conversion table 50, and the terminal device 1 The message is displayed on the display screen, and the user's consent for billing is requested (step 1607). If the user accepts the charge (YES in step 1608), the terminal device 1 is permitted to receive the distribution of the background image and the content table from the background image / content table providing site 62.
[0086]
At this time, the user's ID, image ID, image price, etc. are sent from the terminal device 1 to the background image / content table providing site 62 through the web 60, and the background image / content table provider is based on these information. The billing process can be performed on the side.
Further, the terminal device 1 calculates a charge amount for obtaining and using the background image and the content table for a certain period, and sends this charge amount and the user ID to the background image / content table provider. Also good.
[0087]
When obtaining the background image and the content table from the storage medium 8, the storage medium 8 stores a program for performing an online charging process for reading the background image. When the background image is read from the storage medium 8, the program reads the image price 54 of the background image from the code conversion table 50 and displays the image price 54 on the display screen of the terminal device 1. Ask. If the user accepts the charge, the program permits the terminal device 1 to read the target background image from the storage medium 8. At this time, the program connects the terminal device 1 online to a charging server on the web, and sends the image ID, image price, user ID, etc. of the read background image to the server. As a result, billing processing is performed at the server.
Needless to say, the above charging function is not necessary when purchasing the right of the background image and the content table at the same time when the storage medium 8 is purchased.
[0088]
As described above, the terminal device 1 captures the recognition target image 47 described in the information input medium 43 with the camera 3 provided in the terminal device 1 and performs a recognition process, thereby the user desires. It is possible to acquire a background image and a content table necessary for using a function provided as an added value to the background image. That is, the user can easily obtain the background image and the content table without searching for the location of the background image and the content table.
[0089]
Also, by transforming the imaging coordinate system from the imaging coordinate system to the medium coordinate system using the least square method, distortions such as tilt and rotation caused by projecting the object in the three-dimensional space onto the two-dimensional imaging surface are removed from the image data. By determining the rotation direction of the image pattern 48 from the image data from which the distortion has been removed, it is possible to accurately recognize the code specifying the background image and the content table.
[0090]
In addition, the method of encoding a background image that can be provided as content or a code that specifies a content table according to the rotation direction of the image pattern can freely select the code length that can be encoded, which increases the number of content that can be provided. It can respond flexibly.
[0091]
Further, the terminal device 1 can set an image in which various functions are set for each area as a background image of the display screen, select an area by scrolling the screen, and select and execute a function set in the area. Can do. Therefore, even if the size of the display screen is small, various functions can be used by exchanging background images with a simple operation.
[0092]
The present invention is not limited to the above embodiment.
The number of partial images that divide the background image is not limited to four. It may be less than 4 or 5 or more.
The scrolling of the screen may be performed in units of areas. Depending on the setting, the scroll resolution may be variable.
[0093]
Both the background image and the content table may be stored in the storage medium. The storage medium may store a content table and / or content instead of a background image.
A table to be acquired from a plurality of content tables may be selected for one background image. That is, a function assigned to the background image area may be selected.
[0094]
The storage medium may be one using a technology for preventing unauthorized copying, such as a memory device with a copy guard.
Various image patterns 48 for encoding can be used. FIG. 17 shows examples of other image patterns 48-1, 48-2, and 48-3.
The information input medium 43 is not limited to a booklet shape. Any article that can describe the recognition target image 47 may be used.
[0095]
In addition, the present invention is not limited to the application to the terminal device 1 described above, and information description of an information input medium in which information to be input is described as information encoded by the rotation direction of a predetermined image pattern. Imaging means for imaging a region, coordinate conversion means for converting coordinates of image information captured by the imaging means from an imaging coordinate system to a medium coordinate system by a least square method, and image information converted by the coordinate conversion means The present invention can be applied to any type of information input device including a recognition unit that recognizes the information to be input by determining the rotation direction of the image pattern based on the information.
[0096]
【The invention's effect】
As described above, according to the present invention, tilting, rotation, and the like by projecting an object in a three-dimensional space onto a two-dimensional imaging surface by coordinate transformation from the imaging coordinate system to the medium coordinate system by the least square method. Is removed from the image data, and the rotation direction of the image pattern is determined from the image data from which the distortion has been removed, whereby the information to be input can be recognized with high accuracy.
[Brief description of the drawings]
FIG. 1 is a perspective view schematically showing an external appearance of a terminal device according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a hardware configuration of the terminal device.
FIG. 3 is a block diagram showing a part of the program and data configuration of the terminal device.
FIG. 4 is a diagram for explaining a scroll display function of the terminal device.
FIG. 5 is a diagram illustrating an example of a content table.
FIG. 6 is a diagram illustrating an example of an information input medium in which a recognition target image is described.
FIG. 7 is a diagram illustrating an example of a recognition target image.
FIG. 8 is a diagram illustrating a relationship between a rotation mode of an image pattern constituting a recognition target image and a code.
FIG. 9 is a diagram illustrating a flow of processing for recognizing a code from a recognition target image described in an information input medium.
FIG. 10 is a diagram illustrating image pattern extraction processing;
FIG. 11 is a diagram illustrating an example of a direction feature table.
FIG. 12 is a diagram illustrating an example of a candidate code group used for determining a code recognition result.
FIG. 13 is a diagram illustrating an example of coordinate conversion from an imaging coordinate system to a medium coordinate system by a least square method.
FIG. 14 is a diagram illustrating an example of a code conversion table.
FIG. 15 is a diagram illustrating a configuration of a network system that provides a background image, a content table, and content to a terminal device.
FIG. 16 is a flowchart showing the operation of this terminal apparatus.
FIG. 17 is a diagram illustrating another example of an image pattern.
[Explanation of symbols]
1 Terminal device
3 Camera
6 Display section
7 Operation area
8 storage media
27 Position detection sensor
31 Basic program
32 Content processing program
33 Code recognition program
34 Content acquisition program
35 Content entity
36 Content table
43 Information input media
47 Recognition target image
48 image patterns
50 code conversion table
71 Coordinate transformation program
72a, 72b Imaging coordinate system images
73a, 73b Media coordinate system image

Claims

Imaging means for imaging an information description area of an information input medium in which information to be input is described as information encoded according to a rotation direction of a predetermined image pattern;
Coordinate conversion means for converting the coordinates of the image information imaged by the imaging means from an imaging coordinate system to a medium coordinate system by a least square method;
An information input device comprising: recognition means for recognizing the information to be input by determining the rotation direction of the image pattern based on the image information converted by the coordinate conversion means.

Image the information description area of the information input medium in which the information to be input is described as information encoded by the rotation direction of a predetermined image pattern,
The coordinates of the captured image information are converted from the imaging coordinate system to the medium coordinate system by the least square method,
An information input method comprising: discriminating a rotation direction of the image pattern based on the converted image information to recognize the information to be input.

A display unit capable of displaying an image;
Imaging means for imaging an information description area of an information input medium in which information for specifying an image that can be provided as content is described as information encoded by the rotation direction of a predetermined image pattern;
Coordinate conversion means for converting the coordinates of the image information imaged by the imaging means from an imaging coordinate system to a medium coordinate system by a least square method;
Recognizing means for recognizing information for identifying an image that can be provided as the content by determining the rotation direction of the image pattern based on the image information converted by the coordinate converting means;
A terminal device comprising: content acquisition means for acquiring an image as corresponding content based on information recognized by the recognition means.

Detecting means for detecting movement of the terminal device;
Scroll means for moving the position of the image to be displayed on the display screen according to the movement of the terminal device detected by the detection means when an image having a size larger than the display screen is displayed on the display screen of the display unit The terminal device according to claim 3, further comprising:

A table acquisition unit for acquiring a table for setting individual functions in each of a plurality of areas for dividing the image acquired as content by the content acquisition unit;
And a means for executing a function set in an area displayed on the display screen by moving the image by the scroll means based on the table acquired by the table acquisition means. Item 4. The terminal device according to Item 3.

An image content acquisition method for a terminal device including a display unit capable of displaying an image and an imaging unit for imaging,
Imaging an information description area of an information input medium in which information specifying an image that can be provided as content is described as information encoded by a rotation direction of a predetermined image pattern;
Converting the coordinates of the imaged image information from an imaging coordinate system to a medium coordinate system by a least square method;
Determining the rotation direction of the image pattern based on the coordinate-converted image information and recognizing information identifying an image that can be provided as the content; and as content corresponding to the recognized information based on the recognized information A content acquisition method for a terminal device, comprising: acquiring an image.