JP2004192342A

JP2004192342A - Object identification code recognition device and method

Info

Publication number: JP2004192342A
Application number: JP2002359698A
Authority: JP
Inventors: Toshiki Iso; 俊樹磯; Masaharu Kurakake; 正治倉掛; Toshiaki Sugimura; 利明杉村
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2002-12-11
Filing date: 2002-12-11
Publication date: 2004-07-08

Abstract

<P>PROBLEM TO BE SOLVED: To provide an object ID code recognition device reading and recognizing an ID tag from an arbitrary direction independent from a viewpoint direction. <P>SOLUTION: This object ID code recognition device is provided with an ID marker creating means creating an ID marker to be an individual indicator for recognizing the ID code of the object, an ID marker region extraction means importing the image of the object attached with the ID marker obtained by photographing from an arbitrary viewpoint by an image input device, performing an image processing relative to the image and extracting the region of the ID marker, a feature point position extraction means extracting the positions of a plurality of feature points from the image of the ID marker region, a geometric invariant calculating means calculating, at least, a single geometric invariant from the positions of the plurality of invariants, and an ID code recognition means selecting the ID code of the object linked with the geometric invariant from database prestoring the geometric invariants linked with the object ID code. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、物体ＩＤコード認識装置および方法に係り、詳しくは、バーコードのような物体を識別するためのＩＤタグを抽出する物体認識装置に利用されるものである。
【０００２】
【従来の技術】
実世界の物体（オブジェクト）を識別する方法としては、物体ＩＤコード（タグ）を利用した１次元バーコードや２次元バーコード（例えば、非特許文献１）、磁気カード、ＩＣカードなど様々な方法が実用化されている。また、最近では、非接触型のタグであり情報を無線で書き換えることができるという長所をもったＲＦＩＤ(Radio Frequency Identification)のような無線系タグも実用化され、技術進歩により読み取り精度が向上しコストが低下してきたことから、物流などの分野に応用されている。また、カメラ等の画像入力装置を用いるものでは、CyberCode（サイバーコード、登録商標）や電子透かしといったＩＤタグも注目されている。例えば、非特許文献２によれば、CyberCode（登録商標）を実世界で利用する際の種々のアプリケーション例が報告されている。
【０００３】
上で述べたような物体ＩＤコードを用いてあるオブジェクトの情報の管理を綿密に行なうには、対象となるオブジェクトと情報とを強固に結びつけるための「タグ」の認識技術が重要となってくる。そのようなタグの認識技術として、オブジェクトに個体標識を添付し、その標識にＩＤを符号化しておき、コンピュータがその符号化されたＩＤを認識するといった技術が非特許文献３に報告されている。
【０００４】
【非特許文献１】
平本純也、“知っておきたいバーコード・二次元バーコードの知識”、日本工業出版株式会社、１９９１
【非特許文献２】
Jun Rekimoto and Yuji Ayatsuka, CyberCode: Designing Augmented Reality Environments with Visual Tags, Designing Augmented Reality Environments (DARE 2000), 2000
【非特許文献３】
伊藤俊樹、“幾何学的不変量に基づく個体標識を用いた作業者支援の研究”、大阪大学大学院工学研究科電子制御機械工学専攻平成１２年度修士論文、http://www-cape.mech.eng.osaka-u.ac.jp/ccm06adm/oldboys/2000/ito/ito.pdf
【０００５】
【発明が解決しようとする課題】
上述したバーコードの場合、専用の読取機が必要であり、かつ手作業でスキャンし1つずつ読み取る必要があるため手間がかかる。また、バーコードに近接しないと読み取れないという問題がある。
【０００６】
また、ＲＦＩＤのような無線系タグの場合、通信可能範囲が狭く、かつ安価でないという問題がある。
【０００７】
また、CyberCode（登録商標）や電子透かしを用いたＩＤ埋め込み型のタグも、ほぼ正面からでないとＩＤコードを読み込めないという問題がある。
【０００８】
このように上記バーコード、ＲＦＩＤ、CyberCode（登録商標）等といったＩＤタグの読取処理では、広い視野内での認識は難しく、読取距離や方向に制約があった。
【０００９】
本発明は、上記のような問題点に鑑みてなされたもので、その課題とするところは、視点方向に依存しないで任意の方向からＩＤタグを読み込み、かつ識別することのできる物体ＩＤコード認識装置および方法を提供することである。
【００１０】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項１に記載されるように、画像入力装置により入力された入力画像に写っている物体のＩＤコードを認識する物体ＩＤコード認識装置において、前記物体のＩＤコードを認識するための個体標識となるＩＤマーカを幾何学的不変量に基づいて生成するＩＤマーカ生成手段と、任意の視点から撮影して得られる前記ＩＤマーカが貼付された物体の画像を前記画像入力装置により取り込み、その取り込んだ画像に対して画像処理を行なって該ＩＤマーカの領域を抽出するＩＤマーカ領域抽出手段と、前記抽出されたＩＤマーカ領域の画像から複数の特徴点の位置を抽出する特徴点位置抽出手段と、前記抽出された複数の特徴点の位置から少なくとも１つの幾何学的不変量を算出する幾何学的不変量算出手段と、前記幾何学的不変量算出手段により算出された少なくとも１つの幾何学的不変量と対応付けられる物体のＩＤコードを、予め幾何学的不変量と物体ＩＤコードとを対応付けて格納しているデータベースから選出するＩＤコード認識手段と、を有することを特徴としている。
【００１１】
また、本発明の請求項２は、前記物体ＩＤコード認識装置において、前記幾何学的不変量算出手段は、前記抽出された複数の特徴点の位置から幾何学的不変量を複数組算出する幾何学的不変量組算出手段をさらに有し、前記データベースは、予め幾何学的不変量の組と対応付けた物体のＩＤコードを格納する幾何学的不変量対ＩＤコード格納手段を有し、前記ＩＤコード認識手段は、前記幾何学的不変量組算出手段により算出された幾何学的不変量の組と類似する組に対応付けられている物体のＩＤコードを前記データベースから選出することを特徴としている。
【００１２】
また、本発明の請求項３は、前記物体ＩＤコード認識装置において、前記ＩＤマーカ生成手段により生成されるＩＤマーカは、同一平面上の任意の位置に配置された複数の特徴点から得られる複数の幾何学的不変量に基づいて生成されることを特徴としている。
【００１３】
また、本発明の請求項４は、前記物体ＩＤコード認識装置において、前記特徴点位置抽出手段は、前記抽出されたＩＤマーカ領域の画像から物体ＩＤマーカを表す複数のＩＤサブマーカに分離するＩＤマーカ分離手段と、前記分離された複数のＩＤサーブマーカから特徴点の位置を抽出することを特徴としている。
【００１４】
また、本発明の請求項５は、前記物体ＩＤコード認識装置において、前記ＩＤコード認識手段は、前記幾何学的不変量算出手段により算出された複数の幾何学的不変量と、前記ＩＤマーカ生成手段により得られた複数の幾何学的不変量との類似度を求める類似度計算手段を有し、最も類似性の高い幾何学的不変量の組と類似する組に対応付けられている物体のＩＤコードを前記データベースより選出することを特徴としている。
【００１５】
また、本発明の請求項６は、前記物体ＩＤコード認識装置において、前記類似度は、マハラノビス距離、ユークリッド距離のいずれにて計算されることを特徴としている。
【００１６】
上記本発明の構成によれば、視点に依存しない情報（幾何学的不変量）を抽出し、これをタグの識別情報として用いることで、任意の方向（視点）からのタグの読み込み、認識が可能となり、従来の問題であった読取距離や方向の制約から開放される。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１８】
図１は、本発明の実施の一形態に係る物体ＩＤコード認識装置のシステム構成図である。
【００１９】
図１において、本発明に係る物体ＩＤコード認識装置は、例えば、携帯電話機等の携帯端末１００に搭載され、カメラ１等の撮像手段にて撮像された画像の情報を取得する画像取得部２、ＩＤマーカと呼ばれるタグの領域を抽出するＩＤマーカ領域抽出部３、ＩＤマーカ上の特徴点の位置を抽出する特徴点位置抽出部４、特徴点位置から幾何学的不変量を算出する幾何学的不変量算出部５、算出された幾何学的不変量に基づき物体のＩＤコードを認識するＩＤコード認識部６、幾何学的不変量と物体ＩＤコードを関連付けて格納している物体ＩＤコードデータベース７から構成される。
【００２０】
本実施形態では、実世界の対象、例えば、ある物体２００に個体標識を表すＩＤマーカが貼付けされる。このＩＤマーカは、幾何学的不変量（ここで、幾何学的不変量とは、構成している点や直線、コニックが幾何学的にある条件を満たした時に配置対象を見る視点に依らず不変な特徴量をいう）を利用して生成され、撮影対象となる物体が２次元物体である場合には、以下の不変量の存在が確認されている。
【００２１】
（平面上の５点）
同一平面状の５点（ただし、少なくとも３点が同一直線上でも同一点上にもない）に対して、２個の不変量（関数的に独立な）が存在する。
【００２２】
本実施形態では、平面上の任意の位置に配置された５つの特徴点がそれぞれ異なる色で表現され、物体ごとに特徴点の配置を変えるようにしている。これにより、物体固有の情報である物体ＩＤサブマーカに相当する幾何学的不変量が１組（２つの実数値）算出することができる（具体的な算出方法は後述する）。また、上記同様、５つの特徴点の表現を変えたもの、例えば、特徴点に黒枠を付けたものを用意すれば、物体ごとに特徴点の配置を変えることで物体固有の情報である物体ＩＤサーブマーカに相当する幾何学的不変量が１組（２つの実数値）算出することができる。
図２は、上記ＩＤマーカの生成例を説明するための図である。
【００２３】
同図（ａ）が示すように、本実施形態におけるＩＤマーカは、例えば、５色の特徴点（ａ〜ｅ）と５つの黒色特徴点（ｆ〜ｊ）がタグ上に配置される。５つの黒色特徴点は５色の特徴点のどの色の領域に属しているか特徴点の対応付けを行なうために、同一の領域にある有彩度色の色が中心に表示される（ｆ〜ｊ内の中心にある小さな四角形）。本実施形態におけるＩＤサブマーカは、基本的に各５点１組の特徴点を合成することで表現（生成）される。
【００２４】
上記図２の（ａ）に示すＩＤマーカは、後述する処理において、色情報（彩度、色相、明度）等により、黒色とそれ以外に二つ（例えば、Ｇ１、Ｇ２）に分離（同図（ｂ）、（ｃ））される。同図（ｂ）は、５色の特徴点（ａ〜ｅ）を表現し、
例えば、明度ごとに番号が付される（Ｐ１（Ｇ１）、Ｐ２（Ｇ１）、・・・、Ｐ５（Ｇ１））。同図（ｃ）は、５つの黒色特徴点（ｆ〜ｊ）のうちの黒色部分のみが表現され、中央にあった有彩度色の小さな四角形は同図（ｂ）上の５色の特徴点（ａ〜ｅ）と対応する色の領域に投影される（矢印参照）。また、同図（ｃ）は、上記図２（ｂ）の５色の特徴点（ａ〜ｅ）の領域に対応させた番号が付される（Ｐ１（Ｇ２）、Ｐ２（Ｇ２）、・・・、Ｐ５（Ｇ２））。
【００２５】
このようにして生成されたＩＤマーカは物体に貼付され、本発明に係る物体ＩＤコード認識装置においてＩＤコード認識される。
【００２６】
次に、図３を用いて物体ＩＤコード認識装置における物体ＩＤコードの認識処理について説明する。図３は、物体ＩＤコード認識装置におけるＩＤコードの認識処理手順を示すフローチャートである。
【００２７】
図３において、まず、画像取得部２では、カメラ等により撮像された物体の画像が画像処理できる形式で取り込まれる（Ｓ１）。この画像取得部２に取り込まれる入力画像には、物体のIDマーカの領域が含まれている。
【００２８】
画像取得部２で取得された画像の情報は、その後、ＩＤマーカ領域抽出部３に入力され、フーリエ変換が施され、空間周波数に変換される。その後、物体ＩＤマーカ領域の背景画像の空間周波数データとの相似形又は一致形がパターンマッチングにより抽出（Ｓ２）される。ＩＤマーカ領域抽出部３は、このようにして抽出された空間周波数データに逆フーリエ変換を施し、この逆フーリエ変換後に得られる画像パターンを二値化処理して輪郭抽出を行ない、輪郭内部を「１」、それ以外を「０」の値を持つマスクパターンを生成（Ｓ３）する。ＩＤマーカ領域抽出部３は上記マスクパターンを用い、画像取得部２で取り込まれた画像情報から物体IDマーカ領域（特定領域）を抽出（Ｓ４）して特徴点位置抽出部４に出力する。
【００２９】
特徴点位置抽出部４は入力した物体IDマーカ領域の彩度が第一の閾値（Ｔｈ１）以下で、かつ明度が大きいものから順に背景面積分に相当する画素を選択し、それらの平均Ｒ、Ｇ、Ｂ値が２５５（最大）になるように、色補正変換を算出する。そして、この色補正変換の算出をＩＤマーカ領域の全ての画素について施し（Ｓ５）、彩度が第二の閾値（Ｔｈ２）以下で、かつ明度が第三の閾値（Ｔｈ３）以下のものを「Ｇ１」、彩度が第二の閾値（Ｔｈ２）以上で、かつ明度が第三の閾値（Ｔｈ３）以上のものを「Ｇ２」として、それぞれＩＤマーカ領域からＩＤサブマーカとして抽出（分離）する（Ｓ６）。
【００３０】
特徴点位置抽出部４は、上記のようにして分離した「Ｇ１」、「Ｇ２」に対し、次の処理を施す。
（Ｇ１の処理）
ＩＤサブマーカとして抽出されたＧ１にある５個の特徴点領域のそれぞれについて重心の位置を算出し、それを特徴点の位置として抽出（Ｓ７）する。そして、この抽出された５個の特徴点領域の色相の大きさに基づき、それぞれの特徴点をソートして特徴点の点番号（例えば、色相が大きいものから順にＰ１、Ｐ２、・・・、Ｐ５とする）との対応付けを行なう（Ｓ８）。
【００３１】
（Ｇ２の処理）
上記Ｇ１の場合と同様、ＩＤサブマーカとして抽出されたＧ２にある１０個の特徴点領域のそれぞれについて重心の位置を算出し、それを特徴点の位置として抽出（Ｓ９）し、この抽出された特徴点位置のうち、Ｇ１で抽出された特徴点位置と近傍にある５個の特徴点を抽出し、それぞれを近傍な特徴点に対応付けてＧ１に移す（Ｓ１０）。そして、上記同様、この抽出された５個の特徴点領域の色相の大きさに基づき、それぞれの特徴点をソートして特徴点の点番号（例えば、色相が大きいものから順にＰ１、Ｐ２、・・・、Ｐ５とする）との対応付けを行なう（Ｓ１１）。
【００３２】
幾何学的不変量算出部５は、上記のようにしてＧ１、Ｇ２ごとに、特徴点の対応付けが行なわれた５個の特徴点を用い、下記式にしたがって幾何学的不変量を算出（Ｓ１２、Ｓ１３）する。
【００３３】
【数１】

この幾何学的不変量算出部５にて算出された不変量（α１、β１、α２、β２）は、その後、合成（Ｓ１４）されて物体ＩＤコード認識の際に用いられる値となる。
【００３４】
ＩＤコード認識部６は、上記のようにして合成して得られた幾何学的不変量（▲１▼）と物体ＩＤコード生成のときに算出された幾何学的不変量（▲２▼）を特徴量空間上のベクトル表現として得、このベクトルに基づいてそれぞれの距離値が求められる。この距離値を求める代表的な手法としては、マハラノビス距離、ユークリッド距離、ベイズ識別、複合類似度などがあり、本例では、上記距離値の算出手法にマハラノビス距離を適用するものとする。
【００３５】
ＩＤコード認識部６は、上記▲１▼の幾何学的不変量と▲２▼の幾何学的不変量との間の距離値をマハラノビス距離手法にて求め、その値が最小になる幾何学的不変量を検索キーとして求める（マハラノビス距離の値が小さければ、上記▲１▼と▲２▼が似ていることになる（確率密度最大））。そして、事前に理論的に算出された幾何学的不変量と物体ＩＤコードの対応付けが格納されている物体ＩＤコードデータベース７から上記検索キーとなる幾何学的不変量とある近傍値ｄ内にあるもののうち、最も近いものを検索し、その検索で得られた幾何学的不変量に対応付けられている物体ＩＤコードを抽出（選出）し（Ｓ１５）、それを物体ＩＤコードとして認識して一連の処理を終える。
【００３６】
上述したように、本実施形態では、視点に依らない幾何学的不変量が算出できる特徴点で物体ＩＤコード（タグ）を生成したので、物体ＩＤコードの画像情報が全て取得できれば近接ないし撮影距離からの画面に基づき幾何学的不変量を算出することができる。その結果、それと関連付けられた物体ＩＤコードの識別が可能となる。
【００３７】
また、同一平面内にある５点から得られる幾何学的不変量を５色の色情報と組み合わせて物体ＩＤコードを表現しているので、５色の色情報の相対的な関係のみが分ればよいので、複雑な形状を識別する必要がなく、高品質な画像でなくても適用することが可能である。また、特徴点を増やすことで、容易にＩＤコードの表現能力を拡張することができる。
【００３８】
また、複数のＩＤサブコードを分離する際には、背景色の条件から色補正をかけてから分類しているので、照明条件に対しロバストな利用が可能となる。
【００３９】
また、本実施形態では、任意の視点からの画像があればよく、最低でも１点の視点からの画像があれば物体のＩＤコードを算出して物体ＩＤコードの情報を取得することが可能である。したがって、映像データが取得できなくてもカメラ等の画像入力装置を具備している携帯端末であれば、コード読取機械等の特別な装置を必要とせずに、物体ＩＤコードの認識が行なえるようになる。
【００４０】
さらに、物体ＩＤコードを表現する特徴点の幾何学的配置は、平面上の任意の５点で構成されるので、用途に応じて様々な表現を生成できるという効果を奏す。
【００４１】
上記例において、幾何学的不変量算出部５の不変量算出機能がＩＤマーカ生成手段に、ＩＤマーカ領域抽出部３のＩＤマーカ領域抽出機能がＩＤマーカ領域抽出手段、幾何学的不変量算出手段に、特徴点位置抽出部４の特徴点位置抽出機能が特徴点位置抽出手段に対応する。また、ＩＤコード認識部６のＩＤコード認識機能がＩＤコード認識手段、類似度計算手段に対応し、物体ＩＤコードデータベース７のデータ格納・管理機能が幾何学的不変量対ＩＤコード格納手段に対応する。
【００４２】
【発明の効果】
以上、説明したように、本願発明によれば、視点に依存しない情報（幾何学的不変量）を抽出し、これをタグの識別情報として用いることで、任意の方向（視点）からのタグの読み込み、認識が可能となり、従来の問題であった読取距離や方向の制約から開放される。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係る物体ＩＤコード認識装置のシステム構成図である。
【図２】ＩＤマーカの生成例を説明するための図である。
【図３】物体ＩＤコード認識装置におけるＩＤコードの認識処理手順を示すフローチャートである。
【符号の説明】
１カメラ
２画像取得部
３ＩＤマーカ領域抽出部
４特徴点位置抽出部
５幾何学的不変量算出部
６ＩＤコード認識部
７物体ＩＤコードデータベース（ＤＢ）
１００カメラ搭載携帯端末
２００物体
２１０物体ＩＤコード（タグ）[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an object ID code recognition apparatus and method, and more particularly, to an object ID code recognition apparatus for extracting an ID tag for identifying an object such as a barcode.
[0002]
[Prior art]
There are various methods for identifying an object in the real world, such as a one-dimensional barcode or a two-dimensional barcode (for example, Non-Patent Document 1) using an object ID code (tag), a magnetic card, an IC card, and the like. Has been put to practical use. In recent years, wireless tags such as RFID (Radio Frequency Identification), which are non-contact tags and have the advantage that information can be rewritten wirelessly, have been put into practical use. Since the cost has decreased, it has been applied to fields such as logistics. In the case of using an image input device such as a camera, an ID tag such as CyberCode (registered trademark) or a digital watermark has also attracted attention. For example, according to Non-Patent Document 2, various application examples when using CyberCode (registered trademark) in the real world are reported.
[0003]
In order to manage information of a certain object using the object ID code as described above, a "tag" recognition technique for firmly connecting a target object and information becomes important. . Non-Patent Document 3 discloses a technology for recognizing such tags, in which an individual marker is attached to an object, an ID is encoded on the marker, and a computer recognizes the encoded ID. .
[0004]
[Non-patent document 1]
Junya Hiramoto, "Knowledge of Barcodes and 2D Barcodes to Know", Nippon Kogyo Publishing Co., Ltd., 1991
[Non-patent document 2]
Jun Rekimoto and Yuji Ayatsuka, CyberCode: Designing Augmented Reality Environments with Visual Tags, Designing Augmented Reality Environments (DARE 2000), 2000
[Non-Patent Document 3]
Toshiki Ito, "Research on Worker Support Using Individual Indices Based on Geometric Invariants," Graduate School of Engineering, Osaka University, Master's Thesis, 2000, http: //www-cape.mech. eng.osaka-u.ac.jp/ccm06adm/oldboys/2000/ito/ito.pdf
[0005]
[Problems to be solved by the invention]
In the case of the above-described barcode, a dedicated reader is required, and it is necessary to scan manually and read one by one, which is troublesome. In addition, there is a problem that reading cannot be performed unless the bar code is close to the bar code.
[0006]
In the case of a wireless tag such as an RFID, there is a problem that the communicable range is narrow and the price is not low.
[0007]
In addition, an ID-embedded tag using CyberCode (registered trademark) or a digital watermark has a problem that an ID code cannot be read unless it is almost from the front.
[0008]
As described above, in the reading processing of the ID tag such as the barcode, the RFID, and the CyberCode (registered trademark), it is difficult to recognize the ID tag in a wide visual field, and the reading distance and the direction are limited.
[0009]
SUMMARY OF THE INVENTION The present invention has been made in view of the above problems, and has as its object to read an ID tag from an arbitrary direction without depending on a viewpoint direction and to recognize an object ID code. It is to provide an apparatus and a method.
[0010]
[Means for Solving the Problems]
In order to solve the above problem, the present invention provides an object ID code recognizing device for recognizing an ID code of an object appearing in an input image input by an image input device. ID marker generating means for generating an ID marker serving as an individual marker for recognizing the ID code of the object based on a geometric invariant, and an image of an object to which the ID marker is attached, obtained by photographing from an arbitrary viewpoint ID marker area extracting means for performing image processing on the captured image to extract an area of the ID marker, and extracting a plurality of feature points from the image of the extracted ID marker area. Feature point position extracting means for extracting a position; and a geometric invariant calculation for calculating at least one geometric invariant from the positions of the plurality of extracted feature points. A step and an ID code of an object associated with at least one geometric invariant calculated by the geometric invariant calculating means are stored in advance by associating the geometric invariant with the object ID code. ID code recognizing means selected from a database.
[0011]
According to a second aspect of the present invention, in the object ID code recognition device, the geometric invariant calculating means calculates a plurality of sets of geometric invariants from the positions of the plurality of extracted feature points. Further comprising a geometric invariant set calculating means, wherein the database further comprises a geometric invariant pair ID code storing means for storing an ID code of an object previously associated with the geometric invariant set, The ID code recognition means selects from the database an ID code of an object associated with a set similar to the set of geometric invariants calculated by the set of geometric invariant sets. I have.
[0012]
According to a third aspect of the present invention, in the object ID code recognition device, the ID markers generated by the ID marker generating means are obtained from a plurality of feature points arranged at arbitrary positions on the same plane. Is generated based on the geometric invariant of.
[0013]
Further, in the object ID code recognition device according to the present invention, in the object ID code recognition device, the feature point position extracting means separates the extracted image of the ID marker area into a plurality of ID sub-markers representing an object ID marker. A separating unit extracts a position of a feature point from the plurality of separated ID serve markers.
[0014]
According to a fifth aspect of the present invention, in the object ID code recognizing device, the ID code recognizing means includes: a plurality of geometric invariants calculated by the geometric invariant calculating means; Means for calculating the degree of similarity with a plurality of geometric invariants obtained by the means, and a set of objects in correspondence with a set similar to the set of geometric invariants having the highest similarity. An ID code is selected from the database.
[0015]
According to a sixth aspect of the present invention, in the object ID code recognition device, the similarity is calculated by any one of the Mahalanobis distance and the Euclidean distance.
[0016]
According to the configuration of the present invention, information (geometric invariant) independent of a viewpoint is extracted and used as tag identification information, so that reading and recognition of a tag from an arbitrary direction (viewpoint) can be performed. It becomes possible, and it is released from the restriction of the reading distance and the direction, which is a conventional problem.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0018]
FIG. 1 is a system configuration diagram of an object ID code recognition device according to one embodiment of the present invention.
[0019]
In FIG. 1, an object ID code recognition device according to the present invention is mounted on a portable terminal 100 such as a mobile phone, for example, and acquires an image acquisition unit 2 that acquires information on an image captured by an imaging unit such as a camera 1. An ID marker area extracting unit 3 for extracting a tag area called an ID marker; a feature point position extracting unit 4 for extracting the position of a feature point on the ID marker; a geometric unit for calculating a geometric invariant from the feature point position Invariant calculation unit 5, ID code recognition unit 6 for recognizing the ID code of an object based on the calculated geometric invariant, object ID code database 7 storing the geometric invariant and the object ID code in association with each other Consists of
[0020]
In the present embodiment, an ID marker indicating an individual marker is attached to an object in the real world, for example, a certain object 200. This ID marker is a geometric invariant (here, a geometric invariant is a point which does not depend on a viewpoint at which an arrangement target is viewed when a constituent point, a straight line, or a conic satisfies a certain condition geometrically). When the object to be photographed is a two-dimensional object, the presence of the following invariants has been confirmed.
[0021]
(5 points on a plane)
There are two invariants (functionally independent) for 5 points on the same plane (however, at least 3 points are neither on the same straight line nor on the same point).
[0022]
In the present embodiment, five feature points arranged at arbitrary positions on the plane are represented by different colors, and the arrangement of the feature points is changed for each object. As a result, one set (two real values) of the geometric invariants corresponding to the object ID submarker, which is information unique to the object, can be calculated (a specific calculation method will be described later). In the same manner as described above, if the representation of the five feature points is changed, for example, a feature point with a black frame is prepared, the arrangement of the feature points is changed for each object, and the object ID which is information unique to the object is obtained. One set (two real values) of the geometric invariants corresponding to the serve marker can be calculated.
FIG. 2 is a diagram for explaining an example of generating the ID marker.
[0023]
As shown in FIG. 7A, in the ID marker according to the present embodiment, for example, five color feature points (a to e) and five black feature points (f to j) are arranged on the tag. The colors of the chromatic colors in the same region are displayed at the center in order to associate the five black feature points with which color region of the five color feature points the feature points correspond to (f to f). small square in j). The ID submarker in the present embodiment is basically expressed (generated) by synthesizing a set of five feature points.
[0024]
The ID marker shown in FIG. 2A is separated into black and other two (for example, G1 and G2) by color information (saturation, hue, lightness) and the like in a process described later (FIG. (B) and (c)). FIG. 4B shows the five color feature points (a to e).
For example, a number is assigned to each lightness (P1 (G1), P2 (G1),..., P5 (G1)). FIG. 11C shows only the black portion of the five black feature points (f to j), and the small square of the chromatic color at the center is the feature of the five colors shown in FIG. It is projected on the area of the color corresponding to the points (a to e) (see arrows). In FIG. 2C, numbers corresponding to the areas of the five color feature points (a to e) in FIG. 2B are assigned (P1 (G2), P2 (G2),...). *, P5 (G2)).
[0025]
The ID marker generated in this manner is attached to an object, and the object ID code recognition device according to the present invention recognizes the ID code.
[0026]
Next, an object ID code recognition process in the object ID code recognition device will be described with reference to FIG. FIG. 3 is a flowchart showing the ID code recognition processing procedure in the object ID code recognition device.
[0027]
In FIG. 3, first, the image acquisition unit 2 captures an image of an object captured by a camera or the like in a format that allows image processing (S1). The input image captured by the image acquisition unit 2 includes an ID marker area of the object.
[0028]
The information of the image acquired by the image acquisition unit 2 is then input to the ID marker area extraction unit 3, where it is subjected to Fourier transform and converted to a spatial frequency. Thereafter, a similar or coincident form with the spatial frequency data of the background image of the object ID marker area is extracted by pattern matching (S2). The ID marker area extraction unit 3 performs an inverse Fourier transform on the spatial frequency data extracted in this manner, binarizes the image pattern obtained after the inverse Fourier transform, extracts a contour, and extracts the inside of the contour as “ A mask pattern having a value of "1" and other values of "0" is generated (S3). Using the mask pattern, the ID marker area extraction unit 3 extracts an object ID marker area (specific area) from the image information captured by the image acquisition unit 2 (S4) and outputs the extracted object ID marker area to the feature point position extraction unit 4.
[0029]
The feature point position extraction unit 4 selects pixels corresponding to the background area in descending order of the saturation of the input object ID marker area that is equal to or less than the first threshold value (Th1) and the brightness is large. The color correction conversion is calculated so that the G and B values become 255 (maximum). Then, the calculation of the color correction conversion is performed for all the pixels in the ID marker area (S5), and the pixel whose saturation is equal to or smaller than the second threshold (Th2) and whose brightness is equal to or smaller than the third threshold (Th3) is referred to as " G1 ”, and those whose saturation is equal to or more than the second threshold (Th2) and whose brightness is equal to or more than the third threshold (Th3) are set as“ G2 ”, and are extracted (separated) as ID submarkers from the ID marker area (S6). ).
[0030]
The feature point position extraction unit 4 performs the following processing on “G1” and “G2” separated as described above.
(Process of G1)
The position of the center of gravity is calculated for each of the five feature point regions in G1 extracted as the ID submarkers, and is extracted as the position of the feature point (S7). Then, based on the extracted hue sizes of the five feature point regions, the respective feature points are sorted and point numbers of the feature points (for example, P1, P2,... P5) (S8).
[0031]
(Process of G2)
As in the case of G1, the position of the center of gravity is calculated for each of the 10 feature point regions in G2 extracted as the ID sub-marker, and extracted as the position of the feature point (S9). Among the point positions, five feature points near the feature point position extracted in G1 are extracted, and each is moved to G1 in association with the nearby feature point (S10). Then, as described above, based on the hues of the five extracted feature point regions, the respective feature points are sorted and the point numbers of the feature points (for example, P1, P2,. .., P5) (S11).
[0032]
The geometric invariant calculation unit 5 calculates the geometric invariant according to the following equation using the five feature points associated with the feature points for each of G1 and G2 as described above ( S12 and S13).
[0033]
(Equation 1)

The invariants (α1, β1, α2, β2) calculated by the geometric invariant calculation unit 5 are then combined (S14) to become values used for object ID code recognition.
[0034]
The ID code recognition unit 6 compares the geometric invariant (1) obtained by combining as described above with the geometric invariant (2) calculated at the time of generating the object ID code. The distance value is obtained as a vector representation in the feature amount space, and each distance value is obtained based on this vector. Representative methods for obtaining this distance value include Mahalanobis distance, Euclidean distance, Bayes identification, and composite similarity. In this example, Mahalanobis distance is applied to the above-described distance value calculation method.
[0035]
The ID code recognition unit 6 obtains a distance value between the geometric invariant (1) and the geometric invariant (2) by the Mahalanobis distance method, An invariant is obtained as a search key (if the value of the Mahalanobis distance is small, the above (1) and (2) are similar (maximum probability density)). Then, from the object ID code database 7 in which the correspondence between the geometrically invariant theoretically calculated in advance and the object ID code is stored, the geometrical invariant serving as the search key and a certain nearby value d are stored. Among the objects, the closest one is searched, and the object ID code associated with the geometric invariant obtained by the search is extracted (selected) (S15), and it is recognized as the object ID code. A series of processing ends.
[0036]
As described above, in the present embodiment, an object ID code (tag) is generated at a feature point at which a geometric invariant can be calculated independent of the viewpoint. The geometric invariant can be calculated based on the screen from. As a result, it becomes possible to identify the object ID code associated therewith.
[0037]
Further, since the object ID code is expressed by combining the geometric invariants obtained from the five points on the same plane with the color information of the five colors, only the relative relationship between the color information of the five colors can be determined. Therefore, it is not necessary to identify a complicated shape, and the present invention can be applied even to a high-quality image. Also, by increasing the number of feature points, the expressive ability of the ID code can be easily expanded.
[0038]
Further, when separating a plurality of ID sub-codes, classification is performed after applying color correction based on the condition of the background color, so that it is possible to use the sub-codes robustly with respect to the lighting conditions.
[0039]
Further, in the present embodiment, it is sufficient that there is an image from any viewpoint, and if there is an image from at least one viewpoint, it is possible to calculate the ID code of the object and acquire the information of the object ID code. is there. Therefore, a portable terminal equipped with an image input device such as a camera can recognize an object ID code without requiring a special device such as a code reading machine even if video data cannot be acquired. become.
[0040]
Furthermore, since the geometrical arrangement of the feature points expressing the object ID code is composed of arbitrary five points on a plane, there is an effect that various expressions can be generated depending on the application.
[0041]
In the above example, the invariant calculation function of the geometric invariant calculation unit 5 is the ID marker generation means, and the ID marker area extraction function of the ID marker area extraction unit 3 is the ID marker area extraction means, the geometric invariant calculation means. In addition, the feature point position extracting function of the feature point position extracting unit 4 corresponds to a feature point position extracting unit. The ID code recognition function of the ID code recognition unit 6 corresponds to ID code recognition means and similarity calculation means, and the data storage and management function of the object ID code database 7 corresponds to geometric invariant pair ID code storage means. I do.
[0042]
【The invention's effect】
As described above, according to the present invention, information (geometric invariant) that does not depend on the viewpoint is extracted and used as tag identification information. Reading and recognition become possible, and the restriction on the reading distance and direction, which was a problem in the past, is released.
[Brief description of the drawings]
FIG. 1 is a system configuration diagram of an object ID code recognition device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of generating an ID marker.
FIG. 3 is a flowchart showing an ID code recognition processing procedure in the object ID code recognition device.
[Explanation of symbols]
Reference Signs List 1 Camera 2 Image acquisition unit 3 ID marker area extraction unit 4 Feature point position extraction unit 5 Geometric invariant calculation unit 6 ID code recognition unit 7 Object ID code database (DB)
100 Mobile terminal with camera 200 Object 210 Object ID code (tag)

Claims

In an object ID code recognition device that recognizes an ID code of an object appearing in an input image input by an image input device,
ID marker generating means for generating an ID marker serving as an individual marker for recognizing the ID code of the object based on a geometric invariant,
An ID marker area for capturing an image of an object to which the ID marker is attached, obtained by photographing from an arbitrary viewpoint, by the image input device, performing image processing on the captured image, and extracting the area of the ID marker. Extraction means;
Feature point position extracting means for extracting positions of a plurality of feature points from the image of the extracted ID marker area;
Geometric invariant calculation means for calculating at least one geometric invariant from the positions of the plurality of extracted feature points;
A database in which an ID code of an object associated with at least one geometric invariant calculated by the geometric invariant calculating means is stored in advance by associating the geometric invariant with the object ID code. And an ID code recognizing means selected from the following.

The object ID code recognition device according to claim 1,
The geometric invariant calculating means further includes a geometric invariant set calculating means for calculating a plurality of sets of geometric invariants from the positions of the plurality of extracted feature points,
The database includes a geometric invariant pair ID code storage unit that stores an ID code of an object associated with a set of geometric invariants in advance,
The ID code recognizing means selects from the database an ID code of an object associated with a set similar to the set of geometric invariants calculated by the geometric invariant set calculating means. Object ID code recognition device.

The object ID code recognition device according to claim 1,
An object wherein the ID marker generated by the ID marker generating means is generated based on a plurality of geometric invariants obtained from a plurality of feature points arranged at arbitrary positions on the same plane. ID code recognition device.

The object ID code recognition device according to claim 1,
An ID marker separating unit that separates the feature point position extracting unit into a plurality of ID sub-markers representing an object ID marker from the extracted image of the ID marker region;
An object ID code recognition device, wherein a position of a feature point is extracted from the plurality of separated ID serve markers.

The object ID code recognition device according to claim 2,
The ID code recognizing means obtains a similarity between the plurality of geometric invariants calculated by the geometric invariant calculating means and the plurality of geometric invariants obtained by the ID marker generating means. Having similarity calculating means,
An object ID code recognition apparatus, wherein an ID code of an object associated with a set similar to a set of geometric invariants having the highest similarity is selected from the database.

The object ID code recognition device according to claim 5,
The object ID code recognizing device is characterized in that the similarity is calculated by any one of Mahalanobis distance and Euclidean distance.

In an object ID code recognition method for recognizing an ID code of an object appearing in an input image input by an image input device,
An ID marker serving as an individual marker for recognizing the ID code of the object is generated based on a geometric invariant,
An image of the object to which the ID marker is attached obtained by photographing from an arbitrary viewpoint is captured by the image input device, and the captured image is subjected to image processing to extract an area of the ID marker,
Extracting the positions of a plurality of feature points from the image of the extracted ID marker area,
Calculating at least one geometric invariant from the positions of the plurality of extracted feature points;
An ID code of an object associated with the calculated at least one geometric invariant is selected from a database in which the geometric invariant and the object ID code are stored in advance. Object ID code recognition method.

The object ID code recognition method according to claim 7,
Calculating a plurality of sets of geometric invariants from the positions of the plurality of extracted feature points,
In the database, an ID code of an object previously associated with a set of geometric invariants is stored,
An object ID code recognition method, wherein an ID code of an object associated with a set similar to the calculated set of geometric invariants is selected from the database.

The object ID code recognition method according to claim 7,
The object ID code recognition method, wherein the ID marker is generated based on a plurality of geometric invariants obtained from a plurality of feature points arranged at arbitrary positions on the same plane.

The object ID code recognition method according to claim 7,
Separating into a plurality of ID sub-markers representing an object ID marker from the image of the extracted ID marker area,
A method for recognizing an object ID code, comprising extracting a position of a feature point from the plurality of separated ID serve markers.

The object ID code recognition method according to claim 8,
A plurality of geometric invariants calculated from positions of a plurality of feature points obtained from the image of the extracted ID marker area; and a plurality of geometric invariants obtained from the generated ID marker. Find the similarity of
An object ID code recognition method, wherein an ID code of an object associated with a set similar to a set of geometric invariants having the highest similarity is selected from the database.

The object ID code recognition method according to claim 11,
The object ID code recognition method, wherein the similarity is calculated by any one of Mahalanobis distance and Euclidean distance.