JP2015057687A - 画像情報のコード変換装置、画像情報のコード変換方法、画像コードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】
画像読取装置からの生画像情報に基づいて画像の特徴を複数抽出して固有のコードに変換することにより、同一画像を安定して同一の画像コードに変換することのできる画像情報の画像コード変換装置及び方法を提供する。
【解決手段】
画像読取装置により取得した生画像情報を、幾何学的または物理学的な要素に基づいて複数の展開画像情報に変換して、複数の展開画像情報から、確率尺度に基づいて自己組織化処理により特徴情報を数値化し、該数値化した特徴情報をデジタルコードに変換して、生画像情報に対応する固有の画像コードを生成する。
【選択図】 図１

Description

本発明は情報処理技術の分野に属し、ＣＣＤカメラ等で読み取った画像情報からその画像を特定する固有の画像コードを生成することができる画像情報のコード変換装置、画像情報のコード変換方法、これを利用した画像コードを用いた検索システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体に関する。例えば、本発明をグーグルグラス（「GOOGLE GLASS 」はグーグルインコーポレイテッドの登録商標です。以下同様）などに適用することにより、後述するＡＲ技術の高速化及び高度化をさらに進めることが可能となる。

近年、携帯電話、スマートフォン等により、印刷物等に印刷された二次元コードを読取り、読み取った二次元コードに関連付けられた動画をダウンロードする方法が普及している(特許文献１)。

しかし、印刷物に二次元コードを印刷するのは、印刷物の美観を損なうだけでなく、二次元コードを印刷するスペースも必要となる。そのため、印刷物の美観を重視する観点、または印刷空間を効率的に使用する観点から、バーコード等の印刷が不要な電子透かし技術を用いた「スマートフォン読取システム」も開発されている。その代表的な手法として、「携帯コンピューテング装置における高速信号検出及び分散コンピューテング」と称する特許出願がある(特許文献２)。

一方、画像情報を利用して画像を特定する技術として、ＡＲ技術（Augmented Reality：拡張現実技術）も提案されている（非特許文献１）。この技術では、スマートフォンなどを用いて画像情報を読取り、画像情報から画像特有の輪郭情報を抽出して、画像を特定するものである。この画像特有の輪郭情報に基づいて、ネットワークを介して、その画像に関連する情報（以下、「関連情報」と称する）を検索する。検索により取得した関連情報は、画像を撮影したスマートフィン等に返信されて、スマートフォンの画面上に画像情報と共に表示される。輪郭情報は、画像認識技術を用いて画像情報を解析することにより抽出される。

また、このような画像情報の取り扱いを容易にするための技術として、「画像コード化装置、方法及びプログラム」という、画像情報を直接コード化する方法に関する技術も提案されている(特許文献３)。

特開２００9-１０４１６４号公報 特開２０１１-２３４３７６号公報 特開２００４-９４５５１号公報

「ＡＲアプリ説明」,［online］,［平成２５年８月６日検索］、 インターネット＜ＵＲＬ： HYPERLINK "http://www.ar.selkosha-p.com" www.ar.selkosha-p.com＞

上記の特許文献１に開示された技術は、二次元コードを印刷する専用スペースが必要である他、二次元コードの印刷により印刷物自体の美観が損なわれるという問題がある。

上記の特許文献２に開示されたスマートフォン読取システムは、二次元コードを、外観上はわからないように商品ラベル内に埋め込ことができる。しかし、二次元コード情報を見えないように埋め込むための特殊で複雑な印刷が必要となる。また、印刷のコストや手間がかかる他、事前にコードを埋め込んだ印刷物以外は、コード読み取りができないという問題がある。

一方、非特許文献１に開示されているＡＲ技術では、画像の輪郭を解析することによって画像を特定する輪郭情報を文書記述として作成し、この輪郭情報を用いてネット検索を行い、関連情報を取得するものである。しかし、この文書記述された輪郭情報を用いて検索するには、画像を特定するための輪郭情報（文書記述情報）だけでも、一画像あたり相当大きなデータ量となる。従って、ネット検索のために文書記述された輪郭情報の送受信だけでも、通信トラフィック負荷が非常に大きいものとなる。また、画像関連データをこの文書記述情報にひも付けして記憶する必要があるため、データベースとして大容量の記憶装置が必要となる。
さらに画像の輪郭形状を意図的に加工して画像の輪郭が同一なるようにして、利用者をネットワーク上の偽の関連情報に誘導することも可能となる。また、偽商品に真正商品の商品ラベルの画像コピーを付することにより、偽商品を真正商品の関連情報とリンクさせることが可能となる。
このように輪郭情報のみによる画像を特定する検索システムでは、偽造防止が難しいという問題もある。

特許文献３には、画像を複数のブロックに分割して、その一つを基準ブロックと指定し、該基準ブロックを構成する画素の輝度の平均値と、他の各分割ブロックの画素の輝度の平均値とを比較して、その大小に基づいて、画像をコード化する技術が開示されている。このように、特許文献３は、分割ブロックから取得したグレースケールの画素の輝度の平均値を算出してコード化を図るものである。しかし、異なる画像であっても分割ブロックの輝度の平均値が類似する場合もあるので、このような輝度の平均値のみで画像をコード化すると、異なる画像から同一のコードが生成されてしまうことがある。
また、特許文献３の画像の階調を用いた解析は、各分割ブロックの画素の平均値を比較するというユークリッド距離を用いた閾値による評価である。このようなユークリッド距離による振り分けは、画像データを撮影するときの照明の光さ、屋内と屋外など環境輝度波長スペクルの違いにより、撮影された画像の階調が大きく変化する恐れがある。そのため、従来技術３の技術では安定したコード変換が困難となり、同一画像を常に同じコードとして特定することができないという問題を有している。
る。

本発明は上記問題点に鑑みてなされたものであり、画像読取装置により読み撮った生画像情報から、同一の固有のコード(画像コード)を安定して生成することができる画像情報のコード変換装置、画像情報のコード変換方法、画像情報から変換されたコードを用いた画像関連情報提供システム、画像情報のコード変換プログラム、及びそのプログラムを記録した記録媒体を提供することを目的とする。

本発明の他の目的は、画像情報を特定の画像コードに変換可能であり、偽造の困難な商品ラベルまたはパッケージ等の印刷物及びその作成方法を提供することである。

本発明は、上述のような従来技術の問題点に鑑みなされたものであり、本発明に係る画像情報のコード変換装置の第１の態様は、画像情報から、該画像情報に特有の画像コードを生成する画像情報のコード変換装置であって、
取得した生画像情報を複数の展開画像情報に変換する画像変換部と、
前記複数の展開画像情報のそれぞれに対して確率尺度を用いた自己組織化処理を施すことにより、前記各展開画像情報からそれぞれ特徴情報を抽出する特徴抽出部と、
前記特徴抽出部により抽出された複数の前記特徴情報を数値化し、画像コードを生成する画像コード生成部と
を備えることを特徴とする。

このような構成とすることで、生画像を構成する複雑な情報を、複数のシンプルな情報の写像へ分解することができる。これにより、複雑系の生画像情報を複数の展開画像情報に分類することができ、各展開画像から抽出される特徴情報の組み合わせとして、膨大な数の異なるコードを生成することができる。従って、この膨大な数の特徴情報の組合せよって、膨大な種類の生画像を唯一の画像コードとして特定することが可能となる。

本発明に係る画像情報のコード変換装置の他の態様は、前記画像変換部が、前記生画像情報の各画素の階調の分布を、幾何学的または物理学的な要素に基づいて、前記展開画像情報へ変換することを特徴とする

本発明に係る画像情報のコード変換装置の他の態様は、前記画像変換部により変換される前記展開画像情報が、前記生画像情報を構成する各画素の階調値をＲＧＢまたはＣＭＹＫの色毎の画素の諧調値に分解した色毎の展開画像情報、前記各画素の階調値を二乗することにより物理学的なパワー値に変換したパワー展開画像情報、隣接する各画素の諧調値が急激に変化する高い諧調値の画素を集めたエッジ展開画像情報、または前記色毎の展開画像情報相互間の対応する画素の階調値の差を求めて該画素の諧調値として類似度を示す展開画像情報の少なくともいずれか１つを含むことを特徴とする。

本発明に係る画像情報のコード変換装置の他の態様は、前記特徴抽出部が、前記自己組織化処理の確率尺度を、正規分布、多変量正規分布、指数分布、アーラン分布、ワイブル分布、三角分布、ベータ分布の少なくとも一つを含む確率分布からなる確率属性を有するパラメータとし、前記自己組織の中心値を、前記確率分布の平均、或は期待値とすることを特徴とする。

展開画像情報の特徴を抽出する判別基準として、このような確率尺度を用いることにより、特徴情報を抽出に際して、生画像の撮像環境の輝度の違いによる影響や、画像ノイズの影響を少なくすることができる。これにより、生画像情報から画像コードへ変換の安定性が高くすることができる。

本発明に係る画像情報のコード変換装置の他の態様は、前記特徴抽出部が、前記各展開画像情報を複数の領域に分割し、該分割した各領域に対して、前記確率尺度を用いた自己組織化処理を実行することにより、前記分割した領域ごとに前記特徴情報を抽出し、
前記画像コード生成部は、前記分割した領域の前記特徴情報を数値化し、該数値化した特徴情報をと、他の分割した領域の前記数値化した特徴情報とを比較して、その大小により前記画像コードを生成することを特徴とする

本発明に係る画像情報のコード変換装置の他の態様は、前記特徴抽出部が、所定の確率分布の数値列p₁,p₂,…p_mの集合G ∋ p_i (i=1,2,…,m)の中心値をA(G)とし、中心値A(G)の確率尺度をM[G,A(G)]とし、また、第n-1回の自己組織化処理により算出した中心値A(G^(n-1))の半径M[G^(n-1),A(G^(n-1))]以内に存在するk個の確率分布の数値列p⁽ⁿ⁾ ₁,p⁽ⁿ⁾ ₂,…p⁽ⁿ⁾ _kの集合をG⁽ⁿ⁾ ∋p⁽ⁿ⁾ _i(i=1,2,…,k)とすると、
A⁽ⁿ⁾ = A(G⁽ⁿ⁾)
M⁽ⁿ⁾ = M[G⁽ⁿ⁾,A(G⁽ⁿ⁾)]
G⁽ⁿ⁾ = G[A(G^(n-1)), M[G^(n-1),A(G^(n-1))]]
となるように、自己組織化処理を行うことを特徴とする。

本発明に係る画像情報のコード変換装置の他の態様は、前記特徴抽出部が、前記各展開画像情報から、自己組織の確率尺度を用いて展開画像の特徴情報をそれぞれ抽出し、
前記画像コード生成部は、前記各展開画像情報の特徴情報に対し、予め定式化したメンバーシップ関数を用いて、０からｎまでの情報として数値化し、該数値に基づき画像コードを生成することを特徴とする。

このような構成とすることで、画像のコード化のような複雑系の問題に対し、画像特徴の曖昧な情報を、メンバーシップ関数を定式することにより、数字化し、直接に画像コードを生成することができる。

本発明に係る画像情報のコード変換装置の他の態様は、前記特徴抽出部により抽出された複数の前記展開画像情報に対応する数値化された複数の特徴情報から、生画像情報の特徴ベクトルを生成して、複数の生画像と対応づけて複数の前記特徴ベクトルを画像コードとして、記憶している記憶部を備えており、
コード変換の対象となる生画像データが読み取られたときに、前記画像コード生成部は、前記特徴抽出部により抽出した複数の数値化された特徴情報から前記特徴ベクトルを生成し、該生成した特徴ベクトルを前記記憶部に記憶している前記特徴ベクトルと比較して、登録されている前記特徴ベクトルの中でユークリッド距離(Euclidean distance)の一番近い特徴ベクトルを、前記コード変換の対象となる生画像の画像コードとすることを特徴とする。

本発明に係る画像情報のコード変換装置の他の態様は、前記画像コード生成部は、前記特徴ベクトルを登録する際に、撮像条件を変えて同一の画像を複数回撮像して取得した同一の生画像の複数の生画像情報をそれぞれ各展開画像情報に変換して、該複数の展開画像からそれぞれ前記特徴情報を抽出して同一画像に対する複数の特徴ベクトルを生成し、
前記同一画像の複数の特徴ベクトルに対して、所定の確率尺度に基づいて自己組織化処理を行うことにより、該特徴ベクトルの各特徴情報の中心値と確率尺度を求めて、該複数の特徴情報の中心値及び確率尺度を特徴ベクトルからなる画像コードとして登録し、
前記画像コード生成部は、コード変換の対象となる生画像から抽出された特徴情報ベクトルの中心値と登録されている特徴ベクトルの中心値を比較して、前記確率尺度の距離が一番近い中心値の特徴ベクトルを前記コード変換の対象となる生画像情報の画像コードとすることを特徴とする、

異なる撮像環境で取得した同一読取対象の複数の生画像情報を用いて、特徴情報の中心値を確率尺度とともに特徴ベクトルとしたことにより、より正確に、画像コードを特定することが可能となる。
すなわち、撮像環境の異なる複数の画像情報に対して確率尺度を用いて自己組織化処理をすることにより特徴情報の中心値を求めた結果は、同一読取対象の複数の生画像情報の確率的な分布に対して、確率が一番高い中心値を得られ、正確に画像コードを生成することが可能となる。

本発明に係る画像情報のコード変換方法の第１の態様は、画像情報から、該画像情報に特有の画像コードを生成する画像情報のコード変換方法であって、
取得した生画像情報を複数の展開画像情報に変換する画像変換工程と、
前記複数の展開画像情報のそれぞれに対して確率尺度を用いた自己組織化処理を施すことにより、前記各展開画像情報から特徴情報を数値化して抽出する特徴抽出工程と、
前記特徴抽出部により抽出された複数の数値化された前記特徴情報に基づいて、デジタルコードからなる画像コードを生成する画像コード生成工程と、
を具備することを特徴とする。

本発明に係る画像情報のコード変換方法の他の態様は、前記画像変換工程が、前記生画像情報の各画素の階調値を、ＲＧＢまたはＣＭＹＫの色毎の画素の諧調値に分解した色毎の展開画像情報への変換、前記各画素の階調値を二乗することにより物理学的なパワー値に変換したパワー展開画像情報への変換、隣接する各画素の諧調値が急激に変化する高い諧調値の画素を集めたエッジ展開画像情報への変換、または前記色毎の展開画像情報相互間の対応する画素の階調値の差を求めて該画素の諧調値とした類似度を示す展開画像情報への変換のいずれかを含むことを特徴とする。

本発明に係る画像情報のコード変換方法の他の態様は、 前記特徴抽出工程が、前記自己組織の確率尺度を、正規分布、多変量正規分布、指数分布、アーラン分布、ワイブル分布、三角分布、ベータ分布の少なくとも一つを含む確率分布からなる確率属性を有するパラメータとし、前記自己組織の中心値を、前記確率分布の平均または期待値とすることを特徴とする。

本発明に係る画像情報のコード変換方法の他の態様は、前記特徴抽出工程が、前記各展開画像情報を複数の領域に分割し、該分割した各領域に対して、前記確率尺度を用いた自己組織化処理を実行することにより、前記分割した領域ごとに特徴情報を抽出し、
前記画像コード生成工程は、前記分割した領域のひとつを基準領域として、該基準領域の特徴情報を数値化し、該数値化した特徴情報と、他の分割した領域の前記数値化した特徴情報を比較することにより、前記画像コードを生成することを特徴とする。

本発明に係る画像情報のコード変換方法の他の態様は、前記特徴抽出工程が、前記各展開画像情報から、自己組織の確率尺度を用いて展開画像の特徴情報をそれぞれ抽出し、
前記画像コード生成工程は、すべての展開画像の特徴情報に対し、予め定式化した複数のメンバーシップ関数を用いて、０からｎまでの情報として数値化し、画像コードを直接に生成することを特徴とする。

本発明に係る画像情報のコード変換方法の他の態様は、さらに、所定の画像について、前記特徴抽出工程により抽出された複数の前記展開画像情報から抽出された特徴情報を数値化し、該数値化された複数の特徴情報から、前記所定の画像毎の特徴ベクトルを生成して、該特徴ベクトルを該所定の画像の画像コードとして、特徴ベクトル登録部に予め登録する工程を備えており、
前記コード生成工程において、
前記特徴抽出工程により抽出した複数の特徴情報を数値化し、該数値化された特徴情報から、コード変換の対象となる生画像の特徴ベクトルを生成し、該生成した特徴ベクトルを前記記憶部に登録されている前記特徴ベクトルと比較し、
登録されている前記特徴ベクトルの中でユークリッド距離の一番近い特徴ベクトルを、前記コード変換の対象となる生画像の画像コードと判定することを特徴とする。

本発明に係る画像情報のコード変換方法の他の態様は、前記特徴ベクトルを登録する工程が、
撮像条件を変えて同一の画像を複数回撮像して取得した同一の生画像の複数の生画像情報をそれぞれ各展開画像情報に変換して、該複数の展開画像からそれぞれ前記特徴情報を抽出して同一画像に対する複数の特徴ベクトルを生成する工程と、
前記同一画像の複数の特徴ベクトルに対して、所定の確率尺度に基づいて自己組織化処理を行うことにより、該特徴ベクトルの各特徴情報の中心値と確率尺度を求めて、該複数の特徴情報の中心値及び確率尺度を特徴ベクトルからなる画像コードとして登録する工程を備え、
前記画像コード生成工程は、コード変換の対象となる生画像から抽出された特徴情報ベクトルの中心値と登録されている特徴ベクトルの中心値を比較して、前記確率尺度の距離が一番近い中心値の特徴ベクトルを前記コード変換の対象となる生画像情報の画像コードと判定する工程と
を備えることを特徴とする。

本発明に係る画像コードを用いた画像関連情報提供システムの第１の態様は、ネットワークに接続可能なデータ端末装置と、画像に関連する関連情報を複数記憶しているサーバとを含む画像コードを用いた画像関連情報提供システムであって、
前記端末装置は、前述した態様のいずれかひとつの画像情報のコード変換装置、画像読取部、画像表示部、データ記憶部、通信部、データ入出部及び各部を制御する端末制御部を備え、
前記サーバには、前記画像情報の変換装置により変換された画像コードに関連づけられて、複数の画像に関する関連情報が記憶されており、
前記サーバは、前記端末装置から要求に応じて、前記画像コードに対応する関連情報を要求のあった前記端末装置に送信することを特徴とする。

本発明に係る画像情報のコード変換プログラムの第１の態様は、コンピュータに、
取得した生画像情報を複数の展開画像情報に変換する画像変換ステップと、
複数の前記展開画像情報のそれぞれに対して確率尺度を用いた自己組織化処理を施すことにより、前記各展開画像情報から特徴情報を抽出する特徴抽出ステップと、
前記特徴抽出ステップにより抽出した複数の特徴情報を数値化して、デジタルコードからなる画像コードを生成する画像コード生成ステップと、
を実行させることにより、画像情報を固有の画像コードに変換することを特徴とする。

本発明に係る画像情報のコード変換プログラムを記録した記録媒体の第１の態様は、上記第１の態様に係る画像情報のコード変換プログラムを記録したことを特徴とする。

本発明の画像情報のコード変換装置及び方法によると、画像読取装置で読み取った画像情報を固有のコードに変換できるので、世の中のあらゆる画像を固有の特定コード（画像コード）に変換することができる。画像コードは文書記述情報に比べて格段に短いので、画像に関連する多くの種類の関連情報を画像コードに紐付して記憶させることが極めて容易となる。また、本発明に係る画像取得装置により画像を読み取るだけで、画像情報を画像コードに変換できるので、その画像に関連する情報を短い画像コードを用いて検索することができる。したがって、本発明により画像関連情報の検索の高速化、通信負荷の軽減、関連データ記憶容量の低減化が可能となる。

例えば、商品ラベルや商品パッケージ等の印刷物、風景、その他の画像を読み取り、本発明の画像のコード化装置及び方法によりコード化処理することにより、高速かつ簡単にその画像に固有の画像コードを得ることができる。
これにより、各種画像に関連する情報（関連情報：データでも動画でも静止画でも良い）を各画像に対応する画像コードに紐付けして予め登録しておくことにより、画像読取装置で取得した画像に関連する関連情報を高速で検索することが可能となる。

すなわち、本発明によると、例えば、商品ベル又は商品パッケージ等の印刷物等の画像情報だけで、その画像に特有な画像コードを生成することができる。従って、二次元コードのように印刷物の画質を劣化させる付加コードを付加しなくても、また、予め印刷物等に秘匿コードを埋め込んでおかなくても、画像情報のみからその画像特定可能な画像コードを生成することが可能となる。

例えば、展示された商品の商品ラベルやパッケージを画像読取装置により読み取り、画像コードに変換する。この画像コードと産地、経歴、正規販売価格等の各種情報を関連情報としてデータベースに登録しておくことにより、読み取った画像の画像コードから、その商品の産地、経歴等の固有情報を取得することが可能となる。

本発明の画像情報のコード変換装置またはコード変換方法を用いることにより、取得した生画像情報を簡単かつ迅速に画像コードに変換することが可能となる。そのため、グーグルグラス、スマートフォン、または携帯電話などを用いた、より高速な画像関連情報の検索システムまたは付加情報提供システムを提供することが可能となる。これにより、画像コードに紐付けされた関連情報を、モバイル端末で変換した画像コードを用いて、即座にネット検索することが可能となる。また、本願発明によると、比較的簡単に画像のコード変換ができるので、コード変換処理機能を各モバイル端末に分散することが可能であり、サーバにコード変換の負荷をかけることなく簡単に画像検索処理をすることが可能となる。すなわち、画像情報を画像取得現場で即座に短い画像コードに変換することができるので、検索に伴う通信負荷を軽減でき、ネットでの検索処理効率あげることができる。

また、輪郭情報による画像の特定の場合、輪郭がシンプルな形状の画像の場合誤認識多くなる。これに対して、本発明は、画像の色情報その他の多種の構成要素の特徴に基づいて、画像情報をコード変換するので、画像を特定するための特徴分解能力が高いという効果を有する。

本発明の画像変換方法によると、生画像情報を展開画像情報に変換して、画像コードを生成する。そのため、スキャナーやコピー装置等では生画像の複製ができないように展開画像情報を組合せることにより、偽造が困難な印刷画像を提供することができる。これにより、固有の画像コードに変換可能であり、かつ商品ラベルやパッケージなどに使用できる偽造の困難な印刷画像を提供することができる。

本発明の画像のコード変換方法及び変換装置を説明するための図である。 自己組織化処理の流れを示すフローチャートである。 幾何学的或は物理学的な画像の変換イメージを示す概念図である。 パワー画像への変換により画像特徴の抽出の示す例を示す図である。 形状画像への変換により画像特徴を抽出する例を示す図である。 エッジ画像への変換により画像特徴を抽出する例を示す図である。 類似画像への変換により画像特徴を抽出する例を示す図である。 パワー画像を分割して画像情報をコード化する例を示す図である。 複数の色の画像間で階調の度合いの調整原理を説明する図である。 色調整により偽造が困難にする画像の構成原理を示す図である。 商品等を中心とした画像関連情報提供システムの流れを示す図である。 ラベル等を中心とした画像関連提供システムの流れを示す図である。 本発明の画像関連情報提供システムの一例を示す機能ブロック図である。

本発明の実施の形態を、図面を参照して説明する。
図１は本発明に係る画像情報のコード変換装置を説明するための図である。図１では、モバイル端末装置として、グーグルグラスを適用する例を示している。
なお、本発明はグーグルグラスに限らず、スマートフォン、携帯電話、その他のモバイル端末、電話回線、専用回線に接続されたオンライン端末、監視カメラ、改札口等の各種ゲートにおける認証カメラ、クレジットカード端末を用いたシステム等にも適用可能である。

以下、図１を参照して説明する。
図１（ａ）は、グーグルグラス等のモバイル端末装置１０を用いて商品５に付された商品ラベル６やパッケージの画像を読み取る状態を示すイメージ図である。図１（ｂ）は、本発明に係る画像情報のコード変換装置を組み込んだモバイル端末装置１０を例示する機能ブロック図である。この機能ブロック図においては、モバイル端末１０に本発明を適用する場合の好ましい機能要素を実線ブロックで示している。これは、本発明範囲をこの構成に限定する趣旨ではなく、この構成の一部を削除することも、他の構成を付加することも本発明の範囲に含まれる。必要に応じて、破線のブロックで示すように、ＧＰＳその他の各種センサ１８を設けても良い。

モバイル端末装置１０は、ＣＣＤ等の画像情報を取得する装置から構成される画像読取部１１、画像表示部１２、データ入出力部１３、データ記憶部１５、画像コード化処理部１６及び通信部１７を備えており、これら各部は端末制御部１４により制御される。

モバイル端末装置１０の画像読取部を商品ラベル１０３等に向けることにより、画像読取部１１は画像情報を取得することができる。本明細書においては、モバイル端末装置１０等により取得した「画像コード変換の対象となる画像」の画像情報を「生画像情報」と称する。
取得された生画像情報は、端末制御部１４に送信され、画像表示部１２に表示される。同時に生画像情報はデータ記憶部１５に記憶される。端末制御部１４は画像コード化処理部１６と共同して、取得した生画像情報からその画像に固有の「画像コード」を生成する。生成された画像コードは、端末制御部１４の制御に基づいて、データ記憶部１５に記憶される。

また、画像コードは、通信部１７を介して所定の命令情報とともに外部のネットワークに接続されたサーバもしくはコンピュータシステムに送信される。画像コードを受信したサーバまたはコンピュータシステムは、画像コードに紐付けされて記憶されている関連情報を読み出して、関連情報をモバイル端末装置１０に送信する。
サーバ等から関連情報を受信したモバイル端末装置１０は、受信した関連情報を、画像表示部１２に画像読取部で取得した情報に付加して表示する。関連情報は、端末装置１０において加工して表示してもよい。

なお、図１は、本発明を適用する装置として、グーグルグラスのようなモバイル端末装置１０を例示している。しかし、本発明に係る画像情報のコード変換装置は、モバイル端末装置に限らず、回線に接続されたコンピュータ、ＰＯＳ端末装置、その他の検索専用端末内に設けても良い。また、図１（ｂ）のブロック図に示す画像コード化処理部１６を、モバイル端末ではなく、ネットワークに接続されたサーバ、コンピュータシステム内に設けることもできる。

＜画像コードの生成＞
以下、生画像情報から画像コードへの変換について説明する。
画像コードは、以下の工程を経て変換される。
まず、取得した「生画像情報」は、複数の「展開画像情報」に変換される。複数の展開画像情報はそれぞれ自己組織化処理されて、「特徴情報」が抽出される。この展開画像情報から抽出された特有の特徴情報を数値化して組み合わせることにより、画像特有の画像コードが生成される。
図1のモバイル端末装置１０においては、これらの処理を、主として端末制御部１４と画像コード化処理部１６が担っている。すなわち、画像コード化処理部１６は、端末制御部１４と共同して、生画像情報をその画像の固有のコード（画像コード）に変換する。

端末制御部１４はＣＰＵ、各種レジスタ等を有しており、予め記憶されている制御プログラムやデータ等に基づいて、入出力情報や入力された各種制御命令に応じて各部の制御を行う。

画像コード化処理部１６は、画像変換部２５、特徴抽出部２６、及び画像コード生成部２７を備えている。
画像変換部２５は、画像読取装置から取得した生画像情報を、複数の「展開画像情報」に変換して、特徴抽出部２６に出力する。
特徴抽出部２６は、複数の展開画像情報から、自己組織化処理の確率尺度に基づいて、各展開画像から特徴情報を抽出する。１つの展開画像から複数種類の特徴情報を抽出することができる。
画像コード生成部２７は、抽出された特徴情報を数値化して組み合わせることにより、デジタル化された画像コードを生成する。端末制御部１４は、生成された画像コードを用いて、通信部１７を介して、取得した生画像の画像関連情報を検索する。
「展開画像情報への変換」及び「自己組織化処理」については、後ほど詳細に説明する。

図１の実施形態においては、端末制御部１４の一部の機能と画像コード化処理部１６、データ記憶部１５等を統合した構成が、本発明の「画像情報のコード変換装置」を構成する。画像コード化処理部１６内に、ＣＰＵ、メモリ、その他必要な機能を持たせることにより、画像コード化処理部１６だけで、本発明の「画像情報のコード変換装置」として機能させることも可能である。

＜展開画像情報への変換＞
本発明に係る画像情報のコード変換装置または方法は、コード変換の対象になった生画像情報から直接的に特徴情報を抽出するのではなく、コード変換の対象になった生画像を、幾何学的、または物理的な展開画像に変換して、展開画像情報から画像コードに変換するものである。
生画像情報は、画像変換部２５により、複数の「展開画像情報」に変換される。

図３は、生画像情報から変換される複数の展開画像の例を概念的に示す図である。図３に示すように、本発明では、生画像３０から特徴成分を直接抽出するのではなく、まず生画像３０から、幾何学的または物理的なモデルに基づいて、パワー画像３１、形状画像３２、エッジ画像３３、類似画像３４等のような展開画像情報に変換し、展開画像情報から特徴情報を抽出する。展開画像の種類としては、当業者が技術常識に基づいて任意に選択することができ、他にも例えば、エントロピー画像、周波数画像など、種々の種類の展開画像に変換することができる。

ここで、幾何学的な展開画像とは、生画像の幾何学的な特徴を抽出したもので、例えば、生画像の幾何学的なエッジ特徴を抽出したエッジ展開画像などである。また、幾何学的な形状的特徴、位置的特徴、方向要素の特徴、大きさの特徴を有する展開画像への変換も可能である。

物理的な展開画像とは、例えば、上述のように生画像の輝度の階調値（通常０〜２５５）を、例えば重さや力学的な数値を表わすパラメータと捉えて展開画像としたものである。また、輝度の諧調値を物理学的なパワーとして捉えた場合の特徴、エッジの形状的な特徴、類似度の特徴、エントロピー的な特徴、重心として捉えた場合の特徴、力学的特徴、周波数的特徴等、各種観点から、生画像情報を展開画像情報に変換することが可能である。

例えば、生画像の輝度の階調値から複数の展開画像を取り出すことができる。一例として、生画像として取得したＲ／Ｇ／ＢをＣ，Ｍ，Ｙ，Ｋに変換するだけで、Ｃ，Ｍ，Ｙ，Ｋの４種類の輝度の展開画像情報を生成することが可能となる。また各Ｃ，Ｍ，Ｙ，Ｋの画像の対応する画素間の輝度の差をとることにより、さらに６個の展開画像情報を生成することも可能である。また、階調値を二乗した値をパワー値とすることにより、Ｃ，Ｍ，Ｙ，Ｋの４個のパワー値の展開画像を作成することも可能である。このようにして、生画像から多くの各種展開画像を作成することが可能である。

なお、図３は展開画像をイメージとして示すもので、実際の処理において、必ずしも展開画像情報全体を画像として一括変換する必要はない。生画像情報の各画素または一定範囲の画素のデータを、逐次展開画像情報（データ）に変換しながら、以下に説明する自己組織化処理を実行するようにしても良い。

＜自己組織化処理＞
次に、「自己組織化処理」について説明する。
自己組織化処理とは、無秩序状態の系において、外部からの制御なしに秩序状態が形成されるように自律的に処理することをいう。ここで「外部からの制御なしに」とは、外部から細かく手を加えてパターンを作成するような作用がないという意味である。
本発明に即して簡単に説明すると、展開画像情報を、各比較対象要素（画素）を所定の尺度（距離）に基づいて取捨選択して選別するものである。すなわち、外部からの制御なしに、自律的に基準となる尺度の近さによって比較対象要素を取捨選択して、特徴を濃縮していくものである。

従来技術では、この尺度として、距離尺度（ユークリッド尺度）が使われている。しかし、本発明では、この特徴を距離尺度（ユークリッド尺度）ではなく、“確率尺度”を用いた“近さ”を基準として選別することを特徴の一つとするものである。各展開画像に対して自己組織化処理を繰り返すことにより、各展開画像情報のもつ特徴部分を抽出することが可能となる。また、“確率尺度”を用いることにより、特徴部分の抽出に際して、撮像環境の違いによる影響を受け難い。すなわち、輝度の違う撮像環境で取得された画像であっても、同一画像であれば同一の画像コードに変換できる確率を高めることができる。

以下に、自己組織化処理を一般的な式で示す。
所定の確率分布の数値列p₁,p₂,…p_mの集合G∋p_i(i=1,2,…,m)の中心値をA(G)とし、中心値A(G)の確率尺度をM[G,A(G)]とし、また、第n-1回の自己組織化処理により算出した中心値A(G^(n-1))の半径M[G^(n-1),A(G^(n-1))]以内に存在するk個の確率分布の数値列p⁽ⁿ⁾ ₁,p⁽ⁿ⁾ ₂,…p⁽ⁿ⁾ _kの集合をG⁽ⁿ⁾ ∋p⁽ⁿ⁾ _i(i=1,2,…,k)とすると、
A⁽ⁿ⁾ = A(G⁽ⁿ⁾)
M⁽ⁿ⁾ = M[G⁽ⁿ⁾,A(G⁽ⁿ⁾)]
G⁽ⁿ⁾ = G[A(G^(n-1)), M[G^(n-1),A(G^(n-1))]]
となる。

図２は自己組織化の処理を示すフローチャートである。図２に示すように、自己組織化のアルゴリズムは、以下のように４つのステップにより構成される。

ステップＳ₁：
このステップＳ₁は、前処理のためのステップである。
ここでは、まず例示として、自己組織化処理により、画像情報の階調の密度が一番高い場所の求める方法を示し、本発明の自己組織化のアルゴリズムを説明する。
最初の自己素子化処理に使用される初期確率尺度Ｍ⁽⁰⁾、及び処理対象の初期中心値（x₀，y₀）⁽⁰⁾、と、自己組織化処理の収束値Ｖ、及び自己組織化処理の繰り返し回数の最大値ＭＮとは予め設定される。自己組織化処理は、収束値Ｖまたは最大繰り返し回数ＭＮとなるまで繰り返し実行される。

ここで、初期確率尺度Ｍ⁽⁰⁾とは、最初に与える条件であり、画像情報の自己組織化処理の計算により取得する確率の範囲である。最初の自己組織化処理においては、この確率範囲内の画素が選択され、それ以外の画素は捨てられる。自己組織化処理の初期中心値（x₀，y₀）⁽⁰⁾も、最初に与えられる条件であり、画像情報の自己組織化処理の計算範囲の中心部である。本発明の最初の自己組織化処理の計算は、最初に与えた初期確率尺度Ｍ⁽⁰⁾と初期中心値（x₀，y₀）⁽⁰に基づいて、処理される。最初の自己組織化処理により次の自己組織化処理のための確率尺度と中心値が計算され、これに基づいて次の自己組織化処理が実行される。このようにして、外部からの制御なしに自己組織化処理の計算を繰り返すことにより、画像の階調の密度が高い場所（最終中心値）と範囲（最終確率尺度）とを算出する。

初期確率尺度Ｍ⁽⁰⁾と自己組織化処理の初期中心値（x₀，y₀）⁽⁰⁾は、任意に設定することができる。しかし、自己組織化処理により最終的に（ｎ回目）決定される中心値（xn，yn）(n) が初期確率尺度Mこの初期確率尺度Ｍ⁽⁰⁾が、大きすぎると自己組織化処理の計算に時間が掛かり、小さすぎると正確的な結果を求められないという特徴を有する。上記符号（ｎ）は自己組織化処理の繰り返し回数を示している。
初期確率尺度として、例えば、各画素の輝度の階調値の分散値等を使用可能である。また、収束値Ｖとしては、例えば、第（ｎ−１）回目分散値Ｓ² _(n-1)と第ｎ回目の分散値Ｓ² _(n)の差Ｓ² _(n-1)−Ｓ² _(n)と＝Ｖ_(n)することができる。この確率尺度及び収束値は例示であり、確率尺度及び収束値として後述するような他のパラメータを採用することも可能である。

自己組織化処理の収束値Ｖについても任意に設定できる。しかし、収束値Ｖが大きすぎると正確な結果を求めることができず、小さすぎると自己組織化処理の計算に時間がかかる。
最大自己組織化処理の繰り返し回数ＭＮは、一般的に２〜１０回程度の範囲に設定するのが好ましい。また精度を上げつつ一定の処理速度を確保するという観点からは、この繰り返し回数は３〜６回程度に設定するのが好ましい。

ステップＳ₂：
このステップＳ₂は、自己組織化処理の計算を行うステップである。このステップＳ₂は、自己組織化処理を収束値Ｖになるまで、または最大繰り返し回数ＭＮになるまで繰り返して実行される。
第ｎ回目の自己組織処理においては、直前の自己組織化処理で算出した自己組織中心値（x₀，y₀）^(n-1)を中心値として、確率尺度Ｍ^(n-1) を半径として、確率尺度Ｍ⁽ⁿ⁾ の半径以内のすべての画素I（x_i，y_j）（i＝1,2,…，k、j=1,2, …，l）の階調密度の分散値Ｓ⁽ⁿ⁾を求め、Ｍ⁽ⁿ⁾＝(Ｓ⁽ⁿ⁾)²とし、ｎ＝ｎ＋１を更新する。

式１は、第ｎ回目の自己組織化処理における中心値を算出するための式の例である。

また以下に示す式２は、画像情報の階調の密度が一番高い範囲をはかる尺度を画像の“分散値”とする場合に、その画像情報の“分散値”を求める式である。
なお式２では、各要素（ｘ_i，ｙ_j）における重みを加味するため、Ｉ（ｘ_i，ｙ_j）を掛け、さらに平均値を取っている。この意味は、例えば、各画素の各色の諧調が０〜２５５で表わされるとして、ある画素（ｘ_i，ｙ_j）の諧調が１５０だったとすると、Ｉ（ｘ_i，ｙ_j）＝１５０として重みをつけることが可能である。

ここで、ｘ₀ ^(n-1)，ｙ₀ ^(n-1)を前回処理の画像I（x_i，y_j）（i＝1,2,…，k、j=1,2, …，l）の自己組織の中心値とする。

ステップＳ₃：
このステップＳ₃は、自己組織化処理を終了するか否かを判定するステップである。自己組織化処理の繰り返し回数（Ｎ？ＭＮ)が最大となったか、または自己組織化処理が収束したか(Ｍ^(n-1)？Ｍ⁽ⁿ⁾？Ｖ)を確認し、いずれかがＹＥＳとなると、次の自己組織処理終了のステップＳ₄へ進み、いずれもＮＯであるとSTEP2へもどり、同様の処理を繰り返す。

ステップＳ₄：
ステップＳ₃において、最大繰り返し回数ＭＮに達したか、または所定の収束値Ｖに達したと判定されたら、自己組織化処理は終了する。

例えば、式１のＸ₀ ⁽ⁿ⁾，Ｙ₀ ⁽ⁿ⁾を、座標中心のような幾何学的な中心、または力学の質点のような物理的な中心、例の数値の中値のような数学的な中心と考えることができる。
例えば、力学の質点とする場合には、画像情報の各画素の階調値を力の異なる大きさの質点と捉えると、上記自己組織化処理により得られた式１のＸ₀ ⁽ⁿ⁾，Ｙ₀ ⁽ⁿ⁾の値は、力学のバランスが一番良い場所になる。
さらに確率の観点からみると、Ｘ₀ ⁽ⁿ⁾，Ｙ₀ ⁽ⁿ⁾を、例えば、確率の平均、期待値のような確率的な中心としても良い。

上述の説明においては、自己組織化処理の確率尺度Ｍ⁽ⁿ⁾として正規分布の分散値を用いる例を示したが、本発明はこれに限定されない。確率尺度として、正規分布、多変量正規分布、ｔ分布、指数分布、アーラン分布、ワイブル分布、三角分布、ベータ分布などからなる確率の属性を持っているパラメータを任意に設定することもできる。

本発明の自己組織化処理のもう一つ応用例は、ランダムデータに対して、例えば７０％の確率以上になる数値の中値を求める方法である。例えば、画像情報のｘ方向でのヒストグラムデータをx₁,x₂,…,x_kとし、自己組織化処理の中心値をx₁,x₂,…,x_kの平均値としたとする。この場合、平均値Ｘは式３で表わされる。

自己組織化処理の確率尺度を、画像のｘ方向でのヒストグラムデータのx₁,x₂,…,x_kの分散値とする場合に、一次元の分布の分散値Ｓ²は、次式４で表わされる。

式３、式４及び上述の自己組織化処理のアルゴリズムを用いることにより、例えば、７０％の確率以上になるヒストグラムデータの数値の中値を求めることができる。

図４は生画像の各画素の階調値を反転して二乗した展開画像（パワー画像）を例示する図である。
図４の（ａ）は画像コードを生成する対象となる生画像であり、図４の（ｂ）は画素の階調を反転してパワー変換した展開画像（パワー画像）である。図４の４０１が、パワーが一番高い範囲（一番黒いところ）を示している。
上述したように、撮像環境の明るさの違いにより、取得された画像情報の各画素の輝度は大きく異なるものとなる。
パワー画像では輝度を二乗するため、この変化がさらに強調される。このように、撮像環境の明るさの違いによりパワーの度合いが大きく変わるため、従来のユークリッド距離のしきい値を用いて、画像情報を自己組織化処理すると、撮像環境の明るさの違いにより、生成される画像コード値が変化し、安定性のないものとなる。

このようなパワー画像に対して、図２に示した自己組織化処理のアルゴリズムに基づき確率尺度を用いて計算することにより、撮像環境の明るさの違いにより生じる上述した問題を改善することができ、撮像環境が違っても、パワー画像の特徴値を正確にデジタル変換することが可能となる。
例えば、二次元の関数Ｐ(x_i,y_j)(i=1,2,…,k,j=1,2,…,l)をパワー画像の関数とすると、パワーの平均値Ｐは次式５により算出することができる。

また、パワーの分散値Ｓ_p ²は次に示す式６により算出することができる,

仮に、パワーの展開画像である図４の画像（ｂ）の画像情報に対し、自己組織化処理のアルゴリズムを適用し、自己組織化処理の中心値と確率尺度を算出するとする。自己組織化処理の計算結果に基づいて、自己組織化処理の中心値を、例えば７０％以上の確率で存在するパワー画像の諧調値とし、自己組織化処理の確率尺度を７０％以上の確率で存在するパワー画像の諧調値の分散値とする。

また、自己組織化処理の中心値よりも、上下に確率尺度の範囲内に属している階調値に該当する画素を抽出すると、輪郭４０２のようなパワーが一番高い画素集合を求めることが可能である。

この場合において、パワー画像の階調値の確率尺度（分散値）の物理的な意味は、７０％以上の確率を持つ画素の集合を構成する範囲であり、画像の階調の密度の度合いに関係するパラメータである。これは画像情報の階調値の大きさと関係しないので、生画像を取得する際の照明輝度などのような読取環境のような外的条件に依存しないという特徴がある。このしきい値としての確率尺度は６０〜８０％以上のパワーを集めたものとすることが好ましく、７０％以上のパワーを有することがより好ましい。

ここで、パワー画像４２の領域４０２を自己組織化処理した後、メンバーシップ関数を用いて数値化することも可能である。まず、パワー画像である図４の画像４２の輪郭４０２の中にある画像Ｐ’(x_i,y_j)(i=1,2,…,h,j=1,2,…,g)において、領域４０２の画像情報のパワーが一番高い場合に、メンバーシップ関数の解が数字９に近づくものとし、逆に領域４０２の画像のパワーが一番低い場合に、メンバーシップ関数の解が数字０に近づくものとすると、バワー密度のメンバーシップ関数を次のように定義することができる。

上式の意味は、（２５６^h）^gを画像Ｐ'(x_i,y_j)の一番高い数値とすると、式７の右辺第２項が（２５６^h）^gになると、Ｍ_pは９になり、これが小さくなるほど、Ｍ_pは０に近づくことを表している。
上述の式７では、Ｍｐが数値０−９の間の値として出力される。

また、パワー画像の面積の特徴を、メンバーシップ関数で定式化することもできる。例えば、画像（ｂ）の領域４０２の面積が図４の画像（ｂ）の全体面積に近づくほどメンバーシップ関数の解は数字９に近づくものとし、全体面積よりも小さくなるほど、数字０に近づくとすることにより、領域４０２のパワー面積の特徴をメンバーシップ関数で定式化することができる。このようなパワー面積のメンバーシップ関数の解を用いて、画像のコード化の対象になる画像のもう一つの特徴値とすることができる。

図５は、展開画像として形状画像に変換して、画像情報の特徴を抽出する例を説明する図である。
図５の（ａ）は画像のコード変換の対象になる生画像を示しており、（ｂ）はその輪郭画像を示す図である。輪郭画像（ｂ）は、例えば生画像（ａ）を微分処理することにより得ることができる。
図５に示す生画像（ａ）の中から、頭部の丸い輪郭５０１に相当する部分に着目し、自己組織化処理により頭の丸い輪郭画像に一番近い円形部分５０２を計算することもできる。

まず、展開画像である図５の輪郭画像（ｂ）の画像情報に対して、自己組織化処理の対象となる領域のすべての画素について、任意の２つの画素を連結するすべての連結線の長さと、連結線の中心の位置を求める。
円形の輪郭を形成する一対の画素の特徴は、円形輪郭の画素の連結線の長さが円の直径に近くなることと、連結線の中心位置が一点に集中していることである。また、各々連結線の角度がそれぞれ異なる。このような特徴は、上述の図２に示した自己組織化のアルゴリズムを用いて、円形線を構成するという特徴に基づいて、図５（ｂ）のような頭の輪郭画像に一番近い円形５０２を計算することが可能である。

具体的には、上述の自己組織化のアルゴリズムを用いて、まず、画素の連結線の長さが近い各々画素を抽出する。次に、円形輪郭の画素の連結線の中心位置が一点に集中している特徴を利用して、自己組織化処理の計算により、円形の輪郭の画素を抽出することができる。

円形の形状におけるメンバーシップ関数の定式方法は、上述と同様である。頭部分の輪郭画像の各々画素が円形５０２に、近づくほど９に近くなり、遠くなれば０に近くなるというメンバーシップ関数を作成すれば良い。このようにして、形状のメンバーシップ関数の計算結果０〜９を、画像コードに変換するための特徴情報の一つとすることができる。

図６は、さらに他の展開画像の例を示すもので、図６の（ａ）は生画像図６１を示し、図６の（ｂ）はその展開画像であるエッジ画像を例示したものである。このエッジ画像（ｂ）から、自己組織化処理により画像情報の特徴を抽出する。
画像を構成する画素の輝度の急激な変化として現れるエッジ成分は、画像固有の特徴を抽出するための重要な情報要素の一つである。エッジ画像（ｂ）は、生画像（ａ）を線形１次空間微分フィルタを通すことにより得ることができる。

図４の展開画像（ｂ）と同様に、図６の展開画像であるエッジ画像（ｂ）の各々画素の階調値は、同じ被写体であっても、生画像の撮像環境の明るさの違いにより異なる値となる。したがって、同じ被写体であっても、異なる撮像環境で撮影し、従来のユークリッド距離のしきい値を用いて特徴情報を抽出すると、生成される画像コードが異なるものとなり、コード変換の安定性が低下するという問題がおこる。

図６のエッジ画像（ｂ）は、エッジ部分の階調値を持つ画素の分布の密度が高く、他の画素の階調値の密度は低い。そのため、エッジ画像（ｂ）では、自己組織化処理のアルゴリズムに基づき、密度を重視した確率尺度のしきい値（分散値）を求めるのが好ましい。

まず、図６のエッジ画像（ｂ）に対し、確率尺度のしきい値よりも輝度の大きい画素を抽出する。
パワー画像とは異なり、エッジ画像Ｅ(x_i,y_j)(i=1,2,…v,j=1,2,…,w)の画素は、連続するエッジ線状の部分の画素を除き、殆ど離れてバラバラに分布している。そのため、確率尺度のエッジ画像のしきい値より大きいすべての画素を１つのエッジ画素の集合として、エッジ画素の集合に属するエッジ画素のメンバーシップ関数を、定式化することができる。
また、エッジ画素の集合に属するすべての画素の面積は、それ以外画素の面積より、はるかに少ないという特徴を有しているので、パワー面積のメンバーシップ関数の定式方法を参考にして、この特徴を定式化することもできる。

図７は類似画像の変換により、画像特徴を抽出した複数の展開画像を生成する例を説明する図である。
図７では、生画像（ａ）を、Ｃ（シアン）、Ｍ（マジェンダ）、Ｙ（イエロー）、Ｋ（クロ）の四つの版（展開画像）に分版しており、Ｋに展開したＫ版の画像（ｂ）、Ｃ版に展開したＣ版の画像（ｃ）、Ｍに展開したＭ版の画像（ｄ）、Ｙに展開したＹ版の画像（ｅ）を示している。Ｋ版画像（ｂ）とＣ版画像（ｃ）、Ｍ版画像（ｄ）とＹ版画像（ｅ）と、Ｃ版画像（ｃ）とＭ版画像（ｄ）、Ｍ版画像（ｄ）とＹ版画像（ｅ）及びＣ版画像（ｃ）とＹ版画像（ｅ）をペアとし、各ペア間の相関関係を算出して、類似画像の展開画像に変換することもできる。

例えば、Ｋ版（クロ）の輝度を階調で表す多値画像関数Ｆ(x_i,y_j)とＣ版（シアン）の多値画像関数Ｃ(x_i,y_j)(i=1,2,…,n、j=1,2,…,m)との相関関係について、計算し易くするため、ハミング距離を導入し、次のように算出することができる。

ここで、さらに正確に類似度を計算するために、まず、多値画像関数Ｆ(x_i,y_j)とＣ(x_i,y_j)(i=1,2,…,h,j=1,2,…,g)のハミング距離の平均値を次のように算出することができる。

前記と同様に、ハミング距離の分散値を次の式により算出することもできる。

「式９」のハミング距離の平均値を自己組織化処理の中心値とし、「式１０」のハミング距離の分散値を自己組織の確率尺度とすると、前記自己組織のアルゴリズムを用いて、例えば７０％以上の確率で、正確に多値画像関数Ｆ(x_i,y_j)とＣ(x_i,y_j)の間での類似度を求めることが可能となる。

図７のように、１つの生画像に対して、Ｃ、Ｍ、Ｙ、Ｋの４つの画像を分版して、それぞれ色別の画像に対して、上述のような色画像間の類似度を計算することにより、６個の類似度画像から展開画像を変換することができる。これにより、前述の情報抽出方法を用いて６個の展開画像から数値化した６個の特徴数値を、画像の特徴ベクトルとして構成することができる。

さらに、上述のように変換した幾何学的、或は物理的な複数の展開画像において、自己組織化処理の際に確率尺度を用いてメンバーシップ関数を定式し、展開画像の特徴に関する曖昧情報を０〜９またはｎまでの数値として記述することができる。

＜画像コードの生成＞
以上、展開画像、自己組織化処理、及び定式されたメンバーシップ関数を用いて、特徴情報を０からｎまでの数に数値化することについて説明した。
以下に、自己組織化処理により算出した特徴情報に基づいて、画像コードを生成する方法について説明する。複数の特徴情報から画像コードを生成する方法としては、従来から周知慣用されているような手段を適宜採用することができる。
なお、１つの生画像から複数の展開画像情報に変換することができることは既に説明した通りである。さらに以下に説明するように、１つの展開画像情報から複数のデジタル情報を生成することができる。例えば、１つの展開画像を複数に分割することにより、複数のデジタル情報を生成できる。
これにより、仮に１個の生画像から１５個の展開画像情報を生成し、１つの展開画像情報から４ビットのデジタル情報を生成する場合、合計６０ビットからなる画像コードを生成することができる。
画像コードは、適宜多値データ（例えば２値、８値、１０値、１６値またはｎ値）のいずれでも任意に採用可能である。

例えば、１つの展開画像を、それぞれ複数の領域に分割し、各分割した領域ごとに確率尺度を用いた自己組織化処理を実行する。その後、自己組織化処理により得られた分割領域毎に算出された特徴情報の数値を比較して、どちらが大きいかに基づいて、２値のコードデータ（ビット）へデジタル変換する。これにより、一つの展開画像から複数の２ビットデータを生成することができる。さらに、このような処理を複数の展開画像毎に行うことにより、一つの生画像情報からさらに多くの特徴ビットを生成することが可能となり、画像を特定するための分解能を向上させることができる。
これらの特徴ビットを所定の順番で整列させることにより、画像を特定する画像コードが生成される。なお、上記の例では２値への変換を説明したが、２値に限らず、３値、４値等の多値に変換しても良い。

展開画像情報を複数の領域の分割にする場合の分割数及び分割位置は予め定めておけばよく、何分割にするか、及び分割する位置は、画像情報を固有の画像コードに正確に変換する観点に基づいて、任意に設定可能である。
たとえば、図８で示すように、展開画像の中心を通る線で分割することもできる。また、画像の真ん中に中心領域を設け、その中心領域を外側から取り囲むように順次巻き囲む形式で、大きさを変えて複数回取り囲み、各取り囲み領域ごとに自己組織化処理をするようにしても良い。何分割するか、何段階取り囲むかは、任意に設定可能であるが、４分割から１０分割程度の範囲内での分割が好ましい。

展開画像を分割して画像コードを生成する方法の具体的例を、図８を参照して説明する。図８は、展開画像であるパワー画像を８分割して、画像情報をコード変換する例を示している。
以下の説明では、商品のラベルには枠が設けられており、カメラによる画像の読取りの方向は一定であるという前提で説明する。
図８の商品ラベルのパワー画像（ａ）と、パワー画像を領域８０１〜８０８に８分割した分割画像（ｂ）を示す。

まずパワー画像に対し、確率尺度のしきい値を用いて、自己組織化処理により、特徴情報を抽出する。
次に隣接する２つの領域（例えば領域８０１と８０２、領域８０３と８０４）をそれぞれ対とし、４個のペアを形成する。
各領域８０１〜８０８において、自己組織処理により抽出された画素数をそれぞれＮ_a1〜Ｎ_a8とする。

領域８０１と８０２において、画素数Ｎ_a1＞Ｎ_a2になると“１”とし（逆に“０”としても良い、以下他の領域の比較においても同じ）、
領域８０３と８０４において、画素数Ｎ_a3＞Ｎ_a4になると“１”とし、
領域８０５と８０６において、画素数Ｎ_a5＞Ｎ_a6になると“１”とし、
領域８０７と８０８において、画素数Ｎ_a7＞Ｎ_a8になると“１”とする。
このようにして、一つの展開画像の８個の分割領域から４ビットのデジタルコード情報を抽出することができる。

以下のような方法も有効である。まず、パワー画像の領域８０１〜８０８それぞれに対し、自己組織化処理のアルゴリズムに基づいて、パワーの中心値を基準として、確率尺度以内のすべての画素Ｐ(x_i,y_j)(i=1,2,…,g j=1,2,…,h)を選択し、該当領域のパワー画像Ｐ₁(x_i,y_j)〜Ｐ₈(x_i,y_j)のパワー値をそれぞれＶ_p1〜Ｖ_p8とする。

領域８０１と８０２において、パワー値Ｖ_p1＞Ｖ_p2になると“１”とし（逆に“０”としても良い、以下他の領域の比較においても同じ）、
領域８０３と８０４において、パワー値Ｖ_p3＞Ｖ_p4になると“１”とし、
領域８０５と８０６において、パワー値Ｖ_p5＞Ｖ_p6になると“１”とし、
領域８０７と８０８において、パワー値Ｖ_p7＞Ｖ_p8になると“１”とすることができる。
このようにしても１つの展開画像の８個の分割領域から４ビットのデジタルコード情報を抽出することが可能である。

このような分割処理を、例えば、画像のコード化の対象になる生画像情報のＲ、Ｇ、Ｂ、またはＣ、Ｍ、Ｙ、Ｋそれぞれ色別の展開画像に対して行い、さらに、パワー画像、微分画像、類似度画像、エントロピー画像、周波数画像など１８種類以上の展開画像に変換することができる。したがって、１８種の展開画像だけでも、７２ビット以上から構成される画像コードを生成することが可能となる。

また、他の画像コード変換方法として、前述の複数の特徴情報を画像の特徴ベクトルに変換することにより、画像コードを特徴ベクトルとすることもできる。
前述したように、各展開画像の特徴を、曖昧情報として０〜９またはｎに数値化し、数値化した複数の展開画像に対応する特徴情報を並べることにより、特徴ベクトルを生成することができる。予め、各種生画像に対応する特徴ベクトルを作成してサーバに登録して特徴ベクトル空間を構成しておき、画像コード変換の際に、生画像から抽出した特徴ベクトルとサーバに登録してある複数の特徴ベクトルとを比較するように構成することの可能である。比較の結果、ベクトル空間に登録されている複数の特徴ベクトルの中で抽出した特徴ベクトルとユークリッド距離(Euclidean distance)の一番近い特徴ベクトルを、その生画像の画像コードと判定する。これにより、より安定して同一の画像コードに変換することが可能となる。

具体的に、生画像の数をｑ個とし、展開画像の数をｐ個とする場合に、第ｉ番目の生画像の数値化された展開画像の特徴情報を特徴ベクトルＶ_i1，Ｖ_i2，．．．，Ｖ_ipとすると、サーバに登録されたｑ個の生画像の特徴ベクトル空間は、次のようになる。

この場合、画像情報のコード変換の対象となる第ｉ番目の生画像の特徴ベクトルＰ_i1，Ｐ_i2，．．．，Ｐ_ipの、サーバに登録された画像の特徴ベクトル空間での各々特徴ベクトルに対するユークリッド距離(Euclidean distance)は、次の式１２のように定義できる。

特徴ベクトル空間に登録されている画像の特徴ベクトルおいて、ユークリッド距離(Euclidean distance) Ｅ_i(i=1,2,…,q)の中で、一番小さい数値となるＥ_iに対応する画像の特徴ベクトルＶ_1iが〜Ｖ_iPが、該当する生画像の画像コードと判定される。
このように、登録済みの特徴ベクトルの中から、ユークリッド距離(Euclidean distance)の一番近い特徴ベクトル空間を有する特徴ベクトルを、該当画像の画像コードとして選定することにより、より安定した画像コードを生成することが可能になる。

さらにもっと正確に画像コードに変換するために、次のような方法を採用することもできる。
まず、明るさや角度等を変えた異なる読取環境で同一画像を複数回（例えば１０回）読み取って複数（１０個）の生画像を取得する。この複数（１０個）の生画像のそれぞれを複数の展開画像に変換し、自己組織化処理により各展開画像に対応する特徴情報を算出して数値化する。この数値化した特徴情報を並べて複数（１０個）の特徴ベクトルを生成する。この同一画像の複数（１０個）の特徴ベクトルに対して、さらに確率尺度に基づいて自己組織化処理を施して、この同一画像の１０個特徴ベクトルの個々の共通要素（数値化した特徴情報）毎の中心値と確率尺度を求める。このようにして、異なる撮像環境下において取得した同一画像の複数の生画像に基づいて、学習による精度の高い特徴ベクトルを算出することができる。
登録対象となる多数の画像のそれぞれについて、このような学習により算出した中心値と確率尺度の両方を特徴ベクトルとしてサーバに登録しておくことにより、異なる明るさの環境等により撮影された同一の生画像であっても、より安定して同一の画像コードに変換することが可能となる。

ここで、特徴ベクトルの確率尺度の距離の取り扱いについて説明する。
サーバに登録されたそれぞれ第ｉ番目の画像の特徴ベクトルの確率尺度をＭ_ij(ｊ=1,2,…,p)とし、特徴ベクトルの中心値をＣ_ij(ｊ=1,2,…,p)とし、読み取られた生画像の特徴ベクトルの中心値をＰ_i1，Ｐ_i2，．．．，Ｐ_ipとする。そして、（Ｐ_ij−Ｃ_ij）の絶対値が確率尺度であるＭ_ijより大きい場合に、（Ｐ_ij−Ｃ_ij）の絶対値から確率尺度Ｍ_ijをマイナスする。この値が生画像と登録されたベクトルとの差となる。逆に（Ｐ_ij−Ｃ_ij）の絶対値が確率尺度であるＭ_ijより小さい場合には確率尺度の範囲内であるので、差はないものとして（Ｐ_ij−Ｃ_ij）を０とする。
このような処理により、式１２に基づいて確率尺度の距離Ｅ’_i(i=1,2,…,q)を算出することができる。
確率尺度の距離Ｅ^" _i(i=1,2,…,q)の中で、一番小さい数値ｍｉｎＥ^" _iに対応する特徴ベクトル空間に登録された画像の特徴ベクトルを、該当生画像の画像コードと判定する。

画像の特徴を抽出するには、幾何学的または物理学的な画像変換の方法等、種々の方法がある、また、変換した画像に対して、いろいろなメンバーシップ関数の定式方法もある。さらに、画像の特徴に関係する曖昧を表現するための数値は、０から９よりも大きい数値とすることも、小さな数値とすることもできる。このような種々の変形例は本発明の意図しているものであり、本発明の範囲に含まれる。

図９は複数の色の画像間で階調の度合いの調整原理を示す図である。
図９に示すように、図９の画像９０を原画像とし、図９の画像９１を、Ｃ、Ｍ、Ｙ、Ｋの４色によって構成された画像情報（原画像と同じ）とし、同様に、図９の画像９２を、Ｃ、Ｍ、Ｙ３色によって構成された画像（現画像からクロＫが抜き取られている）に変換することもできる。
ここで、画像９１ａを画像９１のＣ版画像とし、画像９１ｂを画像９１のＭ版画像とし、画像９１ｃを画像９１のＹ版画像とし、画像９１ｄを画像９１のＫ版画像とする。

本発明においては、図９の画像９１において、Ｋ版色を０として、図９の画像９２に示すように、Ｋ版色をＣ、Ｍ、Ｙ３色の混合によって表す、印刷画像の偽造防止の技術も提供するものである。
図９の画像９２ａを画像９２のＣ版画像とし、画像９２ｂを画像９２のＭ版画像とし、画像９２ｃを画像９２のＹ版画像とし、画像９２ｄを画像９２のＫ版画像とする（画像９２ではＫはゼロなので、画像９２ｄには何も現れない）。

上記Ｋ色からＣ、Ｍ、Ｙ３色に移すことができるだけではなく、原画像との画質の変化を感じさせないで、画像情報としては異なるものとなるように調整することも可能となる。この技術は、外見上は同一に見える画像情報が、実は異なる画素の階調の複雑な組み合わせにより構成されている画像情報とすることができることを意味しており、商品ラベルの偽造防止等に有用である。

図１０は偽造が困難である画像の構成原理を示す図である。
図１０の１００は原画像であり、図１０の１０１は原画像１００をＣ、Ｍ、Ｙ３色のみで変換した画像である。すなわち、画像１０１は、Ｋ色のすべての画素の階調が０になっている。図１０の画像１０１ａを画像１０１のＣ版画像とし、画像１０１ｂを画像１０１のＭ版画像とし、画像１０１ｃを画像１０１のＹ版画像とし、画像１０１ｄを画像１０１のＫ版画像とする。

図１０の画像１０１をスキャナー１０２を用いて読取ると、スキャンした画像１０３になる。
ここで、注目するところは、Ｃ、Ｍ、Ｙ３色の画像１０１とスキャンした画像１０３との違いは、スキャンした画像１０３のＫ色の画像１０３ｄが元のＣ、Ｍ、Ｙ３色の画像１０１のＫ版画像１０１ｄと異なることである。

偽造をするときには、しばしばスキャナーが使用される。しかし、スキャナを使用すると、Ｋ色の無い画像１０１をスキャンしても、Ｋ色を有する画像１０３となる。従って、商品ラベル等をＣ，Ｍ，Ｙからなる画像１０１としておき、画像の読取りの際にＫ色がどのように表れるかを判別することにより、偽造画像かどうかを判断することができる。

また、単にＫ色が変化するかどうかだけでなく、元の画像の画質を変えずに、各色の画素間で階調度合いを互いに調整し、スキャンした画像のＣ、Ｍ、Ｙ、Ｋいずれか任意の色の階調が変化するように構成することにより、偽造かどうかを判断することも可能であり、これらはすべて本発明の範囲に含まれる。
以上の説明で明らかなように、本発明によると、固有の画像コードに変換でき、かつ商品ラベルやパッケージなどに使用可能な偽造の困難な印刷画像を提供することができる。

図１１は、商品に商品ラベル等の印刷物を貼ることにより、その商品を中心としたソーシャル・ネットワーク・システムを構築できることを説明する図である。
図１１に示すように、本発明に係る画像情報のコード変換措置がグーグルグラス、携帯電話その他のモバイル端末装置に組み込まれることにより、モバイル端末装置とネットワーク１１７とサーバ１１８を介して新しい形態のサイト運営が可能となる。
例えば端末装置のカメラを用いて、商品に付された商品ラベルの画像を読取り、商品ラベルの生画像を画像コードに変換することにより、端末装置は、変換された画像コードに基づいて、ネットワーク１１７介してサーバ１１８から該当商品の商品情報をダウンロードし、端末装置の画面に表示することができる。サーバに当該商品に関する動画等の情報を登録しておくと、商品ラベルが商品広告へのリンク媒体となり、新しいネット放送メディアを構築することが可能になる。

図１１の１１１と１１２は、商品ラベルの画像を画像コードに変換して、当該商品にアクセスした経験を有する人に新しいソーシャルネットワークを構成することをイメージとして示している。すなわち、同じ商品に趣味を有する人に対して、商品アクセス履歴を活用して直接的または間接的な交流の機会となる仮想空間を提供することができる。

図１１の１１３は、モバイル端末等用いて商品ラベルの画像から変換した画像コードより、ネットワークを経由して、当該商品の詳細な情報の入手や、商品の購入を行うシステムで、商品ラベルをそのまま購入につなげる新しいネット販売システムの構築を示している。

図１１の１１４及び１１５は、消費者が商品購入前に商品ラベルの画像を読み取るだけで、当該商品の産地情報や、商品履歴、販売地域情報など正しい情報を入手することができるシステムをイメージしている。このような情報は動画とすることも可能である。
消費者が必ず正しい商品情報へたどり着く仕組み作りには、画像の真偽鑑定能力を含めた正確な画像コード変換機能が求められる。これが実現できると、商品ラベルを、顧客に対する企業の新しい窓口として機能させることが可能となる。

図１１の１１６は、各種商品ラベルの変換履歴、情報収集履歴、滞在時間等から、その人の興味対象等を推測して所定のホームページに誘導するシステムのイメージである。このように、種々の情報が現場単位で収集できるので、種々の新たなビジネス活用が可能となる。

図１１にいくつか例示したように、本願発明の画像情報のコード変換装置により商品のラベル等の画像情報は、ネットの入り口へ案内する機能、ホームページのアドレスとして機能、商品の広告宣伝の媒体としての機能、ソーシャルネットワークの集客の機能等、の多種多様の機能を果たすことができるようになる。

図１２は、商品に限らず、施設や設備、展示品等を含むその他の「物」にラベルを付すことにより、当該「物」を中心とした多様な情報提供システムの流れの示す図である。
図１２に示すように、「物」を中心とした多様な情報提供システムの処理は次のようなステップで構成されている。
最初のステップでは、モバイル端末等により、物に付されたラベルの画像情報が読み取られる（Ｓ１３１）

次のステップでは、読み取った画像情報が画像コードに変換される（Ｓ１３２）ラベルの画像をＲ、Ｇ、Ｂ、若しくはＣ、Ｍ、Ｙ、Ｋのそれぞれ色を持つ画像の中で、少なくても１つの色別の画像を、複数の幾何的、若しくは物理的な画像変換により、０からｎまでの数値化し、画像のコード化を処理する。

その後、どのような機能を提供するかに応じて、機能が切り替えられる（Ｓ１３３）。例えば、グーグルグラス等の小さなモバイル端末では従来のスマートフォンと違い、操作用のキーやボタンスイッチがないため、他の操作入力手段が必要となる。そのような場合の入力手段として、例えば、人の目の動きの速度や方向、眼瞼の間隔や回数などを認識することにより、目や瞼の動作により機能を切換えることができる。また、グーグルグラスの中にジャイロ機能を搭載し、頭の動きの加速度を認識し、機能情報として、機能の切換えることもできる。さらに、人間の歯を噛み合わせる動作により生じた音や、頬骨の動きを感知して、グーグルグラスの機能の切り換えるようにしても良い。

機能が選択されると、選択された機能に応じて、ソーシャルネットワークの処理（Ｓ１３４）、商品の広告処理（Ｓ１３５）、商品のネット販売処理（Ｓ１３６）や、商品の関連情報のネット放送処理（Ｓ１３７）などを提供する。

上述の機能切換え処理は、ラベルを読み取る前又は、画像コード変換の前等に行っても良い。

既に説明した通り、画像情報からコード変換する際の重要な課題の一つは、画像を読取る環境の違い（特に明るさや、光の方向の違い）により、読取った画像の階調値の分布が大きくに変わるため、安定したコード変換が難しいことである。本発明は、画像のコード化の対象の画像に対して、まず幾何学的、或は物理的のモデルを用いて複数の展開画像を変換する。そして、確率尺度を基準として、複数の展開画像から画像の特徴情報を抽出して、数値化した。これにより、本発明は、同一画像から同一画像コードを安定して生成することを可能にした。

図１３は本発明の一実施形態に係る画像検索システム２０の機能ブロック図である。
なお、図１３の端末装置３５においては、図１（ｂ）のブロック図に示すモバイル端末装置１０と同様の機能を有する部分は図１（ｂ）と同じ番号を使用している。但し、図１の（ｂ）における各種センサー１８に相当する部分として、音声入出力部３６、ＧＰＳ３７を例示している。また、必要に応じてこの他にも種々のセンサーを設けることができることを示すため、各種センサー３８を例示している。音声入出力部３６は、音声案内や、音楽の再生等機能を備えることもできる。ＧＰＳの搭載することにより、地図情報の案内、端末の所在地など情報を得ることができる。

端末装置３５は図１（ｂ）のモバイル端末装置１０と同様の機能を有している。画像読取部１１は、画像を読取り読み込んだ生画像をそのままで、画像表示部１２に表示する。画像のコード化を行う場合に、端末制御部１５の指示により、読込んだ画像を画像コード化処理部１６へ送る。

画像コード化処理部１６は、画像変換部２５、特徴抽出部２６、及び画像コード生成部２７を備えている（図１（ｂ）参照）。画像コード化処理部１６は、生画像情報から複数の展開画像情報を生成し、画像読取装置で取得した画像から画像特有のコードを生成する。

このようにして、画像コード化処理部１６の画像変換部２５は、画像コード化に対象になった画像の生画像情報を、例えば、生画像情報の白黒、Ｒ、Ｇ、Ｂ、若しくはＣ、Ｍ、Ｙ、Ｋ等の色別の画像を用いてそれぞれパワー空間、形状空間、エッジ空間、類似空間、エントロピー空間、周波数空間などへ写像し、パワー画像、エッジ画像、形状画像、類似度画像、エントロピー画像、周波数画像などを含む展開画像情報を変換する。

通信部１７から送信された制御情報及び画像コードは、中継器２１を経由して、ネットワークに通じて、センターコンピュータ２３に送信される。センターコンピュータ２３では、端末装置３５からの制御情報に基づいて、画像コードに基づいて関連情報の検索を実行し、画像に関連する情報を取得して、端末装置３５に送信する。端末装置３５０からセンターコンピュータ２３に画像コードを送らずに、端末装置３５により画像コード値に基づいて、直接データサーバ２４にアクセスして、画像関連データを取得するように構成することも可能である。

既に説明したように、生画像の各々の色別画像に対して、複数の空間写像に変換することにより、容易に１８種類以上の展開画像情報を得ることができる。また、１つの展開画像から複数の特徴データを抽出することも可能である。仮に生画像情報から１８種類の展開画像情報に変換し、各生画像データから４ビットの特徴データを取り出したとすると、９バイト（６４ビット）の画像コードを生成することが可能となる。例えば、６４ビットの画像コードであれば、約１８４４京以上の数の画像を特定することが可能である。
展開画像の数を増やすと、画像コードで特定できる範囲（容量）が大きくなり、画像コードの精度を高めることができるという利点があるが、自己組織化処理等の計算に時間が掛かり、コード変換処理に時間がかかるという問題を生じる。従って、画像コードを生成するための展開画像の数は、実用的に必要とされる画像コードの大きさと、画像コード変換に必要な計算速度のバランスを考慮して決定すべきである。

表１に示すように、本発明による画像情報のコード変換技術(ＩＴＣ技術と称する)では、従来のＡＲ技術に比べて、画像を特定するデータを大幅に小さくすることができる。従って、画像関連データを高速で検索することが可能となる。また、通信負荷及びデータベース容量を大幅に軽減することが可能となる。

表１に示すように、本発明による画像コードは、従来のＡＲ技術と比較すると、一個画像データの特徴情報を登録するのに必要なデータとして、ＡＲ技術は数Mbytesの必要があるが、本発明の画像コードに必要な容量は、上述のように、９バイト〜数十Bytesだけである。

上述したように、本発明では、生画像から多種類の展開画像に変換し、かつ各展開画像を複数に分割することにより、生画像情報を数十バイトの画像コードに変換することが可能である。
画像コード生成部２７は、予め定式化した複数のメンバーシップ関数を用いて、１８種類以上展開画像の特徴情報を０からｎまでの情報として数値化し、例えば１０進数で１８桁以上の画像コードを直接生成することも可能である。

また、数値化された各々生画像の展開画像の特徴情報を、複数の生画像の特徴ベクトルとして、サーバに登録することにより、「式１２」のような画像の特徴ベクトル空間を構成することもできる。

図１３において、端末装置３５とネットワークとの接続は無線通信だけでなく回線を介して中継器２１と接続しても良い。
また、図１３の例では、画像コード化処理部１６を端末装置３５に配置したが、画像コード化処理部１６を中継器２１またはセンターコンピュータ２３など、端末装置３５の外部に設けることも可能である。ただし、この場合、画像コードに生成されるまでの通信に、画像情報を送信する必要があるため、コード変換までの通信付加が増大する。

さらに、本願発明により、人間の顔などの人体の特徴情報を画像コードに変換して登録することにより、クレジットカードに代わりに、顔等を用いてカードなしで買い物することも可能となる。

さらに、同様に、人間の顔など人体の特徴情報を画像コードに変換して登録することにより、自動改札口や種々の入出力ゲートをノーカードのシステムとして構成をすることが可能となる。

前記画像のコード化の手段を用いて、従来の商品ラベルに対し、そのままでネットに登録することが可能になった、すべての商品のラベルをネットの入り口として、消費者がスマーホやグーグルグラスで、商品のラベルを読取ることにより、商品の産地、商品の買い方、商品の使い方など商品情報や、商品の広告、商品関係者のソーシャルネットワーク情報や、商品のネット販売情報など入手することができる他、商品の真贋判定も可能となる。

５ 商品６ 商品ラベルの画像
１０ モバイル端末装置
１６ 画像コード化処理部
２０ 画像検索システム
２５ 画像変換部
２６ 特徴抽出部
２７ 画像コード生成部
３５ 端末装置
９０、１００ 生画像
９１、１０３ Ｃ，Ｍ，Ｙ，Ｋ 画像
９２、１０１ Ｃ，Ｍ，Ｙ画像
４０１ パワー画像にとってパワーの一番高いところ
４０２ パワー画像の輪郭
５０１ 人間写真の丸い頭部位
５０２ 自己組織の計算結果

Claims (19)

1. 画像情報から、該画像情報に特有の画像コードを生成する画像情報のコード変換装置であって、
   取得した生画像情報を複数の展開画像情報に変換する画像変換部と、
   前記複数の展開画像情報のそれぞれに対して確率尺度を用いた自己組織化処理を施すことにより、前記各展開画像情報からそれぞれ特徴情報を抽出する特徴抽出部と、
   前記特徴抽出部により抽出された複数の前記特徴情報を数値化し、画像コードを生成する画像コード生成部と
   を備えることを特徴とする画像情報のコード変換装置。
2. 前記画像変換部は、前記生画像情報の各画素の階調の分布を、幾何学的または物理学的な要素に基づいて、前記展開画像情報へ変換することを特徴とする請求項１に記載の画像情報のコード変換装置。
3. 前記画像変換部により変換される前記展開画像情報は、前記生画像情報を構成する各画素の階調値をＲＧＢまたはＣＭＹＫの色毎の画素の諧調値に分解した色毎の展開画像情報、前記各画素の階調値を二乗することにより物理学的なパワー値に変換したパワー展開画像情報、隣接する各画素の諧調値が急激に変化する高い諧調値の画素を集めたエッジ展開画像情報、または前記色毎の展開画像情報相互間の対応する画素の階調値の差を求めて該画素の諧調値として類似度を示す展開画像情報の少なくともいずれか１つを含むことを特徴とする請求項２に記載のコード変換装置。
4. 前記特徴抽出部は、
   前記自己組織化処理の確率尺度を、正規分布、多変量正規分布、指数分布、アーラン分布、ワイブル分布、三角分布、ベータ分布の少なくとも一つを含む確率分布からなる確率属性を有するパラメータとし、
   前記自己組織化処理の中心値を、前記確率分布の平均または期待値とすることを特徴とする請求項１乃至３のいずれか１項に記載の画像のコード化処理装置。
5. 前記特徴抽出部は、前記各展開画像情報を複数の領域に分割し、該分割した各領域に対して、前記確率尺度を用いた自己組織化処理を実行することにより、前記分割した領域ごとに前記特徴情報を抽出し、
   前記画像コード生成部は、前記分割した領域の特徴情報を数値化し、該数値化した特徴情報と、他の分割した領域の前記数値化した特徴情報とを比較して、その大小により前記画像コードを生成することを特徴とする請求項１乃至４のいずれか１項に記載の画像コード化処理装置。
6. 前記特徴抽出部は、
   所定の確率分布の数値列p₁,p₂,…p_mの集合G∋p_i(i=1,2,…,m)の中心値をA(G)とし、中心値A(G)の確率尺度をM[G,A(G)]とし、また、第n-1回の自己組織化処理により算出した中心値A(G^(n-1))の半径M[G^(n-1),A(G^(n-1))]以内に存在するk個の確率分布の数値列p⁽ⁿ⁾ ₁,p⁽ⁿ⁾ ₂,…p⁽ⁿ⁾ _kの集合をG⁽ⁿ⁾ ∋p⁽ⁿ⁾ _i(i=1,2,…,k)とすると、
   A⁽ⁿ⁾ = A(G⁽ⁿ⁾)
   M⁽ⁿ⁾ = M[G⁽ⁿ⁾,A(G⁽ⁿ⁾)]
   G⁽ⁿ⁾ = G[A(G^(n-1)), M[G^(n-1),A(G^(n-1))]]
   となるように、自己組織化処理を行うことを特徴とする請求項１乃至５のいずれか１項に記載の画像コード化処理装置。
7. 前記特徴抽出部は、前記各展開画像情報から、自己組織の確率尺度を用いて展開画像の特徴情報をそれぞれ抽出し、
   前記画像コード生成部は、前記各展開画像情報の特徴情報に対し、予め定式化したメンバーシップ関数を用いて、０からｎまでの情報として数値化し、該数値に基づき画像コードを生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像情報のコード変換装置。
8. さらに、前記特徴抽出部により抽出された複数の前記展開画像情報に対応する数値化された複数の特徴情報から、生画像情報の特徴ベクトルを生成して、該特徴ベクトルを該生画像の画像コードとして画像毎に複数登録している特徴ベクトル記憶部を備えており、
   前記画像コード生成部は、生画像情報からコード変換する際に、前記特徴抽出部により抽出した複数の数値化された特徴情報から、コード変換の対象となる生画像の特徴ベクトルを生成し、該生成した特徴ベクトルを前記記憶部に登録されている前記特徴ベクトルと比較して、登録されている前記特徴ベクトルの中でユークリッド距離の一番近い特徴ベクトルを、前記コード変換の対象となる生画像の画像コードとすることを特徴とする請求項１乃至７のいずれか１項に記載の画像情報のコード変換装置。
9. 前記画像コード生成部は、前記特徴ベクトルを登録する際に、撮像条件を変えて同一の画像を複数回撮像して取得した同一の生画像の複数の生画像情報をそれぞれ各展開画像情報に変換して、該複数の展開画像からそれぞれ前記特徴情報を抽出して同一画像に対する複数の特徴ベクトルを生成し、
   前記同一画像の複数の特徴ベクトルに対して、所定の確率尺度に基づいて自己組織化処理を行うことにより、該特徴ベクトルの各特徴情報の中心値と確率尺度を求めて、該複数の特徴情報の中心値及び確率尺度を特徴ベクトルからなる画像コードとして登録し、
   前記画像コード生成部は、コード変換の対象となる生画像から抽出された特徴情報ベクトルの中心値と登録されている特徴ベクトルの中心値を比較して、前記確率尺度の距離が一番近い中心値の特徴ベクトルを前記コード変換の対象となる生画像情報の画像コードとすることを特徴とする請求項８に記載の画像情報のコード変換装置。
10. 画像情報から、該画像情報に特有の画像コードを生成する画像情報のコード変換方法であって、
    取得した生画像情報を複数の展開画像情報に変換する画像変換工程と、
    前記複数の展開画像情報のそれぞれに対して確率尺度を用いた自己組織化処理を施すことにより、前記各展開画像情報から特徴情報を数値化して抽出する特徴抽出工程と、
    前記特徴抽出部により抽出された複数の数値化された前記特徴情報に基づいて、デジタルコードからなる画像コードを生成する画像コード生成工程と、
    を具備することを特徴とする画像情報のコード変換方法。
11. 前記画像変換工程は、前記生画像情報の各画素の階調を、ＲＧＢまたはＣＭＹＫの色毎の画素の諧調値に分解した色毎の展開画像情報への変換、前記各画素の階調値を二乗することにより物理学的なパワー値に変換したパワー展開画像情報への変換、隣接する各画素の諧調値が急激に変化する高い諧調値の画素を集めたエッジ展開画像情報への変換、または前記色毎の展開画像情報相互間の対応する画素の階調値の差を求めて該画素の諧調値とした類似度を示す展開画像情報への変換のいずれかを含むことを特徴とする請求項１０に記載の画像情報のコード変換方法。
12. 前記特徴抽出工程は、前記自己組織の確率尺度を、正規分布、多変量正規分布、指数分布、アーラン分布、ワイブル分布、三角分布、ベータ分布の少なくとも一つを含む確率分布からなる確率属性を有するパラメータとし、前記自己組織の中心値を、前記確率分布の平均または期待値とすることを特徴とする請求項１０または１１に記載の画像情報のコード変換方法。
13. 前記特徴抽出工程は、前記各展開画像情報を複数の領域に分割し、該分割した各領域に対して、前記確率尺度を用いた自己組織化処理を実行することにより、前記分割した領域ごとに特徴情報を抽出し、
    前記画像コード生成工程は、前記分割した領域のひとつを基準領域として、該基準領域の特徴情報を数値化し、該数値化した特徴情報と、他の分割した領域の前記数値化した特徴情報を比較することにより、前記画像コードを生成することを特徴とする請求項１０乃至１２のいずれか１項に記載の画像情報のコード変換方法。
14. 前記特徴抽出工程は、前記各展開画像情報から、自己組織の確率尺度を用いて展開画像の特徴情報をそれぞれ抽出し、
    前記画像コード生成工程は、すべての展開画像の特徴情報に対し、予め定式化した複数のメンバーシップ関数を用いて、０からｎまでの情報として数値化し、画像コードを直接に生成することを特徴とする請求項１０乃至１３のいずれか１項に記載の画像情報のコード変換方法。
15. さらに、所定の画像について、前記特徴抽出工程により抽出された複数の前記展開画像情報から抽出された特徴情報を数値化し、該数値化された複数の特徴情報から、前記所定の画像毎の特徴ベクトルを生成して、該特徴ベクトルを該所定の画像の画像コードとして、特徴ベクトル登録部に予め登録する工程を備えており、
    前記コード生成工程において、
    前記特徴抽出工程により抽出した複数の特徴情報を数値化し、該数値化された特徴情報から、コード変換の対象となる生画像の特徴ベクトルを生成し、該生成した特徴ベクトルを前記記憶部に登録されている前記特徴ベクトルと比較し、
    登録されている前記特徴ベクトルの中でユークリッド距離の一番近い特徴ベクトルを、前記コード変換の対象となる生画像の画像コードと判定することを特徴とする請求項１０乃至１４のいずれか１項に記載の画像情報のコード変換方法。
16. 前記特徴ベクトルを登録する工程は、
    撮像条件を変えて同一の画像を複数回撮像して取得した同一の生画像の複数の生画像情報をそれぞれ各展開画像情報に変換して、該複数の展開画像からそれぞれ前記特徴情報を抽出して同一画像に対する複数の特徴ベクトルを生成する工程と、
    前記同一画像の複数の特徴ベクトルに対して、所定の確率尺度に基づいて自己組織化処理を行うことにより、該特徴ベクトルの各特徴情報の中心値と確率尺度を求めて、該複数の特徴情報の中心値及び確率尺度を特徴ベクトルからなる画像コードとして登録する工程を備え、
    前記画像コード生成工程は、コード変換の対象となる生画像から抽出された特徴情報ベクトルの中心値と登録されている特徴ベクトルの中心値を比較して、前記確率尺度の距離が一番近い中心値の特徴ベクトルを前記コード変換の対象となる生画像情報の画像コードと判定する工程と
    を備えることを特徴とする請求項１５に記載の画像情報のコード変換方法。
17. ネットワークに接続可能なデータ端末装置と、画像に関連する関連情報を複数記憶しているサーバとを含む画像コードを用いた画像関連情報提供システムであって、
    前記端末装置は、請求項１乃至９のいずれか１項に記載の画像情報のコード変換装置、画像読取部、画像表示部、データ記憶部、通信部、データ入出部及び各部を制御する端末制御部を備え、
    前記サーバには、前記画像情報の変換装置により変換された画像コードに関連づけられて、複数の画像に関する関連情報が記憶されており、
    前記サーバは、前記端末装置から要求に応じて、前記画像コードに対応する関連情報を要求のあった前記端末装置に送信することを特徴とする画像コードを用いた画像関連情報提供システム。
18. コンピュータに、
    取得した生画像情報を複数の展開画像情報に変換する画像変換ステップと、
    複数の前記展開画像情報のそれぞれに対して確率尺度を用いた自己組織化処理を施すことにより、前記各展開画像情報から特徴情報を抽出する特徴抽出ステップと、
    前記特徴抽出ステップにより抽出した特徴情報を数値化し、複数の該数値化された特徴情報に基づいて、デジタルコードからなる画像コードを生成する画像コード生成ステップと、
    を実行させることにより、画像情報を固有の画像コードに変換することを特徴とする画像情報のコード変換プログラム。
19. 請求項１８に記載の画像情報のコード変換プログラムを記録したことを特徴とする記録媒体。

Images