JP2014191700A - 関連情報提供システムおよびその動作制御方法 - Google Patents

Abstract

【課題】Ｍ色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離の大きな画素を含む物体画像73のリンクを他の物体画像71，72，74よりも優先して付与する。特別な場合として、M色がR,G,B色の場合、彩度の高い物体画像が優先される。
【解決手段】ウェブ・ページ60の対象画像62には物体画像71−74が含まれている。これらの物体画像71−74のＭ色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離が検出される。検出された距離の高い順に，物体画像71−74のリンク情報が検出される。検出されたリンク情報が物体画像71−74のうち対応する物体画像に付けられる。リンクがつけられた物体画像を含むウェブ・ページ60を表わすウェブ・ページ・データが画像認識サーバ３からスマートフォン１に送信される。
【選択図】図８

Description

この発明は，関連情報提供システムおよびその動作制御方法に関する。

画像情報の認識を行うシステムは、デジタルカメラの顔認識機能、監視カメラの顔認識機能等を中心に幅広く活躍している。

画像内の物体を認識するアルゴリズムは、基本的に計算負荷が非常に大きく、従来の技術では十分な検出速度で検知しサービスを提供することが困難であった。さまざまな物体を認識するためには、多くのデータベースとのマッチングや計算が必要となるが、例えば、スマートフォンのような端末では軽短薄小が望まれ、処理能力の高いプロセッサーや非常に大きな容量を有するメモリーを搭載することが難しく、そのようなマッチングや計算を端末内で行うことが困難である。

一方で、インターネットは普及を続けており、その通信システムは進化し続けてきている。近年では、WiFiが広がりIP接続される電子機器が増加している。そのような電子機器はサーバーとのやりとりが容易となるため、比較的付加の高いアルゴリズムでも処理が可能となり、グレー画像に変換することなく色情報から物体を認識することも試みられている。

カラー画像から色変換を用いて物体を認識する技術として知られているものは、特許文献１がありここでは入力したカラー画像データの色を表す３次元色空間を、前記３次元色空間と異なる他の３次元色空間に変換、よく知られたLabやLuvに変換して認識装置へ入力することが開示されている。LabやLuv空間は人間の目に合わせたRGB撮像による色情報を得るには好ましい手段の一つではあるが、物体を認識する上で最も好ましい変換であるかは不明である。

また、特許文献２では、入力されたカラー画像に統計的手法を施して色モデル空間を生成し、このモデル空間上のモデル画像にカラー画像を色変換する手法が開示されている。ここでの色モデルは、複数のカラー画像データに関して、3×画素数のデータに関して、主成分分析を行い、分散共分散行列を対角化して固有値、固有ベクトルを求める。これは入力されたカラー画像に対して、どのような色変換を行うかの手法であり、画像内の3×画素数のデータに関する固有値、固有ベクトルの計算は、時に非効率な計算となり、上記のような非常に高速な処理を有する用途に関して必ずしも適切な方法とは言えない。

また、特許文献３では、あらかじめ学習機能を用いて色データ付きの対象物体画像データを作成しておき、共通色を認識してその色から相対色を規定して物体を認識する方法が開示されているが、あらかじめ認識する物体種が特定できていないと、任意の物体の持つ色は無限に近いほどあり、その物体それぞれでマッチングすることは非常に非効率である。

以上のような従来技術では加えて、情報取得者が欲する物体認識を想定して優先的に画像認識を行い、そのような物体画像について，他の物体画像よりも先にリンクを付加して表示する等についても触れられていない。

特開2003-337946号公報 特開2001-338290号公報 特開2009-25867号公報

本発明は、このような状況に鑑みてなされたものであり、リアルタイムの画像やネット上で膨大にアクセスされる数多くの画像ファイル、テレビで表示される画像等の物体認識を情報取得者の興味の高いものをできるだけ速く行うことを可能とし、情報取得者に画像情報内にない情報または画像情報内にない情報にアクセスするための手段を効率よく、かつ、快適に提供可能とするものである。

特に、関連情報が早く欲しいと思われる物体画像について，他の物体画像よりも先に関連情報を付加することを目的とする。その理由は、画像内に含まれている複数の物体画像のそれぞれの物体画像にリンクなどが張られている場合，ユーザはすべての物体画像についてリンク先の情報が欲しいわけではなく，興味のある物体画像についてのリンク先の情報が欲しいことが一般的である。リンク先の情報が欲しいような物体画像については，他の物体画像よりも先にリンクを付加して表示することが好ましい。しかしながら，引用文献１から３のいずれにおいてもリンク先の情報が欲しいと思われる物体画像について，他の物体画像よりも先にリンクを付加して表示することは考えられていない。

この発明による関連情報提供装置は，関連情報が付加されるカラー対象画像であって，Ｎ（Ｎは２以上の整数，好ましくは３以上の整数）色の色データによって表わされるカラー対象画像に含まれる少なくとも一つ（二つ以上）の物体画像を検出する物体画像検出手段，物体画像検出手段によって検出された少なくとも一つの物体画像について，クライアント端末から特定の物体認識要求が無い場合には，Ｎ色の数以下のＭ色（２色以上）の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を見つける関連情報検索手段，関連情報検出手段により見つけられた関連情報を，対応する物体画像に付加する関連情報付加手段，関連情報付加手段によって関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するカラー対象画像データ送信手段，ならびに関連情報検索手段，関連情報付加手段およびカラー対象画像データ送信手段によるそれぞれの処理を繰り返すように，関連情報検索手段，関連情報付加手段およびカラー対象画像データ送信手段を制御する第１の制御手段を備えていることを特徴とする。

この発明は，物体画像の関連情報提供システムに適した動作制御方法も提供している。すなわち，この方法は，物体画像検出手段が，関連情報が付加されるカラー対象画像であって，Ｎ（Ｎは２以上の整数）色の色データによって表わされるカラー対象画像に含まれる少なくとも一つの物体画像を検出し，関連情報検索手段が，クライアント端末から特定の物体認識要求が無い場合には，物体画像検出手段によって検出された少なくとも一つの物体画像について，Ｎ色の数以下のＭ色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を見つけ，関連情報付加手段が，関連情報検出手段により見つけられた関連情報を，対応する物体画像に付加し，カラー対象画像データ送信手段が，関連情報付加手段によって関連情報が付加された物体画像を含むカラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信し，第１の制御手段が，関連情報検索手段，関連情報付加手段およびカラー対象画像データ送信手段によるそれぞれの処理を繰り返すように，関連情報検索手段，関連情報付加手段およびカラー対象画像データ送信手段を制御することを特徴とする。

この発明によると，カラー対象画像に含まれる少なくとも一つの物体画像が検出される。二つ以上物体画像がある場合は、結果的にｄ１の大きな物体画像についての関連情報が最初に見つけられる。距離ｄ１は、以下のような非常に重要な意味を持っている。物体の光学特性は、自発光型の物質で構成されていない限り、ある照明光の下で反射してきた光が、撮像素子内に信号として入る。この照明の加減により、同じ物体でできていても変化する。世の中で既によく知られた例であれば、RGB撮像時の輝度であり、照明が明るく照らされた部分では輝度が強くなる。すなわち、同じ光学特性を持っている物体部分であっても、物体の形や照明の照らされ方により変化する。この補正は１軸方向、多くても２軸方向で行えることが多い。

なお、上記d1に関して偽色に注意する必要がある。通常の撮像素子は、ベイヤー配列でカラー撮像が取得されることが多い。この場合、デモザイク処理により画素データが補間されるが、この処理が未熟だと本来の色ではない偽色が発生してしまうことがある。このような偽色は、特にエッジ部などについて適切な処理を行えば発生抑制可能であり、かつ、画素データを解析すれば偽色と本来の色と違うことが、ほとんどの場合検知可能である。そのため、本発明における、上記距離ｄ₁の値が最も大きな画素を持つ物体画像の判定を行う際は、このような偽色を含まず考える。

照明の効果と照明光の推定技術は、特許文献３の表現を用いると下記のように説明される。すなわち、物体表面から我々の眼に入る色Ｌ（λ）は、以下の式に示すように、物体の色ρ（λ）と照明光の色Ｅ（λ）の積で表される。
Ｌ（λ）＝Ｅ（λ）×ρ（λ）
上記の式をＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）信号に分けて書くと，ＬＲ＝ＥＲ×ρＲ，ＬＧ＝ＥＧ×ρＧ，ＬＢ＝ＥＢ×ρＢであり、我々は、反射光（即ち、Ｌ_R，Ｌ_G，Ｌ_B）を検知している。ここから、照明光の色Ｅ_R，Ｅ_G，Ｅ_Bを推定する（照明光推定技術）。

照明光推定技術として、従来の手法としては、例えば、物体の鏡面反射（ハイライト）を用いる方法、白色仮説や灰色仮説を用いる方法等が知られている。

鏡面反射を用いる方法は、照明が鏡面で反射することから、鏡面反射領域の色を照明光の色として推定する。また、白色仮説は、画像中で最も明るい色を白色であると仮定し、明るい領域の色を照明光の色として推定する。また、灰色仮説は、画像中にある複数の物体の色を平均すると灰色になると仮定し、画像全体の色を照明光の色として推定する。

基底関数を用いる方法は、様々な照明光の分光特性および様々な物体の表面反射率を調査し、主成分分析を行うことにより、照明光の分光特性を近似するための基底関数、物体の表面反射率を近似するための基底関数を求め、これら基底関数の係数を照明光として推定する。

本発明においては、Ｎ（Ｎは３以上の整数）色の色データによって表わされるカラー対象画像に含まれる照明の効果が、特に計算される傾きが１の基準直線を含む平面状に分布する。そのため、照明の効果を取り除く計算が後述するように簡易化される。そのため本発明においては、直線が画像における照明の効果を変化させる軸であることは非常に好ましい。照明の分光スペクトルが白色に近ければ近いほど、N=３でRGB信号である場合の輝度に相当した効果と同等である。本発明では、照明の分光スペクトルの強度の変化を軸にとれることがより好ましく、さらには照明の強度による分光スペクトルの違いもNを３以上に設定することにより簡易に取り除くことが最も好ましい。

本発明においては、N=3でRGB撮像の例が典型例であるため、上記Mが３であり、直線が輝度を変化させる軸であることは非常に好ましい。

本発明における距離ｄ１は、物体の光学特性を特異的に取り出すという特徴を持つと同時に、この輝度等の効果を非常に効率的に取り除くためのパラメーターとしても用いることができる。基準直線を含み、かつ、ある物体１点の信号値を含む平面の係数は、M-1個の差分の積で計算できてしまうため、アルゴリズム計算としても非常に効率的な計算が可能となる。

なお、Ｎ（Ｎは３以上の整数）色の色データによって表わされるカラー対象画像から、Ｎ色の数以下のＭ色を得る場合に、数値変換を行うときは線形変換で得るのが、簡便で非常に好ましい。

本発明の効果は、本発明における一つの例であるN種の信号を変換して３種の信号を得て、この３種の信号が（R,G,B）に相当する場合が最もわかりやすい。この場合前記ｄ１は彩度に相当するものであり、彩度の大きな物体を最初に抽出し、効率的に輝度の効果等を取り除くことができる。なお、本発明の下記及び実施例には、M=３でRGB信号の場合をメインに記載されるが、それが理解するのに分かりやすいため、かつ、好ましい例の一つであり、本発明はそれに限定されるものではない。

本発明は、上記Ｎ色の色データによって表わされるカラー対象画像について，Ｎ色以下のＭ色を利用して関連情報を付加する物体画像を検出しているが，たとえば，Ｍ色は，ＲＧＢの三色である。そのようなより好ましい例の場合クライアント端末装置の表示画面には，彩度の高い物体画像について関連情報が付加されていることとなる。彩度の高い物体画像は，ユーザの目を引きやすいので，ユーザはそのような物体画像についての関連情報が欲しいと思うことが多い。そのような彩度の高い物体情報に最初に関連情報が付加されるので，ユーザの意思に沿って関連情報を物体情報に付加できる。

関連情報検索手段は，たとえば，M色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１が大きい画素をもつ順に物体画像についての関連情報を見つけるものである。また，カラー対象画増データ送信手段は，たとえば，あらかじめ設定された時間が経過したことにより，関連情報付加手段によって関連情報が付加された物体画像を含むカラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するものである。

第一の制御手段に従い、カラー対象画像データを送信するごとに、それまでに関連情報が付加されていなかった物体画像の中で，上記距離ｄ₁の値が最も大きな画素を持つ物体画像が，新たに関連情報が付加されるものもよい。

加えて、本発明においては、M色が少なくともＲ色，Ｇ色およびＢ色を含む場合には，そのRGB色に関しては混色を抑えたほうが好ましいことが多く、カラー対象画像に含まれる色成分の割合が，Ｒ成分が80％以上，Ｇ成分が80%以上，かつＢ成分が80%以上であることが好ましい。

物体画像検出手段によって検出された複数の物体画像のうち，M色がＲ色，Ｇ色およびＢ色を含む３色の場合には，関連情報検出手段は，彩度の大きい物体画像の順に関連情報を検出するものとなろう。

関連情報付加手段は，たとえば，カラー対象画像データ送信手段によってカラー対象画像データがクライアント端末装置に送信されたことに応じて，クライアント端末装置に設けられている表示画面に表示されるカラー対象画像に含まれる複数の物体画像のうち所望の物体画像が指定されたことにより，指定された物体画像の関連情報が上記表示画面に表示されるように物体画像に関連情報を付加するものであり，かつ一の物体画像が他の物体画像と重なっている部分が指定されることに応じて一つの物体画像と他の物体画像とのうち距離ｄ₁の大きな物体画像の関連情報が表示画面に表示されるように物体画像の関連情報を付加するものである。

関連情報付加手段は，たとえば，カラー対象画像データ送信手段によってカラー対象画像データがクライアント端末装置に送信されたことに応じて，クライアント端末装置に設けられている表示画面に表示されるカラー対象画像に含まれる複数の物体画像のうち所望の物体画像が指定されたことにより，指定された物体画像の関連情報が表示画面に表示されるように物体画像に関連情報を付加するものであり，かつ一つの物体画像が他の物体画像と重なっている部分が指定されることに応じて一つの物体画像と他の物体画像とのうち彩度の大きな物体画像の関連情報が表示画面に表示されるように物体画像の関連情報を付加するものである。

カラー対象画像を構成する画素のすべてについて，上記Ｍ色のM種信号レベルをS₁,S₂,…S_Mとし，ｔ１を，ｔ１＝ΣSi／Mとしたときに，α1=Σ[(t1-Si)・(t1-Si)]を算出するM種レベル算出手段をさらに備えてもよい。この場合，関連情報検出手段は，α1が最大である画素を含んでいる物体画像についての関連情報を見つけるものとなろう。

カラー対象画像を構成する画素のすべてについて，Ｒを赤色信号のレベル，Ｇを緑色信号のレベル，Ｂを青色信号のレベル，ｔ２をｔ2＝（Ｒ＋Ｇ＋Ｂ）／３としたときに，
α２＝Σ[(t2-R)・(t2-R)]＋Σ[(t2-G)・(t2-G)]＋Σ[(t2-B)・(t2-B)]を算出するＲＧＢレベル算出手段をさらに備えてもよい。この場合，関連情報検出手段は，α２が最大である画素が含んでいる物体画像を見つける。

関連情報検索手段は，たとえば，M種レベル算出手段またはＲＧＢレベル算出手段によって算出された値が所定範囲内にある物体画像についての関連情報を最初に見つけるものである。

所定範囲は，カラー対象画像の撮影シーンに応じて規定されていることが好ましい。

カラー対象画像を構成する画像の最大濃度がSMAXとされた場合，撮影シーンが街中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，14×SMAX以上であり43×SMAX以下のＤ２，撮影シーンが海または駅中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，60×SMAX以上であり90×SMAX以下のＤ２，撮影シーンがショッピング・モールである場合には，３×SMAX以上であり10×SMAX以下のＤ１，16×SMAX以上であり47×SMAX以下のＤ２により規定されるＤ１からＤ２までの範囲が所定範囲であるとよい。この規定は、上記α２に対して規定されたもので、α１に対しては、Mで割って３倍した数字を対応させるものとする。

物体画像の種類に応じて，所定範囲が規定されていてもよい。

カラー対象画像を構成する画素の最大濃度がSMAXとされた場合，物体画像が自動車である場合には，SMAX以上であり10×SMAX以下のＤ１，75×SMAX以上であり125×SMAX以下のＤ２，物体画像が美術建築物である場合には，0.5×SMAX以上であり42×SMAX以下のＤ１，0.5×SMAX以上であり42×SMAX以下のＤ２（但し，Ｄ１はＤ２以下），物体画像がショッピング・モールである場合には，0.5×SMAX以上であり５×SMAX以下のＤ１，５×SMAX以上であり47×SMAX以下のＤ２，物体画像が動物である場合には，0.5×SMAX以上であり10×SMAX以下のＤ１，20×SMAX以上であり125×SMAX以下のＤ２により規定されるＤ１からＤ２までの範囲が所定範囲であることが好ましい。これも同様に、上記α２に対して規定されたもので、α１に対しては、Mで割って３倍した数字を対応させるものとする。

カラー対象画像データ送信手段は，たとえば，M種レベル算出手段またはＲＧＢレベル算出手段によって算出された値が所定範囲内にある物体画像を認識し，かつあらかじめ設定された時間が経過したことにより，最初の関連情報が付加された物体画像を含むカラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するものである。

カラー対象画像の色の割合または彩度を変更する変更手段，ならびに変更手段によって彩度が変更させられたカラー対象画像について，物体画像検出手段，関連情報検索手段，関連情報付加手段，カラー対象画像データ送信手段，および第１の制御手段の処理を行わせる第２の制御手段をさらに備えてもよい。

変更手段は，ｔ3を実数とした場合，(１＋t3)(S1,S2,・・・SM)−t3×ΣSi（1,1,1,・・・１）／Ｍにもとづいて変更するものであることが好ましい。

定数ｋを，変更手段によって算出される値または所定範囲の下限の値とし，かつSMAXを，カラー対象画像を構成する画素の最大濃度とした場合，ｔ３は，0.25×SMAX×√(3/k)以上であり，２×SMAX√(3/k)を満たすことが好ましい。

物体画像検出手段は，カラー対象画像の輪郭画像を抽出する輪郭画像抽出手段，輪郭画像抽出手段によって抽出された輪郭画像がどのような物体画像を表わすか検出する物体画像検出手段，カラー対象画像の中から所定範囲内の距離d1または彩度または最も高い距離d1または彩度をもつ画素を抽出する画素抽出手段，画素抽出手段によって抽出された画素とS1＝S2＝・・・SMで規定される直線とを含む平面を決定する平面決定手段，輪郭画像抽出手段によって抽出された輪郭画像内に含まれ，かつ隣接する画素ｉ，ｊについて（Si1-Sj1，Si2-Sj2，・・・SiM−SjM）の規格化ベクトルと，上記平面の法線ベクトルまたは(1,1,・・・１)／√Ｍと，の内積の和を算出する内積和算出手段，内積和算出手段によって算出された和を，輪郭画像抽出手段によって抽出された輪郭画像の画素数で除算した値を算出する除算手段，および除算手段により算出された値が小さい輪郭画像について上記物体画像検出手段によって検出された物体画像を確定する確定手段を備えていることが好ましい。

関連情報検索手段は，たとえば，物体画像検出手段によって検出された複数の物体画像を，複数のグループに分けるグループ分割手段，グループ分割手段によって分割された複数のグループのそれぞれにおいて代表距離d1または代表彩度を決定する代表距離d1または代表彩度決定手段を備え，代表距離d1または代表彩度決定手段によって決定された代表距離d1または代表彩度の高いグループに含まれる物体画像の順に関連情報を見つけるものである。

以下は、カラー対象画像が４色以上（Nが４以上）によって表わされる場合の好ましい記載である。

４色には，赤，緑および青が含まれていることが好ましい。

４色のスペクトルに関して少なくとも二つのスペクトルの重なりが80％以上であるとよい。

４色のうち少なくとも二つのスペクトルについて，一方のスペクトルが他方のスペクトルに含まれるものでもよい。

少なくとも二つのスペクトルのうち一つが緑色であることが好ましい。

関連情報検索手段は，たとえば，４色の差信号の値にもとづいて決められる関連情報を最初に見つけるものである。

４色の差信号の算出と物体画像検出手段における複数の物体画像の検出とが並行して行われるものでもよい。

上記カラー対象画像を表わすデータにＩR信号が含まれていてもよい。

カラー対象画像を表わすデータに紫外線信号が含まれていてもよい。

クライアント端末装置は，表示画面に表示された関連情報のうち，アクセス指示が与えられた関連情報についての詳細情報リクエストを詳細情報サーバに送信するリクエスト送信手段を備えてもよい。

関連情報提供システムの概要である。 画像認識サーバの電気的構成を示すブロック図である。 スマートフォンの処理手順を示すフローチャートである。 ウェブ・サーバの処理手順を示すフローチャートである。 画像認識サーバの処理手順を示すフローチャートである。 画像認識サーバの処理手順を示すフローチャートである。 ウェブ・ページの一例である。 ウェブ・ページの一例である。 ウェブ・ページの一例である。 ウェブ・ページの一例である。 物体画像認識処理手順を示すフローチャートである。 輪郭画像の一例である。 所定の範囲内の彩度をもつ画素を示している。 ＲＧＢ座標系を示している。 ＲＧＢ座標系を示している。 ＲＧＢ座標系を示している。 最大彩度の画素を示している。 物体画像認識処理手順を示すフローチャートである。 物体画像認識処理手順を示すフローチャートである。 物体画像認識処理手順を示すフローチャートである。 フィルタの特性を示している。 フィルタの特性を示している。

図１は，この発明の実施例を示すもので，関連情報提供システムの概要を示している。

関連情報提供システムには，スマートフォン（スマートフォンに限らず，携帯電話，パーソナル・コンピュータ，タブレット，テレビジョン装置，カー・ナビゲーション・システム，電子ペーパー装置などでもよい。クライアント端末装置）１，ウェブ・サーバ２および画像認識サーバ３が含まれている。

スマートフォン１，ウェブ・サーバ２および画像認識サーバ３は，インターネットなどのようなネットワークを介して互いに通信可能である。

図２は，画像認識サーバ３の電気的構成を示すブロック図である。

画像認識サーバ３の全体の動作は，ＣＰＵ５によって統括される。

画像認識サーバ３には，上述のようにネットワークを介してスマートフォン１またはウェブ・サーバ２と通信するための通信装置４が含まれている。ＣＰＵ５には，データ等を一時的に記憶するメモリ８が接続されている。また，画像認識サーバ３には，ハードディスク・ドライブ６によってアクセス可能なハードディスク７が含まれている。プログラムは，ネットワークを介して画像認識サーバ３に送信されることが多いが、任意の方法でよい。CD-ROM10のような記録媒体に格納されているプログラムをCD-ROMドライブ９によって読み取り，画像認識サーバ３にインストールされるようにしてもよい。

図３から図６は，関連情報提供システムの処理手順を示すフローチャートである。図３はスマートフォン１の処理手順を示すフローチャート，図４はウェブ・サーバ２の処理手順を示すフローチャート，図５および図６は画像認識サーバ３の処理手順を示すフローチャートである。

この処理手順は，スマートフォン１の表示画面上に画像を含むウェブ・ページを表示するものである。その画像に，物体を表す画像（物体画像）が含まれている場合に，その物体画像にリンク（関連情報）が張られる。スマートフォン１のユーザが詳細な情報が得たいと考えられる物体画像の順にリンク付けされる。

まず，スマートフォン１のユーザによって，ウェブ・ブラウザが立ち上げられ，所望のウェブ・ページがウェブ・サーバ２に要求される（図３ステップ21）。

スマートフォン１からのウェブ・ページの要求があったことがウェブ・サーバ２において検出されると（図４ステップ31），要求されたウェブ・ページを表すデータ（HTML(ハイパー・テキスト・マークアップ・ランゲージ)ファイル）がウェブ・サーバ２のメモリが読み出される。読み出されたデータによって表されるウェブ・ページに画像が含まれているかどうかが確認される（図４ステップ32）。

要求されたウェブ・ページに画像が含まれていなければ（図４ステップ32でＮＯ），読み出されたウェブ・ページ・データがウェブ・サーバ２からスマートフォン１に送信される（図４ステップ33）。要求されたウェブ・ページに画像が含まれていると（図４ステップ32でＹＥＳ），読み出されたウェブ・ページ・データは，ウェブ・サーバ２から画像認識サーバ３に送信される（図４ステップ34）。

ウェブ・サーバ２から送信されたウェブ・ページ・データが画像認識サーバ３において受信されると（図５ステップ41でＹＥＳ），物体画像認識処理が行われる（図５ステップ42）。物体画像認識処理は，ウェブ・ページに含まれる画像中の物体画像を認識するとともにリンク付けする順番を決定するものである。この処理について詳しくは後述する。

図７は，要求されたウェブ・ページ60の一例である。

ウェブ・ページ60には，文章61のほかに画像62が含まれている。この画像62には，飛行機の物体画像71，人物の物体画像72，自動車の物体画像73およびビルの物体画像74が含まれている。

後述するように，ウェブ・ページ・データが画像認識サーバ３からスマートフォン１に送信されると，図７に示すようなウェブ・ページ60がスマートフォン１の表示画面に表示される。スマートフォン１のユーザは，表示画面に表示されている物体画像71から74のうち，詳細情報が欲しい物体画像上をタップすると，その物体画像のリンク付けが優先される。タップされた物体画像を特定するデータはリンクの優先要求として，スマートフォン１から画像認識サーバ３に送信されることとなる。

図５に戻って，スマートフォン１から画像認識サーバ３にリンクの優先要求があると（ステップ43でＹＥＳ），その優先要求のあった物体画像に対応するリンク情報が検出される（ステップ45）。スマートフォン１のユーザによってタップされた物体画像がどのような画像であるかは物体画像認識処理で認識されており，その認識された物体画像に対応するリンク情報が検出される。リンク情報の検出は，検索エンジンなどを利用してもよいし，画像認識サーバ３にあらかじめ物体画像に対応して格納されているリンク情報の中から見つけ出してもよい。

スマートフォン１から画像認識サーバ３にリンクの優先要求が無ければ（図５ステップ43でＮＯ），認識された物体画像のうち，リンク情報が検出されていない物体画像であって，彩度の高い物体画像のリンク情報が検出される（図５ステップ44）。ウェブ・ページに含まれる画像中の物体画像のうち，どの物体画像の彩度が高いかどうかも物体画像認識処理において検出される。

検出されたリンク情報が物体画像に付加されて（図６ステップ46），リンク情報が付加された物体画像を含むウェブ・ページ・データが画像認識サーバ３からスマートフォン１に送信される（図６ステップ47）。

画像認識サーバ３から送信されたウェブ・ページ・データがスマートフォン１において受信されると（図３ステップ22でＹＥＳ），受信したウェブ・ページ・データによって表されるウェブ・ページ60がスマートフォン１の表示画面に表示される（図３ステップ23）。

図８は，スマートフォン１の表示画面に表示されるウェブ・ページ60の一例である。

この図において，図６に示すものと同一物については同一符号を付して説明を省略する。画像62に含まれる物体画像71から74のうち，自動車の物体画像73の彩度が高かったものとする。したがって，自動車の物体画像73に最初にリンクが付けられている。

彩度が高い物体画像73は，ユーザの目につきやすいのでユーザは物体画像73について何らかの情報が欲しいと思い，その物体画像73をタップする（図３ステップ24でＹＥＳ）。すると，その物体画像73に付けられているリンク先のサーバにデータが要求される（図３ステップ25）。要求に応じてサーバからデータが送信され，そのデータがスマートフォン１において受信されると（図３ステップ26），受信したデータによって表される物体画像73についての詳細情報がスマートフォン１の表示画面に表示される（図３ステップ27）。

図９は，スマートフォン１の表示画面に表示される詳細情報の一例である。

詳細情報画像80には自動車の物体画像73に対応する物体画像81が含まれている。この物体画像81の下には，物体画像81によって表される自動車の製造会社名等の情報82が表示されている。このように，タップされた物体画像73についての詳細情報が得られる。

図３に戻って，リンクが張られている物体画像（例えば，図８において自動車の物体画像73）がタップされずに（図３ステップ24でＹＥＳ），リンクが張られていない物体画像（例えば，図８において飛行機，人物またはビルの物体画像71，72または74）がタップされると（ステップ28でＹＥＳ），そのタップされた物体画像が何かが検出され，その検出された物体画像のリンクの優先要求が行われる（図３ステップ29）。

画像認識サーバ３において，スマートフォン１からのリンクの優先要求があると（図５ステップ43でＮＯ），上述のように優先要求あった物体画像のリンク情報が検出される（図５ステップ45）。検出されたリンク情報が優先要求のあった物体画像に付加され，リンク情報が付加された物体画像を含むウェブ・ページ・データが画像認識サーバ３からスマートフォン１に送信される（図６ステップ47）。

ウェブ・ページ・データが受信されると，リンクが張られていなかった物体画像にリンクが張られるようになる。スマートフォン１の表示画面に表示されている物体画像がタップされることにより，物体画像のリンク先のデータが要求され，上述したのと同様にリンク先のデータが得られる。たとえば，図８に示すように自動車の物体画像73のみにリンクが張られている状態で飛行機の物体画像71がタップされると，上述のようにして飛行機の物体画像71について優先的にリンクが張られるようになる。飛行機の物体画像71にリンクが張られ，その物体画像71がタップされると，図９に示した自動車の詳細情報と同様に，リンク先の飛行機の詳細情報が得られるようになる。

図10は，ウェブ・ページ60Ａの一例である。

図10において，図７等に示すものと同一物については同一符号を付して説明を省略する。

物体画像71の一部と物体画像75の一部とが重なっている。物体画像71と75のそれぞれにリンクが張られている場合において，その重なっている部分がスマートフォンのユーザによってタップされると，スマートフォン１は，物体画像71または75のうち，彩度の高い方の物体画像に付けられているリンク先にアクセスする。

スマートフォン１には，物体画像71と75との両方にリンク付けが行われているかどうかが判断され，両方にリンク付けが行われている場合には，物体画像71と75とのどちらの彩度が大きいかどうかが判断され，大きい彩度をもつ物体画像に張られているリンク先にアクセスするようにウェブ・ページ・データ60Ａが規定されることとなろう。

上述した実施例では，物体画像73などにリンクが付けられているが，リンクが付けられずに，物体画像がタップ等されることにより，そのタップされた物体画像についての関連情報を表示するポップアップ・ウインドウが現れるようにしてもよい。

また，上述した物体画像71から74のように複数の物体画像が対象画像62に含まれている場合に，物体画像の彩度の高い順にリンク検出してリンクがつけられるごとにウェブ・ページ・データを画像認識サーバ３からスマートフォン１に送信してもよいが，複数の物体画像をグループに分けて，グループごとにリンクをつけてウェブ・ページ・データを画像認識サーバ３からスマートフォン１に送信するようにしてもよい。

たとえば，図７に示す対象画像62に含まれる物体画像71から74を，飛行機の物体画像71と人物の物体画像72とを含む第１のグループＧ１と，自動車の物体画像73とビルの物体画像74とを含む第２のグループＧ２とに分け，それぞれのグループに属する物体画像の彩度の最も高い彩度をそのグループの代表彩度とし，代表彩度をグループごとに比較し，代表彩度の大きいグループ順にリンク付けをするようにしてもよい。

たとえば，図７に示す物体画像71の彩度をＳ71，物体画像72の彩度をＳ72，物体画像73の彩度をＳ73および物体画像74の彩度をＳ74とする。物体画像71の彩度Ｓ71の方が物体画像72の彩度Ｓ72よりも大きく，物体画像73の彩度Ｓ73の方が物体画像74の彩度Ｓ74よりも大きいとする。第１のグループＧ１の代表彩度はＳ71であり，第２のグループＧ２の代表彩度はＳ73となる。第２のグループＧ２の代表彩度Ｓ73の方が第１のグループＧ１の代表彩度Ｓ71より大きい場合には，第２のグループＧ２に含まれる物体画像73および74のリンク付けが，第１のグループＧ１に含まれる物体画像71および72のリンク付けよりも優先される。グループの代表彩度以外の彩度はリンク付けの順番に影響を与えない。たとえば，第２のグループＧ２の代表彩度Ｓ73の方が第１のグループＧ１の代表彩度Ｓ71より大きければ，第２のグループＧ２に属する物体画像74の彩度Ｓ74のよりも第１のグループＧ１に属する物体画像72の方が大きくとも，第２グループＧ２に属する物体画像73および73のリンク付けの方が，第１グループＧ１に属する物体画像71および72のリンク付けよりも優先されることとなる。

図11は，物体画像認識処理手順（図５ステップ42の処理手順）を示すフローチャートである。

ウェブ・ページに含まれる対象画像62（図７参照）から物体画像の輪郭抽出処理が行われる（ステップ91）。

図12は，物体画像の輪郭が抽出された輪郭画像110の一例である。

輪郭抽出処理により，上述した飛行機，人物，自動車およびビルの物体画像71，72，73および74に対応する輪郭111，112，113および114が抽出される。

また，輪郭抽出処理と並行して以下の処理が行われる。

対象画像72の中から所定範囲内の彩度をもつ画素が抽出される（ステップ92）。

図13は，対象画像72の中から所定範囲内の彩度をもつ画素が抽出された様子を示している。

対象画像120の中から所定範囲内の彩度をもつ画素が抽出されることにより，複数の画素群111，112，113および114が得られる。所定範囲内の彩度をもつ画素が抽出されることにより，偶然高い彩度をもつ画素などが排除される。

つづいて，抽出された画素の中から，もっとも高い彩度をもつ画素が検出される（図11ステップ93）。この検出処理により，図13に示すように画素113ｍが得られたものとする。すると，得られた画素113ｍのＲＧＢ座標系における位置が検出される（ステップ94）。図14に示すように，もっとも高い彩度をもつ画素113ｍのＲＧＢ座標系における位置が検出される。

さらに，ＲＧＢ座標系において，もっとも高い彩度をもつ画素113ｍとＲ＝Ｇ＝Ｂの直線とを含む基準平面が検出される（ステップ95）。図15に示すように，そのような基準平面130が得られる。つづいて基準平面130が平行に広げられながら広げられた基準平面（基準空間）131に存在する画素群115が見つけられる（図11ステップ97）。図16に示すように，高い彩度の画素113ｍの近傍の画素が画素群115として見つけられる。このことは，図７，図13等に示す対象画像62と同じ座標系で捉えると，図17に示すように，もっとも高い彩度の画素113ｍの回りの画素115が見つけられることとなる。基準平面130が広げられ，広げられた基準平面130内に含まれる画素が見つけられていくことにより，もっとも高い彩度の画素113ｍを中心に，その高い彩度の画素113ｍを含む物体画像73が得られていくこととなる。

このようにして得られた画素群115と，抽出された輪郭とがマッチング処理されることにより（ステップ100），画素群115がどのような物体かが検出される（ステップ101）。この例では，自動車の物体画像73が検出されることとなる。検出された物体画像の位置およびどのような物体かを示す（自動車という物体だけでなく，その自動車の車種名なども含む）データは，対象画像62を表わすファイルのヘッダに格納される。その位置にある物体画像について次に示すようにリンク付けが行われる。

このようにして検出された物体画像73には，上述のように彩度がもっとも高い画素が含まれているので，その物体画像73が最初にリンク付けされる。その後は，上述のようにリンク付けされた物体画像73を含むウェブ・ページ・データが画像認識サーバ３からスマートフォン１に送信されることとなる。

このような物体認識処理が繰り返されることにより，対象画像62に含まれるすべての物体画像71から74のリンク付けの順序が決定されることとなる。

図18は，物体画像認識処理手順（図５ステップ42の処理手順）の他の一例を示すフローチャートである。

図11に示す処理と同様に物体画像の輪郭が抽出される（ステップ91）。

また，物体画像の輪郭抽出と並行して次の処理が行われる。

まず，対象画像62（図７参照）全体の画素のそれぞれについて式１にしたがったαが算出される（ステップ151）。

α＝（ｔ１−Ｒ）×（ｔ１−Ｒ）＋（ｔ１−Ｇ）×（ｔ１−Ｇ）＋（ｔ１−Ｂ）×（ｔ１−Ｂ）・・・式１

つづいて，式１にしたがって得られるαの中から最大の値が得られる一つの画素が決定される（ステップ152）。たとえば，図13に示したように画素113ｍが決定される。このようにして決定された一つの画素とＲ＝Ｇ＝Ｂの直線とを含む基準平面が上述したのと同様に決定される（ステップ153）。その後は，図11等を参照して説明したように図11のステップ97以降の処理が行われてリンク付けの順番が決定される。

上述の実施例においては，式１にしたがって算出されるαが最大の値が得られる一つの画素を利用しているが，式１にしたがって算出されるαがＤ１以上Ｄ２以下の所定範囲内に収まるような一つの画素を決定し，そのような画素とＲ＝Ｇ＝Ｂの直線とを含む基準平面を決定してもよい。その後は，図11等を参照して説明したように図11のステップ97以降の処理が行われてリンク付けの順番が決定される。

また，上述のＤ１以上Ｄ２以下の所定範囲については，対象画像62が撮像されたものである場合には撮像シーンに応じて決定されることが好ましい。

たとえば，対象画像を構成する画素62のＲ，Ｇ，Ｂの最大濃度がSMAXとされた場合，撮影シーンが街中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，14×SMAX以上であり43×SMAX以下のＤ２，撮影シーンが海または駅中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，60×SMAX以上であり90×SMAX以下のＤ２，撮影シーンがショッピング・モールである場合には，３×SMAX以上であり10×SMAX以下のＤ１，16×SMAX以上であり47×SMAX以下のＤ２により規定されるＤ１からＤ２までの範囲が所定範囲の一例である。

また，物体画像の種類が分かっている場合には，その物体画像の種類に応じて，Ｄ１およびＤ２の所定範囲が規定されていてもよい。

たとえば，物体画像が自動車である場合には，SMAX以上であり10×SMAX以下のＤ１，75×SMAX以上であり125×SMAX以下のＤ２，物体画像が美術建築物である場合には，0.5×SMAX以上であり42×SMAX以下のＤ１，0.5×SMAX以上であり42×SMAX以下のＤ２（但し，Ｄ１はＤ２以下），物体画像がショッピング・モールである場合には，0.5×SMAX以上であり５×SMAX以下のＤ１，５×SMAX以上であり47×SMAX以下のＤ２，物体画像が動物である場合には，0.5×SMAX以上であり10×SMAX以下のＤ１，20×SMAX以上であり125×SMAX以下のＤ２により規定されるＤ１からＤ２までの範囲が所定範囲である。

図19および図20は，物体画像認識処理手順（図５ステップ42の処理手順）を示すフローチャートである。

図８に示す処理手順と同様に対象画像の輪郭が抽出される（ステップ91）。

また，対象画像の輪郭抽出と並行して以下の処理が行われる。

まず，対象画像の中から所定範囲内の彩度または最も高い彩度をもつ画素が抽出される（ステップ161）。図13に示したように最も高い彩度をもつ画素113ｍが抽出されたものとする。すると，抽出された画素のＲＧＢ座標系における位置が検出される（ステップ162）。図14に示したようにＲＧＢ座標系における画素113ｍの位置が検出される。図15に示したように，検出された位置とＲ＝Ｇ＝Ｂの直線とを含む基準平面130が検出される（ステップ163）。

つづいて，対象画像の輪郭抽出処理により得られた輪郭画像について，マッチング処理が行われる（ステップ164）。このマッチング処理により，輪郭画像に含まれている物体画像がどのような物体を表わしているかが検出される。たとえば，図12に示す例では，輪郭111，112，113および114のそれぞれが，飛行機，人物，自動車およびビルを表わしているものと推測される。

つづいて，検出された輪郭111，112，113および114のそれぞれにおいて（Ri-Rj，Gi-Gj，Bi-Bj）の規格化ベクトルと基準平面130の法線ベクトルとの内積が輪郭内の画素について積算される（図20ステップ165）。すると，得られた積算値が輪郭内の画素数で除算され，その除算値γが，あらかじめ規定された値よりも小さいかどうかが確認される（ステップ167）。

除算値γがあらかじめ規定された値よりも小さければ（ステップ167でＹＥＳ），マッチング処理の結果が確定する（ステップ168）。たとえば，図12において輪郭111が飛行機を表わす物体画像と推測され，かつ輪郭111内の画素にもとづいて得られた除算値γがあらかじめ規定された値よりも小さい場合には，その輪郭111は飛行機を表わしているものと確定する。その他の領域についても同様である。除算値γがあらかじめ規定された値以上であれば，図19ステップ161において抽出された画素の近傍の画素を用いて（ステップ171），上述したステップ162からの処理が繰り返される。また，物体画像認識処理の開始から所定時間が経過していない場合にも（ステップ169でＮＯ），図19ステップ161において抽出された画素の近傍の画素を用いて（ステップ171），上述したステップ162からの処理が繰り返される。これにより，確定する物体画像の数が増加することとなる。

所定時間が経過すると（ステップ169でＹＥＳ），どのような物体を表しているかが確定した輪郭（物体画像）についてリンク情報を検出するように設定される（ステップ170）。物体画像認識処理が終了すると，上述したように，認識された物体画像についてのリンク情報が検出されるようになる。

上述の実施例では，ステップ165において，検出された輪郭111，112，113および114のそれぞれにおいて（Ri-Rj，Gi-Gj，Bi-Bj）の規格化ベクトルと（１，１，１）／√３との内積（式２）が輪郭内の画素について積算されるようにしてもよい。そのようにして得られた積算値が輪郭内の画素数で除算され，得られた除算値δがあらかじめ規定された値よりも小さいかどうかが判断される。

上述した実施例では，ＲＧＢの３色により対象画像62が表わされ，その３色のＲＧＢ座標系において，高い彩度をもつ画素が含まれている物体画像からリンク付けがされているが，Ｎ（Ｎは２以上の整数）色により対象画像が表わされ，このＮ色以下のＭ色座標系を考え，その座標系において，原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を優先的に見つけるようにしてもよい。

その場合には，上記式１は，ｔ１＝ΣSi／Mとしたときに，α=Σ[(t1-Si)・(t1-Si)]で表わされる。また，上記式２は，ｔ3を実数とした場合，(１＋t3)(S1,S2,・・・SM)−t3×ΣSi（1,1,1,・・・１）／Ｍで表わされる。

図21は，上述した対象画像62（図７参照）を撮像するのに用いられた撮像素子の受光面上にベイヤ配列されているカラー・フィルタ特性の一例である。横軸が波長であり，縦軸が透過率である。カラー・フィルタには，青色の光成分を透過する特性を有するフィルタ，緑色のフィルタ成分を透過する特性を有するフィルタおよび赤色の光成分を透過する特性を有するフィルタがベイヤ配列されている。

グラフＦＢは，青色の光成分を透過する特性を示すもので，450nm程度の波長を主に透過させる特性を示している。グラフＦＧは緑色の光成分を透過する特性を示すもので，540nm程度の波長を主に透過させる特性を有している。グラフＦＲは赤色の光成分を透過する特性を示すもので，620nm以上の波長を主に透過させる特性を有している。

図21に示す特性をもつカラー・フィルタを用いて被写体を撮像することにより対象画像が得られることが一般的であるが，この実施例では，図22に示す特性をもつカラー・フィルタを用いて撮像されることが好ましい。

図22も，撮像素子の受光面上にベイヤ配列されているカラー・フィルタの特性を示している。

図21に示す例と同様に，カラー・フィルタには，青色の光成分を透過する特性を有するフィルタ，緑色のフィルタ成分を透過する特性を有するフィルタおよび赤色の光成分を透過する特性を有するフィルタがベイヤ配列されているが，図20の特性を与えるカラー・フィルタであって赤色の光成分を透過する特性を有するフィルタのうち，一部のフィルタがグラフＦＰで示すように，650nm近傍の波長の透過率が低くなっている。これにより，対象画像は，青色，緑色，赤色およびピンクにより表わされるようになる。

図22に示すように４色の特性を有するカラー・フィルタを用いて被写体が撮像されることにより得られる対象画像について，上述した物体画像認識処理が行われると，物体画像の特定までの時間が短くなる。なお、この場合赤色とピンクの画像データ信号を変換してより正確な赤色信号を得て色再現にもたらした効果と、650nm近辺の特異的な波長の信号を認識アルゴリズムに投入することで得られた効果とが考えられる。もちろん、650nm近辺で認識度が上がる物体と、他の波長で効果が得られる物体が存在するが、このような原理で複数の色信号を得たり、適切な波長に設定したりすることが行われる。

また，対象画像を表わす３色または４色のデータのほかにＩR信号，紫外線信号が加えられてもよい。これらの信号を利用して物体認識を行うことができるようになる。

図22に示すように４色のカラー・フィルタの特性は，少なくとも色のスペクトルの重なりが80パーセントであることが好ましい。また，上述したようにグラフＦＲとＦＰとで表わされるように一方のスペクトル（グラフＦＰ）が他方のスペクトル（グラフＦＲ）に含まれるものでもよい。

さらに，上述のように４色またはそれ以上の色によってカラー対象画像が表現される場合には，４色またはそれ以上の色の差信号にもとづいて物体画像にリンクをつける順序を決定するようにしてもよい。たとえば，物体画像を構成する画素が，グラフＦＢ，ＦＧ，ＦＲおよびＦＰの特性のフィルタによって得られる光成分をＬＢ，ＬＧ，ＬＲおよびＬＰとすると，任意の差信号｜ＬＢ−ＬＧ｜，｜ＬＢ−ＬＲ｜，｜ＬＢ−ＬＰ｜，｜ＬＧ−ＬＲ｜，｜ＬＧ−ＬＰ｜または｜ＬＲ−ＬＰ｜を算出し，得られた信号の大きい順または小さい順に，上述したリンク付けの順番を規定するようにしてもよい。

また，上述の実施例では，物体画像の関連情報としてリンクを取り上げ，物体画像にリンク付けする順序を規定しているが，リンク付けするのではなく，物体画像上にカーソルなどが置かれることにより，矩形などのポップアップ・ウインドウが表示され，そのポップアップ・ウインドウに関連情報が表示されるような順序を規定するようにしてもよい。必ずしも，関連情報はリンクに限らず，関連情報自体が表示されるようなものでもよい。

１ スマートフォン
２ ウェブ・サーバ
３ 画像認識サーバ
５ ＣＰＵ
60 ウェブ・ページ
62 対象画像
71−74 物体画像

Claims (32)

1. 関連情報が付加されるカラー対象画像であって，Ｎ（Ｎは２以上の整数）色の色データによって表わされるカラー対象画像に含まれる少なくとも一つの物体画像を検出する物体画像検出手段，
   上記物体画像検出手段によって検出された少なくとも一つの物体画像について，クライアント端末から特定の物体認識要求が無い場合には、Ｎ色の数以下のＭ色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を見つける関連情報検索手段，
   上記関連情報検出手段により見つけられた関連情報を，対応する物体画像に付加する関連情報付加手段，
   上記関連情報付加手段によって関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するカラー対象画像データ送信手段，ならびに
   上記関連情報検索手段，上記関連情報付加手段および上記カラー対象画像データ送信手段によるそれぞれの処理を繰り返すように，上記関連情報検索手段，上記関連情報付加手段および上記カラー対象画像データ送信手段を制御する第１の制御手段を備えた物体画像の関連情報提供システム。
2. 上記Ｍ色は，３色であることを特徴とする請求項１に記載の関連情報提供システム。
3. 上記関連情報検索手段は，
   M色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１が大きい画素をもつ順に物体画像についての関連情報を見つけるものであり，
   上記カラー対象画増データ送信手段は，
   あらかじめ設定された時間が経過したことにより，上記関連情報付加手段によって関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信するものである，
   請求項１に記載の関連情報提供システム。
4. 上記第一の制御手段に従い、カラー対象画像データを送信するごとに、それまでに関連情報が付加されていなかった物体画像の中で，上記距離ｄ₁の値が最も大きな画素を持つ物体画像が，新たに関連情報が付加されるものである，
   請求項１から３のうち，いずれか一項に記載の関連情報提供システム。
5. 上記M色が少なくともＲ色，Ｇ色およびＢ色を含む場合には，カラー対象画像に含まれる色成分の割合が，Ｒ成分が80％以上，Ｇ成分が80%以上，かつＢ成分が80%以上であることを特徴とする，
   請求項１から４のうちいずれか一項に記載の関連情報提供システム。
6. 上記物体画像検出手段によって検出された複数の物体画像のうち，Ｎ色がＲ色，Ｇ色およびＢ色を含む３色であり，
   上記関連情報検出手段は，彩度の大きい物体画像の順に関連情報を検出するものである，
   請求項１から５のうち，いずれか一項に記載の物体画像の関連情報提供システム。
7. 上記関連情報付加手段は，
   上記カラー対象画像データ送信手段によってカラー対象画像データがクライアント端末装置に送信されたことに応じて，クライアント端末装置に設けられている表示画面に表示されるカラー対象画像に含まれる複数の物体画像のうち所望の物体画像が指定されたことにより，指定された物体画像の関連情報が上記表示画面に表示されるように物体画像に関連情報を付加するものであり，かつ一の物体画像が他の物体画像と重なっている部分が指定されることに応じて一の物体画像と他の物体画像とのうち上記距離ｄ₁の大きな物体画像の関連情報が表示画面に表示されるように物体画像の関連情報を付加するものである，
   請求項１から６のうち，いずれか一項に記載の関連情報提供システム。
8. 上記関連情報付加手段は，
   上記カラー対象画像データ送信手段によってカラー対象画像データがクライアント端末装置に送信されたことに応じて，クライアント端末装置に設けられている表示画面に表示されるカラー対象画像に含まれる複数の物体画像のうち所望の物体画像が指定されたことにより，指定された物体画像の関連情報が上記表示画面に表示されるように物体画像に関連情報を付加するものであり，かつ一の物体画像が他の物体画像と重なっている部分が指定されることに応じて一の物体画像と他の物体画像とのうち彩度の大きな物体画像の関連情報が表示画面に表示されるように物体画像の関連情報を付加するものである，
   請求項１から７のうち，いずれか一項に記載の関連情報提供システム。
9. カラー対象画像を構成する画素のすべてについて，上記Ｍ色のM種信号レベルをS₁,S₂,…S_Mとし，ｔ１を，ｔ１＝Σ（Ｓｉ／Ｍ）としたときに，α1=Σ[(t1-Si)・(t1-Si)]を算出するM種レベル算出手段をさらに備え，
   上記関連情報検出手段は，上記α1が最大である画素を含んでいる物体画像についての関連情報を見つけるものである，
   請求項１から８のうち，いずれか一項に記載の関連情報提供装置。
10. カラー対象画像を構成する画素のすべてについて，Ｒを赤色信号のレベル，Ｇを緑色信号のレベル，Ｂを青色信号のレベル，ｔ２をｔ2＝（Ｒ＋Ｇ＋Ｂ）／３としたときに，
    α２＝Σ[(t2-R)・(t2-R)]＋Σ[(t2-G)・(t2-G)]＋Σ[(t2-B)・(t2-B)]を算出するＲＧＢレベル算出手段をさらに備え，
    上記関連情報検出手段は，上記α２が最大である画素が含んでいる物体画像を見つけるものである，
    請求項１から９のうち，いずれか一項に記載の関連情報提供装置。
11. 上記関連情報検索手段は，
    上記M種レベル算出手段または上記ＲＧＢレベル算出手段によって算出された値が所定範囲内にある物体画像についての関連情報を最初に見つけるものである，
    請求項９または１０に記載の関連情報提供装置。
12. 上記所定範囲は，上記カラー対象画像の撮影シーンに応じて規定されているものである，
    請求項１１に記載の関連情報提供装置。
13. カラー対象画像を構成する画像の最大濃度がSMAXとされた場合，
    上記撮影シーンが街中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，14×SMAX以上であり43×SMAX以下のＤ２，
    上記撮影シーンが海または駅中である場合には，３×SMAX以上であり10×SMAX以下のＤ１，60×SMAX以上であり90×SMAX以下のＤ２，
    上記撮影シーンがショッピング・モールである場合には，３×SMAX以上であり10×SMAX以下のＤ１，16×SMAX以上であり47×SMAX以下のＤ２，
    により規定されるＤ１からＤ２までの範囲が上記所定範囲である，
    請求項１２に記載の関連情報提供装置。
14. 上記物体画像の種類に応じて，上記所定範囲が規定されている，
    請求項９から１３のうち，いずれか一項に記載の関連情報提供装置。
15. カラー対象画像を構成する画素の最大濃度がSMAXとされた場合，
    物体画像が自動車である場合には，SMAX以上であり10×SMAX以下のＤ１，75×SMAX以上であり125×SMAX以下のＤ２，
    物体画像が美術建築物である場合には，0.5×SMAX以上であり42×SMAX以下のＤ１，0.5×SMAX以上であり42×SMAX以下のＤ２（但し，Ｄ１はＤ２以下），
    物体画像がショッピング・モールである場合には，0.5×SMAX以上であり５×SMAX以下のＤ１，５×SMAX以上であり47×SMAX以下のＤ２，
    物体画像が動物である場合には，0.5×SMAX以上であり10×SMAX以下のＤ１，20×SMAX以上であり125×SMAX以下のＤ２，
    により規定されるＤ１からＤ２までの範囲が上記所定範囲である，
    請求項１４に記載の関連情報提供装置。
16. 上記カラー対象画像データ送信手段が，
    上記M種レベル算出手段または上記ＲＧＢレベル算出手段によって算出された値が所定範囲内にある物体画像を認識し，かつあらかじめ設定された時間が経過したことにより，最初の関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信することを特徴とする請求項３に記載の関連情報提供システム。
17. 上記カラー対象画像の色の割合または彩度を変更する変更手段，ならびに
    上記変更手段によって彩度が変更させられたカラー対象画像について，上記物体画像検出手段，上記関連情報検索手段，上記関連情報付加手段，上記カラー対象画像データ送信手段，および上記第１の制御手段の処理を行わせる第２の制御手段，
    をさらに備えた請求項１から１６のうち，いずれか一項に記載の関連情報提供装置。
18. 上記変更手段は，ｔ3を実数とした場合，(１＋t3)(S1,S2,・・・SM)−t3×ΣSi（1,1,1,・・・１）／Ｍにもとづいて変更するものである，
    請求項１７に記載の関連情報提供装置。
19. 定数ｋを，上記変更手段によって算出される値または上記所定範囲の下限の値とし，かつSMAXを，カラー対象画像を構成する画素の最大濃度とした場合，上記ｔ３は，0.25×SMAX×√(3/k)以上であり，２×SMAX√(3/k)を満たすものである，
    請求項１８に記載の関連情報提供装置。
20. 上記物体画像検出手段は，
    カラー対象画像の輪郭画像を抽出する輪郭画像抽出手段，
    上記輪郭画像抽出手段によって抽出された輪郭画像がどのような物体画像を表わすか検出する物体画像検出手段，
    カラー対象画像の中から所定範囲内の距離d1または彩度または最も高い距離d1または彩度をもつ画素を抽出する画素抽出手段，
    上記画素抽出手段によって抽出された画素とS1＝S2＝・・・SMで規定される直線とを含む平面を決定する平面決定手段，
    上記輪郭画像抽出手段によって抽出された輪郭画像内に含まれ，かつ隣接する画素ｉ，ｊについて（Si1-Sj1，Si2-Sj2，・・・SiM−SjM）の規格化ベクトルと，上記平面の法線ベクトルまたは(1,1,・・・１)／√Ｍと，の内積の和を算出する内積和算出手段，
    上記内積和算出手段によって算出された和を，上記輪郭画像抽出手段によって抽出された輪郭画像の画素数で除算した値を算出する除算手段，および
    上記除算手段により算出された値が小さい輪郭画像について上記物体画像検出手段によって検出された物体画像を確定する確定手段，
    を備えている請求項１から１９のうち，いずれか一項に記載の関連情報提供装置。
21. 上記関連情報検索手段は，
    上記物体画像検出手段によって検出された複数の物体画像を，複数のグループに分けるグループ分割手段，
    上記グループ分割手段によって分割された複数のグループのそれぞれにおいて代表距離d1または代表彩度を決定する代表距離d1または代表彩度決定手段を備え，
    上記代表距離d1または代表彩度決定手段によって決定された代表距離d1または代表彩度の高いグループに含まれる物体画像の順に関連情報を見つけるものである，
    請求項１から２０のうち，いずれか一項に記載の関連情報提供装置。
22. 上記カラー対象画像は，Ｎ色が４色によって表わされるものである，
    請求項１から２１のうち，いずれか一項に記載の関連情報提供装置。
23. 上記４色には，赤，緑および青が含まれている，
    請求項２２に記載の関連情報提供装置。
24. 上記４色のスペクトルに関して少なくとも二つのスペクトルの重なりが80％以上である，
    請求項２２または２３に記載の関連情報提供装置。
25. 上記４色のうち少なくとも二つのスペクトルについて，一方のスペクトルが他方のスペクトルに含まれるものである，
    請求項２４に記載の関連情報提供装置。
26. 上記少なくとも二つのスペクトルのうち一つが緑色である，
    請求項２４または２５に記載の関連情報提供装置。
27. 上記関連情報検索手段は，４色のデータの差信号の値にもとづいて決められる関連情報を最初に見つけるものである，
    請求項２２から２６のうち，いずれか一項に記載の関連情報提供装置。
28. ４色のデータの差信号の算出と上記物体画像検出手段における複数の物体画像の検出とが並行して行われるものである，
    請求項2７に記載の関連情報提供装置。
29. 上記カラー対象画像を表わすデータにＩR信号が含まれている，
    請求項１から2８のうち，いずれか一項に記載の関連情報提供装置。
30. 上記カラー対象画像を表わすデータに紫外線信号が含まれている，
    請求項１から２９のうち，いずれか一項に記載の関連情報提供装置。
31. 上記クライアント端末装置は，
    上記表示画面に表示された関連情報のうち，アクセス指示が与えられた関連情報についての詳細情報リクエストを詳細情報サーバに送信するリクエスト送信手段，
    を備えた請求項１から３０のうち，いずれか一項に記載の関連情報提供装置。
32. 物体画像検出手段が，関連情報が付加されるカラー対象画像であって，Ｎ（Ｎは３以上の整数）色の色データによって表わされるカラー対象画像に含まれる少なくとも一つの物体画像を検出し，
    関連情報検索手段が，上記物体画像検出手段によって検出された少なくとも一つの物体画像について，Ｎ色の数以下のＭ色の空間座標において原点を通り，かつ傾きが１の基準直線からの距離ｄ１の大きな画素を含む物体画像についての関連情報を見つけ，
    関連情報付加手段が，上記関連情報検出手段により見つけられた関連情報を，対応する物体画像に付加し，
    カラー対象画像データ送信手段が，上記関連情報付加手段によって関連情報が付加された物体画像を含む上記カラー対象画像を表わすカラー対象画像データを，クライアント端末装置に送信し，
    第１の制御手段が，上記関連情報検索手段，上記関連情報付加手段および上記カラー対象画像データ送信手段によるそれぞれの処理を繰り返すように，上記関連情報検索手段，上記関連情報付加手段および上記カラー対象画像データ送信手段を制御する，
    物体画像の関連情報提供システムの動作制御方法。

Images