JP2004086737A - 類似度判定方法および装置並びにプログラム - Google Patents
類似度判定方法および装置並びにプログラム Download PDFInfo
- Publication number
- JP2004086737A JP2004086737A JP2002249207A JP2002249207A JP2004086737A JP 2004086737 A JP2004086737 A JP 2004086737A JP 2002249207 A JP2002249207 A JP 2002249207A JP 2002249207 A JP2002249207 A JP 2002249207A JP 2004086737 A JP2004086737 A JP 2004086737A
- Authority
- JP
- Japan
- Prior art keywords
- similarity
- images
- image
- image data
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
Abstract
【課題】複数の画像についての類似度を精度よく判定する。
【解決手段】画像データＳＴ１，ＳＴ２を入力手段１に入力し、画像データＳＴ１，ＳＴ２に付与されたメタデータＭ１，Ｍ２を抽出する。メタデータＭ１，Ｍ２には、画像データＳＴ１，ＳＴ２により表される画像ＳＧ１，ＳＧ２に含まれるオブジェクトの特徴情報が含まれる。オブジェクト評価手段３は画像ＳＧ１，ＳＧ２に含まれる各オブジェクトの特徴情報に基づいて、オブジェクト毎の類似度を表す評価値を算出する。画像評価手段４は、評価値に基づいて画像ＳＧ１，ＳＧ２の類似度Ｒ０を算出する。画像整理手段５は、類似度Ｒ０に基づいて画像データＳＴ１，ＳＴ２を分類し、画像データＳＴ１，ＳＴ２を分類結果とともに保管手段７に保管する。
【選択図】 図１
【解決手段】画像データＳＴ１，ＳＴ２を入力手段１に入力し、画像データＳＴ１，ＳＴ２に付与されたメタデータＭ１，Ｍ２を抽出する。メタデータＭ１，Ｍ２には、画像データＳＴ１，ＳＴ２により表される画像ＳＧ１，ＳＧ２に含まれるオブジェクトの特徴情報が含まれる。オブジェクト評価手段３は画像ＳＧ１，ＳＧ２に含まれる各オブジェクトの特徴情報に基づいて、オブジェクト毎の類似度を表す評価値を算出する。画像評価手段４は、評価値に基づいて画像ＳＧ１，ＳＧ２の類似度Ｒ０を算出する。画像整理手段５は、類似度Ｒ０に基づいて画像データＳＴ１，ＳＴ２を分類し、画像データＳＴ１，ＳＴ２を分類結果とともに保管手段７に保管する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像間の類似度を判定する類似度判定方法および装置並びに類似度判定方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
画像データの不正なコピーを防止するために、原著作物に係る画像データとその他の画像データの類似度を算出する方法（特開平１１−５３５４１号公報）、複数の画像データを保管したデータベースから類似する画像データを検索する方法（特開２０００−２９８８５号公報）が提案されている。これらの方法は、複数の画像間の類似度を算出するに際し、画像に含まれる被写体の輪郭、被写体の形状、テクスチャ領域の位置、画像の色情報や輝度情報等の特徴量を生成し、この特徴量から特徴量ベクトルを算出し、特徴量ベクトルの内積値や特徴量ベクトル間の距離に応じて、画像間の類似度を判定するものである。このような方法により、複数の画像間の類似度を判定し、不正なコピーを摘発したり、類似画像の検索を行うことができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、画像の特徴量に基づいて画像間の類似度を判定する場合、類似であると判定された画像であっても人間が見ると全く類似していないという場合がある。例えば、複数の人物が含まれる２つの画像が、特徴量に基づいて類似すると判定された場合であっても、各画像に含まれている人物の数が異なる場合には、人間がその２つの画像を見た場合、２つの画像は類似しないと判断する。また、青空が多く含まれている画像と青い海が多く含まれている画像とでは、とくに画像の色情報を特徴量とした場合においては、両画像は類似すると判定されるが、人間が見た場合、両画像は全く異なるものと判断する。
【０００４】
本発明は上記事情に鑑みなされたものであり、複数の画像についての類似度をより精度よく判定することを目的とする。
【０００５】
【課題を解決するための手段】
本発明による類似度判定方法は、オブジェクトに関する特徴を表す特徴情報が付与または関連付けされた複数の画像間の類似度を判定する類似度判定方法であって、
前記複数の画像のそれぞれについて、前記特徴情報に基づいて前記複数の画像に含まれるオブジェクト間の類似度を算出し、
該オブジェクト間の類似度に基づいて、前記複数の画像間の類似度を算出することを特徴とするものである。
【０００６】
「オブジェクト」とは、画像に含まれる人物、空、海、木、建物等の被写体を意味する。
【０００７】
「特徴情報」としては、オブジェクトの名前の候補、オブジェクトがその名前であることの信頼度、画像におけるオブジェクトの位置を表す位置情報、オブジェクトの大きさを表す大きさ情報、およびオブジェクトの色や輝度等の特徴量についての平均値、分散値等の統計量等を用いることができる。
【０００８】
「特徴情報を付与する」とは、例えば画像を表す画像データのタグ情報に特徴情報を記述することを意味し、「特徴情報を関連付ける」とは、例えば画像を表す画像データとは異なるファイルとして画像データと一体不可分の関係となるように特徴情報を用意することを意味する。
【０００９】
なお、オブジェクトの名前の候補としては、例えば青色のオブジェクトについてはそれが海であるのか青空であるのかが不明な場合があるため、複数の候補を用いることが好ましい。
【００１０】
なお、本発明による類似度判定方法においては、前記複数の画像間の類似度に基づいて、前記複数の画像を分類して保管するようにしてもよい。
【００１１】
この場合、前記複数の画像間の類似度に基づいて、前記保管された画像を順次出力するようにしてもよい。
【００１２】
また、この場合、前記複数の画像に含まれるオブジェクト間の類似度にも基づいて、前記複数の画像を分類して保管し、前記保管された画像を前記オブジェクト間の類似度に基づいて順次出力するようにしてもよい。
【００１３】
本発明による類似度判定装置は、オブジェクトに関する特徴を表す特徴情報が付与された複数の画像間の類似度を判定する類似度判定装置であって、
前記複数の画像のそれぞれについて、前記特徴情報に基づいて、前記複数の画像に含まれるオブジェクト間の類似度を算出するオブジェクト評価手段と、
該オブジェクト間の類似度に基づいて、前記複数の画像間の類似度を算出する画像評価手段とを備えたことを特徴とするものである。
【００１４】
なお、本発明による類似度判定装置においては、前記複数の画像間の類似度に基づいて、前記複数の画像を分類して保管する保管手段をさらに備えるようにしてもよい。
【００１５】
この場合、前記複数の画像間の類似度に基づいて、前記保管された画像を順次出力する出力手段をさらに備えるようにしてもよい。
【００１６】
また、この場合、前記保管手段を、前記複数の画像に含まれるオブジェクト間の類似度にも基づいて、前記複数の画像を分類して保管する手段とし、
前記出力手段を、前記保管された画像を前記オブジェクト間の類似度に基づいて順次出力する手段としてもよい。
【００１７】
なお、本発明による類似度判定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１８】
【発明の効果】
本発明によれば、画像に含まれるオブジェクトに関する特徴情報に基づいて、まず、複数の画像に含まれるオブジェクト間の類似度を算出し、オブジェクト間の類似度に基づいて複数の画像間の類似度を算出するようにしたものである。このため、画像を見た場合の印象に影響を与えるオブジェクトに基づいた画像の類似度を算出することができ、これにより、より人間の感性にあった画像の類似度の判定を行うことができる。
【００１９】
また、複数の画像間の類似度に基づいて、複数の画像を分類して保管することにより、後で保管された複数の画像から所定の画像を出力したり検索したりする場合に、所定の画像に類似する画像も併せて出力したり検索したりすることが容易となる。
【００２０】
また、複数の画像間の類似度に基づいて、複数の画像を順次出力することにより、複数の画像間の類似度を容易に認識することができる。
【００２１】
また、複数の画像に含まれるオブジェクト間の類似度にも基づいて、複数の画像を分類して保管し、複数の画像に含まれるオブジェクト間の類似度に基づいて、保管された画像を順次出力すれば、ある画像に含まれる特定のオブジェクトを含む画像を出力させることができ、これにより、特定のオブジェクトを含む画像の収集を容易に行うことができる。
【００２２】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による類似度判定装置を備えた画像整理装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像整理装置は、複数の画像データＳｋ（ｋ＝１〜ｎ）を類似度に応じて分類して保管するものであり、複数の画像データＳｋから選択されたのうち類似評価の対象となる２つの画像データＳＴ１，ＳＴ２の入力を受け付ける第１および第２の画像入力手段１Ａ，１Ｂを備えた画像入力手段１と、画像データＳＴ１，ＳＴ２に付与されたメタデータＭ１，Ｍ２を抽出する第１および第２のメタデータ抽出手段２Ａ，２Ｂを備えたメタデータ抽出手段２と、後述するようにメタデータＭ１，Ｍ２に含まれる特徴情報に基づいて、画像データＳＴ１，ＳＴ２により表される画像ＳＧ１，ＳＧ２にそれぞれ含まれるオブジェクト毎の類似度を評価値として算出するオブジェクト評価手段３と、オブジェクト評価手段３において算出されたオブジェクト毎の類似度の評価値に基づいて２つの画像ＳＧ１，ＳＧ２の類似度Ｒ０を算出する画像評価手段４と、２つの画像ＳＧ１，ＳＧ２の類似度に基づいて２つの画像データＳＴ１，ＳＴ２を分類する画像整理手段５と、オブジェクト評価手段３に種々の入力を行う入力手段６と、分類された画像データＳｋを保管する保管手段７とを備える。なお、保管手段７にはネットワーク経由で端末装置１０が接続されている。
【００２３】
本実施形態においては、画像データＳｋにメタデータが付与されている。メタデータは画像データＳｋにより表される画像ＳＧｋに含まれるオブジェクトに関する特徴情報を含む。また、画像ＳＧｋに複数のオブジェクトが含まれる場合には、特徴情報はオブジェクト毎にメタデータに含められている。
【００２４】
また、本実施形態においては、メタデータに含まれる特徴情報としては、図２に示すように、オブジェクト名（第１候補名および第２候補名）、オブジェクト名に対する信頼度、オブジェクトの位置情報、オブジェクトの大きさ情報、およびオブジェクトの画素特徴量が用いられる。
【００２５】
以下、画像ＳＧｋに含まれるオブジェクトへのオブジェクト名の付与について説明する。まず、画像ＳＧｋをオブジェクト毎に複数のオブジェクト領域に分割する。このオブジェクト領域への分割は、例えば画像ＳＧｋから輪郭線を抽出して、輪郭線により囲まれる領域をオブジェクト領域として分割する方法、画像ＳＧｋの輝度情報に基づいて同一の輝度を有する領域をオブジェクト領域として分割する方法、画像ＳＧｋの色情報に基づいて同一の色を有する領域をオブジェクト領域として分割する方法等、種々の方法を用いることができる。
【００２６】
そして、各オブジェクト領域をさらに小領域（例えば６４×６４画素）に分割し、全ての小領域についての特徴量を算出する。ここで、特徴量としては、例えば小領域の平均色や方向（ｘ方向、ｙ方向）別の高周波成分が用いられる。そして、各小領域の特徴量から得られる特徴量ベクトルに基づいて、その小領域がどのような名称のオブジェクトに属するものであるかを判定する。この判定は、複数のオブジェクト名について学習を行った自己組織化マップに特徴量ベクトルを入力することにより得られる自己組織化マップからの出力に基づいて決定される。
【００２７】
ここで、自己組織化マップは、２次元的に配列された複数のユニットからなる入力層および出力層を有するニューラルネットワークに、オブジェクト名に対応する特徴量ベクトルを自己組織化学習させることにより得られるものである。
【００２８】
図３は、オブジェクト名の例を示す図である。図３に示すように、オブジェクト名には番号が付与されており、０番は水関係のオブジェクト、１０番台は空関係のオブジェクト、２０番は山関係のオブジェクト、３０番台は地面関係のオブジェクト、３０番台は植物関係のオブジェクト、５０番は建物関係のオブジェクト、６０番は服関係のオブジェクト、７０番は顔関係のオブジェクト、そして９９番はその他のオブジェクトに対応する。
【００２９】
自己組織化学習時には、各オブジェクト名についての基準となる基準特徴量ベクトルを順次ニューラルネットワークの入力層における全てのユニットに入力する。ここで、入力層の各ユニットは、基準特徴量ベクトルに応じた結合荷重にて出力層のユニットと結合されている。そして、入力された基準特徴量ベクトルに最も近い結合荷重を有するユニット（勝者ユニットとする）の結合荷重が、その入力された基準特徴量ベクトルに近づくように更新されて学習がなされる。この際、勝者ユニットの近傍のユニットの結合荷重も入力された基準特徴量ベクトルに近づくように更新される。これにより、近接するユニット同士は互いに似た結合荷重を持つようになる。さらに、学習が進むに連れて、似た結合荷重を有する複数のユニットの範囲が狭くなる。
【００３０】
したがって、学習初期の段階においては大雑把に分類されたユニットが、学習を繰り返すことにより、複数のオブジェクト名にそれぞれ対応する複数の基準特徴量ベクトルに応じて分類されることとなる。例えば、簡単のためのオブジェクト名が海、空、土および顔の４つであった場合、学習により自己組織化マップを構成するユニットは、図４に示すようにオブジェクト名毎に分類される。なお、出力層の各ユニットにおいて、学習結果に応じてオブジェクト名およびそのオブジェクト名であることの信頼度（％）が設定される。例えば、図４におけるユニットＵ１，Ｕ２については、それぞれ「海：０：９０％」、「海：０：５０％」と設定がなされる
このように自己組織化学習された自己組織化マップに、小領域の特徴量から得られる特徴量ベクトルを入力すると、その特徴量ベクトルに最も近い結合荷重を有する出力層のユニットから出力がなされる。なお、出力層の各ユニットにおいては、上述したように学習結果に応じてオブジェクト名およびそのオブジェクト名であることの信頼度（％）が設定されているため、ある特徴量ベクトルが自己組織化マップに入力された際には、その特徴量ベクトルに最も近い結合荷重により入力層のユニットと結合された出力層のユニットの位置に応じて、例えば「空：７０％」というようにその特徴量ベクトルを得た小領域のオブジェクト名および信頼度が求められる。
【００３１】
そして、全ての小領域についてのオブジェクト名を求め、分割された各オブジェクト領域中の小領域について最も多いオブジェクト名およびその信頼度がそのオブジェクト領域すなわちオブジェクトの第１候補名および信頼度とされる。また、２番目に多いオブジェクト名およびその信頼度がそのオブジェクトの第２候補名および信頼度とされる。
【００３２】
なお、第１および第２候補名に続いて、さらに多くの候補名および信頼度を特徴量としてメタデータに含めてもよい。
【００３３】
オブジェクトの位置情報は、オブジェクトが外接する矩形領域やオブジェクト領域の重心座標が用いられる。
【００３４】
オブジェクトの大きさ情報は、オブジェクト領域内の画像数、オブジェクト領域が画像ＳＧｋに占める割合が用いられる。
【００３５】
オブジェクトにおける画素特徴量としては、オブジェクト内の画素が有する輝度Ｙおよび色差Ｃｒ，Ｃｂのオブジェクト領域内における平均値や分散値、並びにテクスチャ成分の画像ＳＧｋに占める割合Ｔが用いられる。また、オブジェクト領域を小領域（例えば６４×６４画素）に分割し、各小領域が有する輝度Ｙおよび色差Ｃｒ，Ｃｂの平均値や分散値並びにテクスチャ成分の割合Ｔを用いてもよい。
【００３６】
なお、オブジェクト名以外の特徴情報は、規格化されてメタデータに含められる。ここで、位置情報については、オブジェクトの重心座標（ｘ，ｙ）を画像ＳＧｋのｘ方向の長さおよびｙ方向の長さにより規格化した値とする。具体的には、（ｘ／ｘ方向の長さ，ｙ／ｙ方向の長さ）により規格化した値を算出する。また、大きさ情報については、オブジェクト領域が画像ＳＧｋに占める割合とする。具体的には、オブジェクト領域内の画素数／画像ＳＧｋ全体の画素数により規格化した値を算出する。
【００３７】
さらに、輝度Ｙについてはオブジェクトの輝度の平均値を最大輝度により規格化した値とする。具体的には、輝度Ｙが最大値が２５５となる８ビットのデータとして表される場合、輝度Ｙ（０〜２５５の値となる）の平均値／２５５×１００により算出する。また、色差Ｃｒ，Ｃｂについては、色差Ｃｒ、Ｃｂの平均値を最大色差により規格化した値とする。具体的には、輝度Ｃｒ、Ｃｂが８ビットのデータとして表される場合、色差Ｃｒ、Ｃｂの平均値（−２５５〜２５５の値となる）／２５５×１００により算出する。
【００３８】
図５は、特徴情報の具体的な例を示す図である。図５に示すように、例えば画像ＳＧ１の第１オブジェクトについては、第１候補名が「空」、その信頼度が「７０％」、第２候補名が「海」、その信頼度が「３０％」、位置情報が「ｘ：２０％，ｙ：２５％」、大きさ情報が「１５％」、画素特徴量が「Ｙ：７０％，Ｃｒ：−２０％，Ｃｂ：＋２５％，Ｔ：１％」となっている。
【００３９】
また、画像ＳＧ２の第３オブジェクトについては、第１候補名が「空」、その信頼度が「９０％」、第２候補名が「海」、その信頼度が「１０％」、位置情報が「ｘ：５０％，ｙ：２５％」、大きさ情報が「３０％」、画素特徴量が「Ｙ：６０％，Ｃｒ：−３０％，Ｃｂ：＋４５％，Ｔ：１％」となっている。
【００４０】
また、画像ＳＧ２の第４オブジェクトについては、第１候補名が「海」、その信頼度が「８０％」、第２候補名が「空」、その信頼度が「２０％」、位置情報が「ｘ：５０％，ｙ：５０％」、大きさ情報が「２５％」、画素特徴量が「Ｙ：４５％，Ｃｒ：−２０％，Ｃｂ：＋２５％，Ｔ：１５％」となっている。
【００４１】
なお、図５においては第１および第２候補名に「空」、「海」というオブジェクト名自体を用いているが、これは特徴情報を分かりやすく説明するためのものであり、実際には、第１および第２候補名はオブジェクト名の番号（図３参照）により表される。
【００４２】
画像入力手段１における第１および第２の画像入力手段１Ａ，１Ｂは、画像データＳＴ１，ＳＴ２を入力するためのものであり、画像データＳＴ１，ＳＴ２が記録されたメディアから画像データＳＴ１，ＳＴ２を読み取るメディアドライブ、ネットワーク転送された画像データＳＴ１，ＳＴ２を受信する通信インターフェース等が用いられる。
【００４３】
メタデータ抽出手段２における第１および第２のメタデータ抽出手段２Ａ，２Ｂは、画像データＳＴ１，ＳＴ２に付与されたメタデータＭ１，Ｍ２を抽出するためのものである。
【００４４】
オブジェクト評価手段３は、メタデータＭ１，Ｍ２に含まれるオブジェクト毎の特徴情報に基づいて、画像ＳＧ１，ＳＧ２にそれぞれ含まれるオブジェクト同士の全ての組み合わせについて、類似度の評価を行う。なお、類似度の評価は類似度を百分率で表した評価値を算出することにより行われる。以下、類似度の評価について説明する。
【００４５】
まず、画像ＳＧ１の第１オブジェクトの第１候補名と同一のオブジェクト名を第１または第２候補名に有する画像ＳＧ２のオブジェクト（以下類似候補オブジェクトとする）を全て求める。例えば、画像ＳＧ１の第１オブジェクトの第１候補名が「空」である場合には、画像ＳＧ２において、第１または第２候補名が「空」である全てのオブジェクトが類似候補オブジェクトとして求められる。ここで、候補名は図３に示すように番号で表されているため、画像ＳＧ１の第１オブジェクトの第１候補名の番号と、画像ＳＧ２の全てのオブジェクトの第１および第２候補名の番号とを比較することにより、画像ＳＧ２における類似候補オブジェクトを全て求めることができる。
【００４６】
例えば、特徴情報が図５に示すものである場合、画像ＳＧ１の第１オブジェクトの第１候補名は「空」であり、画像ＳＧ２の第３オブジェクトの第１候補名が「空」、第４オブジェクトの第２候補名が「空」であることから、画像ＳＧ２の第３および第４オブジェクトは、画像ＳＧ１の第１オブジェクトの類似候補オブジェクトとして求められる。
【００４７】
なお、画像ＳＧ１の第１オブジェクトの第１候補名と同一のオブジェクト名を第１または第２候補名に有さない非類似候補オブジェクトについては、評価値は０％とされる。
【００４８】
以下、同様にして画像ＳＧ１の第ｋオブジェクト（ｋ＝１〜ｎ）の第１候補名と、画像ＳＧ２の全てのオブジェクトにおける第１および第２候補名とが比較されて、画像ＳＧ１の全てのオブジェクトについての類似候補オブジェクトが求められる。図６は、類似候補オブジェクトを求めた結果を示す図である。なお、図６においては、○が画像ＳＧ１の第ｋオブジェクトについての類似候補オブジェクトに対応し、×が非類似候補オブジェクトに対応する。
【００４９】
次いで、画像ＳＧ１の第ｋオブジェクトについての類似候補オブジェクトの全てについて、オブジェクト間の評価値を算出する。評価値は、下記の式（１）により算出される。
評価値＝（２−特徴量の距離×重み係数）／２×信頼度Ｃ１×信頼度Ｃ２ （１）
なお、信頼度Ｃ１は画像ＳＧ１の第ｋオブジェクトの第１候補名の信頼度、信頼度Ｃ２は、類似候補オブジェクトにおける画像ＳＧ１の第ｋオブジェクトの第１候補名に対応する第１または第２候補名の信頼度である。
【００５０】
また、重み係数は、特徴量の距離と信頼度とのどちらを重視するかを定めるための係数であり、通常は１を用いる。なお、特徴量の距離は下記の式（２）により算出する。
特徴量の距離＝√（（Ｙ１−Ｙ２）２＋（Ｃｒ１−Ｃｒ２）２＋（Ｃｂ１−Ｃｂ２）２＋（Ｔ１−Ｔ２）２＋Ｗａ×位置差２＋Ｗｂ×面積差２） （２）
【００５１】
上記式（２）において、特徴量の距離が１を越えた場合には、特徴量の距離を１とする。輝度Ｙ、色差Ｃｒ，ＣｂおよびテクスチャＴの添え字は、１が画像ＳＧ１についてのもの、２が画像ＳＧ２についてのものを表す。Ｗａ，Ｗｂは重み係数であり、オブジェクトの位置や大きさに関係なく、例えば海の画像について、海が存在している場所や海が画像中に占める範囲に関わりなく類似しているものと判定させたい場合には、入力手段６から重み係数Ｗａ，Ｗｂをゼロまたは小さい値にする旨を入力することにより、類似度の判定の際に位置差および面積差が寄与する程度を変更することができる。
【００５２】
また、位置差は下記の式（３）により算出される。面積差は特徴情報における大きさ情報の差分値である。
位置差＝√（（ｘ１−ｘ２）２＋（ｙ１−ｙ２）２） （３）
【００５３】
なお、類似候補オブジェクトが、これに対応する画像ＳＧ１の第ｋオブジェクトの第２候補名と同一の候補名を有する場合には、その第ｋオブジェクトの第２候補名についても上記式（１）によりオブジェクト間の評価値を求める。この場合、画像ＳＧ１の第ｋオブジェクトの第１候補名および第２候補名についての２つの評価値のうち、値が大きい方を最終的な評価値とする。
【００５４】
ここで、重み係数Ｗａ，Ｗｂがゼロで、画像ＳＧ１および画像ＳＧ２において、空および海が画像ＳＧ１の第１オブジェクトと画像ＳＧ２の第３および第４オブジェクトにのみしか存在しないとすると、画像ＳＧ１の第１オブジェクトと画像ＳＧ２の第３オブジェクトとの評価値は、空について５５％、海について２．６％となり、大きい方の評価値である５５％が最終的なオブジェクト間の評価値となる。また、画像ＳＧ１の第１オブジェクトと画像ＳＧ２の第４オブジェクトとの評価値は、空について１２％、海について２１％となり、大きい方の評価値である２１％が最終的なオブジェクト間の評価値となる。評価値の算出結果のテーブルＴＢを図７に示す。オブジェクト評価手段３は、図７に示すテーブルＴＢを評価結果として画像評価手段４に出力する。
【００５５】
画像評価手段４は、オブジェクト評価手段３から出力された評価結果を表すテーブルＴＢに基づいて、画像ＳＧ１，ＳＧ２の類似度を判定する。以下、類似度の判定について説明する。画像評価手段４は図７に示すテーブルＴＢを、図８に示すようにオブジェクト間の評価値が高い順に並び替える。なお、図８において評価点はオブジェクト間の評価値をそのまま用いる。
【００５６】
そして、評価点が基準値（本実施形態においては４０％とする）を越えたオブジェクト間の評価点の合計点に基づいて、下記の式（４）により、画像ＳＧ１および画像ＳＧ２の類似度を算出する。
類似度Ｒ０＝１−（基準値）／（評価点の合計値） （４）
【００５７】
式（４）により、評価点が大きいすなわち類似するオブジェクトが存在する可能性が高いほど、また評価点が大きいオブジェクトの個数が大きいほど（基準値）／（評価点の合計値）の値が小さくなり、類似度Ｒ０が１に近づく。これは、画像間において、空のオブジェクトのみが一致する場合よりも、海、空および木等の他のオブジェクトも一致する場合の方がより画像間の類似性が高いということに対応する。
【００５８】
なお、本実施形態の場合、画像ＳＧ１および画像ＳＧ２の類似度Ｒ０は０．７２となる。なお画像ＳＧ１および画像ＳＧ２において、オブジェクト間の評価点が基準値以上とならない場合には、類似度は０とされる。画像評価手段４は、画像間の類似度Ｒ０を画像整理手段５に出力する。
【００５９】
画像整理手段５は、画像評価手段４から入力された類似度Ｒ０と予め定められた画像類似範囲とを比較し、類似度が画像類似範囲内にある場合には、画像ＳＧ１および画像ＳＧ２が類似するものとして画像データＳＴ１，ＳＴ２を分類する。そして、分類結果とともに画像データＳＴ１，ＳＴ２が保管手段７に保管される。
【００６０】
以上の処理を、複数の画像データＳｋの全ての組み合わせについて行うことにより、類似する画像同士が同じカテゴリに分類されて保管手段７に保管される。なお、保管手段７には、複数の画像データＳｋについての画像データベースが作成される。図９は画像データベースの例を示す図である。図９に示すように、画像データベースＤＢ１は、保管手段７に保管された複数の画像データＳｋのそれぞれについて、ファイル名、作成日時、サイズ、属性、類似画像およびその他の情報を保管する。ここで、類似画像については、その画像データＳｋにより表される画像に類似する画像を表す情報が類似度Ｒ０が高い順に並べられて保管される。例えば、図８に示すように画像データＳＴ１については、類似画像は類似する順に画像データＳ４、画像データＳ７、画像データＳ３となる。
【００６１】
次いで、本実施形態の動作について説明する。図１０は本実施形態において行われる処理を示すフローチャートである。ここでは、複数の画像データを類似度に基づいて分類する処理について説明する。まず、複数の画像データＳｋから評価を行う画像データＳＴ１，ＳＴ２の組が決定され（ステップＳＴ１）、これらが第１および第２の画像入力手段１Ａ，１Ｂにそれぞれ入力される（ステップＳＴ２）。そして、第１および第２のメタデータ抽出手段２Ａ，２Ｂにおいて、画像データＳＴ１，ＳＴ２からメタデータＭ１，Ｍ２がそれぞれ抽出され（ステップＳ３）、オブジェクト評価手段３に入力される。
【００６２】
オブジェクト評価手段３においては、メタデータＭ１，Ｍ２に含まれるオブジェクト毎の特徴情報に基づいて、上述したようにオブジェクト間の評価値が算出され（ステップＳ４）、さらに図７に示すようなテーブルＴＢが作成される（ステップＳ５）。テーブルＴＢは画像評価手段４に入力され、ここで画像間の類似度Ｒ０が算出される（ステップＳ６）。算出された類似度Ｒ０は画像整理手段５に入力され、類似度Ｒ０に基づいて画像データＳＴ１，ＳＴ２が分類される（ステップＳ７）。
【００６３】
次いで、全ての画像データＳｋの組み合わせについて分類が完了したか否かが判定され（ステップＳ８）、ステップＳ８が否定されると、新たな画像データの組を決定し（ステップＳ９）、ステップＳＴ２に戻る。ステップＳ８が肯定されると、分類結果に基づいて画像データベースＤＢ１が更新され、（ステップＳＴ１０）、処理を終了する。
【００６４】
なお、保管手段７にネットワークを介して接続された端末装置１０から、保管手段７に保管された複数の画像データＳｋのうちの所定の画像データの出力指示があった場合には、画像データベースＤＢ１が参照されて、その画像データとともにその画像データに類似する他の画像データが、類似度が高い順に並べられて端末装置１０に出力される。例えば、画像データベースＤＢ１が図８に示すものである場合において、端末装置１０から画像データＳＴ１の出力指示があると、画像データＳＴ１とともに画像データＳ４，Ｓ７，Ｓ３がこの順序で並べられて端末装置１０に出力される。
【００６５】
また、端末装置１０から保管手段７に保管された複数の画像データＳｋについて所定の検索条件により検索が行われた場合、検索された画像データとともに、画像データベースＤＢ１が参照されて、検索された画像データに類似する他の画像データが、類似度が高い順に並べられて出力される。例えば、画像データベースＤＢ１が図８に示すものである場合において、検索された画像データが画像データＳＴ１である場合、画像データＳＴ１とともに画像データＳ４，Ｓ７，Ｓ３がこの順序で並べられて端末装置１０に出力される。
【００６６】
このように、本実施形態においては、画像ＳＧ１，ＳＧ２に含まれるオブジェクトに関する特徴情報に基づいて、まず、画像間のオブジェクト間の評価値を算出し、オブジェクト間の評価値に基づいて画像ＳＧ１，ＳＧ２間の類似度Ｒ０を算出するようにしたものである。このため、画像を見た場合の印象に影響を与えるオブジェクトに基づいた画像間の類似度を算出することができ、より人間の感性にあった画像間の類似度の判定を行うことができる。
【００６７】
また、画像間の類似度に基づいて、複数の画像データＳｋを分類して保管することにより、後で保管された複数の画像データＳｋから所定の画像データを出力したり検索したりする場合に、所定の画像データに類似する画像も併せて出力したり検索することが容易となる。
【００６８】
また、画像間の類似度に基づいて、複数の画像データＳｋを分類し、所定の画像データの出力指示があった場合には、所定の画像データに類似する画像データを順次出力することにより、複数の画像間の類似度を容易に認識することができる。
【００６９】
なお、上記実施形態においては、図１１に示すように、画像データベースＤＢ１に、各画像に含まれるオブジェクトおよび各オブジェクトについての評価値が高い画像データの情報を保管してもよい。この場合、保管手段７に接続された端末装置１０においては、出力された画像データについてのオブジェクトが選択可能となっている。そして、画像データベースＤＢ１が図１１に示すものである場合、画像データＳＴ１の出力指示があり、さらに画像データＳＴ１により表される画像に含まれる複数のオブジェクトからオブジェクト１が選択されると、オブジェクト１との評価値が高いオブジェクトを含む画像データＳＴ２，Ｓ９，Ｓ７がこの順序で端末装置１０に出力される。これにより、端末装置１０において、ある画像に含まれる特定のオブジェクト（例えば海）を含む複数の画像を収集することが容易となる。
【００７０】
また、上記実施形態においては、端末装置１０にある画像データを入力し、入力された画像データ（以下入力画像データとする）と類似する画像データを、保管手段７に保管された複数の画像データＳｋから検索し、検索された類似する画像データを端末装置１０に出力するようにしてもよい。この場合、まず、入力画像データのメタデータと保管手段７に保管された複数の画像データＳｋのメタデータのそれぞれとに基づいて、入力画像データと複数の画像データＳｋのそれぞれとの類似度Ｒ０を上記実施形態と同様に算出する。そして算出された類似度Ｒ０が高い順に、入力画像データと類似する画像データを保管手段７から端末装置１０に出力する。
【００７１】
このように、本発明による類似度判定方法は、入力画像データと類似する画像データを検索する場合にも適用することができる。
【図面の簡単な説明】
【図１】本発明の実施形態による類似度判定装置を備えた画像整理装置の構成を示す概略ブロック図
【図２】メタデータに含まれる特徴情報を示す図
【図３】オブジェクト名の例を示す図
【図４】自己組織化マップの例を示す図
【図５】特徴情報の具体的な例を示す図
【図６】類似候補オブジェクトを求めた結果を示す図
【図７】評価値の算出結果を示すテーブル
【図８】オブジェクト間の評価値が高い順に並び替えられたテーブル
【図９】画像データベースの例を示す図
【図１０】本実施形態において行われる処理を示すフローチャート
【図１１】画像データベースの他の例を示す図
【符号の説明】
１ 画像入力手段
２ メタデータ抽出手段
３ オブジェクト評価手段
４ 画像評価手段
５ 画像整理手段
６ 入力手段
７ 保管手段
【発明の属する技術分野】
本発明は、複数の画像間の類似度を判定する類似度判定方法および装置並びに類似度判定方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
画像データの不正なコピーを防止するために、原著作物に係る画像データとその他の画像データの類似度を算出する方法（特開平１１−５３５４１号公報）、複数の画像データを保管したデータベースから類似する画像データを検索する方法（特開２０００−２９８８５号公報）が提案されている。これらの方法は、複数の画像間の類似度を算出するに際し、画像に含まれる被写体の輪郭、被写体の形状、テクスチャ領域の位置、画像の色情報や輝度情報等の特徴量を生成し、この特徴量から特徴量ベクトルを算出し、特徴量ベクトルの内積値や特徴量ベクトル間の距離に応じて、画像間の類似度を判定するものである。このような方法により、複数の画像間の類似度を判定し、不正なコピーを摘発したり、類似画像の検索を行うことができる。
【０００３】
【発明が解決しようとする課題】
しかしながら、画像の特徴量に基づいて画像間の類似度を判定する場合、類似であると判定された画像であっても人間が見ると全く類似していないという場合がある。例えば、複数の人物が含まれる２つの画像が、特徴量に基づいて類似すると判定された場合であっても、各画像に含まれている人物の数が異なる場合には、人間がその２つの画像を見た場合、２つの画像は類似しないと判断する。また、青空が多く含まれている画像と青い海が多く含まれている画像とでは、とくに画像の色情報を特徴量とした場合においては、両画像は類似すると判定されるが、人間が見た場合、両画像は全く異なるものと判断する。
【０００４】
本発明は上記事情に鑑みなされたものであり、複数の画像についての類似度をより精度よく判定することを目的とする。
【０００５】
【課題を解決するための手段】
本発明による類似度判定方法は、オブジェクトに関する特徴を表す特徴情報が付与または関連付けされた複数の画像間の類似度を判定する類似度判定方法であって、
前記複数の画像のそれぞれについて、前記特徴情報に基づいて前記複数の画像に含まれるオブジェクト間の類似度を算出し、
該オブジェクト間の類似度に基づいて、前記複数の画像間の類似度を算出することを特徴とするものである。
【０００６】
「オブジェクト」とは、画像に含まれる人物、空、海、木、建物等の被写体を意味する。
【０００７】
「特徴情報」としては、オブジェクトの名前の候補、オブジェクトがその名前であることの信頼度、画像におけるオブジェクトの位置を表す位置情報、オブジェクトの大きさを表す大きさ情報、およびオブジェクトの色や輝度等の特徴量についての平均値、分散値等の統計量等を用いることができる。
【０００８】
「特徴情報を付与する」とは、例えば画像を表す画像データのタグ情報に特徴情報を記述することを意味し、「特徴情報を関連付ける」とは、例えば画像を表す画像データとは異なるファイルとして画像データと一体不可分の関係となるように特徴情報を用意することを意味する。
【０００９】
なお、オブジェクトの名前の候補としては、例えば青色のオブジェクトについてはそれが海であるのか青空であるのかが不明な場合があるため、複数の候補を用いることが好ましい。
【００１０】
なお、本発明による類似度判定方法においては、前記複数の画像間の類似度に基づいて、前記複数の画像を分類して保管するようにしてもよい。
【００１１】
この場合、前記複数の画像間の類似度に基づいて、前記保管された画像を順次出力するようにしてもよい。
【００１２】
また、この場合、前記複数の画像に含まれるオブジェクト間の類似度にも基づいて、前記複数の画像を分類して保管し、前記保管された画像を前記オブジェクト間の類似度に基づいて順次出力するようにしてもよい。
【００１３】
本発明による類似度判定装置は、オブジェクトに関する特徴を表す特徴情報が付与された複数の画像間の類似度を判定する類似度判定装置であって、
前記複数の画像のそれぞれについて、前記特徴情報に基づいて、前記複数の画像に含まれるオブジェクト間の類似度を算出するオブジェクト評価手段と、
該オブジェクト間の類似度に基づいて、前記複数の画像間の類似度を算出する画像評価手段とを備えたことを特徴とするものである。
【００１４】
なお、本発明による類似度判定装置においては、前記複数の画像間の類似度に基づいて、前記複数の画像を分類して保管する保管手段をさらに備えるようにしてもよい。
【００１５】
この場合、前記複数の画像間の類似度に基づいて、前記保管された画像を順次出力する出力手段をさらに備えるようにしてもよい。
【００１６】
また、この場合、前記保管手段を、前記複数の画像に含まれるオブジェクト間の類似度にも基づいて、前記複数の画像を分類して保管する手段とし、
前記出力手段を、前記保管された画像を前記オブジェクト間の類似度に基づいて順次出力する手段としてもよい。
【００１７】
なお、本発明による類似度判定方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１８】
【発明の効果】
本発明によれば、画像に含まれるオブジェクトに関する特徴情報に基づいて、まず、複数の画像に含まれるオブジェクト間の類似度を算出し、オブジェクト間の類似度に基づいて複数の画像間の類似度を算出するようにしたものである。このため、画像を見た場合の印象に影響を与えるオブジェクトに基づいた画像の類似度を算出することができ、これにより、より人間の感性にあった画像の類似度の判定を行うことができる。
【００１９】
また、複数の画像間の類似度に基づいて、複数の画像を分類して保管することにより、後で保管された複数の画像から所定の画像を出力したり検索したりする場合に、所定の画像に類似する画像も併せて出力したり検索したりすることが容易となる。
【００２０】
また、複数の画像間の類似度に基づいて、複数の画像を順次出力することにより、複数の画像間の類似度を容易に認識することができる。
【００２１】
また、複数の画像に含まれるオブジェクト間の類似度にも基づいて、複数の画像を分類して保管し、複数の画像に含まれるオブジェクト間の類似度に基づいて、保管された画像を順次出力すれば、ある画像に含まれる特定のオブジェクトを含む画像を出力させることができ、これにより、特定のオブジェクトを含む画像の収集を容易に行うことができる。
【００２２】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の実施形態による類似度判定装置を備えた画像整理装置の構成を示す概略ブロック図である。図１に示すように、本実施形態による画像整理装置は、複数の画像データＳｋ（ｋ＝１〜ｎ）を類似度に応じて分類して保管するものであり、複数の画像データＳｋから選択されたのうち類似評価の対象となる２つの画像データＳＴ１，ＳＴ２の入力を受け付ける第１および第２の画像入力手段１Ａ，１Ｂを備えた画像入力手段１と、画像データＳＴ１，ＳＴ２に付与されたメタデータＭ１，Ｍ２を抽出する第１および第２のメタデータ抽出手段２Ａ，２Ｂを備えたメタデータ抽出手段２と、後述するようにメタデータＭ１，Ｍ２に含まれる特徴情報に基づいて、画像データＳＴ１，ＳＴ２により表される画像ＳＧ１，ＳＧ２にそれぞれ含まれるオブジェクト毎の類似度を評価値として算出するオブジェクト評価手段３と、オブジェクト評価手段３において算出されたオブジェクト毎の類似度の評価値に基づいて２つの画像ＳＧ１，ＳＧ２の類似度Ｒ０を算出する画像評価手段４と、２つの画像ＳＧ１，ＳＧ２の類似度に基づいて２つの画像データＳＴ１，ＳＴ２を分類する画像整理手段５と、オブジェクト評価手段３に種々の入力を行う入力手段６と、分類された画像データＳｋを保管する保管手段７とを備える。なお、保管手段７にはネットワーク経由で端末装置１０が接続されている。
【００２３】
本実施形態においては、画像データＳｋにメタデータが付与されている。メタデータは画像データＳｋにより表される画像ＳＧｋに含まれるオブジェクトに関する特徴情報を含む。また、画像ＳＧｋに複数のオブジェクトが含まれる場合には、特徴情報はオブジェクト毎にメタデータに含められている。
【００２４】
また、本実施形態においては、メタデータに含まれる特徴情報としては、図２に示すように、オブジェクト名（第１候補名および第２候補名）、オブジェクト名に対する信頼度、オブジェクトの位置情報、オブジェクトの大きさ情報、およびオブジェクトの画素特徴量が用いられる。
【００２５】
以下、画像ＳＧｋに含まれるオブジェクトへのオブジェクト名の付与について説明する。まず、画像ＳＧｋをオブジェクト毎に複数のオブジェクト領域に分割する。このオブジェクト領域への分割は、例えば画像ＳＧｋから輪郭線を抽出して、輪郭線により囲まれる領域をオブジェクト領域として分割する方法、画像ＳＧｋの輝度情報に基づいて同一の輝度を有する領域をオブジェクト領域として分割する方法、画像ＳＧｋの色情報に基づいて同一の色を有する領域をオブジェクト領域として分割する方法等、種々の方法を用いることができる。
【００２６】
そして、各オブジェクト領域をさらに小領域（例えば６４×６４画素）に分割し、全ての小領域についての特徴量を算出する。ここで、特徴量としては、例えば小領域の平均色や方向（ｘ方向、ｙ方向）別の高周波成分が用いられる。そして、各小領域の特徴量から得られる特徴量ベクトルに基づいて、その小領域がどのような名称のオブジェクトに属するものであるかを判定する。この判定は、複数のオブジェクト名について学習を行った自己組織化マップに特徴量ベクトルを入力することにより得られる自己組織化マップからの出力に基づいて決定される。
【００２７】
ここで、自己組織化マップは、２次元的に配列された複数のユニットからなる入力層および出力層を有するニューラルネットワークに、オブジェクト名に対応する特徴量ベクトルを自己組織化学習させることにより得られるものである。
【００２８】
図３は、オブジェクト名の例を示す図である。図３に示すように、オブジェクト名には番号が付与されており、０番は水関係のオブジェクト、１０番台は空関係のオブジェクト、２０番は山関係のオブジェクト、３０番台は地面関係のオブジェクト、３０番台は植物関係のオブジェクト、５０番は建物関係のオブジェクト、６０番は服関係のオブジェクト、７０番は顔関係のオブジェクト、そして９９番はその他のオブジェクトに対応する。
【００２９】
自己組織化学習時には、各オブジェクト名についての基準となる基準特徴量ベクトルを順次ニューラルネットワークの入力層における全てのユニットに入力する。ここで、入力層の各ユニットは、基準特徴量ベクトルに応じた結合荷重にて出力層のユニットと結合されている。そして、入力された基準特徴量ベクトルに最も近い結合荷重を有するユニット（勝者ユニットとする）の結合荷重が、その入力された基準特徴量ベクトルに近づくように更新されて学習がなされる。この際、勝者ユニットの近傍のユニットの結合荷重も入力された基準特徴量ベクトルに近づくように更新される。これにより、近接するユニット同士は互いに似た結合荷重を持つようになる。さらに、学習が進むに連れて、似た結合荷重を有する複数のユニットの範囲が狭くなる。
【００３０】
したがって、学習初期の段階においては大雑把に分類されたユニットが、学習を繰り返すことにより、複数のオブジェクト名にそれぞれ対応する複数の基準特徴量ベクトルに応じて分類されることとなる。例えば、簡単のためのオブジェクト名が海、空、土および顔の４つであった場合、学習により自己組織化マップを構成するユニットは、図４に示すようにオブジェクト名毎に分類される。なお、出力層の各ユニットにおいて、学習結果に応じてオブジェクト名およびそのオブジェクト名であることの信頼度（％）が設定される。例えば、図４におけるユニットＵ１，Ｕ２については、それぞれ「海：０：９０％」、「海：０：５０％」と設定がなされる
このように自己組織化学習された自己組織化マップに、小領域の特徴量から得られる特徴量ベクトルを入力すると、その特徴量ベクトルに最も近い結合荷重を有する出力層のユニットから出力がなされる。なお、出力層の各ユニットにおいては、上述したように学習結果に応じてオブジェクト名およびそのオブジェクト名であることの信頼度（％）が設定されているため、ある特徴量ベクトルが自己組織化マップに入力された際には、その特徴量ベクトルに最も近い結合荷重により入力層のユニットと結合された出力層のユニットの位置に応じて、例えば「空：７０％」というようにその特徴量ベクトルを得た小領域のオブジェクト名および信頼度が求められる。
【００３１】
そして、全ての小領域についてのオブジェクト名を求め、分割された各オブジェクト領域中の小領域について最も多いオブジェクト名およびその信頼度がそのオブジェクト領域すなわちオブジェクトの第１候補名および信頼度とされる。また、２番目に多いオブジェクト名およびその信頼度がそのオブジェクトの第２候補名および信頼度とされる。
【００３２】
なお、第１および第２候補名に続いて、さらに多くの候補名および信頼度を特徴量としてメタデータに含めてもよい。
【００３３】
オブジェクトの位置情報は、オブジェクトが外接する矩形領域やオブジェクト領域の重心座標が用いられる。
【００３４】
オブジェクトの大きさ情報は、オブジェクト領域内の画像数、オブジェクト領域が画像ＳＧｋに占める割合が用いられる。
【００３５】
オブジェクトにおける画素特徴量としては、オブジェクト内の画素が有する輝度Ｙおよび色差Ｃｒ，Ｃｂのオブジェクト領域内における平均値や分散値、並びにテクスチャ成分の画像ＳＧｋに占める割合Ｔが用いられる。また、オブジェクト領域を小領域（例えば６４×６４画素）に分割し、各小領域が有する輝度Ｙおよび色差Ｃｒ，Ｃｂの平均値や分散値並びにテクスチャ成分の割合Ｔを用いてもよい。
【００３６】
なお、オブジェクト名以外の特徴情報は、規格化されてメタデータに含められる。ここで、位置情報については、オブジェクトの重心座標（ｘ，ｙ）を画像ＳＧｋのｘ方向の長さおよびｙ方向の長さにより規格化した値とする。具体的には、（ｘ／ｘ方向の長さ，ｙ／ｙ方向の長さ）により規格化した値を算出する。また、大きさ情報については、オブジェクト領域が画像ＳＧｋに占める割合とする。具体的には、オブジェクト領域内の画素数／画像ＳＧｋ全体の画素数により規格化した値を算出する。
【００３７】
さらに、輝度Ｙについてはオブジェクトの輝度の平均値を最大輝度により規格化した値とする。具体的には、輝度Ｙが最大値が２５５となる８ビットのデータとして表される場合、輝度Ｙ（０〜２５５の値となる）の平均値／２５５×１００により算出する。また、色差Ｃｒ，Ｃｂについては、色差Ｃｒ、Ｃｂの平均値を最大色差により規格化した値とする。具体的には、輝度Ｃｒ、Ｃｂが８ビットのデータとして表される場合、色差Ｃｒ、Ｃｂの平均値（−２５５〜２５５の値となる）／２５５×１００により算出する。
【００３８】
図５は、特徴情報の具体的な例を示す図である。図５に示すように、例えば画像ＳＧ１の第１オブジェクトについては、第１候補名が「空」、その信頼度が「７０％」、第２候補名が「海」、その信頼度が「３０％」、位置情報が「ｘ：２０％，ｙ：２５％」、大きさ情報が「１５％」、画素特徴量が「Ｙ：７０％，Ｃｒ：−２０％，Ｃｂ：＋２５％，Ｔ：１％」となっている。
【００３９】
また、画像ＳＧ２の第３オブジェクトについては、第１候補名が「空」、その信頼度が「９０％」、第２候補名が「海」、その信頼度が「１０％」、位置情報が「ｘ：５０％，ｙ：２５％」、大きさ情報が「３０％」、画素特徴量が「Ｙ：６０％，Ｃｒ：−３０％，Ｃｂ：＋４５％，Ｔ：１％」となっている。
【００４０】
また、画像ＳＧ２の第４オブジェクトについては、第１候補名が「海」、その信頼度が「８０％」、第２候補名が「空」、その信頼度が「２０％」、位置情報が「ｘ：５０％，ｙ：５０％」、大きさ情報が「２５％」、画素特徴量が「Ｙ：４５％，Ｃｒ：−２０％，Ｃｂ：＋２５％，Ｔ：１５％」となっている。
【００４１】
なお、図５においては第１および第２候補名に「空」、「海」というオブジェクト名自体を用いているが、これは特徴情報を分かりやすく説明するためのものであり、実際には、第１および第２候補名はオブジェクト名の番号（図３参照）により表される。
【００４２】
画像入力手段１における第１および第２の画像入力手段１Ａ，１Ｂは、画像データＳＴ１，ＳＴ２を入力するためのものであり、画像データＳＴ１，ＳＴ２が記録されたメディアから画像データＳＴ１，ＳＴ２を読み取るメディアドライブ、ネットワーク転送された画像データＳＴ１，ＳＴ２を受信する通信インターフェース等が用いられる。
【００４３】
メタデータ抽出手段２における第１および第２のメタデータ抽出手段２Ａ，２Ｂは、画像データＳＴ１，ＳＴ２に付与されたメタデータＭ１，Ｍ２を抽出するためのものである。
【００４４】
オブジェクト評価手段３は、メタデータＭ１，Ｍ２に含まれるオブジェクト毎の特徴情報に基づいて、画像ＳＧ１，ＳＧ２にそれぞれ含まれるオブジェクト同士の全ての組み合わせについて、類似度の評価を行う。なお、類似度の評価は類似度を百分率で表した評価値を算出することにより行われる。以下、類似度の評価について説明する。
【００４５】
まず、画像ＳＧ１の第１オブジェクトの第１候補名と同一のオブジェクト名を第１または第２候補名に有する画像ＳＧ２のオブジェクト（以下類似候補オブジェクトとする）を全て求める。例えば、画像ＳＧ１の第１オブジェクトの第１候補名が「空」である場合には、画像ＳＧ２において、第１または第２候補名が「空」である全てのオブジェクトが類似候補オブジェクトとして求められる。ここで、候補名は図３に示すように番号で表されているため、画像ＳＧ１の第１オブジェクトの第１候補名の番号と、画像ＳＧ２の全てのオブジェクトの第１および第２候補名の番号とを比較することにより、画像ＳＧ２における類似候補オブジェクトを全て求めることができる。
【００４６】
例えば、特徴情報が図５に示すものである場合、画像ＳＧ１の第１オブジェクトの第１候補名は「空」であり、画像ＳＧ２の第３オブジェクトの第１候補名が「空」、第４オブジェクトの第２候補名が「空」であることから、画像ＳＧ２の第３および第４オブジェクトは、画像ＳＧ１の第１オブジェクトの類似候補オブジェクトとして求められる。
【００４７】
なお、画像ＳＧ１の第１オブジェクトの第１候補名と同一のオブジェクト名を第１または第２候補名に有さない非類似候補オブジェクトについては、評価値は０％とされる。
【００４８】
以下、同様にして画像ＳＧ１の第ｋオブジェクト（ｋ＝１〜ｎ）の第１候補名と、画像ＳＧ２の全てのオブジェクトにおける第１および第２候補名とが比較されて、画像ＳＧ１の全てのオブジェクトについての類似候補オブジェクトが求められる。図６は、類似候補オブジェクトを求めた結果を示す図である。なお、図６においては、○が画像ＳＧ１の第ｋオブジェクトについての類似候補オブジェクトに対応し、×が非類似候補オブジェクトに対応する。
【００４９】
次いで、画像ＳＧ１の第ｋオブジェクトについての類似候補オブジェクトの全てについて、オブジェクト間の評価値を算出する。評価値は、下記の式（１）により算出される。
評価値＝（２−特徴量の距離×重み係数）／２×信頼度Ｃ１×信頼度Ｃ２ （１）
なお、信頼度Ｃ１は画像ＳＧ１の第ｋオブジェクトの第１候補名の信頼度、信頼度Ｃ２は、類似候補オブジェクトにおける画像ＳＧ１の第ｋオブジェクトの第１候補名に対応する第１または第２候補名の信頼度である。
【００５０】
また、重み係数は、特徴量の距離と信頼度とのどちらを重視するかを定めるための係数であり、通常は１を用いる。なお、特徴量の距離は下記の式（２）により算出する。
特徴量の距離＝√（（Ｙ１−Ｙ２）２＋（Ｃｒ１−Ｃｒ２）２＋（Ｃｂ１−Ｃｂ２）２＋（Ｔ１−Ｔ２）２＋Ｗａ×位置差２＋Ｗｂ×面積差２） （２）
【００５１】
上記式（２）において、特徴量の距離が１を越えた場合には、特徴量の距離を１とする。輝度Ｙ、色差Ｃｒ，ＣｂおよびテクスチャＴの添え字は、１が画像ＳＧ１についてのもの、２が画像ＳＧ２についてのものを表す。Ｗａ，Ｗｂは重み係数であり、オブジェクトの位置や大きさに関係なく、例えば海の画像について、海が存在している場所や海が画像中に占める範囲に関わりなく類似しているものと判定させたい場合には、入力手段６から重み係数Ｗａ，Ｗｂをゼロまたは小さい値にする旨を入力することにより、類似度の判定の際に位置差および面積差が寄与する程度を変更することができる。
【００５２】
また、位置差は下記の式（３）により算出される。面積差は特徴情報における大きさ情報の差分値である。
位置差＝√（（ｘ１−ｘ２）２＋（ｙ１−ｙ２）２） （３）
【００５３】
なお、類似候補オブジェクトが、これに対応する画像ＳＧ１の第ｋオブジェクトの第２候補名と同一の候補名を有する場合には、その第ｋオブジェクトの第２候補名についても上記式（１）によりオブジェクト間の評価値を求める。この場合、画像ＳＧ１の第ｋオブジェクトの第１候補名および第２候補名についての２つの評価値のうち、値が大きい方を最終的な評価値とする。
【００５４】
ここで、重み係数Ｗａ，Ｗｂがゼロで、画像ＳＧ１および画像ＳＧ２において、空および海が画像ＳＧ１の第１オブジェクトと画像ＳＧ２の第３および第４オブジェクトにのみしか存在しないとすると、画像ＳＧ１の第１オブジェクトと画像ＳＧ２の第３オブジェクトとの評価値は、空について５５％、海について２．６％となり、大きい方の評価値である５５％が最終的なオブジェクト間の評価値となる。また、画像ＳＧ１の第１オブジェクトと画像ＳＧ２の第４オブジェクトとの評価値は、空について１２％、海について２１％となり、大きい方の評価値である２１％が最終的なオブジェクト間の評価値となる。評価値の算出結果のテーブルＴＢを図７に示す。オブジェクト評価手段３は、図７に示すテーブルＴＢを評価結果として画像評価手段４に出力する。
【００５５】
画像評価手段４は、オブジェクト評価手段３から出力された評価結果を表すテーブルＴＢに基づいて、画像ＳＧ１，ＳＧ２の類似度を判定する。以下、類似度の判定について説明する。画像評価手段４は図７に示すテーブルＴＢを、図８に示すようにオブジェクト間の評価値が高い順に並び替える。なお、図８において評価点はオブジェクト間の評価値をそのまま用いる。
【００５６】
そして、評価点が基準値（本実施形態においては４０％とする）を越えたオブジェクト間の評価点の合計点に基づいて、下記の式（４）により、画像ＳＧ１および画像ＳＧ２の類似度を算出する。
類似度Ｒ０＝１−（基準値）／（評価点の合計値） （４）
【００５７】
式（４）により、評価点が大きいすなわち類似するオブジェクトが存在する可能性が高いほど、また評価点が大きいオブジェクトの個数が大きいほど（基準値）／（評価点の合計値）の値が小さくなり、類似度Ｒ０が１に近づく。これは、画像間において、空のオブジェクトのみが一致する場合よりも、海、空および木等の他のオブジェクトも一致する場合の方がより画像間の類似性が高いということに対応する。
【００５８】
なお、本実施形態の場合、画像ＳＧ１および画像ＳＧ２の類似度Ｒ０は０．７２となる。なお画像ＳＧ１および画像ＳＧ２において、オブジェクト間の評価点が基準値以上とならない場合には、類似度は０とされる。画像評価手段４は、画像間の類似度Ｒ０を画像整理手段５に出力する。
【００５９】
画像整理手段５は、画像評価手段４から入力された類似度Ｒ０と予め定められた画像類似範囲とを比較し、類似度が画像類似範囲内にある場合には、画像ＳＧ１および画像ＳＧ２が類似するものとして画像データＳＴ１，ＳＴ２を分類する。そして、分類結果とともに画像データＳＴ１，ＳＴ２が保管手段７に保管される。
【００６０】
以上の処理を、複数の画像データＳｋの全ての組み合わせについて行うことにより、類似する画像同士が同じカテゴリに分類されて保管手段７に保管される。なお、保管手段７には、複数の画像データＳｋについての画像データベースが作成される。図９は画像データベースの例を示す図である。図９に示すように、画像データベースＤＢ１は、保管手段７に保管された複数の画像データＳｋのそれぞれについて、ファイル名、作成日時、サイズ、属性、類似画像およびその他の情報を保管する。ここで、類似画像については、その画像データＳｋにより表される画像に類似する画像を表す情報が類似度Ｒ０が高い順に並べられて保管される。例えば、図８に示すように画像データＳＴ１については、類似画像は類似する順に画像データＳ４、画像データＳ７、画像データＳ３となる。
【００６１】
次いで、本実施形態の動作について説明する。図１０は本実施形態において行われる処理を示すフローチャートである。ここでは、複数の画像データを類似度に基づいて分類する処理について説明する。まず、複数の画像データＳｋから評価を行う画像データＳＴ１，ＳＴ２の組が決定され（ステップＳＴ１）、これらが第１および第２の画像入力手段１Ａ，１Ｂにそれぞれ入力される（ステップＳＴ２）。そして、第１および第２のメタデータ抽出手段２Ａ，２Ｂにおいて、画像データＳＴ１，ＳＴ２からメタデータＭ１，Ｍ２がそれぞれ抽出され（ステップＳ３）、オブジェクト評価手段３に入力される。
【００６２】
オブジェクト評価手段３においては、メタデータＭ１，Ｍ２に含まれるオブジェクト毎の特徴情報に基づいて、上述したようにオブジェクト間の評価値が算出され（ステップＳ４）、さらに図７に示すようなテーブルＴＢが作成される（ステップＳ５）。テーブルＴＢは画像評価手段４に入力され、ここで画像間の類似度Ｒ０が算出される（ステップＳ６）。算出された類似度Ｒ０は画像整理手段５に入力され、類似度Ｒ０に基づいて画像データＳＴ１，ＳＴ２が分類される（ステップＳ７）。
【００６３】
次いで、全ての画像データＳｋの組み合わせについて分類が完了したか否かが判定され（ステップＳ８）、ステップＳ８が否定されると、新たな画像データの組を決定し（ステップＳ９）、ステップＳＴ２に戻る。ステップＳ８が肯定されると、分類結果に基づいて画像データベースＤＢ１が更新され、（ステップＳＴ１０）、処理を終了する。
【００６４】
なお、保管手段７にネットワークを介して接続された端末装置１０から、保管手段７に保管された複数の画像データＳｋのうちの所定の画像データの出力指示があった場合には、画像データベースＤＢ１が参照されて、その画像データとともにその画像データに類似する他の画像データが、類似度が高い順に並べられて端末装置１０に出力される。例えば、画像データベースＤＢ１が図８に示すものである場合において、端末装置１０から画像データＳＴ１の出力指示があると、画像データＳＴ１とともに画像データＳ４，Ｓ７，Ｓ３がこの順序で並べられて端末装置１０に出力される。
【００６５】
また、端末装置１０から保管手段７に保管された複数の画像データＳｋについて所定の検索条件により検索が行われた場合、検索された画像データとともに、画像データベースＤＢ１が参照されて、検索された画像データに類似する他の画像データが、類似度が高い順に並べられて出力される。例えば、画像データベースＤＢ１が図８に示すものである場合において、検索された画像データが画像データＳＴ１である場合、画像データＳＴ１とともに画像データＳ４，Ｓ７，Ｓ３がこの順序で並べられて端末装置１０に出力される。
【００６６】
このように、本実施形態においては、画像ＳＧ１，ＳＧ２に含まれるオブジェクトに関する特徴情報に基づいて、まず、画像間のオブジェクト間の評価値を算出し、オブジェクト間の評価値に基づいて画像ＳＧ１，ＳＧ２間の類似度Ｒ０を算出するようにしたものである。このため、画像を見た場合の印象に影響を与えるオブジェクトに基づいた画像間の類似度を算出することができ、より人間の感性にあった画像間の類似度の判定を行うことができる。
【００６７】
また、画像間の類似度に基づいて、複数の画像データＳｋを分類して保管することにより、後で保管された複数の画像データＳｋから所定の画像データを出力したり検索したりする場合に、所定の画像データに類似する画像も併せて出力したり検索することが容易となる。
【００６８】
また、画像間の類似度に基づいて、複数の画像データＳｋを分類し、所定の画像データの出力指示があった場合には、所定の画像データに類似する画像データを順次出力することにより、複数の画像間の類似度を容易に認識することができる。
【００６９】
なお、上記実施形態においては、図１１に示すように、画像データベースＤＢ１に、各画像に含まれるオブジェクトおよび各オブジェクトについての評価値が高い画像データの情報を保管してもよい。この場合、保管手段７に接続された端末装置１０においては、出力された画像データについてのオブジェクトが選択可能となっている。そして、画像データベースＤＢ１が図１１に示すものである場合、画像データＳＴ１の出力指示があり、さらに画像データＳＴ１により表される画像に含まれる複数のオブジェクトからオブジェクト１が選択されると、オブジェクト１との評価値が高いオブジェクトを含む画像データＳＴ２，Ｓ９，Ｓ７がこの順序で端末装置１０に出力される。これにより、端末装置１０において、ある画像に含まれる特定のオブジェクト（例えば海）を含む複数の画像を収集することが容易となる。
【００７０】
また、上記実施形態においては、端末装置１０にある画像データを入力し、入力された画像データ（以下入力画像データとする）と類似する画像データを、保管手段７に保管された複数の画像データＳｋから検索し、検索された類似する画像データを端末装置１０に出力するようにしてもよい。この場合、まず、入力画像データのメタデータと保管手段７に保管された複数の画像データＳｋのメタデータのそれぞれとに基づいて、入力画像データと複数の画像データＳｋのそれぞれとの類似度Ｒ０を上記実施形態と同様に算出する。そして算出された類似度Ｒ０が高い順に、入力画像データと類似する画像データを保管手段７から端末装置１０に出力する。
【００７１】
このように、本発明による類似度判定方法は、入力画像データと類似する画像データを検索する場合にも適用することができる。
【図面の簡単な説明】
【図１】本発明の実施形態による類似度判定装置を備えた画像整理装置の構成を示す概略ブロック図
【図２】メタデータに含まれる特徴情報を示す図
【図３】オブジェクト名の例を示す図
【図４】自己組織化マップの例を示す図
【図５】特徴情報の具体的な例を示す図
【図６】類似候補オブジェクトを求めた結果を示す図
【図７】評価値の算出結果を示すテーブル
【図８】オブジェクト間の評価値が高い順に並び替えられたテーブル
【図９】画像データベースの例を示す図
【図１０】本実施形態において行われる処理を示すフローチャート
【図１１】画像データベースの他の例を示す図
【符号の説明】
１ 画像入力手段
２ メタデータ抽出手段
３ オブジェクト評価手段
４ 画像評価手段
５ 画像整理手段
６ 入力手段
７ 保管手段
Claims (12)
- オブジェクトに関する特徴を表す特徴情報が付与または関連付けされた複数の画像間の類似度を判定する類似度判定方法であって、
前記複数の画像のそれぞれについて、前記特徴情報に基づいて前記複数の画像に含まれるオブジェクト間の類似度を算出し、
該オブジェクト間の類似度に基づいて、前記複数の画像間の類似度を算出することを特徴とする類似度判定方法。 - 前記複数の画像間の類似度に基づいて、前記複数の画像を分類して保管することを特徴とする請求項１記載の類似度判定方法。
- 前記複数の画像間の類似度に基づいて、前記保管された画像を順次出力することを特徴とする請求項２記載の類似度判定方法。
- 前記複数の画像に含まれるオブジェクト間の類似度にも基づいて、前記複数の画像を分類して保管し、前記保管された画像を前記オブジェクト間の類似度に基づいて順次出力することを特徴とする請求項３記載の類似度判定方法。
- オブジェクトに関する特徴を表す特徴情報が付与または関連付けされた複数の画像間の類似度を判定する類似度判定装置であって、
前記複数の画像のそれぞれについて、前記特徴情報に基づいて、前記複数の画像に含まれるオブジェクト間の類似度を算出するオブジェクト評価手段と、
該オブジェクト間の類似度に基づいて、前記複数の画像間の類似度を算出する画像評価手段とを備えたことを特徴とする類似度判定装置。 - 前記複数の画像間の類似度に基づいて、前記複数の画像を分類して保管する保管手段をさらに備えたことを特徴とする請求項５記載の類似度判定装置。
- 前記複数の画像間の類似度に基づいて、前記保管された画像を順次出力する出力手段をさらに備えたことを特徴とする請求項６記載の類似度判定装置。
- 前記保管手段は、前記複数の画像に含まれるオブジェクト間の類似度にも基づいて、前記複数の画像を分類して保管する手段であり、
前記出力手段は、前記保管された画像を前記オブジェクト間の類似度に基づいて順次出力する手段であることを特徴とする請求項７記載の類似度判定装置。 - オブジェクトに関する特徴を表す特徴情報が付与または関連付けされた複数の画像間の類似度を判定する類似度判定方法をコンピュータに実行させるためのプログラムであって、
前記複数の画像のそれぞれについて、前記特徴情報に基づいて、前記複数の画像に含まれるオブジェクト間の類似度を算出する手順と、
該オブジェクト間の類似度に基づいて、前記複数の画像間の類似度を算出する手順とを有するプログラム。 - 前記複数の画像間の類似度に基づいて、前記複数の画像を分類して保管する手順をさらに有する請求項９記載のプログラム。
- 前記複数の画像間の類似度に基づいて、前記保管された画像を順次出力する手順をさらに有する請求項１０記載のプログラム。
- 前記複数の画像に含まれるオブジェクト間の類似度にも基づいて、前記複数の画像を分類して保管する手順と、
前記保管された画像を前記オブジェクト間の類似度に基づいて順次出力する手順とをさらに有する請求項１１記載のプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249207A JP4245872B2 (ja) | 2002-08-28 | 2002-08-28 | 類似度判定方法および装置並びにプログラム |
| US10/644,759 US20040042663A1 (en) | 2002-08-28 | 2003-08-21 | Method, apparatus, and program for similarity judgment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002249207A JP4245872B2 (ja) | 2002-08-28 | 2002-08-28 | 類似度判定方法および装置並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004086737A true JP2004086737A (ja) | 2004-03-18 |
| JP4245872B2 JP4245872B2 (ja) | 2009-04-02 |
Family
ID=31972558
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002249207A Expired - Fee Related JP4245872B2 (ja) | 2002-08-28 | 2002-08-28 | 類似度判定方法および装置並びにプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20040042663A1 (ja) |
| JP (1) | JP4245872B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7474808B2 (en) | 2003-10-08 | 2009-01-06 | Fujifilm Corporation | Image processing device and image processing method |
| JP2011028497A (ja) * | 2009-07-24 | 2011-02-10 | Sharp Corp | 情報処理装置、情報処理方法及び情報処理プログラム |
| KR101608248B1 (ko) | 2009-07-31 | 2016-04-01 | 삼성전자주식회사 | 사진을 분류하는 장치 및 방법 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050097120A1 (en) * | 2003-10-31 | 2005-05-05 | Fuji Xerox Co., Ltd. | Systems and methods for organizing data |
| US20050234896A1 (en) * | 2004-04-16 | 2005-10-20 | Nobuyuki Shima | Image retrieving apparatus, image retrieving method and image retrieving program |
| JP4957922B2 (ja) * | 2006-06-07 | 2012-06-20 | 日本電気株式会社 | 画像方向判定装置、画像方向判定方法、および画像方向判定用プログラム |
| US8390877B2 (en) * | 2007-05-25 | 2013-03-05 | Xerox Corporation | Exportation of scanner's internal image auto-segmentation |
| WO2013099038A1 (ja) * | 2011-12-29 | 2013-07-04 | 楽天株式会社 | 画像検索システム、画像検索方法、画像検索装置、プログラム、及び情報記憶媒体 |
| CN105678127A (zh) * | 2014-11-21 | 2016-06-15 | 阿里巴巴集团控股有限公司 | 一种身份信息的验证方法和装置 |
| US10051036B1 (en) * | 2015-01-23 | 2018-08-14 | Clarifai, Inc. | Intelligent routing of media items |
| CN111581724B (zh) * | 2020-05-09 | 2023-05-02 | 智慧航海（青岛）科技有限公司 | 一种基于船舶试验仿真模型的评估方法 |
| US20220051017A1 (en) * | 2020-08-11 | 2022-02-17 | Nvidia Corporation | Enhanced object identification using one or more neural networks |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5930783A (en) * | 1997-02-21 | 1999-07-27 | Nec Usa, Inc. | Semantic and cognition based image retrieval |
| US6562077B2 (en) * | 1997-11-14 | 2003-05-13 | Xerox Corporation | Sorting image segments into clusters based on a distance measurement |
| US6163622A (en) * | 1997-12-18 | 2000-12-19 | U.S. Philips Corporation | Image retrieval system |
| US6240424B1 (en) * | 1998-04-22 | 2001-05-29 | Nbc Usa, Inc. | Method and system for similarity-based image classification |
| US6240423B1 (en) * | 1998-04-22 | 2001-05-29 | Nec Usa Inc. | Method and system for image querying using region based and boundary based image matching |
| US6721449B1 (en) * | 1998-07-06 | 2004-04-13 | Koninklijke Philips Electronics N.V. | Color quantization and similarity measure for content based image retrieval |
| KR100450793B1 (ko) * | 2001-01-20 | 2004-10-01 | 삼성전자주식회사 | 영역 분할된 영상의 영역 특징치 정합에 기초한객체추출장치 및 그 방법 |
| KR100451649B1 (ko) * | 2001-03-26 | 2004-10-08 | 엘지전자 주식회사 | 이미지 검색방법과 장치 |
| US6804684B2 (en) * | 2001-05-07 | 2004-10-12 | Eastman Kodak Company | Method for associating semantic information with multiple images in an image database environment |
| US6768816B2 (en) * | 2002-02-13 | 2004-07-27 | Convey Corporation | Method and system for interactive ground-truthing of document images |
-
2002
- 2002-08-28 JP JP2002249207A patent/JP4245872B2/ja not_active Expired - Fee Related
-
2003
- 2003-08-21 US US10/644,759 patent/US20040042663A1/en not_active Abandoned
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7474808B2 (en) | 2003-10-08 | 2009-01-06 | Fujifilm Corporation | Image processing device and image processing method |
| JP2011028497A (ja) * | 2009-07-24 | 2011-02-10 | Sharp Corp | 情報処理装置、情報処理方法及び情報処理プログラム |
| KR101608248B1 (ko) | 2009-07-31 | 2016-04-01 | 삼성전자주식회사 | 사진을 분류하는 장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20040042663A1 (en) | 2004-03-04 |
| JP4245872B2 (ja) | 2009-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2063393B1 (en) | Color classifying method, color recognizing method, color classifying device, color recognizing device, color recognizing system, computer program, and recording medium | |
| JP5721673B2 (ja) | 塗色データベース作成方法、作成システム、作成プログラム及び記録媒体 | |
| CN110059697B (zh) | 一种基于深度学习的肺结节自动分割方法 | |
| CN107844784A (zh) | 人脸识别方法、装置、计算机设备和可读存储介质 | |
| CN109978918A (zh) | 一种轨迹追踪方法、装置和存储介质 | |
| JP4245872B2 (ja) | 類似度判定方法および装置並びにプログラム | |
| CN109657715B (zh) | 一种语义分割方法、装置、设备及介质 | |
| CN112966646A (zh) | 基于双路模型融合的视频分割方法、装置、设备及介质 | |
| CN106845341A (zh) | 一种基于虚拟号牌的无牌车辆识别方法 | |
| CN105303163B (zh) | 一种目标检测的方法及检测装置 | |
| CN112861659B (zh) | 一种图像模型训练方法、装置及电子设备、存储介质 | |
| CN110598715A (zh) | 图像识别方法、装置、计算机设备及可读存储介质 | |
| WO2019167784A1 (ja) | 位置特定装置、位置特定方法及びコンピュータプログラム | |
| CN113449806A (zh) | 基于层次结构的二阶段林业害虫识别与检测系统及方法 | |
| CN107545049A (zh) | 图片处理方法及相关产品 | |
| CN114332889A (zh) | 文本图像的文本框排序方法和文本图像的文本框排序装置 | |
| CN109886281A (zh) | 一种基于四元数超限学习机彩色图像识别方法 | |
| CN116089645A (zh) | 一种基于层次化风格的条件文本-电商图片检索方法和系统 | |
| CN110334628B (zh) | 一种基于结构化随机森林的室外单目图像深度估计方法 | |
| CN114510594A (zh) | 一种基于自注意力机制的传统纹样子图检索方法 | |
| CN114492634A (zh) | 一种细粒度装备图片分类识别方法及系统 | |
| CN113869418A (zh) | 一种基于全局注意力关系网络的小样本船舶目标识别方法 | |
| CN112819510A (zh) | 基于服饰多属性识别的时尚趋势预测方法、系统以及设备 | |
| CN115953330B (zh) | 虚拟场景图像的纹理优化方法、装置、设备和存储介质 | |
| CN112183303A (zh) | 变电设备图像分类方法、装置、计算机设备和介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050208 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080401 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080602 |
|
| RD13 | Notification of appointment of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7433 Effective date: 20080724 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080729 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080724 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080929 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090106 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090107 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4245872 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120116 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130116 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140116 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |