JP2003330941A - 類似画像分類装置 - Google Patents
類似画像分類装置Info
- Publication number
- JP2003330941A JP2003330941A JP2002133125A JP2002133125A JP2003330941A JP 2003330941 A JP2003330941 A JP 2003330941A JP 2002133125 A JP2002133125 A JP 2002133125A JP 2002133125 A JP2002133125 A JP 2002133125A JP 2003330941 A JP2003330941 A JP 2003330941A
- Authority
- JP
- Japan
- Prior art keywords
- image
- similar
- image group
- scene
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
似した画像を類似シーンセットとして分類し各画像を分
類する類似画像分類装置を提供する。 【解決手段】本発明の一態様によると、類似画像検査の
対象の画像群を入力する画像入力部と、前記入力された
各画像群の特定のパラメータを用いて画像群相互の類似
度を算出する類似度算出部と、前記求められた類似度を
閾値により分類し、類似するシーンセットを画像群の中
から抽出し、類似するシーンセットに属さない画像群を
孤立画像群セットとして抽出する類似シーンセット抽出
部と、前記抽出された前記類似シーンセットと前記孤立
画像群セットの少なくとも一方に対し、前記画像群に予
め付与された付帯情報を用いて、シーンセットまたはシ
ーンセットに分類された画像群の出力様式を設定する出
力様式設定部と、前記設定された出力様式に基づいて、
選択された出力セットの画像を出力するシーンセット画
像出力部を設けたことを特徴とする類似画像検崇装置が
提供される。
Description
に係り、特に、何らかの画像群に対して各画像中の背景
や主要被写体などのシーンが類似した画像をいくつかの
類似シーンセットとして分類する類似画像分類装置に関
する。
要被写体などのシーンが類似した画像を画像の特徴ベク
トルを用いて検索する装置が、特開平5−46765号
公報、特開平11−096368号公報、特開2000
−029885号公報等で知られている。
ング手法(例えば、特開平5−298452号公報、k
−mcans法、LBG法など)を用いれば、入力画像
を代表として複数個ピックアップすることにより、いく
つかの類似シーンセットとして分類することができる。
に、まず、ステップS1で分類対象となる画像群を準備
し、ステップS2でその画像群に対して各画像の特徴を
表す色、形、テクスチャー構造、サイズなどを示す特徴
量ベクトルを抽出する。
れた特徴量を並べることにより、特徴量ベクトルとす
る。
徴量ベクトル空間に配置した特徴量ベクトル群に対し、
代表ベクトルを用いたクラスタリングを行い、ステップ
S5で各画像を類似シーン毎に分類する。
すように類似画像シーンごとに集めて画面に配置して出
力する。
(ここでは類似シーンセットと呼ぶ)に分類するケース
としては、例えば、デジタルカメラで撮影した多くの画
像群からシーン毎に写りの良い画像を検索したい時(例
えば、アルバム用にシーン毎に一枚ずつ掲載したい時)
に、まず同様のシーン毎に画像を分類し、その中から良
く写っていた画像を選択するようなケースが考えられ
る。
に、類似シーンセットにはユーザがほぼ同一な写真(例
えば、シチュエーションが同じで表情だけ異なるなど)
と思えるほど大きく類似したものが属し、あまり似てい
ない画像はないことが望ましい。
する場合、画像枚数は費用や時間的な面から極力少なく
することがよいので、ユーザは必要最小限の枚数をダウ
ンロードしたいと思っている。
に異なるシーンの画像が入っていることは、明らかに望
ましくないことである。
ないまたは1枚しか入っていないシーンが生じないよう
に代表ベクトル数を適当に(図3中では、3個)設定し
て分類する。
シーン毎に対応した空間領域の大きさはある程度大きく
ならざるをえないため、類似シーンセット中、類似した
組合せの他にあまり似ていない画像(図3中、コメント
で記載)が挿入されやすいという問題点がある。
うに代表ベクトル数を増やし、各シーン毎の領域の大き
さを小さくすることが考えられるが、同時にシーン数
(図4中では13個)が大きく増え、かつ画像がないあ
るいは1枚しか入っていないシーン(図4中では代表ベ
クトル記号で2,3,5,6,7,8,9,11,1
2,13)が生じやすくなるという問題が生じる。
を増やしても空間領域の大きさはシーン毎で大きく異な
るため、大きな領域に対応するシーンが依然としていく
つか残ってしまう。
ン(図4中では、代表ベクトル記号4)をなくすことは
できない。
類似シーンセットの出力様式として、画像の類似性に対
応して類似している画像は、より近い配置あるいは出力
順序で出力されていることが望ましいが、従来技術では
このことに関して考慮していない。
ので、何らかの画像群に対して各画像中の背景や主要被
写体などのシーンが類似した画像をいくつかの類似シー
ンセットとして分類する類似画像分類装置であって、シ
ーン数を大きく増やしたり、0ないし1枚しか画像がな
いシーンを生じさせたりすることなく、各類似シーンセ
ットに、ほぼ類似した画像が属するようにシーンを分類
でき、かっ、ユーザにとって所望の画像を検索しやすい
ように、類似している画像がより近い配置または順序で
出力することができるようにした類似画像分類装置を提
供することを目的とする。
題を解決するために、(1)画像群に属する各画像のシ
ーンが類似した画像を類似シーンセットとして分類し各
画像を分類する類似画像分類装置であって、類似画像検
査の対象の画像群を入力する画像入力部と、前記画像入
力部から入力された各画像群の特定のパラメータを用い
て画像群相互の類似度を算出する類似度算出部と、前記
類似度算出部により求められた類似度を閾値により分類
し、類似するシーンセットを画像群の中から抽出し、類
似するシーンセットに属さない画像群を孤立画像群セッ
トとして抽出する類似シーンセット抽出部と、前記類似
シーンセット抽出部により抽出された前記類似シーンセ
ットと前記孤立画像群セットの少なくとも一方に対し、
前記画像群に予め付与された付帯情報を用いて、シーン
セットまたはシーンセットに分類された画像群の出力様
式を設定する出力様式設定部と、前記出力様式設定部で
設定された出力様式に基づいて、選択された出力セット
の画像を出力するシーンセット画像出力部を設けたこと
を特徴とする類似画像分類装置が提供される。
用を説明する。
対象画像群aを入力する。続いて、画像間類似度算出部
2において、分類対象画像群aに対し相互の類似度を算
出する。
ば、相互の画像の色ヒストグラムを比較する、画像相関
をとる、などの方法があるが、どのような観点で類似し
た画像を分類したいかによって適当に選択すればよい。
意味をもった数値として算出されればよい。
画像間類似度算出部2で算出した類似度を閾値処理する
ことにより類似シーンセットbとして抽出し、類似シー
ンセットに属さない画像群を孤立画像群セットcとして
抽出する。
ても属する画像群は、互いに類似した画像になるよう
に、適当に共通した閾値を設定して閾値処理する。
ンセットbと孤立画像群セットcの少なくとも一方に対
し、分類対象画像群a中のそれぞれの画像毎に付帯する
付帯情報dを用いて、セットあるいはセット内の画像群
の出力様式を設定する。
名、画像が撮影された場所、画像に関して後で記入した
メモ、画像を解析して自動的に付与したキーワードなど
が考えられる。
ワードは配置、順番を近くする、撮影日時やファイル情
報を文字順、数値順に並べるなどの様式を設定し、セッ
トあるいはセット内の画像群を出力すると、付帯情報d
の内容が近い画像は画像内容も類似しやすい傾向がある
ので、結果としてユーザにとって所望の画像を検索しや
すいように、類似している画像がより近い配置または順
序で出力されることになる。
はセット内の画像単位のうちのいずれでもよい。
て結果を一覧するときに見やすく、セット内の画像単位
毎に設定すれば画像を単位として結果を一覧するときに
見やすくなり、両方セットすれば両方の見方で見やすく
なる。
し、画像を単位として付帯情報d(ここでは、撮影日
時)を用いて、出力様式を設定すれぱ、孤立画像群セッ
トc内の画像群は、類似シーンセットbに比べて画像間
の類似度は低いが、付帯情報dを用い出力様式を設定す
ることにより、類似した画像が近くに配置され見やすく
なる。
力するときの順番あるいは一括で表示するときの画面配
置のいずれか、あるいは両方をさすものとする。
た出力様式に基づき出力セットeを出力する。
部2において算出した相互の類似度を、適当な共通閾値
を用いて閾値処理するので、このことを特徴量空間との
アナロジーで考えると、各類似シーンが対応する領域を
すべて小さく、かつ共通に設定できることに相当する。
像の組合せの他にあまり似ていない画像が挿入されやす
いという問題点をなくすことができる。
シーンセットに属さない画像群をまとめて孤立画像群セ
ットcとして抽出するので、シーン数を大きく増やした
り、0ないし1枚しか画像がないシーンを生じさせたり
することがない。
ットbと孤立画像群セットcに対し、分類対象画像群a
中のそれぞれの画像毎に付帯する付帯情報dを用いて、
セットあるいはセット内の画像群の出力様式を設定する
ので、ユーザにとって所望の画像を検索しやすいよう
に、類似している画像をより近い配置または順序で出力
することができる。
るために、(2) 前記出力様式設定部で用いる付帯情
報は各画像の撮影日時あるいは更新日時であり、日時の
昇順あるいは降順にシーンセットあるいはシーンセット
内の画像群の出力様式を設定することを特徴とする
(1)に記載の類似画像分類装置が提供される。
では、付帯情報dとして画像の撮影日時あるいは更新日
時を用い、日時の昇順あるいは降順に、セットあるいは
セット内の画像群の出力様式を設定する。
明する。
書き込む時の時間が近い画像は、「近い時間に同一な写
真を多くとる傾向が多い」、「データ変換等のファイル
更新時にファイルの更新時間は変更されるが、その際、
近い撮影日時にとった写真をまとめて変換処理すること
が多い」との理由により、内容が類似している傾向が、
特に、顕著である。
影日時あるいは更新日時を用いると、類似している画像
がより近い配置または順序で出力されることになるの
で、よりユーザにとって所望の画像を検索しゃすいよう
になる。
像日時を推定できるように設定されているデジタルカメ
ラで撮影した場合には、ファイル名を読み取って入力し
てもよいし、画像データ中のヘッダに書きこまれる付加
情報から読み取るようにしても良い。
時は、多くの工数をかけて画像の内容を解析しなくても
読み取れる情報なので、画像内容を読み込まなくても簡
単な処理で実現できるという利点もある。
位は本発明(1)と同様、セット単位あるいはセット内
の画像単位のうちのいずれでもよい。
として、画像の類似性に対し顕著に影響する画像の撮影
日時あるいは更新日時を用い、昇順あるいは降順に出力
様式を設定するので、よりユーザにとって所望の画像を
検索しやすいようになる。
は、特に、画像内容を読み込まなくても得ることができ
る情報であるので、出力様式の設定処理がより簡単にで
きるといえる。
るために、(3) 前記出力様式設定部で用いる付帯情
報は各画像のファイル名であり、ファイル名の中の数値
を用いて、数値の昇順あるいは降順にシーンセットある
いはシーンセット内の画像群の出力様式を設定すること
を特徴とする(1)に記載の類似画像分類装置が提供さ
れる。
は、付帯情報dとして画像のファイル名を用い、ファイ
ル名中の数値の昇順あるいは降順に、セットあるいはセ
ット内の画像群の出力様式を設定する。
明する。
の撮影日時が近い画像は内容が類似している傾向が、特
に、顕著である。
ているはずの撮影日時を設定し忘れていた」、「電池が
切れてしまった」等の理由で、正しく日時が書き込まれ
ていないケースもある。
付与するファイル名には撮影した順序を示す数値が入う
ている(例えば、「○△□001.JPG」「×××0
02.JPG」などで、○△□×には各メーカが設定し
ている英数字が入る)。
G」、画像B=「×××003.JPG」、画像C=×
××010.JPG」だったとすれば、画像A、画像
B、画像Cの順に撮影されたと予測できる。
イル名を用い、ファイル名中の数値の昇順あるいは降順
に、セットあるいはセット内の画像群の出力様式を設定
すると、類似している画像がより、近い配置または順序
で出力されるだけでなく、デジタルカメラの日時設定の
正誤に関わらず実現できるという利点がある。
は、多くの工数をかけて画像の内容を解析しなくても読
み取れる情報なので、特に、画像内容を読み込まなくて
も簡単な処理で実現できるという利点もある。
は本発明(1)と同様、セット単位あるいはセット内の
画像単位のうちのいずれでもよい。
るために、(4) 前記類似シーンセット抽出部で抽出
された孤立画像群セットに分類された画像群に対し、前
記類似シーンセット抽出部を用いて、閾値を変更し画像
群を再抽出し、再抽出類似シーン類似シーンセットと再
抽出孤立画群セットとして分類し、前記出力様式設定部
で前記類似シーンセットと前記再抽出孤立画群セットに
対して、シーンセットまたはシーンセット内の画像群の
出力様式を設定することを特徴とする(1)から(3)
のいずれか一つに記載の類似画像分類装置が提供され
る。
用を説明する。
部3で抽出された孤立画像群セットc内の画像群に対
し、少なくとも1回以上、本発明(1)ないし(3)の
類似シーンセット抽出部3(図6中では、作用を区別す
るため、類似シーンセット抽出部3′と記述)を用い
て、再抽出類似シーンセットc1と再抽出孤立画像群セ
ットc2として抽出し、類似シーンセットbと再抽出類
似シーンセットc1と再抽出孤立画像群セットc2に対
し、セットあるいはセット内の画像群の出力様式を設定
する。
半部)で用いる閾値は、類似シーンセット抽出部3(前
半部)で用いる閾値から、より類似度が低いものも類似
シーンになるように変更しておく。
であるため、類似シーンセットbを抽出した時とは違う
尺度で再抽出類似シーンセットc1を抽出することが必
要であるが、このように閾値を変更することにより、異
なる尺度にすることが可能となる。
像群に対して更にシーン分類を行い、その範疇で類似し
たシーンセットとして抽出するので、結果として、孤立
画像群セットに属する画像が減少し、よりユーザにとっ
て所望の画像を検索しやすいようになる。
いる場合には、再抽出孤立画像群セヅトc2に対し、本
発明(1)ないし(3)の類似シーンセット抽出部3を
用いて、再抽出類似シーンセットc3と再抽出孤立画像
群セットc4として抽出し、出力様式設定部4では、類
似シーンセットbと再抽出類似シーンセットc1と再抽
出孤立画像群セットc3、再抽出孤立画像群セットc4
に対し、セットあるいはセット内の画像群の出力様式を
設定すればよい。
出孤立画像群セットに対し、類似シーンセットを孤立画
像群セットを順次、抽出する。
での類似度閾値処理の閾値は除々に(より類似度が低い
ものも類似シーンになるように)変更していけばよい。
るために、(5) 前記類似度算出部は、類似度の計算
中に特定の次元の計算により画像群の類似度が低くなる
ことが算出された場合には、それ以降の類似度の計算を
中止することを特徴とする(1)から(4)のいずれか
一つに記載の類似画像分類装置が提供される。
算出部2で類似度を算出する工程の途中で、類似シーン
セット抽出部3,3′で行われる閾値処理で類似度が低
いと判断される場合には,該当する画像間のその後の類
似度の算出を行わない。
クトル間の類似度を計算することが行われるが、その際
に、すべての次元を計算しなくても、類似度が低いこと
は途中で判明できる。
た後は、該当する両画像は同一シーンセットに属するこ
とはないことが明白になるので、それ以上、類似度を計
算する必要がないことにより、処理が高速化されるとい
う利点がある。
いはセット内の様式を設定する場合に、全ての類似度を
利用して設定することも考えられるが、その場合、全て
の類似度を計算しなくてはならない。
像の撮影日時等、画像の内容を解析しなくても獲得でき
る情報を用いてセットあるいはセット内の様式を設定す
れば、全ての類似度を計算しなくても(従って、高速化
を実現した上で)、ユーザにとって所望の画像を検索し
やすいように、類似している画像をより近い配置または
順序で出力することができる。
るために、(6) 前記シーンセット画像出力部は、画
像情報を受信し表示を行う携帯情報端末であることを特
徴とする(1)から(5)のいずれか一つに記載の類似
画像分類装置が提供される。
で画像をダウンロードする場合、画像枚数は費用や時間
的な面を考えると、極力少なくすることがよいので、ユ
ーザは必要最小限の枚数をダウンロードしたいと思って
いる。
た画像群に異なるシーンの画像が入っていることは明ら
かに望ましくないことである。
で述べてきたように、類似シーンセット中に類似した画
像の組合せの他にあまり似ていない画像が挿入されやす
いという問題点をなくすことができるという利点を有し
ているので、シーンセット出力部5である外部からの画
像の通信を受けることのできる携帯端末を用いて、ユー
ザにとって所望の画像を検索しやすいようにすることが
できる。
の形態について説明する。
の第1の実施の形態を説明する。
(2)が対応する。
し、類似シーンセット毎に分類することを考える。
象画像群a(図7参照)として、例えば、市販されてい
る電子画像集を入力する。
分類対象画像群に対し相互の類似度を算出する。
ば、相互の画像の色ヒストグラムを比較する、画像相関
をとる、などの方法があるが、ここでは、画像毎に○、
△、□、×などの記号(塗り、黒塗りの区別含む)を特
徴づける特徴量ベクトルを算出し、特徴ベクトル聞の距
離を類似度とし、「画像間の類似度が高い=特徴ベクト
ル間の距離が小さい」となるように設定する。
画像間類似度算出部2で算出した類似度を閾値処理する
ことにより、類似シーンセットbとして抽出し、類似シ
ーンセットに属さない画像群を孤立画像群セットcとし
て抽出する(図8参照)。
セットbと孤立画像群セットcの少なくとも一方に対
し、分類対象画像群a中のそれぞれの画像毎に付帯する
付帯情報dを用いて、セットあるいはセット内の画像群
の出力様式を設定する。
・ファイル名、画像が撮影された場所、画像に関して後
で記入したメモ、画像を解析して自動的に付与したキー
ワードなどが考えられるが、ここでは、セットの様式に
対しては画像が所属していたフォルダ名、セット内の画
像群に対しては撮影日時とする。
のうち、最も画像数の多いフォルダ名を代表のフォルダ
名として選択するものとし、また、孤立画像群セットは
最後に出力するようにする。
た出力様式に基づき、出力セットe(図9参照)を出力
する。
ーソナルコンピュータ(PC)のモニターとすればよ
い。
2おいて算出した相互の類似度を、適当な共通閾値を用
いて閾値処理するので、このことを特徴量空間とのアナ
ロジーで考えると、各類似シーンが対応する領域をすべ
て小さく、かつ共通に設定できることに相当する。
像の組合せの他にあまり似ていない画像が挿入されやす
いという問題点をなくすことができる。
シーンセットに属さない画像群をまとめて孤立画像群セ
ットcとして抽出するので、シーン数を大きく増やした
り、0ないし1枚しか画像がないシーンを生じさせたり
することがない。
ットbと孤立画像群セットcに対し、分類対象画像群a
中のそれぞれの画像毎に付帯する付帯情報dを用いて、
セットおよびセット内の画像群の出力様式を設定するの
で、ユーザにとって所望の画像を検索しやすいように、
類似している画像をより近い配置または順序で出力する
ことができる。
群に対し、画像を単位として付帯情報d(ここでは、撮
影日時)を用いて出力様式を設定しているが、孤立画像
群セットc内の画像群は類似シーンセットbに比べて画
像間の類似度は低いにも関わらず、見やすくさせること
ができるという効果がある。
で、比較的濃い画像の2枚と、薄い文字画像の2枚が分
離して表示されている。
商標)ディスクや、CDROMなどのメモリ媒体などか
ら読み出す方式の他、デジタルカメラなどから直接入力
できるようにしてもよい。
セット抽出部3、3′、出力様式設定部4、及び各部を
構成する構成演算部分はすべて専用のプロセッサを便用
してもよいし、プログラムを読み込んだCPUが計算す
るようにしてもよい。
てディスプレイ等に出力させてもよいし、携帯電話、P
DA端末などの送信して出力させてもよいし、情報をメ
モリ等に書き出してもよい。
像集の他、WEBサイトの画像群、PC内の画像群など
でもよい。
もすべて同様に考えて良い。
よび図9を用いて、本発明の第3の実施の形態について
説明する。
(3)が対応する。
の実施の形態と同様に、図7に示すような画像群に対
し、類似シーンセット毎に分類することを考える。
dは、セット内の画像群画像に対して画像のファイル名
を用い、ファイル名中の数値の昇順あるいは降順に、セ
ットあるいはセット内の画像群の出力様式を設定する。
態と同様、図9に示すような出力セットを得ることがで
きる。
に組み込まれているはずの撮影日時を設定し忘れてい
た」、「電池が切れてしまった」等の理由で、正しく日
時が書き込まれていないケースも、画像A=「×××0
01.JPG」、画像B=「×××003.JPG」、
画像C=「×××010.JPG」だったとすれば、画
像A、画像B、画像Cの順に撮影されたと予測すること
ができるので、デジタルカメラの日時設定の正誤に関わ
らず、類似している画像をより近い配置または順序で出
力することができる。
画像の内容を解析しなくても読み取れる情報なので、特
に、画像内容を読み込まなくても簡単な処理で実現する
ことができるという利点もある。
および図11を用いて、本発明の第3の実施の形態につ
いて説明する。
し(4)が対応する。
な画像群(孤立画像群になりそうな互いにあまり似てい
ない画像が多い。図10中<孤立>と表示)に対し、類
似シーンセット毎に分類することを考える。
3で抽出された孤立画像群セットc内の画像群に対し、
更に類似シーンセット抽出部3(図6中では作用を区別
するため、類似シーンセット抽出部3′と記述)を用い
て、再抽出類似シーンセットc1、再抽出孤立画像群セ
ットc2として抽出し、類似シーンセットbと再抽出類
似シーンセットc1と再抽出孤立画像群セットc2に対
し、セットあるいはセット内の画像群の出力様式を設定
する。
半部)で用いる閾値は、類似シーンセット抽出部3(前
半部)で用いる閾値から、より類似度が低いものも類似
シーンセットになるように変更しておく。
像であるため、類似シーンセットbを抽出した時とは違
う尺度で再抽出類似シーンセットc1を抽出することが
必要であるが、このように閾値を変更することにより、
異なる尺度にすることが可能となる。
ような出力セットを得ることができる。
更にシーン分類を行い、その範疇で類似したシーンセッ
トとして抽出するので、結果として孤立画像群セットに
属する画像が減少し、ユーザにとって所望の画像をより
検索しやすくすることができる。
用いて、本発明の第4の実施の形態について説明する。
し(5)が対応する。
クトル間の距離を計算することとし、画像間類似度算出
部2で類似度を算出する工程の途中で、ベクトル間距離
が類似シーンセット抽出部3、3′で行われる閾値処理
の閾値より大きいと判断される場合には、該当する画像
間のその後の類似度の算出を行わないようにする。
えることが途中で判明した後は、該当する両画像は同一
シーンセットに属するものではないことが明白になるの
で、それ以上、類似度を計算する必要はなく、距離計算
を打ち切っても構わないのであり、このことにより、処
理が高速化される。
の撮影日時等、画像の内容を解析しなくても獲得できる
情報を用いてセットあるいはセット内の様式を設定すれ
ば、全ての類似度を計算しなくても(従って、高速化を
実現した上で)、ユーザにとって所望の画像を検索しや
すいように、類似している画像をより近い配置または順
序で出力することができる。
明(6)が対応する本発明の第5の実施の形態について
説明する。
いし第4の実施の形態において、シーンセット出力部5
が、携帯電話の表示画面とした場合である。
合、画像枚数は費用や時間的な面から極力少なくするこ
とがよいので、ユーザは必要最小限の枚数をダウンロー
ドしたいと思っている。
に異なるシーンの画像が入っていることは明らかに望ま
しくないことである。
実施の形態で述べてきたように、類似シーンセット中に
類似した画像の組合せの他にあまり似ていない画像が挿
入されやすいという問題点をなくすことができる効果を
有しているので、携帯電話の表示画面を用いて、ユーザ
にとって所望の画像をより検索しやすくすることができ
る。
当然、各種の変形、変更が可能である。
像群例として主に記号を用いた画像を示したが、れは説
明上の表記の都合であり、一般の画像であってももちろ
ん構わない。
色や形やテクスチャーなど画像を特徴できるものなら何
でもよい。
量を算出しなくても、画像間の相関などを用いて直接類
似度を求めても、二つの画像間がどれくらい似ているか
のアンケートをとって、似ていると思った人の数や、目
で見て似ている度合を人間が段階評価したものを類似度
としても構わない。
すべて表示しなくてもよく、セット内の代表画像のみを
表示させるようにしてもよい。
合、ダウンロード枚数や表示枚数は少ない方がよいの
で、代表画像のみを表示させるのは効果的である。
かの画像群に対して各画像中の背景や主要被写体などの
シーンが類似した画像をいくつかの類似シーンセットと
して分類する類似シーン分類装置に関し、シーン数を大
きく増やしたり、0ないし1枚しか画像がないシーンを
生じさせたりすることなく、各類似シーンセットに、ほ
ぼ類似した画像が属するようにシーンを分類でき、か
つ、ユーザにとって所望の画像を検索しやすいように、
類似している画像がより近い配置または順序で出力され
る。
よれば、何らかの画像群に対して各画像中の背景や主要
被写体などのシーンが類似した画像をいくつかの類似シ
ーンセットとして分類する類似画像分類装置であって、
シーン数を大きく増やしたり、0ないし1枚しか画像が
ないシーンを生じさせたりすることなく、各類似シーン
セットに、ほぼ類似した画像が属するようにシーンを分
類でき、かっ、ユーザにとって所望の画像を検索しやす
いように、類似している画像がより近い配置または順序
で出力することができるようにした類似画像分類装置を
提供することができる。
トとして分類する従来の分類手法を概略的に説明するた
めに示すである。
て、類似画像シーンごとに集めて画面に配置して出力す
る例を示す図である。
1枚しか入っていないシーンが生じないように代表ベク
トル数を適当に(図3中では、3個)設定して分類する
例を示す図である。
増やし、各シーン毎の領域の大きさを小さくする例を示
す図である。
画像分類装置が適用される構成と作用について説明する
ために示すブロック図である。
による類似画像分類装置が適用される構成と作用につい
て説明するために示すブロック図である。
画像分類装置において類似シーンセット毎に分類するた
めに適用される画像群の例を示す図である。
いて、画像間類似度算出部2で算出した類似度を閾値処
理することにより、類似シーンセットbとして抽出し、
類似シーンセットに属さない画像群を孤立画像群セット
cとして抽出する例を示す図である。
で、設定された出力様式に基づき、出力セットeを出力
する例を示す図である。
類似画像分類装置において類似シーンセット毎に分類す
るために適用される画像群として、孤立画像群になりそ
うな互いにあまり似ていない画像が多い例を示す図であ
る。
類似画像分類装置において得られる出力セットの例を示
す図である。
Claims (6)
- 【請求項1】 画像群に属する各画像のシーンが類似し
た画像を類似シーンセットとして分類し各画像を分類す
る類似画像分類装置であって、 類似画像検査の対象の画像群を入力する画像入力部と、 前記画像入力部から入力された各画像群の特定のパラメ
ータを用いて画像群相互の類似度を算出する類似度算出
部と、 前記類似度算出部により求められた類似度を閾値により
分類し、類似するシーンセットを画像群の中から抽出
し、類似するシーンセットに属さない画像群を孤立画像
群セットとして抽出する類似シーンセット抽出部と、 前記類似シーンセット抽出部により抽出された前記類似
シーンセットと前記孤立画像群セットの少なくとも一方
に対し、前記画像群に予め付与された付帯情報を用い
て、シーンセットまたはシーンセットに分類された画像
群の出力様式を設定する出力様式設定部と、 前記出力様式設定部で設定された出力様式に基づいて、
選択された出力セットの画像を出力するシーンセット画
像出力部を設けたことを特徴とする類似画像分類装置。 - 【請求項2】 前記出力様式設定部で用いる付帯情報は
各画像の撮影日時あるいは更新日時であり、日時の昇順
あるいは降順にシーンセットあるいはシーンセット内の
画像群の出力様式を設定することを特徴とする請求項1
に記載の類似画像分類装置。 - 【請求項3】 前記出力様式設定部で用いる付帯情報は
各画像のファイル名であり、ファイル名の中の数値を用
いて、数値の昇順あるいは降順にシーンセットあるいは
シーンセット内の画像群の出力様式を設定することを特
徴とする請求項1に記載の類似画像分類装置。 - 【請求項4】 前記類似シーンセット抽出部で抽出され
た孤立画像群セットに分類された画像群に対し、前記類
似シーンセット抽出部を用いて、閾値を変更し画像群を
再抽出し、再抽出類似シーン類似シーンセットと再抽出
孤立画群セットとして分類し、前記出力様式設定部で前
記類似シーンセットと前記再抽出孤立画群セットに対し
て、シーンセットまたはシーンセット内の画像群の出力
様式を設定することを特徴とする請求項1から3のいず
れか一つに記載の類似画像分類装置。 - 【請求項5】 前記類似度算出部は、類似度の計算中に
特定の次元の計算により画像群の類似度が低くなること
が算出された場合には、それ以降の類似度の計算を中止
することを特徴とする請求項1から4のいずれか一つに
記載の類似画像分類装置。 - 【請求項6】 前記シーンセット画像出力部は、画像情
報を受信し表示を行う携帯情報端末であることを特徴と
する請求項1から5のいずれか一つに記載の類似画像分
類装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002133125A JP2003330941A (ja) | 2002-05-08 | 2002-05-08 | 類似画像分類装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002133125A JP2003330941A (ja) | 2002-05-08 | 2002-05-08 | 類似画像分類装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003330941A true JP2003330941A (ja) | 2003-11-21 |
JP2003330941A5 JP2003330941A5 (ja) | 2007-07-26 |
Family
ID=29696294
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002133125A Pending JP2003330941A (ja) | 2002-05-08 | 2002-05-08 | 類似画像分類装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2003330941A (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006246209A (ja) * | 2005-03-04 | 2006-09-14 | Seiko Epson Corp | 画像生成装置 |
JP2008005167A (ja) * | 2006-06-21 | 2008-01-10 | Hokkaido Univ | 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 |
JP2008276668A (ja) * | 2007-05-07 | 2008-11-13 | Sony Corp | 画像管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム |
CN100435546C (zh) * | 2003-11-27 | 2008-11-19 | 富士胶片株式会社 | 图像编辑装置及其方法 |
JP2009116820A (ja) * | 2007-11-09 | 2009-05-28 | Nikon System:Kk | 画像分析装置、及び、この画像分析装置を有する情報交換システム。 |
JP2010091356A (ja) * | 2008-10-07 | 2010-04-22 | Kddi Corp | 位置推定システム、位置推定サーバおよび位置推定方法 |
JP2010531561A (ja) * | 2007-06-15 | 2010-09-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディアファイルのサマリを自動的に生成する方法及び装置 |
JP2011508310A (ja) * | 2007-12-20 | 2011-03-10 | イーストマン コダック カンパニー | 場所別画像分類 |
WO2016065999A1 (zh) * | 2014-10-29 | 2016-05-06 | 努比亚技术有限公司 | 相册管理方法和装置 |
JP2019008841A (ja) * | 2018-10-22 | 2019-01-17 | パイオニア株式会社 | シーン推定装置及び方法、コンピュータプログラム並びに記録媒体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09114848A (ja) * | 1995-10-16 | 1997-05-02 | Fuji Xerox Co Ltd | 情報関連づけ装置 |
JPH11149485A (ja) * | 1997-09-24 | 1999-06-02 | Ricoh Co Ltd | 文書画像データベース検索方法、文書画像データベース編成方法、記録媒体、及び、文書画像データベース編成装置 |
JP2000112943A (ja) * | 1998-09-30 | 2000-04-21 | Canon Inc | データ処理装置及びその方法、及びそのプログラムを記憶した記憶媒体 |
JP2000353165A (ja) * | 1999-06-09 | 2000-12-19 | Sony Corp | 文書処理方法及び装置並びに記録媒体 |
JP2001092841A (ja) * | 1999-09-24 | 2001-04-06 | Nippon Telegr & Teleph Corp <Ntt> | クラスター分析処理方法およびクラスター分析プログラムを記録した記録媒体 |
JP2001273302A (ja) * | 2000-03-23 | 2001-10-05 | Toshiba Corp | 画像検索システムおよび画像検索方法 |
-
2002
- 2002-05-08 JP JP2002133125A patent/JP2003330941A/ja active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09114848A (ja) * | 1995-10-16 | 1997-05-02 | Fuji Xerox Co Ltd | 情報関連づけ装置 |
JPH11149485A (ja) * | 1997-09-24 | 1999-06-02 | Ricoh Co Ltd | 文書画像データベース検索方法、文書画像データベース編成方法、記録媒体、及び、文書画像データベース編成装置 |
JP2000112943A (ja) * | 1998-09-30 | 2000-04-21 | Canon Inc | データ処理装置及びその方法、及びそのプログラムを記憶した記憶媒体 |
JP2000353165A (ja) * | 1999-06-09 | 2000-12-19 | Sony Corp | 文書処理方法及び装置並びに記録媒体 |
JP2001092841A (ja) * | 1999-09-24 | 2001-04-06 | Nippon Telegr & Teleph Corp <Ntt> | クラスター分析処理方法およびクラスター分析プログラムを記録した記録媒体 |
JP2001273302A (ja) * | 2000-03-23 | 2001-10-05 | Toshiba Corp | 画像検索システムおよび画像検索方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100435546C (zh) * | 2003-11-27 | 2008-11-19 | 富士胶片株式会社 | 图像编辑装置及其方法 |
JP2006246209A (ja) * | 2005-03-04 | 2006-09-14 | Seiko Epson Corp | 画像生成装置 |
JP4586580B2 (ja) * | 2005-03-04 | 2010-11-24 | セイコーエプソン株式会社 | 画像生成装置 |
JP2008005167A (ja) * | 2006-06-21 | 2008-01-10 | Hokkaido Univ | 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 |
JP4759745B2 (ja) * | 2006-06-21 | 2011-08-31 | 国立大学法人北海道大学 | 映像分類装置、映像分類方法、映像分類プログラムおよびコンピュータ読取可能な記録媒体 |
JP2008276668A (ja) * | 2007-05-07 | 2008-11-13 | Sony Corp | 画像管理装置、画像表示装置、撮像装置、および、これらにおける処理方法ならびに当該方法をコンピュータに実行させるプログラム |
JP2010531561A (ja) * | 2007-06-15 | 2010-09-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | マルチメディアファイルのサマリを自動的に生成する方法及び装置 |
JP2009116820A (ja) * | 2007-11-09 | 2009-05-28 | Nikon System:Kk | 画像分析装置、及び、この画像分析装置を有する情報交換システム。 |
JP2011508310A (ja) * | 2007-12-20 | 2011-03-10 | イーストマン コダック カンパニー | 場所別画像分類 |
JP2010091356A (ja) * | 2008-10-07 | 2010-04-22 | Kddi Corp | 位置推定システム、位置推定サーバおよび位置推定方法 |
WO2016065999A1 (zh) * | 2014-10-29 | 2016-05-06 | 努比亚技术有限公司 | 相册管理方法和装置 |
JP2019008841A (ja) * | 2018-10-22 | 2019-01-17 | パイオニア株式会社 | シーン推定装置及び方法、コンピュータプログラム並びに記録媒体 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180129898A1 (en) | Apparatus, method and program for image search | |
US9721148B2 (en) | Face detection and recognition | |
CN102207950B (zh) | 电子装置和图像处理方法 | |
CN108182714B (zh) | 图像处理方法及装置、存储介质 | |
US7636450B1 (en) | Displaying detected objects to indicate grouping | |
KR100996066B1 (ko) | 얼굴화상 등록 장치, 얼굴화상 등록 방법, 및 기록 매체 | |
CN102483767B (zh) | 对象关联装置、对象关联方法、程序及记录介质 | |
JP6323465B2 (ja) | アルバム作成プログラム、アルバム作成方法およびアルバム作成装置 | |
US9336442B2 (en) | Selecting images using relationship weights | |
US8259995B1 (en) | Designating a tag icon | |
TW201921270A (zh) | 針對一感興趣的人與一使用者介接以促進影像搜尋之方法及系統 | |
WO2015070320A1 (en) | Face detection and recognition | |
JP2003150932A (ja) | 画像処理装置およびプログラム | |
US9798741B2 (en) | Interactive image selection method | |
JP4039847B2 (ja) | 画像処理装置およびプログラム | |
KR102102571B1 (ko) | 온라인 쇼핑 플랫폼을 제공하는 시스템 및 방법 | |
CN103988202A (zh) | 基于索引和搜索的图像吸引力 | |
JP2012504806A (ja) | 対話式画像選択方法 | |
CN103477317B (zh) | 内容显示处理装置、内容显示处理方法以及集成电路 | |
WO2007129474A1 (ja) | 被写体認識装置、被写体認識プログラム、および画像検索サービス提供方法 | |
US9081801B2 (en) | Metadata supersets for matching images | |
Vonikakis et al. | A probabilistic approach to people-centric photo selection and sequencing | |
JP2003330941A (ja) | 類似画像分類装置 | |
JP2014092955A (ja) | 類似コンテンツ検索処理装置、類似コンテンツ検索処理方法、およびプログラム | |
JP2004280254A (ja) | コンテンツ分類方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050420 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070613 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080507 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080707 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080826 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081007 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081202 |