JP2003330941A - 類似画像分類装置 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、画像群に属する各画像のシーンが類
似した画像を類似シーンセットとして分類し各画像を分
類する類似画像分類装置を提供する。 【解決手段】本発明の一態様によると、類似画像検査の
対象の画像群を入力する画像入力部と、前記入力された
各画像群の特定のパラメータを用いて画像群相互の類似
度を算出する類似度算出部と、前記求められた類似度を
閾値により分類し、類似するシーンセットを画像群の中
から抽出し、類似するシーンセットに属さない画像群を
孤立画像群セットとして抽出する類似シーンセット抽出
部と、前記抽出された前記類似シーンセットと前記孤立
画像群セットの少なくとも一方に対し、前記画像群に予
め付与された付帯情報を用いて、シーンセットまたはシ
ーンセットに分類された画像群の出力様式を設定する出
力様式設定部と、前記設定された出力様式に基づいて、
選択された出力セットの画像を出力するシーンセット画
像出力部を設けたことを特徴とする類似画像検崇装置が
提供される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、類似画像分類装置
に係り、特に、何らかの画像群に対して各画像中の背景
や主要被写体などのシーンが類似した画像をいくつかの
類似シーンセットとして分類する類似画像分類装置に関
する。

【０００２】

【従来の技術】ある入力画像に対し、画像中の背景や主
要被写体などのシーンが類似した画像を画像の特徴ベク
トルを用いて検索する装置が、特開平５−４６７６５号
公報、特開平１１−０９６３６８号公報、特開２０００
−０２９８８５号公報等で知られている。

【０００３】その後、特徴ベクトルを用いてクラスタリ
ング手法（例えば、特開平５−２９８４５２号公報、ｋ
−ｍｃａｎｓ法、ＬＢＧ法など）を用いれば、入力画像
を代表として複数個ピックアップすることにより、いく
つかの類似シーンセットとして分類することができる。

【０００４】この分類手法では、図１に概略を示すよう
に、まず、ステップＳ１で分類対象となる画像群を準備
し、ステップＳ２でその画像群に対して各画像の特徴を
表す色、形、テクスチャー構造、サイズなどを示す特徴
量ベクトルを抽出する。

【０００５】そして、ステップＳ３で各画像毎に抽出さ
れた特徴量を並べることにより、特徴量ベクトルとす
る。

【０００６】次に、ステップＳ４で各画像に対応した特
徴量ベクトル空間に配置した特徴量ベクトル群に対し、
代表ベクトルを用いたクラスタリングを行い、ステップ
Ｓ５で各画像を類似シーン毎に分類する。

【０００７】この分類手法による分類結果は、図２に示
すように類似画像シーンごとに集めて画面に配置して出
力する。

【０００８】

【発明が解決しようとする課題】類似シーン毎の画像群
（ここでは類似シーンセットと呼ぶ）に分類するケース
としては、例えば、デジタルカメラで撮影した多くの画
像群からシーン毎に写りの良い画像を検索したい時（例
えば、アルバム用にシーン毎に一枚ずつ掲載したい時）
に、まず同様のシーン毎に画像を分類し、その中から良
く写っていた画像を選択するようなケースが考えられ
る。

【０００９】したがって，理想的には、図２に示すよう
に、類似シーンセットにはユーザがほぼ同一な写真（例
えば、シチュエーションが同じで表情だけ異なるなど）
と思えるほど大きく類似したものが属し、あまり似てい
ない画像はないことが望ましい。

【００１０】特に、携帯端末などで画像をダウンロード
する場合、画像枚数は費用や時間的な面から極力少なく
することがよいので、ユーザは必要最小限の枚数をダウ
ンロードしたいと思っている。

【００１１】その時、せっかくダウンロードした画像群
に異なるシーンの画像が入っていることは、明らかに望
ましくないことである。

【００１２】従来技術では、図３に示すように、画像が
ないまたは１枚しか入っていないシーンが生じないよう
に代表ベクトル数を適当に（図３中では、３個）設定し
て分類する。

【００１３】その際、特徴量ベクトル空間中における各
シーン毎に対応した空間領域の大きさはある程度大きく
ならざるをえないため、類似シーンセット中、類似した
組合せの他にあまり似ていない画像（図３中、コメント
で記載）が挿入されやすいという問題点がある。

【００１４】このことを軽減させるため、図４に示すよ
うに代表ベクトル数を増やし、各シーン毎の領域の大き
さを小さくすることが考えられるが、同時にシーン数
（図４中では１３個）が大きく増え、かつ画像がないあ
るいは１枚しか入っていないシーン（図４中では代表ベ
クトル記号で２，３，５，６，７，８，９，１１，１
２，１３）が生じやすくなるという問題が生じる。

【００１５】また、図４に示すように、代表ベクトル数
を増やしても空間領域の大きさはシーン毎で大きく異な
るため、大きな領域に対応するシーンが依然としていく
つか残ってしまう。

【００１６】従って、あまり似ていない画像が入るシー
ン（図４中では、代表ベクトル記号４）をなくすことは
できない。

【００１７】また、類似シーンセット内の画像および、
類似シーンセットの出力様式として、画像の類似性に対
応して類似している画像は、より近い配置あるいは出力
順序で出力されていることが望ましいが、従来技術では
このことに関して考慮していない。

【００１８】本発明は、上記の事情に鑑みてなされたも
ので、何らかの画像群に対して各画像中の背景や主要被
写体などのシーンが類似した画像をいくつかの類似シー
ンセットとして分類する類似画像分類装置であって、シ
ーン数を大きく増やしたり、０ないし１枚しか画像がな
いシーンを生じさせたりすることなく、各類似シーンセ
ットに、ほぼ類似した画像が属するようにシーンを分類
でき、かっ、ユーザにとって所望の画像を検索しやすい
ように、類似している画像がより近い配置または順序で
出力することができるようにした類似画像分類装置を提
供することを目的とする。

【００１９】

【課題を解決するための手段】本発明によると、上記課
題を解決するために、（１）画像群に属する各画像のシ
ーンが類似した画像を類似シーンセットとして分類し各
画像を分類する類似画像分類装置であって、類似画像検
査の対象の画像群を入力する画像入力部と、前記画像入
力部から入力された各画像群の特定のパラメータを用い
て画像群相互の類似度を算出する類似度算出部と、前記
類似度算出部により求められた類似度を閾値により分類
し、類似するシーンセットを画像群の中から抽出し、類
似するシーンセットに属さない画像群を孤立画像群セッ
トとして抽出する類似シーンセット抽出部と、前記類似
シーンセット抽出部により抽出された前記類似シーンセ
ットと前記孤立画像群セットの少なくとも一方に対し、
前記画像群に予め付与された付帯情報を用いて、シーン
セットまたはシーンセットに分類された画像群の出力様
式を設定する出力様式設定部と、前記出力様式設定部で
設定された出力様式に基づいて、選択された出力セット
の画像を出力するシーンセット画像出力部を設けたこと
を特徴とする類似画像分類装置が提供される。

【００２０】（作用）図５を用いて、本発明（１）の作
用を説明する。

【００２１】まず、画像群入力部１で、分類すべき分類
対象画像群ａを入力する。続いて、画像間類似度算出部
２において、分類対象画像群ａに対し相互の類似度を算
出する。

【００２２】この類似度の算出の方法としては、例え
ば、相互の画像の色ヒストグラムを比較する、画像相関
をとる、などの方法があるが、どのような観点で類似し
た画像を分類したいかによって適当に選択すればよい。

【００２３】いずれにしても、類似度としてなんらかの
意味をもった数値として算出されればよい。

【００２４】続いて、類似シーンセット抽出部３では、
画像間類似度算出部２で算出した類似度を閾値処理する
ことにより類似シーンセットｂとして抽出し、類似シー
ンセットに属さない画像群を孤立画像群セットｃとして
抽出する。

【００２５】この時、いずれの類似シーンセットにおい
ても属する画像群は、互いに類似した画像になるよう
に、適当に共通した閾値を設定して閾値処理する。

【００２６】続いて、出力様式設定部４では、類似シー
ンセットｂと孤立画像群セットｃの少なくとも一方に対
し、分類対象画像群ａ中のそれぞれの画像毎に付帯する
付帯情報ｄを用いて、セットあるいはセット内の画像群
の出力様式を設定する。

【００２７】付帯情報ｄは、画像の撮影日時、ファイル
名、画像が撮影された場所、画像に関して後で記入した
メモ、画像を解析して自動的に付与したキーワードなど
が考えられる。

【００２８】上述した付帯情報ｄをもとに、同一のキー
ワードは配置、順番を近くする、撮影日時やファイル情
報を文字順、数値順に並べるなどの様式を設定し、セッ
トあるいはセット内の画像群を出力すると、付帯情報ｄ
の内容が近い画像は画像内容も類似しやすい傾向がある
ので、結果としてユーザにとって所望の画像を検索しや
すいように、類似している画像がより近い配置または順
序で出力されることになる。

【００２９】ここで、様式の単位は、セット単位あるい
はセット内の画像単位のうちのいずれでもよい。

【００３０】セット毎に設定すれば、セットを単位とし
て結果を一覧するときに見やすく、セット内の画像単位
毎に設定すれば画像を単位として結果を一覧するときに
見やすくなり、両方セットすれば両方の見方で見やすく
なる。

【００３１】特に、孤立画像群セットｃ内の画像群に対
し、画像を単位として付帯情報ｄ（ここでは、撮影日
時）を用いて、出力様式を設定すれぱ、孤立画像群セッ
トｃ内の画像群は、類似シーンセットｂに比べて画像間
の類似度は低いが、付帯情報ｄを用い出力様式を設定す
ることにより、類似した画像が近くに配置され見やすく
なる。

【００３２】なお、ここでいう出力様式とは、画像を出
力するときの順番あるいは一括で表示するときの画面配
置のいずれか、あるいは両方をさすものとする。

【００３３】最後にシーンセット出力部５で、設定され
た出力様式に基づき出力セットｅを出力する。

【００３４】本発明（１）によれば、画像間類似度算出
部２において算出した相互の類似度を、適当な共通閾値
を用いて閾値処理するので、このことを特徴量空間との
アナロジーで考えると、各類似シーンが対応する領域を
すべて小さく、かつ共通に設定できることに相当する。

【００３５】従って、類似シーンセット中、類似した画
像の組合せの他にあまり似ていない画像が挿入されやす
いという問題点をなくすことができる。

【００３６】また、類似シーンセット抽出部３で、類似
シーンセットに属さない画像群をまとめて孤立画像群セ
ットｃとして抽出するので、シーン数を大きく増やした
り、０ないし１枚しか画像がないシーンを生じさせたり
することがない。

【００３７】また、出力様式設定部４で、類似シーンセ
ットｂと孤立画像群セットｃに対し、分類対象画像群ａ
中のそれぞれの画像毎に付帯する付帯情報ｄを用いて、
セットあるいはセット内の画像群の出力様式を設定する
ので、ユーザにとって所望の画像を検索しやすいよう
に、類似している画像をより近い配置または順序で出力
することができる。

【００３８】また、本発明によると、上記課題を解決す
るために、（２） 前記出力様式設定部で用いる付帯情
報は各画像の撮影日時あるいは更新日時であり、日時の
昇順あるいは降順にシーンセットあるいはシーンセット
内の画像群の出力様式を設定することを特徴とする
（１）に記載の類似画像分類装置が提供される。

【００３９】（作用）本発明（２）の出力様式設定部４
では、付帯情報ｄとして画像の撮影日時あるいは更新日
時を用い、日時の昇順あるいは降順に、セットあるいは
セット内の画像群の出力様式を設定する。

【００４０】以下、本発明（２）の主な利点について説
明する。

【００４１】一般に、画像の撮影日時、あるいはＰＣに
書き込む時の時間が近い画像は、「近い時間に同一な写
真を多くとる傾向が多い」、「データ変換等のファイル
更新時にファイルの更新時間は変更されるが、その際、
近い撮影日時にとった写真をまとめて変換処理すること
が多い」との理由により、内容が類似している傾向が、
特に、顕著である。

【００４２】従って、付帯情報ｄとして、特に画像の撮
影日時あるいは更新日時を用いると、類似している画像
がより近い配置または順序で出力されることになるの
で、よりユーザにとって所望の画像を検索しゃすいよう
になる。

【００４３】画像の撮影日時は、ファイル名から撮影画
像日時を推定できるように設定されているデジタルカメ
ラで撮影した場合には、ファイル名を読み取って入力し
てもよいし、画像データ中のヘッダに書きこまれる付加
情報から読み取るようにしても良い。

【００４４】このように画像の撮影日時あるいは更新日
時は、多くの工数をかけて画像の内容を解析しなくても
読み取れる情報なので、画像内容を読み込まなくても簡
単な処理で実現できるという利点もある。

【００４５】なお、本発明（２）においても、様式の単
位は本発明（１）と同様、セット単位あるいはセット内
の画像単位のうちのいずれでもよい。

【００４６】以上、本発明（２）によれば、付帯情報ｄ
として、画像の類似性に対し顕著に影響する画像の撮影
日時あるいは更新日時を用い、昇順あるいは降順に出力
様式を設定するので、よりユーザにとって所望の画像を
検索しやすいようになる。

【００４７】また、画像の撮影日時あるいは更新日時
は、特に、画像内容を読み込まなくても得ることができ
る情報であるので、出力様式の設定処理がより簡単にで
きるといえる。

【００４８】また、本発明によると、上記課題を解決す
るために、（３） 前記出力様式設定部で用いる付帯情
報は各画像のファイル名であり、ファイル名の中の数値
を用いて、数値の昇順あるいは降順にシーンセットある
いはシーンセット内の画像群の出力様式を設定すること
を特徴とする（１）に記載の類似画像分類装置が提供さ
れる。

【００４９】（作用）本発明（３）出力様式設定部４で
は、付帯情報ｄとして画像のファイル名を用い、ファイ
ル名中の数値の昇順あるいは降順に、セットあるいはセ
ット内の画像群の出力様式を設定する。

【００５０】以下、本発明（３）の主な利点について説
明する。

【００５１】本発明（２）の作用で述べたように、画像
の撮影日時が近い画像は内容が類似している傾向が、特
に、顕著である。

【００５２】しかし、「デジタルカメラ内に組み込まれ
ているはずの撮影日時を設定し忘れていた」、「電池が
切れてしまった」等の理由で、正しく日時が書き込まれ
ていないケースもある。

【００５３】しかし、通常、デジタルカメラが指定して
付与するファイル名には撮影した順序を示す数値が入う
ている（例えば、「○△□００１．ＪＰＧ」「×××０
０２．ＪＰＧ」などで、○△□×には各メーカが設定し
ている英数字が入る）。

【００５４】このとき、画像Ａ＝「×××００１．ＪＰ
Ｇ」、画像Ｂ＝「×××００３．ＪＰＧ」、画像Ｃ＝×
××０１０．ＪＰＧ」だったとすれば、画像Ａ、画像
Ｂ、画像Ｃの順に撮影されたと予測できる。

【００５５】このことから、付帯情報ｄして画像のファ
イル名を用い、ファイル名中の数値の昇順あるいは降順
に、セットあるいはセット内の画像群の出力様式を設定
すると、類似している画像がより、近い配置または順序
で出力されるだけでなく、デジタルカメラの日時設定の
正誤に関わらず実現できるという利点がある。

【００５６】また、本発明（２）と同様、ファイル名
は、多くの工数をかけて画像の内容を解析しなくても読
み取れる情報なので、特に、画像内容を読み込まなくて
も簡単な処理で実現できるという利点もある。

【００５７】なお本発明（３）においても、様式の単位
は本発明（１）と同様、セット単位あるいはセット内の
画像単位のうちのいずれでもよい。

【００５８】また、本発明によると、上記課題を解決す
るために、（４） 前記類似シーンセット抽出部で抽出
された孤立画像群セットに分類された画像群に対し、前
記類似シーンセット抽出部を用いて、閾値を変更し画像
群を再抽出し、再抽出類似シーン類似シーンセットと再
抽出孤立画群セットとして分類し、前記出力様式設定部
で前記類似シーンセットと前記再抽出孤立画群セットに
対して、シーンセットまたはシーンセット内の画像群の
出力様式を設定することを特徴とする（１）から（３）
のいずれか一つに記載の類似画像分類装置が提供され
る。

【００５９】（作用）図６を用いて、本発明（４）の作
用を説明する。

【００６０】本発明（４）では、類似シーンセット抽出
部３で抽出された孤立画像群セットｃ内の画像群に対
し、少なくとも１回以上、本発明（１）ないし（３）の
類似シーンセット抽出部３（図６中では、作用を区別す
るため、類似シーンセット抽出部３′と記述）を用い
て、再抽出類似シーンセットｃ１と再抽出孤立画像群セ
ットｃ２として抽出し、類似シーンセットｂと再抽出類
似シーンセットｃ１と再抽出孤立画像群セットｃ２に対
し、セットあるいはセット内の画像群の出力様式を設定
する。

【００６１】この時、類似シーンセット抽出部３′（後
半部）で用いる閾値は、類似シーンセット抽出部３（前
半部）で用いる閾値から、より類似度が低いものも類似
シーンになるように変更しておく。

【００６２】孤立画像群は互いにあまり似ていない画像
であるため、類似シーンセットｂを抽出した時とは違う
尺度で再抽出類似シーンセットｃ１を抽出することが必
要であるが、このように閾値を変更することにより、異
なる尺度にすることが可能となる。

【００６３】以上のように、本発明（４）では、孤立画
像群に対して更にシーン分類を行い、その範疇で類似し
たシーンセットとして抽出するので、結果として、孤立
画像群セットに属する画像が減少し、よりユーザにとっ
て所望の画像を検索しやすいようになる。

【００６４】なお、類似シーンセット抽出部３を２回用
いる場合には、再抽出孤立画像群セヅトｃ２に対し、本
発明（１）ないし（３）の類似シーンセット抽出部３を
用いて、再抽出類似シーンセットｃ３と再抽出孤立画像
群セットｃ４として抽出し、出力様式設定部４では、類
似シーンセットｂと再抽出類似シーンセットｃ１と再抽
出孤立画像群セットｃ３、再抽出孤立画像群セットｃ４
に対し、セットあるいはセット内の画像群の出力様式を
設定すればよい。

【００６５】以下、同様に回数を増やす場合には、再抽
出孤立画像群セットに対し、類似シーンセットを孤立画
像群セットを順次、抽出する。

【００６６】この時も同様に、類似シーンセット抽出部
での類似度閾値処理の閾値は除々に（より類似度が低い
ものも類似シーンになるように）変更していけばよい。

【００６７】また、本発明によると、上記課題を解決す
るために、（５） 前記類似度算出部は、類似度の計算
中に特定の次元の計算により画像群の類似度が低くなる
ことが算出された場合には、それ以降の類似度の計算を
中止することを特徴とする（１）から（４）のいずれか
一つに記載の類似画像分類装置が提供される。

【００６８】（作用）本発明（５）では、画像間類似度
算出部２で類似度を算出する工程の途中で、類似シーン
セット抽出部３，３′で行われる閾値処理で類似度が低
いと判断される場合には，該当する画像間のその後の類
似度の算出を行わない。

【００６９】類似度を算出する時には、例えば、特徴ベ
クトル間の類似度を計算することが行われるが、その際
に、すべての次元を計算しなくても、類似度が低いこと
は途中で判明できる。

【００７０】従って、類似度が低いことが途中で判明し
た後は、該当する両画像は同一シーンセットに属するこ
とはないことが明白になるので、それ以上、類似度を計
算する必要がないことにより、処理が高速化されるとい
う利点がある。

【００７１】なお、本発明（１）において、セットある
いはセット内の様式を設定する場合に、全ての類似度を
利用して設定することも考えられるが、その場合、全て
の類似度を計算しなくてはならない。

【００７２】本発明（５）において、付帯情報として画
像の撮影日時等、画像の内容を解析しなくても獲得でき
る情報を用いてセットあるいはセット内の様式を設定す
れば、全ての類似度を計算しなくても（従って、高速化
を実現した上で）、ユーザにとって所望の画像を検索し
やすいように、類似している画像をより近い配置または
順序で出力することができる。

【００７３】また、本発明によると、上記課題を解決す
るために、（６） 前記シーンセット画像出力部は、画
像情報を受信し表示を行う携帯情報端末であることを特
徴とする（１）から（５）のいずれか一つに記載の類似
画像分類装置が提供される。

【００７４】（作用）本発明（６）では、携帯端末など
で画像をダウンロードする場合、画像枚数は費用や時間
的な面を考えると、極力少なくすることがよいので、ユ
ーザは必要最小限の枚数をダウンロードしたいと思って
いる。

【００７５】しかし、その時、せっかくダウンロードし
た画像群に異なるシーンの画像が入っていることは明ら
かに望ましくないことである。

【００７６】本発明（６）は、本発明（１）から（５）
で述べてきたように、類似シーンセット中に類似した画
像の組合せの他にあまり似ていない画像が挿入されやす
いという問題点をなくすことができるという利点を有し
ているので、シーンセット出力部５である外部からの画
像の通信を受けることのできる携帯端末を用いて、ユー
ザにとって所望の画像を検索しやすいようにすることが
できる。

【００７７】

【発明の実施の形態】以下図面を参照して本発明の実施
の形態について説明する。

【００７８】（第１の実施の形態）図５を用いて本発明
の第１の実施の形態を説明する。

【００７９】本実施形態は、上述した本発明（１）、
（２）が対応する。

【００８０】ここでは、図７に示すような画像群に対
し、類似シーンセット毎に分類することを考える。

【００８１】まず、画像群入力部１で分類すべき分類対
象画像群ａ（図７参照）として、例えば、市販されてい
る電子画像集を入力する。

【００８２】続いて、画像間類似度算出部２において、
分類対象画像群に対し相互の類似度を算出する。

【００８３】この類似度の算出の方法としては、例え
ば、相互の画像の色ヒストグラムを比較する、画像相関
をとる、などの方法があるが、ここでは、画像毎に○、
△、□、×などの記号（塗り、黒塗りの区別含む）を特
徴づける特徴量ベクトルを算出し、特徴ベクトル聞の距
離を類似度とし、「画像間の類似度が高い＝特徴ベクト
ル間の距離が小さい」となるように設定する。

【００８４】続いて、類似シーンセット抽出部３では、
画像間類似度算出部２で算出した類似度を閾値処理する
ことにより、類似シーンセットｂとして抽出し、類似シ
ーンセットに属さない画像群を孤立画像群セットｃとし
て抽出する（図８参照）。

【００８５】続いて、出力様式設定部４は、類似シーン
セットｂと孤立画像群セットｃの少なくとも一方に対
し、分類対象画像群ａ中のそれぞれの画像毎に付帯する
付帯情報ｄを用いて、セットあるいはセット内の画像群
の出力様式を設定する。

【００８６】この付帯情報ｄとしては、画像の撮影日時
・ファイル名、画像が撮影された場所、画像に関して後
で記入したメモ、画像を解析して自動的に付与したキー
ワードなどが考えられるが、ここでは、セットの様式に
対しては画像が所属していたフォルダ名、セット内の画
像群に対しては撮影日時とする。

【００８７】各セットには複数の画像が含まれるが、そ
のうち、最も画像数の多いフォルダ名を代表のフォルダ
名として選択するものとし、また、孤立画像群セットは
最後に出力するようにする。

【００８８】最後にシーンセット出力部５で、設定され
た出力様式に基づき、出力セットｅ（図９参照）を出力
する。

【００８９】このシーンセット出力部５は、例えば、パ
ーソナルコンピュータ（ＰＣ）のモニターとすればよ
い。

【００９０】本実施形態によれば、画像間類似度算出部
２おいて算出した相互の類似度を、適当な共通閾値を用
いて閾値処理するので、このことを特徴量空間とのアナ
ロジーで考えると、各類似シーンが対応する領域をすべ
て小さく、かつ共通に設定できることに相当する。

【００９１】従って、類似シーンセット中、類似した画
像の組合せの他にあまり似ていない画像が挿入されやす
いという問題点をなくすことができる。

【００９２】また、類似シーンセット抽出部３で、類似
シーンセットに属さない画像群をまとめて孤立画像群セ
ットｃとして抽出するので、シーン数を大きく増やした
り、０ないし１枚しか画像がないシーンを生じさせたり
することがない。

【００９３】また、出力様式設定部４で、類似シーンセ
ットｂと孤立画像群セットｃに対し、分類対象画像群ａ
中のそれぞれの画像毎に付帯する付帯情報ｄを用いて、
セットおよびセット内の画像群の出力様式を設定するの
で、ユーザにとって所望の画像を検索しやすいように、
類似している画像をより近い配置または順序で出力する
ことができる。

【００９４】また、特に、孤立画像群セットｃ内の画像
群に対し、画像を単位として付帯情報ｄ（ここでは、撮
影日時）を用いて出力様式を設定しているが、孤立画像
群セットｃ内の画像群は類似シーンセットｂに比べて画
像間の類似度は低いにも関わらず、見やすくさせること
ができるという効果がある。

【００９５】図９で説明すると、孤立画像群セット内
で、比較的濃い画像の２枚と、薄い文字画像の２枚が分
離して表示されている。

【００９６】なお、画像群入力部１はフロッピー（登録
商標）ディスクや、ＣＤＲＯＭなどのメモリ媒体などか
ら読み出す方式の他、デジタルカメラなどから直接入力
できるようにしてもよい。

【００９７】また、画像間類似度算出部２、類似シーン
セット抽出部３、３′、出力様式設定部４、及び各部を
構成する構成演算部分はすべて専用のプロセッサを便用
してもよいし、プログラムを読み込んだＣＰＵが計算す
るようにしてもよい。

【００９８】また、シーンセット出力部５は、画像とし
てディスプレイ等に出力させてもよいし、携帯電話、Ｐ
ＤＡ端末などの送信して出力させてもよいし、情報をメ
モリ等に書き出してもよい。

【００９９】また、分類対象画像群ａは上述の市販の画
像集の他、ＷＥＢサイトの画像群、ＰＣ内の画像群など
でもよい。

【０１００】これらの実際の構成は、以下の実施形態で
もすべて同様に考えて良い。

【０１０１】（第２の実施の形態）次に、図５、図６お
よび図９を用いて、本発明の第３の実施の形態について
説明する。

【０１０２】本実施形態は、上述した本発明（１）、
（３）が対応する。

【０１０３】この第２の実施の形態では、上述した第１
の実施の形態と同様に、図７に示すような画像群に対
し、類似シーンセット毎に分類することを考える。

【０１０４】本実施形態の出力様式設定部４の付帯情報
ｄは、セット内の画像群画像に対して画像のファイル名
を用い、ファイル名中の数値の昇順あるいは降順に、セ
ットあるいはセット内の画像群の出力様式を設定する。

【０１０５】結果として、この場合も、第１の実施の形
態と同様、図９に示すような出力セットを得ることがで
きる。

【０１０６】本実施形態によれば、「デジタルカメラ内
に組み込まれているはずの撮影日時を設定し忘れてい
た」、「電池が切れてしまった」等の理由で、正しく日
時が書き込まれていないケースも、画像Ａ＝「×××０
０１．ＪＰＧ」、画像Ｂ＝「×××００３．ＪＰＧ」、
画像Ｃ＝「×××０１０．ＪＰＧ」だったとすれば、画
像Ａ、画像Ｂ、画像Ｃの順に撮影されたと予測すること
ができるので、デジタルカメラの日時設定の正誤に関わ
らず、類似している画像をより近い配置または順序で出
力することができる。

【０１０７】また、ファイル名は、多くの工数をかけて
画像の内容を解析しなくても読み取れる情報なので、特
に、画像内容を読み込まなくても簡単な処理で実現する
ことができるという利点もある。

【０１０８】（第３の実施の形態）次に、図６、図１０
および図１１を用いて、本発明の第３の実施の形態につ
いて説明する。

【０１０９】本実施形態は、上述した本発明（１）ない
し（４）が対応する。

【０１１０】この第３の実施の形態では、図１０のよう
な画像群（孤立画像群になりそうな互いにあまり似てい
ない画像が多い。図１０中＜孤立＞と表示）に対し、類
似シーンセット毎に分類することを考える。

【０１１１】本実施形態では、類似シーンセット抽出部
３で抽出された孤立画像群セットｃ内の画像群に対し、
更に類似シーンセット抽出部３（図６中では作用を区別
するため、類似シーンセット抽出部３′と記述）を用い
て、再抽出類似シーンセットｃ１、再抽出孤立画像群セ
ットｃ２として抽出し、類似シーンセットｂと再抽出類
似シーンセットｃ１と再抽出孤立画像群セットｃ２に対
し、セットあるいはセット内の画像群の出力様式を設定
する。

【０１１２】この時、類似シーンセット抽出部３′（後
半部）で用いる閾値は、類似シーンセット抽出部３（前
半部）で用いる閾値から、より類似度が低いものも類似
シーンセットになるように変更しておく。

【０１１３】孤立画像群は、互いにあまり似ていない画
像であるため、類似シーンセットｂを抽出した時とは違
う尺度で再抽出類似シーンセットｃ１を抽出することが
必要であるが、このように閾値を変更することにより、
異なる尺度にすることが可能となる。

【０１１４】結果として、この場合には、図１１に示す
ような出力セットを得ることができる。

【０１１５】本実施形態によれば、孤立画像群に対して
更にシーン分類を行い、その範疇で類似したシーンセッ
トとして抽出するので、結果として孤立画像群セットに
属する画像が減少し、ユーザにとって所望の画像をより
検索しやすくすることができる。

【０１１６】（第４の実施の形態）次に、図５、図６を
用いて、本発明の第４の実施の形態について説明する。

【０１１７】本実施形態は、上述した本発明（１）ない
し（５）が対応する。

【０１１８】本実施形態では、類似度算出として特徴ベ
クトル間の距離を計算することとし、画像間類似度算出
部２で類似度を算出する工程の途中で、ベクトル間距離
が類似シーンセット抽出部３、３′で行われる閾値処理
の閾値より大きいと判断される場合には、該当する画像
間のその後の類似度の算出を行わないようにする。

【０１１９】すなわち、特徴ベクトル間距離が閾値を超
えることが途中で判明した後は、該当する両画像は同一
シーンセットに属するものではないことが明白になるの
で、それ以上、類似度を計算する必要はなく、距離計算
を打ち切っても構わないのであり、このことにより、処
理が高速化される。

【０１２０】また、本実施形態で、付帯情報として画像
の撮影日時等、画像の内容を解析しなくても獲得できる
情報を用いてセットあるいはセット内の様式を設定すれ
ば、全ての類似度を計算しなくても（従って、高速化を
実現した上で）、ユーザにとって所望の画像を検索しや
すいように、類似している画像をより近い配置または順
序で出力することができる。

【０１２１】（第５の実施の形態）次に、上述した本発
明（６）が対応する本発明の第５の実施の形態について
説明する。

【０１２２】この第５の実施の形態は、上述した第１な
いし第４の実施の形態において、シーンセット出力部５
が、携帯電話の表示画面とした場合である。

【０１２３】携帯電話などで画像をダウンロードする場
合、画像枚数は費用や時間的な面から極力少なくするこ
とがよいので、ユーザは必要最小限の枚数をダウンロー
ドしたいと思っている。

【０１２４】その時、せっかくダウンロードした画像群
に異なるシーンの画像が入っていることは明らかに望ま
しくないことである。

【０１２５】本実施形態は、上述した第１ないし第４の
実施の形態で述べてきたように、類似シーンセット中に
類似した画像の組合せの他にあまり似ていない画像が挿
入されやすいという問題点をなくすことができる効果を
有しているので、携帯電話の表示画面を用いて、ユーザ
にとって所望の画像をより検索しやすくすることができ
る。

【０１２６】なお、これまでの実施の形態の各構成は、
当然、各種の変形、変更が可能である。

【０１２７】例えば、以上の実施形態では、分類対象画
像群例として主に記号を用いた画像を示したが、れは説
明上の表記の都合であり、一般の画像であってももちろ
ん構わない。

【０１２８】その際の類似度を算出するための特徴量は
色や形やテクスチャーなど画像を特徴できるものなら何
でもよい。

【０１２９】また、画像の類似度の算出には画像の特徴
量を算出しなくても、画像間の相関などを用いて直接類
似度を求めても、二つの画像間がどれくらい似ているか
のアンケートをとって、似ていると思った人の数や、目
で見て似ている度合を人間が段階評価したものを類似度
としても構わない。

【０１３０】また、結果の出力方法も、セット内画像を
すべて表示しなくてもよく、セット内の代表画像のみを
表示させるようにしてもよい。

【０１３１】特に、携帯端末で画像を表示するような場
合、ダウンロード枚数や表示枚数は少ない方がよいの
で、代表画像のみを表示させるのは効果的である。

【０１３２】本発明の類似画像分類装置によれば、何ら
かの画像群に対して各画像中の背景や主要被写体などの
シーンが類似した画像をいくつかの類似シーンセットと
して分類する類似シーン分類装置に関し、シーン数を大
きく増やしたり、０ないし１枚しか画像がないシーンを
生じさせたりすることなく、各類似シーンセットに、ほ
ぼ類似した画像が属するようにシーンを分類でき、か
つ、ユーザにとって所望の画像を検索しやすいように、
類似している画像がより近い配置または順序で出力され
る。

【０１３３】

【発明の効果】従って、以上説明したように、本発明に
よれば、何らかの画像群に対して各画像中の背景や主要
被写体などのシーンが類似した画像をいくつかの類似シ
ーンセットとして分類する類似画像分類装置であって、
シーン数を大きく増やしたり、０ないし１枚しか画像が
ないシーンを生じさせたりすることなく、各類似シーン
セットに、ほぼ類似した画像が属するようにシーンを分
類でき、かっ、ユーザにとって所望の画像を検索しやす
いように、類似している画像がより近い配置または順序
で出力することができるようにした類似画像分類装置を
提供することができる。

【図面の簡単な説明】

【図１】図１は、入力画像をいくつかの類似シーンセッ
トとして分類する従来の分類手法を概略的に説明するた
めに示すである。

【図２】図２は、図１の分類手法による分類結果とし
て、類似画像シーンごとに集めて画面に配置して出力す
る例を示す図である。

【図３】図３は、従来技術において、画像がないまたは
１枚しか入っていないシーンが生じないように代表ベク
トル数を適当に（図３中では、３個）設定して分類する
例を示す図である。

【図４】図４は、従来技術において、代表ベクトル数を
増やし、各シーン毎の領域の大きさを小さくする例を示
す図である。

【図５】図５は、本発明の第１の実施の形態による類似
画像分類装置が適用される構成と作用について説明する
ために示すブロック図である。

【図６】図６は、本発明の第２および第３の実施の形態
による類似画像分類装置が適用される構成と作用につい
て説明するために示すブロック図である。

【図７】図７は、本発明の第１の実施の形態による類似
画像分類装置において類似シーンセット毎に分類するた
めに適用される画像群の例を示す図である。

【図８】図８は、図５の類似シーンセット抽出部３にお
いて、画像間類似度算出部２で算出した類似度を閾値処
理することにより、類似シーンセットｂとして抽出し、
類似シーンセットに属さない画像群を孤立画像群セット
ｃとして抽出する例を示す図である。

【図９】図９は、図５及び図６のシーンセット出力部５
で、設定された出力様式に基づき、出力セットｅを出力
する例を示す図である。

【図１０】図１０は、本発明の第３の実施の形態による
類似画像分類装置において類似シーンセット毎に分類す
るために適用される画像群として、孤立画像群になりそ
うな互いにあまり似ていない画像が多い例を示す図であ
る。

【図１１】図１１は、本発明の第３の実施の形態による
類似画像分類装置において得られる出力セットの例を示
す図である。

【符号の説明】

１…画像群入力部、 ２…画像間類似度算出部、 ３、３′…類似シーンセット抽出部、 ４…出力様式設定部、 ５…シーンセット出力部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 画像群に属する各画像のシーンが類似し
   た画像を類似シーンセットとして分類し各画像を分類す
   る類似画像分類装置であって、 類似画像検査の対象の画像群を入力する画像入力部と、 前記画像入力部から入力された各画像群の特定のパラメ
   ータを用いて画像群相互の類似度を算出する類似度算出
   部と、 前記類似度算出部により求められた類似度を閾値により
   分類し、類似するシーンセットを画像群の中から抽出
   し、類似するシーンセットに属さない画像群を孤立画像
   群セットとして抽出する類似シーンセット抽出部と、 前記類似シーンセット抽出部により抽出された前記類似
   シーンセットと前記孤立画像群セットの少なくとも一方
   に対し、前記画像群に予め付与された付帯情報を用い
   て、シーンセットまたはシーンセットに分類された画像
   群の出力様式を設定する出力様式設定部と、 前記出力様式設定部で設定された出力様式に基づいて、
   選択された出力セットの画像を出力するシーンセット画
   像出力部を設けたことを特徴とする類似画像分類装置。
2. 【請求項２】 前記出力様式設定部で用いる付帯情報は
   各画像の撮影日時あるいは更新日時であり、日時の昇順
   あるいは降順にシーンセットあるいはシーンセット内の
   画像群の出力様式を設定することを特徴とする請求項１
   に記載の類似画像分類装置。
3. 【請求項３】 前記出力様式設定部で用いる付帯情報は
   各画像のファイル名であり、ファイル名の中の数値を用
   いて、数値の昇順あるいは降順にシーンセットあるいは
   シーンセット内の画像群の出力様式を設定することを特
   徴とする請求項１に記載の類似画像分類装置。
4. 【請求項４】 前記類似シーンセット抽出部で抽出され
   た孤立画像群セットに分類された画像群に対し、前記類
   似シーンセット抽出部を用いて、閾値を変更し画像群を
   再抽出し、再抽出類似シーン類似シーンセットと再抽出
   孤立画群セットとして分類し、前記出力様式設定部で前
   記類似シーンセットと前記再抽出孤立画群セットに対し
   て、シーンセットまたはシーンセット内の画像群の出力
   様式を設定することを特徴とする請求項１から３のいず
   れか一つに記載の類似画像分類装置。
5. 【請求項５】 前記類似度算出部は、類似度の計算中に
   特定の次元の計算により画像群の類似度が低くなること
   が算出された場合には、それ以降の類似度の計算を中止
   することを特徴とする請求項１から４のいずれか一つに
   記載の類似画像分類装置。
6. 【請求項６】 前記シーンセット画像出力部は、画像情
   報を受信し表示を行う携帯情報端末であることを特徴と
   する請求項１から５のいずれか一つに記載の類似画像分
   類装置。