JP2003141161A - マルチメディアオブジェクト検索方法およびシステム - Google Patents

Abstract

(57)【要約】 【課題】本発明は、使用者の希望するオブジェクト群を
効率良く検索可能なマルチメディアオブジェクト検索方
法およびシステムを提供する。 【解決手段】本発明の一態様によると、マルチメディア
オブジェクト（ＭＯ）を入力／指定する入力／指定工程
と、上記入力／指定されたＭＯの特徴量を演算する特徴
量演算工程と、上記ＭＯの特徴量重み係数を演算する重
み係数演算工程と、上記演算された特徴量および特徴量
重み係数を用いて予め蓄積されたＭＯの類似度検索を行
う類似度検索工程と、上記類似度検索の結果に基づき上
記指定されたＭＯと類似するＭＯを表示する表示工程
と、上記表示されたＭＯの類似度順位を変更する類似度
順位変更工程と、上記変更された類似度順位に基づき上
記特徴量重み係数の再計算を行い、このＭＯの特徴量重
み係数を用いてＭＯの類似度の再計算を行う類似度再計
算工程とを有することを特徴とするマルチメディアオブ
ジェクト検索方法が提供される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マルチメディアオ
ブジェクト検索方法およびシステムに係り、特に、マル
チメディアオブジェクトの特徴量から類似なマルチメデ
ィアオブジェクトを検索するマルチメディアオブジェク
ト検索方法およびシステムに関する。

【０００２】

【従来の技術】近年、デジタルデータとしての静止画や
動画、音声、音楽といったマルチメディアオブジェクト
データが様々な場面で利用されている。

【０００３】例えば、三次元オブジェクトを表現するデ
ータに関しても、従来からのＣＡＤデータに加え、商品
の三次元オブジェクトデータ、また、考古学的遺産、美
術・芸術品の三次元オブジェクトデータ化のよるデジタ
ルアーカイブ等、盛んに利用されている。

【０００４】また、多数のデジタル画像データやデジタ
ル音楽データがインターネットを介してやりとりされて
いる。

【０００５】これらのデータは増大する一方であり、デ
ータの効率的な管理や、利用者の要求するデータを効率
よく検索する要求が高まっている。

【０００６】このような要求に答えるべく、様々な技術
が提案されており、類似オブジェクトの検索技術に関し
ても、マルチメディアオブジェクトの持つ特徴を数値で
表現される特徴量として算出し、これらの特徴量で構成
される多次元ベクトルを利用した検索方法が数多く提案
されている。

【０００７】特徴量による類似オブジェクト検索では、
使用者が検索結果として希望するオブジェクトを指定
し、このオブジェクトの特徴量とデータベースに登録さ
れたオブジェクトの特徴量とを比較することにより、類
似なオブジェクトを検索することができる。

【０００８】この際、各特徴量の重要性を表現する重み
係数を設定することが、一般的に行われている。

【０００９】すなわち、使用者の意図や嗜好を反映する
ように、重み係数を適切に設定することによって、例え
ば、色は異なるが、形状が類似なオブジェクトを検索す
ることができる。

【００１０】この重み係数を適切に設定することによっ
て、効率的な検索を行う方法が提案されている。

【００１１】例えば、特開平７−２１１９８号公報に
は、必要とする画像に類似した画像と、類似していない
画像とを各々、複数指定することにより、類似度算出の
際に各特徴量の重み係数を調整可能とした画像検索方法
が開示されている。

【００１２】また、特開平９−４０１９７０号公報に
は、希望画像に類似する画像と、類似しない画像とを各
々、複数指定することにより、類似度算出の際に各特徴
量の重み係数を調整可能とした画像検索方法および画像
検索装置が開示されている。

【００１３】さらに、この画像検索方法および画像検索
装置では、類似画像検索の結果として表示された画像の
中から、再度、希望画像に類似する画像と、類似しない
画像とを各々、複数指定することができる。

【００１４】このように、類似画像検索の結果を新たな
入力とする操作を繰り返すことにより、より適切な重み
係数になるように調整することが可能になる。

【００１５】また、特開平４０−１５４１４９号公報に
は、出力されたサンプルオブジェクト群から利用者が指
定した参照オブジェクトに類似していると思われるもの
を追加する手段を有し、より適切な重み係数になるよう
に調整可能な類似オブジェクト検索方法および装置が開
示されている。

【００１６】

【発明が解決しようとする課題】上述したような従来の
方法では、対象となるオブジェクトを希望するオブジェ
クトに類似しているか否かという２種類のみに分類する
必要がある。

【００１７】しかし、多くのオブジェクトは希望するオ
ブジェクトに類似している部分もあれば、類似していな
い部分もあるという存在であるために、類似している、
もしくは類似していないと明確に分類することは困難で
ある。

【００１８】例えば、上記特開平７−２１１９８号公報
による「画像検索方法」では、予め提示されている画像
を、必要とする画像に類似している画像または類似して
いない画像として指定することができる。

【００１９】しかし、よほど希望する画像に似ている、
もしくは似ていない限り、単独の画像毎に必要とする画
像に似ているか否かを判断することは容易ではない。

【００２０】また、上記特開平９−４０１９７０号公報
による「画像検索方法および画像検索装置」、上記特開
平４０−１５４１４９号公報による「類似オブジェクト
検索方法および装置」においても、画像もしくはオブジ
ェクトが希望するものに類似しているか否かを判断する
過程において、全く同様な困難さが存在する。

【００２１】一方、例えば、２つのオブジェクトを比較
して、どちらが希望するものに類似かという観点で判断
することは、それほど困難ではない。

【００２２】これは、単独のオブジェクトの絶対的な類
似度を判断するのではなく、２つのオブジェクトの相対
的な類似度のみを判断すればよいからである。

【００２３】本発明は、この点に着目し、検索結果とし
て順位付けされたオブジェクトの類似度順位を相対的に
変更することにより、使用者の意図を重み係数へと変換
し、希望するオブジェクト群を効率良く検索することが
可能なマルチメディアオブジェクト検索方法およびシス
テムを提供することを目的とする。

【００２４】

【課題を解決するための手段】本発明によると、上記課
題を解決するために、（１） マルチメディアオブジェ
クトを入力またはデータベースに予め蓄積されたマルチ
メディアオブジェクトを指定する入力／指定工程と、上
記入力／指定工程によって入力または指定されたマルチ
メディアオブジェクトの特徴量を演算する特徴量演算工
程と、上記特徴量演算工程によって演算されたマルチメ
ディアオブジェクトの特徴量重み係数を演算する重み係
数演算工程と、上記特徴量演算工程によって演算された
特徴量および上記重み係数演算工程によって演算された
特徴量重み係数を用いて上記データベースに予め蓄積さ
れたマルチメディアオブジェクトの類似度検索を行う類
似度検索工程と、上記類似度検索工程による類似度検索
の結果に基づき上記入力／指定工程によって指定された
マルチメディアオブジェクトと類似するマルチメディア
オブジェクトを表示する表示工程と、上記表示工程によ
って表示されたマルチメディアオブジェクトの類似度順
位を変更する類似度順位変更工程と、上記類似度順位変
更工程によって変更された類似度順位に基づき上記マル
チメディアオブジェクトの特徴量重み係数の再計算を行
い、この特徴量重み係数を用いて類似度の再計算を行う
類似度再計算工程と、を有することを特徴とするマルチ
メディアオブジェクト検索方法が提供される。

【００２５】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００２６】類似度順位変更工程は、この第１の実施の
形態では図４のステップＳ１０６が該当する。

【００２７】また、上記構成要素中の類似度再計算工程
は、この第１の実施の形態では図４のステップＳ１０３
およびＳ１０４が該当するが、具体的な特徴量重み係数
の再計算のための計算手法は、この実施の形態で述べた
最適化手法に限定されるものではなく、一般によく知ら
れた他の計算手法も含む。

【００２８】また、具体的な計算手法は、この実施の形
態の式（１）で述べる類似度定義に限定されるものでは
なく、特徴量から計算される距離を対数化したものやマ
ハラノビス距離を用いるものも含む。

【００２９】また、上記構成要素中のマルチメディアオ
ブジェクトは、広くデジタルデータ全般を指し、デジタ
ルデータとしての静止画や動画、音声、音楽を含むもの
である。

【００３０】ここで、動画は、ビデオ映像のみならず、
画像データとアニメーションデータとの複合データをも
含む。

【００３１】また、ＣＡＤデータ等の２次元および３次
元データや、シルエット法やスリット法等の一般に良く
知られた手法で計測することにより生成される距離画像
や３次元データをも含む。

【００３２】また、アナログデータをデジタルデータに
変換した形態のものも含む。

【００３３】また、上記各種のデータを複数組み合わせ
た複合データも含む。

【００３４】（作用）本発明では、検索結果として出力
された任意のオブジェクトの類似度順位を変更すること
により、特徴量の重み係数を再計算し、類似度を再計算
する。

【００３５】あるオブジェクトが希望するオブジェクト
に類似か否かを判断するためには、どの程度の差異まで
を類似と許容するかについて判断しなければならないの
で、この境界を使用者が明確に認識することが困難であ
る。

【００３６】本発明では、使用者はオブジェクトの相対
的な順位のみに着目して、該類似度順位を変更できるの
で、あるオブジェクトが希望するオブジェクトに類似で
あるか否かを容易に判断することができる。

【００３７】本発明では、使用者が行った類似度順位変
更操作の結果から、自動的に特徴量の重み係数を再計算
し、類似度を再計算するので、類似度順位変更操作の意
図を反映した新しい検索結果を提示することができる。

【００３８】この際、局所的な操作である類似度順位変
更操作によって特徴量の重み係数を変更しているので、
該操作による類似度判断を全オブジェクトに適応するこ
とができる。

【００３９】この結果、使用者は局所的な操作であるに
もかかわらず、同様の傾向を持つ全オブジェクトの類似
度順位を変更したことと同様の結果を得ることができる
ため、希望するオブジェクト群を効率良く得られる。

【００４０】また、本発明によると、上記課題を解決す
るために、（２） 上記類似度再計算工程は、上記類似
度検索工程による類似度検索の結果に基づき上記表示手
段によって表示されたマルチメディアオブジェクトを対
象に類似度の再計算を行うことを特徴とする（１）に記
載のマルチメディアオブジェクト検索方法が提供され
る。

【００４１】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００４２】（作用）本発明では、表示されているマル
チメディアオブジェクトを対象に類似度の再計算を行う
ので、高速に再計算結果を提示することができる。

【００４３】また、本発明によると、上記課題を解決す
るために、（３） 上記類似度再計算工程は、上記デー
タベースに予め蓄積されたマルチメディアオブジェクト
を対象に類似度の再計算を行うことを特徴とする（１）
に記載のマルチメディアオブジェクト検索方法が提供さ
れる。

【００４４】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００４５】（作用）本発明では、データベースに予め
蓄積されたマルチメディアオブジェクトを対象に類似度
の再計算を行う。

【００４６】また、本発明によると、上記課題を解決す
るために、（４） 上記類似度再計算工程は、上記類似
度順位変更工程によって類似度順位が変更されたマルチ
メディアオブジェクトの特徴量および該類似度順位が変
更されたマルチメディアオブジェクトの前後の類似度順
位のマルチメディアオブジェクトの特徴量を用いて類似
度の再計算を行うことを特徴とする（１）乃至（３）の
いずれかに記載のマルチメディアオブジェクト検索方法
が提供される。

【００４７】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００４８】（作用）本発明では、類似度順位を変更し
たオブジェクトの特徴量と、該オブジェクトの変更後の
類似度順位の前後に位置するオブジェクトの特徴量とを
用いて前記特徴量の重み係数を変更することにより、使
用者は局所的で且つ相対的な類似度順位のみを考慮して
類似度順位変更操作を容易に行うことができる。

【００４９】また、本発明によると、上記課題を解決す
るために、（５） 上記類似度順位変更工程は、複数の
マルチメディアオブジェクトの類似度順位を変更するこ
とを特徴とする（１）に記載のマルチメディアオブジェ
クト検索方法が提供される。

【００５０】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００５１】（作用）この発明では、類似度順位の変更
を複数のオブジェクトに対して行った結果から、前記特
徴量の重み係数を変更することにより、使用者が希望す
る状態になるように、複数のオブジェクトの類似度順位
を変更した上で、前記特徴量の重み係数を変更すること
ができる。

【００５２】この結果、使用者は、オブジェクトの類似
度順位を変更する順序を気にすることなく、希望する状
態になるように、類似度順位変更操作を完結させること
ができる。

【００５３】また、本発明によると、上記課題を解決す
るために、（６） マルチメディアオブジェクトを入力
またはデータベースに予め蓄積されたマルチメディアオ
ブジェクトを指定する入力／指定手段と、上記入力／指
定手段によって入力または指定されたマルチメディアオ
ブジェクトの特徴量を演算する特徴量演算手段と、上記
特徴量演算手段によって演算されたマルチメディアオブ
ジェクトの特徴量重み係数を演算する重み係数演算手段
と、上記特徴量演算手段によって演算された特徴量およ
び上記重み係数演算手段によって演算された特徴量重み
係数を用いて上記データベースに予め蓄積されたマルチ
メディアオブジェクトの類似度検索を行う類似度検索手
段と、上記類似度検索手段による類似度検索の結果に基
づき上記入力／指定手段によって指定されたマルチメデ
ィアオブジェクトと類似するマルチメディアオブジェク
トを表示する表示手段と、上記表示手段によって表示さ
れたマルチメディアオブジェクトの類似度順位を変更す
る類似度順位変更手段と、上記類似度順位変更手段によ
って変更された類似度順位に基づき上記マルチメディア
オブジェクトの特徴量重み係数の再計算を行い、この特
徴量重み係数を用いて類似度の再計算を行う類似度再計
算手段と、を有することを特徴とするマルチメディアオ
ブジェクト検索システムが提供される。

【００５４】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００５５】そして、上記構成要素中の類似度再計算手
段は、この第１の実施の形態では図１の検索部９が該当
するが、図１の演算部１とは別にネットワーク上に分散
した機能として存在している場合を含む。

【００５６】また、上記構成要素中のマルチメディアオ
ブジェクトは、広くデジタルデータ全般を指し、デジタ
ルデータとしての静止画や動画、音声、音楽を含むもの
である。

【００５７】ここで、動画は、ビデオ映像のみならず、
画像データとアニメーションデータとの複合データをも
含む。

【００５８】また、ＣＡＤデータ等の２次元および３次
元データや、シルエット法やスリット法等の一般に良く
知られた手法で計測することにより生成される距離画像
や３次元データをも含む。

【００５９】また、アナログデータをデジタルデータに
変換した形態のものも含む。

【００６０】また、上記各種のデータを複数組み合わせ
た複合データも含む。

【００６１】（作用）本発明では、検索結果として出力
された任意のオブジェクトの類似度順位を変更すること
により、特徴量の重み係数を再計算し、類似度を再計算
する。

【００６２】あるオブジェクトが希望するオブジェクト
に類似か否かを判断するためには、どの程度の差異まで
を類似と許容するかについて判断しなければならないの
で、この境界を使用者が明確に認識することが困難であ
る。

【００６３】本発明では、使用者はオブジェクトの相対
的な順位のみに着目して、該類似度順位を変更できるの
で、あるオブジェクトが希望するオブジェクトに類似で
あるか否かを容易に判断することができる。

【００６４】本発明では、使用者が行った類似度順位変
更操作の結果から、自動的に特徴量の重み係数を再計算
し、類似度を再計算するので、類似度順位変更操作の意
図を反映した新しい検索結果を提示することができる。

【００６５】この際、局所的な操作である類似度順位変
更操作によって特徴量の重み係数を変更しているので、
該操作による類似度判断を全オブジェクトに適応するこ
とができる。

【００６６】この結果、使用者は局所的な操作であるに
もかかわらず、同様の傾向を持つ全オブジェクトの類似
度順位を変更したことと同様の結果を得ることができる
ため、希望するオブジェクト群を効率良く得られる。

【００６７】また、本発明によると、上記課題を解決す
るために、（７） 上記類似度再計算手段は、上記類似
度検索手段による類似度検索の結果に基づき上記表示手
段によって表示されたマルチメディアオブジェクトを対
象に類似度の再計算を行うことを特徴とする（６）に記
載のマルチメディアオブジェクト検索システムが提供さ
れる。

【００６８】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００６９】そして、上記構成要素中の類似度再計算手
段は、この第１の実施の形態では図１の検索部９が該当
するが、図１の演算部１とは別にネットワーク上に分散
した機能として存在している場合を含む。

【００７０】（作用）本発明では、表示されているマル
チメディアオブジェクトを対象に類似度の再計算を行う
ので、高速に再計算結果を提示することができる。

【００７１】また、本発明によると、上記課題を解決す
るために、（８） 上記類似度再計算手段は、上記デー
タベースに予め蓄積されたマルチメディアオブジェクト
を対象に類似度の再計算を行うことを特徴とする（６）
に記載のマルチメディアオブジェクト検索システムが提
供される。

【００７２】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００７３】（作用）本発明では、データベースに予め
蓄積されたマルチメディアオブジェクトを対象に類似度
の再計算を行う。

【００７４】また、本発明によると、上記課題を解決す
るために、（９） 上記類似度再計算手段は、上記類似
度順位変更手段によって類似度順位が変更されたマルチ
メディアオブジェクトの特徴量および該類似度順位が変
更されたマルチメディアオブジェクトの前後の類似度順
位のマルチメディアオブジェクトの特徴量を用いて類似
度の再計算を行うことを特徴とする（６）乃至（８）の
いずれかに記載のマルチメディアオブジェクト検索シス
テムが提供される。

【００７５】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００７６】（作用）本発明では、類似度順位を変更し
たオブジェクトの特徴量と、該オブジェクトの変更後の
類似度順位の前後に位置するオブジェクトの特徴量とを
用いて前記特徴量の重み係数を変更することにより、使
用者は局所的で且つ相対的な類似度順位のみを考慮して
類似度順位変更操作を容易に行うことができる。

【００７７】また、本発明によると、上記課題を解決す
るために、（１０） 上記類似度順位変更手段は、複数
のマルチメディアオブジェクトの類似度順位を変更する
ことを特徴とする（６）に記載のマルチメディアオブジ
ェクト検索システムが提供される。

【００７８】（対応する発明の実施の形態）この発明に
関する実施の形態は、後述する第１の実施の形態が対応
する。

【００７９】（作用）本発明では、類似度順位の変更を
複数のオブジェクトに対して行った結果から、前記特徴
量の重み係数を変更することにより、使用者が希望する
状態になるように、複数のオブジェクトの類似度順位を
変更した上で、前記特徴量の重み係数を変更することが
できる。

【００８０】この結果、使用者は、オブジェクトの類似
度順位を変更する順序を気にすることなく、希望する状
態になるように、類似度順位変更操作を完結させること
ができる。

【００８１】

【発明の実施の形態】以下図面を参照して本発明の実施
の形態について説明する。

【００８２】（第１の実施の形態）図１は、この発明に
よるマルチメディアオブジェクト検索方法およびシステ
ムの第１の実施の形態が適用される構成を示すブロック
図である。

【００８３】すなわち、図１において、演算装置１は、
ＣＲＴ、ＬＣＤディスプレイ、３次元表示装置等のオブ
ジェクトデータ表示装置２およびキーボード、マウス、
タブレット等のデータ入力、または操作入力を行う入力
装置３に接続されている。

【００８４】ここで、演算装置１の内部は、以下のよう
に構成されている。

【００８５】オブジェクト指定部４は、特徴量決定部５
に接続されている。

【００８６】特徴量決定部５は、重み係数決定部７に接
続されている。

【００８７】また、特徴量決定部５は、特徴量データベ
ース８にネットワークを介して接続されている。

【００８８】重み係数決定部７は、検索部９に接続され
ている。

【００８９】検索部９は、特徴量データベース８および
原オブジェクトデータベース１０にネットワークを介し
て接続されている。

【００９０】また、検索部９は、類似度順位変更部６に
接続されている。

【００９１】類似度順位変更部６は、重み係数決定部７
に接続されている。

【００９２】原オブジェクトデータベース１０には、マ
ルチメディアオブジェクトとして、例えば、椅子、テー
ブル、等のインテリア用品の３次元形状のデータが登録
されている。

【００９３】特徴量データベース８には、原オブジェク
トデータベース１０に登録されているマルチメディアオ
ブジェクトの特徴量が登録されている。

【００９４】ここで、特徴量としては、３次元オブジェ
クトのテクスチャに対して算出できるＲＧＢ、ＨＳＶ、
Ｌａｂ等の各色情報毎の値を量子化したヒストグラム、
エッジ微分を量子化した形状ヒストグラム、３次元オブ
ジェクトの体積や表面積等が用いられる。

【００９５】これらの特徴量は、様々な部位に沿って取
り出して、それぞれ別々の特徴量としてもよい。

【００９６】図２および図３は、オブジェクトデータ表
示装置２に表示される表示例を示している。

【００９７】通常、オブジェクトデータ表示装置２の画
面上には原オブジェクトデータベース１０に登録されて
いるオブジェクトを表示するウィンドウや検索結果とし
て希望するオブジェクトを指定するウィンドウが表示さ
れるが、図２では、検索結果のオブジェクトを表示する
ウィンドウ１１および類似度順位を変更した後の再計算
結果を表示するウィンドウ１２が表示される。

【００９８】次に、この発明の第１の実施の形態の作用
について説明する。

【００９９】図４は、この発明の第１の実施の形態の作
用を説明するための操作の手順を示すフローチャートで
ある。

【０１００】まず、ステップＳ１０１では、使用者が検
索結果として希望するオブジェクトを指定する。

【０１０１】このステップＳ１０１は、図１のオブジェ
クト指定部４にて処理される。

【０１０２】オブジェクトの指定は、原オブジェクトデ
ータベース１０に登録されているオブジェクトを指定す
ることや、本装置で取り扱い可能なオブジェクトを、ア
プリケーションのオープンメニューから選択することに
より行うことができる。

【０１０３】次に、ステップＳ１０２では、先のステッ
プＳ１０１で指定されたオブジェクトから、これらを代
表するオブジェクト特徴量を決定する。

【０１０４】このステップＳ１０２は、図１の特徴量決
定部５にて処理される。

【０１０５】この場合、ステップＳ１０１で指定された
オブジェクトのうち、特徴量データベース８上に特徴量
が存在するものについては、特徴量データベース８から
特徴量を読み込む。

【０１０６】また、ステップＳ１０１で指定されたオブ
ジェクトのうち、特徴量データベース８上に特徴量が存
在しないものについては、特徴量を算出する。

【０１０７】この特徴量算出の形態は、特徴量データベ
ース８を構築する際の演算と共通である。

【０１０８】ステップＳ１０１で指定されたオブジェク
トを代表する特徴量は、指定された各オブジェクトの特
徴量の平均値とする。

【０１０９】次に、ステップＳ１０３では、先のステッ
プＳ１０２にて決定されたオブジェクトの各特徴量に対
して重み係数を決定する。

【０１１０】このステップＳ１０３は、図１の重み係数
決定部７にて処理される。

【０１１１】図５は、ステップＳ１０３での処理の詳細
を示すフローチャートである。

【０１１２】まず、ステップＳ２０１では、類似度順位
を変更したオブジェクトが存在しているか否かを判断す
る。

【０１１３】ここで、類似度順位を変更したオブジェク
トが存在していない場合には、まだ一度も検索を実行し
ていない状態に対応する。

【０１１４】この場合、ステップＳ２０２で、重み係数
が初期値に設定される。

【０１１５】なお、本実施の形態では、重み係数の初期
値を全ての特徴量に対して１．０としている。

【０１１６】本実施の形態では、後述する式（１）に示
すように、オブジェクトｋの類似特徴量の各成分Ｆｉと
重み係数の各成分Ｗｉとの積の二乗和を類似度Ｓｋとし
て採用していることにより、類似度Ｓｋが小さいほど、
類似度順位が高くなる。

【０１１７】なお、類似特徴量とは、特徴量データベー
ス８に登録されている特徴量と、先のステップＳ１０２
にて決定された希望するオブジェクトを代表するオブジ
ェクトの特徴量との差分である。

【０１１８】すなわち、類似度Ｓｋは Ｓｋ＝（Ｆ０Ｗ０）＾２＋（Ｆ１Ｗ１）＾２＋ …＋（ＦｎＷｎ）＾２ …（１） として表される。

【０１１９】この式（１）は、オブジェクトｋの類似特
徴量の各成分Ｆｉを二乗した値からなるベクトルＦＳ
と、重み係数の各成分Ｗｉを二乗した値からなるベクト
ルＷＳとの内積として解釈することが可能である。

【０１２０】本実施の形態では、前記ベクトルＦＳと、
ベクトルＷＳとによる最適化を行い、類似度順位変更操
作による使用者の意図を反映した重み係数を算出する。

【０１２１】ステップＳ２０３では、現在設定されてい
重み係数るｗ０，ｗ１，…，ｗｎを取得し、最適化計算
のためのパラメータである基準重みベクトルＷＳＴを式
（２）に示すように設定する。

【０１２２】 ＷＳＴ＝（ｗ０＾２，ｗ１＾２，…，ｗｎ＾２） …（２） 次に、ステップＳ２０４では、式（３），（４）に示す
最適化計算を行う上での基本的な拘束条件を生成する。

【０１２３】本実施の形態では、類似特徴量の各成分を
二乗した値からなるベクトルＦＳと重み係数の各成分を
二乗した値からなるベクトルＷＳと基準重みベクトルＷ
ＳＴとから最適化計算を行い、最適な重み係数と関連付
けられた最適重みベクトルＷＳＯを算出する。

【０１２４】しかるに、これらのベクトルの成分が二乗
された値であることからも明かなように、式（３）に示
すように、最適重みベクトルＷＳＯの各要素は正でなけ
ればならない。

【０１２５】 ＷＳＯｉ＞＝０．０（ｉ＝０，１，…，ｎ） …（３） また、重み係数の値の上限値を１．０としているので、
式（４）に示すように、最適重みベクトルＷＳＯの各要
素は１．０以下でなければならない。

【０１２６】 ＷＳＯｉ＜＝１．０（ｉ＝０，１，…，ｎ） …（４） なお、最適な重み係数ＷＯｉと最適重みベクトルＷＳＯ
の関係は、式５に示すようになっている。

【０１２７】 ＷＳＯ＝（ＷＯ１＾２，ＷＯ２＾２，…，ＷＯｎ＾２） …（５） 次に、ステップＳ２０５では、類似度順位を変更したオ
ブジェクトの類似特徴量の各要素を二乗した類似特徴ベ
クトルＦＳｂｊと該オブジェクトのよりも一つ類似度順
位が高い位置に存在するオブジェクトの類似特徴量の各
要素を二乗した類似特徴ベクトルＦＳａｊとから、式６
に示す拘束条件を生成する。

【０１２８】 ＷＳＯ．ＦＳａｊ＜ＷＳＯ．ＦＳｂｊ …（６） 次に、ステップＳ２０６では、先のステップＳ２０５と
同様に、類似度順位を変更したオブジェクトの類似特徴
量の各要素を二乗した類似特徴ベクトルＦＳｂｊと該オ
ブジェクトのよりも一つ類似度順位が低い位置に存在す
るオブジェクトの類似特徴量の各要素を二乗した類似特
徴ベクトルＦＳｃｊとから、式７に示す拘束条件を生成
する。

【０１２９】 ＷＳＯ．ＦＳｂｊ＜ＷＳＯ．ＦＳｃｊ …（７） 次に、ステップＳ２０７では、類似度順位を変更したオ
ブジェクトが他に存在するか否かを判断する。

【０１３０】ここで、まだ、類似度順位を変更したオブ
ジェクトが存在する場合には、先のステップＳ２０５お
よびステップＳ２０６の処理に戻り、式（６）および式
（７）に示す拘束条件を生成する。

【０１３１】この繰り返しにより、式（６）および式
（７）に示す拘束条件は、各々類似度順位を変更したオ
ブジェクトの数だけ生成されることになる。

【０１３２】また、類似度順位を変更したオブジェクト
が存在しない場合には、ステップＳ２０８にて重み係数
の算出を行う。

【０１３３】次に、ステップＳ２０８では式（３），
（４），（６），（７）が拘束条件であり、式（８）を
評価関数とする最小値問題として最適化計算を行い、最
適重みベクトルＷＳＯを算出する。

【０１３４】そして、算出した最適重みベクトルＷＳＯ
と式（５）から、最適な重み係数ＷＯｉを算出する。

【０１３５】具体的な最適化計算の手法として、本実施
の形態で設定した制約条件付き非線型計画最小値問題の
解法として一般によく知られている罰金法の代表的な手
法であるＳＵＭＴ法（無制約逐次最小化技術法）を用い
ることにより、拘束条件付き非線型計画最小値問題を制
約条件無し非線型計画最小値問題へと変換する。

【０１３６】なお、最小点の算出には、共役勾配法が用
いられ、共役勾配法における１次の非線型計画最小値問
題には黄金分割法が用いられる。

【０１３７】次に、図４に戻って、ステップＳ１０４で
は、先のステップＳ１０２で決定した特徴量と、先のス
テップＳ１０３で決定した重み係数および特徴量データ
ベース８に登録されている全オブジェクトの特徴量とを
用いて類似検索を行う。

【０１３８】具体的な類似検索の方法としては、ステッ
プＳ２０７の作用の中で説明した式（１）を計算し、オ
ブジェクトｋの類似度を表現する式（１）の値Ｓｋが小
さい順にソートすることにより、類似度順位を決定す
る。

【０１３９】次に、ステップＳ１０５では、先のステッ
プＳ１０４で行った類似検索の結果をオブジェクトデー
タの表示装置２上に表示する。

【０１４０】次に、ステップＳ１０６では、使用者がオ
ブジェクトの類似度順位をドラッグ＆ドロップにより変
更する。

【０１４１】例えば、使用者は、図２の検索結果画面１
１に示すような座面が丸い椅子２０を、別の座面が丸い
椅子２１と座面が四角い椅子２２との間にドラッグ＆ド
ロップすることができる。

【０１４２】このようにして、使用者の意図する類似度
順位になるように、複数回操作を繰り返すことができ
る。

【０１４３】全操作が終了した後、メニューから”重み
係数再計算”を選択することにより、ステップＳ１０３
へと処理が続く。

【０１４４】ステップＳ１０６で行った類似度順位変更
の内容は、ステップＳ１０３で最適な重み係数を算出す
るための条件となる。

【０１４５】そして、先のステップＳ１０３で最適な重
み係数を再計算した結果を用いて、先のステップＳ１０
４にて類似検索を再度行った結果を表示したウィンドウ
を図２の１２に示す。

【０１４６】図３に示す検索結果画面１２では、座面が
丸い椅子２０の類似度を変更した結果、同様の特徴を持
つ椅子２３、２４が座面が四角い椅子２２よりも上位に
なっている。

【０１４７】次に、この発明の実施の形態の効果につい
て説明する。

【０１４８】ステップＳ１０６で行う類似度順位変更操
作は、類似度順位を変更するよう指定したオブジェクト
と、類似度順位変更先に位置するオブジェクトとの相対
的な類似度のみに注目して行うことができる。

【０１４９】ところで、希望するオブジェクトに似てい
るか否かという基準で判断する場合、どこまでを似てい
るという評価と、似ていないという評価との境界に位置
するオブジェクトを使用者自身で認識することが困難で
ある。

【０１５０】しかるに、本実施の形態のように、あるオ
ブジェクトとまた別のオブジェクトとの相対的な類似性
を判断することは容易である。

【０１５１】この結果、使用者は、容易に自分の意図し
た類似度順位変更操作を行うことができ、効率良く希望
するオブジェクトに類似なオブジェクト群を検索するこ
とができる。

【０１５２】そして、ステップＳ１０３で行う重み係数
決定処理では、ステップＳ１０６で使用者により局所的
に行われた類似度順位変更操作から全体の重み係数を最
適化計算により決定する。

【０１５３】この結果、例えば、使用者が、図２の検索
結果画面１１に示す座面が丸い椅子２０を別の座面が丸
い椅子２１と座面が四角い椅子２２との間に類似度順位
を変更した場合、図２の検索結果画面１２に示すよう
に、座面が丸い椅子２０と同様の特徴を持つ椅子２３、
２４が、座面が四角い椅子２２よりも類似度順位が上位
になる。

【０１５４】このように、一部のオブジェクトの類似度
を変更し、重み係数を最適化計算により再決定すること
により、該オブジェクトと同様の特徴を持つオブジェク
トの類似度も同様に類似度順位が変更される。

【０１５５】この結果、使用者は、ある一部のオブジェ
クトの類似度順位を変更する操作によって、自分の意図
を容易に全体へ反映させることが可能となり、効率良
く、効率良く希望するオブジェクトに類似なオブジェク
ト群を検索することができるようになる。

【０１５６】なお、特徴量データベース８および原オブ
ジェクトデータベース１０は、ネットワークを介した接
続に限定されるものでなく、演算装置１の内部に含まれ
ていても良い。

【０１５７】また、演算装置１の内部の構成について
は、ネットワーク上に分散した形態であっても良い。

【０１５８】さらに、特徴量データベース８に登録され
ている特徴量データは、正規化されている形態に限定さ
れるものではなく、特徴量決定時もしくは類似検索実行
時に動的に正規化される形態であっても良い。

【０１５９】また、ステップＳ１０３の重み係数決定処
理で行う最適化計算は、本実施の形態で述べた手法に限
定されるものではなく、一般によく知られた他の最適化
計算の手法であっても良い。

【０１６０】また、ステップＳ１０６での類似度順位変
更操作は、複数回の操作を行った後に重み係数再計算を
指示する形態ではなく、類似度順位変更操作が行われる
度に自動的に重み係数を再計算し、類似検索を行う形態
であっても良い。

【０１６１】本実施の形態が対象とするマルチメディア
オブジェクトは、３次元オブジェクトに限定されるもの
ではなく、例えば、動画であっても良い。

【０１６２】動画を時間方向の各レイヤとして積層化す
ることにより、３次元ボリュームデータと同等の情報と
なる。

【０１６３】また、音楽データであっても良く、音楽デ
ータをフーリェ変換することにより、周波数領域での特
徴量が得られる。

【０１６４】また、時間領域での振幅の変化等も特徴量
となる。

【０１６５】また、グラフィックスイコライザーのよう
に音楽データを可視化するツールで生成した画像または
映像から特徴量を算出することもできる。

【０１６６】（第２の実施の形態）この発明によるマル
チメディアオブジェクト検索方法および装置の第２の実
施の形態は、家を建築する場合やリフォームする場合等
に利用できる建材検索システムに適用される場合であ
る。

【０１６７】すなわち、この第２の実施の形態は、建材
検索システムとしてドアや窓枠等、様々な建材を選択す
る際に、類似な建材を検索することが可能である。

【０１６８】図６は、この発明によるマルチメディアオ
ブジェクト検索方法および装置の第２の実施の形態が適
用される構成を示すブロック図である。

【０１６９】この第２の実施の形態では、図６に示すよ
うに、使用者が直接操作するＷｅｂブラウザ３０１が設
けられており、このＷｅｂブラウザ３０１は、ＡＤＳＬ
回線によりインターネット３００に接続されている。

【０１７０】このＷｅｂブラウザ３０１の接続先には、
Ｗｅｂサーバ３０２が存在する。

【０１７１】このＷｅｂサーバ３０２は、Ｗｅｂアプリ
ケーションとして動作する類似建材検索システム３０３
に接続されている。

【０１７２】そして、この類似建材検索システム３０３
は、建材データベース３０４に接続されている。

【０１７３】この類似建材検索システム３０３は、Ｊａ
ｖａ２ＥＥ等の分散ネットワーク技術により、１台もし
くは複数台のハードウェアから構成されている。

【０１７４】前記建材データベース３０４には、ドア、
窓枠、壁紙等の家の構成要素となる建材のメーカー名、
型番、価格等の情報および建材の画像データと３次元デ
ータ、該３次元データおよび建材の画像データから算出
した各種の特徴量データとが格納されている。

【０１７５】ここで、特徴量としては、３次元オブジェ
クトのテクスチャに対して算出できるＲＧＢ、ＨＳＶ、
Ｌａｂ等の各色情報毎の値を量子化したヒストグラム、
エッジ微分を量子化した形状ヒストグラム、３次元オブ
ジェクトの体積や表面積等が用いられる。

【０１７６】これらの特徴量は、さまざまな部位に渡つ
て取り出して、それぞれ別々の特徴量としてもよい。

【０１７７】なお、建材データベース３０４に登録され
ている特徴量は、各特徴量のスケールに応じて正規化さ
れている。

【０１７８】前記Ｗｅｂブラウザ３０１には、希望する
建材を指定するためのユーザーインターフェースを実現
するオブジェクト指定部３０５が含まれている。

【０１７９】このオブジェクト指定部３０５は、Ｗｅｂ
ブラウザ３０１およびＷｅｂサーバ３０２を介して、類
似建材検索システム３０３に含まれる検索部３０７に接
続されている。

【０１８０】この検索部３０７は、Ｗｅｂサーバ３０２
およびＷｅｂブラウザ３０１を介して、Ｗｅｂブラウザ
３０１において検索結果としての建材を表示し、類似度
順位を変更するためのインターフェースを実現する類似
度順位変更部３０８に接続されている。

【０１８１】また、この検索部３０７は、建材データベ
ース３０４に接続されている。

【０１８２】前記類似度順位変更部３０８は、Ｗｅｂブ
ラウザ３０１およびＷｅｂサーバ３０２を介して類似建
材検索システム３０３に含まれる重み係数決定部３０９
に接続されている。

【０１８３】この重み係数決定部３０９は、検索部３０
７に接続されている。

【０１８４】図７および図８は、Ｗｅｂブラウザ３０１
の図示しないディスプレイに表示される表示例を示して
いる。

【０１８５】図７のＷｅｂブラウザ３０１のウィンドウ
４０１は、図６のオブジェクト指定部３０５が機能して
いる状態を示している。

【０１８６】そして、Ｗｅｂブラウザ３０１のウィンド
ウ４０１には、建材のジャンルをツリー状に表示するカ
タログメニュー部４０２が含まれている。

【０１８７】また、Ｗｅｂブラウザ３０１のウィンドウ
４０１には、選択されたジャンルに属する建材を表示す
る建材表示部４０３が含まれている。

【０１８８】また、Ｗｅｂブラウザ３０１のウィンドウ
４０１には、使用者が選択した希望する建材と類似な建
材の検索を開始するためのボタンと最大出力数を指定す
るフィールドから構成される検索指示部４０４が含まれ
ている。

【０１８９】図８のＷｅｂブラウザ３０１のウィンドウ
５０１は、図６の類似度順位変更部３０８が機能してい
る状態を示している。

【０１９０】このＷｅｂブラウザ３０１のウィンドウ５
０１には、建材のジャンルをツリー状に表示するカタロ
グメニュー部５０２が含まれている。

【０１９１】また、Ｗｅｂブラウザ３０１のウィンドウ
５０１には、類似検索の結果を表示し、類似度順位変更
のためのユーザーインターフェースを提供する建材表示
部５０３が含まれている。

【０１９２】また、Ｗｅｂブラウザ３０１のウィンドウ
５０１には、類似度順位変更操作による重み係数最適化
処理を開始するためのボタン５０４が含まれている。

【０１９３】また、Ｗｅｂブラウザ３０１のウィンドウ
５０１には、使用者が選択した希望する建材と類似な建
材の検索を開始するためのボタンと最大出力数を指定す
るフィールドとから構成される検索指示部５０５が含ま
れている。

【０１９４】次に、この発明による第２の実施の形態の
作用を説明する。

【０１９５】使用者は、まず、図７に示すウィンドウ４
０１上で操作を行う。

【０１９６】使用者は、ウィンドウ４０１のカタログメ
ニュー部４０２にあるジャンル名をクリックすることに
より、希望する建材のジャンルを選択する。

【０１９７】このウンンドウ４０１の建材表示部４０３
には、カタログメニュー部４０２で選択されたジャンル
に含まれる建材が一覧表示される。

【０１９８】図７のウィンドウ４０１は、カタログメニ
ュー部４０２でドアが選択された状態を示している。

【０１９９】使用者は、建材表示部４０３に表示された
各建材の画像の下にあるチェックボックスをクリックす
ることにより、希望する建材を選択する。

【０２００】使用者が、希望する建材に似た一つ、また
は複数の建材を選択した後、検索指示部４０４の検索開
始ボタンをクリックすることにより、インターネット３
００上に存在する類似建材検索システム３０３に対し
て、検索を開始する指示が送られる。

【０２０１】使用者は、検索指示部４６４の最大出力数
フィールドを操作することにより、検索結果の最大出力
数を指定することができる。

【０２０２】そして、検索部３０７は、オブジェクト指
定部３０５が機能しているウィンドウ４０１から送られ
た希望建材ＩＤを受け取る。

【０２０３】この検索部３０７は、受け取った希望建材
ＩＤに基づき、建材データベース３０４から特徴量を読
み込む。

【０２０４】また、検索部３０７は、検索に必要な全建
材の特徴量を建材データベース３０４から読み込む。

【０２０５】そして、検索部３０７では、希望建材の特
徴量と検索対象となっている全建材の特徴量とから類似
検索を行う。

【０２０６】図９は、検索部３０７における類似計算の
手順を説明するために示すフローチャートである。

【０２０７】まず、ステップＳ６０１では、希望建材の
うちのーつに対する類似特徴量を算出する。

【０２０８】ここで、類似特徴量とは、式（９）に示す
ように希望するオブジェクトｋの特徴量をベクトルで表
現したＦＯｋと検索対象となっているオブジェクトｉの
特徴量をベクトルで表現したＦＯｉとの差分Ｆｉｋであ
る。

【０２０９】Ｆｉｋ＝ＦＯｉ−ＦＯｋ
…（９）つまり、検索対象となってい
る全建材について、各建材の特徴量ベクトルから、希望
する建材ｋの特徴量ベクトルを引いた類似特徴量ベクト
ルの集合を算出することになる。

【０２１０】次に、ステップＳ６０２では、類似特徴量
ベクトルに重み係数をかけ、各成分の二乗和を計算する
ことにより式（１）に示す類似度を算出する。

【０２１１】ここで、類似度とは、式（１０）に示すよ
うに、ステップＳ６０１で算出した希望するオブジェク
トｋに対する検索対象オブジェクトｉの類似特徴量ベク
トルＦｉｋと重み係数をベクトルで表現したＷとの内積
Ｓｉｋである。

【０２１２】なお、重み係数ベクトルＷの各成分の初期
値は１．０となっている。

【０２１３】 Ｓｉｋ＝Ｆｉｋ．Ｗ …（１０） 次に、ステップＳ６０４では、類似度の算出に関して、
未計算の希望建材が存在するか否かを判断している。

【０２１４】ここで、未計算の希望建材が存在する場合
には、再びステップＳ６０１に戻り、未計算の希望建材
のうちの一つについて、類似度の算出を行う。

【０２１５】この場合、希望建材のＩＤを表す添字はｋ
からｌへと進められ、希望建材ｌに対する検索対象オブ
ジェクトｉの類似度Ｓｉｌが更に求められることにな
る。

【０２１６】また、類似度の算出に関して、未計算の希
望建材が存在しない場合には、ステップＳ６０３へと進
む。

【０２１７】ステップＳ６０３では、式（１１）に示す
ように、各々の希望建材について算出した類似度Ｓｉｋ
の和を計算することにより、検索対象オブジェクト毎の
総合類似度Ｓｉを算出する。

【０２１８】 Ｓｉ＝Ｓｉｋ＋Ｓｉｌ＋…＋Ｓｉｚ …（１１） なお、添字ｋ，ｌ，ｚは、各希望建材のＩＤを表わして
いる。

【０２１９】そして、検索部３０７は、画像データおよ
び／または３次元データを含む各建材データを、算出し
た各検索対象建材の総合類似度Ｓｉに従ってソートし、
検索結果データとして、類似度順位変更部３０８が機能
する図８のウィンドウ５０１ヘ送信する。

【０２２０】この類似度順位変更部３０８は、検索部３
０７より送信された検索結果データに従って、図８に示
すウィンドウ５０１に含まれる建材表示部５０３の内容
を描画する。

【０２２１】また、類似度順位変更部３０８は、カタロ
グメニュー部５０２、最適化実行ボタン５０４および検
索指示部５０５も描画し、ウィンドウ５０１を表示す
る。

【０２２２】使用者は、建材表示部５０３に表示された
建材を表す画像をドラッグ＆ドロップにより、移動させ
ることができる。

【０２２３】例えば、使用者が、類似度順位８の建材５
０６を図８中の矢印５０７に従って類似度順位３の建材
と類似度順位４の建材との間へドラッグ＆ドロップした
場合、建材５０６が類似度順位４となり、類似度順位が
４から７であった建材は、類似度順位が５から８へと変
化する。

【０２２４】このとき、類似度順位変更部３０８は、類
似度順位変更建材として建材５０６のＩＤを記憶する。

【０２２５】使用者は、自分の類似度順位評価に近い状
態になるまで、上記操作を繰り返し行うことができる。

【０２２６】そして、類似度順位変更部３０８は、繰り
返し行われる各操作毎に類似度順位変更建材のＩＤを追
加的に記憶する。

【０２２７】なお、Ｗｅｂブラウザ３０１におけるドラ
ッグ＆ドロップ等、上記ユーザーインターフェースの実
現には、Ｆｌａｓｈ技術が用いられている。

【０２２８】類似度順位変更操作終了後、使用者が最適
化実行ボタン５０４をクリックすることにより、類似度
順位変更部３０８は、類似度順位変更建材として記憶し
ている建材のＩＤおよび各建材の類似度順位の前後に位
置する建材のＩＤを、重み係数決定部３０９へ送信す
る。

【０２２９】また、使用者は、建材表示部５０３に表示
された各建材に対応するチェックボックスをチェック
し、検索指示部５０５に含まれる検索開始ボタンをクリ
ックすることにより、新規に検索を行うことができる。

【０２３０】そして、重み係数決定部３０９では、図５
に示したフローチャートに従って重み係数決定のための
処理が行われる。

【０２３１】各ステップの処理内容は、第１の実施の形
態と同様である。

【０２３２】すなわち、重み係数決定部３０９は、決定
した最適な重み係数を検索部３０７へ送信する。

【０２３３】この検索部３０７では、図９に示したフロ
ーチャートに従って類似検索が再び行われる。

【０２３４】但し、検索部３０７では、類似度算出の際
に用いる重み係数ベクトルＷとして、重み係数決定部３
０９にて決定した最適な重み係数を用いて類似検索を行
う。

【０２３５】そして、検索部３０７は、最適な重み係数
を用いて行った類似検索の結果データを、再び類似度順
位変更部３０８へ送信する。

【０２３６】使用者は、ウィンドウ５０１に表示された
建材に対して、再び類似度順位変更操作を行うことがで
きる。

【０２３７】使用者は、上記操作を繰り返し、希望する
建材に類似な建材を検索する。

【０２３８】次に、この発明の第２の実施の形態の効果
を説明する。

【０２３９】類似度順位変更操作部３０８にて行う類似
度順位変更操作は、類似度順位を変更するよう指定した
建材と、類似度順位変更先に位置する建材との相対的な
類似度のみに注目して行うことができる。

【０２４０】希望する建材に似ているか否かという基準
で判断する場合、どこまでを似ていると評価し、どこか
らを似ていないと評価するかの境界に位置する建材を使
用者自身で認識することが困難である。

【０２４１】しかし、本実施の形態のように、ある建材
とまた別の建材との相対的な類似性を判断することは容
易である。

【０２４２】この結果、使用者は、容易に自分の意図を
反映した類似度順位変更操作を行うことができ、効率良
く希望する建材に類似なものを検索することができる。

【０２４３】重み係数決定部３０９にて行う重み係数決
定処理では、類似度順位変更操作部３０８にて使用者に
より局所的に行われた類似度順位変更操作から、最適化
計算により全体の重み係数を決定する。

【０２４４】この結果、例えば、使用者が、図８に示す
幅の狭いドア５０６を矢印５０７に従って移動させた場
合、使用者が手動で類似度順位を変更しなくとも、同様
に幅が狭いという特徴を持つ、ドアが上位に集合する結
果を得ることができる。

【０２４５】このように、一部の建材の類似度を変更
し、重み係数を最適化計算により決定することにより、
該建材と同様の特徴を持つ他の建材も同様に類似度順位
が変更される。

【０２４６】この結果、使用者はある一部の建材の類似
度順位を変更する操作によって、自分の意図を容易に全
体へ反映させることが可能となり、少ない操作で効率良
く希望する建材に類似なものを検索することができる。

【０２４７】なお、使用者が直接操作するＷｅｂブラウ
ザ３０１のインターネット３００への接続形態は、ＡＤ
ＳＬ回線に限定されるものではなく、他のあらゆる接続
形態を含むものとする。

【０２４８】また、Ｗｅｂブラウザ３０１とＷｅｂサー
バ３０２との間にインターネット３００を介さず、ＬＡ
Ｎ内部もしくは同ハードウェア内部で接続されているよ
うにしても良い。

【０２４９】また、類似建材検索システム３０３内部に
Ｗｅｂサーバの機能を取り込んだ形態であっても良い。

【０２５０】また、検索対象は建材に限定されるもので
はなく、インテリア等の３次元オブジェクトや動画映
像、静止画、音楽、音声といったデジタルデータである
マルチメディアオブジェクトを含む。

【０２５１】また、建材データベース３０４に登録され
ている特徴量データは、正規化されている形態に限定さ
れるものではなく、類似検索実行時に動的に正規化され
る形態であっても良い。

【０２５２】さらに、類似順位変更操作部３０８で行う
類似度順位変更操作は、使用者が、複数回の操作を行っ
た後に最適化実行ボタン５０４をクリックして類似度順
位変更建材のID等を送信する形態ではなく、類似度順位
変更操作が行われる度に自動的に類似度順位変更建材の
ＩＤ等を送信し、重み係数最適化および類似検索を行う
形態であっても良い。

【０２５３】また、データベース３０４は、図６の配置
に限定されるものではなく、各機能配置を変更するよう
にしても良いと共に、各機能の一部の配置を変更するよ
うにしてもよい。

【０２５４】例えば、建材データベース３０４は、検索
部３０７の内部に含まれるような形態としても良い。

【０２５５】また、重み係数決定部３０９による計算部
分の一部をＷｅｂブラウザ３０１に配置するようにして
も良い。

【０２５６】

【発明の効果】従って、以上説明したように、本発明に
よれば、検索結果として順位付けされたオブジェクトの
類似度順位を相対的に変更することにより、使用者の意
図を重み係数へと変換し、希望するオブジェクト群を効
率良く検索することが可能なマルチメディアオブジェク
ト検索方法およびシステムを提供することができる。

【図面の簡単な説明】

【図１】図１は、この発明によるマルチメディアオブジ
ェクト検索方法および装置の第１の実施の形態が適用さ
れる構成を示すブロック図である。

【図２】図２は、図１のオブジェクトデータ表示装置２
に表示される表示例を示す図である。

【図３】図３は、図１のオブジェクトデータ表示装置２
に表示される表示例を示す図である。

【図４】図４は、この発明の第１の実施の形態の作用を
説明するための操作の手順を示すフローチャートであ
る。

【図５】図５は、図４におけるステップＳ１０３での処
理の詳細を示すフローチャートである。

【図６】図６は、この発明によるマルチメディアオブジ
ェクト検索方法および装置の第２の実施の形態が適用さ
れる構成を示すブロック図である。

【図７】図７は、図６におけるＷｅｂブラウザ３０１の
表示例を示す図である。

【図８】図７は、図６におけるＷｅｂブラウザ３０１の
表示例を示す図である。

【図９】図９は、図６の検索部３０７における類似計算
の手順を説明するために示すフローチャートである。

【符号の説明】

１…演算装置、 ２…オブジェクトデータ表示装置、 ３…入力装置、 ４…オブジェクト指定部、 ５…特徴量決定部、 ６…類似度順位変更部、 ７…重み係数決定部、 ８…特徴量データベース、 ９…検索部、 １０…原オブジェクトデータベース、 １１，１２…ウィンドウ、 ３０１…Ｗｅｂブラウザ、 ３００…インターネット、 ３０２…Ｗｅｂサーバ、 ３０３…類似建材検索システム、 ３０４…建材データベース、 ３０５…オブジェクト指定部、 ３０７…検索部、 ３０８…類似度順位変更部、 ３０９…重み係数決定部、 ４０１，５１１…ウィンドウ、 ４０２，５０２…カタログメニュー部、 ４０３，５０３…建材表示部、 ４０４…検索指示部、 ５０４…最適化実行ボタン、 ５０５…検索指示部、 ５０６…建材、 ５０７…矢印。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１４年１０月２１日（２００２．１０．
２１）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】００１２

【補正方法】変更

【補正内容】

【００１２】また、特開平９−１０１９７０号公報に
は、希望画像に類似する画像と、類似しない画像とを各
々、複数指定することにより、類似度算出の際に各特徴
量の重み係数を調整可能とした画像検索方法および画像
検索装置が開示されている。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正内容】

【００１５】また、特開平１０−１５４１４９号公報に
は、出力されたサンプルオブジェクト群から利用者が指
定した参照オブジェクトに類似していると思われるもの
を追加する手段を有し、より適切な重み係数になるよう
に調整可能な類似オブジェクト検索方法および装置が開
示されている。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００２０

【補正方法】変更

【補正内容】

【００２０】また、上記特開平９−１０１９７０号公報
による「画像検索方法および画像検索装置」、上記特開
平１０−１５４１４９号公報による「類似オブジェクト
検索方法および装置」においても、画像もしくはオブジ
ェクトが希望するものに類似しているか否かを判断する
過程において、全く同様な困難さが存在する。

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００９７

【補正方法】変更

【補正内容】

【００９７】通常、オブジェクトデータ表示装置２の画
面上には原オブジェクトデータベース１０に登録されて
いるオブジェクトを表示するウィンドウや、検索結果と
して希望するオブジェクトを指定するウィンドウが表示
されている。図２には、この希望するオブジェクトを指
定するでの指定結果に基づいて検索を行い、その検索結
果を表示するウィンドウ１１が示されている。また、図
３には、ウィンドウ１１に表示された検索結果に対して
類似度順位を変更した後、再度類似度の計算をした結果
（再検索結果）を表示したウィンドウ１２が示されてい
る。

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】０１２８

【補正方法】変更

【補正内容】

【０１２８】 ＷＳＯ・ＦＳａｊ＜ＷＳＯ・ＦＳｂｊ …（６） 次に、ステップＳ２０６では、先のステップＳ２０５と
同様に、類似度順位を変更したオブジェクトの類似特徴
量の各要素を二乗した類似特徴ベクトルＦＳｂｊと該オ
ブジェクトのよりも一つ類似度順位が低い位置に存在す
るオブジェクトの類似特徴量の各要素を二乗した類似特
徴ベクトルＦＳｃｊとから、式７に示す拘束条件を生成
する。

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】０１２９

【補正方法】変更

【補正内容】

【０１２９】 ＷＳＯ・ＦＳｂｊ＜ＷＳＯ・ＦＳｃｊ …（７） 次に、ステップＳ２０７では、類似度順位を変更したオ
ブジェクトが他に存在するか否かを判断する。

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】０１３３

【補正方法】変更

【補正内容】

【０１３３】次に、ステップＳ２０８では式（３），
（４），（６），（７）が拘束条件であり、例えば、式
（８）を評価関数とする最小値問題として後述するよう
な最適化計算が行われることにより、最適重みベクトル
ＷＳＯが算出される。 ｆ（ＷＳＯ）＝−ＷＳＯ・ＷＳＴ／（｜ＷＳＯ｜｜ＷＳＴ｜） …（８）

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】０１４５

【補正方法】変更

【補正内容】

【０１４５】そして、先のステップＳ１０３で最適な重
み係数を再計算した結果を用いて、先のステップＳ１０
４にて類似検索を再度行った結果を表示したウィンドウ
を図３の１２に示す。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】０１５３

【補正方法】変更

【補正内容】

【０１５３】この結果、例えば、使用者が、図２の検索
結果画面１１に示す座面が丸い椅子２０を別の座面が丸
い椅子２１と座面が四角い椅子２２との間に類似度順位
を変更した場合、図３の検索結果画面１２に示すよう
に、座面が丸い椅子２０と同様の特徴を持つ椅子２３、
２４が、座面が四角い椅子２２よりも類似度順位が上位
になる。

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】０２１３

【補正方法】変更

【補正内容】

【０２１３】 Ｓｉｋ＝Ｆｉｋ・Ｗ …（１０） 次に、ステップＳ６０４では、類似度の算出に関して、
未計算の希望建材が存在するか否かを判断している。

【手続補正１１】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正内容】

【図１】

【手続補正１２】

【補正対象書類名】図面

【補正対象項目名】図４

【補正方法】変更

【補正内容】

【図４】

【手続補正１３】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正内容】

【図５】

フロントページの続き (72)発明者 柴▲崎▼ 隆男 東京都渋谷区幡ヶ谷２丁目43番２号 オリ ンパス光学工業株式会社内 Ｆターム(参考） 5B075 ND16 NK06 PP28 PQ46 PQ74 PR06 QM08

Claims (10)

【特許請求の範囲】
1. 【請求項１】 マルチメディアオブジェクトを入力また
   はデータベースに予め蓄積されたマルチメディアオブジ
   ェクトを指定する入力／指定工程と、 上記入力／指定工程によって入力または指定されたマル
   チメディアオブジェクトの特徴量を演算する特徴量演算
   工程と、 上記特徴量演算工程によって演算されたマルチメディア
   オブジェクトの特徴量重み係数を演算する重み係数演算
   工程と、 上記特徴量演算工程によって演算された特徴量および上
   記重み係数演算工程によって演算された特徴量重み係数
   を用いて上記データベースに予め蓄積されたマルチメデ
   ィアオブジェクトの類似度検索を行う類似度検索工程
   と、 上記類似度検索工程による類似度検索の結果に基づき上
   記入力／指定工程によって指定されたマルチメディアオ
   ブジェクトと類似するマルチメディアオブジェクトを表
   示する表示工程と、 上記表示工程によって表示されたマルチメディアオブジ
   ェクトの類似度順位を変更する類似度順位変更工程と、 上記類似度順位変更工程によって変更された類似度順位
   に基づき上記マルチメディアオブジェクトの特徴量重み
   係数の再計算を行い、この特徴量重み係数を用いて類似
   度の再計算を行う類似度再計算工程と、 を有することを特徴とするマルチメディアオブジェクト
   検索方法。
2. 【請求項２】 上記類似度再計算工程は、上記類似度検
   索工程による類似度検索の結果に基づき上記表示手段に
   よって表示されたマルチメディアオブジェクトを対象に
   類似度の再計算を行うことを特徴とする請求項１に記載
   のマルチメディアオブジェクト検索方法。
3. 【請求項３】 上記類似度再計算工程は、上記データベ
   ースに予め蓄積されたマルチメディアオブジェクトを対
   象に類似度の再計算を行うことを特徴とする請求項１に
   記載のマルチメディアオブジェクト検索方法。
4. 【請求項４】 上記類似度再計算工程は、上記類似度順
   位変更工程によって類似度順位が変更されたマルチメデ
   ィアオブジェクトの特徴量および該類似度順位が変更さ
   れたマルチメディアオブジェクトの前後の類似度順位の
   マルチメディアオブジェクトの特徴量を用いて類似度の
   再計算を行うことを特徴とする請求項１乃至３のいずれ
   かに記載のマルチメディアオブジェクト検索方法。
5. 【請求項５】 上記類似度順位変更工程は、複数のマル
   チメディアオブジェクトの類似度順位を変更することを
   特徴とする請求項１に記載のマルチメディアオブジェク
   ト検索方法。
6. 【請求項６】 マルチメディアオブジェクトを入力また
   はデータベースに予め蓄積されたマルチメディアオブジ
   ェクトを指定する入力／指定手段と、 上記入力／指定手段によって入力または指定されたマル
   チメディアオブジェクトの特徴量を演算する特徴量演算
   手段と、 上記特徴量演算手段によって演算されたマルチメディア
   オブジェクトの特徴量重み係数を演算する重み係数演算
   手段と、 上記特徴量演算手段によって演算された特徴量および上
   記重み係数演算手段によって演算された特徴量重み係数
   を用いて上記データベースに予め蓄積されたマルチメデ
   ィアオブジェクトの類似度検索を行う類似度検索手段
   と、 上記類似度検索手段による類似度検索の結果に基づき上
   記入力／指定手段によって指定されたマルチメディアオ
   ブジェクトと類似するマルチメディアオブジェクトを表
   示する表示手段と、 上記表示手段によって表示されたマルチメディアオブジ
   ェクトの類似度順位を変更する類似度順位変更手段と、 上記類似度順位変更手段によって変更された類似度順位
   に基づき上記マルチメディアオブジェクトの特徴量重み
   係数の再計算を行い、この特徴量重み係数を用いて類似
   度の再計算を行う類似度再計算手段と、 を有することを特徴とするマルチメディアオブジェクト
   検索システム。
7. 【請求項７】 上記類似度再計算手段は、上記類似度検
   索手段による類似度検索の結果に基づき上記表示手段に
   よって表示されたマルチメディアオブジェクトを対象に
   類似度の再計算を行うことを特徴とする請求項６に記載
   のマルチメディアオブジェクト検索システム。
8. 【請求項８】 上記類似度再計算手段は、上記データベ
   ースに予め蓄積されたマルチメディアオブジェクトを対
   象に類似度の再計算を行うことを特徴とする請求項６に
   記載のマルチメディアオブジェクト検索システム。
9. 【請求項９】 上記類似度再計算手段は、上記類似度順
   位変更手段によって類似度順位が変更されたマルチメデ
   ィアオブジェクトの特徴量および該類似度順位が変更さ
   れたマルチメディアオブジェクトの前後の類似度順位の
   マルチメディアオブジェクトの特徴量を用いて類似度の
   再計算を行うことを特徴とする請求項６乃至８のいずれ
   かに記載のマルチメディアオブジェクト検索システム。
10. 【請求項１０】 上記類似度順位変更手段は、複数のマ
    ルチメディアオブジェクトの類似度順位を変更すること
    を特徴とする請求項６に記載のマルチメディアオブジェ
    クト検索システム。