JP2008210365A - 素材検索方法、素材検索方法を実行させるためのプログラム、及び、そのプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】発明は、検索の精度が高く、素材を表現する表現用語を統計的に解析できる素材検索方法を提供することを目的とする。
【解決手段】第１実施形態に係る素材検索方法は、表現用語獲得ステップＳ１３０で獲得した表現用語と調和の高い表現用語を、素材取得ステップＳ１１０で取得した検索用素材と異種のメディア情報種別に属する素材情報の中から正準相関分析法によって選定し、選定した表現用語に対応する素材を獲得して検索結果とする検索ステップＳ１４０と、を順に備えることを特徴とする。
【選択図】図２

Description

本発明は、異種のメディア情報種別に属する素材を検索する素材検索方法に関する。

インターネット上の検索エンジンでは、検索対象となる素材は、主にテキストであった。また、検索エンジンで画像を検索する場合、画像と共にアップロードされている記事等のテキストを検索しており、画像自体を利用できていなかった。また、画像をインデックス化して検索する方法もあるが、そのインデックス化を手作業で行う必要があり、また、インデックス化を行う人の主観でインデックスの内容が左右されてしまった。

そこで、異種のメディア間で最適なメディア対を予測する技術が開示されている（例えば、特許文献１を参照。）。特許文献１で開示される技術は、異種メディア対の客観情報及び感性情報と適合度との相関関係を規定した適合度ルールを用いて最適なメディア対を予測している。
特開平１１−６６０２８号公報

しかし、特許文献１で開示される技術は、決定木で相関関係を規定しており、離散値（定性的）にする必要がある。また、特許文献１で開示される技術は、異種メディア対の感性情報の相関関係を直接的に解析できない問題がある。

本発明は、検索の精度が高く、素材を表現する表現用語を統計的に解析できる素材検索方法を提供することを目的とする。

前記課題を解決するため、本発明に係る素材検索方法は、調和の高い表現用語を正準相関分析法によって選定し、選定した表現用語に対応する素材を獲得することを特徴とする。

具体的には、本発明に係る素材検索方法は、メディア情報種別毎に複数の素材、前記素材を数値化した素材物理量及び前記素材を表現する表現用語を有する素材情報から、異種のメディア情報種別に属する前記素材を検索する素材検索方法であって、検索用素材を取得する素材取得ステップと、前記素材取得ステップで取得した前記検索用素材の前記素材物理量を抽出する素材物理量抽出ステップと、前記素材取得ステップで取得した前記検索用素材と同種のメディア情報種別に属し、かつ、前記素材物理量抽出ステップで抽出した前記素材物理量と相関の高い前記素材物理量を有する前記素材を前記素材情報から重回帰分析法によって選定し、選定した前記素材が有する前記表現用語を獲得する表現用語獲得ステップと、前記表現用語獲得ステップで獲得した前記表現用語と調和の高い前記表現用語を、前記素材取得ステップで取得した前記検索用素材と異種のメディア情報種別に属する前記素材情報の中から正準相関分析法によって選定し、選定した前記表現用語に対応する前記素材を獲得して検索結果とする検索ステップと、を順に備えることを特徴とする。

上記の素材検索方法は、定量的な正準相関分析法を用いており、また、前記表現用語に相関関係がなく独立性が高いので、検索の精度を高くすることができる。また、上記の素材検索方法は、正準相関分析法によって前記表現用語を統計的に解析することができ、異種のメディア情報種別に属する前記素材における重要な前記表現用語と重要でない前記表現用語を区別することができる。

前記課題を解決するため、本発明に係る素材検索方法は、正準相関分析法によって選定された調和の高い表現用語を有する調和情報から表現用語を検索し、検索した表現用語に対応する素材を獲得することを特徴とする。

具体的には、本発明に係る素材検索方法は、メディア情報種別毎に複数の素材、前記素材を数値化した素材物理量及び前記素材を表現する表現用語を有する素材情報と、正準相関分析法によって選定され、かつ、異種のメディア情報種別に属する前記素材同士の調和の高い前記表現用語を有する調和情報と、から異種のメディア情報種別に属する前記素材を獲得する素材検索方法であって、検索用素材を取得する素材取得ステップと、前記素材取得ステップで取得した前記検索用素材の前記素材物理量を抽出する素材物理量抽出ステップと、前記素材取得ステップで取得した前記検索用素材と同種のメディア情報種別に属し、かつ、前記素材物理量抽出ステップで抽出した前記素材物理量と相関の高い前記素材物理量を有する前記素材を前記素材情報から重回帰分析法によって選定し、選定した前記素材が有する前記表現用語を獲得する表現用語獲得ステップと、前記表現用語獲得ステップで獲得した前記表現用語と調和の高い前記表現用語を前記調和情報から検索し、検索した前記表現用語に対応する前記素材を獲得して検索結果とする検索ステップと、を順に備えることを特徴とする。

上記の素材検索方法は、定量的な正準相関分析法を用いており、また、前記表現用語に相関関係がなく独立性が高いので、検索の精度を高くすることができる。また、上記の素材検索方法は、正準相関分析法によって前記表現用語を統計的に解析することができ、異種のメディア情報種別に属する前記素材における重要な前記表現用語と重要でない前記表現用語を区別することができる。

本発明に係る素材検索方法では、前記素材取得ステップの前に、前記素材、前記素材物理量及び予め学習した前記素材に対応する前記表現用語を取得して前記素材情報として登録する学習ステップ、をさらに備えることが好ましい。

上記の素材検索方法は、学習した前記表現用語を前記素材情報に登録することで、検索の精度をより高くすることができる。

本発明に係る素材検索方法では、前記素材情報は、前記素材として、前記素材物理量が少なくとも形状及び色で表される２次元情報と前記素材物理量が少なくとも形状及び色で表される３次元情報とを含むことが好ましい。

上記の素材検索方法は、２次元情報や３次元情報といった人間の視覚で認識できる前記素材を検索することができる。

本発明に係る素材検索方法では、前記素材取得ステップで取得した素材と、前記検索ステップで獲得した素材とを合成した画像を、出力手段に表示する合成画像表示ステップと、前記合成画像表示ステップで表示した画像の調和又は不調和を取得する相関取得ステップと、前記相関取得ステップで調和を取得した場合に、前記素材取得ステップで取得した素材と前記検索ステップで獲得した素材の前記素材物理量から共通する素材物理量を抽出し、抽出した素材物理量を表現する表現用語を取得する相関分析ステップと、前記相関分析ステップで取得した表現用語を前記素材情報に追加する表現用語学習ステップと、を、前記検索ステップの後にさらに有することが好ましい。

本発明によって、メディア情報種別の異なる複数の素材を合成して表示できるので、的確に判断された調和又は不調和を取得することができる。さらに、検索サービスが学習機能を有することで、「調和」と判断される根拠となった表現用語を学習することができる。

本発明に係る素材検索方法では、コンピュータに前記いずれかの素材検索方法を実行させるためのプログラムを含む。

本発明に係る素材検索方法では、コンピュータに前記いずれかの素材検索方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を含む。

本発明は、検索の精度が高く、素材を表現する表現用語を統計的に解析できる素材検索方法を提供することができる。

添付の図面を参照して本発明の実施の形態を説明する。以下に説明する実施の形態は本発明の構成の例であり、本発明は、以下の実施の形態に制限されるものではない。また、同一ステップ及び同一装置には同一符号を付した。

（第１実施形態）
図１に、第１実施形態に係る素材検索方法を実行する素材検索システムの一例を示す。素材検索システム１００は、例えば、演算装置１１０、素材情報データベース１２０、素材取得手段１３０、出力手段１４０及び学習支援手段１５０を備える。演算装置１１０は、例えば、後述する素材検索方法を実行する。素材情報データベース１２０は、例えば、後述する素材情報（不図示）を格納したデータベースである。素材取得手段１３０としては、例えば、２次元情報及び３次元情報を取得するスキャナ、聴覚情報を取得するマイク及びレコーダー、触覚情報を取得する触覚センサ、臭覚情報を取得する臭覚センサ、並びに、味覚情報を取得する味覚センサがある。出力手段１４０は、例えば、検索結果を出力するプリンタやディスプレイである。また、学習支援手段１５０は、例えば、表現用語の学習に必要となる心理実験を支援する。

図２に、第１実施形態に係る素材検索方法の第１のフローチャートを示す。第１実施形態に係る素材検索方法は、メディア情報種別毎に複数の素材、素材を数値化した素材物理量及び素材を表現する表現用語を有する素材情報から、異種のメディア情報種別に属する素材を検索する素材検索方法であって、検索用素材を取得する素材取得ステップＳ１１０と、素材取得ステップＳ１１０で取得した検索用素材の素材物理量を抽出する素材物理量抽出ステップＳ１２０と、素材取得ステップＳ１１０で取得した検索用素材と同種のメディア情報種別に属し、かつ、素材物理量抽出ステップＳ１２０で抽出した素材物理量と相関の高い素材物理量を有する素材を素材情報から重回帰分析法によって選定し、選定した素材が有する表現用語を獲得する表現用語獲得ステップＳ１３０と、表現用語獲得ステップＳ１３０で獲得した表現用語と調和の高い表現用語を、素材取得ステップＳ１１０で取得した検索用素材と異種のメディア情報種別に属する素材情報の中から正準相関分析法によって選定し、選定した表現用語に対応する素材を獲得して検索結果とする検索ステップＳ１４０と、を順に備える。

素材情報について説明する。素材は、２次元情報、３次元情報、聴覚情報、触覚情報、臭覚情報又は味覚情報のいずれかのメディア情報種別に属する。

２次元情報とは、人間の視覚で平面的（２次元）に認識できるものである。

３次元情報とは、人間の視覚で立体的（３次元）に認識できるものである。

図３は、素材の一例を示す画像であり、（ａ）が２次元情報の一例であり、（ｂ）及び（ｃ）が３次元情報の一例である。２次元情報としては、例えば、平面的に表現された写真、絵画、映像又はコンピュータグラフィック（ＣＧ）がある。また、３次元情報としては、例えば、立体模型、立体的に表現された写真、絵画、映像又はＣＧがある。

聴覚情報とは、人間の聴覚で認識できるものである。聴覚情報としては、例えば、音楽がある。

触覚情報とは、人間の触覚で認識できるものである。触覚情報としては、例えば、熱い、寒い、暖かい、ぬるいといった素材の温度、柔らかい、硬いといった素材の硬度、及び、粗い、滑るといった素材表面の平坦さがある。

臭覚情報とは、人間の臭覚で認識できるものである。臭覚情報としては、例えば、素材からの臭いがある。

味覚情報とは、人間の味覚で認識できるものである。味覚情報としては、甘さ、苦さ、辛さ、酸っぱさ、うまさといった素材の味がある。

第１実施形態に係る素材検索方法では、素材情報は、素材として、素材物理量が少なくとも形状及び色で表される２次元情報と素材物理量が少なくとも形状及び色で表される３次元情報とを含むことが好ましい。第１実施形態に係る素材検索方法は、人間の感覚のうち最も発達した視覚で認識できる２次元情報及び３次元情報を検索することができ、利便性が高い。ここで、色には、明度、色相及び彩度が含まれる。

図４は、コントラスト分析で２次元情報の素材物理量を抽出する一例であり、（ａ）は２次元情報を示す図であり、（ｂ）は２次元情報が分割されたセクションの拡大図である。図４（ａ）に示すように、コントラスト分析では、例えば、２次元情報２１０を９個のセクション２１２に分割して特徴を求め、２次元情報２１０の素材物理量を抽出する。

素材が３次元情報であれば、例えば、頂点の位置から素材の形状を抽出する頂点情報処理とコントラスト分析等の画像処理を併用して素材の形状及び色を抽出する（不図示）。

素材が聴覚情報である場合、素材物理量は、例えば、音圧、周波数、音色、又は、協和音と不協和音の区別となる。素材が触覚情報である場合、素材物理量は、例えば、平滑度、粗度、温度、硬度、又は、弾力性となる。素材が臭覚情報である場合、素材物理量は、例えば、臭気指数となる。また、素材が味覚情報である場合、素材物理量は、例えば、糖分濃度、酸性度、又は、塩分濃度となる。

表現用語は、例えば、心理実験によって予め学習する。表現用語の学習については後述する。

図５に、第１実施形態に係る素材検索方法の第２のフローチャートを示す。図５に示すように、第１実施形態に係る素材検索方法では、素材取得ステップＳ１１０の前に、素材、素材物理量及び予め学習した素材に対応する表現用語を取得して素材情報として登録する学習ステップＳ１５０、をさらに備えることが好ましい。なお、図５の素材取得ステップＳ１１０、素材物理量抽出ステップＳ１２０、表現用語獲得ステップＳ１３０及び検索ステップＳ１４０は、図２と同様のものであり、破線で示す。

図５の学習ステップＳ１５０では、素材、抽出した素材物理量、予め学習した素材用語を取得して素材情報に登録する。第１実施形態に係る素材検索方法は、素材情報を多く登録するほど、検索の精度を高くすることができる。

表現用語の学習は、例えば、学習支援手段（不図示）によって行うことができる。学習支援手段は、例えば、反対の意味を有する単語の組合せた単語対を被験者に対して表示し、単語対から素材を表現していると考えられる一方の単語を被験者に選択させる。学習支援手段が、この単語を取得することで、学習した表現用語を取得することになる。また、単語対のうち、複数の被験者から多く選択された単語を表現用語としても良い。図６に、単語対の一例を示す。図６において、単語対は、例えば、単語Ａと単語Ｂの組み合わせである。例えば、単語対は、１行目であれば「好き」と「嫌い」の組み合わせであり、２行目であれば「明るい」と「暗い」の組み合わせである。

また、表現用語は、例えば、スコア付けによって学習してもよい。スコア付けとは、例えば、素材にふさわしい単語はスコアが高く、素材にふさわしくない単語はスコアが低いというルールのもと、被験者が単語のスコア付けを行う。複数の被験者が単語対のスコア付けを行い、単語対から平均スコアが高い一方の単語を表現用語とする。或いは、一定以上の平均スコアを有する単語を表現用語としても良い。

素材の検索方法について説明する。図５の素材取得ステップＳ１１０では、例えば、素材取得手段（不図示）によって検索用素材を取得する。

検索用素材とは、いずれかのメディア種別に属し、第１実施形態に係る素材検索方法において検索条件となる素材である。

素材物理量抽出ステップＳ１２０では、例えば、検索用素材が２次元情報であればコントラスト分析で素材物理量を抽出し、検索用素材が３次元情報であれば頂点情報処理と画像処理を併用して素材物理量を抽出する。

表現用語獲得ステップＳ１３０では、例えば、検索用素材が２次元情報又は３次元情報であれば、相関が高い形状及び色を有する素材を重回帰分析法によって素材情報から選定する。例えば、選定した素材情報から以下のようにして表現用語を獲得することができる。検索用素材と素材の素材物理量が一致する場合、その素材が有する表現用語を全て獲得しても良い。例えば、素材が「大きい」、「やわらかい」及び「軽い」という表現用語を有する場合、検索用素材の表現用語として、「大きい」、「やわらかい」及び「軽い」の全てを獲得する。また、例えば、検索用素材と素材の素材物理量のうち、形状が異なる場合、検索用素材の表現用語として「やわらかい」及び「軽い」を獲得し、「大きい」は獲得しない。

検索ステップＳ１４０では、表現用語獲得ステップＳ１３０で獲得した表現用語と調和の高い表現用語を正準相関分析法によって選定する。例えば、選定した表現用語から以下のようにして表現用語に対応する素材を獲得することができる。表現用語獲得ステップＳ１３０で表現用語として、「大きい」、「やわらかい」及び「軽い」を獲得した場合、大きい」、「やわらかい」及び「軽い」の全てを表現用語として有する素材が素材情報中に登録されているのであれば、その素材を獲得する。ここで、「大きい」、「やわらかい」及び「軽い」の全てを表現用語として有する素材が素材情報に複数登録されている場合、いずれかの素材を獲得しても良く、また、全ての素材を獲得しても良い。また、「大きい」、「やわらかい」及び「軽い」の全てを表現用語として有する素材が登録されていない場合、「大きい」、「やわらかい」及び「軽い」のうちのいずれかの２個を有する素材を獲得しても良い。さらに、素材が獲得できない場合、「大きい」、「やわらかい」及び「軽い」のうちのいずれかを有する素材を獲得しても良い。

以上のように、第１実施形態に係る素材検索方法は、定量的な正準相関分析法を用いており、また、表現用語に相関関係がなく独立性が高いので、検索の精度を高くすることができる。また、第１実施形態に係る素材検索方法は、正準相関分析法によって表現用語を統計的に解析することができ、異種のメディア情報種別に属する素材における重要な表現用語と重要でない表現用語を区別することができる。

（第２実施形態）
第２実施形態に係る素材検索方法について、主に第１実施形態に係る素材検索方法を説明する。図７に、第２実施形態に係る素材検索方法を実行する素材検索システムの一例を示す。素材検索システム１０１は、例えば、演算装置１１０、素材情報データベース１２０、素材取得手段１３０、出力手段１４０、学習支援手段１５０及び調和情報データベース１６０を備える。調和情報データベース１６０は、例えば、後述する調和情報（不図示）を格納したデータベースである。

図８に、第２実施形態に係る素材検索方法のフローチャートを示す。第２実施形態に係る素材検索方法は、メディア情報種別毎に複数の素材、素材を数値化した素材物理量及び素材を表現する表現用語を有する素材情報と、正準相関分析法によって選定され、かつ、異種のメディア情報種別に属する素材同士の調和の高い表現用語を有する調和情報と、から異種のメディア情報種別に属する素材を獲得する素材検索方法であって、検索用素材を取得する素材取得ステップＳ１１０と、素材取得ステップＳ１１０で取得した検索用素材の素材物理量を抽出する素材物理量抽出ステップＳ１２０と、素材取得ステップＳ１１０で取得した検索用素材と同種のメディア情報種別に属し、かつ、素材物理量抽出ステップＳ１２０で抽出した素材物理量と相関の高い素材物理量を有する素材を素材情報から重回帰分析法によって選定し、選定した素材が有する表現用語を獲得する表現用語獲得ステップＳ１３０と、表現用語獲得ステップＳ１３０で獲得した表現用語と調和の高い表現用語を調和情報から検索し、検索した表現用語に対応する素材を獲得して検索結果とする検索ステップＳ１４１と、を順に備える。

素材取得ステップＳ１１０、素材物理量抽出ステップＳ１２０及び表現用語獲得ステップＳ１３０は、第１実施形態に係る素材検索方法と同様である。また、素材取得ステップＳ１１０の前に、第１実施形態と同様に学習ステップ（不図示）を備えることが好ましい。

検索ステップＳ１４１では、表現用語獲得ステップＳ１３０で獲得した表現用語と調和の高い表現用語を調和情報から検索する。また、検索した表現用語から対応する素材を獲得する方法は、第１実施形態に係る素材検索方法と同様である。

第２実施形態に係る素材検索方法は、定量的な正準相関分析法を用いており、また、表現用語に相関関係がなく独立性が高いので、検索の精度を高くすることができる。また、第２実施形態に係る素材検索方法は、正準相関分析法によって表現用語を統計的に解析することができ、異種のメディア情報種別に属する素材における重要な表現用語と重要でない表現用語を区別することができる。さらに、第２実施形態に係る素材検索方法は、予め調和情報を準備しておくことから、検索処理の高速化を図ることができる。

本発明には、コンピュータに第１又は第２実施形態に係る素材検索方法を実行させるためのプログラムを含む。また、本発明には、コンピュータに第１又は第２実施形態に係る素材検索方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を含む。ここで、コンピュータ読み取り可能な記録媒体とは、例えば、電磁気的又は光学的なディスク又はテープである。

正準相関分析法によって選択した表現用語を評価するため、以下の実験を行った。まず、被験者が調和すると評価した２次元情報（景観）と３次元情報（建物）の表現用語の組合せたサンプルを２８組準備した。ここで、２次元情報及び３次元情報の表現用語のそれぞれについて７段階（１が調和、４が中立、７が不調和）の段階評価を行った。また、サンプルについても７段階の段階評価を行った。そして、調和と評価されたサンプルに対して正準相関分析を行った。図９に、正準相関分析による表現用語の選択結果を示した。なお、図９では、正準負荷量が０．４以上の箇所を太字で示した。

図９から次のことが判った。０．４以上の正準負荷量となる表現用語が力量性及び現代性に関して２次元情報及び３次元情報の両方共にグループ化されることから、表現用語同士に対向関係があることが判った。以上より、正準相関分析法によって選択した表現用語の調和が高いことが判った。

なお、実施形態１及び実施形態２における素材検索方法の前提として、メディア情報種別毎に複数の素材、素材を数値化した素材物理量及び素材を表現する表現用語を有する素材情報についてのデータベースを構築する必要がある。一例として、「部屋」の持ち主が、自分の部屋に合った「椅子」を本実施形態に係る素材検索方法によって探す場合について説明する。

「部屋」と「椅子」とはメディア情報種別が異なる。メディア情報種別は素材検索方法によって異なる。本実施形態のように、家具を探すｗｅｂサイトの場合、椅子、ベッドなどの家具と、部屋とはメディア情報種別が異なる。本実施形態では、素材「部屋」を２次元情報、素材「椅子」を３次元情報として扱うが、メディア情報種別は素材「椅子」が２次元情報であってもよいし、素材「部屋」が３次元情報であってもよい。

素材情報についてのデータベースを構築するために、素材「椅子」についての素材物理量及び表現用語を取得する。ここで、素材物理量の取得は、素材「椅子」の３次元情報作成者の意図を反映させる場合、素材「椅子」の３次元情報作成時に埋め込まれる情報から行うことが好ましい。例えば、ＣＡＤ情報から、３次元方向での実寸や縮尺を取得する。また、素材「椅子」の３次元情報の特徴抽出によって行ってもよい。さらに、素材物理量は、素材検索方法において学習することで取得してもよい。

表現用語の取得は、素材「椅子」の３次元情報を見る人が感じるイメージを取得する。表現用語の取得は、素材情報データベースに予め入力されていてもよいし、本実施形態に係る素材検索方法において学習することで取得してもよい。

一方で、素材情報についてのデータベースの構築のために、素材「部屋」についての素材物理量及び表現用語を取得する。素材物理量は、例えば、素材検索方法の利用者の入力によって、部屋の間取りや大きさを取得する。また、素材検索方法の利用者の入力によらなくても、素材物理量の取得は、素材「部屋」の画像データから特徴抽出などの画像処理によって行うことができる。表現用語の取得は、素材「部屋」の２次元情報を見る人が感じるイメージを取得する。例えば、素材「部屋」の所有者の希望する部屋のイメージを入力することで取得する。又は、複数の選択肢が画面上に示され、その選択肢から１つ又は複数の表現用語を選択する。また、表現用語の取得は、素材物理量に対する表現用語が定められた表を予め用意し、その表を参照することで行う。

（実施形態３）
図１０は、本実施形態に係る素材検索方法の一例を示す流れ図である。本実施形態に係る素材検索方法では、実施形態１及び実施形態２で説明した素材検索方法を実行する検索ステップＳ５０１の後に、さらに、合成空間表示ステップＳ５０２と、相関取得ステップＳ５０３と、相関分析ステップＳ５０４と、表現用語学習ステップＳ５０５と、を順に有する。本実施形態に係る素材検索方法は、ステップＳ５０１の後に、さらに、合成空間表示ステップＳ５０２と、相関取得ステップＳ５０３と、相関分析ステップＳ５０４と、表現用語学習ステップＳ５０５と、を実行させるためのプログラムであってもよい。また、当該プログラムは、コンピュータ読み取り可能な記録媒体に格納されていてもよい。

検索ステップＳ５０１では、実施形態１又は実施形態２で説明した素材検索方法を実行する。例えば、図１１に示す素材「部屋」の画像を入力すると、図１２に示す「素材「部屋」に調和した素材「椅子」が検索結果として表示される。

合成空間表示ステップＳ５０２では、素材検索方法の利用者の入力した素材「部屋」と抽出された「椅子」が合成され、両素材を合成した画像が図１に示す出力手段１４０に表示される。図１３は、複数の素材を合成した画像の一例である。例えば、ＡＲｔｏｏ１Ｋｉｔを用いて素材「部屋」に素材「椅子」を擬似的に表示させる。素材「部屋」と「椅子」の合成においては、素材「部屋」に関連して記憶されている素材物理量と素材「椅子」に関連して記憶されている素材物理量とに基づいて、実際に配置した場合に近い状態で表示されることが好ましい。例えば、素材「椅子」の色調や光沢などを、部屋の光源の位置と素材「椅子」の配置場所との相対的な関係によって調整すれば、素材「部屋」との調和を現実に近いかたちで確認することができる。また、各素材の取得時に、ビジュアルマーカをカメラに投影すれば、実空間に近い状態をコンピュータ上で再現することができる。また、メディア情報種別の異なる素材間の画像の合成を容易にかつ的確に行うことができる。

相関取得ステップＳ５０３では、複数の素材の合成の結果について、調和が取れているか否かを取得する。例えば、複数の素材を合成した画像の端に２つのボタンを設け、一方のボタンが押されれば調和と入力し、他方のボタンが押されれば不調和と入力する。本ステップにおいて「調和」と入力された場合は、ステップＳ５０４へ移行する。一方、本ステップにおいて「不調和」と入力された場合は、本実施形態に係る素材検索方法を終了する。

相関分析ステップＳ５０４では、相関取得ステップＳ５０３において調和と判定された場合、素材間の調和を表現する表現用語を取得する。例えば、素材「椅子」と素材「部屋」の両者の素材物理量を対比して、両者に共通の素材物理量を抽出する。例えば、曲線のなだらかさや、光沢の少ない落ち着いた色調である点を示す素材物理量が共通した場合、それらの素材物理量を抽出する。ここで、抽出する素材物理量は１つに限られず、２以上であってもよい。

さらに、相関分析ステップＳ５０４では、抽出した素材物理量を表現する表現用語を取得する。表現用語は、例えば、素材物理量を主成分分析、重回帰分析を用いて推定することができる。曲線のなだらかさや、光沢の少ない落ち着いた色調である点を示す素材物理量に基づいて、「モダン」「フォーマル」及び「親近感」という表現用語を取得する。ここで、取得する表現用語は、すでに素材「椅子」又は素材「部屋」の表現用語に含まれていてもよいし、新たに追加してもよい。また、取得する表現用語は、１つの素材物理量に対して１種類であってもよいし、複数の素材物理量に対して１種類であってもよい。複数の素材物理量に対して１種類の表現用語を取得することで、より正確な表現用語を取得することができる。また、表現用語の取得は、人が入力することで行う。また、表現用語の取得は、素材物理量に対する表現用語が定められた表を予め用意し、その表を参照することで行う。このように、異なるメディア情報の特徴量から表現用語（形容詞対）を自動推定する。これにより、異なるメディア情報間の形容詞の対応関係を自動的に構築することができる。

表現用語学習ステップＳ５０５では、既存の表現用語と異なる表現用語を取得した場合、取得した表現用語を新たに追加する。表現用語を追加する素材は、同一のメディア情報種別だけであってもよいし、複数のメディア情報種別に対してであってもよい。本実施形態では、例えば、素材「椅子」の属する３次元情報のメディア情報種別のすべての素材と、素材「部屋」の属する２次元情報のメディア情報種別のすべての素材の表現用語に、「モダン」「フォーマル」及び「親近感」を追加する。本実施形態によれば、本実施形態に係る素材検索方法が利用されるごとに、表現用語を学習することができる。学習した表現用語を素材情報データベースに格納すれば、利用者は、自己の要求により近い素材を検索することができる。

さらに、表現用語学習ステップＳ５０５では、表現用語を追加した各素材について相関分析を行うことが好ましい。この場合、相関分析した結果を、新たな表現用語として素材情報に追加する。すべての素材に対して新たな表現用語の相関分析を行うことで、より検索精度を高めることができる。

近年インターネット環境が一般家庭にも普及し、Ｗｅｂにある膨大な情報の中から必要な情報を取り出すには検索システムはかかせないものとなっている。ショッピングサイトなどで家具などを探そうと考えたとき、キーワード、価格、デザイナーの名前、大まかなカテゴリ分類、家具の色などといったテキスト情報によって絞り込むことができる。従来の検索エンジンでは、テキストデータをファイル中に含むなど、テキストデータに何らかのかたちで関連付けられていないと検索ができなかった。画像データの検索サービスにおいても同様であり、画像に関連付けられているテキスト情報を元に検索を行っていた。テキスト情報を元に検索を行った場合、選択するテキスト情報が一般的すぎると膨大な量の検索結果が抽出される。このとき、これらの家具のなかから自分の好みに合った家具を探すのは容易ではない。

また、従来は、画像に関連付けられているテキスト情報は、人間の判断によって入力されていた。人間の判断によって入力された場合、画像に関連付けられているテキスト情報は客観性に欠ける。このため、検索サイトの利用者の入力するテキスト情報と画像に関連付けられているテキスト情報とが一致し難く、検索サイトの利用者は自分の好みに合った家具を抽出するのは困難だった。一方で、検索サイト側は、画像に関連付けられているテキスト情報を入力するのに人手と時間を要するので、インデックス化が困難であり、検索サイトの利用者が容易に使いこなせる検索サイトの構築は困難だった。

また、従来は、部屋のコーディネートをする際に、椅子などの商品（インテリア）を実空間（インテリア・ショップ）で再度確認して実空間と商品との調和を判断するか、あるいは、検索サイトで抽出された商品を頭の中で実空間に投影させて判断していた。

しかし、本実施形態に係る素材検索方法を用いれば、コンピュータに部屋の写真画像を取得させ、インターネットを接続して部屋の画像を検索サイトに送れば、その部屋と調和のとれた家具を大規模データベースから検索し、自分の感性に合ったいろいろな商品を抽出することができる。特に、素材「部屋」などの２次元情報から感じるイメージ（表現用語）と、素材「椅子」などの３次元情報（家具データ）から感じるイメージ（表現用語）という異なるメディアの形容詞の相関を調べることで、ユーザが求める家具を検索できる。

また、家具メーカ、個人デザイナー又は検索サイトの提供者などの画像インデックスを構築する側としては、画像検索のための入力の手間が少なくなるので、購入者に広く商品を紹介することが可能になる。また、都市デザインに関しては、建築の専門家ではない人がこのシステムによって学習し、目をこやすことで、ディベロッパーやデザイナーから提案された案に意見が言えるようになり、自分の好みを簡単に相手に伝えられるようになる。応用例として、都市の景観映像から、ストリートファーニチャーが検索される都市デザインを支援することが可能になる。

また、従来は、部屋をどのような雰囲気にしたいかと考えたときにその雰囲気にあっている家具を選ぶが、選んだ家具がその部屋と本当に調和するのかが分からないことがあった。しかし、本実施形態に係る素材検索方法では、メディア情報種別の異なる２次元情報の素材と３次元情報の素材を合成して表示できるので、調和しているか否かを容易かつ的確に判断することができる。さらに、検索サービスが学習機能をさらに有することで、「調和」と判断されたか否かによって表現用語をさらに学習し、検索サービスの利用者の感性により近い検索サービスを提供することが可能となる。

２次元情報の素材と３次元情報の素材の表現用語同士で対応づけることが有効であるかを調べた。まず、表現用語の相関を取るためには、それぞれの素材についての素材物理量及び表現用語が必要となる。このため、２次元情報の素材と３次元情報の素材をコンピュータ内に取得した。取得した２次元情報の素材は３６種類であった。また、取得した３次元情報の素材は３４種類であった。

次に、評価実験で評価する２次元情報の素材と３次元情報の素材の素材物理量及び表現用語を取得した。表現用語の取得においては、取得した素材のそれぞれについて、２０代男女９人が被検者となって形容詞評価を行った。表現用語は、例えば、相対する２つの形容詞によって構成される形容詞対である。形容詞評価は、形容詞対の一方を１、他方を７とした７段階で行った。例えば、形容詞対が「上品な−下品な」であれば、形容詞評価では、「上品な」を１と評価し、「下品な」を７と評価し、「中立」を４と評価した。本実施例では、２次元情報の素材のそれぞれについて、２６対の表現用語を取得した。また、３次元情報の素材のそれぞれについては、２３対の表現用語を取得した。

次に、２次元情報の素材と３次元情報の素材を組合せた組み合わせサンプルについて、２０代男女９人が被検者となって、調和度評価を行った。調和度評価は、「調和」を１、「中立」を４、「不調和」を７とした７段階で行った。調和度評価を行った素材は、３６種類の２次元情報の素材と３４種類の３次元情報の素材との組み合わせのうち、被検者によって４以下と判断された計５９種類の組み合わせサンプルについて行った。

図１４は、実施例における正準負荷量の一例である。正準負荷量の絶対値が０．４以上となった組み合わせサンプルの正準負荷量を、２次元情報の素材の表現用語及び３次元情報の素材の表現用語ごとに示している。正準負荷量の絶対値が０．４以上となる場合に相関が高いとみて分類したところ、それぞれに含まれる形容詞から「モダン、フォーマル、親近感」といった３つのグループにグループ化でき、表現用語同士に対応関係があることがわかった。これによって、形容詞評価に重み付けをすることにより個人の感性も取り入れた検索システムを提供することができる。

本発明に係る素材検索方法は、インターネット上の検索エンジン、マルチメディア対応のデータベース及びカラオケ機器等の娯楽機器として利用することができる。

第１実施形態に係る素材検索方法を実行する素材検索システムの一例を示す図である。 第１実施形態に係る素材検索方法の第１のフローチャートである。 素材の一例を示す画像であり、（ａ）が２次元情報の一例であり、（ｂ）及び（ｃ）が３次元情報の一例である。 コントラスト分析で２次元情報の素材物理量を抽出する一例であり、（ａ）は２次元情報を示す図であり、（ｂ）は２次元情報が分割されたセクションの拡大図である。 第１実施形態に係る素材検索方法の第２のフローチャートを示す。 単語対の一例を示す図である。 第２実施形態に係る素材検索方法を実行する素材検索システムの一例を示す図である。 第２実施形態に係る素材検索方法のフローチャートである。 正準相関分析による表現用語の選択結果を示す図である。 本実施形態に係る素材検索方法の一例を示す流れ図である。 素材「部屋」の２次元画像の一例である。 素材「椅子」の３次元画像の一例である。 複数の素材を合成した画像の一例である。 実施例における正準負荷量の一例である。

符号の説明

１００，１０１ 素材検索システム
１１０ 演算装置
１２０ 素材情報データベース
１３０ 素材取得手段
１４０ 出力手段
１５０ 学習支援手段
１６０ 調和情報データベース
２１０ ２次元情報
２１２ セクション
Ｓ１１０ 素材取得ステップ
Ｓ１２０ 素材物理量抽出ステップ
Ｓ１３０ 表現用語獲得ステップ
Ｓ１４０，Ｓ１４１ 検索ステップ
Ｓ１５０ 学習ステップ

Claims (8)

1. メディア情報種別毎に複数の素材、前記素材を数値化した素材物理量及び前記素材を表現する表現用語を有する素材情報から、異種のメディア情報種別に属する前記素材を検索する素材検索方法であって、
   検索用素材を取得する素材取得ステップと、
   前記素材取得ステップで取得した前記検索用素材の前記素材物理量を抽出する素材物理量抽出ステップと、
   前記素材取得ステップで取得した前記検索用素材と同種のメディア情報種別に属し、かつ、前記素材物理量抽出ステップで抽出した前記素材物理量と相関の高い前記素材物理量を有する前記素材を前記素材情報から重回帰分析法によって選定し、選定した前記素材が有する前記表現用語を獲得する表現用語獲得ステップと、
   前記表現用語獲得ステップで獲得した前記表現用語と調和の高い前記表現用語を、前記素材取得ステップで取得した前記検索用素材と異種のメディア情報種別に属する前記素材情報の中から正準相関分析法によって選定し、選定した前記表現用語に対応する前記素材を獲得して検索結果とする検索ステップと、
   を順に備えることを特徴とする素材検索方法。
2. メディア情報種別毎に複数の素材、前記素材を数値化した素材物理量及び前記素材を表現する表現用語を有する素材情報と、正準相関分析法によって選定され、かつ、異種のメディア情報種別に属する前記素材同士の調和の高い前記表現用語を有する調和情報と、から異種のメディア情報種別に属する前記素材を獲得する素材検索方法であって、
   検索用素材を取得する素材取得ステップと、
   前記素材取得ステップで取得した前記検索用素材の前記素材物理量を抽出する素材物理量抽出ステップと、
   前記素材取得ステップで取得した前記検索用素材と同種のメディア情報種別に属し、かつ、前記素材物理量抽出ステップで抽出した前記素材物理量と相関の高い前記素材物理量を有する前記素材を前記素材情報から重回帰分析法によって選定し、選定した前記素材が有する前記表現用語を獲得する表現用語獲得ステップと、
   前記表現用語獲得ステップで獲得した前記表現用語と調和の高い前記表現用語を前記調和情報から検索し、検索した前記表現用語に対応する前記素材を獲得して検索結果とする検索ステップと、
   を順に備えることを特徴とする素材検索方法。
3. 前記素材取得ステップの前に、
   前記素材、前記素材物理量及び予め学習した前記素材に対応する前記表現用語を取得して前記素材情報として登録する学習ステップ、
   をさらに備えることを特徴とする請求項１又は２に記載の素材検索方法。
4. 前記素材情報は、前記素材として、前記素材物理量が少なくとも形状及び色で表される２次元情報と前記素材物理量が少なくとも形状及び色で表される３次元情報とを含むことを特徴とする請求項１から３のいずれかに記載の素材検索方法。
5. コンピュータに請求項１から４のいずれかに記載の素材検索方法を実行させるためのプログラム。
6. コンピュータに請求項１から４のいずれかに記載の素材検索方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
7. 前記素材取得ステップで取得した素材と、前記検索ステップで獲得した素材とを合成した画像を、出力手段に表示する合成画像表示ステップと、
   前記合成画像表示ステップで表示した画像の調和又は不調和を取得する相関取得ステップと、
   前記相関取得ステップで調和を取得した場合に、前記素材取得ステップで取得した素材と前記検索ステップで獲得した素材の前記素材物理量から共通する素材物理量を抽出し、抽出した素材物理量を表現する表現用語を取得する相関分析ステップと、
   前記相関分析ステップで取得した表現用語を前記素材情報に追加する表現用語学習ステップと、
   を、前記検索ステップの後にさらに有することを特徴とする請求項１、２又は３に記載の素材検索方法。
8. コンピュータに請求項７に記載の素材検索方法を実行させるためのプログラム。