JP2003157439A

JP2003157439A - 画像のカテゴリー化による画像特徴量の相関抽出方法とその相関抽出装置

Info

Publication number: JP2003157439A
Application number: JP2001355284A
Authority: JP
Inventors: Takiya Shibata; 滝也柴田; Shunichi Kato; 俊一加藤
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2001-11-20
Filing date: 2001-11-20
Publication date: 2003-05-30

Abstract

(57)【要約】【課題】色々なカテゴリーに属する画像であっても高
い信頼度でかつ機械的に決めることのできる画像のカテ
ゴリー化による画像特徴量の相関抽出方法及びその装置
を提供する。【解決手段】画像に、その物理的特徴に相当する第１
の数値群を割り当てる手続きと、画像のカテゴリー特徴
に相当する第２の数値群を割り当てる手続きと、第１の
数値群と第２の数値群との相関関係を、物理的特徴につ
いての主成分分析により得た主成分と、その主成分とカ
テゴリー特徴についての判別分析により得た分類に関し
て抽出する。また、予め決められたカテゴリーの中の
画像について、画像に、その物理的特徴に相当する第１
の数値群を割り当てる手続きと、画像の印象を感性的に
表現した感性的特徴に相当する第２の数値群を割り当て
る手続きと、第１の数値群と第２の数値群との相関関係
を、物理的特徴についての主成分分析と、その主成分と
カテゴリー特徴についての重回帰分析を適用して抽出す
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の物理的特徴
量とその画像の属するカテゴリー（例えば、屋内、屋
外、人物、風景など）の特徴との相関関係を求めて画像
をカテゴリーに分類することを可能にする画像自動分類
装置に適用することができ、また、そのカテゴリー内に
おける画像の物理的特徴量とその感性的特徴量との相関
関係を求めて、感性語の自動推定や感性語による画像検
索を可能にする画像検索装置に適用することができる画
像のカテゴリー化による画像特徴量の相関抽出方法とそ
の相関抽出装置に関する。

【０００２】

【従来の技術】感性情報処理の分野では、人それぞれの
異なる感性（主観的な解釈）の分析・モデル化を行って
いる。より具体的には、ニューラルネットや多変量解析
を用いて、人の主観的解釈と客観的な画像特徴量との関
係をモデル化している。このモデル化により、未知の画
像に対して、その画像特徴量をもとに、このオフィス画
像から感じる言葉を自動的に推定することが可能にな
る。また、逆に、感性を表現する言葉（感性語）から、
画像の特徴量が得られるので、このモデルを画像検索シ
ステムに用いることができる。

【０００３】このような画像検索を人間の感性的な表現
を利用して行うことを可能にした画像検索システムは、
従来からいくつか提案されている。例えば、特開平５−
６４３７号公報には、画像に対して人間の感覚に合う画
像特徴の抽出・照合を行い、人間の検索要求により近い
画像検索を行うことを目的に、人間が理解しやすい対象
物の特徴を求めるためのルールを設定するルール記憶部
と、メンバーシップ関数を設定するメンバーシップ関数
記憶部と、画像抽出部によって求めておいた画像特徴か
ら、これらルール及びメンバーシップ関数を用いてファ
ジィ推論を行い、人間が理解しやすい、対象物の特徴デ
ータを求める対象物特徴量演算部とを備え、人間の感覚
に合い、理解しやすい画像特徴の抽出を得、また、それ
を用いて画像検索を行う画像特徴抽出装置、画像特徴照
合装置および画像検索装置が開示されている。

【０００４】また、特開平８−２４９３５１号公報に
は、検索を希望する画像の特徴とぴったり合致する例示
画が得られない場合や、或いは基本コンセプトのみを表
した例示画により画像特徴を提示し、その後、その例示
画に対して軽微なバリエーションを加えつつ、デザイン
コンセプトを膨らませて対応する画像を逐次検索するよ
うな場合にも、これらの検索作業を効率よく実施させる
ことが可能な画像検索装置を提供することを目的に、入
力された例示画の物理的特徴、及び／又は、感性的特徴
は手動にて修正され、その修正後の例示画の物理的特
徴、及び／又は、感性的特徴に基いて、画像記憶手段に
記憶された多数の画像の中から、当該例示画特徴に合致
する若しく近い特徴を有する画像が抽出され、可視的に
出力される、画像検索方法及び装置が開示されている。

【０００５】また、特開平１１−６６２８３号公報に
は、画像の物理的特徴量とその画像の感性的特徴量との
相関関係を規定しているルールを高い信頼度でかつ機械
的に抽出するために、画像が持っている物理的特徴と前
記画像の印象を感性的に表現した感性的特徴との相関関
係を重回帰分析アルゴリズムを適用して抽出する重回帰
分析部を備え、物理的特徴と感性的特徴の相関関係から
物理的特徴の複数特徴量から感性的特徴の感性語を生成
するマッピングルールを作成する画像のカテゴリー化に
よる画像特徴量の相関抽出方法及び画像検索装置が開示
されている。

【０００６】上記公開公報に記載されているような、感
性語による画像検索を可能にした画像検索システムを構
築するためには、機械的に抽出できる物理的特徴量を実
際の検索で使用する感性的特徴量に変換するためのマッ
ピングルールを見つける必要がある。

【０００７】このようなマッピングルールを見つけるに
は、まず、例えば４０枚のサンプル画像に対して、３×
３に分割した部分画像の明暗や色の平均、分散、エッジ
の方向、周期的なパターンとその解像度などといった種
々の物理的特徴量を抽出する。また、同じ４０枚のサン
プル画像について複数の被験者に対するアンケート調査
を実施することで、感性的特徴量を抽出する。また、被
験者がサンプル画像に対して感じた暖かい・冷たい度、
柔らかい・かたい度・・・といった感性的特徴量を１〜
７のポイントで答えてもらい、人間が各サンプル画像に
対して感じる感性的特徴量を数値化する。このようにし
て、サンプル分析画像を構成する各画像に対し、抽出さ
れた感性的特徴量及び物理的特徴量についての相関関係
を見出すことにより、ある画像の物理的特徴量がわかれ
ば感性的特徴量を予測することができる。

【０００８】これらの結果を画像検索システムに用いる
場合は、まず、その画像データベースに登録する多数の
画像（例えば１０００枚）をコンピュータにより画像処
理して、マッピングルールを見つける際に用いたサンプ
ル画像と同じ項目の物理的特徴量を機械的に抽出する。
次に、全ての登録画像について、サンプル画像の分析か
ら生成したマッピングルールを用いて、登録画像の物理
的特徴量から感性的特徴量を機械的に自動生成する。こ
こで、画像に対して人間が感じる感性的特徴は、サンプ
ル画像の分析で行ったように、個々の画像について一つ
一つ評価しなければならないが、マッピングルールを使
用することにより機械的に感性的特徴量を求めることが
できる。

【０００９】前記の操作により、登録画像とその感性的
特徴量とを関連づけて画像データベースに登録すること
により、感性的な表現（以下、「感性語」という）を利
用して画像の検索を行うことにより、入力された感性語
と一致する又は近似する感性的特徴量を持った登録画像
を得る事ができる。このように、感性的特徴量を用いて
検索を行うため、物理的特徴量を使用して画像検索する
のに比べて、オペレータが主観的にほしいと思った対象
に近い画像を容易に検索することができる。

【００１０】

【発明が解決しようとする課題】このような画像検索シ
ステムにおける問題は、画像の属するカテゴリーによっ
て検索精度が低いことである。これは、そのカテゴリー
が異なると、その検索において使用可能な感性語が異な
るため、あるいは、登録画像の感性的特徴量を物理的特
徴量から求めるためのマッピングルールも異なるために
起こる。

【００１１】既によく知られているように、画像を分類
するカテゴリーの設定の仕方が検索精度を大きく左右す
る。このため、従来は、異なるカテゴリーに属する画像
では検索精度は上がらなかった。一般に、多種多様なカ
テゴリーの画像を扱える画像検索システムが望まれてい
るが、従来の方法では、手動でカテゴリーを分類するた
め画像データベースの充実を図ることが難しく、また、
同じ感性語を用いることから検索精度は悪いものであっ
た。

【００１２】本発明は、この発明は上記に鑑み提案され
たもので、色々なカテゴリーに属する画像であっても高
い信頼度でかつ機械的に決めることのできる画像のカテ
ゴリー化による画像特徴量の相関抽出方法及びその装置
を提供することを目的とする。

【００１３】

【課題を解決するための手段】本発明は、まず、画像の
物理的特徴量とその画像の属するカテゴリーの特徴との
相関関係を高い信頼度でかつ機械的に抽出し、また、そ
のカテゴリーごとに感性語と画像の物理的特徴量とその
感性的特徴量との相関関係を規定しているルールを自動
的に決定することにより、多種多様な画像検索を高い信
頼度で行うものである。

【００１４】上記目的を達成するために、本発明におけ
る第１の発明は、画像のカテゴリー化による画像特徴量
の相関抽出方法に関しており、画像に、その物理的特徴
に相当する単数あるいは複数の数値からなる第１の数値
群を割り当てる手続きと、画像のカテゴリー特徴に相当
する単数あるいは複数の数値からなる第２の数値群を割
り当てる手続きと、第１の数値群と第２の数値群との相
関関係を、物理的特徴についての主成分分析により得た
主成分と、その主成分とカテゴリー特徴についての判別
分析により得た分類に関して抽出する手続きとを含むこ
とを特徴としている。

【００１５】また、本発明における第２の発明は、予め
決められたカテゴリーの中の画像について、画像に、そ
の物理的特徴に相当する単数あるいは複数の数値からな
る第１の数値群を割り当てる手続きと、画像の印象を感
性的に表現した感性的特徴に相当する単数あるいは複数
の数値からなる第２の数値群を割り当てる手続きと、第
１の数値群と第２の数値群との相関関係を、物理的特徴
についての主成分分析と、その主成分とカテゴリー特徴
についての重回帰分析を適用して抽出する手続きとを含
むことを特徴としている。

【００１６】また、本発明における第３の発明は、第１
の発明に加えて、画像に割り当てられた、その物理的特
徴に相当する単数あるいは複数の数値からなる第１の数
値群を標準化して、その画像の説明変量（ｘ₁、ｘ₂、・
・・、ｘ_p：ｐは説明変量の数を表わす自然数）とし、
各説明変量間の相関行列を求め、その固有値問題を解く
手続きと、その相関行列の固有ベクトルを、説明変量
（ｘ₁、ｘ₂、・・・、ｘ _p）に独立な主成分変量（Ｘ₁、
Ｘ₂、・・・、Ｘ_q：ｑは独立な主成分変量の数を表わす
自然数）に変換する変換行列を求める手続きと、画像の
カテゴリー特徴を構成するカテゴリーを判別するための
基準変量ｙｉとして、各主成分変量に対して判別分析を
用いて、基準変量ｙ_iとして（Ａ₁、Ａ₂、・・・、Ａ_q）
を係数とする主成分変量（Ｘ₁、Ｘ₂、・・・、Ｘ_q）の
線形結合で近似した線形式ｙ_i＝Ａ₁Ｘ₁＋Ａ₂Ｘ₂＋・・
・＋Ａ_qＸ_qを求め、また、先の変換行列を用いて、主成
分変量から説明変量に変換することにより、（ａ₁、
ａ₂、・・・、ａ_p）を係数とする線形式ｙ_i＝ａ₁ｘ₁＋
ａ₂ｘ₂＋…＋ａ_pｘ_pを求め、求めた標準化係数を線形式
に代入してカテゴリー変量ｙ_iについての相関関係に対
応したマッピングルールを作成することを特徴としてい
る。

【００１７】また、本発明における第４の発明は、第２
の発明に加えて、画像に割り当てられた、その物理的特
徴に相当する単数あるいは複数の数値からなる第１の数
値群を標準化して、その画像の第１の説明変量（ｘ₁、
ｘ₂、・・・、ｘ_p：ｐは説明変量の数を表わす自然数）
とし、各説明変量間の相関行列を求め、その固有値問題
を解く手続きと、その相関行列の固有ベクトルを、第１
の説明変量に独立な主成分変量（Ｘ₁、Ｘ₂、・・・、Ｘ
_q：ｑは独立な主成分変量の数を表わす自然数）に変換
する変換行列を求める手続きと、画像の感性的な特徴を
表現する感性語を基準変量ｙｉとし、各主成分変量（Ｘ
₁、Ｘ₂、・・・、Ｘ_q：ｑは主成分変量の数を表わす自
然数）を第２の説明変量（Ｘ₁ 、Ｘ₂、・・・、Ｘ_q）と
して、基準変量ｙiを（Ａ₁、Ａ₂、・・・、Ａ_q）を係
数とする第２の説明変量（Ｘ₁、Ｘ ₂、・・・、Ｘ_q）の
線形結合で近似した重回帰式ｙ_i＝Ａ₁Ｘ₁＋Ａ₂Ｘ₂＋・
・・＋Ａ_q Ｘ_qを求め、また、先の変換行列を用いて、
第２の説明変量から第１の説明変量に変換することによ
り、第１の説明変量についての（ａ₁、ａ₂、・・・、ａ
_p）を係数とする重回帰式ｙ_i＝ａ₁ｘ₁＋ａ₂ｘ₂＋…＋ａ
_pｘ_pを求め、求めた標準化係数を重回帰式に代入して感
性語ｙ_iについての相関関係に対応したマッピングルー
ルを作成することを特徴としている。

【００１８】また、本発明における第５の発明は、画像
のカテゴリー化による画像特徴量の相関抽出装置に関し
ており、画像を複数の領域に分割し、前記の各分割領域
に対して、周期的なパターンの度合とその解像度を、1
次の局所自己相関特徴を求めて物理的特徴の一つとして
用いることを特徴としている。

【００１９】また、本発明における第６の発明は、画像
のカテゴリー化による画像特徴量の相関抽出装置に関し
ており、画像が持っている物理的特徴と前記画像のカテ
ゴリー特徴との相関関係を、物理的特徴についての主成
分分析とその主成分とカテゴリー特徴についての判別分
析とを行って抽出する手段と、抽出した画像の物理的特
徴と画像のカテゴリー特徴の相関関係に基づいて、物理
的特徴の複数特徴量に対応した画像のカテゴリー分類名
を生成するマッピングルールを作成するマッピングルー
ル作成手段とを具備することを特徴としている。

【００２０】また、本発明における第７の発明は、画像
のカテゴリー化による画像特徴量の相関抽出装置に関し
ており、画像が持っている物理的特徴と前記画像の印象
を感性的に表現した感性的特徴との相関関係を物理的特
徴についての主成分分析と重回帰分析を行って抽出する
手段と、抽出した画像の物理的特徴と画像の感性的特徴
の相関関係に基づいて物理的特徴の複数特徴量に対応し
た感性的特徴の感性語を生成するマッピングルールを作
成するマッピングルール作成手段とを具備することを特
徴としている。

【００２１】また、本発明における第８の発明は、第６
あるいは第７の発明である画像のカテゴリー化による画
像特徴量の相関抽出装置で作成されたマッピングルール
を用いて登録画像に感性語を付加する手段と、これを画
像データベースへ登録する手段を備え、感性語による画
像検索を可能にした画像検索装置として機能することを
特徴としている。

【００２２】

【発明の実施の形態】以下に本発明の実施の形態につい
て、図１を参照して具体的に説明する。図１は、本発明
の実施の形態を示すもので、画像のカテゴリー化による
画像特徴量の相関抽出装置の構成図である。この相関抽
出装置は、感性語による画像検索も可能な感性語の推定
ブロック１０１と、カテゴリー分類情報が付加された登
録画像からなる画像データベースを構築するカテゴリー
分類データベース作成ブロック１０２と、データベース
作成時に使用するマッピングルールを主成分分析と判別
分析とのアルゴリズムを適用して求めるカテゴリー分類
相関抽出ブロック１０３と、各カテゴリーに感性的特徴
量の付加された登録画像からなる画像データベースを構
築するデータベース作成ブロック１０４と、データベー
ス作成時に使用するマッピングルールを主成分分析と重
回帰分析アルゴリズムを適用して求める相関抽出ブロッ
ク１０５とから構成されている。

【００２３】感性語の推定システムブロック１０１は、
感性的特徴量の付加された登録画像からなる登録画像デ
ータベース１０６と登録感性語データベース１０７、指
示された登録画像データベース１０６からの情報に基づ
き感性語を推定する感性語推定装置１０８とを備えてい
る。

【００２４】カテゴリー分類データベース作成ブロック
１０２は、画像メモリ１０９、画像処理装置１１０、物
理的特徴量保存メモリ１１１、カテゴリー分類マッピン
グルール保存部１１２、カテゴリー分類情報付与部１１
３で構成される。画像メモリ１０９には、登録画像デー
タベース１０６へ登録するカテゴリー分類情報付与前の
登録画像データが保存され、物理的特徴量保存メモリ１
１１には、画像処理装置１１０で登録画像データを画像
処理して抽出される各種の物理的特徴量が保存される。
さらにカテゴリー分類マッピングルール保存部１１２に
は、カテゴリー分類相関抽出ブロック１０３がサンプル
画像より求める物理的特徴量とカテゴリー分類との相関
関係を規定するルールが物理的特徴量からカテゴリー分
類にマッピングするためのマッピングルールとして保存
される。カテゴリー分類情報付与部１１３は、登録用画
像データの物理的特徴量にマッピングルールを適用して
当該登録画像データの持つカテゴリー分類を出力するも
のである。

【００２５】カテゴリー分類相関抽出ブロック１０３
は、物理的特徴量抽出部１１５、カテゴリー分類結果入
力部１１６、主成分分析と判別分析部１１７から構成さ
れている。物理的特徴量抽出部１１５は、サンプル画像
１１４を画像処理して各種の物理的特徴量を抽出する画
像処理装置であり、カテゴリー分類結果入力部１１６は
サンプル画像１１４に対して実施したカテゴリー分類に
関する分類値を入力するデータエントリー装置である。
主成分分析と判別分析部１１７は、サンプル画像１１４
の物理的特徴量とカテゴリー分類値とから主成分分析と
判別分析アルゴリズムを適用してマッピングルールを求
めるものであり、コンピュータ上でプログラム内容のア
プリケーションプログラムを実行することにより実現さ
れる機能である。

【００２６】以上のカテゴリー分類化システムを構築す
るためには、カテゴリー分類データベース作成ブロック
１０２のカテゴリー分類マッピングルール保存部１１２
に保存するマッピングルールを作成することからはじめ
ることになる。

【００２７】データベース作成ブロック１０４は、画像
メモリ１１８、画像処理装置１１９、物理的特徴量保存
メモリ１２０、マッピングルール保存部１２１、感性語
情報付与部１２２で構成される。画像メモリ１１８に
は、登録画像データベース１０６へ登録する感性情報付
与前の登録画像データが保存され、物理的特徴量保存メ
モリ１２０には、画像処理装置１１９で登録画像データ
を画像処理して抽出される各種の物理的特徴量が保存さ
れる。さらにマッピングルール保存部１２１には、相関
抽出ブロック１０５がサンプル画像より求める物理的特
徴量と感性的特徴量との相関関係を規定するルールが物
理的特徴量から感性的特徴量をマッピングするためのマ
ッピングルールとして保存される。感性語情報付与部１
２２は、登録用画像データの物理的特徴量にマッピング
ルールを適用して当該登録画像データの持つ感性的特徴
量を出力するものである。

【００２８】相関抽出ブロック１０５は、物理的特徴量
抽出部１２４、アンケート結果入力部１２５、主成分分
析と重回帰分析部１２６から構成されている。物理的特
徴量抽出部１２３は、サンプル画像１２３を画像処理し
て各種の物理的特徴量を抽出する画像処理装置であり、
アンケート結果入力部１２５はサンプル画像１２３に対
して実施した各種感性語に関する評価値（感性的特徴
量）を入力するデータエントリー装置である。主成分分
析と重回帰分析部１２６は、サンプル画像１２３の物理
的特徴量と感性的特徴量とから主成分分析と重回帰アル
ゴリズムを適用してマッピングルールを求めるものであ
り、コンピュータ上でプログラム内容のアプリケーショ
ンプログラムを実行することにより実現される機能であ
る。

【００２９】以上の感性語の推定システムを構築するた
めには、各カテゴリーに対して、データベース作成ブロ
ック１０４のマッピングルール保存部１２１に保存する
マッピングルールを作成することからはじめることにな
る。登録画像の物理的特徴量を感性的特徴量にマッピン
グするためのマッピングルールは、カテゴリー分類相関
抽出ブロック１０３で分類化された後、そのカテゴリー
における相関抽出ブロック１０５で実行される画像特徴
量の相関抽出処理によって求められる。

【００３０】このような実施の形態によれば、サンプル
画像から物理的特徴量を抽出する一方、サンプル画像の
カテゴリー分類データを収集し、画像の持つ物理的特徴
量をその画像の持つカテゴリー分類値に写像するマッピ
ングルールを主成分分析と判別分析アルゴリズムを適用
して生成するようにしたので、自動的に任意の画像が各
カテゴリーに自動分類される。また、各カテゴリーに対
して、同じサンプル画像の感性的特徴量を複数の被験者
からのアンケートで収集し、画像の持つ物理的特徴量を
その画像の持つ感性的特徴量を表す感性語に写像するマ
ッピングルールを主成分分析と重回帰分析アルゴリズム
を適用して生成するようにしたので、画像検索システム
における登録画像データベースに登録する登録画像の感
性的特徴量を機械的に生成することができ、感性語付き
登録画像のデータベース作成作業の負担を軽減すること
ができる。

【００３１】なお、カテゴリー分類相関抽出ブロック１
０３の物理的特徴量抽出部１１５と相関抽出ブロック１
０５の物理的特徴量抽出部１２４において、サンプル画
像からカテゴリー分類値や感性的特徴量と相関の高い物
理的特徴量の属性として、画像を３ｘ３に分割し、その
各分割領域に対して周期的なパターンの度合とその解像
度を1次の局所自己相関特徴を求めて物理的特徴の一つ
として用いる。以下、周期的なパターン特徴量とその解
像度値の求め方について説明する。

【００３２】画像の輝度を用いてX軸、Ｙ軸、右45度、
左45度方向に対して式（１）に基づく1次の局所自己相
関特徴を計算する。周期的なパターンの周波数が解像度
と一致した場合は−１になる。よって、−1に近づくほ
ど、規則的な周期パターンをもち、周期性のないランダ
ムな模様や均一色の場合は、０に近づく。そのような性
質をえるために、画像の大きさを正規化し、（横h個）
×（縦v個）のピクセルの平滑化画像を１単位ピクセル
として算出し、h、vを可変として、数２に示すようにそ
の中の最小値を周期パターンの数値とした。また、解像
度とは、最小値になる時のh、vの値とする。ただし、多
重な周波数パターンをもつ画像の場合は、強い周期性の
パターンに対応し、それ以外の弱い周波数のパターンは
影響を無視することになる。

【００３３】

【数１】

【００３４】

【数２】

【００３５】ここで、

【数３】は、L (輝度)の1次の局所自己相関特徴量であり、

【００３６】また、（ａ_x、ａ_y）の要素は、（−１，
０）、（−１，１）、（０，１）、（１，１）で、それ
ぞれ、X軸、右45度、Ｙ軸、左45度方向、を表わしてい
る。また、ｍ、ｎは、それぞれ、画像の幅、高さ（ピク
セル）を表わしている。また、Ｌ（ｉ，ｊ）は、ピクセ
ル座標（ｉ，ｊ）のＬ（輝度）の値であり、

【００３７】

【数４】は、それぞれ、ｍ個×ｎ個のピクセル画像のＬの平均、
分散である。さらに、resは、解像度を意味する。この
場合、（横h個）×（縦v個）のピクセル数を意味し、
h、vの値とする。

【００３８】また、

【数５】は、Lの周期パターンにおける物理的特徴量である。数
２で求めた値（Pat）とその時の解像度（res=h,v）を物
理的特徴量の属性として使用する。

【００３９】図２にカテゴリー分類相関抽出ブロック１
０３の具体的な動作を、画像の学習プロセスと画像の感
性語推定プロセスの例を用いて示す。まず、学習用サン
プル画像および学習プロセスより、以下に示す変換行列
ＡとＢを求める。変換行列Ａは、画像特徴量ベクトルｘ
をその主成分変数ベクトルＸに変換する行列であり、変
換行列Ｂは、画像データを言葉に変換する行列である。
学習画像の画像特徴量を計算してデータベース内に保存
しておくことにより、入力された任意の画像に対して、
その画像の画像特徴量を変換行列ＡとＢとで変換し、感
性語対スコアを計算し、ソートすることによりその画像
から受ける主観的解釈を感性語で推定することができ
る。以下に簡単な手順を示す。

【００４０】１．学習用サンプル画像の標準化された
画像特徴量ベクトルｘに対して主成分分析を行い、固有
値が１以上となる独立な主成分変数ベクトルＸを得る。
その変換行列をＡとすると、Ｘ＝Ａｘとなる。２．その変数ベクトルＸに対して、実験で得られた各
感性語対スコアベクトルａ_d（標準化データ）に対して
重回帰分析をおこなう。その変換行列をＢとするとき、
ａ_d＝ＢＸ＝ＢＡｘ、となる。３．任意の画像から画像特徴量ベクトルｘを計算し、
変換行列ＢＡを掛ければ各感性語対スコアが求まる。そ
して、そのスコアの絶対値が大きい感性語がその画像か
ら感じるであろう言葉になる。ここで、感性語対スコア
で被験者グループの平均値を用いれば、平均モデルを、
被験者個人のスコアを用いれば、個人モデルを構築する
ことになる。つまり、この変換行列の違いが、モデルの
違いとなる。

【００４１】

【発明の効果】この発明では、画像の物理的特徴量とそ
の画像の属するカテゴリーの特徴との相関関係を高い信
頼度でかつ機械的に抽出し、また、そのカテゴリーごと
に感性語と画像の物理的特徴量とその感性的特徴量との
相関関係を規定しているルールを自動的に決定すること
により、多種多様な画像検索を高い信頼度で行うことが
できる。

【図面の簡単な説明】

【図１】画像のカテゴリー化による画像特徴量の相関抽
出装置の構成図である。

【図２】カテゴリー分類相関抽出ブロックの具体的な動
作を、画像の学習プロセスと画像の感性語推定プロセス
の例を用いて示す図である。

【符号の説明】

１０１感性語の推定ブロック１０２カテゴリー分類データベース作成ブロック１０３カテゴリー分類相関抽出ブロック１０４データベース作成ブロック１０５相関抽出ブロック１０６登録画像データベース１０７登録感性語データベース１０８感性語推定装置１０９画像メモリ１１０画像処理装置１１１物理的特徴量保存メモリ１１２カテゴリー分類マッピングルール保存部１１３カテゴリー分類情報付与部１１４サンプル画像１１５物理的特徴量抽出部１１６カテゴリー分類結果入力部１１７主成分分析と判別分析部１１８画像メモリ１１９画像処理装置１２０物理的特徴量保存メモリ１２１マッピングルール保存部１２２感性語情報付与部１２３サンプル画像１２４物理的特徴量抽出部１２５アンケート結果入力部１２６主成分分析と重回帰分析部

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5B050 BA10 DA02 EA04 EA18 GA08 5L096 AA06 DA02 FA33 FA34 JA11 JA22 KA04 KA09 KA11 KA15

Claims

【特許請求の範囲】

【請求項１】画像に、その物理的特徴に相当する単数
あるいは複数の数値からなる第１の数値群を割り当てる
手続きと、画像のカテゴリー特徴に相当する単数あるいは複数の数
値からなる第２の数値群を割り当てる手続きと、第１の数値群と第２の数値群との相関関係を、物理的特
徴についての主成分分析により得た主成分と、その主成
分とカテゴリー特徴についての判別分析により得た分類
に関して抽出する手続きとを含むことを特徴とする画像
のカテゴリー化による画像特徴量の相関抽出方法。
【請求項２】予め決められたカテゴリーの中の画像に
ついて、画像に、その物理的特徴に相当する単数あるいは複数の
数値からなる第１の数値群を割り当てる手続きと、画像の印象を感性的に表現した感性的特徴に相当する単
数あるいは複数の数値からなる第２の数値群を割り当て
る手続きと、第１の数値群と第２の数値群との相関関係を、物理的特
徴についての主成分分析と、その主成分とカテゴリー特
徴についての重回帰分析を適用して抽出する手続きとを
含むことを特徴とする画像のカテゴリー化による画像特
徴量の相関抽出方法。
【請求項３】画像に割り当てられた、その物理的特徴
に相当する単数あるいは複数の数値からなる第１の数値
群を標準化して、その画像の説明変量（ｘ₁、ｘ₂、・・
・、ｘ_p：ｐは説明変量の数を表わす自然数）とし、各
説明変量間の相関行列を求め、その固有値問題を解く手
続きと、その相関行列の固有ベクトルを、説明変量（ｘ₁、ｘ₂、
・・・、ｘ_p）に独立な主成分変量（Ｘ₁、Ｘ₂、・・
・、Ｘ_q：ｑは独立な主成分変量の数を表わす自然数）
に変換する変換行列を求める手続きと、画像のカテゴリー特徴を構成するカテゴリーを判別する
ための基準変量ｙ_iとして、各主成分変量に対して判別
分析を用いて、基準変量ｙ_iとして（Ａ₁、Ａ₂、・・
・、Ａ_q）を係数とする主成分変量（Ｘ₁、Ｘ₂、・・
・、Ｘ_q）の線形結合で近似した線形式ｙ_i＝Ａ₁Ｘ₁＋Ａ
₂Ｘ₂＋・・・＋Ａ_qＸ_qを求め、また、先の変換行列を用
いて、主成分変量から説明変量に変換することにより、
（ａ₁、ａ₂、・・・、ａ_p）を係数とする線形式ｙ_i＝ａ
₁ｘ₁＋ａ₂ｘ₂＋…＋ａ_pｘ_pを求め、求めた標準化係数を
線形式に代入してカテゴリー変量ｙ_iについての相関関
係に対応したマッピングルールを作成することを特徴と
する請求項１記載の画像のカテゴリー化による画像特徴
量の相関抽出方法。
【請求項４】画像に割り当てられた、その物理的特徴
に相当する単数あるいは複数の数値からなる第１の数値
群を標準化して、その画像の第１の説明変量（ｘ₁、
ｘ₂、・・・、ｘ_p：ｐは説明変量の数を表わす自然数）
とし、各説明変量間の相関行列を求め、その固有値問題
を解く手続きと、その相関行列の固有ベクトルを、第１の説明変量に独立
な主成分変量（Ｘ₁、Ｘ₂、・・・、Ｘ_q：ｑは独立な主
成分変量の数を表わす自然数）に変換する変換行列を求
める手続きと、画像の感性的な特徴を表現する感性語を基準変量ｙｉと
し、各主成分変量（Ｘ ₁、Ｘ₂、・・・、Ｘ_q：ｑは主成
分変量の数を表わす自然数）を第２の説明変量（Ｘ₁、
Ｘ₂、・・・、Ｘ_q ）として、基準変量ｙを（Ａ₁、
Ａ₂、・・・、Ａ_q）を係数とする第２の説明変量
（Ｘ₁、Ｘ₂、・・・、Ｘ_q）の線形結合で近似した重回
帰式ｙ_i＝Ａ₁Ｘ₁＋Ａ₂Ｘ₂＋・・・＋Ａ_qＸ_qを求め、ま
た、先の変換行列を用いて、第２の説明変量から第１の
説明変量に変換することにより、第１の説明変量につい
ての（ａ₁、ａ₂、・・・、ａ_p）を係数とする重回帰式
ｙ_i＝ａ₁ｘ₁＋ａ₂ｘ₂＋…＋ａ_pｘ_pを求め、求めた標準
化係数を重回帰式に代入して感性語ｙ_iについての相関
関係に対応したマッピングルールを作成することを特徴
とする請求項２に記載の画像のカテゴリー化による画像
特徴量の相関抽出方法。
【請求項５】画像を複数の領域に分割し、前記の各分
割領域に対して、周期的なパターンの度合とその解像度
を、1次の局所自己相関特徴を求めて物理的特徴の一つ
として用いることを特徴とする請求項２から請求項４の
いずれかに記載の画像のカテゴリー化による画像特徴量
の相関抽出方法。
【請求項６】画像が持っている物理的特徴と前記画像
のカテゴリー特徴との相関関係を、物理的特徴について
の主成分分析とその主成分とカテゴリー特徴についての
判別分析とを行って抽出する手段と、抽出した画像の物
理的特徴と画像のカテゴリー特徴の相関関係に基づい
て、物理的特徴の複数特徴量に対応した画像のカテゴリ
ー分類名を生成するマッピングルールを作成するマッピ
ングルール作成手段とを具備することを特徴とする画像
のカテゴリー化による画像特徴量の相関抽出装置。
【請求項７】画像が持っている物理的特徴と前記画像
の印象を感性的に表現した感性的特徴との相関関係を物
理的特徴についての主成分分析と重回帰分析を行って抽
出する手段と、抽出した画像の物理的特徴と画像の感性
的特徴の相関関係に基づいて物理的特徴の複数特徴量に
対応した感性的特徴の感性語を生成するマッピングルー
ルを作成するマッピングルール作成手段とを具備するこ
とを特徴とする画像のカテゴリー化による画像特徴量の
相関抽出装置。
【請求項８】請求項６又は請求項７記載の画像のカテ
ゴリー化による画像特徴量の相関抽出装置で作成された
マッピングルールを用いて登録画像に感性語を付加する
手段と、これを画像データベースへ登録する手段を備
え、感性語による画像検索を可能にした画像検索装置と
して機能することを特徴とする画像のカテゴリー化によ
る画像特徴量の相関抽出装置。