JP2004110213A - 画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システム - Google Patents
画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システム Download PDFInfo
- Publication number
- JP2004110213A JP2004110213A JP2002269296A JP2002269296A JP2004110213A JP 2004110213 A JP2004110213 A JP 2004110213A JP 2002269296 A JP2002269296 A JP 2002269296A JP 2002269296 A JP2002269296 A JP 2002269296A JP 2004110213 A JP2004110213 A JP 2004110213A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- representative
- category information
- data file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【課題】ブランドイメージなどに係る制作物を作成する際の発想の支援となる、画像のイメージ予測を可能とする画像イメージ予測モデルの作成方法および画像イメージ予測システムを提供する。
【解決手段】画像データベースから無作為に取り出したサンプルとしての所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、画像特徴量データファイルにおける代表画像に関係する画像特徴量データと、カテゴリー情報データファイルにおける代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、統計分析手法によりイメージ評価を学習した画像イメージ予測モデルを生成し、画像イメージ予測システムを構築する。
【選択図】 図１
【解決手段】画像データベースから無作為に取り出したサンプルとしての所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、画像特徴量データファイルにおける代表画像に関係する画像特徴量データと、カテゴリー情報データファイルにおける代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、統計分析手法によりイメージ評価を学習した画像イメージ予測モデルを生成し、画像イメージ予測システムを構築する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、人間の視覚情報処理プロセスに基づいた画像に対するイメージ評価の理論と知見を利用し、膨大な画像のイメージ予測を可能にする、画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システムに関する。
【０００２】
【従来の技術】
広告会社や制作プロダクションなど画像を用いた制作物を作成する業種では、アイデア開発やブランドイメージ管理を目的として大量の画像を様々な角度から検索できるデータベースに対して強いニーズが存在している。
例えば、新しく開発された商品には、新しいブランドが付されるが、その際事前に商品開発と平行してブランドのコンセプトに基づくブランドイメージが作られる。また、既存のブランドないしはブランドイメージは、時代の流れにより変遷していくので、それに応じて表現を変えたりしてブランドイメージに変化を与えていく必要がある。しかしながら、係るブランドイメージ案の作成は、もっぱら文章表現により作成されていたため、訴求力が弱く、また、それを読む担当者の主観的判断に頼ると、解釈に幅があり、ブランドイメージの案が最終決定するまでに、多大の時間と手間を要することとなる。
そこで、ブランドイメージ作成に際して、写真や図案などによるビジュアルイメージを付加しようとすることが考えられるが、それは例えば、市販されている大量の画像データを格納した媒体を利用して、パソコン画面上で、目的とする画像データを収集することにより行われる。係る画像データの収集は、画像検索のための画像データベースを構築しておき、イメージ項目による検索で行うことが考えられる。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来、イメージによる検索を行おうとした場合に、検索対象となる画像に客観的なイメージ情報を付加しておく必要がある。すなわち、人間がイメージ項目に当てはまるかどうかを、数万枚以上という大量の画像についてチェックしていかなければならないが、その場合、数十項目もあるイメージ項目について判定していく必要があり、そのため、必然物理的な作業量においてイメージ項目の判定には限界があり、しかも、個人の主観的な判断に頼らざるを得ないという点からも限界があった。また、消費者調査により画像のイメージを数値的に確認する方法は、最も客観性が高いが、膨大な画像すべてに対してこのような調査を行おうとすると費用の点で困難となる問題がある。
【０００４】
一方、近年の認知科学や心理学、大脳生理学等の発達により人間が画像に対する反応や認識、理解、把握のされ方が解明されつつあり、図６に示されるように、人間が行う画像イメージの予測原理は、次のようである。すなわち、眼球を通して光学的に網膜に届いた画像の情報は、視神経を通じて大脳視覚野に伝達される。大脳視覚野では、伝達された視覚情報を明るさや、色、形、動き等のローレベルの物理的情報に圧縮され、記憶情報へと伝える。その際に、過去の記憶や現在の課題と照らし合わせて意味のある画像情報は、記憶情報と結びつき、何が写っているのかがハイレベルの意味情報として認識される。両者の情報から画像に対する認識と理解が成立し、情報判断やイメージ評価が可能となる。
【０００５】
そこで、本出願人は、上記問題点に鑑みて工夫されたものであり、広告会社や制作プロダクションなど画像を用いたアイデア開発やブランドイメージに係る制作物を作成する際の発想の支援となるために、人間の視覚情報処理プロセスに基づいた画像に対するイメージ評価の理論と知見を利用し、画像に対する多次元の情報を、人間の脳神経回路の仕組みを利用したニューラルネットワークによってイメージ評価を学習したモデルを構築することにより、画像のイメージ予測が可能となる画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明においては、次のような手段を講じることとした。すなわち、請求項１記載の発明に係る発明は、画像イメージ予測モデルの作成処理方法であって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成するようにしたことを特徴とする。
【０００７】
この請求項１記載の発明によれば、画像データベースからサンプリングされた代表画像についてイメージ項目に関する調査をし、その調査結果である代表画像イメージデータと、この代表画像に関係する画像特徴量データと、代表画像に関係するカテゴリー情報データとを、学習用データとして準備作成しておく。この学習用データを用いて、画像データベースについて、統計解析手法で分析し、イメージ評価を学習することで画像イメージ予測モデルを生成していくことで、画像イメージ予測モデルの作成処理が可能となる。
【０００８】
また、主観色、色相、彩度などといった情報を、画像毎に画像全体について、例えば、主観色が１３次元、色相が１７次元、彩度が１６次元、輝度が１６次元、模様が１６次元、および模様方向が８次元というように、計８６次元という基準で検索できるように画像特徴量を生成して、これらを画像特徴量データファイルに格納する。この画像特徴量データファイルに格納された画像特徴量について、画像予測手法としての統計解析手法で分析するとき、ある定義に基づいて起こされた画像毎の意味情報をカテゴリー情報として、カテゴリー情報データファイルに格納されたカテゴリー情報をも統計解析手法に入力して分析するため、画像自身が持つ情報量が豊富化する。したがって、イメージ項目である代表画像イメージデータに基づきイメージ評価を学習する統計解析手法によって、精度の高い画像イメージ予測モデルを作成することが可能となる。なお、カテゴリー情報データファイルに格納されるカテゴリー情報としては、例えば、ヒトに関しては１５次元、モノについては８次元、コトは１０次元、場所については１１次元、時間が１０次元、国は５次元、動植物に関しては８次元の６グループ、６７次元にするのが好ましい。
【０００９】
また、請求項２記載の発明は、統計解析手法を、ニューラルネットワークで構成しているので、イメージ予測を用いるモデルの仕組み自体が、人間の認知、評価系と類似しており、従って、代表画像を教師刺激としてモデル学習し、予測したイメージ結果を、ユーザー評価による判定でテストでき、高度の予測精度を期待するのが可能となる。すなわち、各画像には画像特徴量データに関する情報だけでなく、カテゴリー情報データに関する情報も付加して豊富化しているので、学習用データによりニューラルネットワークが学習して得る画像イメージ予測モデルによる画像のイメージ予測精度が向上する。その結果、大量の画像を有する画像データベースであっても、予測イメージデータファイルを設けているので、画像のイメージ予測が、時間やコストをかけずに、利用者や受け手のイメージで、容易に引っ張り出して検索することが可能となる。
【００１０】
また、請求項３記載の発明は、画像イメージ予測モデルの作成処理装置であって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成するようにしたことを特徴とする。
【００１１】
この請求項３の発明によれば、代表画像に関係するカテゴリー情報データとを、学習用データとして準備作成しておき、この学習用データを用いて、画像データベースについて、統計解析手法で分析し、イメージ評価を学習することにより画像イメージ予測モデルを生成していくことで、画像イメージ予測モデルの作成処理装置を得ることが可能となる
【００１２】
また、請求項４記載の発明は、請求項３記載の画像イメージ予測モデルの作成処理装置に係り、前記統計解析手法は、ニューラルネットワークであることを特徴とする。
【００１３】
また、請求項５記載の発明は、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成することを実行させるように構成したものである。
【００１４】
また、請求項６記載の発明は、請求項５記載の画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体に係り、前記統計解析手法が、ニューラルネットワークであることを特徴とする。
【００１５】
また、請求項７記載の発明は、コンピュータにより実行可能なコンピュータプログラムであって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成することを特徴とする。
【００１６】
また、請求項８記載の発明は、請求項７記載のコンピュータにより実行可能なコンピュータプログラムに係り、前記統計解析手法が、ニューラルネットワークであることを特徴とする。
【００１７】
また、請求項９記載の発明は、画像イメージ予測システムであって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを格納する画像特徴量データファイル、画像毎に意味情報を付けたカテゴリー情報データを格納するカテゴリー情報データファイル、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行って作成された代表画像イメージデータ、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして入力して分析される統計解析手法、前記統計解析手法によりイメージ評価を学習して生成された画像イメージ予測モデル、および前記画像イメージ予測モデルに、前記画像特徴量データファイルおよび前記カテゴリー情報データファイルから、前記代表画像に関するデータとは別の新たな画像に関するデータを入力することにより生成される前記イメージ項目に関する予測イメージデータを格納する予測イメージデータファイルを備え、さらに、前記予測イメージデータファイルと、ネットワークで接続された検索用端末との間に、イメージ検索プログラムを設け、前記検索用端末により入力される前記イメージ項目により、前記予測イメージデータファイルから画像を検索して、端末画面に表示させるようにしたことを特徴とする。
【００１８】
この請求項９記載の発明によれば、検索用端末はイントラネットやインターネットなどの各種メディアを通じて容易にアクセスして画像イメージを検索することが可能となる。
【００１９】
請求項１０記載の発明は、請求項９記載の画像イメージ予測システムに係り、前記統計解析手法は、ニューラルネットワークであることを特徴とする。
【００２０】
【発明の実施の形態】
以下において、本発明の実施の形態を図１〜図５に基づいて詳述する。先ず、図１において、画像イメージ予測モデルの作成方法の概要を説明する。すなわち、手順Ｓ１において、コンピュータシステムに画像データベース１０（図３参照）を設置し、これに例えば市販されている画像ソフトからダウンロードされた約２５０００枚の画像が収録して蓄積されている。なお、この画像データベース１０に収録される画像数は、時代変化による流行等による変化を考慮して、適宜追加変更することができるものである。手順Ｓ２で、この画像すべてについて、市販されている高速画像検索システムである画像特徴量抽出プログラムにより、画像特徴量を抽出する。得られた画像特徴量はニューラルネットワークＮＮへの入力データとして生成される（手順Ｓ３）。一方、手順Ｓ４においては、上記画像データベースにあるすべての画像について、カテゴリー設定ルールに基づき入力ツール画面からカテゴリー情報を入力してカテゴリー情報データが作成される。他方、手順Ｓ５では、画像データベースに格納された２５０００枚の画像の中から、例えば２００枚の画像を代表画像としてピックアップし、例えば１枚の画像につき１００人のユーザーに依頼してイメージ項目に関する調査データが作成される。このイメージ項目に関する調査データは、代表画像に関係する画像特徴量データおよびカテゴリー情報データと共に、ニューラルネットワークＮＮに入力されて分析・解析し、学習されるための学習用データとして用意する。次いで、手順Ｓ６において、用意された学習用データを用いてニューラルネットワークＮＮで分析され、手順Ｓ７でイメージ評価を学習した画像イメージ予測モデルが生成される。
【００２１】
次に、画像イメージ予測モデルの構築手順を、図２を中心にして図１，図３を参照しながらさらに詳述する。すなわち、手順Ｔ１において、コンピュータシステム内に約２５０００枚の画像イメージデータを格納収録した画像データベース１０が設置される。手順Ｔ２で、画像特徴量抽出プログラム１１により、画像の特徴量が生成され、生成された画像特徴量データは、手順Ｔ３で画像特徴量データファイル１２に格納される。この画像特徴量データファイル１２に格納されるデータは、図１に示されるように、画像のローレベルな物理的特徴量であって、画像毎に画像全体の主観色（１３次元）、色相（１７次元）、彩度（１６次元）、輝度（１６次元）、模様（１６次元）、模様方向（８次元）の計８６次元の定量化された画像特徴量が基準として生成されている。そして、手順Ｔ３’において、画像特徴量データファイル１２から、代表画像に関する画像特徴量データが抽出され、後述する手順Ｔ９における学習用データの作成に用いられる。
【００２２】
一方で、手順Ｔ４において、画像のハイレベルな意味情報であって、特定分野からの検索に有効となる、ヒト（１５次元）、モノ（８次元）、コト（１０次元）、場所（１１次元）、時間（１０次元）、国（５次元）、動植物（８次元）の６グループ、６７次元のカテゴリー情報が１／０データ形式で入力される。それぞれのグループのカテゴリー情報は、例えば「ヒト」の場合には、男、女、グループ、カップルなどといったように誰が見ても客観的に判断できるカテゴリー情報として設定されているので、人間によるブレは少ないといえる。こうして、入力し終えたカテゴリー情報としてのデータは、カテゴリー情報データファイル１３に格納される（手順Ｔ５）。
【００２３】
他方、ニューラルネットワークＮＮを学習させるために使用される学習データの収集が行われる。すなわち、代表画像についてのイメージ項目に関する調査が行われる。これは、一般消費者（例えば１００人程度）を対象とする調査２０（イメージ調査）により、画像データベース１０から無作為に抽出された所定数の画像を代表画像とし（手順Ｔ６）、所定項目数のイメージ項目に関する調査がなされる（手順Ｔ７）。イメージ評価に用いられるイメージ項目としては、あらかじめヒト、モノ、コトの３領域の形容に用いられる形容詞１０９項目から本出願人が調査することにより得られた「イメージワードの理解度」および構成されるイメージ空間に「漏れ」や「抜け」があるかどうかを検討して決定された、「上品な」、「若々しい」、「ワイルドな」、「明るい」、「大人っぽい」などといったような４５項目である。もちろん、この項目数は一例であって、これに限定されないのは言うまでもない。画像に抱くイメージは、人それぞれであるが、「明るい」、「暗い」など、感覚表現を中心とする一般的な形容詞としての評価は、「厳しい」、「哀しい」などといった主観的な感情表現などに比較して一定している。
なお、無作為に抽出される代表画像数としての調査対象画像数は、例えば全体の画像の枚数の１％程度の情報でよい。こうして、調査により得られた調査結果は、代表画像のイメージデータとして作成され（手順Ｔ８）、後述するイメージ予測モデルの作成手順において、学習用イメージデータ１５（調査データ）および検証用データとして使用されるものである。
【００２４】
次に、手順Ｔ９において、学習用データが作成される。すなわち、手順Ｔ８で得られた上記学習用イメージデータ１５（点線Ｄ１）と、調査対象に用いた画像の入力データである画像特徴量データファイル１２における代表画像に関係する画像特徴量データ（点線Ｄ２）と、同じくカテゴリー情報データファイル１３における代表画像に関係する画像情報として手順Ｔ５’で抽出されたカテゴリー情報データ（点線Ｄ３）との三者により、学習用データとして用意される。
【００２５】
手順Ｔ９で用意された学習用データは、手順Ｔ１０でニューラルネットワークＮＮに入力されて分析・解析され、手順Ｔ１１で画像イメージ予測モデルが生成されることとなる（図３の符号「２０」参照）。本実施の形態におけるニューラルネットワークＮＮは、図４に示すように非線形多変量重回帰モデルであり、新たな入力情報に対して予測が可能とするために、学習用に用意した入力・出力情報を基にして最適な出力を行うための重み付けを学習する、人間の脳細胞を模倣したモデルである。すなわち、入力層として、高速画像検索により得られた全体画像で８６次元の画像特徴量、およびカテゴリー情報であり、隠れ層において重み付けによる学習が行われ、出力層として４５項目のイメージ項目についてスコア（％）表示された学習に基づくイメージ予測を行うものである。なお、モデルの過学習を防ぐために、交差妥当化により最適なパフォーマンスのモデル構築が行えるようにしている。
【００２６】
こうして、手順Ｔ１１で構築された画像イメージ予測モデル２０に、入力データとして新たな画像の情報を与えると、４５項目のイメージ情報が０〜１００％の範囲の数値で出力されるが、調査結果による実測値と、画像イメージ予測モデル２０により出力された予測値との比較では、非常に高い精度で画像イメージが予測されることが判明している。すなわち、図５に示されるように（一例として、１０個のイメージ項目を掲げた）、画像特徴量と、カテゴリー情報と、この２者の統合解析との間におけるイメージ予測結果を、項目別に相関係数で比較したグラフから明らかなように、画像特徴量とカテゴリー情報とがお互いに補い合って予測精度を高めていることがわかり、このことから画像イメージ予測には、画像特徴量とカテゴリー情報の２つの情報（データ）が必要であると言える。
【００２７】
ここで、上記画像イメージ予測モデル２０をコンピュータシステムに組み込んで構成される、画像イメージ予測システム（場合によっては、「画像イメージ予測検索システム」とも言う）について説明する。すなわち、図３に示されるように、画像イメージ予測システムには、画像イメージ予測モデル２０で生成されたイメージデータを、登録（格納）する予測イメージデータファイル２１、画像データベース１０、カテゴリー情報データファイル１３の他に，タイトル情報データファイル１６が設けられている。このタイトル情報データファイル１６は、すべての画像のタイトルを、別途定めたルールに基づき、客観的事実をベースに日本語で入力したもので、タイトルの基本形は、例えば「どこどこ（場所）で、なになに（動作）している、誰々（ヒト）」といったように客観的な情報となるルールに設定してある。タイトル文章中の「動詞」は、市販されている動詞抽出ソフトを利用して動作情報として抽出されるものである。これら画像データベース１０、カテゴリー情報データファイル１３，予測イメージデータファイル２１およびタイトル情報データファイル１６には、各種検索プログラム１７が接続されている。この各種検索プログラム１７としては、タイトル検索プログラム１７Ａ、カテゴリー検索プログラム１７Ｂ、イメージ検索プログラム１７Ｃ、複合検索プログラム１７Ｄ、および類似画像検索プログラム１７Ｅが包含されている。
【００２８】
上記類似画像検索プログラム１７Ｅは、データベース上で、４５項目のイメージデータから画像の多次元空間における座標値を計算し、特定画像の座標値からのイメージ空間上の距離を計算し、イメージが類似する画像を順位付けて検索出力することを可能としたものである。
【００２９】
各検索プログラム１７には、検索用端末（パーソナルコンピュータ）１８が接続される。この検索用端末１８は、イントラネットあるいはインターネット１９などによるネットワークにより接続されている。
【００３０】
こうして、本実施の形態にかかる画像イメージ予測システム（または、「画像イメージ予測検索システム」）によれば、検索用端末１８から操作することにより、タイトルによる検索、カテゴリーによる検索、イメージによる検索、複合ワードによる検索などが可能となり、膨大な画像データの中から瞬時にして希望するイメージで画像を検索することができる。したがって、数万から数百万もある大量の画像のイメージ予測が、時間やコストをかけずに、高い精度で実行でき、その結果、従来のように利用者（ユーザー）や受け手のイメージでの検索が困難であった大量の画像をイメージワードで簡単かつ自由に検索することができ、さらには、大量の画像に対して画像自身が有する情報を基にしてイメージ予測が可能となるため、画像データベースに対しても大きな利用価値を付与できる。
また、本実施の形態に係る画像イメージ予測システムによれば、イントラネットやインターネットなどのネットワークにより検索用端末１８が接続されているので、ユーザーが検索用端末１８からネットワークを通じてアクセスすることにより、ユーザーは端末１８の表示画面上で画像イメージ予測システムを利用することができ、ひいては、それだけ便利性を向上させることができる。
【００３１】
上記実施の形態では、携帯端末として、パーソナルコンピュータ、携帯情報端末、携帯電話機などのいずれにも適用することが可能である。
また、上記した実施の形態では、プログラムを、ハードディスクに記録させた場合を前提に説明したが、これ以外に、例えば、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録させてもよい。
また、ハードディスクに上記したプログラムをダウンロードさせる場合には、ネットワークであるインターネット１９の他に、商用ネットワーク、イントラネット、エクストラネットなどのネットワークを利用してもよい。
【００３２】
【発明の効果】
以上、説明したように、本発明によれば、画像特徴量だけでなく、カテゴリー情報をも補い合う態様で豊富化し、ニューラルネットワークなどの統計解析手法を用いて分析・解析したので、大量の画像を格納する画像データベースであっても、イメージ項目である代表画像イメージデータに基づきイメージ評価を行う統計解析手法によって、精度の高い画像イメージ予測モデルを作成でき、画像イメージ予測を、時間と労力を最小限にすることで、コスト安価に画像イメージ予測モデルを実現することが可能な、画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システムを提供できる効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像イメージ予測モデルの作成方法に係る実施の形態における予測モデル作成方法の概要を示す手順図である。
【図２】上記手順図に係り、画像イメージ予測モデルの構築のための手順を模式化して示す手順図である。
【図３】本発明の画像イメージ予測（検索）システム構成を示すシステム図である。
【図４】本実施の形態における画像イメージ予測モデル作成に適用されるニューラルネットワークのモデルを示すモデル図である。
【図５】イメージ予測結果の項目別相関係数の比較グラフである。
【図６】画像特徴量、カテゴリー情報、およびイメージ評価と、視覚情報処理との対応を対比して説明する視覚情報処理との対応図である。
【符号の説明】
ＮＮ…ニューラルネットワーク
１０…画像データベース
１１…画像特徴量プログラム
１２…画像特徴量データファイル
１３…カテゴリー情報データファイル
２０…画像イメージ予測モデル
２１…学習用イメージデータ
１６…タイトル情報データファイル
１７…各種検索プログラム
１８…検索用端末
１９…インターネット
【発明の属する技術分野】
本発明は、人間の視覚情報処理プロセスに基づいた画像に対するイメージ評価の理論と知見を利用し、膨大な画像のイメージ予測を可能にする、画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システムに関する。
【０００２】
【従来の技術】
広告会社や制作プロダクションなど画像を用いた制作物を作成する業種では、アイデア開発やブランドイメージ管理を目的として大量の画像を様々な角度から検索できるデータベースに対して強いニーズが存在している。
例えば、新しく開発された商品には、新しいブランドが付されるが、その際事前に商品開発と平行してブランドのコンセプトに基づくブランドイメージが作られる。また、既存のブランドないしはブランドイメージは、時代の流れにより変遷していくので、それに応じて表現を変えたりしてブランドイメージに変化を与えていく必要がある。しかしながら、係るブランドイメージ案の作成は、もっぱら文章表現により作成されていたため、訴求力が弱く、また、それを読む担当者の主観的判断に頼ると、解釈に幅があり、ブランドイメージの案が最終決定するまでに、多大の時間と手間を要することとなる。
そこで、ブランドイメージ作成に際して、写真や図案などによるビジュアルイメージを付加しようとすることが考えられるが、それは例えば、市販されている大量の画像データを格納した媒体を利用して、パソコン画面上で、目的とする画像データを収集することにより行われる。係る画像データの収集は、画像検索のための画像データベースを構築しておき、イメージ項目による検索で行うことが考えられる。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来、イメージによる検索を行おうとした場合に、検索対象となる画像に客観的なイメージ情報を付加しておく必要がある。すなわち、人間がイメージ項目に当てはまるかどうかを、数万枚以上という大量の画像についてチェックしていかなければならないが、その場合、数十項目もあるイメージ項目について判定していく必要があり、そのため、必然物理的な作業量においてイメージ項目の判定には限界があり、しかも、個人の主観的な判断に頼らざるを得ないという点からも限界があった。また、消費者調査により画像のイメージを数値的に確認する方法は、最も客観性が高いが、膨大な画像すべてに対してこのような調査を行おうとすると費用の点で困難となる問題がある。
【０００４】
一方、近年の認知科学や心理学、大脳生理学等の発達により人間が画像に対する反応や認識、理解、把握のされ方が解明されつつあり、図６に示されるように、人間が行う画像イメージの予測原理は、次のようである。すなわち、眼球を通して光学的に網膜に届いた画像の情報は、視神経を通じて大脳視覚野に伝達される。大脳視覚野では、伝達された視覚情報を明るさや、色、形、動き等のローレベルの物理的情報に圧縮され、記憶情報へと伝える。その際に、過去の記憶や現在の課題と照らし合わせて意味のある画像情報は、記憶情報と結びつき、何が写っているのかがハイレベルの意味情報として認識される。両者の情報から画像に対する認識と理解が成立し、情報判断やイメージ評価が可能となる。
【０００５】
そこで、本出願人は、上記問題点に鑑みて工夫されたものであり、広告会社や制作プロダクションなど画像を用いたアイデア開発やブランドイメージに係る制作物を作成する際の発想の支援となるために、人間の視覚情報処理プロセスに基づいた画像に対するイメージ評価の理論と知見を利用し、画像に対する多次元の情報を、人間の脳神経回路の仕組みを利用したニューラルネットワークによってイメージ評価を学習したモデルを構築することにより、画像のイメージ予測が可能となる画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明においては、次のような手段を講じることとした。すなわち、請求項１記載の発明に係る発明は、画像イメージ予測モデルの作成処理方法であって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成するようにしたことを特徴とする。
【０００７】
この請求項１記載の発明によれば、画像データベースからサンプリングされた代表画像についてイメージ項目に関する調査をし、その調査結果である代表画像イメージデータと、この代表画像に関係する画像特徴量データと、代表画像に関係するカテゴリー情報データとを、学習用データとして準備作成しておく。この学習用データを用いて、画像データベースについて、統計解析手法で分析し、イメージ評価を学習することで画像イメージ予測モデルを生成していくことで、画像イメージ予測モデルの作成処理が可能となる。
【０００８】
また、主観色、色相、彩度などといった情報を、画像毎に画像全体について、例えば、主観色が１３次元、色相が１７次元、彩度が１６次元、輝度が１６次元、模様が１６次元、および模様方向が８次元というように、計８６次元という基準で検索できるように画像特徴量を生成して、これらを画像特徴量データファイルに格納する。この画像特徴量データファイルに格納された画像特徴量について、画像予測手法としての統計解析手法で分析するとき、ある定義に基づいて起こされた画像毎の意味情報をカテゴリー情報として、カテゴリー情報データファイルに格納されたカテゴリー情報をも統計解析手法に入力して分析するため、画像自身が持つ情報量が豊富化する。したがって、イメージ項目である代表画像イメージデータに基づきイメージ評価を学習する統計解析手法によって、精度の高い画像イメージ予測モデルを作成することが可能となる。なお、カテゴリー情報データファイルに格納されるカテゴリー情報としては、例えば、ヒトに関しては１５次元、モノについては８次元、コトは１０次元、場所については１１次元、時間が１０次元、国は５次元、動植物に関しては８次元の６グループ、６７次元にするのが好ましい。
【０００９】
また、請求項２記載の発明は、統計解析手法を、ニューラルネットワークで構成しているので、イメージ予測を用いるモデルの仕組み自体が、人間の認知、評価系と類似しており、従って、代表画像を教師刺激としてモデル学習し、予測したイメージ結果を、ユーザー評価による判定でテストでき、高度の予測精度を期待するのが可能となる。すなわち、各画像には画像特徴量データに関する情報だけでなく、カテゴリー情報データに関する情報も付加して豊富化しているので、学習用データによりニューラルネットワークが学習して得る画像イメージ予測モデルによる画像のイメージ予測精度が向上する。その結果、大量の画像を有する画像データベースであっても、予測イメージデータファイルを設けているので、画像のイメージ予測が、時間やコストをかけずに、利用者や受け手のイメージで、容易に引っ張り出して検索することが可能となる。
【００１０】
また、請求項３記載の発明は、画像イメージ予測モデルの作成処理装置であって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成するようにしたことを特徴とする。
【００１１】
この請求項３の発明によれば、代表画像に関係するカテゴリー情報データとを、学習用データとして準備作成しておき、この学習用データを用いて、画像データベースについて、統計解析手法で分析し、イメージ評価を学習することにより画像イメージ予測モデルを生成していくことで、画像イメージ予測モデルの作成処理装置を得ることが可能となる
【００１２】
また、請求項４記載の発明は、請求項３記載の画像イメージ予測モデルの作成処理装置に係り、前記統計解析手法は、ニューラルネットワークであることを特徴とする。
【００１３】
また、請求項５記載の発明は、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体であって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成することを実行させるように構成したものである。
【００１４】
また、請求項６記載の発明は、請求項５記載の画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体に係り、前記統計解析手法が、ニューラルネットワークであることを特徴とする。
【００１５】
また、請求項７記載の発明は、コンピュータにより実行可能なコンピュータプログラムであって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成することを特徴とする。
【００１６】
また、請求項８記載の発明は、請求項７記載のコンピュータにより実行可能なコンピュータプログラムに係り、前記統計解析手法が、ニューラルネットワークであることを特徴とする。
【００１７】
また、請求項９記載の発明は、画像イメージ予測システムであって、画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを格納する画像特徴量データファイル、画像毎に意味情報を付けたカテゴリー情報データを格納するカテゴリー情報データファイル、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行って作成された代表画像イメージデータ、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして入力して分析される統計解析手法、前記統計解析手法によりイメージ評価を学習して生成された画像イメージ予測モデル、および前記画像イメージ予測モデルに、前記画像特徴量データファイルおよび前記カテゴリー情報データファイルから、前記代表画像に関するデータとは別の新たな画像に関するデータを入力することにより生成される前記イメージ項目に関する予測イメージデータを格納する予測イメージデータファイルを備え、さらに、前記予測イメージデータファイルと、ネットワークで接続された検索用端末との間に、イメージ検索プログラムを設け、前記検索用端末により入力される前記イメージ項目により、前記予測イメージデータファイルから画像を検索して、端末画面に表示させるようにしたことを特徴とする。
【００１８】
この請求項９記載の発明によれば、検索用端末はイントラネットやインターネットなどの各種メディアを通じて容易にアクセスして画像イメージを検索することが可能となる。
【００１９】
請求項１０記載の発明は、請求項９記載の画像イメージ予測システムに係り、前記統計解析手法は、ニューラルネットワークであることを特徴とする。
【００２０】
【発明の実施の形態】
以下において、本発明の実施の形態を図１〜図５に基づいて詳述する。先ず、図１において、画像イメージ予測モデルの作成方法の概要を説明する。すなわち、手順Ｓ１において、コンピュータシステムに画像データベース１０（図３参照）を設置し、これに例えば市販されている画像ソフトからダウンロードされた約２５０００枚の画像が収録して蓄積されている。なお、この画像データベース１０に収録される画像数は、時代変化による流行等による変化を考慮して、適宜追加変更することができるものである。手順Ｓ２で、この画像すべてについて、市販されている高速画像検索システムである画像特徴量抽出プログラムにより、画像特徴量を抽出する。得られた画像特徴量はニューラルネットワークＮＮへの入力データとして生成される（手順Ｓ３）。一方、手順Ｓ４においては、上記画像データベースにあるすべての画像について、カテゴリー設定ルールに基づき入力ツール画面からカテゴリー情報を入力してカテゴリー情報データが作成される。他方、手順Ｓ５では、画像データベースに格納された２５０００枚の画像の中から、例えば２００枚の画像を代表画像としてピックアップし、例えば１枚の画像につき１００人のユーザーに依頼してイメージ項目に関する調査データが作成される。このイメージ項目に関する調査データは、代表画像に関係する画像特徴量データおよびカテゴリー情報データと共に、ニューラルネットワークＮＮに入力されて分析・解析し、学習されるための学習用データとして用意する。次いで、手順Ｓ６において、用意された学習用データを用いてニューラルネットワークＮＮで分析され、手順Ｓ７でイメージ評価を学習した画像イメージ予測モデルが生成される。
【００２１】
次に、画像イメージ予測モデルの構築手順を、図２を中心にして図１，図３を参照しながらさらに詳述する。すなわち、手順Ｔ１において、コンピュータシステム内に約２５０００枚の画像イメージデータを格納収録した画像データベース１０が設置される。手順Ｔ２で、画像特徴量抽出プログラム１１により、画像の特徴量が生成され、生成された画像特徴量データは、手順Ｔ３で画像特徴量データファイル１２に格納される。この画像特徴量データファイル１２に格納されるデータは、図１に示されるように、画像のローレベルな物理的特徴量であって、画像毎に画像全体の主観色（１３次元）、色相（１７次元）、彩度（１６次元）、輝度（１６次元）、模様（１６次元）、模様方向（８次元）の計８６次元の定量化された画像特徴量が基準として生成されている。そして、手順Ｔ３’において、画像特徴量データファイル１２から、代表画像に関する画像特徴量データが抽出され、後述する手順Ｔ９における学習用データの作成に用いられる。
【００２２】
一方で、手順Ｔ４において、画像のハイレベルな意味情報であって、特定分野からの検索に有効となる、ヒト（１５次元）、モノ（８次元）、コト（１０次元）、場所（１１次元）、時間（１０次元）、国（５次元）、動植物（８次元）の６グループ、６７次元のカテゴリー情報が１／０データ形式で入力される。それぞれのグループのカテゴリー情報は、例えば「ヒト」の場合には、男、女、グループ、カップルなどといったように誰が見ても客観的に判断できるカテゴリー情報として設定されているので、人間によるブレは少ないといえる。こうして、入力し終えたカテゴリー情報としてのデータは、カテゴリー情報データファイル１３に格納される（手順Ｔ５）。
【００２３】
他方、ニューラルネットワークＮＮを学習させるために使用される学習データの収集が行われる。すなわち、代表画像についてのイメージ項目に関する調査が行われる。これは、一般消費者（例えば１００人程度）を対象とする調査２０（イメージ調査）により、画像データベース１０から無作為に抽出された所定数の画像を代表画像とし（手順Ｔ６）、所定項目数のイメージ項目に関する調査がなされる（手順Ｔ７）。イメージ評価に用いられるイメージ項目としては、あらかじめヒト、モノ、コトの３領域の形容に用いられる形容詞１０９項目から本出願人が調査することにより得られた「イメージワードの理解度」および構成されるイメージ空間に「漏れ」や「抜け」があるかどうかを検討して決定された、「上品な」、「若々しい」、「ワイルドな」、「明るい」、「大人っぽい」などといったような４５項目である。もちろん、この項目数は一例であって、これに限定されないのは言うまでもない。画像に抱くイメージは、人それぞれであるが、「明るい」、「暗い」など、感覚表現を中心とする一般的な形容詞としての評価は、「厳しい」、「哀しい」などといった主観的な感情表現などに比較して一定している。
なお、無作為に抽出される代表画像数としての調査対象画像数は、例えば全体の画像の枚数の１％程度の情報でよい。こうして、調査により得られた調査結果は、代表画像のイメージデータとして作成され（手順Ｔ８）、後述するイメージ予測モデルの作成手順において、学習用イメージデータ１５（調査データ）および検証用データとして使用されるものである。
【００２４】
次に、手順Ｔ９において、学習用データが作成される。すなわち、手順Ｔ８で得られた上記学習用イメージデータ１５（点線Ｄ１）と、調査対象に用いた画像の入力データである画像特徴量データファイル１２における代表画像に関係する画像特徴量データ（点線Ｄ２）と、同じくカテゴリー情報データファイル１３における代表画像に関係する画像情報として手順Ｔ５’で抽出されたカテゴリー情報データ（点線Ｄ３）との三者により、学習用データとして用意される。
【００２５】
手順Ｔ９で用意された学習用データは、手順Ｔ１０でニューラルネットワークＮＮに入力されて分析・解析され、手順Ｔ１１で画像イメージ予測モデルが生成されることとなる（図３の符号「２０」参照）。本実施の形態におけるニューラルネットワークＮＮは、図４に示すように非線形多変量重回帰モデルであり、新たな入力情報に対して予測が可能とするために、学習用に用意した入力・出力情報を基にして最適な出力を行うための重み付けを学習する、人間の脳細胞を模倣したモデルである。すなわち、入力層として、高速画像検索により得られた全体画像で８６次元の画像特徴量、およびカテゴリー情報であり、隠れ層において重み付けによる学習が行われ、出力層として４５項目のイメージ項目についてスコア（％）表示された学習に基づくイメージ予測を行うものである。なお、モデルの過学習を防ぐために、交差妥当化により最適なパフォーマンスのモデル構築が行えるようにしている。
【００２６】
こうして、手順Ｔ１１で構築された画像イメージ予測モデル２０に、入力データとして新たな画像の情報を与えると、４５項目のイメージ情報が０〜１００％の範囲の数値で出力されるが、調査結果による実測値と、画像イメージ予測モデル２０により出力された予測値との比較では、非常に高い精度で画像イメージが予測されることが判明している。すなわち、図５に示されるように（一例として、１０個のイメージ項目を掲げた）、画像特徴量と、カテゴリー情報と、この２者の統合解析との間におけるイメージ予測結果を、項目別に相関係数で比較したグラフから明らかなように、画像特徴量とカテゴリー情報とがお互いに補い合って予測精度を高めていることがわかり、このことから画像イメージ予測には、画像特徴量とカテゴリー情報の２つの情報（データ）が必要であると言える。
【００２７】
ここで、上記画像イメージ予測モデル２０をコンピュータシステムに組み込んで構成される、画像イメージ予測システム（場合によっては、「画像イメージ予測検索システム」とも言う）について説明する。すなわち、図３に示されるように、画像イメージ予測システムには、画像イメージ予測モデル２０で生成されたイメージデータを、登録（格納）する予測イメージデータファイル２１、画像データベース１０、カテゴリー情報データファイル１３の他に，タイトル情報データファイル１６が設けられている。このタイトル情報データファイル１６は、すべての画像のタイトルを、別途定めたルールに基づき、客観的事実をベースに日本語で入力したもので、タイトルの基本形は、例えば「どこどこ（場所）で、なになに（動作）している、誰々（ヒト）」といったように客観的な情報となるルールに設定してある。タイトル文章中の「動詞」は、市販されている動詞抽出ソフトを利用して動作情報として抽出されるものである。これら画像データベース１０、カテゴリー情報データファイル１３，予測イメージデータファイル２１およびタイトル情報データファイル１６には、各種検索プログラム１７が接続されている。この各種検索プログラム１７としては、タイトル検索プログラム１７Ａ、カテゴリー検索プログラム１７Ｂ、イメージ検索プログラム１７Ｃ、複合検索プログラム１７Ｄ、および類似画像検索プログラム１７Ｅが包含されている。
【００２８】
上記類似画像検索プログラム１７Ｅは、データベース上で、４５項目のイメージデータから画像の多次元空間における座標値を計算し、特定画像の座標値からのイメージ空間上の距離を計算し、イメージが類似する画像を順位付けて検索出力することを可能としたものである。
【００２９】
各検索プログラム１７には、検索用端末（パーソナルコンピュータ）１８が接続される。この検索用端末１８は、イントラネットあるいはインターネット１９などによるネットワークにより接続されている。
【００３０】
こうして、本実施の形態にかかる画像イメージ予測システム（または、「画像イメージ予測検索システム」）によれば、検索用端末１８から操作することにより、タイトルによる検索、カテゴリーによる検索、イメージによる検索、複合ワードによる検索などが可能となり、膨大な画像データの中から瞬時にして希望するイメージで画像を検索することができる。したがって、数万から数百万もある大量の画像のイメージ予測が、時間やコストをかけずに、高い精度で実行でき、その結果、従来のように利用者（ユーザー）や受け手のイメージでの検索が困難であった大量の画像をイメージワードで簡単かつ自由に検索することができ、さらには、大量の画像に対して画像自身が有する情報を基にしてイメージ予測が可能となるため、画像データベースに対しても大きな利用価値を付与できる。
また、本実施の形態に係る画像イメージ予測システムによれば、イントラネットやインターネットなどのネットワークにより検索用端末１８が接続されているので、ユーザーが検索用端末１８からネットワークを通じてアクセスすることにより、ユーザーは端末１８の表示画面上で画像イメージ予測システムを利用することができ、ひいては、それだけ便利性を向上させることができる。
【００３１】
上記実施の形態では、携帯端末として、パーソナルコンピュータ、携帯情報端末、携帯電話機などのいずれにも適用することが可能である。
また、上記した実施の形態では、プログラムを、ハードディスクに記録させた場合を前提に説明したが、これ以外に、例えば、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録させてもよい。
また、ハードディスクに上記したプログラムをダウンロードさせる場合には、ネットワークであるインターネット１９の他に、商用ネットワーク、イントラネット、エクストラネットなどのネットワークを利用してもよい。
【００３２】
【発明の効果】
以上、説明したように、本発明によれば、画像特徴量だけでなく、カテゴリー情報をも補い合う態様で豊富化し、ニューラルネットワークなどの統計解析手法を用いて分析・解析したので、大量の画像を格納する画像データベースであっても、イメージ項目である代表画像イメージデータに基づきイメージ評価を行う統計解析手法によって、精度の高い画像イメージ予測モデルを作成でき、画像イメージ予測を、時間と労力を最小限にすることで、コスト安価に画像イメージ予測モデルを実現することが可能な、画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システムを提供できる効果を奏する。
【図面の簡単な説明】
【図１】本発明の画像イメージ予測モデルの作成方法に係る実施の形態における予測モデル作成方法の概要を示す手順図である。
【図２】上記手順図に係り、画像イメージ予測モデルの構築のための手順を模式化して示す手順図である。
【図３】本発明の画像イメージ予測（検索）システム構成を示すシステム図である。
【図４】本実施の形態における画像イメージ予測モデル作成に適用されるニューラルネットワークのモデルを示すモデル図である。
【図５】イメージ予測結果の項目別相関係数の比較グラフである。
【図６】画像特徴量、カテゴリー情報、およびイメージ評価と、視覚情報処理との対応を対比して説明する視覚情報処理との対応図である。
【符号の説明】
ＮＮ…ニューラルネットワーク
１０…画像データベース
１１…画像特徴量プログラム
１２…画像特徴量データファイル
１３…カテゴリー情報データファイル
２０…画像イメージ予測モデル
２１…学習用イメージデータ
１６…タイトル情報データファイル
１７…各種検索プログラム
１８…検索用端末
１９…インターネット
Claims (10)
- 画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成するようにしたことを特徴とする画像イメージ予測モデルの作成処理方法。
- 前記統計解析手法は、ニューラルネットワークであることを特徴とする請求項１記載の画像イメージ予測モデルの作成処理方法。
- 画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成するようにしたことを特徴とする画像イメージ予測モデルの作成処理装置。
- 前記統計解析手法は、ニューラルネットワークであることを特徴とする請求項３記載の画像イメージ予測モデルの作成処理装置。
- 画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成することを実行させる、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 前記統計解析手法は、ニューラルネットワークであることを特徴とする請求項５記載の画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体。
- 画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを、画像特徴量データファイルに格納する一方、画像毎に意味情報を付けたカテゴリー情報データを、カテゴリー情報データファイルに格納し、さらに、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行い、その調査結果を代表画像イメージデータとして作成し、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして準備作成し、この学習用データを用いて、前記画像データベースについて、統計解析手法により分析してイメージ評価を学習した画像イメージ予測モデルを生成することを、コンピュータにより実行可能なコンピュータプログラム。
- 前記統計解析手法は、ニューラルネットワークであることを特徴とする請求項７記載のコンピュータにより実行可能なコンピュータプログラム。
- 画像データベースに格納された画像について、画像特徴量抽出プログラムにより画像の物理的特徴量を抽出した画像特徴量データを格納する画像特徴量データファイル、画像毎に意味情報を付けたカテゴリー情報データを格納するカテゴリー情報データファイル、前記画像データベースから取り出した所定数の代表画像について、所定項目数のイメージ項目に関する調査を行って作成された代表画像イメージデータ、この代表画像イメージデータと、前記画像特徴量データファイルにおける前記代表画像に関係する画像特徴量データと、前記カテゴリー情報データファイルにおける前記代表画像に関係するカテゴリー情報データとを学習用データとして入力して分析される統計解析手法、前記統計解析手法によりイメージ評価を学習して生成された画像イメージ予測モデル、および前記画像イメージ予測モデルに、前記画像特徴量データファイルおよび前記カテゴリー情報データファイルから、前記代表画像に関するデータとは別の新たな画像に関するデータを入力することにより生成される前記イメージ項目に関する予測イメージデータを格納する予測イメージデータファイルを備え、さらに、前記予測イメージデータファイルと、ネットワークで接続された検索用端末との間に、イメージ検索プログラムを設け、前記検索用端末により入力される前記イメージ項目により、前記予測イメージデータファイルから画像を検索して、端末画面に表示するようにしたことを特徴とする画像予測イメージシステム。
- 前記統計解析手法は、ニューラルネットワークであることを特徴とする請求項９記載の画像イメージ予測システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002269296A JP2004110213A (ja) | 2002-09-13 | 2002-09-13 | 画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002269296A JP2004110213A (ja) | 2002-09-13 | 2002-09-13 | 画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004110213A true JP2004110213A (ja) | 2004-04-08 |
Family
ID=32267250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002269296A Pending JP2004110213A (ja) | 2002-09-13 | 2002-09-13 | 画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004110213A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6408729B1 (ja) * | 2018-02-28 | 2018-10-17 | 株式会社ジャパン・カレント | 画像評価装置、画像評価方法及びプログラム |
| KR102256409B1 (ko) * | 2020-11-23 | 2021-05-25 | 주식회사 에이모 | 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치 |
-
2002
- 2002-09-13 JP JP2002269296A patent/JP2004110213A/ja active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6408729B1 (ja) * | 2018-02-28 | 2018-10-17 | 株式会社ジャパン・カレント | 画像評価装置、画像評価方法及びプログラム |
| JP2019149115A (ja) * | 2018-02-28 | 2019-09-05 | 株式会社ジャパン・カレント | 画像評価装置、画像評価方法及びプログラム |
| KR102256409B1 (ko) * | 2020-11-23 | 2021-05-25 | 주식회사 에이모 | 학습 데이터 세트를 생성하는 방법 및 학습 데이터 세트를 생성하기 위한 컴퓨터 장치 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Recker | Scientific research in information systems: a beginner's guide | |
| Lin et al. | UNISON framework of data-driven innovation for extracting user experience of product design of wearable devices | |
| CN107798563B (zh) | 基于多模态特征的互联网广告效果测评方法及系统 | |
| CN109635207A (zh) | 一种基于中文文本分析的社交网络用户人格预测方法 | |
| Liu et al. | An aesthetic measurement approach for evaluating product appearance design | |
| Jones | Developing cognitive theory by mining large-scale naturalistic data | |
| Hasan et al. | Employment of ensemble machine learning methods for human activity Recognition | |
| Meshram et al. | Diagnosis of depression level using multimodal approaches using deep learning techniques with multiple selective features | |
| Feng et al. | A digital twin-driven method for product performance evaluation based on intelligent psycho-physiological analysis | |
| Chaudhuri et al. | A computational model for subjective evaluation of novelty in descriptive aptitude | |
| Kumar et al. | Analysis of machine learning algorithms for facial expression recognition | |
| CN116226410B (zh) | 一种知识元联结学习者状态的教学评估与反馈方法及系统 | |
| Mejia-Escobar et al. | Towards a Better Performance in Facial Expression Recognition: A Data‐Centric Approach | |
| Pinto et al. | A Systematic Review of Facial Expression Detection Methods | |
| JP2004110213A (ja) | 画像イメージ予測モデルの作成処理方法、画像イメージ予測モデルの作成処理装置、画像イメージ予測モデル生成プログラムを記録したコンピュータ読み取り可能な記録媒体、コンピュータプログラム、および画像イメージ予測システム | |
| George et al. | PERKC: Personalized kNN With CPT for Course Recommendations in Higher Education | |
| Bader | EANRS: An emotional Arabic news recommender system | |
| Su et al. | Research of product styling design method based on neural network | |
| Mayilvaganan et al. | Recent trends in human computer interface to analysis the cognitive skill of students based on user interface | |
| Huang et al. | [Retracted] Analysis of Ideological and Political Classroom Based on Artificial Intelligence and Data Mining Technology | |
| Aydoğan et al. | Determining of Customer’s Kansei Needs and Product Design Attributes by Rough Set Theory | |
| Butner et al. | Ghost hunting in the nonlinear dynamic machine | |
| Liyuan | Application of light imaging detection based on data information visualization in aerobics training management competition simulation system | |
| Vidyasagar et al. | Emotion Based Music Recommendation System by Using Different ML Approach | |
| Dasmahapatra et al. | Machine Learning-Based Approach to Analyze Students’ Behaviour in Digital Learning Systems |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050602 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080116 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080212 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080701 |