JP2005182703A - 画像解析システム及び画像解析方法並びにこれに用いる携帯型通信端末のストラップ - Google Patents

Abstract

【課題】 画像や色彩と言葉を相互に客観的に関連付けして分類したデータベースを構築し、画像や色彩、言葉を機械的に抽出すること。
【解決手段】 画像解析システム１を、運用者が管理する運用サーバ２及び解析サーバ３と、多数のユーザの通信端末４とで構成する。運用サーバ２は、インターネット上にＷｅｂページを公開し、登録会員ごとのメッセージ付き写真画像を閲覧に供す。運用サーバ２はこのサイトに送られた画像付き電子メールをメールの文書データと画像データとに関連づけて画像データベース５に格納する。解析サーバ３は画像データベース５の画像データをビットごとにRGB値及びCMYK値を解析し、画像データ全体の平均値を夫々算出して平均的特徴色を算出すると共に、文書データから形容詞を抽出して、夫々を関連付けした色彩データベース６に夫々格納する。平均的特徴色と形容詞は、一方をもとに他方を機械的に抽出できる。
【選択図】 図１

Description

本発明は、画像データと文書データを含む情報を収集して色彩と感情表現を関連付けるデータベースに構築し、客観的に結び付きの強い関係にある画像データと感情表現を一方を元に他方を相互に検索できる画像解析システムに関するものである。

従来、画像の類似性に基づき、コンピュータの記憶装置内に蓄積された大量の画像データの中から特定の画像データを抽出する画像検索システムがある（特許文献１参照）。この画像検索システムは、検索元画像及び検索対象画像のRGB値を算出し、少なくとも一部の領域におけるRGB値を比較して、近似する程度により同一性を判別して画像データを抽出する。
特開２００３−２３３８００号公報

上記従来の画像検索システムにおいては、画像同士を比較して近似したものを抽出できるが、画像と言葉を関連付けて言葉を抽出するには、多くの画像データに予め画像の特徴を表す言葉を分類項目として個別に付加しておかなければなず、大量のデータの加工を強いられ、作業労力の負担が大きい。一方、画像や色彩は、これらから引き起こされる感情を手がかりに分類することができる。画像や色彩に感情表現となる言葉を関連付ければ、相互の関係を利用した一方から他方への画像や色彩の抽出、選択が可能である。例えば企業活動の中で商品等を企画する場合などに、商品自体や広告画像に付する色彩を選択決定することが重要になっていたり、特に衣料分野での流行色の決定も重要性が高い。このような状況で、客観的に色彩から連想するイメージ等の感情を表現する言葉を機械的に抽出できれば好都合である。
また、画像と主観的感情表現の言葉を客観的に関連付けてデータベース化するには膨大なデータを収集する必要がある。
そこで本発明は、画像や色彩と抽象的な感情表現の言葉を相互に客観的に関連付けして、データを分類し、画像や色彩と言葉を機械的に簡易に選択操作できるデータベースを構築でき、そのためのデータを容易に収集できる画像解析システム及びその方法並びにこれに用いる携帯型通信端末のストラップを提供することを課題としている。

第１の発明においては、運用サーバ２により電子メールを多数取得して、文書データと画像データとを関連付けて画像データベース５に格納し、解析サーバ３により画像データベースの画像データをピクセルごとのRGB値及び／又はCMYK値から画像データ全体の平均値を算出して平均的特徴色を特定し、電子メールの文書データから感情表現に該当する言葉を抽出して、平均的特徴色と言葉とを関連付けて色彩データベース６に格納し、入力された画像データに対応する感情表現を抽出するように画像解析システム１を構成した。
第２の発明においては、多数取得した電子メールを文書データとこれに添付された画像データとに関連付けて画像データベース５に格納するステップと、この画像データベース５の画像データをピクセルごとのRGB値及び／又はCMYK値から画像データ全体の平均値を算出して平均的特徴色を特定するステップと、電子メールの文書データから感情表現に該当する言葉を抽出するステップと、平均的特徴色と言葉とを関連付けて色彩データベース６に格納するステップとを含み、入力された画像データに対応する感情表現を検索できる画像解析方法を採用した。
第３の発明においては、電子メールを、送信者ごとに割り当てた表示領域に文書を添えて画像データを表示し、閲覧に供する特定のＷｅｂサイトで受信し取得する。
第４の発明においては、撮影画像データを添付した電子メールを作成、送信可能なデジタルカメラ機能付き携帯型通信端末４から電子メールを受信して取得する。
第５の発明においては、枠体１１ａにカラーフィルター１１ｂを支持させ、色付けされた撮影画像データを得るために、デジタルカメラ機能付き携帯型通信端末４のレンズ４ａの前にカラーフィルター１１ｂを配置して撮影できるようにしたストラップ８，１３を構成した。
第６の発明においては、鋼板製の枠体１１ａの開口部にカラーフィルター１１ｂを取り付けて、デジタルカメラ機能付き携帯型通信端末４のレンズ４ａに固定するためにレンズ４ａ周りに磁石付きのアダプタシール１２を貼って磁気吸着させるようにストラップ８，１３を構成した。

本発明においては、画像データに画像の特徴をキーワードとして付加する入力作業を要することなく、画像と言葉を関連付けたデータベースを構築することができ、画像や色彩と言葉の一方を手掛かりに他方を相互に検索することができるので、商品企画や流行色の設定、広告デザインの作成等に際して、商品イメージや流行に合わせた画像や色彩を抽出したり、逆に画像や色彩から広告文などに採用する言葉を機械的に容易に抽出できる。
また、広く普及した携帯通信端末によって日常化した電子メールの送信操作を活用することにより、膨大なデータの収集を容易に行うことができ、データベースにおける画像と多様な主観的感情表現とを客観的に正確に関連付けすることができる。
さらに、携帯通信端末に常時装着されるストラップを利用して感情に応じた色付けを画像に簡単に施すことができ、利用価値の高い感情の反映された画像データを収集し易いという効果を有する。

図面を参照して本発明の実施の一形態を説明する。
図１において、画像解析システム１は、運用者が管理する運用サーバ２及び解析サーバ３と、多数のユーザの通信端末４とで構成される。

運用サーバ２は、インターネットに接続してＷｅｂサイトの一つとしてホームページを公開でき、またメールサーバ機能、データベースサーバ機能等を備えている。運用サーバ２には、登録会員ごとに領域を区画してメッセージ付き写真画像を日記風のアルバム形式で閲覧に供すことができるＷｅｂページを管理する。このサイトに送られた画像付き電子メールは、運用サーバ２の記憶装置内に収集され、メッセージＩＤをキー項目とするメールとこれに添付された画像データとが関連づけられた画像データベース５に格納される。画像データベース５は画像データ及び文書データを蓄積する画像テーブル５ａとメールテーブル５ａとを有し、これらは互いにメッセージＩＤを関連項目として関連付けられている。

解析サーバ３の記憶装置内には画像データベース５のデータを加工した色彩データベース６を備えている。この解析サーバ３は、画像データベース５の画像データを均等に区分した多数の矩形領域（ビット）ごとのRGB値及びCMYK値を解析し、画像データ全体の平均値を夫々算出して平均的特徴色を算出して色彩データベース６に格納する。また、解析サーバ３は、電子メールの文書情報から感情表現に該当する言葉（主に形容詞）を抽出して色彩データベース６に格納する。色彩データベース６内の画像データの平均的特徴色と文書情報の言葉とは、関連性の強弱の度合いを有しながら互いに関連付けされている。解析サーバ３は、この色彩データベース６のデータを写真分類システム用ソフト７により色彩と言葉を一方を元に他方を抽出可能で、かつ関連性の高い順にリストアップできる。なお、解析サーバは運用サーバ２を構成するコンピュータで兼用してもよい。

通信端末４は、例えばパソコン、ＰＤＡ、携帯電話など、少なくとも画像ファイルを添付した電子メールを送信する機能を有するもので、インターネットやLANへの接続機能を備えており、これらのネットワークを介して運用サーバ２に接続できる。通信端末にデジタルカメラ機能付き携帯電話機４を採用した場合、図２、図３に示すようなストラップ８を取り付けると、このシステムを使用するのに好都合である。このストラップ８は、連結紐部９と、バックル部１０と、ストラップ本体１１とを備えている。バックル部１０は連結紐部９が係止された雌型部材１０ａと、ストラップ本体１１が丸カン１０ｃを介して連結される雄型部材１０ｂとが取り外し可能に係合する。ストラップ本体１１は、枠体１１ａに８個の異なる色彩の円形のカラーフィルター１１ｂを長手方向に一列に並べて設けたものである。枠体１１ａは、重なり合って接着される一対の鋼板片で構成され、長手方向に並んだ円形開口を有する。カラーフィルター１１ｂは、枠体１１ａの鋼板片に挟まれて円形開口に露出するように固定されている。カラーフィルター１１ｂはデジタルカメラ機能付き携帯電話機４のカメラレンズ４ａを覆うことができる径を有する。このストラップ本体１１は、カメラレンズ周りに貼着された円孔を有する磁石付きのアダプタシール１２で固定される。カラーフィルター１１ｂを携帯電話機４のカメラレンズ４ａに装着して撮影すれば、レンズへの入力光を偏光させて撮影画像を選択色に色付けできる。

この画像解析システム１においては、運用サーバ２内のＷｅｂページがインターネット上で公開されて、登録会員ごとに区画された領域に写真画像と文書情報が絵日記風に配置されて閲覧できるように公開される。この写真画像データと文書データはこのサイトに電子メールによって携帯型通信端末４から主に送信される。

電子メールに添付される画像データは、デジタルカメラ機能付き携帯電話機４を用いる場合、ストラップ８を取り付けておけば、感情に応じて選択した色つきの写真画像を容易に撮影することができる。ストラップ本体１１は、携帯電話機４のカメラレンズ部に予めアダプタシール１２を貼っておき、ストラップ７の特定色のカラーフィルター１１ｂを適宜選択してアダプタシール１２に合わせ、カメラレンズを覆うように磁気吸着させて固定する。この状態で携帯電話機４を操作して被写体Ｍを撮影し、この撮影画像を取り込む。この画像データを電子メールに添付して送信する。なお、画像データは別途デジタルカメラで取得してもよい。

運用サーバ２において画像データ及び文書データは画像データベース５に格納される。画像データベース５は画像データを画像テーブル５ａに文書データをメールテーブル５ａに蓄積し、メッセージＩＤを関連項目として関連付けて格納される。このとき、一つの電子メールに複数の画像データが添付されていれば文書データと画像データとは１：Ｎに対応して関連づけられる。

画像データベース５のデータは、解析サーバ３で色彩データベース６に加工される。色彩データベース６は、画像データをビットごとのRGB値及びCMYK値を解析し、画像データ全体の各値の平均値を夫々算出して平均的特徴色を特定する。同時に、電子メールの文書情報から感情表現に該当する形容詞を抽出する。この処理を繰り返し行い学習することにより、特定色と形容詞を客観的に関連付けた色彩データベース６が構築される。例えば、"RGB値の平均が128,128,128"の色彩には"憂鬱"、 "CMYK値の平均が1,2,3,4"の色彩には"気持ちよい"というように、平均的特徴色に感情表現の言葉を対応させて正解データを得る。この正解データは、平均的特徴色と形容詞とがＮ：Ｎに対応して関連づけられることになる。この処理は、汎用のデータベース作成用アプリケーションソフトにより、所定数の正解データを得た段階で、学習をストップさせて色彩データベース６が構築される。

色彩データベース６は、色彩と抽象的な形容詞とが互いに一方を元に他方が客観的に連想される対応関係を有し、かつ特定の色彩に対する言葉の関連度の強弱を有するので、色彩あるいは元画像Ｐを入力して、関連性の高い順に言葉Ｗをリストアップできるし、写真画像をこれから連想できる言葉で機械的に分類することができる。このとき、最も関連度が高い単語順に写真を並べて、分類の補助とすることができる。従って、商品や画像コンテンツ、広告デザインなどにおける色彩や言葉の選択に活用できる。
なお、写真画像にテキスト文書も付随して存在する場合には、出現する単語（形容詞）への関連度を定数倍するなどして増大させてもよい。

他の実施形態を図４に示す。このストラップ１３は先のものと同様に連結紐部９と、バックル部１０と、ストラップ本体１４とを備えている。ストラップ本体１４は、磁気吸着可能な４枚の枠体１４ａの一端側に丸カン１０ｃを束ね、金属板片１４ａに夫々２個ずつ計８色の異なる色彩の円形カラーフィルター１４ｂを長手方向に並べて設けたものである。カラーフィルター１４ｂは、重なり合って接着される一対の鋼板片に挟まれて固定され、円形開口から露出される。カラーフィルター１４ｂは、デジタルカメラ機能付き携帯電話機４のカメラレンズ４ａを覆うことができる径を要する。このストラップ本体１４も先のものと同様に、カメラレンズ４ａ周りに貼着された円孔を有する磁石付きのアダプタシール１２で固定される。そして、カラーフィルター１４ｂを携帯電話機４のカメラレンズ４ａに装着して撮影すれば、レンズへの入力光を偏光させて撮影画像を選択色に色付けできる。

本発明は、電子メールを構成する文書データとこれに添付された画像データとを収集して色彩と感情を表現する言葉を関連付けたデータベースに構築し、画像データを言葉で分類し、画像データと言葉の一方から客観的に連想する他方を抽出するのに用いる。

本発明に係る画像解析システムの概略的説明図である。 ストラップの斜視図である。 ストラップの使用状態の斜視図である。 他の実施形態のストラップの斜視図である。

符号の説明

１ 画像解析システム
２ 運用サーバ
３ 解析サーバ
４ 通信端末
４ａ カメラレンズ
５ 画像データベース
６ 色彩データベース
８ ストラップ
１１ ストラップ本体
１１ａ 枠体
１１ｂ カラーフィルター
１２ アダプタシール
１３ ストラップ
１４ ストラップ本体
１４ａ 枠体
１４ｂ カラーフィルター

Claims (6)

1. 電子メールを多数取得して、文書データと画像データとを関連付けて画像データベースに格納する運用サーバと、
   前記画像データベースの画像データをピクセルごとのRGB値及び／又はCMYK値から画像データ全体の平均値を算出して平均的特徴色を特定し、前記電子メールの文書データから感情表現に該当する言葉を抽出して、前記平均的特徴色と言葉とを関連付けて色彩データベースに格納し、入力された画像データに対応する感情表現を抽出する解析サーバとを具備することを特徴とする画像解析システム。
2. 画像データが添付された電子メールを多数取得して、文書データと画像データとを関連付けて画像データベースに格納するステップと、
   この画像データベースの前記画像データをピクセルごとのRGB値及び／又はCMYK値から画像データ全体の平均値を算出して平均的特徴色を特定するステップと、
   前記電子メールの文書データから感情表現に該当する言葉を抽出するステップと、
   前記平均的特徴色と言葉とを関連付けて色彩データベースに格納するステップとを含み、
   入力された画像データに対応する感情表現を検索できることを特徴とする画像解析方法。
3. 前記電子メールは、送信者ごとに割り当てた表示領域に文書を添えて画像データを表示し、閲覧に供す特定のＷｅｂサイト宛に送信されて取得されることを特徴とする請求項１又は２に記載の画像解析システム又は画像解析方法。
4. 前記電子メールは、撮影画像データを添付した電子メールを作成、送信可能なデジタルカメラ機能付き携帯型通信端末から送信されたものであることを特徴とする請求項１又は２に記載の画像解析システム又は画像解析方法。
5. 枠体と、この枠体に支持されたカラーフィルターとを具備し、色付けされた撮影画像データを得るために、請求項４に記載のデジタルカメラ機能付き携帯型通信端末のレンズの前に前記カラーフィルターを配置して撮影できるようにしたことを特徴とする携帯型通信端末のストラップ。
6. 前記枠体は鋼板製で、枠体の開口部に前記カラーフィルターが取り付けられており、前記デジタルカメラ機能付き携帯型通信端末のレンズに固定するためにレンズ周りに貼着する磁石付きのアダプタシールに磁気吸着することを特徴とする請求項５に記載の携帯型通信端末のストラップ。

Images