JP2013250881A

JP2013250881A - 学習画像選択方法、コンピュータプログラム及び学習画像選択装置

Info

Publication number: JP2013250881A
Application number: JP2012126289A
Authority: JP
Inventors: Yongqing Sun; 泳青孫; Kyoko Sudo; 恭子数藤; Masashi Morimoto; 正志森本
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2012-06-01
Filing date: 2012-06-01
Publication date: 2013-12-12

Abstract

【課題】学習辞書の精度の向上に寄与する学習データを選択すること。
【解決手段】学習データとして用いられる画像データである学習画像データと、学習画像データに共通する意味コンセプトを表す複数の学習画像候補と、を取得し、学習画像データ全体の特徴量と、学習画像候補毎の特徴量と、を取得し、学習画像候補の特徴量毎に、学習画像全体の特徴量との類似度を算出し、類似度が閾値よりも大きい学習画像候補を学習画像データとして選択する。
【選択図】図１

Description

本発明は、画像辞書を生成するための学習データを選択する技術に関する。

画像データベースの構築や画像・映像類似検索を実現するために、概念を表す言葉である意味コンセプトに関する画像辞書の生成が必要となる。しかし、画像辞書を生成するための学習画像データは、意味コンセプト毎にマッチした十分な量を得られないことが多い。例えば、手動で学習画像データを収集する場合、目視の選別で多大なコストと時間がかかる。そのため、十分な量の学習画像データを集めるのは困難である。

このような学習画像データ不足を補うため、学習データの属するドメイン（以下、目標ドメインという）とは異なるドメイン（以下、元ドメインという）の画像データを学習画像データとして利用することが提案されている。例えば、日本の放送映像を対象とした画像辞書生成する場合において、目標ドメイン（日本の放送映像）に属する学習データ（目標ドメインデータ）が不足している場合、アメリカの放送映像やウェブ画像などの他のドメイン（元ドメイン）に属するデータ（元ドメインデータ）を用いることによって、学習データを補うことができる。なお、この場合には、元ドメインデータの中から、学習しようとする意味コンセプトと同じ意味コンセプトを持つデータを学習データとして検索する必要がある。

従来技術として、ＴＲＥＣＶＩＤが提供する映像を対象にした画像辞書を生成する技術がある。この技術では、意味コンセプトに関するＴＲＥＣＶＩＤの学習キーフレーム画像（目標ドメインデータ）と、その意味コンセプトをクエリーキーとしてウェブから収集してきたウェブ画像（元ドメインデータ）とを単純に混ぜたものが、学習データとして用いられる（例えば、非特許文献１参照）。ＴＲＥＣＶＩＤとは、映像検索ならびにそのための映像解析技術の高度化をめざし、米国の標準技術局（ＮＩＳＴ：National Institute of Standards and Technology）とＤＴＯ（Disruptive Technology Office）が主催する国際共同研究プロジェクトである（http://www-nlpir.nist.gov/projects/tv2011/tv2011.html#data）。

また、ＴＲＥＣＶＩＤの映像を対象にした画像辞書を生成する際に以下のような技術が知られている。まず、特徴量空間で非特許文献１と同じ手法でウェブ画像を収集する。次に、収集されたウェブ画像と、ＴＲＥＣＶＩＤの意味コンセプトに関する学習キーフレーム画像とについて、特徴分布を分析する。その上で、ウェブ画像毎に重み付けを行い、それらのウェブ画像と学習キーフレーム画像と合わせて、学習データとする（例えば、非特許文献２参照）。

IVA-NLPR-IA-CAS TRECVID 2009: High Level Features Extraction www-nlpir.nist.gov/projects/tvpubs/tv9.papers/iva-nlpr-ia-cas.pdf Columbia University/VIREO-CityU/IRIT TRECVID2008 High-Level Feature Extraction and Interactive Video Search http://www-nlpir.nist.gov/projects/tvpubs/tv8.papers/columbia.pdf

しかしながら、異なるドメインの画像が同じ意味コンセプトを表現しても、特徴空間で異なる分布を持つことがある。例えば、「電話機」に関する映像のキーフレーム画像（目標ドメインに属する画像）には、オフィスにある机の上に小さい電話機が置いてある画像であるのに対して、ウェブ画像（元ドメインに属する画像）には、電話機がほぼ中央の位置で鮮明に大きく写されている。この場合、色とサイズの特徴空間で「電話機」の画像を表現すると、キーフレーム画像の特徴分布とウェブ画像の特徴分布とが大きく異なってしまう。

前述したように、非特許文献１は、異なる特徴分布を持つ画像データを単純にあわせて学習データとして用いる。そのため、生成された画像辞書の精度が低くなってしまうという問題がある。
また、ウェブ画像は様々な人が様々な目的で作成している。そのため、同じ意味コンセプトで収集されたウェブ画像であっても、特徴空間での特徴分布に大きなばらつきが生じてしまう。また、意味コンセプトに関係無い画像も混在してしまう。そのため、ウェブ画像を同一の分布で表現することは困難である。

非特許文献２は、異なるドメインの画像データの異なる特徴分布を考慮し、ウェブ画像毎に重みを付ける。重み付けによって、特徴空間でウェブ画像（元ドメインデータ）の特徴分布をキーフレーム画像（目標ドメインデータ）の分布にフィッテイングさせようとしている。しかし、ウェブ画像とキーフレーム画像との間で、具体的にどの部分の特徴分布が異なるのかが考慮されていない。そのため、画像辞書の精度が低いという問題がある。

上記事情に鑑み、本発明は、このような事情に鑑みてなされたもので、学習辞書の精度の向上に寄与する学習データの選択を可能とする技術の提供を目的としている。

本発明の一態様は、学習データとして用いられる画像データである学習画像データと、前記学習画像データに共通する意味コンセプトを表す複数の学習画像候補と、を取得する画像取得ステップと、前記学習画像データ全体の特徴量と、前記学習画像候補毎の特徴量と、を取得する特徴量取得ステップと、前記学習画像候補の特徴量毎に、前記学習画像全体の特徴量との類似度を算出する類似度算出ステップと、前記類似度が閾値よりも大きい前記学習画像候補を学習画像データとして選択する選択ステップと、を有する学習画像選択方法である。

本発明の一態様は、学習データとして用いられる画像データである学習画像データと、前記学習画像データに共通する意味コンセプトを表す複数の学習画像候補と、を取得する画像取得ステップと、前記学習画像データ全体の特徴量と、前記学習画像候補毎の特徴量と、を取得する特徴量取得ステップと、前記学習画像候補の特徴量毎に、前記学習画像全体の特徴量との類似度を算出する類似度算出ステップと、前記類似度が閾値よりも大きい前記学習画像候補を学習画像データとして選択する選択ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様は、学習データとして用いられる画像データである学習画像データと、前記学習画像データに共通する意味コンセプトを表す複数の学習画像候補と、を取得する画像取得部と、前記学習画像データ全体の特徴量と、前記学習画像候補毎の特徴量と、を取得する特徴量取得部と、前記学習画像候補の特徴量毎に、前記学習画像全体の特徴量との類似度を算出する類似度算出部と、前記類似度が閾値よりも大きい前記学習画像候補を学習画像データとして選択する選択部と、を備える学習画像選択装置である。

本発明により、学習辞書の精度の向上に寄与する学習データを選択することが可能となる。

画像辞書生成システムの機能構成を表す概略ブロック図である。画像辞書生成装置２００の動作の具体例を表すフローチャートである。類似性の概略を表す図である。

以下、図面を参照して、本発明の一実施形態による画像辞書生成システムについて説明する。
図１は、画像辞書生成システムの機能構成を表す概略ブロック図である。画像辞書生成システムは、画像記憶部１００、画像辞書生成装置２００及び画像辞書記憶部３００を備える。

画像記憶部１００は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。画像記憶部１００は、目標ドメインに属する複数の画像と、元ドメインに属する複数の画像とを、意味コンセプトに対応付けて記憶する。
画像辞書生成装置２００は、画像記憶部１００に記憶されている画像に基づいて画像辞書を生成する。
画像辞書記憶部３００は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。画像辞書記憶部３００は、画像辞書生成装置２００によって生成された画像辞書を記憶する。

以下、画像辞書生成装置２００の詳細について説明する。
画像辞書生成装置２００は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、画像辞書生成プログラムを実行する。画像辞書生成装置２００は、画像辞書生成プログラムを実行することによって、画像取得部２０１、画像代表情報算出部２０２、画像類似度算出部２０３、学習データ選択部２０４及び画像辞書生成部２０５を備える装置として機能する。なお、画像辞書生成装置２００の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されても良い。画像辞書生成プログラムは、コンピュータ読み取り可能な記録媒体に記録されても良い。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、画像辞書生成プログラムは、電気通信回線を介して送受信されても良い。

画像取得部２０１は、画像記憶部１００に記憶されている画像の中から、一つの意味コンセプトに対応する画像を、目標ドメイン及び元ドメインそれぞれから取得する。画像取得部２０１は、取得した画像を画像代表情報算出部２０２及び学習データ選択部２０４に出力する。

画像代表情報算出部２０２は、画像取得部２０１から目標ドメインの画像と元ドメインの画像とを受け取る。画像代表情報算出部２０２は、目標ドメインの画像全体における代表情報を算出する。また、画像代表情報算出部２０２は、元ドメインの画像毎に、それぞれの代表情報を算出する。そして、画像代表情報算出部２０２は、算出した各代表情報を画像類似度算出部２０３へ出力する。

画像類似度算出部２０３は、画像代表情報算出部２０２から代表情報を受け取る。画像類似度算出部２０３は、各代表情報に基づいて、目標ドメインの画像との類似度を元ドメインの画像毎に算出する。画像類似度算出部２０３は、算出した類似度を学習データ選択部２０４に出力する。

学習データ選択部２０４は、目標ドメインの画像と元ドメインの画像とを受け取る。また、学習データ選択部２０４は、画像類似度算出部２０３から、元ドメインの画像毎の類似度を受け取る。学習データ選択部２０４は、類似度に基づいて元ドメインの画像の中から学習データとして用いる画像を選択する。そして、学習データ選択部２０４は、元ドメインの画像の中から選択された画像と、目標ドメインの画像とを、学習データとして画像辞書生成部２０５へ出力する。

画像辞書生成部２０５は、学習データ選択部２０４から意味コンセプトに関する学習データを受け取る。画像辞書生成部２０５は、学習データ選択部２０４によって選択された学習データに基づいて、所定の学習手法を用いて、意味コンセプトモデルを生成する。画像辞書生成部２０５は、生成した意味コンセプトモデルを、意味コンセプトを表す画像辞書として画像辞書記憶部３００に出力する。

図２は、画像辞書生成装置２００の動作の具体例を表すフローチャートである。次に、図２を参照して、画像辞書生成装置２００の動作の具体例について説明する。
まず、画像取得部２０１が、画像記憶部１００から、処理対象の意味コンセプトに関する画像を取得する（ステップＳ１０１）。画像代表情報算出部２０２は、目標ドメインにおける画像全体の代表情報と元ドメインにおける画像毎の代表情報とを算出する（ステップＳ１０２）。

ここで、目標ドメインの画像を例として代表情報の算出処理について説明する。まず、画像代表情報算出部２０２は、目標ドメインの画像毎に特徴量を抽出する。画像代表情報算出部２０２は、例えば画像のＳＩＦＴ特徴点を特徴量として抽出してもいい。そして、画像代表情報算出部２０２は、目標ドメインの画像全てのＳＩＦＴ特徴点における複数の特徴量を目標ドメインの画像の代表情報として抽出する。例えば、この処理はsparse representation手法によって行われても良い。sparse representation手法によって求められた辞書Ｄｃ（複数の特徴量で構成されるＮ×Ｍ行列；Ｎは特徴量の次元数、Ｍは特徴量の数；Ｍ＞Ｎ）を目標ドメインの代表情報とする。画像代表情報算出部２０２は、同じ処理によって、元ドメインの画像毎（画像ｉ）にＳＩＦＴ特徴点を特徴量として抽出する。そして、画像代表情報算出部２０２は、sparse representation手法を用いて辞書Ｄｉを画像ｉの代表情報として抽出する。

図２の説明に戻る。ステップＳ１０２の後、画像類似度算出部２０３は、代表情報に基づいて、元ドメインの画像毎に目標ドメインの画像との類似度を算出する（テップＳ１０３）。画像類似度算出部２０３は、元ドメインの画像ｉと目標ドメインの画像との類似度Ｓｉを、例えば以下の式１を用いて算出しても良い。式１において、ＦはFrobeniusノルムを表す。

次に、画像類似度算出部２０３は、元ドメインの画像において、個々の画像の代表情報と目標ドメインの画像全体の代表情報Ｄｃとの類似度を算出する。次に、画像類似度算出部２０３は、それらの類似度の平均値μと標準偏差値σとを求める。そして、画像類似度算出部２０３は、閾値Ｃｔｈを以下の式２を用いて算出する（ステップＳ１０４）。なお、ηは経験値である。

次に、学習データ選択部２０４は、変数ｍに１をセットする（ステップＳ１１１）。次に、学習データ選択部２０４は、元ドメインの画像におけるｍ番目の画像の代表情報と、目標ドメインの画像全体の代表情報との類似度Ｓｍが、閾値Ｃｔｈよりも大きいか否か判定する（ステップＳ１１２）。類似度Ｓｍが閾値Ｃｔｈよりも小さい場合（ステップＳ１１２−ＮＯ）、学習データ選択部２０４は変数ｍに１を加算し（ステップＳ１１３）する。一方、類似度Ｓｍが閾値Ｃｔｈよりも大きい場合（ステップＳ１１２−ＹＥＳ）、学習データ選択部２０４は、ｍ番目の元ドメインの画像を学習データとして選択する（ステップＳ１１４）。学習データ選択部２０４は、ｍ＝Ｍであるか否かを判定する（ステップＳ１１５）。ｍ＝Ｍでない場合（ステップＳ１１５−ＮＯ）、学習データ選択部２０４は、変数ｍに１を加算し（ステップＳ１１３）、ステップＳ１１２以降の処理を実行する。一方、ｍ＝Ｍである場合（ステップＳ１１５−ＹＥＳ）、学習データ選択部２０４は、選択された元ドメインの画像と目標ドメインの画像とを、処理対象となっている意味コンセプトに関する学習データとして画像辞書生成部２０５に出力する。

ステップＳ１１１〜Ｓ１１５の処理によって、元ドメインの画像のうち、目標ドメインの画像と類似度が低い画像が排除され、類似度の高い画像のみが学習データとして選択される。そのため、元ドメインから目標ドメインの意味コンセプトに応じた質の良い学習データを選択することが可能となる。画像辞書生成部２０５がこれらの学習データを用いて意味コンセプトモデルを生成し、画像辞書を生成することによって、画像辞書の精度を向上させることが可能となる。画像辞書生成部２０５が行う学習手法には、既存のどのような手法が適用されても良い。例えば、サポートベクタマシン（Support vector machine：ＳＶＭ）が用いられても良い。画像辞書生成部２０５は、生成された意味コンセプトモデルを意味コンセプトに関する画像辞書とする（ステップＳ１０５）。そして、画像辞書生成部２０５は、生成した画像辞書を画像辞書記憶部３００に書き込む。

以上説明したように、目標ドメイン全体の代表情報と元ドメインの画像毎の代表情報とを比較することによって、目標ドメインのデータの内容に応じた学習データを効率よく選択することが可能となる。そのため、画像辞書の精度向上に資する学習データを選択することが可能となる。

図３は、類似性の概略を表す図である。図３に示されるように、目標ドメインの画像は互いに類似性が高い。例えば、映像のキーフレーム画像は、時間と空間的に内容の連続性が高い。一方、元ドメインの画像は互いに類似性が低く、特徴分布のばらつきが大きい。そこで、本実施形態における画像辞書生成装置２００は、目標ドメインの画像の内容を参考として、元ドメインの画像の中から学習データを選択する。その際、目標ドメインの画像の個々の代表情報を用いるのではなく、目標ドメインの画像全体の代表情報を用いて、元ドメインの画像毎の代表情報との類似性を判定する。そのため、効率良く且つ高い精度で、有効な画像データを選択することが可能となる。

元ドメインの個々の画像になるべく多いかつ簡潔な情報量を抽出して画像の内容を表現する（従来の画像に一つだけの特徴量を抽出し画像内容を表現するような方法は情報量のロスが大きい）。その一方、目標ドメインの画像の情報量をなるべく圧縮し、簡潔かつ代表的な情報だけを抽出して目標ドメインの全体の画像内容を表現する。従って、元ドメインと目標ドメインの画像において、前者は画像毎に、後者は画像全体で、辞書のような表現手法を用いて複数の特徴量を算出する。そのため、代表情報としてそれぞれの内容を精度よく表現できる。また、類似度の算出は目標ドメイン全体の代表情報を用いるため、効率よく行われる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１００…画像記憶部，２００…画像辞書生成装置，２０１…画像取得部，２０２…画像代表情報算出部（特徴量取得部），２０３…画像類似度算出部（類似度算出部），２０４…学習データ選択部（選択部），２０５…画像辞書生成部，３００…画像辞書記憶部

Claims

学習データとして用いられる画像データである学習画像データと、前記学習画像データに共通する意味コンセプトを表す複数の学習画像候補と、を取得する画像取得ステップと、
前記学習画像データ全体の特徴量と、前記学習画像候補毎の特徴量と、を取得する特徴量取得ステップと、
前記学習画像候補の特徴量毎に、前記学習画像全体の特徴量との類似度を算出する類似度算出ステップと、
前記類似度が閾値よりも大きい前記学習画像候補を学習画像データとして選択する選択ステップと、
を有する学習画像選択方法。
学習データとして用いられる画像データである学習画像データと、前記学習画像データに共通する意味コンセプトを表す複数の学習画像候補と、を取得する画像取得ステップと、
前記学習画像データ全体の特徴量と、前記学習画像候補毎の特徴量と、を取得する特徴量取得ステップと、
前記学習画像候補の特徴量毎に、前記学習画像全体の特徴量との類似度を算出する類似度算出ステップと、
前記類似度が閾値よりも大きい前記学習画像候補を学習画像データとして選択する選択ステップと、
をコンピュータに実行させるためのコンピュータプログラム。
学習データとして用いられる画像データである学習画像データと、前記学習画像データに共通する意味コンセプトを表す複数の学習画像候補と、を取得する画像取得部と、
前記学習画像データ全体の特徴量と、前記学習画像候補毎の特徴量と、を取得する特徴量取得部と、
前記学習画像候補の特徴量毎に、前記学習画像全体の特徴量との類似度を算出する類似度算出部と、
前記類似度が閾値よりも大きい前記学習画像候補を学習画像データとして選択する選択部と、
を備える学習画像選択装置。