JP2020057359A - 訓練データ生成方法、訓練データ生成装置、電子機器およびコンピュータ読み取り可能な記憶媒体 - Google Patents

Abstract

【課題】視覚的質問応答（ＶＱＡ）訓練データを生成するための訓練データ生成方法、訓練データ生成装置、電子機器およびコンピュータ読み取り可能な記憶媒体を提供する。【解決手段】訓練データ生成方法２００は、ＶＱＡシステムにおける画像に対する第１の質問と第１の質問に対応する第１の回答とを含む、ＶＱＡシステムの第１セットの訓練データを取得するステップ２１０と、語義上で第１の質問に関連する第２の質問を決定するステップ２２０と、第１の質問および第１の回答に基づいて、第２の質問に対応する第２の回答を決定して、ＶＱＡシステムにおける画像に対する第２セットの訓練データを取得するステップ２３０とを含み、第２セットの訓練データが第２の質問と第２の回答とを含む。これにより、訓練データを自動的に、低コストでかつ高効率で取得することができ、訓練データの量が大幅に増加し、ＶＱＡシステムモデルの精度を向上する。【選択図】図２

Description

本発明は、コンピュータの分野に関し、より詳細には、視覚的質問応答（Ｖｉｓｕａｌ Ｑｕｅｓｔｉｏｎ Ａｎｓｗｅｒｉｎｇ、ＶＱＡ）システムの訓練データを生成する訓練データ生成方法、訓練データ生成装置、電子機器およびコンピュータ読み取り可能な記憶媒体に関する。

ＶＱＡシステムは、コンピュータビジョン、自然言語処理および知識表示（ＫＲ）などの多くの分野に関わっており、現在、既に人工知能研究のホットスポットとなっている。ＶＱＡシステムでは、与えられた画像について、当該画像をめぐる質問に答える必要がある。つまり、画像および質問を入力とし、この２つの情報を合わせて、１つの人間言語を生成して出力とする。現在、ＶＱＡシステムは、監督付きの機器学習方法に基づいて実現され、大量の訓練画像と、当該訓練画像をめぐる質問および回答との一例を訓練データとすることにより、画像内容に基づいてどのように質問に答えるかを学習することができる。このような方法の効果は、訓練データの量に直接頼っている。

現在、訓練データは、一般的に、手動註記によって取得される。例えば、与えられた訓練画像について、註記者は、画像に対して質問をし、対応する回答を註記する。このような方式は、高コストかつ低速度であり、訓練データ量が限られている。モデルの訓練効果を向上させ、ＶＱＡシステムの精度を向上させるために、訓練データを得るための改良された方法が提供されることが望ましい。

本発明の例示的な実施形態によれば、訓練データを得るために改良された訓練データ生成方法が提供される。

本発明の一態様として、ＶＱＡシステムにおける訓練データを生成する訓練データ生成方法が提供される。訓練データ生成方法は、前記視覚的質問応答システムにおける画像に対する第１の質問と前記第１の質問に対応する第１の回答とを含む、前記視覚的質問応答システムの第１セットの訓練データを取得するステップと、語義上で前記第１の質問に関連する第２の質問を決定するステップと、前記第１の質問および前記第１の回答に基づいて、前記第２の質問に対応する第２の回答を決定して、前記ＶＱＡシステムにおける前記画像に対する第２セットの訓練データを取得するステップとを含み、前記第２セットの訓練データが前記第２の質問と前記第２の回答とを含む。

本発明の他の態様として、ＶＱＡシステムにおける訓練データを生成する訓練データ生成装置が提供される。訓練データ生成装置は、前記視覚的質問応答システムにおける画像に対する第１の質問と前記第１の質問に対応する第１の回答とを含む、前記視覚的質問応答システムの第１セットの訓練データを取得する取得ユニットと、語義上で前記第１の質問に関連する第２の質問を決定する質問決定ユニットと、前記第１の質問および前記第１の回答に基づいて、前記第２の質問に対応する第２の回答を決定して、前記ＶＱＡシステムにおける前記画像に対する第２セットの訓練データを取得する回答決定ユニットとを備える。

本発明の他の態様として、電子機器が提供される。電子機器は、少なくとも１つのプロセッサと、少なくとも１つのプログラムが記憶されている記憶装置とを備え、少なくとも１つの前記プログラムが少なくとも１つのプロセッサによって実行されるとき、少なくとも１つの前記プロセッサが、上記の訓練データ生成方法を実現する。

本発明の他の態様として、コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体が提供される。プログラムがプロセッサによって実行されるとき、上記の訓練データ生成方法が実現される。

なお、発明の概要に記載された内容は、本発明の肝心または重要な特徴を限定することを意図するものではなく、本発明の範囲を限定することを意図するものでもない。本発明の他の特徴は、以下の説明によって容易に理解される。

図面を参照しながら以下の詳細な説明を参照することにより、本発明の各実施例の上記および他の特徴、利点および態様がより明らかになる。図面において同一または類似する符号は、常に同一または類似する構成要素を表す。
本発明の一実施形態を実施することができる例示的な環境の概略図を示す。 本発明の一実施形態に係るＶＱＡシステムにおける訓練データを生成する訓練データ生成方法のフローチャートを示す。 本発明の一実施形態に係る訓練データ生成方法の変形例における第２の質問を決定するフローチャートを示す。 本発明の一実施形態に係るＶＱＡシステムにおける訓練データを生成する訓練データ生成装置の概略ブロック図を示す。 本発明の一実施形態を実施することができるコンピューティング機器のブロック図を示す。

本発明の一実施形態について、図面を参照して以下により詳細に説明する。
本発明のいくつかの実施例が図面に示されているが、本発明が様々な形態で実現することができ、本明細書に記載の実施例に限定されると解釈されるべきではない。これらの実施例を提供することで本発明がより明白且つ完全に理解されるためのものであると理解されるべきである。本発明の図面および実施例は、例示的なものにすぎず、本発明の保護範囲を限定するものではないと理解されるべきである。

本発明の一実施形態の説明において、「含む」および「備える」という用語および類似の用語は、開放的に含む、すなわち、「含む（備える）がこれに限定されない」と理解されるべきである。「に基づく」という用語は、「少なくとも部分的に基づく」ことを意味すると理解されるべきである。「一実施形態」または「本実施形態」という用語は、「少なくとも一つの実施例」を意味すると理解されるべきである。「第１」、「第２」などの用語は、異なる対象または同一の対象を指すことができる。以下の説明は、他の明示的および暗示的な定義も含むことができる。

以下、図面を参照して本発明の一実施形態を具体的に説明する。
図１は、本発明の一実施形態を実施することができる例示的な環境１００の概略図を示す。
例示的な環境１００には、ＶＱＡシステムのモデル訓練プロセスが示されている。例示的な環境１００は、図１に示されるように、記憶装置１１０と、コンピューティング機器１２０とを備えている。
記憶装置１１０は、ＶＱＡシステムに対する訓練データ１３０を記憶することができる。記憶装置１１０は、当分野の周知のまたは将来開発される任意の記憶装置とすることができると理解されるべきである。
コンピューティング機器１２０は、サーチエンジンサーバ、データベースサーバ、コンピューティングクラスタなどの、ＶＱＡモデル１４０をサポートするサーバまたはクライアントデバイスである。コンピューティング機器１２０は、ＶＱＡモデルの訓練に使用されるための訓練データ１３０を記憶装置１１０から取得する。訓練データ１３０は、画像、当該画像に対する質問と、その質問に対応する回答との集合を含む。また、図１は単なる一例であり、本発明がこれに限定されないと理解されるべきである。実際、本発明の実施例は、ＶＱＡシステムモデル訓練の任意のシーンに適用可能である。

上述したように、現在、訓練データ１３０は手動註記によって取得されている。このような方式は、高コストかつ低速度であり、訓練データの量が限られている。これを考慮して、本出願の基本的な考え方は、既存の訓練データに基づいて、コンピュータによる実現する方式によって、訓練データを語義を用いて自動的に拡張することである。これにより、訓練データを自動的に、低コスト且つ高効率で取得することができ、訓練データの量が大幅に増加し、ＶＱＡシステムモデルの精度が向上する。

本発明の一実施形態に係るＶＱＡシステムの訓練データを生成する訓練データ生成方法の例示的な実施形態について、図２および図３を参照して以下にさらに詳細に説明する。
図２は、本発明の一実施形態に係るＶＱＡシステムにおける訓練データを生成する訓練データ生成方法２００のフローチャートを示す。
訓練データ生成方法２００は、例えば、図１のコンピューティング機器１２０によって実施することができる。訓練データ生成方法２００は、ＶＱＡモデル１４０をサポートするコンピューティング機器１２０とは別体の他のコンピューティング機器によっても実施することができると理解されるべきである。言い換えれば、訓練データの生成は、ＶＱＡモデルの訓練とは別別に実施することができる。

図２に示されるように、ステップ２１０において、ＶＱＡシステムの第１のセットの訓練データを取得することができる。本実施形態においては、第１のセットの訓練データは、ＶＱＡシステムにおける画像に対する第１の質問と、第１の質問に対応する第１の回答とを含むことができる。図１に示されるように、訓練データ１３０は、ＶＱＡシステムにおける各画像について、少なくとも１つの質問と当該質問に対応する回答とを含むことができる。本発明の変形例として、画像は、写真の形態であってもよい。また、画像は、ビデオデータおける１フレームであってもよい。

本発明の変形例として、手動註記によって取得された、ＶＱＡシステムに対する既存の訓練データ集合から第１のセットの訓練データを取得してもよい。また、コンピュータによる実現する方式で取得された、ＶＱＡシステムに対する既存の訓練データ集合から第１セットの訓練データを取得してもよい。
本発明の一実施形態に係る訓練データ生成方法により、既存の訓練データ集合を自動的に拡張することができ、訓練データの量が増加し、ＶＱＡシステムモデルの訓練効果が向上する。

図２に示されるように、ステップ２２０において、語義上で第１の質問に関連する第２の質問を決定することができる。本実施形態においては、第１の質問に基づいて、語義分析を利用して第２の質問を構築することができる。本発明の変形例として、語義分析に基づいて第１の質問におけるキーワードを決定し、次に語義上でキーワードに関連する拡張語を決定し、拡張語に基づいて第２の質問を構築してもよい。本実施形態においては、当分野の周知のまたは将来開発される自然言語に対する任意の語義分析アルゴリズムまたは技術に基づいて語義分析を実施することができると理解されるべきである。また、本実施形態における質問および回答は、任意の自然言語で表現することができる。自然言語の一例としては、中国語、英語、ドイツ語、スペイン語およびフランス語などを含むが、これらに限定されるものではない。以下の説明では、中国語および英語を自然言語の一例として使用する。しかしながら、これは、単に例示することを目的とし、本発明の範囲を限定することを意図しないと理解されるべきである。本実施形態は、様々な異なる自然言語に適用することができる。

本発明の変形例として、後続の第２の質問の構築を容易にするために、文のタイプ、文の形式などの第１の質問のタイプに基づいて、第１の質問におけるキーワードを決定してもよい。本発明の一実施形態に係る第２の質問を構築する訓練データ生成方法の例示的な変形例について、図３を参照して以下に詳細に説明する。
図３は、本発明の一実施形態に係る第２の質問を決定する訓練データ生成方法３００の変形例のフローチャートを示す。
訓練データ生成方法２００と同様に、訓練データ生成方法３００は、例えば、図１のコンピューティング機器１２０で実施することができるし、ＶＱＡモデル１４０をサポートするコンピューティング機器１２０とは別体の他のコンピューティング機器で実施することができる。

図３に示されるように、ＶＱＡシステムにおける画像に対する第１のセットの訓練データを取得した（例えば、図２のステップ２１０）後、ステップ３１０において、画像に対する第１の質問のタイプが一般質問文であるか、それとも特殊質問文であるかを判断する。一般質問文とは、「はい（Ｙｅｓ）」または「いいえ（Ｎｏ）」または類似単語で答える質問である。また、特殊質問文とは、特殊な疑問質問語を含む質問である。より詳細には、一般質問文以外の質問文は、特殊質問文である。

本発明の変形例として、第１の質問が特殊質問語集合とマッチングするか否かによって、第１の質問のタイプが一般質問文であるか、それとも特殊質問文であるかを決定してもよい。マッチングしない場合には、第１の質問のタイプが一般質問文であると決定される。マッチングしている場合には、第１の質問のタイプが特殊質問文であると決定される。本実施形態によれば、特殊質問語集合は、「なぜ（ｗｈｙ）」、「誰（ｗｈｏ）」、「どのように（ｈｏｗ）」、「何（ｗｈａｔ）」、「いつ（ｗｈｅｎ）」、「どのくらい（ｈｏｗ ｍａｎｙ／ｈｏｗ ｍｕｃｈ）」を含むことができるが、これらに限定されるものではない。

変形例として、第１の質問のタイプが一般質問文であるか、それとも特殊質問文であるかを第１の回答のタイプに基づいて決定してもよい。例えば、第１の回答のタイプが肯定的または否定的な回答である場合には、第１の質問のタイプが一般質問文であると決定される。第１の回答のタイプが肯定的または否定的な回答ではない場合には、第１の質問のタイプが特殊質問文であると決定される。また、上記の一例に限定されることなく、他の任意の適切な方式で第１の質問のタイプを決定してもよいと理解されるべきである。

ステップ３１０において、第１の質問のタイプが特殊質問文であると決定された場合には、ステップ３２０に進む。ステップ３２０において、第１の質問および第１の回答に基づいて、特殊質問文を一般質問文に変換する。例えば、図１のステップ１３０に示されるように、質問は「画像内に何人がいますか」、回答は「３人です」である。質問には「何人」が含まれているため、特殊質問文となる。それに対応して、変換された一般質問文は、「画像内に３人がいますか」となる。質問文の変換は、任意の適切な文法分析技術に基づいて実施することができると理解されるべきである。本発明を曖昧にすることを避けるために、ここでは詳細に説明しない。

ステップ３３０において、変換された一般質問文からキーワードを抽出する。本発明の変形例として、キーワードは、質問文内の主語、目的語などのうちの１つまたは複数であってもよい。本実施形態によれば、キーワードの抽出は、当分野の周知または任意の適切な単語分割アルゴリズムに基づいて実施することができる。本発明を曖昧にすることを避けるために、ここでは詳細に説明しない。

例えば、上記の一例では、変換された一般質問文は「画像内に３人がいますか」であり、その中からキーワード「３」を抽出することができる。

ステップ３１０において、第１の質問のタイプが一般質問文であると決定された場合には、ステップ３３０に進み、キーワードを抽出する。

ステップ３４０において、キーワードが、所定の単語集合内の１つの所定の単語とマッチングするか否かを判断する。本実施形態においては、所定の単語集合は、数字、アルファベット、および文字のうちの少なくとも１つを含む。

ステップ３４０において、キーワードが所定の単語集合内の１つの所定の単語とマッチングしていると判断された場合には、ステップ３５０において、語義分析に基づいて、マッチングした所定の単語の拡張語を決定する。本実施形態においては、数字の拡張語は、当該数字以外の少なくとも１つの数字を含んでいてもよい。本実施形態においては、アルファベットの拡張語は、アルファベット以外の少なくとも１つのアルファベットを含んでいてもよい。本実施形態においては、文字の拡張語は、当該文字以外の少なくとも１つの文字を含んでいてもよい。本実施形態においては、経験またはニーズに基づいて、拡張語の数または種類を決定することができる。

例えば、上記の一例では、変換された一般質問文「画像内に３人がいますか」の場合には、キーワードは「３」であり、キーワードが所定の単語集合内の数字とマッチングしていると決定することができる。これにより、当該キーワードの拡張語が「３」以外の数字、例えば１、４、６であってもよいと決定することができる。本明細書における数字が単なる一例であり、他の実施例では他の任意の数字であってもよいと理解されるべきである。

ステップ３４０において、キーワードが所定の単語集合内の所定の単語の全てとマッチングしないと判断された場合には、ステップ３６０に進み、語義分析に基づいてキーワードの拡張語を決定する。本実施形態においては、拡張語は、反意語、同義語、上位語、および下位語のうちの少なくとも１つを含むことができる。語義関係のいくつかの一例を以下の表１に示す。

本発明の変形例として、語義シソーラスまたは語義辞書によってキーワードの拡張語を決定してもよい。語義シソーラスまたは語義辞書は、当分野の周知のまたは将来開発される任意の関連技術によって取得することができるものであり、本実施形態は、これについて一切限定しない。本実施形態によれば、経験またはニーズに基づいて拡張語の数または種類を決定することができる。

例えば、図１のステップ１３０に示されるように、質問は「バッターの上着は何色ですか」、回答は「赤です」である。質問が特殊質問語集合とマッチングされることによって特殊質問文であると判断される。変換された一般質問文は、「バッターの上着の色は赤ですか」となる。キーワード「赤」を抽出することができる。赤、青、黄等がいずれも色の下位語であるため、例えば、キーワード「赤」の拡張語として「青」を決定することができる。本発明はこれに限定されるものではなく、他の様々な変形例も含むことができると理解されるべきである。簡潔にするために、ここでは詳細に説明しない。

ステップ３５０またはステップ３６０において、拡張語が決定された後、ステップ３７０に進み、第１の質問のキーワードを拡張語で置き換える。これにより、第２の質問は第１の質問から構築される。例えば、上記の一例では、拡張語で置き換えることにより、「画像に何人がいますか」という質問、および「３人です」という回答から、「画像に１人がいますか」という新しい質問を構築することができる。例えば、「バッターの上着の色は赤ですか」という質問から、「バッターの上着の色は青ですか」という新しい質問を構築することができる。

そして、第２の質問を構築した後、図２に示されるステップ２３０に進み、第１の質問および第１の回答に基づいて、第２の質問に対応する第２の回答を決定して、ＶＱＡシステムにおける画像に対する第２セットの訓練データを取得する。第２のセットの訓練データは、第２の質問と第２の回答とを含む。本発明の変形例として、第１の質問と第１の回答との論理的関係、および第１の質問と第２の質問との語義関係に基づいて、第２の回答を決定してもよい。他の推論方式に基づいて、第１の質問、第１の回答および第２の質問から第２の回答を決定することもでき、本実施形態に限定されるものではないと理解さるべきである。

例えば、上記の例では、「画像内に何人がいますか」という質問と、「３人です」という回答と、構築された「画像内に１人がいますか」という質問とから、論理的推論によって「いいえ」という新しい回答を取得することができる。そうすると、「質問：画像内に１人がいますか。回答：いいえ」を含む第２セットの訓練データが構築される。

例えば、「バッターの上着は何色ですか」という質問と、「バッターの上着の色は青ですか」という質問と、構築された「バッターの上着の色は青ですか」という質問とから、論理的推論によって「いいえ」という新しい回答を取得することができる。上記の論理的推論は、当分野の周知のまたは将来開発される任意の関係推論アルゴリズムによって実施することができる。本発明を曖昧にすることを避けるために、ここでは詳細に説明しない。

以上、本発明の一実施形態に係るＶＱＡシステムにおける訓練データを生成する訓練データ生成方法について、図２および図３を参照して説明した。本実施形態によれば、コンピュータによって実現された訓練データ生成方法は、ＶＱＡシステムに対する訓練データを生成するので、従来の手動註記方法と比較して、訓練データを自動的かつ低コストで生成することができ、作業効率を向上することができる。
また、本実施形態によれば、ＶＱＡに対する既存の訓練データに基づいて、語義知識ベースを利用して訓練データを拡張することができ、訓練データの量が大幅に増加し、ＶＱＡシステムモデル訓練の精度を向上することができる。

本発明の一実施形態は、上記の訓練データ生成方法またはプロセスを実施するための対応する訓練データ生成装置をさらに提供する。
図４は、本発明の一実施形態に係るＶＱＡシステムにおける訓練データを生成する訓練データ生成装置４００の概略ブロック図を示す。
訓練データ生成装置４００は、例えば、図１のコンピューティング機器１２０で実施することができる。訓練データ生成装置４００は、図４に示されるように、取得ユニット４１０と、質問決定ユニット４２０と、回答決定ユニット４３０とを備えている。

取得ユニット４１０は、ＶＱＡシステムの第１セットの訓練データを取得するように構成されている。第１セットの訓練データは、ＶＱＡシステムにおける画像に対する第１の質問と、前記第１の質問に対応する第１の回答とを含む。本実施形態によれば、取得ユニット４１０は、手動註記によって取得された、視覚質問回答システムに対する既存の訓練データ集合から第１セットの訓練データを取得することができる。

質問決定ユニット４２０は、語義上で第１の質問に関連する第２の質問を決定するように構成されている。本実施形態によれば、質問決定ユニット４２０は、（図示せず）第１の質問のタイプに基づいて、第１の質問におけるキーワードを決定するキーワード決定ユニットと、語義分析に基づいて、キーワードに関連する拡張語を決定する拡張語決定ユニットと、拡張語に基づいて第２の質問を構築する構築ユニットとを備えている。

キーワード決定ユニットは、第１の質問のタイプが一般質問文であることに応答して、一般質問文からキーワードを抽出する抽出ユニットと、第１の質問のタイプが特殊質問文であることに応答して、第１の質問および第１の回答に基づいて、特殊質問文を一般質問文に変換し、変換された一般質問文からキーワードを抽出する変換ユニットとを備えている。

拡張語決定ユニットは、キーワードが所定の単語集合内の１つの所定の単語とマッチングしていることに応答して、語義分析に基づいて、マッチングした所定の単語の拡張語を決定し、キーワードが所定の単語集合おけるすべての所定の単語とマッチングしないことに応答して、キーワードの拡張語を決定するマッチングユニットを備えている。

所定の単語集合は、数字、アルファベット、および文字のうちの少なくとも１つを含むことができる。変形例として、拡張語は、反意語、同義語、上位語、および下位語のうちの少なくとも１つを含んでいてもよい。

構築ユニットは、第１の質問におけるキーワードを拡張語で置き換えて、第２の質問を構築することができる。

回答決定ユニット４３０は、第１の質問と第１の回答との論理的関係、および第１の質問と第２の質問との語義関係に基づいて、第２の回答を決定することができる。

訓練データ生成装置４００が備える各ユニット４１０，４２０，４３０は、それぞれ図２および図３を参照して説明された訓練データ生成方法２００，３００の各ステップ２１０，２２０、２３０，３１０，３２０，３３０，３４０，３５０，３６０，３７０に対応すると理解されるべきである。また、訓練データ生成装置４００及びこれが備える各ユニット４１０，４２０，４３０の動作及び特徴は、図２及び図３を参照して説明された上記の動作及び特徴に対応しており、同じ効果を有し、詳細は再度説明しない。

訓練データ生成装置４００が備えるユニット４１０，４２０，４３０は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの任意の組み合わせを含む様々な形態で実現することができる。変形例として、少なくとも１つのユニット４１０，４２０，４３０を、記憶媒体に記憶されている機器実行可能命令などのソフトウェアおよび／またはファームウェアによって実現してもよい。機器実行可能命令のほか、またはその代わりとして、訓練データ生成装置４００における少なくとも一部のユニットは、少なくとも部分的に少なくとも１つのハードウェアロジックコンポーネントによって実現することができる。限定ではなく一例として、使用することができる例示的なハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、特定用途向け標準製品（ＡＳＳＰ）、システムオンチップ（ＳＯＣ）、複雑なプログラマブルロジックデバイス（ＣＰＬＤ）などを含む。

図４に示されるこれらのユニット４１０，４２０，４３０は、ハードウェアモジュール、ソフトウェアモジュール、ファームウェアモジュール、またはそれらの任意の組み合わせとして部分的にまたは全体的に実現することができる。特に、いくつかの実施例では、上記のプロセス、方法、またはプロセスは、ストレージシステム、またはストレージシステムに対応するホストコンピュータ、またはストレージシステムとは独立する他のコンピューティング機器によって実現することができる。

図５は、本発明の一実施形態に係る訓練データ生成方法２００，３００を実施することができる例示的なコンピューティング機器５００の概略ブロック図を示す。機器５００は、図１に示されるコンピューティング機器１２０を実現することができる。図示のように、機器５００は、読み出し専用メモリ（ＲＯＭ）５０２に記憶されているコンピュータプログラム命令または記憶ユニット５０８からランダムアクセスメモリ（ＲＡＭ）５０３にロードされたコンピュータプログラム命令に従ってさまざまな適切な動作およびプロセスを実行可能な中央処理装置（ＣＰＵ）５０１を備えている。ＲＡＭ５０３には、機器５００の動作に必要な各種のプログラムやデータも記憶可能である。ＣＰＵ５０１、ＲＯＭ５０２およびＲＡＭ５０３は、バス５０４を介して相互に接続されている。入力／出力（Ｉ／Ｏ）インターフェース５０５もバス５０４に接続されている。

機器５００は、キーボード、マウスなどの入力ユニット５０６と、各種のディスプレイ、スピーカなどの出力ユニット５０７と、ディスク、ＣＤなどの記憶ユニット５０８と、ネットワークカード、モデム、無線通信トランシーバなどの通信部５０９とを備えており、機器５００における複数の構成要素は、Ｉ／Ｏインターフェース５０５に接続されている。通信ユニット５０９は、機器５００がインターネットおよび／または様々な電気通信ネットワークなどを介して他の機器と情報／データを交換することを許容する。

処理ユニット５０１は、訓練データ生成方法２００，３００など、上記のさまざまな訓練データ生成方法およびプロセスを実行する。例えば、いくつかの実施例では、訓練データ生成方法２００，３００は、記憶ユニット５０８などの機器読み取り可能な媒体に有形に含まれるコンピュータソフトウェアプログラムとして実現することができる。いくつかの実施例では、コンピュータプログラムの少なくとも一部は、ＲＯＭ５０２および／または通信ユニット５０９を介して機器５００にロードおよび／またはインストールすることができる。コンピュータプログラムがＲＡＭ５０３にロードされ、ＣＰＵ５０１によって実行されると、上記の訓練データ生成方法２００，３００の少なくとも１つのステップが実行される。代替的には、他の実施例では、ＣＰＵ５０１は、任意の他の適切な手段によって（例えば、ファームウェアによって）訓練データ生成方法２００，３００を実行するように構成される。

本発明に係る訓練データ生成方法を実施するためのプログラムコードは、少なくとも１つのプログラミング言語の任意の組み合わせでプログラミングすることができる。これらのプログラムコードは、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサまたはコントローラに提供されてもよく、その結果、プログラムコードがプロセッサまたはコントローラによって実行されると、フローチャートおよび／またはブロック図において特定される機能／操作が実行される。プログラムコードは、完全に機器で実行、部分的に機器で実行することができ、スタンドアロンソフトウェアパッケージとして部分的に機器で実行され、部分的にリモート機器で実行されまたは全てリモート機器またはサーバで実行される。

本発明の明細書では、機器読み取り可能な媒体は、命令実行システム、装置、または機器によって使用されるまたは命令実行システム、装置、または機器と組み合わせて使用するためのプログラムを含むまたは記憶することができる有形の媒体とすることができる。機器読み取り可能な媒体は、機器読み取り可能な信号媒体または機器読み取り可能な記憶媒体とすることができる。機器読み取り可能な媒体は、電子、磁気、光学、電磁気、赤外線、または半導体システム、装置、または機器、あるいは上記の任意の適切な組み合わせを含むことができるが、それらに限定されない。機器読み取り可能な記憶媒体のより具体的な例は、少なくとも１つのラインに基づく電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンメモリ（ＲＯＭ）、消去可能プログラマブルリードオンメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、またはこれらの任意の適切な組み合わせを含むことができる。

また、動作は、特定の順序で説明されたが、これは、そのような動作が示された特定の順序または順序の順番で実行されること、または所望の結果を達成するためにすべての示された動作が実行されることを必要とする。特定の状況では、マルチタスキングおよび並列処理は、有利な場合がある。同様に、いくつかの具体的な実現例の詳細が上記の説明に含まれているが、これらは本開示の範囲を限定するものとして解釈されるべきではない。別々の実施例で説明されているいくつかの特徴は、単一の実現において組み合わせて実現することもできる。逆に、単一の実施例に関して説明されている様々な特徴は、個別にまたは任意の適切なサブコンビネーションで複数の実施例で実施することができる。

本願は、構成的特徴および／または方法論理的動作に特有の言語で説明されているが、添付の特許請求の範囲で定義されるテーマは、説明された上記の特定の特徴または動作に限定されないことが理解されるべきである。逆に、上記の特定の特徴および動作は単に特許請求の範囲を実施する例示的な形態である。

Claims (20)

1. 視覚的質問応答システムにおける訓練データを生成する方法であって、
   前記視覚的質問応答システムにおける画像に対する第１の質問と前記第１の質問に対応する第１の回答とを含む、前記視覚的質問応答システムの第１セットの訓練データを取得するステップと、
   語義上で前記第１の質問に関連する第２の質問を決定するステップと、
   前記第１の質問および前記第１の回答に基づいて、前記第２の質問に対応する第２の回答を決定して、前記視覚的質問応答システムにおける前記画像に対する第２セットの訓練データを取得するステップとを含み、
   前記第２セットの訓練データが前記第２の質問と前記第２の回答とを含む訓練データ生成方法。
2. 前記第１セットの訓練データを取得するステップは、
   手動註記によって取得された、前記視覚的質問応答システムに対する既存の訓練データ集合から前記第１セットの訓練データを取得するステップを含む請求項１に記載の訓練データ生成方法。
3. 前記第２の質問を決定するステップは、
   前記第１の質問のタイプに基づいて、前記第１の質問におけるキーワードを決定するステップと、
   語義分析に基づいて、前記キーワードに関連する拡張語を決定するステップと、
   前記拡張語に基づいて、前記第２の質問を構築するステップとを含む請求項１に記載の訓練データ生成方法。
4. 前記第１の質問における前記キーワードを決定するステップは、
   前記第１の質問のタイプが一般質問文であることに応答して、前記一般質問文から前記キーワードを抽出するステップと、
   前記第１の質問のタイプが特殊質問文であることに応答して、前記第１の質問および前記第１の回答に基づいて、前記特殊質問文を一般質問文に変換し、変換された前記一般質問文から前記キーワードを抽出するステップとを含む請求項３に記載の訓練データ生成方法。
5. 前記キーワードに関連する前記拡張語を決定するステップは、
   前記キーワードが所定の単語集合おける１つの所定の単語とマッチングしていることに応答して、語義分析に基づいて、マッチングした前記所定の単語の拡張語を決定するステップと、
   前記キーワードが前記所定の単語集合おけるすべての前記所定の単語とマッチングしないことに応答して、前記キーワードの拡張語を決定するステップと含む請求項３に記載の訓練データ生成方法。
6. 前記所定の単語集合は、数字、アルファベット、および文字のうちの少なくとも１つを含む請求項５に記載の訓練データ生成方法。
7. 前記拡張語は、反意語、同義語、上位語、および下位語のうちの少なくとも１つを含む請求項３に記載の訓練データ生成方法。
8. 前記第２の質問を構築するステップは、
   前記第１の質問における前記キーワードを前記拡張語で置き換えて、前記第２の質問を構築する請求項３に記載の訓練データ生成方法。
9. 前記第２の質問に対応する前記第２の回答を決定するステップは、
   前記第１の質問と前記第１の回答との論理的関係、および前記第１の質問と前記第２の質問との語義関係に基づいて、前記第２の回答を決定するステップを含む請求項１に記載の訓練データ生成方法。
10. 視覚的質問応答システムにおける訓練データを生成する装置であって、
    前記視覚的質問応答システムにおける画像に対する第１の質問と前記第１の質問に対応する第１の回答とを含む、前記視覚的質問応答システムの第１セットの訓練データを取得する取得ユニットと、
    語義上で前記第１の質問に関連する第２の質問を決定する質問決定ユニットと、
    前記第１の質問および前記第１の回答に基づいて、前記第２の質問に対応する第２の回答を決定して、前記視覚的質問応答システムにおける前記画像に対する第２セットの訓練データを取得する回答決定ユニットとを備える訓練データ生成装置。
11. 前記取得ユニットが、手動註記によって取得された、前記視覚的質問応答システムに対する既存の訓練データ集合から前記第１セットの訓練データを取得する請求項１０に記載の訓練データ生成装置。
12. 前記質問決定ユニットは、
    前記第１の質問のタイプに基づいて、前記第１の質問におけるキーワードを決定するキーワード決定ユニットと、
    語義分析に基づいて、前記キーワードに関連する拡張語を決定する拡張語決定ユニットと、
    前記拡張語に基づいて、前記第２の質問を構築する構築ユニットとを備える請求項１０に記載の訓練データ生成装置。
13. 前記キーワード決定ユニットは、
    前記第１の質問のタイプが一般質問文であることに応答して、前記一般質問文から前記キーワードを抽出する抽出ユニットと、
    前記第１の質問のタイプが特殊質問文であることに応答して、前記第１の質問および前記第１の回答に基づいて、前記特殊質問文を一般質問文に変換し、変換された前記一般質問文から前記キーワードを抽出する変換ユニットとを備える請求項１２に記載の訓練データ生成装置。
14. 前記拡張語決定ユニットは、
    前記キーワードが所定の単語集合おける１つの所定の単語とマッチングしていることに応答して、語義分析に基づいて、マッチングした前記所定の単語の拡張語を決定し、前記キーワードが前記所定の単語集合おけるすべての前記所定の単語とマッチングしないことに応答して、前記キーワードの拡張語を決定するマッチングユニットを備える請求項１２に記載の訓練データ生成装置。
15. 前記所定の単語集合が、数字、アルファベット、および文字のうちの少なくとも１つを含む請求項１４に記載の訓練データ生成装置。
16. 前記拡張語が、反意語、同義語、上位語、および下位語のうちの少なくとも１つを含む請求項１２に記載の訓練データ生成装置。
17. 前記構築ユニットが、前記第１の質問における前記キーワードを前記拡張語で置き換えて、前記第２の質問を構築する請求項１２に記載の訓練データ生成装置。
18. 前記回答決定ユニットが、前記第１の質問と前記第１の回答との論理的関係、および前記第１の質問と前記第２の質問との語義関係に基づいて、前記第２の回答を決定する請求項１０に記載の訓練データ生成装置。
19. 少なくとも１つのプロセッサと、
    少なくとも１つのプログラムが記憶されている記憶装置とを備え、
    少なくとも１つの前記プログラムが少なくとも１つの前記プロセッサによって実行されるとき、少なくとも１つの前記プロセッサが、請求項１から請求項９のいずれかに記載の訓練データ生成方法を実現する電子機器。
20. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記プログラムがプロセッサによって実行されるとき、請求項１から請求項９のいずれかに記載の訓練データ生成方法が実現されるコンピュータ読み取り可能な記憶媒体。

Images