JP2021509979A5 - - Google Patents

Claims (18)

1. 画像の記述文位置決定方法であって、
   被解析記述文と被解析画像に対して解析処理を行って、前記被解析記述文の複数の語句注目度重み及び前記被解析画像の複数の画像注目度重みを取得することと、
   前記複数の語句注目度重み及び被解析画像の主体特徴、位置特徴および関係特徴により、複数の第１マッチングスコアを取得することであって、前記被解析画像に複数の対象を含み、主体対象が前記複数の対象のうち、注目度重みが最も高い対象であり、前記主体特徴が前記主体対象の特徴であり、前記位置特徴が前記複数の対象の位置特徴であり、前記関係特徴が前記複数の対象の間の関係特徴であることと、
   前記複数の第１マッチングスコア及び前記複数の画像注目度重みにより、前記被解析記述文と前記被解析画像との第２マッチングスコアを取得することと、
   前記第２マッチングスコアにより、前記被解析記述文の前記被解析画像での位置決定結果を決定することとを含む、前記画像の記述文位置決定方法。
2. 被解析記述文と被解析画像に対してそれぞれ解析処理を行って、前記被解析記述文の複数の語句注目度重み及び前記被解析画像の複数の画像注目度重みを取得することは、
   前記被解析画像に対して特徴抽出を行って、前記被解析画像の画像特徴ベクトルを取得することと、
   前記被解析記述文に対して特徴抽出を行って、前記被解析記述文の複数の分割単語の分割単語埋め込みベクトルを取得することと、
   前記画像特徴ベクトル及び前記複数の分割単語の分割単語埋め込みベクトルにより、前記被解析記述文の複数の語句注目度重み及び前記被解析画像の複数の画像注目度重みを取得することとを含む、
   請求項１に記載の方法。
3. ニューラルネットワークによって、前記被解析記述文の複数の語句注目度重み及び前記被解析画像の複数の画像注目度重みを取得することを更に含む、
   請求項１又は２に記載の方法。
4. 前記複数の語句注目度重みは、語句主語重み、語句位置重み及び語句関係重みを含み、
   前記ニューラルネットワークは、画像注目度ネットワークを含み、
   前記画像注目度ネットワークは、主体ネットワーク、位置ネットワーク及び関係ネットワークを含み、
   前記複数の第１マッチングスコアは、主語マッチングスコア、位置マッチングスコア及び関係マッチングスコアを含み、
   前記複数の語句注目度重み及び被解析画像の主体特徴、位置特徴および関係特徴により、複数の第１マッチングスコアを取得することは、
   前記語句主語重み及び主体特徴を前記主体ネットワークに入力して処理して、前記主語マッチングスコアを取得することと、
   前記語句位置重み及び位置特徴を前記位置ネットワークに入力して処理して、前記位置マッチングスコアを取得することと、
   前記語句関係重み及び関係特徴を前記関係ネットワークに入力して処理して、前記関係マッチングスコアを取得することとを含む、
   請求項３に記載の方法。
5. 前記複数の画像注目度重みは、主体対象重み、対象位置重み及び対象関係重みを含み、
   前記複数の第１マッチングスコア及び前記複数の画像注目度重みにより、前記被解析記述文と前記被解析画像との第２マッチングスコアを取得することは、
   前記主体対象重み、前記対象位置重み及び前記対象関係重みにより、前記主語マッチングスコア、前記位置マッチングスコア及び前記関係マッチングスコアに対して加重平均を行って、前記第２マッチングスコアを決定することを含む、
   請求項４に記載の方法。
6. 前記被解析画像を特徴抽出ネットワークに入力して処理して、前記主体特徴、前記位置特徴及び前記関係特徴を取得することを更に含む、
   請求項１〜５のいずれか一項に記載の方法。
7. 前記第２マッチングスコアにより、前記被解析記述文の前記被解析画像での位置決定結果を決定することは、
   前記第２マッチングスコアがプリセットの閾値より大きいか等しい場合に、前記主体対象の画像領域を前記被解析記述文の位置決定として決定することを含む、
   請求項１〜６のいずれか一項に記載の方法。
8. ニューラルネットワークによって前記被解析記述文の複数の語句注目度重み及び前記被解析画像の複数の画像注目度重みを取得する前に、前記方法は、複数の正のサンプルペアと複数の負のサンプルペアを含むサンプル集合を用いて前記ニューラルネットワークをトレーニングすることを更に含み、
   各正のサンプルペアは、第１サンプル画像及び前記第１サンプル画像の第１サンプル記述文を含み、
   各負のサンプルペアは、第１サンプル画像及び前記第１サンプル記述文から分割単語が除去された後の第２サンプル記述文、又は第１サンプル記述文及び前記第１サンプル画像から画像注目度重みが最も高い領域が除去された後の第２サンプル画像を含む、
   請求項３〜７のいずれか一項に記載の方法。
9. 前記ニューラルネットワークは、言語注目度ネットワークを更に含み、
   前記正のサンプルペアの第１サンプル記述文及び第１サンプル画像を前記言語注目度ネットワークに入力して、前記第１サンプル記述文の複数の分割単語の注目度重みを取得することと、
   所定のマークを用いて前記第１サンプル記述文内の注目度重みが最も高い分割単語を取り替えて、第２サンプル記述文を取得することと、
   前記第１サンプル画像と前記第２サンプル記述文を負のサンプルペアとして使用することとを更に含む、
   請求項８に記載の方法。
10. 前記正のサンプルペアの第１サンプル記述文及び第１サンプル画像を前記画像注目度ネットワークに入力して、前記第１サンプル画像の注目度重みを取得することと、
    前記第１サンプル画像内の注目度重みが最も高い画像領域を除去して、第２サンプル画像を取得することと、
    前記第２サンプル画像と前記第１サンプル記述文を負のサンプルペアとして使用することとを更に含む、
    請求項８又は９に記載の方法。
11. サンプル集合を用いて前記ニューラルネットワークをトレーニングすることは、
    前記ニューラルネットワークの第１損失と第２損失により、前記ニューラルネットワークの全損失を決定することと、
    前記全損失により、前記ニューラルネットワークをトレーニングすることとを含む、
    請求項８〜１０のいずれか一項に記載の方法。
12. 前記ニューラルネットワークの第１損失と第２損失により、前記ニューラルネットワークの全損失を決定する前に、前記第１損失を取得することを更に含み、
    前記第１損失を取得することは、
    同一な正のサンプルペアの第１サンプル画像及び第１サンプル記述文を前記ニューラルネットワークに入力して処理して、第１トレーニングスコアを取得することと、
    異なる正のサンプルペアの第１サンプル画像及び第１サンプル記述文を前記ニューラルネットワークに入力して処理して、第２トレーニングスコアを取得することと、
    複数の第１トレーニングスコアと複数の第２トレーニングスコアにより、第１損失を取得することとを含む、
    請求項１１に記載の方法。
13. 前記ニューラルネットワークの第１損失と第２損失により、前記ニューラルネットワークの全損失を決定する前に、前記第２損失を取得することを更に含み、
    前記第２損失を取得することは、
    同一な負のサンプルペアの第２サンプル画像及び第１サンプル記述文を前記ニューラルネットワークに入力して処理して、第３トレーニングスコアを取得することと、
    異なる負のサンプルペアの第２サンプル画像及び第１サンプル記述文を前記ニューラルネットワークに入力して処理して、第４トレーニングスコアを取得することと、
    同一な負のサンプルペアの第１サンプル画像及び第２サンプル記述文を前記ニューラルネットワークに入力して処理して、第５トレーニングスコアを取得することと、
    異なる負のサンプルペアの第１サンプル画像及び第２サンプル記述文を前記ニューラルネットワークに入力して処理して、第６トレーニングスコアを取得することと、
    複数の第３トレーニングスコア、複数の第４トレーニングスコア、複数の第５トレーニングスコア及び複数の第６トレーニングスコアにより、第２損失を取得することとを含む、
    請求項１１又は１２に記載の方法。
14. 前記ニューラルネットワークの第１損失と第２損失により、前記ニューラルネットワークの全損失を決定することは、
    前記第１損失と前記第２損失に対して加重重畳を行って、前記ニューラルネットワークの全損失を取得することを含む、
    請求項１１〜１３のいずれか一項に記載の方法。
15. 画像の記述文位置決定装置であって、
    被解析記述文と被解析画像に対して解析処理を行って、前記被解析記述文の複数の語句注目度重み及び前記被解析画像の複数の画像注目度重みを取得するように構成される第１重み取得モジュールと、
    前記複数の語句注目度重み及び被解析画像の主体特徴、位置特徴、関係特徴により、複数の第１マッチングスコアを取得するように構成される第１スコア取得モジュールであって、前記被解析画像に複数の対象を含み、主体対象が前記複数の対象のうち、注目度重みが最も高い対象であり、前記主体特徴が前記主体対象の特徴であり、前記位置特徴が前記複数の対象の位置特徴であり、前記関係特徴が前記複数の対象の間の関係特徴である第１スコア取得モジュールと、
    前記複数の第１マッチングスコア及び前記複数の画像注目度重みにより、前記被解析記述文と前記被解析画像との第２マッチングスコアを取得するように構成される第２スコア取得モジュールと、
    前記第２マッチングスコアにより、前記被解析記述文の前記被解析画像での位置決定結果を決定するように構成される結果決定モジュールとを含む、前記画像の記述文位置決定装置。
16. 電子機器であって、
    請求項１〜１４のいずれか一項に記載の方法を実行するように構成されるプロセッサと、
    プロセッサ実行可能命令を記憶するためのメモリとを含む、前記電子機器。
17. コンピュータプログラム命令を記憶したコンピュータ可読記憶媒体であって、
    前記コンピュータプログラム命令がプロセッサにより実行される時に請求項１〜１４のいずれか一項に記載の方法が実現される、前記コンピュータ可読記憶媒体。
18. コンピュータ可読記憶媒体に保存され、コンピュータ命令を含むコンピュータプログラムであって、
    前記コンピュータ命令が装置のプロセッサ上で動作されるとき、請求項１〜１４のいずれか一項に記載の方法が実現される、前記コンピュータプログラム。