JP2021021978A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2021021978A
JP2021021978A JP2019136232A JP2019136232A JP2021021978A JP 2021021978 A JP2021021978 A JP 2021021978A JP 2019136232 A JP2019136232 A JP 2019136232A JP 2019136232 A JP2019136232 A JP 2019136232A JP 2021021978 A JP2021021978 A JP 2021021978A
Authority
JP
Japan
Prior art keywords
information
feature
unit
feature information
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019136232A
Other languages
English (en)
Inventor
佑介 山浦
Yusuke Yamaura
佑介 山浦
幸寛 坪下
Yukihiro Tsuboshita
幸寛 坪下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2019136232A priority Critical patent/JP2021021978A/ja
Publication of JP2021021978A publication Critical patent/JP2021021978A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)
  • Image Analysis (AREA)

Abstract

【課題】入力された情報に対して適用する特徴量を抽出する順序が一律に決まっている場合と比べて、高精度の情報を導出する。【解決手段】反映部（４）は、ボトムアップ型注意モデル及びトップダウン型注意モデルの何れかを用いて、画像データの特徴を表す第１特徴情報と、画像データを説明する言語データから特定された第２特徴情報との相互作用を示す情報を、第１特徴情報及び第２特徴情報の一方に反映する。設定部は、第１特徴情報及び第２特徴情報のそれぞれの情報の確からしさに基づいて、反映部が第１特徴情報又は第２特徴情報に、相互作用を示す情報を反映するよう設定する。相互アテンション部（４３）は、相互作用を示す情報が反映された反映済み特徴情報を出力する。【選択図】図１

Description

本発明は、情報処理装置及びプログラムに関する。
従来より、入力された情報に含まれる特徴量を抽出して、入力された情報の特徴を示す情報を出力する情報処理装置が各種提案されている。特徴量を抽出するのに際して、入力された情報のうちどの部分に注意（アテンション）を向けるかを決定する「アテンション機構」が知られており、その注意には、顕著な刺激に対して受動的に誘導される注意（以下、ボトムアップ型注意）と、目的指向性に能動的に誘導される注意（以下、トップダウン型注意）との２つの注意がある。例えば、ボトムアップ型注意とトップダウン型注意とに注目した技術として、画像から検出される物体領域をボトムアップ型注意とし、質問文から決定される各領域の重みをトップダウン型注意として、入力された画像及び質問文に対応する回答を導出するメカニズムをモデル化する技術が開示されている（非特許文献１）。また、画像特徴量と言語特徴量とを加算する技術が開示されている（非特許文献２）。さらに、言語と画像の特徴量を統合した特徴量から、言語に対する注意を示す情報と画像に対する注意を示す情報を同時に計算する技術も開示されている（非特許文献３）。
また、その他の例として、画像のウィンドウ内の特徴量からボトムアップ注意による分析結果を基にウィンドウを操作する処理と、ウィンドウ内の特徴量の空間的関係からトップダウン注意による分析結果を基にウィンドウを操作する処理を行うことで、画像のウィンドウ走査によるパターン認識を行う技術が開示されている（特許文献１）。また、ボトムアップ型注意による顕著性マップと、トップダウン型注意による関心領域とを分析して、画像における顕著性を評価する技術が開示されている（特許文献２）。さらに、画像から背側注意により顕著性マップを、腹側注意から予期しない視覚刺激を求め、車の運転者が予期しない事象に対応するための動的注意システムに関する技術が開示されている（特許文献３）。
特表２００３−５００７７６号公報 特開２０１４−１６７６７３号公報 特開２０１１−００８７７２号公報
例えば、画像とその画像に関する文章といった複数の情報から、その画像の中でユーザの注意（アテンション）が向く対象を特定する場合、複数の情報から得られた特徴情報をそのままボトムアップ型注意モデル及びトップダウン型注意モデルの各々に適用する手法が存在するが、得られた複数の情報によっては、得られた情報をそのままボトムアップ型注意モデルに入力するのに適していない情報、又は得られた情報をそのままトップダウン型注意モデルに入力するのに適していない情報があり、適していないモデルを用いてしまった場合、高精度の情報を導出するのには不十分である。
本開示は、入力された情報に対して適用する特徴量を抽出する順序が一律に決まっている場合と比べて、高精度の情報を導出することができる情報処理装置、及びプログラムを提供することを目的とする。
上記目的を達成するために、第１態様は、
第１の情報を表す第１特徴情報と、前記第１の情報を説明する第２の情報から特定された第２特徴情報との相互作用を示す情報を、設定に基づいて、前記第１特徴情報及び前記第２特徴情報の一方に反映する第１反映部と、
前記第１特徴情報及び前記第２特徴情報のそれぞれの情報の確からしさに基づいて、前記第１反映部に対する前記第１特徴情報及び前記第２特徴情報の一方への前記相互作用を示す情報の反映を設定する設定部と、
前記相互作用を示す情報が反映された反映済み特徴情報を出力する出力部と、
を含む情報処理装置である。
第２態様は、第１態様の情報処理装置において、
前記情報の確からしさは、前記第１特徴情報及び前記第２特徴情報のそれぞれに対する予め定めた情報評価尺度を表す物理量である。
第３態様は、第１態様又は第２態様の情報処理装置において、
前記相互作用を示す情報を、設定に基づいて、前記第１特徴情報及び前記第２特徴情報の他方に反映する第２反映部を含み、
前記設定部は、前記情報の確からしさに基づいて、前記第２反映部に対して前記第１特徴情報及び前記第２特徴情報の他方への前記相互作用を示す情報の反映、並びに前記第１反映部及び前記第２反映部が前記相互作用を示す情報を反映する際の反映順序を設定する。
なお、前記設定に基づいて、前記第１反映部で前記相互作用を示す情報が反映された反映済みの第１特徴情報及び第２特徴情報の一方と、前記第１反映部で前記相互作用を示す情報が未反映の第１特徴情報及び第２特徴情報の他方との相互作用を示す情報を、前記未反映の第１特徴情報及び第２特徴情報の他方に反映する第２反映部を含むようにしてもよい。
第４態様は、第３態様の情報処理装置において、
前記第１反映部及び前記第２反映部のセットを複数含み、
前記設定部は、複数のセットの各々において前記相互作用を示す情報を反映する前後の前記第１特徴情報及び前記第２特徴情報の少なくとも一方の変化量が予め定めた変化量を超えるセットを導出し、前記変化量を超えるセットが複数導出された場合、前記変化量を超える複数のセットによる前記相互作用を示す情報の反映を設定する。
第５態様は、第４態様の情報処理装置において、
前記出力部は、前記複数のセットの各々で前記相互作用を示す情報を反映された前記第１特徴情報の総和及び前記第２特徴情報の総和を、前記相互作用を示す情報が反映された反映済み特徴情報とする。
第６態様は、第１態様から第５態様の何れか１態様の情報処理装置において、
前記第１特徴情報は、言語情報及び画像情報の一方から抽出され、かつ前記第２特徴情報は、前記第１特徴情報として抽出された前記言語情報及び画像情報の一方の情報を説明する部分が前記言語情報及び前記画像情報の他方から抽出されるか、又は、前記第１特徴情報及び前記第２特徴情報は、前記言語情報又は前記画像情報において一方の部分が他方の部分を説明する異なる部分から抽出される。
第７態様は、第１態様から第６態様の何れか１態様の情報処理装置において、
前記第１特徴情報及び前記第２特徴情報を抽出する抽出部と、
前記出力部から出力された前記反映済み特徴情報に対応する回答情報を生成する生成部とを含む。
第８態様は、第１態様から第７態様の何れか１態様の情報処理装置において、
前記設定部は、学習情報によって学習された前記第１反映部に対する前記第１特徴情報及び前記第２特徴情報の一方への前記相互作用を示す情報の反映を示す情報を記憶した設定値に基づいて、前記第１反映部に対する前記第１特徴情報及び前記第２特徴情報の一方への前記相互作用を示す情報の反映を設定する。
第９態様は、
第１態様から第７態様の何れか１項に記載の前記第１反映部、前記設定部、及び前記出力部の各部が学習情報によって学習されたモデルを記憶するモデル記憶部と、
前記モデル記憶部に記憶された前記モデルに基づいて、入力された第１の情報及び第２の情報から、前記第１特徴情報と前記第２特徴情報との相互作用を示す情報が反映された反映済み特徴情報を出力する特徴情報出力部と、
を備えた情報処理装置である。
第１０態様は、
コンピュータを、
第１の情報を表す第１特徴情報と、前記第１の情報を説明する第２の情報から特定された第２特徴情報との相互作用を示す情報を、設定に基づいて、前記第１特徴情報及び前記第２特徴情報の一方に反映する第１反映部、
前記第１特徴情報及び前記第２特徴情報のそれぞれの情報の確からしさに基づいて、前記第１反映部に対する前記第１特徴情報及び前記第２特徴情報の一方への前記相互作用を示す情報の反映を設定する設定部、及び、
前記相互作用を示す情報が反映された反映済み特徴情報を出力する出力部、
として機能させるためのプログラムである。
第１態様、及び第１０態様によれば、入力された情報に対して適用する特徴量を抽出する順序が一律に決まっている場合と比べて、高精度の出力情報を得るための複数の特徴情報を導出することができる、という効果を有する。
第２態様によれば、情報評価尺度を表す物理量を用いない場合と比較して、情報の確からしさを高精度に導出することができる、という効果を有する。
第３態様によれば、第１特徴情報及び第２特徴情報の一方のみに相互作用を示す情報を反映する場合と比べて、第１特徴情報及び第２特徴情報の両方に相互作用を示す情報を反映させることができる、という効果を有する。
第４態様によれば、相互作用を示す情報を単に反映させる場合と比べて、より高精度の出力情報を得るための特徴情報を導出することができる、という効果を有する。
第５態様によれば、相互作用を示す情報を順次反映させた結果を用いる場合と比べて、相互作用を示す情報を反映した結果の各々を含む反映済みの第１特徴情報及び第２特徴情報を得ることができる、という効果を有する。
第６態様によれば、言語情報及び画像情報の少なくとも一方から抽出されて入力される複数の情報を用いる場合に、高精度の出力情報を得るための複数の特徴情報を導出することができる、という効果を有する。
第７態様によれば、回答情報を生成する生成部を具備しない場合と比べて、高精度の出力情報を得ることできる、という効果を有する。
第８態様によれば、反映を示す情報を記憶した設定値を用いない場合と比べて、装置処理負荷を軽減できる、という効果を有する。
第９態様によれば、相互に作用することを考慮せずに複数の特徴情報を導出する場合と比べて、高精度の出力情報を得るための複数の特徴情報を導出することができる、という効果を有する。
第１実施形態に係る情報処理装置の構成の一例を示す図である。 第１実施形態に係る相互アテンション部の構成の一例を示す図であり、（Ａ）はトップダウン型注意モデル及びボトムアップ型注意モデルの順序を示し、（Ｂ）はボトムアップ型注意モデル及びトップダウン型注意モデルの順序を示す。 学習処理部の一例を示す図である。 情報処理装置の各種機能を実現する装置をコンピュータを含んで構成した場合の一例を示す図である。 学習処理の流れの一例を示すフローチャートである。 コンピュータで実行される処理の流れの一例を示すフローチャートである。 本開示の変形例に係る相互アテンション部の構成の一例を示す図である。 第２実施形態に係る反映部の構成の一例を示す図である。 比較部の構成の一例を示す図である。 変形例２に係る反映部の構成の一例を示す図である。 反映部に含まれる活性化部の一例を示す図である。 第３実施形態に係る情報処理装置の構成の一例を示す図である。
以下、図面を参照して本開示の技術を実現する実施形態を詳細に説明する。本実施形態では、複数の情報を入力して当該複数の情報に対応する情報を出力する情報処理に本開示の技術を適用した場合を説明する。なお、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符合を付与し、重複する説明を適宜省略する場合がある。
本実施形態では、入力された情報から第１の情報を表す第１特徴情報と、第１の情報を説明する第２の情報から特定された第２特徴情報を抽出する。抽出された第１特徴情報及び第２特徴情報に、第１特徴情報及び第２特徴情報の相互作用を示す情報を、設定された反映の仕方で反映させる。
反映の仕方には、相互作用を示す情報を、第１特徴情報及び第２特徴情報の一方に反映させる場合における反映箇所、及び相互作用を示す情報を、第１特徴情報及び第２特徴情報の両方に反映させる場合における反映順序が挙げられる。相互作用を示す情報を、第１特徴情報及び第２特徴情報に反映させる場合、ボトムアップ型注意モデル及びトップダウン型注意モデルを用いることができる。ボトムアップ型注意モデル及びトップダウン型注意モデルは、入力された情報のどの部分に注意（アテンション）を向けるかを決定するアテンション機構のメカニズムをモデル化したものである。ボトムアップ型注意モデルは、顕著な刺激に対して受動的に誘導される注意であるボトムアップ型注意のメカニズムをモデル化したものである。また、トップダウン型注意モデルは、目的指向性に能動的に誘導される注意であるトップダウン型注意のメカニズムをモデル化したものである。
（第１実施形態）
図１に、本開示の第１実施形態に係る情報処理装置１の構成の一例を示す。
第１実施形態では、入力される複数の情報として、画像情報を示す画像データ及び言語情報を示す言語データから当該画像データ及び言語データに対応する回答情報を示す回答データを出力する情報処理に本開示の技術を適用した場合を説明する。
第１実施形態に係る情報処理は、回答データをラベルとする画像データ及び言語データを入力としてマルチモーダル深層学習を行い、学習済のモデルを用いて、未知の画像データ及び言語データに対応する回答データを出力する。また、入力された画像データ及び言語データに対して、ボトムアップ型注意モデル及びトップダウン型注意モデルに適用して、入力された画像データ及び言語データの各々に相互作用を示す情報を反映した各々の特徴を示す情報を得る。
すなわち、第１実施形態では、言語データ及び画像データの各々から抽出された各々の特徴情報を用いて、各々の相互作用を示す情報を所定の順序によるボトムアップ型注意モデル及びトップダウン型注意モデルで複数回反映させる。これにより、入力された情報に対して適用するボトムアップ型注意モデル及びトップダウン型注意モデルの順序が一律に決まっている場合と比べて、入力された情報への回答を得るために高精度の情報を導出可能となる。
図１に示すように、情報処理装置１は、言語特徴抽出部２、画像特徴抽出部３、反映部４、特徴統合部５、及び回答生成部６を備えている。また、情報処理装置１は、学習済みの学習モデル１２を含んでいる。学習済みの学習モデル１２には、言語特徴抽出学習モデル２２、画像特徴抽出学習モデル３２、反映学習モデル４２、特徴統合学習モデル５２、及び回答生成学習モデル６２が含まれる。具体的には、言語特徴抽出部２は言語特徴抽出学習モデル２２を含み、画像特徴抽出部３は、画像特徴抽出学習モデル３２を含む。反映部４は、反映学習モデル４２を含んでいる。また、反映部４は、順序値メモリ４１も含んでいる。特徴統合部５は、特徴統合学習モデル５２を含み、回答生成部６は、回答生成学習モデル６２を含む。
言語特徴抽出部２は、言語データの入力を受け付けて、言語特徴抽出学習モデル２２を用いて、受け付けた言語データから言語データにおける特徴を示す情報として第１特徴情報を抽出し、反映部４へ出力する。具体的には、言語特徴抽出部２は、入力される言語データを、形態素解析などにより単語に分解し、分解された各単語をベクトル表現にしたのち、分散表現に変換し、変換されたデータを用いて特徴抽出を行う。単語をベクトル表現する手法の一例には、或る要素だけ１とし、他の要素を０として行列表現するワンホット（one-hot）ベクトル表現法が挙げられる。また、単語の分散表現する一例には、単語の意味や文法を捉えるようにベクトル空間に写像すること（又は実現モデル）を表現するワードエンベディング（Word-Embedding）法が挙げられる。特徴抽出の一例には、リカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を用いる手法が挙げられる。なお、ワンホット（one-hot）ベクトル表現法、ワードエンベディング（Word-Embedding）法、及びリカレントニューラルネットワーク（ＲＮＮ）自体は公知であるため詳細な説明を省略する。
言語特徴抽出学習モデル２２は、学習済みの学習モデルであり、言語データから、言語データに含まれる言語特徴を示す言語特徴情報を生成する学習を済ませたモデルである。言語特徴抽出学習モデル２２は、学習済みのニューラルネットワークを規定するモデルであり、例えばリカレントニューラルネットワークを構成するノード（ニューロン）同士の間の結合の重み（強度）の情報の集合として表現される。
言語特徴抽出学習モデル２２は、学習処理部７（図３参照）の学習処理により生成される。学習処理部７は、言語データ及び画像データのペアと、その言語データ及び画像データのペアに対応する回答を示す回答データと、のセットを大量に用いて学習処理を行う。学習処理部７が行う学習処理については、後述する。
ここでは言語特徴抽出学習モデル２２は、言語特徴情報を生成する学習を済ませたリカレントニューラルネットワークを構成するノード同士の間の結合の重み（強度）の情報の集合として表現される。また、言語特徴抽出学習モデル２２は、言語データに含まれる単語をベクトル表現したデータを用いる。この単語をベクトル表現する構成、例えば、入力される言語データを単語に分解したり、分解された各単語をベクトル表現して分散表現に変換したりする構成は、ニューラルネットワークで構成してもよい。この場合、ノード同士の間の結合の重み（強度）の情報の集合として表現して、言語特徴抽出学習モデル２２に追加すればよい。
画像特徴抽出部３は、画像データの入力を受け付けて、画像特徴抽出学習モデル３２を用いて、画像データから当該画像データにおける特徴を示す情報として第２特徴情報を抽出し、反映部４へ出力する。具体的には、画像特徴抽出部３は、入力される画像データから、当該画像データにより示される画像の特徴を示す情報を抽出する処理を行う。画像の特徴を示す情報を抽出する処理の一例には、画像データに対して、予め定めたフィルタを走査することにより特徴を示す情報に凝縮する畳み込みニューラルネットワークを用いる手法が挙げられる。なお、畳み込みニューラルネットワーク（ＣＮＮ）自体は公知であるため詳細な説明を省略する。
画像特徴抽出学習モデル３２は、学習処理部７（詳細は後述）の学習処理により生成される。画像特徴抽出学習モデル３２は、画像データに含まれる画像特徴を示す画像特徴情報を生成する学習を済ませた畳み込みニューラルネットワークを構成するノード同士の間の結合の重み（強度）の情報の集合として表現される。
反映部４は、順序値メモリ４１に記憶された順序データ及び反映学習モデル４２を用いて、言語特徴抽出部２及び画像特徴抽出部３で抽出された第１特徴情報及び第２特徴情報の各々に、第１特徴情報と第２特徴情報との相互作用を示す情報を反映する。すなわち、反映部４は、入力された言語特徴及び画像特徴に対して、言語特徴及び画像特徴に内在する相互に関係する特徴により示される注意（アテンション）を反映させる。例えば、反映部４は、softmax関数などにより、画像の領域又は言語の単語に対する重みを付与する。また、反映部４は、複数の相互アテンション部４３を含み、複数の相互アテンション部４３の各々で順次、第１特徴情報及び第２特徴情報の各々に相互作用を示す情報を反映する。反映部４が行う反映処理については、後述する。
反映学習モデル４２は、学習処理部７の学習処理により生成される。反映学習モデル４２は、例えば、画像の領域又は言語の単語に対するパラメータ（重み又は強度）の情報の集合として表現される。
特徴統合部５は、特徴統合学習モデル５２を用いて、反映部４で相互作用を示す情報が反映された第１特徴情報及び第２特徴情報の各々を統合し、統合された統合特徴情報を、回答生成部６へ出力する。具体的には、第１特徴情報及び第２特徴情報の各々を統合する手法の一例には、第１特徴情報及び第２特徴情報の各々の、結合、要素和、要素積、バイリニア（Bilinear）結合、及びテンソル分解法などの統合法が挙げられる。なお、結合、要素和、要素積、バイリニア（Bilinear）結合、及びテンソル分解法自体は公知であるため詳細な説明を省略する。
特徴統合学習モデル５２は、学習処理部７の学習処理により生成される。特徴統合学習モデル５２は、結合、要素和、要素積、バイリニア（Bilinear）結合、及びテンソル分解法等の統合法におけるパラメータ（重み又は強度）の情報の集合として表現される。
回答生成部６は、特徴統合部５で統合された統合特徴情報を用いて回答データを生成する。具体的には、回答生成部６は、回答生成学習モデル６２を用いて、相互作用を示す情報が反映された第１特徴情報及び第２特徴情報に対応する、すなわち入力された言語データ及び画像データに対応する回答データを生成（推定）し、出力する。統合特徴情報から回答データの生成の一例には、多層のニューラルネットワークを用いる手法が挙げられる。なお、多層のニューラルネットワーク（ＮＮ）自体は公知であるため詳細な説明を省略する。
回答生成学習モデル６２は、学習処理部７の学習処理により生成される。回答生成学習モデル６２は、統合特徴情報から回答データを生成する学習を済ませた多層のニューラルネットワークを構成するノード同士の間の結合の重み（強度）の情報の集合として表現される。
次に、反映部４について詳細に説明する。
反映部４は、相互アテンション部４３を複数含み、各相互アテンション部４３で、入力された言語特徴（第１情報）及び画像特徴（第２情報）の各々に、言語特徴と画像特徴との相互作用を反映して次の相互アテンション部４３へ出力する。これにより、言語特徴抽出部２で抽出された言語特徴を示す第１特徴情報及び画像特徴抽出部３で抽出された画像特徴を示す第２特徴情報の各々に、言語特徴と画像特徴との相互作用を示す情報が反映される。言語特徴と画像特徴との相互作用を示す情報の反映は、ボトムアップ型注意モデル及びトップダウン型注意モデルによって行われる。
図２に、本開示の第１実施形態に係る相互アテンション部４３の構成の一例を示す。図２（Ａ）はトップダウン型注意モデル、そしてボトムアップ型注意モデルの順序で相互作用を示す情報を反映させる相互アテンション部４３を示す。図２（Ｂ）はボトムアップ型注意モデル、そしてトップダウン型注意モデルの順序で相互作用を示す情報を反映させる相互アテンション部４３を示す。
相互アテンション部４３におけるトップダウン型注意モデル４３１及びボトムアップ型注意モデル４３５は、言語特徴又は画像特徴に重みを付与するアテンション機構である。図２（Ａ）及び図２（Ｂ）に示すように、トップダウン型注意モデル４３１であるアテンション機構は、統合部４３２と、トップダウンアテンション部４３３と、合成部４３４とを含んでいる。統合部４３２は、入力された言語特徴と画像特徴との両者の特徴（各々の特徴情報）を統合する。トップダウンアテンション部４３３は、統合部４３２で統合した特徴を用いて、注意（アテンション）を向ける度合いを示す情報を導出する。合成部４３４は、画像特徴に、トップダウンアテンション部４３３で導出された情報を合成する。従って、トップダウン型注意モデル４３１では、入力された言語特徴と画像特徴との両者間に生じる、相互作用を示す情報が、画像特徴に反映される。
トップダウン型注意モデル４３１及びボトムアップ型注意モデル４３５は、言語特徴と画像特徴の統合特徴から、画像特徴又は言語特徴へのアテンションを決定する。例えば、トップダウン型注意モデル４３１及びボトムアップ型注意モデル４３５は、softmax関数などにより、画像データにより示される画像の領域又は言語データにより示される質問文の単語に対する重みを決定する。
より具体的には、統合部４３２は、公知の統合法（例えば、結合、要素和、要素積、バイリニア（Bilinear）結合、及びテンソル分解法等）によって、入力された言語特徴情報と画像特徴情報とを統合する。トップダウンアテンション部４３３は、入力された特徴情報を用いて、注意（アテンション）を向ける度合いを示す情報を導出する。すなわち、トップダウンアテンション部４３３は、特徴情報を表現したｈｉ＝｛ｈ１、ｈ２、・・・、ｈＮ｝をベクトル集合とし、α＝［α１、α２、・・・、αＮ］Ｔを各ベクトルに対する注意（アテンション）を示す情報の分布（重み：Σiαｉ＝１）としたとき、次の（１）式に示すようにベクトルｈｉの重み総和によるコンテキストベクトルｃを導出する演算処理部として機能する。

（１）式における、ベクトルｈｉに対する注意（アテンション）を示す重みαｉ（アテンションを向ける度合いを示す情報）は、次に示す（２）式で表すことが可能である。

このように、重みαｉは、ベクトルｈｉとクエリｓを引数とするスコア関数Ｓの値からの計算によって導出可能である。
同様に、ボトムアップ型注意モデル４３５であるアテンション機構は、統合部４３６と、ボトムアップアテンション部４３７と、合成部４３８とを含んでいる。統合部４３６は、入力された言語特徴と画像特徴との両者の特徴（各々の特徴情報）を統合する。ボトムアップアテンション部４３７は、上記（１）式及び（２）式によって、統合部４３６で統合した特徴を用いて、注意（アテンション）を向ける度合いを示す情報を導出する。合成部４３８は、画像特徴に、ボトムアップアテンション部４３７で導出された情報を合成する。従って、ボトムアップ型注意モデル４３５では、入力された言語特徴と画像特徴との両者間に生じる、相互作用を示す情報が、言語特徴に反映される。
ところで、言語データと画像データとを入力として、各々の特徴情報を導出する場合、言語データと画像データとの間に相互関係を考慮することで、言語データと画像データとに内在する意図が反映された、より高精度の特徴情報を導出可能である。ところが、言語データ及び画像データに含まれる特徴情報の各々は不確定性を有している。不確定性とは、情報の確からしさを示す指標、すなわち、注意（アテンション）を向けさせることに関する情報評価尺度を表す物理量である。注意（アテンション）を向けさせることに関する情報が少ない場合は、情報の確からしさが小さく、不確定性は大きくなる。一方、注意（アテンション）を向けさせることに関する情報を多く含む場合は、情報の確からしさが大きく、不確定性が小さくなる。従って、言語データの特徴情報と画像データの特徴情報とのどちらに対して先に、相互作用を示す情報を反映するかによって、相互作用を示す情報が反映された特徴情報では、入力された言語データと画像データとに内在する意図の反映度合いが左右される。
そこで、第１実施形態では、相互アテンション部４３の各々について、言語特徴抽出部２及び画像特徴抽出部３で抽出された第１特徴情報及び第２特徴情報の不確定性によって、相互作用を示す情報を適用するモデルの順序が決定され、決定されたモデルの順序が順序値メモリ４１に記憶される。
不確定性は、次に示す情報の確からしさを示す指標により定義することが可能である。画像データの不確定性は、画像データから検出される物体（Object）の検出数、画像データから検出される物体らしさ（Objectness）の検出数、及び画像エントロピーの何れか１つを指標として用いたり、複数の指標を組み合わせた指標を用いることが可能である。言語データの不確定性は、言語データに含まれる単語の数、尤度、対数尤度、エントロピー、パープレキシティ、及びカバレージの何れか１つを指標として用いたり、複数の指標を組み合わせた指標を用いることが可能である。複数の指標を組み合わせて用いる場合、次の（３）式に一例を示すように定義可能である。

上記（３）式では、Ｉは画像の不確定性を示し、Ｔは言語の不確定性を示す。Ｅはエントロピーを示し、Ｏは物体らしさを示し、Ｎは単語数を示す。
また、第１実施形態では、相互アテンション部４３におけるモデルの順序（図２（Ａ）又は図２（Ｂ））は、入力される言語データと画像データとの各々の特徴情報の不確定性の比較結果によって決定される。すなわち、不確定性が大きい特徴情報に対して優先的に相互作用を示す情報を反映させる。例えば、言語データの特徴情報の不確定性が画像データの特徴情報の不確定性より小さい場合、トップダウン型注意モデル４３１で相互作用を示す情報を反映させた後、ボトムアップ型注意モデル４３５で相互作用を示す情報を反映させる順序に決定する（図２（Ａ））。一方、画像データの特徴情報の不確定性が言語データの特徴情報の不確定性より小さい場合、ボトムアップ型注意モデル４３５で相互作用を示す情報を反映させた後、トップダウン型注意モデル４３１で相互作用を示す情報を反映させる順序に決定する（図２（Ｂ））。そして、決定されたモデルの順序を示す順序値は、順序値メモリ４１に記憶される。
順序値メモリ４１に記憶される相互アテンション部４３の各々のモデルの順序を示す順序値は、学習処理部７（図３）の学習処理時に設定部７８によって決定される。このようにして、反映の仕方のうちの反映順序を示す情報として、モデルの順序を示す順序値が順序値メモリ４１に記憶される。順序値メモリ４１に記憶される順序値は、学習処理時に導出された順序値の平均値や多数決等の演算値、及び支配的な値を記憶することが可能である。また、相互アテンション部４３の各々のモデルの順序を示す順序値は、反映の仕方のうちの反映箇所を示す情報を含む。相互アテンション部４３における入力側のモデルを第１反映部とした場合、第１反映部で反映させるボトムアップ型注意モデル及びトップダウン型注意モデルは反映箇所に対応する。また、相互アテンション部４３における第１反映部に続く第２反映部において情報を反映させるボトムアップ型注意モデル及びトップダウン型注意モデルも反映箇所に対応する。
次に、図３を参照して、学習処理部７について説明する。
図３に示すように、学習処理部７は、推定器７１、比較処理部７７及び設定部７８を含む。学習処理部７では、図１に示す情報処理装置１を推定器７１として動作させる。学習処理部７は、推定器７１として動作される言語特徴抽出部２、画像特徴抽出部３、反映部４、特徴統合部５、及び回答生成部６の各々を、学習情報としての学習用データを用いて、学習用データに含まれる回答データに一致又は近い推定回答データを出力するように学習させる処理を行う。
また、学習処理部７は、学習用データとして、言語データ７０１及び画像データ７０２のセットと、当該言語データ７０１及び画像データ７０２のセットにより示される正解となる回答データ７０３とのペアを多数保持している。入力される言語データ７０１及び画像データ７０２は、回答データ７０３を得るための依存関係を有し、一方のデータにより表される情報を説明する情報が他方のデータとなる。例えば、画像データ７０２により表される情報を説明する情報が言語データ７０１となる言語データ７０１及び画像データ７０２のセットが挙げられる。すなわち、言語データ７０１及び画像データ７０２のセットは、ペアとなる回答データ７０３に至る特徴を表す特徴情報を内在している。また、言語データ７０１及び画像データ７０２のセットは、相互に作用する特徴を表す特徴情報も内在する。推定器７１は、言語データ７０１及び画像データ７０２に内在される各々の特徴情報に、言語データ７０１及び画像データ７０２に内在される相互に作用する特徴を表す特徴情報を反映させることで、回答を示す推定回答データ７６１を、高精度に推定可能である。
推定器７１の一部として機能する言語特徴抽出部２は、言語データ７０１から、形態素解析などにより分解された各単語をベクトル表現及び分散表現したデータを用いて特徴抽出を行うリカレントニューラルネットワーク（ＲＮＮ）である。画像特徴抽出部３は、画像データ７０２から特徴抽出を行う畳み込みニューラルネットワーク（ＣＮＮ）である。反映部４は、画像の領域又は言語の単語に対する重みを付与する機能部である。特徴統合部５は、第１特徴情報及び第２特徴情報を統合する統合法による機能部である。回答生成部６は、推定回答データ７６１を推定する多層のニューラルネットワーク（ＮＮ）である。
これらの構成により、推定器７１は、入力された言語データ７０１及び画像データ７０２のセットから推定回答データ７６１を推定する。すなわち、言語特徴抽出部２、画像特徴抽出部３、反映部４、特徴統合部５、及び回答生成部６を含む推定器７１は、入力された言語データ７０１及び画像データ７０２のセットから、協働して回答データ７０３に近い推定回答データ７６１を生成する。推定器７１は、多数の言語データ７０１及び画像データ７０２のセットと回答データ７０３とペアを用いて学習することで、より回答に近い推定回答データ７６１を生成できるようになる。
比較処理部７７は、正解となる回答を示す回答データ、すなわち言語データ７０１及び画像データ７０２のセットに対応する回答データ７０３と、言語データ７０１及び画像データ７０２から推定器７１が推定した推定回答データ７６１と、の相違がどの程度であるかを推定するニューラルネットワークである。学習処理部７は、正解となる回答データ７０３と、推定した推定回答データ７６１とを比較処理部７７に入力する。これに応じて、比較処理部７７は、入力された正解となる回答データ７０３と、推定器７１で推定した推定回答データ７６１と、を比較し、その比較結果を示す誤差信号を出力する。
学習処理部７は、比較処理部７７の比較結果に基づく誤差信号を推定器７１のパラメータ、すなわち、言語特徴抽出部２、画像特徴抽出部３、反映部４、特徴統合部５、及び回答生成部６にフィードバックする。具体的には、重みを示すパラメータ、及び、ニューラルネットワーク等のノード間の結合の重みパラメータにフィードバックする。推定器７１のパラメータへのフィードバックは、誤差逆伝播法（バックプロパゲーション）によって行われる。なお、誤差逆伝播法（バックプロパゲーション）自体は公知であるため詳細な説明を省略する。
推定器７１は、教師データ（言語データ７０１及び画像データ７０２のセットに対応する正解となる回答を示す回答データ７０３）に近い回答（推定回答データ７６１）を生成するべく学習を進める。すなわち、比較処理部７７の比較結果の誤差が最小になるように、繰り返し演算を行って、言語特徴抽出部２、画像特徴抽出部３、反映部４、特徴統合部５、及び回答生成部６の各々について学習を進める。
具体的には、推定器７１に含まれる言語特徴抽出部２は、言語データ７０１の特徴を表す言語特徴７２１を抽出し、画像特徴抽出部３は、画像データ７０２の特徴を表す画像特徴７３１を抽出するパラメータをチューニングする。反映部４は、抽出された言語特徴７２１（第１特徴情報）及び画像特徴７３１（第２特徴情報）の各々に、言語特徴７２１及び画像特徴７３１に内在する相互に関係する特徴により示される注意（アテンション）を反映させるパラメータをチューニングする。
ここで、反映部４は、図１に示す相互アテンション部４３を複数含み、各々で、言語特徴と画像特徴との相互作用を反映させるように学習が行われる。すなわち、相互アテンション部４３の各々で順次、ボトムアップ型注意モデル及びトップダウン型注意モデルによって言語特徴と画像特徴との相互作用を示す情報が反映される。
具体的には、反映部４では、第１番目の相互アテンション部４３−１において、抽出された言語特徴７２１（第１特徴情報）及び画像特徴７３１（第２特徴情報）の各々に、相互作用を示す情報を反映した言語特徴７２１−１及び画像特徴７３１−１を生成する。この生成処理を順次繰り返し、第Ｎ番目の相互アテンション部４３−Ｎにおいて、Ｎ回分、相互作用を示す情報を反映した言語特徴７２１−Ｎ及び画像特徴７３１−ｎを生成し、出力する。
また、反映部４では、上述したように、入力された言語データと画像データとに内在する意図を反映させるために、設定部７８によって、相互作用を示す情報を適用するモデルの順序が設定される。具体的には、反映部４に含まれる相互アテンション部４３の各々について、上述したように第１特徴情報及び第２特徴情報の不確定性によって、モデルの順序が設定部７８で決定され、決定されたモデルの順序が順序値メモリ４１に記憶される。
そして、特徴統合部５は、反映部４からの相互作用を示す情報が反映された言語特徴７２１（第１特徴情報）及び画像特徴７３１（第２特徴情報）を統合し、統合された統合特徴７５１を、回答生成部６へ出力するパラメータをチューニングする。回答生成部６は、特徴統合部５からの統合特徴７５１を用いて推定回答データ７６１を生成するパラメータをチューニングする。
このようにして、学習が行われた推定器７１は、入力された言語データ７０１及び画像データ７０２のセットから、協働して回答データ７０３に近い推定回答データ７６１を生成する。推定器７１は、多数の言語データ７０１及び画像データ７０２のセットと回答データ７０３とのペアを用いて学習することで、より回答に近い推定回答データ７６１を生成できるようになる。
そして、図１に示す第１実施形態の情報処理装置１では、上記のように生成した学習済みの推定器７１を学習済の学習モデル１２として用いる。すなわち、情報処理装置１は、学習済みの言語特徴抽出部２を学習済の言語特徴抽出学習モデル２２として用い、学習済みの画像特徴抽出部３を学習済の画像特徴抽出学習モデル３２として用いる。また、情報処理装置１は、学習済みの反映部４を学習済の反映学習モデル４２として用い、学習済みの特徴統合部５を学習済の特徴統合学習モデル５２として用い、学習済みの回答生成部６を学習済の回答生成学習モデル６２として用いる。
従って、言語特徴抽出部２は、学習済の言語特徴抽出学習モデル２２を用いて、言語データの特徴を表す言語特徴を抽出し、画像特徴抽出部３は、学習済の画像特徴抽出学習モデル３２を用いて、画像データの特徴を表す画像特徴を抽出する。反映部４は、学習済の反映学習モデル４２を用いて、抽出された言語特徴（第１特徴情報）及び画像特徴（第２特徴情報）の各々に、言語特徴及び画像特徴に内在する相互に関係する特徴により示される注意（アテンション）を反映させる。特徴統合部５は、学習済の特徴統合学習モデル５２を用いて、反映部４からの相互作用を示す情報が反映された言語特徴（第１特徴情報）及び画像特徴（第２特徴情報）を統合し、統合された統合特徴を生成する。回答生成部６は、学習済の回答生成学習モデル６２を用いて、特徴統合部５からの統合特徴から推定回答データを生成する。
十分に学習した画像特徴抽出学習モデル３２を用いれば、未知の言語データ及び未知の画像データから、その回答を示す回答データを推定することも不可能ではない。
以上に例示した情報処理装置１は、例えば、コンピュータに上述の各機能を表すプログラムを実行させることにより実現可能である。
図４に、情報処理装置１の各種機能を実現する処理を実行する実行装置としてコンピュータを含んで構成した場合の一例を示す。
図４に示す情報処理装置１として機能するコンピュータは、コンピュータ本体１００を備えている。コンピュータ本体１００は、ＣＰＵ１０２、揮発性メモリ等のＲＡＭ１０４、ＲＯＭ１０６、ハードディスク装置（ＨＤＤ）等の補助記憶装置１０８、及び入出力インターフェース（Ｉ／Ｏ）１１０を備えている。これらのＣＰＵ１０２、ＲＡＭ１０４、ＲＯＭ１０６、補助記憶装置１０８、及び入出力Ｉ／Ｏ１１０は、相互にデータ及びコマンドを授受可能にバス１１２を介して接続された構成である。また、入出力Ｉ／Ｏ１１０には、情報入力部１２０、通信インタフェース（Ｉ／Ｆ）１２２、及びディスプレイやキーボード等の操作表示部１２４が接続されている。
補助記憶装置１０８には、コンピュータ本体１００を本開示の情報処理装置１及び学習処理部７として機能させるための制御プログラム１０８Ｐが記憶される。ＣＰＵ１０２は、制御プログラム１０８Ｐを補助記憶装置１０８から読み出してＲＡＭ１０４に展開して処理を実行する。これにより、制御プログラム１０８Ｐを実行したコンピュータ本体１００は、本開示の情報処理装置として動作する。
なお、補助記憶装置１０８には、相互アテンション部４３におけるトップダウン型注意モデル４３１及びボトムアップ型注意モデル４３５を含む学習モデル１２としての学習モデル１０８Ｍが記憶される。具体的には、重みを示すパラメータ、及び、ニューラルネットワーク等のノード間の結合の重みパラメータとして初期値が設定された学習モデル１２（言語特徴抽出学習モデル２２、画像特徴抽出学習モデル３２、反映学習モデル４２、特徴統合学習モデル５２、及び回答生成学習モデル６２）が記憶される。また、補助記憶装置１０８には、順序値メモリ４１に記憶されるモデルの順序を表すデータ、及び、学習用データ（教師データ：言語データ７０１及び画像データ７０２のセットと、正解となる回答を示す回答データ７０３とのペア）を含むデータ１０８Ｄが記憶される。制御プログラム１０８Ｐは、ＣＤ−ＲＯＭ等の記録媒体により提供するようにしても良い。
また、第１実施形態では、図４に示すコンピュータに、本開示の情報処理装置１及び学習処理部７を機能させる場合を説明するが、本開示の情報処理装置１及び学習処理部７を別々のコンピュータによって、機能させるようにしても良い。この場合、学習処理部７として機能させたコンピュータによる学習結果を、本開示の情報処理装置１として機能するコンピュータに記憶するようにすればよい。
まず、コンピュータにより実現される情報処理装置１に用いる学習済みのモデルを得るための学習処理部７の学習処理について説明する。学習処理部７の学習処理は、コンピュータ本体１００において実行される制御プログラム１０８Ｐに含まれている。
図５に、コンピュータ本体１００において実行される学習処理の流れの一例を示す。
図５に示す学習処理は、コンピュータ本体１００に電源投入されると、ＣＰＵ１０２により実行される。
まず、ＣＰＵ１０２は、ステップＳ１００で、情報入力部１２０から学習用データ（教師データ：言語データ７０１及び画像データ７０２のセットと、正解となる回答を示す回答データ７０３とのペア）を取得する。次に、ステップＳ１０２で、言語データ７０１及び画像データ７０２の各々から特徴情報（言語特徴７２１、画像特徴７３１）を抽出する。すなわち、言語特徴抽出部２（図３）が、言語データ７０１から、第１特徴である言語特徴７２１を中間生成物として抽出する。また、画像特徴抽出部３（図３）が、画像データ７０２から、第２特徴である画像特徴７３１を中間生成物として抽出する。
次に、ステップＳ１０４では、ステップＳ１０２で抽出された言語特徴７２１と画像特徴７３１とを用いて、相互アテンション部４３の各々において相互作用を示す情報を付与するモデルの順序を設定する。すなわち、上述のように言語特徴７２１及び画像特徴７３１の不確定性から相互アテンション部４３で最初にトップダウン型注意モデル４３１による反映を行うか、ボトムアップ型注意モデル４３５による反映を行うかを設定する（図２（Ａ）又は図２（Ｂ））。この設定値は、データ１０８Ｄの一部として補助記憶装置１０８に記憶される。この相互作用を示す情報は、言語特徴又は画像特徴に付与する重みを表す。
次に、ステップＳ１０６では、相互作用を示す情報を複数回反映した言語データの特徴情報（７４１−Ｎ）及び画像データの特徴情報（７４２−Ｎ）を導出する。このように、相互作用を示す情報を複数回順次反映させることで、言語データの特徴情報（７４１−Ｎ）及び画像データの特徴情報（７４２−Ｎ）の各々は、相互に作用しながら機能させた結果が反映されたデータとなる。すなわち、反映部４（図３）が、言語データ７０１から抽出された第１特徴（言語特徴７２１）、及び画像データ７０２から抽出された第２特徴（画像特徴７３１）に、相互作用を示す情報を繰り返し反映させて出力する。
次に、ステップＳ１０８では、ステップＳ１０６で導出された特徴情報を上記結合等で統合する特徴統合を行う。すなわち、特徴統合部５（図３）が、反映部４からの第１特徴（言語特徴７２１−Ｎ）、及び第２特徴（画像特徴７３１−Ｎ）を統合する。次に、ステップＳ１１０では、ステップＳ１０８で統合された統合特徴を示す情報を用いて、回答データを推定し、推定結果を推定回答データ７６１として生成する。すなわち、回答生成部６（図３）が、特徴統合部５からの統合特徴７５１を用いて、推定回答データ７６１を生成する。次に、ステップＳ１１２では、ステップＳ１００で取得された正解の回答データ７０３と、推定回答データ７６１とを比較し、差異を導出する。
次に、ステップＳ１１４では、ステップＳ１１２の比較結果を用いて、学習処理を実行する。次に、ステップＳ１１６では、全ての学習用データについて比較結果が収束、例えば予め定めた閾値未満となるまで否定判断を繰り返す。一方、比較結果が収束し、ステップＳ１１６で肯定判断の場合は、次のステップＳ１１８で、学習結果をメモリに記憶し、本処理ルーチンを終了する。学習結果は、学習モデル１０８Ｍの一部として補助記憶装置１０８に記憶される。すなわち、学習結果の重みを示すパラメータ、及び、ニューラルネットワーク等のノード間の結合の重みパラメータによる学習モデル１２が記憶される。具体的には、言語特徴抽出部２の学習結果である言語特徴抽出学習モデル２２、及び画像特徴抽出部３の学習結果である画像特徴抽出学習モデル３２の各々について、学習を済ませた重みパラメータ及びノード同士の間の結合の重みの情報の集合が記憶される。また、反映部４の学習結果である反映学習モデル４２、特徴統合部５の学習結果である特徴統合学習モデル５２、回答生成部６の学習結果である回答生成学習モデル６２の各々について、学習を済ませた情報も記憶される。
次に、コンピュータにより実現される情報処理装置１の実行処理について説明する。この情報処理装置１の実行処理は、コンピュータ本体１００において実行される制御プログラム１０８Ｐに含まれている。
図６に、コンピュータ本体１００において実行される処理の流れの一例を示す。
図６に示す情報処理装置１の実行処理は、コンピュータ本体１００に電源投入されると、ＣＰＵ１０２により実行される。
まず、ＣＰＵ１０２は、ステップＳ２００で、メモリ（補助記憶装置１０８）に記憶された順序値及びパラメタを取得し、取得された順序値及びパラメタを該当機能部に設定する。すなわち、学習済みの言語特徴抽出学習モデル２２、画像特徴抽出学習モデル３２、反映学習モデル４２、特徴統合学習モデル５２、及び回答生成学習モデル６２を取得し、設定する。次に、ステップＳ２０２で、情報処理装置１で回答を推定するための言語データ及び画像データを取得し、次のステップＳ２０４で、各々から特徴情報（言語特徴、画像特徴）を抽出する。すなわち、言語特徴抽出部２（図１）が、言語データから、第１特徴である言語特徴を中間生成物として抽出する。また、画像特徴抽出部３（図１）が、画像データから、第２特徴である画像特徴を中間生成物として抽出する。
次に、ステップＳ２０６では、ステップＳ２０４で抽出された言語特徴と画像特徴とを用いて、予め設定されたモデルの順序による複数の相互アテンション部４３の各々で、トップダウン型注意モデル４３１及びボトムアップ型注意モデル４３５による反映を行う（図２（Ａ）又は図２（Ｂ））。このステップＳ２０６では、相互作用を示す情報を複数回反映された言語データの特徴情報及び画像データの特徴情報が導出される。このように、相互作用を示す情報を複数回順次反映させることで、言語データの特徴情報及び画像データの特徴情報の各々は、相互に作用しながら機能させた結果が反映されたデータとなる。
次に、ステップＳ２０８では、ステップＳ２０６で導出された特徴情報を上記結合等で統合する特徴統合を行う。次に、ステップＳ２１０では、ステップＳ２０８で統合された統合特徴を示す情報を用いて、回答データを推定し、推定結果を推定回答データとして生成し、出力して本処理ルーチンを終了する。
以上説明したように、第１実施形態では、入力された情報の不確定性に基づいてボトムアップ型注意モデル及びトップダウン型注意モデルの順序を設定し、ボトムアップ型注意モデル及びトップダウン型注意モデルによる情報の反映を複数回行う。これにより、入力された情報に対して適用するボトムアップ型注意モデル及びトップダウン型注意モデルの順序が一律に決まっている場合と比べて、高精度の情報を導出することができる。
（変形例１）
第１実施形態では、入力された言語データと画像データとに内在する意図を反映させるために、設定部７８は、言語特徴及び画像特徴の不確定性によって、反映部４に含まれる複数の相互アテンション部４３の各々におけるモデルの順序を一律に設定した。しかし、本開示の技術は、複数の相互アテンション部４３の各々におけるモデルの順序を一律に設定することに限定するものではない。例えば、複数の相互アテンション部４３の各々におけるモデルの順序は、複数の相互アテンション部４３の各々で逐次設定してもよい。この複数の相互アテンション部４３の各々におけるモデルの順序を逐次設定する場合について変形例として説明する。
図７に、本開示の変形例に係る相互アテンション部４３の構成の一例を示す。
図７に示すように、複数（＝Ｎ）の相互アテンション部４３のうちの第Ｋ番目の相互アテンション部４３−Ｋ（Ｎ≧Ｋ≧１）は、トップダウン型注意モデル４３１及びボトムアップ型注意モデル４３５の順序を設定する設定部７８−Ｋを含む。設定部７８−Ｋは、第Ｋ番目の相互アテンション部４３−Ｋに入力される言語特徴及び画像特徴の不確定性によりトップダウン型注意モデル４３１及びボトムアップ型注意モデル４３５の順序を設定する。この場合、Ｎ個の相互アテンション部４３の各々について個別に設定部７８を設けて、逐次順序を設定してもよい。また、Ｎ個の相互アテンション部４３の各々のモデルの順序を予め初期値で設定しておき、Ｎ個の相互アテンション部４３のうち予め指定された相互アテンション部４３についてモデルの順序を変更するように設定してもよい。なお、このＮ個の相互アテンション部４３のうち予め指定された相互アテンション部４３の設定は上記学習処理によって学習することが可能である。また、第１番目の相互アテンション部４３によるモデルの順序設定が支配的であると考えられる。この場合は、少なくとも第１番目の相互アテンション部４３−１によるモデルの順序設定を行うようにすることが好ましい。このように、逐次又は指定された位置の相互アテンション部４３においてモデルの順序を設定することで、複数の相互アテンション部４３において、言語特徴又は画像特徴への相互作用を示す情報の反映を、選択的に実行することが可能となる。
（第２実施形態）
次に、第２実施形態を説明する。第２実施形態は、深層学習を行う場合に、相互アテンション部４３により相互作用を示す情報を適用する層数を決定するものである。なお、第２実施形態は第１実施形態と略同様の構成のため、同一部分には同一符号を付して詳細な説明を省略する。
深層学習を行う場合に、層数を増加するに従って勾配が小さい値に収束する現象（勾配消失現象）が発生する。そこで、第２実施形態では、相互アテンション部４３においてトップダウン型注意モデル４３１及びボトムアップ型注意モデル４３５によって相互作用を示す情報を適用する回数を決定することで、勾配消失現象の発生を抑制する。
具体的には、ボトムアップ型注意モデル４３５及びトップダウン型注意モデル４３１の一方を第１反映部とし、他方を第２反映部とした場合、第１反映部及び第２反映部のセットを複数含み、設定部７８は、複数のセットの各々において相互作用を示す情報を反映する前後の第１特徴情報及び第２特徴情報の少なくとも一方の変化量が予め定めた変化量を超えるセットを導出し、変化量を超えるセットが複数導出された場合、変化量を超える複数のセットによる相互作用を示す情報の反映を設定する。
図８に、第２実施形態に係る反映部４Ａの構成の一例を示す。
図８に示すように、第２実施形態に係る反映部４Ａは、比較部４４、言語特徴合成部４５、及び画像特徴合成部４６を備えている。反映部４Ａは、複数の相互アテンション部４３−１〜４３−Ｎの各々に対応して複数の比較部４４−１〜４４−Ｎが設けられている。第２実施形態は、主として、反映部４Ａにおける言語特徴及び画像特徴の各々を示す情報を、言語特徴合成部４５、及び画像特徴合成部４６で合成（例えば、加算）した後に、特徴統合部５へ出力する点が第１実施形態と異なっている。また、後述するように、相互アテンション部４３により相互作用を示す情報を適用する層数を決定する。
図９に、比較部４４の構成の一例を示す。
図９に示すように、第Ｋ番目の相互アテンション部４３−Ｋに対応する比較部４４−Ｋは、第１コンパレータ４４１、第２コンパレータ４４３、及びスイッチ４４５を含む。第１コンパレータ４４１は、勾配消失現象として予め定めた第１閾値を記憶するメモリ４４２に制御端が接続されており、言語特徴の比較結果が閾値を超える場合、すなわち言語特徴の変動量が閾値を超える場合に、スイッチ４４５をオンするように活性化する。第２コンパレータ４４３は、勾配消失現象として予め定めた第２閾値を記憶するメモリ４４４に制御端が接続されており、画像特徴の比較結果が閾値を超える場合、すなわち画像特徴の変動量が閾値を超える場合に、スイッチ４４５をオンするように活性化する。スイッチ４４５は、第１コンパレータ４４１、及び第２コンパレータ４４３の少なくとも一方が活性化した場合にオンするように連動する。これにより、言語特徴及び画像特徴の少なくとも一方について、勾配消失現象が生じる迄、言語特徴及び画像特徴を示す情報が次段へ出力される。言い換えれば、勾配消失現象が生じた相互アテンション部４３以降では相互アテンション部４３の機能は抑止される。このように、相互アテンション部４３により相互作用を示す情報を適用する層数（反映回数）が決定される。
上記のようにして学習され、決定された層数（反映回数）はメモリに記憶される。なお、第２実施形態では、決定された層数（反映回数）を示す情報を、順序値メモリ４１に記憶されるものとする。従って、第２実施形態の情報処理装置１では、反映部４Ａは、上記のように学習済みの層数（反映回数）を示す反映回数データを用いて、反映回数分だけ相互アテンション部４３の各々で順次、第１特徴情報及び第２特徴情報の各々に相互作用を示す情報を反映する。
以上説明したように、第２実施形態では、反映部４Ａにおける複数の相互アテンション部４３の各々における言語特徴及び画像特徴の各々を示す情報を合成（例えば、加算）するので、勾配消失現象の発生が抑制可能になる。また、特徴の変動量が閾値を超える場合にのみ第１特徴情報及び第２特徴情報の各々に相互作用を示す情報を反映するように反映回数を定めることで、処理負荷が軽減可能になる。
なお、相互アテンション部４３により相互作用を示す情報を適用する層数（反映回数）は、言語特徴及び画像特徴の少なくとも一方の特徴の変動量に基づいて決定することに限定されるものではない。例えば、上述の言語データの特徴情報の不確定性及び画像データの特徴情報の不確定性を用いて、反映回数を決定してもよい。この場合、不確定性と反映回数との対応関係を示すテーブルを予め求めておき、導出された不確定性を用いて、反映回数を決定すればよい。また、他の例として、学習用データの総数に応じて、反映回数を決定してもよい。この場合、学習用データの総数と反映回数との対応関係を示すテーブルを予め求めておき、学習時点における学習用データの総数から、反映回数を決定すればよい。また、これらの、特徴の変動量、不確定性、及び学習データの総数は、組み合わせて用いてもよい。
（変形例２）
第２実施形態では、言語特徴及び画像特徴の変動量が閾値を超える場合に相互作用を示す情報を反映するように反映回数を定める場合を説明した。学習済のモデルを用いた情報処理装置１において、未知の言語データ及び未知の画像データから回答データを推定する場合、学習により決定された反映回数を示す情報を用いて反映処理を行えばよい。この情報処理装置１における複数の相互アテンション部４３について、学習された反映回数により反映する構成の一例を変形例として説明する。
図１０に、本開示の変形例２に係る反映部４Ｂの構成の一例を示す。また、図１１に、反映部４Ｂに含まれる活性化部４８の一例を示す。
図１０に示すように、変形例２に係る反映部４Ａでは、反映回数設定部４７、及び複数の相互アテンション部４３−１〜４３−Ｎの各々に対応して複数の活性化部４８−１〜４８−Ｎが設けられている。変形例２は、比較部４４に代えて活性化部４８を備える点が第２実施形態と異なっている。
反映回数設定部４７は、上述のように決定された層数（反映回数）を示す情報を記憶し、複数の活性化部４８−１〜４８−Ｎの各々を設定する機能部である。複数の活性化部４８−１〜４８−Ｎの各々は、図１１に示すように、反映回数設定部４７からの制御信号によりオンオフするスイッチ４４５のように簡単な構成とすることが可能である。活性化部４８としてスイッチ４４５を用いる場合、スイッチ４４５は、言語特徴及び画像特徴の双方の後段への出力が連動するように構成することが好ましい。このように、変形例２では、スイッチによる簡単な構成で、反映回数を設定することが可能となる。
（第３実施形態）
次に、第３実施形態を説明する。第３実施形態は、複数の推定を行うマルチタスク処理を実行する場合に開示の技術を適用したものである。なお、第３実施形態は第１実施形態と略同様の構成のため、同一部分には同一符号を付して詳細な説明を省略する。
第１実施形態では、回答データをラベルとする画像データ及び言語データを入力としてマルチモーダル深層学習を行い、学習済のモデルを用いて、未知の画像データ及び言語データに対応する回答データを出力する。しかし、本開示の技術は、マルチモーダル深層学習による情報処理に限定されるものではない。第３実施形態では、１つの入力情報から複数のタスクを処理するマルチタスク処理に、本開示の技術を適用したものである。
具体的には、第３実施形態では、入力データから入力データに含まれる第１特徴を表す第１特徴情報及び第２特徴を表す第２特徴情報が抽出される。例えば、第１特徴情報及び第２特徴情報の各々は、入力データである言語データ又は画像データの少なくとも一方から抽出される情報である。また、第１特徴情報及び第２特徴情報は、入力データである言語データ又は画像データの異なる部分及び異なる成分から抽出される。
なお、第３実施形態では、入力画像から入力画像に含まれる人物の国籍推定と、性別推定との２つのタスクを処理するマルチタスク処理に、本開示の技術を適用した場合を一例として説明する。
図１２に、第３実施形態に係る情報処理装置１Ｘの構成の一例を示す。
図１２に示すように、第３実施形態に係る情報処理装置１Ｘは、特徴抽出部２Ｘ、第１特徴抽出部２Ａ、第２特徴抽出部３Ａ、第１回答生成部６Ａ、及び第２回答生成部６Ｂを備えている。第３実施形態は、言語データ及び画像データに代えて１つの入力データから複数の特徴を抽出し、特徴統合学習モデル５２を省略して、各々に対応する回答データを推定する点が第１実施形態と異なっている。
また、情報処理装置１Ｘは、学習済みの学習モデル１２Ｘを含んでいる。学習済みの学習モデル１２Ｘには、特徴抽出学習モデル２２Ｘ、第１特徴抽出学習モデル２２Ａ、第２特徴抽出学習モデル３２Ａ、反映学習モデル４２、第１回答生成学習モデル６２Ａ、及び第２回答生成学習モデル６２Ｂが含まれる。具体的には、特徴抽出部２Ｘは特徴抽出学習モデル２２Ｘを含み、第１特徴抽出部２Ａは第１特徴抽出学習モデル２２Ａを含み、第２特徴抽出部３Ａは、第２特徴抽出学習モデル３２Ａを含む。反映部４は、反映学習モデル４２、及び順序値メモリ４１を含む。第１回答生成部６Ａは、第１回答生成学習モデル６２Ａを含み、第２回答生成部６Ｂは、第２回答生成学習モデル６２Ｂを含む。
特徴抽出部２Ｘは、入力データである画像データの入力を受け付けて、特徴抽出学習モデル２２Ｘを用いて、画像データから当該画像データにおける中間特徴を示す情報として中間特徴情報を抽出し、第１特徴抽出部２Ａ及び第２特徴抽出部３Ａへ出力する。具体的には、特徴抽出部２Ｘは、入力される画像データから、当該画像データにより示される画像における物体の形状、色、濃度等の特徴を示す情報を抽出する処理を行う。
特徴抽出学習モデル２２Ｘは、上記第１実施形態と同様に、学習処理部７の学習処理により生成される。特徴抽出学習モデル２２Ｘは、画像データに含まれる画像特徴を示す中間特徴を示す情報を生成する学習を済ませたモデル（例えば、畳み込みニューラルネットワーク）を構成するノード同士の間の結合の重み（強度）の情報の集合として表現される。
特徴抽出学習モデル２２Ｘは、学習処理部７の学習処理により生成される。学習処理部７は、画像データと、当該画像に含まれる人物の国籍及び性別を示すデータのペアと、のセットを大量に用いて学習処理を行う。
なお、言語データを入力データとした場合、特徴抽出部は、上述のように、形態素解析などにより単語に分解し、分解された各単語をベクトル表現にしたのち、分散表現に変換し、変換されたデータを用いて特徴抽出を行えばよい。
第１特徴抽出部２Ａは、画像データから抽出された中間特徴を示す中間特徴情報を受け付けて、第１特徴抽出学習モデル２２Ａを用いて、中間特徴情報から画像に含まれる人物の国籍に関係する第１特徴情報を抽出し、反映部４へ出力する。第１特徴抽出学習モデル２２Ａは、学習済みの学習モデルであり、中間特徴情報から、画像に含まれる人物の国籍に関係する第１特徴を示す第１特徴情報を生成する学習を済ませたモデルである。第１特徴抽出学習モデル２２Ａは、学習済みのニューラルネットワークを規定するモデルであり、例えばニューラルネットワークを構成するノード（ニューロン）同士の間の結合の重み（強度）の情報の集合として表現される。
第２特徴抽出部３Ａは、画像データから抽出された中間特徴を示す中間特徴情報を受け付けて、第２特徴抽出学習モデル３２Ａを用いて、中間特徴情報から画像に含まれる人物の性別に関係する第２特徴情報を抽出し、反映部４へ出力する。第２特徴抽出学習モデル３２Ａは、学習済みの学習モデルであり、中間特徴情報から、画像に含まれる人物の性別に関係する第２特徴を示す第２特徴情報を生成する学習を済ませたモデルである。第２特徴抽出学習モデル３２Ａは、学習済みのニューラルネットワークを規定するモデルであり、例えばニューラルネットワークを構成するノード（ニューロン）同士の間の結合の重み（強度）の情報の集合として表現される。
反映部４は、第１実施形態と同様に、順序値メモリ４１に記憶された順序データ及び反映学習モデル４２を用いて、第１特徴抽出部２Ａ及び第２特徴抽出部３Ａで抽出された第１特徴情報及び第２特徴情報の各々に、第１特徴情報と第２特徴情報との相互作用を示す情報を反映する。反映学習モデル４２は、学習処理部７の学習処理により生成され、例えば、第１特徴及び第２特徴の要素に対するパラメータ（重み又は強度）の情報の集合として表現される。
第３実施形態では、相互アテンション部４３の各々について、特徴抽出部２Ｘ抽出された画像特徴を示す中間特徴から、第１特徴抽出部２Ａ及び第２特徴抽出部３Ａでさらに抽出された第１特徴情報及び第２特徴情報の抽象度によって、相互作用を示す情報を適用するモデルの順序が決定され、決定されたモデルの順序が順序値メモリ４１に記憶される。
抽象度は次の１つの指標、又は組み合わせた指標で定義することが可能である。第１の指標として、分類タスクの場合に、分類クラスの数を指標とすることが挙げられる。第２の指標として、マルチラベル問題、すなわち１つの要素が複数のラベル（又は複数のラベルの集合）に同時に分類される要素の数を指標とすることが挙げられる。第３の指標として、タスク別にモデルを学習させた場合におけるモデルの精度、又は複数のラベルに分類される割合などにより示されるデータを指標とすることが挙げられる。第４の指標として、タスクごとの学習データ数を指標とすることが挙げられる。
具体的には、第３実施形態における抽象度は、画像特徴を示す中間特徴から抽出された第１特徴情報で示される国籍の確からしさ、及び第２特徴情報で示される性別の確からしさを示す指標により定義することが可能である。特徴情報の抽象度は、国籍及び性別の各々の確からしさを、上記何れか１つを指標、又は複数の指標を組み合わせた指標を用いて表現することが可能である。
第１回答生成部６Ａは、第１実施形態と同様に、反映部４からの第１特徴情報を用いて第１回答データ、すなわち国籍を示す情報を推定し、第１回答として生成する。具体的には、第１回答生成部６Ａは、第１回答生成学習モデル６２Ａを用いて、相互作用を示す情報が反映された第１特徴情報に対応する、すなわち入力された画像データによる画像に含まれる人物の国籍に対応する第１回答データを生成（推定）し、出力する。第１回答データの生成の一例には、多層のニューラルネットワークを用いる手法が挙げられる。
第１回答生成学習モデル６２Ａは、学習処理部７の学習処理により生成される。第１回答生成学習モデル６２Ａは、第１特徴情報から国籍を示す第１回答データを生成する学習を済ませた多層のニューラルネットワークを構成するノード同士の間の結合の重み（強度）の情報の集合として表現される。
また、第２回答生成部６Ｂも、反映部４からの第２特徴情報を用いて第２回答データ、すなわち性別を示す情報を推定し、第２回答として生成する。具体的には、第２回答生成部６Ｂは、第２回答生成学習モデル６２Ｂを用いて、相互作用を示す情報が反映された第２特徴情報に対応する、すなわち入力された画像データによる画像に含まれる人物の性別に対応する第２回答データを生成（推定）し、出力する。第２回答データの生成の一例には、多層のニューラルネットワークを用いる手法が挙げられる。
第２回答生成学習モデル６２Ｂは、学習処理部７の学習処理により生成される。第２回答生成学習モデル６２Ｂは、第２特徴情報から性別を示す第２回答データを生成する学習を済ませた多層のニューラルネットワークを構成するノード同士の間の結合の重み（強度）の情報の集合として表現される。
以上説明したように、第３実施形態では、１つの入力から複数のタスクを処理するマルチタスク処理において、タスクごとの中間特徴の間で相互アテンションを適用する。従って、相互アテンション部でタスク間の情報を授受可能であるため、複数のタスクでの性能向上が可能である。すなわち、一方のタスクでもう一方のタスクの特徴量をマスク処理する等の処理により精度向上を行う場合と比べて、複数のタスクの各々における推定制動を向上することが可能となる。具体的には、第３実施形態では、国籍推定と性別推定を行うマルチタスクにおいて、国籍及び性別の双方を考慮した性別及び国籍推定が可能となる。
以上、各実施の形態を用いて説明したが、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本開示の技術的範囲に含まれる。
また、上記実施形態では、検査処理を、フローチャートを用いた処理によるソフトウエア構成によって実現した場合について説明したが、これに限定されるものではなく、例えば各処理をハードウェア構成により実現する形態としてもよい。
また、情報処理装置の一部、例えば学習モデル等のニューラルネットワークを、ハードウエア回路として構成してもよい。
１、１Ｘ 情報処理装置
２ 言語特徴抽出部
２Ｘ 特徴抽出部
２Ａ 第１特徴抽出部
３ 画像特徴抽出部
３Ａ 第２特徴抽出部
４、４Ａ、４Ｂ反映部
５ 特徴統合部
６ 回答生成部
６Ａ 第１回答生成部
６Ｂ 第２回答生成部
７ 学習処理部
１２、１２Ｘ 学習モデル
２２ 言語特徴抽出学習モデル
２２Ａ 第１特徴抽出学習モデル
２２Ｘ 特徴抽出学習モデル
３２ 画像特徴抽出学習モデル
３２Ａ 第２特徴抽出学習モデル
４１ 順序値メモリ
４２ 反映学習モデル
４３ 相互アテンション部
４４ 比較部
４５ 言語特徴合成部
４６ 画像特徴合成部
４７ 反映回数設定部
４８ 活性化部
５２ 特徴統合学習モデル
６２ 回答生成学習モデル
６２Ａ 第１回答生成学習モデル
６２Ｂ 第２回答生成学習モデル
７１ 推定器
７７ 比較処理部
７８ 設定部
１００ コンピュータ本体
４３１ トップダウン型注意モデル
４３３ トップダウンアテンション部
４３５ ボトムアップ型注意モデル
４３７ ボトムアップアテンション部
７０１ 言語データ
７０２ 画像データ
７０３ 回答データ
７２１ 言語特徴
７３１ 画像特徴
７５１ 統合特徴
７６１ 推定回答データ

Claims (10)

  1. 第１の情報を表す第１特徴情報と、前記第１の情報を説明する第２の情報から特定された第２特徴情報との相互作用を示す情報を、設定に基づいて、前記第１特徴情報及び前記第２特徴情報の一方に反映する第１反映部と、
    前記第１特徴情報及び前記第２特徴情報のそれぞれの情報の確からしさに基づいて、前記第１反映部に対する前記第１特徴情報及び前記第２特徴情報の一方への前記相互作用を示す情報の反映を設定する設定部と、
    前記相互作用を示す情報が反映された反映済み特徴情報を出力する出力部と、
    を含む情報処理装置。
  2. 前記情報の確からしさは、前記第１特徴情報及び前記第２特徴情報のそれぞれに対する予め定めた情報評価尺度を表す物理量である
    請求項１に記載の情報処理装置。
  3. 前記相互作用を示す情報を、設定に基づいて、前記第１特徴情報及び前記第２特徴情報の他方に反映する第２反映部を含み、
    前記設定部は、前記情報の確からしさに基づいて、前記第２反映部に対して前記第１特徴情報及び前記第２特徴情報の他方への前記相互作用を示す情報の反映、並びに前記第１反映部及び前記第２反映部が前記相互作用を示す情報を反映する際の反映順序を設定する
    請求項１又は請求項２に記載の情報処理装置。
  4. 前記第１反映部及び前記第２反映部のセットを複数含み、
    前記設定部は、複数のセットの各々において前記相互作用を示す情報を反映する前後の前記第１特徴情報及び前記第２特徴情報の少なくとも一方の変化量が予め定めた変化量を超えるセットを導出し、前記変化量を超えるセットが複数導出された場合、前記変化量を超える複数のセットによる前記相互作用を示す情報の反映を設定する
    請求項３に記載の情報処理装置。
  5. 前記出力部は、前記複数のセットの各々で前記相互作用を示す情報が反映された前記第１特徴情報の総和及び前記第２特徴情報の総和を、前記相互作用を示す情報が反映された反映済み特徴情報とする
    請求項４に記載の情報処理装置。
  6. 前記第１特徴情報は、言語情報及び画像情報の一方から抽出され、かつ前記第２特徴情報は、前記第１特徴情報として抽出された前記言語情報及び画像情報の一方の情報を説明する部分が前記言語情報及び前記画像情報の他方から抽出されるか、又は、前記第１特徴情報及び前記第２特徴情報は、前記言語情報又は前記画像情報において一方の部分が他方の部分を説明する異なる部分から抽出される
    請求項１から請求項５の何れか１項に記載の情報処理装置。
  7. 前記第１特徴情報及び前記第２特徴情報を抽出する抽出部と、
    前記出力部から出力された前記反映済み特徴情報に対応する回答情報を生成する生成部と
    を含む請求項１から請求項６の何れか１項に記載の情報処理装置。
  8. 前記設定部は、学習情報によって学習された前記第１反映部に対する前記第１特徴情報及び前記第２特徴情報の一方への前記相互作用を示す情報の反映を示す情報を記憶した設定値に基づいて、前記第１反映部に対する前記第１特徴情報及び前記第２特徴情報の一方への前記相互作用を示す情報の反映を設定する
    請求項１から請求項７の何れか１項に記載の情報処理装置。
  9. 請求項１から請求項７の何れか１項に記載の前記第１反映部、前記設定部、及び前記出力部の各部が学習情報によって学習されたモデルを記憶するモデル記憶部と、
    前記モデル記憶部に記憶された前記モデルに基づいて、入力された第１の情報及び第２の情報から、前記第１特徴情報と前記第２特徴情報との相互作用を示す情報が反映された反映済み特徴情報を出力する特徴情報出力部と、
    を備えた情報処理装置。
  10. コンピュータを、
    第１の情報を表す第１特徴情報と、前記第１の情報を説明する第２の情報から特定された第２特徴情報との相互作用を示す情報を、設定に基づいて、前記第１特徴情報及び前記第２特徴情報の一方に反映する第１反映部、
    前記第１特徴情報及び前記第２特徴情報のそれぞれの情報の確からしさに基づいて、前記第１反映部に対する前記第１特徴情報及び前記第２特徴情報の一方への前記相互作用を示す情報の反映を設定する設定部、及び、
    前記相互作用を示す情報が反映された反映済み特徴情報を出力する出力部、
    として機能させるためのプログラム。
JP2019136232A 2019-07-24 2019-07-24 情報処理装置及びプログラム Pending JP2021021978A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019136232A JP2021021978A (ja) 2019-07-24 2019-07-24 情報処理装置及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019136232A JP2021021978A (ja) 2019-07-24 2019-07-24 情報処理装置及びプログラム

Publications (1)

Publication Number Publication Date
JP2021021978A true JP2021021978A (ja) 2021-02-18

Family

ID=74574273

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019136232A Pending JP2021021978A (ja) 2019-07-24 2019-07-24 情報処理装置及びプログラム

Country Status (1)

Country Link
JP (1) JP2021021978A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115659987A (zh) * 2022-12-28 2023-01-31 华南师范大学 基于双通道的多模态命名实体识别方法、装置以及设备
WO2023073813A1 (ja) * 2021-10-26 2023-05-04 日本電気株式会社 画像処理システム
JP7427717B2 (ja) 2021-08-05 2024-02-05 楽天グループ株式会社 マルチモーダルのトランスフォーマベースのアイテム分類システム、データ処理システム、データ処理方法、及びコンピュータ実行方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7427717B2 (ja) 2021-08-05 2024-02-05 楽天グループ株式会社 マルチモーダルのトランスフォーマベースのアイテム分類システム、データ処理システム、データ処理方法、及びコンピュータ実行方法
WO2023073813A1 (ja) * 2021-10-26 2023-05-04 日本電気株式会社 画像処理システム
CN115659987A (zh) * 2022-12-28 2023-01-31 华南师范大学 基于双通道的多模态命名实体识别方法、装置以及设备

Similar Documents

Publication Publication Date Title
Weymaere et al. On the initialization and optimization of multilayer perceptrons
KR20040037180A (ko) 학습 모델 부분들을 사용하는 안면 인식 시스템 및 방법
JP2021021978A (ja) 情報処理装置及びプログラム
US20040002838A1 (en) Layered models for context awareness
KR101843074B1 (ko) Vae를 이용한 화자 인식 특징 추출 방법 및 시스템
CN111542841A (zh) 一种内容识别的系统和方法
JP6291443B2 (ja) 接続関係推定装置、方法、及びプログラム
JPWO2007138875A1 (ja) 音声認識用単語辞書・言語モデル作成システム、方法、プログラムおよび音声認識システム
US20140343903A1 (en) Factorial hidden markov models estimation device, method, and program
KR20200052446A (ko) 딥러닝 모델 학습 장치 및 방법
Asemi et al. Adaptive neuro-fuzzy inference system for evaluating dysarthric automatic speech recognition (ASR) systems: a case study on MVML-based ASR
WO2019167784A1 (ja) 位置特定装置、位置特定方法及びコンピュータプログラム
US9292801B2 (en) Sparse variable optimization device, sparse variable optimization method, and sparse variable optimization program
US7454062B2 (en) Apparatus and method of pattern recognition
CN111414732A (zh) 文本风格转换方法、装置、电子设备及存储介质
CN112860907A (zh) 一种情感分类方法及设备
KR102358485B1 (ko) 도메인 자동 분류 대화 시스템
CN113762005A (zh) 特征选择模型的训练、对象分类方法、装置、设备及介质
KR100845634B1 (ko) 데이터 대조 방법, 데이터 대조 장치 및 데이터 대조 프로그램을 기록한 기록 매체
Bergner et al. Deformable structural models
JP7386462B2 (ja) 演算装置および学習済みモデル
CN113743259A (zh) 基于ResOHEM-net的心律失常分类方法及系统
Rehman et al. A Real-Time Approach for Finger Spelling Interpretation Based on American Sign Language Using Neural Networks
CN113297540A (zh) 在边缘物联代理服务下的app资源需求预测方法、装置及系统
JP2021144659A (ja) 計算機、計算方法及びプログラム