JP2022012883A - 操作予測装置及びそのモデル学習方法、操作予測方法 - Google Patents

操作予測装置及びそのモデル学習方法、操作予測方法 Download PDF

Info

Publication number
JP2022012883A
JP2022012883A JP2020115035A JP2020115035A JP2022012883A JP 2022012883 A JP2022012883 A JP 2022012883A JP 2020115035 A JP2020115035 A JP 2020115035A JP 2020115035 A JP2020115035 A JP 2020115035A JP 2022012883 A JP2022012883 A JP 2022012883A
Authority
JP
Japan
Prior art keywords
module
attribute information
index value
model
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020115035A
Other languages
English (en)
Other versions
JP7487587B2 (ja
Inventor
善久 井尻
Yoshihisa Ijiri
竜 米谷
Ryo Yonetani
竜典 谷合
Tatsunori Taniai
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2020115035A priority Critical patent/JP7487587B2/ja
Priority to PCT/JP2021/022970 priority patent/WO2022004399A1/ja
Priority to EP21831799.8A priority patent/EP4156046A4/en
Priority to CN202180046140.0A priority patent/CN115997216A/zh
Priority to US18/002,698 priority patent/US20230334323A1/en
Publication of JP2022012883A publication Critical patent/JP2022012883A/ja
Application granted granted Critical
Publication of JP7487587B2 publication Critical patent/JP7487587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数のオブジェクトに対するユーザの主観的な操作を機械学習により予測するための新規な技術を提供する。【解決手段】予測モデル１が、データセットｘに含まれる各オブジェクトｘｉについて、ニューラルネットワークを用いて、当該オブジェクトｘｉと属性情報ａの組み合わせに対応する指標値ｖｉを計算する、第１モジュールＭ１と、第１モジュールＭ１により得られた、複数のオブジェクトｘ１～ｘＮにそれぞれ対応する複数の指標値ｖ１～ｖＮに対し所定の処理を行うことによって、ユーザによる操作の予測結果ｙを計算する、第２モジュールＭ２と、を含む構造を有する。【選択図】図１

Description

本発明は、属人的な操作を機械学習により予測するための技術に関する。
提示された複数のオブジェクト（候補）に対して人が主観や経験則などの個人的（属人的）な評価に基づいて特定の操作を行う、という場面は数多く存在する。例えば、通常の社会生活の中で、レストランのメニューの中から美味しそうな料理を選択することや、複数の候補者の写真をみて魅力的な順にランキングすること、ショップ内の商品群の中から可愛いアイテムを選んでコーディネートすることなども、その一例である。
従来より、このような人間の主観や経験に依存する属人的評価を機械学習によって予測する研究がなされている。下記の非特許文献１では、料理写真の美味しそうに見える度合を評価する方法が提案され、非特許文献２では、画像の審美性を評価する方法が提案されている。
高橋和馬，道満恵介，川西康友，平山高嗣，井手一郎，出口大輔，村瀬洋，"料理写真の魅力度推定に用いる特徴量の検討による精度向上"，電子情報通信学会技術研究報告，２０１６年１０月６日，第１１６巻，第２４５号，ｐ．４１－４６ X. Lu, Z. Lin, H. Jin, J. Yang and J. Z. Wang, "Rating Image Aesthetics Using Deep Learning," in IEEE Transactions on Multimedia, vol. 17, no. 11, pp. 2021-2034, Nov. 2015. Grover, Aditya, et al. "Stochastic optimization of sorting networks via continuous relaxations." arXiv preprint arXiv:1903.08850 (2019). Cuturi, Marco, Olivier Teboul, and Jean-Philippe Vert. "Differentiable Ranks and Sorting using Optimal Transport: The Sinkhorn CDF and Quantile Operator." arXiv preprint arXiv:1905.11885 (2019). Jang, Eric, Shixiang Gu, and Ben Poole. "Categorical reparameterization with gumbel-softmax." arXiv preprint arXiv:1611.01144 (2016).
従来の研究はいずれも、「美味しそうに見える度合」や「美しいと感じる度合」のような主観的指標をユーザが定義し、属人的評価を定量化・数値化しようとするアプローチである。それゆえ、機械学習を実施するためには、学習データとして用意する画像の夫々に対して、主観的指標の真値（正解データ）を与える必要があった。
しかしながら、人によって嗜好や感じ方はさまざまであるため、主観的指標の真値を定めることは困難である。また、そもそも人の主観や経験に基づく評価や価値を数値で表現すること自体が難しいため、適切な主観的指標を設計することができないこともある。このような問題点から、従来のアプローチには限界があった。
本発明は、上記課題に鑑みなされたものであって、複数のオブジェクトに対する属人的な操作を機械学習により予測するための新規な技術を提供することを目的とする。また、本発明の目的の一つは、主観的指標の定義及び真値を与えなくても、人間の主観や経験などに依存する属人的な操作を機械学習することが可能な新規な技術を提供することである
。
本開示は、複数のオブジェクトからなるデータセットを取得するデータセット取得部と、ユーザの属性情報を取得する属性情報取得部と、機械学習されたモデルを用い、前記データセット及び前記属性情報から、前記ユーザが前記データセットに対して行うであろう操作を予測する予測部と、を有し、前記モデルは、前記データセットに含まれる各オブジェクトについて、ニューラルネットワークを用いて、当該オブジェクトと前記属性情報の組み合わせに対応する指標値を計算する、第１モジュールと、前記第１モジュールにより得られた、前記複数のオブジェクトにそれぞれ対応する複数の指標値に対し所定の処理を行うことによって、前記ユーザによる操作の予測結果を計算する、第２モジュールと、を含む構造を有しており、前記モデルは、複数のサンプルからなるサンプルデータセット、ある操作者が前記サンプルデータセットに対して行った操作結果である正解データ、及び、前記操作者の属性情報、を含む学習用データを用いて機械学習されていることを特徴とする操作予測装置を含む。
このような構成の操作予測装置によれば、データセットと属性情報を与えると、当該属性情報に該当する者が当該データセットに対して行うであろう操作を予測することができる。予測の対象となる操作は、属人的な評価に基づく操作であるとよく、例えば、趣味・嗜好又は経験則に基づくオブジェクトの選択、並べ替え、グループ分けなどである。
従来、この種の属人的な操作を機械学習するには、主観的指標の定義及び真値を与える必要があった。これに対し、上記操作予測装置では、主観的指標に相当する「指標値」がモデルの内部パラメータとなっており、指標値の定義や真値を陽に与える必要がない。すなわち、学習時には、ある操作者（テスター）がサンプルデータセットに対して行った操作結果（例えば、選択結果、並べ替えの結果、グループ分けの結果など）を正解データとして与えるだけで、当該操作に相関のある指標値が自動的に獲得される。したがって、主観的指標の定義及び真値を与えなくても、人間による主観的な操作を機械学習により予測することが可能となる。
オブジェクトの選択、並べ替え、グループ分けなどのユーザ操作を第２モジュールで行うことを想定した場合、通常、これらの操作を模擬するための「所定の処理」は微分不可能（non-differentiable）な処理である。第２モジュールが微分不可能な処理を含む場合には、モデルの学習時に、誤差逆伝播法を用いて、第２モジュールの出力である予測結果の誤差を、第２モジュールの入力（これが第１モジュールの出力でもある）である指標値の誤差へと伝播させることができない、という制約が生じる。その場合は、例えば、第２モジュールの誤差を推定する専用モデルなどを用いて、予測結果の誤差を指標値の誤差へと変換してもよい。
上記のようなモデル学習時の制約を解決するために、前記所定の処理は、微分可能な関数を用いた処理、又は、微分可能な関数を用いた処理の組み合わせにより近似されて構成されてもよい。微分可能な処理で第２モジュールの内部計算を構成することで、予測結果の誤差を第２モジュールを介して第１モジュールへと逆伝播させることが可能になる。これにより、誤差逆伝播法を用いてモデル全体（つまり、第１モジュールと第２モジュールを一緒に）の機械学習を実施可能となり、モデルの学習が容易となる。
前記ニューラルネットワークは、少なくとも１つのオブジェクトと前記属性情報が入力として与えられ、指標値の確率分布を出力する構造を有してもよい。前記第１モジュールは、前記ニューラルネットワークから出力された確率分布から指標値をサンプリングし、当該指標値を前記第２モジュールへ出力してもよい。このような確率モデルを用いること
により、予測結果の妥当性の向上が期待できる。
前記第１モジュールは、微分可能な関数を用いて、前記確率分布から前記指標値をサンプリングしてもよい。これにより、誤差逆伝播法を用いて第１モジュールの機械学習を実施可能となる。
第１モジュール及びニューラルネットワークは、さまざまな構造を採り得る。例えば、前記ニューラルネットワークは、前記第１モジュール及び前記第２モジュールのいずれかで得られる値が再帰的に入力される構造を有してもよい。また、前記第１モジュールは、複数のオブジェクトが入力として与えられ、前記複数のオブジェクトが同時に又は連続的に発生したという条件における指標値を出力する構造を有してもよい。また、前記オブジェクト又は前記属性情報は複数の情報を含んでもよい。この場合に、前記第１モジュールは、前記複数の情報のそれぞれに対応した複数のサブモジュールから構成されており、各オブジェクトについて、前記複数のサブモジュールで得られた複数の指標値を出力してもよい。
前記所定の処理は、前記指標値に対する四則演算、前記指標値もしくは前記指標値から演算された値に基づく前記複数のオブジェクトの並び替え、前記指標値もしくは前記指標値から演算された値に対する閾値処理、前記指標値もしくは前記指標値から演算された値に基づく前記複数のオブジェクトからの一部のオブジェクトの選択、及び、前記指標値もしくは前記指標値から演算された値に基づく前記複数のオブジェクトのグループ分け、
のうち少なくともいずれかを含んでもよい。
本開示は、操作予測装置において用いられるモデルを機械学習するためのモデル学習方法であって、複数のサンプルからなるサンプルデータセットを取得するステップと、前記複数のサンプルに対する操作者の操作結果である正解データを取得するステップと、前記操作者の属性情報を取得するステップと、前記複数のサンプルからなるサンプルデータセット、前記正解データ、及び、前記操作者の属性情報を用いて、前記モデルの機械学習を行うステップと、を有することを特徴とするモデル学習方法を含む。このとき、前記機械学習を行うステップでは、誤差逆伝播法により、前記複数のサンプルと前記操作者の属性情報とを入力として与えたときの前記モデルの出力と、前記正解データとのあいだの誤差に基づき、前記第１モジュール及び前記第２モジュールの学習が行われてもよい。
本開示は、複数のオブジェクトからなるデータセットを取得するステップと、ユーザの属性情報を取得するステップと、機械学習されたモデルを用い、前記データセット及び前記属性情報から、前記ユーザが前記データセットに対して行うであろう操作を予測するステップと、を有し、前記モデルは、前記データセットに含まれる各オブジェクトについて、ニューラルネットワークを用いて、当該オブジェクトと前記属性情報の組み合わせに対応する指標値を計算する、第１モジュールと、前記第１モジュールにより得られた、前記複数のオブジェクトにそれぞれ対応する複数の指標値に対し所定の操作を行うことによって、前記ユーザによる操作の予測結果を計算する、第２モジュールと、を含む構造を有しており、前記モデルは、複数のサンプルからなるサンプルデータセット、ある操作者が前記サンプルデータセットに対して行った操作結果である正解データ、及び、前記操作者の属性情報、を含む学習用データを用いて機械学習されていることを特徴とする操作予測方法を含む。
本発明は、上記手段ないし構成の少なくとも一部を有する操作予測装置として捉えてもよいし、その予測結果を用いて操作／評価／行動選択／制御／模擬／提案／推薦／検索などを行うシステムとして捉えてもよい。また、本発明は、操作予測装置で用いるモデルのモデル学習方法やモデル学習装置として捉えてもよい。また、本発明は、上記処理の少な
くとも一部を含む操作予測方法や操作予測装置の制御方法として捉えてもよいし、その予測結果を用いて操作／評価／行動選択／制御／模擬／提案／推薦／検索などを行う方法として捉えてもよい。また、本発明は、上記方法の各ステップをプロセッサに実行させるためのプログラムやそのプログラムを記録した記録媒体として捉えることもできる。なお、上記手段及び処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、主観的指標の定義及び真値を与えなくても、人間の主観や経験などに依存する属人的な操作を機械学習したモデルを生成でき、そのモデルを用いることによって、複数のオブジェクトに対する属人的な操作を予測することが可能となる。
図１は、予測モデルの構造を示す模式図である。 図２Ａ～図２Ｆは、第１モジュールの構成のバリエーションを示す図である。 図３Ａ及び図３Ｂは、第１モジュールの構成のバリエーションを示す図である。 図４は、第１モジュールの構成のバリエーションを示す図である。 図５は、操作予測装置の構成例を示すブロック図である。 図６は、モデル学習処理の一例を示すフローチャートである。 図７は、予測処理の一例を示すフローチャートである。 図８は、実施例１の予測モデルの構成を模式的に示す図である。 図９は、実施例２の予測モデルの構成を模式的に示す図である。 図１０は、予測モデルを装置のメンテナンス支援に応用した例を説明する図である。
以下に図面を参照して、本発明に係る操作予測装置及びそのモデル学習方法、並びに操作予測方法の一実施形態について説明する。
＜予測モデル＞
図１を参照して、人間の主観や経験などに依存する属人的な操作の予測に用いるモデル（以下「予測モデル」と呼ぶ。）を説明する。図１は予測モデルの構造を示す模式図である。
予測モデル１は、複数のオブジェクトからなるデータセットｘ＝｛ｘ１，…，ｘＮ｝とユーザの属性情報ａが入力として与えられると、当該ユーザがデータセットｘに対して行うであろう操作を予測結果ｙ＝｛ｙ１，…，ｙＮ｝として出力するものである。
オブジェクトｘｉ（ｉ＝１，…，Ｎ）にはどのような種類のデータを用いてもよく、予測モデル１を適用するアプリケーションにあわせて適宜設計することができる。例えば、画像データ（動画像含む）、テキストデータ、音声データなどをオブジェクトとして用いてもよく、複数のデータの組み合わせを１つのオブジェクトとしてもよい。複数のデータの組み合わせの例として、画像とその画像に写る被写体の説明文（例えば、料理のレシピ、観光スポットの解説など）、画像とその画像に写る場所に関する地理情報（例えば、緯度・経度などの位置情報、最寄りの駅・空港、最寄の駅・空港からの所要時間など）などが挙げられる。また、複数枚の画像の組み合わせのように、同じ種類のデータの組み合わせでもよい。なお、オブジェクトの個数Ｎは任意に設定してよい。
属性情報ａは、ユーザを層別するための情報である。予測モデル１を適用するアプリケーションに依って層別の観点は異なり得るため、属性情報としてはどのような情報を用いてもよい。一例を挙げれば、年齢、年齢層、性別、血液型、職業、収入、資産、身長、体重、健康状態、既往症、出身地、居住地、国籍、家族構成、趣味、嗜好などを属性情報として用いることができる。また、パーソナライゼーションされた結果を出力するアプリケーションの場合であれば、ユーザ個人を識別する情報（氏名、個人ＩＤ、マイナンバーなど）を属性情報として用いてもよい。属性情報ａとして入力するのは単一の情報でもよいし、複数の情報の組み合わせ（例えば、年齢と性別など）でもよい。
予測結果ｙは、ユーザがデータセットｘに対して操作を行った結果を表している。操作の例として、ｋ個のオブジェクトの選択（１≦ｋ＜Ｎ）、オブジェクトの並べ替え（ランキング）、オブジェクトのグループ分け、及び、これらの操作の組み合わせなどが挙げられる。操作の具体的内容についても、予測モデル１を適用するアプリケーションにあわせて適宜設計してよい。
ここで、「データセットｘに対して行う操作」とは、データセットｘに含まれる全てのオブジェクトｘ１，…，ｘＮを考慮に入れた条件下でデータセットｘのうちの一部又は全部のオブジェクトｘｉに対して行う操作、を意味する。すなわち、予測モデル１は、１つの入力オブジェクトに対して個別の予測結果を出力するという構成ではなく、Ｎ個の入力オブジェクト群に対して総合的な予測結果を出力するという構成を採用している。
図１に模式的に示すように、予測モデル１は、第１モジュールＭ１と第２モジュールＭ２を連結した多段構造を有する。前段の第１モジュールＭ１は、入力されたオブジェクトｘｉと属性情報ａの組み合わせに対応する指標値ｖｉを、ニューラルネットワークを用いて計算するユニットである。第１モジュールＭ１は、オブジェクトｘｉと属性情報ａが与えられた際の指標値ｖｉに関する確率モデル Ｐ（ｖｉ｜ｘｉ，ａ） で表現される。第１モジュールＭ１は、データセットｘに含まれる複数のオブジェクトｘ１，…，ｘＮのそれぞれについて指標値ｖ１，…，ｖＮを計算するように構成され、計算された指標値のセットＶ＝｛ｖ１，…，ｖＮ｝を第２モジュールＭ２へと出力する。後段の第２モジュールＭ２は、複数のオブジェクトｘ１，…，ｘＮにそれぞれ対応する複数の指標値ｖ１，…，ｖＮに対し所定の処理を行うことによって、予測結果ｙを計算するユニットである。第２モジュールＭ２は、指標値のセットＶ＝｛ｖ１，…，ｖＮ｝から予測結果ｙを出力する関数 ｙ＝Ｆ（Ｖ） で表現される。
＜第１モジュール＞
第１モジュールＭ１で用いられるニューラルネットワークはどのような構造のものでもよく、予測モデル１を適用するアプリケーションにあわせて適宜設計することができる。例えば、畳み込みニューラルネットワークやその改良型を用いてもよい。また、リカレントニューラルネットワークのように、第１モジュールＭ１及び第２モジュールＭ２のいずれかで得られる値が再帰的に入力される構造を有するニューラルネットワークを用いてもよい。
図２Ａ～図２Ｆ、図３Ａ～図３Ｂに第１モジュールＭ１の構成のバリエーションを例示する。
図２Ａは、１つのオブジェクトｘｉと属性情報ａが入力され、１つの指標値ｖｉが出力される構成である。
図２Ｂ～図２Ｄは、１つのオブジェクトｘｉと属性情報ａが入力され、複数の指標値ｖ１ｉ，ｖ２ｉが出力される構成である。この種の第１モジュールＭ１は、それぞれが異な
る指標値ｖ１ｉ，ｖ２ｉ，…を出力するように構成された複数のサブモジュールＭ１１，Ｍ１２，…を組み合わせることにより実現できる。図２Ｂ～図２Ｄでは２つのサブモジュールを組み合わせた例を示しているが、３つ以上のサブモジュールを組み合わせれば、１つの入力オブジェクトｘｉに対して、３つ以上の指標値を出力することも可能である。
図２Ｂの例では、各サブモジュールＭ１１，Ｍ１２には同じデータ（ｘｉ，ａ）が入力される。ただし、サブモジュールＭ１１，Ｍ１２は構造が異なるか、又は、構造が同じであっても学習により獲得した内部パラメータが相違しているため、異なる指標値ｖ１ｉ，ｖ２ｉが出力され得る。
図２Ｃは、１つのオブジェクトｘｉが複数の情報ｘ１ｉ，ｘ２ｉを含んだデータ（例えば、画像ｘ１ｉとテキストｘ２ｉなど）である場合の例である。サブモジュールＭ１１は、情報ｘ１ｉと属性情報ａに基づき第１の指標値ｖ１ｉを出力し、サブモジュールＭ１２は、情報ｘ２ｉと属性情報ａに基づき第２の指標値ｖ２ｉを出力するように構成されている。
図２Ｄは、属性情報ａが複数の情報ａ１，ａ２を含んだデータ（例えば、年齢ａ１と性別ａ２など）である場合の例である。サブモジュールＭ１１は、オブジェクトｘｉと属性情報ａ１に基づき第１の指標値ｖ１ｉを出力し、サブモジュールＭ１２は、オブジェクトｘｉと属性情報ａ２に基づき第２の指標値ｖ２ｉを出力するように構成されている。
図２Ｅは、第１モジュールＭ１に複数のオブジェクトが入力される例である。複数のオブジェクトのうちの１つが、指標値ｖｉを求める対象のオブジェクトｘｉであり、残りは参照オブジェクトｘｊである。参照オブジェクトｘｊは１つでもよいし複数でもよい。この構成の場合に、第１モジュールＭ１は、複数のオブジェクトｘｉ，ｘｊが同時に又は連続的に発生したという条件における条件付き確率を指標値ｖｉとして出力するとよい。
図２Ｆも、第１モジュールＭ１に複数のオブジェクトが入力される例である。図２Ｅの構成との違いは、入力されたオブジェクトｘｉ，ｘｊ，…のそれぞれに対応する指標値ｖｉ，ｖｊ，…が出力される点である。この構成の場合、指標値ｖｉは、複数のオブジェクトｘｉ，ｘｊ，…が同時に又は連続的に発生したという条件における、オブジェクトｘｉの条件付き確率であり、指標値ｖｊは、同じ条件におけるオブジェクトｘｊの条件付き確率である。
図３Ａは、第２モジュールＭ２の出力である予測結果ｙを第１モジュールＭ１に再帰させる構成の例を示し、図３Ｂは、第１モジュールＭ１の出力である指標値ｖｉを第１モジュールＭ１に再帰させる構成の例である。ここで、予測結果ｙや指標値ｖｉは第１モジュールＭ１のニューラルネットワークの中間層に与えられてもよいし、入力層に与えられてもよい。
なお、第１モジュールＭ１の構成は図２Ａ～図２Ｆ、図３Ａ～図３Ｂに示したものに限られない。例えば、図２Ｂ～図２Ｄは２つの指標値を出力する例であるが、これに限らず、３つ以上の指標値を出力する構成としてもよい。また、オブジェクトｘｉと属性情報ａがともに複数の情報を含んでいる場合には、その全ての組み合わせに対応した数の指標値を出力してもよい。また、図２Ａ～図２Ｆの構成を適宜組み合わせることにより、複数のオブジェクトと属性情報が入力され、複数の指標値を出力する構成の第１モジュールＭ１を作成してもよい。また、再帰の具体的構造は図３Ａ～図３Ｂに示したものに限定されない。例えば、第１モジュールＭ１の中間状態（ニューラルネットワークの中間層の値又は出力層の値など）を再帰させてもよいし、第２モジュールＭ２の中間状態（予測結果ｙの計算過程の値など）を再帰させてもよい。
図４は、第１モジュールＭ１の一具体例を示している。図４の構成は、変分オートエンコーダで用いられる確率的エンコーダの構造を第１モジュールＭ１に応用したものである。この第１モジュールＭ１は、ニューラルネットワーク４０とサンプリング部４１から構成される。ニューラルネットワーク４０は、少なくともオブジェクトｘｉとユーザの属性情報ａとが入力として与えられ、指標値ｖｉの確率分布を出力する構造を有している。ここでは、指標値ｖｉにガウス分布を仮定し、ニューラルネットワーク４０からパラメータμｉ，σｉ ２を出力する（μｉ：平均、σｉ ２：分散）。サンプリング部４１は、ニューラルネットワーク４０から出力された確率分布Ｎ（μｉ，σｉ ２）から指標値ｖｉのサンプリングを行う。このとき、サンプリング部４１は、微分可能な関数を用いて、確率分布Ｎ（μｉ，σｉ ２）から指標値ｖｉを決定するとよい。下記式は指標値ｖｉを計算するための関数の一例である。
ｖｉ＝μｉ＋σｉｖ＊
ｖ＊～Ｎ（０，１）
この関数は、平均値μｉに確率的なノイズσｉｖ＊を加えた値を指標値ｖｉとして出力するよう設計されている。
このように、微分可能な関数によってサンプリングを行う構成を採用したことで、指標値ｖｉの誤差をサンプリング部４１を介してニューラルネットワーク４０へと逆伝播させることが可能になる。これにより、誤差逆伝播法を用いて第１モジュールＭ１の機械学習を実施可能となる。
＜第２モジュール＞
第２モジュールＭ２は、指標値のセットＶ＝｛ｖ１，…，ｖＮ｝に対し所定の処理を施し、予測結果ｙ＝｛ｙ１，…，ｙＮ｝を出力するものである。第２モジュールＭ２は、単一の要素（１つの指標値ｖｉ）に対して処理を行うものではなく、複数の要素からなる集合（指標値のセットＶ）に対して処理を行うところに特徴の一つを有する。これにより、第２モジュールＭ２では、他の要素との関係を考慮した操作（例えば、並べ替え、選択、グループ分けなど）が実現できる。所定の処理は、予測モデル１を適用するアプリケーションにあわせて適宜設計することができる。例えば、下記の１）～５）のうちの１つ以上の処理を組み合わせて構成されるとよい。
１）指標値ｖ１，…，ｖＮに対する四則演算（足し算、引き算、内積など）
２）指標値ｖ１，…，ｖＮもしくは指標値ｖ１，…，ｖＮから演算された値ｗ１，…，ｗＮに基づく複数のオブジェクトｘ１，…，ｘＮの並び替え
３）指標値ｖｉもしくは指標値ｖｉから演算された値ｗｉに対する閾値処理
４）指標値ｖ１，…，ｖＮもしくは指標値ｖ１，…，ｖＮから演算された値ｗ１，…，ｗＮに基づく複数のオブジェクトｘ１，…，ｘＮからの一部のオブジェクトの選択
５）指標値ｖ１，…，ｖＮもしくは指標値ｖ１，…，ｖＮから演算された値ｗ１，…，ｗＮに基づく複数のオブジェクトｘ１，…，ｘＮのグループ分け
ここで、「値ｗｉ」は指標値ｖｉに対する四則演算によって得られた値である。
例えば、予測モデル１によって予測するユーザ操作が「オブジェクトの選択」の場合であれば、第２モジュールＭ２の処理は１）と４）の組み合わせで構成することができる。また、予測するユーザ操作が「全オブジェクトの並べ替え（ランキング）」の場合であれば、第２モジュールＭ２の処理は１）と２）の組み合わせで構成することができ、「一部のオブジェクトの並べ替え（ランキング）」であれば、１）と２）と４）の組み合わせで構成可能である。
予測結果ｙは、入力として与えられた複数のオブジェクトｘ１，…，ｘＮのそれぞれに
対する予測値ｙ１，…，ｙＮを要素にもつ。予測値ｙｉは、バイナリ値（０又は１）、連続値、確率分布（を表すパラメータ）、ベクトルなど、どのような型の値でもよい。予測値ｙｉの型及びその値の意味（定義）は、予測モデル１を適用するアプリケーションにあわせて適宜設計することができる。
例えば、予測するユーザ操作が「オブジェクトの選択」の場合であれば、予測値ｙｉをバイナリ値で表現し、（１：選択，０：非選択）と定義してもよい。このとき、予測結果ｙはｙ＝｛０，０，１，０，１｝のようなバイナリベクトルで出力される（この例は、５個のオブジェクトの中から３番目と５番目の２個のオブジェクトが選択されるという予測結果を示している）。また、予測するユーザ操作が「オブジェクトの並べ替え（ソーティングないしランキング）」の場合であれば、予測結果ｙとして、いわゆる並べ替え行列を出力してもよい。並べ替え行列は、Ｎ×Ｎの行列であり（Ｎはオブジェクトｘｉの数）、第ｉ行にあたるＮ次元ベクトルｙｉの中で値「１」をもつ要素がオブジェクトｘｉの順番（ランク）を表している。例えば、下に示す並べ替え行列ｙは、５個のオブジェクトｘ１～ｘ５の順番（ランク）を「４番目，２番目，５番目，３番目，１番目」と定義する行列の例である。この行列ｙに従ってオブジェクトを並べ替えると、「ｘ５→ｘ２→ｘ４→ｘ１→ｘ３」となる。
Figure 2022012883000002
また、予測するユーザ操作が「オブジェクトのグループ分け」の場合であれば、予測値ｙｉとして、オブジェクトｘｉが属するクラスタを特定する情報を出力してもよい。例えば、クラスタの数がＫ個、オブジェクトｘｉが属するクラスタの番号をｋ（ｋ＝１，…，Ｋ）とした場合、ｋ番目の要素のみ「１」、他の要素は「０」となるような、Ｋ次元のone-hotベクトルを予測値ｙｉとして出力してもよい。
第２モジュールＭ２で実行される所定の処理は、微分可能な関数を用いた処理、又は、微分可能な関数を用いた処理の組み合わせ、により近似されて構成されるとよい。微分可能な処理で第２モジュールの内部計算を構成することで、予測結果ｙの誤差を第２モジュールＭ２を介して第１モジュールＭ１へと逆伝播させることが可能になる。
処理１）の四則演算が微分可能であることは自明である。処理２）の並べ替えについては、例えば、非特許文献３、４で提案されている処理を用いてもよい。処理３）の閾値処理については、例えば、sigmoid関数やhard-sigmoid関数をstraight-through estimator
（ＳＴＥ）と組み合わせ、フォワードパスのときはsigmoid関数やhard-sigmoid関数で２
値化し、バックワードパスのときは保存しておいた２値化前の値を用いて勾配を計算すればよい。処理４）の選択については、例えば、Gumbel-softmax（非特許文献５参照）やsoftmax関数をstraight-through estimatorと組み合わせてもよい。
＜装置構成＞
図５は、予測モデル１を適用した操作予測装置５の構成例を示すブロック図である。
操作予測装置５は、主な構成として、データセット取得部５０と、属性情報取得部５１と、予測部５２と、情報出力部５３と、記憶部５４と、学習部５５と、を有している。データセット取得部５０はデータセットｘを取得する機能を有し、属性情報取得部５１は、
ユーザの属性情報ａを取得する機能を有する。予測部５２は、予測モデル１を用いて、データセットｘ及び属性情報ａからユーザの操作を予測する機能を有する。情報出力部５３は、予測結果や処理結果などの各種の情報をユーザに提供する機能を有する。記憶部５４は、データセットｘ、属性情報ａ、予測結果、処理結果などの各種データを記憶するための内部ストレージである。学習部５５は、予測モデル１の機械学習を実施する機能を有する。なお、操作予測装置５自身が予測モデル１の学習（追加学習含む）を行う場合には学習部５５は必要であるが、操作予測装置５が他の学習器で生成された学習済モデルを利用するだけであれば学習部５５は実装しなくてもよい。
操作予測装置５は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージ、通信装置、入力装置、表示装置などを備える一般的なコンピュータにより構成することができる。この場合、図５に示す構成及び後述する情報処理は、ＣＰＵが、ストレージに記憶されているプログラムをメモリ上に展開し、当該プログラムを実行することによって、ソフトウエア的に実現されるものである。利用するコンピュータは、パーソナルコンピュータ（ＰＣ）、スマートフォン、タブレット端末、ウェアラブルコンピュータ、ゲーム装置、オンボードコンピュータなど、どのような形態のものでもよい。なお、操作予測装置５の少なくとも一部の機能をＦＰＧＡやＡＳＩＣなどで構成したり、クラウドサーバなどの他の装置で実行したりする構成でもよい。
＜モデル学習＞
図６は、操作予測装置５によって実行されるモデル学習処理の一例を示すフローチャートである。
ステップＳ１００において、学習部５５が学習用データを取得する。学習用データは、内部ストレージである記憶部５４から取得されてもよいし、外部ストレージから取得されてもよい。学習用データは、Ｎ個のサンプルからなるサンプルデータセットｘｓ＝｛ｘｓ１，…，ｘｓＮ｝と、ある操作者Ｏがサンプルデータセットｘｓに対して行った操作結果である正解データｙｔ＝｛ｙｔ１，…，ｙｔＮ｝と、操作者Ｏの属性情報ａＯとを含んでいる。十分な予測精度を得るために、多数の学習用データを準備することが好ましく、また、サンプルのバリエーション及び属性情報のバリエーションが多いほど好ましい。
ステップＳ１０１において、学習部５５が、第１モジュールＭ１の全てのパラメータ（ニューラルネットワークの各層の重みなど）に初期値を設定すると共に、学習率などの機械学習に用いるパラメータの値も設定する。
ステップＳ１０２において、学習部５５が、学習用データのサンプルデータセットｘｓと属性情報ａＯを第１モジュールＭ１に入力する。
ステップＳ１０３において、フォワードパスの演算が行われる。すなわち、第１モジュールＭ１が各サンプルｘｓｉと属性情報ａＯから指標値ｖｓｉを計算し、指標値のセットＶｓ＝｛ｖｓ１，…，ｖｓＮ｝を第２モジュールＭ２へ入力する。そして第２モジュールＭ２は、指標値のセットＶｓに対し所定の処理を施し、予測結果ｙｓ＝｛ｙｓ１，…，ｙｓＮ｝を出力する。
ステップＳ１０４において、学習部５５が、予測結果ｙｓと正解データｙｔのあいだの誤差を計算する。
ステップＳ１０５において、学習部５５が、誤差逆伝播法を用いてバックワードパスの演算を行い、第１モジュールＭ１のパラメータを更新する。
ステップＳ１０６において、学習部５５が、終了判定を行い、所定の終了条件が満たされた場合に学習処理を終了する。
以上の処理によって獲得された学習済みの予測モデル１は、予測部５２に格納され、次に述べる予測処理に利用される。
＜予測処理＞
図７は、操作予測装置５によって実行される予測処理の一例を示すフローチャートである。
ステップＳ２００において、データセット取得部５０が、Ｎ個のオブジェクトからなるデータセットｘ＝｛ｘ１，…，ｘＮ｝を取得する。データセットｘは、内部ストレージである記憶部５４から取得されてもよいし、外部ストレージから取得されてもよい。
ステップＳ２０１において、属性情報取得部５１が、ユーザの属性情報ａを取得する。例えば、属性情報取得部５１は、属性情報入力画面（ＧＵＩ）を表示し、ユーザに属性情報の入力ないし選択を要求してもよい。あるいは、属性情報取得部５１は、データセットｘを解析することによってユーザの属性情報を推定したり、他のアプリケーションやネットワークサービスなどからユーザの属性情報を取得してもよい（例えば、ＳＮＳアプリとのＩＤ連携によって個人情報を取得するなど）。
ステップＳ２０２において、予測部５２が、データセットｘと属性情報ａを予測モデル１の第１モジュールＭ１に入力する。
ステップＳ２０３において、フォワードパスの演算が行われる。すなわち、第１モジュールＭ１が各サンプルｘｉと属性情報ａから指標値ｖｉを計算し、指標値のセットＶ＝｛ｖ１，…，ｖＮ｝を第２モジュールＭ２へ入力する。そして第２モジュールＭ２は、指標値のセットＶに対し所定の処理を施し、予測結果ｙ＝｛ｙ１，…，ｙＮ｝を算出する。
ステップＳ２０４において、情報出力部５３が、予測結果ｙを示す情報を出力する。予測結果ｙの出力方法は問わない。例えば、選択された画像の一覧を画面に表示してもよいし、選択された画像を用いてアルバムを生成したり、ユーザに対するレコメンデーションなどを行ってもよい。
＜実施例１＞
予測モデル１を連続ナップサック問題に適用した場合の実施例について説明する。本実施例では、複数の観光スポットの中から、予め決められた時間内に巡ることができるスポットを選択する、というアプリケーションを想定する。
入力は、観光スポットの画像群ｘ＝｛ｘ１，…，ｘＮ｝及び各観光スポットの所要時間c＝｛ｃ１，…，ｃＮ｝、観光者の属性情報としての年齢層ａである。また、制約条件と
して、トータルの観光時間Ｃｔｏｔａｌを与える。出力は、ｉ番目のオブジェクトｘｉが選択されたかどうかを示すインジケータｙｉ∈｛０，１｝である。図８は実施例１の予測モデル１の構成を模式的に示している。第１モジュールＭ１としては、１つのオブジェクト（画像ｘｉ）と属性情報（年齢層ａ）から指標値ｖｉを求める構造のモジュール（図２Ａ参照）を用いることができる。また、第２モジュールＭ２では、第１モジュールＭ１から出力される各観光スポットの指標値Ｖ、与えられた各観光スポットの所要時間ｃとトータルの観光時間Ｃｔｏｔａｌから、ナップサック問題の解が出力される。なお、図８では、図２Ａに示す構造の第１モジュールＭ１を例示したが、図２Ｅや図２Ｆに示す構造の第１モジュールＭ１を用いることによって、同時に巡る観光スポットの組合せを考慮に入れ
た指標値を計算するようにしてもよい。
ステップ１）第１モジュールＭ１が、画像ｘ１，…，ｘＮと年齢層ａから指標値ｖ１，…，ｖＮを算出する。
ステップ２）第２モジュールＭ２が、ｗｉ＝ｌｏｇ（ｖｉ）－ｌｏｇ（ｃｉ）を計算する。
ステップ３）第２モジュールＭ２が、ｗ１，…，ｗＮに基づいてＮ個のオブジェクトｘ１，…，ｘＮを降順にソートする。並び替え後のｉ番目のオブジェクトｘｉが持つ元々のインデックスをｐ（ｉ）とする。
ステップ４）第２モジュールＭ２が、下記式によりｉ番目の観光スポットまで巡った場合の合計所要時間Ｃｉを計算する。
Figure 2022012883000003
ステップ５）第２モジュールＭ２が、sigmoid（Ｃｉ－Ｃｔｏｔａｌ）を計算し、その
値が０．５以上となるｐ（ｉ）について、ｙｐ（ｉ）＝１とし、それ以外のｙの要素を０とする。
以上の処理によって、「所定の時間Ｃｔｏｔａｌ内で巡ることができる、年齢層ａの人に人気の観光スポット」を抽出することができる。このような予測結果は、例えば、旅行者の年齢に応じて観光コースをアレンジし推薦するようなアプリケーションに利用することが可能である。
＜実施例２＞
実施例１では、各オブジェクトｘｉのコストｃｉが予め与えられるナップサック問題への予測モデル１の適用例を示したが、実施例２では、コストｃｉ自体も未知のパラメータとし、第１モジュールＭ１によりコストｃｉを内部的に推定する構成を採る。
図９は実施例２の予測モデル１の構成を模式的に示している。入力は、複数のオブジェクトｘ＝｛ｘ１，…，ｘＮ｝と属性情報ａである。また、制約条件として、トータルコストＣｔｏｔａｌを与える。出力は、ｉ番目のオブジェクトｘｉが選択されたかどうかを示すインジケータｙｉ∈｛０，１｝である。実施例１との違いは、第１モジュールＭ１が、１つのオブジェクトｘｉと属性情報ａから、オブジェクトｘｉの価値に相当する第１の指標値ｖｉとコストに相当する第２の指標値ｃｉを求めるところにある。これは、例えば、図２Ｂに示す構造の第１モジュールＭ１を用いることによって実現可能である。また、第２モジュールＭ２としては、第１モジュールＭ１から出力される各オブジェクトの価値ｖｉ及びコストｃｉと、予め与えられたトータルコストＣｔｏｔａｌから、ナップサック問題を解くｋｎａｐｓａｃｋ ｓｏｌｖｅｒが用いられる。第２モジュールＭ２の構成は実施例１と同じでよい。
＜その他の適用例＞
予測モデル１は、例えば以下のようなアプリケーションにも好ましく適用できる。
１．エキスパートによる推薦の模倣
大量の料理画像のなかから、エキスパート（例：管理栄養士）に「洋風」「和風」などのコンセプトに基づいて一週間の献立を組み立ててもらう。これを学習した予測モデルを用いることにより、新たな料理画像のデータセットについて、あたかもそのエキスパートが選んだかのような献立を提供することができる。
２．ユーザに適応した推薦
様々なユーザの献立画像がサンプルデータセットとして与えられたとする。また、各ユーザの属性（和食が好き、など）が献立の傾向や履歴から推定できるとする。この学習データにより生成された予測モデルを用いることにより、新たな料理画像のデータセットと属性を与えると、その属性をもつ人（和食が好きな人、など）の好みの献立を生成することができる。
３．要約の自動生成
実施例１で述べた予測モデル１は、コンテンツの要約の自動生成に応用することができる。例えば、与えられた動画コンテンツから６０秒のプロモーションビデオを生成する場面を想定する。まず、オリジナルの動画コンテンツを、数秒から十数秒程度の短いクリップに分割する。動画の分割は、例えば、シーンの切り替わりを検知して分割する手法や、動画に埋め込まれているメタデータに基づいて分割する手法など、公知の手法を用いればよい。そして、各クリップをオブジェクトｘｉ、各クリップの再生時間をコストｃｉとして、予測モデル１に入力し、コストの合計が６０秒に収まるという制約条件の下で、価値ｖｉを最大化するオブジェクトｘｉの最適な組み合わせを求めればよい。このとき、例えば、属性情報として、「２０代、ファッション」のように年齢層と興味カテゴリを与えることで、その層別の人たちに訴求効果の高いプロモーションビデオを作成することができる。なお、動画コンテンツ以外にも、テキスト文書の要約、録音データの要約など、あらゆるデジタルコンテンツの要約生成に応用が可能である。
４．装置の要点検箇所の絞り込み
実施例２で述べた予測モデル１を、装置のメンテナンス支援に応用する例を説明する。例えば、対象とする装置が１００か所以上の点検項目を有しており、その全てをくまなく点検すると１時間以上かかると仮定する。装置の稼働中に何らかの不具合が発生し、その原因究明を１０分以内に行わねばならないとき、１００か所以上の点検項目を順に調べていては到底間に合わない。そこで、予測モデル１を用いて、不具合の原因である可能性が高く、且つ、制限時間内に点検が可能な項目を、要点検箇所として絞り込むとよい。例えば、図１０に示すように、装置を撮影した画像から点検候補箇所の画像を切り出す。そして、それらの画像群ｘと点検作業者の属性ａ（例えば点検作業のスキルなど）と制限時間Ｃｔｏｔａｌを予測モデル１に与えて、要点検箇所ｙを絞り込む。予め、熟練作業者、中堅作業者、若手作業者それぞれの点検項目や作業時間を学習しておくことで、それぞれの作業スキルに応じた点検手順の設計及びレコメンドが可能となるため、効率的な点検作業の実施が実現できる。また、用途や機能が同じ装置の場合は、不具合が発生しやすい箇所（すなわち点検項目）が共通することが多い。したがって、この予測モデル１は、新規導入した装置を初めて点検する際の、効率的な点検手順の設計にも応用することができる。
５．物品の検査
実施例２で述べた予測モデル１を、物品の抜き取り検査の支援に応用する例を説明する。例えば、製造ラインにおいて全数検査が困難な場合は、一定数の製造物を抜き取り検査することが行われる。このとき、製造物の状態によって検査内容や検査時間に違いが出るとともに、検査作業者のスキルによって抜き取る対象や検査に要する時間に差が出る。そこで、予測モデル１を用いて、制限時間（例えば１日の業務時間）内に出来る限り多くの不良を検出できるように、検査対象とすべき物品の選定を支援するとよい。
＜付記＞
１．複数のオブジェクトからなるデータセットを取得するデータセット取得部（５０）と、
ユーザの属性情報を取得する属性情報取得部（５１）と、
機械学習されたモデル（１）を用い、前記データセット及び前記属性情報から、前記ユーザが前記データセットに対して行うであろう操作を予測する予測部（５２）と、を有し、
前記モデル（１）は、
前記データセットに含まれる各オブジェクトについて、ニューラルネットワークを用いて、当該オブジェクトと前記属性情報の組み合わせに対応する指標値を計算する、第１モジュール（Ｍ１）と、
前記第１モジュール（Ｍ１）により得られた、前記複数のオブジェクトにそれぞれ対応する複数の指標値に対し所定の処理を行うことによって、前記ユーザによる操作の予測結果を計算する、第２モジュール（Ｍ２）と、
を含む構造を有しており、
前記モデル（１）は、複数のサンプルからなるサンプルデータセット、ある操作者が前記サンプルデータセットに対して行った操作結果である正解データ、及び、前記操作者の属性情報、を含む学習用データを用いて機械学習されている
ことを特徴とする操作予測装置（５）。
２．操作予測装置（５）において用いられるモデル（１）を機械学習するためのモデル学習方法であって、
複数のサンプルからなるサンプルデータセットを取得するステップ（Ｓ１００）と、
前記複数のサンプルに対する操作者の操作結果である正解データを取得するステップ（Ｓ１００）と、
前記操作者の属性情報を取得するステップ（Ｓ１００）と、
前記複数のサンプルからなるサンプルデータセット、前記正解データ、及び、前記操作者の属性情報を用いて、前記モデルの機械学習を行うステップ（Ｓ１０２～Ｓ１０６）と、
を有することを特徴とするモデル学習方法。
３．複数のオブジェクトからなるデータセットを取得するステップ（Ｓ２００）と、
ユーザの属性情報を取得するステップ（Ｓ２０１）と、
機械学習されたモデルを用い、前記データセット及び前記属性情報から、前記ユーザが前記データセットに対して行うであろう操作を予測するステップ（Ｓ２０２～Ｓ２０３）と、を有し、
前記モデル（１）は、
前記データセットに含まれる各オブジェクトについて、ニューラルネットワークを用いて、当該オブジェクトと前記属性情報の組み合わせに対応する指標値を計算する、第１モジュール（Ｍ１）と、
前記第１モジュール（Ｍ１）により得られた、前記複数のオブジェクトにそれぞれ対応する複数の指標値に対し所定の操作を行うことによって、前記ユーザによる操作の予測結果を計算する、第２モジュール（Ｍ２）と、
を含む構造を有しており、
前記モデル（１）は、複数のサンプルからなるサンプルデータセット、ある操作者が前記サンプルデータセットに対して行った操作結果である正解データ、及び、前記操作者の属性情報、を含む学習用データを用いて機械学習されている
ことを特徴とする操作予測方法。
１：予測モデル
５：操作予測装置

Claims (13)

  1. 複数のオブジェクトからなるデータセットを取得するデータセット取得部と、
    ユーザの属性情報を取得する属性情報取得部と、
    機械学習されたモデルを用い、前記データセット及び前記属性情報から、前記ユーザが前記データセットに対して行うであろう操作を予測する予測部と、を有し、
    前記モデルは、
    前記データセットに含まれる各オブジェクトについて、ニューラルネットワークを用いて、当該オブジェクトと前記属性情報の組み合わせに対応する指標値を計算する、第１モジュールと、
    前記第１モジュールにより得られた、前記複数のオブジェクトにそれぞれ対応する複数の指標値に対し所定の処理を行うことによって、前記ユーザによる操作の予測結果を計算する、第２モジュールと、
    を含む構造を有しており、
    前記モデルは、複数のサンプルからなるサンプルデータセット、ある操作者が前記サンプルデータセットに対して行った操作結果である正解データ、及び、前記操作者の属性情報、を含む学習用データを用いて機械学習されている
    ことを特徴とする操作予測装置。
  2. 前記ニューラルネットワークは、少なくとも１つのオブジェクトと前記属性情報が入力として与えられ、指標値の確率分布を出力する構造を有しており、
    前記第１モジュールは、前記ニューラルネットワークから出力された確率分布から指標値をサンプリングし、当該指標値を前記第２モジュールへ出力する
    ことを特徴とする請求項１に記載の操作予測装置。
  3. 前記第１モジュールは、微分可能な関数を用いて、前記確率分布から前記指標値をサンプリングする
    ことを特徴とする請求項２に記載の操作予測装置。
  4. 前記ニューラルネットワークは、前記第１モジュール及び前記第２モジュールのいずれかで得られる値が再帰的に入力される構造を有する
    ことを特徴とする請求項１～３のうちいずれか１項に記載の操作予測装置。
  5. 前記第１モジュールは、複数のオブジェクトが入力として与えられ、前記複数のオブジェクトが同時に又は連続的に発生したという条件における指標値を出力する構造を有することを特徴とする請求項１～４のうちいずれか１項に記載の操作予測装置。
  6. 前記オブジェクト又は前記属性情報は複数の情報を含んでおり、
    前記第１モジュールは、前記複数の情報のそれぞれに対応した複数のサブモジュールから構成されており、各オブジェクトについて、前記複数のサブモジュールで得られた複数の指標値を出力する
    ことを特徴とする請求項１～５のうちいずれか１項に記載の操作予測装置。
  7. 前記所定の処理は、
    前記指標値に対する四則演算、
    前記指標値もしくは前記指標値から演算された値に基づく前記複数のオブジェクトの並び替え、
    前記指標値もしくは前記指標値から演算された値に対する閾値処理、
    前記指標値もしくは前記指標値から演算された値に基づく前記複数のオブジェクトからの一部のオブジェクトの選択、及び、
    前記指標値もしくは前記指標値から演算された値に基づく前記複数のオブジェクトのグループ分け、
    のうち少なくともいずれかを含む
    ことを特徴とする請求項１～６のうちいずれか１項に記載の操作予測装置。
  8. 前記所定の処理は、微分可能な関数を用いた処理、又は、微分可能な関数を用いた処理の組み合わせにより近似されて構成される
    ことを特徴とする請求項１～７のうちいずれか１項に記載の操作予測装置。
  9. 請求項１～８のうちいずれか１項に記載の操作予測装置において用いられるモデルを機械学習するためのモデル学習方法であって、
    複数のサンプルからなるサンプルデータセットを取得するステップと、
    前記複数のサンプルに対する操作者の操作結果である正解データを取得するステップと、
    前記操作者の属性情報を取得するステップと、
    前記複数のサンプルからなるサンプルデータセット、前記正解データ、及び、前記操作者の属性情報を用いて、前記モデルの機械学習を行うステップと、
    を有することを特徴とするモデル学習方法。
  10. 前記機械学習を行うステップでは、誤差逆伝播法により、前記複数のサンプルと前記操作者の属性情報とを入力として与えたときの前記モデルの出力と、前記正解データとのあいだの誤差に基づき、前記第１モジュール及び前記第２モジュールの学習が行われる
    ことを特徴とする請求項９に記載のモデル学習方法。
  11. 複数のオブジェクトからなるデータセットを取得するステップと、
    ユーザの属性情報を取得するステップと、
    機械学習されたモデルを用い、前記データセット及び前記属性情報から、前記ユーザが前記データセットに対して行うであろう操作を予測するステップと、を有し、
    前記モデルは、
    前記データセットに含まれる各オブジェクトについて、ニューラルネットワークを用いて、当該オブジェクトと前記属性情報の組み合わせに対応する指標値を計算する、第１モジュールと、
    前記第１モジュールにより得られた、前記複数のオブジェクトにそれぞれ対応する複数の指標値に対し所定の操作を行うことによって、前記ユーザによる操作の予測結果を計算する、第２モジュールと、
    を含む構造を有しており、
    前記モデルは、複数のサンプルからなるサンプルデータセット、ある操作者が前記サンプルデータセットに対して行った操作結果である正解データ、及び、前記操作者の属性情報、を含む学習用データを用いて機械学習されている
    ことを特徴とする操作予測方法。
  12. 請求項９又は１０に記載のモデル学習方法の各ステップをプロセッサに実行させるためのプログラム。
  13. 請求項１１に記載の操作予測方法の各ステップをプロセッサに実行させるためのプログラム。
JP2020115035A 2020-07-02 2020-07-02 操作予測装置及びそのモデル学習方法、操作予測方法 Active JP7487587B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020115035A JP7487587B2 (ja) 2020-07-02 2020-07-02 操作予測装置及びそのモデル学習方法、操作予測方法
PCT/JP2021/022970 WO2022004399A1 (ja) 2020-07-02 2021-06-17 操作予測装置及びそのモデル学習方法、操作予測方法
EP21831799.8A EP4156046A4 (en) 2020-07-02 2021-06-17 OPERATION PREDICTION DEVICE, MODEL LEARNING METHOD THEREFOR AND OPERATION PREDICTION METHOD
CN202180046140.0A CN115997216A (zh) 2020-07-02 2021-06-17 操作预测装置及其模型学习方法、操作预测方法
US18/002,698 US20230334323A1 (en) 2020-07-02 2021-06-17 Operation prediction apparatus, model training method for same, and operation prediction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020115035A JP7487587B2 (ja) 2020-07-02 2020-07-02 操作予測装置及びそのモデル学習方法、操作予測方法

Publications (2)

Publication Number Publication Date
JP2022012883A true JP2022012883A (ja) 2022-01-17
JP7487587B2 JP7487587B2 (ja) 2024-05-21

Family

ID=79316037

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020115035A Active JP7487587B2 (ja) 2020-07-02 2020-07-02 操作予測装置及びそのモデル学習方法、操作予測方法

Country Status (5)

Country Link
US (1) US20230334323A1 (ja)
EP (1) EP4156046A4 (ja)
JP (1) JP7487587B2 (ja)
CN (1) CN115997216A (ja)
WO (1) WO2022004399A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023139674A (ja) * 2022-03-22 2023-10-04 三菱電機株式会社 学習装置、推論装置、及び、画像処理装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018063484A (ja) * 2016-10-11 2018-04-19 凸版印刷株式会社 ユーザ評価予測システム、ユーザ評価予測方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100116B2 (en) * 2018-10-30 2021-08-24 International Business Machines Corporation Recommendation systems implementing separated attention on like and dislike items for personalized ranking
US12367420B2 (en) * 2020-03-19 2025-07-22 Sri International User targeted content generation using multimodal embeddings

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018063484A (ja) * 2016-10-11 2018-04-19 凸版印刷株式会社 ユーザ評価予測システム、ユーザ評価予測方法及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
KAMISHIMA, TOSHIHIRO ET AL.: ""Nantonac Collaborative Filtering - A Model-Based Approach"", PROCEEDINGS OF THE FOURTH ACM CONFERENCE ON RECOMMENDER SYSTEMS (RECSYS '10) [ONLINE], JPN7021003314, 2010, US, pages 273 - 276, ISSN: 0005299846 *
PEI, CHANGHUA ET AL.: ""Personalized Re-Ranking for Recommendation"", PROCEEDINGS OF THE 13TH ACM CONFERENCE ON RECOMMENDER SYSTEMS (RECSYS '19) [ONLINE], JPN7021003315, 2019, US, pages 3 - 11, ISSN: 0005299848 *
SHARMA, ABHISHEK: ""Listwise Learning to Rank with Deep Q-Networks"", ARXIV.ORG [ONLINE], vol. arXiv: 2002.07651v1, JPN6021032613, February 2020 (2020-02-01), US, pages 1 - 8, ISSN: 0005299847 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023139674A (ja) * 2022-03-22 2023-10-04 三菱電機株式会社 学習装置、推論装置、及び、画像処理装置

Also Published As

Publication number Publication date
EP4156046A4 (en) 2024-06-05
CN115997216A (zh) 2023-04-21
JP7487587B2 (ja) 2024-05-21
WO2022004399A1 (ja) 2022-01-06
EP4156046A1 (en) 2023-03-29
US20230334323A1 (en) 2023-10-19

Similar Documents

Publication Publication Date Title
CN111159564B (zh) 信息推荐方法、装置、存储介质及计算机设备
CN110717098B (zh) 基于元路径的上下文感知用户建模方法、序列推荐方法
US11699095B2 (en) Cross-domain recommender systems using domain separation networks and autoencoders
CN115917535A (zh) 推荐模型的训练方法、推荐方法、装置及计算机可读介质
CN112468853B (zh) 电视资源推荐方法、装置、计算机设备及存储介质
CN113158038B (zh) 基于sta-tcn神经网络框架的兴趣点推荐方法及系统
CN112395499B (zh) 信息推荐方法及装置、电子设备、存储介质
EP4083857A1 (en) Information prediction model training method and apparatus, information prediction method and apparatus, storage medium, and device
CN109062962A (zh) 一种融合天气信息的门控循环神经网络兴趣点推荐方法
CN116738066B (zh) 乡村旅游服务推荐方法、装置、电子设备及存储介质
CN114417166B (zh) 基于行为序列和动态社交影响的连续兴趣点推荐方法
CN117633371B (zh) 基于多注意力机制的推荐方法、设备和可读存储介质
CN115965439B (zh) 数据召回方法、数据召回装置、电子设备及存储介质
CN115712780A (zh) 一种基于云计算和大数据的信息推送方法及装置
CN117216362A (zh) 内容推荐方法、装置、设备、介质和程序产品
CN113032676A (zh) 基于微反馈的推荐方法和系统
CN116186395A (zh) 一种资源推荐、模型训练方法及装置、设备及存储介质
WO2023087933A1 (zh) 内容推荐方法、装置、设备、存储介质及程序产品
AlSaeed LOCUS: A mobile tourism application and recommender system for personalized places and activities
JP7487587B2 (ja) 操作予測装置及びそのモデル学習方法、操作予測方法
CN112784177A (zh) 一种空间距离自适应的下一个兴趣点推荐方法
CN114723084B (zh) 新颖性物品召回模型的生成方法、召回方法及装置和系统
Quadrana Algorithms for sequence-aware recommender systems
Hassanpour et al. Improving Accuracy of Recommender Systems using Social Network Information and Longitudinal Data
CN117312912A (zh) 业务数据分类预测模型的生成方法、装置及计算机设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240422

R150 Certificate of patent or registration of utility model

Ref document number: 7487587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150