JP2016118871A - 生成装置、生成方法、及び、プログラム - Google Patents

生成装置、生成方法、及び、プログラム Download PDF

Info

Publication number
JP2016118871A
JP2016118871A JP2014257292A JP2014257292A JP2016118871A JP 2016118871 A JP2016118871 A JP 2016118871A JP 2014257292 A JP2014257292 A JP 2014257292A JP 2014257292 A JP2014257292 A JP 2014257292A JP 2016118871 A JP2016118871 A JP 2016118871A
Authority
JP
Japan
Prior art keywords
evaluation
value
function
generation
constraint condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014257292A
Other languages
English (en)
Other versions
JP6573272B2 (ja
Inventor
貴幸 吉住
Takayuki Yoshizumi
貴幸 吉住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Priority to JP2014257292A priority Critical patent/JP6573272B2/ja
Priority to US14/976,280 priority patent/US20160180252A1/en
Publication of JP2016118871A publication Critical patent/JP2016118871A/ja
Application granted granted Critical
Publication of JP6573272B2 publication Critical patent/JP6573272B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】従来の方法によると、評価者の評価の基準がぶれて評価の一貫性が欠けることがあり、また、複数の評価者によって評価する場合に評価の基準点及び採点のスケール等が評価者ごとにまちまちとなることがあり、更に評価対象の属性値の生の値をそのまま重みづけることが多く、属性値を適切な形式で評価関数に取り込むことがでなかった。【解決手段】評価対象の評価値を算出する評価関数を生成する生成装置であって、評価対象の定性的評価を含む学習データを取得する取得部と、学習データに基づいて、評価対象に対する評価関数の値が満たすべき制約条件を生成する生成部と、制約条件を満たすように、評価関数における複数の属性に対する重みを決定する決定部と、を備える生成装置等を提供する。【選択図】図1

Description

本発明は、評価関数の生成装置、生成方法、及び、プログラムに関する。
最適化問題等における解等を評価関数で評価する方法が知られている(非特許文献1−2及び特許文献1−2)。例えば、人による解の定量的な評価(例えば、100点満点による解の評価)と評価関数の出力値が一致するように、評価関数の重みを調整する手法が知られている。
しかし、従来の方法によると、評価者による評価の基準が一貫しないことがあり、また、複数の評価者によって評価する場合に評価の基準点及び採点のスケール等が評価者ごとに異なる場合があった。更に、従来、評価対象の属性値をそのまま重みづけした評価関数を用いていたので、評価対象の属性値の変化を適切に評価関数に反映させられなかった。
[非特許文献1]評価関数の重みパラメータを推定する対話型遺伝的アルゴリズム、石川等、電子情報通信学会論文誌 D, Vol.J94-D, No.11, pp.1888-1898, 2011
[非特許文献2]麻雀の牌譜からの打ち手評価関数の学習、北川等、情報処理学会シンポジウム論文集 2007, Vol.12, pp.76-83
[特許文献1]特開2009−181195号公報
[特許文献2]特開2004−118552号公報
以上のことから、従来、評価者による解の評価結果を正確に再現する評価関数を生成することができなかった。
本発明の第1の態様においては、評価対象の評価値を算出する評価関数を生成する生成装置であって、評価対象の定性的評価を含む学習データを取得する取得部と、学習データに基づいて、評価対象に対する評価関数の値が満たすべき制約条件を生成する生成部と、制約条件を満たすように、評価関数における複数の属性に対する重みを決定する決定部と、を備える生成装置、当該生成装置による生成方法、及び、当該生成装置に用いるプログラムを提供する。
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
本実施形態の生成装置10のブロック図を示す。 評価対象及び定量評価の一例を示す。 本実施形態における定性評価の一例を示す。 本実施形態の生成装置10の処理フローを示す。 判定部170が生成する散布図の一例を示す。 追加的に取得された定性的評価に基づく散布図の一例を示す。 コンピュータ1900のハードウェア構成の一例を示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、生成装置10のブロック図を示す。生成装置10は、評価対象の評価値を算出する評価関数を生成する。例えば、生成装置10は、最適化問題の解を入力して解の定量的評価を示す評価値を出力する評価関数を生成する。生成装置10は、取得部110、生成部130、決定部150、判定部170、及び、提示部190を備える。
取得部110は、評価対象と評価者による当該評価対象の定性的評価とを含む学習データを取得する。例えば、取得部110は、外部のデータベース20等から属性ごとの属性値(例えば、属性「充填率」の属性値0.76)を有する評価対象と、評価主体が2以上の評価対象を定性的に比較した比較結果を有する定性的評価(例えば、「評価対象iは評価対象jより少し優れる」)とを含む学習データを取得する。取得部110は、取得した学習データを生成部130に供給する。
生成部130は、学習データに基づいて、評価対象に対する評価関数の値が満たすべき制約条件を生成する。例えば、生成部130は、制約条件として、比較対象となった2以上の評価対象に対する評価関数の評価値の差と、定性的評価の基準となる評価閾値とを含む不等式を生成する。また、例えば、生成部130は、評価対象の属性ごとに属性値を入力とする複数の基底関数の重み付け和に基づく項を有する評価関数に基づく制約条件を生成する。
生成部130は、出力値が最適化(例えば、最小化)の対象となり、複数の変数を有する目的関数を生成する。例えば、生成部130は、誤差変数を含む目的関数を生成する。生成部130は、評価関数に含まれる基底関数の数の合計を含む目的関数を生成してもよい。生成部130が生成する制約条件及び目的関数の詳細は後述する。生成部130は、生成した制約条件及び目的関数を決定部150に供給する。
決定部150は、制約条件を満たしつつ目的関数の出力値を最適化するための、制約条件中の変数及び目的関数中の変数の値を決定する。例えば、決定部150は、生成部130が生成した制約条件を満たしつつ目的関数の出力値を最小化するように、評価関数における1又は複数の属性に対する重み、複数の基底関数のそれぞれの重み、及び、評価閾値の値を決定する。決定部150は、決定した各変数の値を判定部170に供給する。
判定部170は、決定部150が決定した重みに基づく評価関数により、2以上の評価対象について評価値の差を算出する。判定部170は、算出した評価値の差が、決定部150が決定した評価閾値に対して基準範囲内にあるか否かを判定する。判定部170は、判定結果を提示部190に供給する。
提示部190は、判定部170が評価値の差が基準範囲内にないと示す場合に、評価閾値近傍の評価値の差が得られるであろう評価対象のペアを評価主体に提示する。例えば、提示部190は、現在の評価関数において2以上の評価対象の評価値の差が基準範囲内となる2以上の評価対象を評価主体に提示する。
判定部170による判定が否定的な場合、近傍にデータがない評価閾値を得たことになるので、評価閾値の精度が十分でない可能性がある。従って、評価閾値の精度を向上させるために評価閾値近辺のデータを追加することが好ましい。そこで、提示部190が閾値近辺のデータを取得するための評価対象を評価主体に提示する。これにより、提示部190は、提示された評価対象についての評価主体による定性的評価を取得部110に取得させて、生成装置10に評価閾値の精度を向上させるための追加的な学習をさせることができる。
このように、生成装置10は、評価主体による評価対象の比較結果の定性的評価を含む学習データを取得して、定性的評価に基づく制約条件及び目的関数を生成する。評価対象の比較結果の定性的評価は、評価対象の序列を示す順序尺度であり、スケール及び基準点等の比率尺度を含まない。
従って、生成装置10は、順序尺度である定性的評価に基づいて生成された制約条件付きの目的関数を解くことにより、評価主体の比率尺度による評価で生じ得るブレ等が少ない評価関数を生成することができる。また、生成装置10は、評価対象の属性ごとに属性値を入力とする複数の基底関数の重み付け和に基づく項を有する評価関数を生成するので、属性ごとに属性値が評価値へ与える影響を最適化することができる。
図2は、従来の評価対象、及び、評価対象の定量的評価の一例を示す。図2に示す表中の評価対象1、評価対象2、評価対象3…は、評価関数が評価値を出力する対象となるそれぞれ異なる評価対象である。評価対象1〜3等は、最適化問題をソルバに解かせて得た解、最適化問題から人が生成した解、又は、初期条件をシミュレータに入力して得られたシミュレーション結果等であってよい。
ここでは、一例として、評価対象が手術等に用いられる医療用具のパッキング方法である場合を示す。評価対象1〜3の各パッキング方法は、「充填率(空間に十分用具が詰められているか)」、「滅菌容易性(パッキングが滅菌しやすいか)」、「縦横バランス(パッキングの縦横のバランスが良いか)」等の属性により評価される。
例えば、評価対象1は、属性「充填率」が属性値0.76を有し、属性「滅菌容易性」が属性値0.52を有し、属性「縦横バランス」が属性値0.83を有する。その結果、評価主体である評価者Aには100点満点中70点と評価され、評価者Bには100点満点中52点と評価される。
例えば、評価対象2は、属性「充填率」が属性値0.89を有し、属性「滅菌容易性」が属性値0.62を有し、属性「縦横バランス」が属性値0.46を有する。その結果、評価主体である評価者Aには100点満点中75点と評価され、評価者Bには100点満点中81点と評価される。
例えば、評価対象3は、属性「充填率」が属性値0.41を有し、属性「滅菌容易性」が属性値0.50を有し、属性「縦横バランス」が属性値0.61を有する。その結果、評価主体である評価者Aには100点満点中62点と評価され、評価者Bには100点満点中38点と評価される。
評価者A及び評価者Bによる各評価対象の定量的評価は共通の傾向を有する。すなわち、評価者A及び評価者Bは、いずれも評価対象2が最も優れていると評価し、次に評価対象1が優れていると評価し、評価対象3が最も劣っていると評価する。
しかし、評価者A及び評価者Bの評価の定量的な性質は大きく異なる。例えば、評価者Aによる評価対象1〜3の評価結果は、平均点69、分散が29となるのに対し、評価者Bによる評価対象1〜3の評価結果は、平均点57、分散が321となる。すなわち、評価者Aは、評価者Bに比較して基準点が高く評価のスケールが小さい(すなわち、評価者Aは相対的に評価が甘く優劣を小さく評価する傾向がある)。
また、同じ評価者が複数の評価対象を評価する場合でも評価がぶれる場合がある。例えば、一人の評価者が非常に多数の評価対象を評価する場合、評価の最初と最後で評価の基準点及びスケール等が変遷してしまうことがある。このような、当該比率尺度における基準及びスケールの相違/変遷等に起因して、複数の評価者による評価を再現する評価関数を定量的評価から正確に学習することは従来困難であった。
図3は、本実施形態における定性評価の一例を示す。本実施形態における取得部110は、学習データとして、図2と同様の評価対象について、複数の評価対象の定性的な比較結果を含む定性的評価を取得する。例えば、取得部110は、図2に示す定量的評価の代わりに、評価者Aによる評価対象1及び評価対象2の比較結果(両者は同程度)、評価者Aによる評価対象3及び評価対象4の比較結果(評価対象3が少し優れる)、評価者Bによる評価対象1及び評価対象2の比較結果(評価対象2が遥かに優れる)、及び、評価者Bによる評価対象3及び評価対象4の比較結果(評価対象3が遥かに優れる)を取得する。
図3に示すように評価者Aと評価者Bは、異なる基準で評価対象を評価する。例えば、評価者Bの方が評価対象の優劣の差を大きく感じやすい傾向がある。しかし、本実施形態の生成部130は、このような評価者による相違を含めた制約条件を生成するので、評価者の相違による影響を低減した評価関数を生成することができる。
図4は、本実施形態の生成装置10の処理フローを示す。本実施形態において、生成装置10は、S110からS210の処理を実行することにより、学習データに応じた評価関数を生成する。
まず、S110において、取得部110は、評価関数を生成するための学習データを取得する。例えば、取得部110は、属性ごとの属性値を有する評価対象と、評価主体による評価対象の定性的評価とを含む学習データを取得する。取得部110は、生成装置10の内部の記憶装置、生成装置10に接続された外部のデータベース20、及び/又は、ネットワーク等から学習データを取得してよい。
取得部110は、評価対象として、最適化問題を解いた解、シミュレーションにより得られた解、人が生成した解等を扱ってよい。一例として、取得部110は、作業方法(例えば、手術用具のパッキング方法)、スケジューリング(例えば、製品等の製造工程又は交通機関のダイヤグラム)、ゲーム/競技等における行動(例えば、将棋の指し手)、事業上の戦略/戦術(例えば、フランチャイズ店舗の出店)、及び/又は、創作物(例えば、建築物の設計又は芸術作品)等を評価対象として扱ってよい。
取得部110は、評価対象として、各評価対象iの各属性の属性値を取得する。例えば、取得部110は、評価対象iのK個の属性値からなる属性ベクトルx(i)=(xi1,xi2,…,xiK)を取得する。例えば、取得部110は、評価対象の特性/特徴を表す整数値、バイナリ値、又は実数値を属性値として取得する。取得部110は、1つの属性に対して2以上の属性値を取得してよい。例えば、取得部110は、複数の属性値を含む属性ベクトルを属性ごとに取得し、属性ベクトルを連結したベクトルを評価対象として取得してよい。
取得部110は、評価対象の定性的評価として、評価主体が2以上の評価対象を定性的に比較した比較結果を有する定性的評価を取得する。例えば、取得部110は、学習データに含まれる比較結果と比較対象となった評価対象のペアとを取得し、評価対象のペアを比較結果ごとに分類した結果を定性的評価として取得してよい。一例として、取得部110は、全N個の評価対象から生成されるペアの全組み合わせ(N×(N−1)×1/2個)の比較結果、又は、一部のペアの組み合わせの比較結果を分類した結果を定性的評価として取得してよい。
取得部110は、リッカート尺度に基づいて、評価対象のペアの評価の差により分類した結果を定性的評価として取得する。一例として、取得部110は、「評価対象iと評価対象jは同程度」に分類されるペアを含むペア集合R (u)、「評価対象iが評価対象jよりも少し優れている」に分類されるペアを含むペア集合R (u)、及び、「評価対象iが評価対象jよりも遥かに優れている」に分類されるペアを含むペア集合R>> (u)をそれぞれ取得してよい。
また、取得部110は、3個以上の評価対象のグループを比較結果の種類ごとに分類した結果を定性的評価として取得してよい。例えば、取得部110は、「評価対象iを含む複数の評価対象からなるグループAの中で、評価対象iは最も良い」に分類された評価対象i及びグループAのグループ集合Rbest、又は、「評価対象iを含む複数の評価対象からなるグループAの中で、評価対象iは最も悪い」に分類された評価対象i及びグループAのグループ集合Rworstを、定性的評価として取得してよい。
取得部110は、複数の評価対象の比較結果に基づく定性的評価に代えて/加えて、評価対象と予め定められた評価基準とを定性的に比較した比較結果を、定性的評価として取得してよい。例えば、取得部110は、各評価対象を単一の評価基準又は複数の評価基準のいずれかと定性的に比較した比較結果を定性的評価として取得してよい。一例として、取得部110は、各評価対象を、予め定められた悪い評価のモデルとなる評価対象、予め定められた中庸な評価のモデルとなる評価対象、又は、予め定められた良い評価のモデルとなる評価対象等と比較した比較結果(モデルとなる評価対象に対して同程度/良い/悪い等)を定性的評価として取得してよい。
取得部110は、1の評価主体u(例えば、1人の評価者)による定性的評価を取得してよい。これに代えて、取得部110は、複数の評価主体u(u∈U)による定性的評価を含む学習データを取得してよい。取得部110は、取得した学習データを生成部130に供給する。
次に、S130において、生成部130は、学習データに基づいて、評価対象に対する評価関数の値が満たすべき制約条件、及び、最適化の対象となる目的関数を生成する。
例えば、生成部130は、制約条件として、比較対象となった2以上の評価対象に対する評価関数の評価値の差と、定性的評価の基準となる評価閾値とを含む不等式を生成する。一例として、生成部130は、学習データ中の「評価対象iと評価対象jは同程度」であることが示されたペア集合R (u)中のペア(評価対象iと評価対象j)の各々に対して、評価対象iに対する評価関数の評価値f(x(i))と評価対象jに対する評価関数の評価値f(x(j))の差に、評価対象i及び評価対象jのペアに対応する誤差変数σijを加えた値の絶対値が、第1の評価閾値zu0以下となるような不等式を生成する。一例として、生成部130は、数式1に示す不等式を生成する。
Figure 2016118871
また、例えば、生成部130は、学習データ中の「評価対象iが評価対象jよりも少し優れている」であることが示されたペア集合R (u)中のペア(評価対象iと評価対象j)の各々に対して、評価対象iに対する評価関数の評価値f(x(i))と評価対象jに対する評価関数の評価値f(x(j))の差に、評価対象i及び評価対象jのペアに対応する誤差変数σijを加えた値の絶対値が、第1の評価閾値zu0以上かつ第2の評価閾値zu1以下となるような不等式を生成する。一例として、生成部130は、数式2に示す不等式を生成する。
Figure 2016118871
また、例えば、生成部130は、学習データ中の「評価対象iが評価対象jよりも遥かに優れている」であることが示されたペア集合R>> (u)中のペア(評価対象iと評価対象j)の各々に対して、評価対象iに対する評価関数の評価値f(x(i))と評価対象jに対する評価関数の評価値f(x(j))の差に、評価対象i及び評価対象jのペアに対応する誤差変数σijを加えた値の絶対値が、第2の評価閾値zu0以上となるような不等式を生成する。一例として、生成部130は、数式3に示す不等式を生成する。
Figure 2016118871
また、例えば、生成部130は、学習データ中の「評価対象iを含む複数の評価対象からなるグループAの中で、評価対象iはで最も良い」であることが示されたグループ集合Rbest中の各グループから制約条件を生成する。一例として、生成部130は、当該グループから生成できる評価対象iと評価対象i以外の評価対象jとの複数のペアの各々に対して、評価対象iに対する評価関数の評価値f(x(i))と評価対象jに対する評価関数の評価値f(x(j))の差に、評価対象i及び評価対象jのペアに対応する誤差変数σijを加えた値の絶対値が、0以上となるような不等式を生成する。一例として、生成部130は、数式4に示す不等式を生成する。
Figure 2016118871
また、例えば、生成部130は、学習データ中の「評価対象iを含む複数の評価対象からなるグループAの中で、評価対象iはで最も悪い」であることが示されたグループ集合Rworst中の各グループから制約条件を生成する。一例として、生成部130は、当該グループから生成できる評価対象iと評価対象i以外の評価対象jとの複数のペアの各々に対して、評価対象iに対する評価関数の評価値f(x(i))と評価対象jに対する評価関数の評価値f(x(j))の差に、評価対象i及び評価対象jのペアに対応する誤差変数σijを加えた値の絶対値が、0以下となるような不等式を生成する。一例として、生成部130は、数式5に示す不等式を生成する。
Figure 2016118871
評価主体u(u∈U)ごとの定性的評価を学習データとして取得した場合、生成部130は、制約条件として、評価主体u(u∈U)ごとの評価閾値を含む不等式を生成してよい。例えば、生成部130は、数式1〜5の不等式を評価主体uごとに生成してよい。これに代えて、生成部130は、全評価主体に共通で数式1〜5の不等式を生成してもよい。
生成部130は、評価関数についての制約条件を生成する。例えば、生成部130は、評価対象の属性k(k∈K)ごとに属性値xを入力とするM個(但し、l及びMは1≦l≦Mとなる整数)の種類の基底関数φkl(x)の重み付け和に基づく項wklφkl(x)を有する評価関数f(x)に基づく制約条件を生成する。
生成部130は、M個の種類の基底関数φkl(x)として、種々の関数を用いてよい。例えば、生成部130は、基底関数φkl(x)として、ax+b、a(x−b)+c、a(x−b)1/2+c、a/(x−b)+c、a・exp(−b(x−c))+d、又は、a/(b+c・exp(d(x−e)))等を用いてよい。なお、a、b、c、d、及びeは予め定められた定数であってよい。生成部130は、同一種類で異なる定数の基底関数φkl(x)を用いてよい(例えば、x+5と2x−5等)。
一例として、生成部130は、数式6に示す制約条件を生成する。これにより、生成部130は、評価関数を定義する。
Figure 2016118871
生成部130は、全属性k∈Kの全基底関数の種類l∈Mについての全重みwklの和についての制約条件を生成する。例えば、生成部130は、全重みwklの和を1とする制約条件を生成する。すなわち、生成部130は、数式7に示す制約条件を生成する。
Figure 2016118871
生成部130は、重みwkl及び基底関数の選択変数yklに関する制約条件を生成する。例えば、生成部130は、重みwklが0以上、選択変数ykl以下となる制約条件を生成する。更に、生成部130は、基底関数の選択変数yklが0又は1のいずれかの値のみを取ることを規定する制約条件も生成してよい。
これにより、基底関数の選択変数yklが1となる場合、評価関数における対応する基底関数φkl(x)の重みが0より大きい値が取り得る。従って、評価関数において基底関数φkl(x)の採用が許される。一方で、基底関数の選択変数yklが0となる場合、評価関数における対応する基底関数φkl(x)の重みが0に定まるので、評価関数において基底関数φkl(x)の採用が許されない。
すなわち、選択変数yklは、評価関数f(x)における基底関数φkl(x)の採否を決定する。このように、生成部130は、複数の基底関数φkl(x)の各々を含むか否かを示す選択変数yklを含む制約条件を生成する。例えば、生成部130は、数式8及び数式9に示す制約条件を生成する。
Figure 2016118871
Figure 2016118871
生成部130は、評価関数において、属性k(k∈K)ごとに採用されうる基底関数φkl(x)の数を制限する制約条件を生成してよい。例えば、生成部130は、評価関数の属性kに対応する項において、用いられる基底関数φkl(x)の種類の合計が予め定められた数B以下となる制約条件を生成してよい。これにより、生成部130は、評価関数が学習データに過剰適合することを防ぐことができる。一例として、生成部130は、数式10に示す制約条件を生成してよい。Bは、基底関数の数の上限を表す予め定められた整数である。
Figure 2016118871
生成部130は、評価関数において、属性k(k∈K)ごとに採用されうる基底関数φkl(x)の重みの合計が予め定められた基準W以上となる制約条件を生成してよい。これにより、生成部130は、評価関数が評価対象の一部の属性を全く反映しなくなることを防止できる。一例として、生成部130は、数式11に示す制約条件を生成してよい。Wは、重み和の下限を表す予め定められた実数である。
Figure 2016118871
生成部130は、数式1〜11に対する制約条件の全てを生成してもよく、これらの制約条件の一部を省略してもよい。例えば、生成部130は、数式2−3及び数式4−5の一方に対応する制約条件を省略してよく、及び/又は、数式8〜11の少なくとも一部に対応する制約条件を省略してもよい。
生成部130は、制約条件と合わせて、目的関数を生成する。例えば、生成部130は、評価閾値に係る不等式に含まれる誤差変数σijの絶対値の総和を含む目的関数を生成する。また、例えば、生成部130は、目的関数に選択変数yklの総和を加えてもよい。目的関数に選択変数yklの総和を加えた場合、評価関数で採用されるφkl(x)の種類が少なくなるので、評価関数が学習データに過剰適合することを防ぐことができる。一例として、生成部130は、数式12に係る目的変数を生成する。
Figure 2016118871
λは、予め定められた定数(例えば、1)であり、誤差変数σijの総和と選択関数yklの総和との評価関数におけるバランスを定める。生成部130は、誤差変数σij等の変数を固定した上で、交叉検定でλを最適化してもよい。
生成部130は、生成した制約条件及び目的関数を決定部150に供給する。
次に、S150において、決定部150は、評価関数に含まれる基底関数の数の合計、及び/又は、誤差変数を含む目的関数を用いて重みを含む各変数の値を最適化する。例えば、決定部150は、S130で生成した制約条件を満たしつつ目的関数の出力値を最適化するように、評価関数における1又は複数の属性に対する複数の基底関数のそれぞれの重みwkl、及び、評価閾値zu0及びzu1の値を決定する。
一例として、決定部150は、数式1〜11の制約条件を満たしつつ、数式12の目的関数を最小化するように、評価対象のペア及びグループの各々についての評価対象i、jの誤差変数σij、各属性k及び各基底関数lについての重みwklと選択変数ykl、及び、各評価主体uについての各評価閾値zu0とzu1を決定する。
制約条件付きの目的関数の最適化問題は混合整数計画問題(Mixed Integer Programming:MIP)となるので、決定部150は、S150の処理を既存のソルバ(例えば、IBM ILOG CPLEX)により実行することができる。選択変数yklを用いる制約条件を省略する場合は、決定部150は、線形計画問題(Linear Programming:LP)を解くことにより簡易的にS150の処理を実行できる。決定部150は、決定した各変数の値を判定部170に供給する。
次に、S170において、判定部170は、決定した重み等の変数に基づく評価関数に基づいて、学習データの2以上の評価対象から散布図を生成する。例えば、判定部170は、S110で比較結果を取得した学習データの複数の評価対象のペア(すなわち、ペア集合R (u)、ペア集合R (u)、及び、ペア集合R>> (u)に含まれるペア)の属性値を、S150で決定した評価関数に入力して、ペアに係る評価対象の評価値を得る。そして、ペア内の評価値の差を横軸とする散布図を生成する。
図5に、判定部170が生成する散布図の一例を示す。図5では、2人の評価者A及び評価者Bが複数の同一の評価対象のペアを評価した結果の例を示す。判定部170は、複数の評価者が異なる評価対象のペアを評価した散布図を生成してもよい。図中の+は評価者A又は評価者Bにより同程度と判断された評価対象のペアに対応し、Xは評価者A又は評価者Bにより一方が少し優れていると判断された評価対象のペアに対応し、*は評価者A又は評価者Bにより一方が遥かに優れていると判断された評価対象のペアに対応する。図中の、R1は評価者Aが同程度と判断した評価対象ののペア集合を示し、R2は評価者Aが一方が少し優れていると判断した評価対象のペアのペア集合を示し、R3は評価者Aが一方が遥かに優れていると判断した評価対象のペアのペア集合を示す。
u0AはR1とR2とを区分する第1の評価閾値を示し、zu1AはR2とR3とを区分する第2の評価閾値を示し、zu0Bは評価者Bの第1の評価閾値を示し、zu1Bは評価者Bの第2の評価閾値を示す。図示するように、評価者Aは、第1の評価閾値及び第2の評価閾値が評価者Bと比較して大きい。すなわち、評価者Aに違いが評価されるためには、評価者Bに評価されるよりもより大きな評価の相違が必要となる。
次に、S190において、判定部170がS150で決定した評価閾値の値が適切か否か判定する。例えば、判定部170は、S170で生成した散布図において、評価値の差の値が、評価閾値に対して基準範囲内あるか否かを判定する。例えば、図5において評価者Aの第2の評価閾値zu1Aは、評価値の差の最も近い値とそれぞれ距離r及び距離r離れているが、距離r及び距離rの大きい/小さい一方、又は、両者の合計が予め定められた基準以上大きいか否かを判定する。
評価閾値と当該評価閾値に最も近い評価値の差との距離は、当該評価閾値の精度に関係する。この距離が大きい場合、決定部150が、評価閾値の近くのデータがないにも関わらず評価閾値を決定したこととなるので、決定した評価閾値の信頼性が低下する傾向がある。従って、判定部170は、S190の処理において評価閾値の精度が十分であるかを判定する。
判定部170は、基準範囲内にあると判定した場合は処理を終了する。判定部170は、基準範囲内にあると判定した場合には、判定結果を提示部190に供給し、処理をS210に進める。
S210において、取得部110は、評価値の差が評価閾値に対して基準範囲内にないと判定されたことに応じて、追加の定性的評価を取得して学習データに追加する。例えば、提示部190は、判定結果が評価値の差が基準範囲内にないと示す場合に、評価閾値近辺に対応する評価対象のペア又はグループを評価主体に提示する。例えば、提示部190は、現在の評価関数において2以上の評価対象の評価値の差が評価閾値に対して基準範囲内となることが想定される2以上の評価対象を評価閾値に係る評価主体に提示する。
提示部190による提示の後、取得部110は、提示した2以上の評価対象について評価主体がした追加の定性的評価を取得する。例えば、提示部190は、評価者Aの第2の評価閾値zu1Aに近い評価値の差を与えることが予想される2個の評価対象のペア等を評価者Aに提示し、定性的評価として評価値の差n及びnを取得する。
取得部110は、取得した追加の定性的評価を学習データに追加する。生成装置10は、処理をS130に戻す。その結果、生成部130は定性的評価が追加された学習データに基づいて再び制約条件を生成し、決定部150が新しい評価関数を生成する。
図6は、追加的に取得された定性的評価に基づいて生成された評価関数により得られる散布図の一例を示す。図示するように、第2の評価閾値zu1Aの近傍で追加の定性的評価に対応する評価値の差n及びnが示される。ここで、評価値の差n及びnと第2の評価閾値zu1Aとの距離r'及びr'はそれぞれ、追加の定性的評価を取得する前の当該評価閾値の評価値の差との最短距離r及びrの各々よりも短い。従って、生成装置10は、追加の定性的評価により、より正確な第2の評価閾値zu1Aを得ることが示される。
このように、生成装置10によると、評価主体による評価対象の比較結果の定性的評価に基づいて生成された制約条件付きの目的関数を解く。比較結果の定性的評価は順序尺度であるので、比率尺度である定量的評価に比べてぶれが少なく一貫性が高い。従って、生成装置10は、評価主体の評価基準のぶれに起因する誤差の影響が少ない評価関数を生成することができる。
生成装置10は、評価関数に対して評価主体に共通の重みづけをしつつ、評価主体ごとに異なる評価閾値を設定した制約条件を生成する。これにより、複数の評価主体の比較基準の相違を受容しつつ複数の評価主体に共通の評価関数を生成することができる。
また、生成装置10は、評価対象の1又は複数の属性ごとに属性値を入力とする複数の基底関数の重み付け和に基づく項を有する評価関数を生成する。すなわち、生成装置10は、属性の特性に合わせて適切な基底関数を選択した評価関数を生成するので、属性値が評価値へ与える影響を最適化することができる。
上記の例では取得部110が3段階の定性的評価(同程度、少し優れる、及び、遥かに優れる)を含む学習データを取得し、生成部130が3段階の評価閾値を含む不等式を含む制約条件を生成したが、取得部110は1〜2段階又は4段階以上の定性的評価を含む学習データを取得し、生成部130が定性的評価の段階に対応する評価閾値の不等式を含む制約条件を生成してよい。
また、取得部110は、2個の評価対象を比較した定性的評価(同程度、一方が少し優れる、及び、一方が遥かに優れる)を含む学習データに加えて/代えて、2個の評価対象の定性的評価の差と、別の2個の評価対象の定性的評価の差とを比較した定性的評価を含む学習データを取得してもよい。例えば、取得部110は、「評価対象iと評価対象iとの差は、評価対象iと評価対象iとの差と同程度/少し大きい/遥かに大きい」等の定性的評価を含む学習データを取得してもよい。この場合、生成部130は対応する制約条件(例えば、−zu0≦|f(x(i1))−f(x(i2))|−|f(x(i3))−f(x(i4))|≦zu0等)を生成する。
上記実施形態の説明において、生成装置10が、複数の評価対象の定性的評価を取得して制約条件を生成する例を説明した。これに加えて/代えて、生成装置10は、複数の評価対象の特性の違いの定性的評価を取得して制約条件を生成してもよい。例えば、生成部130は、評価主体から評価対象のペアの特性の違いについての定性的評価(例えば、「評価対象iと評価対象jは全く特性が異なる」、「評価対象iと評価対象jは特性が近い」等)を取得し、各評価対象の属性値から属性ベクトルを生成する。生成部130は、ペア内の評価対象の属性ベクトルのユークリッド距離と、取得した定性的評価とに基づく不等式を含む制約条件を生成してもよい。
図7は、生成装置10として機能するコンピュータ1900のハードウェア構成の一例を示す。本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びCD−ROMドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フレキシブルディスク・ドライブ2050、及び入出力チップ2070を有するレガシー入出力部を備える。
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、CD−ROMドライブ2060を接続する。通信インターフェイス2030は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイスは、通信を行うハードウェアとして機能する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。CD−ROMドライブ2060は、CD−ROM2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
また、入出力コントローラ2084には、ROM2010と、フレキシブルディスク・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ2050は、フレキシブルディスク2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フレキシブルディスク・ドライブ2050を入出力コントローラ2084へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フレキシブルディスク2090、CD−ROM2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
コンピュータ1900にインストールされ、コンピュータ1900を生成装置10として機能させるプログラムは、取得モジュール、生成モジュール、決定モジュール、判定モジュール、及び、提示モジュールを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、取得部110、生成部130、決定部150、判定部170、及び、提示部190としてそれぞれ機能させてよい。
これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である取得部110、生成部130、決定部150、判定部170、及び、提示部190として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の生成装置10が構築される。
一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フレキシブルディスク2090、又はCD−ROM2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の通信インターフェイス2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
また、CPU2000は、ハードディスクドライブ2040、CD−ROMドライブ2060(CD−ROM2095)、フレキシブルディスク・ドライブ2050(フレキシブルディスク2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。
例えば、生成装置10の記憶部は、取得部110、生成部130、決定部150、判定部170、及び、提示部190から受け取った/へ提供するデータを適宜記憶してよい。例えば、記憶部は、取得部110が生成部130に供給した学習データを受け取って記憶してよい。また、記憶部は、生成部130が生成した制約条件等を記憶してよい。
本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。
また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
また、実施形態の説明において複数の要素が列挙された場合には、列挙された要素以外の要素を用いてもよい。例えば、「Xは、A、B及びCを用いてYを実行する」と記載される場合、Xは、A、B及びCに加え、Dを用いてYを実行してもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 生成装置、20 データベース、110 取得部、130 生成部、150 決定部、170 判定部、190 提示部、1900 コンピュータ、2000 CPU、2010 ROM、2020 RAM、2030 通信インターフェイス、2040 ハードディスクドライブ、2050 フレキシブルディスク・ドライブ、2060 CD−ROMドライブ、2070 入出力チップ、2075 グラフィック・コントローラ、2080 表示装置、2082 ホスト・コントローラ、2084 入出力コントローラ、2090 フレキシブルディスク、2095 CD−ROM

Claims (15)

  1. 評価対象の評価値を算出する評価関数を生成する生成装置であって、
    評価対象の定性的評価を含む学習データを取得する取得部と、
    前記学習データに基づいて、前記評価対象に対する評価関数の値が満たすべき制約条件を生成する生成部と、
    前記制約条件を満たすように、前記評価関数における複数の属性に対する重みを決定する決定部と、
    を備える生成装置。
  2. 前記取得部は、2以上の前記評価対象を定性的に比較した比較結果を、前記定性的評価として含む学習データを取得する、
    請求項1に記載の生成装置。
  3. 前記取得部は、前記評価対象と予め定められた評価基準とを定性的に比較した比較結果を、前記定性的評価として含む学習データを取得する、
    請求項1に記載の生成装置。
  4. 前記生成部は、前記評価対象の属性ごとに属性値を入力とする複数の基底関数の重み付け和に基づく項を有する前記評価関数に基づく前記制約条件を生成し、
    前記決定部は、前記制約条件を満たすように、前記複数の基底関数のそれぞれの重みを決定する、
    請求項1から3のいずれか1項に記載の生成装置。
  5. 前記生成部は、前記複数の基底関数の各々を含むか否かを示す変数を含む前記制約条件を生成し、
    前記決定部は、前記評価関数に含まれる基底関数の数の合計を含む目的関数を用いて前記重みを最適化する、
    請求項4に記載の生成装置。
  6. 前記生成部は、誤差変数を含む前記目的関数を生成し、
    前記決定部は、前記誤差変数を含む前記目的関数を用いて前記重みを最適化する、
    請求項5に記載の生成装置。
  7. 前記生成部は、前記制約条件として、比較対象となった2以上の前記評価対象に対する前記評価関数の評価値の差と、前記定性的評価の基準となる評価閾値とを含む不等式を生成し、
    前記決定部は、前記制約条件を満たすように、前記評価閾値の値を決定する、
    請求項2に記載の生成装置。
  8. 前記取得部は、複数の評価主体による前記定性的評価を含む前記学習データを取得し、
    前記生成部は、前記制約条件として、評価主体ごとの前記評価閾値を含む不等式を生成する、
    請求項7に記載の生成装置。
  9. 前記決定部が決定した前記重みに基づく前記評価関数による前記2以上の評価対象の評価値の差が、前記評価閾値に対して予め定められた基準範囲内にあるか否かを判定する判定部を更に備え、
    前記取得部は、前記評価値の差が前記評価閾値に対して前記基準範囲内にないと判定されたことに応じて、追加の前記定性的評価を取得して前記学習データに追加する、
    請求項8に記載の生成装置。
  10. 前記2以上の評価対象の評価値の差が前記基準範囲内となる前記2以上の評価対象を前記評価主体に提示する提示部を更に備え、
    前記取得部は、提示された前記2以上の評価対象について前記評価主体がした前記定性的評価を取得して、前記学習データに追加する、
    請求項9に記載の生成装置。
  11. 評価対象の評価値を算出する評価関数を生成する生成装置であって、
    評価対象の属性に対応する属性値及び当該評価対象の評価を含む学習データを取得する取得部と、
    前記学習データに基づいて、前記評価対象の属性ごとに前記属性値を入力とする複数の基底関数の重み付け和に基づく項を有する、前記評価対象に対する評価関数の値が満たすべき制約条件を生成する生成部と、
    前記制約条件を満たすように、前記複数の基底関数の重み付け和に基づく項の重みを決定する決定部と、
    を備える生成装置。
  12. コンピュータにより実行される評価対象の評価値を算出する評価関数を生成する生成方法であって、
    評価対象の定性的評価を含む学習データを取得する取得段階と、
    前記学習データに基づいて、前記評価対象に対する評価関数の値が満たすべき制約条件を生成する生成段階と、
    前記制約条件を満たすように、前記評価関数における複数の属性に対する重みを決定する決定段階と、
    を備える生成方法。
  13. コンピュータを請求項1から11のいずれか1項の生成装置として機能させるプログラム。
  14. 評価対象の評価値を算出する評価関数を生成する生成方法であって、
    評価対象の属性に対応する属性値及び当該評価対象の評価を含む学習データを取得する取得段階と、
    前記学習データに基づいて、前記評価対象の属性ごとに前記属性値を入力とする複数の基底関数の重み付け和に基づく項を有する、前記評価対象に対する評価関数の値が満たすべき制約条件を生成する生成段階と、
    前記制約条件を満たすように、前記複数の基底関数の重み付け和に基づく項の重みを決定する決定段階と、
    を備える生成方法。
  15. コンピュータを請求項11に記載の生成装置として機能させるプログラム。
JP2014257292A 2014-12-19 2014-12-19 生成装置、生成方法、及び、プログラム Expired - Fee Related JP6573272B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014257292A JP6573272B2 (ja) 2014-12-19 2014-12-19 生成装置、生成方法、及び、プログラム
US14/976,280 US20160180252A1 (en) 2014-12-19 2015-12-21 Evaluation solutions of optimization problems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014257292A JP6573272B2 (ja) 2014-12-19 2014-12-19 生成装置、生成方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2016118871A true JP2016118871A (ja) 2016-06-30
JP6573272B2 JP6573272B2 (ja) 2019-09-11

Family

ID=56129851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014257292A Expired - Fee Related JP6573272B2 (ja) 2014-12-19 2014-12-19 生成装置、生成方法、及び、プログラム

Country Status (2)

Country Link
US (1) US20160180252A1 (ja)
JP (1) JP6573272B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796979A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 数据采集策略的确定方法、装置、存储介质及电子设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7135887B2 (ja) * 2019-01-24 2022-09-13 トヨタ自動車株式会社 促し発話装置、促し発話方法及びプログラム
CN111797079A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及电子设备
US20220043948A1 (en) * 2020-08-06 2022-02-10 Palo Alto Research Center Incorporated Validating qualitative states with the conflict resolution method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011233044A (ja) * 2010-04-28 2011-11-17 Toshiba Corp 主観評価のための装置、方法およびプログラム
JP2012022498A (ja) * 2010-07-14 2012-02-02 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011233044A (ja) * 2010-04-28 2011-11-17 Toshiba Corp 主観評価のための装置、方法およびプログラム
JP2012022498A (ja) * 2010-07-14 2012-02-02 Sony Corp 情報処理装置、情報処理方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEVI PARIKH 外1名: "Relative attributes", 2011 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, JPN6018043124, 2011, US, pages 503 - 510, XP032101234, DOI: doi:10.1109/ICCV.2011.6126281 *
末廣 大貴 外4名: "「SVMによる2部ランキング学習を用いたコンピュータ将棋における評価関数の学習」", 電子情報通信学会論文誌, vol. 第J97−D巻, 第3号, JPN6018043121, 1 March 2014 (2014-03-01), pages pp.593−600 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111796979A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 数据采集策略的确定方法、装置、存储介质及电子设备
CN111796979B (zh) * 2019-04-09 2022-08-02 Oppo广东移动通信有限公司 数据采集策略的确定方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
US20160180252A1 (en) 2016-06-23
JP6573272B2 (ja) 2019-09-11

Similar Documents

Publication Publication Date Title
US9721221B2 (en) Skill estimation method in machine-human hybrid crowdsourcing
JP5984150B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2015103964A1 (en) Method, apparatus, and device for determining target user
US20180018578A1 (en) Apparatus assisting with design of objective functions
JP6573272B2 (ja) 生成装置、生成方法、及び、プログラム
JP2015087973A (ja) 生成装置、生成方法、およびプログラム
US8843432B2 (en) Data analyzing computer product, data analyzing method, and data analyzing apparatus
JP6152186B1 (ja) ゲームにおけるユーザのマッチング方法およびマッチングシステム
US11138515B2 (en) Data analysis device, data analysis method, and recording medium
JP6187977B2 (ja) 解析装置、解析方法及びプログラム
CN107292666A (zh) 销售潜力判断方法及装置
Zambrano-Vega et al. Comparing multi-objective metaheuristics for solving a three-objective formulation of multiple sequence alignment
CN111612581A (zh) 一种物品推荐的方法、装置、设备及存储介质
JP6516406B2 (ja) 処理装置、処理方法、およびプログラム
CN111581969B (zh) 医疗术语向量表示方法、装置、存储介质及电子设备
JP6366031B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6558765B2 (ja) 処理装置、処理方法、推測装置、推測方法、およびプログラム
US20230385690A1 (en) Computer-readable recording medium storing determination program, determination apparatus, and method of determining
JP5950284B2 (ja) 処理装置、処理方法、およびプログラム
JP5516925B2 (ja) 信頼度計算装置、信頼度計算方法、及びプログラム
US20230153491A1 (en) System for estimating feature value of material
JP2020149230A (ja) 機械学習プログラム、機械学習方法および機械学習システム
JP7064656B1 (ja) 人財配置支援システム及び方法
JP6751955B1 (ja) 学習方法、評価装置、及び評価システム
JP6975682B2 (ja) 医学情報処理装置、医学情報処理方法、及び医学情報処理プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170822

RD12 Notification of acceptance of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7432

Effective date: 20180808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190716

RD14 Notification of resignation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7434

Effective date: 20190718

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190807

R150 Certificate of patent or registration of utility model

Ref document number: 6573272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees