JP2014142855A - 評価対象の評価項目の真値推定方法 - Google Patents
評価対象の評価項目の真値推定方法 Download PDFInfo
- Publication number
- JP2014142855A JP2014142855A JP2013011733A JP2013011733A JP2014142855A JP 2014142855 A JP2014142855 A JP 2014142855A JP 2013011733 A JP2013011733 A JP 2013011733A JP 2013011733 A JP2013011733 A JP 2013011733A JP 2014142855 A JP2014142855 A JP 2014142855A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- value
- true value
- monitor
- item
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Eyeglasses (AREA)
- Complex Calculations (AREA)
Abstract
【解決手段】複数の評価主体として例えばモニターそれぞれが評価対象として例えばレンズに関するある評価項目を数値化して評価した場合に、モニターの数を増加させるに伴ってそれら評価結果の数値の平均値が収斂するであろう仮想的な真値を、モニターの数を多数にすることなく推定するための真値推定方法であって、評価項目を評価したモニターの「評価を正確に行う能力」の大小を反映する数値を各モニター毎に算出し、それらの数値に基づいて算出した各モニター毎の重みを考慮して真値を推定するようにする。
【選択図】図4
Description
そのような場合の評価方法として、例えば比較的多数の人(例えば50人以上の人々)にモニターとなってもらうことで、評価結果の数値の平均値をもって評価対象(試作品)の真値の推定値とすることが可能である。モニター能力のバラツキが正規分布的であると仮定すれば、平均値に基づいて得られた評価対象の真値の推定値は十分信用に足るものだからである。
しかしながら、実際は時間や費用の問題があって、数多くのモニター評価を行うことができない場合も多い。また、それぞれの評価を行う際の条件を一定にするなどの配慮が必要となる。例えば調節力が衰えた人が遠方と近方を一つの眼鏡で見るための累進屈折力レンズを評価対象として考えるものとする。累進屈折力レンズの性能(評価項目)をモニター装用によって評価する場合、数種類のレンズの遠用性能・中間性能・近用性能を一度に評価しようとすると、モニターする人間が疲れてしまったり集中力が持続しなかったりするという問題がある。だからといって、ある程度の時間を置いて別のレンズを評価すると、モニターする人間の体調や精神状態が変化するので、それぞれのレンズを一定の条件で評価することが難しい。
しかし、単純平均による場合では、評価主体の数が十分多ければ良いが、少ない場合は問題が生じる。評価能力が劣った評価主体、あるいは個別の特性が極端な評価主体による評価結果を同じ重みで平均したのでは、評価対象の真値を精度良く推定することが難しい。そのようにして得た平均値には不確定性があり、評価主体の数が少ないほどそのバラツキは大きくなってしまう。
また、各評価主体の評価能力や特徴を相対的な比較により見積もる方法とは、より具体的には各評価項目に関して、全評価主体による評価値の平均値を算出し、それと個々の評価主体による評価結果とを比較するという手法となるが、平均値は偏ったモニターの評価結果に影響されることとなるため信頼性が低いものとなる。
また、特許文献1に開示されるような主成分分析による方法では、各モニターの評価能力の優劣や個別の特性を無視した計算(均一であるか、偏りの無い分布であると仮定した計算)を行うこととなるので、好ましい結果を得ることができない。例え結果を得ても、固有値の小さい主成分ベクトルが多く得られて次元を効率良く縮小できず、それらの主成分が表す意味を把握することも難しいことが多い。
本発明は、このような従来の技術に存在する問題点に着目してなされたものである。その目的は、複数の評価主体それぞれが評価対象に関するある評価項目を数値化して評価した場合に、評価主体の数を増加させるに伴ってそれら評価結果の数値の平均値が収斂するであろう仮想的な真値を、多数の評価結果を得ることなく推定することができる評価対象の評価項目の真値推定方法を提供することである。
また、請求項2の発明では請求項1に記載の発明の構成に加え、複数の前記評価主体のうちのすべての2つの組み合わせの前記評価主体のそれぞれの評価項目に対する評価結果に基づいて相関係数を求め、得られた前記相関係数に基づいて各評価主体に対する評価能力の大小を反映する数値を各評価主体毎に算出し、それらの数値に基づいて各評価主体毎の前記重みを算出するようにしたことをその要旨とする。
また、請求項3の発明では請求項1又は2に記載の発明の構成に加え、kを「1」から「評価項目の数」まで変わるインデックスとし、nを評価項目の数とし、評価項目の真値のデータ列Wkを平均0となるように規準化したものとして想定し、2つの前記評価主体のそれぞれの評価項目に対する評価結果のデータ列を平均0となるように規準化してxk、ykとおいた場合に、xk、ykを下記数1の式によって近似的に示し、xk、ykの前記相関係数rを下記数2の式によって近似的に示したことをその要旨とする。
また、請求項5の発明では請求項2〜4のいずれかに記載の発明の構成に加え、iを「1」から「評価主体の数」まで変わるインデックスとし、riを第i番目のモニターによる評価値と真値のデータ列Wkとの前記相関係数とした場合に、前記重みをri/(1−ri)とすることをその要旨とする。
また、請求項7の発明では請求項1〜6のいずれかに記載の発明の構成に加え、前記評価主体の評価能力は複数の想定した評価因子の1つであることをその要旨とする。
また、請求項8の発明では請求項1〜7のいずれかに記載の発明の構成に加え評価値を複数の評価因子による寄与量と独自因子の和によって近似的に表すと想定し、前記評価主体の評価能力以外の評価因子の寄与量を評価値から減じた結果に基づいて真値を推定するようにしたことをその要旨とする。
また、請求項9の発明では請求項1〜8のいずれかに記載の発明の構成に加え、多変量解析によって前記評価因子の寄与量を算出するようにしたことをその要旨とする
また、請求項10の発明では請求項1〜9のいずれかに記載の発明の構成に加え、評価主体は人間であることをその要旨とする。
また、請求項11の発明では請求項1〜10のいずれかに記載の発明の構成に加え、評価対象は眼鏡用レンズであることをその要旨とする。
ここにいう「真値」とは評価結果の数値の平均値が評価主体の数を増加させるに伴って収斂すると仮定した値である。実際は計算で求まるものではなく、評価主体の数が極めて多い場合の平均値である。本発明ではこのような仮想的な真値を評価主体の数が多くなくとも真値に近い推定が可能としたものである。
また、「評価主体」は3つ以上であることが必要であるが、必ずしも多数であることは必要ではない。ここで評価主体が2つしかないと、相関係数を1つ得られるだけなので、その値をもとに2つの値(各評価主体と真値データ列との相関係数)を求めることができないからである。評価主体が3つあれば、評価主体間の相関係数を3つ得られるので、3つの既知の値から3つの値(各評価主体と真値データ列との相関係数)を求めることができ、評価主体が4つ以上であれば、評価主体間の相関係数の数は評価主体の数を上回るので、最小二乗法により最適解を決定することができる。
もちろん、評価主体が多ければ計算の量は増えるがより真値に近い推定が可能となる。評価主体としては人と考えるのが一般的であるが、人以外に測定装置やコンピュータのような判断可能な機械や、判断のための手法なども評価主体となりうる。
また、「評価主体の評価能力の大小を反映する」とは評価能力が大きい場合に重みを多くし、逆に評価能力が小さい場合に重みを小さくするというものである。
また、それぞれの評価対象には1つ以上の個別評価項目があり、評価対象と個別評価項目の積が「評価項目」である。評価項目は2つ以上なければならない。つまり評価対象と個別評価項目のどちらかは2つ以上なければならない。また、相関係数を求めるためには評価項目は3つ以上でなければならない。評価項目が3つ以上でないといけない理由は評価項目が2つの場合は相関係数の値が常に−1か1になるので、相関係数を求める意味がなくなるからである。
ある評価項目についての尤度関数を次の数3の式で示す。この式に基づいて真値θを推定するものとする。
すなわち、仮想的な真値のデータ列を想定し、各モニターによる評価値と真値のデータ列との相関係数を求め、それらの相関係数の値が各評価主体に対する評価能力の大小を反映すると考えるのである。そのために、複数の評価主体のうちのすべての2つの組み合わせの評価主体のそれぞれの評価項目に対する評価結果に基づいて、評価主体間の相関係数を求めることがよい。ここで評価主体相互間の相関係数は、評価主体のうちのすべての2つの組み合わせの数だけ求めることとなる。その数は(評価主体の数)・(評価主体の数−1)/2である。
相関係数の一般式は、数8で示される。
ここに、2つの前記評価主体のそれぞれの評価項目に対する評価結果のデータ列を平均0となるように規準化してxk、ykとおいた場合に、xk、ykは上記数1の式によって近似的に示される。このxk、ykを数8に代入し数9とし、これを数10のように展開する。ここでは評価主体はモニター、つまり「人」とするが、もちろん「人」以外でもよい。
そこで、rをテイラー展開によって近似すると数11の式となる。ここで簡略化のために、γ=n/(2ΣWk 2)とおくと、xk、ykの相関係数は数12の式で示されることとなる。
さて、ここでriを第i番目のモニターの評価値と真値の組Wkとの相関係数とする。また、i=1〜nの各評価値の組の分散をσi 2とし、1/(1+γσi 2)=riと表すことができる。これを変形すると1/σi 2=γri/(1−ri)となる。
ここで、上記のように1/σi 2は真値θを加重平均として表す際の係数なのだから、それと比例関係にあるri/(1−ri)を重みとした加重平均を真値θの推定値とすればよいことがわかる。
また、2つのデータ列が上記数12の式のように表されることから、第i番目と第j番目のモニターによる評価値の相関係数は、rij≒ri・rjと表されることがわかる。
まず、変数を定義する。
m:モニターの人数(実施例では10人)
ri:第i番目のモニターによる評価結果と、真値との相関係数
これは仮想的な値であり、最適化計算によって推定する。
rij:第i番目のモニターによる評価結果と、第j番目のモニターによる評価結果との相関係数、この値は、各モニターによる評価値より算出する。
さて、ここで、riの組を最適化計算によって求めるわけであるが、上記行列においては対角要素は同じ配列同士の相関係数なので1になる。また、ri・rj=rj・riなので、実質的には以下の数14で示すように要素として重要な部分のみで2つの行列の各要素の差の二乗和を表す関数Q(r1、r2…ri…rm)を想定し、この関数Qの値を最小にするriの組を最適化計算によって求める。関数Qは数15の通りである。つまり、既知のrijの値の組をもとに、r1〜rmの数値を推定する計算を行うわけである。例えば以下の実施例1及び2ではiは10まで変化する。二重のΣによる項の数は、m・(m−1)/2であって、m=10のときは45となる。実施例ではrijは45個の数値であり、その値はモニターが評価した結果の数値より相関係数として算出できる。最適化計算の方法として、既知の例えばニュートン法や共役勾配法などを使用することができる。また、これらの計算は一般にはコンピュータによって計算することとなる。
(1)変数の設定
まず、評価項目をn個、モニター1とモニター2による評価点を、それぞれ数列x1={x11、x21…xi1…xn1}、x2={x12、x22…xi2…xn2}で表す。例えば以下の実施例1及び2ではn=20で、モニターは10人であるが、ここでは簡単のためにモニターを2人として説明する。実施例1及び2における評価結果は1〜10の数であるが、これを平均0、分散1に規準化し、その結果を数列Z1={Z11、Z21…Zi1…Zn1}、Z2={Z12、Z22…Zi2…Zn2}で表す。すなわち基準値Zijを以下表1の数値を式に適用して求める。
ここで、a21はモニター2の正確さを反映しa22は、モニター2の「正確さ以外の何らかの特性」を反映すると仮定する。下記実施例2では「遠用を高得点に評価する傾向」がこの「正確さ以外の特性」に相当する。「遠用を高得点に評価する傾向」は「正確さ以外の特性」を反映する因子の典型的な例である。
すなわち、Σfi1/n=Σfi2/n=0、Σfi1 2/n=Σfi2 2/n=1が成り立つ。
また、fi1とfi2を互いに無相関な直交因子として仮定するので、積和の期待値が0である。すなわち、Σfi1fi2/n=0が成り立つ。更にfi1とei1、fi1とei2、fi2とei1、fi2とei2、ei1とei2もすべて無相関と仮定するので、それぞれの積和の期待値は0である。
Zi1の分散が1であることから、以下の数17の式の関係を導くことができる。
因子分析では、a11 2+a12 2など、共通因子で説明できる部分を共通性、d12、d22を独自性と呼ぶ。独自性は独自因子の分散である。共通性と独自性の和を全変動と呼ぶ。因子分析では観測変数を平均0、分散1に規準化しているため、観測変数の全変動は1である。各項は実数の二乗なので、共通性と独自性の値は0〜1の範囲に制限される。このことから、因子負荷量を最適化するにあたっては、独自因子の範囲を0〜1に制限する拘束条件を設ける。
こうして因子負荷量の値を求めるが、その値は一意に定まるものではない。ある因子負荷量の組a11、a21、a12、a22が関数Qを最小にする場合、次式(数22)で表される角度θの回転変換によって得られるb11、b21、b12、b22の値の組も関数Qを最小にするからである。
回転した因子負荷量を再びa11、a21、a12、a22で表す。次にi=1〜nについて、Zi1からa12fi2を減じ、Zi2からa22fi2を減じて、その結果をそれぞれZi1、Zi2に置き換える。
こうして第2因子の影響を取り除いた新しい数列Z1={Z11、Z21…Zi1…Zn1}、Z2={Z12、Z22…Zi2…Zn1}を作り、それに対して1因子法を適用して真値の推定値を得る。1因子法を用いることなく、ここでfi1の値を真値の目安とすることもできる。ただし、それでは推定の精度がやや劣ると考えられる。何故ならば、「正確さ以外の特性」の因子負荷量が大きいモニターにおいては、「正確さ」の因子負荷量が相対的に小さくなる。すると、本来はそのモニターの「正確さ」が強い場合であっても加重平均の重みが小さくなり、そのモニターの評価結果からもたらされる情報を有効に活用できないからである。
因子数を2のままとして、評価結果の数列(モニターの人数)を3とした場合の相関行列を数23として示す。また、因子数を3個想定し、評価結果の数列を3とした場合の相関行列を数24として示す。
このような因子分析の考えを利用すれば、本来必要な評価主体の評価能力以外の因子の影響を除去して評価主体の評価能力という評価因子だけにすることでより真値に近い値を推定することが可能となる。この計算も一般にはコンピュータによって計算することとなる。
ところで、ある評価対象の評価項目について具体的なデータを取得して真値を推定しても、実際にその推定が正しいかどうかの検証は困難である。そのため、実施例1及び2では前もって真値と、評価主体(モニター)毎に評価因子について数値を設定し、その数値と真値に適合するように評価項目の数値(評価点)を設定するようにした。そして、上記のような計算で評価項目から評価主体の重みを算出し、設定した評価因子の数値と比較することとした。
実施例1ではA〜Jの10種類のレンズを評価対象とした。また評価項目はここでは遠用の見えやすさと近用の見えやすさといった漠然とした評価を判断するものと仮定して「遠用性能」と「近用性能」の2種類とした。つまり、10種類のレンズについて2つずつの評価項目であるため、計20の評価項目があることとなる。遠用性能と近用性能の真値は2.5〜7.5の乱数により設定した。また、10人のモニターについて、評価因子として「正確に行う能力(正確さ)」を0.0〜1.0の乱数により設定した。
評価点は、真値に対して平均0、標準偏差3×(1−正確さ)の正規分布乱数を加えてランダマイズした結果を四捨五入して整数とし、更に10を超えた値は10に、1未満の値は1として下限1から上限10の間の整数とした。
設定されたモニターの正確さを表す数値は、表2の通りである。設定されたレンズの評価の真値は表3の通りである。モニターの正確さを表す数値と真値に基づいて設定された各モニターが実行した(と仮定する)「遠用性能」と「近用性能」の評価結果は表4の通りである。
A〜Jのレンズの「遠用性能」と「近用性能」の評価項目の真値(つまり、表3)を平均0、分散1に規準化して図1に示す。真値とモニターの正確さを表す数値に単位は無いため、絶対的な値に特別な意味は無く、相対的な違い(ポジショニング)が重要である。そこで遠用性能を横軸、近用性能を縦軸にして、規準化した数値をもとに2次元配置して表す。
図2は各モニターにより得られた「遠用性能」と「近用性能」の評価項目の評価結果に基づいて上記のように相関係数を求め、ついで1因子法によって重みを算出し、その重みを考慮してA〜Jの10種類のレンズについて真値を推定したものである。図2は非常に図1の真値に近い散布状態を示している。つまり、各モニター毎の固有の重みを考慮して平均を求めることで真値に近い水準で推定が可能であることがわかる。
一方、図3は単純に10人のモニターの平均を取って重みを考慮しないで得られた評価項目の評価結果である。図1の真値とは大きくずれてしまっていることがわかる。
各モニターについて正確さを評価した。まず表2の「正確さ」の数値をそのまま「正確さ設定値」とする。そして、「1−正確さ設定値」「真値との相関係数」「推測値との相関係数」「√(1/推測値との相関係数−1)」のモニター毎の数値を比較した(表5)。
ここで、真値からの変位量の標準偏差の目安となるのは「1−正確さ設定値」である。また、「√(1/推測値との相関係数−1)」は標準偏差に比例するはずである。そこで、まず「1−正確さ設定値」と「√(1/推測値との相関係数−1)」を比較した。比較した結果は図4の通りである。
また、「真値との相関係数」と「推測値との相関係数」を比較した。比較した結果は図5の通りである。
図4横軸:1から「あらかじめ設定した正確さを表す値」を減じた値。値が小さいモニターほど正確で、大きいほど不正確。この値は真値からの変位量の標準偏差に比例する。
図4縦軸:「推測した真値」と「各モニターによる評価点」の相関係数をXとしたときの、√(1/X−1)の値。この値は真値からの変位量の標準偏差に近似される。
図5横軸:「あらかじめ設定した真値」と「操作前の評価点」との相関係数。「操作前の評価点」とは、ランダマイズ・整数化・1〜10範囲制限をする前の値のこと。
図5縦軸:「推測した真値」と「各モニターによる評価点」の相関係数。
図4と図5において、横軸は問題設定をした人でないとわからない値で、縦軸は与えられた評価点データのみから得ることができる値である。図5の分布は傾きが45度の直線上に並ぶことが理想的となる。図4は比例関係を表すので、直線上に並ぶことが理想的だが、傾きが45度とは限らない。
図4及び図5の結果、各モニターの正確さの推定値は設定値と概ね直線に沿っており、真値との相関係数を精度良く再現できていると考えることができる。
実施例2でもA〜Jの10種類のレンズを評価対象とした。また評価項目も同様に「遠用性能」と「近用性能」の2種類とした。また、10人のモニターについて評価因子として実施例1と同様に「正確に行う能力(正確さ)」を0.0〜1.0の乱数により設定した。また、実施例2では遠用を高得点に評価する傾向(以下、「遠用高評価」と略称する)を−0.5〜+0.5の乱数により設定した。遠用高評価がマイナスの値であれば、近用を高評価する傾向を表す。つまり、実施例1よりも1つ評価因子が多い設定とした。
設定されたモニターの正確さを表す数値は実施例1と同様である(表2)。設定された遠用高評価を表す数値は、表6の通りである。また、真値は実施例1と同様である(表3)。モニターの正確さを表す数値と真値に基づいて設定された各モニターが実行した(と仮定する)「遠用性能」と「近用性能」の評価結果は表7の通りである。
以下、上記因子分析を利用した実施例2の結果について説明する。
(1)因子負荷量の回転
モニター間の評価能力に優劣差があると考えられる状況において、ある因子の因子付加量が正の値ばかりであれば、それは評価能力の強さ(バラツキの小ささ)を反映していると解釈することができる。その因子をある軸方向に沿って分布するように因子付加量を回転すれば、その他の因子はプラスとマイナスの範囲に亘って分布する。ここで「その他の因子」の平均は0であると仮定することができる。仮に「その他の因子」に偏りがあって、たとえば遠用を高得点に評価するモニターがたまたま多く含まれていた場合であっても、偏りがあるかどうかはわからないので、その平均値をもって真値を推定するより他は無い。結局「その他の因子」の平均値は0になると仮定して因子付加量を回転させることになる。
表8は回転前の第1因子と第2因子の因子負荷量であり、表9は回転後の第1因子と第2因子の因子負荷量である。対応する散布図は図6と図7である。図8に示すように、表6の設定値と推定された第2因子は概ね比例関係であり、回転後の第2因子付加量の値は、遠用高評価特性の設定値と概ね対応するといえる。似た傾向のモニター同士は相関係数が大きくなり、反対傾向のモニター同士は相関係数が小さくなる。その関係を利用してデータを設定した次元(因子の数)の空間に最適配置する手法が因子分析であると考えれば、これらの結果を理解しやすい。
図9は実施例1と同様に各モニターの実行した「遠用性能」と「近用性能」の評価項目の評価結果に基づいて上記のように相関係数を求め、ついで1因子法によって重みを算出し、その重みを考慮してA〜Jの10種類のレンズについて真値を推定したものである。図9は非常に図1の真値に近い散布状態を示している。つまり、各モニター毎の固有の重みを考慮して平均を求めることで真値に近い水準で推定が可能であることがわかる。
一方、図10は因子分析による前処理をせず単に1因子法で推定した値を使用した場合である。図9に比べて精度が若干悪い。
各モニターについて、実施例1と同様に比較を行った。モニター毎の数値は表10に示す通りである。実施例1と同様に「1−正確さ設定値」と「√(1/推測値との相関係数−1)」を比較した。比較した結果は図11の通りである。
また、実施例1と同様に「真値との相関係数」と「推測値との相関係数」を比較した。比較した結果は図12の通りである。推定の精度は実施例1よりもやや悪かったものの、真値との相関係数を精度良く再現できていると考えることができる。
実施例3は9名のモニターが5種類の累進屈折力レンズを評価した結果にもとづいて真値を推定する例である。これは上記実施例1及び2と異なり真値があらかじめ分かっているわけではない。また、あらかじめモニター毎に評価因子について数値を設定するものでもなく、実際にモニターが評価項目について評価をした結果に基づいて実際は不明な真値との相関係数を求め、更にモニター毎の加重平均の重みを求めるようにしている。
モニターをM、S1、Y、H、S2、N、I、S3、Kのイニシャルで表した。各モニターのレンズ度数等のデータについては表11に示す通りである。累進屈折力レンズはそれぞれレンズ特性の異なる出願人の会社製のA〜Eを使用した。累進屈折力レンズはすべて素材屈折率1.6とした。設計種別は「中近累進」や「近々累進」ではなく、すべて「遠近累進」に分類されるものである。ただし、商品によって遠用重視・中近重視といった特性の違いがある。モニターのうち3名(I、S3、K)は、4種類のレンズのみを評価した。
実施例3では実施例1及び2よりも評価項目はより詳細になっている。表12及び表13に示すように、各レンズの遠方、中間、近方の各領域について「正面の見え方」「周辺の見え方」「ユレ」「歪み」を評価した。つまり、評価項目は5つのレンズそれぞれに12あり、かつモニターは9人なので評価点のデータ列は5・12・9=540となるが、実際にはモニターを実施していない評価項目があるので若干データは少ない。
因子数を2に設定した因子分析を行った。因子の回転は、因子2の因子負荷量の重み付き平均を0にする条件で行った。重みは因子1の因子負荷量の値とし、因子1の因子負荷量がマイナスの場合は重みを0とした。重み付けをする理由は、因子1の因子負荷量が小さいモニター結果の信頼性が劣るためである。回転後の第1因子と第2因子の因子負荷量は表14の通りである。また、分布図は図13の通りである。
(2)モニターの正確さと重み付け
第2因子の影響を排除して、1因子法による分析を行ない、各モニターによる評価結果と真値の組との相関係数を推定した。その結果、すなわち第i番目のモニターによる評価結果と真値の組との相関係数をriとし、ri/(1−ri)を重みとした加重平均により各評価項目の真値の組の推定値を算出した。また、加重平均により推定した真値の組と各モニターの評価結果の相関係数を求め、それを正確さの目安とした。それらの結果を表15に示す。このようにして、再度相関係数を求める方法によれば「各モニターの正確さの目安となる値」として、相関係数の値を安定的に算出することができる。1因子法の計算では、ri・rjとrijの値を一致させることだけを目標とするので、各モニターは概ね同じ感覚をもってレンズの良し悪しを評価しているはずなのに相関係数がマイナスになったり、1を超えたりすることがある。それは相関係数の値としては不自然な値である。
(3)レンズ性能の評価
加重平均で推定した値と単純平均の結果をそれぞれ表16と表17において比較した。両方とも、平均0、分散1で規格化した数値である。両者の違いが大きい項目を太字で表した。
以上の説明で求めた正確さを「総合的な正確さ」とする。次に、各レンズに関して12個ずつ設定した評価項目のうち、遠用に関する評価結果のみを利用して「遠用評価の正確さ」を求めた。すなわち、モニター評価の結果として得たデータの約1/3のみを利用して分析を行なったのである。その計算においては、9人のうち2人のモニターの相関係数を求める際の評価点データの数が少なくなり、2人が共通して評価したレンズの種類×4個となるが、それ以後の手順はすべて同じである。同様にして「中間評価の正確さ」「近用評価の正確さ」を求めた。
更に「正面の見え方」と「周辺の見え方」をひとまとめにした「見え方」と、「ユレ」と「歪み」をひとまとめにした「ユレ歪み」の2区分を想定し、それぞれの正確さを求めた。次いで、「正面の見え方」「周辺の見え方」「ユレ」「歪み」の4区分の正確さを求めた。
以上のすべてにおいて因子を2つ設定した因子分析を行い、第2因子の成分を除去してから1因子法で決定した重みによる加重平均から評価対象の評価項目の真値の推定値を得た。そのようにして得た真値の推定値をもとに、各モニターの正確さの目安(推定した真値との相関係数)を求めた。結果は図14〜図17に示す通りである。
1)総合的な正確さ、2)中間評価の正確さ、3)見え方評価の正確さ、4)ユレの正確さにおいて、モニター相互の関係が似ている。遠中近の正確さはそれぞれ異なり、特に遠用でモニター相互の差が大きいこれは中間→近用→遠用の順で見方(視線の使い方)に個人差が大きいためと考えられる。ユレ歪みではユレの正確さが、遠中近では中間の正確さがそれぞれ支配的になり、それらが総合的な正確さに影響したと考えられる。
・上記実施例では第i番目のモニターによる評価結果と真値の組との相関係数をriとして、ri/(1−ri)を真値を推定する際の加重平均の重みとした。推定の精度は劣るが、手順を簡略化するためにriをそのまま重みとして計算してもよい。また、riがマイナスになった場合は便宜的に重みを0にしてもよいし、riを最適化する計算においてマイナスにならないようにする制限(非負拘束)をかけてもよい。また、riが1に近いとri/(1−ri)の値が極めて大きくなり、特定の評価主体による評価結果がそのまま加重平均となる。それでは、複数の評価主体によって評価を行なった意味が薄れてしまうので、ri/(1−ri)の値に適当な上限を設けてもよい。その上限値はモニター人数の1〜2倍程度の値(10人なら10〜20程度)が適当である。相関係数と加重平均の重みの関係は近似的なものなので、相関係数に基づいて重みを決定する方法にはこのような裁量が考えられる。
・1因子法においてriを最適化計算により算出したが、真値の組の推定値を直接最適化してもよい。具体的には、次のようにする。真値の組の推定値に適当な初期値を与えると各riの値が定まる。そうして定まったri・rjと、モニター評価結果から既知のrijの差の二乗和を最小にするように、真値の組の推定値を最適化する。ただし、その方法では上記した重み決定の際の配慮ができないので、推定の精度はやや不利である。また、各モニターによる評価結果と推定した真値の組との相関係数を再度求めることにより「各モニターの正確さの目安」を安定した値として求めることもできない。
・上記実施例では一例としてレンズを評価対象としたが、評価対象を例えば薬に代えてモニターの臨床結果を評価項目として評価するような場合に適用してもよい。実施例では評価対象のレンズを複数としたが、仮に薬の種類が1種類であっても、臨床結果がたとえば多種類の臓器に関するもので評価項目が3つ以上あれば本発明を適用することができる。すなわち、モニターの数を多くすることなく、その薬の効果をより正確に把握することができる。
・1年の重大ニュース10件を重要度の順位をつけて新聞の記事にするような場合に適用してもよい。少人数の記者が候補のニュース50件について重要度を採点したとする。平均点の大きい順に1〜10位を決定するのではなく本発明を適用すると、より大勢の人の平均的な感覚に近い順位づけができる。この場合は評価対象が50個で、個別評価項目が1個の例である。それぞれの記者に対して「政治経済を重視し文化社会を軽視する傾向」のプラスとマイナスといった因子が見つかれば、その影響を排除する。そのようにして「各記者がニュースの重大さを評価する能力」の強さをより正確に重みとして反映できる。
その他本発明の趣旨を逸脱しない態様で実施することは自由である。
Claims (11)
- 複数の評価主体それぞれが評価対象に関するある評価項目を数値化して評価した場合に、前記評価主体の数を増加させるに伴ってそれら評価結果の数値の平均値が収斂するであろう仮想的な真値を、評価主体の数を多数にすることなく推定するための真値推定方法であって、前記評価項目を評価した前記評価主体の評価能力の大小を反映する数値を各評価主体毎に算出し、それらの数値に基づいて算出した各評価主体毎の重みを考慮して真値を推定するようにしたことを特徴とする評価対象の評価項目の真値推定方法。
- 複数の前記評価主体のうちのすべての2つの組み合わせの前記評価主体のそれぞれの評価項目に対する評価結果に基づいて相関係数を求め、得られた前記相関係数に基づいて各評価主体に対する評価能力の大小を反映する数値を各評価主体毎に算出し、それらの数値に基づいて各評価主体毎の前記重みを算出するようにしたことを特徴とする請求項1に記載の評価対象の評価項目の真値推定方法。
- kを「1」から「評価項目の数」まで変わるインデックスとし、nを評価項目の数とし、評価項目の真値のデータ列Wkを平均0となるように規準化したものとして想定し、2つの前記評価主体のそれぞれの評価項目に対する評価結果のデータ列を平均0となるように規準化してxk、ykとおいた場合に、xk、ykを下記数1の式によって近似的に示し、xk、ykの前記相関係数rを下記数2の式によって近似的に示したことを特徴とする請求項2に記載の評価対象の評価項目の真値推定方法。
- iを「1」から「評価主体の数」まで変わるインデックスとし、ri を第i番目のモニターによる評価項目に対する評価値と真値のデータ列Wkとの前記相関係数として、前記相関係数群ri に基づいてデータ列Wkの各値を推定するようにしたことを特徴とする請求項2又は3に記載の評価対象の評価項目の真値推定方法。
- iを「1」から「評価主体の数」まで変わるインデックスとし、ri を第i番目のモニターによる評価値と真値のデータ列Wkとの前記相関係数とした場合に、前記重みを ri /(1−ri )とすることを特徴とする請求項2〜4のいずれかに記載の評価対象の評価項目の真値推定方法。
- 前記評価主体の評価能力とは前記評価主体が評価を正確に行う能力であることを特徴とする請求項1〜5のいずれかに記載の評価対象の評価項目の真値推定方法。
- 前記評価主体の評価能力は複数の想定した評価因子の1つであることを特徴とする請求項1〜6のいずれかに記載の評価対象の評価項目の真値推定方法。
- 評価値を複数の評価因子による寄与量と独自因子の和によって近似的に表すと想定し、前記評価主体の評価能力以外の評価因子の寄与量を評価値から減じた結果に基づいて真値を推定するようにしたことを特徴とする請求項1〜7のいずれかに記載の評価対象の評価項目の真値推定方法。
- 多変量解析によって前記評価因子の寄与量を算出するようにしたことを特徴とする請求項1〜8のいずれかに記載の評価対象の評価項目の真値推定方法。
- 評価主体は人間であることを特徴とする請求項1〜9のいずれかに記載の評価対象の評価項目の真値推定方法。
- 評価対象は眼鏡用レンズであることを特徴とする請求項1〜10のいずれかに記載の評価対象の評価項目の真値推定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013011733A JP6373556B2 (ja) | 2013-01-25 | 2013-01-25 | 評価対象の評価項目の真値推定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013011733A JP6373556B2 (ja) | 2013-01-25 | 2013-01-25 | 評価対象の評価項目の真値推定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014142855A true JP2014142855A (ja) | 2014-08-07 |
JP6373556B2 JP6373556B2 (ja) | 2018-08-15 |
Family
ID=51424075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013011733A Active JP6373556B2 (ja) | 2013-01-25 | 2013-01-25 | 評価対象の評価項目の真値推定方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6373556B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027862A (zh) * | 2019-12-11 | 2020-04-17 | 中国舰船研究设计中心 | 一种基于多维度的层次聚合作战模拟训练评估方法 |
-
2013
- 2013-01-25 JP JP2013011733A patent/JP6373556B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111027862A (zh) * | 2019-12-11 | 2020-04-17 | 中国舰船研究设计中心 | 一种基于多维度的层次聚合作战模拟训练评估方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6373556B2 (ja) | 2018-08-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Franek et al. | Judgment scales and consistency measure in AHP | |
WO2019218874A1 (zh) | 网络风险评估方法及系统 | |
JP6231204B2 (ja) | アイテム間類似度の生成 | |
Kelly et al. | Learning and climate feedbacks: Optimal climate insurance and fat tails | |
Crittenden et al. | Investigating dark energy experiments with principal components | |
JP5401261B2 (ja) | 情報推薦方法及び装置 | |
Pankratova et al. | Methods of evaluation and improvement of consistency of expert pairwise comparison judgements | |
Balcilar et al. | On the nonlinear causality between inflation and inflation uncertainty in the G3 countries | |
Lee et al. | Deviation-based spam-filtering method via stochastic approach | |
JP7364187B2 (ja) | 会計監査支援装置、会計監査支援方法及び会計監査支援プログラム | |
Andrews et al. | A comparison of sales response predictions from demand models applied to store-level versus panel data | |
JP6373556B2 (ja) | 評価対象の評価項目の真値推定方法 | |
Swari et al. | Optimization of single exponential smoothing using particle swarm optimization and modified particle swarm optimization in sales forecast | |
CN110933701B (zh) | 网络负载状态检测方法及装置 | |
Song et al. | An empirical study on hyperparameters and their interdependence for RL generalization | |
Takahashi | Time-Varying Wage Risk, Incomplete Markets, and Business Cycles | |
Charness et al. | Monitor viewing distance for younger and older workers | |
Tang et al. | Fusion learning algorithm to combine partially heterogeneous Cox models | |
Diebels et al. | Identifying elastic and viscoelastic material parameters by means of a tikhonov regularization | |
Moutinho et al. | Correlation analysis | |
Bompada et al. | On the robustness of relevance measures with incomplete judgments | |
Budiman et al. | Normalized Data Technique Performance for Covid-19 Social Assistance Decision Making-case: student’s internet data social assistance during learning from home due covid19 | |
Bruin et al. | NEST: Neural Estimation by Sequential Testing | |
Murdoch et al. | The Decline In Matching And Earnings' Ability To Forecast Operating Cash Flows | |
Liang et al. | Research on trust evaluation algorithm for e-commerce based on reputation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150930 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150930 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160727 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160727 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170308 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170607 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20170710 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20171006 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180427 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180718 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6373556 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |