JP2020017112A - 正誤判定システム - Google Patents

Abstract

【課題】正誤判定の精度を向上させることができる正誤判定システムを提供する。【解決手段】正誤判定システム１において、判断装置２は、各種情報を表示する表示部２ｃと、正誤の判断を行う判断部２６と、装置判断結果と判定結果を記憶する判定結果ＤＢ２３と、利用料金を算出する料金算出部３１とを備えている。表示部２ｃは、判断装置２行った装置判断結果を表示する装置判断結果表示画面Ｘと、ユーザＰが行ったユーザ判断結果を入力するユーザ判定結果入力画面Ｙとを有する。料金算出部３１は、判定結果ＤＢ２３に記憶された不一致の判定情報に基づいて、判断装置２の利用料金の値上げ幅を小さくする又は値下げする。【選択図】図１

Description

本発明は、コンピュータが行う正誤判定の精度を向上させることができる正誤判定システムに関する。

現在、人工知能を有するコンピュータに学習モデルを提供し、機械学習によってコンピュータが下す判断や予測の精度を高めた検査装置が知られている。

例えば、下記の特許文献１の画像処理装置は、ユーザ入力部と、画像特徴ラベル学習部と、画像特徴ラベル学習パラメータ記憶部と、画像特徴量抽出部と、病変疑い領域悪性度学習部と、病変疑い領域悪性度推定パラメータ記憶部と、病変疑い領域悪性度推定部と、画像特徴ラベル学習更新部と、病変疑い領域悪性度学習更新部と、表示部とから構成されている。

画像特徴ラベル学習部は、医用画像ＤＢから病変疑い領域画像とそれに対応する画像特徴ラベルの情報を受け取り、画像特徴ラベルを分類するための機械学習（ＣＮＮ法）を行い、その学習パラメータを生成する。その後、画像特徴量抽出部は、診断用画像と病変疑い領域画像を受け取り、さらに画像特徴ラベル学習パラメータ記憶部から画像特徴ラベル学習パラメータを受け取って、ＣＮＮネットワークを用いて入力の病変疑い領域画像の画像特徴量を抽出する。最終的に、表示部は、診断用画像と病変疑い領域画像及びそれに対応する病変疑い領域悪性度を受け取り、画像処理装置の診断結果として表示する。

また、病変疑い領域悪性度学習更新部は、ユーザ入力部からユーザが入力した表示の病変疑い領域画像に対応する悪性度の正誤情報を受け取り、新しい病変疑い領域悪性度推定パラメータを算出するために機械学習（再学習）を行う。これにより、病変疑い領域悪性度推定部は、病変疑い領域悪性度学習更新部により更新された病変疑い領域悪性度推定パラメータを用いて、病変疑い領域画像に関する病変疑い領域の悪性度を改めて推定して、表示することができる（段落００１９，００２９〜００３５、図１，図９）。

特開２０１８−６１７７１号公報

しかしながら、特許文献１の画像処理装置においては、ユーザにとって正誤情報の入力は煩雑であり、かつ、ユーザが正誤情報の入力を行わなくても使用することができるため、未入力が繰り返される可能性がある。その場合、画像処理装置では、ユーザの正誤情報に基づく機械学習が行われなくなり、正誤判定の精度が向上しないという問題があった。

本発明は、このような事情に鑑みてなされたものであり、コンピュータが下す正誤判定の精度を向上させることができる正誤判定システムを提供することを目的とする。

第１発明は、機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置を有する正誤判定システムであって、前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、前記判断装置の利用料金を算出する料金算出部とを備え、前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面とを有し、前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、前記料金算出部は、前記記憶部に記憶された前記不一致の判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする。

本発明では、判断装置が行った装置判断結果が装置判断結果表示画面に表示される。さらに、ユーザがユーザ判断結果をユーザ判断結果入力画面に入力すれば、判断部が装置判断結果とユーザ判断結果との一致を判定するので、判断装置は、装置判断結果とユーザの判断結果とが一致したか否かが分かる。装置判断結果と判断結果の一致又は不一致の判定情報は、判断装置の記憶部に記憶される。

そして、判断装置の料金算出部は、不一致の判定情報に基づいて、判断装置の利用料金の値上げ幅を小さくする（上げ幅ゼロを含む）か、値下げをする。そこで、表示部に表示された装置判断結果に対して同意できない場合、ユーザには、不一致となるユーザ判断結果を積極的に入力しようとするインセンティブが生じる。以上の通り、本発明の正誤判定システムによれば、判断装置が判定情報に基づく機械学習を確実に行えるようになるので、正誤判定の精度を向上させることができる。

第１発明の正誤判定システムにおいて、前記判定部は、前記ユーザが前記ユーザ判断結果を入力しなかった場合に、一致の判定をすることが好ましい。

表示部に表示された装置判断結果に対して同意する場合、利用料金の引き下げが望めないため、ユーザには、入力しようとするインセンティブは働かない。しかし、この種の正誤判定システムは、判定精度が高い方がユーザにとって望ましいため、判定精度を低下させる虚偽のユーザ判断結果をあえて入力する可能性は低い。そのため、ユーザ判断結果が入力されなかった場合には、一致、不一致に関わらず、装置判断結果とユーザ判断結果とは一致したものと積極的にみなして判定情報を処理することができる。これにより、判断装置は、ユーザ判断結果が入力されなかった場合においても、判定情報に基づく機械学習を行うことができる。

また、第１発明の正誤判定システムにおいて、前記表示部は、前記装置判断結果に対して、ユーザがその根拠を取得する判断根拠表示画面を有していることが好ましい。

この構成によれば、ユーザは、判断根拠表示画面により判断装置が行った装置判断結果の根拠を確認することができる。このため、装置判断結果が適切か否かを容易に把握することができ、不適切と思われる判断に対しては、ユーザ判断結果を採用する等の対応をとることができる。

また、第１発明の正誤判定システムにおいて、前記料金算出部は、ユーザが取得した前記装置判断結果の根拠の正誤により、前記判断装置の利用料金を決定する重み付けを変更することが好ましい。

この構成によれば、ユーザは、判断根拠表示画面から装置判断結果の根拠の正誤を確認する。装置判断結果の根拠が実際と同じ（正）であれば、判断装置の判断が優れていることになり、装置判断結果の根拠が実際とは異なる（誤）のであれば、仮に一致、不一致の判定が正しい場合でも、評価されないことになる。このような情報を元に、料金算出部が判断装置の利用料金を決定する重み付けを変更することで、適切な利用料金を決定することができる。

また、第１発明の正誤判定システムにおいて、前記表示部は、前記判断装置が行う判断基準を決定する閾値を、ユーザが設定する判断閾値設定画面を有していることが好ましい。

この構成によれば、ユーザは、判断閾値入力画面により判断装置が行う判断の閾値を設定することができる。ユーザは、閾値の高低によって、判断を厳しめに又は緩めに設定して、目的に応じて使い分けることができる。

また、第１発明の正誤判定システムにおいて、前記表示部は、前記判断装置が行った判定が一致又は不一致とされた要因を、ユーザが記入する要因記入画面を有していることが好ましい。

この構成によれば、ユーザは一致、不一致の判定情報を受けて、要因記入画面からその要因を記入する。これにより、今回の正誤判定に関する判定結果データが補強されるので、判定結果に基づいて機械学習をさせて、判断装置の判定精度を向上させることができる。

第２発明は、機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置を有する正誤判定システムであって、前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、前記判断装置の利用料金を算出する料金算出部とを備え、前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面とを有し、前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、前記料金算出部は、前記記憶部に記憶された前記判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする。

本発明では、判断装置の判断部が装置判断結果とユーザ判断結果との一致を判定し、記憶部に一致又は不一致の判定情報が記憶される。その後、判断装置の料金算出部は、一致、不一致に関わらず、判定情報に基づいて、判断装置の利用料金の値上げ幅を小さくする（上げ幅ゼロを含む）か、値下げをする。

例えば、ユーザがユーザ判断結果を入力する程、利用料金を値下げする場合、ユーザには、装置判断結果に同意する場合であっても積極的に入力しようとするインセンティブが生じる。判断装置は、ユーザの入力により判定情報が得られ、その判定情報に基づいて機械学習が進むので、判定精度を向上させることができる。

第３発明は、機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置と、前記判断装置の利用料金を算出する料金算出装置とからなる正誤判定システムであって、前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、を備え、前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面とを有し、前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、前記料金算出装置は、前記判断装置の前記記憶部から提供された前記不一致の判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする。

本発明の正誤判定システムは、料金算出装置が判断装置とは別個の構成であるため、判断装置の判断部で一致が判断され、記憶部に判定情報が記憶され、その判定情報が料金算出装置に提供される。

料金算出装置は、判断装置から提供された不一致の判定情報に基づいて判断装置の利用料金を算出するが、利用料金の値上げ幅を小さくするか（上げ幅ゼロを含む）、値下げをする。このとき、ユーザが装置判断結果に対して同意できない場合、ユーザには、不一致のユーザ判断結果を積極的に入力しようとするインセンティブが生じる。これにより、本発明の正誤判定システムは、判断装置が判定情報に基づく機械学習を確実に行えるようになり、正誤判定の精度を向上させることができる。

第４発明は、機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置と、前記判断装置の利用料金を算出する料金算出装置とからなる正誤判定システムであって、前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、を備え、前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面とを有し、前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、前記料金算出装置は、前記判断装置の前記記憶部から提供された前記判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする。

本発明の正誤判定システムは、料金算出装置が判断装置とは別個の構成であるため、判断装置の判断部で一致が判断され、記憶部に判定情報が記憶され、その判定情報が料金算出装置に提供される。

その後、料金算出装置は、判断装置から提供された一致、不一致に関わらない判定情報に基づいて、判断装置の利用料金の値上げ幅を小さくするか（上げ幅ゼロを含む）、値下げをする。例えば、ユーザがユーザ判断結果を入力する程、利用料金を値下げする場合、ユーザには、装置判断結果に同意する場合であっても積極的に入力しようとするインセンティブが生じる。判断装置は、ユーザの入力により判定情報が得られ、その判定情報に基づいて機械学習が進むので、判定精度を向上させることができる。

本発明の第１実施形態の正誤判定システムの概略図。 判断装置のハードウェア構成を説明する図（第１実施形態）。 正誤判定処理のフローチャート。 判断結果表示画面とユーザ判断入力画面の例。 判断閾値設定画面の例。 判断結果一覧画面の例。 判断根拠表示画面の例。 要因記入画面の例。 本発明の第２実施形態の正誤判定システムの概略図。

以下では、本発明の正誤判定システムの実施形態について、図面を参照しつつ説明する。

［第１実施形態］
図１は、本発明の第１実施形態の正誤判定システム１の概略図を示している。正誤判定システム１では、人工知能（本発明の「コンピュータ」）を搭載し、正誤判定を行うアプリケーションがインストールされた判断装置２が主体となる。

以下では、クレーン車、ショベルカー又はフォークリフト等の建設機器（以下、建機という）を貸し出すレンタル業者において、建機が返却された際に行われる判断を例に、正誤判定システム１を説明する。判断装置２は、建機が返却された際、「修理」又は「廃棄」（「異常なし」を含んでもよい）の判断を行う。

詳細は後述するが、判断装置２の記憶部２ａには、学習モデルＤＢ（データベース）、建機情報ＤＢが記憶されている。判断装置２（制御部２ｂ）は、初期段階で備えている過去の結果情報等が蓄積された学習モデルＤＢを利用して、「修理」又は「廃棄」の判断を行う。その際、建機情報ＤＢに格納された建機の使用期間や修理歴等も参考にする。判断装置２は導入時からある程度の判定精度を有しているが、ユーザの利用によって結果情報が蓄積され、以下に述べる機械学習を行うことで判定精度が向上する。

ある建機（例えば、建機Ａ等）が返却され、判断装置２に返却リストＬの情報が入力された場合、判断装置２は「修理」又は「廃棄」の判断を行い、その判断結果が表示部２ｃに表示される（表示Ｘ）。また、レンタル業者の社員であるユーザＰは、判断装置２とは独立して同じ事象の判断を行い、判断結果を入力する。ここで、ユーザＰは、建機に関する知識や情報があり、判断能力を有する者であることを前提とする。

他方、ユーザＰは、判断装置２と独立して同じ判断を行い、判断結果を入力すると、このユーザＰの判断結果についても、表示部２ｃに表示される（表示Ｙ）。なお、図１では、判断装置２の判断結果とユーザＰの判断結果とを同じ画面に表示しているが、ユーザＰが判断装置２の判断結果に影響されないように、別画面としてもよい。

判断装置２は、装置の判断結果とユーザＰの判断結果とが一致した場合は「正解」と判定し、一致しなかった場合は「不正解」と判定する。「正解」、「不正解」の判定結果は、判断装置２の記憶部２ａ（後述する判定結果ＤＢ）に記憶され、後に学習モデルＤＢに組み込まれ、機械学習のためのデータとなる。

判断装置２の機械学習が進むことによって、上述の一連の処理により正誤の判定精度が向上した結果（例えば、９０％から９５％）、判断装置２の利用料金が値上げされることがある（例えば、１０万円／月から１２万円／月）。この点、利用料金は高くなるものの、必ずしも毎回、熟練者に判断を担当させる必要がなくなり、負担が軽減されるため、レンタル業者の利点も大きい。このように、判断装置２の判定精度に基づいて、料金表Ｍが定期的に見直される。

しかしながら、以上の機械学習は、ユーザＰが判断結果を積極的に入力することに基づいて行われるものである。特に、判断装置２の判断結果とユーザＰの判断結果とが一致しなかった場合（「不正解」）には、判断装置２に再学習（反復の機械学習）をさせる必要性が高い。そのため、ユーザＰが判断装置２の判断結果と一致しない判断結果を入力して、判定精度の向上に協力している場合には、利用料金の値上げ幅を小さくする（例えば、１０万円／月から１１万円／月）、あるいは利用料金を値下げする。なお、利用料金の値上げ幅を小さくすることには、値上げ幅をゼロ、すなわち、利用料金を据え置きにすることも含まれる。

次に、図２を参照して、判断装置２のハードウェア構成を説明する。

図示するように、判断装置２は、記憶部２ａと、制御部２ｂと、表示部２ｃとで構成されている。記憶部２ａは、ＲＯＭ、ＲＡＭ等の記憶装置であるが、少なくとも学習モデルＤＢ２１と、建機情報ＤＢ２２と、判定結果ＤＢ２３とを含んでいる。なお、記憶部２ａは、判断装置２とは独立した外付けハードディスク等の記憶装置であってもよい。

学習モデルＤＢ２１は、基本的な正誤の判断基準と、過去の判定結果データや関連情報が格納されており、後述する機械学習部２５に機械学習のための各種情報を提供する。機械学習により、判断装置２の正誤の判定精度は徐々に高まっていく。

建機情報ＤＢ２２は、レンタル業者が所有する全ての建機の使用期間、修理歴等のデータが格納されている。これらのデータは、建機が返却されて、判断装置２が「修理」又は「廃棄」の判断を行う際に参照される。

判定結果ＤＢ２３は、判断装置２が行った判断結果（本発明の「装置判断結果」）の他、その判断結果とユーザＰが行った判断結果（本発明の「ユーザ判断結果」）との一致、不一致の判定結果データが格納されている。判定結果データは、後に学習モデルＤＢ２１に取り込まれ、判断装置２の機械学習に利用される。

次に、制御部２ｂは、主に判断装置２のＣＰＵであり、機械学習部２５と、判断部２６と、表示制御部２７と、判断閾値設定部２８と、ユーザ判断受付部２９と、正誤要因受付部３０と、料金算出部３１と、警報部３２とで構成されている。

機械学習部２５は、学習モデルＤＢ２１と建機情報ＤＢ２１の情報が入力されると、判断のための機械学習を行う。機械学習部２５は、入力と正しい出力がセットとなったデータを予め用意して、新たな入力が与えられたとき正しい判断が行えるように学習させる「教師あり学習」を行う。なお、入力のみを与えて、データ中のパターンやルールを抽出しながら学習する「教師なし学習」を行ってもよい。

判断部２６は、新たな入力データ（図１の返却リストＬ）が与えられたとき、所定の判断を行う。本実施形態では、判断部２６が、返却された建機について「修理」又は「廃棄」の判断を行う。判断の閾値（厳しめに判断するか、緩めに判断するか）については、ユーザＰが設定することができるため、判断閾値設定部２８の情報が判断部２６に入力される。

また、判断部２６は、判断装置２の判断結果とユーザＰの判断結果とを比較し、両者が一致していた場合には「正解」と判定し、両者が一致していなかった場合には「不正解」と判定する。一致か否かの結果（判定結果データ）は、判定結果ＤＢ２３に保存、蓄積される。

表示制御部２７は、判断部２６から結果を提供され、表示部２ｃにその表示を行う制御信号を出力する。また、表示制御部２７は、ユーザ判断受付部２９からユーザＰの判断結果を提供され、表示部２ｃにその表示を行う制御信号を出力する。これにより、表示部２ｃに、判断装置２の判断結果とユーザＰの判断結果とを表示することができる。

表示制御部２７は、正誤要因受付部３０からも情報を受け取り、表示部２ｃにその情報の表示を行う制御信号を出力する。なお、正誤要因受付部３０は、ユーザＰが記入する判定結果の正解、不正解の要因（正誤要因）データを受け付ける。

料金算出部３１は、判定結果ＤＢ２３の判定結果データに基づいて判断装置２の料金を算出する。料金の算出は、例えば、１０〜２０回分の判定結果データから判定精度を考慮して行ってもよいし、３〜６カ月分の判定結果データをまとめた上、判定精度に基づいて行ってもよい。

警報部３２は、特に、正誤判定で「不正解」となった場合に、音声や表示、ユーザＰへのメール等でその内容を警告する。「不正解」の種類によって、音声や表示の内容を変更してもよい。

最後に、表示部２ｃは、判断装置２の液晶ディスプレイである。表示部２ｃでは、判断装置２にインストールされたアプリケーションの各種画面を表示する。表示画面の詳細については、後述する。

以上では、オフィスに設置されたデスクトップＰＣの判断装置２を想定して説明したが、ノート型ＰＣ、タブレット端末、スマートフォン等の携帯端末でも同様の正誤判定を行うことができる。このような場合、学習モデルＤＢ２１等は、クラウドサーバに保存することが好ましい。

次に、図３を参照して、正誤判定システム１の正誤判定処理のフローチャートを説明する。また、フローチャートの説明の中で適宜、図４〜図６を参照して、アプリケーションの各種画面について説明する。

まず、判断装置２に入力データを提供する（ステップＳ０１）。本実施形態において、入力データは建機の返却リストＬであり（図１参照）、例えば、ユーザＰが返却された建機の名称を入力する。その後、ステップＳ０２に進む。

ステップＳ０２では、判断処理が行われる。これは、上述の判断装置２の判断部２６により、返却された建機が「修理」、「廃棄」の何れに該当するかを判定する処理である。図４は、判断部２６による装置判断結果表示画面Ｘを含んでおり、建機Ａについて、「〇（廃棄）」と判断している。その後、ステップＳ０３に進む。

ここで、判断装置２の判断を厳しめにするか、緩めにするかについて、ユーザＰが予め設定することができる。図５は、ユーザＰが判断装置２の判断閾値を決定する画面の例である。判断閾値設定画面Ｚにおいて、縦軸Ｐは判断基準を示している。

例えば、判断装置２の「〇（廃棄）」には、確率４０％の「○」もあれば、確率８０％の「○」もある。現在、閾値が「０．６」に設定されているので、判断装置２は、確率６０％以上の「○」を「廃棄」とし、確率６０％未満の「○」であれば「△（修理）」と判断する。ユーザＰは、判断閾値設定画面Ｚにおいて、閾値バーｂをドラッグすることで、判断閾値を変更することができる。

次に、ステップＳ０３では、ユーザの正誤判定結果が入力される。図４に示すユーザ判断結果入力画面ＹにはプルダウンメニューＹ’が用意されており、「修理」又は「廃棄」を選択できるようになっている。判断結果は、ユーザが「決定」ボタンを操作することで確定する。その後、ステップＳ０４に進む。

ステップＳ０４では、両判断が一致したか否かが判断される。これは、上述の判断部２６により、判断装置２の判定結果とユーザの判定結果とが一致しているか否かを判定する処理である。両判断が一致していた場合にはステップＳ０５に進み、先の判定が「正解」としてカウントされる。一方、両判断が一致していなかった場合にはステップＳ０６に進み、先の判定が「不正解」としてカウントされる。その後、ステップＳ０７に進む。

ステップＳ０７では、判定結果データを記憶する。具体的には、判定結果ＤＢ２３に先の判定結果を記憶する。図６に示す判定結果一覧画面Ｒ（２０１８年５月）では、本処理により記憶された「返却物」と「判定」とが一覧表示されている。なお、判定日時や判定に関する付加情報を併せて表示してもよい。その後、ステップＳ０８に進む。

ステップＳ０８では、学習モデルＤＢを更新する。具体的には、ステップＳ０７で追加された判定結果ＤＢ２３の判定結果を学習モデルＤＢ２１に移行することで、学習モデルＤＢ２１を更新する。この処理は、新たな判定結果が追加される度に行う必要はなく、１０〜２０の判定結果が蓄積されたとき、又は一月分の判定結果をまとめて行ってもよい。その後、ステップＳ０９に進む。

ステップＳ０９では、正答率（判定精度）が算出される。なお、図６の判定結果一覧画面Ｒは、月毎に判定結果が管理される例であるが、判定結果が追加される度に正答率が算出されて、月末に最終的な正答率が決定する。その後、ステップＳ１０に進む。

最後に、ステップＳ１０では、正答率に基づいて利用料金の見直しを行う。この処理についても、新たな判定結果が追加される度に行う必要はないが、概要は次のようになる。例えば、判断装置２の先月（２０１８年４月）の正答率が９０％であり、今月の正答率が９２％となった場合（図６参照）、判断装置２の利用料金は値上げされることがあるが、レンタル業者（ユーザＰ）の負担は軽減される。

他方、ユーザＰが「不正解」の判断結果を入力して、判定精度の向上に協力している場合には、利用料金の値上げ幅を小さくする。また、判断装置２の利用料金を値下げする場合もある。このように、判断装置２の正答率に基づいて、利用料金（料金表Ｍ）が毎回又は定期的に見直される。その後、正誤判定処理を終了する。

正誤判定処理においては、ユーザＰが判断結果を入力しない場合も考えられる。この場合、所定時間が経過したとき、例えば、正誤判定システム１にログインしたユーザＰに報知するようにしてもよい。それでも、ユーザＰが判断結果を入力しない場合には、正誤判定処理のそれ以降の処理を進める。

特に、ユーザＰが表示部２ｃに表示された判断装置２の判断結果に対して同意する場合には、利用料金の引き下げが望めないため、ユーザＰに入力しようとするインセンティブが働かない。しかし、正誤判定システム１は判定精度が高い方が望ましいため、ユーザＰが判定精度を低下させる虚偽の判断結果をあえて入力する可能性は低い。そのため、ユーザＰが判断結果が入力しなかった場合は、一致、不一致に関わらず、判定結果を「一致（正解）」とする。これにより、ユーザＰが判断結果を入力しない場合であっても今回の判定結果データが得られ、判定結果ＤＢ２３が更新される。

また、正誤判定処理において、判定結果が「不正解」となるケースには、２つのパターンがある。１つ目は、判断装置２が「修理」と判断し、ユーザＰが「廃棄」と判断するような、ユーザＰの方がネガティブな判断を下すパターンである。仮に、ユーザＰが判断結果を入力せず、後に「廃棄」と判断した場合、判断装置２の判断が採用されているので、建機は処分されることなく残っている。「廃棄」は後からでも行うことができるので、このケースでは、大きな問題は生じない。

もう１つは、判断装置２が「廃棄」と判断し、ユーザＰが「修理」と判断するような、判断装置２の方がネガティブな判断を下すパターンである。仮に、ユーザＰが判断結果を入力せず、後に「修理」と判断した場合、判断装置２の判断が採用されて、建機が既に処分されている可能性がある。このケースは、取り返しのつかない可能性も生じ得るため、上述の警報部３２により警報を行う。

また、判断閾値設定画面Ｚ（図４参照）において、閾値を比較的低い値（例えば、「０．５」以下）に設定した場合、判断装置２が厳しめに判断して、ネガティブな判断を下すことが多い。従って、閾値は、「０．６」〜「０．８」の間の値に設定することが好ましい。

閾値を適切な値に設定しても、判断装置２の方がネガティブな判断を下して「不正解」となった場合には、判定結果データを判定結果ＤＢ２３に記憶する際に、重み付けを変更するようにしてもよい。そして、正答率（判定精度）に加えて、重み付けを考慮した判定結果データに基づいて利用料金を見直すこともできる。

正誤判定システム１の判断装置２は、以下のような機能も備えている。図７は、判断装置２が行った判断結果に対して、ユーザＰがその根拠を取得するための判断根拠表示画面Ｓを示している。

ユーザＰは、判断装置２の判断結果に興味があるとき、又は判断装置２が何をもってその判断をしたのかを確認したいとき、表示部２ｃに判断根拠表示画面Ｓを表示させる。判断根拠表示画面Ｓでは、返却された「建機Ｂ」について、「廃棄」又は「修理」の判断を行った根拠となる資料が表示される。

具体的には、「建機Ｂ」の使用期間、稼働時間、市場価格、市況状況、修理歴等が表示される。例えば、使用期間が比較的短いが、ある部分の修理歴が記録されていれば、判断装置２が「修理」の判断をしたとき、ユーザＰは、同じ部分の修理を疑うことになる。

そして、判断装置２が「修理」と判断したパーツが、実際に修理すべきパーツと一致していれば、判断装置２の判断は、非常に優れているという結果になる。他方、判断装置２が「修理」と判断したパーツが、実際に修理すべきパーツと不一致であれば、偶然に判定結果が「正解」となっただけである。

このような情報についても、判定結果データと併せて判定結果ＤＢ２３に記憶され、その際、重み付けを変更するようにしてもよい。そして、この重み付けが利用料金に影響するようにすることもできる。このように、ユーザＰは、判断装置２の判断結果の根拠を取得することができるので、判断装置２の判断が本当に正しいか否かを検証することができる。

また、図８は、判断装置２が行った判定が正解又は不正解とされた要因を、ユーザＰが記入する要因記入画面Ｔを示している。

要因記入画面Ｔは、返却物の情報とテキスト入力ウィンドウとの組み合せで構成されている。「建機Ａ」、「建機Ｂ」は、判定結果が「正解」の場合であり、ユーザＰが正解となった要因をテキスト入力ウィンドウに記入する。ユーザＰのコメントは、判定結果データと併せて判定結果ＤＢ２３に記憶される。なお、判定結果が「正解」の場合は、記入する事項がほとんどないこともあり、テキスト入力ウィンドウは小さめに作られている。

また、「建機Ｃ」は、例えば、判断装置２が「修理」と判断し、ユーザＰが「廃棄」と判断して、判定結果が「不正解」となった場合である。この場合、ユーザＰは、自身が「廃棄」と判断した根拠を記入する。判定結果が「不正解」の場合は、原因究明等の観点から記入する記載事項は多く、テキスト入力ウィンドウは大きめに作られている。「建機Ｃ」の最終的な処分をどのようにしたかの情報を、併せて記入してもよい。

このように、今回の正誤判定に関する判定結果データが補強され、そのような情報も、最終的に学習モデルＤＢ２１に取り込まれて、機械学習に役立てることができる。これにより、判断装置２の判定精度を向上させることができる。

以上で説明したように、本発明の第１実施形態の正誤判定システム１において、判断装置２は、各種情報を表示する表示部２ｃと、正誤の判断を行う判断部２６と、装置判断結果と判定結果を記憶する判定結果ＤＢ２３と、利用料金を算出する料金算出部３１とを備えている。表示部２ｃは、判断装置２が行った装置判断結果を表示する装置判断結果表示画面Ｘと、ユーザＰが行ったユーザ判断結果を入力するユーザ判定結果入力画面Ｙとを有する。そして、料金算出部３１は、判定結果ＤＢ２３に記憶された不一致の判定情報に基づいて、判断装置２の利用料金の値上げ幅を小さくする又は値下げする。このように、ユーザＰに判断結果を入力するインセンティブを与えて、判断装置２が行う判断の精度を向上させることができる。

判断装置２は、継続使用すると徐々に判定精度が高くなり、長期的にみれば利用料金が上昇すると考えられる。そこで、利用料金の上昇を抑えるため、料金算出部３１は、判定結果ＤＢ２３に記憶された一致、不一致に関わらない判定情報に基づいて、利用料金の値上げ幅を小さくするか、値下げをするようにしてもよい。

例えば、ユーザＰが「正解」、「不正解」に関わらず入力に協力している場合、利用料金を値下げする。利用料金の値下げは、ユーザＰが入力を行う強力なインセンティブとなるため、判断装置２の精度向上により利用料金の上昇分があっても、ユーザＰの入力により利用料金が抑えられるシステムが実現可能となる。

また、ユーザＰが入力を行うと判定情報が生まれ、判断装置２の機械学習が進んで判定精度が向上する。ユーザＰが判断装置２の装置判定結果に同意して「正解」を入力した場合は、判断装置２が下した判断の正確性が証明されるという点でも意義はある。

［第２実施形態］
図９は、本発明の第２実施形態の正誤判定システム１０の概略図を示している。なお、以下では、第１実施形態と同じ構成については同じ符号を付し、一部の説明を省略する。

正誤判定システム１０は、人工知能を搭載し、正誤判定を行うアプリケーションがインストールされた判断装置２０と、料金算出装置５とで構成される。料金算出装置５は、判断装置２０と別個の装置であるので、建機のレンタル業者に設置される必要はない。

図示するように、判断装置２は、記憶部２ａと、制御部２ｂ’と、表示部２ｃとで構成されている。記憶部２ａは、ＲＯＭ、ＲＡＭ等の記憶装置であるが、少なくとも学習モデルＤＢ２１と、建機情報ＤＢ２２と、判定結果ＤＢ２３とを含んでいる。

次に、制御部２ｂ’は、主に判断装置２のＣＰＵであり、機械学習部２５と、判断部２６と、表示制御部２７と、判断閾値設定部２８と、ユーザ判断受付部２９と、正誤要因受付部３０と、警報部３２とで構成されている。

判断部２６は、判断装置２０の判断結果とユーザＰの判断結果とを比較し、両者が一致していた場合には「正解」と判定し、両者が一致していなかった場合には「不正解」と判定する。一致か否かの結果（判定結果データ）は、判定結果ＤＢ２３に保存、蓄積される。

料金算出装置５は、判断装置２０の判定結果ＤＢ２３から判定結果データを提供され、判定結果データに基づいて判断装置２０の料金を算出するコンピュータである。判断装置２０はコンピュータであるから、電気通信回線等により料金算出装置５に対して判定結果データの提供することができる。

ここでは、判断装置２０が建機のレンタル会社に設置され、料金算出装置５が判断装置２０を貸し出した装置貸出業者に設置されているとする。このとき、建機のレンタル会社からポータブルハードディスク等の記憶媒体を通じて、判定結果ＤＢ２３の判定結果データを装置貸出業者の料金算出装置５に移行することができる。また、判定結果データをクラウドサーバに保存するようにして、料金算出装置５がクラウドサーバにアクセスして判定結果データを取得するようにしてもよい。

例えば、１０〜２０回分、又は３〜６カ月分の判定結果データをまとめた上、判断装置２０から料金算出装置５に判定結果データを自動送信し、料金算出装置５が利用料金の算出を行うようにしてもよい。なお、料金の算出結果や改訂版の料金表については、料金算出装置５から判断装置２０へ電子メール等で連絡する。

以上で説明したように、本発明の第２実施形態の正誤判定システム１０は、判断装置２０と料金算出装置５とで構成される。判断装置２０は、各種情報を表示する表示部２ｃと、正誤の判断を行う判断部２６と、装置判断結果と判定結果を記憶する判定結果ＤＢ２３とを備え、表示部２ｃは、判断装置２０が行った装置判断結果を表示する装置判断結果表示画面Ｘと、ユーザＰが行ったユーザ判断結果を入力するユーザ判定結果入力画面Ｙとを有する。そして、料金算出装置５は、判定結果ＤＢ２３から提供された不一致の判定情報に基づいて、判断装置２０の利用料金の値上げ幅を小さくする又は値下げする。このように、ユーザＰに判断結果を入力するインセンティブを与えて、判断装置２０が行う判断の精度を向上させることができる。

上記の説明は、本発明の実施形態の一部であり、これ以外にも種々な実施形態が考えられる。第２実施形態の正誤判定システム１０において、料金算出装置５は、判定結果ＤＢ２３から提供された一致、不一致に関わらない判定情報に基づいて、判断装置２０の利用料金の値上げ幅を小さくするか、値下げをすることができる。これにより、ユーザＰが入力に協力する程、利用料金が抑えられるシステムも実現可能となる。

また、利用料金（料金表Ｍ）の見直しは、正答率（判定精度）の他に、様々な要素を加えることができる。例えば、建機が返却されて判断装置２が「修理」の判断を下したとき、修理の見積額が算出され、表示部２ｃに修理する建機の修理見積画面が表示される。その後、ユーザＰも「修理」の判断を下せば、実際にその建機が修理される。ここで、判断装置２の見積額と実際の見積額とを比較して重み付けを変更し、この重み付けが利用料金に影響するようにする。このような方法によっても、判断装置２の適切な利用料金を決定することができる。

正誤判定処理（図３参照）においては、判断装置２の判断処理の後、ユーザＰが同じ事象の判断をする順番であったが、これに限られない。ユーザＰが判断装置２の判断処理より先に判断結果を入力してもよい。また、ユーザＰが判断結果を入力する際、装置判断結果表示画面Ｘが見えていなくてもよい。これにより、ユーザＰは、判断装置２の判断結果に影響されることなく、公正な判断を行うことができる。

１，１０…正誤判定システム、２，２０…判断装置、２ａ…記憶部、２ｂ，２ｂ’…制御部、２ｃ…表示部、５…料金算出装置、２１…学習モデルＤＢ、２２…建機情報ＤＢ、２３…判定結果ＤＢ、２５…機械学習部、２６…判断部、２７…表示制御部、２８…判断閾値設定部、２９…ユーザ判断受付部、３０…正誤要因受付部、３１…料金算出部、３２…警報部、Ｌ…返却リスト、Ｍ…料金表、Ｐ…ユーザ、Ｒ…判断結果一覧画面、Ｓ…判断根拠表示画面、Ｔ…要因記入画面、Ｘ…装置判断結果表示画面、Ｙ…ユーザ判断結果入力画面、Ｚ…判断閾値設定画面。

第１発明は、機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置を有する正誤判定システムであって、前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、前記判断装置の利用料金を算出する料金算出部とを備え、前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面と、前記装置判断結果に対してユーザがその根拠を取得する判断根拠表示画面とを有し、前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、前記料金算出部は、ユーザが取得した前記装置判断結果の根拠の正誤により、前記判断装置の利用料金を決定する重み付けを変更し、前記記憶部に記憶された前記判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする。

そして、判断装置の料金算出部は、例えば、不一致の判定情報に基づいて、判断装置の利用料金の値上げ幅を小さくする（上げ幅ゼロを含む）か、値下げをする。そこで、表示部に表示された装置判断結果に対して同意できない場合、ユーザには、不一致となるユーザ判断結果を積極的に入力しようとするインセンティブが生じる。以上の通り、本発明の正誤判定システムによれば、判断装置が判定情報に基づく機械学習を確実に行えるようになるので、正誤判定の精度を向上させることができる。
基本的に、判断装置の料金算出部は、一致、不一致に関わらず、判定情報に基づいて、判断装置の利用料金の値上げ幅を小さくする（上げ幅ゼロを含む）か、値下げをする。例えば、ユーザがユーザ判断結果を入力する程、利用料金を値下げする場合、ユーザには、装置判断結果に同意する場合であっても積極的に入力しようとするインセンティブが生じる。判断装置は、ユーザの入力により判定情報が得られ、その判定情報に基づいて機械学習が進むので、判定精度を向上させることができる。
また、表示部が判断根拠表示画面を有しており、ユーザは、判断装置が行った装置判断結果の根拠を確認することができる。このため、装置判断結果が適切か否かを容易に把握することができ、不適切と思われる判断に対しては、ユーザ判断結果を採用する等の対応をとることができる。
さらに、ユーザは、判断根拠表示画面から装置判断結果の根拠の正誤を確認し、装置判断結果の根拠が実際と同じ（正）であれば、判断装置の判断が優れていることになり、装置判断結果の根拠が実際とは異なる（誤）のであれば、仮に一致、不一致の判定が正しい場合でも、評価されないことになる。このような情報を元に、料金算出部が判断装置の利用料金を決定する重み付けを変更することで、適切な利用料金を決定することができる。

第２発明は、機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置と、前記判断装置の利用料金を算出する料金算出装置とからなる正誤判定システムであって、前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、を備え、前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面と、前記装置判断結果に対してユーザがその根拠を取得する判断根拠表示画面とを有し、前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、前記料金算出装置は、ユーザが取得した前記装置判断結果の根拠の正誤により、前記判断装置の利用料金を決定する重み付けを変更し、前記判断装置の前記記憶部から提供された前記判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする。

料金算出装置は、例えば、不一致の判定情報に基づいて判断装置の利用料金を算出するが、利用料金の値上げ幅を小さくするか（上げ幅ゼロを含む）、値下げをする。このとき、ユーザが装置判断結果に対して同意できない場合、ユーザには、不一致のユーザ判断結果を積極的に入力しようとするインセンティブが生じる。これにより、本発明の正誤判定システムは、判断装置が判定情報に基づく機械学習を確実に行えるようになり、正誤判定の精度を向上させることができる。

基本的に、料金算出装置は、判断装置から提供された一致、不一致に関わらない判定情報に基づいて、判断装置の利用料金の値上げ幅を小さくするか（上げ幅ゼロを含む）、値下げをする。例えば、ユーザがユーザ判断結果を入力する程、利用料金を値下げする場合、ユーザには、装置判断結果に同意する場合であっても積極的に入力しようとするインセンティブが生じる。判断装置は、ユーザの入力により判定情報が得られ、その判定情報に基づいて機械学習が進むので、判定精度を向上させることができる。
また、表示部が判断根拠表示画面を有しており、ユーザは、判断装置が行った装置判断結果の根拠を確認することができる。このため、装置判断結果が適切か否かを容易に把握することができ、不適切と思われる判断に対しては、ユーザ判断結果を採用する等の対応をとることができる。
さらに、ユーザは、判断根拠表示画面から装置判断結果の根拠の正誤を確認し、装置判断結果の根拠が実際と同じ（正）であれば、判断装置の判断が優れていることになり、装置判断結果の根拠が実際とは異なる（誤）のであれば、仮に一致、不一致の判定が正しい場合でも、評価されないことになる。このような情報を元に、料金算出装置が判断装置の利用料金を決定する重み付けを変更することで、適切な利用料金を決定することができる。

Claims (9)

1. 機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置を有する正誤判定システムであって、
   前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、前記判断装置の利用料金を算出する料金算出部とを備え、
   前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面とを有し、
   前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、
   前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、
   前記料金算出部は、前記記憶部に記憶された前記不一致の判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする正誤判定システム。
2. 請求項１に記載の正誤判定システムにおいて、
   前記判断部は、前記ユーザが前記ユーザ判断結果を入力しなかった場合に、一致の判定をすることを特徴とする正誤判定システム。
3. 請求項１又は２に記載の正誤判定システムにおいて、
   前記表示部は、前記装置判断結果に対して、ユーザがその根拠を取得する判断根拠表示画面を有していることを特徴とする正誤判定システム。
4. 請求項３に記載の正誤判定システムにおいて、
   前記料金算出部は、ユーザが取得した前記装置判断結果の根拠の正誤により、前記判断装置の利用料金を決定する重み付けを変更することを特徴とする正誤判定システム。
5. 請求項１〜４の何れか１項に記載の正誤判定システムにおいて、
   前記表示部は、前記判断装置が行う判断基準を決定する閾値を、ユーザが設定する判断閾値設定画面を有していることを特徴とする正誤判定システム。
6. 請求項１〜５の何れか１項に記載の正誤判定システムにおいて、
   前記表示部は、前記判断装置が行った判定が一致又は不一致とされた要因を、ユーザが記入する要因記入画面を有していることを特徴とする正誤判定システム。
7. 機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置を有する正誤判定システムであって、
   前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、前記判断装置の利用料金を算出する料金算出部とを備え、
   前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面とを有し、
   前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、
   前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、
   前記料金算出部は、前記記憶部に記憶された前記判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする正誤判定システム。
8. 機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置と、前記判断装置の利用料金を算出する料金算出装置とからなる正誤判定システムであって、
   前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、を備え、
   前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面とを有し、
   前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、
   前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、
   前記料金算出装置は、前記判断装置の前記記憶部から提供された前記不一致の判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする正誤判定システム。
9. 機械学習を行うコンピュータに入力情報を与えたとき、所定の判断を行い、その結果を回答する判断装置と、前記判断装置の利用料金を算出する料金算出装置とからなる正誤判定システムであって、
   前記判断装置は、各種情報を表示する表示部と、正誤の判断を行う判断部と、前記判断部の装置判断結果を記憶する記憶部と、を備え、
   前記表示部は、前記装置判断結果を表示する装置判断結果表示画面と、ユーザが行ったユーザ判断結果を入力するユーザ判断結果入力画面とを有し、
   前記判断部は、前記装置判断結果と前記ユーザ判断結果とが一致するか否かを判定し、
   前記記憶部は、前記装置判断結果と前記ユーザ判断結果との一致又は不一致の判定情報を記憶し、
   前記料金算出装置は、前記判断装置の前記記憶部から提供された前記判定情報に基づいて、前記判断装置の利用料金の値上げ幅を小さくする又は値下げすることを特徴とする正誤判定システム。