JP2020187441A - モデル提供プログラム、モデル提供方法及びモデル提供装置 - Google Patents

Abstract

【課題】審査時点からのタイムラグが小さい教師データを用いたモデル学習を実現できるモデル提供装置を提供する。【解決手段】モデル提供装置において、モデル実行部１５Ａは、記憶部１３に記憶されたモデルデータ１３Ａに従ってスコアリングを実行する。第１モニタリング部１５Ｂは、スコアリングが行われた審査の件数が所定の閾値に達した場合、学習部１５Ｆへ再学習を指示する。取得部１５Ｃは、各審査対象者の銀行取引履歴が取得する。第２モニタリング部１５Ｄは、取得した銀行取引履歴から、第２の監視項目ごとに審査対象者全体における第２の監視項目の集計値を算出する。生成部１５Ｅは、集計値が所定の第２の監視条件を満たすデータに対し、ラベルを付与した擬似教師データ１４Ａを生成する。学習部１５Ｆは、再学習の指示があると、擬似教師データ１４Ａを含む教師データ１４により再学習を行い、モデルデータ１３Ａの更新を行う。【選択図】図１

Description

本発明は、モデル提供プログラム、モデル提供方法及びモデル提供装置に関する。

機械学習等により学習されたモデルが各種の審査に利用されている。例えば、金融業界を例に挙げれば、取引先の信用力を点数化するスコアリングモデルが融資や与信等の審査に用いられる。

特開２００６−１６４２５７号公報

しかしながら、上記の技術では、審査が行われてから審査の成否が判明するまでモデルの教師データに付与するラベルが定まらないので、審査時点からのタイムラグが大きい教師データがモデルの学習に用いられる場合がある。

１つの側面では、本発明は、審査時点からのタイムラグが小さい教師データを用いたモデル学習を実現できるモデル提供プログラム、モデル提供方法及びモデル提供装置を提供することを目的とする。

一態様では、モデル提供プログラムは、融資の審査対象者の取引履歴を取得し、前記融資の審査に用いるモデルへの入力データのうち前記審査対象者に対応する入力データに、前記審査対象者の取引履歴が所定の監視条件に該当するか否かに基づくラベルが付与された擬似教師データを生成し、前記擬似教師データを用いて前記モデルを学習する、処理をコンピュータに実行させる。

審査時点からのタイムラグが小さい教師データを用いたモデル学習を実現できる。

図１は、実施例１に係るモデル提供装置の機能的構成の一例を示すブロック図である。 図２Ａは、ラベルの付与方法の一例を示す図である。 図２Ｂは、ラベルの付与方法の一例を示す図である。 図２Ｃは、ラベルの付与方法の一例を示す図である。 図３は、第１の再学習条件の設定例を示す図である。 図４は、第２の監視項目の一例を示す図である。 図５は、第２の監視項目のモニタリング方法の一例を示す図である。 図６Ａは、第２の監視項目のモニタリング方法の他の一例を示す図である。 図６Ｂは、第２の監視項目のモニタリング方法の他の一例を示す図である。 図７は、サンプル項目の一例を示す図である。 図８は、サンプル項目の他の一例を示す図である。 図９は、実施例１に係る第１モニタリング処理の手順を示すフローチャートである。 図１０は、実施例１に係る第２モニタリング処理の手順を示すフローチャートである。 図１１は、実施例１に係る擬似教師データの生成処理の手順を示すフローチャートである。 図１２は、実施例１に係る再学習処理の手順を示すフローチャートである。 図１３は、データセットの分割方法の一例を示す図である。 図１４Ａは、評価指標値の一例を示す図である。 図１４Ｂは、評価指標値の一例を示す図である。 図１４Ｃは、評価指標値の一例を示す図である。 図１４Ｄは、評価指標値の一例を示す図である。 図１４Ｅは、評価指標値の一例を示す図である。 図１５は、コンピュータのハードウェア構成例を示す図である。

以下に添付図面を参照して本願に係るモデル提供プログラム、モデル提供方法及びモデル提供装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
図１は、実施例１に係るモデル提供装置１０の機能的構成の一例を示すブロック図である。図１に示すモデル提供装置１０は、各種の審査に利用するモデルに関する各種の機能を提供するモデル提供機能を有するものである。

ここで、本実施例では、ユースケースのあくまで一例として、融資の申込情報を入力として融資の審査対象者の信用力が点数化されたスコアを出力するスコアリングモデルに関する機能、例えば学習や適用、監視等を提供する例を挙げる。なお、融資の申込情報は、スコアリングモデルへ入力する入力データのあくまで一例であり、他の任意のデータ、例えば財務諸表などであってもかまわない。

モデル提供装置１０は、上記のモデル提供機能を動作させる基盤となるプラットフォームの一例である。

一実施形態として、モデル提供装置１０は、パッケージソフトウェア又はオンラインソフトウェアとして、上記のモデル提供機能を実現するモデル提供プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、モデル提供装置１０は、ＳａａＳ（Software as a Service）型のアプリケーションとして実装することで、上記のモデル提供機能をクラウドサービスとして提供することとしてもかまわない。これに限定されず、モデル提供装置１０は、上記のモデル提供機能をオンプレミスに提供するサーバとして実装することができる。この場合、モデル提供装置１０は、融資システム３０の一部に組み込まれることとしてもかまわない。

図１に示すように、モデル提供装置１０には、融資システム３０が接続され得る。これらモデル提供装置１０及び融資システム３０の間は、任意のネットワークＮＷを介して通信可能に接続され得る。例えば、ネットワークＮＷは、有線または無線を問わず、インターネットやＬＡＮ（Local Area Network）などの任意の種類の通信網であってかまわない。なお、図１には、説明の便宜上、１つのモデル提供装置１０につき１つの融資システム３０が接続される例を挙げたが、１つのモデル提供装置１０につき複数の融資システム３０が接続されることを妨げない。

融資システム３０は、融資業務に関する各種の機能を動作させる基盤となるプラットフォームの一例である。このような融資業務に関する機能の例として、顧客管理や融資管理、商品管理、契約管理、各種取引、延滞督促などのバックエンドの機能がパッケージで提供される。この他にも、融資システム３０は、図示しないエンドユーザの端末から融資の申込情報を受け付けるポータルなどのフロントエンドの機能も有することができる。また、融資システム３０は、上記の融資管理機能の一環として、上記のモデル提供機能を呼び出すＡＰＩ（Application Programming Interface）に従ってスコアリングのリクエストをモデル提供装置１０へ行うことができる。この結果として得られたスコアを用いて、融資システム３０は、融資の審査を支援することができる。例えば、融資システム３０は、スコアの閾値判定等によって融資の審査を自動化することもできれば、金融機関の審査の担当者により使用される端末装置等にスコア又はスコアに基づくレコメンドの出力、例えば表示、音声又は印字などを行うことができる。

［課題の一側面］
上記の背景技術の欄で説明した通り、従来では、審査が行われてから審査の成否が判明するまでモデルの教師データに付与するラベルが定まらないので、審査時点からのタイムラグが大きい教師データがモデルの学習に用いられる場合がある。

あくまで一例として、融資審査を例に挙げれば、審査の結果、融資をしてよい審査対象者だと判断したとして、実際に融資した後にその審査対象者が完済したか、あるいは貸し倒れしたかの審査の成否が確定するまでには年単位の期間を要する場合がある。この場合、審査が行われてから年単位の期間が経過してからラベルが付与された教師データがモデルの学習に用いられることもある。

しかしながら、スコアリングモデルの精度は、市場トレンドなど外部環境に起因して変化する。例えば、審査時点からモデル学習の時点までのタイムラグが大きくなるほど、そのタイムラグの間に景気の不況又は好況を引き起こすイベントが発生する可能性が高まり、さらには、イベントが発生する回数が多くなる可能性が高まる。この場合、審査時とモデル学習時との間で市場トレンドに連続性がなくなるので、スコアリングモデルの精度が低下することがある。特に、個人事業主や零細企業等に行われる小口の融資審査にスコアリングモデルが用いられる場合、大口の融資が行われる取引先に比べて短期の市場トレンドの影響を受けやすい分、スコアリングモデルの精度への影響も大きい。

このような精度面の課題の他にも、上記のタイムラグが一因となって学習に十分な数の教師データが集まるまでに時間が掛かるので、再学習が実施可能となるまでのインターバルが長期化するという側面もある。

［課題解決のアプローチの一側面］
そこで、本実施例に係るモデル提供装置１０は、審査に用いるスコアリングモデルに入力された入力データに対応する審査対象者の取引履歴が監視条件に該当するか否かに応じてみなしラベルが入力データに付与された擬似教師データを生成してモデル学習を行う。このような監視条件には、あくまで一例として、貸し倒れが発生するリスク、あるいは信用を毀損するリスクと関連性がある返済記録、いわゆる金融事故に関する条件を用いることができる。

図２Ａ〜図２Ｃは、ラベルの付与方法の一例を示す図である。図２Ａには、従来技術によるラベルの付与方法が示される一方で、図２Ｂ及び図２Ｃには、本実施例によるラベルの付与方法が示されている。さらに、図２Ａ〜図２Ｃには、融資の申込から返済完了までの時間経過が左方向から右方向へ向けて示されている。さらに、図２Ａ〜図２Ｃでは、教師データが網掛け無しで示される一方で、擬似教師データが網掛け有りで示されている。

図２Ａに示すように、従来技術では、融資の申込から審査を経て融資の返済期間が終了するまで教師データに付与するラベルを決定する術がないので、融資の返済期間終了後に融資の完済又は貸し倒れが確定するまでラベルの決定を保留せざるを得ない。このため、融資の完済又は貸し倒れが確定してはじめて教師データに付与するラベルが定められる。このように、融資の完済又は貸し倒れが確定した段階で付与されるラベルのことを以下、「確定ラベル」と記載する場合がある。一方、図２Ｂ及び図２Ｃに示すように、本実施例では、融資の返済期間が終了するよりも前のタイミングでみなしラベルが付与される。詳細は後述するが、スコアリングモデルへ入力された入力データのうち、審査対象者の取引履歴が監視条件に該当しない入力データには、図２Ｂに示すように、正例「完済」のみなしラベルが付与される。一方、スコアリングモデルへ入力された入力データのうち、審査対象者の取引履歴が監視条件に該当する入力データには、図２Ｃに示すように、負例「貸し倒れ」のみなしラベルが付与される。図２Ａ〜図２Ｃに示す通り、確定ラベルが付与される教師データよりも、みなしラベルが付与される擬似教師データの方が審査時点からのタイムラグを抑えることができるのが明らかである。

このように、本実施例に係るモデル提供装置１０は、必ずしも返済が完了するか、あるいは貸し倒れが起こるかにより審査の成否が確定するまで、教師データに付与するラベルの決定を保留しない。つまり、本実施例に係るモデル提供装置１０は、審査対象者の取引履歴が監視条件に抵触するか否かにより、審査の成否が確定する前にみなしラベルを付与して擬似教師データを生成する。このような擬似教師データの生成によって、審査の成否が確定するまで教師データの生成を待たずともよい分、審査時点からモデル学習の時点までのタイムラグを抑えることができる。

したがって、本実施例に係るモデル提供装置１０によれば、審査時点からのタイムラグが小さい教師データを用いたモデル学習を実現することが可能になる。

［モデル提供装置１０の構成］
次に、本実施例に係るモデル提供装置１０の機能的構成の一例について説明する。図１に示すように、モデル提供装置１０は、通信インタフェイス１１と、記憶部１３と、制御部１５とを有する。なお、図１には、データの授受の関係を表す実線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。

通信インタフェイス１１は、他の装置、例えば融資システム３０との間で通信制御を行うインタフェイスである。

あくまで一例として、通信インタフェイス１１には、ＬＡＮカードなどのネットワークインタフェイスカードを採用することができる。例えば、通信インタフェイス１１は、融資システム３０からスコアリングのリクエストや審査対象者の取引履歴などを受け付けたり、審査対象者の信用力がスコアリングされたスコアを融資システム３０へ出力したりする。

記憶部１３は、制御部１５で実行されるＯＳ（Operating System）を始め、上記のモデル提供プログラムなどの各種プログラムに用いられるデータを記憶する機能部である。

あくまで一例として、記憶部１３は、モデル提供装置１０における補助記憶装置に対応する。例えば、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などが補助記憶装置に対応する。この他、ＥＰＲＯＭ（Erasable Programmable Read Only Memory)などのフラッシュメモリも補助記憶装置に対応する。

記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、モデルデータ１３Ａと、審査データ１３Ｂと、教師データ１４とを記憶する。これらのデータ以外にも、上記のモデル提供プログラムによって参照または生成が行われるデータ、例えばモデルの学習アルゴリズムや学習後のモデルの評価アルゴリズムなどが記憶部１３に記憶されることとしてもかまわない。なお、モデルデータ１３Ａ、審査データ１３Ｂ及び教師データ１４の説明は、各データの参照または生成が行われる制御部１５の説明と合わせて行うこととする。

制御部１５は、モデル提供装置１０の全体制御を行う機能部である。

一実施形態として、制御部１５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのハードウェアプロセッサにより実装することができる。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。

制御部１５は、上記のモデル提供プログラムを実行することにより、図示しない主記憶装置として実装されるＤＲＡＭ（Dynamic Random Access Memory）などのＲＡＭのワークエリア上に図１に示す処理部を仮想的に実現する。なお、図１には、あくまで一例として、融資システム３０が上記のモデル提供機能をＡＰＩで呼び出すプログラムモジュールとして上記のモデル提供プログラムが実装される例を挙げたが、これに限定されない。例えば、上記のモデル提供機能は、融資システム３０で動作する融資業務に関する各種の機能とパッケージ化されることとしてもよい。

例えば、制御部１５は、図１に示すように、モデル実行部１５Ａと、第１モニタリング部１５Ｂと、取得部１５Ｃと、第２モニタリング部１５Ｄと、生成部１５Ｅと、学習部１５Ｆとを有する。

モデル実行部１５Ａは、審査に用いるモデルを実行する処理部である。

一実施形態として、モデル実行部１５Ａは、記憶部１３に記憶されたモデルデータ１３Ａに従ってスコアリングモデルを実行する。このようにスコアリングモデルが実行された環境の下、モデル実行部１５Ａは、融資システム３０からスコアリングのリクエストを受け付けた場合、当該リクエストで受け付けた融資の申込情報をスコアリングモデルへ入力する。そして、モデル実行部１５Ａは、スコアリングモデルにより出力されたスコアを融資システム３０へ応答する。また、モデル実行部１５Ａは、スコアリングモデルへ入力された融資の申込情報に対応する審査対象者の識別情報に融資の申込情報やスコア、スコアに基づく融資審査の結果などが対応付けられたレコードを記憶部１３の審査データ１３Ｂへ追加登録する。

なお、記憶部１３に記憶されるモデルデータ１３Ａが学習部１５Ｆの再学習によって更新された場合、モデル実行部１５Ａは、更新後のモデルデータ１３Ａに従ってスコアリングモデルを再実行することで、最新のスコアリングモデルを適用する。このように最新のスコアリングモデルが適用された場合、モデル実行部１５Ａは、記憶部１３に記憶された審査データ１３Ｂをリセットすることもできる。

第１モニタリング部１５Ｂは、第１の監視項目を監視する処理部である。

一実施形態として、第１モニタリング部１５Ｂは、スコアリングモデルによってスコアリングが行われた審査の件数やスコアリングモデルが適用されている期間、スコアの統計値などを第１の監視項目として監視する。このような第１の監視項目をモニタリングすることにより、学習部１５Ｆによる再学習を実行するか否かが判断される。

図３は、第１の監視項目の一例を示す図である。例えば、図３に示す第１の監視項目を監視する場合、第１モニタリング部１５Ｂは、次のように動作する。すなわち、第１モニタリング部１５Ｂは、スコアリングモデルによりスコアリングが行われた場合、スコアリングモデルによってスコアリングが行われた審査の件数が所定の閾値Ｔｈ１１、図示の例では１０００件に達したか否かを判定する。このとき、審査の件数が１０００件に達した場合、第１モニタリング部１５Ｂは、スコアリングモデルの再学習を学習部１５Ｆへ指示する。また、第１モニタリング部１５Ｂは、スコアリングモデルが適用されている期間が所定の閾値Ｔｈ１２、図示の例では３０日間に達したか否かを判定する。このとき、スコアリングモデルが適用されている期間が３０日間に達した場合、第１モニタリング部１５Ｂは、スコアリングモデルの再学習を学習部１５Ｆへ指示する。

また、第１モニタリング部１５Ｂは、スコアリングモデルによりスコアリングが行われた場合、スコアの４種の統計値と、所定の閾値Ｔｈ１３〜Ｔｈ１６とを比較する。ここでは、図３に示す閾値Ｔｈ１３〜Ｔｈ１６は、あくまで一例として、スコアリングモデルが審査対象者の信用力を０〜１０００の範囲の点数にスコアリングする前提の下で設定されたものであることとする。すなわち、第１モニタリング部１５Ｂは、スコアの最大値が５００以下であるか否か、スコアの最小値が７００以上であるか否か、スコアの平均値が５００以下または８００以上であるか否か、さらには、スコアの中央値が５００以下または８００以上であるか否かを判定する。このとき、スコアの最大値が５００以下である場合、スコアの最小値が７００以上である場合、あるいはスコアの平均値または中央値が５００以下または８００以上である場合、第１モニタリング部１５Ｂは、スコアリングモデルの再学習を学習部１５Ｆへ指示する。

取得部１５Ｃは、各種の取引履歴を取得する処理部である。以下では、取引履歴のあくまで一例として、銀行取引履歴を例に挙げるが、審査対象者の他の取引履歴、例えば商取引や購買履歴、通信履歴などが取得されることとしてもかまわない。

一実施形態として、取得部１５Ｃは、所定のタイミング、例えば月次で、記憶部１３に記憶された審査データ１３Ｂに含まれる審査対象者ごとに、当該審査対象者に関する銀行取引履歴を融資システム３０から取得する。このとき、取得部１５Ｃは、当月に対応する１ヶ月分の銀行取引履歴を取得することとしてもよいし、前月以前の所定月分の銀行取引履歴を取得することとしてもかまわない。ここで言う「銀行取引履歴」とは、融資システム３０に対応する金融機関と審査対象者との間における取引の履歴全般を指す。例えば、審査対象者が融資システム３０に対応する金融機関で開設した口座における残高や入出金の記録の他、貸し倒れが発生するリスク、あるいは信用を毀損するリスクと関連性がある返済記録、いわゆる金融事故情報も含まれ得る。

第２モニタリング部１５Ｄは、第２の監視項目を監視する処理部である。第２モニタリング部１５Ｄは、監視部の一例に対応する。

一実施形態として、第２モニタリング部１５Ｄは、第２の監視項目ごとに、取得部１５Ｃにより審査対象者ごとに取得された銀行取引履歴を用いて、当該第２の監視項目に対応する数値情報が審査対象者全体で集計された集計値を算出する。このような第２の監視項目ごとに審査対象者全体の集計値をモニタリングすることにより、学習部１５Ｆによる再学習を実行するか否かが判断される。

図４は、第２の監視項目の一例を示す図である。図４には、第２の監視項目の一例として、貸し倒れが発生するリスク、あるいは信用が毀損されたリスクと関連性がある返済記録、例えば金融事故やそれに類する項目が例示されている。図４に示すように、第２の監視項目には、「延滞日数」、「延滞回数」、「延滞金額」、「延滞利息金」、「架電回数」、「文書発送件数」、「通話不能回数」、「支払督促回数」および「貸倒件数」などが挙げられる。

ここで、「延滞日数」とは、返済が遅延した日数を指す。また、「延滞回数」とは、返済日に未返済となった回数を指す。また、「延滞金額」とは、返済日に未返済となった金額（元金＋利息）を指す。また、「延滞利息金」とは、返済日に未返済となったことで発生する延滞利息金額（延滞利息）を指す。また、「架電回数」とは、延滞通知や督促通知、会社存在確認等で金融機関から顧客へ電話連絡が行われた回数を指す。また、「文書発送件数」とは、延滞通知や督促通知、会社存在確認等で金融機関から顧客へ文書発送が行われた回数を指す。また、「通話不能回数」とは、顧客へ電話した際、通話不能となった回数（留守電を除く）を指す。また、「支払督促回数」とは、延滞した債務の履行を請求した回数を指す。また、「貸倒件数」とは、融資金額、利息が回収不能となった件数を指す。

これら第２の監視項目ごとに集計値が算出される。例えば、「延滞回数」を例に挙げれば、第２モニタリング部１５Ｄは、審査対象者ごとに当該審査対象者の銀行取引履歴から、審査対象者および金融機関の間で定められた返済日、図示の例では月次の指定日ごとに、融資に対する返済記録を検索する。そして、第２モニタリング部１５Ｄは、審査対象者ごとに返済日に対する返済記録がヒットしなかった件数、あるいは返済記録がヒットしたが返済日以降に返済された返済記録の件数を延滞回数として集計する。その上で、第２モニタリング部１５Ｄは、審査対象者ごとに集計された延滞回数をさらに集計することにより、審査対象者全体における延滞回数を算出する。なお、審査対象者全体における延滞回数は、当月、前月、前々月などといった月次の単位で集計することができるのは言うまでもない。

なお、ここでは、銀行取引履歴から第２の監視項目の集計値を算出する例を挙げたが、銀行取引履歴に審査対象者の延滞回数が記録されている場合、審査対象者個別の延滞回数を合計することとすればよい。また、ここでは、第２の監視項目の一例として、「延滞回数」を例に挙げたが、他の第２の監視項目についても同様にして集計値を算出することができる。

このように第２の監視項目ごとに審査対象者全体の集計値が算出された後、第２モニタリング部１５Ｄは、第２の監視項目ごとに審査対象者全体の集計値が所定の条件を満たすかを判定する。そして、いずれかの第２の監視項目で集計値が所定の条件を満たす場合、第２モニタリング部１５Ｄは、スコアリングモデルの再学習を学習部１５Ｆへ指示する。

（１）当月監視
１つの側面として、第２モニタリング部１５Ｄは、第２の監視項目のモニタリングの期間を「当月」として、第２の監視項目をモニタリングすることができる。例えば、第２モニタリング部１５Ｄは、第２の監視項目ごとに当月における審査対象者全体の集計値が所定の閾値、例えば図４に示す閾値Ｔｈ２１〜Ｔｈ２９以上であるか否かを判定する。そして、いずれかの第２の監視項目で審査対象者全体の集計値が閾値以上である場合、第２モニタリング部１５Ｄは、スコアリングモデルの再学習を学習部１５Ｆへ指示する。

図５は、第２の監視項目のモニタリング方法の一例を示す図である。図５には、あくまで一例として、図４に示す第２の監視項目のうち「延滞日数」、「延滞回数」および「支払督促回数」の３つの第２の監視項目がモニタリングされる例が示されている。

例えば、第２モニタリング部１５Ｄは、当月における審査対象者全体の延滞日数が閾値Ｔｈ２１、図示の例では１００日以上である否かを判定する。さらに、第２モニタリング部１５Ｄは、当月における審査対象者全体の延滞回数が閾値Ｔｈ２２、図示の例では１００回以上である否かを判定する。さらに、第２モニタリング部１５Ｄは、第２モニタリング部１５Ｄは、当月における審査対象者全体の支払督促回数が閾値Ｔｈ２８、図示の例では１００回以上である否かを判定する。図５に示す例で言えば、延滞日数および延滞回数の集計値は閾値Ｔｈ２１や閾値Ｔ２２を下回るものの、支払督促回数の集計値は閾値Ｔｈ２８以上となる。この場合、スコアリングモデルの再学習が学習部１５Ｆへ指示される。

（２）期間監視
他の側面として、第２モニタリング部１５Ｄは、第２の監視項目のモニタリングの期間を当月から遡って所定の期間、例えば３ヶ月間や６ヶ月間、１年間として、第２の監視項目をモニタリングすることができる。すなわち、第２モニタリング部１５Ｄは、第２の監視項目ごとに当月における審査対象者全体の集計値と、所定の期間における審査対象者全体の集計値から算出された統計値とを比較することで、スコアリングモデルの再学習を行うか否かを判定することもできる。例えば、第２モニタリング部１５Ｄは、当月における審査対象者全体の集計値が所定の期間における平均値から所定値以上にわたって乖離しているか否かを判定する。そして、第２モニタリング部１５Ｄは、当月における審査対象者全体の集計値が所定の期間における平均値から所定値以上にわたって乖離している場合、スコアリングモデルの再学習を学習部１５Ｆへ指示する。

図６Ａ及び図６Ｂは、第２の監視項目のモニタリング方法の他の一例を示す図である。図６Ａ及び図６Ｂには、あくまで一例として、当月を「６月」とし、４月、５月および６月の３ヶ月分の延滞回数又は架電回数がモニタリングされる例が示されている。

図６Ａに示す例で言えば、第２モニタリング部１５Ｄは、当月である６月の延滞回数が４月〜６月の延滞回数の平均値Ａｖｅから所定値α以上にわたって乖離しているか否かを判定する。より具体的には、６月の延滞回数が４月〜６月の延滞回数の平均値Ａｖｅに所定値αが加算された加算値Ａｖｅ＋α以上であるか否か、あるいは６月の延滞回数が４月〜６月の延滞回数の平均値Ａｖｅから所定値αが減算された減算値Ａｖｅ−α以下であるか否かを判定する。このとき、６月の延滞回数が上記の加算値Ａｖｅ＋α以上である場合、当月の延滞回数が急激に上昇している現象を検知できる。また、６月の延滞回数が上記の減算値Ａｖｅ−α以下である場合、当月の延滞回数が急激に減少している現象を検知できる。これら急激な上昇または急激な減少のいずれかの現象が検知された場合、第２モニタリング部１５Ｄは、スコアリングモデルの再学習を学習部１５Ｆへ指示する。図６Ａに示す例で言えば、６月の延滞回数が上記の減算値Ａｖｅ−α以下であるので、急激な減少が検知される結果、スコアリングモデルの再学習が学習部１５Ｆへ指示される。

また、図６Ｂに示す例で言えば、第２モニタリング部１５Ｄは、当月である６月の架電回数が４月〜６月の架電回数の平均値Ａｖｅから所定値β以上にわたって乖離しているか否かを判定する。より具体的には、６月の架電回数が４月〜６月の架電回数の平均値Ａｖｅに所定値βが加算された加算値Ａｖｅ＋β以上であるか否か、あるいは６月の架電回数が４月〜６月の架電回数の平均値Ａｖｅから所定値βが減算された減算値Ａｖｅ−β以下であるか否かを判定する。このとき、６月の架電回数が上記の加算値Ａｖｅ＋β以上である場合、当月の架電回数が急激に上昇している現象を検知できる。また、６月の架電回数が上記の減算値Ａｖｅ−β以下である場合、当月の架電回数が急激に減少している現象を検知できる。これら急激な上昇または急激な減少のいずれかの現象が検知された場合、第２モニタリング部１５Ｄは、スコアリングモデルの再学習を学習部１５Ｆへ指示する。図６Ｂに示す例で言えば、６月の架電回数が上記の減算値Ａｖｅ−β以下であるので、急激な減少が検知される結果、スコアリングモデルの再学習が学習部１５Ｆへ指示される。

以上のように、第２の監視項目ごとに審査対象者全体の集計値をモニタリングすることにより、学習部１５Ｆによる再学習を実行するか否かが判断される。

図１の説明に戻り、生成部１５Ｅは、教師データを生成する処理部である。

１つの側面として、生成部１５Ｅは、審査データ１３Ｃに含まれる審査対象者のうち教師データが未生成である審査対象者ごとに、当該審査対象者に対する融資の返済が完了したか、あるいは当該審査対象者に対する融資が貸し倒れたかを監視する。このとき、融資の返済が完了した場合、生成部１５Ｅは、当該審査対象者に対応付けられた入力データに正例「完済」の確定ラベルを付与することにより、教師データを生成する。一方、融資が貸し倒れた場合、生成部１５Ｅは、当該審査対象者に対応付けられた入力データに負例「貸倒」の確定ラベルを付与することにより、教師データを生成する。このように生成された教師データが記憶部１３における教師データ１４に追加登録される。

更なる側面として、生成部１５Ｅは、取得部１５Ｃにより審査対象者ごとの銀行取引履歴が取得された場合、次のような処理を実行する。すなわち、生成部１５Ｅは、審査データ１３Ｃに含まれる審査対象者ごとに、融資を行われてから以降の銀行取引履歴が第２の監視項目別に設定された監視条件を満たすか否かを判定する。例えば、図４に例示された第２の監視項目、すなわち「延滞日数」、「延滞回数」、「延滞金額」、「延滞利息金」、「架電回数」、「文書発送件数」、「通話不能回数」、「支払督促回数」、又は、「貸倒件数」の累計値が各々の第２の監視項目別に設定された閾値以上であるか否かを判定する。

ここで、図４に例示された第２の監視項目のうちいずれかの第２の監視項目の累計値が閾値以上である場合、貸し倒れが発生するリスクがある、あるいは信用が毀損された可能性があると識別できる。この場合、生成部１５Ｅは、当該審査対象者に対応するスコアリングモデルへの入力データに負例「貸倒」のみなしラベルが付与された擬似教師データを生成する。一方、図４に例示された全ての第２の監視項目の累計値が閾値未満である場合、貸し倒れが発生するリスクが低い、あるいは信用が毀損された可能性がないと識別できる。この場合、生成部１５Ｅは、当該審査対象者に対応するスコアリングモデルへの入力データに正例「完済」のみなしラベルが付与された擬似教師データを生成する。このように生成された擬似教師データが記憶部１３における擬似教師データ１４Ａに追加登録される。

学習部１５Ｆは、スコアリングモデルの学習を行う処理部である。

（１）モデルへの入力データ
スコアリングモデルへの入力データも任意のデータとすることができるが、あくまで一例として、融資の申込情報に含まれる項目のデータをスコアリングモデルへの入力データとすることができる。

図７は、サンプル項目の一例を示す図である。図７には、法人向けのサンプル項目の一例が示されている。図７に示すように、法人向けの融資の申込情報に含まれる項目の例として、「ＲＯＡ」、「ＲＯＥ」、「売上高経常利益率」、「売上高営業利益率」、「回転期間」、「自己資本比率」、「負債比率」、「流動比率」、「固定比率」、「売上高増加率」、「経常利益増加率」、「営業利益増加率」、「総資本増加率」、「純資本増加率」、「従業員増加率」、「一株当たり当期純利益」、「総資本投資効率」、「設備投資効率」、「労働生産性」、「労働分配率」、「延滞有無」、「延滞日数」などの計２０種類の項目が例示されている。これらの項目のうち、システム設定やユーザ設定により定められた任意の個数の項目がスコアリングモデルの学習に用いられる。

図８は、サンプル項目の他の一例を示す図である。図８には、個人向けのサンプル項目の一例が示されている。図８に示すように、個人向けの融資の申込情報に含まれる項目の例として、「年齢」、「性別」、「住居」、「居住年数」、「勤務先」、「年収」、「勤続年数」、「資本金」、「雇用形態」、「資格・職種等」、「未婚・既婚」、「他社借入状況」、「その他負債」、「手持金・自己資金」、「延滞有無」、「延滞日数」などの計１６種類の項目が例示されている。これらの項目のうち、システム設定やユーザ設定により定められた任意の個数の項目がスコアリングモデルの学習に用いられる。

（２）データセットの取得
学習部１５Ｆは、初期のスコアリングモデルの学習を行う場合、あるいは第１モニタリング部１５Ｂまたは第２モニタリング部１５Ｄにより再学習が指示された場合、データセットを取得する。あくまで一例として、学習部１５Ｆは、記憶部１３に記憶された擬似教師データ１４Ａを読み出す。続いて、学習部１５Ｆは、記憶部１３から読み出された擬似教師データ１４Ａのサンプル数が所定のサンプル数、例えば１００００件に達しているか否かを判定する。そして、擬似教師データ１４Ａのサンプル数が所定のサンプル数に達していない場合、学習部１５Ｆは、所定のサンプル数に対する不足分の教師データを記憶部１３から読み出す。このとき、学習部１５Ｆは、教師データ１４のうち融資審査の日付が新しい教師データを優先して読み出す。この結果、所定のサンプル数に対応する擬似教師データ及び教師データがデータセットとして取得される。

（３）学習アルゴリズム
このように取得されたデータセットを用いて、学習部１５Ｆは、スコアリングモデルの学習または再学習を実行する。ここで、スコアリングモデルの学習には、任意のアルゴリズムを適用することができる。例えば、ディープラーニングに代表されるニューラルネットワークの他、ロジスティック分析やランダムフォレスト、サポートベクタマシン、決定木などの学習アルゴリズムを適用することができる。

［処理の流れ］
次に、本実施例に係るモデル提供装置１０の処理の流れについて説明する。ここでは、モデル提供装置１０によって実行される（１）第１モニタリング処理、（２）第２モニタリング処理、（３）擬似教師データの生成処理、（４）再学習処理の順に説明する。

（１）第１モニタリング処理
図９は、実施例１に係る第１モニタリング処理の手順を示すフローチャートである。この処理は、あくまで一例として、モデル提供装置１０が融資システム３０にスコアリングの機能を開放する限り、繰り返し実行される。

図９に示すように、第１モニタリング部１５Ｂは、スコアリングモデルが適用されている期間が所定の閾値Ｔｈ１２、例えば３０日間に達したか否かを判定する（ステップＳ１０１）。このとき、スコアリングモデルが適用されている期間が３０日間に達した場合（ステップＳ１０１Ｙｅｓ）、第１モニタリング部１５Ｂは、スコアリングモデルの再学習を学習部１５Ｆへ指示する（ステップＳ１０５）。

また、スコアリングモデルが適用されている期間が３０日間に達していない場合（ステップＳ１０１Ｎｏ）、第１モニタリング部１５Ｂは、スコアリングモデルによりスコアリングが行われたか否かを判定する（ステップＳ１０２）。なお、スコアリングモデルによりスコアリングが行われていない場合（ステップＳ１０２Ｎｏ）、ステップＳ１０１の処理に戻る。

このとき、スコアリングモデルによりスコアリングが行われた場合（ステップＳ１０２Ｙｅｓ）、第１モニタリング部１５Ｂは、スコアリングモデルによってスコアリングが行われた審査の件数が所定の閾値Ｔｈ１１、図３に示す例では１０００件に達したか否かを判定する（ステップＳ１０３）。

そして、スコアリングモデルによってスコアリングが行われた審査の件数が閾値Ｔｈ１１に達した場合（ステップＳ１０３Ｙｅｓ）、第１モニタリング部１５Ｂは、スコアリングモデルの再学習を学習部１５Ｆへ指示する（ステップＳ１０５）。

また、スコアリングモデルによってスコアリングが行われた審査の件数が閾値Ｔｈ１１に達していない場合（ステップＳ１０３Ｎｏ）、第１モニタリング部１５Ｂは、スコアの４種の統計値と、図３に示す閾値Ｔｈ１３〜Ｔｈ１６とを比較する（ステップＳ１０４）。

ここで、スコアの４種の統計値のいずれかが閾値Ｔｈ１３〜Ｔｈ１６に関する条件を満たす場合（ステップＳ１０４Ｙｅｓ）、第１モニタリング部１５Ｂは、スコアリングモデルの再学習を学習部１５Ｆへ指示する（ステップＳ１０５）。

（２）第２モニタリング処理
図１０は、実施例１に係る第２モニタリング処理の手順を示すフローチャートである。この処理は、あくまで一例として、取得部１５Ｃにより各審査対象者の銀行取引履歴が取得される場合に起動される。

図１０に示すように、取得部１５Ｃにより各審査対象者の銀行取引履歴が取得されると（ステップＳ２０１）、第２モニタリング部１５Ｄは、次のような処理を実行する。すなわち、第２モニタリング部１５Ｄは、第２の監視項目ごとに、取得部１５Ｃにより審査対象者ごとに取得された銀行取引履歴を用いて、審査対象者全体における第２の監視項目の集計値を算出する（ステップＳ２０２）。

そして、第２モニタリング部１５Ｄは、第２の監視項目ごとに審査対象者全体の集計値が所定の条件を満たすかを判定する（ステップＳ２０３）。このとき、いずれかの第２の監視項目で集計値が所定の条件を満たす場合（ステップＳ２０３Ｙｅｓ）、第２モニタリング部１５Ｄは、スコアリングモデルの再学習を学習部１５Ｆへ指示し（ステップＳ２０４）、処理を終了する。なお、いずれの第２の監視項目においても集計値が所定の条件を満たさない場合（ステップＳ２０３Ｎｏ）、第２モニタリング部１５Ｄは、ステップＳ２０４の処理をスキップして処理を終了する。

（３）擬似教師データの生成処理
図１１は、実施例１に係る擬似教師データの生成処理の手順を示すフローチャートである。この処理は、あくまで一例として、取得部１５Ｃにより各審査対象者の銀行取引履歴が取得される場合に起動される。

図１１に示すように、取得部１５Ｃにより各審査対象者の銀行取引履歴が取得されると（ステップＳ３０１）、生成部１５Ｅは、審査データ１３Ｃに含まれる審査対象者のうち教師データが未生成である審査対象者を１人選択する（ステップＳ３０２）。続いて、生成部１５Ｅは、ステップＳ３０２で選択された審査対象者に融資が行われてから以降の銀行取引履歴が第２の監視項目別に設定された監視条件を満たすか否かを判定する（ステップＳ３０３）。

ここで、第２の監視項目のうちいずれかの第２の監視項目に設定された監視条件を満たす場合（ステップＳ３０３Ｙｅｓ）、貸し倒れが発生するリスクがある、あるいは信用が毀損された可能性があると識別できる。この場合、生成部１５Ｅは、ステップＳ３０２で選択された審査対象者に対応するスコアリングモデルへの入力データに負例「貸倒」のみなしラベルが付与された擬似教師データを生成する（ステップＳ３０４）。

一方、第２の監視項目のうちいずれの第２の監視項目に設定された監視条件も満たさない場合（ステップＳ３０３Ｎｏ）、貸し倒れが発生するリスクが低い、あるいは信用が毀損された可能性がないと識別できる。この場合、生成部１５Ｅは、当該審査対象者に対応するスコアリングモデルへの入力データに正例「完済」のみなしラベルが付与された擬似教師データを生成する（ステップＳ３０５）。

その後、教師データが未生成である全ての審査対象者が選択されるまで（ステップＳ３０６Ｎｏ）、生成部１５Ｅは、上記のステップＳ３０２から上記のステップＳ３０４までの処理を繰り返し実行する。そして、教師データが未生成である全ての審査対象者が選択された場合（ステップＳ３０６Ｙｅｓ）、処理を終了する。

（４）再学習処理
図１２は、実施例１に係る再学習処理の手順を示すフローチャートである。この処理は、あくまで一例として、モデル提供装置１０が融資システム３０にスコアリングの機能を開放する限り、繰り返し実行される。

図１２に示すように、図９に示す第１モニタリング処理または図１０に示す第２モニタリング処理のいずれかでスコアリングモデルの再学習が指示された場合（ステップＳ４０１Ｙｅｓ又はステップＳ４０２Ｙｅｓ）、学習部１５Ｆは、擬似教師データ１４Ａを含む教師データ１４を用いて、スコアリングモデルの再学習を実行する（ステップＳ４０３）。

［効果の一側面］
上述してきたように、本実施例に係るモデル提供装置１０は、審査に用いるスコアリングモデルに入力された入力データに対応する審査対象者の取引履歴が監視条件に該当するか否かにより入力データにみなしラベルが付与された擬似教師データを生成してモデル学習を行う。

このように、本実施例に係るモデル提供装置１０は、審査対象者の取引履歴が監視条件に抵触するか否かにより、審査の成否が確定する前にみなしラベルを付与して擬似教師データを生成する。このような擬似教師データの生成によって、審査の成否が確定するまで教師データの生成を待たずともよい分、審査時点からモデル学習の時点までのタイムラグを抑えることができる。

したがって、本実施例に係るモデル提供装置１０によれば、審査時点からのタイムラグが小さい教師データを用いたモデル学習を実現することが可能である。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［スコアリングモデル］
上記の実施例１では、学習時または再学習時に１つのスコアリングモデルが生成される例を挙げたが、複数のスコアリングモデルを生成した上でその中から１つのスコアリングモデルを択一で選択することもできる。

このように、複数のスコアリングモデルが生成される場合、学習部１５Ｆは、複数のスコアリングモデルの間で学習に用いる入力データの項目を変えて複数のスコアリングモデルを生成することができる。この他、学習部１５Ｆは、複数のスコアリングモデルを同一の学習アルゴアリズムで生成することとしてもよいし、複数のスコアリングモデルのうち一部または全部のスコアリングモデルを異なる学習アルゴアリズムで生成することとしてもかまわない。これら入力データの項目または学習アルゴリズムは、ユーザ設定やシステム設定によって任意に変更できるのは言うまでもない。

さらに、複数のスコアリングモデルが生成される場合、学習部１５Ｆは、所定の評価基準で評価が最良であるスコアリングモデルを選択することとしてもよい。このような評価基準の一例として、精度や説明性、安定性などの側面からスコアリングモデルの評価指標値を算出することができる。

ここで、「精度」とは、デフォルトの予測がどの程度当たっているかの程度を指し、例えば、テストデータが入力されたモデルの出力とテストデータのラベルとの正解率又は類似度に対応する。例えば、「精度」の評価指標値には、ＡＲ（Accuracy Ratio）値を確率または百分率などに正規化したものを用いることができる。このＡＲ値は、一例として、ＲＯＣ（Receiver Operating Characteristic）曲線の面積に対応するＡＵＣ（Area Under the Curve）を用いて、「２＊ＡＵＣ−１」の計算によって算出できる。

また、「説明性」とは、予測の意味をわかりやすく説明できる程度を指す。例えば、単純な数式などで表すことができるモデルほど高い評価指標値が与えられる一方で、複雑な計算をして計算内容がブラックボックスなモデルほど低い評価指標値が与えられる。あくまで一例として、ロジスティック回帰であれば９０点、決定木であれば８０点などといった要領で、スコアリングモデルの生成に用いる学習アルゴリズムによって固定値を割り当てることができる。

また、「安定性」とは、状況が変化した場合に精度がどの程度変化するのかを指し、例えば、状況が変化しても精度が変化しないモデルほど安定性が高いと評価される。あくまで一例として、評価指標値を１００点満点とし、１００点に近いほど評価が高い評価指標値に正規化する側面から、「（５０−ＡＲ標準偏差）×２ＡＲ」の式を計算することによって算出することができる。この場合、１つのデータセットで複数回の評価を行うことができるＣｒｏｓｓ−Ｖａｌｉｄａｔｉｏｎ法などを用いて、交差のラウンドごとにＡＲ値を計算することにより、ＡＲ標準偏差も算出できる。

ここで、スコアリングモデルを評価する場合、学習部１５Ｆは、スコアリングモデルの評価にＨｏｌｄ−Ｏｕｔ法やＣｒｏｓｓ−Ｖａｌｉｄａｔｉｏｎ法などの任意の評価アルゴリズムに従って学習または再学習に用いる教師データのデータセットをモデルの生成に用いる学習データとモデルの評価に用いるテストデータとに分割する。

図１３は、データセットの分割方法の一例を示す図である。図１３に示すように、Ｈｏｌｄ−Ｏｕｔ法を用いる場合、学習部１５Ｆは、所定の配分、例えば７対３、あるいは６対４などの比率で、教師データのデータセットを学習データとテストデータとに分割する。また、Ｃｒｏｓｓ−Ｖａｌｉｄａｔｉｏｎ法を用いる場合、学習部１５Ｆは、図１３に示すように、データセットをＫ個のクラスタに分割する。そして、Ｋ個のクラスタのうちの１つをテストデータに割り当て、残るＫ−１個のクラスタを学習データに割り当てる。その後、学習部１５Ｆは、全てのクラスタにテストデータが割り当てられるまでテストデータと学習用データを入れ替えて分割を繰り返し、全てのケースがテスト事例となるよう評価を繰り返す。これによって、１つのデータデータでＫ回の検証が行われることになる。この場合、評価指標には、Ｋ回の評価で得られたＫ個の評価値の代表値、例えば平均値や中央値、最頻値などを用いることができる。図１３に示す例で言えば、データセットが５分割されるので、５回の評価が行われることになる。

このような評価アルゴリズムを用いることで、学習部１５Ｆは、複数のスコアリングモデルごとに、精度や説明性、安定性などの評価基準別に評価指標値を算出することができる。

１つの側面として、学習部１５Ｆは、複数のスコアリングモデルの中から、各評価指標値の合計値が最高であるスコアリングモデルを選択することができる。

他の側面として、学習部１５Ｆは、第２の監視項目のうち集計値が閾値以上である第２の監視項目に基づいてスコアリングモデルの選択に用いる評価基準を選択することもできる。この場合、第２の監視項目と評価基準との対応関係は、あくまで一例として、融資システム３０のアカウントを有するユーザ等により使用されるユーザ端末のユーザ設定を介して受け付けることができる。

以下、図１４Ａ〜図１４Ｅを用いて、スコアリングモデルの選択に用いる評価基準の遷移例について説明する。図１４Ａ〜図１４Ｅは、評価指標値の一例を示す図である。図１４Ａ〜図１４Ｅでは、スコアリングモデルの選択に用いる評価基準、当該評価基準に対応する評価指標値、及び、当該評価指標値により選択されたスコアリングモデルが太字で示されている。

まず、初期のスコアリングモデルを選択する際、ユーザ端末には、スコアリングモデルＡ〜Ｃの評価後に、図１４Ａに示す評価基指標値のテーブルが表示される。図１４Ａに示すように、ユーザ端末には、スコアリングモデルＡ〜Ｃの３つのモデル別並びに評価基準別の評価指標値が表示される。ここで、図１４Ａに示す表示が行われた局面では、融資システム３０のユーザである行員等は、３つの評価基準のうち評価基準「説明性」を重視し、ユーザ設定により評価基準「説明性」を選択したと仮定する。この場合、スコアリングモデルＡ〜Ｃのうち最高の評価指標値「０．９」が算出されたスコアリングモデルＡの適用が決定される。このスコアリングモデルＡがモデル実行部１５Ａにより実行されることで、スコアリングモデルＡの運用が開始される。

スコアリングモデルＡの運用から１ヶ月が経過し、第２モニタリング処理の当月監視で延滞回数用の閾値「１５回」以上の延滞回数の集計値「７０回」が検出されたとする。この場合、第２モニタリング部１５Ｄから学習部１５Ｆへ再学習が指示されるが、再学習に先立って、ユーザ端末には、スコアリングモデルＡの再評価に関する表示の一例として、図１４Ｂに示す評価基指標値のテーブルを表示することができる。すなわち、図１４Ｂに示すように、スコアリングモデルＡの運用開始時点における評価基準別の評価指標値と、運用開始から１ヶ月後におけるにおける評価基準別の評価指標値とが表示される。図１４Ｂに示す表示が行われた局面では、融資システム３０のユーザである行員等は、運用開始時に選択した評価基準「説明性」の評価指標値は、０．９から変化せず、依然として高い水準を維持していることを把握することができる。これと共に、評価基準「精度」の評価指標値が０．８から０．５へと急激に減少していることも把握できる。

このような傾向から、融資システム３０のユーザである行員等のユーザ設定を介して、第２モニタリングの監視モード「当月監視」と、第２の監視項目「延滞回数」と、評価基準「精度」との対応関係がカスタマイズで定義される。このように対応関係が定義されることで、第２の監視項目のうち当月の延滞回数の集計値が閾値以上である場合、スコアリングモデルの選択に用いる評価基準を「精度」に自動的に変更することが可能になる。なお、ここでは、両者の対応関係がユーザ設定により定義される例を挙げたが、集計値が閾値以上である第２の監視項目と、最低の評価指標値が観測される評価基準との対応関係を自動的に定義することもできる。

このようなカスタマイズ定義の後、スコアリングモデルＡ′〜Ｃ′が再学習されたことで、ユーザ端末の表示が図１４Ｃに示す評価基指標値のテーブルの表示へ更新される。ここでは、上記のカスタマイズ定義により評価基準「精度」が選択されているので、スコアリングモデルＡ′〜Ｃ′のうち最高の評価指標値「０．９」が算出されたスコアリングモデルＢ′の適用が決定される。このスコアリングモデルＢ′がモデル実行部１５Ａにより実行されることで、スコアリングモデルＢ′の運用が開始される。

スコアリングモデルＢ′の運用から３ヶ月が経過し、第２モニタリング処理の期間監視で督促回数の集計値が３ヶ月分の平均値からの乖離が検出されたとする。この場合、第２モニタリング部１５Ｄから学習部１５Ｆへ再学習が指示されるが、再学習に先立って、ユーザ端末には、スコアリングモデルＢ′の再評価に関する表示の一例として、図１４Ｄに示す評価基指標値のテーブルを表示することができる。すなわち、図１４Ｄに示すように、スコアリングモデルＢ′の運用開始時点における評価基準別の評価指標値と、スコアリングモデルＢ′の運用開始から３ヶ月後におけるにおける評価基準別の評価指標値とが表示される。図１４Ｄに示す表示が行われた局面では、融資システム３０のユーザである行員等は、スコアリングモデルＢ′の運用開始時に選択された評価基準「精度」の評価指標値は、０．９から変化せず、依然として高い水準を維持していることを把握することができる。これと共に、評価基準「安定性」の評価指標値が０．８から０．６へと急激に減少していることも把握できる。

このような傾向から、融資システム３０のユーザである行員等のユーザ設定を介して、第２モニタリングの監視モード「期間監視」と、第２の監視項目「督促回数」と、評価基準「安定性」との対応関係がカスタマイズで定義される。このように対応関係が定義されることで、第２の監視項目のうち当月の延滞回数の集計値が所定期間の統計値から乖離することが検知された場合、スコアリングモデルの選択に用いる評価基準を「安定性」に自動的に変更することが可能になる。

このようなカスタマイズ定義の後、スコアリングモデルＡ″〜Ｃ″が再学習されたことで、ユーザ端末の表示が図１４Ｅに示す評価基指標値のテーブルの表示へ更新される。ここでは、上記のカスタマイズ定義により評価基準「安定性」が選択されているので、スコアリングモデルＡ″〜Ｃ″のうち最高の評価指標値「０．９」が算出されたスコアリングモデルＣ″の適用が決定される。このスコアリングモデルＣ″がモデル実行部１５Ａにより実行されることで、スコアリングモデルＣ″の運用が開始される。

以上のような一連の経過によって、あくまで一例ではあるが、第２モニタリングの監視モード「当月監視」、第２の監視項目「延滞回数」および評価基準「精度」の対応関係、並びに、第２モニタリングの監視モード「期間監視」、第２の監視項目「督促回数」および評価基準「安定性」との対応関係の２つのカスタマイズ定義を獲得することができる。

［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、モデル実行部１５Ａ、第１モニタリング部１５Ｂ、取得部１５Ｃ、第２モニタリング部１５Ｄ、生成部１５Ｅ又は学習部１５Ｆをモデル提供装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、モデル実行部１５Ａ、第１モニタリング部１５Ｂ、取得部１５Ｃ、第２モニタリング部１５Ｄ、生成部１５Ｅ又は学習部１５Ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のモデル提供装置１０の機能を実現するようにしてもよい。また、記憶部に記憶されるモデルデータ１３Ａ、審査データ１３Ｂまたは教師データ１４の全部または一部を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記のモデル提供装置１０の機能を実現するようにしてもかまわない。

［モデル提供プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１５を用いて、上記の実施例１及び本実施例である実施例２と同様の機能を有するモデル提供プログラムを実行するコンピュータの一例について説明する。

図１５は、コンピュータのハードウェア構成例を示す図である。図１５に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＨＤＤ１７０には、図１５に示すように、上記の実施例１で示したモデル実行部１５Ａ、第１モニタリング部１５Ｂ、取得部１５Ｃ、第２モニタリング部１５Ｄ、生成部１５Ｅ及び学習部１５Ｆと同様の機能を発揮するモデル提供プログラム１７０ａが記憶される。このモデル提供プログラム１７０ａは、図１に示したモデル実行部１５Ａ、第１モニタリング部１５Ｂ、取得部１５Ｃ、第２モニタリング部１５Ｄ、生成部１５Ｅ及び学習部１５Ｆの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。

このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０からモデル提供プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、モデル提供プログラム１７０ａは、図１５に示すように、モデル提供プロセス１８０ａとして機能する。このモデル提供プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうちモデル提供プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、モデル提供プロセス１８０ａが実行する処理の一例として、図９〜図１２に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。

なお、上記のモデル提供プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にモデル提供プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体からモデル提供プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などにモデル提供プログラム１７０ａを記憶させておき、コンピュータ１００がこれらからモデル提供プログラム１７０ａを取得して実行するようにしてもよい。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）融資の審査対象者の取引履歴を取得し、
前記融資の審査に用いるモデルへの入力データのうち前記審査対象者に対応する入力データに、前記審査対象者の取引履歴が所定の監視条件に該当するか否かに基づくラベルが付与された擬似教師データを生成し、
前記擬似教師データを用いて前記モデルを学習する、
処理をコンピュータに実行させるモデル提供プログラム。

（付記２）前記生成する処理は、前記審査対象者の取引履歴が前記所定の監視条件に該当する場合、前記入力データに貸し倒れのラベルを付与し、前記審査対象者の取引履歴が前記所定の監視条件に該当しない場合、前記入力データに完済のラベルを付与することを特徴とする付記１に記載のモデル提供プログラム。

（付記３）前記審査対象者の取引履歴に基づいて所定の監視項目に対応する数値情報が各審査対象者の間で集計された集計値が所定の条件を満たすか否かを監視する処理を前記コンピュータにさらに実行させ、
前記学習する処理は、前記監視項目の前記集計値が所定の条件を満たす場合、前記モデルを再学習することを特徴とする付記１に記載のモデル提供プログラム。

（付記４）前記学習する処理は、前記擬似教師データを用いて学習される複数のモデルごとに算出される評価指標値に基づいて前記複数のモデルの中からモデルを選択することを特徴とする付記３に記載のモデル提供プログラム。

（付記５）前記学習する処理は、前記複数のモデルごとに複数の評価基準別の評価指標値を算出し、前記集計値が前記所定の条件を満たす前記監視項目に対応付けられた評価基準の評価指標値に基づいて前記複数のモデルの中からモデルを選択することを特徴とする付記４に記載のモデル提供プログラム。

（付記６）融資の審査対象者の取引履歴を取得し、
前記融資の審査に用いるモデルへの入力データのうち前記審査対象者に対応する入力データに、前記審査対象者の取引履歴が所定の監視条件に該当するか否かに基づくラベルが付与された擬似教師データを生成し、
前記擬似教師データを用いて前記モデルを学習する、
処理をコンピュータが実行するモデル提供方法。

（付記７）前記生成する処理は、前記審査対象者の取引履歴が前記所定の監視条件に該当する場合、前記入力データに貸し倒れのラベルを付与し、前記審査対象者の取引履歴が前記所定の監視条件に該当しない場合、前記入力データに完済のラベルを付与することを特徴とする付記６に記載のモデル提供方法。

（付記８）前記審査対象者の取引履歴に基づいて所定の監視項目に対応する数値情報が各審査対象者の間で集計された集計値が所定の条件を満たすか否かを監視する処理を前記コンピュータがさらに実行し、
前記学習する処理は、前記監視項目の前記集計値が所定の条件を満たす場合、前記モデルを再学習することを特徴とする付記６に記載のモデル提供方法。

（付記９）前記学習する処理は、前記擬似教師データを用いて学習される複数のモデルごとに算出される評価指標値に基づいて前記複数のモデルの中からモデルを選択することを特徴とする付記８に記載のモデル提供方法。

（付記１０）前記学習する処理は、前記複数のモデルごとに複数の評価基準別の評価指標値を算出し、前記集計値が前記所定の条件を満たす前記監視項目に対応付けられた評価基準の評価指標値に基づいて前記複数のモデルの中からモデルを選択することを特徴とする付記９に記載のモデル提供方法。

（付記１１）融資の審査対象者の取引履歴を取得する取得部と、
前記融資の審査に用いるモデルへの入力データのうち前記審査対象者に対応する入力データに、前記審査対象者の取引履歴が所定の監視条件に該当するか否かに基づくラベルが付与された擬似教師データを生成する生成部と、
前記擬似教師データを用いて前記モデルを学習する学習部と、
を有することを特徴とするモデル提供装置。

（付記１２）前記生成部は、前記審査対象者の取引履歴が前記所定の監視条件に該当する場合、前記入力データに貸し倒れのラベルを付与し、前記審査対象者の取引履歴が前記所定の監視条件に該当しない場合、前記入力データに完済のラベルを付与することを特徴とする付記１１に記載のモデル提供装置。

（付記１３）前記審査対象者の取引履歴に基づいて所定の監視項目に対応する数値情報が各審査対象者の間で集計された集計値が所定の条件を満たすか否かを監視する監視部をさらに有し、
前記学習部は、前記監視項目の前記集計値が所定の条件を満たす場合、前記モデルを再学習することを特徴とする付記１１に記載のモデル提供装置。

（付記１４）前記学習部は、前記擬似教師データを用いて学習される複数のモデルごとに算出される評価指標値に基づいて前記複数のモデルの中からモデルを選択することを特徴とする付記１３に記載のモデル提供装置。

（付記１５）前記学習部は、前記複数のモデルごとに複数の評価基準別の評価指標値を算出し、前記集計値が前記所定の条件を満たす前記監視項目に対応付けられた評価基準の評価指標値に基づいて前記複数のモデルの中からモデルを選択することを特徴とする付記１４に記載のモデル提供装置。

１０ モデル提供装置
１１ 通信インタフェイス
１３ 記憶部
１３Ａ モデルデータ
１３Ｂ 審査データ
１４ 教師データ
１４Ａ 擬似教師データ
１５ 制御部
１５Ａ モデル実行部
１５Ｂ 第１モニタリング部
１５Ｃ 取得部
１５Ｄ 第２モニタリング部
１５Ｅ 生成部
１５Ｆ 学習部
３０ 融資システム

Claims (7)

1. 融資の審査対象者の取引履歴を取得し、
   前記融資の審査に用いるモデルへの入力データのうち前記審査対象者に対応する入力データに、前記審査対象者の取引履歴が所定の監視条件に該当するか否かに基づくラベルが付与された擬似教師データを生成し、
   前記擬似教師データを用いて前記モデルを学習する、
   処理をコンピュータに実行させるモデル提供プログラム。
2. 前記生成する処理は、前記審査対象者の取引履歴が前記所定の監視条件に該当する場合、前記入力データに貸し倒れのラベルを付与し、前記審査対象者の取引履歴が前記所定の監視条件に該当しない場合、前記入力データに完済のラベルを付与することを特徴とする請求項１に記載のモデル提供プログラム。
3. 前記審査対象者の取引履歴に基づいて所定の監視項目に対応する数値情報が各審査対象者の間で集計された集計値が所定の条件を満たすか否かを監視する処理を前記コンピュータにさらに実行させ、
   前記学習する処理は、前記監視項目の前記集計値が所定の条件を満たす場合、前記モデルを再学習することを特徴とする請求項１または２に記載のモデル提供プログラム。
4. 前記学習する処理は、前記擬似教師データを用いて学習される複数のモデルごとに算出される評価指標値に基づいて前記複数のモデルの中からモデルを選択することを特徴とする請求項３に記載のモデル提供プログラム。
5. 前記学習する処理は、前記複数のモデルごとに複数の評価基準別の評価指標値を算出し、前記集計値が前記所定の条件を満たす前記監視項目に対応付けられた評価基準の評価指標値に基づいて前記複数のモデルの中からモデルを選択することを特徴とする請求項４に記載のモデル提供プログラム。
6. 融資の審査対象者の取引履歴を取得し、
   前記融資の審査に用いるモデルへの入力データのうち前記審査対象者に対応する入力データに、前記審査対象者の取引履歴が所定の監視条件に該当するか否かに基づくラベルが付与された擬似教師データを生成し、
   前記擬似教師データを用いて前記モデルを学習する、
   処理をコンピュータが実行するモデル提供方法。
7. 融資の審査対象者の取引履歴を取得する取得部と、
   前記融資の審査に用いるモデルへの入力データのうち前記審査対象者に対応する入力データに、前記審査対象者の取引履歴が所定の監視条件に該当するか否かに基づくラベルが付与された擬似教師データを生成する生成部と、
   前記擬似教師データを用いて前記モデルを学習する学習部と、
   を有することを特徴とするモデル提供装置。

Images