JP2020077361A - 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法 - Google Patents

学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法 Download PDF

Info

Publication number
JP2020077361A
JP2020077361A JP2019114985A JP2019114985A JP2020077361A JP 2020077361 A JP2020077361 A JP 2020077361A JP 2019114985 A JP2019114985 A JP 2019114985A JP 2019114985 A JP2019114985 A JP 2019114985A JP 2020077361 A JP2020077361 A JP 2020077361A
Authority
JP
Japan
Prior art keywords
evaluation
company
data
test
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019114985A
Other languages
English (en)
Other versions
JP6762584B2 (ja
Inventor
鋭 塚本
Ei Tsukamoto
鋭 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trans Co Ltd
Original Assignee
Trans Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trans Co Ltd filed Critical Trans Co Ltd
Publication of JP2020077361A publication Critical patent/JP2020077361A/ja
Application granted granted Critical
Publication of JP6762584B2 publication Critical patent/JP6762584B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】採用人材の入社後評価を多面的に予測しながら採用活動が実施されるようにする。【解決手段】評価予測装置１において、学習モデル構築装置３は、採用を予定している企業の現在又は過去の社員それぞれが職務適正試験を受験した結果を試験データとして取得する試験データ取得手段３１と、当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得手段３３と、当該評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得手段３５と、試験データそれぞれと、これらに対応するラベルそれぞれの組みを教師データとして教師あり学習を行うことにより、入社希望者の入社後評価を予測する学習モデルを構築する学習手段３７と、を備える。現在及び過去の社員の試験データと評価データを基に教師あり学習を行うので、企業実態に即した入社後評価予測のための学習モデルを構築することができる。【選択図】図１

Description

本発明は、企業における入社希望者の入社後評価を予測するための学習モデル構築装置、当該学習モデル構築装置が構築した学習モデルを用いた入社後評価予測装置、企業における入社希望者の入社後評価を予測するための学習モデル構築方法、および当該学習モデル構築装置が構築した学習モデルを用いた入社後評価予測方法に関するものである。
企業は、新卒採用や中途採用などの採用活動の際に広範な人材の中から自社に適した者を選ぶために、企業の社員の社内評価得点を面接試験だけでなく、業者が提供する職務適正試験や、企業独自で開発した職務適正試験行う場合がある。こうした職務適正試験を入社希望者に一律に受けさせることで客観的な評価の基礎となりうる面がある一方、それが一律であるために企業の社風や求められる能力と合致しない面があることも指摘されている。この指摘に対処するため、その企業で実際に働いている社員の職務適正試験と同じく社内評価とを結び付けた基準をもって入社希望者の職務適正試験の結果を評価しようとする技術がある（たとえば、特許文献１参照）
特許第５１７１４３７号公報
しかしながら、特許文献１が開示する技術は、企業において既に高い社内評価を得ている社員が過去に受けた適正試験の結果を参照し、高評価社員の職務適正試験の結果に基づいて入社希望者の採用目的範囲を決定するものであるところ（特許文献１段落０００７参照）、その一方で、高い評価を受けている社員の平均値を利用していることは、企業には多様な特性を持つ高い評価の人材がいることを考慮していない 、また入社した社員が離職する理由までを推測することができない、という問題点がある。大まかな推測ではあるが昨今の流れに照らせば新卒者の大半は何らかの職務適性検査を受検しており採用側もこれを重視しているといわれるが、厚生労働省の発表によれば新卒者の３割強が就職後３年以内に離職しているという実態がある。この実態を企業側から見れば採用後に多大な費用をかけて育てた人材が結局離職してしまうという問題である。
そこで本発明は、採用しようとする人材の入社後評価を多面的に予測しながら採用活動が実施されるようにすること、併せて離職につながるようなミスマッチをなるべくなくすことを目的としている。
上記目的を達成するために本発明は、次の構成を備えている。なお、何れかの請求項記載の発明を説明するに当たって行う用語の定義等は、発明のカテゴリや記載順などに関係なくその性質上可能な範囲において他の発明にも適用されるものとする。
（請求項１記載の発明）
請求項１記載の発明に係る学習モデル構築装置（以下、「請求項１の構築装置」という）は、採用を予定している企業（以下、「採用企業」という）の現在又は過去の社員（以下、「既存社員」という）それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得手段と、当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得手段と、当該評価データ取得手段が取得した当該評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得手段と、当該試験データ取得手段が取得した試験データそれぞれと、これらに対応する当該ラベル取得手段が取得したラベルそれぞれの組を教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習手段と、を備えることを特徴とする。
請求項１の構築装置によれば、現在又は過去の社員の試験データと評価データに基づいた学習モデルを構築することができる。現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。
（請求項２記載の発明）
請求項２記載の発明に係る学習モデル構築装置（以下、「請求項２の構築装置」という）は、請求項１の構築装置の好ましい態様として、当該既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得手段を、さらに備え、前記学習手段は、当該個人経歴データ取得手段が取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行うように構成されていることを特徴とする。
請求項２の構築装置によれば、入社希望者の評価の予測度をより細部にわたって予測可能な学習モデルを提供することができる。教師あり学習を用いることで、人間による事前の経験や勘を必要とせず、多くの試験データの組み合わせから、入社後評価を予測するために適した試験データの組み合わせを見つけ出し、学習モデルを構築することができる。また、すなわち、現在又は過去の社員が企業に採用されるに至るまでの履歴や、入社後に経験した職務の経歴などを加味することで、たとえば、営業職における評価と総務職における評価のそれぞれを予測可能な学習モデルを構築しやすくすることができる。
（請求項３記載の発明）
請求項３記載の発明に係る学習モデル構築装置（以下、「請求項３の構築装置」という）は、請求項１または２の構築装置の好ましい態様として、前記学習手段は、前記教師データを教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築するように構成され、そのうえ、前記学習手段が構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得手段が取得した評価ラベルそれぞれとの合致度を判定する合致度判定手段が設けられていることを特徴とする。
請求項３の構築装置によれば、相異なる教師あり学習のそれぞれを行うことで（偶然の一致を除き）相異なる学習モデルを得ることになる。ここで試験ラベルそれぞれと評価ラベルそれぞれを比較し、その合致度を判定することができる。教師あり学習に用いる、たとえば「決定木」や「ランダムフォレスト」などのアルゴリズムは、使用するデータの種類と数によって精度に違いが生まれることがわかっている。この違いによる精度低下を補うため、それぞれのアルゴリズムに対し、使用するデータの種類と数を変更した手法を用い、より高精度の学習モデルを探索する意義がある。探索の結果、もっとも合致度の高い、すなわち、企業実態に則したもっとも入社後評価を適切に予測できる評価ラベルに係る学習モデル選択が可能になる。
（請求項４記載の発明）
請求項４記載の発明に係る学習モデル構築装置（以下、「請求項４の構築装置」という）は、請求項１ないし３いずれかの構築装置の好ましい態様として、前記採用企業とは異なる、１又は２以上の他社企業の現在又は過去の社員（以下、「他社既存社員」という）それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、をさらに備え、前記ラベル取得手段は、前記評価データ取得手段が取得した評価データ（自社評価データ）に当該他社評価データ取得手段が取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得することを特徴とする。
請求項４の構築装置によれば、他社評価データ等によって自社評価データ等を補足しながら採用企業の学習モデルを構築することができる。自社と他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。
（請求項５記載の発明）
請求項５記載の発明に係る学習モデル構築装置（以下、「請求項５の構築装置」という）は、他社既存社員それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、当該他社評価データ取得手段が取得した当該他社評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得手段と、当該他社試験データ取得手段が取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得手段が取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習手段と、を備えることを特徴とする。
請求項５の構築装置によれば、他社社員に関する他社評価データ等を活用することで、採用企業の学習モデルを構築することができる。他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。
（請求項６記載の発明）
請求項６記載の発明に係る入社後評価予測装置（以下、「請求項６の予測装置」という）は、請求項１、２、４および５いずれかの構築装置で構築した学習モデルを用いた入社後評価予測装置の好ましい態様であって、入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、当該希望者試験データ取得手段が取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備えることを特徴とする。
請求項６の予測装置によれば、入社希望者の入社後の活躍度を離職の可能性をも含め高確度で予想することができる。特に請求項２の装置によって構築された学習モデルを用いたときは、既存社員それぞれの履歴・職務経歴を含む個人経歴データをも加味されていることから、たとえば企業の業種・業態・企業規模、さらに当該企業内の部署や上司・同僚環境の違いまでも反映するので、より企業実態にあった学習モデルを提供することができる。
（請求項７記載の発明）
請求項７記載の発明に係る入社後評価予測装置（以下、「請求項７の予測装置」という）は、請求項３記載の学習モデル構築装置で構築した複数の学習モデルを用いた入社後評価予測装置の好ましい態様であって、入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、前記合致度判定手段が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定手段と、当該希望者試験データ取得手段が取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備えることを特徴とする。
請求項７の発明によれば、相異なる学習モデルのうち、企業の実態に則した学習モデルを用いることで入社希望者の入社後評価を高い確度で予想することができる。当該学習モデルに照らせば離職可能性を高確度で予想できることは言うまでもない。
（請求項８記載の発明）
請求項８記載の発明に係る学習モデル構築方法（以下、「請求項８の構築方法」という）は、既存社員それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得ステップと、当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得ステップと、当該評価データ取得手段が取得した当該評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得ステップと、当該試験データ取得ステップで取得した試験データそれぞれと、これらに対応する当該ラベル取得ステップで取得したラベルそれぞれの組を教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習ステップと、を備えることを特徴とする。
請求項８の構築方法によれば、現在又は過去の社員の試験データと評価データに基づいた学習モデルを構築することができる。教師あり学習を用いることで、人間による事前の経験や勘を必要とせず、多くの試験データの組み合わせから、入社後評価を予測するために適した試験データの組み合わせを見つけ出し、学習モデルを構築することができる。また、現在の社員だけでなく過去の社員をも構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる
（請求項９記載の発明）
請求項９記載の発明に係る学習モデル構築方法（以下、「請求項７の構築方法」という）は、請求項８の構築方法の好ましい態様として、当該既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得ステップを、さらに備え、前記学習ステップでは、当該個人経歴データ取得手段が取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行うことを特徴とする。
請求項９の構築方法によれば、入社希望者の予測度をより細部にわたって予測可能な学習モデルを提供することができる。すなわち、現在又は過去の社員が企業に採用されるに至るまでの履歴や、入社後に経験した職務の経歴などを加味することで、たとえば、営業職における活躍度と総務職における活躍度のそれぞれを予測可能な学習モデルを構築することができる。
（請求項１０記載の発明）
請求項１０記載の発明に係る学習モデル構築方法（以下、「請求項１０の予測方法」という）は、請求項８または９いずれかの構築方法の好ましい態様として、他社既存社員それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、をさらに備え、前記ラベル取得では、前記評価データ取得ステップが取得した評価データに当該他社評価データ取得ステップで取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得することを特徴とする。
請求項１０の予測方法によれば、他社評価データ等によって自社評価データ等を補足しながら採用企業の学習モデルを構築することができる。自社と他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。
（請求項１１記載の発明）
請求項１１記載の発明に係る学習モデル構築方法（以下、「請求項１１の構築方法」という）は、他社既存社員それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、当該他社評価データ取得手段が取得した当該他社評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得ステップと、当該他社試験データ取得手段が取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得手段が取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習ステップと、を備えることを特徴とする。
請求項１１の構築方法によれば、他社社員に関する他社評価データ等を活用することで、採用企業の学習モデルを構築することができる。他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。
（請求項１２記載の発明）
請求項１２記載の発明に係る学習モデル構築方法（以下、「請求項１２の構築方法」という）は、請求項８または９のいずれかの構築方法の好ましい態様として、前記学習ステップでは、前記教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築し、そのうえ、前記学習ステップで構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得ステップで取得した評価ラベルそれぞれとの合致度を判定する合致度判定ステップが設けられていることを特徴とする。
請求項１２の構築方法によれば、相異なる教師あり学習のそれぞれを行うことで（偶然の一致を除き）相異なる学習モデルを得ることができる。ここでそれぞれの学習モデルのレベル合致度と試験データのレベルとを比較し、その合致度を判定することができる。その結果、もっとも合致度の高い、すなわち、企業の実態に則したもっとも入社後評価を適切に予測できる学習モデルの選択が可能になる。
（請求項１３記載の発明）
請求項１３記載の発明に係る入社後評価予測方法（以下、「請求項１３の予測方法」という）は、請求項１２記載の学習モデル構築方法で構築した複数の学習モデルを用いた入社後評価予測方法であって、入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得ステップと、前記合致度判定手段が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定ステップと、当該希望者試験データ取得ステップで取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測ステップと、を備えることを特徴とする。
請求項１３の発明によれば、相異なる学習モデルのうち、企業の実態に則した学習モデルを用いることで入社希望者の入社後評価を高い確度で予想することができる。当該学習モデルに照らせば離職可能性を高確度で予想できることは言うまでもない。
本発明によれば、採用しようとする人材の入社後の活躍度を予測しながら採用活動が実施されるようにすること、併せて離職につながるようなミスマッチをなるべくなくすことができる。
本発明に係る情報処理装置のブロック図である。 本変形例に係る情報処理装置のブロック図である。 本発明に係る学習モデル構築・入社後評価予想の処理手順を示すフローチャートである。 図２のフローチャートに対応する本変形例のフローチャートである。 本発明の実施例１にかかる実証結果を示す図表である。 本発明の実施例２にかかる実証結果を示す図表である。
（本実施形態）
以下、図面を参照しながら、本発明を実施するための最良の形態（以下、「本実施形態」という）を説明する。以下では、最初に主要用語を定義づけし、その後に具体的な形態の説明を行う。
＜定義＞
本明細書における「職務適正試験」とは、入社希望者の能力・適正や人となりを把握する目的で行われる試験のことをいい、「職業適性検査」「職業適性診断」「適性検査」などと呼ばれることもある。一般的には各検査項目の結果をそれぞれ偏差値化したものが結果をして示される。職務適正試験の内容は限定されるものではないが、様々な業者から提供されている公知のもののほか、独自開発したものも用いることができる。前者の業者から提供される職務適正試験には、たとえば、株式会社リクルートマネジメントソリューションズが提供する「ＳＰＩ」（商標）、日本エス・エイチ・エル株式会社が提供するＧＡＢ（商標）、ＣＡＢ（商標）、玉手箱（商標）、株式会社ヒューマネージが提供するTG-WEB（商標）、一般社団法人日本MBTI協会が提供するＭＢＴＩ（商標）、ｅ−人事株式会社が提供するＣＵＢＩＣなどがある。本明細書では、このような業者提供の職務適正試験のことを「業者提供試験」ということにする。
本明細書における「評価」は、基本的に採用を予定している企業（以下、「採用企業」という）内で行われている職務評価、人事評価など名称と問わず様々な評価（以下、「自社評価」という）が含まれ、一般的には社内で項目別に数値化・点数化されているものを用いる。自社評価が数値化・点数化されていないものである企業にあっては、これを数値化・点数化してから用いるとよい。自社評価の評価範囲は、いわゆる職務成績や職務実績・職務適応性などに限定されるものではなく、たとえば、離職などを含めることが好ましい。離職を含めるのは、離職は職務実績がマイナスであったと解釈できるからである。企業内において、既存社員が他の部署へ移動を希望する場合、経験を積むためなどの積極的・発展的理由がある場合はともかく、たとえば今の部署が肌に合わないのでとにかく部署を離れたいという消極的・回避的理由がある場合を考慮することを妨げない。
上記した自社評価とともにもしくは自社評価の代わりとして採用企業は、採用企業とは異なる１又は２以上の他社企業における同じく職務評価等（以下、他社企業における評価を「他社評価」という）を活用することもできる。すなわち、採用企業は、自社評価と他社評価を合わせたものを一つの評価として活用することや、未整備の評価自体が存在しない場合や社員数が極端に少ない場合に他社評価を活用（流用）することができる。このような活用に際して採用企業は、使用者が必要と考えるデータ加工も可能である。他社企業の選択は、格別の条件を伴わず、原則として採用企業の担当者などの本発明の実施者に委ねられる。一般的には、採用企業の特徴（たとえば、業種・規模・収益性・収益モデル・所属する人材・組織の価値観の少なくとも一部）と類似する特徴を有する企業を選択することが好ましい。なぜ好ましいかというと、特徴が類似するほうが、より採用企業の実態に即していると考えられるからである。
本明細書における既存社員の「履歴・職務経歴を含む個人経歴データ」とは、既存社員の履歴や職務経歴のほか、たとえば職種、等級（たとえば、平社員、マネージャー、経営層）、配属先部署（たとえば、課単位、部単位、事業部単位で把握することができる）、配属先上司（たとえば、甲課長、乙部長、丙事業部長やこれらの組み合わせで把握することができる）、最終面接までの採用面接の評価点数や評価者などに関するデータ（面接値など）や情報が該当する。これらのすべてを含めなければならないという意味ではないが、これらの一部または全部を含めてもよいし、上記以外のものを含めることを妨げるものでもない。
本明細書における「教師あり学習」とは、事前に与えられたデータを教師の助言とみなして、それをガイドに学習する一つの機械学習のことをいう。教師あり学習の好適例として、決定木、ランダムフォレスト、ニューラルネットワーク、ディープラーニング、ロジスティック回帰、サポートベクターマシン、ナイーブベイズ、ブースティング、バギングや、これらを組み合わせるなどして構築した独自アルゴリズムがある。もちろん上記以外の教師あり学習の手法をも自由に採用しうることは言うまでもない。
本明細書では「入社希望者」を広い概念で捉えている。文字通り企業入社を希望する入社前の者のほか、既存社員が他の部署に異動を希望もしくは命令される前の者をも含む。言い換えると、後者の企業内異動における他の部署は前者の企業に該当する。すなわち、ある者が新天地（企業、他の部署）の一員になったとしたら、その新天地においてどの程度活躍できるかということの評価を予測することを目的としている。
（評価予測装置の概略構成）
図１は、入社希望者（採用前社員）の入社後評価を予測するための評価予測装置（以下、「予測装置」という）の構成例を示す機能ブロック図である。
予測装置１は、図１の下欄に示すように、たとえば、スマートホン、タブレット型コンピュータ、汎用コンピュータ、ワークステーションなどの情報処理装置であって、内部に組み込まれているため図示は省略するが、中央演算処理装置（ＣＰＵ）、主メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、入出力装置（Ｉ／Ｏ）、及び必要に応じてハードディスク装置等の外部記憶装置（図示を省略）を具備している装置で構成されている。後述するように予測装置１は、学習モデル構築装置（以下、「構築装置」という）の機能を兼ね備えている。また、予測装置１は、1台の装置により構成されなければならないものではなく、ネットワークによって互いに通信可能に接続された複数台の装置によって構成されるものであってもよい。
上述のＲＯＭ、もしくは外部記憶装置などには情報処理装置を予測装置１もしくはこれに含まれるとして機能させるためのプログラム、さらに入社後評価予測方法（以下、「予測方法」という）もしくは学習モデル構築方法（以下、「構築方法」という）をコンピュータに実行させるためのプログラムが記憶されている。このようなプログラムを主メモリ上に載せ、ＣＰＵがこれを実行することにより予測装置１もしくはこれに含まれる構築装置３が実現され、また予測方法および構築方法が実行される。
また、上記プログラムは必ずしも情報処理装置内の記憶装置に記憶されていなくともよく、磁気ディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Video Disc）などのコンピュータ読み取り可能なプログラム記録媒体や、外部の装置（例えば、ＡＳＰ（Application Service Provider）のサーバなど）、さらにクラウドコンピューティングなどから提供され、これを主メモリに乗せる構成であることを妨げない。以下、具体的に説明する。
図１に示す評価予測装置１は、学習モデル構築手段３（以下、「構築手段３」という）と入社後評価予測手段５（以下、「予測手段５」という）と、外付けのマウスやキーボードなどからなる入力装置７と、直接表示のための液晶ディスプレイや間接表示のためのプリンターなどからなる表示装置９と、から基本構成されている。構築手段３は、入社希望者の入社後評価を予測する学習モデルを構築する装置である。予測手段５は、構築手段３が構築した学習モデルを用いて入社希望者の入社後評価を予測する装置である。入力装置７は情報を入力する、表示装置は予想結果などを表示する装置である。処理装置１は、ネットワークＮを介して外部と通信して情報のやりとりができるように構成されている。本実施形態では、外部にある業者提供試験データベースから既存社員それぞれの職務適正試験の結果を取り込めるようになっている。
（構築手段の概略構成）
図１に示すように構築手段３は、試験データ取得手段３１、評価データ取得手段３３、ラベル取得手段３５、学習手段３７および合致度判定手段３９を有し、好ましい態様としてさらに個人経歴データ取得手段３８を備えている。そのうえ、既存社員試験情報データベース６１、既存社員評価情報データベース６２、ラベル情報データベース６３、学習モデルデータベース６９を有し、好ましい態様として既存社員個人経歴データベース６５、及び既存社員面接結果データベース６７を備えている。
試験データ取得手段３１は、既存社員試験情報データベース６１を含み、既存社員それぞれ（すなわち、個々の既存社員、以下同じ）が所定の職務適正試験を受験した結果を試験データとして取得するための手段である。本実施形態における職務適正試験は、装置外の業者提供試験結果データベース１０１から業者提供試験結果を取得し、装置内の既存社員試験情報データベース６１に検索可能に格納する。
評価データ取得手段３３は、既存社員評価情報データベース６２を含み、既存社員それぞれの社内評価の結果を示す評価データを取得する。取得した評価データは既存社員それぞれと紐づけられて既存社員評価情報データベース６２に検索可能に格納される。この評価については先に定義したように、様々な評価が用いられる。
ラベル取得手段３５は、ラベル情報データベース６３を含み、先に取得した評価を点数化するなどすることにより、複数の水準（たとえば、Ｈ（高い）、Ｍ（中間）、Ｌ（低い）に分けたものをそれぞれのラベルとして取得する。たとえば、既存社員Ａの評価は「Ｈ」を、既存社員Ｂは「Ｍ」を、さらに既存社員Ｃは「Ｌ」を、それぞれラベルとして取得する。発明者らの経験則に照らして３段階水準が実用的であるが、２段階でもよいし４段階や５段階、さらにそれ以上の数の段階にしてもよい。取得したラベルは既存社員それぞれと紐づけられてラベル情報データベース６３に検索可能に格納される。
学習手段３７は、学習モデルデータベース６９を含み、試験データ取得手段３１が取得した試験データそれぞれと、これらに対応するラベル取得手段３５が取得したラベルそれぞれの組を教師データとして教師あり学習を行う。こうして教師あり学習を行うことにより、当該適正試験を受験した入社希望者の入社後評価を予測する学習モデルを構築される。構築された学習モデルは、学習モデルデータベース６９に検索可能に格納される。教師あり学習は、少なくとも１種、好ましくは複数種の相異なる手法を用いるとよい。複数種が好ましい理由は、後述する合致度判定手段３９の説明の中で述べる。
個人経歴データ取得手段３８は、既存社員個人経歴データベース６５および既存社員面接結果データベース６７を少なくとも含み、既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得し、既存社員個人経歴データベース６５に検索可能に格納する。年齢・性別・学歴などの履歴や経験した職務内容などの職務経歴などが、その既存社員の評価に影響を与えていたことが実験的に証明されているので、これらを加味することで入社希望者の評価の予測度をより細部にわたって予測可能な学習モデルを提供することができる。なお、既存社員面接結果データベース６７に格納されている退職理由も個人経歴に含まれる。退職理由は個人評価と密接に関連するので、これを含めることにより評価の確度をより高くすることができるからである。さらに、既存社員面接結果データベース６７に格納されているその既存社員が採用されるまでの面接経緯も、個人経歴に含めるとよい。誰がどのような経緯で採用を決定したのかということは、面接官との相性や採点のクセ・傾向など既存社員の制御が及ばない他力的な要素であるが、これらについてもその有効性が発明者らの実験により実証されている。
合致度判定手段３９は、学習手段３９が同じ教師データに基づいて複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築した場合に、構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得手段が取得した評価ラベルそれぞれとの合致度を判定する。合致度を判定することにより、合致度のもっとも高い、すなわち実態に一番則していると推測される学習モデルを選び用いることができる。ここに複数の教師あり学習を行う最大の利点がある。合致度はそれぞれの学習モデルに紐づけされて学習モデルデータベース６９に検索可能に格納される。実施する教師あり学習が複数ではなく単数の場合は、その必要がないため合致度判定手段３９は稼働しない。
（予測手段の概略構成）
図１に示すように予測手段５は、希望者試験データ取得手段５１、個人履歴データ取得手段、選定手段５５、評価予測手段５７、入社希望者履歴データベース７１、入社希望者試験情報データベース７３、入社希望者社員面接データベース７５、入社後評価予測結果データベース７７を備えている。
希望者試験データ取得手段５１は、入社前社員試験情報データベース７３を含み、入社希望者が所定の職務適正試験を受験した結果を希望者試験データとして取得するための手段である。本実施形態における職務適正試験は、装置外の業者提供試験結果データベース１０１から業者提供試験結果を取得し、装置内の既存社員試験情報データベース７３に検索可能に格納する。
希望者履歴データ取得手段５３は、入社希望者履歴データベース７１および入社希望者面接結果データベース７５を少なくとも含み、入社希望者それぞれの履歴・職務経歴を含む個人経歴データとして取得し、入社希望者履歴データベース７１に検索可能に格納する。年齢・性別・学歴などの履歴や経験した職務内容などの職務経歴などが、その既存社員の評価に大きな影響を与えていたことが実験的に証明されているので、入社希望者のこれらを加味することで入社希望者の評価の予測度をより細部にわたって予測可能な学習モデルを提供することができる。さらに、希望者面接結果データベース７５に格納されている最終面接前の面接経緯も、個人経歴に含めるとよい。誰がどのような経緯で採用を決定したのかということは、面接官との相性や採点のクセ・傾向など既存社員の制御が及ばない他力的な要素であるが、これらについてもその有効性が発明者らの実験により実証されている。
選定手段５５は、合致度判定手段３９が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する。合致度が高いということは企業の実態にもっとも則した学習モデルと推測されるから、これを選定して使用に供するためである。
評価予測手段５７は、入社希望者基本情報データベース７１、入社希望者面接結果データベース７５、入社後予測結果データベース７７を含み、単数の学習モデルが用いられた場合の当該学習モデル、もしくは複数の学習モデルが用いられた場合の選定手段５３によって選定された学習モデルの何れかを用いて入社希望者の入社後評価を予測する。入社前社員の氏名・性別・学歴などの履歴や職務経歴等の基本情報は、入社前社員基本情報データベース７１に格納されているので、そこにアクセスすれば取得することができる。予測結果は、その記憶手段である入社後評価予測結果データベース７７に検索可能に格納される。
（構築方法及び予測方法の実行手順）
図１および２を参照しながら説明する。ここでは、理解しやすくするためこの職務適正試験を、業者提供試験の一つであるＳＰＩ（商標）試験とする。他の業者提供試験や独自開発した職務適正試験を排除する趣旨でない。
プログラムが開始されると情報処理装置１の構築手段３（試験データ取得手段）が、職務適正試験に係る既存社員それぞれの「試験データ」を取得する（ステップ１）。試験データの取得は、ＳＰＩ（商標）試験を提供する株式会社リクルートマネジメントソリューションズが提供する業者提供試験結果データベース１０１（図１）にアクセスして行う。もし既存社員の中にＳＰＩ試験を受験していない者がいたら、好ましくはその者に受験させて試験結果を得るべきだが、たとえば離職者であって連絡がとれないなどの事情があるときは当該離職者を既存社員から除外するとよい。入手した試験情報は、既存社員試験情報データベース６１に既存社員それぞれと紐づけされ検索可能に格納される。上記とは別に入力装置７から手入力による一部または全部の試験データを入力するように構成してもよい。この際に適宜試験データを補充したり、修正したりするようにしてもよい。
次に、既存社員それぞれの評価データを評価データ取得手段３３が取得する（ステップ３）。評価データは、既存社員評価情報データベース６２や既存社員面接結果データベース６７に既存社員それぞれと紐づけされ検索可能に格納されているので、これにアクセスして取得する。評価データそれぞれは数値化されている。なお、上述した手順によるとステップ１が先でステップ３が後になっているが、これとは逆にステップ３を先に処理してもよいし、両ステップを同時処理しても構わない。評価データを、入力装置７を介して入力したり、必要な補充・修正したりすることを妨げない。
取得した評価データそれぞれについては、ラベル取得手段３５が、３つの水準（Ｈ（高い）、Ｍ（中間）、Ｌ（低い）に分けたものをそれぞれの評価ラベルとして取得する（ステップ５）。３つの水準としたのは、実務上３つに分けておけば単なる人間の主観的判断に比べ精度が高いということが発明者らの実証実験で確かめられたからである。
本実施形態では既存社員の「個人経歴データ」を併せて取得している（ステップ７）。個人経歴データを取得するのは、個人経歴データ取得手段３８である。個人経歴データは、先に定義した「履歴・職務経歴を含む個人経歴データ」のことであり（後述する入社希望者において同じ）、ステップ１、ステップ３と同時もしくは適宜順に逐次入手することができる。個人経歴データは既存社員個人経歴データベース６５に格納されている。
次に、ステップ９で教師あり学習の種類を決める。決めるのは情報処理装置１の使用者らであるが、その決定は入力装置７を介して入力される。ただ、この決定は入社後予測をする前の仮の決定である。ここでは、たとえば「試験データ」のみを使用して、木構造を用いて分類や回帰を行う「決定木」で学習モデルを構築する手法を採択したことにする。
次は、学習手段３７が教師あり学習、すなわち、決定木を用いて予測モデル（学習モデル）を作成する（ステップ１１）。具体的には、ステップ１で試験データ取得手段３１が取得した試験データそれぞれと、評価データ取得手段３３がステップ５において取得した３つの水準（Ｈ（高い）、Ｍ（中間）、Ｌ（低い）に分けたそれぞれの評価ラベルの組みを教師データとして、教師あり学習により予測モデルを構築する。以上により、既存社員の試験データと評価データを用いた学習モデルが構築される。このようにして構築された学習モデルを使って入社後評価を行うのであれば、は後述するステップ２１へ直接進むことができる。ここで、一旦、図２のフローチャートから離れて説明する。
ステップ１１で採用した「決定木」を用いた教師あり学習の手法は、現在就業中の社員とともに離職した元社員の試験データと評価データを加味したものであることから、確度の高い学習モデルを提供するものはあるが、教師あり学習の手法の利点を損なうことなくより確度を高める余地がないわけではない。それは、上記例でいう試験データのみを用いた決定木とは異なる手法の機械学習を同条件下で行い、それらの結果を比較して最善のものを選択することである。この点を次項以下で説明する。
図２のフローチャートに戻る。予測装置５の評価予測手段５５は、先に構築した予測モデルを用いて入社後評価を予測する（ステップ１３）。この予測結果の精度ないし確度が所定のレベルかどうかを選定手段５３に判断させる（ステップ１５）。ここで念のための意味を含め予測精度が十分ではないと判断されたときは、ステップ９に戻り「決定木」以外の、たとえば、「ランダムフォレスト」等を用い、「決定木」と同じ手順で予測精度を判断させる（ステップ１７）。「ランダムフォレスト」のところで精度十分と判断できたなら、ステップ１９へ進みこの場合の「ランダムフォレスト」を「最適予想モデル」（学習モデル）に選定する。この場合、所定の精度を超えるものが得られたとしても、さらに高精度のものがあるかもしれないという推定のもとに、異なる教師あり学習（たとえば、ニューラルネットワークやディープラーニングなど）を行って相異なる学習モデルを構築し、これらの学習モデルそれぞれについてステップ１５の判断をさせるようにしてもよい。
上記のように複数の学習モデルを用意してそれぞれを検証するようにするのは、「決定木」や「ランダムフォレスト」などのアルゴリズムは、使用するデータの種類と数によって精度に違いが生まれることがわかっているからである。この違いによる精度低下を補うため、それぞれのアルゴリズムに対し、使用するデータの種類と数を変更した手法を用い、より高精度の学習モデルを探索するのである。この手法によれば、相異なる教師あり学習による学習モデルのそれぞれを検証することにより、より企業実態に即した最適予想モデルを選定することができ、ひいては、確度の高い入社後予測を行うことにつながる。なお、最適予想モデルは、これを使用者が入力装置７を介して適宜補足・修正を加えることができる。たとえば、病気のため長期療養したため実績が上げられなかったとか、特定の上司との相性が非常に悪かったとかというマイナス面を考慮した修正を加えたり、同僚からの信頼が厚いことからリーダーシップの能力があるとかいったプラス面を踏まえた加筆をしたりすることもできる。
ステップ１９で最適予想モデルを選定しところで、希望者試験データ取得手段５１は、入社前社員試験情報データベースにアクセスして入社希望者の試験データを取得する（ステップ２１）。ステップ２１はステップ１７とステップ１９の間に実行してもよいし、これらと同時に実行してもよい。
次いで、希望者履歴データ取得手段５３が、入社希望者履歴データベース７１および希望者面接結果データベース７５にアクセスして入社希望者の履歴、職務経歴、最終面接に至るまでの面接経緯などに係るデータを取得する（ステップ２３）。ステップ２３のデータ取得は、ステップ１９、ステップ２１の前でもよいし、これらと同時に実行することができる。年齢・性別・学歴などの履歴や経験した職務内容（新卒者の場合は、インターンシップやボランティア活動など）などの職務経歴などが、その既存社員の評価に大きな影響を与えていたことが実験的に証明されていることは前述したとおりであり、このことは入社希望者についても同じである。このような履歴データを取り込むことにより、それなしのときはできなかった部署別の評価などきめ細かな評価が可能となる。
上述のとおり必要なデータ・情報が揃ったところで、評価予測手段５５が入社希望者の希望者試験データそれぞれと最適予想モデル（学習モデル）とに基づいて、当該入社希望者の入社後評価を予測する（ステップ２５）。予測結果は、表示手段９に表示される（ステップ２７）。これにてプログラムが終了する。表示手段に表示されることにより、これを観た使用者（予想者）は、入社希望者それぞれの入社後の予想評価を知ることになり、これにともなって採用者選択の有力な手がかりを得ることができる。
上述した最適予想モデルは、既存社員が属する企業における入社後評価のためのものであるが、当該企業とたとえば業種・業態・規模など企業環境が同一・類似の他の企業の入社後評価のために使用してもよい。このことは立場を変えると、当該企業とたとえば業種・業態・規模など企業環境が同一・類似の他の企業において上記手法で構築した学習モデルを自分の企業の入社後評価のために使用できるということになる。また、業種・業態が少なくとも同一・類似であることなどを条件とするが、社員数の比較的少ない複数の企業全体を一体化させて一つの統合企業とみなし、その統合企業の中でこれまで述べてきた学習モデルの構築と入社後評価の予想を行うこともできよう。この点は、後述する本変形例を参照されたい。
先に定義したように本明細書では「入社希望者」を広い概念で捉えているので、既存社員が他の部署に異動を希望もしくは命令される前の者をも含むものである。したがって、上述の手順で構築した学習モデルや入社後評価は、企業内で異動なり配転等により部署を変わろうとする者に対し、部署変更後評価を予測することにも使用可能であることを付言しておく。
（本実施形態の変形例）
図２を参照しながら、本実施形態の変形例（以下、「本変形例」という）について説明する。図２に示す評価予測装置１´（以下、「予測装置１´」という）が図１に示す予測装置１と基本構造１´と異なるのは、予測装置１´が有する他社既存社員データベース１０３を予測装置１が有しない点と、予測装置１が行わなかった他社既存社員データベース１０３から得るデータの処理を予測装置１´の学習モデル構築手段３´（以下、「構築手段３´」という）が行う点の２点である。この２点を除き、評価装置１と評価委装置１Ａは共通する。このため、この共通部分については、図１で用いた符号を図２においても使用し、これらの説明は可能な範囲で省略する。
構築手段３と比較した構築手段３´は、採用企業の自社データとともに、後述する他社試験データを処理する機能を併有する。このため、図１に示す符号や名称をそのまま図２に示す。すなわち、構築手段３´は、試験データ取得手段（他社試験データ取得手段）３１、評価データ取得手段（他社評価データ取得手段）３３、ラベル取得手段（他社ラベル取得手段）３５、学習手段３７および合致度判定手段３９を有し、好ましい態様としてさらに個人経歴データ取得手段３８を備えている。
図２において他社既存社員データベース１０３は、本実施形態で対象とした採用企業とは異なる、１又は２以上の他社企業の現在又は過去の社員（以下、「他社既存社員」という）のそれぞれが所定の職務適正試験を受験した結果を他社データとして格納しており、ネットワークＮを介して予測装置１´と通信可能に接続されている。試験データ取得手段３１は、他社既存社員データベース１０３から他社既存社員が受けた職務適正試験の結果（他社試験データ）を取得し既存社員試験情報データベース６１に検索可能に格納する。評価データ取得手段３３は、他社既存社員データベース１０３から他社既存社員それぞれの社内評価の結果を示す他社評価データを取得し既存社員評価情報データベースに検索可能に格納する。
ここで図２とともに、本変形例に関係する図４を説明対象とする。図４のフローチャートと図３のフローチャートが異なるのは、本実施形態（図３）には含まれない、他社データを取得する三つのステップ、すなわち、ステップ９´、ステップ１０およびステップ１０´を有する点だけであるので、これらについて解説する。ステップ９の後に設けられたステップ９´では、試験データ取得手段３１が採用企業において、入社希望者を評価するための学習モデルを構築するために十分な量（人数）のデータがあるかを確認する。十分な量のデータは、業種・業態・企業規模や社会状況などによって変化するものであり使用者の判断に委ねられるが、たとえば一つの組織で３０人に満たない場合は十分とはいえないであろう。データ量が十分であればそのままステップ１１に進む。
一方、ステップ１０においてデータ量が不十分であれば、既存社員試験情報手段３１はデータベース６１にアクセスして他社試験データを取得し、これに自社社員の試験データと合併したデータを作成する（ステップ１０´）。これと併せて評価データ取得手段３３は、既存社員評価情報データベース６２にアクセスして他社評価データを取得し（ステップ１０）、これに自社社員の評価データと合併したデータを作成（ステップ１０´）してからステップ１１に進む。上記三つのステップの前のステップ、同じく後のステップは、本実施形態における処理と同じ処理が行われる。ここで、自社データがまったく存在しない場合は、すべてを他社データで賄うことになる。なお、重要なことは、特に他社データを扱う際に、個人情報などの秘匿性のあるもののセキュリティに十分に注意すべきことである。
＜本実施例１＞
図５を参照しながら、本発明に係る構築方法・評価予測方法を用いて行った実証例を示す。まず本実施例１では、Ｗｅｂサービス企業、不動産業、ＩＴ関連企業、人材業および建築業を対象業種として実証を行った。既存社員数や利用した職務適正試験等と、その結果は図５に示すとおりである。正解（合致）率・予測精度をみると、Ｗｅｂサービス企業について正解率５９．３％・予測精度（Kappa係数、以下同じ）０．２４、同じく不動産業について正解率６０．０％・予測精度０．３１、ＩＴ関連企業について正解率６２．４％・予測精度０．４１、同じく人材業について正解率５１．０％・予測精度０．２６、さらに同じく建築業では正解率６８．９％・予測精度０．４５であった。
＜本実施例２＞
一方、図６は、不動産業とＩＴ関連業２社の、退職予測正解率と予測精度を示す。既存社員数や利用した職務適正試験等と、その結果は図６に示すとおりである。退職予測における正解（合致）率・予測精度は不動産業について正解率９１．０％・予測精度（Kappa係数、以下同じ）０．３３・再現率６１．５％、同じくＩＴ関連業（約１０００名）において正解率８７．７％・予測精度０．１４・再現率４９．１％、同じくＩＴ関連業（約３００名）において正解率８９．７％・予測精度０．３０・再現率７２．７％であった。
＜本実施例１の評価＞
本実施例ではラベルをＨ（高い）、Ｍ（中間）、Ｌ（低い）の３段階水準を用いたため、学習モデルを用いない予測の場合には、正解率が約３３％（３分の１）となる。各実証例において、合致率は約３３％を大きく上回る結果となっており、学習モデルを利用した評価予測は、有効であることが確認できる。また各実証例は、企業規模、業界、用いる職務適性試験に違いがあるが、同様に本手法を用いることで、評価予測が有効であることが示されている。加えて、各職務適性試験データ以外に「所属」や「職種」のデータを用いることで、より合致率・予測精度（Kappa係数、次項以下で説明）が高まっている。職務適性試験データのみでも、十分に有用な結果が得られることが示されているが、「個人経歴データ」を加え、複数の学習モデルを構築し、最適予想モデルを選択することで、より精度の高い学習モデルを構築できることが確認でき、本手法が十分に実用的であることがわかった。
Kappa係数について付言する。Kappa係数は、元々「二者が１つの対象を観測した際に、判断が一致しているか否か」を確認するために作られた指標であって、値が1に近いほど一致度が高いことを意味する。このKappa係数について著名な論文「Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977; 33(1):159-174.」は、0.0〜0.2: わずかに一致(slight agreement)、0.21〜0.40 まずまずの一致(fair agreement)、0.41〜0.60 中等度の一致(moderate agreement)、0.61〜0.80 かなりの一致(substantial agreement)、および0.81〜1.0 ほぼ完全、完全一致(almost perfect or perfect agreement)という基準を示している。
ここで図５に戻り本実証例が示すKappa係数を考察すると、一番小さいＷｅｂサービス企業でさえも0.24を、不動産業では0.31を示し両者ともに「まずまずの一致」を示している。さらに、一定の予測精度が示されている。さらにＩＴ関連企業にあっては0.41で「中程度の一致」の基準に達している。もとより本実証例は、過去の検証ではなく未来予測であるため、「完全一致」であるはずがなく「傾向がある（＝まずまずの一致以上の程度）」だけでも、十分な結果であると考えられる。よって、本手法が十分に実用的であることが改めて確認された。
＜本実施例２の評価＞
本実施例１では自社評価を、Ｈ（高い）、Ｍ（中間）、Ｌ（低い）という３つの水準に分けたものを評価レベルとしたのに対し、図６に示す本実施例２に関する退職を予測する実証例では、ラベルを「退職」と「在職」の２段階水準を用いた。すなわち、自社の社員それぞれの他社データ試験データと、同社員それぞれの「退職」と「在職」の組を教師データとして教師あり学習を行った結果である。
「退職」の割合については、業種・雇用形態などによって異なるが、おおむね１０%前後の値となることが多い。そのため学習モデルを用いないモデルの場合には、再現率（次項以下で説明）が１０％前後となる。各実証例における再現率は１０％を大きく結果となっており、学習モデルを利用した評価予測は、有効であることが確認できる。また前述の実証例と同様に、企業規模、業界、用いる職務適性試験が異なっても本手法が有効であること、各職務適性試験データ以外に「等級」や「職種」のデータを用いることで、正解率・Kappa係数・再現率が高まることが示されている。
退職予測の「再現率」について付言する。「再現率」は、「退職」と予測した人のうち、実際に「退職」した人の割合を示す値である。再現率が高ければ高いほど、「退職」する人を見極められていると考えることができる。例えば、「再現率」が高ければ、「退職と予測したが実際に退職しない人の割合」が低いため、「退職」を防止するための施策を「退職しない人」に対して行う確率が低くなり、実際に「退職する人のみ」に対し、効率的に施策を実施することが可能になる。
実施例２に関する退職予測における再現率（図６の図表最右欄参照）を考察すると、最も大きいものが同図表最下欄のＩＴ関連企業（営業社員のみ３００人）の７２．７％で、次が同図表最上覧の不動産業（新卒者のみ約３００人）の６１．５％である。最も小さい再現率でさえ、同図表中断に示すもう一つのＩＴ関連業（社員数約１０００人）の４９．１％となっている。以上の実証結果から「退職」と予測した人のうち、約２人に１人が実際に退職していることがわかる。今回の対象企業の実際の退職率も10%前後であり、再現率４９．１％は、実際の退職率の４倍以上の確率で退職者を予測できていることになる。これは実際の「退職」を防止するための施策を講じる際の効率が、４倍以上になることを示しており、本手法が実用的であることがわかる。
以上述べた実施例１と実施例２は、自社データのみを対象とした本実施形態についてのものである。一方、自社データに他社データを合併させた合併データ、もしくは、他社データのみからなるデータ（自社データをゼロとしたときの他社データとの合併データ）を対象とした場合も、他社の業種・業態等が採用企業のそれらと近似するなら上記実施例１や２と同様もしくは近似する結果が得られるものと推測される。
１ 評価予測装置
１´ 評価予測装置
３ 学習モデル構築装置（構築装置）
３´ 本変形例に係る学習モデル構築装置（構築装置）
５ 入社後評価予測装置（予測装置）
３１ 試験データ取得手段（他社試験データ取得手段）
３３ 評価データ取得手段（他社評価データ取得手段）
３５ ラベル取得手段
３７ 学習手段
３８ 個人経歴データ取得手段
３９ 合致度判定手段
５１ 希望者試験データ取得手段
５３ 選定手段
５５ 評価予測手段
５７ 面接データ取得手段
６１ 既存社員試験情報データベース
６２ 既存社員評価情報データベース
６３ ラベル情報データベース
６５ 既存社員個人経歴データベース
６７ 既存社員面接結果データベース
６９ 学習モデルデータベース
７１ 入社前基本情報データベース
７３ 入社前試験情報データベース
７５ 入社前社員面接データベース
７７ 入社後評価予測結果データベース
１０１ 業者提供試験結果データベース
１０３ 他社既存社員データベース
Ｎ ネットワーク
本発明は、企業における入社希望者の入社後評価を予測するための学習モデル構築装置、当該学習モデル構築装置が構築した学習モデルを用いた入社後評価予測装置、企業における入社希望者の入社後評価を予測するための学習モデル構築方法、および当該学習モデル構築装置が構築した学習モデルを用いた入社後評価予測方法に関するものである。
企業は、新卒採用や中途採用などの採用活動の際に広範な人材の中から自社に適した者を選ぶために、企業の社員の社内評価得点を面接試験だけでなく、業者が提供する職務適正試験や、企業独自で開発した職務適正試験行う場合がある。こうした職務適正試験を入社希望者に一律に受けさせることで客観的な評価の基礎となりうる面がある一方、それが一律であるために企業の社風や求められる能力と合致しない面があることも指摘されている。この指摘に対処するため、その企業で実際に働いている社員の職務適正試験と同じく社内評価とを結び付けた基準をもって入社希望者の職務適正試験の結果を評価しようとする技術がある（たとえば、特許文献１参照）
特許第５１７１４３７号公報
しかしながら、特許文献１が開示する技術は、企業において既に高い社内評価を得ている社員が過去に受けた適正試験の結果を参照し、高評価社員の職務適正試験の結果に基づいて入社希望者の採用目的範囲を決定するものであるところ（特許文献１段落０００７参照）、その一方で、高い評価を受けている社員の平均値を利用していることは、企業には多様な特性を持つ高い評価の人材がいることを考慮していない 、また入社した社員が離職する理由までを推測することができない、という問題点がある。大まかな推測ではあるが昨今の流れに照らせば新卒者の大半は何らかの職務適性検査を受検しており採用側もこれを重視しているといわれるが、厚生労働省の発表によれば新卒者の３割強が就職後３年以内に離職しているという実態がある。この実態を企業側から見れば採用後に多大な費用をかけて育てた人材が結局離職してしまうという問題である。
そこで本発明は、採用しようとする人材の入社後評価を多面的に予測しながら採用活動が実施されるようにすること、併せて離職につながるようなミスマッチをなるべくなくすことを目的としている。
上記目的を達成するために本発明は、次の構成を備えている。なお、何れかの請求項記載の発明を説明するに当たって行う用語の定義等は、発明のカテゴリや記載順などに関係なくその性質上可能な範囲において他の発明にも適用されるものとする。
（請求項１記載の発明）
請求項１記載の発明に係る学習モデル構築装置（以下、「請求項１の構築装置」という）は、採用を予定している企業（以下、「採用企業」という）の現在又は過去の社員（以下、「既存社員」という）それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得手段と、当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得手段と、当該評価データ取得手段が取得した当該評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得手段と、当該試験データ取得手段が取得した試験データそれぞれと、これらに対応する当該ラベル取得手段が取得したラベルそれぞれの組を教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習手段と、を備え、当該評価データは、当該既存社員の離職をマイナス評価したデータである、ることを特徴とする。
請求項１の構築装置によれば、現在又は過去の社員の試験データと評価データに基づいた学習モデルを構築することができる。現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。離職を含めるのは、離職は職務実績がマイナスであったと解釈できるからである。
（請求項２記載の発明）
請求項２記載の発明に係る学習モデル構築装置（以下、「請求項２の構築装置」という）は、請求項１の構築装置の好ましい態様として、前記既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得手段を、さらに備え、前記学習手段は、当該個人経歴データ取得手段が取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行うように構成されていることを特徴とする。
請求項２の構築装置によれば、入社希望者の評価の予測度をより細部にわたって予測可能な学習モデルを提供することができる。教師あり学習を用いることで、人間による事前の経験や勘を必要とせず、多くの試験データの組み合わせから、入社後評価を予測するために適した試験データの組み合わせを見つけ出し、学習モデルを構築することができる。また、すなわち、現在又は過去の社員が企業に採用されるに至るまでの履歴や、入社後に経験した職務の経歴などを加味することで、たとえば、営業職における評価と総務職における評価のそれぞれを予測可能な学習モデルを構築しやすくすることができる。
（請求項３記載の発明）
請求項３記載の発明に係る学習モデル構築装置（以下、「請求項３の構築装置」という）は、請求項１または２の構築装置の好ましい態様として、前記学習手段は、前記教師データを教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築するように構成され、そのうえ、前記学習手段が構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得手段が取得した評価ラベルそれぞれとの合致度を判定する合致度判定手段が設けられていることを特徴とする。
請求項３の構築装置によれば、相異なる教師あり学習のそれぞれを行うことで（偶然の一致を除き）相異なる学習モデルを得ることになる。ここで試験ラベルそれぞれと評価ラベルそれぞれを比較し、その合致度を判定することができる。教師あり学習に用いる、たとえば「決定木」や「ランダムフォレスト」などのアルゴリズムは、使用するデータの種類と数によって精度に違いが生まれることがわかっている。この違いによる精度低下を補うため、それぞれのアルゴリズムに対し、使用するデータの種類と数を変更した手法を用い、より高精度の学習モデルを探索する意義がある。探索の結果、もっとも合致度の高い、すなわち、企業実態に則したもっとも入社後評価を適切に予測できる評価ラベルに係る学習モデル選択が可能になる。
（請求項４記載の発明）
請求項４記載の発明に係る学習モデル構築装置（以下、「請求項４の構築装置」という）は、請求項１ないし３いずれかの構築装置の好ましい態様として、前記採用企業とは異なる、１又は２以上の他社企業の現在又は過去の社員（以下、「他社既存社員」という）それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、をさらに備え、前記ラベル取得手段は、前記評価データ取得手段が取得した評価データ（自社評価データ）に当該他社評価データ取得手段が取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得することを特徴とする。
請求項４の構築装置によれば、他社評価データ等によって自社評価データ等を補足しながら採用企業の学習モデルを構築することができる。自社と他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。
（請求項５記載の発明）
請求項５記載の発明に係る学習モデル構築装置（以下、「請求項５の構築装置」という）は、採用企業とは異なる、１又は２以上の他社企業の現在又は過去の社員（以下、「他社既存社員」という）それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、当該他社評価データ取得手段が取得した当該他社評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得手段と、当該他社試験データ取得手段が取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得手段が取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習手段と、を備えることを特徴とする。
請求項５の構築装置によれば、他社社員に関する他社評価データ等を活用することで、採用企業の学習モデルを構築することができる。他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。
（請求項６記載の発明）
請求項６記載の発明に係る入社後評価予測装置（以下、「請求項６の予測装置」という）は、請求項１、２、４および５いずれかの構築装置で構築した学習モデルを用いた入社後評価予測装置の好ましい態様であって、入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、当該希望者試験データ取得手段が取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備えることを特徴とする。
請求項６の予測装置によれば、入社希望者の入社後の活躍度を離職の可能性をも含め高確度で予想することができる。特に請求項２の装置によって構築された学習モデルを用いたときは、既存社員それぞれの履歴・職務経歴を含む個人経歴データをも加味されていることから、たとえば企業の業種・業態・企業規模、さらに当該企業内の部署や上司・同僚環境の違いまでも反映するので、より企業実態にあった学習モデルを提供することができる。
（請求項７記載の発明）
請求項７記載の発明に係る入社後評価予測装置（以下、「請求項７の予測装置」という）は、請求項３記載の学習モデル構築装置で構築した複数の学習モデルを用いた入社後評価予測装置の好ましい態様であって、入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、前記合致度判定手段が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定手段と、当該希望者試験データ取得手段が取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備えることを特徴とする。
請求項７の発明によれば、相異なる学習モデルのうち、企業の実態に則した学習モデルを用いることで入社希望者の入社後評価を高い確度で予想することができる。当該学習モデルに照らせば離職可能性を高確度で予想できることは言うまでもない。
（請求項８記載の発明）
請求項８記載の発明に係る学習モデル構築方法（以下、「請求項８の構築方法」という）は、コンピュータによって実行される入社後評価予測方法であって、採用を予定している企業（以下、「採用企業」というの現在又は過去の社員（以下、「既存社員」という）それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得ステップと、当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得ステップと、当該評価データ取得ステップで取得した当該評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得ステップと、当該試験データ取得ステップで取得した試験データそれぞれと、これらに対応する当該ラベル取得ステップで取得したラベルそれぞれの組を教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習ステップと、を備え、当該評価データは、当該既存社員の離職をマイナス評価したデータである、ることを特徴とする。
請求項８の構築方法によれば、現在又は過去の社員の試験データと評価データに基づいた学習モデルを構築することができる。教師あり学習を用いることで、人間による事前の経験や勘を必要とせず、多くの試験データの組み合わせから、入社後評価を予測するために適した試験データの組み合わせを見つけ出し、学習モデルを構築することができる。また、現在の社員だけでなく過去の社員をも構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。離職を含めるのは、離職は職務実績がマイナスであったと解釈できるからである。
（請求項９記載の発明）
請求項９記載の発明に係る学習モデル構築方法（以下、「請求項７の構築方法」という）は、請求項８の構築方法の好ましい態様として、当該既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得ステップを、さらに備え、前記学習ステップでは、当該個人経歴データ取得ステップで取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行うことを特徴とする。
請求項９の構築方法によれば、入社希望者の予測度をより細部にわたって予測可能な学習モデルを提供することができる。すなわち、現在又は過去の社員が企業に採用されるに至るまでの履歴や、入社後に経験した職務の経歴などを加味することで、たとえば、営業職における活躍度と総務職における活躍度のそれぞれを予測可能な学習モデルを構築することができる。
（請求項１０記載の発明）
請求項１０記載の発明に係る学習モデル構築方法（以下、「請求項１０の予測方法」という）は、請求項８または９いずれかの構築方法の好ましい態様として、他社既存社員それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、をさらに備え、前記ラベル取得ステップでは、前記評価データ取得ステップが取得した評価データに当該他社評価データ取得ステップで取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得することを特徴とする。
請求項１０の予測方法によれば、他社評価データ等によって自社評価データ等を補足しながら採用企業の学習モデルを構築することができる。自社と他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。
（請求項１１記載の発明）
請求項１１記載の発明に係る学習モデル構築方法（以下、「請求項１１の構築方法」という）は、コンピュータによって実行される入社後評価予測方法であって、
採用を予定している企業とは異なる、１又は２以上の他社企業の現在又は過去の社員（以下、「他社既存社員」という）それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、当該他社評価データ取得ステップで取得した当該他社評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得ステップと、当該他社試験データ取得ステップで取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得ステップで取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習ステップと、を備え当該評価データは、当該既存社員の離職をマイナス評価したデータである、ることを特徴とする。
請求項１１の構築方法によれば、他社社員に関する他社評価データ等を活用することで、採用企業の学習モデルを構築することができる。他社における、現在の社員だけでなく過去の社員を構築の前提としているので、入社希望者のプラス面の活躍度はもとより、離職を含むマイナス面の活躍度を予測が可能な学習モデルを構築することができる。
（請求項１２記載の発明）
請求項１２記載の発明に係る学習モデル構築方法（以下、「請求項１２の構築方法」という）は、請求項８または９のいずれかの構築方法の好ましい態様として、前記学習ステップでは、前記教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築し、そのうえ、前記学習ステップで構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得ステップで取得した評価ラベルそれぞれとの合致度を判定する合致度判定ステップが設けられていることを特徴とする。
請求項１２の構築方法によれば、相異なる教師あり学習のそれぞれを行うことで（偶然の一致を除き）相異なる学習モデルを得ることができる。ここでそれぞれの学習モデルのレベル合致度と試験データのレベルとを比較し、その合致度を判定することができる。その結果、もっとも合致度の高い、すなわち、企業の実態に則したもっとも入社後評価を適切に予測できる学習モデルの選択が可能になる。
（請求項１３記載の発明）
請求項１３記載の発明に係る入社後評価予測方法（以下、「請求項１３の予測方法」という）は、請求項１２記載の学習モデル構築方法で構築した複数の学習モデルを用いた入社後評価予測方法であって、入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得ステップと、前記合致度判定ステップで判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定ステップと、当該希望者試験データ取得ステップで取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測ステップと、を備えることを特徴とする。
請求項１３の発明によれば、相異なる学習モデルのうち、企業の実態に則した学習モデルを用いることで入社希望者の入社後評価を高い確度で予想することができる。当該学習モデルに照らせば離職可能性を高確度で予想できることは言うまでもない。
本発明によれば、採用しようとする人材の入社後の活躍度を予測しながら採用活動が実施されるようにすること、併せて離職につながるようなミスマッチをなるべくなくすことができる。
本発明に係る情報処理装置のブロック図である。 本変形例に係る情報処理装置のブロック図である。 本発明に係る学習モデル構築・入社後評価予想の処理手順を示すフローチャートである。 図２のフローチャートに対応する本変形例のフローチャートである。 本発明の実施例１にかかる実証結果を示す図表である。 本発明の実施例２にかかる実証結果を示す図表である。
（本実施形態）
以下、図面を参照しながら、本発明を実施するための最良の形態（以下、「本実施形態」という）を説明する。以下では、最初に主要用語を定義づけし、その後に具体的な形態の説明を行う。
＜定義＞
本明細書における「職務適正試験」とは、入社希望者の能力・適正や人となりを把握する目的で行われる試験のことをいい、「職業適性検査」「職業適性診断」「適性検査」などと呼ばれることもある。一般的には各検査項目の結果をそれぞれ偏差値化したものが結果をして示される。職務適正試験の内容は限定されるものではないが、様々な業者から提供されている公知のもののほか、独自開発したものも用いることができる。前者の業者から提供される職務適正試験には、たとえば、株式会社リクルートマネジメントソリューションズが提供する「ＳＰＩ」（商標）、日本エス・エイチ・エル株式会社が提供するＧＡＢ（商標）、ＣＡＢ（商標）、玉手箱（商標）、株式会社ヒューマネージが提供するTG-WEB（商標）、一般社団法人日本MBTI協会が提供するＭＢＴＩ（商標）、ｅ−人事株式会社が提供するＣＵＢＩＣなどがある。本明細書では、このような業者提供の職務適正試験のことを「業者提供試験」ということにする。
本明細書における「評価」は、基本的に採用を予定している企業（以下、「採用企業」という）内で行われている職務評価、人事評価など名称と問わず様々な評価（以下、「自社評価」という）が含まれ、一般的には社内で項目別に数値化・点数化されているものを用いる。自社評価が数値化・点数化されていないものである企業にあっては、これを数値化・点数化してから用いるとよい。自社評価の評価範囲は、いわゆる職務成績や職務実績・職務適応性などに限定されるものではなく、たとえば、離職などを含めることが好ましい。離職を含めるのは、離職は職務実績がマイナスであったと解釈できるからである。企業内において、既存社員が他の部署へ移動を希望する場合、経験を積むためなどの積極的・発展的理由がある場合はともかく、たとえば今の部署が肌に合わないのでとにかく部署を離れたいという消極的・回避的理由がある場合を考慮することを妨げない。
上記した自社評価とともにもしくは自社評価の代わりとして採用企業は、採用企業とは異なる１又は２以上の他社企業における同じく職務評価等（以下、他社企業における評価を「他社評価」という）を活用することもできる。すなわち、採用企業は、自社評価と他社評価を合わせたものを一つの評価として活用することや、未整備の評価自体が存在しない場合や社員数が極端に少ない場合に他社評価を活用（流用）することができる。このような活用に際して採用企業は、使用者が必要と考えるデータ加工も可能である。他社企業の選択は、格別の条件を伴わず、原則として採用企業の担当者などの本発明の実施者に委ねられる。一般的には、採用企業の特徴（たとえば、業種・規模・収益性・収益モデル・所属する人材・組織の価値観の少なくとも一部）と類似する特徴を有する企業を選択することが好ましい。なぜ好ましいかというと、特徴が類似するほうが、より採用企業の実態に即していると考えられるからである。
本明細書における既存社員の「履歴・職務経歴を含む個人経歴データ」とは、既存社員の履歴や職務経歴のほか、たとえば職種、等級（たとえば、平社員、マネージャー、経営層）、配属先部署（たとえば、課単位、部単位、事業部単位で把握することができる）、配属先上司（たとえば、甲課長、乙部長、丙事業部長やこれらの組み合わせで把握することができる）、最終面接までの採用面接の評価点数や評価者などに関するデータ（面接値など）や情報が該当する。これらのすべてを含めなければならないという意味ではないが、これらの一部または全部を含めてもよいし、上記以外のものを含めることを妨げるものでもない。
本明細書における「教師あり学習」とは、事前に与えられたデータを教師の助言とみなして、それをガイドに学習する一つの機械学習のことをいう。教師あり学習の好適例として、決定木、ランダムフォレスト、ニューラルネットワーク、ディープラーニング、ロジスティック回帰、サポートベクターマシン、ナイーブベイズ、ブースティング、バギングや、これらを組み合わせるなどして構築した独自アルゴリズムがある。もちろん上記以外の教師あり学習の手法をも自由に採用しうることは言うまでもない。
本明細書では「入社希望者」を広い概念で捉えている。文字通り企業入社を希望する入社前の者のほか、既存社員が他の部署に異動を希望もしくは命令される前の者をも含む。言い換えると、後者の企業内異動における他の部署は前者の企業に該当する。すなわち、ある者が新天地（企業、他の部署）の一員になったとしたら、その新天地においてどの程度活躍できるかということの評価を予測することを目的としている。
（評価予測装置の概略構成）
図１は、入社希望者（採用前社員）の入社後評価を予測するための評価予測装置（以下、「予測装置」という）の構成例を示す機能ブロック図である。
予測装置１は、図１の下欄に示すように、たとえば、スマートホン、タブレット型コンピュータ、汎用コンピュータ、ワークステーションなどの情報処理装置であって、内部に組み込まれているため図示は省略するが、中央演算処理装置（ＣＰＵ）、主メモリ（ＲＡＭ）、読出し専用メモリ（ＲＯＭ）、入出力装置（Ｉ／Ｏ）、及び必要に応じてハードディスク装置等の外部記憶装置（図示を省略）を具備している装置で構成されている。後述するように予測装置１は、学習モデル構築装置（以下、「構築装置」という）の機能を兼ね備えている。また、予測装置１は、1台の装置により構成されなければならないものではなく、ネットワークによって互いに通信可能に接続された複数台の装置によって構成されるものであってもよい。
上述のＲＯＭ、もしくは外部記憶装置などには情報処理装置を予測装置１もしくはこれに含まれるとして機能させるためのプログラム、さらに入社後評価予測方法（以下、「予測方法」という）もしくは学習モデル構築方法（以下、「構築方法」という）をコンピュータに実行させるためのプログラムが記憶されている。このようなプログラムを主メモリ上に載せ、ＣＰＵがこれを実行することにより予測装置１もしくはこれに含まれる構築装置３が実現され、また予測方法および構築方法が実行される。
また、上記プログラムは必ずしも情報処理装置内の記憶装置に記憶されていなくともよく、磁気ディスク、光ディスク、光磁気ディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Video Disc）などのコンピュータ読み取り可能なプログラム記録媒体や、外部の装置（例えば、ＡＳＰ（Application Service Provider）のサーバなど）、さらにクラウドコンピューティングなどから提供され、これを主メモリに乗せる構成であることを妨げない。以下、具体的に説明する。
図１に示す評価予測装置１は、学習モデル構築手段３（以下、「構築手段３」という）と入社後評価予測手段５（以下、「予測手段５」という）と、外付けのマウスやキーボードなどからなる入力装置７と、直接表示のための液晶ディスプレイや間接表示のためのプリンターなどからなる表示装置９と、から基本構成されている。構築手段３は、入社希望者の入社後評価を予測する学習モデルを構築する装置である。予測手段５は、構築手段３が構築した学習モデルを用いて入社希望者の入社後評価を予測する装置である。入力装置７は情報を入力する、表示装置は予想結果などを表示する装置である。処理装置１は、ネットワークＮを介して外部と通信して情報のやりとりができるように構成されている。本実施形態では、外部にある業者提供試験データベースから既存社員それぞれの職務適正試験の結果を取り込めるようになっている。
（構築手段の概略構成）
図１に示すように構築手段３は、試験データ取得手段３１、評価データ取得手段３３、ラベル取得手段３５、学習手段３７および合致度判定手段３９を有し、好ましい態様としてさらに個人経歴データ取得手段３８を備えている。そのうえ、既存社員試験情報データベース６１、既存社員評価情報データベース６２、ラベル情報データベース６３、学習モデルデータベース６９を有し、好ましい態様として既存社員個人経歴データベース６５、及び既存社員面接結果データベース６７を備えている。
試験データ取得手段３１は、既存社員試験情報データベース６１を含み、既存社員それぞれ（すなわち、個々の既存社員、以下同じ）が所定の職務適正試験を受験した結果を試験データとして取得するための手段である。本実施形態における職務適正試験は、装置外の業者提供試験結果データベース１０１から業者提供試験結果を取得し、装置内の既存社員試験情報データベース６１に検索可能に格納する。
評価データ取得手段３３は、既存社員評価情報データベース６２を含み、既存社員それぞれの社内評価の結果を示す評価データを取得する。取得した評価データは既存社員それぞれと紐づけられて既存社員評価情報データベース６２に検索可能に格納される。この評価については先に定義したように、様々な評価が用いられる。
ラベル取得手段３５は、ラベル情報データベース６３を含み、先に取得した評価を点数化するなどすることにより、複数の水準（たとえば、Ｈ（高い）、Ｍ（中間）、Ｌ（低い）に分けたものをそれぞれのラベルとして取得する。たとえば、既存社員Ａの評価は「Ｈ」を、既存社員Ｂは「Ｍ」を、さらに既存社員Ｃは「Ｌ」を、それぞれラベルとして取得する。発明者らの経験則に照らして３段階水準が実用的であるが、２段階でもよいし４段階や５段階、さらにそれ以上の数の段階にしてもよい。取得したラベルは既存社員それぞれと紐づけられてラベル情報データベース６３に検索可能に格納される。
学習手段３７は、学習モデルデータベース６９を含み、試験データ取得手段３１が取得した試験データそれぞれと、これらに対応するラベル取得手段３５が取得したラベルそれぞれの組を教師データとして教師あり学習を行う。こうして教師あり学習を行うことにより、当該適正試験を受験した入社希望者の入社後評価を予測する学習モデルを構築される。構築された学習モデルは、学習モデルデータベース６９に検索可能に格納される。教師あり学習は、少なくとも１種、好ましくは複数種の相異なる手法を用いるとよい。複数種が好ましい理由は、後述する合致度判定手段３９の説明の中で述べる。
個人経歴データ取得手段３８は、既存社員個人経歴データベース６５および既存社員面接結果データベース６７を少なくとも含み、既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得し、既存社員個人経歴データベース６５に検索可能に格納する。年齢・性別・学歴などの履歴や経験した職務内容などの職務経歴などが、その既存社員の評価に影響を与えていたことが実験的に証明されているので、これらを加味することで入社希望者の評価の予測度をより細部にわたって予測可能な学習モデルを提供することができる。なお、既存社員面接結果データベース６７に格納されている退職理由も個人経歴に含まれる。退職理由は個人評価と密接に関連するので、これを含めることにより評価の確度をより高くすることができるからである。さらに、既存社員面接結果データベース６７に格納されているその既存社員が採用されるまでの面接経緯も、個人経歴に含めるとよい。誰がどのような経緯で採用を決定したのかということは、面接官との相性や採点のクセ・傾向など既存社員の制御が及ばない他力的な要素であるが、これらについてもその有効性が発明者らの実験により実証されている。
合致度判定手段３９は、学習手段３９が同じ教師データに基づいて複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築した場合に、構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得手段が取得した評価ラベルそれぞれとの合致度を判定する。合致度を判定することにより、合致度のもっとも高い、すなわち実態に一番則していると推測される学習モデルを選び用いることができる。ここに複数の教師あり学習を行う最大の利点がある。合致度はそれぞれの学習モデルに紐づけされて学習モデルデータベース６９に検索可能に格納される。実施する教師あり学習が複数ではなく単数の場合は、その必要がないため合致度判定手段３９は稼働しない。
（予測手段の概略構成）
図１に示すように予測手段５は、希望者試験データ取得手段５１、個人履歴データ取得手段、選定手段５５、評価予測手段５７、入社希望者履歴データベース７１、入社希望者試験情報データベース７３、入社希望者社員面接データベース７５、入社後評価予測結果データベース７７を備えている。
希望者試験データ取得手段５１は、入社前社員試験情報データベース７３を含み、入社希望者が所定の職務適正試験を受験した結果を希望者試験データとして取得するための手段である。本実施形態における職務適正試験は、装置外の業者提供試験結果データベース１０１から業者提供試験結果を取得し、装置内の既存社員試験情報データベース７３に検索可能に格納する。
希望者履歴データ取得手段５３は、入社希望者履歴データベース７１および入社希望者面接結果データベース７５を少なくとも含み、入社希望者それぞれの履歴・職務経歴を含む個人経歴データとして取得し、入社希望者履歴データベース７１に検索可能に格納する。年齢・性別・学歴などの履歴や経験した職務内容などの職務経歴などが、その既存社員の評価に大きな影響を与えていたことが実験的に証明されているので、入社希望者のこれらを加味することで入社希望者の評価の予測度をより細部にわたって予測可能な学習モデルを提供することができる。さらに、希望者面接結果データベース７５に格納されている最終面接前の面接経緯も、個人経歴に含めるとよい。誰がどのような経緯で採用を決定したのかということは、面接官との相性や採点のクセ・傾向など既存社員の制御が及ばない他力的な要素であるが、これらについてもその有効性が発明者らの実験により実証されている。
選定手段５５は、合致度判定手段３９が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する。合致度が高いということは企業の実態にもっとも則した学習モデルと推測されるから、これを選定して使用に供するためである。
評価予測手段５７は、入社希望者基本情報データベース７１、入社希望者面接結果データベース７５、入社後予測結果データベース７７を含み、単数の学習モデルが用いられた場合の当該学習モデル、もしくは複数の学習モデルが用いられた場合の選定手段５３によって選定された学習モデルの何れかを用いて入社希望者の入社後評価を予測する。入社前社員の氏名・性別・学歴などの履歴や職務経歴等の基本情報は、入社前社員基本情報データベース７１に格納されているので、そこにアクセスすれば取得することができる。予測結果は、その記憶手段である入社後評価予測結果データベース７７に検索可能に格納される。
（構築方法及び予測方法の実行手順）
図１および２を参照しながら説明する。ここでは、理解しやすくするためこの職務適正試験を、業者提供試験の一つであるＳＰＩ（商標）試験とする。他の業者提供試験や独自開発した職務適正試験を排除する趣旨でない。
プログラムが開始されると情報処理装置１の構築手段３（試験データ取得手段）が、職務適正試験に係る既存社員それぞれの「試験データ」を取得する（ステップ１）。試験データの取得は、ＳＰＩ（商標）試験を提供する株式会社リクルートマネジメントソリューションズが提供する業者提供試験結果データベース１０１（図１）にアクセスして行う。もし既存社員の中にＳＰＩ試験を受験していない者がいたら、好ましくはその者に受験させて試験結果を得るべきだが、たとえば離職者であって連絡がとれないなどの事情があるときは当該離職者を既存社員から除外するとよい。入手した試験情報は、既存社員試験情報データベース６１に既存社員それぞれと紐づけされ検索可能に格納される。上記とは別に入力装置７から手入力による一部または全部の試験データを入力するように構成してもよい。この際に適宜試験データを補充したり、修正したりするようにしてもよい。
次に、既存社員それぞれの評価データを評価データ取得手段３３が取得する（ステップ３）。評価データは、既存社員評価情報データベース６２や既存社員面接結果データベース６７に既存社員それぞれと紐づけされ検索可能に格納されているので、これにアクセスして取得する。評価データそれぞれは数値化されている。なお、上述した手順によるとステップ１が先でステップ３が後になっているが、これとは逆にステップ３を先に処理してもよいし、両ステップを同時処理しても構わない。評価データを、入力装置７を介して入力したり、必要な補充・修正したりすることを妨げない。
取得した評価データそれぞれについては、ラベル取得手段３５が、３つの水準（Ｈ（高い）、Ｍ（中間）、Ｌ（低い）に分けたものをそれぞれの評価ラベルとして取得する（ステップ５）。３つの水準としたのは、実務上３つに分けておけば単なる人間の主観的判断に比べ精度が高いということが発明者らの実証実験で確かめられたからである。
本実施形態では既存社員の「個人経歴データ」を併せて取得している（ステップ７）。個人経歴データを取得するのは、個人経歴データ取得手段３８である。個人経歴データは、先に定義した「履歴・職務経歴を含む個人経歴データ」のことであり（後述する入社希望者において同じ）、ステップ１、ステップ３と同時もしくは適宜順に逐次入手することができる。個人経歴データは既存社員個人経歴データベース６５に格納されている。
次に、ステップ９で教師あり学習の種類を決める。決めるのは情報処理装置１の使用者らであるが、その決定は入力装置７を介して入力される。ただ、この決定は入社後予測をする前の仮の決定である。ここでは、たとえば「試験データ」のみを使用して、木構造を用いて分類や回帰を行う「決定木」で学習モデルを構築する手法を採択したことにする。
次は、学習手段３７が教師あり学習、すなわち、決定木を用いて予測モデル（学習モデル）を作成する（ステップ１１）。具体的には、ステップ１で試験データ取得手段３１が取得した試験データそれぞれと、評価データ取得手段３３がステップ５において取得した３つの水準（Ｈ（高い）、Ｍ（中間）、Ｌ（低い）に分けたそれぞれの評価ラベルの組みを教師データとして、教師あり学習により予測モデルを構築する。以上により、既存社員の試験データと評価データを用いた学習モデルが構築される。このようにして構築された学習モデルを使って入社後評価を行うのであれば、は後述するステップ２１へ直接進むことができる。ここで、一旦、図２のフローチャートから離れて説明する。
ステップ１１で採用した「決定木」を用いた教師あり学習の手法は、現在就業中の社員とともに離職した元社員の試験データと評価データを加味したものであることから、確度の高い学習モデルを提供するものはあるが、教師あり学習の手法の利点を損なうことなくより確度を高める余地がないわけではない。それは、上記例でいう試験データのみを用いた決定木とは異なる手法の機械学習を同条件下で行い、それらの結果を比較して最善のものを選択することである。この点を次項以下で説明する。
図２のフローチャートに戻る。予測装置５の評価予測手段５５は、先に構築した予測モデルを用いて入社後評価を予測する（ステップ１３）。この予測結果の精度ないし確度が所定のレベルかどうかを選定手段５３に判断させる（ステップ１５）。ここで念のための意味を含め予測精度が十分ではないと判断されたときは、ステップ９に戻り「決定木」以外の、たとえば、「ランダムフォレスト」等を用い、「決定木」と同じ手順で予測精度を判断させる（ステップ１７）。「ランダムフォレスト」のところで精度十分と判断できたなら、ステップ１９へ進みこの場合の「ランダムフォレスト」を「最適予想モデル」（学習モデル）に選定する。この場合、所定の精度を超えるものが得られたとしても、さらに高精度のものがあるかもしれないという推定のもとに、異なる教師あり学習（たとえば、ニューラルネットワークやディープラーニングなど）を行って相異なる学習モデルを構築し、これらの学習モデルそれぞれについてステップ１５の判断をさせるようにしてもよい。
上記のように複数の学習モデルを用意してそれぞれを検証するようにするのは、「決定木」や「ランダムフォレスト」などのアルゴリズムは、使用するデータの種類と数によって精度に違いが生まれることがわかっているからである。この違いによる精度低下を補うため、それぞれのアルゴリズムに対し、使用するデータの種類と数を変更した手法を用い、より高精度の学習モデルを探索するのである。この手法によれば、相異なる教師あり学習による学習モデルのそれぞれを検証することにより、より企業実態に即した最適予想モデルを選定することができ、ひいては、確度の高い入社後予測を行うことにつながる。なお、最適予想モデルは、これを使用者が入力装置７を介して適宜補足・修正を加えることができる。たとえば、病気のため長期療養したため実績が上げられなかったとか、特定の上司との相性が非常に悪かったとかというマイナス面を考慮した修正を加えたり、同僚からの信頼が厚いことからリーダーシップの能力があるとかいったプラス面を踏まえた加筆をしたりすることもできる。
ステップ１９で最適予想モデルを選定しところで、希望者試験データ取得手段５１は、入社前社員試験情報データベースにアクセスして入社希望者の試験データを取得する（ステップ２１）。ステップ２１はステップ１７とステップ１９の間に実行してもよいし、これらと同時に実行してもよい。
次いで、希望者履歴データ取得手段５３が、入社希望者履歴データベース７１および希望者面接結果データベース７５にアクセスして入社希望者の履歴、職務経歴、最終面接に至るまでの面接経緯などに係るデータを取得する（ステップ２３）。ステップ２３のデータ取得は、ステップ１９、ステップ２１の前でもよいし、これらと同時に実行することができる。年齢・性別・学歴などの履歴や経験した職務内容（新卒者の場合は、インターンシップやボランティア活動など）などの職務経歴などが、その既存社員の評価に大きな影響を与えていたことが実験的に証明されていることは前述したとおりであり、このことは入社希望者についても同じである。このような履歴データを取り込むことにより、それなしのときはできなかった部署別の評価などきめ細かな評価が可能となる。
上述のとおり必要なデータ・情報が揃ったところで、評価予測手段５５が入社希望者の希望者試験データそれぞれと最適予想モデル（学習モデル）とに基づいて、当該入社希望者の入社後評価を予測する（ステップ２５）。予測結果は、表示手段９に表示される（ステップ２７）。これにてプログラムが終了する。表示手段に表示されることにより、これを観た使用者（予想者）は、入社希望者それぞれの入社後の予想評価を知ることになり、これにともなって採用者選択の有力な手がかりを得ることができる。
上述した最適予想モデルは、既存社員が属する企業における入社後評価のためのものであるが、当該企業とたとえば業種・業態・規模など企業環境が同一・類似の他の企業の入社後評価のために使用してもよい。このことは立場を変えると、当該企業とたとえば業種・業態・規模など企業環境が同一・類似の他の企業において上記手法で構築した学習モデルを自分の企業の入社後評価のために使用できるということになる。また、業種・業態が少なくとも同一・類似であることなどを条件とするが、社員数の比較的少ない複数の企業全体を一体化させて一つの統合企業とみなし、その統合企業の中でこれまで述べてきた学習モデルの構築と入社後評価の予想を行うこともできよう。この点は、後述する本変形例を参照されたい。
先に定義したように本明細書では「入社希望者」を広い概念で捉えているので、既存社員が他の部署に異動を希望もしくは命令される前の者をも含むものである。したがって、上述の手順で構築した学習モデルや入社後評価は、企業内で異動なり配転等により部署を変わろうとする者に対し、部署変更後評価を予測することにも使用可能であることを付言しておく。
（本実施形態の変形例）
図２を参照しながら、本実施形態の変形例（以下、「本変形例」という）について説明する。図２に示す評価予測装置１´（以下、「予測装置１´」という）が図１に示す予測装置１と基本構造１´と異なるのは、予測装置１´が有する他社既存社員データベース１０３を予測装置１が有しない点と、予測装置１が行わなかった他社既存社員データベース１０３から得るデータの処理を予測装置１´の学習モデル構築手段３´（以下、「構築手段３´」という）が行う点の２点である。この２点を除き、評価装置１と評価委装置１Ａは共通する。このため、この共通部分については、図１で用いた符号を図２においても使用し、これらの説明は可能な範囲で省略する。
構築手段３と比較した構築手段３´は、採用企業の自社データとともに、後述する他社試験データを処理する機能を併有する。このため、図１に示す符号や名称をそのまま図２に示す。すなわち、構築手段３´は、試験データ取得手段（他社試験データ取得手段）３１、評価データ取得手段（他社評価データ取得手段）３３、ラベル取得手段（他社ラベル取得手段）３５、学習手段３７および合致度判定手段３９を有し、好ましい態様としてさらに個人経歴データ取得手段３８を備えている。
図２において他社既存社員データベース１０３は、本実施形態で対象とした採用企業とは異なる、１又は２以上の他社企業の現在又は過去の社員（以下、「他社既存社員」という）のそれぞれが所定の職務適正試験を受験した結果を他社データとして格納しており、ネットワークＮを介して予測装置１´と通信可能に接続されている。試験データ取得手段３１は、他社既存社員データベース１０３から他社既存社員が受けた職務適正試験の結果（他社試験データ）を取得し既存社員試験情報データベース６１に検索可能に格納する。評価データ取得手段３３は、他社既存社員データベース１０３から他社既存社員それぞれの社内評価の結果を示す他社評価データを取得し既存社員評価情報データベースに検索可能に格納する。
ここで図２とともに、本変形例に関係する図４を説明対象とする。図４のフローチャートと図３のフローチャートが異なるのは、本実施形態（図３）には含まれない、他社データを取得する三つのステップ、すなわち、ステップ９´、ステップ１０およびステップ１０´を有する点だけであるので、これらについて解説する。ステップ９の後に設けられたステップ９´では、試験データ取得手段３１が採用企業において、入社希望者を評価するための学習モデルを構築するために十分な量（人数）のデータがあるかを確認する。十分な量のデータは、業種・業態・企業規模や社会状況などによって変化するものであり使用者の判断に委ねられるが、たとえば一つの組織で３０人に満たない場合は十分とはいえないであろう。データ量が十分であればそのままステップ１１に進む。
一方、ステップ１０においてデータ量が不十分であれば、既存社員試験情報手段３１はデータベース６１にアクセスして他社試験データを取得し、これに自社社員の試験データと合併したデータを作成する（ステップ１０´）。これと併せて評価データ取得手段３３は、既存社員評価情報データベース６２にアクセスして他社評価データを取得し（ステップ１０）、これに自社社員の評価データと合併したデータを作成（ステップ１０´）してからステップ１１に進む。上記三つのステップの前のステップ、同じく後のステップは、本実施形態における処理と同じ処理が行われる。ここで、自社データがまったく存在しない場合は、すべてを他社データで賄うことになる。なお、重要なことは、特に他社データを扱う際に、個人情報などの秘匿性のあるもののセキュリティに十分に注意すべきことである。
＜本実施例１＞
図５を参照しながら、本発明に係る構築方法・評価予測方法を用いて行った実証例を示す。まず本実施例１では、Ｗｅｂサービス企業、不動産業、ＩＴ関連企業、人材業および建築業を対象業種として実証を行った。既存社員数や利用した職務適正試験等と、その結果は図５に示すとおりである。正解（合致）率・予測精度をみると、Ｗｅｂサービス企業について正解率５９．３％・予測精度（Kappa係数、以下同じ）０．２４、同じく不動産業について正解率６０．０％・予測精度０．３１、ＩＴ関連企業について正解率６２．４％・予測精度０．４１、同じく人材業について正解率５１．０％・予測精度０．２６、さらに同じく建築業では正解率６８．９％・予測精度０．４５であった。
＜本実施例２＞
一方、図６は、不動産業とＩＴ関連業２社の、退職予測正解率と予測精度を示す。既存社員数や利用した職務適正試験等と、その結果は図６に示すとおりである。退職予測における正解（合致）率・予測精度は不動産業について正解率９１．０％・予測精度（Kappa係数、以下同じ）０．３３・再現率６１．５％、同じくＩＴ関連業（約１０００名）において正解率８７．７％・予測精度０．１４・再現率４９．１％、同じくＩＴ関連業（約３００名）において正解率８９．７％・予測精度０．３０・再現率７２．７％であった。
＜本実施例１の評価＞
本実施例ではラベルをＨ（高い）、Ｍ（中間）、Ｌ（低い）の３段階水準を用いたため、学習モデルを用いない予測の場合には、正解率が約３３％（３分の１）となる。各実証例において、合致率は約３３％を大きく上回る結果となっており、学習モデルを利用した評価予測は、有効であることが確認できる。また各実証例は、企業規模、業界、用いる職務適性試験に違いがあるが、同様に本手法を用いることで、評価予測が有効であることが示されている。加えて、各職務適性試験データ以外に「所属」や「職種」のデータを用いることで、より合致率・予測精度（Kappa係数、次項以下で説明）が高まっている。職務適性試験データのみでも、十分に有用な結果が得られることが示されているが、「個人経歴データ」を加え、複数の学習モデルを構築し、最適予想モデルを選択することで、より精度の高い学習モデルを構築できることが確認でき、本手法が十分に実用的であることがわかった。
Kappa係数について付言する。Kappa係数は、元々「二者が１つの対象を観測した際に、判断が一致しているか否か」を確認するために作られた指標であって、値が1に近いほど一致度が高いことを意味する。このKappa係数について著名な論文「Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977; 33(1):159-174.」は、0.0〜0.2: わずかに一致(slight agreement)、0.21〜0.40 まずまずの一致(fair agreement)、0.41〜0.60 中等度の一致(moderate agreement)、0.61〜0.80 かなりの一致(substantial agreement)、および0.81〜1.0 ほぼ完全、完全一致(almost perfect or perfect agreement)という基準を示している。
ここで図５に戻り本実証例が示すKappa係数を考察すると、一番小さいＷｅｂサービス企業でさえも0.24を、不動産業では0.31を示し両者ともに「まずまずの一致」を示している。さらに、一定の予測精度が示されている。さらにＩＴ関連企業にあっては0.41で「中程度の一致」の基準に達している。もとより本実証例は、過去の検証ではなく未来予測であるため、「完全一致」であるはずがなく「傾向がある（＝まずまずの一致以上の程度）」だけでも、十分な結果であると考えられる。よって、本手法が十分に実用的であることが改めて確認された。
＜本実施例２の評価＞
本実施例１では自社評価を、Ｈ（高い）、Ｍ（中間）、Ｌ（低い）という３つの水準に分けたものを評価レベルとしたのに対し、図６に示す本実施例２に関する退職を予測する実証例では、ラベルを「退職」と「在職」の２段階水準を用いた。すなわち、自社の社員それぞれの他社データ試験データと、同社員それぞれの「退職」と「在職」の組を教師データとして教師あり学習を行った結果である。
「退職」の割合については、業種・雇用形態などによって異なるが、おおむね１０%前後の値となることが多い。そのため学習モデルを用いないモデルの場合には、再現率（次項以下で説明）が１０％前後となる。各実証例における再現率は１０％を大きく結果となっており、学習モデルを利用した評価予測は、有効であることが確認できる。また前述の実証例と同様に、企業規模、業界、用いる職務適性試験が異なっても本手法が有効であること、各職務適性試験データ以外に「等級」や「職種」のデータを用いることで、正解率・Kappa係数・再現率が高まることが示されている。
退職予測の「再現率」について付言する。「再現率」は、「退職」と予測した人のうち、実際に「退職」した人の割合を示す値である。再現率が高ければ高いほど、「退職」する人を見極められていると考えることができる。例えば、「再現率」が高ければ、「退職と予測したが実際に退職しない人の割合」が低いため、「退職」を防止するための施策を「退職しない人」に対して行う確率が低くなり、実際に「退職する人のみ」に対し、効率的に施策を実施することが可能になる。
実施例２に関する退職予測における再現率（図６の図表最右欄参照）を考察すると、最も大きいものが同図表最下欄のＩＴ関連企業（営業社員のみ３００人）の７２．７％で、次が同図表最上覧の不動産業（新卒者のみ約３００人）の６１．５％である。最も小さい再現率でさえ、同図表中断に示すもう一つのＩＴ関連業（社員数約１０００人）の４９．１％となっている。以上の実証結果から「退職」と予測した人のうち、約２人に１人が実際に退職していることがわかる。今回の対象企業の実際の退職率も10%前後であり、再現率４９．１％は、実際の退職率の４倍以上の確率で退職者を予測できていることになる。これは実際の「退職」を防止するための施策を講じる際の効率が、４倍以上になることを示しており、本手法が実用的であることがわかる。
以上述べた実施例１と実施例２は、自社データのみを対象とした本実施形態についてのものである。一方、自社データに他社データを合併させた合併データ、もしくは、他社データのみからなるデータ（自社データをゼロとしたときの他社データとの合併データ）を対象とした場合も、他社の業種・業態等が採用企業のそれらと近似するなら上記実施例１や２と同様もしくは近似する結果が得られるものと推測される。
１ 評価予測装置
１´ 評価予測装置
３ 学習モデル構築装置（構築装置）
３´ 本変形例に係る学習モデル構築装置（構築装置）
５ 入社後評価予測装置（予測装置）
３１ 試験データ取得手段（他社試験データ取得手段）
３３ 評価データ取得手段（他社評価データ取得手段）
３５ ラベル取得手段
３７ 学習手段
３８ 個人経歴データ取得手段
３９ 合致度判定手段
５１ 希望者試験データ取得手段
５３ 選定手段
５５ 評価予測手段
５７ 面接データ取得手段
６１ 既存社員試験情報データベース
６２ 既存社員評価情報データベース
６３ ラベル情報データベース
６５ 既存社員個人経歴データベース
６７ 既存社員面接結果データベース
６９ 学習モデルデータベース
７１ 入社前基本情報データベース
７３ 入社前試験情報データベース
７５ 入社前社員面接データベース
７７ 入社後評価予測結果データベース
１０１ 業者提供試験結果データベース
１０３ 他社既存社員データベース
Ｎ ネットワーク

Claims (13)

  1. 採用を予定している企業（以下、「採用企業」という）の現在又は過去の社員（以下、「既存社員」という）それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得手段と、
    当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得手段と、
    当該評価データ取得手段が取得した当該評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得手段と、
    当該試験データ取得手段が取得した試験データそれぞれと、これらに対応する当該ラベル取得手段が取得したラベルそれぞれの組みを教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習手段と、
    を備えることを特徴とする学習モデル構築装置。
  2. 当該既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得手段を、さらに備え、
    前記学習手段は、当該個人経歴データ取得手段が取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行うように構成されている
    ことを特徴とする請求項１記載の学習モデル構築装置。
  3. 前記学習手段は、前記教師データを教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築するように構成され、
    そのうえ、
    前記学習手段が構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得手段が取得した評価ラベルそれぞれとの合致度を判定する合致度判定手段が設けられている
    ことを特徴とする請求項１または２いずれか記載の学習モデル構築装置。
  4. 前記採用企業とは異なる、１又は２以上の他社企業の現在又は過去の社員（以下、「他社既存社員」という）それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、
    当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、をさらに備え、
    前記ラベル取得手段は、前記評価データ取得手段が取得した評価データに当該他社評価データ取得手段が取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する
    ことを特徴とする請求項１ないし３いずれか記載の学習モデル構築装置。
  5. 他社既存社員それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得手段と、
    当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得手段と、
    当該他社評価データ取得手段が取得した当該他社評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得手段と、
    当該他社試験データ取得手段が取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得手段が取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習手段と、
    を備えることを特徴とする学習モデル構築装置。
  6. 請求項１、２、４および５のいずれか記載の学習モデル構築装置で構築した学習モデルを用いた入社後評価予測装置であって、
    採用前社員が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、
    当該希望者試験データ取得手段が取得した採用前社員の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備える
    ことを特徴とする入社後評価予測装置。
  7. 請求項３記載の学習モデル構築装置で構築した複数の学習モデルを用いた入社後評価予測装置であって、
    入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得手段と、
    前記合致度判定手段が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定手段と、
    当該希望者試験データ取得手段が取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測手段と、を備える
    ことを特徴とする入社後評価予測装置。
  8. 既存社員それぞれが所定の職務適正試験を受験した結果を試験データとして取得する試験データ取得ステップと、
    当該既存社員それぞれの社内評価の結果を示す評価データを取得する評価データ取得ステップと、
    当該評価データ取得手段が取得した当該評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得するラベル取得ステップと、
    当該試験データ取得ステップで取得した試験データそれぞれと、これらに対応する当該ラベル取得ステップで取得したラベルそれぞれの組を教師データとして教師あり学習を行うことにより、当該採用企業への入社を希望して当該適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する学習ステップと、
    を備えることを特徴とする学習モデル構築方法。
  9. 当該既存社員それぞれの履歴・職務経歴を含む個人経歴データとして取得する個人経歴データ取得ステップを、さらに備え、
    前記学習ステップでは、当該個人経歴データ取得手段が取得した前記既存社員それぞれの個人経歴データを加えた前記組を教師データとして教師あり学習を行う
    ことを特徴とする請求項８記載の学習モデル構築方法。
  10. 他社既存社員それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、
    当該他社既存社員それぞれの社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、をさらに備え、
    前記ラベル取得では、前記評価データ取得ステップが取得した評価データに当該他社評価データ取得ステップで取得した他社評価データを合わせてなる合併データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する
    ことを特徴とする請求項８または９いずれか記載の学習モデル構築方法。
  11. 他社既存社員それぞれが所定の職務適正試験を受験した結果を他社試験データとして取得する他社試験データ取得ステップと、
    当該他社既存社員それぞれの他社社内評価の結果を示す他社評価データを取得する他社評価データ取得ステップと、
    当該他社評価データ取得手段が取得した当該他社評価データそれぞれを複数の水準に分けたものを、それぞれの評価ラベルとして取得する他社ラベル取得ステップと、
    当該他社試験データ取得手段が取得した他社試験データそれぞれと、これらに対応する当該他社ラベル取得手段が取得したラベルそれぞれの組みを他社教師データとして教師あり学習を行うことにより、前記採用企業への入社を希望して前記適正試験を受験した入社希望者の入社後評価予測のための学習モデルを構築する他社学習ステップと、
    を備えることを特徴とする学習モデル構築方法。
  12. 前記学習ステップでは、前記教師データを教師データとして複数の相異なる教師あり学習を行うことにより複数の相異なる学習モデルを構築し、
    そのうえ、
    前記学習ステップで構築した複数の学習モデルそれぞれに前記試験データ取得手段が取得した試験データそれぞれを入れることで出力される試験ラベルそれぞれと、前記ラベル取得ステップで取得した評価ラベルそれぞれとの合致度を判定する合致度判定ステップが設けられている
    ことを特徴とする請求項８または９のいずれか記載の学習モデル構築方法。
  13. 請求項１２記載の学習モデル構築方法で構築した複数の学習モデルを用いた入社後評価予測方法であって、
    入社希望者が前記所定の職務適正試験を受験した結果を希望者試験データとして取得する希望者試験データ取得ステップと、
    前記合致度判定手段が判定した合致度の中から、もっとも高い合致度の学習モデルを選定する選定ステップと、
    当該希望者試験データ取得ステップで取得した入社希望者の希望者試験データそれぞれと前記学習モデルとに基づいて、当該入社希望者の入社後評価を予測する評価予測ステップと、を備える
    ことを特徴とする入社後評価予測方法。
JP2019114985A 2018-11-05 2019-06-20 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法 Active JP6762584B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018208134 2018-11-05
JP2018208134 2018-11-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020137067A Division JP6786143B1 (ja) 2018-11-05 2020-08-14 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法

Publications (2)

Publication Number Publication Date
JP2020077361A true JP2020077361A (ja) 2020-05-21
JP6762584B2 JP6762584B2 (ja) 2020-09-30

Family

ID=70724180

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019114985A Active JP6762584B2 (ja) 2018-11-05 2019-06-20 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法
JP2020137067A Active JP6786143B1 (ja) 2018-11-05 2020-08-14 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020137067A Active JP6786143B1 (ja) 2018-11-05 2020-08-14 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法

Country Status (1)

Country Link
JP (2) JP6762584B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695680A (zh) * 2020-06-15 2020-09-22 北京百度网讯科技有限公司 成绩预测方法、成绩预测模型训练方法、装置及电子设备
JP2020154473A (ja) * 2019-03-18 2020-09-24 ヤフー株式会社 推定装置、推定方法および推定プログラム
CN111798059A (zh) * 2020-07-10 2020-10-20 河北冀联人力资源服务集团有限公司 离职预测系统及方法
CN111967729A (zh) * 2020-07-28 2020-11-20 兰笺(苏州)科技有限公司 一种基于数据挖掘的产业化人员画像评价方法
CN112116264A (zh) * 2020-09-24 2020-12-22 北京易华录信息技术股份有限公司 一种活跃度评估方法及装置
CN112257777A (zh) * 2020-10-21 2021-01-22 平安科技（深圳）有限公司 基于隐马尔可夫模型的离职预测方法及相关装置
WO2022065353A1 (ja) * 2020-09-24 2022-03-31 ミイダス株式会社 求人者と求職者とのマッチング方法
WO2023042287A1 (ja) * 2021-09-15 2023-03-23 日本電気株式会社 採用支援装置、採用支援方法、及び採用支援プログラム
JP2023131601A (ja) * 2022-03-09 2023-09-22 株式会社エクサウィザーズ 情報処理方法、コンピュータプログラム及び情報処理装置

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002003276A1 (fr) * 2000-06-30 2002-01-10 Promotion Co., Ltd. Procede d'evaluation de personnes talentueuses et systeme d'evaluation de personnes talentueuses
JP2003248763A (ja) * 2002-02-25 2003-09-05 Nec Corp 就業仲介システム、就業仲介方法、および就業仲介プログラム
JP2005149034A (ja) * 2003-11-13 2005-06-09 E Falcon:Kk 構成員を成功に導くための条件を提示する方法、そのための装置、並びにプログラム
JP2006127387A (ja) * 2004-11-01 2006-05-18 Ueno Business Consultants:Kk 検査方法、検査システム、検査システム用プログラム及び検査システムサーバー装置
JP2009266039A (ja) * 2008-04-25 2009-11-12 Zeus Enterprise:Kk 採用要否判定システム、採用要否判定方法および採用要否判定プログラム
US20120323812A1 (en) * 2010-11-12 2012-12-20 International Business Machines Corporation Matching candidates with positions based on historical assignment data
WO2017168458A1 (ja) * 2016-03-28 2017-10-05 日本電気株式会社 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム
WO2018042547A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 回答データ選別システム、回答データ選別方法及びプログラム
WO2018042546A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 応募データ選別システム、応募データ選別方法及びプログラム
JP2018045559A (ja) * 2016-09-16 2018-03-22 富士通株式会社 情報処理装置、情報処理方法およびプログラム
CN107993019A (zh) * 2017-12-12 2018-05-04 北京字节跳动网络技术有限公司 一种简历评估方法及装置
CN108256827A (zh) * 2018-01-10 2018-07-06 广东轩辕网络科技股份有限公司 目标职位分析方法及系统
JP2018147280A (ja) * 2017-03-07 2018-09-20 株式会社日立ソリューションズ データ分析装置及びデータ分析方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002003276A1 (fr) * 2000-06-30 2002-01-10 Promotion Co., Ltd. Procede d'evaluation de personnes talentueuses et systeme d'evaluation de personnes talentueuses
JP2003248763A (ja) * 2002-02-25 2003-09-05 Nec Corp 就業仲介システム、就業仲介方法、および就業仲介プログラム
JP2005149034A (ja) * 2003-11-13 2005-06-09 E Falcon:Kk 構成員を成功に導くための条件を提示する方法、そのための装置、並びにプログラム
JP2006127387A (ja) * 2004-11-01 2006-05-18 Ueno Business Consultants:Kk 検査方法、検査システム、検査システム用プログラム及び検査システムサーバー装置
JP2009266039A (ja) * 2008-04-25 2009-11-12 Zeus Enterprise:Kk 採用要否判定システム、採用要否判定方法および採用要否判定プログラム
US20120323812A1 (en) * 2010-11-12 2012-12-20 International Business Machines Corporation Matching candidates with positions based on historical assignment data
WO2017168458A1 (ja) * 2016-03-28 2017-10-05 日本電気株式会社 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム
WO2018042547A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 回答データ選別システム、回答データ選別方法及びプログラム
WO2018042546A1 (ja) * 2016-08-31 2018-03-08 株式会社オプティム 応募データ選別システム、応募データ選別方法及びプログラム
JP2018045559A (ja) * 2016-09-16 2018-03-22 富士通株式会社 情報処理装置、情報処理方法およびプログラム
JP2018147280A (ja) * 2017-03-07 2018-09-20 株式会社日立ソリューションズ データ分析装置及びデータ分析方法
CN107993019A (zh) * 2017-12-12 2018-05-04 北京字节跳动网络技术有限公司 一种简历评估方法及装置
CN108256827A (zh) * 2018-01-10 2018-07-06 广东轩辕网络科技股份有限公司 目标职位分析方法及系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020154473A (ja) * 2019-03-18 2020-09-24 ヤフー株式会社 推定装置、推定方法および推定プログラム
CN111695680A (zh) * 2020-06-15 2020-09-22 北京百度网讯科技有限公司 成绩预测方法、成绩预测模型训练方法、装置及电子设备
CN111695680B (zh) * 2020-06-15 2023-11-10 北京百度网讯科技有限公司 成绩预测方法、成绩预测模型训练方法、装置及电子设备
CN111798059A (zh) * 2020-07-10 2020-10-20 河北冀联人力资源服务集团有限公司 离职预测系统及方法
CN111798059B (zh) * 2020-07-10 2023-11-24 河北冀联人力资源服务集团有限公司 离职预测系统及方法
CN111967729A (zh) * 2020-07-28 2020-11-20 兰笺(苏州)科技有限公司 一种基于数据挖掘的产业化人员画像评价方法
CN112116264A (zh) * 2020-09-24 2020-12-22 北京易华录信息技术股份有限公司 一种活跃度评估方法及装置
WO2022065353A1 (ja) * 2020-09-24 2022-03-31 ミイダス株式会社 求人者と求職者とのマッチング方法
CN112257777A (zh) * 2020-10-21 2021-01-22 平安科技（深圳）有限公司 基于隐马尔可夫模型的离职预测方法及相关装置
CN112257777B (zh) * 2020-10-21 2023-09-05 平安科技（深圳）有限公司 基于隐马尔可夫模型的离职预测方法及相关装置
WO2023042287A1 (ja) * 2021-09-15 2023-03-23 日本電気株式会社 採用支援装置、採用支援方法、及び採用支援プログラム
JP2023131601A (ja) * 2022-03-09 2023-09-22 株式会社エクサウィザーズ 情報処理方法、コンピュータプログラム及び情報処理装置

Also Published As

Publication number Publication date
JP2020191131A (ja) 2020-11-26
JP6786143B1 (ja) 2020-11-18
JP6762584B2 (ja) 2020-09-30

Similar Documents

Publication Publication Date Title
JP6786143B1 (ja) 学習モデル構築装置、入社後評価予測装置、学習モデル構築方法および入社後評価予測方法
Sonmez Cakir et al. Analysis of leader effectiveness in organization and knowledge sharing behavior on employees and organization
Hines et al. Building foresight capacity: toward a foresight competency model
Srivastava et al. Intelligent employee retention system for attrition rate analysis and churn prediction: An ensemble machine learning and multi-criteria decision-making approach
Beus et al. Making sense of climate: A meta-analytic extension of the competing values framework
Soliman et al. The impact of workplace spirituality on lecturers' attitudes in tourism and hospitality higher education institutions
Tabiu et al. Does training, job autonomy and career planning predict employees’ adaptive performance?
Roche et al. Anticipated multiple role management in emerging adults: A test of the social cognitive career self-management model
Pesch et al. Career certainty and major satisfaction: The roles of information-seeking and occupational knowledge
KR20180118611A (ko) 인재의 데이터 기반 식별을 위한 시스템 및 방법
Ellwart et al. Team mental models of expertise location: Validation of a field survey measure
Hauff et al. Further exploring the links between high-performance work practices and firm performance: A multiple-mediation model in the German context
Poon et al. Examining the antecedents of ambidextrous behaviours in promoting creativity among SMEs in Malaysia
Coetzee et al. Career anchors as a meta-capacity in organizational career development
Hassan et al. Retention approaches of millennial at private sector: Mediating role of job embeddedness
Nelson et al. The role of analytical CRM on salesperson use of competitive intelligence
Siahtiri Innovation at the service encounter in knowledge intensive business services: antecedents and boundary conditions
Chakraborty et al. Enlivening workplace climate through strategic human resource management initiatives: Unleashing its efficacy
Singh et al. Artificial intelligence in HRM: role of emotional–social intelligence and future work skill
Newaz et al. Do employees' attributes and capabilities matter the intention to become a supply chain manager? Structural model analysis
Hettiachchi et al. Effect of cognitive abilities on crowdsourcing task performance
Johansen The direct and interactive effects of middle and upper managerial quality on organizational performance
Riley et al. Relationship conflict, task conflict and teams’ transactive memory systems
Aguirre et al. Instrument for measuring intentions to leave
Hanley Measure what matters: A practical approach to knowledge management metrics

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190624

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190624

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20190628

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190628

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190902

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190919

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200131

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200804

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200902

R150 Certificate of patent or registration of utility model

Ref document number: 6762584

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250