JP2023014159A

JP2023014159A - 分類システム、及び、分類方法

Info

Publication number: JP2023014159A
Application number: JP2022186029A
Authority: JP
Inventors: 慶宇春; Yoshitaka Haru; 拓児橋本; Takuji Hashimoto
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2021-02-19
Filing date: 2022-11-21
Publication date: 2023-01-26
Also published as: JP2022127363A

Abstract

【課題】ＡＩを利用して公報を分類するシステムにおける作業効率を向上させる。
【解決手段】第１サーバ及び第２サーバを備える分類システムにおいて、第１サーバは、公報を一意に識別する情報である公報識別情報と当該公報識別情報が示す公報の正解の分類を示す情報である正解分類とを関連付けて第２サーバへ送信し、第２サーバは、第１サーバから受信した公報識別情報が示す公報に関する情報を、当該公報に関する情報を格納する公報データベースから取得し、取得した公報に関する情報と、公報識別情報に関連付けられている正解分類とに基づいて、公報にＡＩ分類を付与するために用いられる学習モデルの学習を行う。
【選択図】図３２

Description

本開示は、分類システム、及び、分類方法に関する。

従来、ＡＩ（Artificial Intelligence）を用いて特許公報を分類する技術が知られている（例えば特許文献１）。

特開２０１９－８７００６号公報

ＡＩを用いて特許公報を分類する場合、ＡＩの学習の作業や、ＡＩの分類結果が適切であるか否かをユーザが確認する作業などを効率的に行うことが求められる。

本開示の目的は、ＡＩを利用して公報を分類するシステムにおける作業効率を向上させることにある。

本開示の一態様に係る分類システムは、第１サーバ及び第２サーバを備える分類システムであって、前記第１サーバは、公報を一意に識別する情報である公報識別情報と前記公報識別情報が示す公報の正解の分類を示す情報である正解分類とを関連付けて前記第２サーバへ送信し、前記第２サーバは、前記第１サーバから受信した前記公報識別情報が示す前記公報に関する情報を、前記公報に関する情報を格納する公報データベースから取得し、取得した前記公報に関する情報と、前記公報識別情報に関連付けられている前記正解分類とに基づいて、公報にＡＩ（Artificial Intelligence）分類を付与するために用いられる学習モデルの学習を行う。

本開示の一態様に係る分類方法は、第１サーバ及び第２サーバを備える分類システムによる分類方法であって、前記第１サーバは、公報を一意に識別する情報である公報識別情報と前記公報識別情報が示す公報の正解の分類を示す情報である正解分類とを関連付けて前記第２サーバへ送信し、前記第２サーバは、前記第１サーバから受信した前記公報識別情報が示す前記公報に関する情報を、前記公報に関する情報を格納する公報データベースから取得し、取得した前記公報に関する情報と、前記公報識別情報に関連付けられている前記正解分類とに基づいて、公報にＡＩ分類を付与するために用いられる学習モデルの学習を行う。

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

本開示によれば、ＡＩを利用して公報を分類するシステムにおける作業効率を向上させることができる。

実施の形態１に係る分類システムの構成の一例を示す模式図実施の形態１に係る分類装置の構成の一例を示すブロック図実施の形態１に係る公報ＤＢ（DataBase）のデータ構造の一例を示す図実施の形態１に係る教師データＤＢのデータ構造の一例を示す図実施の形態１に係る分類結果ＤＢのデータ構造の一例を示す図実施の形態１に係る各分類のスコアのうち第１位のスコアが第１の閾値以上である場合のＵＩ（User Interface）画面の表示の一例を示す図実施の形態１に係る各分類のスコアのうち第１位のスコアが第２の閾値未満である場合のＵＩ画面の表示例を示す図実施の形態１に係る分類処理の第１例を示すフローチャート実施の形態１に係る分類処理の第２例を示すフローチャート実施の形態１に係るモデル再学習処理の一例を示すフローチャート実施の形態１に係るモデル評価処理の一例を示すフローチャート本開示に係る分類装置及び端末のハードウェアの構成の一例を示すブロック図実施の形態２に係る分類装置の構成例を示すブロック図実施の形態２に係る分類装置の処理例を示すフローチャート実施の形態２に係る学習モデル情報の一例を示す図実施の形態２に係る教師データの一例を示す図実施の形態２に係るＡＩ分類トップ画面の一例を示す図実施の形態２に係る混合行列の第１の表示例を示す図図１８の混合行列から選択された公報リストの表示例を示す図実施の形態２に係る混合行列の第２の表示例を示す図図２０の混合行列から選択された公報リストの表示例を示す図実施の形態２に係るＡＩ分類の根拠の表示例を示す図実施の形態２に係る管理者へのフィードバックを受け付けるＵＩの一例を示す図実施の形態２に係る分類結果リストと共に分類性能に関するコメントを表示する例を示す図実施の形態２に係る分類結果リストと共に要注意マークを表示する例を示す図実施の形態２に係る交差検証を説明するための図実施の形態２に係る複数の学習モデルの分類結果を用いて誤りの可能性のある正解分類を検出する方法を説明するための図実施の形態２に係る誤りの可能性のある正解分類を検出する処理の一例を示すフローチャート実施の形態２に係る学習に用いる公報の属性を選択するＵＩの一例を示す図実施の形態２に係る再学習を行うタイミングを調整する処理の一例を示すフローチャート実施の形態２に係る学習の待ち行列を説明するための図実施の形態３に係る分類システムの構成例を示すブロック図実施の形態３に係る分類サーバによる学習処理の一例を示すフローチャート

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。

（実施の形態１）
＜分類システムの概要＞
図１を参照して、実施の形態１に係る分類システム１０の概要について説明する。図１は、実施の形態１に係る分類システム１０の構成の一例を示す模式図である。

分類システム１０は、分類装置１００及び端末２０を含んで構成される。分類装置１００及び端末２０は、通信ネットワーク３０を介して互いに情報を送受信できる。通信ネットワーク３０は、インターネット、移動体通信網（例えばＬＴＥ、４Ｇ、５Ｇ）、有線ＬＡＮ、無線ＬＡＮ、又は、それらの組み合わせであってよい。

分類装置１００は、文書の一例である公報を分類する装置である。分類装置１００は、サーバと読み替えられてもよい。公報の例として、特許、実用新案、意匠、商標等の出願公開公報又は特許掲載公報が挙げられる。また、公報の他の例として、定期的に発行される技術文献又は技術論文等が挙げられる。実施の形態１では、公報が特許の出願公開公報である場合について説明する。ただし、実施の形態１は、公報が特許の出願公開公報とは異なるものであっても実施可能である。

分類装置１００は、学習モデル１２０を用いて公報に分類を付与するサービスを提供する。また、分類装置１００は、公報に付与された分類をユーザ２に確認させ、当該公報の分類についてユーザ２が確認済みであるか否かを管理するサービスを提供する。なお、分類装置１００が提供する更なるサービスについては後述する。

端末２０は、分類装置１００が提供するサービスを利用するユーザ２によって使用される。端末２０の例として、パーソナルコンピュータ、タブレット、又は、スマートフォンが挙げられる。端末２０は、クライアントと読み替えられてもよい。

例えば、ユーザ２は、端末２０で動作するＷＥＢブラウザ又は所定のアプリケーションを通じて分類装置１００にアクセスし、分類装置１００が提供するサービスを利用する。以下の説明において、ユーザ２が分類装置１００に行う操作は、ユーザ２が端末２０を通じて分類装置１００に行う操作であってよい。以下、分類装置１００が提供するサービスについて詳しく説明する。

＜分類装置の構成＞
図２～図４を参照して、実施の形態１に係る分類装置１００の構成について説明する。図２は、実施の形態１に係る分類装置１００の構成の一例を示すブロック図である。図３は、実施の形態１に係る公報ＤＢ１０１のデータ構造の一例を示す図である。図４は、実施の形態１に係る教師データＤＢ１０３のデータ構造の一例を示す図である。図５は、実施の形態１に係る分類結果ＤＢ１０８のデータ構造の一例を示す図である。

分類装置１００は、公報ＤＢ１０１、教師データ生成部１０２、教師データＤＢ１０３、モデル学習部１０４、モデル格納部１０５、分類対象入力部１０６、分類実行部１０７、分類結果ＤＢ１０８、ＵＩ制御部１０９、及び、モデル評価部１１０を備える。公報ＤＢ１０１、教師データＤＢ１０３、モデル格納部１０５、及び、分類結果ＤＢ１０８は、図１２に示すメモリ１００２、ストレージ１００３又はそれらの組み合わせによって実現されてよい。また、公報ＤＢ１０１、教師データＤＢ１０３、モデル格納部１０５、及び、分類結果ＤＢ１０８は、格納部と読み替えられてもよい。教師データ生成部１０２、モデル学習部１０４、分類対象入力部１０６、分類実行部１０７、ＵＩ制御部１０９、及び、モデル評価部１１０は、図１２に示すプロセッサ１００１がメモリ１００２又はストレージ１００３から読み出したコンピュータプログラムを実行することにより実現されてよい。したがって、実施の形態１において、教師データ生成部１０２、モデル学習部１０４、分類対象入力部１０６、分類実行部１０７、ＵＩ制御部１０９、又は、モデル評価部１１０が主体として説明されている処理は、プロセッサ１００１を主体とする処理に読み替えられてもよい。また、プロセッサ１００１は、制御部、ＣＰＵ（Central Processing Unit）、コントローラといった他の用語に読み替えられてもよい。

公報ＤＢ１０１は、複数の公報を格納及び管理するＤＢ（DataBase）である。文献ＤＢは、図３に例示するように、データ項目として、公報の出願番号、公報の出願人又は権利者名、及び、公報の要約書等を有してよい。公報の要約書等には、公報の要約書、公報の明細書、及び、特許請求の範囲のうちの少なくとも１つが含まれてよい。また、公報ＤＢ１０１は、更なるデータ項目を有してもよい。例えば、公報ＤＢ１０１は、更なるデータ項目として、公報の図面、特許分類情報（ＩＰＣ，ＦＩ、Ｆターム等）、審査経過情報等を有してもよい。以下、公報ＤＢ１０１におけるデータ項目を、公報項目と称する。

公報ＤＢ１０１は、分類装置１００に備えられなくてもよく、例えば、通信ネットワーク３０に接続された、分類装置１００とは異なるサーバ（図示しない）に備えられてもよい。この場合、分類装置１００は、通信ネットワーク３０を通じて、公報ＤＢ１０１にアクセスしてよい。

教師データ生成部１０２は、公報ＤＢ１０１から学習モデル１２０の学習に用いる公報を取得し、教師データを生成する。例えば、教師データ生成部１０２は、取得した公報に正解の分類（つまり正解ラベル）を付与して教師データを生成する。すなわち、教師データは、公報と当該公報に付与された正解の分類とを含む。ただし、教師データは、必ずしも公報の内容のすべてを含む必要はなく、例えば、出願番号に代表される公報の識別情報と、正解の分類とを含む構成であってもよい。正解の分類の付与は、ユーザ２によって行われてよい。また、教師データ生成部１０２は、後述する分類結果ＤＢ１０８に格納される分類結果情報を用いて教師データを生成してもよい。分類結果情報を用いて教師データを生成する方法の詳細については後述する（図１０参照）。教師データ生成部１０２は、生成した教師データを、教師データＤＢ１０３に格納する。

教師データＤＢ１０３は、教師データを格納及び管理するＤＢである。教師データＤＢ１０３は、図４に例示するように、データ項目として、正解の分類（つまり正解ラベル）、及び、公報項目を有してよい。ただし、教師データＤＢ１０３は、必ずしもこれらすべてのデータ項目を有する必要はなく、例えば、データ項目として、出願番号に代表される公報の識別情報と、正解の分類とを有する構成であってもよい。これにより、教師データＤＢ１０３の容量を節約できる。この場合、モデル学習部１０４は、必要に応じて公報ＤＢ１０１から、出願番号をキーとして要約書等の情報を取得してよい。

モデル学習部１０４は、教師データＤＢ１０３に格納されている教師データを用いて、例えば公知の教師有り学習方法によって、学習モデル１２０の学習を行う。学習モデル１２０は、ニューラルネットワーク又はディープニューラルネットワークとして構成され、例えば、ＣＮＮ（Convolutional Neural Network）として構成されてよい。ただし、学習モデル１２０は、ＣＮＮに限られず、例えば、ＲＮＮ（Recurrent Neural Network）又はＳＶＭ（Support Vector Machine）等として構成されてもよい。モデル学習部１０４は、学習済みの学習モデル１２０をモデル格納部１０５に格納する。

分類対象入力部１０６は、公報ＤＢ１０１から分類対象の公報を取得し、その分類対象の公報を分類実行部１０７へ出力する。例えば、分類対象入力部１０６は、ユーザ２がまだ分類の確認を行っていない公報を、分類対象の公報として公報ＤＢ１０１から取得してよい。例えば、分類対象入力部１０６は、公報ＤＢ１０１に新たに登録された公報を、分類対象の公報として公報ＤＢ１０１から取得してよい。分類対象の公報には、まだ分類が付与されていないので、分類対象の公報は、未分類の公報と読み替えられてもよい。

分類実行部１０７は、モデル格納部１０５に格納されている学習モデル１２０を用いて、分類対象入力部１０６から入力された分類対象の公報に分類を付与する。以下、分類実行部１０７が付与した分類をＡＩ分類と称する。

分類実行部１０７は、公報を入力した場合に、予め定められた複数の分類の各々のスコアを出力するように構成されてよい。例えば、分類１のスコア、分類２のスコア、及び、分類３のスコアを算出するように構成されている分類実行部１０７に公報を入力した場合、分類実行部１０７は、当該公報についての分類１のスコア、分類２のスコア、及び、分類３のスコアを出力する。ここで、分類のスコアは、公報がその分類に適合する度合の高さを示す値であってよい。

例えば、分類実行部１０７は、分類対象の公報を学習モデル１２０を用いて、学習モデル１２０が出力した各分類のスコアを得る。例えば、分類実行部１０７は、分類１のスコア「０．３」、分類２のスコア「０．５」、分類３のスコア「０．９」を得る。次に、分類実行部１０７は、算出した各分類のスコアに基づいて、公報に付与するＡＩ分類を決定する。分類実行部１０７は、スコアの最も高い分類（つまり第１位のスコアを有する分類）を、ＡＩ分類として公報に付与してよい。例えば、分類実行部１０７は、分類１のスコア「０．３」、分類２のスコア「０．５」、分類３のスコア「０．９」を得た場合、スコアの最も高い分類３を、公報に付与するＡＩ分類に決定してよい。

また、分類実行部１０７は、分類対象の公報と、当該公報について得た各分類のスコアと、当該公報に付与したＡＩ分類と、当該ＡＩ分類についてユーザ２が未確認であることを示す値「１」（仮評価）を設定した確認フラグと、を含む分類結果情報を生成する（図５参照）。分類実行部１０７は、生成した分類結果情報を、分類結果ＤＢ１０８に格納する。

分類結果ＤＢ１０８は、分類結果情報を格納するＤＢである。分類結果ＤＢ１０８は、図５に例示するように、データ項目として、公報項目と、各分類のスコアと、ＡＩ分類と、ユーザ分類と、確認フラグとを有してよい。すなわち、分類結果情報は、公報項目と、各分類のスコアと、ＡＩ分類と、ユーザ分類と、確認フラグとを含んでよい。ただし、分類結果ＤＢ１０８は、必ずしも図５に例示するすべてのデータ項目を有する必要はなく、例えば、後述する学習モデル１２０の分類精度の算出を行わない場合、分類結果ＤＢ１０８は、ユーザ分類を有さなくてもよい。

ユーザ分類には、ユーザ２が確認した分類が設定される。ユーザ２がＡＩ分類を確認し、当該ＡＩ分類を修正しなかった場合、ユーザ分類には、当該ＡＩ分類がそのまま設定されてよい。ユーザ２がＡＩ分類を確認し、当該ＡＩ分類を別の分類に修正した場合、ユーザ分類には、当該別の分類が設定されてよい。なお、ユーザ２がＡＩ分類を未確認である場合、ユーザ分類は空欄であってよい。

確認フラグには、ＡＩ分類についてユーザ２が未確認であることを示す値「１」、又は、ＡＩ分類についてユーザ２が確認済みであることを示す値「２」が設定される。実施の形態１では、ＡＩ分類についてユーザ２が未確認であることを「仮評価」と称し、ＡＩ分類についてユーザ２が確認済みであることを「本評価」と称する。なお、上記の仮評価を示す値「１」及び本評価を示す値「２」は、互いに異なる値であれば、どのような値であってもよい。また、仮評価を示す値及び本評価を示す値は、文字又は記号等の情報であってもよい。仮評価を示す値は、第１の値又は未確認情報と読み替えられ、本評価を示す値は、第２の値又は確認済み情報と読み替えられてもよい。

ＵＩ制御部１０９は、ユーザ２の端末２０にＵＩ画面２００を表示させるためのＵＩ情報を生成する。ユーザ２は、端末２０に表示されたＵＩ画面２００を通じて、分類装置１００が提供するサービスを利用できる。例えば、ＵＩ制御部１０９は、次の処理を行う。

ＵＩ制御部１０９は、分類結果ＤＢ１０８から、分類対象の分類結果情報を取得する。そして、ＵＩ制御部１０９は、取得した分類結果情報に含まれる公報項目と、各分類のスコアと、ＡＩ分類と、確認フラグに対応するマークとを表示させるＵＩ情報を生成する。確認フラグに対応するマークは、確認フラグが「１」（仮評価）の場合、ＡＩ分類がユーザ２によって未確認であることを示す仮評価マークであり、確認フラグが「２」（本評価）の場合、ＡＩ分類がユーザ２によって確認済みであることを示す本評価マークであってよい。なお、確認フラグは確認情報、仮評価マークは第１の情報又は仮評価情報、本評価マークは第２の情報又は本評価情報と読み替えられてもよい。また、第１の情報及び第２の情報は、文字、数字、記号、及び、画像のいずれで表現されてもよい。

ＵＩ制御部１０９は、生成したＵＩ情報を端末２０に送信する。端末２０は、受信したＵＩ情報に基づいてＵＩ画面２００を表示し、ユーザ２の操作を受け付ける。なお、ＵＩ画面２００の例については後述する（図６及び図７参照）。

モデル評価部１１０は、分類結果ＤＢ１０８の分類結果情報に基づいて、学習モデル１２０の分類精度を評価する。例えば、モデル評価部１１０は、分類結果ＤＢ１０８において、確認フラグが「２」（本評価）の分類結果情報の数（確認総数）と、これらの分類結果情報のうちＡＩ分類とユーザ分類が一致する分類結果情報の数（以下、正解数という）とに基づいて、学習モデル１２０の分類精度（以下、正解率）を算出する。正解率は、例えば、「正解率＝正解数／確認総数」として算出されてよい。なお、モデル評価部１１０は、正解率、適合率、再現率、特異度及びＦ値のうちの少なくとも１つを算出して、学習モデル１２０の分類精度を評価してもよい。

モデル評価部１１０は、算出した学習モデル１２０の分類精度を、モデル格納部１０５における当該学習モデル１２０に関連付けてよい。このように関連付けられた学習モデル１２０の分類精度は、後述するように、図９におけるＳ２０７の判定処理に用いられてよい。

＜ＵＩ画面＞
図６及び図７を参照して、ＵＩ画面２００の一例について説明する。図６は、各分類のスコアのうち第１位のスコアが第１の閾値以上である場合のＵＩ画面２００の表示の一例を示す図である。図７は、各分類のスコアのうち第１位のスコアが第２の閾値未満である場合のＵＩ画面２００の表示例を示す図である。

端末２０は、分類装置１００から送信されるＵＩ情報を受信及び解析し、図６又は図７に示すＵＩ画面２００を表示してよい。例えば、ＵＩ画面２００は、各分類結果情報について、ステータス欄２０１、分類欄２０２、分類候補欄２０３、確認チェックボックス２０４、公報項目欄２０５を含む。すなわち、ＵＩ制御部１０９は、各分類結果情報について、ステータス欄２０１、分類欄２０２、分類候補欄２０３、確認チェックボックス２０４、公報項目欄２０５の内容を表示するためのＵＩ情報を生成し、端末２０に送信する。

ステータス欄２０１には、分類結果情報の確認フラグに対応するマークが表示される。例えば、ステータス欄２０１には、確認フラグが「１」の場合、仮評価マークが表示され、確認フラグが「２」の場合、本評価マークが表示される。

分類欄２０２には、ステータス欄２０１が仮評価マークである場合、分類結果情報のＡＩ分類が表示されてよい。ユーザ２は、分類欄２０２の分類を修正できてよい。例えば、分類欄２０２は、コンボボックスとして構成されており、ユーザ２がクリックすると、分類候補のリストを表示する。ユーザ２は、その分類候補のリストから分類を１つ選択する。これにより、ユーザ２は、分類欄２０２の分類を修正できる。分類候補のリストには、スコアの高い順に分類が並べられてよい。あるいは、分類候補のリストには、分類候補欄２０３に表示される複数の分類が優先的に表示されてよい。あるいは、分類候補のリストには、予め定められた順（例えば分類名のアルファベット順）に分類が並べられてもよい。

なお、分類欄２０２には、ステータス欄２０１が本評価マークである場合、分類結果情報のユーザ分類が表示されてよい。この場合も、分類欄２０２は、上記同様、分類候補のリストを表示して、ユーザ２からのユーザ分類の修正を受け付けてよい。

分類候補欄２０３には、スコアの高い順に所定数（例えば上位３つ）の分類名及びスコアが表示される。

確認チェックボックス２０４は、ユーザ２が分類欄２０２に表示されたＡＩ分類を確認した場合にチェック（オン）される。確認チェックボックス２０４は、確認欄と読み替えられてもよい。ユーザ２は、分類欄２０２に表示されたＡＩ分類を修正しない場合、そのまま確認チェックボックス２０４をチェック（オン）してよい。ユーザ２は、分類欄２０２に表示されたＡＩ分類を修正する場合、分類欄２０２のＡＩ分類を別の分類に修正した後、確認チェックボックス２０４をチェック（オン）してよい。確認チェックボックス２０４がチェック（オン）された場合、ＵＩ制御部１０９は、分類欄２０２の分類を分類結果情報のユーザ分類に設定し、確認フラグを「２」（本評価）に設定する。すなわち、ＵＩ制御部１０９は、分類欄２０２の分類がＡＩ分類である場合、ＡＩ分類をユーザ分類に設定し、分類欄２０２の分類が別の分類に修正されたものである場合、当該別の分類をユーザ分類に設定する。

公報項目欄２０５には、分類結果情報に含まれる公報項目（例えば出願番号、出願人又は権利者名、要約書等）が表示される。

分類実行部１０７は、分類結果ＤＢ１０８における分類結果情報の各分類のスコアにおいて、第１位のスコア（最も高いスコア）が第１の閾値以上である場合、分類結果情報のＡＩ分類に、当該第１位のスコアの分類を設定してよい。この場合、図６に示すように、ＵＩ画面２００の分類欄２０２には、第１位のスコアの分類名が表示されてよい。

一方、分類実行部１０７は、分類結果ＤＢ１０８における分類結果情報の各分類のスコアにおいて、第１位のスコアが第２の閾値未満である場合、分類結果情報のＡＩ分類に、「分類なし」を設定してよい。第２の閾値は、第１の閾値よりも小さい値である。この場合、図７に示すように、ＵＩ画面２００の分類欄２０２には「分類なし」が表示され、ＵＩ画面２００の所定の位置に、分類欄２０２の内容についてユーザに確認を促すマーク（以下、要確認マーク２０６という）が表示されてよい。これにより、ユーザ２は、適合の度合が不十分なＡＩ分類が付与された公報を見逃すことなく、必要に応じて、当該公報に適切なユーザ分類を付与することができる。

なお、分類実行部１０７は、分類結果情報の各分類のスコアにおける第１位のスコアが第２の閾値未満である場合、分類結果情報のＡＩ分類に、当該第１位のスコアの分類を設定してもよい。この場合、ＵＩ画面２００における分類欄２０２に第１位のスコアの分類名が表示され、ＵＩ画面２００の所定の位置に要確認マーク２０６が表示されてよい。

＜分類処理の第１例＞
図８を参照して、分類装置１００が実行する分類処理の第１例について説明する。図８は、実施の形態１に係る分類処理の第１例を示すフローチャートである。

Ｓ１０１として、モデル学習部１０４は、教師データＤＢ１０３から、事前評価した教師データを取得する。

Ｓ１０２として、モデル学習部１０４は、Ｓ１０１にて取得した教師データを用いて、学習モデル１２０の学習を行う。モデル学習部１０４は、学習済みの学習モデル１２０をモデル格納部１０５に格納する。

Ｓ１０３として、分類対象入力部１０６は、公報ＤＢ１０１から分類対象の公報を取得し、分類実行部１０７へ出力する。

Ｓ１０４として、分類実行部１０７は、モデル格納部１０５に格納されている学習モデル１２０を使用して、Ｓ１０３にて取得した分類対象の公報の分類を行い、算出された当該公報に対する各分類のスコアを得る。

Ｓ１０５として、分類実行部１０７は、Ｓ１０４にて得た各分類のスコアに基づいてＡＩ分類を決定する。例えば、分類実行部１０７は、スコアが最も高い分類をＡＩ分類に決定する。加えて、分類実行部１０７は、その決定したＡＩ分類、Ｓ１０４にて得た各分類のスコア、及び、確認フラグに「１」（仮評価）を設定した分類結果情報を生成し、分類結果ＤＢ１０８に格納する。Ｓ１０４からＳ１０５の処理は、複数の分類対象の公報のそれぞれについて行われてよい。

Ｓ１０６として、ＵＩ制御部１０９は、分類結果ＤＢ１０８から分類結果情報を取得し、当該分類結果情報に基づいてＵＩ情報を生成し、端末２０へ送信する。端末２０は、ＵＩ情報に基づいて、図６又は図７に例示するＵＩ画面２００を表示する。

Ｓ１０７として、ユーザ２は、端末２０に表示されたＵＩ画面２００を見て、分類欄２０２のＡＩ分類が問題ない場合、そのまま確認チェックボックス２０４をチェック（オン）する。ユーザ２は、分類欄２０２のＡＩ分類を修正したい場合、当該分類欄２０２において別の分類を選択（又は入力）し、確認チェックボックス２０４をチェック（オン）する。

Ｓ１０８として、ＵＩ制御部１０９は、Ｓ１０７のユーザ操作において分類欄２０２が修正されたか否かを判定する。

Ｓ１０８において分類欄２０２が修正されなかったと判定された場合（Ｓ１０８：ＮＯ）、Ｓ１０９として、ＵＩ制御部１０９は、分類結果ＤＢ１０８の分類結果情報において、ＡＩ分類をそのままユーザ分類に設定し、確認フラグを「２」（本評価）に設定する。

Ｓ１０８において分類欄２０２が修正されたと判定された場合（Ｓ１０８：ＹＥＳ）、Ｓ１１０として、ＵＩ制御部１０９は、分類結果ＤＢ１０８の分類結果情報において、分類欄２０２に入力された別の分類をユーザ分類に設定し、確認フラグを「２」（本評価）に設定する。

Ｓ１０７からＳ１１０の処理は、複数の分類結果情報のそれぞれについて行われてよい。そして、分類装置１００は、本処理を終了する。

上記の処理によれば、ユーザ２は、公報に付与されたＡＩ分類が適切であるか否かを簡単に確認することができる。また、ユーザ２は、公報に付与されたＡＩ分類が不適合である場合、簡単に別の分類を付与することができる。また、分類装置１００は、ユーザ２によってＡＩ分類が確認済みである公報と、ユーザ２によってＡＩ分類が未確認である公報とを区別して管理することができる。

＜分類処理の第２例＞
図９を参照して、分類装置１００が実行する分類処理の第２例について説明する。図９は、実施の形態１に係る分類処理の第２例を示すフローチャートである。分類装置１００は、図８に示す分類処理の第１例と当該図９に示す分類処理の第２例とのいずれか一方を実行してもよい。あるいは、分類装置１００は、ユーザ２からの指示に応じて、図８に示す分類処理の第１例、又は、当該図９に示す分類処理の第２例のいずれかを実行してもよい。

Ｓ２０１～Ｓ２０５として、分類装置１００は、図８のＳ１０１～Ｓ１０５と同様の処理を実行する。

Ｓ２０６として、分類実行部１０７は、分類結果情報の各分類のスコアにおける第１位のスコアが第１の閾値以上であるか否かを判定する。

まず、Ｓ２０６において第１位のスコアが第１の閾値以上であると判定された場合（Ｓ２０６：ＹＥＳ）について説明する。

この場合、Ｓ２０７として、分類実行部１０７は、分類に利用した学習モデル１２０の分類精度が所定の閾値以上であるか否かを判定する。なお、学習モデル１２０の分類精度は、モデル評価部１１０によって評価されたものであってよい。

Ｓ２０７において学習モデル１２０の分類精度が所定の閾値未満であると判定された場合（Ｓ２０７：ＮＯ）、Ｓ２２０の処理が実行される。

Ｓ２０７において学習モデル１２０の分類精度が所定の閾値以上であると判定された場合（Ｓ２０７：ＹＥＳ）、Ｓ２０８として、分類実行部１０７は、仮評価スキップ設定がオンであるか否かを判定する。仮評価スキップ設定のオン又はオフは、ユーザ２によって予め設定されてよい。

Ｓ２０８において仮評価スキップ設定がオフであると判定された場合（Ｓ２０８：ＮＯ）、Ｓ２２０の処理が実行される。

Ｓ２０８において仮評価スキップ設定がオンであると判定された場合（Ｓ２０８：ＹＥＳ）、Ｓ２０９として、分類実行部１０７は、分類結果情報において、ＡＩ分類の内容をユーザ分類に設定する。

Ｓ２１０として、分類実行部１０７は、分類結果情報において、確認フラグに「２」（本評価）を設定する。

すなわち、分類結果情報の第１位のスコアが十分高く（すなわちＡＩ分類の適合の度合が十分高く）、学習モデル１２０の分類精度が十分高く、ユーザ２がＡＩ分類（つまり仮評価の分類）の確認をスキップしてもよい旨の設定をしている場合、分類実行部１０７は、その分類結果情報について、ユーザ２にＡＩ分類（つまり仮評価の分類）を確認させることなく、ＡＩ分類の内容をユーザ分類とし、本評価としてもよい。これにより、公報に付与される分類の適合の度合を維持しつつ、ユーザ２の確認作業を低減することができる。

次に、Ｓ２０６において第１位のスコアが第１の閾値未満であると判定された場合（Ｓ２０６：ＮＯ）について説明する。

この場合、Ｓ２２０として、分類実行部１０７は、分類結果情報の確認フラグに「１」（仮評価）を設定する。

Ｓ２２１として、分類実行部１０７は、第１位のスコアが第２の閾値未満であるか否かを判定する。第２の閾値は、第１の閾値よりも小さい値である。

Ｓ２２１において第１位のスコアが第２の閾値以上であると判定された場合（Ｓ２２１：ＮＯ）、Ｓ２２３の処理が実行される。

Ｓ２２１において第１位のスコアが第２の閾値未満であると判定された場合（Ｓ２２１：ＹＥＳ）、Ｓ２２２として、分類実行部１０７は、分類結果情報においてＡＩ分類に「分類なし」を設定する。そして、Ｓ２２３の処理が実行される。

Ｓ２２３として、ＵＩ制御部１０９は、図８に示すＳ１０６と同様、分類結果ＤＢ１０８から分類結果情報を取得し、当該分類結果情報に基づいてＵＩ情報を生成し、端末２０へ送信する。端末２０は、ＵＩ情報に基づいて、図６又は図７に例示するＵＩ画面２００を表示する。ここで、ＵＩ制御部１０９は、分類結果情報においてＡＩ分類に「分類なし」が設定されている場合、図７に例示するように、要確認マーク２０６を表示させるＵＩ情報を生成してよい。

Ｓ２２４～Ｓ２２７として、分類装置１００は、図８に示すＳ１０７～Ｓ１１０と同様の処理を実行する。そして、分類装置１００は、本処理を終了する。

上記の処理によれば、大量の公報に効率的に分類を付与できると共に、ユーザ２は不適合な分類を効率的に発見及び修正することができる。

＜モデル再学習処理＞
図１０を参照して、分類装置１００が実行するモデル再学習処理について説明する。図１０は、実施の形態１に係るモデル再学習処理の一例を示すフローチャートである。当該モデル再学習処理は、図８又は図９に示した分類処理の実行後に、ユーザ２の指示よって開始されてよい。

Ｓ３０１として、教師データ生成部１０２は、分類結果ＤＢ１０８から確認フラグが「２」（本評価）の分類結果情報を取得する。

Ｓ３０２として、教師データ生成部１０２は、Ｓ３０１で取得した分類結果情報のユーザ分類を正解ラベルとして教師データを生成し、教師データＤＢ１０３に格納する。このユーザ分類は、ユーザ２がＡＩ分類を修正せずに確認チェックボックス２０４をチェック（オン）した場合、ＡＩ分類と共通であり、ユーザ２がＡＩ分類を修正して確認チェックボックス２０４をチェック（オン）した場合、修正後の分類と共通である。

Ｓ３０３として、モデル学習部１０４は、事前評価された教師データと、Ｓ３０２にて新たに生成された教師データとを教師データＤＢ１０３から取得し、それら取得した教師データを用いて学習モデル１２０の再学習を実施する。そして、分類装置１００は、本処理を終了する。

上記の処理によれば、ユーザ２によって確認又は修正された分類が付与された公報も教師データとして利用できるので、教師データの数及びバリエーションが増え、学習モデル１２０の分類精度が向上し得る。

＜モデル評価処理＞
図１１を参照して、分類装置１００が実行するモデル評価処理について説明する。図１１は、実施の形態１に係るモデル評価処理の一例を示すフローチャートである。当該モデル評価処理は、ユーザの指示によって開始されてよい。

Ｓ４０１として、モデル評価部１１０は、分類結果ＤＢ１０８から確認フラグが「２」（本評価）の分類結果情報を取得する。

Ｓ４０２として、モデル評価部１１０は、Ｓ４０１にて取得した分類結果情報のうち、ＡＩ分類とユーザ分類とが一致する分類結果情報の数（正解数）をカウントする。

Ｓ４０３として、モデル評価部１１０は、Ｓ４０１で取得した分類結果情報の数（確認総数）と、Ｓ４０２でカウントした正解数とに基づいて、学習モデル１２０の分類精度（正解率）を算出する。そして、分類装置１００は本処理を終了する。

なお、モデル評価部１１０は、上記の正解率に加え又は上記の正解率に代えて、適合率、再現率、特異度及びＦ値のうちの少なくとも１つを算出して、学習モデル１２０の分類精度を評価してもよい。

＜変形例＞
なお、分類実行部１０７は、必ずしも学習モデル１２０を用いて公報に付与する分類を決定する必要はない。例えば、分類実行部１０７は、公知のルールベース又は機械学習に基づいて、公報に付与する分類（以下、システム分類という）を決定してもよい。この場合、図５に示す分類結果ＤＢ１０８の「ＡＩ分類」、及び、上述したＵＩ制御部１０９が行う処理における「ＡＩ分類」は、「システム分類」に読み替えられてもよい。

ＵＩ制御部１０９は、各分類のスコアに応じて、ＵＩ画面２００における分類の表示方法を切り替えてよい。例えば、ＵＩ制御部１０９は、第１位のスコアが第１の閾値以上である場合（つまり第１位のスコアが高スコアである場合）、分類欄２０２に第１位のスコアの分類名のみを表示する。例えば、ＵＩ制御部１０９は、第１位のスコアが第１の閾値未満かつ第２の閾値以上（ただし第２の閾値は第１の閾値よりも小さい）である場合（つまり第１位のスコアが中スコアである場合）、分類欄２０２に第１位から第３位のスコアの分類名を表示する。例えば、ＵＩ制御部１０９は、第１位のスコアが第２の閾値未満である場合（つまり第１位のスコアが低スコアである場合）、要確認マーク２０６を表示する。あるいは、ＵＩ制御部１０９は、分類欄２０２に「分類なし」を表示する。なお、ＵＩ制御部１０９は、分類欄２０２に「分類なし」を表示すると共に、要確認マーク２０６を表示してもよい。

また、ＵＩ制御部１０９は、分類結果ＤＢ１０８において、第１位のスコアが低スコアである分類結果情報が存在する場合、その第１位のスコアが低スコアである複数の分類結果情報を抽出してユーザ２に確認させてもよい。これにより、ユーザ２は、不適合の可能性の高いＡＩ分類が付与されている公報について、まとめて確認及び修正することができる。

また、ＵＩ制御部１０９は、第１位のスコアが低スコアである分類を分類欄２０２に表示する場合、適切な分類の見直し又は追加をユーザ２に促してよい。この場合、ＵＩ制御部１０９は、次の（Ａ１）及び（Ａ２）のうちの少なくとも１つを実施してもよい。
（Ａ１）最近よく使用される検索式、急上昇ワード、又は、他のユーザの分類パターン等を具体的に提案する。
（Ａ２）例えば、分類１、分類２、分類３という分類があって、本当は分類４となるべきものが推論対象となった場合、「分類なし」としつつ、分類４を提案する。

また、分類は親子関係を有する階層構造であってよい。例えば、親階層の分類数が１０個であり、親階層の複数の分類のそれぞれに子階層の分類が１０個ぶら下がるような階層構造であってよい。この場合、子階層の全体の分類数は１００個となる。このような場合、子階層の各分類のサンプル数に偏りがあり、子階層の分類で高性能が出ない可能性がある。そこで、分類実行部１０７は、まず、第１の学習モデルで親階層の分類を行い、次に、親階層で振り分けられた各分類について、第２の学習モデルで子階層の分類を行ってよい。この子階層の分類の際、分類実行部１０７は、親子の組み合わせを考慮してもよい。

また、分類数ｎ（ｎは２以上の整数）の教師データのうち、特定の分類のサンプル数が著しく少ない場合（例えば所定の閾値未満の場合）、そのサンプル数が著しく少ない分類を適切に判定することが難しい場合がある。例えば、学習モデルの学習において、分類１、分類２、分類３をそれぞれ１００個の教師データで学習し、分類４、分類５、分類６をそれぞれ５個の教師データで学習した場合、当該学習モデルを用いて公報に精度良く分類４を付与することが難しい場合がある。そこで、モデル学習部１０４は、例えば、次の（Ｂ１）及び（Ｂ２）のうちの少なくとも１つを実施してもよい。
（Ｂ１）モデル学習部１０４は、分類４、分類５、分類６を１つの他分類として、第１の学習モデルの学習を行う。そして、モデル学習部１０４は、他分類の教師データを用いて、分類４、分類５、分類６について第２の学習モデルの学習を行う。分類実行部１０７は、まず、第１の学習モデルを用いて公報を分類１、分類２、分類３、他分類のいずれかに振り分け、次に、第２の学習モデルを用いて他分類に振り分けられた公報を分類４、分類５、分類６のいずれかに振り分ける。
（Ｂ２）モデル学習部１０４は、分類１、分類２、分類３について学習モデルの学習を行う。分類実行部１０７は、当該学習モデルが出力した推論結果として第１位のスコアが所定の閾値未満の場合、分類４、分類５、分類６のいずかであると判定する。

＜ハードウェア構成＞
図１２は、本開示に係る分類装置１００及び端末２０のハードウェアの構成の一例を示すブロック図である。

分類装置１００及び端末２０は、図１２に示すコンピュータ１０００として構成されてもよい。この場合、上述した分類装置１００及び端末２０が有する機能は、コンピュータ１０００がコンピュータプログラムを実行することにより実現されてよい。

コンピュータ１０００は、プロセッサ１００１、メモリ１００２、ストレージ１００３、入力装置１００４、出力装置１００５、通信装置１００６、ＧＰＵ（Graphics Processing Unit）１００７、読取装置１００８、及び、バス１００９を備える。プロセッサ１００１、メモリ１００２、ストレージ１００３、入力装置１００４、出力装置１００５、通信装置１００６、ＧＰＵ１００７、読取装置１００８は、バス１００９に接続され、当該バス１００９を介して双方向にデータを送受信できる。

プロセッサ１００１は、メモリ１００２又はストレージ１００３に記憶されたコンピュータプログラムを実行し、上述した機能ブロックを実現する装置である。プロセッサ１００１の例として、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、コントローラ、ＬＳＩ（large scale integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field-Programmable Gate Array）が挙げられる。

メモリ１００２は、コンピュータ１０００が取り扱うコンピュータプログラム及びデータを記憶する装置である。メモリ１００２は、ＲＯＭ（Read-Only Memory）及びＲＡＭ（Random Access Memory）を含んでよい。

ストレージ１００３は、不揮発性記憶媒体で構成され、コンピュータ１０００が取り扱うコンピュータプログラム及びデータを記憶する装置である。ストレージ１００３の例として、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリが挙げられる。

入力装置１００４は、プロセッサ１００１に入力するデータを受け付ける装置である。入力装置１００４の例として、キーボード、マウス、タッチパッド、マイクが挙げられる。

出力装置１００５は、プロセッサ１００１が生成したデータを出力する装置である。出力装置１００５の例として、ディスプレイ、スピーカーが挙げられる。例えば、ユーザは、出力装置１００５に表示されたＵＩ画面２００を、入力装置１００４を通じて操作することにより、所望のデータを入力又は選択してよい。

通信装置１００６は、サーバ又は端末に代表される他の装置と、通信ネットワーク３０を介して、データを送受信する装置である。通信装置１００６は、データを送信する送信部とデータを受信する受信部とを含んでよい。通信装置１００６は、有線通信及び無線通信の何れに対応してもよい。有線通信の例として、Ｅｔｈｅｒｎｅｔ（登録商標）が挙げられる。無線通信の例として、ＩＥＥＥ８０２．１１、Ｂｌｕｅｔｏｏｈ、ＬＴＥ（Long Term Evolution）、４Ｇ、５Ｇが挙げられる。

ＧＰＵ１００７は、画像描写を高速に処理する装置である。なお、ＧＰＵ１００７は、ＡＩの処理に利用されてもよい。例えば、ＧＰＵ１００７は、ＡＩ（学習モデル）の学習処理、及び／又は、ＡＩ（学習モデル）による分類処理に利用されてよい。

読取装置１００８は、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリといった記録媒体からデータを読み取る装置である。

（実施の形態２）
実施の形態２では、実施の形態１にて説明済みの構成要素については同一の参照符号を付し、説明を省略する場合がある。また、実施の形態１にて図面に記載される構成要素であっても、実施の形態２において説明しない構成要素については、説明をわかりやすくするため、図面の記載を省略する場合がある。これは、実施の形態２が記載を省略された構成要素を含まないことを意味しない。

実施の形態１では、分類実行部１０７が特許公報（以下、公報と称する）に付与したＡＩ分類を、ユーザ２が確認してユーザ分類を付与する方法を説明した。しかし、多数の公報に付与されたＡＩ分類を確認する作業は、ユーザ２にとって負担が大きく、できるだけ効率的に確認するための方法が求められる。

そこで、本実施の形態では、ユーザ２が、ＡＩ分類の付与に用いられる学習モデル１２０の詳細な分類性能を把握できるようにする。これにより、ユーザ２は、学習モデル１２０の詳細な分類性能を把握した上で、ＡＩ分類を効率的に確認することができる。例えば、ユーザ２は、分類性能の比較的低い学習モデル１２０を用いたＡＩ分類については品質重視で確認し、分類性能の比較的高い学習モデル１２０を用いたＡＩ分類についてはスピード重視で確認することにより、ＡＩ分類を効率的に確認することができる。以下、詳しく説明する。

＜装置の構成＞
次に、図１３を参照して、実施の形態２に係る分類装置１００の構成の一例について説明する。図１３は、実施の形態２に係る分類装置１００の構成例を示すブロック図である。

分類装置１００は、公報ＤＢ１０１、教師データ生成部１０２、教師データＤＢ１０３、モデル学習部１０４、モデル格納部１０５、分類対象入力部１０６、分類実行部１０７、分類結果ＤＢ１０８、ＵＩ制御部１０９、及び、分類性能測定部１３０を備える。

公報ＤＢ１０１、教師データ生成部１０２、教師データＤＢ１０３、モデル学習部１０４、モデル格納部１０５、分類対象入力部１０６、分類実行部１０７、分類結果ＤＢ１０８、ＵＩ制御部１０９については、実施の形態１にて説明済みであるので、ここでは説明を省略する。なお、これらのブロックの実施の形態２における更なる処理については、後述する。

分類性能測定部１３０は、学習モデル１２０の分類性能を測定する。分類性能測定部１３０の処理は、図１２に示すプロセッサ１００１がメモリ１００２と協調動作することによって実現されてよい。なお、分類性能測定部１３０の更なる処理については後述する。

＜処理の概要＞
次に、図１４を参照して、実施の形態２に係る分類装置１００が行う処理の一例について説明する。図１４は、実施の形態２に係る分類装置１００の処理例を示すフローチャートである。

分類装置１００は、図８にて説明したＳ１０１～Ｓ１０６と同様の処理を行う。

次に、Ｓ１０７Ａとして、ユーザ２は、端末２０に表示されたＵＩ画面２００を見て、分類欄２０２のＡＩ分類が問題ない場合、そのまま確認チェックボックス２０４をチェック（オン）する。ユーザ２は、分類欄２０２のＡＩ分類を修正したい場合、当該分類欄２０２において別の分類を選択（又は入力）し、確認チェックボックス２０４をチェック（オン）する。また、ユーザは、必要に応じて、管理者へのフィードバック欄２１０（図２３参照）に指摘事項を記載する。

次に、分類装置１００は、図８にて説明したＳ１０８～Ｓ１１０と同様の処理を行う。

次に、Ｓ１２１として、分類性能測定部１３０は、分類結果ＤＢ１０８から確認フラグが２（本評価）の分類結果情報を取得する。

次に、Ｓ１２２として、分類性能測定部１３０は、Ｓ１２１にて取得した分類結果情報を用いて混合行列を生成し、ＵＩ制御部１０９に表示させる。なお、混合行列の詳細については後述する。

次に、Ｓ１２３として、ＵＩ制御部１０９は、ユーザ２が混合行列から選択した公報リストを表示する。なお、混合行列からの選択の詳細については後述する。そして、本処理は終了する。

＜学習モデル情報＞
次に、図１５及び図１６を参照して、学習モデル情報について説明する。図１５は、実施の形態２に係る学習モデル情報の一例を示す図である。図１６は、実施の形態２に係る教師データの一例を示す図である。なお、図１６に示す教師データについては、図４にて説明済みであるので、ここでは説明を省略する。

学習モデル情報は、学習モデル１２０に関する情報を有する。学習モデル情報は、例えば、モデル格納部１０５に格納される。

学習モデル情報は、項目として、登録テーマ、教師データセット、分類パターン、分類性能、前回の学習日、学習に使用した公報の属性を有してよい。

登録テーマの項目は、教師データセットの名称を示す。

教師データセットの項目は、教師データセットの識別情報を示す。例えば、「教師データセット１」は、図１６に示す教師データセットの識別情報であってよい。すなわち、教師データセット１には、図１６に示す複数の教師データが含まれてよい。教師データは、図１６に示すように、出願番号に正解分類が対応付けられたデータであってよい。なお、出願番号は、公報識別情報の一例である。

分類パターンの項目は、分類パターンの識別情報を示す。例えば、「分類パターンＡ」は、分類Ａ、分類Ｂ、及び、分類Ｃの３つに分類するパターンを示す。分類装置１００は、複数の分類方法を有することができる。ユーザ２は、どの分類パターンで分類するかを分類装置１００にあらかじめ設定することができる。

分類性能の項目は、教師データセットにて学習させた学習モデル１２０の分類性能の値を示す。分類性能の値は、分類性能が高いほど大きくなり、分類性能が低いほど小さくなる値であってよい。

前回の学習日の項目は、学習モデル１２０の学習を行った前回の日を示す。別言すると、前回の学習日は、学習モデル１２０の学習を行った最後の日を示す。

学習に使用した公報の属性の項目は、学習モデル１２０の学習を行う際に、公報のいずれの属性を学習に使用したかを示す情報を有する。特許公報の属性の例として、「出願番号」、「要約」、「発明が解決しようとする課題」、「課題を解決するための手段」、「発明を実施するための形態」、「ＩＰＣ」、「ＦＩコード」、「特許請求の範囲」等が挙げられる。

＜分類性能を表示する方法＞
次に、図１７～図２１を参照して、学習モデル１２０の分類性能を表示する方法について説明する。図１７は、実施の形態２に係るＡＩ分類トップ画面の一例を示す図である。図１８は、実施の形態２に係る混合行列の第１の表示例を示す図である。図１９は、図１８の混合行列から選択された公報リストの表示例を示す図である。図２０は、実施の形態２に係る混合行列の第２の表示例を示す図である。図２１は、図２０の混合行列から選択された公報リストの表示例を示す図である。

ＵＩ制御部１０９は、学習モデル情報に基づいて、図１７に示すように、各学習モデル１２０に関する情報のリストを表示する。ここで、ユーザ２が、図１７に示すリストから、「学習モデル２」の行を選択したとする。

分類性能測定部１３０は、選択された「学習モデル２」を用いて複数の公報に付与されたＡＩ分類と、当該複数の公報に付与されたユーザ分類とに基づいて、「学習モデル２」に関する混合行列を作成する。そして、ＵＩ制御部１０９は、図１８（又は図２０）に示すように、「学習モデル２」に関する混合行列を表示する。

ユーザ２が混合行列のセルを選択すると、ＵＩ制御部１０９は、その選択されたセルに属する公報の分類結果リストを表示する。選択可能なセルの数は、１つであってもよいし、２つであってもよいし、３つ以上であってもよい。

例えば、ユーザ２が、図１８に示す混合行列から、ユーザ分類ＢかつＡＩ分類Ａのセルを選択した場合、ＵＩ制御部１０９は、図１９に示すように、当該選択された１つのセルに属する３０件の公報の分類結果リストを表示してよい。

例えば、ユーザ２が、図２０に示す混合行列から、ユーザ分類ＢかつＡＩ分類Ａのセルと、ユーザ分類ＢかつＡＩ分類Ｂのセルとを選択した場合、ＵＩ制御部１０９は、図２１に示すように、当該選択された１つ目のセルに属する２０件の公報の分類結果リストと、当該選択された２つ目のセルに属する３０件の公報の分類結果リストとを表示してよい。

混合行列を表示することにより、ユーザ２は、各分類の再現率及び／又は適合率を容易に把握できる。例えば、図１８に示す混合行列において、分類Ａの再現率は、８０／（８０＋１０＋１０）＝０．８、分類Ａの適合率は、８０／（８０＋３０＋２０）≒０．６２である。また、分類Ｂの再現率は、４０／（３０＋４０＋３０）＝０．４、分類Ｂの適合率は、４０／（１０＋４０＋２０）≒０．５７である。また、分類Ｃの再現率は、６０／（２０＋２０＋６０）＝０．６、分類Ｃの適合率は、６０／（１０＋３０＋６０）＝０．６である。なお、ＵＩ制御部１０９は、これらの再現率及び適合率を混合行列と共に表示してよい。

これにより、ユーザ２は、混合行列に表示された各セルにおける適合率及び／又は再現率を考慮してセルを選択することにより、品質重視で確認すべき公報の分類結果リストをまとめて取得したり、スピード重視で確認すべき公報の分類結果リストを取得したりすることができる。よって、ユーザ２は、ＡＩ分類を効率的に確認することができる。

また、ユーザ２は、分類実行部１０７が正しく分類できた公報と、分類実行部１０７が正しく分類できなかった公報とを容易に比較することができる。よって、ユーザ２は、分類実行部１０７が分類に用いた学習モデル１２０の分類傾向（例えば得意な分類又は苦手な分類）、又は、分類実行部１０７が正しく分類できなかった原因を把握し易くなる。

ＵＩ制御部１０９は、公報の分類結果リストを表示する際、各公報から任意の属性を抽出し、比較可能に表示してよい。ユーザ２は、抽出対象とする公報の属性を、任意に設定できてよい。設定可能な公報の属性の例として、「発明が解決しようとする課題」、「発明の効果」、「発明を実施するための形態」等が挙げられる。これにより、ユーザは、効率的に公報を比較することができる。

図２２は、実施の形態２に係るＡＩ分類の根拠の表示例を示す図である。

ＵＩ制御部１０９は、公報の分類結果リストを表示する際、図２２に例示するように、公報に含まれる、分類実行部１０７がそのＡＩ分類の選択の根拠としたキーワード、又は、当該キーワードを含む文章を表示してよい。あるいは、ＵＩ制御部１０９は、公報における当該キーワード又は当該キーワードを含む文章の部分をマーキングして表示してよい。マーキングの例として、該当キーワードの強調表示、下線付与、文字背景色変更等が挙げられる。これにより、ユーザ２は、分類実行部１０７が正しく分類できなかった原因等を把握し易くなる。

図２３は、実施の形態２に係る管理者へのフィードバックを受け付けるＵＩの一例を示す図である。

図２３に示すように、ＵＩ制御部１０９は、ユーザ２が、公報のＡＩ分類を修正するために、当該ＡＩ分類とは異なるユーザ分類を付与する場合、当該ユーザ分類の選択の根拠としたキーワード又は文章の入力を、分類装置１００の管理者へのフィードバック欄２１０にて受け付けてよい。ＵＩ制御部１０９は、当該公報の出願番号、ＡＩ分類、ユーザ分類、及び、入力されたキーワード又は文章等を、分類装置１００又は管理者向けの所定のサーバ（図示しない）に送信してよい。これにより、分類装置１００の管理者は、送信されたこれらの情報を、分類実行部１０７における分類精度の向上に利用することできる。

＜分類性能に基づいて表示態様を切り替える方法＞
ＵＩ制御部１０９は、分類性能に応じて、学習モデル情報の表示方法を切り替えてよい。

例えば、ＵＩ制御部１０９は、分類性能毎に異なる色を定めておき、図１７に示すような学習モデル情報を表示する際に、当該学習モデル１２０の分類性能に対応する色を表示してよい。例えば、分類性能の高いものから順に、青、緑、赤と定めておき、ＵＩ制御部１０９は、分類性能が最も高い学習モデル情報を、青色にて表示してよい。

また、ＵＩ制御部１０９は、図１７に示すように、学習モデル情報を表示する際に、当該学習モデル１２０の分類性能を示す値を合わせて表示してよい。

これにより、ユーザ２は、ＡＩ分類に使用された学習モデル１２０の分類性能を容易に認識できる。よって、ユーザ２は、分類性能に応じて品質重視で確認したり、スピード重視で確認したりでき、ＡＩ分類を効率的に確認することができる。

図２４は、実施の形態２に係る分類結果リストと共に分類性能に関するコメントを表示する例を示す図である。図２５は、実施の形態２に係る分類結果リストと共に要注意マークを表示する例を示す図である。

ＵＩ制御部１０９は、学習モデル１２０の分類項目毎の分類性能に応じて、ＵＩの表示態様を切り替えてよい。

例えば、ＵＩ制御部１０９は、分類結果リストを表示する際、当該分類結果の出力に用いられた学習モデル１２０の分類性能が所定の閾値以下である場合、図２４に示すように、分類精度が低い学習モデル１２０のため十分な確認が必要である旨のコメントを合わせて表示してよい。

例えば、ＵＩ制御部１０９は、ＡＩ分類Ｂの分類性能が他のＡＩ分類の分類性能と比較して低い場合、ＡＩ分類Ｂのセルをマーキング又は色分けして表示してよい。これにより、ユーザ２は、品質重視で確認すべきＡＩ分類Ｂを認識し易くなる。

例えば、ＵＩ制御部１０９は、分類スコアと分類性能とを組み合わせて、ＵＩの表示態様を切り替えてよい。このように、分類スコアだけでなく、分類性能も組み合わせてＵＩの表示態様を切り替えることにより、例えば図２５に示すように、品質重視で確認すべき公報に「要注意マーク」を付与することができる。

＜学習モデルの初期の分類性能を算出する方法＞
上述では、分類実行部１０７が学習モデル１２０を用いて公報に付与したＡＩ分類を、ユーザ２が確認し、必要に応じて当該公報にユーザ分類を付与することにより、当該学習モデル１２０の分類性能を算出し、当該分類性能に関する情報をＵＩとして表示する例を説明した。この場合、例えば、次のようなＳ１１～Ｓ１９の処理が行われる。

（Ｓ１１）ユーザ２は、例えば３００件の公報に正解分類を手動で付与し、３００件の教師データを作成する。
（Ｓ１２）モデル学習部１０４は、これら３００件の教師データを用いて、学習モデル１２０の学習を行う。
（Ｓ１３）１回目のＳＤＩ（Selective Dissemination of Information）が例えば１００件到着した場合、分類実行部１０７は、学習モデル１２０を用いて、その１００件の公報にＡＩ分類を付与する。
（Ｓ１４）ＵＩ制御部１０９は、Ｓ３にて１００件の公報に付与されたＡＩ分類をユーザ２に確認させるためのＵＩを表示する。
（Ｓ１５）ユーザ２は、Ｓ１４のＵＩを通じて、誤ったＡＩ分類が付与されている公報に正解となるユーザ分類を付与するフィードバックを行う。
（Ｓ１６）分類性能測定部１３０は、Ｓ１５におけるユーザからのフィードバックを用いて、学習モデル１２０の分類性能を測定する。
（Ｓ１７）２回目のＳＤＩが例えば８０件到着した場合、分類実行部１０７は、学習モデル１２０を用いて、その８０件の公報にＡＩ分類を付与する。
（Ｓ１８）ＵＩ制御部１０９は、Ｓ１７にて８０件の公報に付与されたＡＩ分類をユーザ２に確認させるためのＵＩを表示する。このとき、ＵＩ制御部１０９は、Ｓ１６にて測定した学習モデル１２０の分類性能を合わせて表示する。
（Ｓ１９）ユーザ２は、Ｓ１８のＵＩを通じて、誤ったＡＩ分類が付与されている公報に正解となるユーザ分類を付与するフィードバックを行う。このとき、ユーザ２は、表示された学習モデル１２０の分類性能に基づき、８０件の公報を効率的に確認できる。
なお、３回目のＳＤＩについては、ＵＩ制御部１０９は、１回目の１００件と２回目の８０件の合計１８０件に対するユーザ２からのフィードバックを用いて測定された学習モデル１２０の分類性能を表示してよい。

しかし、上記Ｓ１４のように、作成直後の学習モデル１２０については、当該学習モデル１２０を用いて公報に付与したＡＩ分類に対するユーザ２からのフィードバックが得られていないため、上記Ｓ１８とは異なり、学習モデル１２０の分類性能を合わせて表示することができない。よって、ユーザ２は、上記Ｓ１５において、学習モデル１２０の分類性能を考慮してフィードバックを行うことができない。

そこで、ＵＩ制御部１０９は、ユーザ２からのフィードバックが得られていない作成直後の学習モデル１２０についても分類性能を表示できるようにする。すなわち、上記Ｓ１４の段階においても学習モデル１２０の分類性能を表示できるようにする。

例えば、分類性能測定部１３０は、交差検証という公知の手法を用いて、作成直後の学習モデル１２０の分類性能を測定する。交差検証では、正解分類付きの教師データの一部を、学習モデル１２０の分類性能を測定するために利用する。

次に、図２６を参照して、交差検証による学習モデル１２０の分類性能の測定方法の一例を説明する。図２６は、実施の形態２に係る交差検証を説明するための図である。例えば、分類装置１００は、次のＳ２１～Ｓ２７の処理を行ってよい。

（Ｓ２１）モデル学習部１０４は、学習モデル１２０の学習用に用意した教師データセットを、第１～第５の教師データセットに分割する。
（Ｓ２２）モデル学習部１０４は、第２～第５の教師データセットを用いて第１の学習モデル１２０の学習を行う。分類性能測定部１３０は、第１の教師データセットをテストデータセットとして第１の学習モデル１２０の分類性能を測定する。
（Ｓ２３）モデル学習部１０４は、第１及び第３～５の教師データセットを用いて第２の学習モデル１２０の学習を行う。分類性能測定部１３０は、第２の教師データセットをテストデータセットとして第２の学習モデル１２０の分類性能を測定する。
（Ｓ２４）モデル学習部１０４は、第１～２及び第４～５の教師データセットを用いて第３の学習モデル１２０の学習を行う。分類性能測定部１３０は、第３の教師データをテストデータセットとして第３の学習モデル１２０の分類性能を測定する。
（Ｓ２５）モデル学習部１０４は、第１～３及び第５の教師データセットを用いて第４の学習モデル１２０の学習を行う。分類性能測定部１３０は、第４教師データをテストデータセットとして第４の学習モデル１２０の分類性能を測定する。
（Ｓ２６）モデル学習部１０４は、第１～４の教師データセットを用いて第５の学習モデル１２０の学習を行う。分類性能測定部１３０は、第５教師データをテストデータセットとして第５の学習モデル１２０の分類性能を測定する。
（Ｓ２７）分類性能測定部１３０は、Ｓ２２～Ｓ２６にて測定した分類性能を平均し、学習モデル１２０の初期の分類性能を算出する。

＜誤った正解分類を含む教師データの生成を抑制する方法＞
上記Ｓ１１において、ユーザ２が、３００件の公報に手動で正解分類を付与する際に誤った正解分類を付与してしまう可能性がある。あるいは、複数のユーザ２で手分けして３００件の公報に手動で正解分類を付与する際に、ユーザ間の解釈の違いによって誤った正解分類が付与されてしまう可能性がある。そこで、以下では、誤った正解分類を含む教師データの生成を抑制する方法について説明する。

図２７は、実施の形態２に係る複数の学習モデル１２０の分類結果を用いて誤りの可能性のある正解分類を検出する方法を説明するための図である。

例えば、図２６に示すように、上記Ｓ２２にて学習された学習モデル１２０を第１の学習モデル１２０、上記のＳ２３にて学習された学習モデル１２０を第２の学習モデル１２０といったように、交差検証により、ｋ（ｋは２以上の整数）個の学習モデル１２０を生成する。そして、図２７に示すように、分類実行部１０７は、ある教師データについて、第１～ｋの学習モデル１２０のそれぞれを用いて分類結果を得る。ここで、図２７の表の１行目に示すように、当該教師データについて、第１～ｋの学習モデル１２０のすべて（又は所定数以上）においてＡＩ分類Ｂと判断されたにも関わらず、ユーザ２が付与した正解分類が分類Ａである場合、ユーザ２が付与した正解分類Ａの方が誤っている可能性がある。この場合、ＵＩ制御部１０９は、ユーザ２が付与した教師データの正解分類Ａが誤っている可能性があることを、当該ユーザに通知してよい。

次に、図２８を参照して、誤りの可能性のある正解分類を検出する処理の一例を説明する。図２８は、実施の形態２に係る誤りの可能性のある正解分類を検出する処理の一例を示すフローチャートである。

Ｓ５０１として、教師データ生成部１０２は、事前評価した教師データを取得する。

Ｓ５０２として、モデル学習部１０４は、上述した交差検証により、教師データセットの一部を用いて各学習モデル１２０の学習を行う。

Ｓ５０３として、分類性能測定部１３０は、上述した交差検証により、教師データセットの一部であるテストデータセットを用いて各学習モデル１２０の分類性能を算出する。

Ｓ５０４として、分類実行部１０７は、各教師データについて各学習モデル１２０による分類結果を得る。そして、ＵＩ制御部１０９は、各教師データについて、上述したように、各学習モデル１２０の分類結果と、正解分類とを比較し、正解分類が誤りの可能性がある教師データが存在するか否かを判定する。正解分類が誤りの可能性がある教師データが存在しない場合（Ｓ５０４：ＮＯ）、分類装置１００は、Ｓ５０７の処理に進む。誤りの可能性のある正解分類を含む教師データが存在する場合（Ｓ５０４：ＹＥＳ）、分類装置１００は、Ｓ５０５の処理に進む。

Ｓ５０５として、ＵＩ制御部１０９は、誤りの可能性のある正解分類を含む教師データについて、正解分類の訂正案をユーザに通知する。正解分類の訂正案は、上記したように多数の学習モデル１２０（例えば所定数以上の学習モデル１２０）が共通で示した分類結果であってよい。

Ｓ５０６として、ユーザ２は、当該訂正案を参考にしながら、必要に応じて教師データの正解分類を訂正する。

Ｓ５０７として、ＵＩ制御部１０９は、学習モデル１２０の分類性能に応じたＵＩを表示する。そして、本処理は終了する。

以上の処理により、ユーザ２は、誤った正解分類を容易に訂正することができる。よって、誤った正解分類を含む教師データの生成を抑制できる。

なお、ＵＩ制御部１０９は、上記の誤りの可能性のある正解分類を付与したユーザ２の識別情報（例えば氏名）を記録してよい。そして、ＵＩ制御部１０９は、あるユーザ２が誤りの可能性のある正解分類を多数（例えば所定数以上）付与している場合、そのユーザ２の識別情報を表示してよい。これにより、例えば、当該ユーザ２が付与した正解分類を他のユーザ２が容易に再チェックすることができる。そして、もし当該ユーザ２の正解分類が誤りであるならば、他のユーザ２は、付与されている正解分類を訂正することができる。加えて、モデル学習部１０４が、訂正した正解分類を含む教師データを用いて再学習を行うことにより、学習モデル１２０の分類性能が向上し得る。

次に、図２９を参照して、学習に用いる公報の属性をユーザが選択する方法について説明する。図２９は、実施の形態２に係る学習に用いる公報の属性を選択するＵＩの一例を示す図である。

モデル学習部１０４は、１つの教師データから、複数の学習モデル１２０を作成してよい。

例えば、図２９に示すように、ＵＩ制御部１０９は、公報に含まれる複数の属性のうち、学習に使用する属性をユーザ２に選択させるためのＵＩを表示してよい。そして、モデル学習部１０４は、その選択された属性の組み合わせ（以下、学習モデルパターンと称する）ごとに学習モデル１２０を作成してよい。例えば、第１の学習モデルパターンとして、「出願人」、「ＩＰＣ」、「要約」、及び、「特許請求の範囲（すべての請求項）」の属性が選択され、第２の学習モデルパターンとして、「発明が解決しようとする課題」、「課題を解決するための手段」の属性が選択されてよい。

分類性能測定部１３０は、学習モデルパターンごとに分類性能を算出してよい。ＵＩ制御部１０９は、これら算出された学習モデルパターンごとの分類性能を表示してよい。さらに、分類性能測定部１３０は、学習モデルパターンごとに加えて、分類項目ごとに分類性能を算出してよい。ＵＩ制御部１０９は、これら算出された分類項目ごとの分類性能を表示してよい。これにより、ユーザ２は、学習モデルパターンごと、及び／又は、分類項目ごとの分類性能を認識できる。

また、ＵＩ制御部１０９は、上記にて算出した分類性能を、混合行列として表示してよい。

従来、教師データに用いる公報の属性は、分類装置１００の開発者があらかじめ検証して決定したものであり、固定的なパラメータである。ここで、属性は、例えば、「要約」を使用するか否か、「発明が解決しようとする課題」を使用するか否かを示す情報である。また、従来、教師データと学習モデル１２０とは１対１の関係であり、複数の学習モデル１２０を有することはなかった。また、仮に複数の学習モデル１２０を有したとしても、それらの学習モデル１２０を使い分ける用途と方法とがなかった。

本開示は、ユーザ２自身が教師データとして使用する公報の属性をカスタマイズし、学習モデル１２０の分類性能を確認することができる。よって、ユーザ２は、例えば、公報に分類Ａ又は分類Ｂを付与する場合、分類Ａの分類性能が極端に高い学習モデル１２０と、総合的な分類性能が高い学習モデル１２０とを使い分けてもよい。

＜効率的に再学習を行う方法＞
分類装置１００は、ユーザ２からの最新のフィードバックを用いて、学習モデル１２０の再学習を行ってよい。これにより、学習モデル１２０の分類精度が維持及び向上し得る。しかし、学習モデル１２０の再学習処理には、分類装置１００のリソースが比較的長時間確保される。よって、効率的な再学習が求められる。そこで以下では、効率的に再学習を行う方法の例について説明する。

ＵＩ制御部１０９は、学習モデル１２０の分類性能が所定の閾値以上である場合、ユーザ２からのフィードバック後の再学習を延期しても問題ないことを、ユーザ２に通知してよい。あるいは、モデル学習部１０４は、学習モデル１２０の分類性能が所定の閾値以上である場合、ユーザ２からのフィードバック後の再学習を、直ちに実行せずに、いったん保留してよい。

ＵＩ制御部１０９は、学習モデル１２０の分類性能が所定の閾値未満である場合、それまで保留していたユーザ２からのフィードバックと、既存の分類結果とを用いて再学習を行った方がよいことを、ユーザ２に通知してよい。あるいは、モデル学習部１０４は、学習モデル１２０の分類性能が所定の閾値未満である場合、それまで保留していたユーザ２からのフィードバックと、既存の分類結果とを用いて、再学習を自動的に実行してよい。

例えば、ＳＤＩとして到着した１００件の公報のＡＩ分類に対してユーザ２からフィードバックされたタイミングにて直ちに学習モデル１２０の再学習を行うシステムの場合、複数の再学習処理が重複し、いずれの再学習処理も完了までに長時間を要してしまう可能性がある。あるいは、例えば、深夜の所定の時刻（例えば午前３時）までにユーザ２からフィードバックされたものを用いて学習モデル１２０の再学習を行うシステムの場合、複数の再学習処理が重複し、いずれの再学習処理も完了までに長時間を要してしまう可能性がある。

これに対して、上述の構成によれば、分類性能が閾値以上である学習モデル１２０（つまり分類性能が比較的高い学習モデル１２０）よりも、分類性能が閾値未満である学習モデル１２０（つまり分類性能が比較的低い学習モデル１２０）が優先的に再学習される。一般的に、分類性能が比較的高い学習モデル１２０の分類性能をさらに向上させることよりも、分類性能が比較的低い学習モデル１２０の分類性能を向上させることの方が、ユーザ２のメリットは大きいので、上記の構成によれば、効率的に再学習を行うことができる。

また、ユーザ２が手動で再学習を指示するシステムの場合、従来は、ユーザ２は再学習を行う目安が分からず、フィードバックを行うたびに再学習を指示したり、再学習をまったく指示しなかったりすることが考えられる。これに対して、上述の構成によれば、再学習を行う目安がユーザ２に通知される、あるいは、再学習を行った方がよいタイミングで自動的に再学習処理が行われる。よって、上述の構成によれば、効率的に再学習を行うことができる。

また、モデル学習部１０４は、学習モデル１２０の分類性能に応じて再学習の頻度を変化させてよい。例えば、モデル学習部１０４は、分類性能が所定の閾値未満である（つまり分類性能が比較的低い）学習モデル１２０についてはユーザ２からのフィードバックを受けるごとに再学習を行い、分類性能が所定の閾値以上である（つまり分類性能が比較的高い）学習モデル１２０についてはユーザ２からのフィードバックを所定の回数受けた後にまとめて再学習を行ってよい。

例えば、分類性能の比較的低い学習モデル１２０を用いて１００件の公報に付与されたＡＩ分類があるとする。この場合、モデル学習部１０４は、ユーザ２から当該１００件の公報のＡＩ分類に対するユーザからのフィードバックを受けたタイミングで、当該フィードバックを用いて、当該分類性能の比較的低い学習モデル１２０の再学習を行ってよい。あるいは、モデル学習部１０４は、毎晩深夜の所定の時刻に、当該時刻までに受けたユーザ２からのフィードバックを用いて、当該分類性能の低い学習モデル１２０の再学習を行ってよい。

例えば、分類性能の比較的高い学習モデル１２０を用いて公報に付与されたＡＩ分類があるとする。ユーザ２は、３月１日に１００件の当該公報のＡＩ分類に対してフィードバックを行い、３月８日にさらに１００件の当該公報のＡＩ分類に対してフィードバックを行い、３月１５日にさらに１００件の当該公報のＡＩ分類に対してフィードバックを行ったとする。この場合、モデル学習部１０４は、３月１日のユーザ２からのフィードバックを受けたタイミング、及び、３月８日のユーザ２からのフィードバックを受けたタイミングでは再学習を行わず（つまり再学習を延期し）、３月１５日のユーザ２からのフィードバックを得たタイミングで、これら３回分のユーザ２からのフィードバックと既存分のユーザ２からのフィードバックとを用いて、当該分類性能の比較的高い学習モデル１２０の再学習を行ってよい。あるいは、モデル学習部１０４は、３月末に、それまでに得たユーザ２からのフィードバックを用いて、まとめて当該分類性能の比較的高い学習モデル１２０の再学習を行ってよい。

また、モデル学習部１０４は、分類性能が所定の閾値未満である（つまり分類性能の比較的低い）学習モデル１２０についてはユーザ２からのフィードバックを受けるごとに再学習を行い、分類性能が所定の閾値以上である（つまり分類性能の比較的高い）学習モデル１２０については、前回再学習を実施した日から所定期間以上経過しているか否かに基づいて、学習頻度を変えてよい。

例えば、モデル学習部１０４は、分類性能が所定の閾値以上である（つまり分類性能の比較的高い）学習モデル１２０については、３月１日、３月１５日、３月２２日、３月２９日の分を３月分として、月１回、再学習を行ってよい。

また、ＵＩ制御部１０９は、学習モデル１２０の最終更新日時を表示してよい。学習モデル１２０の最終更新日時は、例えば、学習モデル１２０を作成した日、又は、最後に再学習を実施した日であってよい。

また、ＵＩ制御部１０９は、学習モデル情報のリストを表示する際、各学習モデル１２０の分類性能を表示してよい。

ユーザ２が手動で再学習を指示しない場合、分類性能が所定の閾値以上である学習モデル１２０については、分類性能が所定の閾値未満となるまで再学習が行われないことも考えられる。しかし、分類性能が所定の閾値以上であっても、分類性能の維持及び向上のため、定期的に再学習を行った方がよい場合がある。上述の構成によれば、分類性能の比較的低い学習モデル１２０の再学習を優先させつつ、分類性能の比較的高い学習モデル１２０についても適切に再学習が行われる。

次に、図３０を参照して、再学習のタイミングを調整する処理について説明する。図３０は、実施の形態２に係る再学習を行うタイミングを調整する処理の一例を示すフローチャートである。

Ｓ６０１～Ｓ６１０として、分類装置１００は、図８に示すＳ１０１～Ｓ１１０と同様の処理を行う。

Ｓ６１１として、ＵＩ制御部１０９は、分類結果ＤＢ１０８から確認フラグが２（本評価）の分類結果情報を取得する。

Ｓ６１２として、ＵＩ制御部１０９は、該当する学習モデル１２０の分類性能を取得する。

Ｓ６１３として、ＵＩ制御部１０９は、分類性能が所定の閾値以上であるか否かを判定する。ＵＩ制御部１０９は、分類性能が所定の閾値未満であると判定した場合（Ｓ６１３：ＮＯ）、Ｓ６１６の処理に進む。ＵＩ制御部１０９は、分類性能が所定の閾値以上であると判定した場合（Ｓ６１３：ＹＥＳ）、Ｓ６１４の処理に進む。

Ｓ６１４として、ＵＩ制御部１０９は、前回の学習日から所定の一定期間経過しているか否かを判定する。ＵＩ制御部１０９は、前回の学習日から所定の一定期間経過していると判定した場合（Ｓ６１４：ＹＥＳ）、Ｓ６１６の処理に進む。ＵＩ制御部１０９は、前回の学習日から所定の一定期間経過していないと判定した場合（Ｓ６１４：ＮＯ）、Ｓ６１５の処理に進む。

Ｓ６１５として、ＵＩ制御部１０９は、学習モデル１２０について再学習を保留してよい旨を示す情報を表示し、本処理を終了する。

Ｓ６１６として、ＵＩ制御部１０９は、学習モデル１２０について再学習を推奨する旨を示す情報を表示する。そして、分類装置１００は、本処理を終了する。

以上の処理によれば、分類性能が閾値以上であり、前回の学習から一定期間経過してない場合、再学習を保留してよい旨がユーザ２に通知される。加えて、分類性能が閾値未満の場合、又は、前回の学習から一定期間経過している場合、再学習が推奨される。よって、分類装置１００は、再学習を効率的に行うことができる。

次に、図３１を参照して、複数の学習モデル１２０の学習処理を行う順番を待ち行列（キュー）によって管理する例について説明する。図３１は、実施の形態２に係る学習の待ち行列を説明するための図である。

モデル学習部１０４は、学習の待ち行列（順番待ち）が存在する場合、学習モデル１２０の優先度に応じて、学習を行う順番を変更してよい。例えば、モデル学習部１０４は、下記の（Ａ１）から（Ａ５）のいずれかを行ってよい。

（Ａ１）モデル学習部１０４は、学習の待ち行列を、分類性能の低い学習モデル１２０の順に並び替える。
（Ａ２）モデル学習部１０４は、学習の待ち行列を、分類性能が所定の閾値未満、かつ、学習の実行指示の時刻が早い学習モデル１２０の順、次いで、分類性能が所定の閾値以上、かつ、学習の実行指示の時刻が早い学習モデル１２０の順に並び替える。
（Ａ３）モデル学習部１０４は、学習の待ち行列において、初回の学習の優先度を上げる。初回の学習は、学習モデル１２０が存在しない（つまり推論ができない）ためである。
（Ａ４）モデル学習部１０４は、学習の待ち行列を、学習モデル１２０の作成日又は更新日の古い順に並び替える。
（Ａ５）モデル学習部１０４は、上記（Ａ１）から（Ａ４）を組み合わせて並び替えを行う。

上記の構成によれば、学習の優先度の高い学習モデル１２０から順に学習を行うことができるので、効率的に学習できる。また、モデル学習部１０４は、当該学習の待ち行列の順番を変更する方法と、上記の学習モデル１２０の分類性能に応じて再学習の頻度を変化させる方法と、上記の学習モデル１２０の最終更新日時を表示する方法とを組み合わせることにより、さらに効率的に学習できる。

例えば、図３１の上段に示す学習の待ち行列に、分類性能「０．６」の学習データセット４が新たに投入された場合、上記（Ａ１）に従い、図３１の下段に示すように、モデル学習部１０４は、分類性能の低い順に待ち行列を並び変えてよい。

（実施の形態３）
実施の形態３では、実施の形態１又は２にて説明済みの構成要素については同一の参照符号を付し、説明を省略する場合がある。また、実施の形態１又は２にて図面に記載される構成要素であっても、実施の形態３にて説明しない構成要素については、説明をわかりやすくするため、図面の記載を省略する場合がある。これは、実施の形態３が記載を省略された構成要素を含まないことを意味しない。

図３２は、実施の形態３に係る分類システム１０の構成例を示すブロック図である。

分類システム１０は、分類サーバ４０及び顧客サーバ５０を備える。分類サーバ４０は、公報にＡＩ分類を付与するサーバである。顧客サーバ５０は、分類サーバ４０が提供する分類サービスを利用する顧客（ユーザ）が管理するサーバである。顧客（ユーザ）は、企業又は個人のいずれであってもよい。なお、顧客サーバ５０は第１サーバ、分類サーバ４０は第２サーバと読み替えられてもよい。

特許公報の分類情報は、企業のノウハウに該当するため、顧客サーバ５０に格納したいユーザも存在し得る。一方、ＡＩ分類を付与する処理は、リソース利用負荷が高いため、分類サーバ４０で行われる方が好ましい場合もある。

学習又は推論のインプットとなる公報リストは、テキスト量が膨大であるため、データ量が大きい。よって、当該公報リストをそのまま顧客サーバ５０と分類サーバ４０との間でやり取りすると、通信ネットワーク３０に大きな負荷がかかってしまう。さらに、データ転送にも時間がかかるため、当該分類システム１０を利用するユーザの作業効率が低下する。

そこで、本実施の形態では、このように顧客サーバ５０と分類サーバ４０とを備える分類システム１０において、通信ネットワーク３０の負荷を軽減すると共に、ユーザの作業効率を向上させる方法について説明する。

学習モデル１２０の学習を行う際、顧客サーバ５０は、公報の分類情報（例えば正解分類）と、公報の識別情報（以下、公報識別情報という）とを分類サーバ４０に送信し、分類サーバ４０は、受信した公報識別情報をキーとして公報ＤＢ１０１から、公報に含まれる学習に必要な情報を取得し、その取得した情報を、受信した分類情報及び公報識別情報と統合し、教師データを作成する。ここで、公報識別情報は、特許公報を一意に識別するための情報であり、例えば、特許公報の出願番号、公開番号、登録番号等である。

これにより、顧客サーバ５０と分類サーバ４０との間でやり取りするデータ量が削減されるので、通信ネットワーク３０にかかる負荷を軽減できる。さらに、データ転送に要する時間も短縮されるため、ユーザの作業効率が向上する。

また、ＡＩ分類を付与する場合、顧客サーバ５０は、公報識別情報を分類サーバ４０に送信し、分類サーバ４０は、受信した公報識別情報をキーとして公報ＤＢ１０１から公報に含まれるＡＩ分類の付与に必要な情報を取得し、その取得した情報を、受信した公報識別情報と統合し、当該公報識別情報にＡＩ分類を付与する。

また、分類サーバ４０へのデータの格納は一時的なものとし、分類情報等は、分類サーバ４０から顧客サーバ５０へ送付された後に、自動削除されてよい。これにより、企業のノウハウに相当する分類情報が分類サーバ４０に残らないので、企業は安心して分類サーバ４０を利用できる。

以下、上述した内容について詳細に説明する。

図３２に示すように、分類サーバ４０は、公報ＤＢ１０１、第１教師データ生成部１３４、教師データＤＢ１０３、モデル格納部１０５、分類実行部１０７、第１教師データ通信部１３１、第１分類結果通信部１３２、及び、第１モデル情報通信部１３３を備える。

分類サーバ４０は、図１２に示すコンピュータ１０００によって構成されてよい。第１教師データ生成部１３４の処理は、図１２に示すプロセッサ１００１がメモリ１００２と協調動作することによって実現されてよい。また、第１教師データ通信部１３１、第１分類結果通信部１３２、第１モデル情報通信部１３３の処理は、図１２に示すプロセッサ１００１がメモリ１００２及び通信装置１００６と協調動作することによって実現されてよい。

第１教師データ通信部１３１は、顧客サーバ５０の第２教師データ通信部１４１から送信される教師データ情報を、通信ネットワーク３０を介して受信する。教師データ情報は、教師データの公報識別情報と正解分類との対応関係を示す情報を含み、公報の実体（例えば公報識別情報以外の公報の属性）を含まなくてよい。あるいは、教師データ情報は、公報の実体を含む教師データと、公報の実体を含まない教師データとを混在して含んでもよい。

第１教師データ生成部１３４は、第１教師データ通信部１３１が受信した教師データに基づいて、教師データを生成する。例えば、第１教師データ生成部１３４は、教師データ情報に含まれる公報識別情報に対応する公報を公報ＤＢ１０１から取得する。

第１分類結果通信部１３２は、分類実行部１０７によって生成された分類結果情報を、通信ネットワーク３０を介して、顧客サーバ５０へ送信する。分類結果情報は、分類実行部１０７によって公報に付与されたＡＩ分類と、当該公報の公報識別情報との対応関係を示す情報を含む。

第１モデル情報通信部１３３は、顧客サーバ５０の第２モデル情報通信部１４３から送信されるモデル評価情報を、通信ネットワーク３０を介して受信する。モデル評価情報は、学習モデル１２０の識別情報と当該学習モデル１２０の評価情報との対応関係を示す情報を含む。

顧客サーバ５０は、公報ＤＢ１０１、第２教師データ生成部１４４、分類結果ＤＢ１０８、モデル評価部１１０、ＵＩ制御部１０９、第２教師データ通信部１４１、第２分類結果通信部１４２、及び、第２モデル情報通信部１４３を備える。

顧客サーバ５０は、図１２に示すコンピュータ１０００によって構成されてよい。第２教師データ生成部１４４の処理は、図１２に示すプロセッサ１００１がメモリ１００２と協調動作することによって実現されてよい。また、第２教師データ通信部１４１、第２分類結果通信部１４２、第２モデル情報通信部１４３の処理は、図１２に示すプロセッサ１００１がメモリ１００２及び通信装置１００６と協調動作することによって実現されてよい。

第２教師データ生成部１４４は、公報ＤＢ１０１から取得した公報にユーザ２が正解分類を付与して教師データを生成する。

第２教師データ通信部１４１は、第２教師データ生成部１４４によって生成された教師データの公報識別情報と正解分類との対応関係を示す情報を含む教師データ情報を、通信ネットワーク３０を介して分類サーバ４０へ送信する。

第２分類結果通信部１４２は、通信ネットワーク３０を介して、分類サーバ４０から分類結果情報を受信し、分類結果情報を分類結果ＤＢ１０８に格納する。

第２モデル情報通信部１４３は、モデル評価部１１０によって生成されたモデル評価情報を、通信ネットワーク３０を介して、分類サーバ４０へ送信する。

なお、分類システム１０は、分類サーバ４０及び顧客サーバ５０とは異なる所定のサーバが公報ＤＢ１０１を備える構成であってもよい。この場合、分類サーバ４０及び顧客サーバ５０は、自ら公報ＤＢ１０１を備えずに、その所定のサーバの公報ＤＢ１０１にアクセスしてよい。

次に、図３３を参照して、分類サーバ４０による学習処理の一例を説明する。図３３は、実施の形態３に係る分類サーバ４０による学習処理の一例を示すフローチャートである。

Ｓ７０１として、第１教師データ生成部１３４は、第１教師データ通信部１３１が受信した教師データ情報を取得する。

Ｓ７０２として、第１教師データ生成部１３４は、教師データ情報において学習に用いる公報の属性の実体が不足しているか否かを判定する。学習に用いる公報の属性の実体が不足していないと判定した場合（Ｓ７０２：ＮＯ）、分類サーバ４０は、Ｓ７０５の処理に進む。学習に用いる公報の属性の実体が不足していると判定した場合（Ｓ７０２：ＹＥＳ）、分類サーバ４０は、Ｓ７０３の処理に進む。

Ｓ７０３として、第１教師データ生成部１３４は、教師データ情報に含まれる公報識別情報（例えば出願番号）をキーとして、公報ＤＢ１０１から不足分の公報の属性の実体を取得する。

Ｓ７０４として、第１教師データ生成部１３４は、Ｓ７０３にて取得した公報の属性の実体に、教師データ情報に含まれる正解分類を関連付けて、教師データを生成（再構成）する。

Ｓ７０５として、モデル学習部１０４は、Ｓ７０４にて生成された教師データを用いて、学習モデル１２０の学習を行う。

以上の処理によれば、分類サーバ４０は、顧客サーバ５０から送信された比較的データ量の少ない教師データ情報に基づいて、教師データを生成（再構成）し、学習モデル１２０の学習を行うことができる。すなわち、顧客サーバ５０が公報の実体を含む教師データをそのまま分類サーバ４０に送信する場合と比較して、通信ネットワーク３０の負荷を軽減できる。加えて、データ転送にかかる時間も短縮されるため、公報の分類に関する作業効率が向上する。

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。

本開示の技術は、文書を分類する装置又はシステムに有用である。

２ユーザ
１０分類システム
２０端末
３０通信ネットワーク
４０分類サーバ
５０顧客サーバ
１００分類装置
１０１公報ＤＢ
１０２教師データ生成部
１０３教師データＤＢ
１０４モデル学習部
１０５モデル格納部
１０６分類対象入力部
１０７分類実行部
１０８分類結果ＤＢ
１０９ＵＩ制御部
１１０モデル評価部
１２０学習モデル
１３０分類性能測定部
１３１第１教師データ通信部
１３２第１分類結果通信部
１３３第１モデル情報通信部
１３４第１教師データ生成部
１４１第２教師データ通信部
１４２第２分類結果通信部
１４３第２モデル情報通信部
１４４第２教師データ生成部
２００ＵＩ画面
２０１ステータス欄
２０２分類欄
２０３分類候補欄
２０４確認チェックボックス
２０５公報項目欄
２０６要確認マーク
２１０管理者へのフィードバック欄
１０００コンピュータ
１００１プロセッサ
１００２メモリ
１００３ストレージ
１００４入力装置
１００５出力装置
１００６通信装置
１００７ＧＰＵ
１００８読取装置
１００９バス

Claims

第１サーバ及び第２サーバを備える分類システムであって、
前記第１サーバは、
公報を一意に識別する情報である公報識別情報と前記公報識別情報が示す公報の正解の分類を示す情報である正解分類とを関連付けて前記第２サーバへ送信し、
前記第２サーバは、
前記第１サーバから受信した前記公報識別情報が示す前記公報に関する情報を、前記公報に関する情報を格納する公報データベースから取得し、
取得した前記公報に関する情報と、前記公報識別情報に関連付けられている前記正解分類とに基づいて、公報にＡＩ（Artificial Intelligence）分類を付与するために用いられる学習モデルの学習を行う、
分類システム。
前記第１サーバは、
前記公報識別情報を前記第２サーバへ送信し、
前記第２サーバは、
前記第１サーバから受信した前記公報識別情報が示す公報に関する情報を前記公報データベースから取得し、
前記学習モデルを用いて前記公報識別情報が示す公報にＡＩ分類を付与し、
前記公報識別情報と前記公報識別情報が示す公報に付与した前記ＡＩ分類とを関連付けて前記第１サーバへ送信する、
請求項１に記載の分類システム。
前記第２サーバは、
前記第１サーバへ送信済みの、前記公報識別情報と前記公報識別情報が示す公報に付与した前記ＡＩ分類とを削除する、
請求項２に記載の分類システム。
前記公報は、特許公報であり、
前記公報識別情報は、前記特許公報に付与される出願番号、公開番号、又は、登録番号である、
請求項１から３のいずれか１項に記載の分類システム。
第１サーバ及び第２サーバを備える分類システムによる分類方法であって、
前記第１サーバは、
公報を一意に識別する情報である公報識別情報と前記公報識別情報が示す公報の正解の分類を示す情報である正解分類とを関連付けて前記第２サーバへ送信し、
前記第２サーバは、
前記第１サーバから受信した前記公報識別情報が示す前記公報に関する情報を、前記公報に関する情報を格納する公報データベースから取得し、
取得した前記公報に関する情報と、前記公報識別情報に関連付けられている前記正解分類とに基づいて、公報にＡＩ分類を付与するために用いられる学習モデルの学習を行う、
分類方法。