JP2023029991A - Classification device, classification method, and computer program - Google Patents
Classification device, classification method, and computer program Download PDFInfo
- Publication number
- JP2023029991A JP2023029991A JP2022196507A JP2022196507A JP2023029991A JP 2023029991 A JP2023029991 A JP 2023029991A JP 2022196507 A JP2022196507 A JP 2022196507A JP 2022196507 A JP2022196507 A JP 2022196507A JP 2023029991 A JP2023029991 A JP 2023029991A
- Authority
- JP
- Japan
- Prior art keywords
- classification
- user
- document
- confirmed
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 32
- 238000004590 computer program Methods 0.000 title claims description 13
- 238000012790 confirmation Methods 0.000 claims abstract description 71
- 238000013473 artificial intelligence Methods 0.000 claims description 119
- 238000011156 evaluation Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 18
- 238000012545 processing Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 15
- 230000015654 memory Effects 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010024796 Logorrhoea Diseases 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本開示は、分類装置、分類方法、及び、コンピュータプログラムに関する。 The present disclosure relates to a classifying device, a classifying method, and a computer program.
特許文献1には、分類システムは、学習モデルを用いて公報に付与する分類を特定し、特定した分類に対応するユーザの端末に当該分類を付与された公報を表示し、ユーザは、表示された当該公報が当該ユーザの開発部門に関係ない場合、もしくは特定した分類が誤っている場合、自部門に関係ない旨を指定したり、適切な分類を指定したりすることが開示されている。当該学習モデルは、ニューラルネットワークにて構築され、公報を入力した場合に当該公報が何れの分類に属するかを示す近似度を各分類について出力するように予め学習されている。
In
分類システムが付与する分類は必ずしも適切であるとは限らないため、ユーザは、分類システムが付与した分類が適切であるか否かを確認する作業を行う場合がある。しかし、特許文献1に開示の構成では、学習モデルが公報に付与した分類がユーザによって確認済みであるか否を適切に管理することができない。
Since the classification given by the classification system is not always appropriate, the user may check whether the classification given by the classification system is appropriate. However, with the configuration disclosed in
本開示の目的は、学習モデルを用いて公報に付与された分類がユーザによって確認済みであるか否を適切に管理することができる技術を提供することにある。 An object of the present disclosure is to provide a technology capable of appropriately managing whether or not the classification assigned to publications using a learning model has been confirmed by a user.
本開示の一態様に係る分類装置は、文書と、学習モデルを用いて当該文書に付与された分類を示すAI(Artificial Intelligence)分類と、ユーザが前記AI分類を確認済みであるか否かを示す確認情報とが関連付けられている情報が格納される格納部と、前記文書及び前記AI分類を表示させると共に、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を未確認であることを示す場合、前記AI分類は前記ユーザによって未確認であることを示す第1の情報を表示させ、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を確認済みであることを示す場合、前記AI分類は前記ユーザによって確認済みであることを示す第2の情報を表示させる制御部と、を備える。 A classification device according to an aspect of the present disclosure includes a document, an AI (Artificial Intelligence) classification indicating a classification assigned to the document using a learning model, and whether or not a user has confirmed the AI classification. a storage unit for storing information associated with confirmation information shown therein; and the document and the AI classification, and the confirmation information associated with the document indicates that the user has not confirmed the AI classification. If so, causing display of first information indicating that the AI classification has not been confirmed by the user, and the confirmation information associated with the document indicates that the user has confirmed the AI classification. and a control unit for displaying second information indicating that the AI classification has been confirmed by the user when indicating that the AI classification has been confirmed by the user.
本開示の一態様に係る分類方法は、装置によって文書を分類する分類方法であって、文書と、学習モデルを用いて当該文書に付与された分類を示すAI分類と、ユーザが前記AI分類を確認済みであるか否かを示す確認情報とが関連付けられている情報を格納部に格納し、前記文書及び前記AI分類を表示させると共に、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を未確認であることを示す場合、前記AI分類は前記ユーザによって未確認であることを示す第1の情報を表示させ、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を確認済みであることを示す場合、前記AI分類は前記ユーザによって確認済みであることを示す第2の情報を表示させる。 A classification method according to an aspect of the present disclosure is a classification method for classifying documents by a device, comprising a document, an AI classification indicating a classification given to the document using a learning model, and a user classifying the AI classification. information associated with confirmation information indicating whether or not it has been confirmed is stored in a storage unit, the document and the AI classification are displayed, and the confirmation information associated with the document is received by the user; indicates that the AI classification is unconfirmed by the user, causing the display of first information indicating that the AI classification is unconfirmed by the user, and the confirmation information associated with the document indicates that the user has confirmed the When indicating that the AI classification has been confirmed, a second information is displayed indicating that the AI classification has been confirmed by the user.
本開示の一態様に係るコンピュータプログラムは、文書を分類するコンピュータプログラムであって、文書と、学習モデルを用いて当該文書に付与された分類を示すAI分類と、ユーザが前記AI分類を確認済みであるか否かを示す確認情報とが関連付けられている情報を格納部に格納し、前記文書及び前記AI分類を表示させると共に、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を未確認であることを示す場合、前記AI分類は前記ユーザによって未確認であることを示す第1の情報を表示させ、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を確認済みであることを示す場合、前記AI分類は前記ユーザによって確認済みであることを示す第2の情報を表示させる、ことをコンピュータに実行させる。 A computer program according to an aspect of the present disclosure is a computer program for classifying a document, comprising a document, an AI classification indicating a classification given to the document using a learning model, and a user confirming the AI classification. information associated with confirmation information indicating whether or not the If the AI classification indicates that the AI classification is unconfirmed, display first information indicating that the AI classification has not been confirmed by the user, and the confirmation information associated with the document confirms that the user has confirmed the AI classification. is confirmed by the user, causing the computer to display second information indicating that the AI classification has been confirmed by the user.
なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 In addition, these generic or specific aspects may be realized by a system, device, method, integrated circuit, computer program or recording medium, and any of the system, device, method, integrated circuit, computer program and recording medium may be implemented. may be implemented in any combination.
本開示によれば、学習モデルを用いて公報に付与された分類がユーザによって確認済みであるか否を適切に管理することができる。 According to the present disclosure, it is possible to appropriately manage whether or not the classification given to the publication using the learning model has been confirmed by the user.
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。 Hereinafter, embodiments of the present disclosure will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of well-known matters and redundant descriptions of substantially the same configurations may be omitted. This is to avoid unnecessary verbosity in the following description and to facilitate understanding by those skilled in the art. It should be noted that the accompanying drawings and the following description are provided to allow those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter of the claims.
(実施の形態1)
<分類システムの概要>
図1を参照して、実施の形態1に係る分類システム10の概要について説明する。図1は、実施の形態1に係る分類システム10の構成の一例を示す模式図である。
(Embodiment 1)
<Outline of classification system>
An outline of a
分類システム10は、分類装置100及び端末20を含んで構成される。分類装置100及び端末20は、通信ネットワーク30を介して互いに情報を送受信できる。通信ネットワーク30は、インターネット、移動体通信網(例えばLTE、4G、5G)、有線LAN、無線LAN、又は、それらの組み合わせであってよい。
The
分類装置100は、文書の一例である公報を分類する装置である。分類装置100は、サーバと読み替えられてもよい。公報の例として、特許、実用新案、意匠、商標等の出願公開公報又は特許掲載公報が挙げられる。また、公報の他の例として、定期的に発行される技術文献又は技術論文等が挙げられる。実施の形態1では、公報が特許の出願公開公報である場合について説明する。ただし、実施の形態1は、公報が特許の出願公開公報とは異なるものであっても実施可能である。
The
分類装置100は、学習モデル120を用いて公報に分類を付与するサービスを提供する。また、分類装置100は、公報に付与された分類をユーザ2に確認させ、当該公報の分類についてユーザ2が確認済みであるか否かを管理するサービスを提供する。なお、分類装置100が提供する更なるサービスについては後述する。
The
端末20は、分類装置100が提供するサービスを利用するユーザ2によって使用される。端末20の例として、パーソナルコンピュータ、タブレット、又は、スマートフォンが挙げられる。端末20は、クライアントと読み替えられてもよい。
Terminal 20 is used by
例えば、ユーザ2は、端末20で動作するWEBブラウザ又は所定のアプリケーションを通じて分類装置100にアクセスし、分類装置100が提供するサービスを利用する。以下の説明において、ユーザ2が分類装置100に行う操作は、ユーザ2が端末20を通じて分類装置100に行う操作であってよい。以下、分類装置100が提供するサービスについて詳しく説明する。
For example, the
<分類装置の構成>
図2~図4を参照して、実施の形態1に係る分類装置100の構成について説明する。図2は、実施の形態1に係る分類装置100の構成の一例を示すブロック図である。図3は、実施の形態1に係る公報DB101のデータ構造の一例を示す図である。図4は、実施の形態1に係る教師データDB103のデータ構造の一例を示す図である。図5は、実施の形態1に係る分類結果DB108のデータ構造の一例を示す図である。
<Structure of classification device>
The configuration of the
分類装置100は、公報DB101、教師データ生成部102、教師データDB103、モデル学習部104、モデル格納部105、分類対象入力部106、分類実行部107、分類結果DB108、UI制御部109、及び、モデル評価部110を備える。公報DB101、教師データDB103、モデル格納部105、及び、分類結果DB108は、図12に示すメモリ1002、ストレージ1003又はそれらの組み合わせによって実現されてよい。また、公報DB101、教師データDB103、モデル格納部105、及び、分類結果DB108は、格納部と読み替えられてもよい。教師データ生成部102、モデル学習部104、分類対象入力部106、分類実行部107、UI制御部109、及び、モデル評価部110は、図12に示すプロセッサ1001がメモリ1002又はストレージ1003から読み出したコンピュータプログラムを実行することにより実現されてよい。したがって、実施の形態1において、教師データ生成部102、モデル学習部104、分類対象入力部106、分類実行部107、UI制御部109、又は、モデル評価部110が主体として説明されている処理は、プロセッサ1001を主体とする処理に読み替えられてもよい。また、プロセッサ1001は、制御部、CPU(Central Processing Unit)、コントローラといった他の用語に読み替えられてもよい。
The
公報DB101は、複数の公報を格納及び管理するDB(DataBase)である。文献DBは、図3に例示するように、データ項目として、公報の出願番号、公報の出願人又は権利者名、及び、公報の要約書等を有してよい。公報の要約書等には、公報の要約書、公報の明細書、及び、特許請求の範囲のうちの少なくとも1つが含まれてよい。また、公報DB101は、更なるデータ項目を有してもよい。例えば、公報DB101は、更なるデータ項目として、公報の図面、特許分類情報(IPC,FI、Fターム等)、審査経過情報等を有してもよい。以下、公報DB101におけるデータ項目を、公報項目と称する。
The
公報DB101は、分類装置100に備えられなくてもよく、例えば、通信ネットワーク30に接続された、分類装置100とは異なるサーバ(図示しない)に備えられてもよい。この場合、分類装置100は、通信ネットワーク30を通じて、公報DB101にアクセスしてよい。
The
教師データ生成部102は、公報DB101から学習モデル120の学習に用いる公報を取得し、教師データを生成する。例えば、教師データ生成部102は、取得した公報に正解の分類(つまり正解ラベル)を付与して教師データを生成する。すなわち、教師データは、公報と当該公報に付与された正解の分類とを含む。ただし、教師データは、必ずしも公報の内容のすべてを含む必要はなく、例えば、出願番号に代表される公報の識別情報と、正解の分類とを含む構成であってもよい。正解の分類の付与は、ユーザ2によって行われてよい。また、教師データ生成部102は、後述する分類結果DB108に格納される分類結果情報を用いて教師データを生成してもよい。分類結果情報を用いて教師データを生成する方法の詳細については後述する(図10参照)。教師データ生成部102は、生成した教師データを、教師データDB103に格納する。
The teacher
教師データDB103は、教師データを格納及び管理するDBである。教師データDB103は、図4に例示するように、データ項目として、正解の分類(つまり正解ラベル)、及び、公報項目を有してよい。ただし、教師データDB103は、必ずしもこれらすべてのデータ項目を有する必要はなく、例えば、データ項目として、出願番号に代表される公報の識別情報と、正解の分類とを有する構成であってもよい。これにより、教師データDB103の容量を節約できる。この場合、モデル学習部104は、必要に応じて公報DB101から、出願番号をキーとして要約書等の情報を取得してよい。
The
モデル学習部104は、教師データDB103に格納されている教師データを用いて、例えば公知の教師有り学習方法によって、学習モデル120の学習を行う。学習モデル120は、ニューラルネットワーク又はディープニューラルネットワークとして構成され、
例えば、CNN(Convolutional Neural Network)として構成されてよい。ただし、学習モデル120は、CNNに限られず、例えば、RNN(Recurrent Neural Network)又はSVM(Support Vector Machine)等として構成されてもよい。モデル学習部104は、学習済みの学習モデル120をモデル格納部105に格納する。
The
For example, it may be configured as a CNN (Convolutional Neural Network). However, learning
分類対象入力部106は、公報DB101から分類対象の公報を取得し、その分類対象の公報を分類実行部107へ出力する。例えば、分類対象入力部106は、ユーザ2がまだ分類の確認を行っていない公報を、分類対象の公報として公報DB101から取得してよい。例えば、分類対象入力部106は、公報DB101に新たに登録された公報を、分類対象の公報として公報DB101から取得してよい。分類対象の公報には、まだ分類が付与されていないので、分類対象の公報は、未分類の公報と読み替えられてもよい。
The classification
分類実行部107は、モデル格納部105に格納されている学習モデル120を用いて、分類対象入力部106から入力された分類対象の公報に分類を付与する。以下、分類実行部107が付与した分類をAI分類と称する。
The
分類実行部107は、公報を入力した場合に、予め定められた複数の分類の各々のスコアを出力するように構成されてよい。例えば、分類1のスコア、分類2のスコア、及び、分類3のスコアを算出するように構成されている分類実行部107に公報を入力した場合、分類実行部107は、当該公報についての分類1のスコア、分類2のスコア、及び、分類3のスコアを出力する。ここで、分類のスコアは、公報がその分類に適合する度合の高さを示す値であってよい。
The
例えば、分類実行部107は、分類対象の公報を学習モデル120を用いて、学習モデル120が出力した各分類のスコアを得る。例えば、分類実行部107は、分類1のスコア「0.3」、分類2のスコア「0.5」、分類3のスコア「0.9」を得る。次に、分類実行部107は、算出した各分類のスコアに基づいて、公報に付与するAI分類を決定する。分類実行部107は、スコアの最も高い分類(つまり第1位のスコアを有する分類)を、AI分類として公報に付与してよい。例えば、分類実行部107は、分類1のスコア「0.3」、分類2のスコア「0.5」、分類3のスコア「0.9」を得た場合、スコアの最も高い分類3を、公報に付与するAI分類に決定してよい。
For example, the
また、分類実行部107は、分類対象の公報と、当該公報について得た各分類のスコアと、当該公報に付与したAI分類と、当該AI分類についてユーザ2が未確認であることを示す値「1」(仮評価)を設定した確認フラグと、を含む分類結果情報を生成する(図5参照)。分類実行部107は、生成した分類結果情報を、分類結果DB108に格納する。
In addition, the
分類結果DB108は、分類結果情報を格納するDBである。分類結果DB108は、図5に例示するように、データ項目として、公報項目と、各分類のスコアと、AI分類と、ユーザ分類と、確認フラグとを有してよい。すなわち、分類結果情報は、公報項目と、各分類のスコアと、AI分類と、ユーザ分類と、確認フラグとを含んでよい。ただし、分類結果DB108は、必ずしも図5に例示するすべてのデータ項目を有する必要はなく、例えば、後述する学習モデル120の分類精度の算出を行わない場合、分類結果DB108は、ユーザ分類を有さなくてもよい。
The
ユーザ分類には、ユーザ2が確認した分類が設定される。ユーザ2がAI分類を確認し、当該AI分類を修正しなかった場合、ユーザ分類には、当該AI分類がそのまま設定されてよい。ユーザ2がAI分類を確認し、当該AI分類を別の分類に修正した場合、ユーザ分類には、当該別の分類が設定されてよい。なお、ユーザ2がAI分類を未確認である場合、ユーザ分類は空欄であってよい。
The classification confirmed by the
確認フラグには、AI分類についてユーザ2が未確認であることを示す値「1」、又は、AI分類についてユーザ2が確認済みであることを示す値「2」が設定される。実施の形態1では、AI分類についてユーザ2が未確認であることを「仮評価」と称し、AI分類についてユーザ2が確認済みであることを「本評価」と称する。なお、上記の仮評価を示す値「1」及び本評価を示す値「2」は、互いに異なる値であれば、どのような値であってもよい。また、仮評価を示す値及び本評価を示す値は、文字又は記号等の情報であってもよい。仮評価を示す値は、第1の値又は未確認情報と読み替えられ、本評価を示す値は、第2の値又は確認済み情報と読み替えられてもよい。
The confirmation flag is set with a value of "1" indicating that the AI classification has not been confirmed by the
UI制御部109は、ユーザ2の端末20にUI画面200を表示させるためのUI情報を生成する。ユーザ2は、端末20に表示されたUI画面200を通じて、分類装置100が提供するサービスを利用できる。例えば、UI制御部109は、次の処理を行う。
The
UI制御部109は、分類結果DB108から、分類対象の分類結果情報を取得する。そして、UI制御部109は、取得した分類結果情報に含まれる公報項目と、各分類のスコアと、AI分類と、確認フラグに対応するマークとを表示させるUI情報を生成する。確認フラグに対応するマークは、確認フラグが「1」(仮評価)の場合、AI分類がユーザ2によって未確認であることを示す仮評価マークであり、確認フラグが「2」(本評価)の場合、AI分類がユーザ2によって確認済みであることを示す本評価マークであってよい。なお、確認フラグは確認情報、仮評価マークは第1の情報又は仮評価情報、本評価マークは第2の情報又は本評価情報と読み替えられてもよい。また、第1の情報及び第2の情報は、文字、数字、記号、及び、画像のいずれで表現されてもよい。
The
UI制御部109は、生成したUI情報を端末20に送信する。端末20は、受信したUI情報に基づいてUI画面200を表示し、ユーザ2の操作を受け付ける。なお、UI画面200の例については後述する(図6及び図7参照)。
モデル評価部110は、分類結果DB108の分類結果情報に基づいて、学習モデル120の分類精度を評価する。例えば、モデル評価部110は、分類結果DB108において、確認フラグが「2」(本評価)の分類結果情報の数(確認総数)と、これらの分類結果情報のうちAI分類とユーザ分類が一致する分類結果情報の数(以下、正解数という)とに基づいて、学習モデル120の分類精度(以下、正解率)を算出する。正解率は、例えば、「正解率=正解数/確認総数」として算出されてよい。なお、モデル評価部110は、正解率、適合率、再現率、特異度及びF値のうちの少なくとも1つを算出して、学習モデル120の分類精度を評価してもよい。
The
モデル評価部110は、算出した学習モデル120の分類精度を、モデル格納部105における当該学習モデル120に関連付けてよい。このように関連付けられた学習モデル120の分類精度は、後述するように、図9におけるS207の判定処理に用いられてよい。
The
<UI画面>
図6及び図7を参照して、UI画面200の一例について説明する。図6は、各分類のスコアのうち第1位のスコアが第1の閾値以上である場合のUI画面200の表示の一例を示す図である。図7は、各分類のスコアのうち第1位のスコアが第2の閾値未満である場合のUI画面200の表示例を示す図である。
<UI screen>
An example of the
端末20は、分類装置100から送信されるUI情報を受信及び解析し、図6又は図7に示すUI画面200を表示してよい。例えば、UI画面200は、各分類結果情報について、ステータス欄201、分類欄202、分類候補欄203、確認チェックボックス204、公報項目欄205を含む。すなわち、UI制御部109は、各分類結果情報について、ステータス欄201、分類欄202、分類候補欄203、確認チェックボックス204、公報項目欄205の内容を表示するためのUI情報を生成し、端末20に送信する。
The terminal 20 may receive and analyze UI information transmitted from the
ステータス欄201には、分類結果情報の確認フラグに対応するマークが表示される。例えば、ステータス欄201には、確認フラグが「1」の場合、仮評価マークが表示され、確認フラグが「2」の場合、本評価マークが表示される。
A
分類欄202には、ステータス欄201が仮評価マークである場合、分類結果情報のAI分類が表示されてよい。ユーザ2は、分類欄202の分類を修正できてよい。例えば、分類欄202は、コンボボックスとして構成されており、ユーザ2がクリックすると、分類候補のリストを表示する。ユーザ2は、その分類候補のリストから分類を1つ選択する。これにより、ユーザ2は、分類欄202の分類を修正できる。分類候補のリストには、スコアの高い順に分類が並べられてよい。あるいは、分類候補のリストには、分類候補欄203に表示される複数の分類が優先的に表示されてよい。あるいは、分類候補のリストには、予め定められた順(例えば分類名のアルファベット順)に分類が並べられてもよい。
The
なお、分類欄202には、ステータス欄201が本評価マークである場合、分類結果情報のユーザ分類が表示されてよい。この場合も、分類欄202は、上記同様、分類候補のリストを表示して、ユーザ2からのユーザ分類の修正を受け付けてよい。
Note that the
分類候補欄203には、スコアの高い順に所定数(例えば上位3つ)の分類名及びスコアが表示される。
In the
確認チェックボックス204は、ユーザ2が分類欄202に表示されたAI分類を確認した場合にチェック(オン)される。確認チェックボックス204は、確認欄と読み替えられてもよい。ユーザ2は、分類欄202に表示されたAI分類を修正しない場合、そのまま確認チェックボックス204をチェック(オン)してよい。ユーザ2は、分類欄202に表示されたAI分類を修正する場合、分類欄202のAI分類を別の分類に修正した後、確認チェックボックス204をチェック(オン)してよい。確認チェックボックス204がチェック(オン)された場合、UI制御部109は、分類欄202の分類を分類結果情報のユーザ分類に設定し、確認フラグを「2」(本評価)に設定する。すなわち、UI制御部109は、分類欄202の分類がAI分類である場合、AI分類をユーザ分類に設定し、分類欄202の分類が別の分類に修正されたものである場合、当該別の分類をユーザ分類に設定する。
A
公報項目欄205には、分類結果情報に含まれる公報項目(例えば出願番号、出願人又は権利者名、要約書等)が表示される。
The
分類実行部107は、分類結果DB108における分類結果情報の各分類のスコアにおいて、第1位のスコア(最も高いスコア)が第1の閾値以上である場合、分類結果情報のAI分類に、当該第1位のスコアの分類を設定してよい。この場合、図6に示すように、UI画面200の分類欄202には、第1位のスコアの分類名が表示されてよい。
When the first score (highest score) of the scores for each category of the classification result information in the
一方、分類実行部107は、分類結果DB108における分類結果情報の各分類のスコアにおいて、第1位のスコアが第2の閾値未満である場合、分類結果情報のAI分類に、「分類なし」を設定してよい。第2の閾値は、第1の閾値よりも小さい値である。この場合、図7に示すように、UI画面200の分類欄202には「分類なし」が表示され、UI画面200の所定の位置に、分類欄202の内容についてユーザに確認を促すマーク(以下、要確認マーク206という)が表示されてよい。これにより、ユーザ2は、適合の度合が不十分なAI分類が付与された公報を見逃すことなく、必要に応じて、当該公報に適切なユーザ分類を付与することができる。
On the other hand, when the score of each category of the classification result information in the
なお、分類実行部107は、分類結果情報の各分類のスコアにおける第1位のスコアが第2の閾値未満である場合、分類結果情報のAI分類に、当該第1位のスコアの分類を設定してもよい。この場合、UI画面200における分類欄202に第1位のスコアの分類名が表示され、UI画面200の所定の位置に要確認マーク206が表示されてよい。
Note that when the first score in the scores of each category of the classification result information is less than the second threshold, the
<分類処理の第1例>
図8を参照して、分類装置100が実行する分類処理の第1例について説明する。図8は、実施の形態1に係る分類処理の第1例を示すフローチャートである。
<First example of classification processing>
A first example of the classification process executed by the
S101として、モデル学習部104は、教師データDB103から、事前評価した教師データを取得する。
As S<b>101 , the
S102として、モデル学習部104は、S101にて取得した教師データを用いて、学習モデル120の学習を行う。モデル学習部104は、学習済みの学習モデル120をモデル格納部105に格納する。
As S102, the
S103として、分類対象入力部106は、公報DB101から分類対象の公報を取得し、分類実行部107へ出力する。
As S<b>103 , the classification
S104として、分類実行部107は、モデル格納部105に格納されている学習モデル120を使用して、S103にて取得した分類対象の公報の分類を行い、算出された当該公報に対する各分類のスコアを得る。
As S104, the
S105として、分類実行部107は、S104にて得た各分類のスコアに基づいてAI分類を決定する。例えば、分類実行部107は、スコアが最も高い分類をAI分類に決定する。加えて、分類実行部107は、その決定したAI分類、S104にて得た各分類のスコア、及び、確認フラグに「1」(仮評価)を設定した分類結果情報を生成し、分類結果DB108に格納する。S104からS105の処理は、複数の分類対象の公報のそれぞれについて行われてよい。
As S105, the
S106として、UI制御部109は、分類結果DB108から分類結果情報を取得し、当該分類結果情報に基づいてUI情報を生成し、端末20へ送信する。端末20は、UI情報に基づいて、図6又は図7に例示するUI画面200を表示する。
As S<b>106 , the
S107として、ユーザ2は、端末20に表示されたUI画面200を見て、分類欄202のAI分類が問題ない場合、そのまま確認チェックボックス204をチェック(オン)する。ユーザ2は、分類欄202のAI分類を修正したい場合、当該分類欄202において別の分類を選択(又は入力)し、確認チェックボックス204をチェック(オン)する。
As S107, the
S108として、UI制御部109は、S107のユーザ操作において分類欄202が修正されたか否かを判定する。
As S108, the
S108において分類欄202が修正されなかったと判定された場合(S108:NO)、S109として、UI制御部109は、分類結果DB108の分類結果情報において、AI分類をそのままユーザ分類に設定し、確認フラグを「2」(本評価)に設定する。
If it is determined in S108 that the
S108において分類欄202が修正されたと判定された場合(S108:YES)、S110として、UI制御部109は、分類結果DB108の分類結果情報において、分類欄202に入力された別の分類をユーザ分類に設定し、確認フラグを「2」(本評価)に設定する。
If it is determined in S108 that the
S107からS110の処理は、複数の分類結果情報のそれぞれについて行われてよい。そして、分類装置100は、本処理を終了する。
The processing from S107 to S110 may be performed for each of a plurality of pieces of classification result information. Then, the
上記の処理によれば、ユーザ2は、公報に付与されたAI分類が適切であるか否かを簡単に確認することができる。また、ユーザ2は、公報に付与されたAI分類が不適合である場合、簡単に別の分類を付与することができる。また、分類装置100は、ユーザ2によってAI分類が確認済みである公報と、ユーザ2によってAI分類が未確認である公報とを区別して管理することができる。
According to the above process, the
<分類処理の第2例>
図9を参照して、分類装置100が実行する分類処理の第2例について説明する。図9は、実施の形態1に係る分類処理の第2例を示すフローチャートである。分類装置100は、図8に示す分類処理の第1例と当該図9に示す分類処理の第2例とのいずれか一方を実行してもよい。あるいは、分類装置100は、ユーザ2からの指示に応じて、図8に示す分類処理の第1例、又は、当該図9に示す分類処理の第2例のいずれかを実行してもよい。
<Second example of classification processing>
A second example of the classification process executed by the
S201~S205として、分類装置100は、図8のS101~S105と同様の処理を実行する。
As S201 to S205, the
S206として、分類実行部107は、分類結果情報の各分類のスコアにおける第1位のスコアが第1の閾値以上であるか否かを判定する。
In S206, the
まず、S206において第1位のスコアが第1の閾値以上であると判定された場合(S206:YES)について説明する。 First, the case where it is determined in S206 that the first score is equal to or higher than the first threshold (S206: YES) will be described.
この場合、S207として、分類実行部107は、分類に利用した学習モデル120の分類精度が所定の閾値以上であるか否かを判定する。なお、学習モデル120の分類精度は、モデル評価部110によって評価されたものであってよい。
In this case, in S207, the
S207において学習モデル120の分類精度が所定の閾値未満であると判定された場合(S207:NO)、S220の処理が実行される。
When it is determined in S207 that the classification accuracy of the
S207において学習モデル120の分類精度が所定の閾値以上であると判定された場合(S207:YES)、S208として、分類実行部107は、仮評価スキップ設定がオンであるか否かを判定する。仮評価スキップ設定のオン又はオフは、ユーザ2によって予め設定されてよい。
When it is determined in S207 that the classification accuracy of the
S208において仮評価スキップ設定がオフであると判定された場合(S208:NO)、S220の処理が実行される。 If it is determined in S208 that the provisional evaluation skip setting is OFF (S208: NO), the process of S220 is executed.
S208において仮評価スキップ設定がオンであると判定された場合(S208:YES)、S209として、分類実行部107は、分類結果情報において、AI分類の内容をユーザ分類に設定する。
If it is determined in S208 that the provisional evaluation skip setting is ON (S208: YES), in S209 the
S210として、分類実行部107は、分類結果情報において、確認フラグに「2」(本評価)を設定する。
As S210, the
すなわち、分類結果情報の第1位のスコアが十分高く(すなわちAI分類の適合の度合が十分高く)、学習モデル120の分類精度が十分高く、ユーザ2がAI分類(つまり仮評価の分類)の確認をスキップしてもよい旨の設定をしている場合、分類実行部107は、その分類結果情報について、ユーザ2にAI分類(つまり仮評価の分類)を確認させることなく、AI分類の内容をユーザ分類とし、本評価としてもよい。これにより、公報に付与される分類の適合の度合を維持しつつ、ユーザ2の確認作業を低減することができる。
That is, the score of the first place in the classification result information is sufficiently high (that is, the degree of matching of the AI classification is sufficiently high), the classification accuracy of the
次に、S206において第1位のスコアが第1の閾値未満であると判定された場合(S206:NO)について説明する。 Next, the case where it is determined in S206 that the first score is less than the first threshold (S206: NO) will be described.
この場合、S220として、分類実行部107は、分類結果情報の確認フラグに「1」(仮評価)を設定する。
In this case, in S220, the
S221として、分類実行部107は、第1位のスコアが第2の閾値未満であるか否かを判定する。第2の閾値は、第1の閾値よりも小さい値である。
As S221, the
S221において第1位のスコアが第2の閾値以上であると判定された場合(S221:NO)、S223の処理が実行される。 If it is determined in S221 that the first score is equal to or greater than the second threshold (S221: NO), the process of S223 is executed.
S221において第1位のスコアが第2の閾値未満であると判定された場合(S221:YES)、S222として、分類実行部107は、分類結果情報においてAI分類に「分類なし」を設定する。そして、S223の処理が実行される。
If it is determined in S221 that the first score is less than the second threshold (S221: YES), in S222 the
S223として、UI制御部109は、図8に示すS106と同様、分類結果DB108から分類結果情報を取得し、当該分類結果情報に基づいてUI情報を生成し、端末20へ送信する。端末20は、UI情報に基づいて、図6又は図7に例示するUI画面200を表示する。ここで、UI制御部109は、分類結果情報においてAI分類に「分類なし」が設定されている場合、図7に例示するように、要確認マーク206を表示させるUI情報を生成してよい。
In S223, the
S224~S227として、分類装置100は、図8に示すS107~S110と同様の処理を実行する。そして、分類装置100は、本処理を終了する。
As S224-S227, the
上記の処理によれば、大量の公報に効率的に分類を付与できると共に、ユーザ2は不適合な分類を効率的に発見及び修正することができる。
According to the above processing, classification can be efficiently assigned to a large number of publications, and
<モデル再学習処理>
図10を参照して、分類装置100が実行するモデル再学習処理について説明する。図10は、実施の形態1に係るモデル再学習処理の一例を示すフローチャートである。当該モデル再学習処理は、図8又は図9に示した分類処理の実行後に、ユーザ2の指示よって開始されてよい。
<Model re-learning processing>
Model relearning processing executed by the
S301として、教師データ生成部102は、分類結果DB108から確認フラグが「2」(本評価)の分類結果情報を取得する。
As S<b>301 , the training
S302として、教師データ生成部102は、S301で取得した分類結果情報のユーザ分類を正解ラベルとして教師データを生成し、教師データDB103に格納する。このユーザ分類は、ユーザ2がAI分類を修正せずに確認チェックボックス204をチェック(オン)した場合、AI分類と共通であり、ユーザ2がAI分類を修正して確認チェックボックス204をチェック(オン)した場合、修正後の分類と共通である。
In S302, the training
S303として、モデル学習部104は、事前評価された教師データと、S302にて新たに生成された教師データとを教師データDB103から取得し、それら取得した教師データを用いて学習モデル120の再学習を実施する。そして、分類装置100は、本処理を終了する。
As S303, the
上記の処理によれば、ユーザ2によって確認又は修正された分類が付与された公報も教師データとして利用できるので、教師データの数及びバリエーションが増え、学習モデル120の分類精度が向上し得る。
According to the above process, since the publication to which the classification confirmed or corrected by the
<モデル評価処理>
図11を参照して、分類装置100が実行するモデル評価処理について説明する。図11は、実施の形態1に係るモデル評価処理の一例を示すフローチャートである。当該モデル評価処理は、ユーザの指示によって開始されてよい。
<Model evaluation processing>
Model evaluation processing executed by the
S401として、モデル評価部110は、分類結果DB108から確認フラグが「2」(本評価)の分類結果情報を取得する。
As S<b>401 , the
S402として、モデル評価部110は、S401にて取得した分類結果情報のうち、AI分類とユーザ分類とが一致する分類結果情報の数(正解数)をカウントする。
In S402, the
S403として、モデル評価部110は、S401で取得した分類結果情報の数(確認総数)と、S402でカウントした正解数とに基づいて、学習モデル120の分類精度(正解率)を算出する。そして、分類装置100は本処理を終了する。
As S403, the
なお、モデル評価部110は、上記の正解率に加え又は上記の正解率に代えて、適合率、再現率、特異度及びF値のうちの少なくとも1つを算出して、学習モデル120の分類精度を評価してもよい。
Note that the
<変形例>
なお、分類実行部107は、必ずしも学習モデル120を用いて公報に付与する分類を決定する必要はない。例えば、分類実行部107は、公知のルールベース又は機械学習に基づいて、公報に付与する分類(以下、システム分類という)を決定してもよい。この場合、図5に示す分類結果DB108の「AI分類」、及び、上述したUI制御部109が行う処理における「AI分類」は、「システム分類」に読み替えられてもよい。
<Modification>
Note that the
UI制御部109は、各分類のスコアに応じて、UI画面200における分類の表示方法を切り替えてよい。例えば、UI制御部109は、第1位のスコアが第1の閾値以上である場合(つまり第1位のスコアが高スコアである場合)、分類欄202に第1位のスコアの分類名のみを表示する。例えば、UI制御部109は、第1位のスコアが第1の閾値未満かつ第2の閾値以上(ただし第2の閾値は第1の閾値よりも小さい)である場合(つまり第1位のスコアが中スコアである場合)、分類欄202に第1位から第3位のスコアの分類名を表示する。例えば、UI制御部109は、第1位のスコアが第2の閾値未満である場合(つまり第1位のスコアが低スコアである場合)、要確認マーク206を表示する。あるいは、UI制御部109は、分類欄202に「分類なし」を表示する。なお、UI制御部109は、分類欄202に「分類なし」を表示すると共に、要確認マーク206を表示してもよい。
The
また、UI制御部109は、分類結果DB108において、第1位のスコアが低スコアである分類結果情報が存在する場合、その第1位のスコアが低スコアである複数の分類結果情報を抽出してユーザ2に確認させてもよい。これにより、ユーザ2は、不適合の可能性の高いAI分類が付与されている公報について、まとめて確認及び修正することができる。
Further, if there is classification result information with a low first score in the
また、UI制御部109は、第1位のスコアが低スコアである分類を分類欄202に表示する場合、適切な分類の見直し又は追加をユーザ2に促してよい。この場合、UI制御部109は、次の(A1)及び(A2)のうちの少なくとも1つを実施してもよい。
(A1)最近よく使用される検索式、急上昇ワード、又は、他のユーザの分類パターン等を具体的に提案する。
(A2)例えば、分類1、分類2、分類3という分類があって、本当は分類4となるべきものが推論対象となった場合、「分類なし」としつつ、分類4を提案する。
In addition, when the
(A1) Concretely suggest search formulas that are frequently used recently, trending words, classification patterns of other users, or the like.
(A2) For example, if there are
また、分類は親子関係を有する階層構造であってよい。例えば、親階層の分類数が10個であり、親階層の複数の分類のそれぞれに子階層の分類が10個ぶら下がるような階層構造であってよい。この場合、子階層の全体の分類数は100個となる。このような場合、子階層の各分類のサンプル数に偏りがあり、子階層の分類で高性能が出ない可能性がある。そこで、分類実行部107は、まず、第1の学習モデルで親階層の分類を行い、次に、親階層で振り分けられた各分類について、第2の学習モデルで子階層の分類を行ってよい。この子階層の分類の際、分類実行部107は、親子の組み合わせを考慮してもよい。
Also, the classification may be a hierarchical structure having a parent-child relationship. For example, the hierarchical structure may be such that the number of classifications in the parent hierarchy is 10, and 10 classifications in the child hierarchy hang from each of the plurality of classifications in the parent hierarchy. In this case, the total number of classifications in the child hierarchy is 100. In such a case, there is a bias in the number of samples for each classification in the child hierarchy, and high performance may not be achieved in the classification of the child hierarchy. Therefore, the
また、分類数n(nは2以上の整数)の教師データのうち、特定の分類のサンプル数が著しく少ない場合(例えば所定の閾値未満の場合)、そのサンプル数が著しく少ない分類を適切に判定することが難しい場合がある。例えば、学習モデルの学習において、分類1、分類2、分類3をそれぞれ100個の教師データで学習し、分類4、分類5、分類6をそれぞれ5個の教師データで学習した場合、当該学習モデルを用いて公報に精度良く分類4を付与することが難しい場合がある。そこで、モデル学習部104は、例えば、次の(B1)及び(B2)のうちの少なくとも1つを実施してもよい。
(B1)モデル学習部104は、分類4、分類5、分類6を1つの他分類として、第1の学習モデルの学習を行う。そして、モデル学習部104は、他分類の教師データを用いて、分類4、分類5、分類6について第2の学習モデルの学習を行う。分類実行部107は、まず、第1の学習モデルを用いて公報を分類1、分類2、分類3、他分類のいずれかに振り分け、次に、第2の学習モデルを用いて他分類に振り分けられた公報を分類4、分類5、分類6のいずれかに振り分ける。
(B2)モデル学習部104は、分類1、分類2、分類3について学習モデルの学習を行う。分類実行部107は、当該学習モデルが出力した推論結果として第1位のスコアが所定の閾値未満の場合、分類4、分類5、分類6のいずかであると判定する。
In addition, if the number of samples in a specific category is extremely small (for example, less than a predetermined threshold) in the training data with n classifications (n is an integer of 2 or more), the classification with the extremely small number of samples is appropriately determined. can be difficult to do. For example, in the learning of the learning model, if
(B1) The
(B2) The
<ハードウェア構成>
図12は、本開示に係る分類装置100及び端末20のハードウェアの構成の一例を示すブロック図である。
<Hardware configuration>
FIG. 12 is a block diagram showing an example of the hardware configuration of the
分類装置100及び端末20は、図12に示すコンピュータ1000として構成されてもよい。この場合、上述した分類装置100及び端末20が有する機能は、コンピュータ1000がコンピュータプログラムを実行することにより実現されてよい。
The
コンピュータ1000は、プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU(Graphics Processing Unit)1007、読取装置1008、及び、バス1009を備える。プロセッサ1001、メモリ1002、ストレージ1003、入力装置1004、出力装置1005、通信装置1006、GPU1007、読取装置1008は、バス1009に接続され、当該バス1009を介して双方向にデータを送受信できる。
プロセッサ1001は、メモリ1002又はストレージ1003に記憶されたコンピュータプログラムを実行し、上述した機能ブロックを実現する装置である。プロセッサ1001の例として、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、コントローラ、LSI(large scale integration)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field-Programmable Gate Array)が挙げられる。
The
メモリ1002は、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。メモリ1002は、ROM(Read-Only Memory)及びRAM(Random Access Memory)を含んでよい。
ストレージ1003は、不揮発性記憶媒体で構成され、コンピュータ1000が取り扱うコンピュータプログラム及びデータを記憶する装置である。ストレージ1003の例として、HDD(Hard Disk Drive)、SSD(Solid State Drive)、フラッシュメモリが挙げられる。
The
入力装置1004は、プロセッサ1001に入力するデータを受け付ける装置である。入力装置1004の例として、キーボード、マウス、タッチパッド、マイクが挙げられる。
The
出力装置1005は、プロセッサ1001が生成したデータを出力する装置である。出力装置1005の例として、ディスプレイ、スピーカーが挙げられる。例えば、ユーザは、出力装置1005に表示されたUI画面200を、入力装置1004を通じて操作することにより、所望のデータを入力又は選択してよい。
The
通信装置1006は、サーバ又は端末に代表される他の装置と、通信ネットワーク30を介して、データを送受信する装置である。通信装置1006は、データを送信する送信部とデータを受信する受信部とを含んでよい。通信装置1006は、有線通信及び無線通信の何れに対応してもよい。有線通信の例として、Ethernet(登録商標)が挙げられる。無線通信の例として、IEEE802.11、Bluetooth、LTE(Long Term Evolution)、4G、5Gが挙げられる。
The
GPU1007は、画像描写を高速に処理する装置である。なお、GPU1007は、AIの処理に利用されてもよい。例えば、GPU1007は、AI(学習モデル)の学習処理、及び/又は、AI(学習モデル)による分類処理に利用されてよい。
The
読取装置1008は、DVD-ROM(Digital Versatile Disk Read Only Memory)又はUSB(Universal Serial Bus)メモリといった記録媒体からデータを読み取る装置である。
The
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。 Although the embodiments have been described above with reference to the accompanying drawings, the present disclosure is not limited to such examples. It is obvious that a person skilled in the art can conceive of various modifications, modifications, substitutions, additions, deletions, and equivalents within the scope of the claims. It is understood that it belongs to the technical scope of the present disclosure. Also, the components in the above-described embodiments may be combined arbitrarily without departing from the spirit of the invention.
本開示の技術は、文書を分類する装置又はシステムに有用である。 The technology of the present disclosure is useful for devices or systems that classify documents.
2 ユーザ
10 分類システム
20 端末
30 通信ネットワーク
100 分類装置
101 公報DB
102 教師データ生成部
103 教師データDB
104 モデル学習部
105 モデル格納部
106 分類対象入力部
107 分類実行部
108 分類結果DB
109 UI制御部
110 モデル評価部
120 学習モデル
200 UI画面
201 ステータス欄
202 分類欄
203 分類候補欄
204 確認チェックボックス
205 公報項目欄
206 要確認マーク
2
102
104
109
Claims (15)
前記文書及び前記AI分類を表示させると共に、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を未確認であることを示す場合、前記AI分類は前記ユーザによって未確認であることを示す第1の情報を表示させ、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を確認済みであることを示す場合、前記AI分類は前記ユーザによって確認済みであることを示す第2の情報を表示させる制御部と、を備える、
分類装置。 Information in which a document is associated with an AI (Artificial Intelligence) classification indicating a classification assigned to the document using a learning model, and confirmation information indicating whether or not the user has confirmed the AI classification. a storage unit to be stored;
displaying the document and the AI classification, and indicating that the AI classification is unconfirmed by the user if the confirmation information associated with the document indicates that the user has not confirmed the AI classification; and displaying first information indicating that the AI classification has been confirmed by the user if the confirmation information associated with the document indicates that the user has confirmed the AI classification. A control unit that displays second information indicating
Classifier.
前記ユーザから前記文書の前記AI分類を確認した旨の指示を受け付ける確認欄をさらに表示させ、
前記確認欄に前記文書の前記AI分類を確認した旨の指示がされた場合、前記格納部において、前記文書に関連付けられる前記確認情報を、前記ユーザが前記AI分類を確認済みであることを示す確認済み情報に変更する、
請求項1に記載の分類装置。 The control unit
further displaying a confirmation field for receiving an instruction from the user to the effect that the AI classification of the document has been confirmed;
When the confirmation column indicates that the AI classification of the document has been confirmed, the confirmation information associated with the document is displayed in the storage unit to indicate that the user has confirmed the AI classification. change to confirmed information,
2. The sorting device of claim 1.
前記制御部は、前記スコアが最も高い分類を前記AI分類として表示させる、
請求項2に記載の分類装置。 in the storage unit, a score for each classification output for the document using the learning model is associated with the document;
The control unit causes the classification with the highest score to be displayed as the AI classification,
3. A sorting device according to claim 2.
請求項3に記載の分類装置。 The control unit displays a predetermined number of classifications in descending order of the score as input candidates for a classification different from the AI classification.
4. A sorting device according to claim 3.
請求項3又は4に記載の分類装置。 The control unit displays information indicating no classification as the AI classification when the score of the classification with the highest score is less than a predetermined threshold,
5. A sorting device according to claim 3 or 4.
請求項3から5のいずれか1項に記載の分類装置。 When the score of the classification with the highest score is less than a predetermined threshold, the control unit displays information prompting the user to confirm the AI classification.
A sorting device according to any one of claims 3 to 5.
前記ユーザから前記AI分類とは異なる分類が指示され、前記確認欄に前記AI分類を確認した旨の指示がされた場合、前記格納部において、その指示された前記AI分類とは異なる分類をユーザ分類として前記文書に関連付ける、
請求項2から6のいずれか1項に記載の分類装置。 The control unit
When a classification different from the AI classification is instructed by the user, and an instruction to the effect that the AI classification has been confirmed is given in the confirmation field, the user selects a classification different from the instructed AI classification in the storage unit. associate with said document as a classification;
A sorting device according to any one of claims 2 to 6.
請求項7に記載の分類装置。 When a classification different from the AI classification is not instructed by the user and an instruction to the effect that the AI classification has been confirmed is given in the confirmation field, the control unit stores the AI classification in the storage unit as the user classification. associate with said document as a classification;
8. A sorting device according to claim 7.
請求項8に記載の分類装置。 The control unit learns the learning model using, in the storage unit, the document associated with the confirmation information of the confirmed information and the user classification associated with the document as training data. ,
9. A sorting device according to claim 8.
請求項8又は9に記載の分類装置。 The control unit evaluates the classification accuracy of the learning model based on a comparison between the AI classification and the user classification of the plurality of documents associated with the confirmation information of the confirmed information in the storage unit. do,
10. A sorting device according to claim 8 or 9.
請求項10に記載の分類装置。 When the classification accuracy of the learning model is equal to or higher than a predetermined threshold, the control unit changes the confirmation information associated with the document to the confirmed information in the storage unit.
11. Classification device according to claim 10.
前記文書と、前記分類と、当該分類は前記学習モデルを用いて付与された仮の評価であることを示す仮評価情報とを表示させる制御部と、を備える、
分類装置。 a storage unit that stores information in which a document is associated with a classification given to the document using the learning model;
a control unit for displaying the document, the classification, and temporary evaluation information indicating that the classification is a temporary evaluation given using the learning model;
Classifier.
文書と、学習モデルを用いて当該文書に付与された分類を示すAI分類と、ユーザが前記AI分類を確認済みであるか否かを示す確認情報とが関連付けられている情報を格納部に格納し、
前記文書及び前記AI分類を表示させると共に、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を未確認であることを示す場合、前記AI分類は前記ユーザによって未確認であることを示す第1の情報を表示させ、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を確認済みであることを示す場合、前記AI分類は前記ユーザによって確認済みであることを示す第2の情報を表示させる、
分類方法。 A classification method for classifying documents by a device, comprising:
Information in which a document is associated with an AI classification indicating a classification assigned to the document using a learning model and confirmation information indicating whether or not the user has confirmed the AI classification is stored in a storage unit. death,
displaying the document and the AI classification, and indicating that the AI classification is unconfirmed by the user if the confirmation information associated with the document indicates that the user has not confirmed the AI classification; and displaying first information indicating that the AI classification has been confirmed by the user if the confirmation information associated with the document indicates that the user has confirmed the AI classification. to display second information indicating
Classification method.
文書と、学習モデルを用いて当該文書に付与された分類を示すAI分類と、ユーザが前記AI分類を確認済みであるか否かを示す確認情報とが関連付けられている情報を格納部に格納し、
前記文書及び前記AI分類を表示させると共に、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を未確認であることを示す場合、前記AI分類は前記ユーザによって未確認であることを示す第1の情報を表示させ、当該文書に関連付けられている前記確認情報が、前記ユーザが前記AI分類を確認済みであることを示す場合、前記AI分類は前記ユーザによって確認済みであることを示す第2の情報を表示させる、
ことをコンピュータに実行させるコンピュータプログラム。 A computer program for classifying documents, comprising:
Information in which a document is associated with an AI classification indicating a classification assigned to the document using a learning model and confirmation information indicating whether or not the user has confirmed the AI classification is stored in a storage unit. death,
displaying the document and the AI classification, and indicating that the AI classification is unconfirmed by the user if the confirmation information associated with the document indicates that the user has not confirmed the AI classification; and displaying first information indicating that the AI classification has been confirmed by the user if the confirmation information associated with the document indicates that the user has confirmed the AI classification. to display second information indicating
A computer program that makes a computer do something.
前記文書及び前記システム分類を表示させると共に、当該文書に関連付けられている前記確認情報が、前記ユーザが前記システム分類を未確認であることを示す場合、前記システム分類は前記ユーザによって未確認であることを示す第1の情報を表示させ、当該文書に関連付けられている前記確認情報が、前記ユーザが前記システム分類を確認済みであることを示す場合、前記システム分類は前記ユーザによって確認済みであることを示す第2の情報を表示させる制御部と、を備える、
分類装置。 a storage unit for storing information in which a document, a system classification indicating a classification assigned to the document by a system, and confirmation information indicating whether or not a user has confirmed the system classification are associated;
displaying the document and the system taxonomy, and indicating that the system taxonomy has not been verified by the user if the confirmation information associated with the document indicates that the user has not verified the system taxonomy; and displaying first information indicating that the system classification has been confirmed by the user if the confirmation information associated with the document indicates that the system classification has been confirmed by the user; A control unit that displays second information indicating
Classifier.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022196507A JP2023029991A (en) | 2020-12-28 | 2022-12-08 | Classification device, classification method, and computer program |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020219310A JP7199028B2 (en) | 2020-12-28 | 2020-12-28 | CLASSIFIER, CLASSIFICATION METHOD AND COMPUTER PROGRAM |
JP2022196507A JP2023029991A (en) | 2020-12-28 | 2022-12-08 | Classification device, classification method, and computer program |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020219310A Division JP7199028B2 (en) | 2020-12-28 | 2020-12-28 | CLASSIFIER, CLASSIFICATION METHOD AND COMPUTER PROGRAM |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023029991A true JP2023029991A (en) | 2023-03-07 |
Family
ID=82280233
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020219310A Active JP7199028B2 (en) | 2020-12-28 | 2020-12-28 | CLASSIFIER, CLASSIFICATION METHOD AND COMPUTER PROGRAM |
JP2022196507A Pending JP2023029991A (en) | 2020-12-28 | 2022-12-08 | Classification device, classification method, and computer program |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020219310A Active JP7199028B2 (en) | 2020-12-28 | 2020-12-28 | CLASSIFIER, CLASSIFICATION METHOD AND COMPUTER PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7199028B2 (en) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6814091B2 (en) * | 2017-05-12 | 2021-01-13 | 株式会社日立製作所 | Document classification system and document classification method |
JP2019087258A (en) * | 2017-11-07 | 2019-06-06 | 株式会社日立製作所 | Information processing device and document sorting method |
-
2020
- 2020-12-28 JP JP2020219310A patent/JP7199028B2/en active Active
-
2022
- 2022-12-08 JP JP2022196507A patent/JP2023029991A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7199028B2 (en) | 2023-01-05 |
JP2022104232A (en) | 2022-07-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Fawagreh et al. | Random forests: from early developments to recent advancements | |
CN109344884B (en) | Media information classification method, method and device for training picture classification model | |
CN110163647B (en) | Data processing method and device | |
TWI752455B (en) | Image classification model training method, image processing method, data classification model training method, data processing method, computer device, and storage medium | |
JP6235082B1 (en) | Data classification apparatus, data classification method, and program | |
US11675928B2 (en) | Electronic device for obfuscating and decoding data and method for controlling same | |
US11475218B2 (en) | Apparatus and method for providing sentence based on user input | |
JP6986978B2 (en) | Information processing equipment, information processing methods, and information processing programs | |
US11115359B2 (en) | Method and apparatus for importance filtering a plurality of messages | |
US11010687B2 (en) | Detecting abusive language using character N-gram features | |
TWI670628B (en) | Action evaluation model building apparatus and action evaluation model building method thereof | |
JP6199461B1 (en) | Information processing apparatus, information processing method, and program | |
WO2020241467A1 (en) | Information processing device, information processing method, and program | |
EP3523932B1 (en) | Method and apparatus for filtering a plurality of messages | |
JP7199028B2 (en) | CLASSIFIER, CLASSIFICATION METHOD AND COMPUTER PROGRAM | |
JP6890764B2 (en) | Teacher data generation system, teacher data generation method, and program | |
JP2021092834A (en) | Information processing apparatus, information processing method, and program | |
CN108875060B (en) | Website identification method and identification system | |
US20210117669A1 (en) | Electronic apparatus for patentability assessment and method for controlling thereof | |
JP2018036756A (en) | Message classification system, message classification method, and program | |
CN113255368A (en) | Method and device for emotion analysis of text data and related equipment | |
JP2023014159A (en) | Classification system, and classification method | |
Batra et al. | CovFakeBot: a machine learning based chatbot using ensemble learning technique for COVID-19 fake news detection | |
JP2024100020A (en) | Classification device, classifier training method, and computer program | |
CN117236347B (en) | Interactive text translation method, interactive text display method and related device |