JP2023038961A - Evaluated document diagnostic system - Google Patents
Evaluated document diagnostic system Download PDFInfo
- Publication number
- JP2023038961A JP2023038961A JP2021145845A JP2021145845A JP2023038961A JP 2023038961 A JP2023038961 A JP 2023038961A JP 2021145845 A JP2021145845 A JP 2021145845A JP 2021145845 A JP2021145845 A JP 2021145845A JP 2023038961 A JP2023038961 A JP 2023038961A
- Authority
- JP
- Japan
- Prior art keywords
- evaluated
- document
- search
- documents
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003745 diagnosis Methods 0.000 claims abstract description 27
- 238000011156 evaluation Methods 0.000 claims description 47
- 238000010586 diagram Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 description 20
- 238000011867 re-evaluation Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 238000000034 method Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断でき、評価済サーチ文献及び評価済ノイズ文献の適格性を向上する評価済文献診断システムを提供すること。【解決手段】評価済サーチ文献群と評価済ノイズ文献群を第１群から第Ｎ群に分類する分類ステップ、第１群に分類されない評価済サーチ文献群及び評価済ノイズ文献群にサーチ確率及びノイズ確率のいずれかの判定を行い、第Ｎ群に分類されない評価済サーチ文献群及び評価済ノイズ文献群にサーチ確率及びノイズ確率のいずれかの判定を行うＡＩ判定ステップ、順位値を文献に付与し、目標順位値を基準にして順位値によって、サーチ判別文献とノイズ判別文献に判別する文献判別ステップ、評価済サーチ文献がノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献とする偽陰性文献判断ステップ、偽陰性文献の文献データを出力する出力ステップを有する。【選択図】 図１[Problem] An evaluated document diagnosis system that can diagnose the eligibility of evaluated search documents and evaluated noise documents that have already been evaluated as search targets, and that improves the eligibility of evaluated search documents and evaluated noise documents. to provide. [Solution] A classification step of classifying the evaluated search literature group and the evaluated noise literature group into groups 1 to N, and the search probability and the evaluated search literature group and the evaluated noise literature group that are not classified into the first group. An AI judgment step in which one of the noise probabilities is determined, and one of the search probabilities and the noise probabilities is determined for the evaluated search literature group that is not classified into the Nth group and the evaluated noise literature group, and a ranking value is assigned to the documents. Then, there is a document discrimination step of discriminating search discrimination documents and noise discrimination documents according to the rank values based on the target rank value, and when the evaluated search documents are discriminated as noise discrimination documents, the evaluated search documents are classified as false negative documents. and an output step of outputting document data of the false negative documents. [Selection diagram] Figure 1
Description
本発明は、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とについての評価の適格性を診断する評価済文献診断システムに関する。 The present invention relates to an evaluated literature diagnostic system for diagnosing the eligibility of evaluation of evaluated search literature that has already been evaluated as a search target and evaluated noise literature that has already been evaluated as a noise target.
本出願人は、人工知能、アルゴリズム、又はあらかじめ設定された所定条件によって確率判定値が付与された未評価案件データの中から、評価対象案件データを選択する際の判断を容易とする特許調査支援方法を提案している（特許文献１）。
特許文献１によれば、第１の軸をサーチ確率、第２の軸をノイズ確率とする少なくとも２軸を有するグラフに表示されるプロットの散布状況を把握した上で評価対象案件データを選択できるため、サーチ対象確率判定値やノイズ対象確率判定値からでは判断しづらい境界を認識でき、評価対象案件データを的確に選択できる。
更に特許文献１によれば、抽出した評価対象案件データを評価し、評価した結果、テーマでは必要なサーチ対象案件であると評価されると第１群教師案件データに追加し、評価した結果、テーマでは不要なノイズ対象案件であると評価されると第２群教師案件データに追加することで、教師特許の件数を増やすことができ、更に的確なＡＩ（人工知能）判定を得ることができる。
The applicant has developed a patent search support system that facilitates judgment when selecting evaluation target case data from among unevaluated case data to which probability judgment values have been assigned by artificial intelligence, algorithms, or predetermined conditions set in advance. proposed a method (Patent Document 1).
According to
Furthermore, according to
このような人工知能による判定は、教師文献数を増やすことで精度を高めることができるが、教師文献自体の評価に揺れ幅があり、教師文献の揺れ幅が大きいと期待するＡＩ判定を得ることができない。 Such judgment by artificial intelligence can be improved in accuracy by increasing the number of teaching documents, but there is a fluctuation in the evaluation of the teaching document itself, and it is difficult to obtain an AI judgment that is expected to have a large fluctuation in the teaching document. can't
本発明は、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断でき、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる評価済文献診断システムを提供することを目的とする。 The present invention is capable of diagnosing the eligibility of evaluation of evaluated search documents and evaluated noise documents that have already been evaluated as search targets, and of improving the eligibility of evaluated search documents and evaluated noise documents. It is an object of the present invention to provide a complete literature diagnosis system.
請求項１記載の本発明の評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献と、既にノイズ対象として評価された評価済ノイズ文献とについての評価の適格性を診断する評価済文献診断システムであって、コンピュータが、複数の前記評価済サーチ文献からなる評価済サーチ文献群と複数の前記評価済ノイズ文献からなる評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する分類ステップと、前記第１群に分類された前記評価済サーチ文献群と前記第１群に分類された前記評価済ノイズ文献群とを第１教師文献として、前記第１群に分類されなかった前記評価済サーチ文献群と前記第１群に分類されなかった前記評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、前記第Ｎ群に分類された前記評価済サーチ文献群と前記第Ｎ群に分類された前記評価済ノイズ文献群とを第Ｎ教師文献として、前記第Ｎ群に分類されなかった前記評価済サーチ文献群と前記第Ｎ群に分類されなかった前記評価済ノイズ文献群とについて前記サーチ確率及び前記ノイズ確率の少なくともいずれかの判定を行うＡＩ判定ステップと、前記ＡＩ判定ステップで判定された前記サーチ確率及び前記ノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を前記文献に付与し、任意に設定できる目標順位値を基準にして、前記順位値によって前記文献を、サーチ判別文献とノイズ判別文献とに判別する文献判別ステップと、前記サーチ対象として評価されていた前記評価済サーチ文献が、前記ノイズ判別文献に判別されると、前記評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップと、前記偽陰性文献判断ステップで判断した前記偽陰性文献についての文献データを出力する出力ステップとを有することを特徴とする。
請求項２記載の本発明は、請求項１に記載の評価済文献診断システムにおいて、前記コンピュータが、前記ノイズ対象として評価されていた評価済ノイズ文献が、前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを有し、前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献についての文献データを出力することを特徴とする。
請求項３記載の本発明は、請求項１又は請求項２に記載の評価済文献診断システムにおいて、前記評価済サーチ文献として、第１評価による第１評価済サーチ文献と、前記第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての前記文献データを出力することを特徴とする。
請求項４記載の本発明は、請求項１から請求項３のいずれか１項に記載の評価済文献診断システムにおいて、前記偽陰性文献判断ステップで判断される前記偽陰性文献が所定数以下である場合には、前記出力ステップでは、前記評価済サーチ文献群が適格であることを出力することを特徴とする。
請求項５記載の本発明は、請求項１から請求項４のいずれか１項に記載の評価済文献診断システムにおいて、前記文献を特許文献としたことを特徴とする。
The evaluated literature diagnosis system of the present invention according to claim 1 diagnoses the eligibility of the evaluation of the evaluated search literature that has already been evaluated as a search target and the evaluated noise literature that has already been evaluated as a noise target. wherein a computer extracts an evaluated search document group consisting of a plurality of said evaluated search documents and an evaluated noise document group consisting of a plurality of said evaluated noise documents from a first group, respectively a classification step of classifying into Nth (N is an integer equal to or greater than 2) groups; At least one of the search probability and the noise probability is determined for the group of evaluated search documents that were not classified into the first group and the group of evaluated noise documents that were not classified into the first group as one teacher document. the evaluated search document group classified into the N-th group and the evaluated noise document group classified into the N-th group as N-th teacher documents, and the evaluation not classified into the N-th group an AI determination step of determining at least one of the search probability and the noise probability for the searched document group and the evaluated noise document group not classified into the N-th group; assigning rank values to the documents sorted by probability values using at least one of the search probability and the noise probability; A document discrimination step of discriminating into discriminated documents and noise discriminated documents, and when the evaluated search documents evaluated as the search target are discriminated as the noise discriminated documents, the evaluated search documents are classified as false negative documents. and an output step of outputting document data about the false-negative documents determined in the false-negative document determination step.
The present invention according to
According to the third aspect of the present invention, in the evaluated literature diagnosis system of the first or second aspect, the evaluated search literature includes a first evaluated search literature based on a first evaluation, and the first evaluation. has at least a second evaluated search document with a different second evaluation, and in the false-negative document determination step, the first evaluated search document as a first false-negative document, and the second evaluated search document as a first false-negative document is determined as the second false-negative document, and the output step outputs the document data for the first false-negative document and the second false-negative document.
The present invention according to
The present invention according to
本発明によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断でき、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。また、本発明によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。 According to the present invention, it is possible to diagnose the eligibility of the evaluation of the evaluated search literature and the evaluated noise literature that have already been evaluated as search targets, and output the literature data for the false negative literature. Evaluated search documents can be identified, and by reviewing the false negative documents, the eligibility of the evaluated search documents and the evaluated noise documents can be improved. In addition, according to the present invention, by discriminating search discrimination documents and noise discrimination documents based on a target rank value that can be set arbitrarily, the evaluated search documents and the evaluated noise documents are used as teacher documents to find unevaluated documents. When evaluating , the number of cases with this target rank value can be used as a guideline for the number of cases to be evaluated.
本発明の第１の実施の形態による評価済文献診断システムは、コンピュータが、複数の評価済サーチ文献からなる評価済サーチ文献群と複数の評価済ノイズ文献からなる評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する分類ステップと、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第１群に分類されなかった評価済サーチ文献群と第１群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、第Ｎ群に分類された評価済サーチ文献群と第Ｎ群に分類された評価済ノイズ文献群とを第Ｎ教師文献として、第Ｎ群に分類されなかった評価済サーチ文献群と第Ｎ群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行うＡＩ判定ステップと、ＡＩ判定ステップで判定されたサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を文献に付与し、任意に設定できる目標順位値を基準にして、順位値によって文献を、サーチ判別文献とノイズ判別文献とに判別する文献判別ステップと、サーチ対象として評価されていた評価済サーチ文献が、ノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップと、偽陰性文献判断ステップで判断した偽陰性文献についての文献データを出力する出力ステップとを有するものである。本実施の形態によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断できる。また、本実施の形態によれば、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。更に、本実施の形態によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。 In the evaluated literature diagnosis system according to the first embodiment of the present invention, a computer generates an evaluated search literature group consisting of a plurality of evaluated search literatures and an evaluated noise literature group consisting of a plurality of evaluated noise literatures, A classification step of classifying into the first group to the Nth group (N is an integer of 2 or more), and the evaluated search document group classified into the first group and the evaluated noise document group classified into the first group are performed. At least one of the search probability and the noise probability is determined for the group of evaluated search documents that were not classified into the first group and the group of evaluated noise documents that were not classified into the first group as the first teacher documents, Using the group of evaluated search documents classified into the N group and the group of evaluated noise documents classified into the N-th group as the N-th teacher document, the group of evaluated search documents not classified into the N-th group and the group of evaluated search documents not classified into the N-th group an AI determination step for determining at least one of the search probability and the noise probability with respect to the evaluated noise document group that has not been classified; and a probability value using at least one of the search probability and the noise probability determined in the AI determination step. A document discrimination step of discriminating a document into a search discrimination document or a noise discrimination document according to the ranking value based on a target ranking value that can be set arbitrarily, and evaluating it as a search target. When the evaluated search documents that have been evaluated are identified as noise discrimination documents, a false-negative document determination step of determining the evaluated search documents as false-negative documents, and the documents about the false-negative documents determined in the false-negative document determination step and an output step for outputting data. According to the present embodiment, it is possible to diagnose the eligibility of the evaluated search documents and the evaluated noise documents that have already been evaluated as search targets. Further, according to the present embodiment, by outputting document data for false-negative documents, evaluated search documents to be reconsidered can be specified, and by re-examining these false-negative documents, evaluated search documents and the eligibility of the evaluated noise literature can be improved. Furthermore, according to the present embodiment, by discriminating search discrimination documents and noise discrimination documents based on a target ranking value that can be set arbitrarily, the evaluated search documents and the evaluated noise documents are used as teacher documents, When evaluating evaluation literature, the number of cases with this target rank value can be used as a guideline for the number of evaluation objects.
本発明の第２の実施の形態は、第１の実施の形態による評価済文献診断システムにおいて、コンピュータが、ノイズ対象として評価されていた評価済ノイズ文献が、サーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップを有し、出力ステップでは、偽陽性文献判断ステップで判断した偽陽性文献についての文献データを出力するものである。本実施の形態によれば、偽陽性文献についての文献データを出力することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。 According to the second embodiment of the present invention, in the evaluated literature diagnosis system according to the first embodiment, when the evaluated noise literature that has been evaluated as a noise object is discriminated as a search discrimination document, It has a false-positive document determination step for determining the evaluated noise document as a false-positive document, and the output step outputs document data for the false-positive document determined in the false-positive document determination step. According to the present embodiment, by outputting document data for false-positive documents, evaluated noise documents to be reconsidered can be specified, and by re-examining the false-positive documents, evaluated search documents and evaluation The eligibility of published noise literature can be improved.
本発明の第３の実施の形態は、第１又は第２の実施の形態による評価済文献診断システムにおいて、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有し、偽陰性文献判断ステップでは、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップでは、第１偽陰性文献及び第２偽陰性文献についての文献データを出力するものである。本実施の形態によれば、評価が複数であってもそれぞれの評価の適格性を診断できる。 A third embodiment of the present invention provides, in the evaluated document diagnosis system according to the first or second embodiment, a first evaluated search document based on a first evaluation, a first evaluated search document, and a first evaluation as evaluated search documents. has at least a second evaluated search document with a different second evaluation, and in the false-negative document determination step, the first evaluated search document as the first false-negative document and the second evaluated search document as the second It is judged as a false-negative document, and in the output step, the document data for the first false-negative document and the second false-negative document are output. According to this embodiment, even if there are a plurality of evaluations, the eligibility of each evaluation can be diagnosed.
本発明の第４の実施の形態は、第１から第３のいずれかの実施の形態による評価済文献診断システムにおいて、偽陰性文献判断ステップで判断される偽陰性文献が所定数以下である場合には、出力ステップでは、評価済サーチ文献群が適格であることを出力するものである。本実施の形態によれば、評価済サーチ文献を未評価文献に対する教師文献として用いることができることを示唆できる。 The fourth embodiment of the present invention is the evaluated document diagnosis system according to any one of the first to third embodiments, when the number of false negative documents determined in the false negative document determination step is less than or equal to a predetermined number In the output step, it is output that the evaluated search document group is eligible. According to this embodiment, it can be suggested that evaluated search documents can be used as teacher documents for unevaluated documents.
本発明の第５の実施の形態は、第１から第４のいずれかの実施の形態による評価済文献診断システムにおいて、文献を特許文献としたものである。本実施の形態によれば、例えば所定期間のＳＤＩ（Selective Dissemination of Information）機能により抽出した特許の評価結果の適格性を診断でき、その後の評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。 According to the fifth embodiment of the present invention, the document is a patent document in the evaluated document diagnosis system according to any one of the first to fourth embodiments. According to the present embodiment, for example, it is possible to diagnose the eligibility of the evaluation results of patents extracted by the SDI (Selective Dissemination of Information) function for a predetermined period, and in the subsequent evaluation, the number of target ranking values is determined using AI judgment. can be used as a guideline for the number of cases to be evaluated, and the cases to be evaluated can be narrowed down to a part.
以下に、本発明の評価済文献診断システムの一実施例について説明する。
図１は本発明の一実施例における評価済文献診断システムのフローチャートである。
本実施例における評価済文献診断システムは、既にサーチ対象であると評価された評価済サーチ文献群と、既にノイズ対象として評価された評価済ノイズ文献群との評価の適格性を診断する。
データベースには、複数の評価済サーチ文献からなる評価済サーチ文献群と複数の評価済ノイズ文献からなる評価済ノイズ文献群とを蓄積している。
コンピュータは、分類ステップ（Ｓ１）、ＡＩ判定ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行う。なお、ＡＩ判定ステップ（Ｓ２）は、分類ステップ（Ｓ１）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うコンピュータとは別のコンピュータが行ってもよい。
An embodiment of the evaluated literature diagnosis system of the present invention is described below.
FIG. 1 is a flow chart of an evaluated literature diagnostic system in one embodiment of the present invention.
The evaluated literature diagnosis system in the present embodiment diagnoses the eligibility of evaluation of the evaluated search literature group already evaluated as a search target and the evaluated noise literature group already evaluated as a noise target.
The database accumulates an evaluated search document group consisting of a plurality of evaluated search documents and an evaluated noise document group consisting of a plurality of evaluated noise documents.
The computer performs a classification step (S1), an AI determination step (S2), a document determination step (S4), a false negative document determination step (S5), a false positive document determination step (S6), and an output step (S7). The AI determination step (S2) includes a classification step (S1), a document determination step (S4), a false negative document determination step (S5), a false positive document determination step (S6), and a computer that performs an output step (S7). may be performed by a different computer.
分類ステップ（Ｓ１）では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する。
ＡＩ判定ステップ（Ｓ２）では、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第１群に分類されなかった評価済サーチ文献群と第１群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、第Ｎ群に分類された評価済サーチ文献群と第Ｎ群に分類された評価済ノイズ文献群とを第Ｎ教師文献として、第Ｎ群に分類されなかった評価済サーチ文献群と第Ｎ群に分類されなかった評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行う。
設定ステップ（Ｓ３）では、システムの利用者によって任意の件数を目標順位値として設定できる。
文献判別ステップ（Ｓ４）では、ＡＩ判定ステップ（Ｓ２）で判定されたサーチ確率及びノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を文献に付与し、設定ステップ（Ｓ３）で設定された目標順位値を基準にして、順位値によって文献を、サーチ判別文献とノイズ判別文献とに判別する。
偽陰性文献判断ステップ（Ｓ５）では、サーチ対象として評価されていた評価済サーチ文献が、ノイズ判別文献に判別されると、評価済サーチ文献を偽陰性文献と判断する。
偽陽性文献判断ステップ（Ｓ６）では、ノイズ対象として評価されていた評価済ノイズ文献が、サーチ判別文献に判別されると、評価済ノイズ文献を偽陽性文献と判断する。
出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断した偽陰性文献についての文献データ、及び偽陽性文献判断ステップ（Ｓ６）で判断した偽陽性文献についての文献データを出力する。また、出力ステップ（Ｓ７）では、偽陰性文献判断ステップ（Ｓ５）で判断される偽陰性文献が所定数以下である場合、及び偽陽性文献判断ステップ（Ｓ６）で判断される偽陽性文献が所定数以下である場合の少なくともいずれか、好ましくは、偽陰性文献及び偽陽性文献が所定数以下である場合には、評価済サーチ文献群が適格であることを出力する。
再評価ステップ（Ｓ８）では、偽陰性文献判断ステップ（Ｓ５）で判断された偽陰性文献、及び偽陽性文献判断ステップ（Ｓ６）で判断された偽陽性文献について、利用者が再評価を行い、再評価の結果、評価済サーチ文献をノイズ文献に変更、又は評価済ノイズ文献をサーチ文献に変更する場合には、データベースに新たな評価済ノイズ文献又は評価済サーチ文献として登録する。
In the classification step (S1), the evaluated search document group and the evaluated noise document group are classified into
In the AI judgment step (S2), the group of evaluated search documents classified into the first group and the group of evaluated noise documents classified into the first group are used as the first teacher documents, and the evaluations not classified into the first group are evaluated. At least one of the search probability and the noise probability is determined for the already searched document group and the evaluated noise document group not classified into the first group, and the evaluated search document group classified into the Nth group and the Nth group Using the group of evaluated noise documents classified as Nth teacher document, the search probability and the noise for the group of evaluated search documents not classified into the Nth group and the group of evaluated noise documents not classified into the Nth group Determine at least one of the probabilities.
In the setting step (S3), the user of the system can set an arbitrary number as the target ranking value.
In the document determination step (S4), ranking values sorted by probability values using at least one of the search probability and noise probability determined in the AI determination step (S2) are given to the document, and in the setting step (S3) Based on the set target ranking value, the literature is classified into a search discrimination document and a noise discrimination document according to the ranking value.
In the false-negative literature determination step (S5), when the evaluated search literature that has been evaluated as a search target is determined to be noise discrimination literature, the evaluated search literature is determined to be a false-negative literature.
In the false-positive document determination step (S6), when the evaluated noise document evaluated as the noise target is determined as the search-discrimination document, the evaluated noise document is determined to be a false-positive document.
In the output step (S7), the document data on the false-negative documents determined in the false-negative document determination step (S5) and the document data on the false-positive documents determined in the false-positive document determination step (S6) are output. Further, in the output step (S7), if the number of false-negative documents determined in the false-negative document determination step (S5) is less than or equal to a predetermined number, and if the number of false-positive documents determined in the false-positive document determination step (S6) is predetermined and/or preferably, if the number of false-negative documents and false-positive documents is less than or equal to a predetermined number, output that the group of evaluated search documents qualify.
In the re-evaluation step (S8), the user re-evaluates the false-negative documents determined in the false-negative document determination step (S5) and the false-positive documents determined in the false-positive document determination step (S6), As a result of re-evaluation, when the evaluated search literature is changed to the noise literature or the evaluated noise literature is changed to the search literature, it is registered as a new evaluated noise literature or evaluated search literature in the database.
このようにして再評価を行った後に、改めて分類ステップ（Ｓ１）、ＡＩ判定ステップ（Ｓ２）、文献判別ステップ（Ｓ４）、偽陰性文献判断ステップ（Ｓ５）、偽陽性文献判断ステップ（Ｓ６）、及び出力ステップ（Ｓ７）を行うことで、評価済サーチ文献及び評価済ノイズ文献の評価の適格性を向上させることができ、その後の未評価文献を評価する際の適切な教師文献とすることができる。 After re-evaluating in this way, again the classification step (S1), the AI determination step (S2), the document determination step (S4), the false negative document determination step (S5), the false positive document determination step (S6), And by performing the output step (S7), it is possible to improve the eligibility of the evaluation of the evaluated search literature and the evaluated noise literature, and to use it as an appropriate teacher literature when evaluating the subsequent unevaluated literature. can.
図２は本実施例における評価済文献診断システムでの分類ステップ（Ｓ１）とＡＩ判定ステップ（Ｓ２）との説明図である。
なお、図２（ａ）に示すように、本実施例では、評価済サーチ文献群と評価済ノイズ文献群とを、それぞれ第１群から第４群に分類している。また、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを有している。このように、評価済サーチ文献として、第１評価による第１評価済サーチ文献と、第１評価とは異なる第２評価による第２評価済サーチ文献とを少なくとも有していてもよい。
図２（ａ）では、第１評価済サーチ文献が４０件、第２評価済サーチ文献が８０件、評価済ノイズ文献が１２００件である場合を示している。
４０件の第１評価済サーチ文献を、第１群に１０件、第２群に１０件、第３群に１０件、第４群に１０件に分類し、８０件の第２評価済サーチ文献を、第１群に２０件、第２群に２０件、第３群に２０件、第４群に２０件に分類し、１２００件の評価済ノイズ文献を、第１群に３００件、第２群に３００件、第３群に３００件、第４群に３００件に分類している。
なお、本実施例では、評価済サーチ文献及び評価済ノイズ文献を第１群から第４群に均等に分類しているが、必ずしも均等に分類しなくてもよく、また、必ずしも全ての文献を用いて分類しなくてもよいが、全ての評価済サーチ文献及び全ての評価済ノイズ文献を各群に分類することが好ましい。
FIG. 2 is an explanatory diagram of the classification step (S1) and the AI determination step (S2) in the evaluated literature diagnosis system in this embodiment.
As shown in FIG. 2A, in this embodiment, the evaluated search document group and the evaluated noise document group are classified into first to fourth groups, respectively. Also, as evaluated search documents, it has a first evaluated search document based on a first evaluation and a second evaluated search document based on a second evaluation different from the first evaluation. Thus, the evaluated search documents may include at least a first evaluated search document with a first evaluation and a second evaluated search document with a second evaluation different from the first evaluation.
FIG. 2A shows a case where there are 40 first-evaluated search documents, 80 second-evaluated search documents, and 1200 evaluated noise documents.
The 40 first-evaluated search documents were grouped into 10 in the first group, 10 in the second group, 10 in the third group, and 10 in the fourth group, and 80 second-evaluated searches. The documents are classified into 20 in the first group, 20 in the second group, 20 in the third group, and 20 in the fourth group, and 1200 evaluated noise documents are divided into 300 in the first group, They are classified into a second group of 300 cases, a third group of 300 cases, and a fourth group of 300 cases.
In this embodiment, the evaluated search documents and the evaluated noise documents are evenly classified into the first group to the fourth group. It is preferable to classify all evaluated search documents and all evaluated noise documents into each group, although they do not have to be classified using .
図２（ｂ）から図２（ｅ）は、ＡＩ判定ステップ（Ｓ２）における教師文献と判定文献との関係を示している。
図２（ｂ）では、第１群に分類された評価済サーチ文献群と第１群に分類された評価済ノイズ文献群とを第１教師文献として、第２群、第３群、及び第４群に分類された評価済サーチ文献群と、第２群、第３群、及び第４群に分類された評価済ノイズ文献群とを第１判定文献にすることを示している。
同様に、図２（ｃ）では、第２群に分類された評価済サーチ文献群と第２群に分類された評価済ノイズ文献群とを第２教師文献として、第１群、第３群、及び第４群に分類された評価済サーチ文献群と、第１群、第３群、及び第４群に分類された評価済ノイズ文献群とを第２判定文献にすることを示している。
また、図２（ｄ）では、第３群に分類された評価済サーチ文献群と第３群に分類された評価済ノイズ文献群とを第３教師文献として、第１群、第２群、及び第４群に分類された評価済サーチ文献群と、第１群、第２群、及び第４群に分類された評価済ノイズ文献群とを第３判定文献にすることを示している。
また、図２（ｅ）では、第４群に分類された評価済サーチ文献群と第４群に分類された評価済ノイズ文献群とを第４教師文献として、第１群、第２群、及び第３群に分類された評価済サーチ文献群と、第１群、第２群、及び第３群に分類された評価済ノイズ文献群とを第４判定文献にすることを示している。
FIGS. 2(b) to 2(e) show the relationship between the teacher literature and the judgment literature in the AI judgment step (S2).
In FIG. 2B, the group of evaluated search documents classified into the first group and the group of evaluated noise documents classified into the first group are used as the first teacher documents, and the second group, the third group, and the third group The group of evaluated search documents classified into four groups and the group of evaluated noise documents classified into the second, third, and fourth groups are designated as the first judgment documents.
Similarly, in FIG. 2(c), the group of evaluated search documents classified into the second group and the group of evaluated noise documents classified into the second group are used as the second teacher documents, and the first group and the third group , and the group of evaluated search documents classified into the fourth group, and the groups of evaluated noise documents classified into the first, third, and fourth groups as second judgment documents. .
Further, in FIG. 2(d), the group of evaluated search documents classified into the third group and the group of evaluated noise documents classified into the third group are used as the third teacher document, and the first group, the second group, and the group of evaluated search documents classified into the fourth group, and the group of evaluated noise documents classified into the first, second, and fourth groups to be the third judgment document.
Further, in FIG. 2(e), the group of evaluated search documents classified into the fourth group and the group of evaluated noise documents classified into the fourth group are used as the fourth teacher document, and the first group, the second group, and the group of evaluated search documents classified into the third group, and the group of evaluated noise documents classified into the first, second, and third groups to be the fourth judgment documents.
図３は本実施例における評価済文献診断システムでのＡＩ判定結果から、偽陰性文献判断及び偽陽性文献判断までを説明するためのイメージ図である。
図３に示すように、本実施例のＡＩ判定では、文献ごとにサーチ確率とノイズ確率とが付与される。確率差は、サーチ確率からノイズ確率を減算したものである。
図３では、確率差を確率値とし、確率値が大きい順にソートしており、ソートされた順位値を文献に付与している。なお、サーチ確率又はノイズ確率を確率値としてもよい。
評価の「Ａ」は第１評価済サーチ文献、「Ｂ」は第２評価済サーチ文献であることを示し、評価の「Ｘ」は評価済ノイズ文献であることを示している。
仮に、図３に示すように、設定ステップ（Ｓ３）で目標順位値を「１０」に設定した場合には、順位値が「１」から「１０」までをサーチ判別文献、順位値が「１１」以降をノイズ判別文献と判別される。
順位値が「１１」以降で評価が「Ａ」又は「Ｂ」である評価済サーチ文献は、偽陰性文献と判断される。
また、順位値が「１」から「１０」までで評価が「Ｘ」の評価済ノイズ文献は、偽陽性文献と判断される。
FIG. 3 is an image diagram for explaining the AI determination result, false negative document determination, and false positive document determination in the evaluated document diagnosis system in this embodiment.
As shown in FIG. 3, in the AI determination of this embodiment, search probability and noise probability are assigned to each document. The probability difference is the search probability minus the noise probability.
In FIG. 3, the probability difference is used as the probability value, the documents are sorted in descending order of the probability value, and the sorted rank values are assigned to the documents. Note that the search probability or noise probability may be used as the probability value.
A rating of "A" indicates the first rated search document, a rating of "B" indicates the second rated search document, and a rating of "X" indicates the rated noise document.
Assuming that the target ranking value is set to "10" in the setting step (S3) as shown in FIG. ” and later are discriminated as noise discrimination documents.
Evaluated search documents with a rank value of "11" or higher and a rating of "A" or "B" are determined to be false negative documents.
In addition, evaluated noise documents with rank values of "1" to "10" and evaluation of "X" are determined to be false positive documents.
図４は本実施例における評価済文献診断システムで出力される文献データのイメージ図である。
図４（ａ）は、偽陰性文献についての文献データのイメージ図であり、文献が特許文献である場合には、文献を特定する番号である「出願番号」、「発明の名称」「権利者・出願人」「筆頭ＩＰＣ」の他に、順位と評価を文献データとして出力する。なお、偽陽性文献についても同様に出力することができる。
図４（ｂ）は、目標順位値を「１００」に設定した場合に、特に偽陽性文献の順位を示している。図４（ｂ）では、評価が「Ａ」「Ｂ」「Ｃ」は評価済サーチ文献であることを示し、評価が「ゴミ」は評価済ノイズ文献であることを示している。
FIG. 4 is an image diagram of document data output by the evaluated document diagnosis system in this embodiment.
FIG. 4(a) is an image diagram of document data for false negative documents. In addition to the applicant's and 'leading IPC', the order and evaluation are output as document data. False-positive documents can also be output in the same manner.
FIG. 4B particularly shows the ranking of false positive documents when the target ranking value is set to "100". In FIG. 4B, evaluations of "A", "B", and "C" indicate evaluated search documents, and evaluations of "garbage" indicate evaluated noise documents.
図５は本実施例における評価済文献診断システムで出力される診断結果のイメージ図である。
図５（ａ）では、評価済サーチ文献数及び評価済ノイズ文献数を縦軸、目標順位値による文献判別を横軸として、それぞれの評価が一致する件数及び比率と、偽陰性文献及び偽陽性文献の件数及び比率を表示している。
また図５（ｂ）では、評価済サーチ文献と評価済ノイズ文献とについて、横軸を順位値とし、目標順位値に対して偽陰性文献や偽陽性文献がどの位置に存在しているかをグラフ表示している。また、グラフ中に目標順位値を表示することで、目標順位値の変更によって、偽陰性文献や偽陽性文献がどの程度増減又は減少するかを予測することができる。
なお、図５では、偽陰性文献及び偽陽性文献が存在しているが、偽陰性文献が所定数以下である場合、又は偽陰性文献及び偽陽性文献がともに所定数以下である場合には、評価済サーチ文献群が適格であることを出力することで、評価済サーチ文献を、未評価文献に対する教師文献として用いることができることを示唆できる。
FIG. 5 is an image diagram of a diagnosis result output by the evaluated document diagnosis system in this embodiment.
In FIG. 5(a), the vertical axis indicates the number of evaluated search documents and the number of evaluated noise documents, and the horizontal axis indicates document discrimination based on the target ranking value. The number and ratio of documents are displayed.
Also, in FIG. 5(b), the horizontal axis is the ranking value for the evaluated search literature and the evaluated noise literature, and the position of the false-negative literature and the false-positive literature with respect to the target ranking value is graphed. it's shown. In addition, by displaying the target ranking value in the graph, it is possible to predict how much the number of false-negative documents and false-positive documents will increase or decrease due to changes in the target ranking value.
In FIG. 5, there are false-negative documents and false-positive documents, but if the number of false-negative documents is less than a predetermined number, or if both the false-negative documents and false-positive documents are less than a predetermined number, By outputting that the group of evaluated search documents is qualified, it can be suggested that the evaluated search documents can be used as teacher documents for the unevaluated documents.
以上のように本実施例によれば、既にサーチ対象であると評価された評価済サーチ文献及び評価済ノイズ文献の評価の適格性を診断できる。
また、本実施例によれば、偽陰性文献についての文献データを出力することで、再検討すべき評価済サーチ文献を特定でき、この偽陰性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。
また、本実施例によれば、任意に設定できる目標順位値を基準にサーチ判別文献とノイズ判別文献とに判別することで、評価済サーチ文献及び評価済ノイズ文献を教師文献として用いて未評価文献を評価する際に、この目標順位値の件数を評価対象件数の目安にすることができる。
また、本実施例によれば、偽陽性文献についての文献データを出力することで、再検討すべき評価済ノイズ文献を特定でき、この偽陽性文献を再検討することで、評価済サーチ文献及び評価済ノイズ文献の適格性を向上させることができる。
また、本実施例によれば、偽陰性文献判断ステップでは、第１評価済サーチ文献については第１偽陰性文献として、第２評価済サーチ文献については第２偽陰性文献として判断し、出力ステップでは、第１偽陰性文献及び第２偽陰性文献についての文献データを出力することで、評価が複数であってもそれぞれの評価の適格性を診断できる。
このようにして、文献に対する評価結果の適格性を診断できる上に適格性を向上させることができ、その後の文献評価にあたってはＡＩ判定を利用して目標順位値の件数を評価対象件数の目安にでき、評価対象案件を一部に絞ることができる。
As described above, according to this embodiment, it is possible to diagnose the evaluation eligibility of the evaluated search documents and the evaluated noise documents that have already been evaluated as search targets.
Further, according to the present embodiment, by outputting document data for false negative documents, it is possible to identify the evaluated search documents to be reconsidered, and by reexamining the false negative documents, the evaluated search documents and The eligibility of the evaluated noise literature can be improved.
Further, according to the present embodiment, by discriminating search discrimination documents and noise discrimination documents based on an arbitrarily set target ranking value, the evaluated search documents and the evaluated noise documents are used as teacher documents and are not evaluated. When evaluating documents, the number of cases with this target rank value can be used as a guideline for the number of cases to be evaluated.
Further, according to the present embodiment, by outputting document data for false-positive documents, evaluated noise documents to be reconsidered can be identified, and by re-examining the false-positive documents, evaluated search documents and The eligibility of the evaluated noise literature can be improved.
Further, according to the present embodiment, in the false-negative document determination step, the first evaluated search document is determined as the first false-negative document, and the second evaluated search document is determined as the second false-negative document, and the output step By outputting document data for the first false-negative document and the second false-negative document, even if there are multiple evaluations, the eligibility of each evaluation can be diagnosed.
In this way, the eligibility of the evaluation results for the literature can be diagnosed and the eligibility can be improved, and in subsequent literature evaluation, the number of target ranking values is used as a guideline for the number of evaluation targets It is possible to narrow down the projects to be evaluated.
本発明は、国内における特許公報だけなく、中国や米国などの外国の特許公報などの特許文献や論文などの非特許文献にも適用できる。 The present invention can be applied not only to domestic patent publications, but also to patent documents such as patent publications of foreign countries such as China and the United States, and non-patent documents such as papers.
Claims (5)
コンピュータが、
複数の前記評価済サーチ文献からなる評価済サーチ文献群と複数の前記評価済ノイズ文献からなる評価済ノイズ文献群とを、それぞれ第１群から第Ｎ（Ｎは２以上の整数）群に分類する分類ステップと、
前記第１群に分類された前記評価済サーチ文献群と前記第１群に分類された前記評価済ノイズ文献群とを第１教師文献として、前記第１群に分類されなかった前記評価済サーチ文献群と前記第１群に分類されなかった前記評価済ノイズ文献群とについてサーチ確率及びノイズ確率の少なくともいずれかの判定を行い、前記第Ｎ群に分類された前記評価済サーチ文献群と前記第Ｎ群に分類された前記評価済ノイズ文献群とを第Ｎ教師文献として、前記第Ｎ群に分類されなかった前記評価済サーチ文献群と前記第Ｎ群に分類されなかった前記評価済ノイズ文献群とについて前記サーチ確率及び前記ノイズ確率の少なくともいずれかの判定を行うＡＩ判定ステップと、
前記ＡＩ判定ステップで判定された前記サーチ確率及び前記ノイズ確率の少なくともいずれかを用いた確率値でソートされた順位値を前記文献に付与し、任意に設定できる目標順位値を基準にして、前記順位値によって前記文献を、サーチ判別文献とノイズ判別文献とに判別する文献判別ステップと、
前記サーチ対象として評価されていた前記評価済サーチ文献が、前記ノイズ判別文献に判別されると、前記評価済サーチ文献を偽陰性文献と判断する偽陰性文献判断ステップと、
前記偽陰性文献判断ステップで判断した前記偽陰性文献についての文献データを出力する出力ステップと
を有する
ことを特徴とする評価済文献診断システム。 An evaluated literature diagnosis system for diagnosing eligibility for evaluation of evaluated search literature already evaluated as a search target and evaluated noise literature already evaluated as a noise target,
the computer
Classifying an evaluated search document group consisting of a plurality of the evaluated search documents and an evaluated noise document group consisting of the plurality of evaluated noise documents into first to N-th (N is an integer of 2 or more) groups, respectively. a classification step to
The group of evaluated search documents classified into the first group and the group of evaluated noise documents classified into the first group are set as first teacher documents, and the evaluated search not classified into the first group At least one of the search probability and the noise probability is determined for the document group and the evaluated noise document group not classified into the first group, and the evaluated search document group classified into the Nth group and the The group of evaluated noise documents classified into the N-th group is defined as an N-th teacher document, the group of evaluated search documents not classified into the N-th group and the evaluated noise documents not classified into the N-th group an AI determination step of determining at least one of the search probability and the noise probability with respect to the document group;
Giving ranking values sorted by probability values using at least one of the search probability and the noise probability determined in the AI determining step to the document, and based on a target ranking value that can be arbitrarily set, a document discrimination step of discriminating the document into a search discrimination document and a noise discrimination document according to the ranking value;
a false-negative document determination step of determining the evaluated search document as a false-negative document when the evaluated search document evaluated as the search target is determined as the noise-discriminating document;
and an output step of outputting document data about the false-negative documents determined in the false-negative document determination step.
前記ノイズ対象として評価されていた評価済ノイズ文献が、前記サーチ判別文献に判別されると、前記評価済ノイズ文献を偽陽性文献と判断する偽陽性文献判断ステップ
を有し、
前記出力ステップでは、前記偽陽性文献判断ステップで判断した前記偽陽性文献についての文献データを出力する
ことを特徴とする請求項１に記載の評価済文献診断システム。 The computer
a false-positive document determination step of determining the evaluated noise document as a false-positive document when the evaluated noise document evaluated as the noise target is determined as the search determination document;
2. The evaluated literature diagnosis system according to claim 1, wherein said outputting step outputs literature data about said false positive literature determined in said false positive literature determining step.
前記偽陰性文献判断ステップでは、前記第１評価済サーチ文献については第１偽陰性文献として、前記第２評価済サーチ文献については第２偽陰性文献として判断し、
前記出力ステップでは、前記第１偽陰性文献及び前記第２偽陰性文献についての前記文献データを出力する
ことを特徴とする請求項１又は請求項２に記載の評価済文献診断システム。 having at least a first evaluated search document with a first evaluation and a second evaluated search document with a second evaluation different from the first evaluation as the evaluated search documents,
In the false negative document determination step, the first evaluated search document is determined as a first false negative document, and the second evaluated search document is determined as a second false negative document,
3. The evaluated literature diagnosis system according to claim 1, wherein in said output step, said literature data of said first false-negative literature and said second false-negative literature are output.
ことを特徴とする請求項１から請求項３のいずれか１項に記載の評価済文献診断システム。 3. When the number of false-negative documents determined in the false-negative document determination step is equal to or less than a predetermined number, the output step outputs that the evaluated search document group is qualified. 4. An evaluated literature diagnostic system according to any one of claims 1-3.
ことを特徴とする請求項１から請求項４のいずれか１項に記載の評価済文献診断システム。
5. The evaluated document diagnosis system according to claim 1, wherein the document is a patent document.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021145845A JP7081859B1 (en) | 2021-09-08 | 2021-09-08 | Evaluated literature diagnostic system |
| JP2022081980A JP2023039399A (en) | 2021-09-08 | 2022-05-19 | Evaluated document diagnostic system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021145845A JP7081859B1 (en) | 2021-09-08 | 2021-09-08 | Evaluated literature diagnostic system |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022081980A Division JP2023039399A (en) | 2021-09-08 | 2022-05-19 | Evaluated document diagnostic system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP7081859B1 JP7081859B1 (en) | 2022-06-07 |
| JP2023038961A true JP2023038961A (en) | 2023-03-20 |
Family
ID=81926001
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021145845A Active JP7081859B1 (en) | 2021-09-08 | 2021-09-08 | Evaluated literature diagnostic system |
| JP2022081980A Pending JP2023039399A (en) | 2021-09-08 | 2022-05-19 | Evaluated document diagnostic system |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022081980A Pending JP2023039399A (en) | 2021-09-08 | 2022-05-19 | Evaluated document diagnostic system |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP7081859B1 (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014112283A (en) * | 2012-12-05 | 2014-06-19 | Docomo Technology Inc | Information processing device, information processing method, and program |
| JP2019087258A (en) * | 2017-11-07 | 2019-06-06 | 株式会社日立製作所 | Information processing apparatus, document classification method |
| JP2020085583A (en) * | 2018-11-21 | 2020-06-04 | セイコーエプソン株式会社 | Inspection device and inspection method |
-
2021
- 2021-09-08 JP JP2021145845A patent/JP7081859B1/en active Active
-
2022
- 2022-05-19 JP JP2022081980A patent/JP2023039399A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014112283A (en) * | 2012-12-05 | 2014-06-19 | Docomo Technology Inc | Information processing device, information processing method, and program |
| JP2019087258A (en) * | 2017-11-07 | 2019-06-06 | 株式会社日立製作所 | Information processing apparatus, document classification method |
| JP2020085583A (en) * | 2018-11-21 | 2020-06-04 | セイコーエプソン株式会社 | Inspection device and inspection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7081859B1 (en) | 2022-06-07 |
| JP2023039399A (en) | 2023-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108023876B (en) | Intrusion detection method and intrusion detection system based on sustainable ensemble learning | |
| Abdelaal et al. | Predicting cell populations in single cell mass cytometry data | |
| CN110352389B (en) | Information processing apparatus and information processing method | |
| Bobek et al. | Enhancing cluster analysis with explainable AI and multidimensional cluster prototypes | |
| Mgala et al. | Data-driven intervention-level prediction modeling for academic performance | |
| CN111046926B (en) | Computer vision image classification integrated learning method | |
| CN112396428A (en) | User portrait data-based customer group classification management method and device | |
| Arun et al. | Student academic performance prediction using educational data mining | |
| Dewantoro et al. | A decision support system for undergraduate students admissions using educational data mining | |
| Keskin et al. | Cohort fertility heterogeneity during the fertility decline period in Turkey | |
| JP2023038961A (en) | Evaluated document diagnostic system | |
| Abdulazeez et al. | Application of classification models to predict students’ academic performance using classifiers ensemble and synthetic minority over sampling techniques | |
| Simon et al. | Survey on data mining approach for analysis and prediction of student performance | |
| JP2004163416A (en) | Defect inspection equipment | |
| JP7349404B2 (en) | Judgment device, judgment method and judgment program | |
| JP7383311B2 (en) | Evaluated literature diagnosis system | |
| Silverman | Convolutional neural networks for cellular automata classification | |
| Andrade Martins et al. | Supervised machine learning techniques applied to medical records toward the diagnosis of rare autoimmune diseases | |
| CN118262125B (en) | Image classification model acquisition method, image classification method, device and equipment | |
| Buddarapu et al. | Data Shift in Legal AI Systems. | |
| US20240192210A1 (en) | Systems and methods for comprehensive and standardized immune system phenotyping and automated cell classification | |
| Parvej et al. | Machine Learning Classifiers for Predicting Influence of Digital Technology on Academic Performance of University Students | |
| CN117290610B (en) | University recruitment information recommendation method and system | |
| KR102750315B1 (en) | Dataset visualization device and method | |
| KR102750441B1 (en) | Artificial intelligence learning devices and methods capable of responding to changes in data labeling criteria |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210908 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210908 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220510 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220519 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7081859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |