JP7470369B2 - Apparatus, method, and program for searching reviewers for academic papers - Google Patents
Apparatus, method, and program for searching reviewers for academic papers Download PDFInfo
- Publication number
- JP7470369B2 JP7470369B2 JP2020014904A JP2020014904A JP7470369B2 JP 7470369 B2 JP7470369 B2 JP 7470369B2 JP 2020014904 A JP2020014904 A JP 2020014904A JP 2020014904 A JP2020014904 A JP 2020014904A JP 7470369 B2 JP7470369 B2 JP 7470369B2
- Authority
- JP
- Japan
- Prior art keywords
- paper
- reviewer
- papers
- group
- reviewed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 22
- 238000012552 review Methods 0.000 claims description 62
- 238000011160 research Methods 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 14
- 238000010801 machine learning Methods 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 6
- 230000000052 comparative effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、学術論文の査読者として相応しい研究者を検索する技術に関するものである。 The present invention relates to a technology for searching for researchers suitable to be reviewers of academic papers.
近年、学術論文の数が爆発的に増加している。２０１８年には約８４０万本の学術論文が発表され、毎年の発表論文数は指数関数的な速度で増加している。過去２００年間に発表された論文の約半数は直近１５年で発表されたものと言われている。
一方で、研究者は、毎年発表される膨大な数の論文の評価に多大な労力を費やしている。ここで、論文掲載における査読者選定の流れについて説明する。図１０に示すとおり、投稿論文は、論文の著者から学術誌などの雑誌の編集者に送られる。編集者は、投稿論文の評価を別の研究者（査読者）の評価をもとに雑誌に掲載するか否かを判断する。この査読者の選定手続きは、まず査読者の候補を複数抽出し、その中から候補者に依頼し確認をとって、査読者を決定することになる。原則として査読者の査読作業は無償である。査読者は、投稿論文の内容について問題がないかを確認し、問題があれば著者に修正等を依頼する。査読者は、編集者へ査読結果を回答し、編集者が論文の掲載可否を決定することになる。編集者の手元には膨大な数の原稿が日常的に送られており、さらに、分野横断的な研究が増加しているため、編集者の専門知識だけでは、論文に関連する研究者を見つけることが困難な状況になっており、効率良く査読者を探索できる仕組みが要望されている。
In recent years, the number of academic papers has exploded. Approximately 8.4 million academic papers were published in 2018, and the number of papers published each year is increasing at an exponential rate. It is said that about half of the papers published in the past 200 years were published in the last 15 years.
On the other hand, researchers spend a lot of effort to evaluate the huge number of papers published every year. Here, we will explain the flow of selecting reviewers for publishing a paper. As shown in Figure 10, a submitted paper is sent from the author of the paper to the editor of a magazine such as an academic journal. The editor decides whether to publish the submitted paper in the journal based on the evaluation of another researcher (reviewer). This reviewer selection procedure first extracts multiple candidates for reviewers, asks one of them to be a reviewer, and confirms it to determine the reviewer. In principle, the review work of the reviewer is free of charge. The reviewer checks whether there are any problems with the content of the submitted paper, and if there are any problems, asks the author to make corrections, etc. The reviewer responds with the review results to the editor, who decides whether to publish the paper. Editors are routinely sent a huge number of manuscripts, and furthermore, interdisciplinary research is increasing, so it is difficult for editors to find researchers related to a paper with their own expertise alone, and a system that can efficiently search for reviewers is required.
上記問題を解決するため、査読者を検索するための検索エンジンとして、Springer Nature 社のSpringer Reviewer Finder（非特許文献１を参照）や、Elsevier（登録商標）社のElsevier Reviewer Finder（非特許文献２を参照）が知られている。
上記非特許文献１又は２に開示された検索エンジンでは、原稿に含まれる単語からキーワードを特定して同じ単語をキーワードとする文献の著者を推薦する。しかし、キーワードが同じ論文であっても、以下に説明するとおり、必ずしも投稿論文と関連性があるとは限らない。例えば、物理の熱力学に関する論文では「エントロピー」という単語がキーワードになりやすい。しかし、エントロピーは、熱力学の他にも、通信、数学、統計に関する論文でもキーワードとなり得ることがあり、通信、数学、統計に関する論文と、熱力学の論文との関連は必ずしも高いとは言えないのである。そのため、非特許文献１又は２に開示された検索エンジンを用いて投稿論文の査読者を検索した場合には、十分な検索精度が得られないといった問題がある。
To solve the above problems, search engines for searching reviewers include Springer Nature's Springer Reviewer Finder (see Non-Patent Document 1) and Elsevier (registered trademark)'s Elsevier Reviewer Finder (see Non-Patent Document 2).
The search engine disclosed in the above-mentioned non-patent literature 1 or 2 identifies keywords from words contained in a manuscript and recommends authors of documents that use the same keywords. However, even if a paper has the same keyword, it is not necessarily related to the submitted paper, as will be explained below. For example, the word "entropy" is likely to be a keyword in a paper on thermodynamics in physics. However, entropy can also be a keyword in papers on communication, mathematics, and statistics other than thermodynamics, and it cannot be said that papers on communication, mathematics, and statistics are necessarily highly related to papers on thermodynamics. Therefore, when searching for reviewers of submitted papers using the search engine disclosed in the non-patent literature 1 or 2, there is a problem that sufficient search accuracy cannot be obtained.
一般に、査読者を選ぶ編集者は、投稿論文の中で引用された論文を辿って関連する論文を探し、その関連する論文の著者に査読を依頼することがある。投稿論文の中で引用された論文を引用する他の論文も関連する論文である。しかしながら、関連する論文の著者が投稿論文の技術に深く関与しており、査読者として適任か否かは、当該著者の論文数や研究歴を参酌しながら、また、過去の査読者選定手法を見ながら、編集者が判断することになるため、査読者選定には多大な労力がかかっている。さらに、上述の如く、編集者の手元には膨大な数の原稿が日常的に送られていること、分野横断的な研究が増加し、編集者の専門知識だけでは、論文に関連する研究者を見つけることが困難といった実状がある。 In general, editors who select peer reviewers will search for related papers by tracing the papers cited in the submitted paper, and may ask the authors of those related papers to review the paper. Other papers that cite papers cited in the submitted paper are also related papers. However, the authors of related papers are deeply involved in the technology of the submitted paper, and the editor must decide whether or not they are suitable to be peer reviewers by taking into account the number of papers and research history of the authors, as well as by looking at past peer review selection methods, so selecting peer reviewers requires a great deal of effort. Furthermore, as mentioned above, editors are routinely sent huge numbers of manuscripts, and interdisciplinary research is on the rise, making it difficult for editors to find researchers relevant to a paper using their own expertise alone.
かかる状況に鑑みて、本発明は、査読者として相応しい研究者を高精度で推薦可能な検索装置、検索方法及び検索プログラムを提供することを目的とする。 In light of this situation, the present invention aims to provide a search device, search method, and search program that can recommend researchers suitable as reviewers with a high degree of accuracy.
上記課題を解決すべく、本発明の査読者検索装置は、査読対象論文が引用する第１の関連論文と、第１の関連論文を引用する第２の関連論文とが含まれる論文の引用関係を解析し、査読対象論文の関連論文群を抽出する関連論文群抽出部と、関連論文群の中の関連論文の著者を含む査読候補者群を抽出する査読候補者群抽出部と、査読候補者群の各査読候補者について、査読対象論文との間で、関連論文群の中の関連論文に著者として関わっている度合いを関連度として算出する関連度算出部と、各査読候補者について、少なくとも関連度に基づいて、査読対象論文の査読者推薦度を出力する査読者推薦度出力部を備える。
In order to solve the above problem, the reviewer search device of the present invention includes a related paper group extraction unit that analyzes citation relationships between papers including a first related paper cited by the paper to be reviewed and a second related paper that cites the first related paper, and extracts a group of related papers for the paper to be reviewed; a review candidate group extraction unit that extracts a group of review candidates including authors of related papers in the group of related papers; a relevance calculation unit that calculates, for each review candidate in the group of review candidates, a degree of involvement as an author of a related paper in the group of related papers between the paper to be reviewed and the review candidate; and a reviewer recommendation level output unit that outputs, for each review candidate, a reviewer recommendation level for the paper to be reviewed based on at least the relevance.
論文において、文献の引用は、著者という人間の判断の結果である。そのため、単語だけでは捉えられない論文の内容に関する関連が、引用という情報には含まれている。このように、引用は論文の内容をもとに人間が判断して行うため、査読候補者の検索に論文の引用を用いることで、キーワードだけでは捉えられない論文の内容的な関連に基づいて査読者を推薦することができる。 In a paper, citations are the result of human judgment by the author. Therefore, citation information contains relevance to the content of the paper that cannot be captured by words alone. In this way, citations are made by human judgment based on the content of the paper, so by using citations to search for peer review candidates, it is possible to recommend peer reviewers based on the relevance of the content of the paper that cannot be captured by keywords alone.
本発明の査読者検索装置の関連論文群抽出部において、関連論文群は、査読対象論文が引用する第１の関連論文（＝査読対象論文が引用する論文）と、第１の関連論文を引用する第２の関連論文とが含まれることが好ましく、更に好ましくは、査読対象論文が引用する第１の関連論文と、第１の関連論文を引用する第２の関連論文と、第２の関連論文が引用する論文であって第１の関連論文以外の第３の関連論文とが含まれる。 In the related paper group extraction section of the reviewer search device of the present invention, the related paper group preferably includes a first related paper cited by the paper being reviewed (= a paper cited by the paper being reviewed) and a second related paper that cites the first related paper, and more preferably includes a first related paper cited by the paper being reviewed, a second related paper that cites the first related paper, and a third related paper cited by the second related paper that is other than the first related paper.
査読対象論文が引用する第１の関連論文は、査読対象論文が引用する論文（査読対象論文の引用論文）であるため、最も関連性が高い論文であるといえる。第１の関連論文を引用する第２の関連論文は、査読対象論文が直接引用する論文ではないが、査読対象論文が引用する論文と同一の論文を引用する論文であるため、関連性が高い論文であるといえる。また、第２の関連論文が引用する論文であって第１の関連論文以外の第３の関連論文についても、同じ第１の関連論文を引用する第２の関連論文が引用する論文であるため、関連性が高い論文であるといえる。 The first related paper cited by the paper under review is the paper cited by the paper under review (a cited paper of the paper under review), and therefore can be said to be the most relevant paper. The second related paper that cites the first related paper is not a paper directly cited by the paper under review, but it is a paper that cites the same paper as the paper under review, and therefore can be said to be a highly relevant paper. In addition, the third related paper cited by the second related paper, which is not the first related paper, can also be said to be a highly relevant paper, as it is a paper cited by the second related paper, which cites the same first related paper.
本発明の査読者検索装置において、査読候補者群は、関連論文群の著者と、関連論文群以外の論文の著者であって関連論文群の著者と共同執筆した共同著者が含まれることが好ましい。
関連論文群の著者は、当該論文に対する貢献度が高く査読候補者として相応しいと判断される可能性が高いからである。また、関連論文の著者だけでなく、その著者と共著がある研究者についても、ある程度関連する研究をしていると推察されるからである。
In the reviewer search device of the present invention, the group of reviewer candidates preferably includes authors of the related papers and co-authors of papers other than the related papers who have co-written with the authors of the related papers.
This is because authors of related papers are more likely to be judged as suitable reviewer candidates because they have contributed significantly to the paper in question. In addition, it is likely that not only the authors of related papers, but also the researchers who co-authored them are conducting research that is somewhat related to the research of the relevant authors.
本発明の査読者検索装置の関連度算出部において、関連論文群の著者における関連度は、関連論文群の中の関連論文に著者として多く関わっているほど高い度合いとして算出する。関連論文群の中の関連論文に著者として多く関わっているほど、査読対象論文に対する多くの知見を有する可能性が高いと考えられるからである。 In the relevance calculation unit of the reviewer search device of the present invention, the relevance of an author of a group of related papers is calculated to be higher the more involved the author is in the group of related papers. This is because it is considered that the more involved an author is in the group of related papers, the more likely he or she is to have knowledge about the paper being reviewed.
本発明の査読者検索装置の関連度算出部において、共同著者における関連度は、関連論文群の中の関連論文の著者との共同著者として多く関わっているほど高い度合いとして算出する。共同著者は、関連論文群の著者と多く関わっているほど、査読対象論文に対する多くの知見を有する可能性が高いと考えられるからである。 In the relevance calculation unit of the reviewer search device of the present invention, the relevance of a co-author is calculated to be higher the more involved the co-author is with the authors of related papers in the group of related papers. This is because it is considered that the more involved a co-author is with the authors of the group of related papers, the more likely he or she is to have knowledge of the paper being reviewed.
本発明の査読者検索装置は、査読者推薦度出力部において、関連度に加えて、各査読候補者について、研究キャリアの長さと、論文数と総被引用数に基づいて、査読対象論文の査読者推薦度を出力することが好ましい。
ここで、各査読候補者における論文数とは、査読候補者が既に公表した論文の数のことであり、論文数が多い査読候補者は、研究能力が高く、多くの知見を有する可能性が高いと推察できる。また、総被引用数とは、公表した全ての論文に対して、論文が引用された数の総数のことであり、総被引用数が多い査読候補者は、研究能力が高く、重要性の高い論文を発表している研究者である可能性が高いと推察できる。研究キャリアの長さとは、最初の論文を発表してからの経過年数を指し、経過年数が長いほど、長期に亘って研究を続けており多くの知見を有すると推察できる。
なお、論文数や総被引用数は、関連論文に関するものに限定してもよく、これにより、査読対象論文に関連する研究能力を推し量る物差しとして用いることができる。
It is preferable that the reviewer search device of the present invention outputs, in the reviewer recommendation level output unit, a reviewer recommendation level for the paper to be reviewed for each reviewer candidate based on the length of their research career, the number of papers, and the total number of citations, in addition to the relevance level.
Here, the number of papers for each peer review candidate refers to the number of papers that the peer review candidate has already published, and it can be inferred that a peer review candidate with a large number of papers has high research ability and is highly likely to have a wealth of knowledge. Additionally, the total number of citations refers to the total number of times that a paper has been cited for all published papers, and it can be inferred that a peer review candidate with a large number of total citations is highly likely to be a researcher with high research ability and who has published important papers. The length of a research career refers to the number of years that have passed since the first paper was published, and it can be inferred that the longer the number of years that have passed, the longer the researcher has continued research and the more knowledge they have.
In addition, the number of papers and total citations may be limited to those related to the paper, and thus can be used as a measure of research ability related to the paper being reviewed.
本発明の査読者検索装置において、査読者推薦度出力部は、過去の査読論文と査読者における関連度と、査読者の研究キャリアの長さと、査読者の論文数と総被引用数を特徴量とし、過去の査読論文と査読者と前記特徴量を用いて機械学習を行った学習モデルを用いて、査読対象論文の査読者推薦度を出力することが好ましい。
機械学習においては、具体的には順序学習を用いる。順序学習は、既にあるランキング結果からランキング方法の学習と模倣を行なう手法の総称で、主としてウェブページの検索エンジンに用いられるものである。
In the reviewer search device of the present invention, it is preferable that the reviewer recommendation level output unit uses the degree of relevance between past peer-reviewed papers and the reviewer, the length of the reviewer's research career, the number of papers and total number of citations of the reviewer as feature quantities, and outputs the reviewer recommendation level for the paper to be reviewed using a learning model that has been subjected to machine learning using the past peer-reviewed papers, the reviewers, and the feature quantities .
In machine learning, we specifically use sequence learning. Sequence learning is a general term for techniques that learn and imitate ranking methods from existing ranking results, and is primarily used in web page search engines.
本発明の査読者検索装置の査読者推薦度出力部は、査読候補者の研究キャリアの長さと関連度とを軸とするグラフ上に、査読者の論文数と総被引用数の少なくとも何れかをプロットのサイズとして表示し、プロットが選択されたことを検知すると査読候補者に関する情報を表示する。表示例としては、縦軸に関連度を表示し、横軸に最初の論文を発表してからの経過年数を表示し、執筆論文数をプロットのサイズとしたグラフをディスプレイに表示する。
The reviewer recommendation level output unit of the reviewer search device of the present invention displays at least one of the number of papers and the total number of citations of the reviewer as the size of a plot on a graph with the axis representing the length of the reviewer candidate's research career and the axis representing the relevance, and displays information about the reviewer candidate when it detects that the plot has been selected. As an example of the display, a graph is displayed on the display with the vertical axis representing the relevance, the horizontal axis representing the number of years since the first paper was published, and the number of papers written as the size of the plot.
本発明の査読対象論文の査読者検索方法は、下記１）～４）の各ステップを備える。
１）査読対象論文が引用する第１の関連論文と、第１の関連論文を引用する第２の関連論文とが含まれる論文の引用関係を解析し、査読対象論文の関連論文群を抽出する関連論文群抽出ステップ。
２）関連論文群の中の関連論文の著者を含む査読候補者群を抽出する査読候補者群抽出ステップ。
３）査読候補者群の各査読候補者について、査読対象論文との間で、関連論文群の中の関連論文に著者として関わっている度合いを関連度として算出する関連度算出ステップ。
４）各査読候補者について、少なくとも関連度に基づいて、査読対象論文の査読者推薦度を出力する査読者推薦度出力ステップ。
The method for searching for reviewers for a paper to be peer-reviewed of the present invention comprises the following steps 1) to 4).
1) A related paper extraction step of analyzing the citation relationships of papers that include a first related paper cited by the paper under review and a second related paper that cites the first related paper , and extracting a group of related papers of the paper under review.
2) A peer review candidate extraction step for extracting a peer review candidate group that includes authors of related papers from the group of related papers.
3) A relevance calculation step for calculating the degree of relevance between each of the peer review candidates in the group of peer review candidates and the paper being reviewed, the degree being related as an author to related papers in the group of related papers .
4) A reviewer recommendation output step of outputting, for each reviewer candidate, a reviewer recommendation level for the paper to be peer-reviewed based at least on the relevance.
本発明の査読者検索方法において、上記４）の査読者推薦度出力ステップは、過去の査読論文と査読者における関連度と、査読者の研究キャリアの長さと、査読者の論文数と総被引用数を特徴量とし、過去の査読論文と査読者と前記特徴量を用いて機械学習を行った学習モデルを用いて、査読対象論文の査読者推薦度を出力することが好ましい。
In the reviewer search method of the present invention, it is preferable that the reviewer recommendation level output step 4) uses the relevance between past peer-reviewed papers and the reviewer, the length of the reviewer's research career, and the number of papers and total number of citations of the reviewer as feature quantities, and outputs the reviewer recommendation level for the paper to be reviewed using a learning model that has been subjected to machine learning using the past peer-reviewed papers, the reviewers, and the feature quantities .
本発明の査読者検索プログラムは、上記の何れかの査読者検索方法における各ステップの全てをコンピュータに実行させるものである。 The reviewer search program of the present invention causes a computer to execute all of the steps in any of the reviewer search methods described above.
本発明の査読者検索装置、方法及びプログラムによれば、査読対象論文が引用する論文の引用関係を辿って分析し、関連する文献を特定し、その文献の著者の中から、査読者として相応しい研究者を高精度で推薦できるといった効果がある。 The reviewer search device, method, and program of the present invention have the effect of tracing and analyzing the citation relationships of papers cited by papers to be reviewed, identifying related papers, and recommending researchers suitable as reviewers from among the authors of those papers with a high degree of accuracy.
以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。 Below, an example of an embodiment of the present invention will be described in detail with reference to the drawings. Note that the scope of the present invention is not limited to the following examples and illustrated examples, and many modifications and variations are possible.
図１は、査読者検索装置の機能ブロック図を示している。図１に示すように、査読者検索装置１は、関連論文群抽出部２、査読候補者群抽出部３、関連度算出部４及び査読者推薦度出力部５を備える。
ここで、関連論文群抽出部２は、査読対象論文が引用する論文の引用関係を解析し、査読対象論文の関連論文群を抽出するものである。査読対象論文の関連論文群とは、査読対象論文が引用する論文（第１の関連論文）と、第１の関連論文を引用する他の論文（第２の関連論文）と、第２の関連論文が引用する論文であって査読対象論文が引用する論文（第１の関連論文）以外の論文（第３の関連論文）とが含まれる。関連論文については、後で図３を参照しながら説明する。
1 is a functional block diagram of a reviewer search device. As shown in FIG. 1, the reviewer search device 1 includes a related paper group extraction unit 2, a reviewer candidate group extraction unit 3, a relevance calculation unit 4, and a reviewer recommendation level output unit 5.
Here, the related paper group extraction unit 2 analyzes the citation relationships of papers cited by the paper to be reviewed and extracts a group of related papers of the paper to be reviewed. The group of related papers of the paper to be reviewed includes a paper cited by the paper to be reviewed (first related paper), another paper that cites the first related paper (second related paper), and a paper cited by the second related paper that is other than the paper cited by the paper to be reviewed (first related paper) (third related paper). The related papers will be described later with reference to FIG. 3.
査読候補者群抽出部３は、関連論文群の中の関連論文の著者を含む査読候補者群を抽出するものである。関連度算出部４は、査読候補者群の各査読候補者について、査読対象論文との関連度を算出するものである。ここで、査読対象論文との関連度（関連度合い）について説明する。関連度には２つの意味合いがあり、関連論文群の著者における場合と、関連論文群の共同著者の場合とで関連度の意味合いが異なる。関連論文群の著者における関連度は、関連論文群の中の関連論文に著者として多く関わっているほど高い度合いとして表れる。関連論文群の中の関連論文に著者として多く関わっているほど、査読対象論文に対する多くの知見を有する可能性が高いからである。一方、関連論文群の共同著者における関連度は、関連論文群の著者と多く関わっているほど高い度合いとして表れる。共同著者は、関連論文群の著者と多く関わっているほど、査読対象論文に対する多くの知見を有する可能性が高いからである。
そして、査読者推薦度出力部５は、各査読候補者について、関連度に基づいて、査読対象論文の査読者推薦度を出力する。
The peer review candidate group extraction unit 3 extracts a peer review candidate group including the authors of the related papers in the related paper group. The relevance calculation unit 4 calculates the relevance of each peer review candidate in the peer review candidate group to the paper to be reviewed. Here, the relevance (degree of relevance) to the paper to be reviewed will be described. There are two meanings of relevance, and the meaning of relevance differs between the author of the related paper group and the co-author of the related paper group. The relevance of the author of the related paper group is expressed as a higher degree the more involved he is in the related papers in the related paper group as an author. This is because the more involved he is in the related papers in the related paper group as an author, the more likely he is to have knowledge about the paper to be reviewed. On the other hand, the relevance of the co-author of the related paper group is expressed as a higher degree the more involved he is with the authors of the related paper group. This is because the more involved a co-author is with the authors of the related paper group, the more likely he is to have knowledge about the paper to be reviewed.
Then, the reviewer recommendation level output unit 5 outputs the reviewer recommendation level for the paper to be peer-reviewed for each reviewer candidate based on the relevance level.
図２は、査読者検索方法の概略フロー図を示している。図２に示すように、まず、査読対象論文が引用する論文の引用関係を解析し、査読対象論文の関連論文群を抽出する（ステップS01：関連論文群抽出ステップ）。次に、関連論文群の中の関連論文の著者を含む査読候補者群を抽出する（ステップS02：査読候補者群抽出ステップ）。査読候補者群の各査読候補者について、査読対象論文との関連度を算出する（ステップS03：関連度算出ステップ）。各査読候補者について、関連度に基づいて、査読対象論文の査読者推薦度を出力する（ステップS04：査読者推薦度出力ステップ）。 Figure 2 shows a schematic flow diagram of the reviewer search method. As shown in Figure 2, first, the citation relationships of papers cited by the paper to be reviewed are analyzed, and a group of papers related to the paper to be reviewed is extracted (step S01: related paper group extraction step). Next, a group of reviewer candidates including the authors of related papers from the group of related papers is extracted (step S02: reviewer candidate group extraction step). For each reviewer candidate in the group of reviewer candidates, the degree of relevance with the paper to be reviewed is calculated (step S03: relevance calculation step). For each reviewer candidate, the reviewer recommendation degree for the paper to be reviewed is output based on the relevance (step S04: reviewer recommendation degree output step).
（関連論文の検索について）
査読対象論文の引用関係を解析し、関連論文を抽出する。ここでは、引用関係の解析の方法について一例を説明する。図３は、査読対象論文が引用する論文と関連論文の引用関係の説明図を示している。図３に示すように、例えば、査読対象論文が引用する論文i1は、査読対象論文の技術内容と関連しているといえる（第１の関連論文）。また、論文i1を引用している論文i2も、査読対象論文の技術内容と関連するといえる（第２の関連論文）。さらに、査読対象論文と同様に、第２の関連論文i2が引用する論文であって第１の関連論文i1以外の論文i3（第３の関連論文）も、査読対象論文の技術内容と関連しているといえる。このため、具体的に、以下の手順で文献の引用関係を解析して、３種類の関連論文リストS1
paper、S2
paper、S3
paperを作成する。
(Searching for related papers)
The citation relationships of the papers to be reviewed are analyzed to extract related papers. Here, an example of a method for analyzing citation relationships is described. FIG. 3 is an explanatory diagram of the citation relationships between the papers cited by the papers to be reviewed and related papers. As shown in FIG. 3, for example, paper i 1 cited by the paper to be reviewed can be said to be related to the technical content of the paper to be reviewed (first related paper). Also, paper i 2 citing paper i 1 can be said to be related to the technical content of the paper to be reviewed (second related paper). Furthermore, similar to the paper to be reviewed, paper i 3 (third related paper), which is cited by the second related paper i 2 and is other than the first related paper i 1 , can also be said to be related to the technical content of the paper to be reviewed. For this reason, specifically, the citation relationships of the documents are analyzed in the following procedure to create three types of related paper lists S 1 paper , S 2 paper , and S 3 paper .
図４は、関連論文リストの作成フロー図を示している。図４に示すように、まず、関連論文リストS1 paper、S2 paper、S3 paperを空にする（ステップS11）。次に、査読対象論文が引用する論文i1を無作為に一つ選び、関連論文リストS1 paperに加える（ステップS12）。論文i1を引用している論文i2を無作為に一つ選び、関連論文リストS2 paperに加える（ステップS13）。論文i2が引用している論文i3を無作為に一つ選び、関連論文リストS3 paperに加える（ステップS14）。十分な繰り返しを行うまで、再度、S1 paper、S2 paper、S3 paperを空にせずに、ステップS12～S14を繰り返して行う（ステップS15）。 Figure 4 shows a flow diagram for creating a related paper list. As shown in Figure 4, first, the related paper lists S1paper, S2paper , and S3paper are emptied (step S11). Next, a paper i1 cited by the paper to be reviewed is randomly selected and added to the related paper list S1paper (step S12). A paper i2 that cites paper i1 is randomly selected and added to the related paper list S2paper (step S13). A paper i3 that paper i2 cites is randomly selected and added to the related paper list S3paper (step S14). Steps S12 to S14 are repeated again without emptying S1paper, S2paper, and S3paper until sufficient repetitions have been performed (step S15).
ステップS12～S15を複数回繰り返すため、S1 paper、S2 paper、S3 paperそれぞれのリストには同じ論文が複数回登場する。リストに登場しない、あるいは少ない頻度で登場する論文は査読対象の論文と関連が弱いと見做すことができる。一方で、リストに高い頻度で登場する論文は査読対象の論文と関連が強いと見做すことができる。この考え方の下、リスト内の各論文と査読対象の論文の関連度を、各論文がリストに占める割合で与える。 Because steps S12 to S15 are repeated multiple times, the same paper appears multiple times in each of the lists S1paper , S2paper , and S3paper . Papers that do not appear in the lists or that appear with a low frequency can be considered to have a weak relationship with the paper being reviewed. On the other hand, papers that appear with a high frequency in the lists can be considered to have a strong relationship with the paper being reviewed. Based on this idea, the relevance of each paper in the lists to the paper being reviewed is given by the proportion of the paper that each paper occupies in the list.
なお、実際にはステップS12～S15を何度も繰り返さず、論文の引用関係から関連度を解析的に計算することでもよい。具体的に、査読対象論文i0に対して、ステップS12～S15を繰り返したときに、ある論文iがリストSl paper（l＝1,2,3）に占める割合の期待値Xil paperは以下で与えられる。この期待値Xil paper（l＝1,2,3）が、ある論文iがS1 paper、S2 paper、S3 paperそれぞれのリストに占める割合になる。 In practice, steps S12 to S15 may not be repeated many times, and the relevance may be calculated analytically from the citation relationships of papers. Specifically, when steps S12 to S15 are repeated for a paper i 0 to be reviewed, the expected value Xilpaper of the proportion of a paper i in the list Slpaper (l = 1, 2, 3 ) is given as follows: This expected value Xilpaper (l = 1, 2, 3) is the proportion of a paper i in each of the lists S1paper , S2paper , and S3paper .
ここで、Aabは論文aが論文bを引用している場合には、Aab＝1、論文aが論文bを引用していない場合には、Aab＝0となる変数とした。また、di
outは、論文iが引用している論文数を意味し、di
inは、論文iが引用されている論文数、すなわち、論文iを引用している論文数である。Npは全ての論文数である。
例えば、査読対象論文i0が引用している論文数が20である場合、ある論文iがリストS1
paperに占める割合の期待値Xi1
paperは0.05となる。また、論文iを引用している論文数が50である場合、リストS2
paperに占める割合の期待値Xi2
paperは0.001（＝0.05／50）となる。
Here, A ab is a variable where A ab = 1 if paper a cites paper b, and A ab = 0 if paper a does not cite paper b. Additionally, d i out means the number of papers cited by paper i, and d i in is the number of papers that cite paper i, i.e., the number of papers that cite paper i. N p is the total number of papers.
For example, if the number of papers cited by a peer-reviewed paper i0 is 20, then the expected percentage of paper i in the list S1paper , X i1paper , is 0.05. If the number of papers citing paper i is 50, then the expected percentage of paper i in the list S2paper , X i2paper , is 0.001 (= 0.05/50).
（査読候補者の関連度の算出について）
関連論文リストの論文の著者は、査読対象論文と関連する研究を行っていると推察できる。著者の中でも多数の関連論文に著者として関わっている研究者は、そうでない研究者よりも、査読対象論文との関連度が高いと言える。そのため、以下の手順で査読候補者の関連度を算出する。
まず、関連論文リストSl
paperの各著者iに対して、著者が執筆した全著書のリストを作成する。著者iの全著書リストにはSl
paperに含まれない論文も含まれる。次に、著者iの著書リストに対して、上記式1、式2及び式3で与える論文の期待値Xil
paper（l＝1,2,3）の平均を計算し、これを著者iについての査読対象論文の関連度とする。すなわち、下記式4の通りとなる。ここで、Bijは、著者iが論文jの著者であればBij＝1、そうでなければBiｊ＝0となる変数である。また、ki
authorは、著者iの著書の総数である。
なお、本実施例では、論文の期待値Xil
paper（l＝1,2,3）の平均を計算しているが、例えば、査読対象論文が引用する論文の著者の重み付けを大きくすべく、期待値Xi1
paperの重み付けを他の2つとは変えて、重み付け平均を計算することでもよい。
(Calculation of relevance of peer review candidates)
It can be assumed that the authors of the papers in the related papers list are conducting research related to the paper being reviewed. Among the authors, researchers who are involved in many related papers as authors can be said to have a higher degree of relevance to the paper being reviewed than researchers who are not involved. Therefore, the relevance of the review candidates is calculated using the following procedure.
First, for each author i in the related paper list S l paper , a list of all books written by the author is created. The list of all books written by author i includes papers not included in S l paper . Next, for the book list of author i, the average of the expected values X il paper (l = 1, 2, 3) of papers given by Equations 1, 2, and 3 above is calculated, and this is used as the relevance of the peer-reviewed papers to author i. That is, it is as shown in Equation 4 below. Here, B ij is a variable such that B ij = 1 if author i is the author of paper j, and B ij = 0 if not. Additionally, k i author is the total number of books written by author i.
In this embodiment, the average of the paper expectation values X il paper (l = 1, 2, 3) is calculated. However, for example, in order to increase the weighting of the authors of papers cited by the peer-reviewed paper, the weighting of the expectation value X i1 paper may be changed from the other two and a weighted average may be calculated.
関連論文リストSl
paperの論文の著者だけでなく、その著者と共著がある研究者も著者と同様に関連する研究をしていると推察される。そこで、関連論文リストSl
paperの論文の著者に加えて、著者と共著がある共同著者を査読候補者に加えることでもよい。この共同著者の関連度について説明する。
まず、関連論文リストSl
paperの著者ｊの全著書リストを作成する。次に、著者jの論文リストに含まれる論文iの関連度を下記式5で計算する。
It is assumed that not only the authors of the papers in the related paper list S l paper , but also the researchers who co-authored with the authors are conducting related research. Therefore, in addition to the authors of the papers in the related paper list S l paper , co-authors who co-authored with the author can be added to the list of reviewer candidates. The relevance of these co-authors is explained below.
First, create a list of all books by author j in the related paper list S l paper . Next, calculate the relevance of paper i included in the paper list of author j using the following formula 5.
ここで、Naは全著者数、ki paperは論文iの著者数である。上記式5では、論文iの関連度について、論文iが関連論文リストSl paperに含まれる場合には、式1、式2及び式3で計算した期待値の平均を関連度とする。一方、論文iが関連論文リストSl paperに含まれない場合には、論文の著者の関連度Xj authorの平均で与える。次に、共同著者の関連度を計算する。計算した著者と共同著者の関連度を研究者の関連度とする。 Here, Na is the total number of authors, and k i paper is the number of authors of paper i. In the above formula 5, regarding the relevance of paper i, if paper i is included in the related paper list S l paper , the average of the expected values calculated by formulas 1, 2, and 3 is taken as the relevance. On the other hand, if paper i is not included in the related paper list S l paper , the average of the relevance of the paper's authors X j author is given. Next, the relevance of co-authors is calculated. The calculated relevance of the author and co-authors is taken as the relevance of the researcher.
（機械学習を行った学習モデルを用いた査読者推薦度の出力について）
前述の関連度の計算では、各著者iに対して３種類の関連度Xi1
author、Xi2
author及びXi3
authorを計算した。ここでは、これらの関連度を１つのスコアにまとめ、査読候補者のランキングを行なう。そのために順序学習を用いる。順序学習は、既にあるランキング結果からランキング方法の学習と模倣を行なう手法の総称で、主としてウェブページの検索エンジンに用いられている機械学習である。例えば、ウェブページの検索エンジンでは、ページの一覧をユーザーに提示する。ユーザーは提示されたページの中からいくつかのページをクリックし所望のページに遷移する。順序学習では、ユーザーは提示されたページをランキングし、順位が高いものをクリックしているとみなす。この考えの下、ユーザーのクリックの履歴とクリックされたページの特徴（キーワード、ページ数、作成日など）のパターンを学習し、ランキングを行なう。
(About the output of reviewer recommendation scores using a machine learning model)
In the calculation of relevance mentioned above, three types of relevance X i1 author , X i2 author , and X i3 author were calculated for each author i. Here, these relevance scores are combined into one score to rank the peer review candidates. To achieve this, we use sequence learning. Sequence learning is a general term for a method of learning and imitating ranking methods from existing ranking results, and is a type of machine learning that is mainly used in web page search engines. For example, a web page search engine presents a list of pages to the user. The user clicks on some of the presented pages to move to the desired page. In sequence learning, the user ranks the presented pages and is considered to click on the one with the highest ranking. Based on this idea, the ranking is performed by learning the user's click history and the patterns of the clicked pages' characteristics (keywords, number of pages, creation date, etc.).
査読候補者の検索においては、ユーザーが雑誌の編集者であり、検索対象は研究者である。すなわち、編集者は、査読対象論文に対する研究者の関連性や研究者の特徴(年齢や経験など) をもとに研究者のランキングを行い、ランキングの高い研究者に査読を依頼していると見做すことができる。順序学習法に過去に編集者が行った査読者の依頼履歴データを学習させて、査読対象論文の原稿の査読者の推薦度を出力する。順序学習の入力である研究者の特徴として、前述の関連度の計算において計算した３種類の関連度に加え、研究者が最初の論文を公表してからの経過年数ti（これを学術年齢という）や、研究者の生産性指標である著書数ki
author及び総被引用数ciを用いる。
本実施例の査読者検索装置１では、順序学習法の一つであるLambdaMartを用いて学習する。なお、LambdaMartに限らず、別の順序学習法、例えば、RankNetやLambdaRankを用いることでもよい。
In searching for peer review candidates, the user is a journal editor and the search targets are researchers. In other words, the editor can be considered to rank researchers based on their relevance to the paper being reviewed and their characteristics (age, experience, etc.), and to request peer reviews from researchers with higher rankings. The sequence learning method learns the history data of reviewer requests made by the editor in the past, and outputs the recommendation level of the reviewer for the manuscript of the paper being reviewed. In addition to the three types of relevance calculated in the calculation of relevance mentioned above, the characteristics of the researchers that are input for sequence learning include the number of years t i since the researcher published their first paper (called academic age), the number of books k i author , which are indicators of the researcher's productivity, and the total number of citations c i .
In the reviewer search device 1 of this embodiment, learning is performed using LambdaMart, which is one of the order learning methods. Note that, without being limited to LambdaMart, other order learning methods, for example, RankNet and LambdaRank, may also be used.
（実験に使用したデータについて）
機械学習において、教師用データとして使用するデータベースとして、Frontiers社が発行している全ての論文のデータベース（以下では「Frontiers」ともいう）を用いて学習器に学習させた。Frontiersは、11万本を超える論文に関するデータベースであり、原則として査読者の氏名を公表している。
また、論文の引用関係の調査用の論文データベースとして、Microsoft Academic Graph（MAG）を用いた（「Microsoft」は登録商標）。MAGには2019年4月現在で2億本以上の論文の引用関係が記録されている。
(Data used in the experiment)
In machine learning, a database of all papers published by Frontiers Inc. (hereafter referred to as "Frontiers") was used as training data for the learning machine. Frontiers is a database of over 110,000 papers, and in principle, the names of reviewers are made public.
In addition, we used Microsoft Academic Graph (MAG) as a paper database for investigating the citation relationships of papers. ("Microsoft" is a registered trademark.) As of April 2019, MAG records the citation relationships of more than 200 million papers.
FrontiersのデータとMAGデータは別々のデータであり、Frontiersのデータに記録されている査読者が、MAGデータに記録されているどの研究者であるかは対応が取れていない。Frontiersは、査読者毎に著書リストを作成しており、著書リスト中の論文は、DOI（Digital Object Identifier）コードを介してMAGデータに記録されている論文と対応が取れている。DOIコードを用いてFrontiersデータの全論文のうち、11万925本（97％）の論文で氏名を公表している9万3722名の査読者が、MAGデータのどの研究者であるかについて確認した。 The Frontiers data and the MAG data are separate data sets, and there is no correspondence between reviewers recorded in the Frontiers data and researchers recorded in the MAG data. Frontiers creates a book list for each reviewer, and papers in the book list are matched with papers recorded in the MAG data via DOI (Digital Object Identifier) codes. Using DOI codes, we confirmed which researchers in the MAG data correspond to the 93,722 reviewers whose names are published in 110,925 papers (97%) of all papers in the Frontiers data.
Frontiersのデータを教師データとし、図５に示すように、既知の査読対象論文と関連論文の関連度を算出し、関連度を特徴として学習器に入力させ、査読候補者リストにおける各査読候補者の推薦度を出力させる。そして教師データを用いて、過去に実際に査読者となった正解を与える。機械学習を繰り返し、出力の査読候補者の最も推薦度が高くなるように、機械学習の中で使用する係数を修正していき最適な値に補正する。 Using the Frontiers data as training data, as shown in Figure 5, the relevance between known peer-reviewed papers and related papers is calculated, the relevance is input as a feature into the learning machine, and the recommendation level of each peer review candidate in the peer review candidate list is output. The training data is then used to provide the correct answer, which is the actual reviewer in the past. Machine learning is repeated, and the coefficients used in the machine learning are revised and corrected to the optimal value so that the output peer review candidate has the highest recommendation level.
（実験結果について）
実験では、上述のとおり、上記LambdaMartの訓練にFrontiersの教師データを用いた。また、Frontiersのデータから500本の論文を無作為に抽出し、査読者検索装置に入力した。査読者検索装置は、上述したもの（実施例１の査読者検索装置）に加えて、関連論文群として、図６及び図７に示すように、査読対象論文が引用する第１の関連論文i1と、第１の関連論文を引用する第２の関連論文i2を用いて査読者を検索する査読者検索装置（これを実施例２の査読者検索装置とする）に対して、実験を行った。
実験は、各論文に対して20人の研究者を推薦し、実際の査読者が推薦される確率（ヒット率）を計算することで行った。実施例１、２の査読者検索装置との比較のため、第１の関連論文i1のみを用いた査読者検索装置（比較例１）、Springer Natureが開発したSpringer Reviewer Finderを用いた査読者検索装置（比較例２）に対して、同じ論文を入力し、出力された推薦結果のヒット率を計算した。Springer Reviewer Finderはキーワードに基づく査読者検索エンジンである。
(Regarding the experimental results)
In the experiment, as described above, the teacher data of Frontiers was used to train the LambdaMart. 500 papers were randomly extracted from the Frontiers data and input to the reviewer search device. In addition to the reviewer search device described above (the reviewer search device of the first embodiment), an experiment was conducted on a reviewer search device (hereinafter referred to as the reviewer search device of the second embodiment) that searches for a reviewer using a first related paper i1 cited by the paper to be reviewed and a second related paper i2 that cites the first related paper as a group of related papers, as shown in Figs. 6 and 7.
The experiment was conducted by recommending 20 researchers for each paper and calculating the probability (hit rate) that an actual reviewer was recommended. For comparison with the reviewer search devices of Examples 1 and 2, the same paper was input to a reviewer search device using only the first related paper i1 (Comparative Example 1) and a reviewer search device using Springer Reviewer Finder developed by Springer Nature (Comparative Example 2), and the hit rate of the output recommendation results was calculated. Springer Reviewer Finder is a keyword-based reviewer search engine.
図８は、各々の査読者検索装置のヒット率を示すグラフである。図８に示すように、推薦者数がr＝1人の場合、実施例１、実施例２、比較例１、比較例２のヒット率は何れも0.01未満である。推薦者数が2人以上の場合（r≧2）、実施例１のヒット率は、実施例２、比較例１及び比較例２のヒット率より高く、1≦r≦20の大半の推薦者数において、実施例１及び実施例２のヒット率は比較例１及び比較例２のヒット率のおおよそ２倍であることが判った。
以上から、実施例１及び実施例２の査読者検索装置１のヒット率は、従来から知られたSpringer Reviewer Finder（比較例２）の約２倍のヒット率を達成し得ることが判った。また実施例１及び実施例２の査読者検索装置１のヒット率の違いから、第１の関連論文i1及び第２の関連論文i2だけでなく、第３の関連論文i3を用いることで、より高いヒット率が得られることが判った。
Figure 8 is a graph showing the hit rate of each reviewer search device. As shown in Figure 8, when the number of recommenders is r = 1, the hit rates of Example 1, Example 2, Comparative Example 1, and Comparative Example 2 are all less than 0.01. When the number of recommenders is two or more (r ≥ 2), the hit rate of Example 1 is higher than the hit rates of Example 2, Comparative Example 1, and Comparative Example 2, and it was found that in most cases where the number of recommenders is 1 ≤ r ≤ 20, the hit rates of Example 1 and Example 2 are approximately twice the hit rates of Comparative Example 1 and Comparative Example 2.
From the above, it was found that the hit rate of the reviewer search device 1 of Examples 1 and 2 can achieve about twice the hit rate of the conventionally known Springer Reviewer Finder (Comparative Example 2). In addition, from the difference in hit rate between the reviewer search device 1 of Examples 1 and 2, it was found that a higher hit rate can be obtained by using not only the first related paper i1 and the second related paper i2 but also the third related paper i3 .
なお、実施例１の査読者検索装置１では、12人推薦したときのヒット率が約0.1である。すなわち、査読候補者を12人推薦したとき、実際の査読者のうち少なくとも1人が推薦される確率は0.1である。これは実用上あまり良いヒット率とはいえないとも言える。しかし、ヒット率の低さは査読を断った研究者の情報秘匿も関係している。具体的に、評価に利用したFrontiersのデータでは査読を実際に受けた人しか記録されていない。そのため、推薦者の中に編集者が査読を依頼した研究者がいたとしても、査読が断られた場合は依頼の有無は記録されないため、ヒット率が低下する。また、氏名の公表に同意しなかった査読者がいる場合もデータとして記録されないため、ヒット率が低下する。
編集者は研究の関連性だけで査読者を選ばない。査読を頼みやすい親しい人に依頼する、又は編集者自身で査読するといった場合もある。そのような場合、研究の関連性とは別の基準で査読者が選ばれているため、実施例１，２の査読者検索装置１では推薦されず、ヒット率の低下につながっているといえる。研究の関連性に基づいて査読者を選んだ論文に限定した場合、ヒット率はより高くなることが推察される。
In the reviewer search device 1 of the first embodiment, the hit rate is about 0.1 when 12 reviewers are recommended. That is, when 12 reviewer candidates are recommended, the probability that at least one of the actual reviewers will be recommended is 0.1. This is not a very good hit rate in practice. However, the low hit rate is also related to the confidentiality of information about researchers who declined to review. Specifically, the Frontiers data used for the evaluation only records people who actually received peer reviews. Therefore, even if there is a researcher who was requested by the editor to review among the recommenders, if the review was declined, the presence or absence of the request is not recorded, so the hit rate decreases. In addition, if there is a reviewer who did not agree to the publication of their name, this is not recorded as data, so the hit rate decreases.
Editors do not select reviewers based solely on research relevance. In some cases, they may request peer reviews from familiar people who are easy to ask, or may review the paper themselves. In such cases, reviewers are selected based on criteria other than research relevance, and therefore are not recommended by the reviewer search device 1 of Examples 1 and 2, which leads to a lower hit rate. It is expected that the hit rate would be higher if the search were limited to papers whose reviewers were selected based on research relevance.
（査読者推薦度の出力について）
図９は、査読者推薦度の出力イメージ図である。図９のグラフにおいて、縦軸は関連度を表しており、高いほど査読対象論文の査読候補者としてより強く推薦されていることを示している。横軸は研究キャリア（学術年齢）であり、最初の論文を発表してからの経過年数を示している。グラフ内のバブル形状のプロットは、査読候補者を示しており、バブルの円の大きさは執筆論文数に比例するように表している。プロットの形状の違いは、著者と同姓同名の査読者は□で表示し、その他は○で表示している。表示されるグラフ中のプロット７を選択すると、査読候補者情報表示エリア８がポップアップウインドウで表示され、査読候補者の詳細情報を確認することができる。
なお、ここでは図示しないが、査読対象論文と関連論文の発表年の時期的関係を色分けしてもよい。かかる場合、例えば、最近発表された論文であることを表すのに特定の色（例えば、赤色）で塗潰しをしてもよい。
図９に示すような表示画面を用いて、ユーザー（図示せず）は、関連度、研究キャリア及び執筆論文数を総合的に勘案して、査読候補者から査読者を選択することが可能である。
(About the output of reviewer recommendation level)
Figure 9 shows an image of the output of the reviewer recommendation level. In the graph in Figure 9, the vertical axis represents the relevance level, and the higher the level, the more strongly a person is recommended as a reviewer candidate for the paper being peer-reviewed. The horizontal axis represents research career (academic age), showing the number of years since the first paper was published. The bubble-shaped plots in the graph indicate the reviewer candidates, and the size of the bubble circle is proportional to the number of papers written. The difference in the shape of the plots is that reviewers with the same name as the author are displayed as squares, and others are displayed as circles. When a plot 7 in the displayed graph is selected, the reviewer candidate information display area 8 is displayed in a pop-up window, and detailed information about the reviewer candidate can be confirmed.
Although not shown here, the peer-reviewed paper and related papers may be color-coded to indicate the chronological relationship of their publication years. In such a case, for example, a specific color (e.g., red) may be used to indicate that the paper was recently published.
Using a display screen such as that shown in FIG. 9, a user (not shown) can select a reviewer from among the review candidates, taking into consideration the relevance, research career, and number of papers written.
本発明は、論文の評価に相応しい査読者を推薦する技術として有用である。また、例えば、ある研究者を評価するための外部の評価者の検索や、共同研究を促進するための研究者のマッチングに利用可能である。さらに、学術界における応用に留まらず、例えば、特許文献の引用関係からある特許文献に関連する特許文献や発明者等の検索に利用可能である。 The present invention is useful as a technology for recommending reviewers suitable for evaluating papers. It can also be used, for example, to search for external evaluators to evaluate a researcher, or to match researchers to promote collaborative research. Furthermore, beyond its application in academia, it can be used, for example, to search for patent documents and inventors related to a certain patent document based on the citation relationships of the patent document.
１ 査読者検索装置
２ 関連論文群抽出部
３ 査読候補者群抽出部
４ 関連度算出部
５ 査読者推薦度出力部
７ プロット
８ 査読候補者情報表示エリア
1 Reviewer search device 2 Related paper group extraction unit 3 Review candidate group extraction unit 4 Relevance calculation unit 5 Reviewer recommendation level output unit 7 Plot 8 Review candidate information display area
Claims (10)
前記関連論文群の中の関連論文の著者を含む査読候補者群を抽出する査読候補者群抽出部と、
前記査読候補者群の各査読候補者について、査読対象論文との間で、関連論文群の中の関連論文に著者として関わっている度合いを関連度として算出する関連度算出部と、
各査読候補者について、少なくとも前記関連度に基づいて、前記査読対象論文の査読者推薦度を出力する査読者推薦度出力部、
を備えることを特徴とする査読対象論文の査読者検索装置。 a related paper group extraction unit that analyzes citation relationships between papers including a first related paper cited by the paper under review and a second related paper that cites the first related paper, and extracts a related paper group for the paper under review;
a peer review candidate group extraction unit for extracting a peer review candidate group including authors of related papers from the group of related papers;
a relevance calculation unit that calculates a degree of relevance between each of the peer review candidates in the group of peer review candidates and the peer review target paper, the degree being an author of the related paper in the group of related papers ;
a reviewer recommendation level output unit that outputs a reviewer recommendation level for the paper to be peer-reviewed for each reviewer candidate based on at least the relevance level;
A reviewer search device for a paper to be peer-reviewed, comprising:
前記関連論文群は、査読対象論文が引用する第１の関連論文と、第１の関連論文を引用する第２の関連論文と、第２の関連論文が引用する論文であって第１の関連論文以外の第３の関連論文とが含まれることを特徴とする請求項１に記載の査読者検索装置。 In the related paper group extraction unit,
The reviewer search device of claim 1, characterized in that the group of related papers includes a first related paper cited by the paper to be reviewed, a second related paper that cites the first related paper, and a third related paper other than the first related paper that is cited by the second related paper.
前記共同著者における前記関連度は、前記関連論文群の中の関連論文の著者との共同著者として多く関わっているほど高い度合いとして算出することを特徴とする請求項３に記載の査読者検索装置。 In the relevance calculation unit,
4. The reviewer search device according to claim 3 , wherein the degree of relevance of the co-author is calculated to be higher the more the co-author is involved with the authors of the related papers in the group of related papers.
前記関連度に加えて、
各査読候補者について、研究キャリアの長さと、論文数と総被引用数に基づいて、前記査読対象論文の査読者推薦度を出力することを特徴とする請求項１～４の何れかに記載の査読者検索装置。 In the reviewer recommendation degree output unit,
In addition to the above-mentioned relevance,
The reviewer search device according to any one of claims 1 to 4 , characterized in that for each reviewer candidate, a reviewer recommendation level for the paper to be reviewed is output based on the length of their research career, the number of papers, and the total number of citations.
過去の査読論文と査読者における前記関連度と、査読者の研究キャリアの長さと、査読者の論文数と総被引用数を特徴量とし、過去の査読論文と査読者と前記特徴量を用いて機械学習を行った学習モデルを用いて、前記査読対象論文の査読者推薦度を出力することを特徴とする請求項１～５の何れかに記載の査読者検索装置。 The reviewer recommendation level output unit includes:
The reviewer search device according to any one of claims 1 to 5, characterized in that the relevance between past peer-reviewed papers and reviewers, the length of the reviewer's research career, the number of papers and total number of citations of the reviewer are used as feature quantities , and a learning model is used that performs machine learning using the past peer-reviewed papers, the reviewers, and the feature quantities to output a reviewer recommendation degree for the paper to be reviewed.
前記査読候補者の研究キャリアの長さと前記関連度とを軸とするグラフ上に、査読者の論文数と総被引用数の少なくとも何れかをプロットのサイズとして表示し、
前記プロットが選択されたことを検知すると査読候補者に関する情報を表示することを特徴とする請求項１～６の何れかに記載の査読者検索装置。 The reviewer recommendation level output unit includes:
displaying at least one of the number of papers and the total number of citations of the reviewer as a plot size on a graph with the length of the review candidate's research career and the relevance as an axis;
7. The reviewer search device according to claim 1, further comprising: displaying information about the reviewer candidate when it is detected that the plot has been selected.
前記関連論文群の中の関連論文の著者を含む査読候補者群を抽出する査読候補者群抽出ステップと、
前記査読候補者群の各査読候補者について、査読対象論文との間で、関連論文群の中の関連論文に著者として関わっている度合いを関連度として算出する関連度算出ステップと、
各査読候補者について、少なくとも前記関連度に基づいて、前記査読対象論文の査読者推薦度を出力する査読者推薦度出力ステップ、
を備えることを特徴とする査読対象論文の査読者検索方法。 a related paper extraction step of analyzing citation relationships between papers including a first related paper cited by the paper under review and a second related paper citing the first related paper , and extracting a related paper group of the paper under review;
A peer review candidate extraction step of extracting a peer review candidate group including authors of related papers from the group of related papers;
a relevance calculation step of calculating a degree of relevance between each of the peer review candidates in the group of peer review candidates and the peer review target paper , the degree being related as an author to a related paper in the group of related papers ;
a reviewer recommendation level output step of outputting a reviewer recommendation level for the paper to be peer-reviewed for each reviewer candidate based on at least the relevance level;
A method for searching for reviewers for a paper to be peer-reviewed, comprising:
過去の査読論文と査読者における前記関連度と、査読者の研究キャリアの長さと、査読者の論文数と総被引用数を特徴量とし、過去の査読論文と査読者と前記特徴量を用いて機械学習を行った学習モデルを用いて、前記査読対象論文の査読者推薦度を出力することを特徴とする請求項８に記載の査読者検索方法。 The reviewer recommendation degree output step includes:
The reviewer search method according to claim 8, further comprising the steps of : using the relevance between past peer-reviewed papers and reviewers, the length of the reviewer's research career, the number of papers and total number of citations of the reviewer as feature quantities; and outputting a reviewer recommendation degree for the paper to be reviewed using a learning model that has been subjected to machine learning using the past peer-reviewed papers, the reviewers, and the feature quantities.
10. A program for searching reviewers for papers to be peer-reviewed, for causing a computer to execute all of the steps in the reviewer search method according to claim 8 or 9 .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020014904A JP7470369B2 (en) | 2020-01-31 | 2020-01-31 | Apparatus, method, and program for searching reviewers for academic papers |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020014904A JP7470369B2 (en) | 2020-01-31 | 2020-01-31 | Apparatus, method, and program for searching reviewers for academic papers |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021121903A JP2021121903A (en) | 2021-08-26 |
| JP7470369B2 true JP7470369B2 (en) | 2024-04-18 |
Family
ID=77364882
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020014904A Active JP7470369B2 (en) | 2020-01-31 | 2020-01-31 | Apparatus, method, and program for searching reviewers for academic papers |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7470369B2 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123652A (en) | 2000-10-13 | 2002-04-26 | Japan Convention Service Inc | Method and system for forming the learned society program |
| US20090204469A1 (en) | 2006-05-30 | 2009-08-13 | Frontiers Media S.A. | Internet Method, Process and System for Publication and Evaluation |
-
2020
- 2020-01-31 JP JP2020014904A patent/JP7470369B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002123652A (en) | 2000-10-13 | 2002-04-26 | Japan Convention Service Inc | Method and system for forming the learned society program |
| US20090204469A1 (en) | 2006-05-30 | 2009-08-13 | Frontiers Media S.A. | Internet Method, Process and System for Publication and Evaluation |
Non-Patent Citations (2)
| Title |
|---|
| Manh CUONG NGUYEN 外３名，論文のメタ情報を利用した研究者の研究履歴の自動生成 ，第３回データ工学と情報マネジメントに関するフォーラム 論文集 ［ｏｎｌｉｎｅ］ ，日本，電子情報通信学会データ工学専門委員会，2011年02月27日，pp.1-7，CUONG NGUYEN, Manh, "Automatic Generation of a Researcher's Research History using Meta Informations of Research Papers", Proceedings of the 3rd Forum on Data Engineering and Information Management |
| 中村 洋幸 外４名，ベイジアンフィルタに基づく研究者検索システムの開発 ，電子情報通信学会技術研究報告 Ｖｏｌ．１０７ Ｎｏ．３８４ ，日本，社団法人電子情報通信学会 ，2007年12月06日，第107巻 第384号，pp.7-12，NAKAMURA, Hiroyuki，"A Researcher Retrieval System Based on Bayesian Filter"，IEICE Technical Report, The Institute of Electronics,Information and Communication Engineers |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021121903A (en) | 2021-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4925778B2 (en) | Learning management program and learning management apparatus | |
| US11226999B2 (en) | Systems and methods for providing recommendations for academic and research entities | |
| Hanneke et al. | The scoping review method: mapping the literature in “structural change” public health interventions | |
| Turcios et al. | How much of library and information science literature qualifies as research? | |
| Damarell et al. | Topic search filters: a systematic scoping review | |
| Wang et al. | Assessor differences and user preferences in tweet timeline generation | |
| CN115329200A (en) | Teaching resource recommendation method based on knowledge graph and user similarity | |
| Okiki et al. | Impact of information literacy skills on academic staff research productivity in Nigerian Federal Universities | |
| CN116257694B (en) | Intelligent search recommendation method and system based on online learning courses | |
| CN113656687B (en) | Teacher portrait construction method based on teaching and research data | |
| CN106407316B (en) | Software question and answer recommendation method and device based on topic model | |
| KR102201709B1 (en) | Method and system for estimating a reading index using automatic analysis program for text of korean language | |
| Dahlen et al. | Almost in the wild: Student search behaviors when librarians aren't looking | |
| JP5986687B2 (en) | Data separation system, data separation method, program for data separation, and recording medium for the program | |
| JP6442918B2 (en) | Expert search device, expert search method and expert search program | |
| CN109670922B (en) | Online book value discovery method based on mixed features | |
| JP7470369B2 (en) | Apparatus, method, and program for searching reviewers for academic papers | |
| CN111681776B (en) | Medical object relation analysis method and system based on medical big data | |
| US20170193620A1 (en) | Associate a learner and learning content | |
| Elbeck et al. | Journals for computer-mediated learning: Publications of value for the online educator | |
| JP7155546B2 (en) | Information processing device, information processing method, and information processing program | |
| Cip et al. | Conceptual process model for Instagram caption analysis in the case of the destination Ischgl | |
| Coelho et al. | Covid-19 Impact on Higher Education Institution’s Social Media Content Strategy | |
| Tyson | Subject guides and resource discovery | |
| KR102623256B1 (en) | Learning content recommendation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230130 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231101 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231227 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240401 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7470369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |