CN115698980A - 用于评价文档检索的性能的方法、系统以及装置 - Google Patents

用于评价文档检索的性能的方法、系统以及装置 Download PDF

Info

Publication number
CN115698980A
CN115698980A CN202180041586.4A CN202180041586A CN115698980A CN 115698980 A CN115698980 A CN 115698980A CN 202180041586 A CN202180041586 A CN 202180041586A CN 115698980 A CN115698980 A CN 115698980A
Authority
CN
China
Prior art keywords
document data
search
retrieval
tag
database
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180041586.4A
Other languages
English (en)
Inventor
森本健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of CN115698980A publication Critical patent/CN115698980A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3347—Query execution using vector based model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3325—Reformulation based on results of preceding query
    • G06F16/3326—Reformulation based on results of preceding query using relevance feedback from the user, e.g. relevance feedback on documents, documents sets, document terms or passages

Abstract

自动地检测文档检索的性能降低。在向数据库(300)追加了文档数据的情况下，学习部(260)通过机器学习来更新语言模型(61)。性能评价部(270)根据将被附加于多个特定文档数据的多个第一标签中的各个第一标签设为检索查询(TQRY)的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第一统计值。性能评价部(270)根据将被附加于多个特定文档数据的多个第二标签中的各个第二标签设为检索查询(TQRY)的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第二统计值。在因与至少一个文档数据的追加相伴的语言模型(61)的更新引起的第一统计值的变动值大于第一阈值、且因更新引起的第二统计值的变动值大于第二阈值(Th2)的情况下，性能评价部(270)检测出文档检索的性能降低。

Description

用于评价文档检索的性能的方法、系统以及装置
技术领域
本发明涉及一种用于评价文档检索的性能的方法、系统以及装置。
背景技术
以往，已知一种从数据库中检索期望的信息的结构。例如，在日本特开2003-99439号公报(专利文献1)中公开了一种分析处理方法检索装置，该分析处理方法检索装置将各种分析处理方法作为数据库来保持，从数据库中检索期望的分析处理方法并进行显示。根据该分析处理方法检索装置，将在直觉上易于掌握的关键词设定为表征分析处理方法的属性数据，因此通过将该属性数据设为检索关键词，能够容易地检索与作为目标的处理相匹配的分析处理方法。
现有技术文献
专利文献
专利文献1：日本特开2003-99439号公报
发明内容
发明要解决的问题
由于有时向包含作为检索对象的信息的数据库追加新的信息，因此即使检索查询相同，使用该检索查询所得到的检索结果也可能根据检索的时刻而变化。根据追加到数据库的信息，数据库中包含的信息的倾向可能急剧变化，从而与检索查询的关联性相对较低的文档数据可能被排序为上位。但是，在专利文献1中公开的分析处理方法检索装置中，没有考虑到与数据库中包含的信息的倾向的变化相伴的文档检索的性能降低。
本发明是为了解决这样的问题而完成的，其目的为自动地检测文档检索的性能降低。
用于解决问题的方案
本发明的一个方面所涉及的方法用于评价文档检索的性能，从包含多个文档数据的数据库中检索与检索查询关联的多个关联文档数据，并根据多个关联文档数据中的各个关联文档数据与检索查询的关联度来对多个关联文档数据进行排序。该关联度是基于由语言模型提取出的多个文档数据中的各个文档数据的特征、以及由该语言模型提取出的检索查询的特征而计算的，该语言模型是通过使用数据库的机器学习而生成的模型。对于多个文档数据中包含的多个特定文档数据中的各个特定文档数据，预先附加有与该特定文档数据关联的第一标签以及作为第一标签的上位概念的第二标签。该方法包括以下步骤：在向数据库追加了至少一个文档数据的情况下，通过机器学习来更新语言模型；根据将被附加于多个特定文档数据的多个第一标签中的各个第一标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第一统计值；根据将被附加于多个特定文档数据的多个第二标签中的各个第二标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第二统计值；以及在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因该更新引起的第二统计值的变动值大于第二阈值的情况下，检测出文档检索的性能降低。
本发明的其它方面所涉及的系统用于评价文档检索的性能，从包含多个文档数据的数据库中检索与检索查询关联的多个关联文档数据，并根据多个关联文档数据中的各个关联文档数据与检索查询的关联度来对多个关联文档数据进行排序。该关联度是基于由语言模型提取出的多个文档数据中的各个文档数据的特征、以及由语言模型提取出的检索查询的特征而计算的，该语言模型是通过使用数据库的机器学习而生成的模型。对于多个文档数据中包含的多个特定文档数据中的各个特定文档数据，预先附加有与该特定文档数据关联的第一标签以及作为第一标签的上位概念的第二标签。该系统具备终端装置和服务器装置。终端装置用于输入检索查询。服务器装置从终端装置接收检索查询来进行文档检索。服务器装置包括学习部和性能评价部。在向数据库追加了至少一个文档数据的情况下，学习部通过机器学习来更新语言模型。性能评价部评价文档检索的性能。性能评价部根据将被附加于多个特定文档数据的多个第一标签中的各个第一标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第一统计值。性能评价部根据将被附加于多个特定文档数据的多个第二标签中的各个第二标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第二统计值。性能评价部在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因更新引起的第二统计值的变动值大于第二阈值的情况下，检测出文档检索的性能降低。
本发明的其它方面所涉及的装置用于评价文档检索的性能，从包含多个文档数据的数据库中检索与检索查询关联的多个关联文档数据，并根据多个关联文档数据中的各个关联文档数据与检索查询的关联度来对多个关联文档数据进行排序。该关联度是基于由语言模型提取出的多个文档数据中的各个文档数据的特征、以及由语言模型提取出的检索查询的特征而计算的，该语言模型是通过使用数据库的机器学习而生成的模型。对于多个文档数据中包含的多个特定文档数据中的各个特定文档数据，预先附加有与该特定文档数据关联的第一标签以及作为第一标签的上位概念的第二标签。该装置具备输入输出部、检索部、学习部以及性能评价部。输入输出部用于输入检索查询。检索部接受检索查询来进行文档检索。在向数据库追加了至少一个文档数据的情况下，学习部通过机器学习来更新语言模型。性能评价部评价文档检索的性能。性能评价部根据将被附加于多个特定文档数据的多个第一标签中的各个第一标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第一统计值。性能评价部根据将被附加于多个特定文档数据的多个第二标签中的各个第二标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第二统计值。性能评价部在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因更新引起的第二统计值的变动值大于第二阈值的情况下，检测出性能降低。
发明的效果
根据本发明所涉及的方法、系统以及装置，在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因该更新引起的第二统计值的变动值大于第二阈值的情况下检测出文档检索的性能降低，由此能够自动地检测文档检索的性能降低。
附图说明
图1是示出作为实施方式所涉及的文档检索系统的一例的分析事例检索系统的结构的框图。
图2是示出图1的计算机和输入输出部的硬件结构的框图。
图3是示出图1的服务器装置和数据库的功能结构的框图。
图4是示出作为分析事例数据库中包含的分析事例数据的一例的分析事例数据的图。
图5是示出在检索查询为“嘌呤体”的情况下图1的显示器中显示的检索结果窗口的一例的图。
图6是示出在检索查询为“核酸”的情况下图1的显示器中显示的检索结果窗口的一例的图。
图7是示出在图1的分析事例检索系统中进行的检索处理的概要性的流程的图。
图8是示出在测试查询数据库中形成的将第一标签、第二标签以及特定分析事例数据的识别符相关联而成的构造的图。
图9是示出将多个第一标签中的各个第一标签设为了检索查询的情况下的多个特定分析事例数据的位次的频数的分布曲线的图。
图10是示出将多个第二标签中的各个第二标签设为了检索查询的情况下的多个特定分析事例数据的位次的频数的分布曲线的图。
图11是示出在图3的服务器装置中进行的性能评价处理的概要性的流程的图。
图12是示出图3的服务器装置的硬件结构的框图。
图13是示出实施方式的变形例所涉及的信息处理装置的结构的框图。
图14是示出图13的信息处理装置的硬件结构的框图。
具体实施方式
下面，参照附图来对实施方式进行详细说明。此外，在下面，对图中的相同或相当的部分标注同一符号，在原则上不重复其说明。
图1是示出作为实施方式所涉及的文档检索系统的一例的分析事例检索系统1000的结构的框图。如图1所示，分析事例检索系统1000具备终端装置100、服务器装置200以及数据库300。终端装置100与服务器装置200经由网络NW被连接。数据库300包括多个分析事例数据(文档数据)。网络NW例如包括互联网、WAN(Wan Area Network：广域网)或者LAN(LanArea Network：局域网)。
终端装置100包括计算机120和输入输出部130。输入输出部130包括显示器131、键盘132以及鼠标133。显示器131、键盘132及鼠标133与计算机120连接。
在显示器131中显示有检索窗口Wn1和光标Cr。用户通过操作鼠标133来操作光标Cr。用户通过操作键盘132来在检索窗口Wn1中输入检索查询QRY。图1中示出了如下情况：为了检索记载有适于嘌呤体的分析的分析装置、分析方法以及分析条件等的分析事例数据(文档数据)，用户在检索窗口Wn1中输入了“嘌呤体”这样的字符串作为检索查询QRY。
在分析事例检索系统1000中，由用户输入的检索查询从终端装置100经由网络NW被发送到服务器装置200。服务器装置200从数据库300中检索与检索查询QRY关联的多个关联分析事例数据(关联文档数据)。服务器装置200根据与检索查询QRY的关联度，对多个关联分析事例数据中的各个关联分析事例数据进行排序，并将检索结果发送到终端装置100。终端装置100基于来自服务器装置200的检索结果，按照位次顺序显示多个关联分析事例数据。
图2是示出图1的计算机120和输入输出部130的硬件结构的框图。如图2所示，计算机120包括处理器121、通信接口124以及作为存储部的存储器122和硬盘123。这些结构经由总线125以能够进行通信的方式相互连接。
硬盘123是非易失性的存储装置。硬盘123中例如保存有操作系统(OS：OperatingSystem)的程序41和分析事例检索应用程序的客户端程序42。除图2中示出的数据以外，硬盘123中例如还保存有各种应用程序的设定和输出。存储器122是易失性的存储装置，例如包括DRAM(Dynamic Random Access Memory：动态随机存取存储器)。
处理器121包括CPU(Central Processing Unit：中央处理单元)。处理器121也可以还包括GPU(Graphics Processing Unit：图形处理单元)。处理器121将硬盘123中保存的程序读入存储器122并执行该程序。处理器121经由通信接口124与网络NW连接。
输入输出部130包括显示器131、鼠标133以及键盘132。显示器131、鼠标133以及键盘132分别与计算机120连接。显示器131中显示分析事例检索应用程序的GUI(GraphicalUser Interface：图形用户界面)。用户通过一边参照显示器131的显示一边操作键盘132或操作鼠标133，来向分析事例检索应用程序进行期望的输入。
图3是示出图1的服务器装置200和数据库300的功能结构的框图。如图3所示，服务器装置200包括通信部210、向量生成部220、检索部230、显示控制部250、学习部260、性能评价部270以及分析事例生成部280。数据库300包括分析事例数据库310和测试查询数据库320。
分析事例数据库310中存储有作为检索对象的多个分析事例数据(分析报告、技术论文或者专利文献等)。分析事例数据库310中存储的多个分析事例数据也可以被分类为通常能够公开的分析事例数据和仅允许对特定的用户公开的分析事例数据。分析事例生成部280生成新的分析事例数据，并将该分析事例数据追加到分析事例数据库310。分析事例生成部280也可以一次向分析事例数据库310追加多个新的分析事例数据。分析事例生成部280向学习部260通知将新的分析事例数据追加到了分析事例数据库310的情况。分析事例生成部280也可以形成为与服务器装置200分开的装置。数据库200内的信息的设定和更新也可以每隔规定的期间自动地执行。
图4是示出作为分析事例数据库310中包含的分析事例数据的一例的分析事例数据D1的图。如图4所示，分析事例数据D1包含与利用高效液相色谱仪(HPLC：HighPerformance Liquid Chromatograph)进行的食品中总嘌呤体量的测定这样的分析事例有关的信息。在该分析事例中，成为分析的对象的具体的化合物是腺嘌呤和鸟嘌呤等嘌呤体。分析事例数据D1是用户希望在将“嘌呤体”设为检索查询QRY的分析事例的检索中被排序为检索结果的上位的分析事例数据。另外，由于嘌呤体也是被分类为核酸的分子，因此分析事例数据D1是用户希望在将作为“嘌呤体”的上位概念的“核酸”或与“核酸”关联的化合物设为检索查询QRY的检索中也被排序为检索结果的上位的分析事例数据。
再次参照图3，学习部260通过使用分析事例数据库310的机器学习，来使语言模型61学习与该分析事例数据对应的特定自然语言的分布式表示(向量)，从而将语言模型61设为学习完毕模型。分析事例数据库310在该机器学习中实现作为语料库的功能。在使用分析事例数据库310的机器学习中，针对分析事例数据库310中包含的多个分析事例数据进行包含词素解析在内的自然语言处理。在词素解析中，作为解析对象的字符串被分割为具有意义的最小的语言单位(词素或单词)。与分析事例数据对应的特定自然语言是指用于表示该分析事例数据中包含的信息的自然语言。
语言模型61既可以是使用共现矩阵的基于计数的语言模型，也可以是使用神经网络的基于推断的语言模型。作为基于推断的语言模型，例如能够例举用于生成单词的分布式表示的word2vec的CBOW(Continuous Bag-of-Words：连续词袋)模型和skip-gram(跳字)模型、以及用于生成文档的分布式表示的doc2vec的PV-DM(Paragraph VectorDistributed Memory：句向量的分布记忆)模型和PV-DBOW(Paragraph VectorDistributed Bag-of-Words：句向量的分布词袋)模型。
向量生成部220使用学习完毕的语言模型61，来针对分析事例数据库310中包含的多个分析事例数据中的各个分析事例数据生成表示该分析事例数据中包含的单词的特征的单词向量、表示该分析事例数据中包含的句子的特征的句子向量、以及表示文档的特征的文档向量。向量生成部220将分析事例数据库310中包含的多个分析事例数据中的各个分析事例数据向量化，并将该分析事例数据被向量化所得到的数据与该分析事例数据相关联地保存到分析事例数据库310中。
通信部210经由网络NW从终端装置100接收检索查询QRY的信息，并向向量生成部220输出检索查询QRY。检索查询QRY是以自然语言表示的字符串。
向量生成部220针对检索查询QRY，通过词素解析来将检索查询QRY分割为最小单位的语言单位。向量生成部220使用语言模型61来计算表征该语言单位的单词向量WVC。向量生成部220向检索部230输出单词向量WVC的信息。
检索部230从分析事例数据库310中存储的多个分析事例数据中检索包含与单词向量WVC相似的特征的多个关联分析事例数据。具体而言，检索部230针对多个分析事例数据中的各个分析事例数据，根据检索查询QRY的向量与该分析事例数据的向量之间的距离的大小来计算检索查询与该分析事例数据的关联度。作为该距离，例如能够例举余弦距离(余弦相似度)。两个向量间的距离越小，则分别由两个向量表示的两个语言单位的关联度越大。检索部230根据与检索查询QRY的关联度来对多个分析事例数据中的该关联度大于规定的阈值的多个关联分析事例数据进行排序。检索部230向显示控制部250输出表示该多个关联分析事例数据的位次的排位信息RNK。
此外，由检索部230进行的检索是根据检索查询QRY中包含的字符串(关键词)来解释想要检索的分析事例的内容的语义检索。语义检索基于关键词的意思表示、希望检索的意图、目的等，来确定与检索字符串匹配的检索对象。即，语义检索不是将关键词作为单纯的字符串来捕捉，而是将关键词作为具有包含检索请求在内的意思的字符串来捕捉。
另外，在由检索部230进行的检索中，也可以综合地使用语义检索和关键词检索，关键词检索用于检索包含与关键词一致的字符串的分析事例数据。即，也可以基于关键词的向量与分析事例数据的向量的距离、以及该分析事例数据中包含的关键词的数量来计算检索查询与该分析事例数据的关联度。例如，也可以是，包含更多的关键词的分析事例数据被排序为上位，不包含关键词的分析事例数据通过语义检索被排序在比包含关键词的分析事例数据靠下位。通过综合地使用语义检索和关键词检索，能够提高语义检索的检索依据的明确性。
显示控制部250基于排位信息RNK来制作终端装置100的显示器131中显示的检索结果的画面信息DSP。显示控制部250经由通信部210向终端装置100发送画面信息DSP。在终端装置100中，按照画面信息DSP来依照位次顺序在显示器131中显示多个关联分析事例数据的名称。
图5是示出在检索查询QRY为“嘌呤体”的情况下图1的显示器131中显示的检索结果窗口Wn2的一例的图。如图5所示，在检索结果窗口Wn2中，关联分析事例数据D1～D11的名称与位次1～11一同按照该顺序分别被显示。关联分析事例数据D1～D11各自的名称设定有至该关联分析事例数据的超链接。在分析事例数据库310中包含的多个分析事例数据中，与“嘌呤体”这一检索查询QRY最具有关联的分析事例数据是D1。
图6是示出在检索查询QRY为“核酸”的情况下图1的显示器131中显示的检索结果窗口Wn2的一例的图。如图6所示，在检索结果窗口Wn2中，关联分析事例数据D5、D1、D9、D3、D2、D6～D8、D4、D10、D11的名称与位次1～11一同按照该顺序分别被显示。关联分析事例数据D1～D11各自的名称设定有至该关联分析事例数据的超链接。在分析事例数据库310中包含的多个分析事例数据中，与“核酸”这一检索查询QRY最具有关联的分析事例数据是D5。
图7是示出在图1的分析事例检索系统1000中进行的检索处理的概要性的流程的图。在下面将步骤简单地记载为S。如图7所示，在S10中，由用户向终端装置100输入检索查询QRY，处理进入S20。在S20中，向量生成部220计算检索查询QRY的向量，并使处理进入S30。在S30中，检索部230从分析事例数据库310中检索与检索查询QRY关联的多个关联分析事例数据，对多个关联分析事例数据进行排序，并使处理进入S40。在S40中，终端装置100的显示器131显示检索结果，检索处理结束。
再次参照图3，在向分析事例数据库310追加了新的分析事例数据的情况下，学习部260进行使用分析事例数据库310的机器学习来更新语言模型61。向量生成部220使用更新后的语言模型61，来更新分析事例数据库310中包含的多个分析事例数据中的各个分析事例数据的向量。
当向分析事例数据库310追加新的分析事例数据时，检索查询QRY的向量和分析事例数据库310中包含的多个分析事例数据中的各个分析事例数据的向量可能变化。因此，即使使用相同的检索查询QRY，向分析事例数据库310追加新的分析事例数据之前的检索结果与向分析事例数据库310追加了新的分析事例数据之后的检索结果也可能不同。根据向分析事例数据库310追加的信息，分析事例数据库310中包含的信息的倾向可能急剧变化，从而与检索查询QRY的关联性相对较低的分析事例数据可能被排序为上位。
因此，在分析事例检索系统1000中，在向分析事例数据库310追加了新的分析事例数据的情况下，使用预先决定的多个测试查询，来计算多个分析事例数据的位次的频数的分布的变动作为表示该分布的特征的统计值的变化。根据分析事例检索系统1000，由于能够定量地计算检索性能的变化，因此能够基于预先决定的基准来自动地探测检索性能降低。
第一标签包含与该特定分析事例数据关联的字符串。第一标签例如包含在该分析事例数据中作为主要说明的分析对象的化合物的名称的字符串或用于进行该化合物的分析的装置的名称的字符串。
第二标签包含表示第一标签的上位概念的字符串。在第一标签包含化合物的名称的字符串的情况下，第二标签包含表示该化合物的化学或生物学上的上位概念的字符串。例如，在第一标签为“嘌呤体”或“嘌呤碱基”的情况下，第二标签例如可以是“核酸”、“生物碱”或者“碱基”。特定分析事例数据的第一标签和第二标签既可以被自动地附加于该特定分析事例数据，也可以由操作员附加。
另外，例如在第一标签为作为装置的名称的字符串的LCMS(LiquidChromatograph Mass Spectrometer：液相色谱质谱联用仪)-XYZW(XYZW为该装置的型号)的情况下，第二标签也可以为四极杆型LC/MS、飞行时间型LC/MS或者单纯的LC/MS。
由于第一标签和第二标签通过与作为分析对象的化合物或用于进行该化合物的分析的装置有关的概念而被相互关联，因此能够高精度地检测针对蓄积有包含与化学或生物学上的分析有关的信息在内的文档数据的数据库的文档检索的性能降低。
图8是示出在测试查询数据库320中形成的将第一标签、第二标签以及特定分析事例数据的识别符相关联而成的构造的图。如图8所示，对于特定分析事例数据Da11、Da12、Da13各自，附加有第一标签Ca1和第二标签CA。对于特定分析事例数据Da21、Da22、Da23各自，附加有第一标签Ca2和第二标签CA。第二标签CA是第一标签Ca1、Ca2的上位概念，包含第一标签Ca1、Ca2。对于特定分析事例数据D1、D3、D6各自，附加有作为第一标签的“嘌呤体”和作为第二标签的“核酸”。对于特定分析事例数据D5，附加有第一标签Cb1和作为第二标签的“核酸”。对于特定分析事例数据D9，附加有第一标签Cb2和作为第二标签的“核酸”。“核酸”是“嘌呤体”、第一标签Cb1、Cb2的上位概念，包含“嘌呤体”、第一标签Cb1、Cb2。此外，特定分析事例数据D1、D3、D5、D6、D9与图5和图6中示出的分析事例数据D1、D3、D5、D6、D9分别对应。
再次参照图3，向量生成部220向性能评价部270输出完成了与向分析事例数据库310追加了新的分析事例数据相伴的分析事例数据库310中包含的多个分析事例数据的向量的更新的通知。性能评价部270根据该通知，从测试查询数据库320中获取多个测试查询，并进行将该多个测试查询中的各个测试查询设为检索查询TQRY的分析事例数据的检索。
性能评价部270从检索部230获取与检索查询TQRY有关的排位信息RNK。性能评价部270统计与多个测试查询中的多个第一标签有关的排位信息RNK中的、多个特定分析事例数据中的各个特定分析事例数据的位次的频数，并计算与第一标签有关的统计值(第一统计值)。性能评价部270统计与多个测试查询中的多个第二标签有关的排位信息RNK中的、多个特定分析事例数据中的各个特定分析事例数据的位次的频数，并计算与多个第二标签有关的统计值(第二统计值)。与第一标签有关的统计值和与第二标签有关的统计值分别与计算出该统计值的时刻相关联地被保存到存储部中。
在因语言模型61的更新引起的与第一标签有关的统计值的变动值大于预先决定的阈值Th1(第一阈值)、且因语言模型61的更新引起的与第二标签有关的统计值的变动值大于预先决定的阈值Th2(第二阈值)的情况下，性能评价部270检测出检索性能降低。阈值Th1、Th2能够通过实机实验或模拟来适当地决定。此外，统计值的变动值是向分析事例数据库310追加了新的分析事例数据之后的该统计值与向分析事例数据库310追加新的分析事例数据之前的该统计值之差的绝对值。此外，在由性能评价部270进行的检索中，进行与图7的S20、S30同样的处理。
设为检索查询TQRY为作为第一标签的“嘌呤体”的情况下的检索结果的位次与图5中示出的位次相同。参照图8和图5，被附加了“嘌呤体”的特定分析事例数据D1、D3、D6的位次分别为第1位、第3位、第6位。因此，第1位、第3位、第6位各自的与第一标签有关的频数增加1。同样地，在检索查询TQRY为第一标签Ca1的情况下，检索结果中的特定分析事例数据Da11、Da12、Da13的各自的位次的与第一标签有关的频数增加1。在检索查询TQRY为第一标签Ca2的情况下，检索结果中的特定分析事例数据Da21、Da22、Da23的各自的与第一标签有关的位次的频数增加1。在检索查询TQRY为第一标签Cb1的情况下，检索结果中的特定分析事例数据D5的位次的与第一标签有关的频数增加1。在检索查询TQRY为第一标签Cb2的情况下，检索结果中的特定分析事例数据D9的与第一标签有关的位次的频数增加1。
设为检索查询TQRY为作为第二标签的“核酸”的情况下的检索结果的位次与图6中示出的位次相同。参照图8和图6，被附加了“核酸”的特定分析事例数据D1、D3、D5、D6、D9的位次分别为第2位、第4位、第1位、第6位、第3位。因此，第2位、第4位、第1位、第6位、第3位各自的与第二标签有关的频数增加1。在检索查询TQRY为第二标签CA的情况下，检索结果中的特定分析事例数据Da11、Da12、Da13、Da21、Da22、Da23各自的位次的与第二标签有关的频数增加1。
图9是示出将多个第一标签中的各个第一标签设为了检索查询TQRY的情况下的多个特定分析事例数据的位次的频数的分布曲线的图。在图9中，实线表示向分析事例数据库310追加新的分析事例数据之前的分布曲线，虚线表示向分析事例数据库310追加了新的分析事例数据之后的分布曲线。另外，在图9中，使用众数作为表示分布的特征的统计值。在图10中也是同样的。此外，表示分布的特征的统计值也可以是众数以外的统计值，例如也可以是中值或平均值。
如图9所示，向分析事例数据库310追加新的分析事例数据之前的与第一标签有关的众数为Vs11。向分析事例数据库310追加了新的分析事例数据之后的与第一标签有关的众数为Vs12。与第一标签有关的众数的变动值为Vc1。
图10是示出将多个第二标签中的各个第二标签设为了检索查询TQRY的情况下的多个特定分析事例数据的位次的频数的分布曲线的图。如图10所示，向分析事例数据库310追加新的分析事例数据之前的与第二标签有关的众数为Vs21。向分析事例数据库310追加了新的分析事例数据之后的与第二标签有关的众数为Vs22。与第二标签有关的众数的变动值为Vc2(<Vc1)。
第二标签通常包含互不相同的多个第一标签。被附加了第二标签的分析事例数据的数量大于被附加了作为第二标签的下位概念之一的第一标签的分析事例数据的数量。因此，关于因语言模型61的更新引起的检索结果的位次的变动，将第一标签设为检索查询的情况下的变动容易大于将第二标签设为检索查询的情况下的变动。配合于发生因语言模型61的更新引起的检索结果的位次的变动的容易度，期望与第一标签有关的统计值的阈值Th1大于与第二标签有关的统计值的阈值Th2。通过使阈值Th1大于Th2，能够一致地检测与第一标签有关的统计值的变动以及与第二标签有关的统计值的变动中的各个变动所表现出的异常的征兆。
图11是示出在图3的服务器装置200中进行的性能评价处理的概要性的流程的图。如图11所示，在S110中，分析事例生成部280向分析事例数据库310追加新的分析事例数据，并使处理进入S120。在S120中，学习部260进行使用分析事例数据库310的机器学习，来更新语言模型61和分析事例数据库310中包含的多个分析事例数据中的各个分析事例数据的向量，并使处理进入S130。在S130中，检索部230进行将测试查询数据库320中登记的多个第一标签和多个第二标签中的各个标签设为检索查询TQRY的分析事例数据的检索，并使处理进入S140。
在S140中，性能评价部270根据将多个第一标签中的各个第一标签设为检索查询TQRY的分析事例数据的检索结果来计算与第一标签有关的统计值Vs1，并使处理进入S150。在S150中，性能评价部270根据将多个第二标签中的各个第二标签设为检索查询TQRY的分析事例数据的检索结果来计算与第二标签有关的统计值Vs2，并使处理进入S160。
在S160中，性能评价部270判定统计值Vs1的变动值Vc1是否大于阈值Th1。在变动值Vc1为阈值Th1以下的情况下(在S160中为“否”)，性能评价部270在S190中允许开始通常的检索处理，并结束处理。在变动值Vc1大于阈值Th1的情况下(在S160中为“是”)，性能评价部270使处理进入S170。
在S170中，性能评价部270判定统计值Vs2的变动值Vc2是否大于阈值Th2。在变动值Vc2为阈值Th2以下的情况下(在S170中为“否”)，性能评价部270在S190中允许开始通常的检索处理，并结束处理。在变动值Vc2大于阈值Th2的情况下(在S170中为“是”)，性能评价部270在S180中检测出检索性能降低，并结束处理。在分析事例检索系统1000中，由于性能评价处理中包括向分析事例数据库310追加新的分析事例数据，因此能够一体地且连续地进行向分析事例数据库310追加新的分析事例数据和文档检索的性能评价。
作为检索性能降低的原因，例如能够例举向分析事例数据库310追加的分析事例数据的倾向偏离于分析事例数据库310中已经包含的多个分析事例数据的倾向、或者分析事例数据库310与机器学习的超参数的不合适。在检测出检索性能降低的情况下，向预先决定的相关人员(例如分析事例检索系统1000的管理者)通知检测性能降低。在检测出检索性能降低的情况下，也可以从分析事例数据库310中删除追加的分析事例数据，并在分析事例数据的检索中使用追加该分析事例数据之前的语言模型61和多个分析事例数据中的各个分析事例数据的向量。
图12是示出图3的服务器装置200的硬件结构的框图。如图12所示，服务器装置200包括处理器201、作为通信部210的通信接口204、输入输出部205以及作为存储部的存储器202和硬盘203。这些结构经由总线206以能够进行通信的方式相互连接。
硬盘203是非易失性的存储装置。硬盘203中例如保存有操作系统(OS：OperatingSystem)的程序51、分析事例检索服务器程序52、性能评价程序53、机器学习程序54以及语言模型61。除图12中示出的数据以外，硬盘203中例如保存有各种应用程序的设定和输出(例如与第一标签有关的统计值和与第二标签有关的统计值)。存储器202是易失性的存储装置，例如包括DRAM(Dynamic Random Access Memory：动态随机存取存储器)。
处理器201包括CPU(Central Processing Unit：中央处理单元)。处理器201也可以还包括GPU(Graphics Processing Unit：图形处理单元)。处理器201将硬盘203中保存的程序读入存储器202并执行该程序，从而实现服务器装置200的各种功能。例如，执行分析事例检索服务器程序52的处理器201作为向量生成部220、检索部230、显示控制部250以及分析事例生成部280发挥功能。执行性能评价程序53的处理器201作为向量生成部220和性能评价部270发挥功能。执行机器学习程序54的处理器201作为向量生成部220和学习部260发挥功能。处理器201经由通信接口204与网络NW连接。
在实施方式中，对在与用于供用户输入检索查询的终端装置100分开的服务器装置200中形成有向量生成部220、检索部230、显示控制部250、学习部260、性能评价部270以及分析事例生成部280的系统进行了说明。向量生成部、检索部、显示控制部、学习部、性能评价部以及分析事例生成部也可以形成于供用户输入检索查询的装置。
图13是示出实施方式的变形例所涉及的信息处理装置100A的结构的框图。如图13所示，信息处理装置100A包括向量生成部220A、检索部230A、显示控制部250A、学习部260A、性能评价部270A以及分析事例生成部280A。向量生成部220A、检索部230A、显示控制部250A、学习部260A、性能评价部270A以及分析事例生成部280A具有与图3的向量生成部220、检索部230、显示控制部250、学习部260、性能评价部270以及分析事例生成部280分别相同的功能，因此不重复该功能的说明。数据库300与信息处理装置100A连接。
图14是示出图13的信息处理装置100A的硬件结构的框图。信息处理装置100A的硬件结构为如下结构：在图2的硬盘123中加入了图12的性能评价程序53、机器学习程序54以及语言模型61，并且将分析事例检索客户端程序42置换为了分析事例检索程序42A。除此以外是同样的，因此不重复说明。
如图14所示，执行分析事例检索程序42A的处理器121作为向量生成部220A、检索部230A、显示控制部250A以及分析事例生成部280A发挥功能。执行性能评价程序53的处理器121作为向量生成部220A和性能评价部270A发挥功能。执行机器学习程序54的处理器121作为向量生成部220A和学习部260A发挥功能。
以上，根据实施方式所涉及的系统和方法以及变形例所涉及的装置，能够自动地检测文档检索的性能降低。
[方式]
本领域技术人员可理解上述的例示性的实施方式是下面的方式的具体例。
(第一项)一个方式所涉及的方法用于评价文档检索的性能，从包含多个文档数据的数据库中检索与检索查询关联的多个关联文档数据，并根据多个关联文档数据中的各个关联文档数据与检索查询的关联度来对多个关联文档数据进行排序。该关联度是基于由语言模型提取出的多个文档数据中的各个文档数据的特征、以及由该语言模型提取出的检索查询的特征而计算的，该语言模型是通过使用数据库的机器学习而生成的模型。对于多个文档数据中包含的多个特定文档数据中的各个特定文档数据，预先附加有与该特定文档数据关联的第一标签以及作为第一标签的上位概念的第二标签。该方法包括以下步骤：在向数据库追加了至少一个文档数据的情况下，通过机器学习来更新语言模型；根据将被附加于多个特定文档数据的多个第一标签中的各个第一标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第一统计值；根据将被附加于多个特定文档数据的多个第二标签中的各个第二标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第二统计值；以及在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因该更新引起的第二统计值的变动值大于第二阈值的情况下，检测出文档检索的性能降低。
根据第一项记载的方法，在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因该更新引起的第二统计值的变动值大于第二阈值的情况下检测出文档检索的性能降低，由此能够自动地检测文档检索的性能降低。
(第二项)在第一项记载的方法中，第一标签包含表示在附加有该第一标签的特定文档数据中被设为分析对象的化合物的名称的字符串。第二标签包含表示该化合物的化学或生物学上的上位概念的字符串。
根据第二项记载的方法，由于第一标签和第二标签通过与作为分析对象的化合物有关的概念而被相互关联，因此能够高精度地检测针对蓄积有包含与化学或生物学上的分析有关的信息在内的文档数据的数据库的文档检索的性能降低。
(第三项)在第一项或第二项记载的方法中，语言模型能够生成多个文档数据中包含的单词和句子各自的分布式表示以及多个文档数据中的各个文档数据的分布式表示。使用多个关联文档数据中的各个关联文档数据的分布式表示与检索查询的分布式表示之间的距离来计算该关联文档数据与检索查询的关联度。
根据第三项记载的方法，使用多个关联文档数据中的各个关联文档数据的分布式表示与检索查询的分布式表示之间的距离来计算该关联文档数据与检索查询的关联度，由此能够计算该关联度来作为表示检索查询与多个关联文档数据中的各个关联文档数据之间的意思上的近似度的指标。
(第四项)在第三项记载的方法中，基于多个关联文档数据中的各个关联文档数据的分布式表示与检索查询的分布式表示之间的距离以及该关联文档数据中包含的检索查询的数量，来计算该关联文档数据与检索查询的关联度。
根据第四项记载的方法，在该关联度的计算中还使用关联文档数据中包含的检索查询的数量，由此能够提高检索依据的明确性。
(第五项)第一项～第四项中的任一项记载的方法包括向数据库追加至少一个文档数据的步骤。
根据第五项记载的方法，能够一体地且连续地进行向数据库追加新的文档数据和文档检索的性能评价。
(第六项)在第一项～第五项中的任一项记载的方法中，第一阈值大于第二阈值。
根据第六项记载的方法，能够一致地检测第一统计值的变动和第二统计值的变动中的各个变动所表现出的异常的征兆。
(第七项)一个方式所涉及的系统用于评价文档检索的性能，从包含多个文档数据的数据库中检索与检索查询关联的多个关联文档数据，并根据多个关联文档数据中的各个关联文档数据与检索查询的关联度来对多个关联文档数据进行排序。该关联度是基于由语言模型提取出的多个文档数据中的各个文档数据的特征、以及由语言模型提取出的检索查询的特征而计算的，该语言模型是通过使用数据库的机器学习而生成的模型。对于多个文档数据中包含的多个特定文档数据中的各个特定文档数据，预先附加有与该特定文档数据关联的第一标签以及作为第一标签的上位概念的第二标签。该系统具备终端装置和服务器装置。终端装置用于输入检索查询。服务器装置从终端装置接收检索查询来进行文档检索。服务器装置包括学习部和性能评价部。在向数据库追加了至少一个文档数据的情况下，学习部通过机器学习来更新语言模型。性能评价部评价文档检索的性能。性能评价部根据将被附加于多个特定文档数据的多个第一标签中的各个第一标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第一统计值。性能评价部根据将被附加于多个特定文档数据的多个第二标签中的各个第二标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第二统计值。性能评价部在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因更新引起的第二统计值的变动值大于第二阈值的情况下，检测出文档检索的性能降低。
根据第七项记载的系统，在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因该更新引起的第二统计值的变动值大于第二阈值的情况下检测出文档检索的性能降低，由此能够自动地检测文档检索的性能降低。
(第八项)一个方式所涉及的装置用于评价文档检索的性能，从包含多个文档数据的数据库中检索与检索查询关联的多个关联文档数据，并根据多个关联文档数据中的各个关联文档数据与检索查询的关联度来对多个关联文档数据进行排序。该关联度是基于由语言模型提取出的多个文档数据中的各个文档数据的特征、以及由语言模型提取出的检索查询的特征而计算的，该语言模型是通过使用数据库的机器学习而生成的模型。对于多个文档数据中包含的多个特定文档数据中的各个特定文档数据，预先附加有与该特定文档数据关联的第一标签以及作为第一标签的上位概念的第二标签。该装置具备输入输出部、检索部、学习部以及性能评价部。输入输出部用于输入检索查询。检索部接受检索查询来进行文档检索。在向数据库追加了至少一个文档数据的情况下，学习部通过机器学习来更新语言模型。性能评价部评价文档检索的性能。性能评价部根据将被附加于多个特定文档数据的多个第一标签中的各个第一标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第一统计值。性能评价部根据将被附加于多个特定文档数据的多个第二标签中的各个第二标签设为检索查询的文档检索的结果，来计算与多个特定文档数据中的各个特定文档数据的位次有关的第二统计值。性能评价部在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因更新引起的第二统计值的变动值大于第二阈值的情况下，检测出性能降低。
根据第八项记载的装置，在因与至少一个文档数据的追加相伴的语言模型的更新引起的第一统计值的变动值大于第一阈值、且因该更新引起的第二统计值的变动值大于第二阈值的情况下检测出文档检索的性能降低，由此能够自动地检测文档检索的性能降低。
此外，关于上述的实施方式和变更例，包括在说明书内没有提及的组合，在不发生问题或矛盾的范围内，从申请当初就预定适当地组合在实施方式中说明的结构。
应认为，本次公开的实施方式在所有点上均是例示性的，而非限制性的。本发明的范围不由上述的说明示出而由权利要求书示出，意图包含与权利要求书等同的含义和范围内的所有变更。
附图标记说明
61：语言模型；100：终端装置；100A：信息处理装置；120：计算机；121、201：处理器；122、202：存储器；123、203：硬盘；124、204：通信接口；125、206：总线；130、205：输入输出部；131：显示器；132：键盘；133：鼠标；200：服务器装置；210：通信部；220、220A：向量生成部；230、230A：检索部；250、250A：显示控制部；260、260A：学习部；270、270A：性能评价部；280、280A：分析事例生成部；300：数据库；310：分析事例数据库；320：测试查询数据库；1000：分析事例检索系统；CA：第二标签；Ca1、Ca2、Cb1、Cb2：第一标签；D1、D2、D3、D4、D5、D6、D8、D9、D10、D11：分析事例数据；NW：网络；QRY、TQRY：检索查询；Th1、Th2：阈值；Vc1、Vc2：变动值；Vs1、Vs2：统计值；WVC：单词向量。

Claims (8)

1.一种用于评价文档检索的性能的方法，从包含多个文档数据的数据库中检索与检索查询关联的多个关联文档数据，并根据所述多个关联文档数据中的各个关联文档数据与所述检索查询的关联度来对所述多个关联文档数据进行排序，其中，
所述关联度是基于由语言模型提取出的所述多个文档数据中的各个文档数据的特征、以及由所述语言模型提取出的所述检索查询的特征而计算的，所述语言模型是通过使用所述数据库的机器学习而生成的模型，
对于所述多个文档数据中包含的多个特定文档数据中的各个特定文档数据，预先附加有与该特定文档数据关联的第一标签以及作为所述第一标签的上位概念的第二标签，
所述方法包括以下步骤：
在向所述数据库追加了至少一个文档数据的情况下，通过所述机器学习来更新所述语言模型；
根据将被附加于所述多个特定文档数据的多个第一标签中的各个第一标签设为所述检索查询的所述文档检索的结果，来计算与所述多个特定文档数据中的各个特定文档数据的位次有关的第一统计值；
根据将被附加于所述多个特定文档数据的多个第二标签中的各个第二标签设为所述检索查询的所述文档检索的结果，来计算与所述多个特定文档数据中的各个特定文档数据的位次有关的第二统计值；以及
在因与所述至少一个文档数据的追加相伴的所述语言模型的更新引起的所述第一统计值的变动值大于第一阈值、且因所述更新引起的所述第二统计值的变动值大于第二阈值的情况下，检测出所述性能降低。
2.根据权利要求1所述的方法，其特征在于，
所述第一标签包含表示在附加有所述第一标签的特定文档数据中被设为分析对象的化合物的名称的字符串，
所述第二标签包含表示所述化合物的化学或生物学上的上位概念的字符串。
3.根据权利要求1所述的方法，其特征在于，
所述语言模型能够生成所述多个文档数据中包含的单词和句子各自的分布式表示以及所述多个文档数据中的各个文档数据的分布式表示，
使用所述多个关联文档数据中的各个关联文档数据的分布式表示与所述检索查询的分布式表示之间的距离来计算所述关联度。
4.根据权利要求3所述的方法，其特征在于，
基于所述距离和所述多个关联文档数据中的各个关联文档数据中包含的所述检索查询的数量来计算所述关联度。
5.根据权利要求1所述的方法，其特征在于，
还包括向所述数据库追加所述至少一个文档数据的步骤。
6.根据权利要求1所述的方法，其特征在于，
所述第一阈值大于所述第二阈值。
7.一种用于评价文档检索的性能的系统，从包含多个文档数据的数据库中检索与检索查询关联的多个关联文档数据，并根据所述多个关联文档数据中的各个关联文档数据与所述检索查询的关联度来对所述多个关联文档数据进行排序，其中，
所述关联度是基于由语言模型提取出的所述多个文档数据中的各个文档数据的特征、以及由所述语言模型提取出的所述检索查询的特征而计算的，所述语言模型是通过使用所述数据库的机器学习而生成的模型，
对于所述多个文档数据中包含的多个特定文档数据中的各个特定文档数据，预先附加有与该特定文档数据关联的第一标签以及作为所述第一标签的上位概念的第二标签，
所述系统具备：
终端装置，其用于输入所述检索查询；以及
服务器装置，其从所述终端装置接收所述检索查询来进行所述文档检索，
所述服务器装置包括：
学习部，在向所述数据库追加了至少一个文档数据的情况下，所述学习部通过所述机器学习来更新所述语言模型；以及
性能评价部，其评价所述性能，
所述性能评价部进行以下处理：
根据将被附加于所述多个特定文档数据的多个第一标签中的各个第一标签设为所述检索查询的所述文档检索的结果，来计算与所述多个特定文档数据中的各个特定文档数据的位次有关的第一统计值；
根据将被附加于所述多个特定文档数据的多个第二标签中的各个第二标签设为所述检索查询的所述文档检索的结果，来计算与所述多个特定文档数据中的各个特定文档数据的位次有关的第二统计值；以及
在因与所述至少一个文档数据的追加相伴的所述语言模型的更新引起的所述第一统计值的变动值大于第一阈值、且因所述更新引起的所述第二统计值的变动值大于第二阈值的情况下，检测出所述性能降低。
8.一种用于评价文档检索的性能的装置，从包含多个文档数据的数据库中检索与检索查询关联的多个关联文档数据，并根据所述多个关联文档数据中的各个关联文档数据与所述检索查询的关联度来对所述多个关联文档数据进行排序，其中，
所述关联度是基于由语言模型提取出的所述多个文档数据中的各个文档数据的特征、以及由所述语言模型提取出的所述检索查询的特征而计算的，所述语言模型是通过使用所述数据库的机器学习而生成的模型，
对于所述多个文档数据中包含的多个特定文档数据中的各个特定文档数据，预先附加有与该特定文档数据关联的第一标签以及作为所述第一标签的上位概念的第二标签，
所述装置具备：
输入输出部，其用于输入所述检索查询；
检索部，其接受所述检索查询来进行所述文档检索；
学习部，在向所述数据库追加了至少一个文档数据的情况下，所述学习部通过所述机器学习来更新所述语言模型；以及
性能评价部，其评价所述性能，
所述性能评价部进行以下处理：
根据将被附加于所述多个特定文档数据的多个第一标签中的各个第一标签设为所述检索查询的所述文档检索的结果，来计算与所述多个特定文档数据中的各个特定文档数据的位次有关的第一统计值；
根据将被附加于所述多个特定文档数据的多个第二标签中的各个第二标签设为所述检索查询的所述文档检索的结果，来计算与所述多个特定文档数据中的各个特定文档数据的位次有关的第二统计值；以及
在因与所述至少一个文档数据的追加相伴的所述语言模型的更新引起的所述第一统计值的变动值大于第一阈值、且因所述更新引起的所述第二统计值的变动值大于第二阈值的情况下，检测出所述性能降低。
CN202180041586.4A 2020-06-11 2021-03-04 用于评价文档检索的性能的方法、系统以及装置 Pending CN115698980A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020101523 2020-06-11
JP2020-101523 2020-06-11
PCT/JP2021/008353 WO2021250950A1 (ja) 2020-06-11 2021-03-04 文書検索の性能を評価する方法、システム、および装置

Publications (1)

Publication Number Publication Date
CN115698980A true CN115698980A (zh) 2023-02-03

Family

ID=78847182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180041586.4A Pending CN115698980A (zh) 2020-06-11 2021-03-04 用于评价文档检索的性能的方法、系统以及装置

Country Status (4)

Country Link
US (1) US20230244705A1 (zh)
JP (1) JP7428250B2 (zh)
CN (1) CN115698980A (zh)
WO (1) WO2021250950A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4336376A1 (en) * 2021-11-04 2024-03-13 Samsung Electronics Co., Ltd. Electronic device and method for providing search result related to query statement

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347088B2 (ja) * 1999-02-12 2002-11-20 インターナショナル・ビジネス・マシーンズ・コーポレーション 関連情報検索方法およびシステム
US7571157B2 (en) * 2004-12-29 2009-08-04 Aol Llc Filtering search results
US7472096B2 (en) 2005-07-18 2008-12-30 Microsoft Corporation Training a learning system with arbitrary cost functions
US9824142B2 (en) * 2010-01-15 2017-11-21 Nec Corporation Information processing device, information processing method, and computer-readable recording medium
US9684683B2 (en) * 2010-02-09 2017-06-20 Siemens Aktiengesellschaft Semantic search tool for document tagging, indexing and search
US8782037B1 (en) 2010-06-20 2014-07-15 Remeztech Ltd. System and method for mark-up language document rank analysis
JP6093200B2 (ja) 2013-02-05 2017-03-08 日本放送協会 情報検索装置及び情報検索プログラム
US20150292197A1 (en) * 2014-04-11 2015-10-15 Samuel Miller Rodent-Resistant, Reinforced Weather Stripping
JP6303148B2 (ja) 2015-06-03 2018-04-04 明 潮田 文書素性抽出装置、文書素性抽出方法、文書分類装置、文書分類方法、文書検索装置、文書検索方法、コンピュータプログラム、および、コンピュータプログラムを記録した記録媒体
US20170177712A1 (en) * 2015-12-21 2017-06-22 Ebay Inc. Single step cross-linguistic search using semantic meaning vectors
KR20200134265A (ko) * 2018-03-23 2020-12-01 가부시키가이샤 한도오따이 에네루기 켄큐쇼 문서 검색 시스템, 문서 검색 방법, 프로그램, 및 비일시적 컴퓨터 가독 기억 매체
WO2020079748A1 (ja) * 2018-10-16 2020-04-23 株式会社島津製作所 事例検索方法および事例検索システム

Also Published As

Publication number Publication date
WO2021250950A1 (ja) 2021-12-16
JP7428250B2 (ja) 2024-02-06
US20230244705A1 (en) 2023-08-03
JPWO2021250950A1 (zh) 2021-12-16

Similar Documents

Publication Publication Date Title
KR101203345B1 (ko) 요약을 이용하여 디스플레이 페이지를 분류하는 방법 및시스템
KR100666064B1 (ko) 인터랙티브 검색 쿼리 개선 시스템 및 방법
US6826567B2 (en) Registration method and search method for structured documents
RU2547213C2 (ru) Присвоение применимых на практике атрибутов данных, которые описывают идентичность личности
CN111373392B (zh) 文献分类装置
US20030177110A1 (en) Profile information recommendation method, program and apparatus
US20060179051A1 (en) Methods and apparatus for steering the analyses of collections of documents
US8983965B2 (en) Document rating calculation system, document rating calculation method and program
KR101538998B1 (ko) 지식 구조를 기반으로 한 검색 서비스 제공 방법 및 장치
JP2020500371A (ja) 意味的検索のための装置および方法
US20050081146A1 (en) Relation chart-creating program, relation chart-creating method, and relation chart-creating apparatus
JP2000293535A (ja) 情報検索装置、情報検索方法、及びその方法を実現するプログラムを記録した記録媒体
Liu et al. Stratified sampling for data mining on the deep web
CN115186050B (zh) 基于自然语言处理的选题推荐方法、系统及相关设备
KR20220119745A (ko) 콘텐츠를 검색하는 방법, 장치, 기기 및 컴퓨터 판독 가능 저장 매체
US20050065920A1 (en) System and method for similarity searching based on synonym groups
JPH11102377A (ja) データベースからドキュメントを検索する方法および装置
KR101753768B1 (ko) 가중치에 의한 다수 분야별 검색 기능을 구비한 지식관리 시스템
CN115698980A (zh) 用于评价文档检索的性能的方法、系统以及装置
JP2009288870A (ja) 文書重要度算出システム、文書重要度算出方法およびプログラム
El Barbary et al. Feature selection for document classification based on topology
CN110688559A (zh) 一种检索方法及装置
CA3230643A1 (en) Data management suggestions from knowledge graph actions
CN113449063B (zh) 一种构建文档结构信息检索库的方法及装置
JP2002032394A (ja) 関連語情報作成装置、関連語提示装置、文書検索装置、関連語情報作成方法、関連語提示方法、文書検索方法および記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination