CN104871201A - 鉴识系统、鉴识方法、及鉴识程序 - Google Patents

Abstract

一种鉴识系统，用以减轻审核者审核作业的负担，包含：一结果信息接受部，对于依据被包含于数字信息中的文书数据所取出的包含预定数量文书的文书群，接受由使用者就与诉讼的关联性所判断出之结果的结果信息；一因子选择部，依据每一结果信息皆在文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择因子；一评分计算部，依据被包含于文书数据的各文书中的选择出的因子及选择出的因子的评估值而计算文书数据的各文书的评分；及一唤回率计算部，基于评分而计算与诉讼的关联性的判断有关的唤回率。

Description

鉴识系统、鉴识方法、及鉴识程序

技术领域

本发明有关于一种鉴识系统、鉴识方法、及鉴识程序，尤其有关于一种用以收集与诉讼有关的文书数据的鉴识系统、鉴识方法、及鉴识程序。

背景技术

习知地，在发生不实存取或机密信息泄漏等等与计算机有关的犯罪或法律纠纷之际，有关于用以收集、分析厘清原因或搜察所必须的机器或信息、电子的记录，而阐明其法律上之证据性的方法或技术被提出。

再者，在美国民事诉讼过程中，现被要求提出eDiscovery(电子信息开示)等等，而该诉讼的原告及被告的任一方皆负有将关联的数字信息当作全部的证据加以提出责任。因此，必须将被记录在计算机或服务器之中的数字信息当作证据加以提出。

另一方面，随着IT产业快速的发展与普及，在目前的商业界，由于几乎全部的信息现在由计算机所作成，故即使在同一企业内，甚多的数字信息也正泛滥着。

因此，在为了向法院提出证据信息准备作业的进行过程中，易发生连与该诉讼未必有关联的机密的数字信息也未料到地被含在当作证据信息之中的失误。又，产生了与该诉讼无关的机密的文书数据意外地被提出的问题。

近年来，在专利文献1至专利文献3之中提出关于鉴识系统中的文书数据的技术。在专利文献1中，揭露一种鉴识系统，其从包含于文书提出命令之对象者信息之中的至少一人以上的对象者，指定特定者，基于与被指定之特定者有关的存取简历信息，仅取出特定者所存取过的数字文书数据，对取出的数字文书数据的各个文书档案，设定表示是否为与诉讼有关者的附带信息，并基于附带信息，输出与诉讼有关的文书档案。

又，在专利文献2中，揭露一种鉴识系统，其显示被记录的数字信息，对复数文书档案的每一个，设定表示是否与在包含在对象者信息中的对象者之中的哪一对象者有关的对象者识别信息，设定将该所设定的对象者识别信息记录在记忆部中，指定至少一人以上的对象者，检索设定有与所指定的对象者对应的对象者识别信息的文书档案，透过显示部，设定表示检索到的文书档案与诉讼有关与否的附带信息，并基于附带信息，输出与诉讼有关的文书档案。

再者，在专利文献3中，揭露一种鉴识系统，其接受包含于数字文书数据之中的至少一个以上的文书档案的指定，接受将所指定的文书档案翻译为何种语言的指定，将接受了指定的文书档案翻译为接受了指定的语言，从记录在记录部中的数字文书数据，将表示与指定的文书档案相同内容的共通文书档案取出，藉由使所取出的共通文书档案援用翻译后文书档案的翻译内容，以生成表示已翻译的翻译相关信息，并基于翻译相关信息，输出与诉讼有关的文书档案。

现有技术文献

专利文献1日本专利公开公报第2011-209930号

专利文献2日本专利公开公报第2011-209931号

专利文献3日本专利公开公报第2012-32859号

发明内容

然而，例如，在专利文献1至专利文献3之所描述的鉴识系统中，收集利用了多个计算机及服务器的用户的庞大的文书数据。

将如此数字化的庞大的文书数据当作诉讼证据信息、而判断其是否妥当的作业由被称为审核者的使用者目视加以确认，而必须逐一地分辨着文书数据，这将有花费大量的劳力与经费的问题。

有鉴于上述课题，本发明的目的为提供一种能够减轻审核者审核作业的负担的鉴识系统、鉴识方法、及鉴识程序。

根据本发明的鉴识系统，其收集被记录在多个计算机或服务器之中的数字信息，就该收集到的数字信息与诉讼的关联性加以分析，包含：一结果信息接受部，接受由使用者对于从被包含于上述数字信息中的文书数据所取出的包含预定数量文书的文书群，就与上述诉讼的关联性所判断出之结果的结果信息；一因子选择部，依据每一上述结果信息皆在上述文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择上述因子；一评分计算部，依据被包含于上述文书数据的各文书中的上述选择出的因子及上述选择出的因子的评估值而计算上述文书数据的各文书的评分；及一唤回率计算部，基于上述评分，而计算与诉讼的关联性的判断有关的唤回率。

所谓「文书」为包含一个以上的词汇的信息。就文书的一实例而言，可举出以下各例：电子邮件、简报数据、表格计算数据、会议数据、契约书、组织结构、商业计划书等等。

所谓「文书数据」为文书的集合。

所谓「文书群」为文书的集合，而是文书数据的部分集合。文书资料是指与诉讼的关联性的判断有关的全部的必要文书，而文书群也可称为是：在文书数据之中，被用户用于进行关联性判断的文书。

所谓「关联性判断」为针对文书判断：在诉讼中是否有将其提出的必要。例如，关联性判断也可以是：依据关联性的程度而赋予区别符号的动作。

所谓「结果信息」为代表用户对文书进行了与诉讼的关联性判断之结果。结果信息也指：使用者对文书已赋予之代表与诉讼的关联性的程度之区别符号。

所谓「结果信息接受部」为接受，与使用者对文书进行了判断结果有关的结果信息。

所谓「因子」为被包含于文书之中的词汇、记号、图面等等的文书的组成因子。例如，因子也指：在如词素般的语言中，若再将其分割就将丧失涵义为止地加以分割，并加以取出之音素的每一整合的片段。

所谓「因子选择部」为用以依据因子的评估值而选择因子。因子选择部可以是在藉由使用者的诉讼的关联性判断中，取出每一受到相同的判断的文书皆共同地出现的因子者。又，因子选择部可以是基于因子所保有的传输信息量而计算评估值者。又，因子选择部可以是基于评估值的总和而选择因子者。又，因子选择部可以是将因子依评估值之递减加以排序、取出因子至因子的评估值的总和达到固有的目标值为止、并选择该取出的因子者。

所谓「评估值」为代表因子的特征的值。评估值也可当作代表因子所具有之传输信息量。

所谓「传输信息量」为在概率论及信息理论中代表两个概率变量的相依性等级的量。具体而言，传输信息量也可当作代表对包含该因子的文书所进行之关联性的判断结果与代表与该因子的相依关系的等级。

所谓「固有的目标值」为表示作为目标之唤回率的值。固有的目标值可以是以百分率表现者。

所谓「评分计算部」为计算文书的评分者。例如，评分计算部可以是计算被包含于文书之中的因子的评估值的总和作为评分者。

所谓「唤回率」为与诉讼的关联性的判断有关者。唤回率可以是表示系统将人的关联性的判断自动地再现时的程度的指标。

所谓「唤回率计算部」为计算唤回率者。例如，唤回率计算部可以是本发明的系统评估赋予给文书的评分的值并计算与使用者之关联性判断的一致性者。

又，唤回率计算部可以是依据在被算出评分的文书之中，具有预定之评分以上的文书中，含有文书群的文书的比例计算唤回率者。又，唤回率计算部可以是将被算出评分的文书数据的各文书依评分的递减予以排序，从上位的评分取出预定之比例的文书，并以取出的文书中包含文书群的比例当作唤回率计算者。

又，根据本发明的鉴识系统可以更包含自动判断部，其对评分超过了预定阈值的文书进行与诉讼的关联性有关的判断。

所谓「自动判断部」为对于文书自动进行与诉讼的关联性的判断者。例如，自动判断部可以是在评分计算部赋予文书之评分超过了预定阈值的情况下，判断为有关联性者。

又，根据本发明的鉴识系统可以更包含取出部与显示部，其中取出部从被包含于数字信息中的文书数据取出包含预定数量文书的文书群；而显示部将取出的文书群显示于画面上。

所谓「取出部」为从数字信息中的文书数据取出文书群者。取出部可以是基于文书资料的更新日期和时间等属性取出者。又，取出部也可以具有从文书数据将文书群随机地取样并取出的功能。

所谓「显示部」为显示取出的文书群者。显示部可以是用户所使用之客户端终端器等显示设备。

又，根据本发明的鉴识系统可以更包含因子再选择部，其在当唤回率变成低于固有的目标值时，就利用因子的评估值的总和、与固有的目标值和唤回率的差再选择因子。

所谓「因子再选择部」为再次选择由因子选择部选择出的因子者。

又，因子再选择部可以是当唤回率变成低于固有的目标值时，在使唤回率变高到固有的目标值之前，使因子的评估值的总和达到为固有的目标值和唤回率的差之前，从除了取出的因子以外的因子的集合中取出因子并加以选择者。

又，评分计算部可以是当唤回率变成低于固有的目标值时，进一步利用因子再选择部所选择出的因子与该因子再选择部所再选择出的因子的评估值，计算文书数据的各文书的第二评分，藉由评分与上述第二评分的组合，再次计算文书数据的各文书的评分者。

所谓「第二评分」为评分计算部利用因子再选择部所再选择出的因子再次计算出之文书的评分。

又，根据本发明的鉴识方法，其收集被记录在多个计算机或服务器之中的数字信息，就该收集到的数字信息与诉讼的关联性加以分析，包含由计算机执行以下之步骤：一结果信息接受步骤，接受由使用者对于从被包含于上述数字信息中的文书数据所取出的包含预定数量文书的文书群，就与上述诉讼的关联性所判断出之结果的结果信息；一因子选择步骤，依据每一上述结果信息皆在上述文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择上述因子；一评分计算步骤，依据被包含于上述文书数据的各文书中的上述选择出的因子及上述选择出的因子的评估值而计算上述文书数据的各文书的评分；及一唤回率计算步骤，基于上述评分，而计算与诉讼的关联性的判断有关的唤回率。

又，根据本发明的鉴识程序，其收集被记录在多个计算机或服务器之中的数字信息，就该收集到的数字信息与诉讼的关联性加以分析，包含使计算机达成以下之功能：一结果信息接受功能，接受由用户对于从被包含于上述数字信息中的文书数据所取出的包含预定数量文书的文书群，就与上述诉讼的关联性所判断出之结果的结果信息；一因子选择功能，依据每一上述结果信息皆在上述文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择上述因子；一评分计算功能，依据被包含于上述文书数据的各文书中的上述选择出的因子及上述选择出的因子的评估值而计算上述文书数据的各文书的评分；及一唤回率计算功能，基于上述评分，而计算与诉讼的关联性的判断有关的唤回率。

本发明的鉴识系统、鉴识方法、及鉴识程序系藉由执行一结果信息接受步骤，其接受由使用者对于从被包含于上述数字信息中的文书数据所取出的包含预定数量文书的文书群，就与上述诉讼的关联性所判断出之结果的结果信息、一因子选择步骤，其依据每一上述结果信息皆在上述文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择上述因子、一评分计算步骤，其依据被包含于上述文书数据的各文书中的上述选择出的因子及上述选择出的因子的评估值而计算上述文书数据的各文书的评分、及一唤回率计算步骤，基于上述评分，而计算与诉讼的关联性的判断有关的唤回率，俾在系统自动地运作的情况下，也可查验系统的判断与人的判断有何种程度的一致，而能够提高判断精度。

又，根据本发明的因子选择部，在基于评估值的总和而选择因子时，将能够抑制系统所使用之因子的数量，而藉此得以降低噪声(所谓「对与诉讼无关的文书不当地赋予评分」之情事)。

又，根据本发明的因子选择部，在随着评估值的递减而将因子加以排序，并在因子的评估值的总和到达固有的目标值时，将因子取出，且选择该取出的因子时，将能够抑制系统所使用之因子的数量，而藉此得以降低噪声。

又，根据本发明的唤回率计算部，在评分被算出的文书之中的具有预定的评分以上的文书中，依据含有文书群的文书的比例而计算唤回率时，将依据文书的评分而评估系统之关联性判断的倾向，进而得以判断与使用者之关联性判断的倾向的一致性。

又，根据本发明的唤回率计算部，在将被算出上述评分的文书数据的各文书依上述评分的递减而加以排序，并从上位的评分开始取出预定比例的文书，而将上述取出的文书之中的上述文书群的所含比例当作唤回率加以计算时，将得以依据文书的评分而评估系统之关联性判断的倾向，并判断与使用者之关联性判断的倾向之一致性。

又，本发明的鉴识系统更包含一自动判断部，而其对评分超过了预定阈值的文书进行与诉讼的关联性有关的判断时，将得以基于使用者之关联性判断的倾向，而自动地进行文书与诉讼的关联性的判断。

又，本发明的鉴识系统更包含一取出部，其从数字信息之中所含的文书数据取出包含预定数量文书的文书群、及一显示部，使取出的文书群显示于画面上时，将得以取出受使用者进行关联性判断的文书，并将其显示在用户的终端器上。

又，本发明的鉴识系统更包含一因子再选择部，其在当唤回率变成低于固有的目标值时，就利用因子的评估值的总和、与固有的目标值和唤回率的差再选择因子时，即使在唤回率未达到目标值的情况时，仍将得以再次重选用于评分之计算的因子，而能够提高关联性判断精度。

又，根据本发明的因子再选择部，当唤回率变成低于固有的目标值时，其就在唤回率变回高于固有的目标值时，从因子的评估值的总和达到固有的目标值与唤回率的差为止时的因子，从除了取出的因子以外的因子的集合中取出因子并加以选择时，即使在唤回率未达到目标值的情况时，仍将得以从与前回所用之因子相异之因子的中再次重选用于评分之计算的因子，而能够提高关联性判断精度。

又，根据本发明的评分计算部，当唤回率变成低于固有的目标值时，而其就利用因子再选择部所选择出的因子与该因子再选择部所再选择出的因子的评估值而计算文书数据的各文书的第二评分，并藉由组合评分与第二评分，而再次计算文书数据的各文书的评分时，得以将前回的评分与第二评分的组合评分当作评分使用，而达成唤回率的改善。

附图说明

图1为显示本发明的第一实施方式中之鉴识系统的方块图；

图2为显示本发明的第一实施方式中之审核画面的模式图；

图3为显示本发明的第一实施方式之教师数据作成处理流程的流程图；

图4为显示本发明的第一实施方式之唤回率改善处理流程的流程图；

图5为显示本发明的其他的实施方式中之鉴识系统的方块图；及

图6为显示本发明的其他的实施方式中之自动判断部的处理流程的流程图。

附图符号说明

100      服务器装置

111      结果信息接受部

112      因子选择部

113      评分计算部

114      唤回率计算部

115      因子再选择部

116      显示部

117      取出部

118      自动判断部

200      客户端终端器

211      画面显示部

I1         审核画面

具体实施方式

第一实施方式

以下，参照图1至图4说明本发明的第一实施方式。

根据本发明的第一实施方式的鉴识系统，其收集被记录在多个计算机或服务器之中的数字信息，就该收集到的数字信息与诉讼的关联性加以分析，包含：结果信息接受部111、因子选择部112、评分计算部113、与唤回率计算部114。其中，信息接受部111对于依据被包含于数字信息中的文书数据所取出的包含预定数量文书的文书群，接受由使用者就与上述诉讼的关联性所判断出之结果的结果信息；因子选择部112依据每一上述结果信息皆在上述文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择因子；评分计算部113依据被包含于文书数据的各文书中的选择出的因子及选择出的因子的评估值而计算上述文书数据的各文书的评分；且唤回率计算部114基于评分而计算与诉讼的关联性的判断有关的唤回率。

又，鉴识系统可以更包含取出部117与显示部116。其中，取出部117从数字信息之中所含的文书数据取出包含预定数量文书的文书群；而显示部116使取出的文书群显示于画面上。

又，鉴识系统可以更包含因子再选择部115，当唤回率变成低于固有的目标值时，就利用因子的评估值的总和、与固有的目标值和唤回率的差再选择因子。

鉴识系统具有计算机或服务器，基于各种输入，CPU执行被记录在ROM之中的程序，由此使各种功能部动作。该程序可以是被记忆在CD－ROM等存储装置中、经由因特网等网络而发布、或者被安装在计算机中。

在本实施方式中，被称为审核者的用户为了从文书数据取出在诉讼中必需提出的文书，进行与诉讼的关联性的判断。所谓文书为包含一个以上的词汇的信息。作为文书之的一个实例，可包括：电子邮件、简报数据、表格计算数据、会议数据、契约书、组织结构、商业计划书等。又，扫描信息也可以当作字处理。在此情况下，可以在鉴识系统内设置OCR(OpticalCharacter Reader)装置，以使扫描信息可以变换为文本信息。藉由OCR装置变更成文本信息，则可以从扫描信息解析或探索后述之因子。

文书数据系文书的集合体。文书数据是指与诉讼的关联性的判断时必要的全部的文书，而所谓文书群为在文书数据之中，用户用以进行关联性判断的文书。系统或用户判断与诉讼关联与否的此一动作称为审核。在审核时，基于诉讼的关联的程度或与诉讼的关联的方式，对作为审核对象的文书的文书群进行多个种类的分类。

图1为显示第一实施方式中鉴识系统的方块图。在本实施方式中，鉴识系统包含服务器装置100与客户端终端器200。

服务器装置100与客户端终端器200系透过通讯网络连接。所谓通讯网络为有线或者无线的通讯线路。例如，电话线路、因特网线路等。

客户端终端器200具有画面显示部211，其显示如图2所示之审核画面I1。审核者透过客户端终端器200，与服务器装置100连接，在审核画面I1上进行审核。

服务器装置100包含：结果信息接受部111、因子选择部112、评分计算部113、唤回率计算部114、因子再选择部115、显示部116、与取出部117。

本实施方式中，虽然各结构搭载于服务器装置100上，然而也可以分别搭载在各别框件上。

就图1中所绘的各结构进行说明。结果信息接受部111接受审核者对于文书进行审核的结果。审核结果当作结果信息被接受。结果信息可以是将各文书与诉讼的关联程度藉由符号表示者。

因子选择部112取出针对各文书审核之结果的每一结果信息在文书中皆共同地出现的因子，并从该因子的评估值选择于后段处理中使用的因子。

所谓因子为被包含于文书之中的词汇、记号、图面等等的文书的组成因子。例如，因子也指：在如词素般的语言中，若再将其分割就将丧失涵义为止地加以分割，并加以取出之音素的每一整合的片段。

评估值为代表因子的特征的值。评估值也可当作代表因子所具有之传输信息量。

又，因子选择部112也可当作基于因子所保有的传输信息量计算评估值者。

所谓传输信息量为在概率论及信息理论中之代表两个之概率变量的相依性等级的量。具体而言，传输信息量也可当作代表对包含该因子的文书所进行之关联性的判断结果与代表与该因子的相依关系的等级。例如，因子选择部112可以选择传输信息量大的因子。

又，因子选择部112可以当作基于评估值的总和选择因子者。又，因子选择部112亦可以当作将因子依评估值的递减排序、取出因子至因子的评估值的总和达到固有的目标值为止、并选择该取出的因子。

所谓固有的目标值为表示作为目标之唤回率的值。固有的目标值可以是以百分率表现者。

评分计算部113计算文书的评分。例如，评分计算部113可以将被包含于文书之中的因子的评估值的总和当作评分进行计算。

又，评分计算部113进一步，如后所述，在当唤回率变成低于固有的目标值时，利用因子再选择部115所选择出的因子与该因子再选择部115所再选择出的因子的评估值计算文书数据的各文书的第二评分，藉由评分与上述第二评分的组合，再次计算文书数据的各文书的评分。

所谓第二评分为评分计算部113就各文书计算出之第二次以后的评分。

唤回率计算部114计算评分计算部113之处理的唤回率。例如，唤回率计算部114可以当作是评估服务器装置100所赋予文书的评分的值、并计算审核者之审核结果的再现性者。

所谓唤回率为与诉讼的关联性的判断有关者。唤回率可以表示系统将人的关联性的判断自动地再现的程度的指标。

又，唤回率计算部114也可以是依据在已被算出评分的文书之中、具有预定之评分以上的文书中含有文书群的文书的比例计算唤回率者。又，唤回率计算部114可以是将已被算出评分的文书数据的各文书依评分的递减排序、从上位的评分取出预定之比例的文书、并将取出的文书中含有文书群的比例当作唤回率进行计算者。

取出部117从数字信息中的文书数据取出文书群。也可以是随机地取样并取出者。又，也可以是基于文书的更新日期和时间等属性取出者。又，取出部117也可以具有从文书数据将文书群随机地取样并取出的功能。

显示部116显示取出的文书群。也可以是显示在用户所使用之客户端终端器200上者。

因子再选择部115再次选择由因子选择部112选择出的因子。又，因子再选择部115也可以是在唤回率变成低于固有的目标值时，到唤回率高于固有的目标值为止，从因子的评估值的总和达到固有的目标值与唤回率的差为止时的因子，从除了取出的因子以外的因子的集合中取出因子并加以选择者。

接着，基于图3及图4，说明鉴识系统的处理流程。

图3显示有关教师数据作成的流程的处理的图。鉴识系统基于审核者就教师数据进行审核的结果的特征，进行其他的文书数据关联性判断的处理。

首先，取出部117从收集到的文书数据随机地取样并取出文书群，以向审核者提示(STEP111)。接着，显示部116向客户端终端器200的画面显示部211发出指令，令其将取出的文书群显示于文书显示画面I1上。此时，显示部116发出依照日期的顺序排列并显示文书的指令。接受到指令的画面显示部211将文书显示画面I1显示于客户端终端器200上(STEP112)。审核者审视显示于文书显示画面I1的文书进行审核。具体而言，依据文书与诉讼的关联性的程度，赋予文书区别符号。藉由审核者所赋予的区别符号当作结果信息由结果信息接受部111接受(STEP113)。如此，藉由审核者所审核的文书群作为教师数据被被传递到后段之处理。

图4系显示有关唤回率改善流程之处理的图。

因子选择部112解析教师数据，并进行选择因子的处理。具体而言，将被赋予共通的区别符号的文书中共同地出现的词素作为因子取出N个(STEP120)。在取出的词素中，基于各词素所保有的传输信息量计算评估值(STEP121)。例如，第一个取出的词素的评估值设为Wgt1、第二个设为Wgt2、第N个设为Wgtn。因子选择部112利用此Wgt1至Wgtn的评估值，选择用于进行后段之处理的词素。具体而言，将词素依评估值的递减排序，满足以下的式(1)且其总和达到固有的目标值(设为K：K为任意的常数)为止，从评估值的上位依序选择m个词素。

【式1】

$K={\mathrm{\Σ}}_{i=1}^m{\mathrm{wgt}}_i...\left(1\right)$

K：固有的目标值

wgt_i：第i个词素的评估值

在本实施方式中，固有的目标值系指作为目标的唤回率。接着，评分计算部113将包含选择出的m个词素的文书从文书数据取出(STEP130)，并基于所包含的词素的评估值，藉由以下的式(2)计算各文书的评分(STEP131)。此时，评分计算部113也对于教师数据计算评分。

【式2】

$S_i={\mathrm{\Σ}}_{i=0}^{N}i*(m_i*{\mathrm{wgt}}_i^2)/{\mathrm{\Σ}}_{i=0}^{N}i*{\mathrm{wgt}}_i^2...\left(2\right)$

S_i：第i个评分

m_i：第i个词素

wgt_i：第i个词素的评估值

接着，唤回率计算部114が，以评分的递减顺序将文书(包含教师数据)排序(STEP140)，并取出排序后的文书的上位A％(A为任意的常数)(STEP141)。唤回率计算部114从包含于A％之中的文书数之中、含有教师数据的比例，计算唤回率X1(Xn：唤回率计算部114在第n次计算出的唤回率)(STEP142)。

接着，因子再选择部115判断唤回率X1是否超过目标值K(STEP150)。在超过的情况下(STEP150：YES)，结束处理。在低于的情况下(STEP150：NO)，因子再选择部115再选择因子(STEP151)。具体而言，依据因子选择部112所取出的N个词素中、除了这次处理中使用的m个词素以外的词素，在满足以下的式(3)、且其总和达到固有的目标值为止从评估值的上位依序选择l个词素。

【式3】

$K-X_n={\mathrm{\Σ}}_{i=m+1}^{l+m+1}{\mathrm{wgt}}_i...\left(3\right)$

K：固有的目标值

W_i：第i个词素

X_n：第n个唤回率

评分计算部113系从包含教师数据的文书取出包含因子再选择部115所再选择出的词素的文书(STEP130：第二轮)，并利用式(1)计算各文书的第二评分S1r。利用首次计算的评分S1与第二评分S1r的残余误差Δ1(Δ1＝S1r－S1)，依据以下的式(4)计算各文书的组合评分S2(STEP131：第二轮)。

【式4】

$S_{i+1}=\sqrt{S_i^2+{\mathrm{\Δ}}_i^2}=\sqrt{S_i^2+{\mathrm{\Σ}}_{k=1}^i{\mathrm{\Δ}}_k^2}$      where

${\mathrm{\&Delta;}}_k=\left\{\begin{array}{ccc}{S}_{\mathrm{kr}}-S_k& \mathrm{for}& S_{\mathrm{kr}}\&GreaterEqual;S_k\\ 0& \mathrm{for}& S_{\mathrm{kr}}<S_k\end{array}\right....\left(4\right)$

S_i：第i个评分

S_ir：第i个第二评分

Δ_i：第i个评分与第i个第二评分的组合评分

唤回率计算部114利用组合评分S2，再次计算唤回率，重复STEP130～STEP151之处理，到唤回率高于目标值K为止。藉此，可以使鉴识系统之审核处理的精度提高到目标唤回率为止。

【其他的实施方式】

以下，参照图5及图6说明本发明的其他的实施方式。

依照本发明的其他的实施方式的鉴识系统，其收集被记录在多个计算机或服务器之中的数字信息，就该收集到的数字信息与诉讼的关联性加以分析，包含：结果信息接受部111、因子选择部112、评分计算部113、与唤回率计算部114。其中，结果信息接受部111接受由使用者对于从被包含于数字信息中的文书数据所取出的包含预定数量文书的文书群，就与诉讼的关联性所判断出之结果的结果信息；因子选择部112依据每一结果信息皆在文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择因子；评分计算部113依据被包含于文书数据的各文书中的选择出的因子及选择出的因子的评估值而计算文书数据的各文书的评分；且唤回率计算部114基于评分而计算与诉讼的关联性的判断有关的唤回率。

又，本实施方式中之鉴识系统可以更包含自动判断部118，其对评分超过了预定阈值的文书进行与诉讼的关联性有关的判断。

图5为显示其他的实施方式中之鉴识系统的方块图。在本实施方式中，鉴识系统包含服务器装置100与客户端终端器200。

客户端终端器200具有画面显示部211，其显示如图2所示之审核画面I1。审核者透过客户端终端器200，与服务器装置100连接，在审核画面I1上进行审核。

服务器装置100包含结果信息接受部111、因子选择部112、评分计算部113、唤回率计算部114、因子再选择部115、显示部116、取出部117、与自动判断部118。

在本实施方式中，虽然各结构系搭载于服务器装置100上，然而也可以分别搭载在各别框件上。

自动判断部118对于文书自动进行与诉讼的关联性的判断。例如，自动判断部118可以是在评分计算部113赋予文书之评分超过了预定阈值的情况下，判断为有关联性者。

图6为显示自动判断部118之处理流程的图式。在第一实施方式中，自动判断部118系于图4所示之STEP150之处理完成后开始处理。

系统管理者就各区别符号，输入门坎值(STEP201)。评分计算部113所计算出的评分超过此门坎值的文书，将被自动判断部判断为赋予与超过了评分有关的区别符号。

例如，在评分计算部113就某文书A计算出的评分超过了门坎值的情况下(STEP202：YES)，则自动判断部118对于某文书A赋予区别符号(STEP203)。另一方面，在并未超过门坎值的情况下(STEP202：NO)，则不赋予文书A区别符号。在文书数据之中，还有剩下尚未被判断评分是否超过的文书的情况下(STEP204：YES)，则自动判断部118再次进行STEP202的处理。在文书数据之中，已经没有尚未被判断评分是否超过的文书的情况下(STEP204：NO)，则自动判断部118结束处理。

就其他之结构、功能而言，系与第一实施方式相同。

鉴识系统系藉由所具备之结果信息接受部111，其对于依据被包含于数字信息中的文书数据所取出的包含预定数量文书的文书群，接受由使用者就与诉讼的关联性所判断出之结果的结果信息、因子选择部112，其依据每一结果信息皆在文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择因子、评分计算部113，其依据被包含于文书数据的各文书中的选择出的因子及选择出的因子的评估值而计算文书数据的各文书的评分、及唤回率计算部114，其基于评分而计算与诉讼的关联性的判断有关的唤回率的执行，俾能使使用者在进行诉讼时、减轻其对所使用之文书数据的关联性进行判断之作业负担，又，可藉由查验系统之自动进行的判断与人的判断有何种程度的一致，而能够提高判断精度。

又，因子选择部112是基于评估值的总和而选择因子，故能够抑制系统所使用之因子的数量，而藉此得以降低噪声。

又，因子选择部112系依评估值的递减而将因子加以排序，并在因子的评估值的总和到达固有的目标值时，将因子取出，且选择该取出的因子，故将能够抑制系统所使用之因子的数量，而藉此得以降低噪声。

又，唤回率计算部114系在被算出评分的文书之中的具有预定的评分以上的文书中，依据含有文书群的文书的比例而计算唤回率，故得以依据文书的评分而评估系统之关联性判断的倾向，并判断与使用者之关联性判断的倾向的一致性。

又，唤回率计算部114系将被算出评分的文书数据的各文书依评分的递减而加以排序，并从上位的评分开始取出预定比例的文书，而将取出的文书之中的文书群的所含比例当作唤回率加以计算，故得以依据文书的评分而评估系统之关联性判断的倾向，并判断与使用者之关联性判断的倾向之一致性。

又，鉴识系统更包含自动判断部118，其对评分超过了预定阈值的文书进行与诉讼的关联性有关的判断，故得以基于使用者之关联性判断的倾向，而自动地进行文书与诉讼的关联性的判断。

又，鉴识系统更包含取出部117与显示部116，其中，取出部117从数字信息之中所含的文书数据取出包含预定数量文书的文书群；而显示部116使取出的文书群显示于画面上，故得以取出受使用者进行关联性判断的文书，并得以将其显示在用户的终端器上。

又，鉴识系统更包含因子再选择部115，当唤回率变成低于固有的目标值时，其利用因子的评估值的总和、与固有的目标值和唤回率的差再选择因子，故即使在唤回率未达到目标值的情况时，仍得以再次重选用于评分之计算的因子，而能够提高关联性判断精度。

又，因子再选择部115系在唤回率变成低于固有的目标值时，到唤回率高于固有的目标值为止，从因子的评估值的总和达到固有的目标值与唤回率的差为止时的因子，从除了取出的因子以外的因子的集合中取出因子并加以选择，故即使在唤回率未达到目标值的情况时，仍得以从与前回所用之因子相异之因子的中再次重选用于评分之计算的因子，而能够提高关联性判断精度。

又，进一步地，评分计算部113在唤回率变成低于固有的目标值时，利用由因子再选择部115所选择出的因子与由因子再选择部115所再选择出的因子的评估值而计算文书数据的各文书的第二评分，并藉由组合评分与第二评分，而再次计算文书数据的各文书的评分时，得以将前回的评分与第二评分的组合评分当作评分使用，而达成唤回率的改善。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭示如上，然而并非用以限定本发明，任何本领域技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简介修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (14)

1.一种鉴识系统，收集被记录在多个计算机或服务器之中的数字信息，就该收集到的数字信息与诉讼的关联性加以分析，包含：

一结果信息接受部，接受由使用者对于从被包含于上述数字信息中的文书数据所取出的包含预定数量文书的文书群，就与上述诉讼的关联性所判断出之结果的结果信息；

一因子选择部，依据每一上述结果信息皆在上述文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择上述因子；

一评分计算部，依据被包含于上述文书数据的各文书中的上述选择出的因子及上述选择出的因子的评估值而计算上述文书数据的各文书的评分；及

一唤回率计算部，基于上述评分，而计算与诉讼的关联性的判断有关的唤回率。

2.如权利要求1所述的鉴识系统，其中上述因子选择部是基于上述评估值的总和而选择上述因子。

3.如权利要求1所述的鉴识系统，其中上述因子选择部将上述因子依评估值的递减而加以排序，而上述因子的评估值的总和在达到固有的目标值后，就取出因子，并选择该取出的因子。

4.如权利要求1所述的鉴识系统，其中在上述评分被算出的文书之中的具有预定的评分以上的文书中，上述唤回率计算部是依据含有上述文书群的文书的比例而计算唤回率。

5.如权利要求1所述的鉴识系统，其中上述唤回率计算部将被算出上述评分的文书数据的各文书依上述评分的递减而加以排序，并从上位的评分开始取出预定比例的文书，而将上述取出的文书之中的上述文书群的所含比例当作唤回率加以计算。

6.如权利要求1所述的鉴识系统，其中上述因子选择部保有上述因子，而基于传输信息量计算上述评估值。

7.如权利要求1所述的鉴识系统，更包含一自动判断部，对上述评分超过了预定阈值的文书进行与上述诉讼的关联性有关的判断。

8.如权利要求1所述的鉴识系统，更包含：

一取出部，从上述数字信息之中所含的文书数据取出包含预定数量文书的文书群；

一显示部，使上述取出的文书群显示于画面上。

9.如权利要求3所述的鉴识系统，更包含一因子再选择部，当上述唤回率变成低于上述固有的目标值时，就利用上述因子的评估值的总和、与上述固有的目标值和上述唤回率的差再选择上述因子。

10.如权利要求9所述的鉴识系统，其中，当上述唤回率变成低于上述固有的目标值时，上述因子再选择部就在上述唤回率变回高于上述固有的目标值时，从上述因子的评估值的总和达到上述固有的目标值与上述唤回率的差为止时的上述因子，从除了上述取出的因子以外的因子的集合中取出因子并加以选择。

11.如权利要求9所述的鉴识系统，其中，当上述唤回率变成低于上述固有的目标值时，上述评分计算部就利用上述因子再选择部所选择出的因子与该因子再选择部所再选择出的因子的评估值而计算上述文书数据的各文书的第二评分，并根据组合上述评分与上述第二评分，而再次计算上述文书数据的各文书的评分。

12.如权利要求8所述的鉴识系统，上述取出部具备从上述文书数据之中随机地取样文书群并加以取出的功能。

13.一种鉴识方法，收集被记录在多个计算机或服务器之中的数字信息，就该收集到的数字信息与诉讼的关联性加以分析，包含由计算机执行以下步骤：

一结果信息接受步骤，接受由使用者对于从被包含于上述数字信息中的文书数据所取出的包含预定数量文书的文书群，就与上述诉讼的关联性所判断出之结果的结果信息；

一因子选择步骤，依据每一上述结果信息皆在上述文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择上述因子；

一评分计算步骤，依据被包含于上述文书数据的各文书中的上述选择出的因子及上述选择出的因子的评估值而计算上述文书数据的各文书的评分；及

一唤回率计算步骤，基于上述评分，而计算与诉讼的关联性的判断有关的唤回率。

14.一种鉴识程序，收集被记录在多个计算机或服务器之中的数字信息，就该收集到的数字信息与诉讼的关联性加以分析，包含使计算机达成以下之功能：

一结果信息接受功能，接受由用户对于从被包含于上述数字信息中的文书数据所取出的包含预定数量文书的文书群，就与上述诉讼的关联性所判断出之结果的结果信息；

一因子选择功能，依据每一上述结果信息皆在上述文书群之中共同出现的因子的特征而计算该因子的评估值，并基于该评估值而选择上述因子；

一评分计算功能，依据被包含于上述文书数据的各文书中的上述选择出的因子及上述选择出的因子的评估值而计算上述文书数据的各文书的评分；及

一唤回率计算功能，基于上述评分，而计算与诉讼的关联性的判断有关的唤回率。