CN113785318A - 用于审核管理的系统、设备和方法 - Google Patents

Abstract

一种审核管理系统，其通过从审核元数据中导出行为和观察的模式、以及将导出的数据与历史审核数据进行比较，来监视审核员的行为和观察，从而检测在审核的执行期间的异常值。该系统和方法改进了产品和过程审核的精确性、有效性和可靠性。

Description

用于审核管理的系统、设备和方法

相关申请的交叉引用

本申请要求于2019年2月26日提交的美国临时申请序列号No.62/810,948的优先权，该申请全部内容并入本文。

技术领域

本发明涉及用于审核(audit)管理的系统、设备和方法。更具体地，但不排他地，本发明涉及通过对于对这种审核的位置、人员和执行来说唯一的数据的捕获和分析，来改进审核的精确性和可靠性的系统、设备和方法。

背景技术

许多行业使用审核来管理风险和保持质量。可以基于审核员-受审核方的关系来对审核进行分类。第一方审核是提供了程序和管理策略满足所定义的准则(criteria)的要求的内部验证的自我评定。第二方审核对照由第一方定义的准则来评定供应商或承包商的表现，并且第三方审核涉及由不受雇于受审核方的独立方开展审核，并且可以导致对照外部认可的标准或方案的认证。

例如，食品行业是广泛使用食品安全和质量审核的行业。通常在食品行业中使用审核，以评估管理系统，获得某些食品安全和质量标准或方案的认证，评定场所和产品的条件，以及确认法律合规性等。如今，消费者对食品安全和质量问题越来越感兴趣，这主要是由最近的食品丑闻引发的，这已使得公共和私营食品部门能够制定各种食品安全和质量标准和方案。K.Kotsanospoulos,The Role of Auditing,Food Safety,and Food QualityStandards in the Food Industry:A Review(食品行业中的审核、食品安全和食品质量标准的作用：综述),Comprehensive Reviews in Food Science and Food Safety(食品科学与食品安全综合意见),2017年第16卷(2017年7月3日)。这些标准既有优点也有缺点，并且它们的有效性取决于几个因素，诸如审核员的能力和技能以及在每个案例中使用的标准(出处同上)。尽管该行业不断投资开发和改进这些系统，但欧洲和美国两者每年的食源性疫情数量似乎相当稳定(出处同上)。这可以指示需要附加的措施和技术或不同的方式来改进食品安全和质量管理系统的有效性(出处同上)。所公开的发明还可以检测欺骗性(fraudulent)审核。

例如，关于食品行业，人类对食品的消费依赖于通过复杂的全球供应链的安全、优质的食品的生产和提供。然而，根据世界卫生组织，“估计每年有6亿人——世界上几乎十分之一的人——在食用被污染的食物后患病并有42万人死亡，导致3300万健康寿命年的损失……不安全的食品造成了疾病和营养不良的恶性循环，尤其影响到婴儿、幼儿、老人和病人。”(https://www.who.int/news-room/facts-sheets/detail/food-safety)。对抗这一普遍问题的主要保护形式是通过对食品供应链的审核来实现的，但只有该部门的小部分组织实际上接受了审核。例如，全球约有5.7亿个农场(https:// www.globalagriculture.org/report-topics/industrial-agriculture-and-small- agriculture-agriculture.html)，其中约有30万个农场通过经历审核而获得了认可的食品安全准则的认证。这些数字突出了一些影响大量人口的风险、健康和死亡率的令人震惊的问题。因此，需要一种用于改进经审核的货物(诸如食品产品)的安全和质量的有效性的系统、装置和方法，而且也需要针对各种准则(包含但不限于质量、环境、健康、可持续性和人权)跨所有行业和部门的改进。

发明内容

所公开的主题的目的和优点将在下面的描述中阐述并从中显现，以及将通过所公开的主题的实践而被了解。将通过在书面描述和其权利要求以及附图中具体指出的方法和系统来实现和获得所公开主题的附加的优点。

据记载，审核网络中的欺骗可以导致难以检测的非法ISO证书。这个问题在Is itLegitimate？How to tell if your ISO Certificate is Real or Fake(是合法吗？如何辨别你的ISO证书是真的还是假的),(https://streamline.business/is-it-legitimate- how-to-tell-if-your-iso-certificate-is-real-or-fake/)进行描述，其内容通过引用并入本文。一方面，提供了一种能够检测审核网络中的欺骗的审核系统。在此方面，欺骗可以包含出于私人利益的滥用职位、虚假陈述或损害他人权利的活动，或者更具体地说，包含食品欺骗。参见，例如，Louise Manning等,Food Safety,Food Fraud,and Food Defense:AFast Evolving Literature(食品安全、食品欺骗和食品防御：快速发展文献),Instituteof Food Technologies(食品技术研究所),(2016)和Global Perspectives on FoodFraud,results from a WHO survey of members of the International Food SafetyAuthorities Network(INFOSAN)(食品欺骗的全球视野，世界卫生组织对国际食品安全权威机构网络(INFOSAN)成员的调查结果),NPJ Science of Food(食品科学),(2019)，每篇文献的内容均通过引用并入本文。该系统包含被配置为从一个或多个设备接收用户(例如审核员)的实时行为和观察的设备。实时行为和观察的接收可以是从一个或多个设备传输的元数据的形式。该设备还可以包含具有一个或多个存储模块的数据库。该一个或多个存储模块可以包含历史数据或元数据，该历史数据或元数据包括多个审核员的行为和观察。该设备还包含处理器，该处理器被配置为从第一审核员设备接收审核元数据。所生成的审核元数据包含该审核员在一段时间期间的行为或观察。数据分析操作被配置为导出在审核期间的行为或观察的模式(pattern)，并将这些模式与存储在数据库中的审核行为或观察的历史模式进行比较，以便基于该比较来确定是否有异常值(outlier)。在这点上，管理设备可以检测单个或多个欺骗事件或在行业审核中或与一个或多个审核员一起的大规模欺骗。

另一方面，提供了一种系统。该系统包含第一设备，该第一设备包括处理器和一个或多个传感器。第一设备被配置为在审核的执行期间通过一个或多个传感器实时监视审核员的行为或观察，以生成审核元数据。该系统还包含第二设备，该第二设备包括处理器和数据库。第二设备通过网络接口可操作地连接到第一设备。第二设备被配置为从第一设备接收审核元数据。所生成的审核元数据包含该审核员在一段时间期间的行为或观察。第二设备被配置为对接收到的审核元数据执行数据分析操作。数据分析操作生成或导出在审核期间的行为或观察的模式。可以将审核行为或观察的模式与存储在数据库中的审核行为或观察的历史模式进行比较，以基于该比较来确定异常值。异常值可以是欺骗或其他渎职行为的指示。

以上所描述的审核系统的实施例包含如下审核系统，其中：该一段时间是审核的执行，第二设备被配置为当接收到审核元数据时实时执行数据分析操作，第二设备被配置为当确定异常值时传输警报通知。警报可以传送给技术评审员、受审核方或其他个体。第一或第二设备中的至少一个是便携式或移动设备。

在一些实施例中，从以下组成的群组中选择传感器：陀螺仪、加速度计、图像传感器或相机、接近传感器和麦克风传感器或其组合。审核元数据包含电子位置信息、时间戳信息、特定手势信息或持续时间信息。

与第二设备相关联的处理器被配置为接收由特定审核员完成的行为或观察的模式，该处理器进一步当第一设备接收到特定审核员的位置时生成审核员行进的距离或路径。

欺骗性审核执行的指定模式指示，净行进距离小于存储在行为或观察的历史模式中的阈值距离。

第二设备被配置为接收审核元数据，并且进一步其中第二设备基于审核元数据与审核元数据的行为或观察的历史模式的比较，来导出与特定审核员相关联的信任评级。

审核系统可以单独或以任何组合地包括以上实施例中的任何一个。

所公开主题的另一方面提供了一种虚拟审核市场，其中向寻求审核的受审核方或审核请求者提供一种方法，该方法基于电子位置信息以及资格或评级信息来标识审核员。

在一个实施例中，该方法包含由一个或多个处理器向审核管理系统登记受审核方和多个审核员，该审核管理系统包含基于网络的系统或设备。响应受审核方的登记，基于受审核方或现场的电子位置信息和/或身份来确定受审核方或审核现场的位置和市场细分。响应于登记多个审核员中的每一个，为每个审核员确定多个审核员中的每一个各自的位置、资格和评级。该方法还包含通过网络从受审核方或审核请求者接收审核请求。响应于接收到审核请求，一个或多个处理器自动标识开展审核的至少部分的一个或多个审核员。该一个或多个审核员的身份经由网络传输给受审核方或审核请求者。可以将报价请求直接给一个或多个审核员以对该请求进行投标(bid)。在投标期间，审核员的身份可以是匿名的。

以上所描述的方法的实施例包含这样的方法，其中：第一审核员和受审核方的身份中的至少一个是对技术评审员不可见的。

该方法或虚拟审核市场可以单独或以任何组合地包括以上实施例中的任何一个。

在又一方面，一种驻留在用于处理审核元数据的计算机可读存储设备上的非暂时性计算机可读介质，该计算机可读存储介质包括指令，当该指令由耦合到计算机可读存储设备的处理器执行时，使该处理器：在该处理器上实例化的多个并行审核处理器上处理多个电子元数据，该多个电子元数据包含由一个或多个审核员生成的行为和观察，其中该多个电子元数据中的每个电子元数据具有多个唯一标识符之一，该唯一标识符将该元数据标识为属于特定的审核员、受审核方或审核现场，并将接收到的电子元数据路由到一个或多个并行审核处理器，其中当由处理器执行该指令时，该指令使该一个或多个审核处理器使用一个审核处理器将接收到的电子元数据与存储在数据库中的历史电子元数据进行比较，以确定是否存在异常值；并且当接收到的电子元数据出现异常值时，使用该审核处理器执行警报或通知。

这些实施例以及本文中更详细描述的其他实施例为公司提供了对商品(例如食品行业)放置并因此执行审核的改进的效率和多功能性。从下面的详细描述中，本发明的其他特征和优点对于本领域技术人员来说将变得显而易见。然而，应该理解，详细描述和特定示例虽然指示了本发明的优选实施例，但是是以说明而非限制的方式给出的。在不脱离本发明的精神的情况下，可以在本发明的范围内做出许多改变和修改，并且本发明包含所有这样的修改。

附图说明

参考附图提供了本文所描述的主题的各种方面、特征和实施例的详细描述，附图在以下简要描述。附图是说明性的，不一定按照比例绘制，为了清楚起见，一些组件和特征被夸大了。附图说明了本主题的各种方面和特征以及可以全部或部分地说明本主题的一个或多个实施例和示例。

图1是与所公开的主题的示例性实施例相一致的审核系统的说明示意图。

图2是与图1的系统相一致的第一设备的说明的详细示意图。

图3是与图1的系统相一致的第二设备的说明的详细示意图。

图4是与图1的系统相一致的数据结构的说明示意图。

图5-图6是与所公开的主题的示例性实施例相一致的处理流程。

图7-图22是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了审核计划模块的特征。

图23-图25是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了控制面板模块的特征。

图26-图27是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了与前往审核现场相关的审核执行模块的特征。

图28-图30是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了与审核计划概述和审核事件的日程安排相关的审核执行模块的特征。

图31-图40是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了与审核的第一事件相关的审核执行模块的特征，该第一事件包括访谈和观察，该界面包含用于上传访谈记录、文字稿、数据和审核员意见的提示。

图41-图48是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了与审核的第二事件相关的审核执行模块的特征，该第二事件包括位置巡视，该界面包含用于上传观察、视频、音频、数据和审核员意见的提示。

图49和图50是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了与审核发现日志相关的审核执行模块的特征。

图51是与所公的开主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了用于输入不合规发现的屏幕。

图52-图54是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了与审核报告生成相关的审核执行模块的特征，该审核报告生成包含执行摘要和条款摘要概述。

图55是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了与带有事件进度信息的审核计划概述相关的审核执行模块的特征。

图56是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了与带有联系人的消息传递模块相关的屏幕。

图57描绘了图形用户界面(GUI)的页面的一个实施例。

图58-图59是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了包含审核概述和审核进度信息的控制面板模块的特征。

图60-图62是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了与包含在审核期间参观的位置的现场地图相关的地图模块的特征。

图63-图73是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了CAPA收尾模块的特征。

图74是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了执行摘要。

图75是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了审核发现日志。

图76是与所公开的主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了访谈记录日志(沙盒)。

图77是与所公开主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，其示出了条款日志(沙盒)。

图78是示出与所公开的主题的示例性实施例相一致的审核进度摘要的示例的图表。

图79是示出与所公开的主题的示例性实施例相一致的审核日程安排摘要的示例的图表。

具体实施方式

已经详细参考了所公开的主题的选择实施例，其示例在附图中说明。将结合系统的详细描述来描述所公开的主题的方法和对应步骤。

除非另有定义，本文使用的所有技术和科学术语具有与本公开的主题所属领域的普通技术人员通常理解的相同含义。尽管类似于或等同于本文所描述的任何方法和材料也可用于本公开的主题的实践或测试，但本公开可以具体提及某些示例性方法和材料。

如本文和所附权利要求中所使用的，单数形式“一”、“一个”和“该/所述”包含复数指代物，除非上下文另有明确规定。

与所公开的主题的各种实施例相一致，在图1中示出审核系统100。审核系统100为多个用户提供审核服务，包含一个或多个审核员12A、一个或多个受审核方12B和一个或多个审核请求者12C。例如，但不限于，审核员12A可以是独立审核员、公司审核员、认证机构(CB)审核员中的一个或多个。如本领域所理解的，审核请求者12C需要审核服务。例如，审核请求者12C寻求于确定受审核方12B的商业实践是否符合已定义的准则，例如但不限于环境、工人安全和食品安全的现有标准或方案。因此，审核员请求者12C寻求一个或多个审核员12A的服务，来执行对受审核方12B的审核。在一些实施例中，审核员请求者将是受审核方12B。此外，审核请求者12C(其可以是受审核方，也可以不是受审核方)提交报价请求(RFQ)，以寻求预获资格(pre-qualified)的审核员的服务。

相应的，系统100包含分别与一个或多个审核员12A、一个或多个受审核方12B以及一个或多个审核请求者12C相关联的一个或多个设备10A、10B或10C。设备10A、10B或10C中的每一个都可以是移动设备，例如移动电话、平板电脑、膝上型计算机等，其具有诸如苹果操作系统(Apple OS)、安卓(Android)、Linux等操作系统。设备10A、10B或10C经由各自的通信接口16A、16B或16C与设备14通信。在一些实施例中，接口16A、16B或16C是使用蜂窝通信、WiFi通信的无线连接或者是有线通信。设备14包含用于存储审核数据的数据库18，如本文将更详细描述的。存储18还可以包含存储的RFQ模板和定义的准则，例如审核方案、审核标准和审核发票模板。

在一些实施例中，对审核员的设备10A进行验证。例如，审核员12A将提供经验证的手机号码。可以通过验证过程对审核员进行验证，例如当审核员向系统重新发送验证短信或代码时，通过短信确认对手机号码进行验证。在一些实施例中，未经验证的审核员不能参与审核系统。

在图2中更详细地示出设备10A。设备10B和10C基本上与设备10A相同。设备10A包含处理器20和相关联的数据存储22。天线24提供与设备14的通信，例如，经由蜂窝或WiFi通信。处理器20运行操作系统并操作软件来执行本文更详细地描述的审核功能。设备10A包含多个传感器，这些传感器对于审核员12A用以执行审核并提供完成审核所需的各种审核参数的输入是有用的。例如，可以向设备10A提供GPS传感器26，以提供地理位置信息。可以提供计时时钟28。此外，设备10A还可以包含加速度计陀螺仪、温度传感器、接近传感器、光传感器、湿度传感器(未示出)。附加的传感器包含图像传感器30或相机和麦克风(未示出)。

设备10A提供了在审核执行期间生成元数据并且记录观察(observation)的能力。例如，在开展审核的过程中，GPS传感器26和时钟28允许用元数据(例如地理位置和时间戳)对每个审核输入(entry)进行标记。显示器34提供图形用户界面，使得能够经由触摸输入32来输入诸如审核员观察的信息。下面更详细地描述图形用户界面。

在图3中更详细地示出设备14。设备14可以是移动设备、膝上型计算机、台式计算机或服务器。设备14包含一个或多个处理器30和相关联的数据库32。天线34提供用通信接口36(例如经由蜂窝或WiFi通信)与设备10A、10B或10C的通信。处理器30包含多个模块，例如请求模块40和行为分析模块，在某些实施例中，可以作为处理器30上的虚拟机来执行这些模块。

请求模块40与数据库32接合，以便登记一个或多个受审核方12B和一个或多个审核员12A。受审核方信息可以存储在数据库32中，包含位置和市场细分或行业。审核员信息可以存储在数据库32上，包含位置、资格和评级以及日程安排(schedule)可用性。请求模块40响应于审核请求者12C的审核请求，将受审核方信息与审核员信息进行匹配，以提供一个或多个合适的审核员。

在一些实施例中，系统的一个目标是禁止“游戏”该系统。例如，如果审核员有腐败的动机，或者在今天的实践中“得到了回报”，他可能不会实际执行审核，但将创建“通过”的审核，并将其提交给技术委员会。此后，可能会不知不觉地基于腐败行为而发布证书。在这点上，所公开的发明被配置为从审核员和受审核方的第一次接触(包含受审核方提交RFQ以及审核员中标)开始，计算其时间和运动的全部。然后，审核员与此次审核相关的所有移动和行为都会被记录并加盖时间戳——从前往(travel)和住宿开始，涉及到成本和费用报销。在审核时间段(这是基于审核的类型和范围的强制性的时间段)期间，每一步、观察和输入都是对照真实的位置进行衡量的，无论是在前往途中还是在受审核方的资产上(外部)或资产中(内部)。例如，审核员在什么地方停留过，停了多长时间，以及在做出观察的输入时审核员离观察到的条件(例如，一件设备或生产线)有多远。审核是对照所需的时间(2个人工日、3个人工日等)来衡量的。然后，系统对关于该位置的历史记录(例如维护记录、审核记录等)进行分析，并将记录与当前审核员输入进行比较，并基于前述内容来生成指示和发现，这些指示和发现影响审核员的可信度分数、审核员的输入和最终通过分数。总的来说，所收集的数据和信息(逐步的、逐秒的)证明了审核员到达了受审核方处，执行了某些范围的工作(包含观察和输入)，并与一个或多个设备和技术评审员(reviewer)合作过。如果审核员没有出现，或者审核员意在拖延时间而出现，这种行为模式将很难复制。此外，如果审核员做出腐败输入，但输入与历史数据(例如，报告的未固定屋顶漏水)相冲突，这将指示不可信并且影响审核员、受审核方和审核的可信度。因此，行为分析模块38与数据库32接合，以便确定由审核员12A生成的审核报告的完整性或可信度。例如，见图23，示出信任评级为80％。此外，可以定期提示和/或要求审核员输入和重新输入生物特征信息(即指纹)，以确认同一用户正在实行审核，并且没有将审核事件未经授权地移交给另一审核员。

在设备14处从设备10A接收元数据和审核员观察。处理器30，例如行为分析模块38，通过基于在一段时间期间的元数据和/或审核员的观察以生成审核行为，来确定审核报告的完整性。例如，审核员观察可以包含但不限于体现在在音频、视频、图片和/或文本中的信息。行为分析模块38对接收到的审核元数据执行数据分析操作，并导出在审核期间的行为和/或观察的模式。随后，行为分析模块38可以将审核行为或观察的模式与存储在数据库中的审核行为或观察的历史模式进行比较，并基于该比较确定异常值。审核行为或观察中的异常值将需要对原因进行进一步调查，其中可以通过本地过程或环境中的改变来证明该异常值是正当的；或者该异常值可以指示欺骗。与行为的历史模式的高度符合性可以指示审核的可信度。例如，处理器30可以捕获并维护从传感器感测到的元数据或观察中导出的标签的“踪迹(trail)”。如图61和62所示，该信息可以反映行为模式，例如审核期间审核员的踪迹。异常值或符合性信息可以指示审核员是否遵循了针对审核现场的预定审核计划。此外，捕获的标记信息可以包含收集数据，例如指纹、设备之间的无线握手、GPS坐标、应用使用情况(application usage)或其他被监视的活动，并使用收集的数据来验证审核员是否遵循审核计划。

图4是与审核员12A生成的审核证据相关联的示例性数据包50的示意图。数据包50可以包含与各种事件52和观察54相关联的元数据。例如，事件1、2和3可以对应于行为，例如审核员12A在审核期间的位置。审核员可以在巡视期间登录一个或多个工厂视察或巡视。可以用元数据(例如地理位置信息和时间戳)对巡视中的每次停留(见图60-62)进行标记。其他元数据可以包含相关联的温度、环境光、湿度等。在审核期间，审核员12A可以做出各种观察，例如写笔记、拍照或记录访谈。例如，观察可能包含气候条件、设备状况、陪同人员等。可以用元数据(例如地理位置和时间戳)对每个观察进行标记。替代地，每个观察可以包含开始时间和完成时间。观察和元数据还可以触发对预定个体的通知。

图5-图6示出了能够检测审核执行中的欺骗的审核系统100的操作200。该过程中的早期步骤210是监视审核行为210。在审核执行期间，审核员12A将执行多个行为，例如对受审核方的设施开展巡视。在此巡视期间，审核员12A可以做出某些停留(见图60-62)。每次停留都可以被认为是行为事件。步骤220，用元数据，例如地理位置数据和时间戳或者与事件相关联的开始时间和停止时间，来对每个行为事件进行标记。此外，步骤230，在审核的执行期间，操作设备10A的软件提供了用于输入观察的界面。例如，如上所解释的，审核员可以做笔记、拍照或记录音频。步骤240，也用元数据对这些观察中的每一个进行标记。为了确保精确性，用相关联的行为或观察对与行为和观察相关联的元数据(步骤220和240)进行实时标记。步骤250，在审核执行期间的某些点，将数据和/或元数据传输到设备14。应当理解，数据可以无线地传输或通过有线接口来传输。来自观察的数据还可以存储在“沙盒(sandbox)”中以用于后续的考虑和意见，如图34所示。

参考图6，步骤260，设备14接收从设备10A传输的数据。处理器30，特别是行为分析模块38，接收从设备10A接收的数据，并根据该数据来生成行为模式。例如，行为分析模块38可以生成行为模式，该行为模式表示审核员在审核期间前往的位置(见图60-62)。行为模式可以表示审核期间所执行的各种检查或测试的持续时间，等等。然后，步骤280，将特定审核员10A的行为模式与行为的历史模式进行比较。使用在相关行业或部门中的遍及多个受审核方的记录和遍及多个第一方、第二方和第三方审核中聚集的历史信息，来训练行为分析模块38。当行为模式基本上符合行为的历史模式时，审核可以被认为是可信的。具体而言，可以统计地量化该行为模式的程度，例如80％可信。然而，步骤290，当行为模式偏离行为的历史记录或历史模式时，确定异常值。异常值的确定可以例如由一个或多个技术评审员来验证。在一些实施例中，异常值或异常值模式的确定可以导致审核员和/或受审核方的信任评级改变，例如降低。在另一个实施例中，异常值可以是审核过程中欺骗或其他渎职的指示。

如果确定了异常值，则提供警报。该警报可以由设备14提供，并通信给预定的个体，例如但不限于审核请求者12C、或受审核方12B、或审核员12A。

基于审核要求或异常值出现时，可以联系一个或多个技术评审员。技术评审员对审核报告开展评审，其中该审核报告包含与行为和观察相关联的元数据(以及对照当前审核员的历史数据和分析)。技术评审可以接收审核员12A和受审核方12B的匿名身份的审核信息，以提供技术评审员的客观评估。在这点上，设备14可以基于受审核方12B或审核请求者12C提交的RFQ来标识一个或多个合适的审核员，这将在下面更详细地进行描述。

技术评审员可以与类似于10A、10B或10C的设备(未示出)相关联。技术评审员可以经由各自的通信接口，例如蜂窝通信、WiFi通信或有线通信，与设备10A、10B、10C和/或14通信。技术评审员设备能够例如通过下载来接收评审员观察和行为元数据。技术评审还可以与沙盒进行通信，以评审并向审核员和/或其他个体发送意见。在一些实施例中，技术评审员可以传输与观察或行为元数据相关联的纠正或预防动作计划(“CAPA”)。在另一个实施例中，系统100包含人工智能，该人工智能被配置为基于所收集的观察或元数据在需求未被满足时建议纠正动作。

审核员、受审核方、审核请求者、技术评审员或其他个体可以通过双向通信处理器相互传输意见。参见图56，示出了系统或设备上的用于访问通信处理器以联系个体的交互式屏幕。在一些实施例中，通信可以实时发生，使得受审核方或设施现场能够实时处理审核员和技术评审员之间的意见以最终解决。参见图64-图73中审核员、受审核方、审核请求者、技术评审员或其他个体之间的通信的示例，以便处理和解决意见。在最终解决之后，设备10A或设备14或两者可以生成系统或设备上的屏幕的最终审核报告(见图74-77)以有助于生成最终报告。系统100可以被配置为向联网设备广播、多播或单播通知，以便用信号通知最终报告和CAPA计划可用性。此后，技术评审员或认证机构审核员可以做出认证决定。

在一些实施例中，存储18包含定义的准则，例如审核方案和/或标准，以将其与从审核员设备10A传输的观察和/或审核元数据进行比较。在这点上，处理器30可以确定观察和/或元数据是否符合审核方案和/或标准。

设备14可以被配置成在技术评审员批准之后生成认证。可以将生成的证书传送给受审核方、审核请求者、审核员和技术评审员。所生成的证书、最终报告和CAPA也可以存储在数据库18的存储器模块之中与受审核方和/或审核员相关联的输入中。一旦发布证书或对现有证书的状态进行任何更改(在适用情况下)，即可向各方下发通知。

在一些实施例中，一旦发布证书，设备10A、10B、10C和/或14具有按需要通过以下方式向其他人发送文档(例如CAPA、最终审核报告和证书)的功能：例如通过将文档附接或链接到系统或设备；例如以便携式文档格式。在其他实施例中，证书可以是纸质的并邮寄，或者扫描并制成pdf，然后通过电子邮件发送给受审核方。然后，受审核方向客户、政府和行业团体分发该证书的副本，以证明符合一项或多项标准(如ISO9000、FSSC22000、EFfci等)和法规(如FSMA、FDA等)。纸质和PDF的证书很容易篡改，并且很难大规模检测腐败。由本发明生成的证书是数字的，并且含有从受审核方和审核员的第一次接触到审核结束和证书发布的整个数字端到端记录。“基因(DNA)”不存在伪造证书的可能性。除了唯一的事务(transaction)“DNA”，本发明发布的证书可以与唯一的标识符耦合并且被散列到以太坊区块链上的块。智能合约维护数据的完整性。

返回参考图2，设备14以及其他设备10A、10B和10C可以包含图形用户界面(GUI)来显示信息或日程安排事件，例如下面更详细讨论的日历和通知。系统或设备提供在GUI上显示的交互式屏幕，以便用户访问审核管理系统的功能。例如，图23-图25示出了设备10A示例性GUI控制面板(dashboard)的各个页面。如图所示，图23显示审核员12A的信息。如图所示，显示屏显示报价转换、工作量、审核员表现和信任评级以及付款信息。图24显示了与审核员12A签约的审核的摘要页面，其包含客户和现场。签约的审核也可以与以下相关联：相关的审核标准(例如ISO 22000)、以及审核即将进行的动作和客户/受审核方的日程日期。每个审核的深入选项可以包含财务信息，包含：报价中(RFQ)、审核报价、签约中和签约现场。参考图25，GUI还包含下拉菜单，该下拉菜单包含对一个或多个现场的审核计划、审核执行和CAPA收尾(closeout)的访问。可以分页、导出和打印结果信息，例如，作为pdf或csv文件。

在一些实施例中，设备10A通过包含客户、即将到来的审核、日期或时间、或审核标准的各种参数，来提供搜索、分类和过滤图23至图25中表示的信息的能力。GUI可以指示指派给审核员12A的所有审核的进度或状况。如图78所示，GUI可以显示建立的目标日期，并跟踪审核进度的相对表现，以确定审核是在目标日期之后还是之前。如图79所示，时间日程安排可以基于默认值。

在一个实施例中，该系统帮助审核的日程安排(下面进一步讨论日历安排)，将一个或多个审核方案或过程的要求链接到所选标准的底层要求，允许审核员在审核期间(下面进一步讨论审核执行和管理)记录各种类型的观察，即证据，例如但不限于与一个或多个观察相关的音频、视频、图片、文本或传感器数据。该系统可以被配置为将记录的观察连接到审核方案的要求和所选标准的底层要求。该系统还可以被配置为共享在审核期间做出的观察，并在审核期间实时向有资格的用户建议纠正和预防动作(CAPA)，如下文进一步所讨论的。

参考图23-图25中显示的信任评级，设备10A可以被配置为具有与GUI的该部分结合以访问关于评级分数的附加细节的功能。例如，审核员可以访问特定优势和劣势的细节，例如深入到评级中，并由技术评审员或供应商进行过滤，例如以获得关于该评级的知识。在一些实施例中，评级是机器生成的，而不是人工生成的。影响审核员评级的审核员价值是通过审核员每次审核的表现、对受审核方/审核员合约的遵守、对审核所依据的标准的遵守以及技术评审员的结果来衡量的。通过审核的结果以及努力收尾的CAPA来对受审核方进行评级。

GUI还可以包含即将到来的技术评审，其中一个或多个评审员显示在列表视图中。这些技术评审员可以是预获资格的。审核员可以例如基于审核标准和时间，对信息进行搜索、过滤和分类。系统的一个或多个设备可以指示指派给该技术评审员的所有技术评审的状况，例如等待报告草稿、等待CAPA计划、技术评审中、发送给审核员的评审意见、审核员对评审意见的回应、批准的报告、CAPA以及(如果适用)发布的证书。

预期的受审核方或审核请求者、潜在客户(即尚未签约的客户)可以：按星期、标准和地域查看所有可用的审核员。例如，可以在GUI上搜索、分类和查看有资格审核特定标准(即FSSC22000)的所有审核员，以及在特定管辖范围(例如审核现场的州/国家)内的特定星期(例如从2018年12月3日开始)内可用的审核员。搜索结果可以被进一步细化，以基于审核员的评级来限制审核员的返回结果(例如，具有4星评级和更高评级的审核员)；或者可以过滤和查看过去曾为受审现场审核过的所有审核员。

权限(Permission)。某些个体可以具有被授予查看GUI中的附加信息特定的权限。例如，除了以上所描述的关于预期受审核方或审核请求者、潜在客户之外，还可以向承诺的审核客户(即处于合约约定阶段或更高阶段的客户)、团体客户(即跨多个现场进行协调的个体)、品牌所有者(即已经发出审核请求的客户以及允许客户的客户可见性的客户)和方案所有者(例如监督其第二方审核的A1、FSSC 22000公司)授予权限。

基于向以上描述各类个体授予的权限，至少使一些个体能够例如从其移动设备远程地管理或协调审核。这些权限使个体能够选择和查看一个、多个或所有审核现场的细节。他们还可以搜索和查看过去已经为特定组织审核过的所有审核员的身份。例如，LRQA与Cargill有合约，但随后对每个现场都有单独的现场协议(例如，SOW)。在签订现场协议时，个体可以对标识出可用审核员的信息进行访问。

可以在日历视图和地图视图中查看为特定组织所日程安排的审核，可以有能力通过按以下项目进行搜索和过滤：待审核的标准、审核员的姓名、现场名称、时间/日期、组合(例如，将在所有美国现场处开展的所有已日程安排的FSSC审核)。在受审核现场处具有被指派的允许其管理或协调审核的权限的个体可以访问和查看：在日历视图中为我的现场所日程安排的所有审核，其有能力按照要审核的标准、时间和审核员姓名进行搜索和过滤。

个体还可以基于指派给该个体的权限级别，来访问和查看例如：与审核过程相关的财务信息(例如，从报价到结算)、供应商/现场名称、时间/日期、组合(例如，将在所有BASF现场处开展的所有已日程安排的EFfCI审核)、按照方案和按照总体评级的所有有资格的审核员，其是通过按照技术评审和/或客户反馈来深入到细节而实现的。

特定审核的现场联系人可以具有添加参与审核的其他员工的权限。现场联系人可以在RFQ中定义，或由合约或现场协议修订。现场联系人自动在日历上看到其现场的所有日期。现场联系人可以负责审核的某些部分，例如上传CAPA。如果新员工未在系统中，则可以生成连接请求并将其发送给新员工以连接到系统。现场联系人可以定义员工可以做什么以及他们收到的通知。

报告。在一些实施例中，系统可以基于审核员实时或另一时间段提供的观察，来生成审核报告或其部分。

在一些实施例中，审核执行使得能够下载核对清单(checklist)和模板的数据条目，以便输入不符合项(non-conformity)。特定模板可以具有基于正在执行的审核的类型或标准的类别。这可以使不符合项能够被系统进行分类。附加地，可以有使得能够以富文本进行审核信息输入的报告模板。还可以使得该报告能够创建或嵌入其他文档和照片或其他数据或信息记录。

在一些实施例中，至少一个设备包含移动审核功能，其被配置为在执行审核时支持用户或审核员在周末回家(HOW)。用户或审核员可以将HOW用于执行审核或CAPA。在审核执行功能作为“证书请求(Certificate Request)”的结果而被启动的一些实施例中，使某些里程碑文档和信息对原始“证书请求”的发布者可用，其中该“证书请求”触发了该请求的接收者购买审核。

在一个实施例中，系统的用户可以在系统的请求模块和审核执行模块之间切换。移动设备/PC的UI/UX是无缝集成的。例如通过GUI上显示的显示屏上的标题，来可视化地向用户告知何时其被带到系统的另一个模块以执行审核的下一步。可选地或附加地，控制面板中的审核摘要(图24)可以用作“主页(home)链接”，以供用户访问链接到用户具有权限访问的特定审核的模块和信息。这使得用户能够知道各种文档和信息的检索可以在哪里发生。例如，审核执行模块中的审核员可以转到所发出的导致了审核的底层请求。作为另一个示例，请求模块中的对收到的RFQ进行评审的审核员可以转到审核执行模块中的进行中(in-progress)的审核。

在之前的审核结束时，如果同一现场的合约上还有其他审核，则提示审核员和客户要下次审核的到期日，并且使得任何一方能够更改日期。为清楚起见，剩余的其他审核意味着第2年或第3年的监督审核，甚至是潜在地签约的其他审核(关键是针对该现场所签约的任何审核)。一旦将其日程安排在日历上，任何一方都可以对照前面所描述的过程移动该日期。

通知。每个收到通知的个体可以选择将通知暂停(snooze)，暂停多长时间由用户决定如下：自定义允许以下选项，每个收到通知的个体可以选择不再接收通知，或者选择仅成组发送通知。示例：每周一次、每天一次等向我发送与本次审核相关的所有通知。示例：在收到报告时立即向我发送不符合项观察；或者，仅在技术评审员评审后才向我发送不符合项观察。每个个体可以在其“加入”审核时订阅可用于该审核的通知。主现场联系人可以为其作为该现场审核的一部分的其他现场团队成员设置通知。这并不阻止这些其他现场团队成员改变设置，除了下面所提到的，例如关键(critical)的不符合项。

现场联系人可以为其团队建立通知。审核的任何阶段的提醒通知，例如，在审核计划会议前1小时通知团队，或在审核团队在现场前1周通知团队，例如，通知约翰·史密斯任何轻微的不符合项。现场联系不能改变的是，该现场处的每个人都被通知关键的不符合项。任何主现场联系人可以改变主现场联系人。任何管理员可以改变主现场联系人。任何想要将自己改变为主现场联系人的员工都会被告知他们没有这样做的权限(除非他们具有管理访问和安全的权限，并且他们希望将该更改的请求发送给那些可以管理访问和安全的人)。如果是要发送请求，则请求者可以添加为什么他们希望成为现场联系人的意见。

将请求和任何意见发送给那些可以管理访问和安全的人。除非接受或拒绝对访问的请求，否则每1天向管理员发送通知/提醒。如果接受，请求者被告知该接受并成为主现场联系人。如果拒绝，请求者被告知该拒绝并可以重新提交请求。所有现场联系人可以定义他们想要在审核计划和执行期间被通知什么(并且可以关闭通知)。某些不符合项必须始终被通知，并且现场联系人不能将其关闭。

日历安排(Calendaring)和日程安排(Scheduling)。使系统的用户能够将来自管理系统日历中的日期放入自己的日历中。与日程安排和日历安排相关的GUI屏幕的示例，请参见图28-图31。管理系统日历和用户日历可以被配置为同步(双向或单向)。用户可以使用“添加到日历”功能，选择将某些条目从系统日历同步到用户日历(例如，审核日程安排日期)，该功能在其选择/链接的日历上打开一个新条目。

在一些实施例中，在审核过程中涉及的个体(即，客户和审核员)之间共享日历安排，以提高对于经协议和计划的日程/日期、以及设置目标日期的透明度，增加问责制并改善表现。日历可以基于某些准则进行搜索和过滤。合约中定义的审核日期(或如果使用现场协议，则根据该协议)可以反映在日历中。

如果是多年，则所有日期都会反映在日历上。如果日期落在周六或周日，用户被提示此内容并选择不同的日期。该系统或设备提供在日历中直接安排与审核相关的临时(adhoc)事件的日程的功能。一个示例是安排不在合约或现场协议中的审核计划会议的日程。理想情况下，该功能遵循类似doodle.com或calendly.com类型功能的共享日历安排的概念。

参与审核的任何审核员(审核员、技术评审员等)可以在其日历上有一个或多个条目，这些条目显示例如客户名称、现场名称、标准和审核阶段、到客户档案的链接、客户参考号、CB/独立审核员(IA)维护的内部参考号、和/或Job/SOW细节，其所有或一些可以在日历条目中是可用的。可以启用到诸如RFQ、PO、合约(后来的账单)、付款、公司名称(如果与现场名称不同)等项目的链接。可以通过例如下拉特征等方式，提供和启用到合约/现场协议中的和/或更新后的档案、公司地址(如果与现场名称不同)、现场名称(可以包含在日历条目的“标题”中)、现场档案、现场地址、地图链接和/或所有团队成员(无论是审核员还是客户，其包含现场主联系人、公司合约负责人、首席审核员和技术评审员的身份)的链接。可以使用到存储18中的联系人数据库的链接，来显示电子邮件地址/手机号码。也可以在日历条目中显示或链接来自合约的或更新后的审核状况(见控制面板/状态部分)、审核方案(如A1、FSSC22000、其第二方审核的公司)。日历条目中的其他链接或信息可以包含：来自合约或者更新后的要对照着审核的标准或方案(例如，EFfCI)(这也在日历条目的标题行中)、来自合约或更新后的关于审核范围的信息、来自合约或更新后的审核日期(系统根据日期生成审核天数)、来自合约或现场协议的审核的阶段(例如，审核计划、认证日期等)(这也在日历条目的标题行中)、来自合约或现场协议的审核的类型(例如，初始认证、初始认证阶段1、初始认证阶段2、监督、重新认证)、审核报告链接(一旦在草稿或最终版本中可用)、CAPA报告链接(一旦在任何版本中可用)和审核证书(一旦可用)。

审核中所涉及任何客户(指批准RFQ、PO、合约的任何员工；或任何过程中所涉及的客户的任何员工；等等)在其日历上都有条目，这些条目显示与以上描述类似的信息。审核员/CB或客户应该能够在日历中手动移动个体的日期。审核员/CB或客户可以基于第一日期移动，来选择重新安排后续日期的日程。审核/CB或客户可以接受或拒绝日期改变或提出替代方案。

拒绝(rejection)保持了原始日期并向审核员发送拒绝的通知。接受(acceptance)通知审核所涉及的任何人(其他客户或审核员)。任何人可以改变其通知优选项：“审核被重新安排时通知我”、“通过电子邮件通知我”、短信或APP内、关闭这些来源中任何来源的通知。如果被申请人在三天内未接受，可以发送提醒。可以像上面的通知中所描述的那样将提醒暂停。如果提出的日期改变意味着客户的现有证书将过期，会将其告知用户但用户可以继续。在接受此类日期改变时也会类似地将其告知客户接收人，但客户接收人也可以继续。

在日历中设置目标日期。客户能够按照GUI上显示的审核状况，来设置用以执行的目标日期。“设置目标日期”的权限可以控制此功能。目标日期最初可以反映合约或现场协议中的细节。在一个实施例中，如果没有设置日期，则除了可能正在进行的和已经完成的之外，不显示目标度量。日期可以是渐进的。例如，不能将后面的阶段安排在前面的阶段之前。如果将后一阶段安排在与前一阶段相同的日期，用户可以收到警告，并且可以改变日期或继续。客户可以具有从任何进度/状况点设置目标日期的能力。

日期可以通过日历进行设置，也可以通过选择相对于已设置日期的日期进行设置，例如任何合约日期后的30天。日期可以相对于实际日期进行设置，例如，在12/31/18认证目标日期之前的21天。设置目标日期的用户能够发布这些日期，以供其自己业务中能够针对其设置目标日期的那些实体使用。用户应该能够选择全部、选择一个或多个、取消选择一个或多个或取消选择全部。向用户呈现将被通知的那些用户及其各自操作的列表。

以每个操作至少一个个体(除非设置目标日期的用户也是负责管理审核的个体)的方式进行通知。使用户能够“管理或协调对我的业务的审核”的权限应该是可用的。用户可以取消选择个体(以最少一个个体为限)。用户可以发送带有目标日期日程安排的笔记，其中收件人将接收到该笔记。用户可以选择与审核员共享一个或多个日期。其遵循以上内部共享的过程。分配给特定现场/操作的特定审核员仅接收给其分配的现场/操作的通知。其可以是审核员，例如将CB分配到多个现场/操作。如果是这样的话，该审核员可以看到这将如何影响其针对所有适用现场的日程安排。客户必须确认与审核员共享的意图：目标日期的接收人可以查看笔记的摘要以及与其共享的目标日期，接收人可以设置提醒通知——在y日期前x天提醒我，可以像前面在通知中概括的那样将提醒暂停。一旦其收到目标日期，就会在系统中驱使通知和提醒。

一旦协议了现场参观的日期，可以日历安排功能用于安排现场参观日期期间的事件(例如访谈、工厂巡视等)的日程。审核员和客户人员将能够使用系统或设备来管理事件的日程安排。可以向其他感兴趣的个体(例如技术评审员、客户管理人员等)提供用于知晓和/或参与日程安排的事件日程安排的通知。

示例性审核

通常，审核包含计划、执行和报告阶段。图7-图22中描绘了示例性计划阶段，图26-图62中描绘了执行阶段，并且图63-图77中描绘了报告阶段。

参考图7-图22，向审核员提供将审核数据输入到设备10A的功能。参考图7和图8，可以根据报价请求和/或与审核请求者或受审核方的合约，来预填充其中一些数据。预填充的审核数据的示例包含：现场名称、审核标准、现场联系人、审核范围等。还可以将该信息输入到一个或多个设备10A、10B、10C和/或14中。该信息还可以包含审核业务名称(CB或IA)，其带有到档案、客户参考号、工作/合约参考号、工作细节声明、团队成员联系细节的链接。还可以包括定义的准则，例如审核方案或标准(例如，A1、FSSC22000、其第二方审核的公司)、要对照着审核的标准(例如，EFfCI)(其也可以放在日历条目的标题行中)、审核范围、审核日期(系统被配置为基于日期生成审核天数)、审核类型(例如初始认证、初始认证阶段1、初始认证阶段2、监督、重新认证)、和/或要用于审核的NC等级。取决于定义的准则，可以包含默认等级，例如：关键、主要、次要、观察、改善机会(OFI)。

如果审核是“审核一(AuditOne)”审核，则可以定义参数，诸如：客户处的谁需要查看特定信息(例如审核计划)、将主要不符合项告知谁等。系统和设备将向审核员通知，要对照着方案/标准进行审核的地方没有相关联的审核报告模板，在这种情况下，审核员将定义适当的报告模板(使用定义的通用模板作为基础)。如果需要，审核员可以具有对通用CAPA工作流程做出修改的能力。该系统或设备提供打印或导出审核员队列中每个审核工作的审核计划的功能。该系统或设备提供安排审核计划会议的日程的功能，即，遵循共享日历概念，例如doodle.com或calendly.com类型的功能(参见上面的日历安排)。该系统或设备提供对嵌入式网络(web)会议工具的访问，以促进审核计划会议(应该对会议进行记录并将其上传到系统或设备以用于记录)。网络会议工具理想地不需要任何用户下载和安装APP。理想情况下，这将是带有日历插件的第三方工具。该系统或设备提供向被提名的现场和客户联系人分发草稿和最终审核计划的功能。如果允许客户看到给定发出的原始请求的性质的文档，那么他们还会看到该原始请求所允许的文档。

该功能为审核员提供了定义现场/客户的列表的功能、以及为审核员团队联系人提供发送各种类型的通知(针对与审核计划、NC标识、CAPA、报告、证书等相关的警报)的功能。当审核员在审核过程中认为合适时，该系统或设备为审核员提供改变审核计划的功能。客户具有在计划会议之前或之后上传由审核员请求的所需要的文件的能力。如果在审核的2周之前没有提交，则应向客户现场主联系人发送通知，并此后每天发送一次直到提交文件。该系统或设备提供了用改动来对审核计划草稿进行修订标记，并将这些改动发送回审核员的功能。审核员可以评审和接受/拒绝改动(如果他们想的话可以标识出原因)。草稿和意见的交换可以继续，直到接受并最终确定审核计划。如果经由审核/证书请求将客户连接到审核，则客户将收到可用于评审的审核计划草稿以及由客户批准的最终审核计划的可用性的通知。

参考图14和图15，设备的用户可以设置通知特征。如图所示，通知特征可以标识要接收通知的人、以及要发送给所标识的人的通知的内容。如以上所描述，可以将通知暂停、静音或分组。如图15所示，对指定方的通知可以是设置的或默认的。例如，主现场联系人可以被设置为默认的或预定的。对指定方的通知可以指示，审核员已在审核的每个已安排日程的日子到达现场(基于来自审核员设备的GPS数据)。

其他通知可以包含以下任意通知：有更新专门应用于审核模块的服务条款的需要。向指定方发出的有关审核员每天没有按时到达(基于批准的审核计划)的通知。向指定方(默认为主现场联系人，而其他人是由主现场联系人定义的)发出的审核员已经在审核的每个日程安排的日子离开现场(基于审核员手机的GPS数据)的通知。向指定方发出的有关审核员每天提前离开现场(基于批准的审核计划)的通知。向指定方(至少是主现场联系人、以及适用情况下的品牌所有者)发出的在整个审核过程中在现场花费的总审核时间的通知。

作为一个示例，当审核员不满足审核的总持续时间(以小时为单位)要求(基于一天8小时，因此例如3天的审核总共需要在现场花费24小时)时，可以将通知发送给指定方，例如已订阅通知的现场个体和其他人。

通知还可以包括一个或多个与审核连接的同意(consent)书。该过程类似于如何在日历中设置可用时间，并防止人们在不可用时安排会议日程，不同之处在于，在审核员在此上下文中是在设置他们的工作日。在这样做时，审核员必须确认例如“您同意、确认并赞同，在您已标识为可用的时间期间，设备14从用于开展审核的任何设备收集位置(GPS)和时间数据，以便识别和确认审核是根据定义的准则开展的，例如特定的方案或标准(例如，包含但不限于确认在操作层花费了在ISO22000或类似审核中指定的时间规定)”。通知最好有一个“为什么这样做？”条款，该条款指示例如“这样做显著增强审核的有效性，并将增加您的信任分数。”。审核员设置的时间摘要是其确认的屏幕/信息的部分。该确认的记录必须保存在系统或设备中，以便设备14如果需要/在需要时出于合法目的进行访问/使用。审核员应该能够在任何点编辑他们的可用时间。当审核员不使用该功能时，将会降低其的“信任分数”。可以对工厂巡视的开始盖上时间戳并且进行记录，并在执行笔记或审核报告中提及此。当审核的工厂巡视部分不符合准则，例如方案要求(在指定的情况下)时，可以向指定方(例如最少为主现场联系人、品牌所有者(在适用的情况下)和方案所有者)发出通知。

在审核计划阶段完成后，审核执行阶段从审核员到达现场开始，如图26所描绘。当审核员到达现场时(图27)，有使用适当的认证过程(诸如指纹，认证码，人脸识别)的“握手”，受审核方将该认证过程提供给审核员以进入现场。设备14可以给审核员的到达加盖时间戳，并解锁与设备14的通信。

在审核执行的起始期间，审核员12A访问审核计划概述，如图28所举例的。审核员还访问包括定义的准则的存储，例如特定于方案的或特定于审核标准的标准化开始会议幻灯片，审核员可以从存储在数据库32中的库中将其下载并根据需要对其进行定制。还可以向审核员提供对嵌入式网络会议工具的访问，以促进开始审核会议。会议的内容可以被记录并传输到设备14。

图31-图40是与所公开主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，该GUI示出了与一审核的包括访谈和观察的第一事件相关的审核执行模块的特征，其包含用于上传访谈记录、文字稿(transcript)、数据和审核员意见的提示。

审核员可以在设备10A中记录审核访谈，如图31-图33所示。该数据成为由设备14接收的行为元数据和/或审核观察的至少部分。设备10A和/或设备14具有将可听访谈记录转换成文本的软件。文本或音频记录存储在数据库32和/或沙盒中，以用于审核员、技术评审员或其他人随后进行分析。该系统或设备为审核员提供了突出显示(highlight)访谈中特别重要的段落的能力(例如，平板电脑上的按钮，以便打开突出显示然后将其关闭从而使特定的文本段落加粗)。该系统或设备向审核员提供在访谈期间直接在平板电脑上捕获笔记的能力。提供了让审核员发送访谈(文本格式)的能力，以用于在线且可用的有资格的审核员进行技术评审。将发送固定价格的报价，并可以由有该审核标准的资格的审核员对其进行投标/接受。技术评审将在设置的时间内完成，并在审核员最终确定审核报告之前可用。可以使用下拉菜单将与审核过程相关的条款、文字稿和/或音频文档添加到沙盒中(参见图34-图36)。类似地，可以用条款、文字稿和/或音频文档来组织和填充观察沙盒(参见图37-40)。

文件评审。由主现场联系人上传到系统或设备中的所有文件，至少在审核前一周以及审核期间对审核员是可用的，并且是以只读模式/副本可用的。审核结束后，不应该移除访问。该系统或设备可以约束审核员打印/下载/屏幕捕获或从现场提供的上传文档中捕获数据的任何其他手段的能力。

审核员12A具有捕获意见(以书面形式，或随后转换为文本的语音捕获)并与特定的文件参考相关联(例如，该意见属于现场质量手册的条款4.5)的能力。理想地，审核员12A有发送文档评审(以文本格式)的能力，以便由在线且可用的其他有资格的审核员进行技术评审。可以发送固定价格的报价，并且可以由有该审核标准的资格的审核员对其进行投标/接受。技术评审将在设置的时间内完成，并在审核员最终确定审核报告之前可用。

图41-图48是与所公开主题的示例性实施例相一致的图形用户界面(GUI)的屏幕截图，示出了与一审核的包含位置巡视的第二事件相关的审核执行模块的特征，其包含用于上传观察、视频、音频、数据和审核员意见的提示。

工厂巡视。如前所述，工厂巡视的开始/停止是加盖时间戳的，这可以鉴定和验证审核员所站的位置实际上接近所观察到的发现的位置。此外，可以计算从用以记录该位置处的观察以及所需的活动(例如，排水抽吸)的输入的开始到结束的时间，以符合针对同一活动的一个或多个标准以及历史时间流逝(lapse)，从而确定审核员是否分配了更少的时间、更多的时间还是适当的时间来完成任务。这可以在执行笔记或审核报告中被记录和提及，并向指定方发出通知。审核员可以从存储库(如数据库)中访问适合于定义的准则(如正在审核的方案/标准)的核对清单，审核员具有将笔记直接捕获到其设备(如平板电脑)上的能力。该系统或设备提供了让审核管理系统加载核对清单的能力。随后允许其他人使用与针对请求过程中的模板而定义的概念相同的概念(例如，Cargill SEM)来加载和管理核对清单的能力。审核员12A具有拍摄照片和视频，并将其附加到移动设备10A或经由通信接口链接到移动设备的独立设备中所包含的特定核对清单要求的能力。可以访问菜单来下载观察、照片、视频、音频、笔记、文档和其他类似于以上所描述的访谈事件的数据。照片和视频是有地理位置的。照片和视频是加盖时间戳的。审核员可以具有捕获意见(以书面形式，或随后转换为文本的语音捕获)并附加到特定的GMP核对清单要求的能力。意见是有地理位置的。意见是加盖时间戳的。

当巡视的特定部分完成时，审核员可以发送或该系统发送(审核员可以对其进行覆写(override)，但这将使其在其“信任分数”方面有所损失)针对设施/审核的该部分所完成的核对清单，以供在线且可用的有资格的审核员进行技术评审。将发送固定价格的报价，并可以由有该审核标准的资格的审核员对其进行投标/接受。技术评审将在规定的时间内完成，并在审核员最终确定审核报告之前可用。

生成审核发现日志(log)，以总结由审核员12A开展的审核事件的发现(见图49和图50)。

不符合项(NC)标识。审核员具有在发现不符合项时提出该NC的能力。图51为在发现不符合项时上传该不符合项的屏幕。NC记录可以包含：发现的日期和时间(自动生成/加盖时间戳)、NC参考(自动生成的、审核员姓名首字母/MMDD/序号从01起始)、从中识别出发现的现场过程、基于发现被记录时审核员的实际位置的地理位置、与发现相关联的要求条款(基于被审核的标准要向审核员提供的条款的下拉)、NC的性质(发现描述)、支持NC的证据(例如，照片、管理访谈的文字稿的部分、观察、审核员意见的交叉引用等。系统或设备向审核员提供了用来交叉引用先前上传的证据或在NC输入时上传的证据的设施)。等级(利用审核员在步骤9a.ii.9中设置的等级列表)。每个NC都将被发送以供在线且可用的有资格的审核员进行技术评审。将发送固定价格的报价，并可由有该审核标准的资格的审核员对其进行投标/接受。技术评审将在设置的时间内完成，并在审核员最终确定审核报告之前可用。将NC记录和等级的通知(例如，刚识别的主要NC)发送给作为定义的现场联系人的指定方。

在实施例中，审核执行模块向审核员12A提供生成包含执行摘要和条款摘要概述的审核报告的能力(参见图52-图54)。

随着现场参观的进展，在每次开展审核事件期间或之后对审核计划概述进行更新。事件状况是加盖时间戳的，并且指示出与计划的符合性。(见图55)。

作为通信接口的部分，审核员可以访问向联系人(例如包含其他审核员、客户人员、与审核相关的现场人员等)传递消息的能力。(见图56)。

如图57-图59所示，审核员可以在审核期间访问他的控制面板，以便随着审核参观的进展来评审该审核概述和进度信息。

如图60-图62所示，移动设备10A可以在地图模块中跟踪审核员通过该现场的进度，包括在审核期间在现场地图中参观的位置。对这些位置加盖时间戳，并且使用GPS坐标来标识这些位置。如上所讨论的，行为分析模块可以使用跟踪信息，来确认审核员正在参观审核计划中指定的位置。

图63-图73示出了CAPA收尾(closeout)模块的特征。

CAPA生成。每个离散的NC标识都触发对现场主联系人的CAPA请求。图63示出了一个屏幕，该屏幕示出了在审核期间识别的条款的概述。审核员12A需要确定哪些CAPA将影响认证决策。现场主联系人输入一日期(CAPA响应将在该日期之前是可用的)的能力。现场主联系人上传CAPA响应后，通知指定方(至少审核员、技术评审员和适用情况下的品牌所有者)。CAPA过程在现场主联系人和审核员之间来回切换，直到审核员批准CAPA。审核员可以批准CAPA的特定项目。审核员可以拒绝CAPA的特定项目。必须接受或拒绝每一个项目。拒绝要求审核员提供意见。意见和拒绝发送回现场联系人。现场联系人可以修改并重新发送给审核员。审核员可以如以上那样接受/拒绝。一旦审核员接受所有项目，则过程完成。CAPA模块中的下拉菜单可以提供与概述中每个条款相关的细节(图64-图73)，其包含不合规(non-compliance)识别以及审核员12A与现场主联系人之间为解决不合规问题而进行的通信的细节。签名和批准/拒绝都加盖时间戳以显示解决进度。设备10A向一个或多个技术评审员进行传输，以用于正确性或有效性的最终批准或验证。将发送固定价格的报价，并可由有该审核标准的资格的审核员对其进行投标/接受。技术评审将在设置的时间内完成，并在审核员最终确定审核报告之前可用。一旦技术评审员批准了CAPA的响应，通知指定方(至少是审核员、现场主联系人和适用情况下的品牌所有者)。取决于定义的准则，例如特定的标准或方案，除非所有的CAPA都由技术评审员签字，否则不能在工作过程的最后阶段发布证书(如果适用)。

结束会议。审核员可以从数据库32中的库中访问定义的准则，例如特定于方案的或特定于审核标准的标准化结束会议幻灯片(例如，power point)，审核员可以根据需要对其下载和定制。可以创建或自定义结束会议格式，以包含与关联于审核的标准相关的信息。用户有在系统或设备上创建和存储这些格式，然后利用其自己的模板的能力。该系统或设备可以提供对嵌入式网络会议工具的访问，以促进结束会议(为记录的目的，应该将会议予以记录并上传到系统或设备)。审核员有在审核的最后一天之前安排结束会议的日程的能力，其包含邀请现场主联系人所标识的所有人员。要由现场主联系人在审核的最后一天之前上传数据。如果没有在审核的最后一天的前一周提交，则发送通知，并此后每天发送。执行摘要(参见图74)可以是结束会议信息的部分。

将由审核员在结束会议之前上传审核发现日志(审核期间识别的所有NC的摘要)(见图75)。更新后的访谈沙盒和条款沙盒(参见图76和77)可用于在结束会议中使用。如果没有在4小时内上传通知，可向审核员发送通知，然后每小时向审核员发送通知，直到2小时后，然后在安排的会议时间之前每15分钟发送一次。一旦上传，将通知发送给所有结束会议参与者、技术评审员和客户(如果适用)。一旦审核员选择“审核完成”，那么“创建发现日志”选项应该对审核员可用。按需要修改CAPA和草稿报告到期日。

审核报告生成。托管针对多个定义的准则(如审核方案/标准)的审核报告模板的系统或设备。审核员有能力在现有模板不可用的情况下为审核方案/标准定义报告模板(要由审核员在计划阶段执行)(见第2a节)。审核报告模板预填充了审核员在计划和审核执行活动期间已经输入的元数据。审核员有能力按需要编辑预填充的审核报告。一旦上传报告草稿，将向指定方(至少有现场主联系人、技术评审员、适用情况下的品牌所有者(适用情况下，有可选/可用于选择的其他人)发出通知。对于音频记录(例如，访谈的)，允许客户/现场在认证时或认证后x周为特定审核设置这些音频记录的有效期。如果审核员为该特定审核加载了该音频的定义有效期的音频文件，向其发出警告。

在另一方面，提供了一种用于创建虚拟审核员市场的方法。在一个实施例中，基于一个或多个参数，例如位置、市场细分经验以及资格或评级，为受审核方12B或审核请求者12C标识一个或多个审核员12A。受审核方、审核员和/或审核请求者向审核设备14登记。设备14可以包含存储的信息，例如审核类别、适用的法律和标准以及标识出多个审核员的审核员列表。在某些实施例中，审核列表包含关于审核员的信息，例如专业知识和经验水平、可信度的评级(如上所描述的)和地理位置。在操作中，登记的受审核方或审核请求者提交针对审核的报价请求(RFQ)或请求或购买订单。设备14包含处理器，响应于接收到请求，该处理器自动标识一个或多个审核员以开展所请求的审核的至少部分。一个或多个审核员的身份通过网络传输给受审核方或审核请求者。在一些实施例中，一个或多个审核员可以包含一个或多个技术评审员或一组技术评审员，其身份对于其他审核员、受审核方或审核请求者是不可见的。在一些实施例中，基于参数所标识的多个审核员可以对审核请求投标，或者向受审核方或审核请求者提交推广。每个投标都与标识的审核员相关联。

在一些实施例中，该方法可以包含电子商务步骤，其中提交审核请求的受审核方或审核请求者进一步选择审核员来履行该请求，并且进一步通过设备14经由购买请求和支付来与审核员签订合约。设备14然后可以将购买订单和支付发送给配置有支付软件(例如

)的审核设备10A。

审核员有能力在审核结束时为所有CAPA成本(人工和费用)和审核差旅费用向系统或设备开具账单，并且一旦所有CAPA响应被接收到并且被批准，将费用与乘坐航班、抵达酒店等相绑定后，自动报销。该系统或设备将禁止供应商访问最终报告和证书，直到最终审核员账单得到支付。审核员有能力处理支票付款(如果所有CAPA都得到技术评审员的批准，审核员上传账单，并且供应商会在审核结束前添涂支票)。

在一个实施例中，一个或多个技术评审员被指派为处于审核请求状态。可以针对整个审核期间指派该一个或多个技术评审员。在一些实施例中，一个或多个技术评审员可以是生成一致批准(例如，80％)的一组技术评审员。例如，但不限于，在许多应用中，由系统生成的审核报告需要进一步的技术评审，例如对照审核准则将审核报告验证为审核结论的真实记录。在这点上，系统可以被配置成将审核报告分发给被指定为“技术评审员”的一组预获资格的同行。这些评审员在不知道审核员姓名或被审核组织名称的情况下，对照审核准则的要求，提供对审核报告的正确性的客观反馈。基于这些评审员(所有评审员彼此独立行动)的高比例共识，技术评审过程产生了比任何一个评审员的意见(这受到他们的个体偏见、个体经验和能力的限制)更值得信赖的结果，并且避免了如果审核员和评审员有共同的雇主的利益冲突的可能性。

在另一个实施例中，当发布人员发送RFQ时，将固定价格的相关联的RFQ发送给一个或多个有资格的技术评审员，以下情况可能发生：一个或多个技术评审员可以投标要成为需要技术评审的审核过程的所有部分的技术评审员(报价评审以及审核结果的技术评审，基本上他们负责整个审核)。一个或多个技术评审员可以对一个或多个位置或现场进行投标。例如，如果审核是针对欧洲的三个位置和美国的两个位置，一个或多个技术评审员可以选择只对美国的两个位置进行投标。例如，但不限于，无论谁先投标/先接受RFP将赢得投标(固定价格)。未来状态：在此阶段所标识的一个或多个技术评审员可能不一定是一旦安排了审核的日程后可用的人员。在这种情况下，系统启用例外/重新指派和费用分摊。如果没有技术评审员接受RFQ，审核管理系统(或标准发布人员)可以联系并指派一名有资格的技术评审员承担这项任务。

报价一旦准备好，就应该将其发送给技术评审员，他们可以有能力：将意见提供回卖方(并且卖方应该能够做出回应)。对由IA提供的仅与人工日的行项目相关的估计做出编辑(假设实施了人工日表格的GF管理)。编辑后，将报价发送回卖家。卖方在收到技术评审员的编辑时，不能编辑最终报价(尽管可以继续将消息/意见发送给TR)。卖方将评审后的/最终报价发送给发布人员。如果买方/发布人员接受了IA的报价，则TR将与审核保持联系以便对审核结果进行技术评审。他们将获得全部的TR费用。如果买方/发布人员接受了CB的报价，则不再联系TR，并且TR仅获得报价评审的费用。

在另一个实施例中，对于需要技术评审的审核过程的每个步骤，将评审该特定步骤的报价发送给所有在线/可用的有资格的审核员。有资格的审核员可以对每个固定价格评审活动进行投标。对于不同的评审步骤，审核管理系统上有一个明确的收费表，如报价评审——参见上文，(部分)报告评审、观察评审、CAPA评审等的细节。

在一个方面，描述了可以结合软件在硬件中实现的并行审核架构。该架构可以使用处理器和可编程逻辑以及存储器来实现。该架构可以在驻留在计算机可读存储设备上的非暂时性计算机可读介质中实现。计算机可读存储介质包括指令，当由耦合到计算机可读存储设备的处理器执行时，该指令使处理器：处理包含由一个或多个审核员生成的行为和观察的多个电子元数据。可以实时接收该多个电子元数据。例如，电子元数据可以包含由审核员在对现场的审核期间记录的观察。

可以在处理器上实例化的多个并行审核处理器上处理元数据。例如，可以在一个审核处理器上处理观察，而可以在第二审核处理器上处理行为元数据。各个处理器上的元数据处理可以并行处理，即同时处理，或者串行处理。电子元数据还可以包含一个或多个唯一标识符，该标识符将元数据与特定的审核员、受审核方或审核现场进行标识或关联。可以将接收到的电子元数据路由到一个或多个并行审核处理器，其中当由处理器执行时，该指令使一个或多个审核处理器将接收到的电子元数据与在较早时间段期间接收到的并存储在数据库中的历史电子元数据进行比较。该比较可以确定元数据中是否存在异常值。在这点上，该指令使处理器从元数据中生成行为或观察的模式。该指令还可以使处理器在接收到的电子元数据出现异常值时执行警报或通知。

非暂时性计算机可读介质还可以具有使处理器处理多个电子元数据的指令、以及使该处理基于其各自的唯一标识符从数据库中获得与同一审核员、受审核方或审核现场相关联的先前或历史电子元数据的指令。

在另一个实施例中，非暂时性计算机可读介质包含存储定义的准则(例如，审核标准或方案)的数据库。非暂时性计算机可读介质还可以包含使处理器处理多个电子元数据的指令，并且包括使处理器从数据库中获得一个或多个定义的准则或审核方案或标准的指令，并且还包括使处理器确定电子元数据的至少部分是否符合一个或多个审核标准或方案的指令。

Claims (33)

1.一种审核管理系统，包括：

第一设备，其包括处理器和一个或多个传感器，所述第一设备被配置为在审核的执行期间通过所述一个或多个传感器实时监视审核员的行为或观察以生成审核元数据；

第二设备，其包括处理器和数据库，所述第二设备通过网络接口可操作地连接到所述第一设备；

所述第二设备被配置为从所述第一设备接收所述审核元数据，所生成的审核元数据包含所述审核员在一段时间期间的行为或观察；

所述第二设备被配置为：

对所接收到的审核元数据执行数据分析操作，所述数据分析操作导出所述审核期间的行为或观察的模式；

将审核行为或观察的模式与存储在所述数据库中的审核行为或观察的历史模式进行比较，以及

基于所述比较来确定异常值。

2.根据权利要求1所述的审核系统，其中所述一段时间是审核的执行。

3.根据权利要求1所述的审核系统，其中所述第二设备被配置为随着接收到所述审核元数据而实时执行所述数据分析操作。

4.根据权利要求3所述的审核系统，其中所述第二设备被配置为在确定异常值时传输警报。

5.根据权利要求3所述的审核系统，其中将所述警报传输给技术评审员或受审核方。

6.根据权利要求1所述的审核系统，其中所述传感器从由以下组成的群组中选择：陀螺仪、加速度计、图像传感器或相机、接近传感器和麦克风传感器或其组合。

7.根据权利要求1所述的审核系统，其中所述审核元数据包含电子位置信息、时间戳信息、特定手势信息或持续时间信息。

8.根据权利要求1所述的审核系统，其中所述异常值是欺骗或其他渎职行为的指示。

9.根据权利要求1所述的审核系统，其中所述第一设备或所述第二设备中的至少一个是移动设备。

10.根据权利要求1所述的审核系统，其中与所述第二设备相关联的所述处理器被配置为接收由特定审核员完成的行为或观察的模式，进一步在由所述第一设备接收到所述特定审核员的位置时生成所述审核员行进的距离或路径。

11.根据权利要求10所述的审核系统，其中欺骗审核执行的指定模式指示了净行进距离小于存储在行为或观察的历史模式中的阈值距离。

12.根据权利要求1所述的审核系统，其中所述第二设备被配置为接收所述审核元数据，并且进一步其中所述第二设备基于所述审核元数据与所述元数据的行为或观察的历史模式的比较来导出与特定审核员相关联的信任评级。

13.一种基于电子位置信息以及资格或评级信息来标识审核员的方法，包括：

由一个或多个处理器向审核管理系统登记受审核方，所述审核管理系统包含基于网络的系统或设备；

由一个或多个处理器向所述审核管理系统登记多个审核员；

响应于登记所述受审核方，基于所述受审核方的电子位置信息和身份来确定所述受审核方的位置和市场细分；

响应于登记所述多个审核员中的每一个，确定所述多个审核员中的每一个各自的位置、资格和评级；

通过所述网络从所述受审核方接收审核请求；

响应于接收到所述审核请求，由所述一个或多个处理器自动地标识开展审核的至少部分的一个或多个审核员；

经由所述网络将所述审核请求传输给一个或多个所标识的审核员来履行所述审核请求；以及

将审核报告移送给所述受审核方。

14.根据权利要求13所述的方法，其中所述一个或多个审核员包含技术评审员。

15.根据权利要求13所述的方法，其中所述市场细分是食品行业。

16.根据权利要求13所述的方法，其中所述一个或多个所标识的审核员对所述审核请求进行投标。

17.根据权利要求14所述的方法，其中第一审核员和受审核方的身份中的至少一个是对所述技术评审员不可见的。

18.一种非暂时性计算机可读介质，所述非暂时性计算机可读介质驻留在用于处理审核元数据的计算机可读存储设备上，所述计算机可读存储介质包括指令，所述指令在由耦合到所述计算机可读存储设备的处理器执行时使处理器：

在所述处理器上实例化的多个并行审核处理器上处理多个电子元数据，所述多个电子元数据包含由一个或多个审核员生成的行为或观察，其中所述多个电子元数据中的每个电子元数据具有多个唯一标识符之一，以将所述元数据标识为属于特定审核员、受审核方或审核现场，以及

将接收到的电子元数据路由到一个或多个并行审核处理器，其中指令在被所述处理器执行时使所述一个或多个审核处理器：使用一个审核处理器将接收到的电子元数据与存储在数据库中的历史元数据进行比较来确定是否存在异常值；以及

在接收到的电子元数据中出现异常值时，使用所述审核处理器执行警报或通知。

19.根据权利要求18所述的非暂时性计算机可读介质，其中使所述处理器处理所述多个电子元数据的指令包括使所述处理基于所述唯一的标识符，从所述数据库中获得与相同审核员、受审核方或审核现场相关联的之前的电子元数据的指令。

20.根据权利要求18所述的非暂时性计算机可读介质，其中所述数据库包含审核标准的存储。

21.根据权利要求20所述的非暂时性计算机可读介质，其中使所述处理器处理所述多个电子元数据的指令包括使所述处理从所述数据库中获得一个或多个审核标准的指令，并且还包括使所述处理器确定所述电子元数据的至少部分是否符合所述一个或多个审核标准的指令。

22.根据权利要求21所述的非暂时性计算机可读介质，其中所述电子元数据包含由所述审核员在对现场的审核期间记录的观察。

23.一种审核设备，包括：

处理器和数据库，所述设备通过网络接口可操作地连接到第一审核设备并且被配置为至少从所述第一审核设备接收审核元数据，其中所述审核元数据包含所述审核员在一段时间期间的行为或观察；以及

数据分析模块，所述数据分析模块被配置为接收所述一段时间期间的所述审核元数据以及行为或观察的模式；将所述行为或观察的模式与存储在数据库中的行为或观察的历史模式进行比较来基于所述比较确定异常值。

24.根据权利要求23所述的审核设备，其中所述一段时间是完成对现场的审核的时间。

25.根据权利要求23所述的审核设备，其中所述数据分析模块被配置为随着从一个或多个审核设备接收到所述元数据而实时执行数据分析操作。

26.根据权利要求25所述的审核设备，其中所述设备被配置为在确定异常值时传输警报通知。

27.根据权利要求25所述的审核设备，其中将所述警报通知传输给技术评审员或受审核方。

28.根据权利要求23所述的审核设备，其中传感器从由以下组成的群组中选择：陀螺仪、加速度计、图像传感器或相机、接近传感器和麦克风传感器或其组合。

29.根据权利要求23所述的审核设备，其中所述审核元数据包含电子位置信息、时间戳信息、特定手势信息或持续时间信息。

30.根据权利要求23所述的审核设备，其中所述异常值是在所述审核期间发生的欺骗或其他渎职行为的指示。

31.根据权利要求23所述的审核设备，其中所述处理器被配置为接收由特定审核员完成的行为或观察的模式，并且进一步在由所述设备接收到所述特定审核员的位置时生成所述审核员行进的距离或路径。

32.根据权利要求31所述的审核设备，其中欺骗审核执行的指定模式指示净行进距离小于存储在行为或观察的历史模式中的阈值距离。

33.根据权利要求23所述的审核设备，其中所述设备被配置为接收所述审核元数据，并且进一步其中所述设备基于所述审核元数据与所述审核元数据的行为或观察的历史模式的比较来导出与特定审核员相关联的信任评级。

Images