CN108305011A - 一种正逆结合的航天质量管理体系有效性评价方法 - Google Patents

Abstract

本发明涉及一种正逆结合的航天质量管理体系有效性评价方法，步骤一：构建基于航天型号质量数据的质量管理体系评价模型。步骤二：分析体系与型号相互关系，界定用于体系有效性评价的质量数据。步骤三：确定体系评价要素，分类编写体系评价准则。步骤四：提出正逆向结合的质量管理体系有效性评价方法和流程。最后，将正向式评分结果和逆向式评分结果相加，得出质量管理体系总体分值，根据分值的多少，以及是否存在否决项，最终评定出质量管理体系的整体成熟度等级。本发明一方面为更准确衡量质量管理体系有效性提供先进的理论及方法支持，另一方面通过体系评价的实施为切实提高质量管理体系有效性、确保型号研制质量提供支持。

Description

一种正逆结合的航天质量管理体系有效性评价方法

技术领域

本申请涉及一种正逆结合的航天质量管理体系有效性评价方法，具体是通过调研我国航天单位质量管理体系运行及评价现状，借鉴国内外先进质量管理体系评价的典型做法及实践经验，提出基于航天型号研制质量数据的质量管理体系有效性评价模型；根据评价模型需要的数据输入分析，界定在航天型号研制生产过程中，可用于质量管理体系有效性评价的质量数据的范围、来源和数据项；在以上工作的基础上，围绕评价模型中界定的评价内容，提出反映各类单位质量管理体系管控重点的评价要素，并编制包含定性和定量化评价指标的评价准则，提出正逆向评价相结合的有效性评价方法，为准确评价并切实提升航天单位质量管理体系有效性提供技术支持，属于质量管理领域。

背景技术

航天型号功能和结构复杂，技术密集，综合性强，其中任一环节、任何一部分发生问题都可能反映到系统和分系统上来，导致质量故障，甚至造成人员伤亡和试验失败。因此，航天型号的质量保证要求和工作范围比一般产品严格和广泛得多。相对航天型号质量管理的高要求，当前航天单位质量管理体系的建设及评价所依据的要求相对基础、宏观，评价依据较为定性、局限，评价方法相对主观、单一，与国际质量管理体系先进水平也存在着一定的差距。

国际标准化组织(ISO)早在ISO 9000：2000中便提出了有效性的概念，有效性即是指“完成策划的活动并得到策划结果的程度”。ISO还要求组织在贯彻质量管理体系标准的同时注重体系运行的有效性。目前，各航天单位主要采用内部审核、外部审核、管理评审等举措对体系运行进行综合评价。然而，这些仍然不能解决客观、准确、深入评价航天单位质量管理体系有效性的难题，主要因为这些质量管理体系评价方法仍存在着以下方面的问题：a.评价所依据数据的充分性及量化程度不足，评价准确性及客观性较差；b.质量管理体系评价依据标准较为宏观，未充分结合各类单位特点和需求；c.主要采用符合性评价方法，无法量化反映质量管理体系有效性；d.评价结论未区分体系层次，难以切实引导航天单位持续改进。

总而言之，当前航天单位质量管理体系评价方式尚未充分考虑日益提高的航天型号研制生产实际需求，难以真正地体现航天单位质量管理体系的有效性，导致航天单位不同程度地存在型号研制质量管理与质量管理体系“两张皮”的现象。

本发明旨在关注基于航天型号质量数据的各类单位质量管理体系有效性评价方法，针对航天型号研制生产需求，面向航天型号研制生产过程，利用型号研制生产过程中的质量数据资源，采用更为先进的评价方法，评定型号研制过程中涉及的各类航天单位质量管理体系的有效性，真正实现质量管理体系对航天型号研制生产的有效支撑。

发明内容

a)目的：本发明的目的是提供一种正逆结合的航天质量管理体系有效性评价方法，针对和解决航天单位质量管理体系与型号质量管理工作“两张皮”的问题，面向航天型号研制生产实际需求，充分利用型号研制中的质量数据资源，通过构建与型号研制质量管理工作相衔接的质量管理体系评价模式，提出更为科学、有效、客观的体系评价方法，一方面为更准确衡量质量管理体系有效性提供先进的理论及方法支持，另一方面通过体系评价的实施为切实提高质量管理体系有效性、确保型号研制质量提供支持，建立体系持续改进机制。

b)技术方案：

步骤一：构建基于航天型号质量数据的质量管理体系评价模型。

按质量管理体系与型号质量工作的相互关系，确定体现质量管理体系有效性的核心评价模块，采用基于质量管理体系审核所获取质量信息(包括型号研制和生产过程质量数据、最终产品质量数据、顾客满意度数据等)的正向评价方式，以及基于航天型号质量问题数据(来源于质量问题归零、不合格品审理等方面)的反推评价方式，构建出反映评价依据、评价内容、评价方法和评价结果相互关系的质量管理体系通用评价模型。

此外，还将根据各类航天单位质量工作重点，在通用评价模型的基础上，构建体现各类航天单位研制生产特点的具有不同评价输入、评价模块的质量管理体系专用评价模型，包括航天设计、生产、试验类单位质量管理体系评价模型。其中，通用评价模型是涵盖所有评价项的一个全面的、完整的、总的评价模型，专用评价模型是在通用评价模型的基础上，根据航天单位类型(包括设计类单位、生产类单位、试验类单位、综合类单位这四种类型)本身是只涉及设计环节(设计类单位)、只涉及生产环节(生产类单位)、还是只涉及试验环节(试验类单位)，对评价模块进行删减，并对分值分配进行调整，以适应实际情况，而对所有环节都包含的综合类单位则用通用评价模型进行评价。

步骤二：分析体系与型号相互关系，界定用于体系有效性评价的质量数据。

根据评价模型(包括通用评价模型和专用评价模型)确定的评价内容，确定评价所需的质量数据输入项目。具体将从分析航天型号研制流程入手，以表格形式列出型号研制各阶段应开展的重点航天型号质量管理工作，分析各项工作的过程及结果质量数据输出内容及形式，数据来源涉及航天型号及产品在设计、加工、组装、调试、测试、试验、检验、返工、返修等工作环节中形成的文档、记录等各类质量信息。通过对以上质量数据进行分类，最终按航天型号研制过程梳理出与航天质量管理体系评价内容密切相关的，可充分反映质量管理体系过程控制及其结果情况的质量数据项目，并确定其类型、来源、形式及相关要求。

步骤三：确定体系评价要素，分类编写体系评价准则。

评价要素的确定及评价准则的编写，将以QJ 9000《质量管理体系要求》核心为基础，结合近年来航天质量管理的新方式方法和要求，梳理出全面、系统、深入的质量管理内容及要求，以此选择确定航天质量管理体系评价要素，编写各类单位质量管理体系评价准则。

首先将以综合类航天单位为对象，分析梳理出的航天质量管理工作内容，剔除冗余和交叉部分，保留关键内容，确定形成综合类单位航天质量管理体系评价要素。在此基础上，针对设计、生产、试验等各类航天单位质量管理体系覆盖范围及工作重点，提出各类典型航天型号承制单位质量管理体系评价要素。此外，还将把评价要素分为适用于所有单位的基本评价要素(如人力资源、质量信息)，以及适用于特定类型航天单位的专用评价要素(如设计和开发、生产和服务提供)。每一评价要素将通过表格形式表示出对应输入的质量数据及其来源。

在确定的评价要素基础上，以QJ 9000、GJB 9001标准要求为依据，充分纳入最新航天质量管理文件要求，编制既满足航天质量管理相关要求又体现各类单位质量管理重点及深度的评价准则。准则采取定性要求及定量要求相结合的编写方式，提出覆盖设计、生产、试验等各类单位质量管理体系过程和结果要素，体现体系对型号质量工作支撑有效性的具体评价条款。在适用的情况下，准则条款将尽可能纳入针对相关质量数据的具体、明确，量化的评价指标，以更精确地衡量出质量管理体系的有效性。

步骤四：提出正逆向结合的质量管理体系有效性评价方法和流程。

基于质量管理体系审核中获取的质量数据，突破现有的符合性评价方法，提出反映质量管理体系贯彻、落实航天质量管理要求，支撑航天型号研制生产有效程度的正向式评价方法。具体将对质量管理体系评价要素，依据评价准则条款要求，逐一采取成熟度评价方法，给出各要素的成熟度系数，得出各要素的评分结果，汇总得出质量管理体系的量化总分分值。

基于型号质量问题信息，提出采取由问题反推追查原因、找到体系薄弱环节的逆向式评价方法。具体将对型号质量问题按质量问题的严重性及整改情况进行分级，分别设定不同级别的扣分系数，据此对该质量问题涉及的评价要素进行扣分。其中对于非常严重且未有效整改的问题，则将对应要素判定为否决项，直接将体系判定为最低等级。

最后，将正向式评分结果和逆向式评分结果相加，得出质量管理体系总体分值，根据分值的多少，以及是否存在否决项，最终评定出质量管理体系的整体成熟度等级。

评价流程将以质量管理体系审核过程为参考，考虑质量管理体系评价的类型(自我评价、二方评价、三方评价等)，根据评价的目的、组织及参与机构，结合体系有效性评价内容和评价方法，提出适宜的质量管理体系有效性评价工作内容和实施步骤，并编制用于评价过程的各类表格文件，包括评价记录表、分值汇总表、评价报告等。

c)本发明一种正逆结合的航天质量管理体系有效性评价方法，其优点在于：(1)提出的矩阵式评价模型将目标、职责、文件化等管理职能和资源保障、测量改进等方面的内容融入产品实现的各个过程，进行两方面的互评，通过对产品实现过程各个环节的文件记录、管理水平、资源配置和改进情况的评价，将对产品实现过程与其相关质量管理通用评价项过程的评价紧密结合，避免传统方式对文件、管理、资源和测量改进的评价容易脱离产品实现过程，其评价结论难免出现一定误差，或流于形式的最大弊端；(2)运用故障树分析原理，按质量管理体系要素构建质量问题树，实施从质量问题表象出发逐层深入追踪质量管理体系薄弱环节的反推式分析和评价；(3)对航天质量管理体系实施成熟度等级定量评价，对评价内容的每一条款按照成熟度等级判定准则确定其成熟程度，对最终综合结果评价也确定了成熟度等级，既有利于发现薄弱环节，又指明改进完善的方向和树立标杆典范，引导质量保证能力的不断提升；(4)评价模型和评价内容既关注过程，也注重结果，充分强调了体系运行结果的重要性。

附图说明

图1所示为航天单位质量管理体系通用评价模型。

图2所示为航天设计单位质量管理体系评价模型中正向评价中矩阵式评价部分之一。

图3所示为航天生产单位质量管理体系评价模型中正向评价中矩阵式评价部分之二。

图4所示为航天试验单位质量管理体系评价模型中正向评价中矩阵式评价部分之三。

图5所示为质量管理体系薄弱环节问题树示意图。

图6所示为“规章”要素问题树样例。

图7所示为本发明航天质量管理体系有效性评价辅助软件系统总体功能体系架构图。

图8所示为航天质量管理体系有效性评价辅助软件的评价管理模块操作流程图。

具体实施方式

下面对本发明的具体实施步骤进行进一步说明。

步骤一：构建基于航天型号质量数据的质量管理体系评价模型。

(1)基于航天型号质量数据的质量管理体系通用评价模型

针对研究院、研究所和工厂一体化的单位，即航天产品科研生产职能都具有的单位，以质量管理体系全部要素为评价内容，提出了航天质量管理体系评价模型，也称为基于航天型号质量数据的质量管理体系通用评价模型，如图1所示。这一模型以航天型号研制和生产全过程为主线，以航天型号研制生产质量数据为输入，以航天产品实现过程评价项和质量管理职能、资源保障和技术方法支撑等评价项所构成的矩阵为核心，采用全要素正向式评价与基于质量问题的反推式评价相结合的评价方式，量化评价和判定质量管理体系成熟度等级，得出航天质量管理体系有效性评价结论。航天质量管理体系通用评价模型包括质量管理体系的评价依据、评价内容、评价方法、评价结果等。

1)评价依据

航天质量管理体系有效性评价依据来源于两方面：一是航天型号研制生产过程中的质量数据，这些质量数据应能反映质量管理体系的有效程度。二是航天单位及型号质量问题数据，这些数据反映了质量管理体系薄弱环节。这些质量数据按质量数据项目进行归类，并对应到质量管理体系评价要素，作为对航天质量管理体系有效性评价的数据输入。

2)评价内容

航天质量管理体系有效性正向评价内容分以下几个层次：

第一层，质量管理体系有效性正向评价

第二层，由三部分构成：

a.质量保证过程评价；

b.质量综合管理评价；

c.质量管理体系结果评价。

这三部分评价结果的综合形成航天质量管理体系有效性评价的结果。

第三层包括：

a.质量保证过程评价分两方面内容：①产品实现过程评价；②管理和资源保障及过程控制改进评价。其中以产品实现过程评价为基础和核心，逐步展开对管理、资源保障、过程控制改进的评价。两方面评价结果的综合形成质量保证过程评价结果。

b.质量综合管理评价分四方面内容：①质量方针评价，②领导作用评价，③管理评审评价，④内部审核评价。四方面评价结果的综合形成质量保证机制评价结果。

c.质量管理体系结果评价分三方面内容：①实物质量评价，②顾客满意情况评价，③质量经济效益评价。三方面评价结果的综合形成质量管理体系结果评价结果。

第四层，

①产品实现过程评价，分六个模块：产品实现策划、设计质量管理、外包外购质量控制、生产质量管理、试验质量管理、交付及保障服务过程。各个模块分别独立评价，其评价结果的综合形成产品实现过程评价的结果。

②管理和资源保障及过程控制改进评价，分十一个方面(十一个通用评价项)：目标、职责、文件化、人力资源、财务资源、基础设施与工作环境及自然资源、控制措施、技术方法应用、过程的监视与测量、信息数据、改进。其中，目标、职责和文件化这三项属于管理范畴，人力资源、财务资源、基础设施与工作环境及自然资源这三项属于资源范畴，控制措施、技术方法应用、过程的监视与测量、信息数据、改进这五项属于过程控制改进范畴，十一个方面评价结果的综合为管理和资源保障及过程控制改进的评价结果。

在整个评价过程中，各部分内容皆可单独评价，根据用户需要，如产品实现过程的六个模块均可以单独作为一项评价内容，其评价结果可供顾客、型号抓总单位、上级单位及本单位领导等用户直接使用。

航天质量管理体系有效性逆向评价采用故障树分析方法，质量问题分三个层：①质量问题顶事件，②质量问题中间事件，③质量问题根原因：底事件。质量管理体系结果评价项暴露出的质量问题构成逆向评价的顶事件，通过中间事件的进一步分解查找质量问题的根原因，将结果反馈至相应评价项进行扣分或否决项处理。

3)评价方法

航天质量管理体系有效性评价采用正逆向结合的评价方法。正向评价方法围绕航天型号设计、生产、试验等过程，利用航天型号各阶段、各产品层级的质量数据，以及航天单位反映质量管理体系有效性的质量数据，面向航天产品实现过程及支撑过程，对相关的质量管理体系过程和结果要素进行成熟度评价，给出定量化的评价结果。逆向评价方法是利用航天型号质量问题信息，采用评价单位质量管理体系有效性的反推式评价方法进行评价。该评价方法从质量问题的现象和原因入手，追踪式分析导致问题产生的管理漏洞，查找质量管理体系在细化体系文件、职责落实到位、人员上岗培训、基础设施保障等方面的薄弱环节，并采用扣分或否决项判定的方式进行评价。

4)评价结果

通过利用航天型号研制生产质量数据，采用正逆向结合的评价方法，对质量管理体系过程和结果进行评价，将得出质量管理体系成熟度等级的结论，直接体现航天单位质量管理体系有效性。

(2)航天设计、生产、试验类单位产品实现过程评价模型，即质量管理体系专用评价模型

在上述航天单位质量管理体系通用评价模型的基础上，面向航天设计、生产、试验类单位，即只承担设计、生产、试验的单位，根据承担的航天产品任务，对图1中产品实现过程评价项有所剪裁，其评价模型中正向评价中矩阵式评价部分如图2、图3、图4所示。

步骤二：分析体系与型号相互关系，界定用于体系有效性评价的质量数据。

(1)航天型号研制生产过程及其结果质量数据的选取及利用原则

航天质量管理体系评价用质量数据的选取和利用原则如下：

a.全面覆盖性原则。质量数据项目应体现航天型号及航天单位质量管理活动的各个方面，评价数据清单应覆盖体系的全部活动和所有要素。

b.科学合理性原则。质量数据项目要反映质量管理体系的全部内涵，能正确地反映质量管理体系要素的好坏，适合单位的管理水平，明确科学内涵和具有可采集性。

c.普遍适用性原则。质量数据项目，尤其是适用于航天综合类单位的质量数据项目，应普遍适用于航天单位，能在多类、多个单位按质量数据清单采集到相应的质量数据。

d.系统协调性原则。质量数据项目之间应该协调一致，质量数据项目之间不能存在交叉和重复，质量数据项目应与航天型号及航天单位的数据相互协调和一致。

e.客观真实性原则。在确定航天质量数据能切实反映出质量管理体系的真实情况，尤其是产品实现过程质量真实情况自动生成的、没有人为因素参与评价或调整的客观数据，尤其要防止质量数据弄虚作假。

f.注重时效性原则。质量数据选取，尤其是反映产品实现过程质量的数据，应尽量选用能够实时采集并有效反映当时产品实现过程质量状况的质量数据指标。

g.相对稳定性原则。为方便一定时期内的对比和评价，质量数据项目应具有相对的稳定性，各项质量数据的内容和格式应在一段时间内要稳定，不随意更改质量数据清单及各项质量数据的内容和采集格式。当航天型号任务的进展和单位管理体制的变革时，需对质量数据项目清单进行相应改变。

(2)航天单位质量管理体系评价质量数据界定

质量管理体系评价所依据的质量数据主要来源于三个方面：一是航天型号质量管理要求文件及报告方面的数据，即组织明确及落实航天质量管理要求的全面性和协调性情况的数据；二是反映质量管理体系过程控制的规范性和有效性的记录表格方面的数据；三是反映质量管理体系过程结果输出的充分性和系统性情况的指标结果数据。此外，质量管理体系有效性评价所依据的质量数据还不仅限定在组织内部的数据，还将提取反映航天型号研制相关组织(如设计、生产单位之间)质量管理接口关系的质量数据。

在以上质量数据选取后，还将按质量管理体系评价内容和数据来源及特点，来对质量数据进行分层分类。数据分层主要是对质量数据按评价内容层次进行梳理，其范围包括产品实现过程数据、质量管理通用数据、测量分析改进数据、体系结果数据等。此外，按评价内容对质量数据进行分层后，还将对质量数据进行相关性分析，合并相关数据，保证数据项目的全面、系统和精简。

数据项目分类主要是按数据来源及性质(综合类、设计类、生产类、试验类等)，重要性(关键数据、重要数据、一般数据)，评价范围(可靠性、风险、人力资源、技术评审等方面)进行分类，为下一步数据的利用奠定基础。

表1是航天单位质量管理体系评价用质量数据清单中评价项“产品保证策划”的质量数据项目。

表1

步骤三：确定体系评价要素，分类编写体系评价准则。

(1)航天单位质量管理体系评价模块及评价项

航天质量管理体系有效性评价涉及产品实现过程、质量管理通用评价项、质量综合管理、质量管理体系结果等方面的内容，其下又分别包括若干评价模块，各评价模块下设评价项。通过对各评价项实施评价，并由下至上依次汇总评价结果，即可综合得出质量管理体系整体的评价结果。

航天综合单位质量管理体系评价模块及其下的评价项如表2所示。

表2

下表3是航天单位质量管理体系中产品实现过程评价项“产品保证策划”的主要内容。

表3

(2)质量管理通用评价项的主要内容

对六个模块及其过程评价项从管理、资源、过程控制改进三个方面进行评价，这三个方面又分为目标、职责、文件化、人力资源、财务资源、基础设施与工作环境及自然资源、控制措施、技术方法应用、过程的监视与测量、信息数据、改进共计十一个通用评价项。这三个方面十一个通用评价项是管理和资源保障及过程控制改进包含的全部内容，其内容具体为：

a.目标

目标的内容包括各模块及其过程评价项在制定目标，目标的计划性、系统性和科学性，目标确定过程的方法，目标的实现情况等。

b.职责

职责的内容包括各模块及其过程评价项在职责的明确、协调、落实等。

c.文件化

文件化的内容包括文件化管理制度的建立、文件化要求的明确、文件化管理制度的规定、要求的合理适宜情况、文件化管理规定的执行、文件化管理实施过程中应用方法和手段等。

d.人力资源

人力资源的内容包括如何配备必要、足够的人员，配备的人员适宜性，如何注重对人员的培训、管理和自我发展等。

e.财务资源

财务资源的内容包括如何提供了必要、足够的财力支持和保障，如何配备适宜、有效的财务资源，如何注重质量工作与财务工作的结合等。

f.基础设施与工作环境及自然资源

基础设施与工作环境及自然资源的内容包括如何提供所需的设备设施、工作环境和自然资源，基础设施、工作环境和自然资源，资源提供如何具有计划性、前瞻性、系统性和有效性，如何有效地提高工作任务的质量水平和绩效水平。

g.控制措施

控制措施的内容包括如何采取控制措施消除潜在的不合格原因，如何对发生的不合格问题进行分析，并采取适当措施防止其再次发生，如何策划和实施应对风险和利用机遇的措施以提高质量管理体系有效性、实现改进结果以及防止不利影响。

h.技术方法应用

技术方法应用的内容包括如何在工作任务中应用技术方法，包括相关的、适宜的质量管理、质量工程方面技术方法的掌握、应用等情况。

i.过程的监视与测量

过程的监视与测量的内容包括如何对影响过程能力的因素、目标实现情况等进行监视、记录与测量，如何使监视与测量工作对工作任务的完成、验证和质量提高起到帮促作用。

j.信息数据

信息数据的内容包括如何确定应收集、分析的信息数据，如何进行信息数据分析，信息数据有效性如何，如何对信息数据进行积累，如何利用信息数据的结果等。

k.改进

改进的内容包括如何对工作任务中如何出现的问题制定并采取纠正措施以消除产生问题的原因，如何通过举一反三来以防止不合格的再发生，如何对改进的结果进行评价和验证，如何通过PDCA的循环过程实现过程的持续改进等。

(3)质量综合管理评价项的主要内容

质量综合管理评价包括四个部分内容：

1)质量方针

本部分主要关注质量方针是否作为单位总方针和战略的重要组成部分？质量方针如何体现最高管理者对质量的承诺和作为业绩改进的一种手段？质量方针如何体现满足顾客和其他相关方的期望和要求？质量方针如何用于制定和评审目标，并使目标在单位内得到理解和贯彻？质量方针如何在单位内得到沟通和理解？如何对质量方针进行定期评审并将评审结果用于改进？如何通过制定和贯彻质量方针引导单位追求卓越？

2)领导作用(含管理承诺)

本部分用于评价最高管理者如何在建立、实施质量保证能力中发挥领导作用，积极参与，为管理承诺提供证据。主要关注最高管理者如何在单位内部传达满足顾客和法律法规要求的重要性，如何确定单位的质量方针和目标？如何确立、保持并不断提高顾客的满意程度？如何考虑落实单位目标所需的资源？如何确保质量保证能力所需的过程得到建立、实施和保持，如何识别产品实现过程、支持过程及其相互关系，并确保过程的有效性和效率？如何建立过程的自我改进机制？如何规定单位的业绩测量方法？如何把测量结果作为管理评审的输入？如何培育单位的质量文化，领导单位制定并实施质量方针、目标，倡导和推进群众性质量管理活动，以提高单位内人员的质量意识和能动性？

3)管理评审

本部分用于评价单位管理评审活动的适宜性、充分性和有效性。主要关注管理评审如何按策划的时间间隔开展活动？当单位在管理体制、产品结构等发生重大变化时，是否有针对性地进行了管理评审？管理评审的输入考虑了哪些因素？管理评审的输入如何包括顾客和其他相关方的信息？如何对管理评审的输入信息进行评价？如何通过评审过程识别质量保证能力和产品质量、单位业绩的改进机会？评审输出的范围和内容及如何用于应用？评审输出如何向单位内成员传达？如何通过管理评审记录对管理评审进行追溯和评价？

4)内部审核

本部分用于评价单位的内部审核活动的适宜性、充分性和有效性。主要关注内部审核是否按策划的时间间隔开展活动？如何策划质量保证能力的内部审核？如何确保内部审核的客观性、公正性和有效性？如何利用内部审核的结果评价质量保证能力，并确定改进措施？内部审核中发现的不合格如何采取措施进行消除，并实现持续改进？策划和审核的记录及有关报告是否按有关规定形成文件并妥善保存和有效利用？

(4)质量管理体系结果评价项的主要内容

质量管理体系结果评价主要从以下三个方面进行评价。

1)产品的性能和质量水平

质量管理体系结果中最为核心、最为基础的评价内容是产品实物质量，包括产品的性能和可靠性、维修性、安全性、保障性等方面的质量特性。通过收集、整理和分析产品验收、交付记录，产品性能检测报告等反映产品性能和质量的记录和资料，掌握：

a)产品性能及质量特性满足合同、研制任务书、设计文件和标准、规范等规定要求的情况；

b)产品质量稳定性；

c)产品的交付和使用情况。

在此基础上，分析和评价产品目标实现情况，产品与国内国际相同或同类产品相比水平，产品在研制、生产和使用过程的质量状况及测量指标，综合评价产品的性能先进程度和质量水平。

2)顾客满意程度

从顾客的角度进行评价，其范围不仅包括产品性能和质量特性，还包括产品交货时间、全寿命周期成本、服务、与顾客沟通和信息提供及个性化需求等因素，它是顾客对上述多因素指标的综合评价。应该认为，顾客态度就是广义质量的概念。通过走访主要顾客和发放顾客调查表，查阅和分析顾客表彰、意见、投诉等顾客信息，设定适合本单位及其产品的顾客满意程度的测量指标，收集和分析测量数据，进行定性和定量相结合的方式，分析和评价：

a)顾客满意程度的测量结果和发展趋势；

b)顾客满意程度与主要竞争对手、本行业标杆组织及其同类产品对比结果。

3)质量经济效益结果

质量经济效益结果侧重于运用财务概念和财务数据，从财务资源保障、全寿命周期成本、对经济效益和市场竞争力影响的角度，分析和评价质量保证能力的有效性、效率和效益。本模块是航天产品承制单位必须加以高度重视并且当前比较薄弱的环节。

通过询问最高管理者、质量管理人员、财务会计人员和相关的科研生产管理人员、采购人员、市场营销人员等，查阅质量成本的表格或账簿，财务分析报告、市场分析报告等，从财务角度和运用财务数据分析、评价质量保证能力对经济效益的正向和负向的影响程度，包括：

a)产品质量造成的内部和外部故障成本的数额、受控状态和变化趋势如何；

b)在质量的预防和鉴定方面投入的日常经费和技术改造经费及其经济回报；

c)产品质量对价格、销售收入、利润和市场占有率的影响状况和发展趋势。

对于复杂产品，通过与使用单位沟通并取得和分析相关数据，询问相关设计人员等，收集、整理有关产品技术性能、可靠性、维修性、保障性等方面技术资料，产品使用和维护的资料和数据，产品全寿命周期成本分析报告等，从最终使用者的角度评价复杂产品全寿命周期成本的可接受程度和构成优劣。

(5)航天单位质量管理体系有效性评价准则

按航天单位类型，在GJB 9000标准和QJ 9000A标准要求基础上，结合当前航天型号质量管理工作重点及要求，编制航天综合、设计、生产、试验各类单位质量管理体系评价准则，各评价准则内容覆盖所对应的各类单位质量管理体系评价要素，并按评价要素逐一明确详细内容及要求。

产品实现过程围绕产品实现策划、设计质量管理、外包外购质量控制、生产质量管理、试验质量控制、交付及保障服务6个评价模块33个评价项编写评价准则；质量管理通用评价项从管理、资源、过程控制改进三个方面，包括目标、职责、文件化、人力资源、财务资源、基础设施与工作环境及自然资源、控制措施、技术方法应用、过程的监视与测量、信息数据、改进共计11个共同评价项，这11个共同评价项的评价准则，也是管理和资源保障及过程控制改进包含的全部内容。质量综合管理评价包括四个部分内容：质量方针、领导作用、管理评审、内部审核；质量管理体系结果评价主要从以下三个方面进行评价：产品的性能和质量水平、顾客满意程度、质量成本和质量经济效益结果。

下面通过对“管理评审”的成熟度评价准则加以反映，如表4所示。

表4

步骤四：提出正逆向结合的质量管理体系有效性评价方法和流程。

(1)基于航天型号质量数据的质量管理体系有效性正向式评价方法

1)质量保证过程评价

采用矩阵式的评价方式对产品实现过程和基础质量管理过程评价要素进行交互式的评价，矩阵的纵向产品实现过程的评价，包括“产品实现的策划”、“设计质量管理”、“外包外购质量控制”、“生产质量管理”、“试验质量控制”、“交付及保障服务”等产品实现过程评价模块及其下33个评价项，采用矩阵式评价方式，均从目标、职责、文件化、人力资源、财务资源、基础设施与工作环境及自然资源、控制措施、技术方法应用、过程的监视与测量、信息数据、改进等11个通用评价项进行成熟度评价。同时，矩阵的横向11项评价项，也进行了成熟度评价。这样，通过矩阵式结构，实现这两方面内容的相互评价。

在评价的具体操作上，可以利用表格来方便地实现。即各个模块成熟度等级评价可分别对应一张表格。下表5给出了产品实现过程某评价模块成熟度等级评价表的典型示样：

表示第t个评价模块的过程评价项；

表示对应过程评价项的满分分值；

是指第t个评价模块各过程评价项的成熟度等级评价值，其值为0，0.1，……，1，其中t表示产品实现过程中评价模块顺序号，这里t＝{1，2，…，6}，i表示该评价模块中过程评价项顺序号，j表示通用评价项顺序号，这里j＝{1，2，…，11}；

是指过程评价项的最终成熟度等级系数评价结果，表示本过程评价项的成熟度水平，采用算术平均的方法计算，若存在无关通用评价项，则予以排除，其计算方式为：

其中为与过程评价项有关的通用评价项的个数，

j＝{1，2，…，11}，是指第j个通用评价项的成熟度等级评价结果，采用加权平均的方法计算，其计算方式为：

是指过程评价项的各通用评价项中成熟度等级评价值的最低值，表示该过程评价项的最薄弱环节，以示提醒，其计算方式为：

j＝{1，2，…，11}，是指第t个评价模块在第j个通用评价项中成熟度等级评价值的最低值，表示该通用评价项的最薄弱环节，以示提醒，其计算方式为：

A_t，t＝{1，2，…，6}，是指第t个评价模块所包含的所有过程评价项的得分之和，其计算方式为：

A，是指整个质量保证过程的得分，为各评价模块得分之和，其计算方式为：

右侧“备注”一栏对相关问题、高分系数进行说明，以提示是否有需要引起重视或总结的成功经验。

表5

下面以第2个评价模块“设计质量管理”模块为例，说明评价表的使用和评价分值的计算方式，这里t＝2。

例1.“设计质量管理”模块包括“技术评审”、“设计复核复算”、“设计验证试验管理”、“特性分析”、“技术风险识别分析”、“技术状态更改控制”、“可靠性设计、分析与验证”、“软件工程化”8个过程评价项，如表6(“设计质量管理”评价模块成熟度等级评价表)所示，这里i＝{1，2，…，8}，＝{“技术评审”、“设计复核复算”、“设计验证试验管理”、“特性分析”、“技术风险识别分析”、“技术状态更改控制”、“可靠性设计、分析与验证”、“软件工程化”}。

表6

上表6中“技术评审”、“设计复核复算”、“设计验证试验管理”、“特性分析”、“技术风险识别分析”、“技术状态更改控制”、“可靠性设计、分析与验证”、“软件工程化”8个过程评价项所对应的11个共同评价项方面的成熟度等级系数为评价小组讨论后确定的，即：

表6右侧“评价值”是指过程评价项的成熟度等级系数评价结果，即该过程评价项11个方面系数评价结果的综合，综合是通过算术平均的方法，四舍五入至小数点后两位得出。如与“＝技术评审”评价项相关的通用评价项为除“基础设施与工作环境及自然资源”之外的其他10个评价项，即则“技术评审”评价项的成熟度等级系数为

而与“＝设计验证试验管理”评价项相关的通用评价项为全部11个评价项，即则“设计验证试验管理”评价项的成熟度等级系数为

表6下侧“评价值”是指11个共同评价项在本模块中的最终成熟度等级系数评价值，其方法是本模块各个过程评价项的共同评价项成熟度等级系数评价值的加权平均，其结果四舍五入至小数点后两位。假设，“技术评审”、“设计复核复算”、“设计验证试验管理”、“特性分析”、“技术风险识别分析”、“技术状态更改控制”、“可靠性设计、分析与验证”、“软件工程化”8个过程评价项的满分分值分别为60分、40分、30分、30分、50分、50分、40分和50分，即所以，第1个通用评价项“目标”的成熟度等级评价值为

其它共同评价项的成熟度等级系数评价值的计算以此类推。

至此，“设计质量管理”模块成熟度等级评价表已填完，其它五个模块成熟度等级评价表的计算方式以此类推。

例2.现假设某单位为设计单位，不涉及“生产质量管理”模块，通过五个模块五张表的计算，得出产品实现过程五个模块及其过程评价项的成熟度等级，及其评价得分。其结果见下表7(“产品实现过程”评价模块及评价项得分)：

表7

即，

则，该单位“质量保证过程”评价总得分为

2)航天质量综合管理评价

航天质量综合管理评价从质量方针的制定和贯彻、领导作用的发挥、管理评价和内部审核的有效开展。是在对上述矩阵式评价的基础上，从总体把握层面，对质量综合管理的评价，其关注点是质量保证能力的顶层建设和持续提升。

质量综合管理评价中质量方针、领导作用、管理评价和内部审核四个方面各自评价分值为其满分分值乘以评价所得出的各自的成熟度等级系数。质量综合管理评价得分为这四个方面评价分值之和。即，假设：

b_i，是指第i个质量综合管理评价项的成熟度等级系数，其值为0，0.1，……，1，这里i＝{1，2，3，4}表示质量综合管理评价项顺序号；

是指第i个质量综合管理评价项的满分分值；

B，是指整个质量综合管理评价的得分，则有：

例3.根据评价记录单确定的质量综合管理四部分内容成熟度等级系数，将其与每部分的满分分值相乘即得出该部分的评价得分，具体情况见下表8：

质量综合管理评价项	成熟度等级	满分分值	得分
				3101质量方针	0.8	50	40
3202领导作用	0.8	50	40
				3203管理评审	0.8	50	40
3204内部审核	0.8	50	40
				质量综合管理评价总分		200	160

表8

质量综合管理的得分为质量方针、领导作用、管理评审、内部审核四部分得分之和，即成熟度等级系数为160/200≈0.8。

3)航天质量管理体系结果评价

质量管理体系结果的评价注重于客观结果，主要从产品质量、顾客满意程度、质量经济效益三个方面进行。

质量保证结果的成熟度等级按六级划分，其中四级为全面达标、合格等级，以此再向两端明确，即：一级为多方面存在很大差距、多方面的问题十分严重；二级为在关键、重要项存在问题；三级为产品质量基本达标，不过存在着一些小的、非重要的瑕疵；四级为产品质量全面达标、合格；五级为优良，即产品质量在达到全面合格的基础上有所突破，处于国内先进的水平；六级为卓越，即产品非常完美，处于国际先进的水平。

质量管理体系结果评价中产品质量、顾客满意程度和质量经济效益三个方面各自评价分值为其满分分值乘以评价所得出的各自的成熟度等级系数。质量管理体系结果评价得分为这三个方面评价分值之和。即，假设：

c_i，是指第i个质量管理体系结果评价项的成熟度等级系数，其值为0，0.1，……，1，这里i＝{1，2，3}表示质量管理体系结果评价项顺序号；

是指第i个质量管理体系结果评价项的满分分值；

C，是指整个质量管理体系结果评价的得分，则有：

例4.根据评价记录单确定的质量管理体系结果三部分内容成熟度等级系数，将其与每部分的满分分值相乘即得出该部分的评价得分，具体情况见下表9：

质量管理体系结果评价项	成熟度等级	满分分值	得分
				4101产品质量	0.9	60	54
4102顾客满意度	0.9	30	27
				4103质量经济效益	0.7	10	7
质量管理体系结果评价总分		100	88

表9

质量管理体系结果的得分为产品质量、顾客满意度、质量经济效益三部分得分之和，即成熟度等级系数为88/100＝0.9。

4)航天质量管理体系有效性正向综合评价

质量管理体系的有效性等级评价分值计算为三部分内容分别依据评价准则进行等级评价，判定出成熟度等级系数，由系数乘以其满分分值，得出其成熟度等级评价值。质量管理体系正向有效性的评价总分分值为质量保证过程得分与质量综合管理得分之和乘以质量管理体系结果的得分率。

D，是指质量管理体系有效性评价的总分，为质量保证过程得分与质量综合管理得分之和乘以质量管理体系结果的得分率，计算公式为：

D＝(A+B)×(C/100)

其中，A为质量保证过程得分，B为质量综合管理得分，C为质量管理体系结果得分，D为质量管理体系总体得分。其中，质量保证过程A满分800分，质量综合管理B满分200分；质量管理体系结果C满分100分，则质量管理体系总体得分D满分1000分。

表10给出了供参考的评价模型各主要组成部分分值分配方案，评价者可根据自身情况和评价需要进行调整。调整分值，需要遵守下列原则：

可以根据单位的性质特点的不同进行分值调整，如有些单位只从事设计工作，有些单位只从事生产，则要将没有的职能的分值调到有的职能上；

表10

可以根据主体业务的不同进行分值调整，如有的单位虽然既有设计，也有生产，但以设计为主，就需要增加设计的分值，减少生产的分值；

可以根据当前管理工作关注的重点进行分值调整，以通过开展质量管理体系有效性评价引导开展一些新的质量保证活动，加强质量保证活动某些方面的重视。

例5.质量管理体系有效性正向综合评价综合了质量保证过程评价、质量综合管理评价和质量管理体系结果评价三部分内容，为D＝(A+B)×(C/100)＝(600+160)×88/100≈668。

(2)基于航天型号质量问题的质量管理体系有效性反推式评价方法

1)从质量问题认识质量管理体系有效性

通过分析质量管理体系评价结果与了解型号研制生产情况的领导和型号队伍的感受不一致的原因，一个重要的问题就是体系评价没有发现多少导致质量问题的质量管理体系的薄弱环节，而产品质量问题实际发生了。这其中一个重要的原因就是体系评价采用按体系要素的正向逐条评价，这种正向评价采用抽样的方式，不一定抽到质量问题及其相关的影响因素，虽然评价范围比较全面，但也比较肤浅，针对性和深入程度都很不够。为此，需要开展从产品实物质量问题表象出发到质量管理体系薄弱点根源的反推式评价，这首先就是要分析质量问题产生的根源。

2)设计反推式质量管理体系评价方法的思路

经过研究和比对分析，采用以问题树分析的方法为主要分析方法，同时采用质量问题归零中的相关流程和要求，同时，借鉴因果图、根原因分析方法，来构建从质量问题表面现象出发到质量管理体系薄弱点根源的反推式分析和评价方法和流程。其主要思路如下：

a)采用问题树分析作为从质量问题表面现象出发到质量管理体系薄弱点根源的反推式分析的主要方法，通过建立问题树从质量问题分析寻找影响因素的根源；

b)参照因果图中的人、机、料、法、环五个质量影响要素，依据GJB9001《质量管理体系要求》标准，确定若干类对产品质量的影响因素；

c)与质量问题归零有机融合，作为完善管理归零方法和程序的重要内容，为落实“过程清楚”要求，即查明质量问题发生和发展过程，从中查找出管理上的薄弱环节或漏洞，分清责任者和分析责任类型提供分析方法。

3)构建质量问题树的框架

通过系统的分析将问题原因和结果联系起来，依据GJB9001《质量管理体系要求》标准，并参照因果图中的人、机、料、法、环五个质量影响要素，确定规章、人员、设备和设施、外购外协、过程控制、信息(数据)、持续改进机制七个质量影响要素，针对型号质量问题，从质量问题的现象入手，运用故障树分析方法，建立分析质量管理体系薄弱环节的问题树，逐层分析追踪式分析导致问题现象与原因，找出问题结果对应的质量管理体系薄弱环节。如图5所示。

这种方法可以用于质量问题的管理归零，并与质量管理体系评价和改进密切结合。

例6.如：规章要素常见的问题形式主要包括：没有相关体系文件(即无章可循)、体系文件内容不正确、体系文件可操作性差、体系文件没有落实、体系文件状态管理有问题等若干方面，问题树样例如图6所示。

4)否决项判定及扣分

根据发生质量问题的严重性程度，将对应质量管理体系正向评价要素进行扣分。将质量问题分为一般质量问题、重大质量问题或一般质量事故和重大质量事故三类，据此对正向评价得分进行相应程度的扣分，对于重大质量问题、质量事故且未有效整改的，则直接判定为否决项，下降质量管理体系有效性等级。

例7.某单位根据发生的质量问题分析得出对应的体系薄弱项如表11所示，进而对其得分系数和得分进行调整，如表12所示。

表11

表12

(3)基于航天型号质量问题的质量管理体系有效性综合评价

质量管理体系有效性评价的总分为质量保证过程得分与质量综合管理得分之和乘以质量管理体系结果的得分率。计算公式为：D＝(A+B)×(C/100)，A为质量保证过程得分，B为质量综合管理得分，C为质量管理体系结果得分，D为质量管理体系总体得分。其中，质量保证过程满分800分，质量综合管理满分200分；质量管理体系结果满分100分。

例8.根据例7中调整后的评价项的最终得分对例5中的质量管理体系有效性正向综合评价进行调整，质量保证过程评价得分A由原来的600分调整为600-[(54.40-48)+(26.80-24)+(13.60-12)]＝589.2分，质量综合管理评价得分B仍为160分，质量管理体系结果评价得分C由原来的88分调整为88-(7-6)＝87分，则最终的质量管理体系有效性评价的总分由原来的正向评价得分(600+160)×88/100≈668分调整为加入反推评价后的(589.2+160)×87/100≈652分，如表13所示。

表13

根据下面的质量管理体系综合评价最终结果的成熟度等级划分，该单位质量管理体系成熟度为五级，成熟级。

质量管理体系有效性评价结果，这里给出划分六个成熟度等级的评价分值区间。质量管理综合评价应将定量的评价分值与定性的分析相结合，尤其评价总得分在评价分值区间的边缘时，更要进行充分的定性评价。各成熟度等级的评价分值区间和定性评价的主要特征如下。

a.初始级

质量管理体系综合评价总分为160分以下，表明质量管理体系总体上处于初级水平。质量管理体系综合评价总分在这一个等级上，表明没有达到依据国家军用标准通过质量管理体系认证的水平，即使形式上通过质量管理体系认证审核和注册，但实际质量管理体系远未真正达到质量管理体系标准要求的水平，也就是讲尚不具备能够稳定地提供合格品的能力。因为，综合评价的总分如此之低，表明着质量管理要素组成的系统性和完备性方面存在很大的问题，或质量管理体系存在很多或很严重的薄弱环节。这一成熟度等级总体评价为：“无章可循，过程失控”。

b.事后管理级

质量管理体系评价总分为160分～250分之间，表明质量管理体系总体上处于比较低的水平。质量管理体系综合评价的总分在这一个等级上，通常表明还未达到能够通过预防管理和全过程控制来保证产品质量，即保证产品质量主要还要依靠事后的检验和问题处理。

c.基本受控级

质量管理体系综合评价总分达到251～360分，表明质量管理体系达到基本受控级，即基本达到依据国家军用标准通过质量管理体系认证的水平，总体上具有提供合格产品的质量管理体系。这一成熟度等级总体评价为：“有章可循、基本受控”。

d.保证级

质量管理体系综合评价总分达到361～640分，表明质量管理体系达到保证级，即全面达到依据国家军用标准通过质量管理体系认证的水平，总体上具有能够稳定地提供合格产品的质量管理体系。这一成熟度等级总体评价为：“体系健全、质量稳定”。

e.成熟级。

质量管理体系综合评价总分达到641～810分，表明质量管理体系达到成熟级，即质量管理体系总体上在满足顾客要求的基础上和追求卓越的进程中能够不断实现自我完善，已经达到全面、稳定、有效和高效的程度，在所在领域，如国内同行这样一个特定范围内达到先进水平。这一成熟度等级总体评价为：“管理成熟、产品优质”。

f.卓越级。

质量管理体系整体评价总分达到810分以上，表明质量管理体系达到卓越级，产品质量和质量管理水平接近或达到了世界级的水平，是一种当代管理和技术水平所能达到的接近完善的程度，主要是用于对先进单位树立一个努力的目标和方向。这一成熟度等级总体评价为：“管理卓越、产品完美”。

(4)航天质量管理体系有效性评价实施程序

航天质量管理体系有效性评价主要分为外部评价和自我评价，前者包括上级对下级单位的评价、用户对航天产品研制生产单位的评价、或总承制单位对协作配套单位的评价，后者是指航天单位的自我评价，其评价实施程序大体相同，亦有一定的区别。

1)外部评价的实施程序

a.外部评价方决定开展评价工作

外部评价方决定开展对被评价方质量管理体系有效性的评价，以此作为评定、监督被评价方质量管理体系，或帮助、促进被评价方提升质量管理体系的一种方式。

b.被评价方最高管理层的响应和参与

被评价方的最高管理层根据评价方的要求和本单位自身管理的需要，通过对质量管理体系成熟度评价方法的学习和理解，确定单位内参与质量管理体系评价的相关人员和部门，承诺配合评价方开展这项活动，并表示积极参与。

c.组成评价小组

由上级单位委派的专家和被评价单位内部有关人员，经过评价培训，共同组成评价小组，由上级单位授权的专家作为评价小组组长。评价小组人员必须满足下列基本条件：

a)熟练掌握评价模型和方法；

b)了解被评价单位基本情况；

c)掌握质量管理体系指导性技术文件和相关知识；

d)具有相应的评价、检查或现场审核经验。

d.制定评价计划

对于评价范围、内容、方法、分值等，评价小组要与被评价单位共同协商，进行补充、删减或修改。评价小组拟定评价计划和时间安排，在与被评价单位进行充分协商沟通后，经有关领导同意，正式确定评价计划，并报有关管理部门备案。

e.实施评价

依据评价内容、时间、人员安排及其它要求，评价小组采用询问、座谈、查阅文件和现场评价等方式，逐条确定被评价内容的成熟度等级，并对评价过程进行记录。对于通过依据GJB 9001《质量管理体系要求》标准认证的单位，评价内容的成熟度等级系数如前所述，通常从0.4或0.5开始评价，依据是否达到或超过这一成熟度等级系数来确定是否选择高一个成熟度等级系数或低一个成熟度等级系数。对于未能通过依据GJB 9001《质量管理体系要求》标准认证的单位，评价内容的成熟度等级系数通常从0.2或0.3开始评价。在逐条评价的基础上，运用质量管理体系成熟度评价软件工具，进行评价分值的计算，确定质量管理体系的成熟度等级和评价得分，列出质量管理体系薄弱项清单，并汇总列出评价高分项目。

f.提出评价结论和建议

在评价打分和整体综合分析的基础上，提出评价结论，并对评价中提出的薄弱项进一步分析其原因，提出改进建议。改进建议项目应根据成熟度等级、改进的迫切性等因素排列优先次序。同时，总结、提出应该总结和推行的最佳实践的做法和经验。

g.总结和上报

总结评价工作经验，以便改进下一次的评价工作和推广评价工作。评价的结论、改进建议和工作总结经有关领导同意后，报有关领导和管理部门。

2)自我评价的实施程序

a.领导决策

最高管理层在了解质量管理体系成熟度评价作用的基础上，决定开展和表示参与质量管理体系的自我评价，以此作为诊断质量管理体系薄弱环节和推动质量管理体系不断提升的方式。

b.建立评价小组

选择了解本单位情况、熟悉质量管理和产品研制生产过程的相关人员，经过评价培训，建立跨职能(部门)的评价小组，并赋予其相应的职责和权限。必要时，可聘请外部专家担任评价人员。评价小组组长最好由本单位人员担任，并向最高管理者负责。

c.评价准备

参照确定的评价方法、范围、时间安排、内容、分值分配等，并补充本单位特殊的评价内容或删减本单位不存在的评价内容，拟定评价计划。首次开展自我评价时，还可选择一个评价对象或过程作为试点，依据试点经验制定全面的自我评价计划。下一步，聘请有关专家(可包括外聘专家)对该计划进行评审，从而完善评价计划，最后，报最高管理者批准。

d.实施评价

依据评价计划中确定的评价内容、时间和人员安排，采用询问、座谈、查阅文件和现场评价等方式，逐条评定被评价内容的成熟度等级系数，并对评价过程进行记录。通过依据GJB 9001《质量管理体系要求》标准认证的单位，评价内容的成熟度等级系数通常从0.5或0.6开始评价。在逐条评价的基础上，进行评价分值的计算，确定质量管理体系整体的成熟度等级，列出薄弱项内容清单，并汇总列出评价高分项目。

e.提出评价结论和建议

在评价打分和整体综合分析的基础上，提出评价结论，并对评价中提出的薄弱项进一步分析其原因，提出改进建议。改进建议项目应根据成熟度等级、改进的迫切性等因素排列优先次序。

f.总结和上报

评价小组总结自我评价工作经验，以便改进下一次的自我评价工作。自我评价的结论、改进建议和工作总结一并报送最高管理者，并整理、归档评价文件和记录，以备再次评价对比分析。

g.提炼的和推行最佳实践

最高管理者组织有关部门、人员总结提炼评价过程中发现的最佳实践的有效做法和成功经验，并开展交流。

(5)航天质量管理体系有效性评价辅助软件系统

基于质量数据的正逆向评价相结合的航天质量管理体系有效性评价方法，涉及大量质量信息的提取、质量成熟度的计算、质量问题的汇总、反馈，为了增加其可操作性，本发明还开发了配套的航天质量管理体系有效性评价辅助软件系统，主要用于在航天单位内部开展质量管理体系有效性评价时使用，也可用于上级或平级单位对质量管理体系有效性的监督评价时使用。

该评价系统主要是基于航天质量管理体系有效性评价模型，利用航天产品研制生产过程质量数据、单位基础管理质量数据，围绕航天产品实现过程，采用矩阵式的评价方式以及成熟度评价方法，对航天产品实现过程、质量基础管理、质量综合管理、质量管理体系结果等方面的评价项进行量化评分，在汇总得出体现航天单位质量管理体系有效性的总分分值。在实现前述主要功能的基础上辅助实现文档的分类上传、查询以及系统的一些基础数据维护工作。

基于航天质量管理体系有效性评价系统的需求，该系统的总体功能体系架构图如图7所示：

整个系统包括四个模块，分别是评价管理模块、文档管理模块、用户管理模块、基础数据模块。评价管理模块下包括了三个方面的评价以及总分值评价，文档管理模块包括了文档分类的设置、文档上传、文档查询功能，用户管理主要是对用户基本信息的维护、密码修改等，基础数据包括单位类型管理、相关评价项设置、单位类型与评价项的对应关系，以及单位类型评价项分值设定。

其中，评价管理模块是系统的主要功能模块，包括产品实现过程评价、质量综合管理评价、质量管理体系结果评价三部分。其主要操作流程如图8所示；

依据评价基础信息，用户新建评价信息，评价信息建好之后，用户可以对评价信息进行评价，另外可以开始对各个评价模块进行评分，系统会自动计算分值并进行汇总，最终得出评价报告，同时允许用户对评价信息和结果进行查询。

当出现问题数据后，将问题数据导入软件系统，导入成功后，系统中具体的一个个的问题点就都罗列了出来。

根据导入的逆向式数据，用户自行判断应该对应产品实现过程中的哪个过程，点击【逆向关联】。如果逆向日期在正向式评价期间内，则该逆向式关联的正向式的相关节点会加红色*提示用户，此节点的数据异常，需要人工干预。

根据问题严重程度，对评价项成熟度等级进行重新打分，系统会根据新的评分自动计算相应分值并进行汇总，最终得出评价报告。

Claims (1)

1.一种正逆结合的航天质量管理体系有效性评价方法，其特征在于：该方法包括如下步骤：

步骤一：构建基于航天型号质量数据的质量管理体系评价模型

按质量管理体系与型号质量工作的相互关系，确定体现质量管理体系有效性的核心评价模块，采用基于质量管理体系审核所获取质量信息的正向评价方式，以及基于航天型号质量问题数据的反推评价方式，构建出反映评价依据、评价内容、评价方法和评价结果相互关系的质量管理体系通用评价模型；

此外，在通用评价模型的基础上，构建体现各类航天单位研制生产特点的具有不同评价输入、评价模块的质量管理体系专用评价模型，包括航天设计、生产、试验类单位质量管理体系评价模型；其中，通用评价模型是涵盖所有评价项的一个全面的、完整的、总的评价模型，专用评价模型是在通用评价模型的基础上，根据航天单位类型，本身是只涉及设计环节、只涉及生产环节、还是只涉及试验环节，对评价模块进行删减，并对分值分配进行调整，以适应实际情况，而对所有环节都包含的综合类单位则用通用评价模型进行评价；

步骤二：分析体系与型号相互关系，界定用于体系有效性评价的质量数据

根据评价模型确定的评价内容，确定评价所需的质量数据输入项目；具体将从分析航天型号研制流程入手，以表格形式列出型号研制各阶段应开展的重点航天型号质量管理工作，分析各项工作的过程及结果质量数据输出内容及形式，数据来源涉及航天型号及产品在设计、加工、组装、调试、测试、试验、检验、返工、返修等工作环节中形成的文档、记录各类质量信息；通过对以上质量数据进行分类，最终按航天型号研制过程梳理出与航天质量管理体系评价内容密切相关的，可充分反映质量管理体系过程控制及其结果情况的质量数据项目，并确定其类型、来源、形式及相关要求；

步骤三：确定体系评价要素，分类编写体系评价准则

评价要素的确定及评价准则的编写，将以QJ 9000《质量管理体系要求》核心为基础，梳理出全面、系统、深入的质量管理内容及要求，以此选择确定航天质量管理体系评价要素，编写各类单位质量管理体系评价准则；

首先将以综合类航天单位为对象，分析梳理出的航天质量管理工作内容，剔除冗余和交叉部分，保留关键内容，确定形成综合类单位航天质量管理体系评价要素；在此基础上，针对设计、生产、试验各类航天单位质量管理体系覆盖范围及工作重点，提出各类典型航天型号承制单位质量管理体系评价要素；此外，还将把评价要素分为适用于所有单位的基本评价要素，以及适用于特定类型航天单位的专用评价要素；每一评价要素将通过表格形式表示出对应输入的质量数据及其来源；

在确定的评价要素基础上，以QJ 9000、GJB 9001标准要求为依据，充分纳入最新航天质量管理文件要求，编制既满足航天质量管理相关要求又体现各类单位质量管理重点及深度的评价准则；准则采取定性要求及定量要求相结合的编写方式，提出覆盖设计、生产、试验等各类单位质量管理体系过程和结果要素，体现体系对型号质量工作支撑有效性的具体评价条款；

步骤四：提出正逆向结合的质量管理体系有效性评价方法和流程

具体将对质量管理体系评价要素，依据评价准则条款要求，逐一采取成熟度评价方法，给出各要素的成熟度系数，得出各要素的评分结果，汇总得出质量管理体系的量化总分分值；

基于型号质量问题信息，提出采取由问题反推追查原因、找到体系薄弱环节的逆向式评价方法，具体将对型号质量问题按质量问题的严重性及整改情况进行分级，分别设定不同级别的扣分系数，据此对该质量问题涉及的评价要素进行扣分；其中对于非常严重且未有效整改的问题，则将对应要素判定为否决项，直接将体系判定为最低等级；

最后，将正向式评分结果和逆向式评分结果相加，得出质量管理体系总体分值，根据分值的多少，以及是否存在否决项，最终评定出质量管理体系的整体成熟度等级。