CN117294582A - 一种多云内容分发网络的高可用方法、系统及存储介质 - Google Patents
一种多云内容分发网络的高可用方法、系统及存储介质 Download PDFInfo
- Publication number
- CN117294582A CN117294582A CN202311560429.1A CN202311560429A CN117294582A CN 117294582 A CN117294582 A CN 117294582A CN 202311560429 A CN202311560429 A CN 202311560429A CN 117294582 A CN117294582 A CN 117294582A
- Authority
- CN
- China
- Prior art keywords
- cdn
- source station
- domain name
- cdn domain
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003860 storage Methods 0.000 title claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 230000001360 synchronised effect Effects 0.000 claims abstract description 4
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims description 4
- 230000009977 dual effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 230000014759 maintenance of location Effects 0.000 claims 1
- 230000002195 synergetic effect Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 241000722826 Ardisia Species 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
- H04L41/0663—Performing the actions predefined by failover planning, e.g. switching to standby network elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L61/00—Network arrangements, protocols or services for addressing or naming
- H04L61/45—Network directories; Name-to-address mapping
- H04L61/4505—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols
- H04L61/4511—Network directories; Name-to-address mapping using standardised directories; using standardised directory access protocols using domain name system [DNS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明提供了一种多云内容分发网络的高可用方法、系统及存储介质，属于计算机内容分发网络技术领域，方法包括：系统至少包括两个以上CDN域名，配置多个对象存储为源站，使CDN域名与对象存储智能同步；系统通过接收客户端请求通过第一CDN域名向主源站进行回源；当CDN主源站异常分发失败则通过第二CDN域名向备用源站进行回源；第一CDN域名、第二CDN域名和主源站、备用源站实现用户请求CDN时的全链路多云自动切换；当所有CDN域名均异常，则自动切换至对象存储进行内容分发。本发明通过多云源站备份和切换策略与客户端多CDN切换的协同作用，为系统的高可用性和稳定性提供了多重保障，进一步优化了整体解决方案。
Description
技术领域
本发明属于计算机内容分发网络技术领域，具体涉及一种多云内容分发网络的高可用方法、系统及存储介质。
背景技术
传统的CDN供应商出现问题时，会影响内容的下发，从而影响CDN边缘节点的可用性。现有架构中，当CDN不可用时，用户无法正常访问分发的内容。此外，现有的CDN架构在跨云回源时成本较高，容易受到其他公有云资源影响，且边缘节点并发请求其他公有云资源容易受到流控风险。
发明内容
本发明提供了一种多云内容分发网络的高可用方法，其改进之处在于，所述方法包括：
S1：系统至少包括两个以上CDN域名，配置多个对象存储为源站，使CDN域名与对象存储智能同步；
S2：系统通过接收客户端请求通过第一CDN域名向主源站进行回源；
S3：当CDN主源站异常分发失败则通过第二CDN域名向备用源站进行回源；
S4：所述第一CDN域名、第二CDN域名和主源站、备用源站实现用户请求CDN时的全链路多云自动切换；
S5：当所有CDN域名均异常，则自动切换至对象存储进行内容分发。
进一步地，所述步骤S1包括所述系统至少包括两个以上CDN域名进行分发，实现多个CDN域名切换。
进一步地，所述步骤S3包括当客户端请求CDN主源站分发异常时，则判定客户端请求失败并进行重试，系统智能地选择连接另一个公有云的第二CDN域名向备用源站进行回源，尝试完成内容分发；
进一步地，所述步骤S3包括当客户端请求CDN主源站分发异常时，则判定客户端请求失败并进行重试，系统智能地选择连接另一个公有云的第二CDN域名向主源站进行回源，尝试完成内容分发；
进一步地，所述步骤S4包括系统通过配置多个对象存储为源站，所述第一CDN域名、第二CDN域名和主源站、备用源站采用双重机制，实现自动切换后端源站对象存储。
进一步地，所述步骤S5包括当系统检测到所有CDN域名不可用时，系统自动将客户端重试域名的解析记录切换到对象存储。
根据本申请实施例的第二方面，本申请还提供了一种多云内容分发网络的高可用系统，其改进之处在于，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器处理所述计算机程序时实现前述一种多云内容分发网络的高可用方法。
根据本申请实施例的第三方面，本申请还提供了一种存储介质，其改进之处在于，其上存储有可执行程序，当可执行程序被调用时，执行前述一种多云内容分发网络的高可用方法中的步骤。
有益效果：
本发明通过源站备份和切换策略与客户端多CDN切换的协同作用，为系统的高可用性和稳定性提供了多重保障，进一步优化了整体解决方案。
本发明提供了CDN边缘节点的高可用性，当某个CDN供应商不可用时，仍然能够通过其他CDN供应商返回内容，避免了服务中断。
本发明降低了CDN边缘节点跨云回源的成本，通过将回源请求集中在本公有云的对象存储上，同时提高了回源效率。
本发明避免了CDN边缘节点跨云回源可能触发流控的问题，通过智能地切换客户端重试CDN域名列表，确保请求的平稳处理。
本发明在CDN源站对象存储服务不可用时，自动切换到其他正常的源站，保证了CDN的可靠性，降低了系统异常风险。
应了解的是，上述一般描述及以下具体实施方式仅为示例性及阐释性的，其并不能限制本申请所欲主张的范围。
附图说明
图1为根据本发明的一种多云内容分发网络的高可用方法流程图；
图2为采用本发明的一种实施方式架构示意图；
应当理解的是，附图不必按比例绘制，呈现了说明本公开的基本原理的各种特征稍微简化的表示。包括例如特定尺寸、定向、位置和形状的如本文中公开的本发明的特定设计特征将部分地由特别预定的应用和使用环境来确定。
在图中，贯穿附图的几个图，附图标记是指本发明的相同或等同的部分。
具体实施方式
现在将详细参考本发明的各种实施方式，其实施例在附图中说明并在下面描述。尽管将连同本发明的示例性实施方式来描述本发明，但应当理解的是，本说明书并不旨在将本发明限制于那些示例性实施方式。另一方面，本发明旨在不仅仅覆盖本发明的示例性实施方式，还旨在覆盖各种替代物、修饰物、等同物和其他实施方式，其可以包括在由所附权利要求限定的本发明的精神和范围内。
以下，将参照附图详细描述本发明的示例性实施方式。本发明的示例性实施方式中描述的特定结构和功能仅仅是出于说明性的目的。根据本发明的构思的实施方式可以以各种形式实施，并且应当理解的是，它们不应当被解释为受示例性实施方式中描述的示例性实施方式的限制，但包括本发明的精神和范围中包括的全部修饰物、等同物或替代物。
贯穿说明书，本文所使用的专业术语是仅是为了描述各种示例性实施方式，且并不旨在于限制。将进一步理解的是，术语“包括”、“包含”、“具有”等，当在示例性实施方式中使用时，特指所陈述的部件、步骤、操作或元件的存在，但不排除其一个或多个其他部件、步骤、操作或元件的存在或添加。
本发明通过源站备份和切换策略与客户端多CDN切换的协同作用，为系统的高可用性和稳定性提供了多重保障，进一步优化了整体解决方案。本发明解决了CDN不可用时对业务的影响；解决了CDN边缘节点跨云回源成本高的问题；解决了CDN边缘节点跨云回源可能触发流控的问题；解决了CDN源站对象存储服务不可用时导致CDN异常的情况。
如图1所示，本发明一种多云内容分发网络的高可用方法，所述方法包括
S100：系统至少包括两个以上CDN域名进行分发，配置多个对象存储为源站，使CDN域名与对象存储智能同步实现多个CDN域名切换。
S200：系统通过接收客户端请求通过第一CDN域名向主源站进行回源，完成内容分发；
S300：当CDN主源站异常分发失败则通过第二CDN域名向备用源站进行回源，完成内容分发；
本发明通过系统实现客户端进行多CDN切换功能，从而有效降低了因CDN域名不可用而引发的服务中断风险，显著提升了系统的可用性。
当客户端请求CDN主源站分发异常时，则判定客户端请求失败并进行重试，系统智能地选择连接另一个公有云的第二CDN域名向备用源站进行回源，尝试完成内容分发；
当客户端请求CDN主源站分发异常时，则判定客户端请求失败并进行重试，系统智能地选择连接另一个公有云的第二CDN域名向主源站进行回源，尝试完成内容分发；
上述技术方案中，本发明还包括主备源站自动切换功能，针对主源站异常的情况，系统具备自动切换到备用源站的机制，确保内容的不间断分发，有效地解决了源站异常导致CDN不可用的问题。
S400：所述第一CDN域名、第二CDN域名和主源站、备用源站实现用户请求CDN时的全链路多云自动切换，切换至后端源站对象存储；
系统通过配置多个对象存储为源站，所述第一CDN域名、第二CDN域名和主源站、备用源站采用双重机制，实现自动切换至对象存储。
上述技术方案中，本发明还包括多源站冗余备份和切换功能：通过配置多个对象存储为源站，实现了源站的冗余备份。在异常情况下，CDN能够自动切换到其他正常的源站，确保CDN的高度稳定性，显著降低了系统异常风险。源站备份切换与客户端多CDN切换的双重机制，使系统在任何情况下都能持续提供稳定的服务，创造出更高的整体可用性。
S500：当所有CDN域名均异常，则自动切换至对象存储进行内容分发。
当系统检测到所有CDN域名不可用时，系统自动将客户端重试域名的解析记录切换到后端源站对象存储。
上述技术方案中，本发明还包括域名解析切换功能，当系统检测到所有CDN域名不可用时，会自动将客户端重试域名的解析记录切换到后端源站对象存储。本发明自动切换机制有助于保障用户请求的平稳处理，确保在CDN不可用的情况下仍能够提供稳定的内容分发服务。
实施例：
如图2所示，本发明一种多云内容分发网络的高可用方法，具体流程如下：
1、上传新文件到OSS： 通过向阿里云的对象存储（OSS）上传了一个新的文件，模拟了新增内容的情况。
2、配置主源站为TOS： 在同一公有云环境下，我们将火山CDN的主源站配置为对象存储（TOS），以确保源站与对象存储之间的高效同步；由于在同一公有云内部进行回源，有效降低了回源成本。
3、客户端请求文件： 当客户端请求文件时，火山CDN的第一个节点会回源到火山的TOS；火山的TOS在阿里云的对象存储（OSS）中取回文件并进行存储；从此时开始，系统将直接从火山的TOS获取文件，实现了内容分发的高效性和稳定性。
4、多CDN切换验证： 在上述实施例中，当火山CDN请求失败无法正常提供分发内容时，系统自动调整客户端请求的域名为阿里CDN的域名；此时，客户端能够成功从阿里CDN获取分发内容，确保了系统在任何情况下都能够持续提供稳定的内容分发服务。
上述实施例中，本发明成功地将新上传的文件通过火山CDN和阿里CDN两个不同的渠道进行分发，并在同一公有云环境下，实现了两个不同源站对象存储的智能同步，进一步提升了内容的可用性和分发的稳定性。强化了本发明在多CDN切换策略方面的实际可行性。
在示例性实施例中，基于本申请实施例提供的一种多云内容分发网络的高可用方法，本申请实施例还提供了一种多云内容分发网络的高可用系统，其包括存储器以及耦接至该存储器的处理器，处理器被配置为基于存储在存储器中的指令，执行本申请中任一个实施例中的一种多云内容分发网络的高可用方法。其中，存储器可以为系统存储器或固定非易失性存储介质等，系统存储器可以存储有操作系统、应用程序、引导装载程序、数据库以及其他程序等。
需要说明的是，上述实施例提供的面向超算和智算计算环境运维任务操作系统与一种多云内容分发网络的高可用方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
在示例性实施例中，本申请实施例还提供了一种计算机存储介质，是计算机可读存储介质，例如，包括计算机程序的存储器，上述计算机程序可由处理器执行，以完成本申请中任一个实施例中的一种多云内容分发网络的高可用方法。
上述的本申请实施例可在各种硬件、软件编码或两者组合中进行实施。例如，本申请的实施例也可表示在数据信号处理器中执行上述方法的程序代码。本申请也可涉及计算机处理器、数字信号处理器、微处理器或现场可编程门阵列执行的多种功能。可根据本申请配置上述处理器执行特定任务，其通过执行定义了本申请揭示的特定方法的机器可读软件代码或固件代码来完成。可将软件代码或固件代码发展表示不同的程序语言与不同的格式或形式。也可表示不同的目标平台编译软件代码。然而，根据本申请执行任务的软件代码与其他类型配置代码的不同代码样式、类型与语言不脱离本申请的精神与范围。
已经出于说明和描述的目的而呈现了本发明特定示例性实施方式的前述描述。并不旨在将其排除或将本发明限制于所公开的精确形式，并且显然地，鉴于以上教导，许多修饰和改变是可行的。选择并描述示例性实施方式以解释本发明的某些原理和它们的实际应用，以便使得本领域的其他技术人员能够制作或利用本发明各种示例性实施方式，及其各种替代物和修饰物。其目的是本发明的范围将由本发明所附的权利要求书及其等同物来定义。
可以理解的是，以上实施方式仅仅是为了说明本发明的原理而采用的示例性实施方式，然而本发明并不局限于此。对于本领域内的普通技术人员而言，在不脱离本发明的精神和实质的情况下，可以做出各种变型和改进，这些变型和改进也视为本发明的保护范围。
Claims (8)
1.一种多云内容分发网络的高可用方法，其特征在于，所述方法包括：
S1：系统至少包括两个以上CDN域名，配置多个对象存储为源站，使CDN域名与对象存储智能同步；
S2：系统通过接收客户端请求通过第一CDN域名向主源站进行回源；
S3：当CDN主源站异常分发失败则通过第二CDN域名向备用源站进行回源；
S4：所述第一CDN域名、所述第二CDN域名和主源站、备用源站实现用户请求CDN时的全链路多云自动切换；
S5：当所有CDN域名均异常，则自动切换至对象存储进行内容分发。
2.根据权利要求1所述的一种多云内容分发网络的高可用方法，其特征在于，所述步骤S1包括所述系统至少包括两个以上CDN域名进行分发，实现多个CDN域名切换。
3.根据权利要求1所述的一种多云内容分发网络的高可用方法，其特征在于，所述步骤S3包括当客户端请求CDN主源站分发异常时，则判定客户端请求失败并进行重试，系统智能地选择连接另一个公有云的第二CDN域名向备用源站进行回源，尝试完成内容分发。
4.根据权利要求1所述的一种多云内容分发网络的高可用方法，其特征在于，所述步骤S3包括当客户端请求CDN主源站分发异常时，则判定客户端请求失败并进行重试，系统智能地选择连接另一个公有云的第二CDN域名向主源站进行回源，尝试完成内容分发。
5.根据权利要求1所述的一种多云内容分发网络的高可用方法，其特征在于，所述步骤S4包括系统通过配置多个对象存储为源站，所述第一CDN域名、第二CDN域名和主源站、备用源站采用双重机制，实现自动切换至后端源站对象存储。
6.根据权利要求1所述的一种多云内容分发网络的高可用方法，其特征在于，所述步骤S5包括当系统检测到所有CDN域名不可用时，系统自动将客户端重试域名的解析记录切换到对象存储。
7.一种多云内容分发网络的高可用系统，其特征在于，包括存储器、处理器以及存储在所述存储器中并在所述处理器上运行的计算机程序，所述处理器处理所述计算机程序时实现如所述权利要求1~6任一项所述一种多云内容分发网络的高可用方法。
8.一种存储介质，其特征在于，其上存储有可执行程序，当可执行程序被调用时，执行如所述权利要求1~6任一项所述一种多云内容分发网络的高可用方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311560429.1A CN117294582A (zh) | 2023-11-22 | 2023-11-22 | 一种多云内容分发网络的高可用方法、系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311560429.1A CN117294582A (zh) | 2023-11-22 | 2023-11-22 | 一种多云内容分发网络的高可用方法、系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117294582A true CN117294582A (zh) | 2023-12-26 |
Family
ID=89241096
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311560429.1A Pending CN117294582A (zh) | 2023-11-22 | 2023-11-22 | 一种多云内容分发网络的高可用方法、系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117294582A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102427412A (zh) * | 2011-12-31 | 2012-04-25 | 网宿科技股份有限公司 | 基于内容分发网络的零延时主备源灾备切换方法和系统 |
| US20190182305A1 (en) * | 2017-12-13 | 2019-06-13 | Verizon Patent And Licensing Inc. | Content streaming redundancy architecture |
| CN111464585A (zh) * | 2019-12-05 | 2020-07-28 | 厦门靠谱云股份有限公司 | 一种基于多云的高可用cdn服务机制 |
| CN112099991A (zh) * | 2020-09-04 | 2020-12-18 | 北京金山云网络技术有限公司 | 数据备份及访问源数据的方法、装置、系统、存储介质 |
| CN112260853A (zh) * | 2020-09-17 | 2021-01-22 | 北京大米科技有限公司 | 容灾切换方法、装置、存储介质及电子设备 |
| CN112671718A (zh) * | 2020-12-03 | 2021-04-16 | 网宿科技股份有限公司 | 回源链路的切换方法、服务器及存储介质 |
-
2023
- 2023-11-22 CN CN202311560429.1A patent/CN117294582A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102427412A (zh) * | 2011-12-31 | 2012-04-25 | 网宿科技股份有限公司 | 基于内容分发网络的零延时主备源灾备切换方法和系统 |
| US20190182305A1 (en) * | 2017-12-13 | 2019-06-13 | Verizon Patent And Licensing Inc. | Content streaming redundancy architecture |
| CN111464585A (zh) * | 2019-12-05 | 2020-07-28 | 厦门靠谱云股份有限公司 | 一种基于多云的高可用cdn服务机制 |
| CN112099991A (zh) * | 2020-09-04 | 2020-12-18 | 北京金山云网络技术有限公司 | 数据备份及访问源数据的方法、装置、系统、存储介质 |
| CN112260853A (zh) * | 2020-09-17 | 2021-01-22 | 北京大米科技有限公司 | 容灾切换方法、装置、存储介质及电子设备 |
| CN112671718A (zh) * | 2020-12-03 | 2021-04-16 | 网宿科技股份有限公司 | 回源链路的切换方法、服务器及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 华为云: "CDN多云模型和对象存储成本分析及最佳实践", pages 3, Retrieved from the Internet <URL:https://www.huaweicloud.com/zhishi/edit-cdn22.html> * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9268840B2 (en) | Providing services across systems that manage distributed replicas | |
| US8375001B2 (en) | Master monitoring mechanism for a geographical distributed database | |
| US8886796B2 (en) | Load balancing when replicating account data | |
| US20080244552A1 (en) | Upgrading services associated with high availability systems | |
| EP3891964B1 (en) | Cache warming: agility for a stateful service | |
| US20030140339A1 (en) | Method and apparatus to maintain service interoperability during software replacement | |
| JP2007047845A (ja) | 自律制御装置・自律制御方法、及び自律制御プログラム | |
| US9058304B2 (en) | Continuous workload availability between sites at unlimited distances | |
| US20150169718A1 (en) | System and method for supporting persistence partition discovery in a distributed data grid | |
| EP2643771A1 (en) | Real time database system | |
| CN109634638B (zh) | 一种集群软件升级方法、装置、设备及介质 | |
| CN105069152B (zh) | 数据处理方法及装置 | |
| US20220066436A1 (en) | Industrial field device replacement system | |
| CN117294582A (zh) | 一种多云内容分发网络的高可用方法、系统及存储介质 | |
| WO2010147758A1 (en) | Publication of television content to television distribution sites | |
| CN112468310B (zh) | 流媒体集群节点管理方法、装置及存储介质 | |
| CN110730238B (zh) | 一种集群的调用系统、方法及装置 | |
| US20240028611A1 (en) | Granular Replica Healing for Distributed Databases | |
| CN116635831A (zh) | 一种数据存储方法、装置及相关设备 | |
| CN109445717B (zh) | 一种双机备份时的数据存储方法及装置 | |
| CN114500279B (zh) | 一种插件配置方法及装置 | |
| CN115373733B (zh) | 模型服务的模型版本调整方法、装置和电子设备 | |
| CN117725100A (zh) | 数据库主从切换方法、系统、设备及存储介质 | |
| US20030158941A1 (en) | Apparatus, method and computer software for real-time network configuration | |
| CN117749621A (zh) | 一种配置HBase集群的方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |