CN113378633A - 一种流媒体信号质量检测方法及系统 - Google Patents

一种流媒体信号质量检测方法及系统 Download PDF

Info

Publication number
CN113378633A
CN113378633A CN202110484598.6A CN202110484598A CN113378633A CN 113378633 A CN113378633 A CN 113378633A CN 202110484598 A CN202110484598 A CN 202110484598A CN 113378633 A CN113378633 A CN 113378633A
Authority
CN
China
Prior art keywords
signal
module
picture
streaming media
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110484598.6A
Other languages
English (en)
Inventor
马萧萧
董秋林
冯良怀
张兴红
袁文星
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Dongfangshengxing Electronics Co ltd
Original Assignee
Chengdu Dongfangshengxing Electronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Dongfangshengxing Electronics Co ltd filed Critical Chengdu Dongfangshengxing Electronics Co ltd
Priority to CN202110484598.6A priority Critical patent/CN113378633A/zh
Publication of CN113378633A publication Critical patent/CN113378633A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明公开了一种流媒体信号质量检测方法及系统,包括以下步骤:S1:流媒体信号采集;S2:将所有从媒体机构采集到的信号进行统一的调度;S3:对信号进行技术审核;S4:对信号进行智能分析,实时识别信号画面内容;S5:若技术审核和画面内容识别通过,则发布信号,否则切换信号,跳转至S2;所述步骤S4具体为:采用人脸识别技术对画面内容进行检测,对信号画面快速识别,将识别结果和特征库中的敏感过滤人物比对,若比对差异度小于阈值,则认定命中敏感信息。本发明通过对流媒体信号进行实时检测分析,保证画面的正常播放,避免出现非法内容,保证网络信号传播的安全性。

Description

一种流媒体信号质量检测方法及系统
技术领域
本发明涉及视频传输技术领域,尤其涉及一种流媒体信号质量检测方法及系统。
背景技术
流媒体在互联网拥有越来越多的应用,媒体机构在应用流媒体的同时,对流媒体内容的安全性提出了更高的要求。特别是电视台客户在使用流媒体点播、直播场景中,需要对流媒体信号内容进行监测,确保画面的正常,若遭遇故障能够智能切换到正常信号。同时,对于信号内容是否存在异常或者非法的情况,现有技术往往通过人工监看信号来检测异常信号或非法内容,然后通过切换台来切换异常信号;并且对流媒体的格式、质量、内容缺乏检测,可能会导致在点播、直播场景中,播出的流媒体信号出现黑屏、静音、花屏等格式问题。在申请号为CN201910256573.3的专利中公开了一种流媒体信号分发装置及流媒体信号质量检测方法;以及时发现上一节点的流媒体信号传输是否发生故障,及时发现故障点,提高了维护效率。但是,该方案并未对信号的画面内容进行监测,若出现违规、敏感的人物以及事件画面,将带来不好的社会影响。
发明内容
本发明的目的在于克服现有技术的不足,提供一种流媒体信号质量检测方法及系统。
本发明的目的是通过以下技术方案来实现的:
一种流媒体信号质量检测方法,包括以下步骤:
S1:流媒体信号采集;
S2:将所有从媒体机构采集到的信号进行统一的调度;
S3:对信号进行技术审核;
S4:对信号进行智能分析,实时识别信号画面内容;
S5:若技术审核和画面内容识别通过,则发布信号,否则切换信号,跳转至S2。
进一步的,所述步骤S3包括以下子步骤:
S301:播放信号并截帧;
S302:对帧画面进行分析,检测技术参数;
S303:检测过程中若发现异常,则告警提示。
进一步的,所述技术参数包括黑场、彩场、彩条、雪花、花屏、静帧、夹帧、静音、立体声相位反向、单声道和音频峰值超标。
进一步的,所述黑场通过帧画面的亮度来进行检测,对图像原始数据使用swscale函数进行YUV转换,判断其画面亮度,画面亮度低于配置阈值,则认定为黑场。
进一步的,所述的彩场、彩条、雪花和花屏通过以下步骤进行检测:
通过FFT变换,XY轴附件分布的能量与总能量过小;
将帧画面滤波处理后与原图对比,进行噪声图像分析;
图片灰度检测,将第一灰度图像和第二灰度图像对比计算拉普拉因子差值。
进一步的,所述步骤S4具体为:采用人脸识别技术对画面内容进行检测,对信号画面快速识别,将识别结果和特征库中的敏感过滤人物比对,若比对差异度小于阈值,则认定命中敏感信息。
一种流媒体信号质量检测系统,包括信号采集模块、信号调度模块、技审模块、违规内容识别模块、信号发布模块和异常日志模块;所述信号调动模块分别连接信号采集模块、技审模块和违规内容识别模块;所述违规内容识别模块分别连接技术模块和信号发布模块;所述异常日志模块连接技审模块和违规内容识别模块;
所述信号采集模块用于对信号进行采集;
所述信号调度模块用于将媒体机构所有的来源信号统一管理,支持来源信号进行分组、调度和分发到其他渠道;
所述技审模块用于对信号格式和画面进行技术审核分析,监测是否有彩条、黑场、静音、静帧;
所述违规内容识别模块用于对信号画面智能分析,识别是否存在违规内容;
所述信号发布模块用于对通过技审和违规识别的信号进行发布;
所述异常日志模块用于对技术审核异常和存在违规内容的信号进行日志记录。
进一步的,所述违规内容识别模块接收技审模块技审通过的信号并对信号画面进行智能分析,实时识别画面信息,将识别到的信息与违规库内的数据进行比对,形成违规判定值,若违规判定值大于等于阈值,则将该信号返回信号调度模块;否则,将信号发送至信号发布模块进行信号发布。
本发明的有益效果:本发明通过对流媒体信号进行实时检测分析,保证画面的正常播放,避免出现非法内容,保证网络信号传播的安全性。
附图说明
图1是本发明的设备原理框图。
图2是本发明的系统功能模块图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图说明本发明的具体实施方式。
本实施例中,如图1所示,一种流媒体信号质量检测方法,包括以下步骤:
S1:流媒体信号采集;
S2:将所有从媒体机构采集到的信号进行统一的调度;
S3:对信号进行技术审核;
S4:对信号进行智能分析,实时识别信号画面内容;
S5:若技术审核和画面内容识别通过,则发布信号,否则切换信号,跳转至S2。
其中,所述步骤S3包括以下子步骤:
S301:播放信号并截帧;
S302:对帧画面进行分析,检测技术参数;
S303:检测过程中若发现异常,则告警提示。
其中,所述技术参数包括黑场、彩场、彩条、雪花、花屏、静帧、夹帧(连续画面之间,一帧或多帧不连续)、静音、立体声相位反向、单声道和音频峰值超标。
其中,所述黑场通过帧画面的亮度来进行检测,对图像原始数据使用swscale函数进行YUV转换,判断其画面亮度,画面亮度低于配置阈值,则认定为黑场。
其中,所述的彩场、彩条、雪花和花屏通过以下步骤进行检测:
通过FFT变换,XY轴附件分布的能量与总能量过小;
将帧画面滤波处理后与原图对比,进行噪声图像分析;
图片灰度检测,将第一灰度图像和第二灰度图像对比计算拉普拉因子差值。
其中,静帧和夹帧的检测通过相邻帧画面对比,计算画面差异度,差异度大于设置阈值,则认定为静帧或夹帧。
其中,静音、立体声相位反向、单声道、音频峰值超标的检测利用AudioSegment库抽出视频音轨,建立时间周期采样音频参数,如:dBFS,比对音频参数阈值,若在正常范围之外,则判断音频异常;根据分析结果,比对配置的参数阈值,认定画面参数是否存在问题,若存在问题则告警提示,或以配置方案做信号的切换处理。
其中,所述步骤S4具体为:采用人脸识别技术对画面内容进行检测,对信号画面快速识别,将识别结果和特征库中的敏感过滤人物比对,若比对差异度小于阈值,则认定命中敏感信息。
人脸识别技术使用网络第三方和开源方法,分别建立智能识别AI模型,经过大量人脸训练,使识别准确率达到97%以上;采用深度学习方法,非线性处理单元的多层级联去进行特征提取和变换。基于9层神经网络的DeepFace,做人脸验证(Verification)或者识别(Identification)。
人脸数据录入:使用FR模块流程:人脸数据处理,特征提取,损失函数以及人脸匹配的每个模块以及SOTA方法,损失函数使用center loss,如下公式:
Figure BDA0003050266200000041
式中:
Figure BDA0003050266200000042
为;xi为;cyi为。
人脸识别:对视频中的人脸,整合基于不同帧之间的信息去构建一个视频人脸的表征,并处理视频自带的模糊,姿态变化和遮挡。使用这些表征做基于两个集合的相似性对比,然后对分数做池化。
人脸匹配:Face verification:找到一个新的度量,能够让两个类更具有可分性,同样可以用在基于人脸匹配的深度特征上,如联合贝叶斯(JB)模型,相似性得分r(x1,x2):
Figure BDA0003050266200000043
P(x1,x2|HI)是两个人脸图片属于同一个人的概率,P(x1,x2|HE)是两个人脸图片属于不同ID的概率。
其中,所述信号异常告警提示:信号检测后台服务通过检测发现异常情况,直接以消息通知流媒体矩阵系统前端,通过页面闪红灯并语音告警方式提醒用户;
其中,异常信号切换,信号检测后台服务通过检测发现异常情况,根据异常情况的紧急程度,高紧急情况若人工干预已经来不及的情况,根据配置自动切换备用信号或视频文件进行播放。
在本实施例中,一种流媒体信号质量检测系统,包括信号采集模块、信号调度模块、技审模块、违规内容识别模块、信号发布模块和异常日志模块;所述信号调动模块分别连接信号采集模块、技审模块和违规内容识别模块;所述违规内容识别模块分别连接技术模块和信号发布模块;所述异常日志模块连接技审模块和违规内容识别模块;
所述信号采集模块用于对信号进行采集;
所述信号调度模块用于将媒体机构所有的来源信号统一管理,支持来源信号进行分组、调度和分发到其他渠道;
所述技审模块用于对信号格式和画面进行技术审核分析,监测是否有彩条、黑场、静音、静帧;
所述违规内容识别模块用于对信号画面智能分析,识别是否存在违规内容;
所述信号发布模块用于对通过技审和违规识别的信号进行发布;
所述异常日志模块用于对技术审核异常和存在违规内容的信号进行日志记录。
进一步的,所述违规内容识别模块接收技审模块技审通过的信号并对信号画面进行智能分析,实时识别画面信息,将识别到的信息与违规库内的数据进行比对,形成违规判定值,若违规判定值大于等于阈值,则将该信号返回信号调度模块;否则,将信号发送至信号发布模块进行信号发布。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解,本发明不受上述实施例的限制,上述实施例和说明书中描述的只是说明本发明的原理,在不脱离本发明精神和范围的前提下,本发明还会有各种变化和改进,这些变化和改进都落入要求保护的本发明范围内。本发明要求保护的范围由所附的权利要求书及其等效物界定。

Claims (8)

1.一种流媒体信号质量检测方法,其特征在于,包括以下步骤:
S1:流媒体信号采集;
S2:将所有从媒体机构采集到的信号进行统一的调度;
S3:对信号进行技术审核;
S4:对信号进行智能分析,实时识别信号画面内容;
S5:若技术审核和画面内容识别通过,则发布信号,否则切换信号,跳转至S2。
2.根据权利要求1所述的一种流媒体信号质量检测方法,其特征在于,所述步骤S3包括以下子步骤:
S301:播放信号并截帧;
S302:对帧画面进行分析,检测技术参数;
S303:检测过程中若发现异常,则告警提示。
3.根据权利要求2所述的一种流媒体信号质量检测方法,其特征在于,所述技术参数包括黑场、彩场、彩条、雪花、花屏、静帧、夹帧、静音、立体声相位反向、单声道和音频峰值超标。
4.根据权利要求3所述的一种流媒体信号质量检测方法,其特征在于,所述黑场通过帧画面的亮度来进行检测,对图像原始数据使用swscale函数进行YUV转换,判断其画面亮度,画面亮度低于配置阈值,则认定为黑场。
5.根据权利要求3所述的一种流媒体信号质量检测方法,其特征在于,所述的彩场、彩条、雪花和花屏通过以下步骤进行检测:
通过FFT变换,XY轴附件分布的能量与总能量过小;
将帧画面滤波处理后与原图对比,进行噪声图像分析;
图片灰度检测,将第一灰度图像和第二灰度图像对比计算拉普拉因子差值。
6.根据权利要求1所述的一种流媒体信号质量检测方法,其特征在于,所述步骤S4具体为:采用人脸识别技术对画面内容进行检测,对信号画面快速识别,将识别结果和特征库中的敏感过滤人物比对,若比对差异度小于阈值,则认定命中敏感信息。
7.一种流媒体信号质量检测系统,其特征在于,包括信号采集模块、信号调度模块、技审模块、违规内容识别模块、信号发布模块和异常日志模块;所述信号调动模块分别连接信号采集模块、技审模块和违规内容识别模块;所述违规内容识别模块分别连接技术模块和信号发布模块;所述异常日志模块连接技审模块和违规内容识别模块;
所述信号采集模块用于对信号进行采集;
所述信号调度模块用于将媒体机构所有的来源信号统一管理,支持来源信号进行分组、调度和分发到其他渠道;
所述技审模块用于对信号格式和画面进行技术审核分析,监测是否有彩条、黑场、静音、静帧;
所述违规内容识别模块用于对信号画面智能分析,识别是否存在违规内容;
所述信号发布模块用于对通过技审和违规识别的信号进行发布;
所述异常日志模块用于对技术审核异常和存在违规内容的信号进行日志记录。
8.根据权利要求7所述的一种流媒体信号质量检测系统,其特征在于,所述违规内容识别模块接收技审模块技审通过的信号并对信号画面进行智能分析,实时识别画面信息,将识别到的信息与违规库内的数据进行比对,形成违规判定值,若违规判定值大于等于阈值,则将该信号返回信号调度模块;否则,将信号发送至信号发布模块进行信号发布。
CN202110484598.6A 2021-04-30 2021-04-30 一种流媒体信号质量检测方法及系统 Pending CN113378633A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110484598.6A CN113378633A (zh) 2021-04-30 2021-04-30 一种流媒体信号质量检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110484598.6A CN113378633A (zh) 2021-04-30 2021-04-30 一种流媒体信号质量检测方法及系统

Publications (1)

Publication Number Publication Date
CN113378633A true CN113378633A (zh) 2021-09-10

Family

ID=77570361

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110484598.6A Pending CN113378633A (zh) 2021-04-30 2021-04-30 一种流媒体信号质量检测方法及系统

Country Status (1)

Country Link
CN (1) CN113378633A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114727043A (zh) * 2022-03-07 2022-07-08 国网山东省电力公司信息通信公司 一种会场镜头自动切换的控制方法及系统

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072370A (zh) * 2006-05-09 2007-11-14 罗燕海 一种防止非法信号进入广播电视播出设备的控制装置
CN102006499A (zh) * 2010-12-10 2011-04-06 北京中科大洋科技发展股份有限公司 一种检测数字电视节目文件视音频质量的方法
CN102024043A (zh) * 2010-12-12 2011-04-20 成都东方盛行电子有限责任公司 媒体数据质量深度检测与控制方法
CN104506853A (zh) * 2014-12-31 2015-04-08 成都东方盛行电子有限责任公司 一种音视频技审系统及方法
CN104506887A (zh) * 2014-12-31 2015-04-08 成都东方盛行电子有限责任公司 一种音视频技审方法
CN104539936A (zh) * 2014-11-12 2015-04-22 广州中国科学院先进技术研究所 一种监测监控视频出现雪花噪声的系统和方法
CN104751159A (zh) * 2015-01-09 2015-07-01 北京正奇联讯科技有限公司 视频彩场检测方法及装置
CN105338148A (zh) * 2014-07-18 2016-02-17 华为技术有限公司 一种根据频域能量对音频信号进行检测的方法和装置
CN106372584A (zh) * 2016-08-26 2017-02-01 浙江银江研究院有限公司 一种视频图像马赛克检测方法
CN107529068A (zh) * 2016-06-21 2017-12-29 北京新岸线网络技术有限公司 视频内容鉴别方法及系统
CN109996063A (zh) * 2019-04-04 2019-07-09 广东省安心加科技有限公司 视频图像花屏检测方法、装置、计算机设备和存储介质
CN112291551A (zh) * 2020-06-23 2021-01-29 广州红贝科技有限公司 一种基于图像处理的视频质量检测方法、存储设备及移动终端
CN112364215A (zh) * 2020-10-30 2021-02-12 中邮科通信技术股份有限公司 基于敏感信息过滤及联动处警的智慧灯杆信息发布方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101072370A (zh) * 2006-05-09 2007-11-14 罗燕海 一种防止非法信号进入广播电视播出设备的控制装置
CN102006499A (zh) * 2010-12-10 2011-04-06 北京中科大洋科技发展股份有限公司 一种检测数字电视节目文件视音频质量的方法
CN102024043A (zh) * 2010-12-12 2011-04-20 成都东方盛行电子有限责任公司 媒体数据质量深度检测与控制方法
CN105338148A (zh) * 2014-07-18 2016-02-17 华为技术有限公司 一种根据频域能量对音频信号进行检测的方法和装置
CN104539936A (zh) * 2014-11-12 2015-04-22 广州中国科学院先进技术研究所 一种监测监控视频出现雪花噪声的系统和方法
CN104506853A (zh) * 2014-12-31 2015-04-08 成都东方盛行电子有限责任公司 一种音视频技审系统及方法
CN104506887A (zh) * 2014-12-31 2015-04-08 成都东方盛行电子有限责任公司 一种音视频技审方法
CN104751159A (zh) * 2015-01-09 2015-07-01 北京正奇联讯科技有限公司 视频彩场检测方法及装置
CN107529068A (zh) * 2016-06-21 2017-12-29 北京新岸线网络技术有限公司 视频内容鉴别方法及系统
CN106372584A (zh) * 2016-08-26 2017-02-01 浙江银江研究院有限公司 一种视频图像马赛克检测方法
CN109996063A (zh) * 2019-04-04 2019-07-09 广东省安心加科技有限公司 视频图像花屏检测方法、装置、计算机设备和存储介质
CN112291551A (zh) * 2020-06-23 2021-01-29 广州红贝科技有限公司 一种基于图像处理的视频质量检测方法、存储设备及移动终端
CN112364215A (zh) * 2020-10-30 2021-02-12 中邮科通信技术股份有限公司 基于敏感信息过滤及联动处警的智慧灯杆信息发布方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄振川: "基于视音频内容比对及异态监测的智能播出信号监测系统", 《现代电视技术》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114727043A (zh) * 2022-03-07 2022-07-08 国网山东省电力公司信息通信公司 一种会场镜头自动切换的控制方法及系统

Similar Documents

Publication Publication Date Title
KR101942808B1 (ko) 객체 이미지 인식 dcnn 기반 cctv 영상분석장치
US8724891B2 (en) Apparatus and methods for the detection of abnormal motion in a video stream
US10304458B1 (en) Systems and methods for transcribing videos using speaker identification
CN101799876A (zh) 一种视音频智能分析管控系统
CN101389029B (zh) 一种视频图像编码和检索的方法及装置
CN103873852A (zh) 多模态并行的视频质量故障检测方法及装置
CN101846576A (zh) 一种基于视频的液体泄漏分析预警系统
CN111641799B (zh) 一种视频会议系统及其音频质量诊断方法
CN113660427A (zh) 一种应用于视频监控测试仪的图像分析系统及其分析方法
CN101299269A (zh) 静止场景的标定方法及装置
CN102929887A (zh) 一种基于声音特征识别的快速录像检索方法及系统
CN111178241A (zh) 一种基于视频分析的智能监控系统及方法
CN113378633A (zh) 一种流媒体信号质量检测方法及系统
CN115116004A (zh) 一种基于深度学习的办公区域异常行为检测系统及方法
CN116246416A (zh) 一种用于安防的智能分析预警平台及方法
CN110659627A (zh) 一种基于视频分割的智能视频监控方法
CN110677619A (zh) 一种智能监控视频处理方法
CN102413355A (zh) 一种视频质量诊断系统中视频信号缺失检测方法
CN111416960B (zh) 一种基于云服务的视频监控系统
CN112183406A (zh) 一种视频卡顿检测方法及检测系统
CN110807444A (zh) 一种基于dsp边缘计算的行人异常行为检测系统和方法
CN115914676A (zh) 一种超高清视频信号的实时监测比对方法及系统
CN110213571A (zh) 一种播出链路中多监测点节目实时一致性评估系统及方法
CN108734144A (zh) 一种基于人脸识别的主讲人身份认证方法
KR20230167549A (ko) 지능형 하이브리드 감시제어모듈을 통한 단계별자율 경보형 스마트 cctv 감시장치 및 감시방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination