CN111751297A - 一种基于摄像头识别生鲜产品质量的方法和系统 - Google Patents

一种基于摄像头识别生鲜产品质量的方法和系统 Download PDF

Info

Publication number
CN111751297A
CN111751297A CN202010638706.6A CN202010638706A CN111751297A CN 111751297 A CN111751297 A CN 111751297A CN 202010638706 A CN202010638706 A CN 202010638706A CN 111751297 A CN111751297 A CN 111751297A
Authority
CN
China
Prior art keywords
image
information
rgb
camera
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010638706.6A
Other languages
English (en)
Inventor
孙建成
姚义广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Smart Core Optoelectronic Technology Co ltd
Original Assignee
Guangdong Smart Core Optoelectronic Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Smart Core Optoelectronic Technology Co ltd filed Critical Guangdong Smart Core Optoelectronic Technology Co ltd
Priority to CN202010638706.6A priority Critical patent/CN111751297A/zh
Publication of CN111751297A publication Critical patent/CN111751297A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/255Details, e.g. use of specially adapted sources, lighting or optical systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/85Investigating moving fluids or granular solids
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了基于摄像头识别生鲜产品质量的方法,包括:建立成熟健康的生鲜产品光谱图像数据库;采集同一时间节点下的生鲜产品的图像信息和光源信息;将图像信息转化成RGB图像电信号,同时对光源信息转化为光谱图像电信号;图像处理器对RGB图像电信号以及光源图像电信号转化为RGB图像和生鲜产品的的光谱图像;对RGB图像进行优化调整,调用步骤1中数据库的信息进行健康度和成熟度比对和标识;将优化后的RGB图像以及标有健康度和成熟度的光谱图像进行融合,进行显示和存储;一种基于摄像头识别生鲜产品质量的系统,包括包括数据库、采集模块、光电转换模块、图像处理模块和存储模块。本发明具有检测准确、便于携带、成本低的优点。

Description

一种基于摄像头识别生鲜产品质量的方法和系统
技术领域
本发明涉及信息技术相关领域,尤其涉及一种基于摄像头识别生鲜产品质量的方法和系统。
背景技术
随着生活水平的提升,人们对生活质量要求也越来越高,生鲜产品的新鲜度要求越来越高,由于物流行业的发达,现在异地生鲜运输越来越方便,在选购时,生鲜的质量问题属于采购时意向重要判断标准。
在进行生鲜产品的好坏、成熟度采用普通的看摸闻等体感方式并不能准确的而进行判断,因此,产生了专用的检测设备,但是这种检测设备的造价昂贵,不利于携带,对于普通消费者来说存在不实用的缺陷,对于大型的采购者来说也不利于操作和携带,无法随时进行使用。
发明内容
针对上述现有技术的不足,本专利申请所要解决的技术问题是:如何提供一种检测准确、便于携带、成本低的基于摄像头识别生鲜产品质量的方法和系统。
为了实现上述目的,本发明采用了如下技术方案:
一种基于摄像头识别生鲜产品质量的方法,包括以下步骤:
步骤1:建立成熟健康的生鲜产品光谱图像数据库,以健康度和成熟度作为标识;
步骤2:采集同一时间节点下的生鲜产品的图像信息和光源信息;
步骤3:将图像信息转化成RGB图像电信号,同时对光源信息转化为光谱图像电信号;
步骤4:图像处理器对RGB图像电信号以及光源图像电信号转化为RGB图像和生鲜产品的的光谱图像;
步骤5:对RGB图像进行优化调整,同时光谱图像的亮度,调用步骤1中数据库的信息进行健康度和成熟度比对和标识;
步骤6:将优化后的RGB图像以及标有健康度和成熟度的光谱图像进行融合,转化为模拟信号图像进行显示和存储。
进一步的,步骤S2中,对物体图像信息采集基于摄像头实现,对光源信息采集基于外置的Fabry-Perot腔模块实现。
进一步的,所述Fabry-Perot腔模块包括透明玻璃组件、高透镜和接收屏组成,所述透明玻璃组件、高透镜和接收屏依次间隔设置,所述透明玻璃组件由两块互相平行设置的透明玻璃片组成,两个所述透明玻璃片正对的表面上均镀有高反射膜。
进一步的,步骤S3中,将将图像信息转化成RGB图像电信号基于COMS传感器,将光源信息转化为光谱图像电信号基于MOMES传感器,其中采集的为光波的颜色和深度,MOMES传感器采集的是光的波长与光波的能量。
进一步的,步骤S5中对RGB图像进行优化调整时,采用图像处理器对RGB图像的白平衡和均衡化进行调整。
进一步的,步骤S6中,将RGB和带有健康度和成熟度标识的光谱图像进行融合时,采用图像处理器,以RGB图像显示为主,在RGB图像上显示对应位置的成熟度标识,在异常位置进行健康度标识,可通过点选相应部位进行部位进行健康度和成熟度显示。
一种基于摄像头识别生鲜产品质量的系统,包括数据库、采集模块、光电转换模块、图像处理模块和存储模块;
数据库用于收集并整合存储生鲜产品的健康度与成熟度光谱图;
采集模块包括图像采集摄像头和Fabry Perot腔,分别采集物体的图像信息和光源信息;
光电转换模块包括COMS传感器和MOMES传感器,分别对图像信息和光源信息进行光电转换,并对实现数字化呈像;
图像处理模块为图像处理器,能够优化图像信息和提亮光源信息,并对两种信息进行融合整合处理,同时对光谱图与数据库进行比对;
存储模块对经过处理后的采集信息进行存储和调用。
有益效果;
本发明提供给了一种基于摄像头识别生鲜产品质量的方法和系统,在进行生鲜产品好坏和成熟检测时,采集到其RGB图像信息和光谱信息,经过图像处理和比对,可以输出为以RGB图像信息为主的带有异常识别和成熟度识别的图像,便于进行判断,同时整个设备可以基于搭载有图像处理器的移动设备上,通过外置Fabry Perot腔模块与系统连接,可以实现体积小、便于携带的优点,做到随时随地进行检测,方便快捷。
附图说明:
图1为本发明所述一种基于摄像头识别生鲜产品质量的方法的流程图。
图2为本发明中识别生鲜产品质量的原理流程图。
图3为Fabry-Perot腔模块的工作原理图。
图4为本发明中基于摄像头识别生鲜产品质量的系统的框架图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
实施例1:
参照图1-3,一种基于摄像头识别生鲜产品质量的方法,包括以下步骤:
步骤1:建立成熟健康的生鲜产品光谱图像数据库,以健康度和成熟度作为标识;
步骤2:采集同一时间节点下的生鲜产品的图像信息和光源信息;
步骤3:将图像信息转化成RGB图像电信号,同时对光源信息转化为光谱图像电信号;
步骤4:图像处理器对RGB图像电信号以及光源图像电信号转化为RGB图像和生鲜产品的的光谱图像;
步骤5:对RGB图像进行优化调整,同时光谱图像的亮度,调用步骤1中数据库的信息进行健康度和成熟度比对和标识;
步骤6:将优化后的RGB图像以及标有健康度和成熟度的光谱图像进行融合,转化为模拟信号图像进行显示和存储。
优化的,步骤S2中,对物体图像信息采集基于摄像头实现,对光源信息采集基于外置的Fabry-Perot腔模块实现。
优化的,所述Fabry-Perot腔模块包括透明玻璃组件、高透镜和接收屏组成,所述透明玻璃组件、高透镜和接收屏依次间隔设置,所述透明玻璃组件由两块互相平行设置的透明玻璃片组成,两个所述透明玻璃片正对的表面上均镀有高反射膜。
具体的,光入射两块透明玻璃片之间,经过近光透明玻璃片发生折射,经过远光透明玻璃片发生反射和折射,折射的光射在高透镜上,再折射到接收屏上,而进入腔内的反射光,每一次反射到远光透明玻璃片时都会有光折射出来,折射出来的光都是平行的,反射光在透明玻璃组件内部发生多次反射,也折射出多束光源,这些光源经过透镜后再接收屏上形成等倾干涉条纹,这些条纹形成同心圆环,多光束多次干涉后得到物体的光谱信息。
优化的,步骤S3中,将将图像信息转化成RGB图像电信号基于COMS传感器,将光源信息转化为光谱图像电信号基于MOMES传感器,其中采集的为光波的颜色和深度,MOMES传感器采集的是光的波长与光波的能量。
具体的:在进行光电转化时,感光区的像素阵列感应到光信息,就开始进行刷新和曝光,行/列扫描寄存器激活像素的选址晶体管,读出信号并进行放大,tal wiring读出像素阵列的电信号并传递给模拟信号处理,进行去噪,最后进行模数转换,把模拟信号转换成数字信号传输给图像处理器。
优化的,步骤S5中对RGB图像进行优化调整时,采用图像处理器对RGB图像的白平衡和均衡化进行调整。
优化的,步骤S6中,将RGB和带有健康度和成熟度标识的光谱图像进行融合时,采用图像处理器,以RGB图像显示为主,在RGB图像上显示对应位置的成熟度标识,在异常位置进行健康度标识,可通过点选相应部位进行部位进行健康度和成熟度显示。
实施例2:
参照图4:一种基于摄像头识别生鲜产品质量的系统,包括数据库、采集模块、光电转换模块、图像处理模块和存储模块;
数据库用于收集并整合存储生鲜产品的健康度与成熟度光谱图;
采集模块包括图像采集摄像头和Fabry Perot腔,分别采集物体的图像信息和光源信息;
光电转换模块包括COMS传感器和MOMES传感器,分别对图像信息和光源信息进行光电转换,并对实现数字化呈像;
图像处理模块为图像处理器,能够优化图像信息和提亮光源信息,并对两种信息进行融合整合处理,同时对光谱图与数据库进行比对;
存储模块对经过处理后的采集信息进行存储和调用。
本发明提供给了一种基于摄像头识别生鲜产品质量的方法和系统,在进行生鲜产品好坏和成熟检测时,采集到其RGB图像信息和光谱信息,经过图像处理和比对,可以输出为以RGB图像信息为主的带有异常识别和成熟度识别的图像,便于进行判断,同时整个设备可以基于搭载有图像处理器的移动设备上,通过外置Fabry Perot腔模块与系统连接,可以实现体积小、便于携带的优点,做到随时随地进行检测,方便快捷。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以等同替换或改变,都应涵盖在本发明的保护范围之内。

Claims (7)

1.一种基于摄像头识别生鲜产品质量的方法,其特征在于,包括以下步骤:
步骤1:建立成熟健康的生鲜产品光谱图像数据库,以健康度和成熟度作为标识;
步骤2:采集同一时间节点下的生鲜产品的图像信息和光源信息;
步骤3:将图像信息转化成RGB图像电信号,同时对光源信息转化为光谱图像电信号;
步骤4:图像处理器对RGB图像电信号以及光源图像电信号转化为RGB图像和生鲜产品的的光谱图像;
步骤5:对RGB图像进行优化调整,同时光谱图像的亮度,调用步骤1中数据库的信息进行健康度和成熟度比对和标识;
步骤6:将优化后的RGB图像以及标有健康度和成熟度的光谱图像进行融合,转化为模拟信号图像进行显示和存储。
2.根据权利要求1所述的基于摄像头识别生鲜产品质量的方法,其特征在于,步骤S2中,对物体图像信息采集基于摄像头实现,对光源信息采集基于外置的Fabry-Perot腔模块实现。
3.根据权利要求2所述的基于摄像头识别生鲜产品质量的方法,其特征在于,所述Fabry-Perot腔模块包括透明玻璃组件、高透镜和接收屏组成,所述透明玻璃组件、高透镜和接收屏依次间隔设置,所述透明玻璃组件由两块互相平行设置的透明玻璃片组成,两个所述透明玻璃片正对的表面上均镀有高反射膜。
4.根据权利要求3所述的基于摄像头识别生鲜产品质量的方法,其特征在于,步骤S3中,将将图像信息转化成RGB图像电信号基于COMS传感器,将光源信息转化为光谱图像电信号基于MOMES传感器,其中采集的为光波的颜色和深度,MOMES传感器采集的是光的波长与光波的能量。
5.根据权利要求4所述的基于摄像头识别生鲜产品质量的方法,其特征在于,步骤S5中对RGB图像进行优化调整时,采用图像处理器对RGB图像的白平衡和均衡化进行调整。
6.根据权利要求5所述的基于摄像头识别生鲜产品质量的方法,其特征在于,步骤S6中,将RGB和带有健康度和成熟度标识的光谱图像进行融合时,采用图像处理器,以RGB图像显示为主,在RGB图像上显示对应位置的成熟度标识,在异常位置进行健康度标识,可通过点选相应部位进行部位进行健康度和成熟度显示。
7.一种基于摄像头识别生鲜产品质量的系统,其特征在于,包括数据库、采集模块、光电转换模块、图像处理模块和存储模块;
数据库用于收集并整合存储生鲜产品的健康度与成熟度光谱图;
采集模块包括图像采集摄像头和Fabry Perot腔,分别采集物体的图像信息和光源信息;
光电转换模块包括COMS传感器和MOMES传感器,分别对图像信息和光源信息进行光电转换,并对实现数字化呈像;
图像处理模块为图像处理器,能够优化图像信息和提亮光源信息,并对两种信息进行融合整合处理,同时对光谱图与数据库进行比对;
存储模块对经过处理后的采集信息进行存储和调用。
CN202010638706.6A 2020-07-06 2020-07-06 一种基于摄像头识别生鲜产品质量的方法和系统 Pending CN111751297A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010638706.6A CN111751297A (zh) 2020-07-06 2020-07-06 一种基于摄像头识别生鲜产品质量的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010638706.6A CN111751297A (zh) 2020-07-06 2020-07-06 一种基于摄像头识别生鲜产品质量的方法和系统

Publications (1)

Publication Number Publication Date
CN111751297A true CN111751297A (zh) 2020-10-09

Family

ID=72679311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010638706.6A Pending CN111751297A (zh) 2020-07-06 2020-07-06 一种基于摄像头识别生鲜产品质量的方法和系统

Country Status (1)

Country Link
CN (1) CN111751297A (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551341A (zh) * 2009-04-09 2009-10-07 浙江大学 基于图像与光谱信息融合的肉品在线无损检测方法与装置
CN102564964A (zh) * 2011-12-29 2012-07-11 南京林业大学 基于光谱图像的肉品品质可视化非接触检测方法
CN103439271A (zh) * 2013-08-29 2013-12-11 华南理工大学 一种猪肉成熟状况的可视化检测方法
CN106442339A (zh) * 2016-09-19 2017-02-22 北京农业质量标准与检测技术研究中心 熟肉冷藏时间可视化检测方法及装置
CN106657726A (zh) * 2016-10-21 2017-05-10 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN106769894A (zh) * 2016-12-09 2017-05-31 江苏大学 一种基于高光谱成像的腊肉腌制过程中盐分分布检测方法
CN108647675A (zh) * 2018-05-10 2018-10-12 众安信息技术服务有限公司 一种鸡蛋类型鉴别方法及装置
CN109668843A (zh) * 2019-01-07 2019-04-23 江苏大学 一种基于手机的便携式多光谱成像技术检测腊肉品质的方法
CN110095497A (zh) * 2019-06-13 2019-08-06 成都师范学院 一种测量线胀系数的实验装置及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101551341A (zh) * 2009-04-09 2009-10-07 浙江大学 基于图像与光谱信息融合的肉品在线无损检测方法与装置
CN102564964A (zh) * 2011-12-29 2012-07-11 南京林业大学 基于光谱图像的肉品品质可视化非接触检测方法
CN103439271A (zh) * 2013-08-29 2013-12-11 华南理工大学 一种猪肉成熟状况的可视化检测方法
CN106442339A (zh) * 2016-09-19 2017-02-22 北京农业质量标准与检测技术研究中心 熟肉冷藏时间可视化检测方法及装置
CN106657726A (zh) * 2016-10-21 2017-05-10 维沃移动通信有限公司 一种摄像头模组的图像处理方法和移动终端
CN106769894A (zh) * 2016-12-09 2017-05-31 江苏大学 一种基于高光谱成像的腊肉腌制过程中盐分分布检测方法
CN108647675A (zh) * 2018-05-10 2018-10-12 众安信息技术服务有限公司 一种鸡蛋类型鉴别方法及装置
CN109668843A (zh) * 2019-01-07 2019-04-23 江苏大学 一种基于手机的便携式多光谱成像技术检测腊肉品质的方法
CN110095497A (zh) * 2019-06-13 2019-08-06 成都师范学院 一种测量线胀系数的实验装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘木华: "农产品质量安全光学无损检测技术及应用", 华中科技大学出版社, pages: 15 *

Similar Documents

Publication Publication Date Title
US5606413A (en) Real time spectroscopic imaging system and method
CN101839979B (zh) 作物冠层植被指数测量方法及装置
CN111351578B (zh) 基于像素化双波段窄带滤光片阵列的温度测量系统及方法
RU2010125277A (ru) Устройство снятия изображения, устройство отображения и снятия изображения и электронное устройство
CN106679808B (zh) 基于压缩光谱的关联成像系统及其方法
CN102081039A (zh) 一种环境可控的作物营养水分高光谱图像检测装置
JP6182396B2 (ja) 撮像装置
CN105241826A (zh) 智能移动终端及其进行食品检测的方法
CN111024229B (zh) 单芯片集成型光谱成像微系统光谱数据校正方法
US20190297279A1 (en) Dual-aperture ranging system
CN101937505B (zh) 一种目标检测方法和设备及其使用的图像采集装置
CN114419311B (zh) 一种基于多源信息的百香果成熟度无损检测方法及装置
CN110570412B (zh) 一种零件误差视觉判断系统
CN112098415B (zh) 一种杨梅品质无损检测方法
CN111751297A (zh) 一种基于摄像头识别生鲜产品质量的方法和系统
CN110475036B (zh) 一种多谱段陶瓷光谱还原系统及方法
CN112326683A (zh) 一种利用光谱差分平场矫正检测镜头洁净度的方法
CN215865743U (zh) 基于线结构光的薄膜均匀性检测系统
CN110197178A (zh) 一种图谱特征融合深度网络的大米种类快速鉴别检测装置及其检测方法
CN114166752A (zh) 一种基于智能手机的苹果无损糖度检测仪及其检测方法
CN111780877A (zh) 一种基于摄像头测物体温度的方法和系统
CN215865742U (zh) 基于双路全投射光的薄膜均匀性检测系统
WO2023004904A1 (zh) 片上集成手机光谱仪及手机
Vunckx et al. Accurate video-rate multi-spectral imaging using imec snapshot sensors
CN109269777B (zh) 同时获取光响应图像和反射率图像的方法、装置、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination