CN112312038A - 用于智能驾驶的复合镜头和车辆 - Google Patents

用于智能驾驶的复合镜头和车辆 Download PDF

Info

Publication number
CN112312038A
CN112312038A CN201910672250.2A CN201910672250A CN112312038A CN 112312038 A CN112312038 A CN 112312038A CN 201910672250 A CN201910672250 A CN 201910672250A CN 112312038 A CN112312038 A CN 112312038A
Authority
CN
China
Prior art keywords
camera
wide
angle
image
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910672250.2A
Other languages
English (en)
Inventor
周晓萍
仇恒坦
田佳
李朝晖
邓亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Original Assignee
Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Xingyu Automotive Lighting Systems Co Ltd filed Critical Changzhou Xingyu Automotive Lighting Systems Co Ltd
Priority to CN201910672250.2A priority Critical patent/CN112312038A/zh
Publication of CN112312038A publication Critical patent/CN112312038A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Abstract

本发明提供了一种用于智能驾驶的复合镜头和车辆,其中,用于智能驾驶的复合镜头包括:摄像头支架;设置于摄像头支架上的至少一个广角摄像头;设置于摄像头支架上的至少一个长焦摄像头;对应每个广角摄像头和每个长焦摄像头设置的摄像头模组,摄像头模组用于控制对应的广角摄像头采集镜头前方的广角图像,或控制对应的长焦摄像头采集镜头前方的长焦图像;图像处理模组,图像处理模组用于对广角摄像头所采集到的广角图像和长焦摄像头所采集到的长焦图像分别进行特征提取以分别得到对应的特征信息,并将长焦图像的特征信息与广角图像的特征信息进行匹配,以得到镜头前方的场景信息。本发明能够提高智能驾驶的安全性。

Description

用于智能驾驶的复合镜头和车辆
技术领域
本发明涉及图像识别技术领域,具体涉及一种用于智能驾驶的复合镜头和一种车辆。
背景技术
随着图像识别技术的快速发展,基于图像识别技术的智能应用也得到了迅速发展。基于图像识别技术的智能应用被广泛应用于智能驾驶、视频监控等领域,具体可用于道路标识标线、人或者其他障碍物的识别。
目前,单目视觉或者基于深度信息的双目视觉识别应用较多,应用范围较为广泛,但均存在识别范围小、识别深度小等问题,例如针对行进中车辆识别道路标识的情况,对远处标识不能很好识别,且在标识由远及近时,图像变化较快,其严重的拖影将会影响识别结果。在视频监控应用中,由于一般设备是定焦的,对于图像边缘区域不能很好地监控,也会存在识别效果不佳的问题。
发明内容
本发明旨在至少在一定程度上解决上述技术中的技术问题之一。为此,本发明提出了一种用于智能驾驶的复合镜头,通过广角摄像头与长焦摄像头的组合应用,能够改善智能驾驶场景下图像的识别范围、识别深度和识别效果,另外,可通过对广角摄像头与长焦摄像头的灵活排布,能够提高适用范围,从而能够提高智能驾驶的安全性。
本发明的第二个目的在于提出一种车辆。
为达到上述目的,本发明第一方面实施例提出了一种用于智能驾驶的复合镜头,包括:摄像头支架;设置于所述摄像头支架上的至少一个广角摄像头;设置于所述摄像头支架上的至少一个长焦摄像头;对应每个广角摄像头和每个长焦摄像头设置的摄像头模组,所述摄像头模组用于控制对应的广角摄像头采集镜头前方的广角图像,或控制对应的长焦摄像头采集镜头前方的长焦图像;图像处理模组,所述图像处理模组用于对所述广角摄像头所采集到的广角图像和所述长焦摄像头所采集到的长焦图像分别进行特征提取以分别得到对应的特征信息,并将所述长焦图像的特征信息与所述广角图像的特征信息进行匹配,以得到镜头前方的场景信息。
根据本发明实施例的用于智能驾驶的复合镜头,通过在摄像头支架上设置至少一个广角摄像头与至少一个长焦摄像头,并对应每个广角摄像头和每个长焦摄像头设置摄像头模组,通过摄像头模组控制对应的广角摄像头采集镜头前方的广角图像,控制对应的长焦摄像头采集镜头前方的长焦图像,然后通过图像处理模组对上述广角图像和长焦图像分别进行特征提取以分别得到对应的特征信息,并将上述长焦图像的特征信息与上述广角图像的特征信息进行匹配,以得到镜头前方的场景信息,由此,通过广角摄像头与长焦摄像头的组合应用,能够改善智能驾驶场景下图像的识别范围、识别深度和识别效果,另外,可通过对广角摄像头与长焦摄像头的灵活排布,能够提高适用范围,从而能够提高智能驾驶的安全性。
另外,根据本发明上述实施例提出的用于智能驾驶的复合镜头还可以具有如下附加的技术特征:
根据本发明的一个实施例,当所述广角摄像头为多个时,所述图像处理模组对多个广角摄像头采集到的多个广角图像进行拼接,并对拼接后得到的新的广角图像和每个长焦图像进行特征提取。
根据本发明的一个实施例,所述图像处理模组采用深度学习算法,将每个长焦图像的特征信息分别与广角图像的特征信息进行匹配,以得到镜头前方的标识标线、车辆、行人信息。
根据本发明的一个实施例,所述的用于智能驾驶的复合镜头,包括直线排布于所述摄像头支架上的1个广角摄像头和4个长焦摄像头。
进一步地,其中,2个长焦摄像头位于所述1个广角摄像头左边,另2个长焦摄像头位于所述1个广角摄像头右边。
根据本发明的一个实施例,所述的用于智能驾驶的复合镜头,包括直线排布于所述摄像头支架上的2个广角摄像头和3个长焦摄像头。
进一步地,其中,1个长焦摄像头位于所述2个广角摄像头左边,另2个长焦摄像头位于所述2个广角摄像头右边。
为实现上述目的,本发明第二方面实施例提出了一种车辆,包括第一方面实施例提出的用于智能驾驶的复合镜头。
根据本发明提出的车辆,通过采用上述实施例提出的用于智能驾驶的复合镜头,能够改善智能驾驶场景下图像的识别范围、识别深度和识别效果,从而提高智能驾驶的安全性。
附图说明
图1为本发明实施例的用于智能驾驶的复合镜头的方框示意图;
图2为本发明一个实施例的广角摄像头与长焦摄像头在摄像头支架上的排布方式的示意图;
图3为本发明另一个实施例的广角摄像头与长焦摄像头在摄像头支架上的排布方式的示意图;
图4为本发明一个实施例的广角摄像头与长焦摄像头的视野范围示意图;
图5为本发明另一个实施例的用于智能驾驶的复合镜头的广角摄像头与长焦摄像头的视野范围示意图;
图6为本发明一个具体实施例的用于智能驾驶的复合镜头的算法流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例的用于智能驾驶的复合镜头的方框示意图。
如图1所示,本发明实施例的用于智能驾驶的复合镜头包括:摄像头支架10;设置于摄像头支架10上的至少一个广角摄像头20;设置于摄像头支架上10的至少一个长焦摄像头30;对应每个广角摄像头和每个长焦摄像头设置的摄像头模组40,摄像头模组40用于控制对应的广角摄像头采集镜头前方的广角图像,或控制对应的长焦摄像头采集镜头前方的长焦图像;图像处理模组50,图像处理模组50用于对广角摄像头20所采集到的广角图像和长焦摄像头30所采集到的长焦图像分别进行特征提取以分别得到对应的特征信息,并将长焦图像的特征信息与广角图像的特征信息进行匹配,以得到镜头前方的场景信息。
其中,广角摄像头20与长焦摄像头30可直线排布于摄像头支架10上,也可非直线排布于摄像头支架10上,可与摄像头支架10、摄像头模组40和图像处理模组50通过集成化设计组成本发明实施例的用于智能驾驶的复合镜头,也可与摄像头支架10、摄像头模组40和图像处理模组50通过分离式设计组成本发明实施例的用于智能驾驶的复合镜头。通过将广角摄像头与长焦摄像头精确固定在摄像头支架上,保证装配精度,能够提高图像处理的准确性。
其中,广角摄像头20可采集镜头近前方大范围内的标识标线、车辆、行人信息,在此基础上初步判断其位置信息,长焦摄像头30可捕捉镜头远前方特定范围内的标识标线、车辆、行人信息,在此基础上判断其位置信息。通过广角摄像头能够采集到更多的近处图像信息,通过广角摄像头能够采集到更为清晰的远处图像信息,且采集到的远处图像信息畸变较小。
下面将以广角摄像头与长焦摄像头直线排布于摄像头支架上的具体排布方式为例,对本发明实施例的用于智能驾驶的复合镜头作进一步阐述。
在本发明的一个实施例中,如图2所示,用于智能驾驶的复合镜头可包括直线排布于摄像头支架10上的1个广角摄像头20和4个长焦摄像头30。其中,2个长焦摄像头30位于1个广角摄像头20左边,另2个长焦摄像头30位于1个广角摄像头20右边。
在本发明的另一个实施例中,如图3所示,用于智能驾驶的复合镜头可包括直线排布于摄像头支架上的2个广角摄像头20和3个长焦摄像头30。其中,1个长焦摄像头30位于2个广角摄像头20左边,另2个长焦摄像头30位于2个广角摄像头20右边。
对应上述图2和图3所示的广角摄像头与长焦摄像头在摄像头支架上的排布方式,广角摄像头与长焦摄像头可具有不同的视野范围。
具体地,对应上述图2所示的排布方式,广角摄像头与长焦摄像头可具有图4所示的视野范围。如图4所示,线框a为广角摄像头的视野范围,线框b、c、d、e为长焦摄像头的视野范围,且广角摄像头的视野范围a较大,长焦摄像头的视野范围b、c、d、e较小,同时不同长焦摄像头的视野范围可能出现部分重叠,例如长焦摄像头的视野范围b与长焦摄像头的视野范围d和长焦摄像头的视野范围e出现部分重叠。其中,长焦摄像头的视野范围b、c、d、e为同一场景下的视野范围。
对应上述图3所示的排布方式,广角摄像头与长焦摄像头可具有图5所示的视野范围。如图5所示,线框f、g为广角摄像头的视野范围,线框h、i、j为长焦摄像头的视野范围,且广角摄像头的视野范围f、g较大,长焦摄像头的视野范围h、i、j较小,同时不同广角摄像头的视野范围可能出现部分重叠,例如广角摄像头的视野范围f与广角摄像头的视野范围g出现部分重叠,不同长焦摄像头的视野范围h、i、j出现部分重叠,例如长焦摄像头的视野范围h与长焦摄像头的视野范围i出现部分重叠。其中,长焦摄像头的视野范围h、i、j为同一场景下的视野范围。
综上所述,可看出相较于图2所示的排布方式,对应图3所示的排布方式的广角摄像头与长焦摄像头具有更广阔的视野范围,可适用于要求监控更大范围的场景。
需要说明的是,上述视野范围是表示广角摄像头与长焦摄像头能够采集到信息的空间范围,并不是表示图像的大小。
在本发明的一个实施例中,摄像头模组40可处理对应的广角摄像头20或长焦摄像头30的成像与编码任务。
在本发明的一个实施例中,当广角摄像头20为多个时,图像处理模组50可对多个广角摄像头20采集到的多个广角图像进行拼接,并对拼接后得到的新的广角图像和每个长焦图像进行特征提取。
在本发明的一个实施例中,图像处理模组50可采用深度学习算法,将每个长焦图像的特征信息分别与广角图像的特征信息进行匹配,以得到镜头前方的标识标线、车辆、行人信息。
在本发明的一个具体实施例中,如图6所示,当广角摄像头为两个,即为广角摄像头01和广角摄像头02时,可通过广角摄像头01采集到广角图像q,并将广角图像q输入到图像处理模组50的数据输入层,通过广角摄像头02采集到广角图像w,并将广角图像w输入到图像处理模组50的数据输入层,可通过图像处理模组50在数据处理层将上述广角图像q、w进行图像拼接,形成一个拼接后的广角图像r,并对拼接后的广角图像r和通过长焦摄像头02、03、04采集到的长焦图像t、y、p进行特征提取以得到特征信息,例如采用SIFT算法,通过梯度直方图和归一化提取上述图像的特征信息,然后采用深度学习算法,将通过上述方法提取到的长焦图像t、y、p的特征信息分别与广角图像r的特征信息进行匹配,从而可得到信息k、n、m,并通过数据输出层输出信息k、n、m。
需要说明的是,上述实施例中对应每个广角摄像头20设置的摄像头模组40与对应每个长焦摄像头30设置的摄像头模组40可以是同一型号的摄像头模组,也可以是不同型号的摄像头模组。
根据本发明实施例提出的用于智能驾驶的复合镜头,通过在摄像头支架上设置至少一个广角摄像头与至少一个长焦摄像头,并对应每个广角摄像头和每个长焦摄像头设置摄像头模组,通过摄像头模组控制对应的广角摄像头采集镜头前方的广角图像,控制对应的长焦摄像头采集镜头前方的长焦图像,然后通过图像处理模组对上述广角图像和长焦图像分别进行特征提取以分别得到对应的特征信息,并将上述长焦图像的特征信息与上述广角图像的特征信息进行匹配,以得到镜头前方的场景信息,由此,通过广角摄像头与长焦摄像头的组合应用,能够改善智能驾驶场景下图像的识别范围、识别深度和识别效果,另外,可通过对广角摄像头与长焦摄像头的灵活排布,能够提高适用范围,从而能够提高智能驾驶的安全性。
对应上述实施例,本发明还提出了一种车辆。
本发明实施例提出的车辆,包括上述实施例提出的用于智能驾驶的复合镜头,其具体实施方式可参照上述实施例。
根据本发明实施例提出的车辆,通过采用上述实施例提出的用于智能驾驶的复合镜头,能够改善智能驾驶场景下图像的识别范围、识别深度和识别效果,从而提高智能驾驶的安全性。
在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“固定”、“连接”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种用于智能驾驶的复合镜头,其特征在于,包括:
摄像头支架;
设置于所述摄像头支架上的至少一个广角摄像头;
设置于所述摄像头支架上的至少一个长焦摄像头;
对应每个广角摄像头和每个长焦摄像头设置的摄像头模组,所述摄像头模组用于控制对应的广角摄像头采集镜头前方的广角图像,或控制对应的长焦摄像头采集镜头前方的长焦图像;
图像处理模组,所述图像处理模组用于对所述广角摄像头所采集到的广角图像和所述长焦摄像头所采集到的长焦图像分别进行特征提取以分别得到对应的特征信息,并将所述长焦图像的特征信息与所述广角图像的特征信息进行匹配,以得到镜头前方的场景信息。
2.根据权利要求1所述的用于智能驾驶的复合镜头,其特征在于,当所述广角摄像头为多个时,所述图像处理模组对多个广角摄像头采集到的多个广角图像进行拼接,并对拼接后得到的新的广角图像和每个长焦图像进行特征提取。
3.根据权利要求2所述的用于智能驾驶的复合镜头,其特征在于,所述图像处理模组采用深度学习算法,将每个长焦图像的特征信息分别与广角图像的特征信息进行匹配,以得到镜头前方的标识标线、车辆、行人信息。
4.根据权利要求1所述的用于智能驾驶的复合镜头,其特征在于,包括直线排布于所述摄像头支架上的1个广角摄像头和4个长焦摄像头。
5.根据权利要求4所述的用于智能驾驶的复合镜头,其特征在于,其中,2个长焦摄像头位于所述1个广角摄像头左边,另2个长焦摄像头位于所述1个广角摄像头右边。
6.根据权利要求1所述的用于智能驾驶的复合镜头,其特征在于,包括直线排布于所述摄像头支架上的2个广角摄像头和3个长焦摄像头。
7.根据权利要求6所述的用于智能驾驶的复合镜头,其特征在于,其中,1个长焦摄像头位于所述2个广角摄像头左边,另2个长焦摄像头位于所述2个广角摄像头右边。
8.一种车辆,其特征在于,根据权利要求1-7中任一项所述的用于智能驾驶的复合镜头。
CN201910672250.2A 2019-07-24 2019-07-24 用于智能驾驶的复合镜头和车辆 Pending CN112312038A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910672250.2A CN112312038A (zh) 2019-07-24 2019-07-24 用于智能驾驶的复合镜头和车辆

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910672250.2A CN112312038A (zh) 2019-07-24 2019-07-24 用于智能驾驶的复合镜头和车辆

Publications (1)

Publication Number Publication Date
CN112312038A true CN112312038A (zh) 2021-02-02

Family

ID=74328797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910672250.2A Pending CN112312038A (zh) 2019-07-24 2019-07-24 用于智能驾驶的复合镜头和车辆

Country Status (1)

Country Link
CN (1) CN112312038A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509309A (zh) * 2011-11-04 2012-06-20 大连海事大学 一种基于图像匹配的目标点定位系统
CN106791419A (zh) * 2016-12-30 2017-05-31 大连海事大学 一种融合全景与细节的监控装置及方法
WO2018014917A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
CN108216229A (zh) * 2017-09-08 2018-06-29 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
CN109949205A (zh) * 2019-01-30 2019-06-28 广东工业大学 一种模拟人眼的自动驾驶图像感知系统与方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102509309A (zh) * 2011-11-04 2012-06-20 大连海事大学 一种基于图像匹配的目标点定位系统
WO2018014917A1 (de) * 2016-07-22 2018-01-25 Conti Temic Microelectronic Gmbh Kameravorrichtung zur aufnahme eines umgebungsbereichs eines eigenen fahrzeugs sowie verfahren zur bereitstellung einer fahrerassistenzfunktion
CN106791419A (zh) * 2016-12-30 2017-05-31 大连海事大学 一种融合全景与细节的监控装置及方法
CN108216229A (zh) * 2017-09-08 2018-06-29 北京市商汤科技开发有限公司 交通工具、道路线检测和驾驶控制方法及装置
CN109949205A (zh) * 2019-01-30 2019-06-28 广东工业大学 一种模拟人眼的自动驾驶图像感知系统与方法

Similar Documents

Publication Publication Date Title
KR102043866B1 (ko) 홍채 이미지 형성 장치 및 홍채 이미지 형성 장치의 구성 방법
US20150145950A1 (en) Multi field-of-view multi sensor electro-optical fusion-zoom camera
EP3564900B1 (en) Method, device and system for a degree of blurring to be applied to image data in a privacy area of an image
JP6702796B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CN113196007B (zh) 一种应用于车辆的相机系统
WO2016065541A1 (en) Rgb-d imaging system and method using ultrasonic depth sensing
JP2017134830A (ja) 顔認識システム及び顔認識方法
CN107111764B (zh) 由对象在成像装置的视野中的深度触发的事件
CN109087395B (zh) 一种三维重建的方法及系统
CN109636763B (zh) 一种智能复眼监控系统
CN110099268B (zh) 色彩自然匹配与显示区自然融合的盲区透视化显示方法
CN109360150A (zh) 一种基于深度相机的全景深度图的拼接方法及装置
EP3667413A1 (en) Stereo image processing device
CN111784885A (zh) 通行控制方法、装置、闸机设备及多闸机系统
CN108259764A (zh) 摄像机、应用于摄像机的图像处理方法及装置
CN103888663A (zh) 图像处理设备、图像拾取设备和图像处理方法
CN113111715A (zh) 一种无人机目标跟踪与信息采集系统及方法
WO2020184286A1 (en) Imaging device, image capturing optical system, and movable apparatus
US20210150745A1 (en) Image processing method, device, electronic apparatus, and computer readable storage medium
KR20150002995A (ko) Fov왜곡 보정 모델에 2d패턴을 적용한 왜곡중심 보정 방법
JP2000356739A (ja) 魚眼レンズ系
CN112312038A (zh) 用于智能驾驶的复合镜头和车辆
US8179471B2 (en) Focusing device and image pickup apparatus
CN208675366U (zh) 双色摄像头
CN111258166B (zh) 摄像模组及其潜望式摄像模组和图像获取方法及工作方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210202