CN105530419B - 图像采集系统、图像采集处理系统和图像采集处理方法 - Google Patents

图像采集系统、图像采集处理系统和图像采集处理方法 Download PDF

Info

Publication number
CN105530419B
CN105530419B CN201610082147.9A CN201610082147A CN105530419B CN 105530419 B CN105530419 B CN 105530419B CN 201610082147 A CN201610082147 A CN 201610082147A CN 105530419 B CN105530419 B CN 105530419B
Authority
CN
China
Prior art keywords
image
sub
polarization
camera
target scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610082147.9A
Other languages
English (en)
Other versions
CN105530419A (zh
Inventor
李新国
王漪
张兴
武延兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
BOE Technology Group Co Ltd
Original Assignee
Peking University
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University, BOE Technology Group Co Ltd filed Critical Peking University
Priority to CN201610082147.9A priority Critical patent/CN105530419B/zh
Publication of CN105530419A publication Critical patent/CN105530419A/zh
Priority to US15/511,813 priority patent/US10244154B2/en
Priority to PCT/CN2016/082721 priority patent/WO2017133138A1/zh
Priority to EP16843250.8A priority patent/EP3416365A4/en
Application granted granted Critical
Publication of CN105530419B publication Critical patent/CN105530419B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/0136—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  for the control of polarisation, e.g. state of polarisation [SOP] control, polarisation scrambling, TE-TM mode conversion or separation
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/133528—Polarisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Abstract

本发明实施例提供一种图像采集系统、图像采集处理系统以及图像采集处理方法，该图像采集系统包括摄像装置和偏振装置，该摄像装置用于获取目标场景的第一图像和第二图像，该偏振装置在该摄像装置获取第二图像时设置于该摄像装置的对应第二图像的入射光路中，使进入该摄像装置的用于形成第一图像的第一入射光和用于形成第二图像的第二入射光的偏振状态不同。本发明实施例可以降低图像处理的信息量、提升图像处理的精确度。

Description

图像采集系统、图像采集处理系统和图像采集处理方法
技术领域
本发明实施例涉及一种图像采集系统、图像采集处理系统以及图像采集处理方法。
背景技术
当车辆在雨天的情况下行驶时，尤其是在大雨倾盆的情况下行驶时，可能出现大量的雨水留在前挡风玻璃上的情形，这会对司机的视线造成严重影响。通过在汽车中设置图像采集处理系统，可以获取较为清晰的图像。例如，可以在车前设置摄像装置，在该摄像装置获取图像后，利用图像处理装置对该图像进行处理，之后通过设置在车内的显示装置显示较为清晰的图像。
发明内容
本发明实施例提供一种图像采集系统、图像采集处理系统以及图像采集处理方法，以降低图像处理的信息量、提升图像处理的精确度。
本发明的至少一个实施例提供一种图像采集系统，其包括：摄像装置，配置为获取目标场景的第一图像和第二图像；以及偏振装置，在所述摄像装置获取所述第二图像时与所述摄像装置的对应所述第二图像的入射光路重叠，并且配置为使进入所述摄像装置的用于形成所述第一图像的第一入射光与用于形成所述第二图像的第二入射光的偏振状态不同。
例如，所述摄像装置包括第一子摄像装置和第二子摄像装置，所述第一子摄像装置配置为获取所述目标场景的所述第一图像，所述第二子摄像装置配置为获取所述目标场景的所述第二图像；所述偏振装置在所述第二子摄像装置获取所述第二图像时与所述第二子摄像装置的入射光路重叠。
例如，所述摄像装置包括分光装置，所述分光装置配置为将来自所述目标场景且入射至所述分光装置的光分为用于所述第一子摄像装置的第一光路和用于所述第二子摄像装置的第二光路，所述偏振装置在所述第二子摄像装置获取所述第二图像时设置在所述第二光路中。
例如，所述的图像采集系统还包括承载基板，所述承载基板具有承载面，所述第一子摄像装置和所述第二子摄像装置沿垂直于所述承载面的方向依次设置。
例如，所述图像采集系统还包括承载基板，所述承载基板具有承载所述摄像装置的承载面，所述偏振装置的偏振化方向垂直于所述承载面。
例如，所述图像采集系统还包括另一偏振装置，其配置为在所述摄像装置获取所述第一图像时位于所述摄像装置的对应所述第一图像的入射光路中，所述另一偏振装置的偏振化方向与所述偏振装置的偏振化方向不同。
例如，所述另一偏振装置的所述偏振化方向与所述偏振装置的所述偏振化方向垂直。
例如，所述另一偏振装置与所述偏振装置的透过率相同。
例如，所述图像采集系统还包括：偏振切换装置，配置为可将所述偏振装置移动到所述摄像装置在获取所述第二图像时的所述入射光路之中或将所述偏振装置从所述入射光路中移出。
例如，所述图像采集系统还包括：旋转装置，其配置为可旋转所述偏振装置以改变所述偏振装置的偏振化方向。
本发明的至少一个实施例还提供一种图像采集处理系统，其包括：以上任一项所述的图像采集系统；以及图像处理装置，配置为根据所述第一图像和所述第二图像生成目标图像。
本发明的至少一个实施例还提供一种图像采集处理方法，其包括：利用摄像装置获取目标场景的第一图像；利用偏振装置和所述摄像装置获取所述目标场景的第二图像，在该步骤中，所述偏振装置在所述摄像装置获取所述第二图像时与所述摄像装置的对应所述第二图像的入射光路重叠并且使进入所述摄像装置的用于形成所述第一图像的第一入射光与用于形成所述第二图像的第二入射光的偏振状态不同；以及根据所述第一图像和所述第二图像生成目标图像。
例如，确定表示所述目标场景的同一物点的所述第一图像中的第一像素点与所述第二图像中的第二像素点；将所述第一像素点与所述第二像素点的图像信息进行比较，在该步骤中，当比较结果为所述第一像素点与所述第二像素点的图像信息之间的差别小于或等于第一阈值、或者大于第二阈值时，利用所述第二图像的所述第二像素点生成所述目标图像。
例如，所述摄像装置包括第一子摄像装置和第二子摄像装置。所述方法包括：利用所述第一子摄像装置获取所述目标场景的所述第一图像；以及利用所述第二子摄像装置获取所述目标场景的所述第二图像，在该步骤中，在所述第二子摄像装置获取所述第二图像时，所述偏振装置与所述第二子摄像装置的入射光路重叠。
例如，所述第一子摄像装置和所述第二子摄像装置在同一时刻对所述目标场景进行拍摄以获取所述第一图像和所述第二图像。
例如，所述图像采集处理方法还包括：对所述第一图像和所述第二图像中的至少一个进行处理以使所述第一图像和所述第二图像之间不存在视差。
例如，所述图像采集处理方法还包括：利用另一偏振装置和所述第一子摄像装置对所述目标场景进行拍摄以获取所述第一图像。在该方法中，在所述第一子摄像装置获取所述第一图像时，所述另一偏振装置与所述第一子摄像装置的入射光路重叠，并且所述另一装置的偏振化方向与所述偏振装置的偏振化方向不同。
例如，利用所述摄像装置在第一时刻对所述目标场景进行拍摄以获取所述第一图像；利用所述摄像装置和所述偏振装置在第二时刻对所述目标场景进行拍摄以获取所述第二图像。
例如，所述图像采集处理方法还包括：根据所述偏振装置的透过率和所述第二图像的初始亮度对所述第二图像的亮度进行调整。
一方面，本发明实施例通过在图像采集系统中设置偏振装置，可以去除被雨水反射的光线中的至少部分偏振光，从而减小雨水对来自目标场景且入射至摄像装置的光线的影响；另一方面，本发明实施例通过利用图像采集系统获取的第一图像和第二图像生成目标图像，可以减少图像的信息处理量和处理时间并提升图像处理的精确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本发明的一些实施例，而非对本发明的限制。
图1为本发明实施例一提供的一种图像采集系统的俯视示意图；
图2为本发明实施例一提供的一种包括分光装置的图像采集系统的俯视示意图；
图3为本发明实施例一提供的一种包括承载基板的图像采集系统的侧视示意图；
图4为本发明实施例一提供的一种包括另一偏振装置的图像采集系统的俯视示意图；
图5a为本发明实施例一提供的图像采集系统中的偏振切换装置的结构示意图；
图5b为本发明实施例一提供的图像采集系统中的偏振切换装置的结构示意图；
图6为本发明实施例一提供的图像采集系统包括旋转装置的俯视示意图；
图7a本发明实施例二提供的图像采集系统在获取第二图像时的俯视示意图；
图7b为本发明实施例二提供的图像采集系统在获取第一图像时的俯视示意图；
图8为本发明实施例三提供的图像采集处理系统的结构框图；
图9为本发明实施例四提供的图像采集处理方法的流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“一个”、“一”或者“该”等类似词语也不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
在研究中，本申请的发明人注意到，对于目前常用的图像采集处理系统来说，雨水可以反射至少部分来自目标场景中的光线，导致来自目标场景且入射至图像采集处理系统中用于形成图像的光线包括被雨水反射的光线，这会造成图像采集处理系统获取的图像的信息不足且精确度不够高，而且目前常用的图像采集处理系统通常需要对采集到的初始图像中的全部像素进行分析和处理以生成目标图像，导致图像信息处理量较大且处理时间也较长。
本发明实施例提供一种图像采集系统、图像采集处理系统以及图像采集处理方法，该图像采集系统包括摄像装置和偏振装置，该摄像装置用于获取目标场景的第一图像和第二图像，该偏振装置在该摄像装置获取第二图像时设置于该摄像装置的对应第二图像的入射光路中，从而可以使进入该摄像装置的用于形成第一图像的第一入射光和用于形成第二图像的第二入射光的偏振状态不同。
一方面，本发明实施例通过在图像采集系统中设置偏振装置，可以去除被雨水反射的光线中的至少部分偏振光，从而减小雨水对来自目标场景且入射至摄像装置的光线的影响；另一方面，本发明实施例通过利用图像采集系统获取的第一图像和第二图像生成目标图像，可以减少图像的信息处理量和处理时间并提升图像处理的精确度。
实施例一
本实施例提供一种图像采集系统，其利用两个摄像装置在同一时刻或不同时刻分别获取第一图像和第二图像。
如图1所示，本实施例提供一种图像采集系统100，其包括摄像装置130和偏振装置152。
摄像装置130配置为获取目标场景的第一图像和第二图像并且包括第一子摄像装置131和第二子摄像装置132，第一子摄像装置131配置为获取目标场景的第一图像，第二子摄像装置132配置为获取目标场景的第二图像。
偏振装置152在摄像装置130获取第二图像时与摄像装置130的对应第二图像的入射光路重叠，即偏振装置152在第二子摄像装置132获取第二图像时与第二子摄像装置132的入射光路重叠，以去除来自目标场景且入射至偏振装置152的光线140中的一部分偏振光，此时进入第一子摄像装置131以形成第一图像的第一入射光110为非偏振光。因此，偏振装置152可使进入摄像装置130的用于形成第一图像的第一入射光110与用于形成第二图像的第二入射光120的偏振状态不同。
摄像装置152可以采用CCD(charge-coupled device)、CMOS(complementarymetal oxide semiconductor)等成像传感器。
例如，偏振装置可以采用金属线栅偏光片等吸收型偏光片、玻片堆(多个玻璃片的叠层结构)等多膜层偏光片或者尼科尔棱镜等棱镜偏光元件。
例如，如图2所示，摄像装置130还可以包括分光装置133，分光装置133配置为将来自目标场景且入射至分光装置133的光140，分为用于第一子摄像装置131的第一光路141和用于第二子摄像装置132的第二光路142，偏振装置152在第二子摄像装置132获取第二图像时设置在第二光路142中。该示例通过采用分光装置133，有利于使第一光路141和第二光路142包括的关于目标场景的信息相同，从而有利于使获取的第一图像和第二图像只与第一子摄像装置131的第一入射光110和第二子摄像装置132的第二入射光120的偏振状态有关，以提高目标图像的精确度。
在本发明的实施例中，例如，分光装置可以采用分束镜(Beam Splitter)、半透半反镜等分光装置。
继续参见图2，例如，图像采集系统100还可以包括承载基板160，承载基板160具有承载摄像装置130的承载面161，偏振装置152的偏振化方向可以大致垂直于承载面161。由于在汽车行驶的过程中，水平方向的信息对于司机来说更重要，因此，通过将偏振装置152的偏振化方向设置为大致垂直于承载基板160的承载面161(该承载面161在汽车行驶过程中可大致沿水平方向)，有利于使第二入射光120不包括雨水反射光中的水平方向偏振光，从而使第二入射光120形成的第二图像包括更准确的目标场景的水平方向信息。例如，如图3所示，偏振装置152垂直于承载面161设置，并且其偏振化方向(如图3中的箭头所示)垂直于承载面161。
例如，承载基板160可以为塑料基板、玻璃基板、木质基板等任意具有承载能力的基板。
例如，如图3所示，在图像采集系统100中，在大致垂直于承载面161的方向上，第一子摄像装置131和第二子摄像装置132可以依次设置。这样有利于减小第一子摄像装置131获取的第一图像和第二子摄像装置132获取的第二图像之间的水平视差，以提供更准确的水平方向信息。
例如，承载基板160上可以设置有包括竖直部162和水平部163的支架，竖直部162用于支撑水平部163，水平部163可以用于承载距离承载面161较远的子摄像装置(例如图3中的第一子摄像装置131所示)。
第一摄像装置131可以设置于第二摄像装置132的远离承载基板160的一侧，如图3所示；或者，第一摄像装置131也可以设置于第二摄像装置的靠近承载基板160的一侧。
例如，如图4所示，图像采集系统100还可以包括另一偏振装置151，该另一偏振装置151在第一子摄像装置131获取第一图像时与第一子摄像装置131的入射光路重叠，并且该另一偏振装置151的偏振化方向与偏振装置152的偏振化方向不同。该另一偏振装置151可以降低雨水对第一图像的影响；通过使这两个偏振装置的偏振化方向不同，有利于使第一图像和第二图像包括不同的目标场景信息，从而有利于提高目标图像的精确度。
例如，上述另一偏振装置151的偏振化方向与偏振装置152的偏振化方向可以垂直。这样有利于更大限度地降低雨水对目标图像的精确度的影响。
例如，上述另一偏振装置151与偏振装置152的透过率可以相同。这样，在利用第一图像和第二图像生成目标图像的过程中可以省去调整第一图像和第二图像的亮度的步骤。
例如，如图5a和图5b所示，本实施例的至少一个示例提供的图像采集系统还可以包括偏振切换装置170，其配置为将偏振装置152移动到摄像装置(图5a和图5b中未示出)在获取第二图像时的入射光路之中或将偏振装置152从该入射光路中移出。如图5a所示的示例采用的是平移方式来实现切换，如图5b所示的示例采用的是旋转方式来实现切换。
例如，如图5a所示，偏振切换装置170包括滑轨171和可在滑轨171上滑动的滑块172；偏振装置152设置于滑块172上，从而通过控制滑块172的运动可以将偏振装置152移入或移出第二子摄像装置的入射光路。
例如，如图5b所示，偏振切换装置170包括转动部173和用于连接偏振装置152和转动部的连接部174；转动部173通过其自身的旋转带动连接部174旋转，连接部174可以带动偏振装置152做旋转运动，以将偏振装置152移出第二子摄像装置的入射光路。
图5a和图5b仅用于举例说明，本发明实施例包括但不限于此。
例如，通过设置偏振切换装置170，可以实现在非雨天中不使用偏振装置但在雨天中使用偏振装置以提高目标图像的准确性。
例如，对于图1-4中任一个所示的示例，在第二子摄像装置132获取第二图像的过程中，可以通过如图5a或图5b所示的偏振切换装置170将偏振装置152移入第二子摄像装置132的入射光路中。在获取到第二图像之后，可以将偏振装置152移出第二子摄像装置132的入射光路。
例如，如图6所示，本实施例的至少一个示例提供的图像采集系统100还可以包括旋转装置180，其配置为可旋转偏振装置152以改变偏振装置152的偏振化方向。通过设置旋转装置180，可以根据实际需要对偏振装置152的偏振化方向进行调整，以使偏振装置152具有需要的吸收雨水的反射光的能力。
在图6所示的示例中，旋转装置180可绕其中心旋转，例如可通过传动件等设备实现旋转装置180可沿逆时针(如图6所示)或顺时针的方向旋转，从而使旋转装置180可带动偏振装置152旋转，以改变偏振装置152的偏振化方向。本发明实施例包括但不限于此。
例如，第一子摄像装置和第二子摄像装置可以具有相同的规格，以减小第一子摄像装置和第二子摄像装置之间的差异性，从而提高根据第一图像和第二图像生成的目标图像的准确性。
实施例二
本实施例提供的图像采集系统利用同一个摄像装置在不同时刻获取第一图像和第二图像。本实施例可以避免第一图像和第二图像之间产生视差。
如图7a所示，本实施例提供一种图像采集系统100，其包括摄像装置130和偏振装置152；摄像装置130配置为在不同的时刻获取目标场景的第一图像和第二图像，偏振装置152在摄像装置130获取第二图像时与摄像装置130的对应第二图像的入射光路重叠。
例如，如图7b所示，在摄像装置130获取第一图像时，偏振装置152可以位于摄像装置130的对应第一图像的入射光路之外，以使进入摄像装置130的用于形成第一图像的第一入射光110与用于形成第二图像的第二入射光120的偏振状态不同。例如，可以采用如图5a和图5b所示的偏振切换装置，以使偏振装置152在摄像装置130获取第一图像时位于摄像装置的对应第一图像的入射光路之外，并且在获取第二图像时位于对应第二图像的入射光路之中。
例如，偏振装置152也可以通过如图6所示的旋转装置180改变偏振化方向，以使第一入射光线110与第二入射光线120的偏振状态不同。
偏振装置152的偏振化方向等可以参照实施例一中的设置方式，重复之处不再赘述。
实施例三
本实施例提供一种图像采集处理系统，如图8所示，该图像采集处理系统10包括图像处理装置以及实施例一或二提供的图像采集系统100，图像采集系统100与图像处理装置信号连接。
图像处理装置配置为根据图像采集系统100获取的第一图像和第二图像生成目标图像，其例如可以使用通用计算装置(例如CPU)、专用计算装置(例如DSP)等来实现，这里不再详述。
图像采集系统100与图像处理装置之间可以采用任意类型的有线或无线连接，只要可以实现将图像采集系统100获取的第一图像和第二图像发送到图像处理装置即可。
本实施例提供的图像采集处理系统还可以包括显示装置，如图8所示，以对图像处理装置输出的目标图像进行显示。
本发明的实施例一至三提供的图像采集系统和图像采集处理装置可以应用于汽车领域中，以在雨天时降低雨水对图像采集系统获取的图像的影响。
实施例四
本实施例提供一种图像采集处理方法，如图9所示，该方法包括以下步骤S41至步骤S43。
步骤S41：利用摄像装置获取目标场景的第一图像。
步骤S42：利用偏振装置和摄像装置获取目标场景的第二图像，在该步骤中，偏振装置在摄像装置获取第二图像时与摄像装置的对应第二图像的入射光路重叠并且使进入摄像装置的用于形成第一图像的第一入射光与用于形成第二图像的第二入射光的偏振状态不同。
例如，可以采用实施例一提供的图像采集系统获取第一图像和第二图像，即，如图1所示，摄像装置130可以包括第一子摄像装置131和第二子摄像装置132。在这种情况下，上述步骤S41可以包括利用第一子摄像装置131获取目标场景的第一图像；上述步骤S42可以包括：利用第二子摄像装置132获取目标场景的第二图像，在第二子摄像装置132获取第二图像时，偏振装置152与第二子摄像装置132的入射光路重叠。
例如，上述步骤S41和步骤S42可以同步进行，即第一子摄像装置131和第二子摄像装置132可以在同一时刻对目标场景进行拍摄以获取第一图像和第二图像。当然，上述步骤S41和步骤S42也可以在不同时刻分别进行，并且顺序可以互换。
例如，在上述步骤S41中，可以利用如图4所示的另一偏振装置151和第一子摄像装置131对目标场景进行拍摄以获取第一图像；在第一子摄像装置131获取第一图像时，另一偏振装置151与第一子摄像装置131的入射光路重叠，并且另一装置的偏振化方向与偏振装置152的偏振化方向不同。该另一偏振装置151可以降低雨水对第一图像的影响；通过使这两个偏振装置的偏振化方向不同，有利于使第一图像和第二图像包括不同的目标场景信息，从而有利于提高目标图像的精确度。
例如，也可以采用实施例二提供的图像采集系统获取第一图像和第二图像，即：上述步骤S41可以包括利用如图7a所示的摄像装置130在第一时刻对目标场景进行拍摄以获取第一图像；上述步骤S42可以包括利用摄像装置130和偏振装置152在第二时刻对目标场景进行拍摄以获取第二图像。当然，步骤S41和步骤S42的顺序也可以互换。
在本实施例提供的方法中，偏振装置和摄像装置的其它设置可参照实施例一和实施例二中的相关描述，这里不再赘述。
在完成步骤S41和步骤S42之后，进行步骤S43，即：根据第一图像和第二图像生成目标图像。
在步骤S43中，可以对第一图像与第二图像进行比较以得到目标图像。与本领域常用的图像采集处理系统获取初始图像之后对该初始图像进行分析处理后以得到目标图像的方式相比，通过比较得到目标图像的方式可以更准确地知道第一图像和第二图像的哪些位置是真实的、哪些位置需要处理，从而可以提升图像处理的精确度并减少图像信息处理量和处理时间。
例如，可以通过比较第一图像和第二图像中对应像素点的图像信息来生成目标图像。在这种情况下，步骤S43可以包括：确定表示目标场景的同一物点的第一图像中的第一像素点与第二图像中的第二像素点，以及将第一图像中的第一像素点与第二图像中的第二像素点的图像信息进行比较；当比较结果为第一图像的第一像素点与第二图像的第二像素点的图像信息之间的差别小于或等于第一阈值、或者大于第二阈值时，利用第二图像的第二像素点生成目标图像。
下面以将第一图像和第二图像分别以数组X和数组Y表示为例进行说明，其中，
数组X中的A11,......,AMN表示第一图像的像素点的位置信息和图像信息；数组Y中B11,......,BMN表示第二图像的像素点的位置信息和图像信息；通过计算X-Y可以得到数组Z，数组Z中的数字Zij＝Xij-Yij(i为从1到M的整数，j为从1到N的整数)的数值可能出现以下情况：第一类数值是Zij的绝对值在[0,β]范围内；第二类数值是Zij的绝对值在[β,θ]范围内,第三类数值是Zij的绝对值在(θ,∞)且0<β<θ。
第一类数值，即Zij的绝对值在[0,β]范围内，表示第一图像的Aij和第二图像的Bij之间的差别较小。这可能是因为第二图像的Bij对应的目标场景的物点处没有雨水，也可能是因为在该物点处的雨水太多以至于偏振装置也无法消除雨水的影响。因此，在这种情况下，可以采用Bij的位置信息和图像信息来生成目标图像，也就是说，当第一像素点和第二像素点之间的差别小于或等于第一阈值β时，可以利用第二图像的第二像素点生成目标图像。需要说明的是，可以用数组X中的一个或多个数字表示第一像素点，第二图像中的第二像素点也可以类似设置。
第三类数值，即Zij的绝对值在(θ,∞)且0<β<θ，表示第一图像和第二图像有很大差别，说明偏振装置减小了雨水的影响。因此，在这种情况下，可以采用Bij的位置信息和图像信息来生成目标图像，也就是说，当第一像素点和第二像素点之间的差别大于第二阈值θ时，可以采用第二图像的第二像素点生成目标图像。
对于介于第一类数值和第三类数值之间的第二类数值，可以采用本领域常用的方式针对第二类数值所在位置的信息进行处理，然后填充在目标图像的相应位置。
第一阈值和第二阈值可以根据实际需要设置。
通过对第一图像和第二图像进行比较，可以简化上述第一类数值和第三类数值的分析处理方式，与常用的图像采集处理系统中对图像的全部数据进行分析处理的方式相比，可以减少信息处理量和处理时间。
例如，为了提高目标图像的准确性，本实施例的至少一个示例提供的图像采集处理方法还可以包括：在进行步骤S43之前，根据偏振装置的透过率和第二图像的初始亮度(即摄像装置直接获取的第二图像的亮度)对第二图像的亮度进行调整。例如，可以将第二图像的初始亮度除以偏振装置的透过率，以将第一图像和第二图像的亮度恢复到同一水平。
在采用如图4所示的图像采集系统获取第一图像和第二图像的情况下，当偏振装置152与另一偏振装置151的透过率不相同时，可以将第二图像的初始亮度除以偏振装置152的透过率并且将第一图像的初始亮度除以另一偏振装置151的透过率以使第一图像和第二图像的亮度一致；当偏振装置152与另一偏振装置151的透过率相同时，可以省去调整图像亮度的步骤。
例如，采用实施例一所述的图像采集系统获取第一图像和第二图像时，本实施例的至少一个示例提供的图像采集处理方法还可以包括：在进行步骤S43之前，对第一图像和第二图像中的至少一个进行处理以使第一图像和第二图像之间不存在视差。例如，可以将上述X数组中的数字的位置进行平移以使X数组中的数字与Y数字中的数字的位置信息一致。这样可以减小因两个摄像装置的视差带来的误判。可以采用本领域常用的图像的视差处理方法消除第一图像和第二图像之间的视差，这里不做赘述。
本实施例提供的图像采集处理方法可以用于实施例三提供的图像采集处理系统中。本实施例提供的图像采集处理方法，通过偏振装置可以减小雨水对目标图像的影响，通过对第一图像和第二图像进行比较以生成目标图像，可以减少第一图像和第二图像的信息处理量和处理时间并提升图像处理的精确度。
以上所述仅是本发明的示范性实施方式，而非用于限制本发明的保护范围，本发明的保护范围由所附的权利要求确定。

Claims (16)

1.一种图像采集处理系统，包括：
摄像装置，配置为获取目标场景的第一图像和第二图像；
偏振装置，在所述摄像装置获取所述第二图像时与所述摄像装置的对应所述第二图像的入射光路重叠，并且配置为使进入所述摄像装置的用于形成所述第一图像的第一入射光与用于形成所述第二图像的第二入射光的偏振状态不同；以及
图像处理装置，配置为根据所述第一图像和所述第二图像生成目标图像，
其中，根据所述第一图像和所述第二图像生成目标图像包括：
确定表示所述目标场景的同一物点的所述第一图像中的第一像素点与所述第二图像中的第二像素点；
将所述第一像素点与所述第二像素点的图像信息进行比较，其中，当比较结果为所述第一像素点与所述第二像素点的图像信息之间的差别小于或等于第一阈值、或者大于第二阈值时，利用所述第二图像的所述第二像素点生成所述目标图像，并且所述第一阈值小于所述第二阈值；
所述图像采集处理系统还包括承载基板，所述承载基板具有承载所述摄像装置且沿水平方向的承载面，所述偏振装置的偏振化方向垂直于所述承载面。
2.根据权利要求1所述的图像采集处理系统，其中，
所述摄像装置包括第一子摄像装置和第二子摄像装置，所述第一子摄像装置配置为获取所述目标场景的所述第一图像，所述第二子摄像装置配置为获取所述目标场景的所述第二图像；
所述偏振装置在所述第二子摄像装置获取所述第二图像时与所述第二子摄像装置的入射光路重叠。
3.根据权利要求2所述的图像采集处理系统，其中，
所述摄像装置包括分光装置，所述分光装置配置为将来自所述目标场景且入射至所述分光装置的光分为用于所述第一子摄像装置的第一光路和用于所述第二子摄像装置的第二光路，所述偏振装置在所述第二子摄像装置获取所述第二图像时设置在所述第二光路中。
4.根据权利要求2或3所述的图像采集处理系统，还包括承载基板，其中，所述承载基板具有承载面，所述第一子摄像装置和所述第二子摄像装置沿垂直于所述承载面的方向依次设置。
5.根据权利要求1-3中任一项所述的图像采集处理系统，还包括：
另一偏振装置，配置为在所述摄像装置获取所述第一图像时位于所述摄像装置的对应所述第一图像的入射光路中，
其中，所述另一偏振装置的偏振化方向与所述偏振装置的偏振化方向不同。
6.根据权利要求5所述的图像采集处理系统，其中，所述另一偏振装置的所述偏振化方向与所述偏振装置的所述偏振化方向垂直。
7.根据权利要求5所述的图像采集处理系统，其中，所述另一偏振装置与所述偏振装置的透过率相同。
8.根据权利要求1-3中任一项所述的图像采集处理系统，还包括：偏振切换装置，配置为可将所述偏振装置移动到所述摄像装置在获取所述第二图像时的所述入射光路之中或将所述偏振装置从所述入射光路中移出。
9.根据权利要求1-3中任一项所述的图像采集处理系统，还包括：旋转装置，配置为可旋转所述偏振装置以改变所述偏振装置的偏振化方向。
10.一种图像采集处理方法，包括：
利用摄像装置获取目标场景的第一图像；
利用偏振装置和所述摄像装置获取所述目标场景的第二图像，其中，所述偏振装置在所述摄像装置获取所述第二图像时与所述摄像装置的对应所述第二图像的入射光路重叠并且使进入所述摄像装置的用于形成所述第一图像的第一入射光与用于形成所述第二图像的第二入射光的偏振状态不同；以及
根据所述第一图像和所述第二图像生成目标图像，
其中，
确定表示所述目标场景的同一物点的所述第一图像中的第一像素点与所述第二图像中的第二像素点；
将所述第一像素点与所述第二像素点的图像信息进行比较，其中，当比较结果为所述第一像素点与所述第二像素点的图像信息之间的差别小于或等于第一阈值、或者大于第二阈值时，利用所述第二图像的所述第二像素点生成所述目标图像，并且所述第一阈值小于所述第二阈值。
11.根据权利要求10所述的图像采集处理方法，其中，所述摄像装置包括第一子摄像装置和第二子摄像装置；
所述方法包括：
利用所述第一子摄像装置获取所述目标场景的所述第一图像；以及
利用所述第二子摄像装置获取所述目标场景的所述第二图像，其中，在所述第二子摄像装置获取所述第二图像时，所述偏振装置与所述第二子摄像装置的入射光路重叠。
12.根据权利要求11所述的图像采集处理方法，其中，所述第一子摄像装置和所述第二子摄像装置在同一时刻对所述目标场景进行拍摄以获取所述第一图像和所述第二图像。
13.根据权利要求11所述的图像采集处理方法，还包括：
对所述第一图像和所述第二图像中的至少一个进行处理以使所述第一图像和所述第二图像之间不存在视差。
14.根据权利要求11所述的图像采集处理方法，还包括：
利用另一偏振装置和所述第一子摄像装置对所述目标场景进行拍摄以获取所述第一图像，
其中，在所述第一子摄像装置获取所述第一图像时，所述另一偏振装置与所述第一子摄像装置的入射光路重叠，并且所述另一装置的偏振化方向与所述偏振装置的偏振化方向不同。
15.根据权利要求10所述的图像采集处理方法，其中，
利用所述摄像装置在第一时刻对所述目标场景进行拍摄以获取所述第一图像；
利用所述摄像装置和所述偏振装置在第二时刻对所述目标场景进行拍摄以获取所述第二图像。
16.根据权利要求10所述的图像采集处理方法，还包括：
根据所述偏振装置的透过率和所述第二图像的初始亮度对所述第二图像的亮度进行调整。
CN201610082147.9A 2016-02-05 2016-02-05 图像采集系统、图像采集处理系统和图像采集处理方法 Active CN105530419B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201610082147.9A CN105530419B (zh) 2016-02-05 2016-02-05 图像采集系统、图像采集处理系统和图像采集处理方法
US15/511,813 US10244154B2 (en) 2016-02-05 2016-05-20 Imaging collecting system, image collecting processing system and image collecting processing method
PCT/CN2016/082721 WO2017133138A1 (zh) 2016-02-05 2016-05-20 图像采集系统、图像采集处理系统和图像采集处理方法
EP16843250.8A EP3416365A4 (en) 2016-02-05 2016-05-20 IMAGE ACQUISITION SYSTEM, IMAGE ACQUISITION PROCESSING SYSTEM, AND IMAGE ACQUISITION PROCESSING METHOD

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610082147.9A CN105530419B (zh) 2016-02-05 2016-02-05 图像采集系统、图像采集处理系统和图像采集处理方法

Publications (2)

Publication Number Publication Date
CN105530419A CN105530419A (zh) 2016-04-27
CN105530419B true CN105530419B (zh) 2019-12-31

Family

ID=55772371

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610082147.9A Active CN105530419B (zh) 2016-02-05 2016-02-05 图像采集系统、图像采集处理系统和图像采集处理方法

Country Status (4)

Country Link
US (1) US10244154B2 (zh)
EP (1) EP3416365A4 (zh)
CN (1) CN105530419B (zh)
WO (1) WO2017133138A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530419B (zh) * 2016-02-05 2019-12-31 京东方科技集团股份有限公司 图像采集系统、图像采集处理系统和图像采集处理方法
DE102016006326A1 (de) * 2016-05-24 2017-11-30 Audi Ag Linear polarisierte Lichtabstrahlung durch einen Fahrzeugscheinwerfer zum Einsatz in einem kamerabasierten Fahrerassistenzsystem
CN108566504B (zh) * 2018-05-22 2021-01-26 京东方科技集团股份有限公司 一种双摄像头模组、电子设备及其图像获取方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075679A (zh) * 2010-11-18 2011-05-25 无锡中星微电子有限公司 一种图像采集方法和装置
CN102663768A (zh) * 2012-05-10 2012-09-12 合肥工业大学 偏振视觉系统中自适应确定偏振镜的最佳透振方向的方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5543917A (en) * 1994-10-26 1996-08-06 Lockheed Martin Corporation Object detector
JP5152655B2 (ja) * 2008-06-18 2013-02-27 株式会社リコー 撮像装置
EP2293541B1 (en) * 2008-06-26 2018-09-12 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, image division program and image synthesising method
US8508646B2 (en) * 2008-12-22 2013-08-13 Apple Inc. Camera with internal polarizing filter
DE102009026463A1 (de) * 2009-05-26 2010-12-09 Robert Bosch Gmbh Bilderfassungsverfahren zur Erfassung mehrerer Bilder mittels eines automotiven Kamerasystems und zugehörige Bilderfassungsvorrichtung des Kamerasystems
JP5440927B2 (ja) 2009-10-19 2014-03-12 株式会社リコー 測距カメラ装置
JP5761601B2 (ja) * 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5867807B2 (ja) * 2010-12-08 2016-02-24 株式会社リコー 車両識別装置
CN102650746B (zh) * 2012-03-31 2014-02-19 京东方科技集团股份有限公司 主动快门式3d眼镜
EP2875315B1 (en) * 2012-07-23 2018-09-05 Ricoh Company, Ltd. Stereo camera
US9562764B2 (en) * 2012-07-23 2017-02-07 Trimble Inc. Use of a sky polarization sensor for absolute orientation determination in position determining systems
US9494800B2 (en) * 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9307159B2 (en) * 2014-03-04 2016-04-05 Panasonic Intellectual Property Management Co., Ltd. Polarization image processing apparatus
CN104954656B (zh) * 2014-03-24 2018-08-31 联想(北京)有限公司 一种信息处理方法和装置
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
CN204967991U (zh) 2015-09-24 2016-01-13 重庆港宇高科技开发有限公司 智能抑光系统
CN105530419B (zh) 2016-02-05 2019-12-31 京东方科技集团股份有限公司 图像采集系统、图像采集处理系统和图像采集处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102075679A (zh) * 2010-11-18 2011-05-25 无锡中星微电子有限公司 一种图像采集方法和装置
CN102663768A (zh) * 2012-05-10 2012-09-12 合肥工业大学 偏振视觉系统中自适应确定偏振镜的最佳透振方向的方法

Also Published As

Publication number Publication date
WO2017133138A1 (zh) 2017-08-10
CN105530419A (zh) 2016-04-27
US20180234602A1 (en) 2018-08-16
EP3416365A4 (en) 2019-09-18
EP3416365A1 (en) 2018-12-19
US10244154B2 (en) 2019-03-26

Similar Documents

Publication Publication Date Title
EP3438777B1 (en) Method, apparatus and computer program for a vehicle
US8619128B2 (en) Systems and methods for an imaging system using multiple image sensors
CN109712192B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
WO2021071992A1 (en) Systems and methods for augmentation of sensor systems and imaging systems with polarization
US20120026297A1 (en) Imaging apparatus and imaging method
US8526681B2 (en) On-vehicle image processing device for vehicular control
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
US10728529B2 (en) Synchronization of frame captures from multiple cameras with different fields of capture
CN105530419B (zh) 图像采集系统、图像采集处理系统和图像采集处理方法
CN110580686B (zh) 在散射环境中基于双目视觉的偏振图像复原装置及方法
US10346709B2 (en) Object detecting method and object detecting apparatus
WO2020117285A9 (en) A multicamera system for autonamous driving vehicles
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
JP2013038651A (ja) 画像処理装置、画像処理方法及び撮像装置
KR101038815B1 (ko) 고속 오토 포커스가 가능한 촬상 시스템
CN112470189B (zh) 光场系统的遮挡消除
WO2022134718A1 (zh) 图像处理方法、芯片及电子装置
CN104590115A (zh) 行车安全辅助系统和方法
JP4668863B2 (ja) 撮像装置
CN205336404U (zh) 图像采集系统和图像采集处理系统
JPH09126758A (ja) 車両用環境認識装置
EP3683716A1 (en) Monitoring method, apparatus and system, electronic device, and computer readable storage medium
CN111344554A (zh) 外观缺陷检测方法及装置
CN113888642A (zh) 一种环视系统外参数在线修正方法、系统、设备及介质
CN115578710A (zh) 一种汽车后视全景图像处理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
CB03 Change of inventor or designer information

Inventor after: Li Xinguo

Inventor after: Wang Yi

Inventor after: Zhang Xing

Inventor after: Wu Yanbing

Inventor before: Li Xinguo

Inventor before: Wu Yanbing

COR Change of bibliographic data
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant