CN109146906B - 图像处理方法和装置、电子设备、计算机可读存储介质 - Google Patents
图像处理方法和装置、电子设备、计算机可读存储介质 Download PDFInfo
- Publication number
- CN109146906B CN109146906B CN201810962057.8A CN201810962057A CN109146906B CN 109146906 B CN109146906 B CN 109146906B CN 201810962057 A CN201810962057 A CN 201810962057A CN 109146906 B CN109146906 B CN 109146906B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- area
- region
- candidate region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。所述方法包括:获取第一图像和第二图像,其中,第一图像包含第二图像对应的深度信息;检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域,检测第二候选区域中的目标区域,其中,第二候选区域和目标区域中都包含目标物体,第二候选区域的面积大于或等于目标区域的面积;根据目标区域对第二图像进行处理。由于可以先检测候选区域,再根据候选区域检测目标区域进行处理,可以提高图像处理的准确性。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种图像处理方法和装置、电子设备、计算机可读存储介质。
背景技术
随着计算机技术的发展,图像处理方式越来越丰富,在图像拍摄过程中,可以通过双目测距法等检测图像的深度信息,根据深度信息区分图像的前景区域和背景区域,从而可以对前景区域和背景区域进行不同的处理。
然而,传统的方法中存在图像处理准确性低的问题。
发明内容
本申请实施例提供一种图像处理方法和装置、电子设备、计算机可读存储介质,可以提高图像处理的准确性。
一种图像处理方法,包括:
获取第一图像及第二图像,其中,所述第一图像包含所述第二图像对应的深度信息;
检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域;
检测所述第二候选区域中的目标区域,其中,所述第二候选区域和目标区域中都包含目标物体,所述第二候选区域的面积大于或等于所述目标区域的面积;
根据所述目标区域对所述第二图像进行处理。
一种图像处理装置,包括:
获取模块,用于获取第一图像及第二图像,其中,所述第一图像包含所述第二图像对应的深度信息;
第一检测模块,用于检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域;
第二检测模块,用于检测所述第二候选区域中的目标区域,其中,所述第二候选区域和目标区域中都包含目标物体,所述第二候选区域的面积大于或等于所述目标区域的面积;
处理模块,用于根据所述目标区域对所述第二图像进行处理。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如下步骤:
获取第一图像及第二图像,其中,所述第一图像包含所述第二图像对应的深度信息;
检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域;
检测所述第二候选区域中的目标区域,其中,所述第二候选区域和目标区域中都包含目标物体,所述第二候选区域的面积大于或等于所述目标区域的面积;
根据所述目标区域对所述第二图像进行处理。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如下步骤:
获取第一图像及第二图像,其中,所述第一图像包含所述第二图像对应的深度信息;
检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域;
检测所述第二候选区域中的目标区域,其中,所述第二候选区域和目标区域中都包含目标物体,所述第二候选区域的面积大于或等于所述目标区域的面积;
根据所述目标区域对所述第二图像进行处理。
上述图像处理方法和装置、电子设备、计算机可读存储介质,通过获取第一图像和第二图像,其中,第一图像包含第二图像对应的深度信息,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域,检测第二候选区域中的目标区域,根据目标区域对第二图像进行处理,其中,第二候选区域和目标区域中都包含目标物体,第二候选区域的面积大于或等于目标区域的面积。由于可以先检测到候选区域,再根据候选区域检测目标区域进行处理,可以提高图像处理的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的应用环境图;
图2为一个实施例中图像处理方法的流程图;
图3为另一个实施例中图像处理方法的流程图;
图4为一个实施例中第一图像的示意图;
图5为一个实施例中图4对应的第二图像的示意图;
图6为又一个实施例中图像处理方法的流程图;
图7为一个实施例中第二图像中连通区域的示意图;
图8为一个实施例中第二图像中存在两个连通区域的示意图;
图9为一个实施例中图像处理方法的流程图;
图10为一个实施例中TOF计算深度信息的原理图;
图11为一个实施例中实现图像处理方法的软件框架图;
图12为一个实施例中图像处理装置的结构示意图;
图13为一个实施例中图像处理电路的示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一图像称为第二图像,且类似地,可将第二图像称为第一图像。第一图像和第二图像两者都是图像,但其不是同一图像。
图1为一个实施例中图像处理方法的应用环境图。如图1所示,电子设备上安装有摄像头102。具体的,电子设备可以通过摄像头102进行拍摄,获取摄像头102拍摄的第一图像及第二图像,其中,第一图像包含第二图像对应的深度信息,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域,检测第二候选区域中的目标区域,根据目标区域对第二图像进行处理,其中第二候选区域和目标区域都包含目标物体,第二候选区域的面积大于或等于目标区域的面积。可以理解的是,上述电子设备可以是手机、电脑、可穿戴设备等,在此不做限定。
图2为一个实施例中图像处理方法的流程图。本实施例中的图像处理方法,以运行于图1中的电子设备上为例进行描述。如图2所示,图像处理方法包括步骤202至步骤208。其中
步骤202,获取第一图像及第二图像,其中,第一图像包含第二图像对应的深度信息。
第一图像和第二图像是指电子设备通过摄像头采集的图像。具体地,第一图像和第二图像可以是电子设备通过摄像头实时捕捉当前场景的画面生成的;也可以是存储在电子设备本地的图像。第一图像与第二图像具有相同的拍摄场景。深度信息是指摄像头与拍摄场景中被拍摄物体之间的距离信息。可以理解的是,第二图像是指二维图像,即不包含深度信息的平面图像;第一图像是指与第二图像对应的三维图像,第一图像包含第二图像中被拍摄物体在拍摄场景中的分布情况即深度信息。
步骤204,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
电子设备可以根据第一图像的深度信息检测第一图像中目标物体所在的区域即第一候选区域。目标物体是指图像中存在的近景物体,即深度信息在预设距离内的物体。预设距离可以是1米、2米、3米等不限于此。电子设备可以在检测到第一图像的第一候选区域后,根据第一候选区域匹配到第二图像中对应的位置,得到第二图像中对应的第二候选区域。具体地,电子设备可以获取第一图像中第一候选区域边界对应的像素点位置,根据边界的像素点位置获取第二图像中对应的第二候选区域;电子设备也可以将第一图像中第一候选区域映射到第二图像中,获取第二图像中对应的第二候选区域。
步骤206,检测第二候选区域中的目标区域,其中,第二候选区域和目标区域中都包含目标物体,第二候选区域的面积大于或等于目标区域的面积。
目标区域是指图像中目标物体所在的精确位置。具体地,目标区域可以精确到目标物体的边界像素点,即目标物体的真实边界与目标区域的误差为像素级误差。第二候选区域和目标区域中都包含目标物体,第二候选区域的面积大于或等于目标区域的面积。电子设备在根据第一图像的深度信息获得第二图像对应的第二候选区域后,根据第二候选区域检测到目标物体所在的目标区域。电子设备可以训练可输出目标物体精确位置的目标检测模型。具体地,电子设备可以根据VGG(Visual Geometry Group)、CNN(ConvolutionalNeural Network)、SSD(single shot multibox detector)、决策树(Decision Tree)等深度学习算法训练目标检测模型,根据目标检测模型对第二图像中的第二候选区域进行检测,获得输出的目标区域。
步骤208,根据目标区域对第二图像进行处理。
电子设备得到第二图像的目标区域后,可以根据目标区域对第二图像进行处理,具体的处理方式不做限定。例如,电子设备可以对目标区域进行美化、色彩增强、AR(Augmented Reality,现实增强)处理等不限于此。电子设备还可以根据目标区域获得第二图像中除目标区域外的区域作为背景区域,根据背景区域对第二图像进行处理,例如,电子设备可以将背景区域进行虚化、置换背景等。
本申请提供的实施例中,通过获取第二图像和包含第二图像对应的深度信息的第一图像,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域,从而检测第二候选区域中的目标区域,根据目标区域对第二图像进行处理。由于可以先检测包含深度信息的第一图像得到第二图像对应的第二候选区域,再检测第二候选区域得到目标区域,可以得到精确的目标区域,从而根据目标区域对第二图像进行处理,可以提高图像处理的准确性。
图3为另一个实施例中图像处理方法的流程图。如图3所示,该图像处理方法包括步骤302至步骤314。其中:
步骤302,将第一图像及第二图像输入至目标检测模型,其中,目标检测模型包括第一级检测模型和第二级检测模型。
电子设备可以训练可以输出目标物体所在区域的目标检测模型。具体地,在模型训练过程中,可以将标记了目标物体所在区域的二维图像及对应的三维图像输入至神经网络模型中,通过神经网络模型对三维图像和二维图像进行检测,获得输出的预测目标区域,根据预测目标区域与标记的区域得到损失函数,根据损失函数对神经网络模型的参数进行调整,使得训练后的目标检测模型可以输出准确的目标区域。目标检测模型可以包括第一级检测模型和第二级检测模型,其中,第一级检测模型用于对深度信息进行处理,第二级检测模型用于根据第一级检测模型的处理结果对二维图像进行处理。电子设备可以分别训练第一级检测模型和第二级检测模型后,再将第一级检测模型与第二级检测模型级联,使得形成的目标检测模型可以对二维图像和三维图像进行处理。电子设备可以获取第二图像和包含第二图像对应的深度信息的第一图像,并将第一图像和第二图像输入至目标检测模型中。
步骤304,通过第一级检测模型检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
电子设备可以通过第一级检测模型对第一图像中包含的深度信息进行检测。具体地,电子设备可以训练可输出候选区域的第一级检测模型。在第一级检测模型的训练过程中,可以将标记了真实候选区域的三维图像输入至神经网络模型中,神经网络模型可以检测三维图像的深度信息,根据深度信息得到预测候选区域,根据预测候选区域与真实候选区域得到损失函数,对神经网络模型的参数进行调整,使得训练得到的第一级检测模型可以输出三维图像的候选区域。电子设备还可以通过第一级检测模型在检测到第一图像的第一候选区域时,根据第一候选区域获取第二图像中对应的第二候选区域。
步骤306,通过第二级检测模型检测第二候选区域中的目标区域。
第二级检测模型可以根据第二图像中的第二候选区域进行检测,得到更加准确的目标区域。电子设备训练可输出准确目标区域的第二级检测模型,将标记了真实目标区域和候选区域的训练图像输入到神经网络模型中,神经网络模型根据训练图像的候选区域检测得到预测目标区域,将预测目标区域与真实目标区域进行比对,得到损失函数后对神经网络模型的参数进行调整,使得训练后得到的第二级检测模型可以根据第二图像中的第二候选区域输出精确的目标区域。
在一个实施例中,电子设备还可以识别第二候选区域中包含的目标物体的目标类别,根据目标类别调整第二级检测模型的参数。电子设备可以训练包含有目标类别检测功能的目标检测模型,从而,目标检测模型可以根据输入的图像中目标物体的目标类别对目标检测模型的参数进行调整,根据调整后的目标检测模型检测图像的目标区域。具体地,电子设备可以对第二图像中的第二候选区域进行识别,得到第二候选区域中包含的目标物体的目标类别;第二级检测模型可以预设不同目标类别对应的参数,根据得到的目标类别获得对应参数对第二级检测模型进行调整,根据调整后的第二级检测模型检测第二候选区域中的目标区域。
步骤308,根据目标区域对第二图像进行处理。
本申请实施例可以将第一图像和第二图像输入至包括第一级检测模型和第二级检测模型的目标检测模型,通过第一级检测模型检测第一图像的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域,通过第二级检测模型检测第二候选区域中的目标区域,根据目标区域对第二图像进行处理,可以使获得的目标区域更加精确,从而提高图像处理的准确性。
图4为一个实施例中第一图像的示意图。图5为图4所示的第一图像对应的第二图像的示意图。如图4、图5所示,第一图像410包含第二图像510对应的深度信息,电子设备可以对第一图像410进行检测,得到第一图像410中的第一候选区域402,从而获取第一获选区域402在第二图像510中对应的第二候选区域502,检测第二候选区域502中的目标区域504,电子设备可以根据目标区域502对第二图像510进行处理。由于根据先根据包含深度信息的第一图像获得候选区域,再根据候选区域确定目标区域,对图像进行处理,可以提高图像处理的准确性。
如图6所示,在一个实施例中,提供的图像处理处理方法包括步骤602至步骤608。其中:
步骤602,获取第一图像及第二图像。
步骤604,当第一图像中存在小于深度阈值的深度信息时,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
深度阈值可以根据实际应用需求设定。例如,深度阈值可以为1米、2米、3米等不限于此。电子设备可以根据第一图像包含的深度信息检测是否包含有小于深度阈值的深度信息,当存在小于深度阈值的深度信息时,判定第一图像中存在近景物体,则检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
在一个实施例中,电子设备还可以获取第一图像中小于深度阈值的深度信息所组成的连通区域;当连通区域的面积与第一图像的面积的比值超过比值阈值时,则检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
连通区域是指小于深度阈值的深度信息在第二图像中所形成的连续区域。具体地,电子设备可以在检测到第一图像中存在小于深度阈值的深度信息时,获取小于深度阈值的深度信息在第二图像中形成的连通区域。比值阈值可以根据实际应用需求设定。例如,比值阈值可以是0.05、0.1、0.15等不限于此。电子设备可以在获得连通区域后,计算连通区域的连通面积与第一图像的面积的比值,当该比值超过比值阈值时,检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域。电子设备可以在连通区域的连通面积与第一图像的面积的比值小于比值阈值时,可以判定该深度信息为检测错误或该连通区域不包含目标物体,从而可以不对第一图像进行检测。
图7为一个实施例中连通区域的示意图。如图7所示,第一图像710包含了图像的深度信息,其中,深度信息702表示小于深度阈值的深度信息,深度信息704表示不小于深度阈值的深度信息。电子设备可以获取第一图像710中小于深度阈值的深度信息702组成的连通区域706,从而可以计算连通区域706的连通面积与第一图像710的面积的比值。
在一个实施例中,电子设备在当第一图像中存在两个或两个以上的连通区域时,统计各个连通区域的连通面积;当最大连通面积与第一图像的面积的比值超过比值阈值时,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
连通区域可以是一个也可以是多个。电子设备可以在第一图像中存在两个或两个以上的连通区域时,统计各个连接区域的连通面积,计算最大连通面积与第一图像的面积的比值,若该比值超过比值阈值,则检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
图8为一个实施例中,第一图像包含多个连通区域的示意图。如图8所示,第一图像810包含连通区域802和连通区域804,电子设备可以统计连通区域802和连通区域804的连通面积,获取最大连通面积即连通区域804对应的连通面积,计算连通区域804的连通面积与第一图像的面积的比值,当该比值超过比值阈值时,检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域。
步骤606,检测第二候选区域中的目标区域。
步骤608,根据目标区域对第二图像进行处理。
通过检测第一图像中的深度信息,在第一图像中存在小于深度阈值的深度信息时,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域,检测第二候选区域中的目标区域,根据目标区域对第二图像进行处理,可以有效地对图像进行检测和处理,并提高图像处理的准确性。
如图9所示,在一个实施例中,提供的图像处理方法包括步骤902至步骤910。其中:
步骤902,获取第一摄像头在曝光时段内采集的至少两张第一初始图像,并获取第二摄像头在曝光时段内第二图像。
电子设备上可以安装摄像头,并通过安装的摄像头获取图像。摄像头可以根据获取的图像的不同分为激光摄像头、可见光摄像头等类型,激光摄像头可以获取激光照射到物体上所形成的图像,可见光图像可以获取可见光照射到物体上所形成的图像。电子设备上可以安装若干个摄像头,且安装的位置不做限定。例如,可以在电子设备的正面面板上安装一个摄像头,在背面面板上安装两个摄像头,摄像头还可以以内嵌的方式安装于电子设备的内部,然后通过旋转或滑动的方式打开摄像头。具体地,电子设备上可安装前置摄像头和后置摄像头,前置摄像头和后置摄像头可以从不同的视角获取图像,一般前置摄像头可以从电子设备的正面视角获取图像,后置摄像头可以从电子设备的背面视角获取图像。在本申请实施例中,电子设备至少安装两个摄像头,分别为第一摄像头和第二摄像头,然后控制第一摄像头和第二摄像头同时曝光,并通过第一摄像头获取第一初始图像,通过第二摄像头获取第二图像。可以理解的是,第一摄像头和第二摄像头都是针对同一场景获取的图像。第一摄像头以第一帧率采集第一初始图像,第二摄像头以第二帧率采集第二图像。其中,第一帧率大于第二帧率,这样可以保证在相同的曝光时段内,第一摄像头可以采集多张第一初始图像。
步骤904,根据至少两张第一初始图像生成第一图像。
电子设备可以将采集的至少两张第一初始图像转换为包含深度信息的第一图像。具体地,第一摄像头可以激光摄像头,电子设备上可安装第一摄像头对应的激光发射器。激光发射器的激光照射到物体上,通过第一摄像头来获取激光照射物体时生成的第一初始图像。第一初始图像用于生成第二图像对应的深度信息。电子设备可以通过第一摄像头采集激光波经过物体反射后所形成的图像,然后通过计算激光波的飞行时间(Time of Flight,TOF),就可以计算出物体到第一摄像头的距离。具体地,电子设备可以控制激光发射器在上述曝光时段内发射激光波;根据第二帧率控制第一摄像头的至少两个快门进行开关,获取所述快门开启时所述激光波反射生成的至少两张第一初始图像。第一摄像头可以通过不同的快门来采集不同的第一初始图像,从而根据采集的第一初始图像生成第一图像。
图10为一个实施例中TOF计算深度信息的原理图。如图8所示,激光发射器可以发射一个激光波,发射的激光波经过物体反射之后会形成一个反射的激光波,根据发射的激光波和接收的激光波的相位差就可以计算得到物体的深度信息。激光摄像头实际采集图像时,可以控制不同快门在不同的时间进行开关,然后形成不同的接收信号,从而通过多个快门开关采集不同的第一初始图像来计算得到具有深度信息的第一图像。在一个实施例中,假设激光摄像头是通过四个快门来控制接收激光波信号的,快门1、快门2、快门3、快门4接收到的激光波信号分别为Q1、Q2、Q3、Q4,则计算深度信息的公式如下:
其中,C为光速,f为激光波的发射频率。
步骤906,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
步骤908,检测第二候选区域中的目标区域,其中,第二候选区域和目标区域中都包含目标物体,第二候选区域的面积大于或等于目标区域的面积。
步骤910,根据目标区域对第二图像进行处理。
通过获取第一摄像头在曝光时段内采集的至少两张第一初始图像和第二摄像头在曝光时段内采集的第二图像,根据至少两张第一初始图像生成包含第二图像对应的深度信息的第一图像,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像对应的第二候选区域,检测第二候选区域中的目标区域,根据目标区域对第二图像进行处理。由于可以先根据包含深度信息的图像获得候选区域,再根据候选区域确定目标区域进行处理,可以提高目标区域的准确性,从而提高图像处理的准确性。
在一个实施例中,提供的图像处理方法中根据目标区域对第二图像进行处理的过程还包括:当目标区域的数量超过数量阈值时,计算各个目标区域的面积,作为目标面积,根据目标面积超过面积阈值的目标区域对第二图像进行处理。
电子设备根据第一图像和第二图像检测的第二图像的目标区域可以有一个或多个。电子设备可以获取得到的第二图像中的目标区域的数量,当目标区域的数量超过数量阈值时,电子设备可以计算第二图像中各个目标区域的面积作为目标面积,根据超过面积阈值的目标面积对应的目标区域对第二图像进行处理。数量阈值可以根据实际应用需求设定。例如,数量阈值可以是3个、4个、5个等不限于此。面积阈值可以是一个固定值,也可以根据第二图像的面积进行设定,例如可以是第二图像面积的10%、20%等不限于此。
在日常生活中,人们对目标物体拍摄时,会拉近目标物体与摄像头之间的距离,提高目标物体在图像中的占比,突出图像中的目标物体。从而电子设备根据第二图像中超过面积阈值的目标面积对应的目标区域对第二图像进行处理,可以提高图像处理的准确性。
在一个实施例中,提供的图像处理方法中根据目标区域对第二图像进行处理的过程还可以包括:根据目标区域对应的目标类别对第二图像进行处理。
具体地,电子设备可以预设不同目标类别对应的处理模式,从而,电子设备识别目标区域对应的目标类别,根据目标类别获取对应的处理模式对第二图像进行处理。例如,当目标类别为人像时,对应的处理模式可以是背景虚化;当目标类别为人脸时,对应的处理模式可以是人脸美化如增加亮度、进行美白等;当目标类别为风景时,对应的处理模式可以是增强色彩、对比度等不限于此。在一个实施例中,电子设备可以通过目标检测模型对第一图像和第二图像进行检测,获得输出的目标区域及目标区域对应的目标类别。
应该理解的是,虽然图2、3、6、9的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、3、6、9中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图11为一个实施例中实现图像处理方法的软件框架图。如图11所示,该软件框架中包括应用层110、硬件抽象层(Hardware Abstraction Layer,HAL)112、内核(Kernel)层114和硬件(Hardware)层116。其中,应用层110中包括应用程序1102。硬件抽象层112中包括接口1122、图像同步模块1124、图像算法模块1126以及应用算法模块1128。内核层114中包括摄像头驱动1142、摄像头标定模块1144和摄像头同步图模块1146。硬件层1162中包括第一摄像头1162、第二摄像头1164和图像处理器(Image Signal Processor,ISP)1166。
在一个实施例中,应用程序110可用于发起图像采集指令,然后将图像采集指令发送到接口1122。接口1122对图像采集指令解析之后,可以通过摄像头驱动1142对摄像头的配置参数,然后将配置参数发送给图像处理器1166,并通过图像处理器1166控制第一摄像头1162和第二摄像头1164打开。第一摄像头1162和第二摄像头1164打开之后,可通过摄像头同步模块1146控制第一摄像头1162和第二摄像头1164同步采集图像。第一摄像头1162采集的第一初始图像和第二摄像头1164采集的第二图像会发送给图像处理器1166,然后通过图像处理器1166将第一初始图像和第二图像发送给摄像头标定模块1144。摄像头标定模块1144会将第一初始图像和第二图像进行对齐处理,然后将对齐后的第一初始图像和第二图像发送到硬件抽象层112。硬件抽象层112中的图像同步模块1124会根据采集第一初始图像的第一时刻与采集第二图像的第二时刻,判断第一初始图像和第二图像是否为同时获取的。若是,才会通过图像算法模块1126根据第一初始图像计算得到第一图像。第一图像和第二图像会通过应用算法模块1128进行检测等处理,然后将检测等处理后的第一图像和第二图像通过接口1122发送给应用程序1102,应用程序1102可以对处理后的第一目标图像和第二目标图像进行背景虚化、三维建模、美颜、增强现实(Augmented Reality,AR)等处理。
图12为一个实施例中图像处理装置的结构示意图。如图12所示,该图像处理装置1200包括获取模块1202、第一检测模块1204、第二检测模块1206、处理模块1208。其中:
获取模块1202,用于获取第一图像及第二图像,其中,第一图像包含第二图像对应的深度信息。
第一检测模块1204,用于检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
第二检测模块1206,用于检测第二候选区域中的目标区域,其中,第二候选区域和目标区域中都包含目标物体,第二候选区域的面积大于或等于目标区域的面积。
处理模块1208,用于根据目标区域对第二图像进行处理。
在一个实施例中,获取模块1202还可以用于将获取的第一图像及第二图像输入至目标检测模型;第一检测模块1204还可以用于通过第一级检测模型检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域;第二检测模块1206还可以用于通过第二级检测模型检测第二候选区域中的目标区域。
在一个实施例中,第二检测模块1206还可以用于识别第二候选区域中包含的目标物体的目标类别,根据目标类别调整第二级检测模型的参数,根据调整后的第二级检测模型检测第二候选区域中的目标区域。
在一个实施例中,第一检测模块1204还可以用于当第一图像中存在小于深度阈值的深度信息时,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
在一个实施例中,第一检测模块1204还可以用于获取第一图像中小于深度阈值的深度信息所组成的连通区域;当连通区域的连通面积与第一图像的面积的比值超过比值阈值时,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
在一个实施例中,第一检测模块1204还可以用于当第一图像中存在两个或两个以上的连通区域时,统计各个连通区域的连通面积;当最大连通面积与第一图像的面积的比值超过比值阈值时,检测第一图像中的第一候选区域,并获取第一候选区域在第二图像中对应的第二候选区域。
在一个实施例中,获取模块1202还可以用于获取第一摄像头在曝光时段内采集的至少两张第一初始图像,并获取第二摄像头在曝光时段内采集的第二图像;根据至少两张第一初始图像生成第一图像。
在一个实施例中,处理模块1208还可以用于当目标区域的数量超过数量阈值时,计算各个目标区域的面积,作为目标面积;根据目标面积超过面积阈值的目标区域对第二图像进行处理。
上述图像处理装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像处理装置按照需要划分为不同的模块,以完成上述图像处理装置的全部或部分功能。
本申请实施例中提供的图像处理装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时,实现本申请实施例中所描述方法的步骤。
本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图13为一个实施例中图像处理电路的示意图。如图13所示,为便于说明,仅示出与本申请实施例相关的图像处理技术的各个方面。
如图13所示,图像处理电路包括第一ISP处理器1330、第二ISP处理器1340和控制逻辑器1350。第一摄像头1310包括一个或多个第一透镜1312和第一图像传感器1314。第一图像传感器1314可包括色彩滤镜阵列(如Bayer滤镜),第一图像传感器1314可获取用第一图像传感器1314的每个成像像素捕捉的光强度和波长信息,并提供可由第一ISP处理器1330处理的一组图像数据。第二摄像头1320包括一个或多个第二透镜1322和第二图像传感器1324。第二图像传感器1324可包括色彩滤镜阵列(如Bayer滤镜),第二图像传感器1324可获取用第二图像传感器1324的每个成像像素捕捉的光强度和波长信息,并提供可由第二ISP处理器1340处理的一组图像数据。
第一摄像头1310采集的第一图像传输给第一ISP处理器1330进行处理,第一ISP处理器1330处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1350,控制逻辑器1350可根据统计数据确定第一摄像头1310的控制参数,从而第一摄像头1310可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一ISP处理器1330进行处理后可存储至图像存储器1360中,第一ISP处理器1330也可以读取图像存储器1360中存储的图像以对进行处理。另外,第一图像经过ISP处理器1330进行处理后可直接发送至显示器1370进行显示,显示器1370也可以读取图像存储器1360中的图像以进行显示。
其中,第一ISP处理器1330按多种格式逐个像素地处理图像数据。例如,每个图像像素可具有8、13、12或14比特的位深度,第一ISP处理器1330可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
图像存储器1360可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自第一图像传感器1314接口时,第一ISP处理器1330可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器1360,以便在被显示之前进行另外的处理。第一ISP处理器1330从图像存储器1360接收处理数据,并对所述处理数据进行RGB和YCbCr颜色空间中的图像数据处理。第一ISP处理器1330处理后的图像数据可输出给显示器1370,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,第一ISP处理器1330的输出还可发送给图像存储器1360,且显示器1370可从图像存储器1360读取图像数据。在一个实施例中,图像存储器1360可被配置为实现一个或多个帧缓冲器。
第一ISP处理器1330确定的统计数据可发送给控制逻辑器1350。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜1312阴影校正等第一图像传感器1314统计信息。控制逻辑器1350可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的统计数据,确定第一摄像头1310的控制参数及第一ISP处理器1330的控制参数。例如,第一摄像头1310的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜1312控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵,以及第一透镜1312阴影校正参数。
同样地,第二摄像头1320采集的第二图像传输给第二ISP处理器1340进行处理,第二ISP处理器1340处理第一图像后,可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器1350,控制逻辑器1350可根据统计数据确定第二摄像头1320的控制参数,从而第二摄像头1320可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二ISP处理器1340进行处理后可存储至图像存储器1360中,第二ISP处理器1340也可以读取图像存储器1360中存储的图像以对进行处理。另外,第二图像经过ISP处理器1340进行处理后可直接发送至显示器1370进行显示,显示器1370也可以读取图像存储器1360中的图像以进行显示。第二摄像头1320和第二ISP处理器1340也可以实现如第一摄像头1310和第一ISP处理器1330所描述的处理过程。
电子设备根据上述图像处理技术可以实现本申请实施例中所描述的图像处理方法。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。
本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取第一图像及第二图像,其中,所述第一图像包含所述第二图像对应的深度信息,将所述第一图像及第二图像输入至目标检测模型,其中,所述目标检测模型包括第一级检测模型和第二级检测模型;
当所述第一图像中存在小于深度阈值的深度信息时,获取所述第一图像中小于深度阈值的深度信息所组成的连通区域;当所述连通区域的连通面积与所述第一图像的面积的比值超过比值阈值时,通过所述第一级检测模型检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域;
识别所述第二候选区域中包含的目标物体的目标类别,根据所述目标类别调整第二级检测模型的参数,并根据调整后的第二级检测模型检测所述第二候选区域中的目标区域,其中,所述第二候选区域和目标区域中都包含目标物体,所述第二候选区域的面积大于或等于所述目标区域的面积;
根据所述目标区域对所述第二图像进行处理。
2.根据权利要求1所述的方法,其特征在于,所述当所述连通区域的面积与所述第一图像的面积的比值超过比值阈值时,检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域,包括:
当所述第一图像中存在两个或两个以上的连通区域时,统计各个连通区域的连通面积;
当最大连通面积与所述第一图像的面积的比值超过比值阈值时,检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域。
3.根据权利要求1所述的方法,其特征在于,所述获取第一图像及第二图像,包括:
获取第一摄像头在曝光时段内采集的至少两张第一初始图像,并获取第二摄像头在所述曝光时段内采集的第二图像;
根据所述至少两张第一初始图像生成所述第一图像。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述根据所述目标区域对所述第二图像进行处理,包括:
当所述目标区域的数量超过数量阈值时,计算各个所述目标区域的面积,作为目标面积;
根据所述目标面积超过面积阈值的目标区域对所述第二图像进行处理。
5.一种图像处理装置,其特征在于,包括:
获取模块,用于获取第一图像及第二图像,其中,所述第一图像包含所述第二图像对应的深度信息,将所述第一图像及第二图像输入至目标检测模型,其中,所述目标检测模型包括第一级检测模型和第二级检测模型;
第一检测模块,用于当所述第一图像中存在小于深度阈值的深度信息时,获取所述第一图像中小于深度阈值的深度信息所组成的连通区域;当所述连通区域的连通面积与所述第一图像的面积的比值超过比值阈值时,通过所述第一级检测模型检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域;
第二检测模块,用于识别所述第二候选区域中包含的目标物体的目标类别,根据所述目标类别调整第二级检测模型的参数,并根据调整后的第二级检测模型检测所述第二候选区域中的目标区域,其中,所述第二候选区域和目标区域中都包含目标物体,所述第二候选区域的面积大于或等于所述目标区域的面积;
处理模块,用于根据所述目标区域对所述第二图像进行处理。
6.根据权利要求5所述的装置,其特征在于,
所述第一检测模块,还用于当所述第一图像中存在两个或两个以上的连通区域时,统计各个连通区域的连通面积;
当最大连通面积与所述第一图像的面积的比值超过比值阈值时,检测所述第一图像中的第一候选区域,并获取所述第一候选区域在所述第二图像中对应的第二候选区域。
7.根据权利要求5所述的装置,其特征在于,
所述获取模块,还用于获取第一摄像头在曝光时段内采集的至少两张第一初始图像,并获取第二摄像头在所述曝光时段内采集的第二图像;
根据所述至少两张第一初始图像生成所述第一图像。
8.根据权利要求5至7任一项所述的装置,其特征在于,
所述处理模块,还用于当所述目标区域的数量超过数量阈值时,计算各个所述目标区域的面积,作为目标面积;根据所述目标面积超过面积阈值的目标区域对所述第二图像进行处理。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至4中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810962057.8A CN109146906B (zh) | 2018-08-22 | 2018-08-22 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810962057.8A CN109146906B (zh) | 2018-08-22 | 2018-08-22 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109146906A CN109146906A (zh) | 2019-01-04 |
CN109146906B true CN109146906B (zh) | 2021-03-23 |
Family
ID=64790900
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810962057.8A Active CN109146906B (zh) | 2018-08-22 | 2018-08-22 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109146906B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110223338A (zh) * | 2019-06-11 | 2019-09-10 | 中科创达(重庆)汽车科技有限公司 | 基于图像提取的深度信息计算方法、装置及电子设备 |
CN110349216A (zh) * | 2019-07-18 | 2019-10-18 | 合肥泰禾光电科技股份有限公司 | 货箱位置检测方法及装置 |
WO2021087848A1 (zh) * | 2019-11-07 | 2021-05-14 | 华为技术有限公司 | 一种图像数据处理方法和装置 |
CN110866486B (zh) | 2019-11-12 | 2022-06-10 | Oppo广东移动通信有限公司 | 主体检测方法和装置、电子设备、计算机可读存储介质 |
CN111127635B (zh) * | 2019-12-24 | 2023-01-24 | 中国联合网络通信集团有限公司 | 目标物体的检测方法、装置、设备和存储介质 |
CN111680685B (zh) * | 2020-04-14 | 2023-06-06 | 上海高仙自动化科技发展有限公司 | 一种基于图像的定位方法、装置、电子设备及存储介质 |
CN111950345B (zh) * | 2020-06-28 | 2024-09-06 | 七腾机器人有限公司 | 摄像头的识别方法、装置、电子设备和存储介质 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778635B (zh) * | 2006-05-11 | 2016-09-28 | 苹果公司 | 用于处理数据的方法和装置 |
US8233712B2 (en) * | 2006-07-28 | 2012-07-31 | University Of New Brunswick | Methods of segmenting a digital image |
CN104794733B (zh) * | 2014-01-20 | 2018-05-08 | 株式会社理光 | 对象跟踪方法和装置 |
CN104952254B (zh) * | 2014-03-31 | 2018-01-23 | 比亚迪股份有限公司 | 车辆识别方法、装置和车辆 |
CN104268900B (zh) * | 2014-09-26 | 2017-02-15 | 中安消技术有限公司 | 一种运动目标检测方法及装置 |
CN106250850B (zh) * | 2016-07-29 | 2020-02-21 | 深圳市优必选科技有限公司 | 人脸检测跟踪方法及装置、机器人头部转动控制方法及系统 |
CN106384353A (zh) * | 2016-09-12 | 2017-02-08 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于rgbd的目标定位方法 |
CN107886029B (zh) * | 2016-09-30 | 2020-08-25 | 比亚迪股份有限公司 | 定位交通灯背景框的方法、装置及车辆 |
CN106778582B (zh) * | 2016-12-07 | 2020-06-09 | 哈尔滨工业大学 | 基于rgb重构的森林图像切割后的火焰/烟雾识别方法 |
CN107145833A (zh) * | 2017-04-11 | 2017-09-08 | 腾讯科技(上海)有限公司 | 人脸区域的确定方法和装置 |
-
2018
- 2018-08-22 CN CN201810962057.8A patent/CN109146906B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109146906A (zh) | 2019-01-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109146906B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109767467B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
US10997696B2 (en) | Image processing method, apparatus and device | |
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
CN108965732B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN110276767B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110248096B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110473185B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
WO2019148978A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110213494B (zh) | 拍摄方法和装置、电子设备、计算机可读存储介质 | |
CN108989606B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108734676B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109040591B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN110248101B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
CN110349163B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110290323B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN109712177B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN109190533B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN109327626B (zh) | 图像采集方法、装置、电子设备和计算机可读存储介质 | |
CN112004029B (zh) | 曝光处理方法、装置、电子设备、计算机可读存储介质 | |
CN109151303B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
CN109670786B (zh) | 日程生成方法、装置、电子设备、计算机可读存储介质 | |
CN109068060B (zh) | 图像处理方法和装置、终端设备、计算机可读存储介质 | |
CN108600631B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |