CN114766030A - 用于改进的对象检测的方法和设备 - Google Patents

用于改进的对象检测的方法和设备 Download PDF

Info

Publication number
CN114766030A
CN114766030A CN201980103042.9A CN201980103042A CN114766030A CN 114766030 A CN114766030 A CN 114766030A CN 201980103042 A CN201980103042 A CN 201980103042A CN 114766030 A CN114766030 A CN 114766030A
Authority
CN
China
Prior art keywords
image
interest
filtering device
regions
rois
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980103042.9A
Other languages
English (en)
Inventor
A·宏特
H·卡腾科
S·巴斯塔尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Publication of CN114766030A publication Critical patent/CN114766030A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24143Distances to neighbourhood prototypes, e.g. restricted Coulomb energy networks [RCEN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/60Image enhancement or restoration using machine learning, e.g. neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种图像过滤设备(100),所述图像过滤设备包括控制器(101),所述控制器被配置为:接收(212)图像数据文件;针对图像数据文件提议(220)零个或更多个感兴趣区域(ROI);以及为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择(230)自适应过滤,并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI。

Description

用于改进的对象检测的方法和设备
技术领域
本发明涉及用于提供改进的图像过滤的改进方式的设备、包括计算机软件模块的设备、包括电路的设备、装置和方法,并且特定地涉及用于提供改进的提供高效过滤的方式的设备、包括计算机软件模块的设备、包括电路的设备、装置和方法。
背景技术
随着计算机和处理能力增长,计算机视觉的应用和其中利用计算机视觉的任务的复杂性也在增长。为了使此类复杂的任务成为可能,正越来越多地使用人工智能,并且将机器学习广泛应用于此类复杂的机器视觉任务,所述机器视觉任务包括分割和对象检测。
图像分割是将数字图像划分成多个片段(像素组,也称为图像对象)的过程。分割的目的是将图像的表示简化和/或更改为更有意义且更易于分析的事物。图像分割通常用于定位图像中的对象和边界(线、曲线等)。更准确地说,图像分割是为图像中的每个像素指配标签、使得具有相同标签的像素共享某些特性的过程。
对象检测是与计算机视觉和图像处理有关的计算机技术,其涉及检测数字图像和视频中某些类别(诸如人类、建筑物或汽车)的语义对象的实例。对象检测的深入研究领域包括用于检测人类的面部或姿势检测以及车辆相关对象检测(行人、汽车、道路、标志等)。对象检测在计算机视觉的许多领域(包括图像检索、工业用途、机器人视觉和视频监控)中都有应用。
在相机中捕获图像,或者以另一方式从另一图像源接收图像。首先以原始格式接收图像,原始格式基本上对应于从覆盖有颜色过滤器的相机传感器接收的传感器数据。此类颜色过滤器的一个示例是以Bayer格式提供原始文件的Bayer过滤器。对于本文的上下文,原始图像将被视为图像传感器文件,它可能被覆盖有颜色过滤器,但对它没有应用其它过滤。此类原始格式的示例是原始图像传感器格式和CIS(相机图像传感器)格式,且举几例。出于本文的目的,原始图像传感器格式和CIS格式将被称为原始格式。
众所周知,原始图像文件对人类观看来说是不适合的(至少不是最佳的),并且原始图像必须通过图像信号处理过程块(ISP)先经过大量处理或过滤,然后图像才看起来像预期的那样并且可被人类以预期的方式消费。ISP可以是独立且专用的处理器,或者它可以是由处理器在图像文件上作为过程例程执行的一系列指令。对于本文的上下文,不同的ISP之间不会有任何区别,然而它们都将被简称为ISP块或ISP。
可以注意到,将Bayer过滤器应用于传感器数据实际上是由ISP执行的过滤,该ISP添加颜色给最初呈灰度的传感器数据。但是,因为大多数图像传感器在芯片上执行这种Bayer格式化,并且实际的传感器数据不可分开获得,所以原始图像文件将被认为可能包括Bayer格式化。
这些ISP通常执行一系列过滤。过滤的一些示例是去马赛克、降噪、伽马校正、锐化、镜头校正、颜色校正、白平衡调整、曝光调整、自动对焦控制、颜色空间转换、颜色操纵计算、JPEG压缩、H.264、H.265或H.266视频编码,且举几例。确切的过滤器及其功能因相机制造者不同而变化很大,因而不会在本文中详细论述。
应用ISP的目的是提供人类能够观看的图像,并且得到的图像文件经常是以JPEG、TIFF或其它已知的图像格式来提供的。然后将得到的图像馈送到机器学习块或模块,机器学习块或模块基于感兴趣区域,利用例如提供特征图的卷积神经网络执行推理,特征图随后被用于对象检测和/或分割。
计算机视觉系统利用的大部分能量(功率和时间)被推理任务所消耗。然而,随着硬件加速和专用处理器变得越来越演进,用于推理的能量成本减少了。发明人已经意识到过滤或以其它方式处理图像文件所需的能量将因此消耗总系统能量的显著份额,并且发明人已经意识到因而需要用于提供对图像减少处理的方式的装置和方法,同时仍虑及对象检测和/或分割的高精度。
发明内容
发明人已经意识到ISP所执行的大多数过滤(或处理)旨在提供可用于人类视觉的图像。然而,对人类视觉重要的相同方面可能对计算机视觉并不重要、并不需要或者甚至并非有益。随着每个过滤步骤去除或更改初始数据,一些数据可能通过过滤甚至丢失,并且得到的图像可能因而对用于计算机视觉不太有益。
因此,本教导的目的是通过提供以所需尽可能少的过滤在原始图像文件上执行计算机视觉推理的方式,克服或者至少减少或减轻所论述的问题。发明人提议通过在区域提议网络(RPN)中处理未过滤或原始图像数据文件,并且基于所提议区域的概率选择哪个或哪些过滤器要应用于(一个或多个)区域,来适配应用于图像数据文件或图像数据文件的部分(即区域)的过滤的绝妙、简单且精巧的方式。以这种方式,仅提供实际所需的过滤,并且显著减少平均花费在处理上的能量。
根据一个方面,提供一种图像过滤设备,该图像过滤设备包括控制器,该控制器被配置为:接收图像数据文件;b)针对图像数据文件提议零个或更多个感兴趣区域(ROI);以及c)为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择自适应过滤,并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI。
可将解决方案实现为软件解决方案、硬件解决方案或者软件和硬件组件的混合。
在一个实施例中,以原始格式接收图像数据文件,在原始格式中已经应用了颜色过滤器。
在一个实施例中,以原始格式接收图像数据文件,在原始格式中未应用过颜色过滤器。
在一个实施例中,原始格式是原始图像传感器格式。在一个实施例中,原始格式是相机图像传感器(CIS)格式。
在一个实施例中,控制器被进一步配置为:基于感兴趣区域的特性,为该感兴趣区域选择所述自适应过滤。
在一个实施例中,控制器被进一步配置为:基于感兴趣区域的特性超过或达不到阈值,为该感兴趣区域选择所述自适应过滤。
在一个实施例中,感兴趣区域的特性是该区域包含对象的概率(P)。
在一个实施例中,控制器被进一步配置为:为具有第一概率的第一感兴趣区域选择第一组过滤器(ISP)并且为具有第二概率的第二感兴趣区域选择第二组过滤器(ISP),其中第一概率高于第二概率,并且其中第一组过滤器(ISP)表示比第二组过滤器(ISP)更广泛的过滤。
在一个实施例中,控制器被进一步配置为:为所提议的零个或更多个感兴趣区域(ROI)中的每个ROI选择自适应过滤,并且使所选择的自适应过滤适合于所提议的零个或更多个感兴趣区域(ROI)中的每个ROI。
在一个实施例中,控制器被进一步配置为:为图像数据文件中未被提议为感兴趣区域(ROI)的区域选择零过滤器(ISP)作为自适应过滤。
在一个实施例中,控制器被进一步配置为:为第一感兴趣区域选择第一组过滤器(ISP)并且为第二感兴趣区域选择第二组过滤器(ISP),其中第一组过滤器(ISP)包括第一类型和/或变体的至少一个过滤器(ISP),并且第二组过滤器(ISP)包括第二类型和/或变体的至少一个过滤器(ISP)。
在一个实施例中,控制器被进一步配置为:在提议区域之前,应用至少一个共同过滤器(ISP)。
在一个此类实施例中,至少一个共同过滤器(ISP)被布置为处置或实现Bayer格式过滤器。
在备选或附加的此类实施例中,控制器被进一步配置为:在应用所选择的过滤器(ISP)之后,对感兴趣区域(ROI)应用进一步处理。在一个此类实施例中,进一步处理是对象检测。在一个此类实施例中,对象检测是基于深度神经网络模型。
在一个实施例中,图像过滤设备被包括在相机或其它图像传感器装置中。
在一个实施例中,图像过滤设备是可能要与另一装置一起或者在另一装置中使用的显示器。
在一个实施例中,图像过滤设备是智能电话或平板计算机。
在一个实施例中,图像过滤设备是虚拟现实装置。
在一个实施例中,图像过滤设备是AR/MR(光学透视)装置。
在一个实施例中,图像过滤设备被布置为用于图像检索、工业用途、机器人视觉和/或视频监控中。
根据一个方面,提供一种供图像过滤设备中使用的方法,该方法包括:a)接收图像数据文件;b)针对图像数据文件提议零个或更多个感兴趣区域(ROI);以及c)为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择自适应过滤,并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI。
根据一个方面,提供一种携带计算机指令的计算机可读介质,该计算机指令在被加载到图像过滤设备的控制器中并由该控制器执行时,使图像过滤设备能够实现根据本文的方法。
根据一个方面,提供一种用于在图像过滤设备中过滤图像文件的软件组件设备,其中该软件组件设备包括:a)用于接收图像数据文件的软件组件;b)用于针对图像数据文件提议零个或更多个感兴趣区域(ROI)的软件组件;以及c)用于为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择自适应过滤、并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI的软件组件。
根据一个方面,提供一种设备,该设备包括用于在图像过滤设备中过滤图像的电路,其中包括电路的该设备包括:a)用于接收图像数据文件的电路;b)用于针对图像数据文件提议零个或更多个感兴趣区域(ROI)的电路;以及c)用于为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择自适应过滤、并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI的电路。
应该注意,即使这些教导被公开为用于对象检测,它们也可同样被应用于分割,并且在本文中对象检测和分割之间不会有任何区别。将在详细描述中给出本发明的进一步实施例和优势。应该注意,在包括图像检索、工业用途、机器人视觉、增强现实和视频监控在内的计算机视觉的许多领域中,本文中的教导在对象检测、图像分类和图像过滤设备中得到应用。
附图说明
下面将参考附图描述本发明的实施例,这些附图示出如何能将本发明概念转化为实践的非限制性示例。
图1A示出根据本发明的实施例的图像过滤设备的示意图;
图1B示出根据本发明的实施例的图像过滤设备的示意图;
图1C示出根据本发明的实施例的图像过滤设备的示意图;
图2示出根据本文教导的一个实施例的包括过滤器设备的对象检测模型的示意图;
图3示出根据本发明的实施例的一般方法的流程图;
图4示出根据本文教导的实施例的软件组件设备的组件视图;
图5示出根据本文教导的实施例的包括电路的设备的组件视图;以及
图6示出携带计算机指令的计算机可读介质的示意图,该计算机指令在被加载到设备的控制器中并由该控制器执行时,使该设备能够实现本发明的实施例。
具体实施方式
图1A示出根据本发明的实施例的图像过滤设备100的示意图。图像过滤设备包括控制器101、存储器102、图像数据接收装置112(诸如例如相机或图像传感器、图像流播装置(诸如通信接口)或者被布置为从存储器102读取图像数据的图像数据读取装置)。控制器101被配置为:从图像数据接收装置112接收与至少某一图像对应的至少一个图像数据文件,并且诸如通过将一些ISP应用到图像数据文件来执行过滤,随后对得到的图像(的部分)执行对象检测(或图像分类或分割)。图像数据接收装置112可通过被容纳在与图像过滤设备相同的外壳中,或者通过由有线连接或无线地与它连接,被包括在图像过滤设备100中。
应该注意,图像过滤设备100可包括单个装置,或者可跨若干装置和设备分布。
控制器101还被配置为控制图像过滤设备100的整体操作。在一个实施例中,控制器101是图形控制器。在一个实施例中,控制器101是通用控制器。在一个实施例中,控制器101是图形控制器和通用控制器的组合。如技术人员将会理解的,对于如何实现控制器,有许多备选方案,诸如使用现场可编程门阵列电路、AISIC、GPU等作为附加或备选方案。出于本申请的目的,所有此类可能性和备选方案将被简称为控制器101。
存储器102被配置为存储图形数据和计算机可读指令,这些指令在被加载到控制器101中时,指示要如何控制图像过滤设备100。存储器102可包括若干存储器单元或装置,但是它们将被感知为同一整体存储器102的部分。可以有一个用于显示设备的存储器单元(存储图形数据),一个用于图像捕获装置的存储器单元(存储设置),一个用于通信接口(参见下文)的存储器(用于存储设置),等等。如技术人员将会理解的,对于如何选择应在哪里存储数据,有许多可能性,并且用于图像过滤设备100的通用存储器102因此被视为包括用于本申请的目的的随便什么此类存储器单元。如技术人员将会理解的,对于如何实现存储器,有许多备选方案,例如使用非易失性存储器电路(诸如EEPROM存储器电路),或者使用易失性存储器电路(诸如RAM存储器电路)。出于本申请的目的,所有此类备选方案将被简称为存储器102。
应该注意,在包括混合或增强现实系统中的对象检测、图像检索、工业用途、机器人视觉和视频监控在内的计算机视觉的许多领域中,本文中的教导在用于对象检测、分割和图像过滤的设备中得到应用,其中可利用诸如图1A中的基本图像过滤设备100。在一个实施例中,图像过滤设备100是数码相机或其它图像传感器装置(或者被包括在此类装置中)。在一个实施例中,图像过滤设备100连接到数码相机或其它图像传感器装置。
图1B示出根据本发明的实施例的图像过滤设备100的示意图,该图像过滤设备是观看装置。在这个实施例中,观看装置100是智能电话或平板计算机。在此类实施例中,观看装置进一步包括显示设备110,其可以是触摸显示器,并且图像数据接收装置112可以是智能电话或平板计算机的一系列相机。在此类实施例中,控制器101被配置为:从相机(或其它图像接收装置)112接收图像,检测图像中的对象,并且在显示设备110上显示图像连同指示或关联(一个或多个)所检测对象的虚拟内容。在图1B的示例实施例中,相机112被布置在图像过滤设备100的背侧(显示器110的相对侧,如相机112的虚线轮廓所指示),用于使图像过滤设备100背后的现实生活对象能够被捕获,并与任何显示的虚拟内容一起在显示器110上显示给用户(图1B中未示出)。所显示的虚拟内容可以是信息和/或图形,其指示所检测对象和/或给出关于所检测对象的信息。
图1C示出根据本发明的实施例的图像过滤设备的示意图,该图像过滤设备是光学透视(OST)观看装置100或者是其部分。观看装置100是透视装置,其中用户通过一端向里看,并且看到在观看装置100的另一端在视线中的现实生活对象。在一个实施例中,观看装置100是虚拟现实装置。
在一个实施例中,观看装置100是头戴式观看装置100,其要由用户(图1C中未明确示出)佩戴以透过观看装置100观看。在一个此类实施例中,观看装置100被布置为要由用户佩戴的眼镜或者其它眼部佩戴物(包括护目镜)。
在一个实施例中,观看装置100被布置为手持式,由此用户可以举起观看装置100以透过它观看。
在一个实施例中,观看装置100被布置为安装在例如三脚架上,由此用户可以将观看装置100安装在方便的设备中,以便透过它观看。在一个此类实施例中,观看装置100可被安装在汽车或其它交通工具的仪表板上。
观看装置包括用于向观看者呈现虚拟内容的显示设备110和用于识别或检测对象的图像数据接收装置112。如上文参考图1A所公开的,图像数据接收装置112可以是远程的并且通过与图像过滤设备100的连接被包括在图像过滤设备中。
在下文中,将对图1A、图1B和图1C的图像过滤设备100进行同时参考。
还应该注意,为了高级照片操纵效果,即使在上文中只论述了一个图像数据接收装置112,该图像数据接收装置也被布置为接收与不止一个图像(诸如视频序列)有关或来自并行图像源的图像数据。
在一个实施例中,图像过滤设备100可进一步包括通信接口103。通信接口可以是有线的和/或无线的。通信接口可包括若干接口。
在一个实施例中,通信接口包括USB(通用串行总线)接口。在一个实施例中,通信接口包括HDMI(高清晰度多媒体接口)接口。在一个实施例中,通信接口包括显示端口接口。在一个实施例中,通信接口包括以太网接口。在一个实施例中,通信接口包括MIPI(移动行业处理器接口)接口。在一个实施例中,通信接口包括模拟接口、CAN(控制器区域网络)总线接口、I2C(集成电路之间)接口或者其它接口。
在一个实施例中,通信接口包括射频(RF)通信接口。在一个此类实施例中,通信接口包括BluetoothTM接口、WiFiTM接口、ZigBeeTM接口、RFIDTM(射频标识符)接口、无线显示(WiDi)接口、Miracast接口和/或常用于短程RF通信的其它RF接口。在备选的或补充的此类实施例中,通信接口包括蜂窝通信接口,诸如第五代(5G)蜂窝通信接口、LTE(长期演进)接口、GSM(全球移动系统)接口和/或常用于蜂窝通信的其它接口。在一个实施例中,通信接口被配置为使用UPnP(通用即插即用)协议来通信。在一个实施例中,通信接口被配置为使用DLNA(数字生活网络联盟)协议来通信。
在一个实施例中,通信接口103被配置为使得通过上文给出的示例技术中的不止一种技术能够通信。作为示例,诸如MIPI之类的有线接口可以用于在显示设备、控制器和用户接口之间建立接口,并且可以使用无线接口(例如WiFiTM)使得在图像过滤设备100和外部主机装置(未示出)之间能够通信。
通信接口103可被配置为使图像过滤设备100能够与其它装置通信,所述其它装置是诸如其它图像过滤设备100和/或智能电话、互联网平板、计算机平板或其它计算机、媒体装置(诸如电视机、游戏控制台、视频观看器或投影仪(未示出))、或者用于接收图像数据流的图像捕获装置。
用户接口104可被包括在图像过滤设备100中(仅在图1B中示出)。附加地或备选地,用户接口104(的至少一部分)可通过通信接口103被远程地包括在图像过滤设备100中,该用户接口(它的至少一部分)则不是图像过滤设备100中的物理器件,但是通过经由通信接口103通过远程装置(未示出)接收用户输入来实现。此类远程装置的一个示例是游戏控制器、移动电话手机、平板计算机或计算机。
当今的对象检测算法使用已经处理过的图像来进行训练和推理。这意味着,当图像被馈送到实现此类训练和推理的神经网络时,图像需要经过装置的完整图像处理,即图像信号传输处理器中的所有过滤器都运行。这将针对人类视觉优化图像,然而,如发明人已经意识到的,这与针对计算机视觉任务优化图像不一定相同。因此,发明人提议通过将区域提议网络(RPN)应用于原始格式图像数据文件,并且分析来自RPN的信息以仅选择ISP中最有益于对象检测、分割或其它后续任务的过滤器,使得针对对象检测网络(或其它网络)而不是人类视觉优化图像或图像的部分,来解决过多能量用于过滤的问题。
图2示出根据本文教导的一个实施例的包括图像过滤设备模型100'(示出图像过滤设备100的处理模块)的图像处理模型200(诸如对象检测模型)的示意图。图像过滤设备模型100'(以及可能还有对象检测模型200的其余部分)被布置为由根据本文的图像过滤设备100的控制器101、根据本文的软件组件设备400、包括根据本文的电路500或由根据本文的方法利用的设备来执行。应该注意,图像过滤设备模型的不同部分可由对应的执行设备的不同部分来执行。
图像过滤设备模型100包括接收图像数据文件的图像数据接收器212。图像数据流接收器212可操作地连接到图像源;在一个实施例中,图像过滤设备100的图像接收装置112,并且在一个此类实施例中,通过被包括在对应的图像接收装置112中。
图像数据文件包括表示图像的图像传感器数据。在一个实施例中,传感器数据已被应用颜色格式过滤器。这种颜色格式过滤器的一个示例是Bayer过滤器。因而以原始格式接收图像数据文件。
图像过滤设备模型100'进一步包括区域提议网络(RPN)220。在一个实施例中,RPN是神经网络,该神经网络识别和提议图像数据文件的区域,这些区域对应于(一个或多个)对象可能存在的区域,即感兴趣区域(ROI)。区域ROI可与该区域包括对象的概率P相关联。如图2中所示,RPN可提议零个或更多个ROI。在图2的示意图中,这由块ROI-1、ROI-2和ROI-n来指示,这些块指示编号为1到n的一系列ROI(如果n=0,则可能为0个ROI)。
图像过滤设备模型100'进一步包括图像映射模块(M)230,该图像映射模块接收至少一个ROI,并且基于ROI的特性,诸如相关联的概率P(如果提供此类的话),选择应该应用于该ROI的过滤器或过滤器组(ISP),提供ROI的适配过滤。在一个实施例中,映射模块被布置为选择要应用的各个过滤器,从而允许高度定制的过滤。在一个实施例中,映射模块被布置为选择要应用的过滤器组,从而允许更容易实现映射模块。
在图2中,应用于不同ROI的不同过滤器由块ISP-1、ISP-2和ISP-r指示,该块ISP-1、ISP-2和ISP-r是分别应用于ROI-1、ROI-2和ROI-n的过滤器(组)。应该注意,ROI中的一些可被应用相同的过滤器(组),并且因而过滤器(组)的数量可与ROI的数量不同。
如上所述,可基于与感兴趣区域相关联的概率来选择要应用的过滤器。发明人已经意识到,与包含(一个或多个)对象的高概率相关联的区域已经表现出计算机视觉任务可识别(尽管人类不可识别)的特征,并且不需要更多进一步过滤。而与低概率相关联的区域尚未表现出此类特征,并且可能需要更多过滤以使此类特征显现/清晰地可检测。在一个实施例中,映射模块230被布置为对与较低概率P相关联的ROI选择更广泛的过滤(诸如更多数量的过滤器和/或更高级的过滤器),而对与较高概率P相关联的ROI选择更限制的过滤(诸如更少数量的过滤器和/或不太高级的过滤器)。在此类实施例中,映射模块230因而被布置为基于相关联的概率P为ROI选择过滤量。
在一个实施例中,映射模块230被布置为:如果概率超过第一阈值,则选择第一组过滤器,而如果概率达不到第一阈值,则选择第二组过滤器,其中第二组过滤器提供比第一组过滤器更广泛的过滤。
在一个此类实施例中,映射模块230被进一步布置为:只有概率也超过第二阈值,才选择第二组过滤器,并且如果概率达不到第二阈值,则选择第三组过滤器,其中第三组过滤器提供比第二组过滤器更广泛的过滤。
以此类方式,对尚未包括清晰地可检测的特征的ROI应用更广泛的过滤,甚至为较低质量的ROI提供高精度。
应该注意,过滤器组可能为空的,指示不需要进一步过滤。
如图2中可见,仅选择感兴趣区域(ROI)进行自适应过滤。RPN未指示为感兴趣的区域不被过滤。通过在开始时简单且精巧地应用RPN并因而忽略图像的一些区域,平均而言显著减少所需的能量,因为大多数图像在统计上包含对于查找对象或片段(或其它处理)并非感兴趣的大部分。
阈值可与基于区域的特征的数量、清晰度和/或精度在该区域中找到对象的概率有关。阈值可还或备选地与区域中潜在对象的数量有关。阈值可还或备选地与区域的大小有关。
因而,在一些实施例中,阈值可以是多维的。
阈值可由系统设计者提供,或者更有可能在图像过滤设备的训练期间由系统学习,由此选择为进一步处理提供良好结果的阈值以供进一步使用。因此,过滤器映射可通过端到端训练来学习,尤其是在利用深度学习机制进行进一步处理时。
可设立映射模块,该映射模块指示对于哪个概率(或其它特性)或者可能对于哪个或哪些阈值要使用哪个过滤器(组)。映射模块可为不同区域指示不同的过滤器,但是也可或者备选地可为不同区域指示相同大类的过滤器的不同类型或参数。例如,一个区域可被应用具有一个或一些特性的去马赛克过滤器,而另一个区域可被应用具有另一个或另一些特性的(第二个)去马赛克过滤器。
不同过滤器的示例包括但不限于去马赛克、降噪、伽马校正、锐化、镜头校正、颜色校正、白平衡调整、曝光调整、自动对焦控制、颜色空间转换、颜色操纵计算、JPEG压缩、H.264、H.265或H.266视频编码,且举几例。
不同特性的示例包括但不限于功率使用、边缘增强、颜色增强、曝光曲线和所用算法的复杂性,且举几例。
映射模块因而可被布置为选择针对区域的过滤器映射(filter map),该过滤器映射指示所有可用过滤器和此类过滤器的特性或变体中的哪些要用于该区域。
要应用的过滤器(组)可由系统设计者提供,或者更有可能在图像过滤设备的训练期间由系统学习,由此选择为进一步处理提供良好结果的过滤器组以供进一步使用。
随着图像数据文件-确切地说,图像的感兴趣区域-已经被过滤,感兴趣区域被转发以进行进一步处理,诸如被转发到对象检测模块240,该对象检测模块对感兴趣区域执行推理和随后的对象检测,提供零个或更多个对象(有可能为0个对象)。
在图2的示意图中,这由对象-1、对象-2和对象-m这些块来指示,对象-1、对象-2和对象-m指示编号为1到m的一系列对象(如果m=0,可能为0个对象)。应该注意,因为每个ROI可能包括零个、一个或若干个对象,所以ROI的数量与对象的数量之间不存在直接相关性,并且n可能等于m,n可能小于m,或者n可能大于m。
应该注意,对象检测只是进一步处理的示例,并且对象检测模块240可被分割模块240或其它进一步处理模块240代替,提供与对象1至m不同的结果。
如上文已经论述的,自适应过滤可被应用于包括未处理的传感器数据的图像数据文件,或者它可被应用于对其已经应用了颜色过滤器的图像数据文件。诸如Bayer过滤器之类的颜色过滤器是共同过滤器215的示例,可在应用RPN之前将共同过滤器215应用于所有图像数据文件。如图2中所指示,可以或者作为所有过滤器组的部分或者可选地(由虚线框指示)作为共同过滤器215来应用共同过滤器。返回到未被RPN提议的区域或部分,它们也可被应用为图像数据文件的所有部分提供最小过滤的共同过滤器,或者根本未被过滤。
在一个实施例中,RPN 220被布置为递归的,因为它实现时间动态行为,其中,对一个图像数据文件执行的分析的结果的至少一部分被反馈并提供为用于要对将来或以后图像数据文件执行的分析的输入。这由图2中的反馈箭头指示,该反馈箭头被指示为具有与它相关联的延迟(由三角形中的‘d’指示)。延迟指示一个帧(i-1)的输出用作后续帧(i)的输入。应该注意,延迟不必针对单个下一帧,而是能够备选地或附加地针对一个或若干个帧,并且在时间上针对一个或若干个帧。RPN 230是递归的或表现出时间动态行为,这为区域识别提供了时间方面,并且RPN因而是基于时间方面(因为共同特征提取器230表现出时间动态行为)和空间方面这两者。
进一步处理可以是包括推理的对象检测模块240,该推理是基于递归神经网络(RNN),并且在一个此类实施例中是基于RNN和CNN(卷积神经网络)层的组合。
由于发明人已经巧妙地意识到,正常作为CNN的部分应用以进行推理的RPN可能已经被应用在原始文件格式上,因此无需再次执行RPN,并且就从一开始只为推理提供感兴趣区域。
在一个实施例中,图像过滤设备100被配置为利用基于机器学习的对象检测模型执行对象检测(或分割)。在一个此类实施例中,机器学习是基于深度学习神经网络。因而可采用RPN作为更快RCNN对象检测模型的适配或修改版本。
发明人已经进一步意识到,自适应过滤的想法可扩展到自适应推理和/或自适应对象检测(或自适应分割),以进一步节省能量。在此类实施例中,可通过基于ROI的特性(诸如区域的相关联的概率、大小和/或形状)为不同的ROI提供不同的推理和/或对象检测算法或网络,来适配不同的进一步处理(以对象检测240为例)。例如,如同过滤一样,发明人已经意识到,具有高概率(或其它特性)的ROI最有可能已经表现出可识别的特征,由此针对此类区域可将推理简化为不太广泛或不太高级的推理。这同样可被应用于对象检测,其中简单的对象检测过程可被应用于具有更高概率(或其它特性)的ROI。
图3示出根据本文教导的实施例的一般方法的流程图。该方法利用如本文中所教导的图像过滤设备100。该方法包括:图像过滤设备100接收312图像数据文件,该图像数据文件可以是原始格式的。图像过滤设备100在RPN中处理该图像,以针对图像数据文件提议320零个或更多个感兴趣区域(ROI)。图像过滤设备100为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择330自适应过滤,并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI。
图4示出根据本文教导的实施例的软件组件(或模块)设备400的组件视图。软件组件设备400适合用于如本文中所教导的图像过滤设备100中,以提供如本文中所教导的图像过滤和可能的后续对象检测或分割。
软件组件设备400包括用于接收412可能是原始格式的图像数据文件的软件组件。
软件组件设备400还包括:用于针对图像数据文件提议420零个或更多个感兴趣区域(ROI)的软件组件;以及用于为所提议的零个或更多个感兴趣区域中的至少一个ROI选择430自适应过滤、并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域中的至少一个ROI的软件组件。
图5示出根据本文教导的实施例的包括用于图像过滤的电路的设备500的组件视图。包括用于图像过滤的电路的设备500适合用于如本文中教导的图像过滤设备100中,以提供图像过滤和可能的后续对象检测和/或分割。
图5的包括用于图像过滤的电路的设备500包括用于接收可能是原始格式的图像数据文件的电路512。
包括用于图像过滤的电路的设备500还包括:用于针对图像数据文件提议520零个或更多个感兴趣区域(ROI)的电路;以及用于为所提议的零个或更多个感兴趣区域中的至少一个ROI选择530自适应过滤、并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域中的至少一个ROI的电路。
图6示出携带计算机指令121的计算机可读介质120的示意图,该计算机指令在被加载到图像过滤设备100的控制器中并由该控制器执行时,使图像过滤设备100能够实现本发明。
计算机可读介质120可以是有形的,诸如硬盘驱动器或闪存,例如USB记忆棒或云服务器。备选地,计算机可读介质120可以是无形的,诸如携带计算机指令的信号,使计算机指令能够通过诸如互联网连接之类的网络连接来下载。
在图6的示例中,计算机可读介质120被示为携带计算机可读计算机指令121的计算机盘120,该计算机盘被插入计算机盘读取器122中。计算机盘读取器122可以是云服务器123或其它服务器的一部分,或者计算机盘读取器可被连接到云服务器123或其它服务器。云服务器123可以是互联网的一部分或至少连接到互联网。云服务器123可备选地通过专有或专用连接来连接。在一个示例实施例中,计算机指令被存储在远程服务器123处并且被下载到图像过滤设备100的存储器102,以便由控制器101执行。
计算机盘读取器122可还或备选地连接到(或可能插入)图像过滤设备100,用于将计算机可读计算机指令121(推测是经由图像过滤设备100的存储器)传送到图像过滤设备的控制器。
图6示出图像过滤设备100经由无线服务器连接(无形的)接收计算机可读计算机指令121的情况和另一个图像过滤设备100通过有线接口(有形的)接收计算机可读计算机指令121的情况这两者。这允许计算机可读计算机指令121被下载到图像过滤设备100中,从而使图像过滤设备100能够根据本文所公开的发明来操作并且实现本文中所公开的发明。

Claims (22)

1.一种图像过滤设备(100),所述图像过滤设备包括控制器(101),所述控制器被配置为:
a)接收(212)图像数据文件;
b)针对所述图像数据文件提议(220)零个或更多个感兴趣区域(ROI);以及
c)为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择(230)自适应过滤,并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的所述至少一个ROI。
2.根据权利要求1所述的图像过滤设备(100),其中,所述图像数据文件是原始格式的。
3.根据权利要求1或2所述的图像过滤设备(100),其中,所述控制器(101)被进一步配置为:基于感兴趣区域的特性,为所述感兴趣区域选择(330)所述自适应过滤。
4.根据权利要求1、2或3所述的图像过滤设备(100),其中,所述控制器(101)被进一步配置为:基于感兴趣区域的特性超过或达不到阈值,为所述感兴趣区域选择(330)所述自适应过滤。
5.根据权利要求3或4所述的图像过滤设备(100),其中,所述感兴趣区域的所述特性是所述区域包含对象的概率(P)。
6.根据权利要求5所述的图像过滤设备(100),其中,所述控制器(101)被进一步配置为:为具有第一概率的第一感兴趣区域选择第一组过滤器(ISP)并且为具有第二概率的第二感兴趣区域选择第二组过滤器(ISP),其中所述第一概率高于所述第二概率,并且其中所述第一组过滤器(ISP)表示比所述第二组过滤器(ISP)更广泛的过滤。
7.根据任一前述权利要求所述的图像过滤设备(100),其中,所述控制器(101)被进一步配置为:为所提议的零个或更多个感兴趣区域(ROI)中的每个ROI选择(330)自适应过滤,并且使所选择的自适应过滤适合于所提议的零个或更多个感兴趣区域(ROI)中的每个ROI。
8.根据任一前述权利要求所述的图像过滤设备(100),其中,所述控制器(101)被进一步配置为:为所述图像数据文件中未被提议为感兴趣区域(ROI)的区域选择零过滤器(ISP)作为自适应过滤。
9.根据任一前述权利要求所述的图像过滤设备(100),其中,所述控制器(101)被进一步配置为:为第一感兴趣区域选择第一组过滤器(ISP)并且为第二感兴趣区域选择第二组过滤器(ISP),其中所述第一组过滤器(ISP)包括第一类型和/或变体的至少一个过滤器(ISP),并且所述第二组过滤器(ISP)包括第二类型和/或变体的至少一个过滤器(ISP)。
10.根据任一前述权利要求所述的图像过滤设备(100),其中,所述控制器(101)被进一步配置为:在提议区域之前,应用(215)至少一个共同过滤器(ISP)。
11.根据权利要求10所述的图像过滤设备(100),其中,所述至少一个共同过滤器(ISP)是Bayer格式过滤器。
12.根据任一前述权利要求所述的图像过滤设备(100),其中,所述控制器(101)被进一步配置为:在应用所选择的过滤器(ISP)之后,对所述感兴趣区域(ROI)应用进一步处理(240)。
13.根据权利要求12所述的图像过滤设备(100),其中,所述进一步处理是对象检测。
14.根据权利要求13所述的图像过滤设备(100),其中,所述对象检测是基于深度神经网络模型。
15.根据任一前述权利要求所述的图像过滤设备(100),其中,所述图像过滤设备(100)是相机装置。
16.根据权利要求1至14中的任一项所述的图像过滤设备(100),其中,所述图像过滤设备(100)是智能电话或平板计算机。
17.根据权利要求1至14中的任一项所述的图像过滤设备(100),其中,所述图像过滤设备(100)是光学透视装置(100)。
18.根据权利要求1至15中的任一项所述的图像过滤设备(100),其中,所述图像过滤设备(100)被布置为用于图像检索、工业用途、机器人视觉和/或视频监控中。
19.一种用于图像过滤设备(100)中的对象检测的方法,其中,所述方法包括:
a)接收(312)图像数据文件;
b)针对所述图像数据文件提议(320)零个或更多个感兴趣区域(ROI);以及
c)为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择(330)自适应过滤,并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的所述至少一个ROI。
20.一种计算机可读介质(120),所述计算机可读介质携带计算机指令(121),所述计算机指令(121)在被加载到图像过滤设备(100)的控制器(101)中并且由所述控制器(101)执行时,使所述图像过滤设备(100)能够实现根据权利要求19所述的方法。
21.一种用于在图像过滤设备(100)中过滤图像的软件组件设备(400),其中,所述软件组件设备(400)包括:
a)用于接收(412)图像数据文件的软件组件;
b)用于针对所述图像数据文件提议(420)零个或更多个感兴趣区域(ROI)的软件组件;以及
c)用于为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择(430)自适应过滤、并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的所述至少一个ROI的软件组件。
22.一种图像过滤设备(500),包括用于过滤图像的电路,所述电路包括:
a)用于接收(512)图像数据文件的电路;
b)用于针对所述图像数据文件提议(520)零个或更多个感兴趣区域(ROI)的电路;以及
c)用于为所提议的零个或更多个感兴趣区域(ROI)中的至少一个ROI选择(530)自适应过滤、并且将所选择的自适应过滤应用于所提议的零个或更多个感兴趣区域(ROI)中的所述至少一个ROI的电路。
CN201980103042.9A 2019-12-16 2019-12-16 用于改进的对象检测的方法和设备 Pending CN114766030A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2019/085417 WO2021121548A1 (en) 2019-12-16 2019-12-16 Method and apparatus for improved object detection

Publications (1)

Publication Number Publication Date
CN114766030A true CN114766030A (zh) 2022-07-19

Family

ID=68987699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980103042.9A Pending CN114766030A (zh) 2019-12-16 2019-12-16 用于改进的对象检测的方法和设备

Country Status (4)

Country Link
US (1) US20220414830A1 (zh)
EP (1) EP4078504A1 (zh)
CN (1) CN114766030A (zh)
WO (1) WO2021121548A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823430B2 (en) * 2021-07-16 2023-11-21 Arm Limited Video data processing
CN116524196B (zh) * 2023-06-21 2023-09-01 南方电网数字平台科技(广东)有限公司 一种基于图像识别技术的输电线智能检测系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620246B2 (en) * 2002-07-30 2009-11-17 Fujifilm Corporation Method and apparatus for image processing
JP2007264742A (ja) * 2006-03-27 2007-10-11 Fujifilm Corp 顔検出方法おならびにこれを用いた撮影装置
JP6027287B2 (ja) * 2014-03-28 2016-11-16 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US11093793B2 (en) * 2017-08-29 2021-08-17 Vintra, Inc. Systems and methods for a tailored neural network detector
KR20190118075A (ko) * 2018-04-09 2019-10-17 삼성전자주식회사 단층 촬영 장치 및 그에 따른 단층 영상 처리 방법

Also Published As

Publication number Publication date
US20220414830A1 (en) 2022-12-29
EP4078504A1 (en) 2022-10-26
WO2021121548A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
WO2016101883A1 (zh) 一种即时视频中的人脸美化方法和电子设备
EP3499410A1 (en) Image processing method and apparatus, and electronic device
EP3707671B1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
CN108717530B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
WO2020082382A1 (en) Method and system of neural network object recognition for image processing
CN107704798B (zh) 图像虚化方法、装置、计算机可读存储介质和计算机设备
US8798369B2 (en) Apparatus and method for estimating the number of objects included in an image
US20190251670A1 (en) Electronic device and method for correcting images using external electronic device
CN114766030A (zh) 用于改进的对象检测的方法和设备
CN111880711B (zh) 显示控制方法、装置、电子设备及存储介质
CN108574803B (zh) 图像的选取方法、装置、存储介质及电子设备
CN108401110A (zh) 图像的获取方法、装置、存储介质及电子设备
KR20200009922A (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
US9088699B2 (en) Image communication method and apparatus which controls the output of a captured image
US20230206449A1 (en) Computer Software Module Arrangement, a Circuitry Arrangement, an Arrangement and a Method for Improved Image Processing
KR102499187B1 (ko) 카메라를 이용하여 획득한 이미지를 압축 처리하는 전자 장치 및 그 동작 방법
US11928797B2 (en) Electronic device and method for acquiring a synthesized image
KR20190098406A (ko) 전자 장치 및 전자 장치의 이미지 처리 방법
CN110475044B (zh) 图像传输方法和装置、电子设备、计算机可读存储介质
CN115115526A (zh) 图像处理方法及装置、存储介质和图形计算处理器
CN113557522A (zh) 基于相机统计的图像帧预处理
CN112087556A (zh) 一种暗光成像方法、装置、可读存储介质及终端设备
KR20190101833A (ko) 이미지가 분할된 복수의 블록들의 압축과 관련된 압축 손실 데이터에 기반하여 이미지를 압축하는 전자 장치 및 그 동작 방법
US20230100728A1 (en) A system, an arrangement, a computer software module arrangement, a circuitry arrangement and a method for improved image processing utilzing two entities
US11323654B2 (en) Electronic device and method capable of compressing image on basis of attributes of image data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination