CN107220942B - 用于动态视觉传感器的图像表示和处理的方法和装置 - Google Patents

用于动态视觉传感器的图像表示和处理的方法和装置 Download PDF

Info

Publication number
CN107220942B
CN107220942B CN201710172554.3A CN201710172554A CN107220942B CN 107220942 B CN107220942 B CN 107220942B CN 201710172554 A CN201710172554 A CN 201710172554A CN 107220942 B CN107220942 B CN 107220942B
Authority
CN
China
Prior art keywords
image
event
unit
events
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710172554.3A
Other languages
English (en)
Other versions
CN107220942A (zh
Inventor
冀正平
李圭彬
张强
王一兵
柳贤锡
I.奥夫沙恩尼科夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN107220942A publication Critical patent/CN107220942A/zh
Application granted granted Critical
Publication of CN107220942B publication Critical patent/CN107220942B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/007—Digital input from or digital output to memories of the shift register type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

一种装置和方法。该装置包括图像表示单元，该图像表示单元配置成接收从由动态视觉传感器(DVS)感测的事件产生的帧序列并且从非噪声事件产生置信图；以及图像去噪单元，该图像去噪单元连接至该图像表示单元并且配置成在时空域中将图像去噪。该方法包括由图像表示单元接收从由DVS感测的事件产生的帧序列，并且从非噪声事件产生置信图；以及由连接至该图像表示单元的图像去噪单元在时空域中将从所述帧形成的图像去噪。

Description

用于动态视觉传感器的图像表示和处理的方法和装置
优先权
此申请要求2016年3月22日在美国专利商标局提交并且被分配序号62/311,599的美国临时专利申请的优先权，通过引用将其全部内容结合在此。
技术领域
本发明大体上涉及一种图像表示和处理的方法和装置，并且更具体地涉及一种用于动态视觉传感器(DVS)的图像表示和处理的方法和装置。
背景技术
DVS是感测亮度变化的基于事件的摄像机。DVS并非以帧捕捉场景，而是功能类似于人类视网膜。即，DVS仅在事件发生时发送场景内特定位置处的像素亮度的变化(例如，事件)。DVS的输出是事件流，其中每个事件与事件状态相关联。
因为DVS是没有时间积分的异步传感器，所以使用DVS形成的图像通常含有大量噪声。将噪声滤波是DVS提供场景的有效表示的最重要的步骤之一。常规的图像去噪是基于用于滤波的模板，其分析一组像素并且寻找偏置像素作为噪声滤除，其中仅像素的空间相关性要紧。然而，DVS的每个事件不仅与空间信息(即，像素相对于其它像素的位置的位置)相关联，而且与时间信息(即，像素信息相对于其它像素的信息的到达时间的到达时间)相关联。
发明内容
根据一个实施例，一种装置包括图像表示单元，该图像表示单元配置成接收从由动态视觉传感器(DVS)感测的事件产生的帧序列并且从非噪声事件产生置信图；以及图像去噪单元，该图像去噪单元连接至该图像表示单元并且配置成在时空域中将图像去噪。
根据一个实施例，一种装置包括DVS，该DVS配置成产生事件流；采样单元，该采样单元连接至该DVS并且配置成对该事件流采样；图像形成单元，该图像形成单元连接至该采样单元并且配置成对于该事件流的每个样本形成图像；图像表示单元，该图像表示单元连接至该图像形成单元并且配置成产生非噪声事件的置信图；图像去失真单元，该图像去失真单元连接至该图像表示单元并且配置成补偿帧中的失真；以及图像匹配单元，该图像匹配单元连接至该图像去失真单元和该采样单元，并且配置成匹配帧且必要时调整采样单元的采样方法。
根据一个实施例，一种方法包括由图像表示单元接收从由DVS感测的事件产生的帧序列，并且产生非噪声事件的置信图；以及由连接至该图像表示单元的图像去噪单元在时空域中将从这些帧形成的图像去噪。
根据一个实施例，一种方法包括由DVS产生事件流；由连接至该DVS的采样单元对该事件流采样；由连接至该采样单元的图像形成单元形成该事件流的每个样本的图像；由连接至该图像形成单元的图像表示单元接收由该图像形成单元形成的图像并且从非噪声事件产生置信图；由连接至该图像表示单元的图像去失真单元补偿帧中的失真；以及由连接至该图像去失真单元和该采样单元的图像匹配单元匹配帧且必要时调整该采样单元的采样方法。
附图说明
根据结合附图的以下详述，本公开的某些实施例的以上和其它方面、特征和优点将更加显然，在附图中：
图1是根据本公开的实施例的DVS事件的帧的图像表示和处理的装置的框图；
图2是根据本公开的实施例的DVS事件的图像表示和处理的方法的流程图；
图3是根据本公开的实施例的DVS事件的图像表示和处理的装置的框图；
图4是根据本公开的实施例的DVS事件的图像表示和处理的方法的流程图；
图5是根据本公开的实施例的DVS事件的图像表示和处理的装置的框图；以及
图6是根据本公开的实施例的DVS事件的图像表示和处理的方法的流程图。
具体实施方式
在下文中，参考附图详细地描述本公开的实施例。应当注意的是，虽然相同元件在不同附图中示出，但是它们将由相同参考数字指定。在以下描述中，仅仅提供诸如详细配置和组件的特定细节来辅助全面理解本公开的实施例。因此，对于本领域技术人员应该显然的是，在不脱离本公开的范围和精神的情况下，可以对本文所述的实施例做出各种改变和修改。另外，为了清楚和简明起见省略公知功能和结构的描述。下文所述的术语是在考虑本公开中的功能而定义的术语，并且可以根据用户、用户意图或习惯而有所不同。因此，术语的定义应当基于整个说明书的内容来确定。
本公开可以具有各种修改和各种实施例，下文参考附图详细地描述其中的实施例。然而，应当理解的是，本公开不限于这些实施例，而是包括本公开的精神和范围内的所有修改、等效物和替代物。
虽然包括诸如第一、第二等序数的术语可以用于描述各种元件，但是结构元件不被这些术语约束。术语仅用于区分一个元件与另一个元件。例如，在不脱离本公开的范围的情况下，第一结构元件可以称作第二结构元件。类似地，第二结构元件也可以称作第一结构元件。如本文所使用，术语“和/或”包括一个或多个相关项的任何及全部组合。
本文所使用的术语仅仅用于描述本公开的各种实施例，但不意图限制本公开。除非上下文另有明确指示，否则单数形式意图包括复数形式。在本公开中，应当理解的是，术语“包括”或“具有”指示特征、数字、步骤、操作、结构元件、部件或其组合的存在，但不排除一个或多个其它特征、数字、步骤、操作、结构元件、部件或其组合的存在或添加的可能性。
除非不同地定义，否则本文所使用的所有术语具有与本公开所属领域的技术人员所理解的含义相同的含义。除非本公开中明确定义，否则诸如通用词典中定义的术语要被解释为具有与相关技术领域中的背景含义相同的含义，但不应被解释为具有理想的或过度正式的含义。
本公开提供一种用于在时空域中将噪声滤波的DVS的去噪方法以及评估每个有效(已去噪)像素的重要性的表示。该表示称作置信图并且在维持帧之间的关键特征上有用，且导致相邻帧中的更好匹配。
在本公开的实施例中，提供用于对DVS的事件采样的装置和方法。为了将DVS利用于某些任务(例如，视觉识别、同时定位和映射(SLAM)、图案识别、场景理解、用于基于姿势的用户设备交互(例如，电视(TV)、游戏)的姿势识别、用户识别(例如，用于TV、移动设备)以及机器人)利用DVS，必须将DVS流转换为图像以反映环境中的结构图案。以某种方式对DVS事件的流(例如，事件流)采样以产生其间变化减少的图像。减少从事件流产生的图像的变化有利于基于图像的任务。
本公开涉及一种DVS最小化帧间变化从而有益于帧间匹配的图像表示和处理的装置和方法。另外，本公开消除噪声并同时维持DVS序列帧的关键事件(例如，关键特征)。另外，本公开涉及一种基于置信图的图像表示的加权图像匹配的装置和方法，其导致提高匹配精确度，有益于诸如图像识别、SLAM等DVS应用。
图1是根据本公开的实施例的DVS事件的图像表示和处理的装置100的框图。
参考图1，装置100包括图像表示单元101和图像去噪单元103。
图像表示单元101包含用于接收从DVS感测的事件产生的帧序列的输入以及输出，并且配置成从非噪声事件产生置信图。
DVS捕捉场景内的像素亮度的变化(例如，事件)并且输出事件流，其中每个事件具有状态。事件的状态包括在摄像机阵列内的事件的位置以及二进制值，该二进制值指示与相关位置的紧接在前的状态相比，相关事件的亮度的正或负变化。四个值可以表示事件状态(即，像素的x和y坐标指示事件的位置，如与相关位置的紧接在前的事件状态相比指示事件的亮度的正变化的+1值、指示事件的亮度的负变化的-1值、或指示事件的亮度无变化的0值，以及该事件的时间戳)。
采样单元可以包括输入和输出，所述输入连接至DVS的输出用于从DVS接收事件流，所述输出用于输出事件流的样本。采样单元可以基于时间周期、事件数量或其组合对事件流采样。采样单元可以包括用于向图像形成单元输出事件流的样本的输出。
图像形成单元可以包括连接至采样单元的输出用于接收事件流的样本的输入。将某个数量的DVS事件采样以形成图像，其中含有一个或多个事件的像素位置设定为非零值且其它像素位置设定为零。可以通过不同方法来确定每个非零像素的值。例如，每个非零像素可以由其最新事件状态表示，例如，+1代表亮度的正变化且-1代表亮度的负变化，出现在位置处的事件数量或最新事件的到达时间。图像形成单元从事件流的每个样本形成图像并且输出所形成的每个图像。由图像形成单元输出的图像可以在需要图像的应用或应用单元(例如，视觉识别、SLAM、图案识别、场景理解、用于基于姿势的用户设备交互(例如，电视(TV)、游戏)的姿势识别、用户识别(例如，用于TV、移动设备)以及机器人)中使用。由图像形成单元形成的图像序列可以作为输入提供至图像表示单元101。
图像表示单元101对于由图像表示单元101接收的帧序列中的每个DVS事件确定正讨论的事件的预定邻域内和预定时间窗W内的事件的数量N1。如果正讨论的事件的N1小于第一阈值T1，那么正讨论的事件作为噪声而被丢弃。非噪声事件被视为有效事件。
对于每个非噪声事件，确定邻域密度。可以使用如下等式(1)确定正讨论的事件的邻域密度I(valid_evt)：
Figure BDA0001251151200000051
其中M是正讨论的事件的预定邻域内的事件的数量(包括正讨论的事件)，S是预定时间窗，R1是用于避免小于R1的S值的阈值，R2是对于产生I(valid_evt)的较高值来说M被视为大(例如，大于预定值)时的阈值，且k是预定常数。然而，本公开不限于使用以上等式(1)来确定邻域密度。可以使用用于确定邻域密度的其它等式。
具有大于第二阈值T2的邻域密度的每个事件被识别为其中存在高置信的事件，该事件是有效事件(例如，置信事件)而不是噪声。置信事件包括在置信图中。当前帧中的置信事件用作下一帧中用于去噪的支持事件，如下文更详细地描述。
图像去噪单元103包括连接至图像表示单元101的输出的输入以及输出，并且配置成在时空域中将图像去噪。
图像去噪单元103对于由图像表示单元101接收的帧序列中的每个DVS事件确定正讨论的事件的预定邻域内和预定时间窗W内的事件的数量N2。
对于正讨论的事件的帧(例如，当前帧)的对应邻域内的当前帧的紧接在前的帧，确定紧接在前帧中的置信事件的数量C。确定值(N2+(αX C))，其中α是预定常数。如果正讨论的事件的(N2+(αX C))小于第三阈值T3，那么正讨论的事件作为噪声而丢弃。然后由图像去噪单元103输出已去噪帧。
图2是根据本公开的实施例的DVS事件的图像表示和处理的方法的流程图。
参考图2，在201处，在图像表示单元中对于DVS帧序列中的每个DVS事件确定在正讨论的事件的预定邻域内和预定时间窗W内的事件的数量N1。
如果对于正讨论的事件，N1小于第一阈值T1，那么在203处，在图像表示单元中将正讨论的事件作为噪声而丢弃。非噪声事件被视为有效事件。
对于每个非噪声事件，在205处，在图像表示单元中确定邻域密度。可以使用上述等式(1)确定正讨论的事件的邻域密度I(valid_evt)。然而，本公开不限于使用以上等式(1)来确定邻域密度。可以使用用于确定邻域密度的其它等式。
在207处，在图像表示单元中将具有大于第二阈值的邻域密度的每个事件识别为其中存在高置信的事件，该事件是有效事件(例如，置信事件)而非噪声，且置信事件包括在置信图中。当前帧中的置信事件用作下一帧中用于去噪的支持事件，如下文更详细地描述。
在209处，图像去噪单元对于由图该帧序列中的每个DVS事件确定正讨论的事件的预定邻域内和预定时间窗W内的事件的数量N2。
在211处，对于在正讨论的事件的帧(例如，当前帧)的对应邻域内的当前帧的紧接在前的帧，由图像去噪单元确定在前帧中的置信事件的数量C。
在213处，由图像去噪单元确定值(N2+(αX C))，其中α是预定常数。
在215处，如果正讨论的事件的(N2+(αX C))小于第三阈值T3，那么将正讨论的事件作为噪声丢弃，且然后由图像去噪单元输出已去噪的帧。
图3是根据本公开的实施例的DVS事件的图像表示和处理的装置300的框图。
参考图3，装置300包括DVS 301、采样单元303、图像形成单元305、图像表示单元307、图像去失真单元309以及图像匹配单元311。
在本公开的实施例中，装置300还可以包括图像表示单元307与图像去失真单元309之间的图像去噪单元以将图像去噪。然而，图像匹配并不需要图像去噪单元。
DVS 301捕捉场景内的像素亮度的变化(例如，事件)并且输出事件流，其中每个事件具有状态。事件的状态包括事件在摄像机阵列内的位置以及指示如与相关位置的紧接在前的状态相比，该相关事件的亮度的正或负变化的二进制值。
采样单元303包括连接至DVS 301的输出用于从DVS 301接收事件流的第一输入、用于调整采样单元303的采样方式的第二输入，以及用于输出事件流的样本的输出。对于前两个样本，采样方式可以相同，因为在可以对采样方式做出调整之前可需要至少两个图像。此后，采样方式对于下一样本可以不同。
图像形成单元305包括连接至采样单元303的输出用于接收事件流的样本的输入。图像形成单元305从事件流的每个样本形成图像并且输出事件流的每个样本的图像。针对前两个样本形成的图像是基于相同采样方式形成，因为在可以对采样方式做出调整之前可需要至少两个图像。此后，每个后续图像可以基于不同于紧接在前的采样方式的采样方式形成。
图像表示单元307包括连接至图像形成单元305的输出的输入以及输出。图像表示单元307的功能可以类似于上述图像表示单元101。
图像去失真单元309包括连接至图像形成单元307的输出的输入以及输出。图像去失真单元309去除或修改已去噪图像以补偿失真。失真补偿包括减少失真。然而，本公开不限于此。
图像匹配单元311包括连接至图像去失真单元309的输出的输入以及连接至采样单元303的第二输入的输出。图像匹配单元311比较由图像去失真单元309输出的两个图像并且确定两个图像中的事件是否匹配(例如，共享相同位置)。已匹配事件称作参考事件。图像匹配单元311向采样单元303输出信号以调整采样方式，其中可以减少采样方式(例如，减少采样周期、减少样本中的事件的预定数量或减少采样周期和事件数量的组合)，可以增加采样方式(例如，增加采样周期、增加样本中的事件的预定数量或增加采样周期和事件数量的组合)或可以维持采样方式。
在本公开的实施例中，图像匹配单元311可以使用加权帧到帧匹配来匹配帧。可以如以下等式(2)中所表示般执行加权帧到帧匹配：
Figure BDA0001251151200000071
其中arg min f(x)是确定函数f(x)获得最小值所针对的值x的最小值函数的自变量。此处的目标函数是为了最小化两个图像之间的点对点光子误差，其中i是第一图像I(1)的置信图C(1)中的位置，pi是位置i的坐标，I(2)是第二图像，且T是最小化arg min函数所寻求的变换矩阵。然而，本公开不限于使用如由上述等式(2)所表示的加权帧到帧匹配。在本公开中可以使用用于加权帧到帧匹配的其它等式。
由图像匹配单元311输出的图像可以在需要图像的应用或应用单元(例如，视觉识别、同时定位和映射(SLAM)、图案识别、场景理解、用于基于姿势的用户设备交互(例如，电视(TV)、游戏)的姿势识别、用户识别(例如，用于TV、移动设备)以及机器人)中使用。
图4是根据本公开的实施例的DVS事件的图像表示和处理的方法的流程图。
参考图4，在401处由DVS(例如，图3的DVS 301)产生事件流。
在403处，由采样单元(例如，图3的采样单元303)以某种方式对事件流采样。
在405处，由图像形成单元(例如，图3的图像形成单元305)对样本产生图像。
在407处，由图像表示单元(例如，图1的图像表示单元101)识别置信事件。
在本公开的实施例中，由图像去噪单元(例如，图1的图像去噪单元103)将图像去噪。然而，图像匹配并不需要图像去噪。
在409处，由去失真单元(例如，图3的图像去失真单元309)将已去噪图像去失真。
在411处，由图像匹配单元(例如，图3的图像匹配单元311)匹配图像，且必要时调整采样。
在本公开的实施例中，可以使用加权帧到帧匹配来执行帧的图像匹配。可以如上等式(2)中所表示般执行加权帧到帧匹配。然而，本公开不限于使用如由上述等式(2)所表示的加权帧到帧匹配。在本公开中可以使用用于加权帧到帧匹配的其它等式。
图5是根据本公开的实施例的DVS事件的图像表示和处理的装置500的框图。图5涉及SLAM应用。
参考图5，装置500包括DVS 501、采样单元503、图像形成单元505、图像表示单元507、图像去失真单元509、图像匹配单元511、摄像机姿态估计单元513、摄像机姿态融合单元515以及SLAM单元517。
在本公开的实施例中，可以在图像表示单元507与图像去失真单元509之间使用图像去噪单元以将图像去噪。然而，图像匹配和SLAM并不需要图像去噪。
DVS 501捕捉场景内的像素亮度的变化(例如，事件)并且输出事件流，其中每个事件具有状态。事件的状态包括事件在摄像机阵列内的位置以及指示如与相关位置的紧接在前的状态相比，该相关事件的亮度的正或负变化的二进制值。
采样单元503包括连接至DVS 501的输出用于从DVS 501接收事件流的第一输入、用于调整采样单元503的采样方式的第二输入，以及用于输出事件流的样本的输出。对于前两个样本，采样方式可以相同，因为在可以对采样方式做出调整之前可需要至少两个图像。此后，采样方式对于下一样本可以不同。
图像形成单元505包括连接至采样单元503的输出用于接收事件流的样本的输入。图像形成单元505从事件流的每个样本形成图像并且输出事件流的每个样本的图像。针对前两个样本形成的图像是基于相同采样方式形成，因为在可以对采样方式做出调整之前可需要至少两个图像。此后，每个后续图像可以基于不同于紧接在前的采样方式的采样方式形成。
图像表示单元507包括连接至图像形成单元505的输出的输入以及输出。图像表示单元507可以类似于上述图像表示单元101作用。
图像去失真单元509包括连接至图像形成单元507的输出的输入以及输出。图像去失真单元509去除或修改已去噪图像以补偿失真。本公开可以通过减少失真补偿失真。然而，本公开不限于此。
图像匹配单元511包括连接至图像去失真单元509的输出的输入，以及连接至采样单元503的第二输入的输出。图像匹配单元511比较由图像去失真单元509输出的两个图像，并且确定这两个图像中的事件是否匹配(例如，共享相同位置)。已匹配事件称作参考事件。图像匹配单元511向采样单元503输出信号以调整采样方式，其中可以减少采样方式(例如，减少采样周期、减少样本中的事件的预定数量或减少采样周期和事件数量的组合)，可以增加采样方式(例如，增加采样周期、增加样本中的事件的预定数量或增加采样周期和事件数量的组合)或可以维持采样方式。
在本公开的实施例中，图像匹配单元511可以使用加权帧到帧匹配来匹配帧。可以如上述等式(2)中所表示般执行加权帧到帧匹配。然而，本公开不限于使用如由上述等式(2)所表示的加权帧到帧匹配。在本公开中可以使用用于加权帧到帧匹配的其它等式。
摄像机姿态估计单元513包括连接至图像匹配单元511的输出的输入以及输出。摄像机姿态估计单元513对于图像估计摄像机的姿态。
摄像机姿态融合单元515包括连接至摄像机姿态估计单元513的输出的输入以及输出。摄像机姿态融合单元515基于与图像相关联的已估计摄像机姿态来融合图像。
SLAM单元517包括连接至摄像机姿态融合单元515的输出的输入以及输出。SLAM单元517同时确定图像中的定位和映射。
图6是根据本公开的实施例的DVS事件的图像表示和处理的方法的流程图。图6涉及SLAM应用。
参考图6，在601处由DVS(例如，图5的DVS 501)产生事件流。
在603处，由采样单元(例如，图5的采样单元503)以某种方式对事件流采样。
在605处，由图像形成单元(例如，图5的图像形成单元505)对样本产生图像。
在607处，由图像表示单元(例如，图1的图像表示单元101)识别置信事件。
在本公开的实施例中，由图像去噪单元(例如，图1的图像去噪单元103)将图像去噪。然而，SLAM不需要图像去噪。
在609处，由去失真单元(例如，图5的去失真单元509)将已去噪图像去失真。
在611处，由图像匹配单元(例如，图5的图像匹配单元511)匹配图像，且必要时调整采样。
在本公开的实施例中，可以使用加权帧到帧匹配来执行帧的图像匹配。可以如上等式(2)中所表示般执行加权帧到帧匹配。然而，本公开不限于使用如由上述等式(2)所表示的加权帧到帧匹配。在本公开中可以使用用于加权帧到帧匹配的其它等式。
在613处，由摄像机姿态估计单元单元(例如，图5的摄像机姿态估计单元513)估计图像的摄像机姿态。
在615处，由摄像机姿态融合单元(例如，图5的摄像机姿态融合单元515)基于与图像相关联的已估计摄像机姿态融合图像。
在617处，由SLAM单元(例如，图5的SLAM单元517)同时确定图像的定位和映射。
虽然本公开的详细描述中已经描述了本公开的某些实施例，但是在不脱离本公开的范围的情况下可以以各种形式修改本公开。因此，本公开的范围不应仅基于所述实施例来确定，而是基于附图和其等效物来确定。

Claims (18)

1.一种图像表示和处理的装置，其包括：
图像表示单元，该图像表示单元配置成接收从由动态视觉传感器(DVS)感测的事件产生的帧序列并且从非噪声事件产生置信图；以及
图像去噪单元，该图像去噪单元连接至该图像表示单元并且配置成在时空域中将图像去噪，
其中该图像表示单元进一步配置成对于该帧序列中的每个事件确定该事件的预定邻域内和预定时间窗W内的事件的数量N1，并且如果N1小于第一阈值T1，那么丢弃该事件。
2.如权利要求1所述的装置，其中每个事件与表示事件状态的四个值相关联，其中该四个值包括指示事件的位置的像素的x和y坐标，如与该相关联位置的紧接在前的事件状态相比指示该事件的亮度的正变化的+1值、指示该事件的亮度的负变化的-1值、或指示该事件的亮度无变化的0值，以及该事件的时间戳。
3.如权利要求1所述的装置，其中该图像表示单元进一步配置成对于没有丢弃的每个事件，如下确定邻域密度I(valid_evt)：
Figure FDA0003258650790000011
其中M是该事件的预定邻域内包括该事件的事件数量，S是预定时间窗，R1是用于避免小于R1的S值的阈值，R2是当M大于预定值时的阈值，且k是预定常数。
4.如权利要求3所述的装置，其中图像表示单元进一步配置成产生当前帧中每者具有大于第二阈值T2的邻域密度的事件的置信图，其中包括在该置信图中的事件称作置信事件。
5.如权利要求4所述的装置，其中该图像去噪单元进一步配置成对于每个事件确定该事件的该预定邻域内和该预定时间窗W内的事件的数量N2。
6.如权利要求5所述的装置，其中该图像去噪单元进一步配置成对于在当前帧的对应邻域内的该事件的帧的紧接在前的帧，确定该紧接在前帧中的置信事件的数量C。
7.如权利要求6所述的装置，其中该图像去噪单元进一步配置成确定值(N2+(αXC))，其中α是预定常数，如果该事件的(N2+(αXC))小于第三阈值T3，那么丢弃该对应事件，且将所得帧作为已去噪图像输出。
8.一种图像表示和处理的装置，其包括：
动态视觉传感器(DVS)，其配置成产生事件流；
采样单元，该采样单元连接至该DVS并且配置成对该事件流采样；
图像形成单元，该图像形成单元连接至该采样单元并且配置成对于该事件流的每个样本形成图像；
图像表示单元，该图像表示单元连接至该图像形成单元并且配置成从非噪声事件产生置信图；
图像去失真单元，该图像去失真单元连接至该图像表示单元并且配置成补偿帧中的失真；以及
图像匹配单元，该图像匹配单元连接至该图像去失真单元和该采样单元，并且配置成匹配帧且必要时调整该采样单元的采样方法。
9.如权利要求8所述的装置，其中该图像匹配单元进一步配置成如下使用加权帧到帧匹配来匹配帧：
Figure FDA0003258650790000021
其中arg minf(x)是确定函数f(x)获得最小值所针对的值x的最小值函数的自变量，其中i是第一图像I(1)的置信图C(1)中的位置，pi是位置i的坐标，I(2)是第二图像，且T是将argmin函数最小化的变换矩阵。
10.一种图像表示和处理的方法，其包括：
由图像表示单元接收从由动态视觉传感器(DVS)感测的事件产生的帧序列并且从非噪声事件产生置信图；
由连接至该图像表示单元的图像去噪单元在时空域中将从所述帧形成的图像去噪，以及
由该图像表示单元对于该帧序列中的每个事件确定该事件的预定邻域内和预定时间窗W内的事件的数量N1，并且如果N1小于第一阈值T1，那么丢弃该事件。
11.如权利要求10所述的方法，其中每个事件与表示事件状态的四个值相关联，其中该四个值包括指示该事件的位置的像素的x和y坐标，如与该相关联位置的紧接在前的事件状态相比指示该事件的亮度的正变化的+1值、指示该事件的亮度的负变化的-1值、或指示该事件的亮度无变化的0值，以及该事件的时间戳。
12.如权利要求10所述的方法，其进一步包括由该图像表示单元对于没有丢弃的每个事件如下确定邻域密度I(valid_evt)：
Figure FDA0003258650790000031
其中M是该事件的预定邻域内包括该事件的事件数量，S是预定时间窗，R1是用于避免小于R1的S值的阈值，R2是当M大于预定值时的阈值，且k是预定常数。
13.如权利要求12所述的方法，其进一步包括由该图像表示单元产生当前帧中每者具有大于第二阈值T2的邻域密度的事件的置信图，其中包括在该置信图中的事件称作置信事件。
14.如权利要求13所述的方法，其进一步包括由该图像去噪单元对于每个事件确定该事件的该预定邻域内和该预定时间窗W内的事件的数量N2。
15.如权利要求14所述的方法，其进一步包括由该图像去噪单元对于在当前帧的对应邻域内的该事件的帧的紧接在前的帧，确定该紧接在前帧中的置信事件的数量C。
16.如权利要求15所述的方法，其进一步包括由该图像去噪单元确定值(N2+(αXC))，其中α是预定常数，如果该事件的(N2+(αXC))小于第三阈值T3，那么丢弃该对应事件，且将所得帧作为已去噪图像输出。
17.一种图像表示和处理的方法，其包括：
由动态视觉传感器(DVS)产生事件流；
由连接至该DVS的采样单元对该事件流采样；
由连接至该采样单元的图像形成单元对于该事件流的每个样本形成图像；
由连接至该图像形成单元的图像表示单元接收由该图像形成单元形成的图像并且从非噪声事件产生置信图；
由连接至该图像表示单元的图像去失真单元补偿帧中的失真；以及
由连接至该图像去失真单元和该采样单元的图像匹配单元匹配帧且必要时调整该采样单元的采样方法。
18.如权利要求17所述的方法，其中匹配帧使用如下的加权帧到帧匹配：
Figure FDA0003258650790000041
其中arg min f(x)是确定函数f(x)获得最小值所针对的值x的最小值函数的自变量，其中i是第一图像I(1)的置信图C(1)中的位置，pi是位置i的坐标，I(2)是第二图像，且T是将arg min函数最小化的变换矩阵。
CN201710172554.3A 2016-03-22 2017-03-21 用于动态视觉传感器的图像表示和处理的方法和装置 Expired - Fee Related CN107220942B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662311599P 2016-03-22 2016-03-22
US62/311,599 2016-03-22
US15/148,657 2016-05-06
US15/148,657 US9934557B2 (en) 2016-03-22 2016-05-06 Method and apparatus of image representation and processing for dynamic vision sensor

Publications (2)

Publication Number Publication Date
CN107220942A CN107220942A (zh) 2017-09-29
CN107220942B true CN107220942B (zh) 2022-03-29

Family

ID=59897033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710172554.3A Expired - Fee Related CN107220942B (zh) 2016-03-22 2017-03-21 用于动态视觉传感器的图像表示和处理的方法和装置

Country Status (3)

Country Link
US (1) US9934557B2 (zh)
KR (1) KR20170110505A (zh)
CN (1) CN107220942B (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3020699A1 (fr) * 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
US10237481B2 (en) * 2017-04-18 2019-03-19 Facebook Technologies, Llc Event camera for generation of event-based images
CN115052141B (zh) * 2017-09-28 2023-10-03 苹果公司 用于事件相机数据处理的系统和方法
CN107610069B (zh) * 2017-09-29 2020-10-09 西安电子科技大学 基于共享k-svd字典的dvs可视化视频去噪方法
CN108182670B (zh) * 2018-01-15 2020-11-10 清华大学 一种事件图像的分辨率增强方法及系统
US11244464B2 (en) 2018-03-09 2022-02-08 Samsung Electronics Co., Ltd Method and apparatus for performing depth estimation of object
CN108961318B (zh) * 2018-05-04 2020-05-15 上海芯仑光电科技有限公司 一种数据处理方法及计算设备
US11143879B2 (en) 2018-05-25 2021-10-12 Samsung Electronics Co., Ltd. Semi-dense depth estimation from a dynamic vision sensor (DVS) stereo pair and a pulsed speckle pattern projector
CN109068024B (zh) * 2018-06-29 2020-07-21 北京大学 一种对时空信号进行滤波的方法
US11410413B2 (en) 2018-09-10 2022-08-09 Samsung Electronics Co., Ltd. Electronic device for recognizing object and method for controlling electronic device
CN109525848B (zh) * 2018-10-16 2020-10-16 北京大学 一种脉冲序列的压缩方法及装置
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
CN109801314B (zh) * 2019-01-17 2020-10-02 同济大学 一种基于深度学习的双目动态视觉传感器立体匹配方法
CN109726356B (zh) * 2019-01-17 2021-05-04 西安电子科技大学 一种动态视觉传感器的地址事件流数据去噪方法
CN110068284B (zh) * 2019-05-20 2020-10-30 北京建筑大学 利用高速摄影测量技术监测塔式起重机的方法
CN110428397A (zh) * 2019-06-24 2019-11-08 武汉大学 一种基于事件帧的角点检测方法
KR20210000985A (ko) 2019-06-26 2021-01-06 삼성전자주식회사 비전 센서, 이를 포함하는 이미지 처리 장치 및 비전 센서의 동작 방법
JPWO2021084833A1 (zh) * 2019-10-30 2021-05-06
JP2021083004A (ja) * 2019-11-21 2021-05-27 アイシン精機株式会社 センサシステム
CN113449554B (zh) * 2020-03-25 2024-03-08 北京灵汐科技有限公司 一种目标检测识别方法及系统
CN111696143B (zh) * 2020-06-16 2022-11-04 清华大学 一种事件数据的配准方法与系统
CN111770290A (zh) * 2020-07-29 2020-10-13 中国科学院长春光学精密机械与物理研究所 一种动态视觉传感器输出事件流降噪方法
CN112581491B (zh) * 2020-12-17 2023-03-21 西安电子科技大学 基于地址事件连通域的运动目标定位方法
KR102445008B1 (ko) * 2020-12-31 2022-09-21 한국전자통신연구원 이벤트 기반 영상 센싱 장치 및 방법
CN113093221A (zh) * 2021-03-31 2021-07-09 东软睿驰汽车技术（沈阳）有限公司 占据栅格地图的生成方法及装置
CN113923319B (zh) * 2021-12-14 2022-03-08 成都时识科技有限公司 降噪装置、方法、芯片、事件成像装置及电子设备
CN114285962B (zh) * 2021-12-14 2023-04-07 成都时识科技有限公司 噪声处理装置、方法、芯片、事件成像装置及电子设备
CN114418873B (zh) * 2021-12-29 2022-12-20 英特灵达信息技术(深圳)有限公司 一种暗光图像降噪方法及装置
CN114885074B (zh) * 2022-05-06 2023-07-04 中国科学院光电技术研究所 一种基于时空密度的事件相机去噪方法
CN114885099A (zh) * 2022-05-10 2022-08-09 深圳锐视智芯科技有限公司 一种事件图像输出方法及相关装置
CN116757968B (zh) * 2023-08-18 2023-11-24 深圳时识科技有限公司 降噪方法及装置、芯片、事件成像装置和电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1381140A (zh) * 2000-05-18 2002-11-20 皇家菲利浦电子有限公司 Mpeg－4二进制形式传输
CN1981519A (zh) * 2004-07-08 2007-06-13 飞思卡尔半导体公司 用于显示图像帧序列的方法和系统
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN104112112A (zh) * 2013-04-19 2014-10-22 华为技术有限公司 识别动作的方法及其装置
CN104574387A (zh) * 2014-12-29 2015-04-29 张家港江苏科技大学产业技术研究院 水下视觉slam系统中的图像处理方法
CN105160703A (zh) * 2015-08-25 2015-12-16 天津师范大学 一种使用时域视觉传感器的光流计算方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7542622B1 (en) 2003-06-02 2009-06-02 The Trustees Of Columbia University In The City Of New York Spatio-temporal treatment of noisy images using brushlets
KR100517517B1 (ko) * 2004-02-20 2005-09-28 삼성전자주식회사 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
US20060017720A1 (en) * 2004-07-15 2006-01-26 Li You F System and method for 3D measurement and surface reconstruction
US8831111B2 (en) * 2006-05-19 2014-09-09 The Hong Kong University Of Science And Technology Decoding with embedded denoising
AT504582B1 (de) 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US20080316364A1 (en) * 2007-06-25 2008-12-25 The Hong Kong University Of Science And Technology Rate distortion optimization for video denoising
US8238639B2 (en) * 2008-04-09 2012-08-07 Cognex Corporation Method and system for dynamic feature detection
US8406569B2 (en) * 2009-01-19 2013-03-26 Sharp Laboratories Of America, Inc. Methods and systems for enhanced dynamic range images and video from multiple exposures
FR2978273B1 (fr) 2011-07-22 2013-08-09 Thales Sa Procede de reduction du bruit dans une sequence d'images fluoroscopiques par filtrage temporel et spatial
KR102002165B1 (ko) * 2011-09-28 2019-07-25 포토내이션 리미티드 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법
CN107346061B (zh) * 2012-08-21 2020-04-24 快图有限公司 用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
WO2014165244A1 (en) * 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9171355B2 (en) * 2013-04-12 2015-10-27 Qualcomm Incorporated Near infrared guided image denoising
KR102081087B1 (ko) 2013-06-17 2020-02-25 삼성전자주식회사 동기적 영상과 비동기적 영상을 위한 영상 정합 장치 및 이미지 센서
US9767571B2 (en) 2013-07-29 2017-09-19 Samsung Electronics Co., Ltd. Apparatus and method for analyzing image including event information
FR3020699A1 (fr) 2014-04-30 2015-11-06 Centre Nat Rech Scient Procede de suivi de forme dans une scene observee par un capteur asynchrone de lumiere
KR101534282B1 (ko) 2014-05-07 2015-07-03 삼성전자주식회사 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
US9361679B2 (en) * 2014-07-28 2016-06-07 Disney Enterprises, Inc. Temporally coherent local tone mapping of HDR video

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1381140A (zh) * 2000-05-18 2002-11-20 皇家菲利浦电子有限公司 Mpeg－4二进制形式传输
CN1981519A (zh) * 2004-07-08 2007-06-13 飞思卡尔半导体公司 用于显示图像帧序列的方法和系统
CN103533263A (zh) * 2012-07-03 2014-01-22 三星电子株式会社 图像传感器芯片、操作方法和包括图像传感器芯片的系统
CN104112112A (zh) * 2013-04-19 2014-10-22 华为技术有限公司 识别动作的方法及其装置
CN104574387A (zh) * 2014-12-29 2015-04-29 张家港江苏科技大学产业技术研究院 水下视觉slam系统中的图像处理方法
CN105160703A (zh) * 2015-08-25 2015-12-16 天津师范大学 一种使用时域视觉传感器的光流计算方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
AER时域视觉传感器行为级建模与算法分析;杨帅;《中国优秀硕士学位论文全文数据库 信息科技辑》;20141215(第12期);I138-285 *
event-based stereo matching approaches for frameless address event stereo data;Jurgen Kogler,et al.;《Advances in Visual Commputing》;20110926;第674-685页 *

Also Published As

Publication number Publication date
US20170278221A1 (en) 2017-09-28
KR20170110505A (ko) 2017-10-11
CN107220942A (zh) 2017-09-29
US9934557B2 (en) 2018-04-03

Similar Documents

Publication Publication Date Title
CN107220942B (zh) 用于动态视觉传感器的图像表示和处理的方法和装置
CN107886074B (zh) 一种人脸检测方法以及人脸检测系统
US10198660B2 (en) Method and apparatus for event sampling of dynamic vision sensor on image formation
TWI469062B (zh) 影像穩定方法及影像穩定裝置
KR20190126440A (ko) 인터리빙된 채널 데이터를 위한 구성가능한 컨볼루션 엔진
CN109416829A (zh) 并行计算机视觉和图像缩放架构
US8982050B2 (en) Motion compensation in an interactive display system
US20170195591A1 (en) Pre-processing for video noise reduction
US20160093028A1 (en) Image processing method, image processing apparatus and electronic device
CN103472915A (zh) 基于瞳孔跟踪的阅读控制方法、阅读控制装置及显示设备
CN106251348B (zh) 一种面向深度相机的自适应多线索融合背景减除方法
WO2020092051A1 (en) Rolling shutter rectification in images/videos using convolutional neural networks with applications to sfm/slam with rolling shutter images/videos
TW201523516A (zh) 移動攝影機之畫面穩定方法
Zhang et al. Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model
CN104182940A (zh) 一种模糊图像恢复方法及系统
KR102585573B1 (ko) 콘텐츠 기반 이미지 프로세싱
US9332178B2 (en) Methods of image acquiring and electronic devices
CN113205530A (zh) 阴影区域处理方法及装置、计算机可读介质和电子设备
CN105163004A (zh) 一种消除误匹配点的视频补偿方法
CN109859128A (zh) 一种基于贝叶斯估计切换规则的互动系统切换滤波方法
WO2023223704A1 (ja) 情報処理装置、情報処理方法、およびプログラム
Yu et al. Moving camera video stabilization based on Kalman filter and least squares fitting
KR100821939B1 (ko) 영상 잡음 제거 장치 및 방법
KR101491413B1 (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
KR101631023B1 (ko) 이웃 기반의 강도 보정 장치, 백그라운드 획득 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220329