CN104781846B - 用于补偿与振动相关的动态模糊的方法 - Google Patents

用于补偿与振动相关的动态模糊的方法 Download PDF

Info

Publication number
CN104781846B
CN104781846B CN201380042961.2A CN201380042961A CN104781846B CN 104781846 B CN104781846 B CN 104781846B CN 201380042961 A CN201380042961 A CN 201380042961A CN 104781846 B CN104781846 B CN 104781846B
Authority
CN
China
Prior art keywords
image
reference value
definition
determination
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201380042961.2A
Other languages
English (en)
Other versions
CN104781846A (zh
Inventor
伊曼纽尔·约翰松
奥德·拉松
埃兰·瓦尔德雷乌斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flir Systems AB
Original Assignee
Flir Systems AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flir Systems AB filed Critical Flir Systems AB
Publication of CN104781846A publication Critical patent/CN104781846A/zh
Application granted granted Critical
Publication of CN104781846B publication Critical patent/CN104781846B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种为了稳定记录的图像，在图像记录装置(1)，例如照相机中，补偿与振动相关的动态模糊的方法，其中使用的是参考图像。根据本发明，为了图像稳定而选择记录的图像的一帧(2)，该被选择的帧的清晰程度(3)被评估并与之前已被储存的参考值(4)比较，参考值对应之前被选择的一帧的清晰程度。若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更高(5)或相等，后被选中的帧被用于更新(6)视频序列，且后被选中的帧的清晰程度被储存(7)作为新的参考值。若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更差(5)，则在清晰度值减小(8)的情况下，对应于之前被选择的帧的清晰程度的参考值被储存，且之前被选择的帧被用于视频序列。本发明的结果为提供了一种方法，通过相对简单的操作，就可有效补偿与振动相关的动态模糊。

Description

用于补偿与振动相关的动态模糊的方法
技术领域
本发明涉及为了稳定记录的图像，在图像记录装置，例如照相机中补偿与振动相关的动态模糊的方法，其中使用的是参考图像。
背景技术
通常在照相机中，特别是对于长距离使用的照相机，也称为“远距离照相机”(“long range”cameras)，与振动相关的动态模糊是一种常见的问题。因而有找寻简单的图像稳定方法的需求，该稳定方法可以在由振动造成的检测及识别目标非常困难的困难条件下帮助照相机操作者。一个应用可以实现固定在杆上的记录照相机的图像稳定。
补偿与视频记录相关的振动其本身是之前已知的，在本文中，可以参考公开的美国专利US2011/0025919A1。根据该公布文本，在[0021]段中描述了一种利用参考图像的抖动补偿步骤204。所述的公布文本又给出一种通过估计图像序列的清晰度，并将具有最高清晰度的部分共同结合到可被呈现出的图像中，来降低扰动效果的解决方案。可通过边缘检测滤波器来估计清晰度。
发明内容
本发明的目的在于提供一种方法，通过相对简单的操作，其可有效补偿与振动相关的动态模糊。
本发明的目的通过一个方法实现，该方法的特征在于，为了图像稳定而选择记录的图像的一帧，其中该被选择的帧的清晰程度被评估，并与之前已被储存的参考值比较，该参考值对应之前被选择的一帧的清晰程度，其中，若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更高或相等，后被选中的帧被用于更新视频序列，且后被选中的帧的清晰程度被储存作为新的参考值，其中，若后被选中的帧的清晰程度相较对应于之前被选择的帧的清晰程度的参考值被认定为更差，则在清晰度值减小的情况下，对应于之前被选择的帧的清晰程度的参考值被储存，且之前被选择的帧被用于视频序列。
借助提出的本方法，可实现由振动造成的动态模糊的有效补偿。对每一帧，清晰程度均被评估，且清晰度均与之前储存的值相比较。若清晰度被认定为更高或与对应于储存的新清晰度值相等的同时，该帧被使用，且视频被更新。若相反地，被认定为清晰度为之前的更好，则相反地，之前的帧被使用。然而，为了避免长时间的冻结图像，每次使用旧的帧时，清晰度值必须减小一些。通过这样的方式，仅有对操作者来说确实有意义的信息被使用。本方法的应用结果为真实的图像时钟将能够变化，而对图像记录装置来说目标将更容易识别。在本文中，可强调的是，未聚焦数据不会将任何增加值给予图像。提出的本方法特别适合于在事件进程较慢时使用，以及适合于在小幅度测量中发生的全景拍摄时使用。
借助本方法，仅有用信息会呈现给使用者。通过本方法产生的图像给人感觉更稳定且观察时更舒适，从而使得其更简单地检测并识别目标。
方便的是，形成本发明一部分的操作可实时执行。
根据给出的一个合适的方法，由图像记录设备记录的图像的帧的选择是在图像的中心做出。
根据给出的一个合适的方法，由图像记录设备记录的图像的帧的选择由图像记录装置的使用者做出。
而根据另一个给出的合适的方法，通过图像记录装置的使用者激活图像稳定。借助这类使用者激活功能，其中边缘情形，例如全景拍摄或类似情形可被忽略，在特别困难的条件下被优化以向操作者/使用者显示信息的方法被实现。
在根据以上基本原则的用于补偿模糊的一个方法中，有利于在红外区域内执行图像记录。
当对应于清晰度值的参考值不得不被减小，其可通过多种方式完成。一个给出的简单方法是在每次重复减小的值的百分比实质相同的情况下执行清晰度值的减小。例如，每次可减少大约5％。为了防止图像长时间冻结的情形，另一个变形为选择更渐进的减小/下降。同样也可限制允许清晰度值减小的次数。
为了确定对应于一帧的清晰度值，给出的一个方法的特征在于应用边缘检测滤波器来确定对应于一帧的清晰度值。给出的这种种类的边缘检测滤波器包括Tenengrad算子(tenengrad operator)的使用。另一个给出的边缘检测滤波器包括对应在一帧中所包括的每一像素的简单标准差的计算。
前述方法的结果是，开辟了进一步的使用选项。例如，根据以上所述的方法可结合应用于连续的自动聚焦。通过保存图像聚焦时的清晰度，在不打扰使用者的情况下，可使用更大且更快的搜索算法来寻找最佳聚焦。
附图说明
以下将参考附图，以典型示例的方式更进一步地描述本发明，该附图示出了说明本发明背后的原理的流程示意图。
具体实施方式
流程图始于被指定为图像记录的方框1。此处获得了待被图像处理的图像。为了获取，优选地包括有某种形式的照相机(未详细示出)。照相机可为红外照相机，但不排除其他种类的照相机或传感器的使用。在方框2中，从可向图像记录框1中取得的图像中选择一帧。方便的是，该帧是从该图像的中心部分找取，若图像质量存在差异，图像的中心部分被认为具有平均更好的质量，且通常也包含更有意义及更有用的信息。该帧的选择可由使用者做出。其可通过在图像范围内移动该帧并在合适的位置锁定它，来完成。在另一个选择中，使用者可控制照相机从而所需部分在该图像的中部结束，在这之后，中心帧被找取。
在方框3中，在方框2中被选择的帧的清晰程度被确定。优选地，适用边缘检测滤波器，并且特别给出滤波器，其包括Tenengrad算子的使用，或可选择地，包括对应包含在该帧中的每一个像素的简单标准差的计算。当Tenengrad算子被使用，原则上来说，通过Tenengrad图像范围内的像素值的叠加，获得清晰度值并形成一新的图像。
在方框4中，对应选中的帧的清晰度的参考值被保存。方框4这时假设包含源自之前处理过的帧的参考值，或可选地，在处理的开端，一对应于具有良好清晰度的帧的等级之下的合适的初始值。
方框5被设置为比较在方框2中确定的清晰程度以及在方框4中保存的参考值的清晰程度。当比较显示方框2中确定的清晰程度高于参考值或与其实质相同时，在方框6中视频序列通过在后图像升级。此外，如方框7所示，在方框4中保存的参考值由新的参考值替代。当比较显示方框2中确定的清晰程度低于参考值，则不进行视频序列的更新，然而作为保持未激活的方框6的结果，在先图像保持不变。此外，如方框8所示，保存的参考值经由找寻方框4中的参考值而减小并重新保存减小的参考值。可以以参考值的百分比进行减小。大约5％的百分比值显示出良好的工作情况。有利的是可将范围保持在3％-10％之间。还可包括进一步的功能(图中未示出)，该功能为计算参考值已经被减小的的次数，并仅允许有限数量的减小。也可给出的是参考值的清晰程度的减小可渐进地实现。
以上示意性描述的流程图基本适合于说明本发明的基本规则，然而，并非是以任何方式将本发明的构思限制在描述的方框功能中。
本发明并非限制于以上通过举例形式所述的方法，但可受制于专利权利要求范围中的变体范围内。

Claims (20)

1.一种为了图像稳定而处理图像数据的方法，该方法包括：
从图像记录设备中接收图像；
选择所述接收图像的一部分；
确定所述接收图像中被选部分的清晰度；
将所述接收图像中被选部分的确定的清晰度与参考值比较，所述参考值表示在一个视频序列中先前使用的图像的被选部分的清晰度；
若所述确定的清晰度相比于所述参考值更大或相等，则用所述接收图像更新所述视频序列，并将所述接收图像中被选部分的确定的清晰度存储为新的参考值；以及
若所述确定的清晰度相比于所述参考值更小，则减小所述参考值，将所述减小的参考值存储为所述新的参考值，并将所述先前使用的图像保留在所述视频序列中。
2.如权利要求1所述的方法，其特征在于，所述图像的所述部分选自所述图像的中心部分。
3.如权利要求1所述的方法，其特征在于，通过所述图像记录设备的使用者可选择所述图像的所述部分。
4.如权利要求1所述的方法，其特征在于，通过所述图像记录设备的使用者响应激活，所述方法被执行用于图像稳定。
5.如权利要求1所述的方法，其特征在于，所述图像记录设备包括红外摄像机，其中所述图像的接收包括从所述红外摄像机中接收红外图像。
6.如权利要求1所述的方法，其特征在于，通过边缘检测滤波器来确定所述接收图像的被选部分的清晰度。
7.如权利要求6所述的方法，其特征在于，所述边缘检测滤波器包括Tenengrad算子的使用。
8.如权利要求6所述的方法，其特征在于，所述边缘检测滤波器包括所述接收图像的被选部分中所包含的每一像素的简单标准差的计算。
9.如权利要求1所述的方法，其特征在于，所述方法被应用在有关摄像机的自动聚焦中。
10.如权利要求1所述的方法，其特征在于，针对每一新的被选图像部分，当所述每一新的被选图像部分具有比所述参考值更小的确定的清晰度时，所述参考值的减小被重复进行。
11.如权利要求10所述的方法，其特征在于，针对每次重复减小，所述参考值的减小以所述参考值相等的百分比被执行。
12.如权利要求10所述的方法，其特征在于，允许进行的所述参考值减小的次数是有限的。
13.如权利要求10所述的方法，其特征在于，所述参考值的减小被逐步执行。
14.一种摄像机，应用于处理图像数据，所述摄像机包括：
传感器，被配置用于采集图像；以及
图像处理器，被配置用于：
选择所述采集图像的一部分，
确定所述采集图像中被选部分的清晰度，
将所述采集图像中被选部分的确定的清晰度与参考值比较，
所述参考值表示在一个视频序列中先前使用的图像的被选部分的清晰度，
若所述确定的清晰度相比于所述参考值更大或相等，则用所述采集图像更新所述视频序列，并将所述采集图像中被选部分的确定的清晰度存储为新的参考值；以及
若所述确定的清晰度相比于所述参考值更小，则减小所述参考值，将所述减小的参考值存储为所述新的参考值，并将所述先前使用的图像保留在所述视频序列中。
15.如权利要求14所述的摄像机，其特征在于，所述图像的所述部分选自所述图像的中心部分。
16.如权利要求14所述的摄像机，其特征在于，通过所述摄像机的使用者可选择所述图像的所述部分。
17.如权利要求14所述的摄像机，其特征在于，所述传感器包括红外传感器，所述红外传感器被配置用于采集红外图像。
18.如权利要求14所述的摄像机，其特征在于，通过边缘检测滤波器来确定所述采集图像中被选部分的清晰度。
19.如权利要求14所述的摄像机，其特征在于，所述图像处理器被配置为，针对每一新的被选图像部分，当所述每一新的被选图像部分具有比所述参考值更小的确定的清晰度时，重复减小所述参考值。
20.如权利要求19所述的摄像机，其特征在于，所述图像处理器被配置为，针对每次重复减小，以所述参考值大致相等的百分比去减小所述参考值。
CN201380042961.2A 2012-06-20 2013-06-11 用于补偿与振动相关的动态模糊的方法 Active CN104781846B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE1230067-9 2012-06-20
SE1230067A SE536619C2 (sv) 2012-06-20 2012-06-20 Förfarande för kompensation av rörelseoskärpa i samband medvibrationer
PCT/SE2013/000096 WO2013191611A2 (en) 2012-06-20 2013-06-11 Method for compensating motion blur in connection with vibrations

Publications (2)

Publication Number Publication Date
CN104781846A CN104781846A (zh) 2015-07-15
CN104781846B true CN104781846B (zh) 2017-05-17

Family

ID=49769642

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380042961.2A Active CN104781846B (zh) 2012-06-20 2013-06-11 用于补偿与振动相关的动态模糊的方法

Country Status (5)

Country Link
US (1) US9332186B2 (zh)
EP (1) EP2864960A4 (zh)
CN (1) CN104781846B (zh)
SE (1) SE536619C2 (zh)
WO (1) WO2013191611A2 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9924116B2 (en) 2014-08-05 2018-03-20 Seek Thermal, Inc. Time based offset correction for imaging systems and adaptive calibration control
WO2016022525A1 (en) 2014-08-05 2016-02-11 Seek Thermal, Inc. Time based offset correction for imaging systems
WO2016022374A1 (en) 2014-08-05 2016-02-11 Seek Thermal, Inc. Local contrast adjustment for digital images
CN106716992B (zh) 2014-08-20 2020-02-07 塞克热量股份有限公司 用于成像系统的增益校准的方法及成像系统
EP3183872B1 (en) 2014-08-20 2018-12-19 Seek Thermal, Inc. Adaptive adjustment of operating bias of an imaging system
US10600164B2 (en) 2014-12-02 2020-03-24 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US9947086B2 (en) 2014-12-02 2018-04-17 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US10467736B2 (en) 2014-12-02 2019-11-05 Seek Thermal, Inc. Image adjustment based on locally flat scenes
US9549130B2 (en) 2015-05-01 2017-01-17 Seek Thermal, Inc. Compact row column noise filter for an imaging system
US10867371B2 (en) 2016-06-28 2020-12-15 Seek Thermal, Inc. Fixed pattern noise mitigation for a thermal imaging system
US11089220B2 (en) 2019-05-02 2021-08-10 Samsung Electronics Co., Ltd. Electronic test device, method and computer-readable medium
US11276152B2 (en) 2019-05-28 2022-03-15 Seek Thermal, Inc. Adaptive gain adjustment for histogram equalization in an imaging system
CN113892126A (zh) * 2019-05-31 2022-01-04 深圳市晟视科技有限公司 一种基于fpga架构的实时景深合成算法和系统
CN112437283B (zh) * 2020-11-09 2022-06-10 广景视睿科技（深圳）有限公司 一种调整投影抖动的方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708477A (en) * 1994-12-01 1998-01-13 Forbes; Scott Jared Video signal identifier for controlling a VCR and television based on the occurrence of commercials
CN101345824A (zh) * 2007-07-09 2009-01-14 三星电子株式会社 补偿相机的手抖动的方法和设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747808B2 (en) * 2002-10-04 2004-06-08 Hewlett-Packard Development Company, L.P. Electronic imaging device focusing
US7548659B2 (en) 2005-05-13 2009-06-16 Microsoft Corporation Video enhancement
EP1988705A1 (en) * 2007-04-30 2008-11-05 STMicroelectronics (Research & Development) Limited Improvements in or relating to image sensors
US9179060B2 (en) * 2007-09-27 2015-11-03 Qualcomm Incorporated Method and apparatus for camera shake effect image stabilization
WO2009150696A1 (ja) * 2008-06-10 2009-12-17 富士通株式会社 画像補正装置および画像補正方法
US8611691B2 (en) 2009-07-31 2013-12-17 The United States Of America As Represented By The Secretary Of The Army Automated video data fusion method
JP2011176542A (ja) * 2010-02-24 2011-09-08 Nikon Corp カメラおよび画像合成プログラム
DE102010019399B4 (de) * 2010-05-04 2019-02-28 Testo Ag Bildaufnahmeverfahren für IR-Bilder und Wärmebildkamera
US8532421B2 (en) 2010-11-12 2013-09-10 Adobe Systems Incorporated Methods and apparatus for de-blurring images using lucky frames

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5708477A (en) * 1994-12-01 1998-01-13 Forbes; Scott Jared Video signal identifier for controlling a VCR and television based on the occurrence of commercials
CN101345824A (zh) * 2007-07-09 2009-01-14 三星电子株式会社 补偿相机的手抖动的方法和设备

Also Published As

Publication number Publication date
WO2013191611A2 (en) 2013-12-27
SE536619C2 (sv) 2014-04-01
WO2013191611A3 (en) 2014-01-30
US20150189183A1 (en) 2015-07-02
SE1230067A1 (sv) 2013-12-21
EP2864960A2 (en) 2015-04-29
CN104781846A (zh) 2015-07-15
EP2864960A4 (en) 2016-04-06
US9332186B2 (en) 2016-05-03

Similar Documents

Publication Publication Date Title
CN104781846B (zh) 用于补偿与振动相关的动态模糊的方法
EP3800878B1 (en) Cascaded camera motion estimation, rolling shutter detection, and camera shake detection for video stabilization
US7502522B2 (en) Video processing system and method for automatic enhancement of digital video
EP2541496B1 (en) Method, medium, and apparatus of filtering depth noise using depth information
US8750645B2 (en) Generating a composite image from video frames
US20040090523A1 (en) Image processing apparatus and method and image pickup apparatus
CN102842110B (zh) 图像处理设备和图像处理方法
CN111131698B (zh) 图像处理方法及装置、计算机可读介质、电子设备
US9648253B2 (en) Procedure for mapping when capturing video streams by means of a camera
JP2013090194A (ja) サーバ装置、画像送信方法、端末装置、画像受信方法、プログラムおよび画像処理システム
JP5824155B2 (ja) 画像のノイズ除去、圧縮および補間のための異方性勾配の正則化
JP2009279042A (ja) 放射線画像処理装置、放射線画像処理方法及びプログラム
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
JP2007028251A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP6385206B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
KR101342783B1 (ko) 가상시점 영상 생성 방법 및 그 장치
EP3925510B1 (en) Signal processing device, signal processing method, program and medical image processing system
JP2024092498A (ja) 画像記録システム
US20240169498A1 (en) Joint Video Stabilization and Motion Deblurring
JP2024092499A (ja) ドライブレコーダ
JP2003319202A (ja) シャープネス処理方法および装置並びにプログラム
US9210342B2 (en) Method and system for removing noise by controlling lens iris
EP2472848A2 (en) Video playback apparatus and method
JP5012521B2 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
KR101158492B1 (ko) 화면 분할을 통한 주시각 제어 방법 및 이를 이용한 입체 카메라

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant