CN109993767B - 图像处理方法和系统 - Google Patents

图像处理方法和系统 Download PDF

Info

Publication number
CN109993767B
CN109993767B CN201711471070.5A CN201711471070A CN109993767B CN 109993767 B CN109993767 B CN 109993767B CN 201711471070 A CN201711471070 A CN 201711471070A CN 109993767 B CN109993767 B CN 109993767B
Authority
CN
China
Prior art keywords
image
pixel points
models
module
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711471070.5A
Other languages
English (en)
Other versions
CN109993767A (zh
Inventor
郑凯杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201711471070.5A priority Critical patent/CN109993767B/zh
Publication of CN109993767A publication Critical patent/CN109993767A/zh
Application granted granted Critical
Publication of CN109993767B publication Critical patent/CN109993767B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开提供了一种图像处理方法,包括:获取图像序列,所述图像序列中包括多张图像,所述多张图像中的每张图像包括m×n个像素点,其中,m为正整数,n为正整数;对于所述m×n个像素点中的特定位置的像素点,根据所述图像序列中的前i张图像为所述特定位置的像素点建立k个模型,其中,i为正整数,k为正整数;以及根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,根据匹配结果确定所述对应位置的像素点是否为运动目标像素点。

Description

图像处理方法和系统
技术领域
本公开涉及计算机技术领域,更具体地,涉及一种图像处理方法和一种图像处理系统。
背景技术
随着计算机技术的快速发展,计算机视觉技术被越来越多地应用于人工智能、自动驾驶、安防和日常生活等诸多领域。图像序列的运动目标识别与跟踪技术是计算机视觉领域中的重要课题,其目的是通过计算机视觉从背景环境中准确识别出所需的运动目标。
在现有技术中,通常使用帧间差分法对图像序列进行运动目标的识别,即,通过将相邻两帧图像进行差分处理,将绝对差值大于阈值的像素点认为是运动目标的像素点。
在实现本发明构思的过程中,发明人发现现有技术中至少存在如下问题,即,现有技术只能提取运动目标的边界,不能提供运动目标的完整区域,并且如果帧间时间间隔选择不适当,则会出现运动目标识别不到的问题。
发明内容
有鉴于此,本公开提供了一种能够准确识别运动目标的图像处理方法和图像处理系统。
本公开的一个方面提供了一种图像处理方法,包括:获取图像序列,所述图像序列中包括多张图像,所述多张图像中的每张图像包括m×n个像素点,其中,m为正整数,n为正整数,对于所述m×n个像素点中的特定位置的像素点,根据所述图像序列中的前i张图像为所述特定位置的像素点建立k个模型,其中,i为正整数,k为正整数,以及根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,根据匹配结果确定所述对应位置的像素点是否为运动目标像素点。
根据本公开的实施例,上述方法还包括:对所述图像序列的多张图像进行自适应中值滤波处理。
根据本公开的实施例,上述方法还包括:获取当前图像的至少一个像素点对应的图像灰度值,获取所述至少一个像素点对应的k个模型的平均模型灰度值,以及在所述图像灰度值与所述平均模型灰度值的绝对差值大于第一阈值时,调整所述k个模型的参数。
根据本公开的实施例,上述方法还包括:根据当前图像的特定位置的像素点的匹配结果,对所述像素点对应的k个模型中的至少一个模型进行更新。上述根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,包括:根据当前图像更新后的k个模型对当前图像的下一帧图像的对应位置的像素点进行匹配处理。
根据本公开的实施例,上述方法还包括:记录所述k个模型中的每个模型的最近一次更新对应的更新图像在所述图像序列中的位置,在当前图像与所述更新图像在所述图像序列中的位置之差大于第二阈值时,将所述更新图像对应的模型的可信度置为初始值。
根据本公开的实施例,上述方法还包括:对所述图像中的运动目标像素点进行形态学滤波处理。
本公开的另一个方面提供了一种图像处理系统,包括:第一获取模块、模型建立模块以及匹配模块。其中,第一获取模块获取图像序列,所述图像序列中包括多张图像,所述多张图像中的每张图像包括m×n个像素点,其中,m为正整数,n为正整数。模型建立模块对于所述m×n个像素点中的特定位置的像素点,根据所述图像序列中的前i张图像为所述特定位置的像素点建立k个模型,其中,i为正整数,k为正整数。匹配模块根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,根据匹配结果确定所述对应位置的像素点是否为运动目标像素点。
根据本公开的实施例,上述系统还包括:中值滤波模块,对所述图像序列的多张图像进行自适应中值滤波处理。
根据本公开的实施例,上述系统还包括第二获取模块、第三获取模块以及调整模块。其中,第二获取模块获取当前图像的至少一个像素点对应的图像灰度值。第三获取模块获取所述至少一个像素点对应的k个模型的平均模型灰度值。调整模块在所述图像灰度值与所述平均模型灰度值的绝对差值大于第一阈值时,调整所述k个模型的参数。
根据本公开的实施例,上述系统还包括:更新模块,根据当前图像的特定位置的像素点的匹配结果,对所述像素点对应的k个模型中的至少一个模型进行更新。上述根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,包括:根据当前图像更新后的k个模型对当前图像的下一帧图像的对应位置的像素点进行匹配处理。
根据本公开的实施例,上述系统还包括记录模块以及充值模块。其中,记录模块记录所述k个模型中的每个模型的最近一次更新对应的更新图像在所述图像序列中的位置。重置模块在当前图像与所述更新图像在所述图像序列中的位置之差大于第二阈值时,将所述更新图像对应的模型的可信度置为初始值。
根据本公开的实施例,上述系统还包括:形态学滤波模块,对所述图像中的运动目标像素点进行形态学滤波处理。
本公开的另一方面提供了一种数据处理系统,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行如上所述的方法。
本公开的另一方面提供了一种非易失性存储介质,存储有计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
本公开的另一方面提供了一种计算机程序,所述计算机程序包括计算机可执行指令,所述指令在被执行时用于实现如上所述的方法。
根据本公开的实施例,可以至少部分地解决现有技术中运动目标识别不准确的问题,并因此可以实现准确且稳定地识别图像序列中的运动目标的技术效果。
附图说明
通过以下参照附图对本公开实施例的描述,本公开的上述以及其他目的、特征和优点将更为清楚,在附图中:
图1示意性示出了根据本公开实施例的可以应用图像处理方法的示例性系统架构;
图2示意性示出了根据本公开实施例的图像处理方法和图像处理系统的应用场景;
图3示意性示出了根据本公开实施例的图像处理方法的流程图;
图4示意性示出了根据本公开另一实施例的图像处理方法的流程图;
图5示意性示出了根据本公开实施例的图像处理系统的框图;
图6示意性示出了根据本公开另一实施例的图像处理系统的框图;
图7示意性示出了根据本公开实施例的适于实现图像处理方法的计算机系统的方框图。
具体实施方式
以下,将参照附图来描述本公开的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本公开的范围。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本公开的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解,实质上任意表示两个或更多可选项目的转折连词和/或短语,无论是在说明书、权利要求书还是附图中,都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如,短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
本公开的实施例提供了一种图像处理方法以及能够应用该方法的处理系统。该方法包括:获取图像序列,该图像序列中包括多张图像,多张图像中的每张图像包括m×n个像素点,其中,m为正整数,n为正整数。对于m×n个像素点中的特定位置的像素点,根据图像序列中的前i张图像为特定位置的像素点建立k个模型,其中,i为正整数,k为正整数。根据特定位置的像素点的k个模型对图像序列中的至少一张图像的对应位置的像素点进行匹配处理,根据匹配结果确定该对应位置的像素点是否为运动目标像素点。
图1示意性示出了根据本公开实施例的可以应用图像处理方法的示例性系统架构100。需要注意的是,图1所示仅为可以应用本公开实施例的系统架构的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示,根据该实施例的系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用,例如图像类应用、购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用终端设备101、102、103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本公开实施例所提供的图像处理方法一般可以由服务器105执行。相应地,本公开实施例所提供的图像处理系统一般可以设置于服务器105中。本公开实施例所提供的图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地,本公开实施例所提供的图像处理系统也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。或者,本公开实施例所提供的图像处理方法也可以由终端设备101、102、或103执行,或者也可以由不同于终端设备101、102、或103的其他终端设备执行。相应地,本公开实施例所提供的图像处理系统也可以设置于终端设备101、102、或103中,或设置于不同于终端设备101、102、或103的其他终端设备中。
例如,图像序列可以原本存储在终端设备101、102、或103中的任意一个(例如,终端设备101,但不限于此)之中,或者存储在外部存储设备上并可以导入到终端设备101中。然后,终端设备101可以在本地执行本公开实施例所提供的图像处理方法,或者将图像序列发送到其他终端设备、服务器、或服务器集群,并由接收该图像序列的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的图像处理方法。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
图2示意性示出了根据本公开实施例的图像处理方法和图像处理系统的应用场景。
如图2所示,该应用场景包括待处理图像210以及处理后图像220。
根据本公开实施例,待处理图像210可以是图像序列中的一帧图像,本公开实施例提供的图像处理方法可以将待处理图像210中的属于运动目标的像素点提取出来,从而得到处理后的图像220。
需要注意的是,图2所示仅为可以应用本公开实施例的应用场景的示例,以帮助本领域技术人员理解本公开的技术内容,但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
图3示意性示出了根据本公开实施例的图像处理方法的流程图。
如图3所示,该方法包括操作S301~S303。
在操作S301,获取图像序列,该图像序列中包括多张图像,多张图像中的每张图像包括m×n个像素点,其中,m为正整数,n为正整数。
根据本公开实施例,图像序列中的多张图像具有先后顺序,例如,图像序列可以是视频,图像序列中的多张图像可以是视频中的多帧图像,多帧图像在视频中有时间上的先后顺序。视频中例如可以包括有运动的目标物体。
在本公开实施例中,多张图像可以属于同一视频中的多帧图像,因此,每张图像可以包括相同的像素尺寸,例如,每张图像可以包括m×n个像素点,其中,m为正整数,n为正整数。例如,视频中的每帧图像包括1000×1000个像素点。
在操作S302,对于m×n个像素点中的特定位置的像素点,根据图像序列中的前i张图像为特定位置的像素点建立k个模型,其中,i为正整数,k为正整数。
根据本公开实施例,特定位置的像素点可以是m×n个像素点中的全部像素点,也可以是m×n个像素点中的部分像素点,本公开不限制特定位置的像素点的选择标准,本领域技术人员可以根据实际情况对特定位置进行设定。
在本公开实施例中,根据图像序列的前i张图像为特定位置的像素点建立k个模型,可以是选择视频中的前几帧图像作为参考图像,根据参考图像为特定位置的像素点建立k个模型。例如,根据前几帧参考图像为图像中每个位置的像素点分别建立k个模型。
根据本公开实施例,模型例如可以是高斯模型,为特定位置的像素点建立k个模型可以是为特定位置的像素点建立混合高斯模型。例如,根据视频中的前5帧图像(仅为示例)为特定位置的像素点建立k个高斯模型,可以是将前5帧图像关于特定位置的像素点的灰度值的平均值作为k个高斯模型的初始平均值μ,并且根据实际情况为k个模型赋初始方差σ。
在操作S303,根据特定位置的像素点的k个模型对图像序列中的至少一张图像的对应位置的像素点进行匹配处理,根据匹配结果确定对应位置的像素点是否为运动目标像素点。
根据本公开实施例,可以根据图像中的特定位置的像素点的灰度值与其对应的模型进行可靠分布的匹配,根据匹配结果将该像素点分为背景像素点或者运动目标像素点。
例如,当前图像的特定位置的像素点的灰度值为X,当|X-μ|<2σ时,表示该像素点符合该高斯分布,当|X-μ|>2σ时,表示该像素点不符合该高斯分布。可以理解,公式中方差σ的系数2仅为示例,方差σ的系数可以根据实际情况进行设定,例如也可以是3。
当特定位置的像素点对应有3个高斯模型时,其参数分别为(μ1,σ1),(μ2,σ2),(μ3,σ3),如果当前图像的特定位置的像素点同时都不符合这3个高斯分布时,认为该像素点为运动目标像素点,如果当前图像的特定位置的像素点符合3个高斯模型其中之一时,认为该像素点为背景像素点。
根据本公开实施例,k个模型具有各自的模型可信度参数,将特定位置的像素点与k个模型匹配时,可以按照k个模型的可信度顺序(从可信度大到可信度小)依次与k个模型进行匹配,若遇到可以匹配的模型,则不再继续与其他可信度小的模型进行匹配,直接认为该像素点为背景像素点,若所有模型都不匹配则认为该像素点为运动像素点。
在本公开实施例中,还可以根据当前图像的特定位置的像素点的匹配结果对该像素点对应的k个模型中的至少一个模型进行更新,然后下一帧图像可以根据更新后的模型进行匹配处理,从而可以实现模型的自适应化,根据不断更新模型参数,动态地描述背景模型。
根据本公开实施例,通过对特定位置的像素点建立多个模型,根据多个模型判断图像中对应位置的像素点是运动目标像素点还是背景像素点,可以提高判断标准,从而可以实现准确且稳定地识别图像中的运动目标。
图4示意性示出了根据本公开另一实施例的图像处理方法的流程图。
如图4所示,该方法包括操作S301~S302,以及操作S401~S406。其中,操作S301~S302与上述参考图3描述的方法相同或类似,在此不再赘述。
在操作S401,对所述图像序列的多张图像进行自适应中值滤波处理,用于消除图像中的噪声。
根据本公开实施例,可以首先使用小窗口(p×q的矩形窗口),当窗口中所有像素都被噪声污染(如椒盐噪声)时,自适应的增大窗口,否则,就采用小窗口中未被噪声污染的像素灰度进行中值输出,以维持小窗口的中值输出,从而在滤除噪声的同时较好地保持了图像细节。
在操作S402,对特定位置的像素点的k个模型进行光照突变补偿。具体地,获取当前图像的至少一个像素点对应的图像灰度值,获取所述至少一个像素点对应的k个模型的平均模型灰度值,在图像灰度值与平均模型灰度值的绝对差值大于第一阈值时,调整k个模型的参数。
根据本公开实施例,可以先确定当前图像帧的至少一个像素点对应的图像灰度值,例如可以选择当前图像帧中的一部分区域的像素点的灰度值的平均值作为图像灰度值。然后获取同一部分区域的像素点对应的k个模型的平均值参数的平均值作为平均模型灰度值,判断图像灰度值与平均模型灰度值的绝对差值是否大于第一阈值,如果大于第一阈值则表示发生了光照突变,根据图像灰度值与平均模型灰度值的差值调整模型的参数,例如,在模型的平均值μ上加上上述差值,以使模型适应光照的突变,避免由于光照突变引起的运动目标误识别。
在操作S403,根据所述特定位置的像素点的k个模型对当前图像的对应位置的像素点进行匹配处理,根据匹配结果确定所述对应位置的像素点是否为运动目标像素点。
根据本公开实施例,可以根据当前图像的上一帧图像更新后的k个模型对当前图像的相应的像素点进行匹配处理。具体的匹配处理可以参考上述参考图2描述的操作S303,在此不再赘述。
在操作S404,根据当前图像的特定位置的像素点的匹配结果,对所述像素点对应的k个模型中的至少一个模型进行更新。
根据本公开实施例,随着视频的每帧图像的变化,相应的模型也随之变化,本公开实施例根据当前图像的匹配结果,更新相应的模型,使得下一帧图像可以根据更新后的模型进行匹配处理,从而实现模型的自适应化,根据不断更新模型参数,动态地描述背景模型。
根据本公开实施例,k个模型具有各自的模型可信度参数,将特定位置的像素点与k个模型匹配时,可以按照k个模型的可信度顺序(从可信度大到可信度小)依次与k个模型进行匹配,若遇到可以匹配的模型,则不再继续与其他可信度小的模型进行匹配,直接认为该像素点为背景像素点,若所有模型都不匹配则认为该像素点为运动目标像素点。
例如,当前图像的特定位置的像素点确定为背景像素点后,可以根据该像素点的灰度值Xk+1更新其匹配的一个模型(即,可以匹配的k个模型中可信度高的模型)。具体地,可以通过如下公式更新其匹配的模型:
wk+1=(1-α)×wk
μk+1=(1-p)×μk+p×Xk+1
Figure BDA0001530138890000111
其中,α为模型的学习率,w为模型的可信度,p=α/wk+1
例如,当前图像的特定位置的像素点确定为运动目标像素点后,可以根据该像素点的灰度值Xk+1建立新的高斯模型,并且代替掉k个模型中可信度最低的模型。具体地,可以通过如下公式新建模型:
μk+1=Xk+1
Figure BDA0001530138890000112
其中,σ0为默认的初始方差。
可以理解,可以根据当前图像更新后的k个模型对当前图像的下一帧图像的对应位置的像素点进行匹配处理。
在操作S405,对k个模型进行残影抑制处理。具体地,记录所述k个模型中的每个模型的最近一次更新对应的更新图像在所述图像序列中的位置,在当前图像与所述更新图像在所述图像序列中的位置之差大于第二阈值时,将所述更新图像对应的模型的可信度置为初始值。
根据本公开实施例,当像素点被运动目标覆盖时,会形成1~2个错误的模型并得到较大的可信度,而在运动目标离开该像素点后,错误的模型智能被渐渐的更新,无法快速的被纠正,以至计算出的背景图像在运动目标经过的路径上留下残影。
本公开实施例为每个模型增加一个参数updata,该参数updata记录该模型被最近一次更新对应的帧数,检测当前帧与该参数updata之间的差值,若该差值大于第二阈值,则认为该模型已经失效,将其可信度置为0。
在操作S406,对所述图像中的运动目标像素点进行形态学滤波处理。
根据本公开实施例,由于噪声的影响,会使检测结果中出现一些背景区域的背景像素点被检测成运动目标像素点,也可能是运动目标区域的运动目标像素点被漏检。另外,背景的扰动,会使这部分也被误判断为运动目标像素点,为了消除这些影响,对上一步的确定的匹配结果用形态学的方法进行处理。
具体地,开运算:先对目标图像进行腐蚀,然后再对其进行膨胀,图像中结构元素小的毛刺以及小点均可以进过开运算去掉。开运算还能起分离细长搭接的作用,但总的形状和位置不变,能够很好的去除孤立的小点、消除细小的目标。
闭运算:对图像先膨胀再腐蚀。闭运算可以把比结构元素小的缺口或小孔填充上,把相邻目标区域断点连接上,不改变目标区域面积的同时又平滑图像的边界。
本公开实施例提供的图像处理方法通过使用自适应中值滤波对图像进行预处理,在滤除噪声的同时较好地保持了图像的细节;本公开实施例对特定位置的像素点建立了多个模型,通过多个模型对图像中对应的像素点进行匹配处理,提高了运动目标像素点确定的准确性和稳定性;本公开实施例通过检测灰度值的变化,有效降低了由于光照突变引起的误差,进一步提高了模型的稳定性和准确性;本公开实施例对k个模型设置了有效期,抑制了背景图像的残影,进一步提高了模型准确性;本公开实施例使用了图像形态学处理,滤除了孤立小噪声点,并填充了运动目标中可能存在的小孔和缺口,使得提取出的运动目标具有更准确更完整的形态;本公开实施例中的每个像素点的k个模型相互独立,便于采取并行运算的方式,从而提高整体处理速度。
图5示意性示出了根据本公开实施例的图像处理系统500的框图。
如图5所示,图像处理系统500包括第一获取模块510、模型建立模块520以及匹配模块530。
第一获取模块510获取图像序列,所述图像序列中包括多张图像,所述多张图像中的每张图像包括m×n个像素点,其中,m为正整数,n为正整数。根据本公开实施例,第一获取模块510例如可以执行上文参考图3描述的操作S301,在此不再赘述。
模型建立模块520对于所述m×n个像素点中的特定位置的像素点,根据所述图像序列中的前i张图像为所述特定位置的像素点建立k个模型,其中,i为正整数,k为正整数。根据本公开实施例,模型建立模块520例如可以执行上文参考图3描述的操作S302,在此不再赘述。
匹配模块530根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,根据匹配结果确定所述对应位置的像素点是否为运动目标像素点。根据本公开实施例,匹配模块530例如可以执行上文参考图3描述的操作S303,在此不再赘述。
图6示意性示出了根据本公开另一实施例的图像处理系统600的框图。
如图6所示,图像处理系统600包括第一获取模块510、模型建立模块520、匹配模块530、中值滤波模块540、第二获取模块550、第三获取模块560、调整模块570、更新模块580、记录模块590、重置模块5100以及形态学滤波模块5110。其中,第一获取模块510、模型建立模块520以及匹配模块530与上述参考图5描述的模块相同或类似,在此不再赘述。
中值滤波模块540对所述图像序列的多张图像进行自适应中值滤波处理。根据本公开实施例,中值滤波模块540例如可以执行上文参考图4描述的操作S401,在此不再赘述。
第二获取模块550获取当前图像的至少一个像素点对应的图像灰度值。
第三获取模块560获取所述至少一个像素点对应的k个模型的平均模型灰度值。
调整模块570在所述图像灰度值与所述平均模型灰度值的绝对差值大于第一阈值时,调整所述k个模型的参数。
更新模块580根据当前图像的特定位置的像素点的匹配结果,对所述像素点对应的k个模型中的至少一个模型进行更新。根据本公开实施例,更新模块580例如可以执行上文参考图4描述的操作S404,在此不再赘述。
记录模块590记录所述k个模型中的每个模型的最近一次更新对应的更新图像在所述图像序列中的位置。
重置模块5100在当前图像与所述更新图像在所述图像序列中的位置之差大于第二阈值时,将所述更新图像对应的模型的可信度置为初始值。
形态学滤波模块5110对所述图像中的运动目标像素点进行形态学滤波处理。根据本公开实施例,形态学滤波模块5110例如可以执行上文参考图4描述的操作S406,在此不再赘述。
可以理解的是,第一获取模块510、模型建立模块520、匹配模块530、中值滤波模块540、第二获取模块550、第三获取模块560、调整模块570、更新模块580、记录模块590、重置模块5100以及形态学滤波模块5110可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,第一获取模块510、模型建立模块520、匹配模块530、中值滤波模块540、第二获取模块550、第三获取模块560、调整模块570、更新模块580、记录模块590、重置模块5100以及形态学滤波模块5110中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以以对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式的适当组合来实现。或者,第一获取模块510、模型建立模块520、匹配模块530、中值滤波模块540、第二获取模块550、第三获取模块560、调整模块570、更新模块580、记录模块590、重置模块5100以及形态学滤波模块5110中的至少一个可以至少被部分地实现为计算机程序模块,当该程序被计算机运行时,可以执行相应模块的功能。
图7示意性示出了根据本公开实施例的适于实现图像处理方法的计算机系统的方框图。图7示出的计算机系统仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图7所示,根据本公开实施例的计算机系统700包括处理器701,其可以根据存储在只读存储器(ROM)702中的程序或者从存储部分708加载到随机访问存储器(RAM)703中的程序而执行各种适当的动作和处理。处理器701例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC)),等等。处理器701还可以包括用于缓存用途的板载存储器。处理器701可以包括用于执行参考图3~图4描述的根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 703中,存储有系统700操作所需的各种程序和数据。处理器701、ROM 702以及RAM 703通过总线704彼此相连。处理器701通过执行ROM 702和/或RAM 703中的程序来执行以上参考图3~图4描述的图像处理方法的各种操作。需要注意,所述程序也可以存储在除ROM 702和RAM 703以外的一个或多个存储器中。处理器701也可以通过执行存储在所述一个或多个存储器中的程序来执行以上参考图2~图4描述的图像处理方法的各种操作。
根据本公开的实施例,系统700还可以包括输入/输出(I/O)接口705,输入/输出(I/O)接口705也连接至总线704。系统700还可以包括连接至I/O接口705的以下部件中的一项或多项:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
根据本公开的实施例,上文参考流程图描述的方法可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被处理器701执行时,执行本公开实施例的系统中限定的上述功能。根据本公开的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。根据本公开的实施例,计算机可读介质可以包括上文描述的ROM 702和/或RAM 703和/或ROM 702和RAM 703以外的一个或多个存储器。
附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的设备中所包含的;也可以是单独存在,而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被一个该设备执行时,使得该设备执行:获取图像序列,所述图像序列中包括多张图像,所述多张图像中的每张图像包括m×n个像素点,其中,m为正整数,n为正整数,对于所述m×n个像素点中的特定位置的像素点,根据所述图像序列中的前i张图像为所述特定位置的像素点建立k个模型,其中,i为正整数,k为正整数,以及根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,根据匹配结果确定所述对应位置的像素点是否为运动目标像素点。
根据本公开的实施例,上述方法还包括:对所述图像序列的多张图像进行自适应中值滤波处理。
根据本公开的实施例,上述方法还包括:获取当前图像的至少一个像素点对应的图像灰度值,获取所述至少一个像素点对应的k个模型的平均模型灰度值,以及在所述图像灰度值与所述平均模型灰度值的绝对差值大于第一阈值时,调整所述k个模型的参数。
根据本公开的实施例,上述方法还包括:根据当前图像的特定位置的像素点的匹配结果,对所述像素点对应的k个模型中的至少一个模型进行更新。上述根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,包括:根据当前图像更新后的k个模型对当前图像的下一帧图像的对应位置的像素点进行匹配处理。
根据本公开的实施例,上述方法还包括:记录所述k个模型中的每个模型的最近一次更新对应的更新图像在所述图像序列中的位置,在当前图像与所述更新图像在所述图像序列中的位置之差大于第二阈值时,将所述更新图像对应的模型的可信度置为初始值。
根据本公开的实施例,上述方法还包括:对所述图像中的运动目标像素点进行形态学滤波处理。
以上对本公开的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本公开的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本公开的范围之内。

Claims (12)

1.一种图像处理方法,包括:
获取图像序列,所述图像序列中包括多张图像,所述多张图像中的每张图像包括m×n个像素点,其中,m为正整数,n为正整数;
对于所述m×n个像素点中的特定位置的像素点,根据所述图像序列中的前i张图像为所述特定位置的像素点建立k个模型,其中,i为正整数,k为正整数;
根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,根据匹配结果确定所述对应位置的像素点是否为运动目标像素点;
所述方法还包括:根据当前图像的特定位置的像素点的匹配结果,对所述像素点对应的k个模型中的至少一个模型进行更新;
记录所述k个模型中的每个模型的最近一次更新对应的更新图像在所述图像序列中的位置;
在当前图像与所述更新图像在所述图像序列中的位置之差大于第二阈值时,将所述更新图像对应的模型的可信度置为初始值。
2.根据权利要求1所述的方法,还包括:
对所述图像序列的多张图像进行自适应中值滤波处理。
3.根据权利要求1所述的方法,还包括:
获取当前图像的至少一个像素点对应的图像灰度值;
获取所述至少一个像素点对应的k个模型的平均模型灰度值;
在所述图像灰度值与所述平均模型灰度值的绝对差值大于第一阈值时,调整所述k个模型的参数。
4.根据权利要求1所述的方法,其中:
所述根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,包括:根据当前图像更新后的k个模型对当前图像的下一帧图像的对应位置的像素点进行匹配处理。
5.根据权利要求1所述的方法,还包括:
对所述图像中的运动目标像素点进行形态学滤波处理。
6.一种图像处理系统,包括:
第一获取模块,获取图像序列,所述图像序列中包括多张图像,所述多张图像中的每张图像包括m×n个像素点,其中,m为正整数,n为正整数;
模型建立模块,对于所述m×n个像素点中的特定位置的像素点,根据所述图像序列中的前i张图像为所述特定位置的像素点建立k个模型,其中,i为正整数,k为正整数;
匹配模块,根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,根据匹配结果确定所述对应位置的像素点是否为运动目标像素点;
所述系统还包括:更新模块,根据当前图像的特定位置的像素点的匹配结果,对所述像素点对应的k个模型中的至少一个模型进行更新;
记录模块,记录所述k个模型中的每个模型的最近一次更新对应的更新图像在所述图像序列中的位置;
重置模块,在当前图像与所述更新图像在所述图像序列中的位置之差大于第二阈值时,将所述更新图像对应的模型的可信度置为初始值。
7.根据权利要求6所述的系统,还包括:
中值滤波模块,对所述图像序列的多张图像进行自适应中值滤波处理。
8.根据权利要求6所述的系统,还包括:
第二获取模块,获取当前图像的至少一个像素点对应的图像灰度值;
第三获取模块,获取所述至少一个像素点对应的k个模型的平均模型灰度值;
调整模块,在所述图像灰度值与所述平均模型灰度值的绝对差值大于第一阈值时,调整所述k个模型的参数。
9.根据权利要求6所述的系统,其中:
所述根据所述特定位置的像素点的k个模型对所述图像序列中的至少一张图像的对应位置的像素点进行匹配处理,包括:根据当前图像更新后的k个模型对当前图像的下一帧图像的对应位置的像素点进行匹配处理。
10.根据权利要求6所述的系统,还包括:
形态学滤波模块,对所述图像中的运动目标像素点进行形态学滤波处理。
11.一种数据处理系统,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器执行根据权利要求1~5中任一项所述的方法。
12.一种计算机可读介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行根据权利要求1~5中任一项所述的方法。
CN201711471070.5A 2017-12-28 2017-12-28 图像处理方法和系统 Active CN109993767B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711471070.5A CN109993767B (zh) 2017-12-28 2017-12-28 图像处理方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711471070.5A CN109993767B (zh) 2017-12-28 2017-12-28 图像处理方法和系统

Publications (2)

Publication Number Publication Date
CN109993767A CN109993767A (zh) 2019-07-09
CN109993767B true CN109993767B (zh) 2021-10-12

Family

ID=67108415

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711471070.5A Active CN109993767B (zh) 2017-12-28 2017-12-28 图像处理方法和系统

Country Status (1)

Country Link
CN (1) CN109993767B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612811B (zh) * 2020-06-05 2021-02-19 中国人民解放军军事科学院国防科技创新研究院 视频前景信息提取方法及系统
CN111859001B (zh) * 2020-07-06 2022-05-31 Oppo(重庆)智能科技有限公司 图像相似度检测方法、装置、存储介质与电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063878A (zh) * 2013-03-20 2014-09-24 富士通株式会社 运动对象检测装置、运动对象检测方法以及电子设备
CN104899839A (zh) * 2015-06-05 2015-09-09 河海大学 基于ViBe算法的鬼影快速抑制方法
CN105335986A (zh) * 2015-09-10 2016-02-17 西安电子科技大学 基于特征匹配和MeanShift算法的目标跟踪方法
CN105354862A (zh) * 2015-09-30 2016-02-24 深圳大学 一种监控视频中运动目标的阴影检测方法、系统
CN106651782A (zh) * 2016-09-26 2017-05-10 江苏科海智能系统有限公司 一种面向ViBe的前景鬼影消除方法
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像系统的无人机检测与识别方法
CN106780548A (zh) * 2016-11-16 2017-05-31 南宁市浩发科技有限公司 基于交通视频的运动车辆检测方法
CN107146147A (zh) * 2017-05-26 2017-09-08 北京京东尚科信息技术有限公司 信息处理方法和装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103617632B (zh) * 2013-11-19 2017-06-13 浙江工业大学 一种结合相邻帧差法和混合高斯模型的运动目标检测方法
CN103617638B (zh) * 2013-12-05 2017-03-15 北京京东尚科信息技术有限公司 图像处理的方法及装置
CN103886617A (zh) * 2014-03-07 2014-06-25 华为技术有限公司 一种运动目标检测的方法及装置
CN105303581B (zh) * 2014-06-12 2018-12-14 南京理工大学 一种自适应参数的运动目标检测方法
CN105472204B (zh) * 2014-09-05 2018-12-14 南京理工大学 基于运动检测的帧间降噪方法
CN105809091B (zh) * 2014-12-30 2020-10-16 同方威视技术股份有限公司 检查方法和系统
CN106296725B (zh) * 2015-06-12 2021-10-19 富泰华工业(深圳)有限公司 运动目标实时检测与跟踪方法及目标检测装置
CN107368784A (zh) * 2017-06-15 2017-11-21 西安理工大学 一种基于小波分块的新颖的背景差分法运动目标检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104063878A (zh) * 2013-03-20 2014-09-24 富士通株式会社 运动对象检测装置、运动对象检测方法以及电子设备
CN104899839A (zh) * 2015-06-05 2015-09-09 河海大学 基于ViBe算法的鬼影快速抑制方法
CN105335986A (zh) * 2015-09-10 2016-02-17 西安电子科技大学 基于特征匹配和MeanShift算法的目标跟踪方法
CN105354862A (zh) * 2015-09-30 2016-02-24 深圳大学 一种监控视频中运动目标的阴影检测方法、系统
CN106651782A (zh) * 2016-09-26 2017-05-10 江苏科海智能系统有限公司 一种面向ViBe的前景鬼影消除方法
CN106780548A (zh) * 2016-11-16 2017-05-31 南宁市浩发科技有限公司 基于交通视频的运动车辆检测方法
CN106707296A (zh) * 2017-01-09 2017-05-24 华中科技大学 一种基于双孔径光电成像系统的无人机检测与识别方法
CN107146147A (zh) * 2017-05-26 2017-09-08 北京京东尚科信息技术有限公司 信息处理方法和装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Detecting objects, shadows and ghosts in video streams by exploiting color and motion information;R. Cucchiara et al;《Proceedings 11th International Conference on Image Analysis and Processing》;20010921;360-365 *
一种基于背景模型的运动目标检测与跟踪算法;刘亚等;《信息与控制》;20040220;第31卷(第4期);315-319,328 *
一种基于阈值的自适应Vibe 目标检测算法;王辉等;《计算机科学》;20150630;第42卷(第6A期);154-157 *
复杂背景中的多目标检测与跟踪;刘雨辰;《中国优秀硕士学位论文全文数据库 信息科技辑》;20151215(第12期);I138-481 *

Also Published As

Publication number Publication date
CN109993767A (zh) 2019-07-09

Similar Documents

Publication Publication Date Title
US20230274537A1 (en) Eye gaze tracking using neural networks
US10796438B2 (en) Method and apparatus for tracking target profile in video
US10474921B2 (en) Tracker assisted image capture
CN107886048A (zh) 目标跟踪方法及系统、存储介质及电子终端
CN112633384A (zh) 基于图像识别模型的对象识别方法、装置和电子设备
CN108337505B (zh) 信息获取方法和装置
CN109284673B (zh) 对象跟踪方法及装置、电子设备及存储介质
KR20150110697A (ko) 타깃 오브젝트를 추적 및 검출하기 위한 시스템들 및 방법들
CN109167893B (zh) 拍摄图像的处理方法、装置、存储介质及移动终端
CN110059623B (zh) 用于生成信息的方法和装置
WO2017114168A1 (en) Method and device for target detection
CN107992790B (zh) 目标长时跟踪方法及系统、存储介质及电子终端
CN113657518B (zh) 训练方法、目标图像检测方法、装置、电子设备以及介质
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN111325798A (zh) 相机模型纠正方法、装置、ar实现设备及可读存储介质
CN109993767B (zh) 图像处理方法和系统
CN112995535A (zh) 用于处理视频的方法、装置、设备以及存储介质
CN112597895A (zh) 基于偏移量检测的置信度确定方法、路侧设备及云控平台
CN108010052A (zh) 复杂场景中的目标跟踪方法及系统、存储介质及电子终端
CN108509876B (zh) 针对视频的物体检测方法、装置、设备、存储介质及程序
CN114119990A (zh) 用于图像特征点匹配的方法、装置及计算机程序产品
CN113643260A (zh) 用于检测图像质量的方法、装置、设备、介质和产品
CN110827254A (zh) 图像清晰度的确定方法和装置
CN113628192A (zh) 图像模糊检测方法、装置、设备、存储介质及程序产品
CN111199179B (zh) 目标对象的跟踪方法、终端设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant