CN102013007B - 用于检测面部的装置和方法 - Google Patents

用于检测面部的装置和方法 Download PDF

Info

Publication number
CN102013007B
CN102013007B CN201010160306.5A CN201010160306A CN102013007B CN 102013007 B CN102013007 B CN 102013007B CN 201010160306 A CN201010160306 A CN 201010160306A CN 102013007 B CN102013007 B CN 102013007B
Authority
CN
China
Prior art keywords
image
distance
range
size
search window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010160306.5A
Other languages
English (en)
Other versions
CN102013007A (zh
Inventor
朴东烈
金鍊淏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102013007A publication Critical patent/CN102013007A/zh
Application granted granted Critical
Publication of CN102013007B publication Critical patent/CN102013007B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

提供一种面部检测装置和方法。该装置可以通过立体照相机获取距离差图像，并且使用该距离差图像创建对象屏蔽以检测面部候选区域。该装置还可以使用距离差图像确定搜索窗口的尺寸并且在面部候选区域中检测面部区域。因此，能够提高面部检测的操作速度。

Description

用于检测面部的装置和方法
相关申请的交叉引用
本申请要求于2009年9月7日在韩国知识产权局提交的韩国专利申请第10-2009-0084015号的优先权，其公开内容通过引入在此整体并入。
技术领域
以下说明涉及用于检测图像中的面部区域的技术。
背景技术
对于用于检测人脸和找出人的存在、位置和方位以识别该人的身份并且提供专用于人的服务的自动设备的需求正在增加。
此类自动设备的示例包括识别访问者的面部以感测访问者的安保系统、具有感测用户面部以用于登录的照相机的笔记本计算机、以及感测面部以捕捉微笑的照相机。
在日前最广泛使用的面部检测方法中，具有几种尺寸的子窗口在图像的整个区域上移动并且通过所述子窗口检测到的图像的一部分被分类为面部区域或者非面部区域。
在这种情况下，通过包括若干连续地连接的分类器的串行分类单元来分类面部区域和非面部区域。也即，当在每个操作中该分类器检测到人脸时，处理前进到下一个操作，而当检测到背景时，该处理不前进到下一个操作而是执行背景的分类。
由于该方法必须扫描图像的整个区域，所以该方法不适合于主要用在消费电子中的便宜的低速处理器。
发明内容
根据一个示范方面，提供一种检测面部的装置，包括：第一距离图像获取单元，基于至少两个获得的图像来获取关于背景的第一距离图像；第二距离图像获取单元，基于至少两个获得的图像来获取关于对象和背景的第二距离图像；距离差图像获取单元，获取在第一距离图像和第二距离图像之间的距离差图像；对象屏蔽(object mask)创建器，基于获取的距离差图像创建对象屏蔽；对象区域检测器，使用创建的对象屏蔽来检测获得的图像其中一个中的对象区域；和面部区域检测器，在检测到的对象区域中检测面部。
该装置还可以包括搜索窗口尺寸确定器，基于获取的距离差图像计算到该对象的距离，并且基于计算的到该对象的距离来确定用于面部检测的搜索窗口的尺寸。在这种情况下，面部区域检测器可以在所检测到的对象区域中扫描该搜索窗口以检测该面部区域。
可以通过消除来自获取的距离差图像中的噪声并且将具有减少的噪声的距离差图像二值化(binarizing)而获得对象屏蔽。
根据另一示范性方面，提供一种检测面部的方法，包括：基于至少两个获得的图像来获取关于背景的第一距离图像；基于至少两个获得的图像来获取关于对象和背景的第二距离图像；获取在第一距离图像和第二距离图像之间的距离差图像；基于获取的距离差图像创建对象屏蔽；使用创建的对象屏蔽来检测获得的图像其中一个中的对象区域；以及在检测到的对象区域中检测面部区域。
该方法还可以包括基于获取的距离差图像计算到该对象的距离，并且基于计算的到该对象的距离来确定用于面部检测的搜索窗口的尺寸。
从下面的详细描述、附图和权利要求书，其他特征和方面将会清楚。
附图说明
图1图示了一示范性的距离图像；
图2图示了一示范性的获取距离图像的方法；
图3图示了一示范性的面部检测装置；
图4图示了另一示范性的面部检测装置；
图5图示了由面部检测装置获取的示范性图像；和
图6是图示一示范性的面部检测方法的流程图。
贯穿附图和详细的说明中，除非另外说明，相同的附图参考数字将被理解为表示相同的组件、特征和结构。出于清楚、图示和方便的原因，这些组件的相对尺寸和刻画可能被放大。
具体实施方式
提供以下说明来帮助读者获得对这里所述的方法、装置和/或系统的完整理解。因此，将对本领域普通技术人员提示对这里所述的方法、装置和/或系统的各种改变、修改和等价内容。同样，为了增加清楚和简洁，可能省略对公知功能和构造的描述。
图1图示了一示范性的距离图像。
在图1中，距离图像101可以被定义为这样的图像：在该图像中，各个点由距离信息来表示。在距离图像101中，距离信息可以由色彩来表示。例如，距离图像101的各个点可以由具有取决于距离的不同亮度的色彩来表示。
图2图示了获取距离图像的示范性原理。
在图2，可以从由立体照相机获取的两个图像获得距离图像。该立体照相机可以具有左照相机和右照相机，如人眼一样组合。例如，左照相机可以位于点C而右照相机可以位于点C’。也即，附图标记102指示从左照相机获得的第一图像，而附图标记103指示从右照相机获得的第二图像。在这种情况下，可以通过公式1获得从第一图像102或第二图像103到特定点M的距离：
公式1
z＝(B/d)*F
在公式1中，z表示从图像到点M的距离，B表示在点C和点C’之间的距离，d表示点M在各自图像中的位置坐标之间的差(即，在X1和X2之间的差)，以及F表示照相机镜头的焦距。B可以是常量或测量值，可以使用平方差之和(SSD)方案获得d，而F可以取决于照相机镜头。基于各值，能够获得从每个图像到特定点的距离z。
因此，由立体照相机获得两个图像，计算图像的各个点的距离，并且根据所述距离由不同的色彩表示各点，因此能够获得如图1所示的距离图像。
图3图示了一示范性的面部检测装置。
参考图3，面部检测装置300可以包括立体照相机301、第一距离图像获取单元302、第二距离图像获取单元303、距离差图像获取单元304、对象屏蔽创建器305、对象区域检测器306和面部区域检测器307。
立体照相机301可以具有分隔一定距离的两个摄像镜头以拍摄相同的对象并且同时获得两个图像。例如，立体照相机301可以包括位于左边的L照相机311和位于右边的R照相机321。
第一距离图像获取单元302从由立体照相机301获取的关于背景的多个图像中获取第一距离图像。例如，第一距离图像获取单元302可以使用从L照相机311获取的背景图像和从R照相机321获取的背景图像获取关于该背景的距离图像。
第二距离图像获取单元303从由立体照相机301获取的关于对象和背景的多个图像中获取第二距离图像。例如，第二距离图像获取单元303可以使用从L照相机311获取的背景和对象图像和从R照相机321获取的背景和对象图像获取关于该背景和对象的距离图像。
在第一距离图像和第二距离图像之间的差指示对象的存在与否。例如，可以在仅有背景没有人物时获取第一距离图像，而可以在人物出现在相同的背景中时获取第二距离图像。
距离差图像获取单元304获取在第一距离图像和第二距离图像之间的距离差图像。可以通过从第二距离图像中减去第一距离图像而获得该距离差图像。替换地，可以通过从第一距离图像中减去第二距离图像而获得该距离差图像。由于第一距离图像包括背景而第二距离图像包括对象和背景，所以距离差图像可以仅包括对象而没有背景。
对象屏蔽创建器305消除获取的距离差图像中的噪声并且将没有噪声的距离差图像二值化以产生对象屏蔽。噪声可以是通过距离误差创建的对象之外的部分，并且可以通过形态学图像处理方案来消除。可以通过将没有噪声的距离差图像中的每个点的距离与门限值进行比较并且将对象区域设置为0而将其他区域设置为1来执行二值化。例如，对象屏蔽可以对应于具有透明的对象区域和不透明的其他区域的图像滤波器。
使用创建的对象屏蔽，对象区域检测器306检测在由立体照相机301获取的图像之一中的对象区域。由立体照相机301获取的图像可以是来自L照相机311的包括对象和背景的图像或者是来自R照相机321的包括对象和背景的图像。例如，对象区域检测器306可以将创建的对象屏蔽应用于来自L照相机311的包括对象和背景的图像。由于对象屏蔽被应用于来自L照相机311的包括对象和背景的图像，所以通过对象屏蔽可以检测到仅仅图像的对象区域。
面部区域检测器307从所检测到的对象区域中检测面部区域。可以采用多种面部检测算法(诸如用于特征点的增强级联方案)。例如，面部区域检测器307能够通过在所检测到的对象区域中扫描预定的搜索窗口来检测面部区域。
因此，面部检测装置300通过距离差图像检测其中对象可能存在的候选区域，并且仅在所检测到的候选区域中检测面部，因此减少了面部检测所需的计算量。
图4图示了另一示范性的面部检测装置。
在图4中，面部检测装置400可以包括立体照相机301、第一距离图像获取单元302、第二距离图像获取单元303、距离差图像获取单元304、对象屏蔽创建器305、对象区域检测器306、面部区域检测器307和搜索窗口尺寸确定器401。
图4中的立体照相机301、第一距离图像获取单元302、第二距离图像获取单元303、距离差图像获取单元304、对象屏蔽创建器305和对象区域检测器306和图3所示的相同。
搜索窗口尺寸确定器401可以基于由距离差图像获取单元304获取的距离差图像来计算到该对象的距离，并基于所计算的到该对象的距离确定用于面部检测的搜索窗口的尺寸。
当对象是人时，因为人具有相似的身体比例，可以使用到该人的距离来计算面部的近似尺寸。例如，搜索窗口尺寸确定器401可以使用距离差图像计算到人的距离，根据人体的比例计算面部的尺寸，并随后考虑到计算的面部尺寸来确定搜索窗口的最小尺寸和最大尺寸。
面部区域检测器307可以在对象区域中扫描具有由搜索窗口尺寸确定器401确定的尺寸的搜索窗口以检测面部区域。
图5图示了由面部检测装置获取的示范性图像。
在图5中，背景L图像501可以是来自L照相机311的关于背景的图像。背景R图像502可以是来自R照相机321的关于背景的图像。背景+对象L图像503可以是来自L照相机311的包括背景和对象的图像。背景+对象R图像504可以是来自R照相机321的包括背景和对象的图像。
第一距离图像505可以是从背景L图像501和背景R图像502获得的关于背景的距离图像。第二距离图像506可以是从背景+对象L图像503和背景+对象R图像504获得的关于背景和对象的距离图像。
可以通过从第二距离图像506中减去第一距离图像505获得距离差图像507。从距离差图像507可见仅保留关于对象的距离差图像。
对象屏蔽508可以是通过从距离差图像507中消除噪声并且将产生的距离差图像二值化而获得的图像滤波器。从对象屏蔽508可见对象区域表示成白色而其它区域表示成黑色。
可以通过将对象屏蔽508应用于背景+对象R图像504来获得最终图像509。从最终图像可见通过对象屏蔽508从背景+对象R图像504中检测出仅仅对象区域。
在这种情况下，可以使用通过距离差图像507获得的到对象的距离来确定搜索窗口的尺寸，并且可以使用具有确定的尺寸的搜索窗口来检测在对象区域的面部区域510。
图6是图示一示范性的面部检测方法的流程图。
参考图6，首先，在操作601中获取第一距离图像。例如，第一距离图像获取单元302可以使用背景L图像501和背景R图像502获取第一距离图像505。在这种情况下，第一距离图像505可以仅包括背景。
在操作602中获取第二距离图像。例如，第二距离图像获取单元303可以使用背景+对象L图像503和背景+对象R图像504获取第二距离图像506。在这种情况下，第二距离图像506可以包括背景和人物。
在操作603中获取距离差图像。例如，距离差图像获取单元304可以通过从第二距离图像506中减去第一距离图像505而获得距离差图像507。在这种情况下，距离差图像507可以仅包括人物。
在操作604中创建对象屏蔽。例如，对象屏蔽创建器305可以通过从距离差图像507中消除噪声并且将产生的距离差图像二值化而创建对象屏蔽。
同时，在操作605中可以确定搜索窗口的尺寸。例如，搜索窗口尺寸确定器401可以通过距离差图像507而使用到对象的距离来确定搜索窗口的最小尺寸和最大尺寸。
在操作606中检测对象区域。例如，对象区域检测器306可以将对象屏蔽508应用到背景+对象R图像504。
在操作607中检测面部区域。例如，面部区域检测器307可以通过在检测到的对象区域中扫描具有在操作605中确定的尺寸的搜索窗口来检测面部区域。
同时，上述示范性的实施例可以被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质包括在其中存储计算机可读数据的所有类型的记录介质。
计算机可读记录介质的例子包括ROM、RAM、CD-ROM、磁带、软盘和光数据存储器。此外，记录介质可以被实现为诸如因特网传输的载波形式。此外，计算机可读记录介质可以分布于网络上的计算机系统，在其中可以以分布式来存储和执行计算机可读代码。以及，本领域的程序员能够容易地推导出用于实现本发明的功能程序、代码和代码段。
同样，上述示范行实施例可以应用于识别对象的三维位置以控制吹风方向的空调设备。
上面已经描述了若干示例。然而，将能够理解可以进行各种修改。例如，如果以不同顺序执行所述技术，和/或如果在所述系统、架构、设备或电路中的组件被以不同方式组合和/或由被其他组件或它们的等效物取代或增补，则可以获得合适的结果。因此，其他实现方式落入以下权利要求的范围中。

Claims (3)

1.一种用于检测面部的装置，包括：
第一距离图像获取单元，基于至少两个获得的图像来获取关于背景的第一距离图像；
第二距离图像获取单元，基于至少两个获得的图像来获取关于对象和背景的第二距离图像；
距离差图像获取单元，获取在第一距离图像和第二距离图像之间的距离差图像；
对象屏蔽创建器，基于获取的距离差图像创建对象屏蔽；
对象区域检测器，使用创建的对象屏蔽来检测获得的图像其中一个中的对象区域；
搜索窗口尺寸确定器，基于获取的距离差图像计算到该对象的距离，并且基于计算的到该对象的距离来确定用于面部检测的搜索窗口的尺寸；和
面部区域检测器，在检测到的对象区域中扫描搜索窗口来检测面部区域，
其中，所述搜索窗口尺寸确定器根据对象的比例计算面部区域的尺寸，并根据计算得到的面部区域的尺寸来确定搜索窗口的最小尺寸和最大尺寸。
2.如权利要求1所述的装置，其中，通过从获取的距离差图像中减少噪声并且将具有减少的噪声的距离差图像二值化来获得对象屏蔽。
3.一种用于检测面部的方法，包括：
基于至少两个获得的图像来获取关于背景的第一距离图像；
基于至少两个获得的图像来获取关于对象和背景的第二距离图像；
获取在第一距离图像和第二距离图像之间的距离差图像；
基于获取的距离差图像创建对象屏蔽；
使用创建的对象屏蔽来检测获得的图像其中一个中的对象区域；
基于获取的距离差图像计算到该对象的距离，并且基于计算的到该对象的距离来确定用于面部检测的搜索窗口的尺寸；以及
在检测到的对象区域中扫描搜索窗口来检测面部区域，
其中，基于计算的到该对象的距离来确定用于面部检测的搜索窗口的尺寸包括，根据对象的比例计算面部区域的尺寸，并根据计算得到的面部区域的尺寸来确定搜索窗口的最小尺寸和最大尺寸。
CN201010160306.5A 2009-09-07 2010-04-30 用于检测面部的装置和方法 Active CN102013007B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020090084015A KR20110026214A (ko) 2009-09-07 2009-09-07 얼굴 검출 장치 및 방법
KR84015/09 2009-09-07

Publications (2)

Publication Number Publication Date
CN102013007A CN102013007A (zh) 2011-04-13
CN102013007B true CN102013007B (zh) 2016-08-17

Family

ID=43304608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010160306.5A Active CN102013007B (zh) 2009-09-07 2010-04-30 用于检测面部的装置和方法

Country Status (4)

Country Link
US (1) US8780197B2 (zh)
EP (1) EP2299388A3 (zh)
KR (1) KR20110026214A (zh)
CN (1) CN102013007B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2553657A4 (en) * 2010-04-02 2015-04-15 Nokia Corp METHODS AND APPARATUS FOR FACIAL DETECTION
US8830378B2 (en) * 2011-03-29 2014-09-09 Olympus Corporation Image capturing system and image capturing method, involving image restoration processing
KR101870902B1 (ko) * 2011-12-12 2018-06-26 삼성전자주식회사 영상 처리 장치 및 영상 처리 방법
US9443137B2 (en) 2012-05-08 2016-09-13 Samsung Electronics Co., Ltd. Apparatus and method for detecting body parts
CN107977636B (zh) * 2017-12-11 2021-11-30 北京小米移动软件有限公司 人脸检测方法及装置、终端、存储介质
US11514719B1 (en) * 2021-05-18 2022-11-29 Fortinet, Inc. Systems and methods for hierarchical facial image clustering

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
CN1834986A (zh) * 2005-03-15 2006-09-20 欧姆龙株式会社 面部认证装置、控制方法、程序、电子设备及记录介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06147594A (ja) 1992-11-17 1994-05-27 Matsushita Electric Ind Co Ltd 自動空調機
DE19636028C1 (de) * 1996-09-05 1997-11-20 Daimler Benz Ag Verfahren zur Stereobild-Objektdetektion
JPH10259942A (ja) 1997-03-19 1998-09-29 Sanyo Electric Co Ltd 空気調和機の制御装置
JP2001033075A (ja) 1999-07-19 2001-02-09 Fujitsu General Ltd 空気調和機の制御装置
KR20010065324A (ko) 1999-12-29 2001-07-11 황한규 에어컨의 풍향조절장치 및 그 제어방법
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
KR100682889B1 (ko) * 2003-08-29 2007-02-15 삼성전자주식회사 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
KR100572768B1 (ko) 2004-06-02 2006-04-24 김상훈 디지탈 영상 보안을 위한 사람 얼굴 객체 자동검출 방법
JP4328286B2 (ja) * 2004-12-14 2009-09-09 本田技研工業株式会社 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム
KR100902343B1 (ko) * 2007-11-08 2009-06-12 한국전자통신연구원 로봇 영상 시스템 및 검출 방법
KR20100072772A (ko) * 2008-12-22 2010-07-01 한국전자통신연구원 스테레오 비전을 이용한 실시간 얼굴 검출 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6658136B1 (en) * 1999-12-06 2003-12-02 Microsoft Corporation System and process for locating and tracking a person or object in a scene using a series of range images
CN1834986A (zh) * 2005-03-15 2006-09-20 欧姆龙株式会社 面部认证装置、控制方法、程序、电子设备及记录介质

Also Published As

Publication number Publication date
CN102013007A (zh) 2011-04-13
EP2299388A2 (en) 2011-03-23
US8780197B2 (en) 2014-07-15
US20110058032A1 (en) 2011-03-10
EP2299388A3 (en) 2012-11-07
KR20110026214A (ko) 2011-03-15

Similar Documents

Publication Publication Date Title
US10234957B2 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
US9330307B2 (en) Learning based estimation of hand and finger pose
JP2022036143A (ja) 物体追跡システム、物体追跡装置、および物体追跡方法
US8879847B2 (en) Image processing device, method of controlling image processing device, and program for enabling computer to execute same method
CN102013007B (zh) 用于检测面部的装置和方法
US9008439B2 (en) Image processing method and system
JP2015215877A (ja) ステレオ画像の対において物体を検出する方法
KR101681104B1 (ko) 부분적 가림을 갖는 영상 객체 내의 주요 특징점 기반 다중 객체 추적 방법
JPH10255057A (ja) 移動物体抽出装置
JP2002366958A (ja) 画像認識方法および画像認識装置
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
KR101827113B1 (ko) 축사 근접 개체 탐지 장치 및 방법
US10140509B2 (en) Information processing for detection and distance calculation of a specific object in captured images
CN116645697A (zh) 一种多视角步态识别方法、装置、电子设备及存储介质
Hadi et al. Fusion of thermal and depth images for occlusion handling for human detection from mobile robot
Gautam et al. Computer vision based asset surveillance for smart buildings
CN115713620A (zh) 一种红外小目标检测方法、装置、计算设备及存储介质
Xue et al. Indoor Obstacle Discovery on Reflective Ground via Monocular Camera
WO2020175085A1 (ja) 画像処理装置、及び画像処理方法
KR20170034607A (ko) 전경의 색상 추출 시스템, 방법 및 컴퓨터 판독 가능한 기록매체
KR101958270B1 (ko) 영상분리 영상추적을 이용한 지능형 영상분석 시스템
CN108573230A (zh) 人脸跟踪方法和人脸跟踪装置
Kuronen Moving object analysis and trajectory processing with applications in human-computer interaction and chemical processes
Ding et al. Spatial–Temporal Attention Two-Stream Convolution Neural Network for Smoke Region Detection. Fire 2021, 4, 66
JP2006288467A (ja) 照射野判定装置、照射野判定方法およびそのプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant