CN101308574B - 图像处理法和装置及图像区域检测法和装置 - Google Patents
图像处理法和装置及图像区域检测法和装置 Download PDFInfo
- Publication number
- CN101308574B CN101308574B CN2008101078332A CN200810107833A CN101308574B CN 101308574 B CN101308574 B CN 101308574B CN 2008101078332 A CN2008101078332 A CN 2008101078332A CN 200810107833 A CN200810107833 A CN 200810107833A CN 101308574 B CN101308574 B CN 101308574B
- Authority
- CN
- China
- Prior art keywords
- image
- gray level
- pixel
- unit
- rectangular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0021—Image watermarking
- G06T1/005—Robust watermarking, e.g. average attack or collusion attack resistant
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/913—Television signal processing therefor for scrambling ; for copy protection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32144—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
- H04N1/32149—Methods relating to embedding, encoding, decoding, detection or retrieval operations
- H04N1/32309—Methods relating to embedding, encoding, decoding, detection or retrieval operations in colour image data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2201/00—General purpose image data processing
- G06T2201/005—Image watermarking
- G06T2201/0065—Extraction of an embedded watermark; Reliable detection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
本发明提供图像处理法、程序和装置及图像区域检测法、程序和装置。构思了根据本发明的图像处理方法来对位于矩形图像的角上的区域内的像素改变(与黄色的互补色对应的颜色成分的)灰度级,从而在作为处理对象的像素的周围区域中最大化作为处理对象的像素的灰度级和背景区域中的像素的灰度级之间的差异,即,降低灰度级。这意味着作为应用灰度级改变处理的结果的像素看上去泛黄。人眼在识别黄色方面是有困难的,因此,和在矩形区域的外部放置标记或框的情况相比,应用于像素的改变是不显眼的。
Description
技术领域
本发明涉及在对嵌入有编码的矩形图像进行拍摄和导入时识别该图像的四个角的技术。
背景技术
常规上,在介质上打印或电子显示嵌入有编码的矩形图像(此后简称为“矩形图像”),然后通过使用装配有摄像机的便携式电话(此后称为“摄像机电话”)拍摄该介质上的矩形图像来导入该图像,读取使用电子水印技术嵌入到矩形区域中的编码,在便携式电话的屏幕上显示对应于该编码的信息。
在这种处理中,在矩形区域的外部提供了框,或在其中提供了标记,以识别导入的矩形区域所在的范围。
作为示例,如图1和2所示,根据参考专利文献1,矩形图像设置有三个或更多的十字或L形位置检测标记。同时,如图3所示,根据参考专利文献2,矩形图像设置有(预定颜色的)框以识别矩形图像的区域。
由于矩形图像设置有标记或框,所以常规技术面临着外观下降的问题。
专利文献1:日本特开2005-293409号公报,“SPECIFIC IMAGEPOSITION ESTIMATING DEVICE,SPECFIC IMAGE POSITIONESTIMATING METHOD,SPECIFIC IMAGE POSITION ESTIMATINGPROGRAM,RECORDING MEDIUM COMPUTER-READABLE WITHSPECIFIC IMAGE POSITION ESTIMATING PROGRAM STORED,ANDMEDIUM”
专利文献2:日本特开2003-110845号公报,“IMAGE PROCESSOR,ITS CONTROL METHOD,COMPUTER PROGRAM AND RECORDING MEDIUM”
发明内容
鉴于上述情形,本发明的目的在于提供一种图像处理方法、图像区域检测方法、图像处理程序、图像区域检测程序、图像处理装置以及图像区域检测装置,其通过最小化嵌入有编码的矩形图像中的视觉变化而使得能够在拍摄和导入所述矩形图像时容易地识别矩形的4个角。
根据本发明的第一方面,改变嵌入有编码的矩形图像的矩形区域内的像素的灰度级的图像处理方法包括以下步骤:
对背景区域中的像素获取相当于黄色的互补色的颜色的灰度级;
对位于该矩形图像的角上的区域内的作为处理对象的像素获取相当于黄色的互补色的颜色的灰度级;
针对作为处理对象的该像素,在预定范围中包括的多个像素中获取相当于黄色的互补色的颜色的灰度级的最小值;以及
通过使用所获取的相应灰度级来改变灰度级,以使得作为处理对象的该像素的灰度级和该背景区域中的像素的灰度级之间的差异在作为处理对象的该像素周围的区域中最大,
其中,对位于该矩形图像的角上的该区域内的所有像素执行以上步骤中的每一个。
这里,该方法被构成为对位于矩形图像的角上的区域内的像素改变(与黄色的互补色对应的颜色成分的)灰度级,从而在作为处理对象的像素的周围区域中最大化作为处理对象的像素的灰度级和背景区域中的像素的灰度级之间的差异,即降低灰度级。这意味着作为应用灰度级改变处理的结果的像素看上去泛黄。人眼在识别黄色方面是有困难的,因此,与在矩形区域的外部放置标记或框的情况相比,应用于像素的改变是不显眼的。
而且,还构成如下:在改变作为处理对象的像素的灰度级时,参考作为处理对象的该像素附近的最低灰度级,由此,在将应用了灰度级改变处理的图像打印在介质上或电子显示且然后由摄像机拍摄并作为图像 数据导入、并且进行用于检测导入的图像数据的四个角的处理时,可以防止在如下情况下而导致对边缘的错误检测:在背景区域与图像的外边缘之间没有灰度级的差异,相反,在从图像的外边缘向内一个小距离处,存在灰度级的差异,此差异大于背景区域和图像外边缘之间的差异,并且使得能够容易地识别图像区域。
根据本发明的第二方面,用于改变嵌入有编码的矩形图像的矩形区域内的像素的灰度级的图像处理方法包括以下步骤:
对背景区域中的像素获取相当于黄色的互补色的颜色的灰度级;
对位于该矩形图像的角上的区域内的作为处理对象的像素获取相当于黄色的互补色的颜色的灰度级;
针对作为处理对象的该像素,在预定范围中包括的多个像素中获取相当于黄色的互补色的颜色的灰度级的最小值;
判断该背景区域的该灰度级和作为处理对象的该像素的该灰度级之间的第一差异是否等于或大于第一阈值;以及
如果该第一差异小于该第一阈值,则将作为处理对象的该像素的值改变为下面两个值中的较小值:
(i)该背景区域的该灰度级和该第一阈值之间的第二差异,和
(ii)上述最小值;
其中,对位于角上的该区域内的所有像素执行以上步骤中的每一个。
这里,该方法被构成为:获取与位于矩形图像的角上的区域内的像素附近的背景区域的灰度级差异最大的(最小)灰度级的值,将该背景区域的该灰度级之间的差异与作为预定第一阈值的值进行比较,并且将作为处理对象的像素的(与黄色的互补色对应的颜色成分的)灰度级改变为增加与该背景区域的该灰度级的差异的(较小)值。这意味着作为应用灰度级改变处理的结果的像素看上去泛黄。人眼在识别黄色方面是有困难的,因此与在矩形区域的外部放置标记或框的情况相比,应用于像素的改变是不显眼的。
而且,该方法还被构成为:在改变作为处理对象的像素的灰度级时,参考作为处理对象的该像素附近的最低灰度级,由此,在将应用了灰度 级改变处理的图像打印在介质上或电子显示且然后由摄像机拍摄并作为图像数据导入、并且进行用于检测导入的图像数据的四个角的处理时,可以防止在如下情况下而导致对边缘的错误检测:在背景区域与图像的外边缘之间没有灰度级的差异,相反,在从图像的外边缘向内一个小距离处,存在灰度级的差异,此差异大于背景区域和图像外边缘之间的差异,并且使得能够容易地识别图像区域。
根据本发明的第三方面,提供了一种用于检测图像数据的矩形区域的图像区域检测方法,所述图像数据是通过对打印在介质上或电子显示在介质上且其中嵌入有编码且已经通过使用根据第一或第二方面的方法改变了像素灰度级的矩形图像进行拍摄而获取的,所述方法包括以下步骤:
设置用于检测该矩形图像的多个假设角之一的4个起始点;
从这4个起始点开始在多个预定方向上检测该矩形图像的多个边上的4个点;
获取(i)互连这些边上的这4个点中的在垂直方向的坐标大致相同的两个点的第一直线,以及(ii)互连这些边上的这4个点中的在水平方向的坐标大致相同的两个点的第二直线;以及
确定该第一直线和该第二直线之间的交点的坐标,作为该矩形图像的所述4个角中的一个角的坐标,
其中,对该矩形图像的所有假设角执行以上步骤中的每一个。
在导入根据第一或第二方面的方法改变了灰度级的图像的情况下,第三方面使得能够检测从图像获取的图像数据的4个角的位置并且检测图像区域。
本发明使得能够尽可能地最小化嵌入有编码的矩形图像的视觉变化,并使得能够在拍摄并导入矩形图像时容易地识别矩形的4个角。
本发明还包括一种图像处理装置,该图像处理装置改变嵌入有编码的矩形图像的矩形区域内的像素的灰度级,该图像处理装置包括:背景区域灰度级获取单元,其对背景区域中的像素获取相当于黄色的互补色的颜色的灰度级;当前像素灰度级获取单元,其获取位于该矩形图像的 角上的区域内的作为处理对象的像素的相当于黄色的互补色的颜色的灰度级;最小灰度级获取单元,其针对作为处理对象的该像素,在预定范围中包括的多个像素中获取相当于黄色的互补色的颜色的灰度级的最小值;判断单元,其判断该背景区域的该灰度级和作为处理对象的该像素的该灰度级之间的第一差异是否等于或大于第一阈值;如果该第一差异小于该第一阈值,则灰度级改变单元将作为处理对象的该像素的值改变为下面两个值中的较小值:该背景区域的该灰度级和该第一阈值之间的第二差异,和上述最小值,并且其中,这些单元中的每一个都对位于该矩形图像的该角上的该区域内的所有像素进行操作。
本发明还包括一种图像区域检测装置,该图像区域检测装置检测图像数据的矩形区域,该图像数据是通过对打印在介质上或电子显示在介质上且其中嵌入有编码且已经通过使用根据权利要求1所述的方法改变了像素灰度级的矩形图像进行拍摄而获取的,该图像区域检测装置包括:起始点设置单元,其设置用于检测该矩形图像的多个假设角之一的4个起始点;边缘检测单元,其从这4个起始点开始在多个预定方向上检测该矩形图像的多条边上的4个点;线计算单元,其获取以下二者:互连这些边上的这4个点中的在垂直方向的坐标大致相同的两个点的第一直线,和互连这些边上的这4个点中的在水平方向的坐标大致相同的两个点的第二直线;以及角坐标确定单元,其确定该第一直线和该第二直线之间的交点的坐标,作为该矩形图像的4个角中的一个角的坐标,其中,上述单元中的每一个都对该矩形图像的所有假设角进行操作。
附图说明
图1例示了设置有十字的矩形图像;
图2例示了设置有L形图案的矩形图像;
图3例示了设置有框的矩形图像;
图4是示出根据本发明的第一优选实施方式的图像处理单元的配置的框图;
图5是示出嵌入有编码的原始图像数据的图;
图6是说明应用到图5中所示的原始图像数据的灰度改变处理(即图像处理)的图;
图7是应用于所述原始图像数据的灰度改变处理(即,图像处理)的流程图;
图8是示出根据本发明的第二优选实施方式的图像区域检测单元的配置的框图;
图9是描述应用于导入的图像数据的图像区域检测处理的图;
图10是图像区域(即矩形区域)检测处理的整体流程图;
图11是示出估计4个角的位置的方法的图(部分1);
图12是示出估计4个角的位置的方法的图(部分2);
图13是示出检测4个角中的左上角的角坐标的方法的图;
图14是检测导入的图像的4个角中的一个角的处理的流程图;
图15是使用起始点来检测导入的矩形图像的边的处理的流程图;
图16是示出用于检测边的滤波器的一个示例的图;
图17是示出用于执行根据第一优选实施方式的图像处理(即灰度级改变处理)的装置的硬件配置的图;以及
图18是示出用于执行根据第二优选实施方式的图像区域检测处理的装置的硬件配置的图。
具体实施方式
下面是通过参考附图对本发明的优选实施方式的详细描述。
图4是示出根据本发明的第一优选实施方式的图像处理单元的配置的框图。图像处理单元1改变位于作为处理对象区域的矩形图像(其中嵌入有编码)的4个角处的4个区域内的像素的灰度级。这些区域是矩形图像的4个角处的L形区域(此后称为“L形区域”)。
如图4所示,图像处理单元1包括背景区域灰度级获取单元2、当前图像灰度级获取单元3、最小灰度级获取单元4、判断单元5以及灰度级改变单元6。
背景区域灰度级获取单元2为背景区域中的像素获取与黄色的互补 色对应的颜色的灰度级。
当前图像灰度级获取单元3为作为矩形图像内的L形区域内的作为处理对象的像素获取与黄色的互补色对应的颜色的灰度级。
最小灰度级获取单元4为作为处理对象的像素从包括在预定范围(L形区域)中的像素中获取与黄色的互补色对应的颜色的灰度级的最小值。
判断单元5判断第一差异是否等于或大于第一阈值。这里,第一差异是背景区域的灰度级和作为处理对象的像素的灰度级之间的差异。
当该第一差异小于该第一阈值时,灰度级改变单元6将作为处理对象的像素的灰度级改变成下面两个值中的较小值:
(i)背景区域的灰度级和第一阈值之间的第二差异,以及
(ii)所述最小值。
注意,单元1包含对矩形图像的角上的L形区域内的所有像素进行操作的上述单元2至6。
图5是示出嵌入有编码的原始图像数据的图。
图6是描述应用于图5中所示的原始图像数据的灰度改变处理(即,图像处理)的图。
参考图6,灰度级改变图像数据500是作为向图5中所示的原始图像数据应用根据本实施方式的灰度改变处理的结果的图像数据。区域501、502、503和504表示分别包括灰度级改变图像数据500的4个角的区域。即,区域501示出了包括灰度级改变图像数据500的左上角的区域(即,放大图),区域502示出了包括其右上角的区域(即,放大图),区域503示出了包括其左下角的区域(即,放大图),区域504示出了包括其右下角的区域(即,放大图)。
区域501具有L形区域505,该L形区域505是改变灰度级的对象区域。这里,L形区域505具有从左上缘开始的沿着形成角的两边的相应预定长度和从这两边朝向图像内部的相应预定宽度。
而且,区域502具有L形区域506,该L形区域506是改变灰度级的对象区域。这里,L形区域506具有从右上缘开始的沿着形成角的两边的相应预定长度和从这两边朝向图像内部的相应预定宽度。
而且,区域503具有L形区域507,该L形区域507是改变灰度级的对象区域。这里,L形区域507具有从左下缘开始的沿着形成角的两边的相应预定长度和从这两边朝向图像内部的相应预定宽度。
而且,区域504具有L形区域508,该L形区域508是改变灰度级的对象区域。这里,L形区域508具有从右下缘开始的沿着形成角的两边的相应预定长度和从这两边朝向图像内部的相应预定宽度。
此外,下面的描述有时称L形区域505、506、507和508为四角符号区域。
图7是应用于原始图像数据的灰度改变处理(即,图像处理)的流程图。
注意,本实施方式被构成为以RGB格式表达颜色。而且,基于黄色不显眼这一事实,仅改变与黄色的互补色对应的颜色成分,即RGB格式中的蓝色(B)成分的灰度级。改变L形区域中的像素的蓝色(B)成分的灰度级,使得背景区域的灰度级和L形区域的灰度级之间的差异最大。也就是说,减弱L形区域中的像素的蓝色(B)成分的灰度级。红色(R)成分和绿色(R)成分的灰度级不变。
参考图7,在步骤S11(此后也称为“S11”),图4的背景区域灰度级获取单元2获取图像外部即图像背景区域中的像素的B成分的灰度级Lb。例如,如果背景是白色,则Lb=255。
在S12中,当前图像灰度级获取单元3获取四角符号区域(即,左上、右上、左下或右下角L形区域)内的作为处理对象的像素的B成分的灰度级La。
在S13中,判断单元5判断获取的背景区域的灰度级Lb和获取的作为处理对象的像素的灰度级La之间的差异是否不小于第一阈值Lth。
如果在S13中判断出灰度级Lb和La之间的第一差异不小于第一阈值Lth,则在S14中,将作为处理对象的像素的灰度级La作为变量La’存储。这里,La’是代表像素的改变后灰度级的变量。然后,处理转向S19。即,在这种情况下,不改变作为处理对象的像素的灰度级。
如果在S13中判断出灰度级Lb和La之间的第一差异小于第一阈值 Lth,则在S15,最小灰度级获取单元4从预定范围中包括的像素中获取B成分的灰度级的最小值Lmin。这里,所述预定范围是L形区域中的一个。
在后续步骤S16中,灰度级改变单元6判断背景区域的灰度级Lb和第一阈值Lth之间的第二差异(即Lb-Lth)是否小于在预定范围中包括的像素中的B成分的灰度级的最小值Lmin。
如果在S16中判断出第二差异(即Lb-Lth)小于预定区域的灰度级的最小值Lmin,则在S17中,灰度级改变单元6存储Lb-Lth的值作为变量La’。La’是作为处理对象的像素的改变后的灰度级。在这种情况下,作为处理对象的对象像素的改变后灰度级(Lb-Lth)和背景区域的灰度级(Lb)之间的差变得等于第一阈值(Lth)。然后处理转向S19。
如果在S16中判断出该第二差异(即,Lb-Lth)不小于预定区域的灰度级的最小值Lmin,则在S18中,灰度级改变单元6存储预定范围的灰度级的最小值Lmin作为变量La’。变量La’的值(Lmin)成为像素的改变后灰度级。然后处理转向S19。
在步骤S19中,判断是否为四角符号区域的所有像素完成了所述处理。如果判断出处理未完成,则处理返回S12。与此相反,如果判断出处理完成,则处理序列结束。
如上所述,本实施方式被构成为获取与四角符号区域内的像素附近的背景区域的灰度级差异最大的(最小)灰度级的值,以将该值(Lmin)与背景区域的灰度级和第一阈值之间的第二差异(即Lb-Lth)进行比较,并且将作为处理对象的像素的(与黄色的互补色对应的颜色成分的)灰度级改变为增加与背景区域灰度级的差异的(较小)值。
使得作为处理对象的B成分的灰度级不同于背景区域的B成分的灰度级的方法导致降低了作为处理对象的B成分的灰度级。这意味着作为应用灰度级改变处理的结果的像素看上去泛黄。人眼在识别黄色方面是有困难的,因此,与在矩形区域的外部放置标记或框相比,对像素施加的改变较为不显眼。
而且,还构成如下:在改变像素的灰度级时,参考该像素附近的最 低灰度级,由此,在将应用了灰度级改变处理的图像打印在介质上或电子显示且然后由摄像机拍摄并作为图像数据导入、然后进行用于检测导入的图像数据的四个角的处理时,可以防止由于以下事实而导致对边缘的错误检测:在图像的外边缘处,与背景区域没有灰度级的差异,相反,在从图像的外边缘向内一个小距离处,存在灰度级的差异,此差异大于背景区域和图像外边缘之间的差异,并且,使得能够容易地识别图像区域。
此外,当将使用上述方法而应用了灰度级改变处理的图像打印在介质上或电子显示并且该图像由摄像机拍摄并作为图像数据导入时,原始图像数据的两至三个像素对应于导入图像数据的一个像素。因此,对于作为处理对象的像素,在垂直于灰度级改变处理的处理方向的方向上,令人满意的是,搜索灰度级最小值Lmin的预定范围设置有至少两到三行或两到三列。
接下来是第二优选实施方式的描述。
图8是示出根据本发明的第二优选实施方式的图像区域检测单元的配置的框图。
图像区域检测单元11应用图像矩形区域检测处理,所述图像通过对矩形图像进行拍摄(即拍照)而获取,所述矩形图像打印在介质上且其中嵌入有编码,通过根据第一实施方式的方法改变了像素的灰度级。
如图8所示,图像区域检测单元11包括四角假设单元12和四角识别单元13。
四角假设单元12假设拍摄的矩形图像的4个角中的一个所在的范围的位置和大小。
四角识别单元13包括起始点设置单元14、边缘检测单元15、线计算单元16和角坐标确定单元17。一旦启动了四角识别单元13,该单元13就确定角坐标。在由四角假设单元12估计的一个假设范围中确定一个角坐标。
起始点设置单元14设置4个起始点,用于检测四角假设单元12估计的假设范围中的一个的边缘。
边缘检测单元15从4个起始点开始在预定方向上检测矩形图像的边上的4个点。
线计算单元16计算(i)连接边上的4个点中在垂直方向上的坐标大致相同的两个点的第一线,以及(ii)连接边上的点中在水平方向上的坐标大致相同的两个点的第二线。
角坐标确定单元17确定该第一线和第二线的交点坐标。该交点坐标对应于假设范围中的矩形图像的假设角。
注意,图像区域检测单元11包含对4个角所在的假设区域的全体进行操作的上述单元12至17。
图9是描述应用于导入的图像数据的图像区域检测处理的图。
参考图9,拾取图像数据600是通过从打印了图像的介质拍摄图像而导入的图像数据,所述图像是应用根据第一实施方式的灰度改变处理的结果。范围601、602、603和604表示通过稍后描述的方法估计的拾取图像数据600中4个角所在的相应的假设范围。而且,范围605、606、607和608分别是范围601、602、603和604的放大图。
如图9所示,范围605包括左上角609作为检测对象。范围606包括右上角610作为检测对象。范围607包括左下角611作为检测对象。范围608包括右下角612作为检测对象。
图10是图像区域(即矩形区域)检测处理的整体流程图。
在图10的S21中,四角假设单元12假设4个角所在的范围的位置和大小。在S22中,四角识别单元13分别基于4个角的假设坐标,为预定范围中的像素进行较高精度的四角检测以建立4个角的坐标(即,确定图像区域),处理序列结束。
接下来,是通过参考图11和12的用于估计4个角的位置的方法的描述。
图11是示出用于估计4个角的位置的图(部分1)。
图11是示出当例如使用摄像机电话拍摄嵌入有编码的介质上的图像时在摄像机电话的图像屏幕中显示的图像以及用于确定位置的引导部901、902、903和904的图。
便携式电话的图像屏幕显示消息905(即,“请定位引导部并拍摄图像”),从而用户能够参考该消息且在图像的4个角沿着引导部定位时拍摄图像。在这种情况下,在通过拍摄导入的图像内4个角所在的范围在引导部位置附近。如果矩形图像的水平边与垂直边的比例(即纵横比)恒定,这种方法尤其有效。
图12是示出用于估计4个角的位置的图(部分2)。
图12示出如下的方法:检测导入的图像数据的4个边1001、1002、1003和1004,通过计算两个边的相应交点而假设4个角的坐标,并从相应的坐标开始对预定范围1005、1006、1007和1008应用四角检测处理。
图13是示出用于检测4个角中的左上角的角坐标的方法的图。
包括图13中所示的左上角的范围1100是由如上所述的四角假设单元12假设的范围中的一个。尽管图13没有具体地示出,但是四角假设单元12也假设了包括右上角、左下角和右下角的范围的位置和大小。
起始点1101、1102、1103和1104是用于检测相应边的起始点。在左上角的情况下,例如,起始点1101和1102分别置于连接范围1100的左上角和右上角的线上,并且置于按预定比例对左上角和右上角进行内分而得到的位置,同时,起始点1103和1104分别置于连接左上角和左下角的线上,并且置于按预定比例对左上角和左下角进行内分而得到的位置。
箭头1105、1106、1107和1108分别示出了对于起始点1101、1102、1103和1104的边缘检测处理的处理方向。
边1109、1110、1111和1112是作为边缘检测处理的结果而检测到的4个边。
将导入的图像数据的左上角1113的坐标获取为(a)连接边1109和1110的直线和(b)连接边1111和1112的线之间的交点。
图14是用于检测导入图像的4个角中的一个角的处理的流程图。该流程详细示出了对于一个特定角的图10的步骤S22的处理。
在图14的S31中,起始点设置单元14对4个角所在的假设区域中的一个设置用于检测边的4个起始点(例如图13所示的范围1100)。
在S32中,边缘检测单元15从4个起始点开始在预定方向检测边上的4个点。
在S33中,判断在S32中是否检测到4个边。
如果在S33中判断出检测到4个边,则在S34中,从边上的4个点中计算(i)连接边上的4个点中的在垂直方向的坐标基本相同的两个点的第一线,以及(ii)连接边上的点中的在水平方向的坐标基本相同的两个点的第二线。
而且,在S35中,角坐标确定单元17将这两个直线的交点坐标确定为4个角中的一个角的坐标,处理序列结束。
与此对照,如果在S33中判断出没有检测到4个边,则在S36中给出结束码,即四角检测失败,处理序列结束。
图15是当检测4个角中的一个角时用于检测对应于4个起始点中的一个的边的处理的流程图。该流程图由边缘检测单元15实施。
在图15的S41中,指定作为处理对象的位置的坐标(x,y)并获取与所指定坐标(x,y)的黄色的互补色对应的(成分B的)灰度级L。
在后续步骤S42中,从指定坐标(x,y)分别获取处理方向上的m个像素的成分B的灰度级L1,L2,...,Lm。此外,还从指定的坐标(x,y)分别获取与处理方向相反的方向上的m个像素的成分B的灰度级L-1,L-2,...,L-m。
在后续步骤S43中,通过使用边缘检测滤波器来检测边。即,将当前指定的坐标的灰度级乘以2m+1,将处理方向上的m个像素的灰度级、指定的坐标(x,y)的灰度级以及与处理方向相反方向上的m个像素的灰度级乘以-1(即负1),并将结果加在一起。然后,判断上述乘法和加法的结果是否不小于第二阈值Lth2。
换句话说,将当前指定的坐标的灰度级乘以2m,将处理方向上的m个像素的灰度级以及与处理方向相反方向上的m个像素的灰度级乘以-1(即负1),并且将结果加在一起。然后,判断上述乘法和加法的结果是否不小于第二阈值Lth2。图16是示出在m=2的情况下用于相应位置的灰度级的加权因子的图。
如果在S43中判断出相加结果不小于第二阈值Lth2,则在S44中将结束码(即边检测成功)和当前像素(即指定的坐标)存储为边,处理序列结束。
与此对照,如果在S43中判断出相加结果小于第二阈值Lth2,则在S45中将指定的坐标在处理方向上递增1,且在S46中判断指定的坐标是否到达边缘检测处理的预定结束点。
如果在S46中判断出指定的坐标已经到达了边缘检测处理的结束点,则在S47中写入结束码,即边缘检测失败,处理序列结束。
如果在S46中判断出指定的坐标没有到达边缘检测处理的结束点,则处理返回S41。
本实施方式使得当导入其中通过根据第一实施方式的方法改变了灰度级的图像时,能够检测从图像获取的图像数据中的4个角的位置并检测图像区域。
图17是示出用于实施根据第一实施方式的图像处理(即,灰度级改变处理)的装置的硬件配置的图。
用于实施灰度级改变处理的程序和作为灰度改变处理的对象的矩形图像数据从诸如ROM 26和磁盘装置的存储装置32装载到RAM(即存储器)27,且由中央处理单元(CPU)25执行/参照。
另选的是,该程序和/或数据通过网络和通信接口28从外部存储装置(这里在附图中没有示出)装载到RAM(即存储器)27,且由CPU 25执行/参照。
另选的是,该程序和/或数据通过介质存取装置29从便携式记录介质(这里没有在附图中示出)装载到RAM(即存储器)27。
用户能够通过输入装置24和输入接口23指示启动程序、指示在改变灰度级之前或之后打印矩形图像、并给出其他指令。
而且,改变灰度级之前或之后的矩形图像通过输出接口22输出到输出装置21。
图18是示出了用于实施根据第二实施方式的图像区域检测处理的装置的硬件配置的图。
用于实施图像区域检测处理的程序可以从诸如ROM 42和磁盘装置的存储装置46装载到RAM(即存储器)43,且由CPU 41执行。
另选的是,该程序可以通过网络和通信接口44从外部存储装置(这里没有在附图中示出)装载到RAM(即存储器)43,且由CPU 41执行。
进一步另选的是,该程序可以通过介质存取装置45从便携式记录介质(这里没有在附图中示出)装载到RAM(即存储器)43,且由CPU 41执行。
通过使用图像拾取装置(这里没有在附图中示出),用户导入在介质上打印或在另一介质上电子显示的矩形图像。导入的矩形图像通过摄像机接口47装载到RAM(即存储器)43中,从而成为图像区域检测处理的对象。
此外,用于实施图像区域检测处理的装置包含摄像机电话、与图像扫描仪相连接的信息处理装置等。
注意,在上述描述中,根据第一实施方式的灰度级改变处理被构成为:当确定作为处理对象的像素的灰度级时,获取并参照作为处理对象的像素的周围区域(即,距该像素在预定范围内)中的灰度级的最小值。而且,该结构使得作为处理对象的像素的灰度级和背景区域的灰度级之间的差异在作为处理对象的像素的周围区域中最大。
当使用摄像机读取已经改变了灰度级且打印在介质上的图像时,具有能够准确检测4个角的优点。
然而,在图7所示的根据第一实施方式的流程图中,可以去除步骤S15、S16和S18的处理。图6中示出的L形区域506实际是这种处理的结果:使得“HELLO”的字符“O”的形式原封不动,防止它被破坏。在这种情况下,尽管在字符“O”的黑色和L形区域506的灰色之间的差异大于上述灰色和背景颜色的白色之间的差异时存在错误检测边的可能性,但是,根据所需要的检测4个角的准确度,仍可以采用该方法。
同时,尽管上述描述假设了背景颜色是白色,但是本发明可以被构成为当以RGB格式表达颜色时将背景颜色中的R和G成分设置在任意值,因为根据本实施方式仅比较B成分的灰度级。
而且,尽管已经通过使用RGB格式的颜色表达提供了上述描述,但是本发明可应用于其他颜色表达(例如黄色、品红色、青色和黑色(YMCK))的情况。
Claims (12)
1.一种图像处理方法,该图像处理方法用于改变嵌入有编码的矩形图像的矩形区域内的像素的灰度级,该图像处理方法包括以下步骤:
对背景区域中的像素获取相当于黄色的互补色的颜色的灰度级;
对位于该矩形图像的角上的区域内的作为处理对象的像素获取相当于黄色的互补色的颜色的灰度级;
针对作为处理对象的该像素,在预定范围中包括的多个像素中获取相当于黄色的互补色的颜色的灰度级的最小值;
判断该背景区域的该灰度级和作为处理对象的该像素的该灰度级之间的第一差异是否等于或大于第一阈值;以及
如果该第一差异小于该第一阈值,则将作为处理对象的该像素的值改变为下面两个值中的较小值:
该背景区域的该灰度级和该第一阈值之间的第二差异,和
上述最小值
其中,对位于该角上的该区域内的所有像素执行以上步骤中的每一个。
2.根据权利要求1所述的图像处理方法,其中,
位于该角上的该区域是L形区域,该L形区域具有从4个角中的一个角开始的、沿着形成该角的两条边的相应预定长度,并具有从所述相应两条边开始的、朝向该图像的内侧的相应预定宽度。
3.根据权利要求1所述的图像处理方法,其中,
该背景区域的颜色具有与黄色的互补色对应的颜色的灰度级的最大值或近似最大值。
4.一种用于检测图像数据的矩形区域的图像区域检测方法,该图像数据是通过对打印在介质上或电子显示在介质上且其中嵌入有编码且已经通过使用根据权利要求1所述的方法改变了像素灰度级的矩形图像进行拍摄而获取的,所述图像区域检测方法包括以下步骤:
设置用于检测该矩形图像的多个假设角之一的4个起始点;
从这4个起始点开始在多个预定方向上检测该矩形图像的多条边上的4个点;
获取以下二者:
互连这些边上的这4个点中的在垂直方向的坐标大致相同的两个点的第一直线,和
互连这些边上的这4个点中的在水平方向的坐标大致相同的两个点的第二直线;以及
确定该第一直线和该第二直线之间的交点的坐标,作为该矩形图像的4个角中的一个角的坐标,其中,
对该矩形图像的所有假设角执行以上步骤中的每一个,其中,
检测所述多条边上的多个点的步骤包括以下步骤:
对从当前像素开始的检测处理的多个处理方向上的预定数量的像素、并且对与从当前像素开始的这些处理方向相反的多个方向上的预定数量的像素,获取黄色的互补色的灰度级,
判断通过对当前像素和所获取的相应多个像素的黄色的互补色的灰度级给出加权值、然后将它们加在一起而获取的值是否超过第二阈值,以及
如果通过相加而获取的该值超过该第二阈值,则存储该当前像素作为该边上的该点。
5.根据权利要求4所述的图像区域检测方法,该图像区域检测方法还包括:
假设该矩形图像数据的4个角所在的多个区域的步骤,其中,
对假设的4个角所在的多个区域中的每一个执行以上步骤中的每一个。
6.一种图像处理装置,该图像处理装置改变嵌入有编码的矩形图像的矩形区域内的像素的灰度级,该图像处理装置包括:
背景区域灰度级获取单元,其对背景区域中的像素获取相当于黄色的互补色的颜色的灰度级;
当前像素灰度级获取单元,其获取位于该矩形图像的角上的区域内的作为处理对象的像素的相当于黄色的互补色的颜色的灰度级;
最小灰度级获取单元,其针对作为处理对象的该像素,在预定范围中包括的多个像素中获取相当于黄色的互补色的颜色的灰度级的最小值;
判断单元,其判断该背景区域的该灰度级和作为处理对象的该像素的该灰度级之间的第一差异是否等于或大于第一阈值;
如果该第一差异小于该第一阈值,则灰度级改变单元将作为处理对象的该像素的值改变为下面两个值中的较小值:
该背景区域的该灰度级和该第一阈值之间的第二差异,和
上述最小值,并且
其中,这些单元中的每一个都对位于该矩形图像的该角上的该区域内的所有像素进行操作。
7.根据权利要求6所述的图像处理装置,其中,
位于所述角上的区域是L形区域,该L形区域具有从4个角中的一个角开始的、沿着形成该角的两条边的相应预定长度,并具有从所述相应两条边开始的、朝向该图像的内侧的相应预定宽度。
8.根据权利要求6所述的图像处理装置,其中,
该背景区域的颜色具有与黄色的互补色对应的颜色的灰度级的最大值或近似最大值。
9.一种图像区域检测装置,该图像区域检测装置检测图像数据的矩形区域,该图像数据是通过对打印在介质上或电子显示在介质上且其中嵌入有编码且已经通过使用根据权利要求1所述的方法改变了像素灰度级的矩形图像进行拍摄而获取的,该图像区域检测装置包括:
起始点设置单元,其设置用于检测该矩形图像的多个假设角之一的4个起始点;
边缘检测单元,其从这4个起始点开始在多个预定方向上检测该矩形图像的多条边上的4个点;
线计算单元,其获取以下二者:
互连这些边上的这4个点中的在垂直方向的坐标大致相同的两个点的第一直线,和
互连这些边上的这4个点中的在水平方向的坐标大致相同的两个点的第二直线;以及
角坐标确定单元,其确定该第一直线和该第二直线之间的交点的坐标,作为该矩形图像的4个角中的一个角的坐标,其中,
上述单元中的每一个都对该矩形图像的所有假设角进行操作,其中,
边缘检测单元包括:
对从当前像素开始的检测处理的多个处理方向上的预定数量的像素、并且对与从当前像素开始的这些处理方向相反的多个方向上的预定数量的像素,获取黄色的互补色的灰度级的单元,
判断通过对当前像素和所获取的相应多个像素的黄色的互补色的灰度级给出加权值、然后将它们加在一起而获取的值是否超过第二阈值的单元,以及
如果通过相加而获取的该值超过该第二阈值,则存储该当前像素作为该边上的该点的单元。
10.根据权利要求9所述的图像区域检测装置,该图像区域检测装置并入在装配有摄像机的便携式通信装置中。
11.根据权利要求9所述的图像区域检测装置,该图像区域检测装置并入在与图像扫描仪相连接的信息处理装置中。
12.根据权利要求9所述的图像区域检测装置,该图像区域装置还包括:
假设该矩形图像数据的4个角所在的多个区域的单元,其中,
该图像区域装置对假设的4个角所在的多个区域中的每一个进行操作。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007128663A JP4885789B2 (ja) | 2007-05-14 | 2007-05-14 | 画像処理方法、画像領域検出方法、画像処理プログラム、画像領域検出プログラム、画像処理装置、および、画像領域検出装置 |
JP2007-128663 | 2007-05-14 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101308574A CN101308574A (zh) | 2008-11-19 |
CN101308574B true CN101308574B (zh) | 2012-10-24 |
Family
ID=39540743
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2008101078332A Active CN101308574B (zh) | 2007-05-14 | 2008-05-14 | 图像处理法和装置及图像区域检测法和装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8422773B2 (zh) |
EP (1) | EP1993071B1 (zh) |
JP (1) | JP4885789B2 (zh) |
KR (1) | KR100966694B1 (zh) |
CN (1) | CN101308574B (zh) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4885789B2 (ja) * | 2007-05-14 | 2012-02-29 | 富士通株式会社 | 画像処理方法、画像領域検出方法、画像処理プログラム、画像領域検出プログラム、画像処理装置、および、画像領域検出装置 |
JP5029284B2 (ja) * | 2007-10-24 | 2012-09-19 | セイコーエプソン株式会社 | 画像処理方法、そのプログラム及び画像処理装置 |
CN103577816A (zh) * | 2012-07-24 | 2014-02-12 | 夏普株式会社 | 图像处理装置和图像处理方法 |
CN102930267B (zh) * | 2012-11-16 | 2015-09-23 | 上海合合信息科技发展有限公司 | 卡片扫描图像的切分方法 |
CN104717418A (zh) * | 2013-12-16 | 2015-06-17 | 腾讯科技(深圳)有限公司 | 对焦方法、装置及电子设备 |
JP2017073649A (ja) * | 2015-10-06 | 2017-04-13 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びコンピュータプログラム |
CN106199971A (zh) * | 2016-08-30 | 2016-12-07 | 上海丹诺西诚智能科技有限公司 | 用于抬头显示器的显示图像颜色自适应方法及装置 |
CN106713696B (zh) | 2016-12-12 | 2019-10-01 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
JP7182858B2 (ja) * | 2017-06-28 | 2022-12-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
CN107844761B (zh) * | 2017-10-25 | 2021-08-10 | 海信集团有限公司 | 交通标志的检测方法及装置 |
CN109389595B (zh) * | 2018-10-11 | 2022-02-15 | 广东工业大学 | 一种表格线交点检测方法、电子设备及可读存储介质 |
CN110929708A (zh) * | 2019-09-30 | 2020-03-27 | 京东数字科技控股有限公司 | 识别泰国身份证中国旗的方法、设备及存储介质 |
CN113344092B (zh) * | 2021-06-18 | 2022-10-11 | 中科迈航信息技术有限公司 | Ai的图像识别方法及终端装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1617165A (zh) * | 2004-12-09 | 2005-05-18 | 上海交通大学 | 图像的方向投影方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10232940A (ja) * | 1997-02-20 | 1998-09-02 | Sony Corp | コーナ検出装置及びコーナ検出方法 |
JP3114668B2 (ja) * | 1997-10-03 | 2000-12-04 | 日本電気株式会社 | 物体検出・背景除去方法、装置およびプログラムを記録した記録媒体 |
US6141441A (en) * | 1998-09-28 | 2000-10-31 | Xerox Corporation | Decoding data from patterned color modulated image regions in a color image |
JP4148597B2 (ja) * | 1999-06-03 | 2008-09-10 | 富士通株式会社 | 印刷情報処理システム、印刷装置および記録媒体 |
JP2001024873A (ja) | 1999-07-05 | 2001-01-26 | Toshiba Corp | 印刷装置および情報処理装置 |
US7187476B2 (en) * | 2001-10-01 | 2007-03-06 | Canon Kabushiki Kaisha | Image processing apparatus and method, computer program, and recording medium |
JP3796425B2 (ja) * | 2001-10-01 | 2006-07-12 | キヤノン株式会社 | 画像処理装置及び方法並びにコンピュータプログラム及び記録媒体 |
JP3720748B2 (ja) | 2001-10-01 | 2005-11-30 | キヤノン株式会社 | 画像処理装置及びその制御方法並びにコンピュータプログラム及び記録媒体 |
JP4067957B2 (ja) * | 2002-12-20 | 2008-03-26 | 富士通株式会社 | 境界検出方法、プログラム、及び画像処理装置 |
JP2004221687A (ja) | 2003-01-09 | 2004-08-05 | Kyocera Mita Corp | 画像出力方法、画像出力装置および記録媒体 |
JP3784781B2 (ja) * | 2003-05-20 | 2006-06-14 | 富士通株式会社 | 画像データ処理装置、画像データ処理方法、画像データ処理プログラムおよび画像データ処理システム |
US7672507B2 (en) * | 2004-01-30 | 2010-03-02 | Hewlett-Packard Development Company, L.P. | Image processing methods and systems |
JP4020093B2 (ja) | 2004-03-24 | 2007-12-12 | 日本電信電話株式会社 | 縁検出方法及び装置及びプログラム及び記憶媒体及び枠検出方法及び装置及びプログラム及び記憶媒体 |
JP4576146B2 (ja) | 2004-04-02 | 2010-11-04 | 富士通株式会社 | 特定画像位置推定装置 |
US7397584B2 (en) * | 2004-09-28 | 2008-07-08 | Xerox Corporation | Encoding invisible electronic information in a printed document |
JP4088300B2 (ja) * | 2005-06-01 | 2008-05-21 | 富士通株式会社 | 画像領域検出装置、画像領域検出方法および画像領域検出プログラム |
KR100727938B1 (ko) * | 2005-06-08 | 2007-06-14 | 삼성전자주식회사 | 화상형성 방지 문서의 검출장치 및 방법 |
JP2007110301A (ja) * | 2005-10-12 | 2007-04-26 | Fujitsu Ltd | 画像印刷装置、判定装置および印刷物 |
JP4801551B2 (ja) * | 2006-09-27 | 2011-10-26 | 富士通株式会社 | 画像領域検出方法、該プログラム、及び該装置 |
JP4885789B2 (ja) * | 2007-05-14 | 2012-02-29 | 富士通株式会社 | 画像処理方法、画像領域検出方法、画像処理プログラム、画像領域検出プログラム、画像処理装置、および、画像領域検出装置 |
-
2007
- 2007-05-14 JP JP2007128663A patent/JP4885789B2/ja active Active
-
2008
- 2008-04-24 EP EP08103708A patent/EP1993071B1/en active Active
- 2008-04-30 US US12/149,378 patent/US8422773B2/en active Active
- 2008-05-09 KR KR1020080043447A patent/KR100966694B1/ko active IP Right Grant
- 2008-05-14 CN CN2008101078332A patent/CN101308574B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1617165A (zh) * | 2004-12-09 | 2005-05-18 | 上海交通大学 | 图像的方向投影方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20080100774A (ko) | 2008-11-19 |
US8422773B2 (en) | 2013-04-16 |
EP1993071A1 (en) | 2008-11-19 |
KR100966694B1 (ko) | 2010-06-29 |
CN101308574A (zh) | 2008-11-19 |
US20080285846A1 (en) | 2008-11-20 |
JP2008283649A (ja) | 2008-11-20 |
JP4885789B2 (ja) | 2012-02-29 |
EP1993071B1 (en) | 2012-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101308574B (zh) | 图像处理法和装置及图像区域检测法和装置 | |
US6774889B1 (en) | System and method for transforming an ordinary computer monitor screen into a touch screen | |
CN103714327B (zh) | 一种图像方向校正方法及系统 | |
US20080205769A1 (en) | Apparatus, method and program product for matching with a template | |
KR101597739B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체 | |
US20080292145A1 (en) | Image Processing Device, Image Processing Method, Image Processing Program Product, and Imaging Device | |
KR101842535B1 (ko) | 부호의 광학적 검출 방법 | |
KR20120132314A (ko) | 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 판독 가능한 매체 | |
CN103973931B (zh) | 图像处理装置及图像处理方法 | |
JP5182182B2 (ja) | 色補正方法及び撮像システム | |
CN110210467B (zh) | 一种文本图像的公式定位方法、图像处理装置、存储介质 | |
JP2018137636A (ja) | 画像処理装置及び画像処理プログラム | |
US20110234858A1 (en) | Image processing apparatus and method, and image processing program | |
US20100208999A1 (en) | Method of compensating for distortion in text recognition | |
CN114627561A (zh) | 动态手势识别方法、装置、可读存储介质及电子设备 | |
US6304672B1 (en) | Edge detecting method and edge detecting device which detects edges for each individual primary color and employs individual color weighting coefficients | |
EP1437686A3 (en) | Object information processing apparatus, image processing system, game apparatus and image processing method | |
EP1729497A1 (en) | Method and apparatus for detecting image area, and computer product | |
CN114782239A (zh) | 一种基于卷积神经网络的数字水印添加方法及系统 | |
JP5424694B2 (ja) | 画像認識装置、及びプログラム | |
JP2015192389A (ja) | マーカ埋め込み装置、マーカ検出装置、及びプログラム | |
JP6075850B2 (ja) | 情報端末装置及びプログラム並びに認識システム | |
JP6171165B2 (ja) | 運転免許証読取装置及び運転免許証読取方法 | |
CN114239635B (zh) | 一种针对doi图像涂鸦的处理方法、装置及设备 | |
JP4372660B2 (ja) | 画像判定方法および画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |