CN113157160B - 用于识别误导播放按钮的方法和设备 - Google Patents
用于识别误导播放按钮的方法和设备 Download PDFInfo
- Publication number
- CN113157160B CN113157160B CN202110427375.6A CN202110427375A CN113157160B CN 113157160 B CN113157160 B CN 113157160B CN 202110427375 A CN202110427375 A CN 202110427375A CN 113157160 B CN113157160 B CN 113157160B
- Authority
- CN
- China
- Prior art keywords
- candidate
- misleading
- play button
- candidate region
- play
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012216 screening Methods 0.000 claims abstract description 24
- 238000012360 testing method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 13
- 230000004044 response Effects 0.000 claims description 10
- 230000009191 jumping Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 9
- 230000006399 behavior Effects 0.000 abstract description 5
- 230000002829 reductive effect Effects 0.000 abstract description 5
- 238000004891 communication Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 8
- 238000012795 verification Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000012852 risk material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本公开公开了一种用于识别误导播放按钮的方法和设备,涉及图像处理的领域,尤其涉及图像识别的领域。具体实现方案为:在待检测图像中确定包括播放按钮的多个候选区域;提取多个候选区域的特征信息;根据所提取的特征信息和关于误导播放按钮的先验知识,对多个候选区域进行筛选,以滤除不包括误导播放按钮的候选区域,并得到至少一个待测候选区域;以及对至少一个待测候选区域执行测试,以确定至少一个待测候选区域中包括的播放按钮是否是误导播放按钮。根据本公开的方法和设备能够准确地识别误导播放按钮,并具有较低的成本和较高的效率,从而降低出现误导点击播放的风险,打压恶意流量竞争行为。
Description
技术领域
本公开涉及图像处理的技术领域,尤其涉及图像识别技术,更具体地,涉及一种用于识别误导播放按钮的方法和设备。
背景技术
随着5G网络的普及发展,人们可以随时随地使用各种类型的电子设备来消费例如网页、图片、视频等的内容。然而,研究发现当人们在观看或浏览内容期间看到用于开始播放或继续播放的播放按钮时,有可能会下意识地点击该播放按钮,使得跳转到落地页,进而造成用户流量导流。有的人利用这种下意识的行为,在用户浏览的页面中添加这种能够误导用户点击的播放按钮,以点击跳转到与点击前的浏览内容完全不相关的落地页,造成恶意导流。
为了控制误导点击播放的风险,往往通过人工审核来审查图像中的播放按钮。这种审核方式对审核人员的要求较高、成本较高、且审核效率偏低。
为此,需要提供一种用于识别误导播放按钮的方法和设备,其能够准确地识别误导播放按钮,并具有较低的成本和较高的效率。
发明内容
本公开提供了一种用于识别误导播放按钮的方法、设备以及存储介质。
根据本公开的一方面,提供了一种用于识别误导播放按钮的方法,所述方法包括:
在待检测图像中确定包括播放按钮的多个候选区域;
提取所述多个候选区域的特征信息;
根据所提取的特征信息和关于误导播放按钮的先验知识,对所述多个候选区域进行筛选,以滤除不包括误导播放按钮的候选区域,并得到至少一个待测候选区域;
对所述至少一个待测候选区域执行测试,以确定所述至少一个待测候选区域中包括的播放按钮是否是误导播放按钮。
根据本公开的另一方面,提供了一种用于识别误导播放按钮的设备,所述设备包括:
候选区域定位模块,被配置为在待检测图像中确定包括播放按钮的多个候选区域;
信息提取模块,被配置为提取所述多个候选区域的特征信息;以及
误导播放按钮确定模块,包括:
筛选子模块,被配置为:根据所提取的特征信息和关于误导播放按钮的先验知识,对所述多个候选区域进行筛选,以滤除不包括误导播放按钮的候选区域,并得到至少一个待测候选区域;以及
测试子模块,被配置为:对所述至少一个待测候选区域执行测试,以确定所述至少一个待测候选区域中包括的播放按钮是否是误导播放按钮。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本公开的限定。其中:
图1是根据本公开示例实施例的应用场景;
图2是根据本公开示例实施例的用于识别误导播放按钮的方法的流程图;
图3是根据本公开示例实施例的用于提取多个候选区域的特征信息的步骤的示例;
图4至图6分别示出了根据本公开示例实施例的用于根据所提取的特征信息和关于误导播放按钮的先验知识来筛选候选区域的步骤的示例;
图7是根据本公开示例实施例的针对确定候选区域中包括的播放按钮是否是误导播放按钮的步骤的示例;
图8是用来实现本公开实施例的用于识别误导播放按钮的方法的电子设备的一个示例;以及
图9是用来实现本公开实施例的用于识别误导播放按钮的方法的电子设备的另一示例的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
图1示出了根据本公开示例实施例的应用场景。如图1所示,用户20 可以使用各种类型的电子设备10来浏览或观看网页、图片或视频等内容。电子设备10可以包括但不限于计算机、移动电话、智能电话、多媒体播放器等。
当在观看例如页面或视频等的内容期间出现用于开始播放或恢复播放的播放按钮时,如由附图标记110、115和120所示的屏幕画面,用户 20有可能会下意识地点击该播放按钮105。这样,就会使企图误导用户点击的恶意第三方有机可乘。
为了降低出现误导点击播放的风险,打压恶意流量竞争行为,提供了一种高效率、低成本、自动化且迭代闭环的用于识别误导播放按钮的方法和设备。下面将结合图2至图9来描述根据本公开示例实施例的用于识别误导播放按钮的方法和设备。
图2是根据本公开示例实施例的用于识别误导播放按钮的方法200的流程图。
如图所示,用于识别误导播放按钮的方法200可以包括以下步骤。
在步骤S210,在待检测图像中确定包括播放按钮的多个候选区域;
在步骤S220,提取多个候选区域的特征信息;
在步骤S230,根据所提取的特征信息和关于误导播放按钮的先验知识,对多个候选区域进行筛选,以滤除不包括误导播放按钮的候选区域,并得到待测候选区域;
在步骤S240,对至少一个待测候选区域执行测试,以确定至少一个待测候选区域中包括的播放按钮是否是误导播放按钮。
通常,播放按钮可以具有各种各样的形状,例如,三角形、箭头形、圆形或其它类似按钮。因此,在步骤S210中,在待检测图像中确定包括播放按钮的多个候选区域可以通过使用例如Faster RCNN中的RPN(region proposal network)网络、YOLOv3算法、SelectiveSearch算法等的多种算法来实现。该步骤旨在针对各种样式播放按钮进行粗筛,因此,可以采用各种算法来快速地确定候选区域,而不要求对候选区域中的内部细节具有极高的识别准确度。
接着,在步骤S220中,可以提取多个候选区域的特征信息。特征信息可以包括例如边缘信息、图像几何信息、颜色信息和文字信息等的各种类型的信息。
随后,在步骤S230中,根据所提取的特征信息和关于误导播放按钮的先验知识,对多个候选区域进行筛选,以滤除不包括误导播放按钮的候选区域,并得到待测候选区域。利用所提取的特征信息和关于误导播放按钮的先验知识对多个候选区域进行筛选能够进一步减少最终需要进行测试的待测候选区域的数量,能够进一步改善对误导播放按钮的识别速度和识别效率。
最后,在步骤S240中,对筛选后得到的至少一个待测候选区域执行测试,以确定至少一个待测候选区域中包括的播放按钮是否是误导播放按钮。如果在测试后确定至少一个待测候选区域中包括的播放按钮能够引起误导点击播放,则将至少一个待测候选区域中包括的播放按钮确定为误导点击播放按钮,否则将其认为是正常播放按钮。
如上所述,本公开提供了一种用于识别误导播放按钮的方法,其能够准确地识别误导播放按钮,并具有较低的成本和较高的效率。
图3是根据本公开示例实施例的用于提取多个候选区域的特征信息的步骤的示例,即,图2所示的步骤S220的具体示例。
首先,在本示例中,用于提取与候选区域有关的特征信息的步骤可以包括:在步骤S321中,提取多个候选区域中的每个候选区域的边缘纹理的特征能量图。也就是说,在该步骤中,对每个候选区域执行边缘提取操作,从而得到特征能量图。
为了更有效地提取候选区域的边缘纹理的特征能量图,在已经通过对播放按钮的分析获得关于播放按钮的先验知识的情况下,可以根据先验知识来基于指定方向提取每个候选区域的边缘纹理的特征能量图。
此外,还应注意的是,在执行步骤S321之前,还可以备选地对候选区域的图像进行预处理,即,执行步骤S321-a。本公开对于用于预处理的算法并不明确限定,算法可以是滤波降噪算法,如中值滤波,基于字典学习的滤波算法,也可以是其它预处理算法。例如,本公开使用双线行滤波降噪算法,以在去除噪声的同时较好地保持边缘特征。
以下描述本公开中提取候选区域的边缘纹理的特征能量图的具体示例。
对于三角形的播放按钮而言,其先验知识包括在顺时针45°、90°和 135°方向上的特征能量值较高。因此,可以首先对候选区域的图像进行预处理,然后根据先验知识提取候选区域的边缘纹理的特征能量图。具体地,可以计算候选区域的图像在顺时针45°、90°和135°方向上的梯度,并根据梯度值生成边缘纹理的特征能量图。在本公开中,不对计算梯度的方法做出任何限制。在一个示例中,本公开采用如下等式(1)所示的梯度模板进行图像梯度计算,其中K45°、K90°和K135°分别是顺时针45°、90°和135°方向的梯度模板:
由此,可以得到输入图像I的梯度值,参见等式(2):
进而,能够计算出图像中i行j列的能量值E(i,j),从而得到输入图像的特征能量图,参见等式(3):
E(i,j)=μ45°|G45°(i,j)|+μ90°|G90°(i,j)|+μ135°|G135°(i,j)| 等式(3)
其中,μ为各方向上的权重,可以根据实际应用需求对各方向上的权重进行取值,从而满足应用需求。在本公开中,设置μ45°=μ135°=0.4,μ90°=0.2,这是因为45°和135°方向上的梯度值中已经包含了90°方向垂直分量。
以上以三角形播放按钮为例描述了提取候选区域的边缘纹理的特征能量图的操作。在提取了特征能量图之后,该处理可以进行到步骤S322,即,对特征能量图执行去噪,以去除孤立点。具体地,可以利用图像形态学技术,例如,对候选区域的图像进行膨胀、腐蚀等,来提高对比度并凸显纹理信息,从而对特征能量图执行去噪,以去除孤立点。
在本公开的示例中,由于包括播放按钮的候选区域占其所在图像的大小比例相对较小,因此,在上述去噪操作中,可以先对候选区域进行放大,然后进行腐蚀去噪操作,再缩小至原来大小,经过如此的操作流程就可以去除能量图中的噪声孤立点。例如,针对像素点(i,j),可以将该像素点的能量值与其周围像素的能量值进行比较,如果相差较大,则确定其为孤立点。
最后,在步骤S323中,从经去噪的特征能量图中提取多个候选区域的特征信息。如上所述,特征信息可以是多种类型的信息。通过对特征能量图的上述处理,可以得到噪声较少、边缘纹理信息明显的能量图,从而能够更便于提取关于候选区域的特征信息。
由于播放按钮具有各种各样的样式,具有误导点击播放风险的误导点击播放按钮的样式仅占上述各种各样的播放按钮的一部分。与误导点击播放按钮具有相似样式的播放按钮会干扰对误导点击播放按钮的精确识别,因此需要过滤掉其它具有干扰样式的播放按钮,以消除这种干扰。图4至图6分别示出了根据本公开示例实施例的针对根据所提取的特征信息和关于误导播放按钮的先验知识来筛选候选区域以消除干扰的示例。
具体地,图4示出了先验知识包括误导播放按钮的形式是圆形区域内包含一个三角形区域的可点击按钮的情况。
在该情况下,关于误导播放按钮的先验知识是关于几何特征信息的先验知识,因此,所提取的特征信息包括关于候选区域的几何特征信息。这样,根据所提取的特征信息和关于误导播放按钮的先验知识对多个候选区域进行筛选的步骤可以包括:在步骤S431,基于所提取的特征信息,对每个候选区域执行圆检测和三角形检测;在步骤S432,响应于在候选区域中检测到圆形区域且检测到三角形区域,确定三角形区域是否被包括在圆形区域中;以及当确定三角形区域被包括在圆形区域中时(步骤S432-是),在步骤S433,确定候选区域不属于要被滤除的候选区域,即,该候选区域属于需要进行测试的待测候选区域。否则,处理进行到步骤S434,即,当确定三角形区域未被包括在所述圆形区域中时(步骤S432-否),确定所述候选区域属于要被滤除的候选区域,并对其进行滤除。
例如,如果根据数据分析得出的先验知识是关于几何特征信息的先验知识,即,误导播放按钮大致表现为一个圆形区域里面带有一个三角形区域的可点击按钮,且三角形区域的三条边方向大致为顺时针45°、90°、 135°方向,那么根据这个先验知识可以进行图像几何信息提取以对候选区域进行筛选。
具体地,对候选区域的几何信息进行圆形检测和三角形检测,过滤掉不带有圆形几何信息和三角形几何信息的候选区域。
本公开不限制用于执行圆检测的算法,例如,可以采用Hough圆变换实现视觉圆检测,选择合适的变换参数就可以实现较好的圆形检测结果。
对于三角形检测,其算法同样不做任何限定。作为一个示例,可以采用直线检测,然后三条直线相交,交点之间线段构成三角形方式检测出三角形。更具体地,可以采用的是Hough线变换实现,得到三角形三条边的端点,然后根据几何学求出三角形边的直线方程。
如果直线检测出的端点为a(x1,y1),b(x2,y2)两点,则该直线可表示为 Ax+By+C=0,其中A、B不同时为0,且A,B,C参数可由等式(4) 计算得到。
如此,三角形三条边直线方程可依次求出。设三角形的三边直线方程为Aix+Biy+Ci=0(i=1,2,3;Ai,Bi不同时为0),然后根据等式(5)求出这三条直线两两相交的交点,其中A1,B1,C1和A2,B2,C2分别为三角形三条边其中两条边的直线方程参数,x,y为该两条直线的交点横纵坐标。依次求出三角形三条边之间两两相交交点,三个交点之间线段构成的三角形即为检测出的三角形。
具体需要计算哪些几何边界根据实际情况而定,不做限定。
随后,可以提取圆形圆心、半径、三角形中心、三角形交点与圆形位置关系、三角形三条边斜率、候选区域中心与图像宽高中心线位置关系等几何特征信息,供后续用于误导播放按钮的确定。
最后,通过基于所获得的几何特征信息(例如,位置、中点以及交点等信息)分析圆形区域和三角形区域的位置关系,就可以识别出该候选区域是否属于要被滤除的候选区域。
应注意,尽管以上以特定样式的播放按钮作为示例描述了本实施例,然而本领域技术人员应注意,本公开不限于上述样式的播放按钮,可以根据实际情况而确定不同样式的误导播放按钮,因此,可以针对不同样式的误导播放按钮执行不同的几何特征检测。
图5示出了先验知识包括误导播放按钮位于包含误导播放按钮的图像的宽度或高度的中间位置的情况。这是因为误导播放按钮一般是视频截图所得,故其位置一般为图像的宽度的中间位置或者高度的中间位置。
在该情况下,关于误导播放按钮的先验知识依然是关于几何特征信息的先验知识,因此,所提取的特征信息包括关于候选区域的几何特征信息。这样,根据所提取的特征信息和关于误导播放按钮的先验知识对多个候选区域进行筛选的步骤可以包括:在步骤S531,基于所提取的特征信息,确定每个候选区域中包括的播放按钮是否位于候选区域所在的图像的宽度或高度的中间位置;以及当确定播放按钮位于中间位置时(步骤S531-是),在步骤S532,确定候选区域不属于要被滤除的候选区域,即,该候选区域属于需要进行测试的待测候选区域。否则,即,响应于确定播放按钮并非位于中间位置(步骤S531-否),在步骤S533,确定候选区域属于要被滤除的候选区域,并对其进行滤除。
图6示出了先验知识包括误导播放按钮不包含用于提醒存在可点击按钮的文字信息的情况。
在该情况下,关于误导播放按钮的先验知识是关于文字提示的先验知识,因此,所提取的特征信息包括关于候选区域周边的文字信息。这样,根据所提取的特征信息和关于误导播放按钮的先验知识对多个候选区域进行筛选的步骤可以包括:在步骤S631,基于所提取的特征信息,确定每个候选区域是否包括文字信息;以及当确定候选区域包括文字信息时(步骤S631-是),在步骤S632,确定候选区域属于要被滤除的候选区域,并滤除候选区域。否则,即,响应于确定候选区域不包括文字信息(步骤S631- 否),在步骤S633,确定候选区域不属于要被滤除的候选区域,即,该候选区域属于需要进行测试的待测候选区域。
作为一个示例,如果先验知识是误导点击播放按钮往往不包括类似于“点击”或“跳转”之类的用于提醒存在可点击按钮的文字信息,那么,在这种情况下,在执行特征信息提取时可以通过光学字符识别(Optical Character Recognition,OCR)技术来识别候选区域周围的文字信息。当确定候选区域包括例如“点击”或“跳转”的字样的文字信息时,由于候选区域周围明确提示点击了解详情,所以将候选区域确定为属于要被滤除的候选区域,并滤除候选区域。当确定候选区域不包括文字信息时,确定候选区域不属于要被滤除的候选区域,即,该候选区域属于需要进行测试的待测候选区域。
如上所述,以上描述了关于如何筛选候选区域以减少需要测试的待测候选区域的数量从而提高识别效率的各种示例,然而应注意,本公开不限于上述示例。此外,还应注意的是,尽管上述示例作为单个示例来描述,但是本领域技术人员应认识到,可以根据需要将上述示例和本公开范围内的其他示例进行任意结合,以实现对候选区域的筛选。
图7是根据本公开示例实施例的用于确定候选区域中包括的播放按钮是否是误导播放按钮的步骤的示例。
如图7所示,用于确定候选区域中包括的播放按钮是否是误导播放按钮的步骤可以进一步包括:在步骤S741,获取每个待测候选区域的跳转链接,其中跳转链接用于响应于在待测候选区域中包括的播放按钮被点击而跳转至目的地页面或下一页面;在步骤S742,从跳转链接中提取目的地页面或下一页面的地址和关于在跳转前待测候选区域所在的图像的来源信息;在步骤S743,根据地址和来源信息,确定目的地页面或下一页面是否与图像来自相关内容源;以及当确定目的地页面或下一页面与对应图像不是来自相关内容源时(步骤S743-否),在步骤S745,确定播放按钮不是误导播放按钮。另外,如果确定目的地页面或下一页面与对应图像来自相关内容源时(步骤S743-是),则处理进行到步骤S744,即,确定播放按钮不是误导播放按钮。
相关内容源是指内容相关联的内容源。可以采用当前已研发的或将来可能开发的相关内容判断技术来判断两个或多个内容源是否属于相关内容源。例如,如果当前带有播放按钮的图片来自于某电影的截图且通过点击播放按钮而跳转到的目的地页面是无关产品的广告,则认为两者的内容源不属于相关内容源,即,该播放按钮是具有误导点击播放风险的误导播放按钮。
以上描述了根据本公开示例的用于识别误导播放按钮的方法,如上所述,能够准确地识别误导播放按钮,并具有较低的成本和较高的效率,从而降低出现误导点击播放的风险,打压恶意流量竞争行为。
图8是用来实现本公开实施例的用于识别误导播放按钮的方法的电子设备800的一个示例。
如图8所示,用于识别误导播放按钮的方法的电子设备800可以包括候选区域定位模块810、信息提取模块820和误导播放按钮确定模块830。
候选区域定位模块810可以被配置为在待检测图像中确定包括播放按钮的多个候选区域。可以通过使用例如Faster RCNN中的RPN(region proposal network)网络、YOLOv3算法、Selective Search算法等的多种算法来实现在待检测图像中确定包括播放按钮的多个候选区域。
信息提取模块820可以被配置为提取多个候选区域的特征信息,特征信息可以包括例如边缘信息、图像几何信息、颜色信息和文字信息等的各种类型的信息。
误导播放按钮确定模块830可以包括筛选子模块831和测试子模块 832。筛选子模块831可以被配置为:根据所提取的特征信息和关于误导播放按钮的先验知识,对多个候选区域进行筛选,以滤除不包括误导播放按钮的候选区域,并得到至少一个待测候选区域。测试子模块832可以被配置为:对至少一个待测候选区域执行测试,以确定至少一个待测候选区域中包括的播放按钮是否是误导播放按钮。利用所提取的特征信息和关于误导播放按钮的先验知识对多个候选区域进行筛选能够进一步减少最终需要进行测试的待测候选区域的数量,能够进一步改善对误导播放按钮的识别速度和识别效率。
在一个示例中,信息提取模块820可以进一步包括:纹理信息提取子模块821和特征信息提取子模块822。纹理信息提取子模块821可以被配置为:提取多个候选区域中的每个候选区域的边缘纹理的特征能量图;并对特征能量图执行去噪以去除孤立点。为了更有效地提取候选区域的边缘纹理的特征能量图,在已经通过对播放按钮的分析获得关于播放按钮的先验知识的情况下,纹理信息提取子模块821可以根据先验知识来基于指定方向提取每个候选区域的边缘纹理的特征能量图。此外,纹理信息提取子模块821还可以备选地对候选区域的图像进行预处理,以在去除噪声的同时较好地保持边缘特征。特征信息提取子模块822可以被配置为:从经去噪的特征能量图中提取多个候选区域的特征信息。也就是说,纹理信息提取子模块821主要针对候选区域进行预处理、噪声消除、凸显按钮纹理信息;且特征信息提取子模块822主要基于候选区域提取播放按钮的特征信息,例如,包含圆形、三角形、点线位置关系,候选区域和图像中心线位置关系等等的外在图像几何信息。
筛选子模块831可以被配置为:在先验知识包括误导播放按钮的形式是圆形区域内包含一个三角形区域的可点击按钮的情况下,基于所提取的特征信息,对每个候选区域执行圆检测和三角形检测;响应于在候选区域中检测到圆形区域且检测到三角形区域,确定三角形区域是否被包括在圆形区域中;以及当确定三角形区域被包括在圆形区域中时,确定候选区域不属于要被滤除的候选区域。
筛选子模块831被配置为:在先验知识包括误导播放按钮位于包含误导播放按钮的图像的宽度或高度的中间位置的情况下,基于所提取的特征信息,确定每个候选区域中包括的播放按钮是否位于候选区域所在的图像的宽度或高度的中间位置;以及当确定播放按钮位于中间位置时,确定候选区域不属于要被滤除的候选区域。
筛选子模块831被配置为:在先验知识包括误导播放按钮不包含用于提醒存在可点击按钮的文字信息的情况下,基于所提取的特征信息,确定每个候选区域是否包括文字信息;以及当确定候选区域包括文字信息时,确定候选区域属于要被滤除的候选区域,并滤除候选区域。
如上所述,以上描述了关于如何筛选候选区域以减少需要测试的待测候选区域的数量从而提高识别效率的各种示例,然而应注意,本公开不限于上述示例。此外,还应注意的是,尽管上述示例作为单个示例来描述,但是本领域技术人员应认识到,可以根据需要将上述示例和本公开范围内的其他示例进行任意结合,以实现对候选区域的筛选。
另外,测试子模块832还被配置为:获取每个待测候选区域的跳转链接,其中跳转链接用于响应于在待测候选区域中包括的播放按钮被点击而跳转至下一页面;从跳转链接中提取下一页面的地址和关于在跳转前待测候选区域所在的图像的来源信息;根据地址和来源信息,确定下一页面是否与所述图像来自相关内容源;以及当确定所述下一页面与所述对应图像来自相关内容源时,确定播放按钮不是误导播放按钮。
以上描述了根据本公开示例的用于识别误导播放按钮的设备,如上所述,其能够准确地识别误导播放按钮,并具有较低的成本和较高的效率,从而降低出现误导点击播放的风险,打压恶意流量竞争行为。
本公开提出了一套高效率、低成本的针对误导播放按钮的识别系统,有效的对播放按钮误导点击风险进行自动化识别审核,解放人工审核生产力,极大的解决了长期以来播放按钮误导点击风险物料的日益增多和人工审核成本不断增大,审核效率低下之间的矛盾,准确的打击了依靠播放按钮误导消费者点击进行恶意流量竞争,欺诈消费者的广告推广行为,很好的维护了广告推广平台的社会信誉度以及良好企业形象。
本公开的技术方案中,所涉及的用户个人信息的获取、存储和应用等均符合相关法律法规的规定,且不违背公序良俗。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示,设备900包括计算单元901,其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序,来执行各种适当的动作和处理。在 RAM 903中,还可存储设备900操作所需的各种程序和数据。计算单元 901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O) 接口905也连接至总线904。
设备900中的多个部件连接至I/O接口905,包括:输入单元906,例如键盘、鼠标等;输出单元907,例如各种类型的显示器、扬声器等;存储单元908,例如磁盘、光盘等;以及通信单元909,例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和步骤,例如,如图2至图7所示的方法和步骤。例如,在一些实施例中,图2至图7所示的方法和步骤可被实现为计算机软件程序,其被有形地包含于机器可读介质,例如存储单元908。在一些实施例中,计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到RAM 903并由计算单元901执行时,可以执行上文描述的用于识别误导播放按钮的方法的一个或多个步骤。备选地,在其他实施例中,计算单元901可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行如上所述的用于识别误导播按钮的方法和步骤。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/ 或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器,使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中,机器可读介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入) 来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本公开公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本公开保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等,均应包含在本公开保护范围之内。
Claims (14)
1.一种用于识别误导播放按钮的方法,包括:
在待检测图像中确定包括播放按钮的多个候选区域;
提取所述多个候选区域的特征信息;
根据所提取的特征信息和关于误导播放按钮的先验知识,对所述多个候选区域进行筛选,以滤除不包括误导播放按钮的候选区域,并得到至少一个待测候选区域;以及
对所述至少一个待测候选区域执行测试,以确定所述至少一个待测候选区域中包括的播放按钮是否是误导播放按钮。
2.根据权利要求1所述的方法,其中提取特征信息包括:
提取所述多个候选区域中的每个候选区域的边缘纹理的特征能量图;
对所述特征能量图执行去噪以去除孤立点;以及
从经去噪的特征能量图中提取所述多个候选区域的特征信息。
3.根据权利要求1或2所述的方法,其中,所述先验知识包括误导播放按钮的形式是圆形区域内包含一个三角形区域的可点击按钮,
其中根据所提取的特征信息和关于误导播放按钮的先验知识对所述多个候选区域进行筛选包括:
基于所提取的特征信息,对每个候选区域执行圆检测和三角形检测;
响应于在所述候选区域中检测到圆形区域且检测到三角形区域,确定所述三角形区域是否被包括在所述圆形区域中;以及
当确定所述三角形区域被包括在所述圆形区域中时,确定所述候选区域不属于要被滤除的候选区域。
4.根据权利要求1或2所述的方法,其中,所述先验知识包括误导播放按钮位于包含所述误导播放按钮的图像的宽度或高度的中间位置,
其中根据所提取的特征信息和关于误导播放按钮的先验知识对所述多个候选区域进行筛选包括:
基于所提取的特征信息,确定每个候选区域中包括的播放按钮是否位于所述候选区域所在的图像的宽度或高度的中间位置;以及
当确定所述播放按钮位于所述中间位置时,确定所述候选区域不属于要被滤除的候选区域。
5.根据权利要求1或2所述的方法,其中,所述先验知识包括误导播放按钮不包含用于提醒存在可点击按钮的文字信息,
其中根据所提取的特征信息和关于误导播放按钮的先验知识对所述多个候选区域进行筛选包括:
基于所提取的特征信息,确定每个候选区域是否包括所述文字信息;以及
当确定所述候选区域包括所述文字信息时,确定所述候选区域属于要被滤除的候选区域,并滤除所述候选区域。
6.根据权利要求1或2所述的方法,其中,对所述至少一个待测候选区域执行测试以确定所述至少一个待测候选区域中包括的播放按钮是否是误导播放按钮包括:
获取每个待测候选区域的跳转链接,其中所述跳转链接用于响应于在所述待测候选区域中包括的播放按钮被点击而跳转至下一页面;
从所述跳转链接中提取所述下一页面的地址和关于在跳转前所述待测候选区域所在的图像的来源信息;
根据所述地址和所述来源信息,确定所述下一页面是否与所述图像来自相关内容源;以及
当确定所述下一页面与所述图像来自相关内容源时,确定所述播放按钮不是误导播放按钮。
7.一种用于识别误导播放按钮的设备,所述设备包括:
候选区域定位模块,被配置为在待检测图像中确定包括播放按钮的多个候选区域;
信息提取模块,被配置为提取所述多个候选区域的特征信息;以及
误导播放按钮确定模块,包括:
筛选子模块,被配置为:根据所提取的特征信息和关于误导播放按钮的先验知识,对所述多个候选区域进行筛选,以滤除不包括误导播放按钮的候选区域,并得到至少一个待测候选区域;以及
测试子模块,被配置为:对所述至少一个待测候选区域执行测试,以确定所述至少一个待测候选区域中包括的播放按钮是否是误导播放按钮。
8.根据权利要求7所述的设备,其中所述信息提取模块包括:
纹理信息提取子模块,被配置为:提取所述多个候选区域中的每个候选区域的边缘纹理的特征能量图;并对所述特征能量图执行去噪以去除孤立点;
特征信息提取子模块,被配置为:从经去噪的特征能量图中提取所述多个候选区域的特征信息。
9.根据权利要求7或8所述的设备,其中,所述先验知识包括误导播放按钮的形式是圆形区域内包含一个三角形区域的可点击按钮,
其中所述筛选子模块被配置为:
基于所提取的特征信息,对每个候选区域执行圆检测和三角形检测;
响应于在所述候选区域中检测到圆形区域且检测到三角形区域,确定所述三角形区域是否被包括在所述圆形区域中;以及
当确定所述三角形区域被包括在所述圆形区域中时,确定所述候选区域不属于要被滤除的候选区域。
10.根据权利要求7或8所述的设备,其中,所述先验知识包括误导播放按钮位于包含所述误导播放按钮的图像的宽度或高度的中间位置,
其中所述筛选子模块被配置为:
基于所提取的特征信息,确定每个候选区域中包括的播放按钮是否位于所述候选区域所在的图像的宽度或高度的中间位置;以及
当确定所述播放按钮位于所述中间位置时,确定所述候选区域不属于要被滤除的候选区域。
11.根据权利要求7或8所述的设备,其中,所述先验知识包括误导播放按钮不包含用于提醒存在可点击按钮的文字信息,
其中所述筛选子模块被配置为:
基于所提取的特征信息,确定每个候选区域是否包括所述文字信息;以及
当确定所述候选区域包括所述文字信息时,确定所述候选区域属于要被滤除的候选区域,并滤除所述候选区域。
12.根据权利要求7或8所述的设备,其中,所述测试子模块还被配置为:
获取每个待测候选区域的跳转链接,其中所述跳转链接用于响应于在所述待测候选区域中包括的播放按钮被点击而跳转至下一页面;
从所述跳转链接中提取所述下一页面的地址和关于在跳转前所述待测候选区域所在的图像的来源信息;
根据所述地址和所述来源信息,确定所述下一页面是否与所述图像来自相关内容源;以及
当确定所述下一页面与所述图像来自相关内容源时,确定所述播放按钮不是误导播放按钮。
13. 一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110427375.6A CN113157160B (zh) | 2021-04-20 | 2021-04-20 | 用于识别误导播放按钮的方法和设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110427375.6A CN113157160B (zh) | 2021-04-20 | 2021-04-20 | 用于识别误导播放按钮的方法和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113157160A CN113157160A (zh) | 2021-07-23 |
CN113157160B true CN113157160B (zh) | 2023-08-15 |
Family
ID=76867852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110427375.6A Active CN113157160B (zh) | 2021-04-20 | 2021-04-20 | 用于识别误导播放按钮的方法和设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113157160B (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012099976A (ja) * | 2010-10-29 | 2012-05-24 | Keyence Corp | 動画追尾装置、動画追尾方法および動画追尾プログラム |
CN106204800A (zh) * | 2016-07-06 | 2016-12-07 | 福州瑞芯微电子股份有限公司 | 自动交通标志识别提醒的方法、装置及行车记录仪 |
CN111783639A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 图像检测方法、装置、电子设备及可读存储介质 |
CN112418058A (zh) * | 2020-11-19 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 视频处理方法及装置 |
-
2021
- 2021-04-20 CN CN202110427375.6A patent/CN113157160B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012099976A (ja) * | 2010-10-29 | 2012-05-24 | Keyence Corp | 動画追尾装置、動画追尾方法および動画追尾プログラム |
CN106204800A (zh) * | 2016-07-06 | 2016-12-07 | 福州瑞芯微电子股份有限公司 | 自动交通标志识别提醒的方法、装置及行车记录仪 |
CN111783639A (zh) * | 2020-06-30 | 2020-10-16 | 北京百度网讯科技有限公司 | 图像检测方法、装置、电子设备及可读存储介质 |
CN112418058A (zh) * | 2020-11-19 | 2021-02-26 | 上海哔哩哔哩科技有限公司 | 视频处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN113157160A (zh) | 2021-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11321593B2 (en) | Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device | |
CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
CN112560862B (zh) | 文本识别方法、装置及电子设备 | |
CN113313083B (zh) | 文本检测方法及装置 | |
CN112989995B (zh) | 文本检测方法、装置及电子设备 | |
EP3846122B1 (en) | Method and apparatus for generating background-free image, device, and medium | |
CN113642584A (zh) | 文字识别方法、装置、设备、存储介质和智能词典笔 | |
CN114596188A (zh) | 水印检测方法、模型训练方法、装置及电子设备 | |
CN113963197A (zh) | 图像识别方法、装置、电子设备和可读存储介质 | |
US10963690B2 (en) | Method for identifying main picture in web page | |
CN113157160B (zh) | 用于识别误导播放按钮的方法和设备 | |
WO2023077963A1 (zh) | 图像文本识别方法、装置、计算机可读介质及电子设备 | |
CN114863450B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN114842482B (zh) | 一种图像分类方法、装置、设备和存储介质 | |
CN114724144B (zh) | 文本识别方法、模型的训练方法、装置、设备及介质 | |
CN116246287A (zh) | 目标对象识别方法、训练方法、装置以及存储介质 | |
CN114120305B (zh) | 文本分类模型的训练方法、文本内容的识别方法及装置 | |
CN113379592B (zh) | 图片中敏感区域的处理方法、装置和电子设备 | |
CN113010721B (zh) | 一种图片审核方法、装置、电子设备及存储介质 | |
CN114677566A (zh) | 深度学习模型的训练方法、对象识别方法和装置 | |
CN113903071A (zh) | 人脸识别方法、装置、电子设备和存储介质 | |
CN113657364A (zh) | 用于识别文字标志的方法、装置、设备以及存储介质 | |
CN115004261A (zh) | 文本行检测 | |
CN117746069B (zh) | 以图搜图的模型训练方法、和以图搜图方法 | |
CN115205555B (zh) | 确定相似图像的方法、训练方法、信息确定方法及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |