CN109816745B - 人体热力图展示方法及相关产品 - Google Patents
人体热力图展示方法及相关产品 Download PDFInfo
- Publication number
- CN109816745B CN109816745B CN201811581739.0A CN201811581739A CN109816745B CN 109816745 B CN109816745 B CN 109816745B CN 201811581739 A CN201811581739 A CN 201811581739A CN 109816745 B CN109816745 B CN 109816745B
- Authority
- CN
- China
- Prior art keywords
- target
- image
- grids
- human body
- preset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种人体热力图展示方法及相关产品,所述方法包括:获取由指定摄像头拍摄的目标图像,将目标图像按照预设方式划分为多个网格,对目标图像进行目标识别,若识别结果为所述目标图像中包括至少一个人体图像时,在多个网格中确定至少一个人体图像所占据的网格,得到多个目标网格,获取多个目标网格对应的目标颜色,在目标图像中依据目标颜色对多个目标网格进行热力图绘制,得到目标热力图,如此,可以通过将目标图像划分为多个网格,并确定多个网格中人体图像对应的目标网格,获取目标网格对应的颜色,根据该颜色对目标网格进行热力图绘制,实现人体热力图的展示。
Description
技术领域
本申请涉及图像处理技术领域,具体涉及一种人体热力图展示方法及相关产品。
背景技术
热力图,是可以按照一定的统计标准,获得若干个统计指标数据,使用特殊高亮的形式表示目标图像中各个区域的统计指标数据的大小,从而将区域的全局特征直观地展示在人们面前的一种方式。热力图可以应用在各种方面,例如,人流分析、网页内容的访问情况分析、规划定制公交路线等等,但是,热力图应用在人体图像的识别的研究很少,因此,如何展示图片中的人体图像的问题亟待解决。
发明内容
本申请实施例提供了一种人体热力图展示方法及相关产品,可以实现人体热力图的展示。
本申请实施例第一方面提供了一种人体热力图展示方法,包括:
获取由指定摄像头拍摄的目标图像;
将所述目标图像按照预设方式划分为多个网格;
对所述目标图像进行目标识别,得到至少一个人体图像;
在所述多个网格中确定所述至少一个人体图像所占据的网格,得到多个目标网格;
获取所述多个目标网格对应的目标颜色;
在所述目标图像中依据所述目标颜色对所述多个目标网格进行热力图绘制,得到目标热力图。
可选地,在所述获取由指定摄像头拍摄的目标图像之前,所述方法还包括:
获取所述指定摄像头拍摄的第一图像;
对所述第一图像进行目标检测;
在所述第一图像中包含人体时,获取目标环境参数,以及对所述第一图像进行图像分割,得到所述人体区域;
按照预设的环境参数与拍摄参数之间的映射关系,确定目标拍摄参数;
依据所述人体区域确定焦点;
所述获取由指定摄像头拍摄的目标图像,包括:
依据所述目标拍摄参数、所述焦点控制所述指定摄像头进行拍摄,得到所述目标图像。
本申请实施例第二方面提供了一种人体热力图展示装置,包括:
获取单元,用于获取由指定摄像头拍摄的目标图像;
划分单元,用于将所述目标图像按照预设方式划分为多个网格;
识别单元,用于对所述目标图像进行目标识别,得到至少一个人体图像;
确定单元,用于在所述多个网格中确定所述至少一个人体图像所占据的网格,得到多个目标网格;
所述获取单元,还用于获取所述多个目标网格对应的目标颜色;
绘制单元,用于在所述目标图像中依据所述目标颜色对所述多个目标网格进行热力图绘制,得到目标热力图。
本申请实施例第三方面提供了一种人体热力图展示装置,包括:处理器和存储器;以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置成由所述处理器执行,所述程序包括用于如第一方面中所描述的部分或全部步骤的指令。
本申请实施例第四方面提供了一种计算机可读存储介质,其中,所述计算机可读存储介质用于存储计算机程序,其中,所述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤的指令。
本申请实施例第五方面提供了一种计算机程序产品,其中,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
可以看出,通过本申请实施例所描述的人流量展示方法及相关产品,获取由指定摄像头拍摄的目标图像,将目标图像按照预设方式划分为多个网格,对目标图像进行目标识别,若识别结果为目标图像中包括至少一个人体图像时,在多个网格中确定至少一个人体图像所占据的网格,得到多个目标网格,获取多个目标网格对应的目标颜色,在目标图像中依据目标颜色对多个目标网格进行热力图绘制,得到目标热力图,如此,可以通过将目标图像划分为多个网格,并确定多个网格中人体图像对应的目标网格,获取目标网格对应的颜色,根据该颜色对目标网格进行热力图绘制,实现人体热力图的展示。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种人体热力图展示方法的实施例流程示意图;
图1B是本申请实施例提供的多个区域的演示示意图;
图2是本申请实施例提供的一种人体热力图展示方法的另一实施例流程示意图;
图3A是本申请实施例提供的一种人体热力图展示装置的实施例结构示意图;
图3B是本申请实施例提供的图3A所描述的人体热力图展示装置的变型结构的结构示意图;
图4是本申请实施例提供的一种人体热力图展示装置的实施例结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置展示该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所描述人体热力图展示装置可以包括智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID,Mobile Internet Devices)或穿戴式设备等,上述仅是举例,而非穷举,包含但不限于上述装置,当然,上述人体热力图展示装置还可以为服务器。
需要说明的是,本申请实施例中的人体热力图展示装置可与多个摄像头连接,每一摄像头均可用于抓拍视频图像,每一摄像头均可有一个与之对应的位置标记,或者,可有一个与之对应的编号。通常情况下,摄像头可设置在公共场所,例如,学校、博物馆、十字路口、步行街、写字楼、车库、机场、医院、地铁站、车站、公交站台、超市、酒店、娱乐场所等等。摄像头在拍摄到视频图像后,可将该视频图像保存到人体热力图展示装置所在系统的存储器。存储器中可存储有多个图像库,每一图像库可包含同一人的不同视频图像,当然,每一图像库还可以用于存储一个区域的视频图像或者某个指定摄像头拍摄的视频图像。
进一步可选地,本申请实施例中,摄像头拍摄的每一帧视频图像均对应一个属性信息,属性信息为以下至少一种:视频图像的拍摄时间、视频图像的位置、视频图像的属性参数(格式、大小、分辨率等)、视频图像的编号和视频图像中的人体特征属性。上述视频图像中的人体特征属性可包括但不仅限于:视频图像中的人体个数、人体位置、人体角度、年龄、图像质量等等。
进一步需要说明的是,每一摄像头采集的视频图像通常为动态人脸图像,因而,本申请实施例中可以对人脸图像的角度信息进行规划,上述角度信息可包括但不仅限于:水平转动角度、俯仰角或者倾斜度。例如,可定义动态人脸图像数据要求两眼间距不小于30像素,建议60像素以上。水平转动角度不超过±30°、俯仰角不超过±20°、倾斜角不超过±45°。建议水平转动角度不超过±15°、俯仰角不超过±10°、倾斜角不超过±15°。例如,还可对人脸图像是否被其他物体遮挡进行筛选,通常情况下,饰物不应遮挡脸部主要区域,饰物如深色墨镜、口罩和夸张首饰等,当然,也有可能摄像头上面布满灰尘,导致人脸图像被遮挡。本申请实施例中的视频图像的图片格式可包括但不仅限于:BMP,JPEG,JPEG2000,PNG等等,其大小可以在10-30KB之间,每一视频图像还可以对应一个拍摄时间、以及拍摄该视频图像的摄像头统一编号、与人脸图像对应的全景大图的链接等信息(人脸图像和全局图片建立特点对应性关系文件)。
请参阅图1A,为本申请实施例提供的一种人体热力图展示方法的实施例流程示意图。本实施例中所描述的人体热力图展示方法,包括以下步骤:
101、获取由指定摄像头拍摄的目标图像。
其中,上述指定摄像头可由用户自行设置或者系统默认,指定摄像头可包括至少包括一个摄像头,具体实现中,可获取由至少一个摄像头拍摄的至少一个图像为目标图像,指定摄像头的拍摄时间可以一致,可指定时间段以指定拍摄角度进行拍摄,指定时间段可以由用户自行设置或者系统默认,指定拍摄角度可以由用户自行设置或者系统默认。
可选地,在上述步骤101之前,还可以包括如下步骤:
11、获取所述指定摄像头拍摄的第一图像;
12、对所述第一图像进行目标检测;
13、在所述第一图像中包含人体时,获取目标环境参数,以及对所述第一图像进行图像分割,得到所述人体区域;
14、按照预设的环境参数与拍摄参数之间的映射关系,确定目标拍摄参数;
15、依据所述人体区域确定焦点;
则,上述步骤101,获取由指定摄像头拍摄的目标图像,可按照如下方式实施:
16、依据所述目标拍摄参数、所述焦点控制所述指定摄像头进行拍摄,得到所述目标图像。
具体实现中,人体热力图展示装置可以先进行拍摄,得到第一图像,进而,对该第一图像进行目标检测,当检测到第一图像中包含人体时,则可以通过环境传感器获取环境参数,其中,环境参数可以为以下至少一种:环境光亮度、温度、湿度、地理位置、磁场干扰强度等等,在此不做限定,上述环境传感器可以为以下至少一种:环境光传感器、温度传感器、湿度传感器、定位传感器、磁场检测传感器,等等,在此不作限定。上述拍摄参数可以为以下至少一种:曝光时长、感光度ISO、拍摄模式、白平衡参数等等,在此不做限定,人体热力图展示装置中还可以预先存储预设的环境参数与拍摄参数之间的映射关系,依据该映射关系可以确定目标拍摄参数,当然,还可以对第一图像进行分割,得到人体区域,依据该人体区域的几何图案,可以确定人脸区域,将还可以确定人脸区域的几何中心(如质心、重心或者中心等等)作为焦点,并依据目标拍摄参数、焦点控制指定摄像头进行拍摄,得到目标图像,如此,可以得到与环境相宜的拍摄参数,以及,对人脸对焦,尽可能地拍摄到清晰的人体图像。
102、将所述目标图像按照预设方式划分为多个网格。
其中,预设方式可由用户自行设置或者系统默认,用户可预先设置网格的大小和形状,具体实现中,可按照预设的网格的大小和形状将目标图像划分为多个网格,每一个网格的大小和形状都相同,例如,可预先设置网格的大小为10pixel*10pixel的正方形,则可将1980pixel*1080pixel的目标图像划分为198*108个网格,如此,通过将目标图像划分为网格,便于对图像进行处理。
103、对所述目标图像进行目标识别。
其中,由于指定摄像头拍摄的目标图像中,可能存在多个不同的人体同在一个目标图像中的情况,或者,目标图像中可能包含人体图像和非人体图像,因此,可对多个目标图像进行目标识别,如此,通过对目标图像进行目标识别,可剔除掉非人体图像部分,更精确的筛选出人体图像。
可选地,上述步骤103,所述对所述目标图像进行目标识别,可包括如下步骤:
31、将所述目标图像与预设数据库中的标记模型进行比对,其中,所述预设数据库中的标记模型由通过对超过第一预设数量的图片或者视频中的人形进行人工标记,并对标记后的人形数据输入到预设深度学习卷积神经网络中训练得到;
32、若比对出人形,在所述多个网格中标记出所述人形的网格坐标,将标记后的网格坐标作为至少一个人体图像。
其中,预设数据库可由用户自行设置或者系统默认,预设数据库可为云数据库或者其他类型的数据库,在此不作限定,具体实现中,可预先对超过第一预设数量的图片或者视频中的人形进行人工标记,第一预设数量可由用户自行设置或者系统默认,然后,可将标记后的人形数据输入到预设深度学习卷积神经网络中训练,可得到训练完成的多个标记模型,最后,将训练后的多个标记模型存入预设数据库中。
此外,可将目标图像与预设数据库中的标记模型进行比对,具体实现中,可逐像素的对目标图像中的像素点以及标记模型中的像素点进行遍历匹配,从而得到多个匹配值,若该匹配值超过第二预设阈值,则可认为目标图像中存在人形,并标记出目标图像的多个网格中人形的网格坐标,上述目标图像中的网格可位于一个坐标系中,每个网格的顶点均代表一个坐标,第二预设阈值可为用户自行设置或者系统默认,因此,可将标记以后的网格坐标作为一个人体图像,如此,可提高目标图像中人体图像的识别效率。
可选地,上述步骤103,若识别出了人体图像,则可将该人体图像与人体热力图展示装置中的预设数据库比对,若该人体图像中的多个网格的坐标与预设数据库中的静态物体图像的多个坐标相同的个数大于第一预设阈值,则可将该人体图像存入预设数据库中的静态存储区;若该人体图像中的多个网格的坐标与预设静态物体库中的静态物体图像的坐标相同的个数小于第一预设阈值,则可将该人体图像以及该人体图像对应的多个网格的坐标存入预设数据库中的人像存储区,其中,第一预设阈值可由用户设置或者系统默认,预设数据库可以由通过人工标注的多个静态物体图片以及视频的数据构成,具体实现中,可预先对多个静态物体图片以及视频进行人工标记,然后,可将标记后的静态物体数据输入到预设深度学习卷积神经网络中训练,最后,将训练后的数据存入预设数据库。
可选地,上述步骤102之后,还可以包括如下步骤:
获取连续多帧图像。
进一步地,上述步骤103,对所述目标图像进行目标识别,得到至少一个人体图,可包括如下步骤:
A1、对所述连续多帧图像进行目标跟踪,得到至少一个目标对象;
A2、对所述多帧图像进行图像质量评价,得到多个图像质量评价值;
A3、从所述多个图像质量评价值中选取最大值,并将所述最大值对应的一帧图像作为所述目标图像;
A4、确定所述至少一个目标对象在所述目标图像中的坐标位置;
A5、依据所述坐标位置对所述目标图像进行图像分割,得到所述至少一个人体图像。
其中,可获取由指定摄像头拍摄的连续的多帧图像,并对连续多帧图像基于目标跟踪的算法进行目标跟踪,在目标跟踪以后,可得到至少一个目标对象,目标跟踪的算法可包括以下至少一种:tracking-by-detection跟踪算法、Tracking-Learning-Detection跟踪算法、Struck算法等等,在此不作限定。在图像识别过程中,成功与否很大程度上取决于图像的图像质量,因此,可对指定摄像头拍摄的连续的多帧图像进行图像质量评价,得到多个图像质量评价值,具体地,可采用图像质量评价指标对多帧图像进行图像质量评价,得到多个图像质量评价值,图像质量评价指标可包括但不仅限于:平均灰度、均方差、熵、边缘保持度、信噪比等等,可定义为得到的图像质量评价值越大,则图像质量越好,然后,选取多个图像质量评价值中的最大值,并且,该最大值对应的一帧图像为目标图像。
此外,在得到目标图像以后,可在该目标图像划分出的多个网格中确定至少一个目标对象在该目标图像中的坐标位置,每一个网格可对应不同的坐标,每一个目标对象可对应不同的坐标位置,由于该目标图像中可能包含场景图像以及人体图像,因此,可根据至少一个目标对象的坐标位置对该目标图像进行图像分割处理。具体地,可根据目标对象的坐标位置对目标图像的(一个或多个)人体前景对应的网格进行框定,若目标图像中不存在人体前景图像,则可直接剔除该目标图像;若目标图像中存在人体前景图像,可分别对人体前景以及场景进行建模,目标图像中的每一个网格坐标都可与一个人体人体前景或背景节点连接,若相邻的两个网格坐标不属于同一个人体前景或者背景,则可切断两个网格之间的边,区分出人体前景图像和场景图像,从而得到至少一个人体图像,如此,可以精确的识别出不同的人体图像。
104、若识别结果为所述目标图像中包括至少一个人体图像时,在所述多个网格中确定所述至少一个人体图像所占据的网格,得到多个目标网格。
其中,若识别结果为目标图像中包括至少一个人体图像时,上述至少一个人体图像中的每一个人体图像均对应有多个网格,人体热力图展示装置可以获取至少一个人体图像对应的多个网格,从而得到多个目标网格。
105、获取所述多个目标网格对应的目标颜色。
其中,本申请实施例中,目标颜色可以为以下至少一种:红、黄、蓝、绿、橙、靛、紫、黑、白、青等等,在此不作限定。目标图像中的网格表示的图像不同,可为人体图像或者场景图像,则可以采用不同的颜色信息加以表示,如场景图像对应的表格可表示为蓝色,人体图像所对应的网格可表示为红色。
可选地,上述步骤105,所述获取所述多个目标网格对应的目标颜色,可包括如下步骤:
51、确定所述多个网格中除了所述多个目标网格之外的第一网格数量;
52、确定所述多个目标网格的第二网格数量;
53、在所述第一网格数量与所述第二网格数量之间的比值大于预设阈值时,确定所述第一网格数量对应的目标色温值,按照预设的色温值与颜色之间的映射关系,确定所述目标色温值对应的目标颜色;
54、在所述第一网格数量与所述第二网格数量之间的比值小于或等于所述预设阈值时,确定所述多个目标网格对应的颜色分布信息,依据所述颜色分布信息确定出占用所述多个网格中数量最大的颜色,将所述颜色作为所述目标颜色。
其中,预设阈值可为用户自行设置或者系统默然,可预设色温值与颜色之间的映射关系,可针对场景图像以及人体图像设定不同的色温值,可根据色温值的大小设置颜色的深浅,若色温值越小,则为场景图像的概率越大,颜色越浅;若色温值越大,则为人体图像的概率越大,颜色越深,如此,可区分出图像中的人体图像。具体实现中,可分别确定多个目标网格的第二网格数量以及多个非目标网格的第一网格数量,计算第一网格数量与第二网格数量的比值,若该比值大于预设阈值,则可确定第一网格数量对应的目标色温值,可根据预设色温值与颜色之间的映射关系,确定目标色温值对应的颜色为目标颜色;若该比值小于或者等于预设阈值,则可确定目标网格对应的色温值,根据预设色温值与颜色之间的映射关系,确定多个目标网格对应的颜色分布信息,依据所述颜色分布信息确定出占用多个网格中数量最大的颜色,将该颜色作为目标颜色,如此,根据预设色温值与颜色之间的映射关系,可以标记目标图像中的人体图像,能够清晰的显示出人体图像在目标图像中的位置,也能提高人体图像的识别效率。
106、在所述目标图像中依据所述目标颜色对所述多个目标网格进行热力图绘制,得到目标热力图。
其中,可在目标图像中的多个目标网格中显示目标颜色,完成热力图的绘制,从而得到目标热力图,实现人体热力图的展示,例如,目标图像中的多个目标网格可显示为红色,则目标图像中的人体图像展示为红色。
可选地,上述步骤101之后,还可以包括如下步骤:
B1、将所述目标图像平均划分为多个区域;
B2、确定所述多个区域中每一区域的热力点位置数量均值,得到多个热力点位置数量均值,每一目标网格对应一个热力点位置;
B3、从所述多个热力点位置数量均值中选取大于第二预设数量的热力点位置数量均值,得到至少一个目标热力点位置数量均值;
B4、将所述至少一个目标热力点位置数量均值对应的目标区域标记为热点区域。
其中,第二预设数量可由用户自行设置或者系统默认,上述多个区域可以来自于一个目标图像,目标图像中可能包括场景图像或者人体图像,进而,可以将目标图像平均划分为多个区域,进一步地,确定多个区域中每一区域的热力点位置数量均值,得到多个热力点位置数量均值,每一目标网格可对应一个热力点位置,可以从该多个热力点位置数量均值中选取大于第二预设数量的热力点位置数量均值,得到至少一个目标热力点位置数量均值,均值越大,则在一定程度上表明某个区域为人体图像的概率越大,则可以将该至少一个目标热力点位置数量均值对应的目标区域标记为热点区域,可依次采用由冷到热的色调进行显示场景图像以及人体图像。如此,实现识别图像中的人体图像的热点区域。
举例来说,如图1B所示,可将目标图像平均划分为4个区域,图1B示出了4个区域的位置关系,多个区域中每一区域均为独立区域,不同的区域之间没有重叠区域,进而,可以统计出目标图像中的热点区域,该热点区域所对应的网格即为人体图像的网格,最后,可确定该人体图像的网格所对应的颜色,根据该人体图像的网格所对应的颜色对多个目标网格进行热力图绘制,得到目标热力图。
可以看出,通过本申请实施例所描述的人流量展示方法,获取由指定摄像头拍摄的目标图像,将目标图像按照预设方式划分为多个网格,对目标图像进行目标识别,若识别结果为目标图像中包括至少一个人体图像时,在多个网格中确定至少一个人体图像所占据的网格,得到多个目标网格,获取多个目标网格对应的目标颜色,在目标图像中依据目标颜色对多个目标网格进行热力图绘制,得到目标热力图,如此,可以通过将目标图像划分为多个网格,并确定多个网格中人体图像对应的目标网格,获取目标网格对应的颜色,根据该颜色对目标网格进行热力图绘制,实现人体热力图的展示。
与上述一致地,请参阅图2,为本申请实施例提供的一种人体热力图展示方法的实施例流程示意图。本实施例中所描述的人体热力图展示方法,包括以下步骤:
201、获取由指定摄像头拍摄的目标图像。
202、将所述目标图像按照预设方式划分为多个网格。
203、对所述目标图像进行目标识别。
204、若识别结果为所述目标图像中包括至少一个人体图像时,在所述多个网格中确定所述至少一个人体图像所占据的网格,得到多个目标网格。
205、确定所述多个网格中除了所述多个目标网格之外的第一网格数量。
206、确定所述多个目标网格的第二网格数量。
207、在所述第一网格数量与所述第二网格数量之间的比值大于预设阈值时,确定所述第一网格数量对应的目标色温值,按照预设的色温值与颜色之间的映射关系,确定所述目标色温值对应的目标颜色。
208、在所述第一网格数量与所述第二网格数量之间的比值小于或等于所述预设阈值时,确定所述多个目标网格对应的颜色分布信息,依据所述颜色分布信息确定出占用所述多个网格中数量最大的颜色,将所述颜色作为所述目标颜色。
209、在所述目标图像中依据所述目标颜色对所述多个目标网格进行热力图绘制,得到目标热力图。
其中,上述步骤201-步骤209所描述的人体热力图展示方法可参考图1A所描述的人体热力图展示方法的对应步骤。
可以看出,通过本申请实施例所描述的人流量展示方法,获取由指定摄像头拍摄的目标图像,将目标图像按照预设方式划分为多个网格,对目标图像进行目标识别,若识别结果为目标图像中包括至少一个人体图像时,在多个网格中确定至少一个人体图像所占据的网格,得到多个目标网格,确定多个网格中除了多个目标网格之外的第一网格数量,确定多个目标网格的第二网格数量,在第一网格数量与第二网格数量之间的比值大于预设阈值时,确定第一网格数量对应的目标色温值,按照预设的色温值与颜色之间的映射关系,确定目标色温值对应的目标颜色,在第一网格数量与第二网格数量之间的比值小于或等于预设阈值时,确定多个目标网格对应的颜色分布信息,依据颜色分布信息确定出占用多个网格中数量最大的颜色,将颜色作为目标颜色,在目标图像中依据目标颜色对多个目标网格进行热力图绘制,得到目标热力图,如此,可根据预设色温值与颜色之间的映射关系,标记目标图像中的人体图像所对应的网格的颜色,从而,实现人体热力图的展示。
与上述一致地,以下为实施上述人体热力图展示方法的装置,具体如下:
请参阅图3A,为本申请实施例提供的一种人体热力图展示装置的实施例结构示意图。本实施例中所描述的人体热力图展示装置,包括:获取单元301、划分单元302、识别单元303、确定单元304和绘制单元305,具体如下:
获取单元301,用于获取由指定摄像头拍摄的目标图像;
划分单元302,用于将所述目标图像按照预设方式划分为多个网格;
识别单元303,用于对所述目标图像进行目标识别;
确定单元304,用于若识别结果为所述目标图像中包括至少一个人体图像时,在所述多个网格中确定所述至少一个人体图像所占据的网格,得到多个目标网格;
所述获取单元301,还用于获取所述多个目标网格对应的目标颜色;
绘制单元305,用于在所述目标图像中依据所述目标颜色对所述多个目标网格进行热力图绘制,得到目标热力图。
可以看出,通过本申请实施例所描述的人流量展示装置,获取由指定摄像头拍摄的目标图像,将目标图像按照预设方式划分为多个网格,对目标图像进行目标识别,若识别结果为目标图像中包括至少一个人体图像时,在多个网格中确定至少一个人体图像所占据的网格,得到多个目标网格,获取多个目标网格对应的目标颜色,在目标图像中依据目标颜色对多个目标网格进行热力图绘制,得到目标热力图,如此,可以通过将目标图像划分为多个网格,并确定多个网格中人体图像对应的目标网格,获取目标网格对应的颜色,根据该颜色对目标网格进行热力图绘制,实现人体热力图的展示。
其中,上述获取单元301可用于实现上述步骤101、105所描述的方法,划分单元302可用于实现上述步骤102所描述的方法,上述识别单元303可用于实现上述步骤103所描述的方法,上述确定单元304可用于实现上述步骤104所描述的方法,上述绘制单元305可用于实现上述步骤106所描述的方法,以下如此类推。
在一个可能的示例中,在所述对所述目标图像进行目标识别,得到至少一个人体图像方面,所述识别单元303具体用于:
将所述目标图像与预设数据库中的标记模型进行比对,其中,所述预设数据库中的标记模型由通过对超过第一预设数量的图片或者视频中的人形进行人工标记,并对标记后的人形数据输入到预设深度学习卷积神经网络中训练得到;
若比对出人形,在所述多个网格中标记出所述人形的网格坐标,将标记后的网格坐标作为至少一个人体图像。
在一个可能的示例中,在获取所述多个目标网格对应的目标颜色方面,所述获取单元301具体用于:
确定所述多个网格中除了所述多个目标网格之外的第一网格数量;
确定所述多个目标网格的第二网格数量;
在所述第一网格数量与所述第二网格数量之间的比值大于预设阈值时,确定所述第一网格数量对应的目标色温值,按照预设的色温值与颜色之间的映射关系,确定所述目标色温值对应的目标颜色;
在所述第一网格数量与所述第二网格数量之间的比值小于或等于所述预设阈值时,确定所述多个目标网格对应的颜色分布信息,依据所述颜色分布信息确定出占用所述多个网格中数量最大的颜色,将所述颜色作为所述目标颜色。
在一个可能的示例中,如图3B所示,图3B为图3A所描述的人体热力图展示装置的变型结构,其与图3A相比较,还可以包括:跟踪单元306、评价单元307、选取单元308和分割单元309,具体如下:
获取单元301,还用于获取连续多帧图像;
跟踪单元306,用于对所述连续多帧图像进行目标跟踪,得到至少一个目标对象;
评价单元307,用于对所述多帧图像进行图像质量评价,得到多个图像质量评价值;
选取单元308,用于从所述多个图像质量评价值中选取最大值,并将所述最大值对应的一帧图像作为所述目标图像;
确定单元304,还用于确定所述至少一个目标对象在所述目标图像中的坐标位置;
分割单元309,用于依据所述坐标位置对所述目标图像进行图像分割,得到所述至少一个人体图像。
可以理解的是,本实施例的人体热力图展示装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
与上述一致地,请参阅图4,为本申请实施例提供的一种人体热力图展示装置的实施例结构示意图。本实施例中所描述的人体热力图展示装置,包括:至少一个输入设备1000;至少一个输出设备2000;至少一个处理器3000,例如CPU;和存储器4000,上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中,上述输入设备1000具体可为触控面板、物理按键或者鼠标。
上述输出设备2000具体可为显示屏。
上述存储器4000可以是高速RAM存储器,也可为非易失存储器(non-volatilememory),例如磁盘存储器。上述存储器4000用于存储一组程序代码,上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码,执行如下操作:
上述处理器3000,用于:
获取由指定摄像头拍摄的目标图像;
将所述目标图像按照预设方式划分为多个网格;
对所述目标图像进行目标识别;
若识别结果为所述目标图像中包括至少一个人体图像时,在所述多个网格中确定所述至少一个人体图像所占据的网格,得到多个目标网格;
获取所述多个目标网格对应的目标颜色;
在所述目标图像中依据所述目标颜色对所述多个目标网格进行热力图绘制,得到目标热力图。
可以看出,通过本申请实施例所描述的人体热力图展示装置,获取由指定摄像头拍摄的目标图像,将目标图像按照预设方式划分为多个网格,对目标图像进行目标识别,若识别结果为目标图像中包括至少一个人体图像时,在多个网格中确定至少一个人体图像所占据的网格,得到多个目标网格,获取多个目标网格对应的目标颜色,在目标图像中依据目标颜色对多个目标网格进行热力图绘制,得到目标热力图,如此,可以通过将目标图像划分为多个网格,并确定多个网格中人体图像对应的目标网格,获取目标网格对应的颜色,根据该颜色对目标网格进行热力图绘制,实现人体热力图的展示。
在一个可能的示例中,所述对所述目标图像进行目标识别,得到至少一个人体图像,上述处理器3000具体用于:
将所述目标图像与预设数据库中的标记模型进行比对,其中,所述预设数据库中的标记模型由通过对超过第一预设数量的图片或者视频中的人形进行人工标记,并对标记后的人形数据输入到预设深度学习卷积神经网格中训练得到;
若比对出人形,在所述多个网格中标记出所述人形的网格坐标,将标记后的网格坐标作为至少一个人体图像。
在一个可能的示例中,获取连续多帧图像;
在所述对所述目标图像进行目标识别,得到至少一个人体图像方面,上述处理器3000具体用于:
对所述连续多帧图像进行目标跟踪,得到至少一个目标对象;
对所述多帧图像进行图像质量评价,得到多个图像质量评价值;
从所述多个图像质量评价值中选取最大值,并将所述最大值对应的一帧图像作为所述目标图像;
确定所述至少一个目标对象在所述目标图像中的坐标位置;
依据所述坐标位置对所述目标图像进行图像分割,得到所述至少一个人体图像。
在一个可能的示例中,在所述获取所述多个目标网格对应的目标颜色方面,上述处理器3000具体用于:
确定所述多个网格中除了所述多个目标网格之外的第一网格数量;
确定所述多个目标网格的第二网格数量;
在所述第一网格数量与所述第二网格数量之间的比值大于预设阈值时,确定所述第一网格数量对应的目标色温值,按照预设的色温值与颜色之间的映射关系,确定所述目标色温值对应的目标颜色;
在所述第一网格数量与所述第二网格数量之间的比值小于或等于所述预设阈值时,确定所述多个目标网格对应的颜色分布信息,依据所述颜色分布信息确定出占用所述多个网格中数量最大的颜色,将所述颜色作为所述目标颜色。
在一个可能的示例中,在上述处理器3000还具体用于:
将所述目标图像平均划分为多个区域;
确定所述多个区域中每一区域的热力点位置数量均值,得到多个热力点位置数量均值,每一目标网格对应一个热力点位置;
从所述多个热力点位置数量均值中选取大于第二预设数量的热力点位置数量均值,得到至少一个目标热力点位置数量均值;
将所述至少一个目标热力点位置数量均值对应的目标区域标记为热点区域。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时包括上述方法实施例中记载的任何一种人体热力图展示方法的部分或全部步骤。
尽管在此结合各实施例对本申请进行了描述,然而,在实施所要求保护的本申请过程中,本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书,可理解并实现所述公开实施例的其他变化。在权利要求中,“包括”(comprising)一词不排除其他组成部分或步骤,“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施,但这并不表示这些措施不能组合起来产生良好的效果。
本领域技术人员应明白,本申请的实施例可提供为方法、装置(设备)、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机程序存储/分布在合适的介质中,与其它硬件一起提供或作为硬件的一部分,也可以采用其他分布形式,如通过Internet或其它有线或无线电信系统。
本申请是参照本申请实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管结合具体特征及其实施例对本申请进行了描述,显而易见的,在不脱离本申请的精神和范围的情况下,可对其进行各种修改和组合。相应地,本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明,且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (6)
1.一种人体热力图展示方法,其特征在于,包括:
获取由指定摄像头拍摄的目标图像;
将所述目标图像按照预设方式划分为多个网格;
将所述目标图像与预设数据库中的标记模型进行比对,其中,所述预设数据库中的标记模型由通过对超过第一预设数量的图片或者视频中的人形进行人工标记,并对标记后的人形数据输入到预设深度学习卷积神经网络中训练得到,所述将所述目标图像与预设数据库中的标记模型进行比对包括:逐像素的对所述目标图像中的像素点以及所述标记模型中的像素点进行遍历匹配,得到匹配值;若所述匹配值超过第二预设阈值,则认为所述目标图像中存在人形;
若比对出人形,在所述多个网格中标记出所述人形的网格坐标,将标记后的网格坐标作为至少一个人体图像;
若识别结果为所述目标图像中包括至少一个人体图像时,在所述多个网格中确定所述至少一个人体图像所占据的网格,得到多个目标网格;
确定所述多个网格中除了所述多个目标网格之外的第一网格数量;
确定所述多个目标网格的第二网格数量;
在所述第一网格数量与所述第二网格数量之间的比值大于预设阈值时,确定所述第一网格数量对应的目标色温值,按照预设的色温值与颜色之间的映射关系,确定所述目标色温值对应的目标颜色;
在所述第一网格数量与所述第二网格数量之间的比值小于或等于所述预设阈值时,确定所述多个目标网格对应的颜色分布信息,依据所述颜色分布信息确定出占用所述多个网格中数量最大的颜色,将所述颜色作为所述目标颜色;
在所述目标图像中依据所述目标颜色对所述多个目标网格进行热力图绘制,得到目标热力图。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取连续多帧图像;
所述对所述目标图像进行目标识别,得到至少一个人体图像,包括:
对所述连续多帧图像进行目标跟踪,得到至少一个目标对象;
对所述多帧图像进行图像质量评价,得到多个图像质量评价值;
从所述多个图像质量评价值中选取最大值,并将所述最大值对应的一帧图像作为所述目标图像;
确定所述至少一个目标对象在所述目标图像中的坐标位置;
依据所述坐标位置对所述目标图像进行图像分割,得到所述至少一个人体图像。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
将所述目标图像平均划分为多个区域;
确定所述多个区域中每一区域的热力点位置数量均值,得到多个热力点位置数量均值,每一目标网格对应一个热力点位置;
从所述多个热力点位置数量均值中选取大于第二预设数量的热力点位置数量均值,得到至少一个目标热力点位置数量均值;
将所述至少一个目标热力点位置数量均值对应的目标区域标记为热点区域。
4.一种人体热力图展示装置,其特征在于,包括:
获取单元,用于获取由指定摄像头拍摄的目标图像;
划分单元,用于将所述目标图像按照预设方式划分为多个网格;
识别单元,用于将所述目标图像与预设数据库中的标记模型进行比对,其中,所述预设数据库中的标记模型由通过对超过第一预设数量的图片或者视频中的人形进行人工标记,并对标记后的人形数据输入到预设深度学习卷积神经网络中训练得到,所述将所述目标图像与预设数据库中的标记模型进行比对包括:逐像素的对所述目标图像中的像素点以及所述标记模型中的像素点进行遍历匹配,得到匹配值;若所述匹配值超过第二预设阈值,则认为所述目标图像中存在人形;若比对出人形,在所述多个网格中标记出所述人形的网格坐标,将标记后的网格坐标作为至少一个人体图像;
确定单元,用于若识别结果为所述目标图像中包括至少一个人体图像时,在所述多个网格中确定所述至少一个人体图像所占据的网格,得到多个目标网格;
所述获取单元,还用于确定所述多个网格中除了所述多个目标网格之外的第一网格数量;确定所述多个目标网格的第二网格数量;在所述第一网格数量与所述第二网格数量之间的比值大于预设阈值时,确定所述第一网格数量对应的目标色温值,按照预设的色温值与颜色之间的映射关系,确定所述目标色温值对应的目标颜色;在所述第一网格数量与所述第二网格数量之间的比值小于或等于所述预设阈值时,确定所述多个目标网格对应的颜色分布信息,依据所述颜色分布信息确定出占用所述多个网格中数量最大的颜色,将所述颜色作为所述目标颜色;
绘制单元,用于在所述目标图像中依据所述目标颜色对所述多个目标网格进行热力图绘制,得到目标热力图。
5.一种人体热力图展示装置,其特征在于,包括处理器、存储器,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-3任一项所述的方法中的步骤的指令。
6.一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1-3任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811581739.0A CN109816745B (zh) | 2018-12-24 | 2018-12-24 | 人体热力图展示方法及相关产品 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811581739.0A CN109816745B (zh) | 2018-12-24 | 2018-12-24 | 人体热力图展示方法及相关产品 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109816745A CN109816745A (zh) | 2019-05-28 |
CN109816745B true CN109816745B (zh) | 2023-05-12 |
Family
ID=66602278
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811581739.0A Active CN109816745B (zh) | 2018-12-24 | 2018-12-24 | 人体热力图展示方法及相关产品 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109816745B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110152301B (zh) * | 2019-06-18 | 2022-12-16 | 金陵科技学院 | 一种电子竞技游戏数据获取方法 |
CN110413824B (zh) * | 2019-06-20 | 2024-09-06 | 平安科技(深圳)有限公司 | 一种相似图片的检索方法及装置 |
CN111354459B (zh) * | 2020-02-25 | 2023-06-02 | 成都联客信息技术有限公司 | 一种针对中医推拿的辅助诊断专家系统 |
CN111738236B (zh) * | 2020-08-14 | 2020-11-20 | 之江实验室 | 一种自适应层级的图像切分识别方法、装置及系统 |
CN112070791B (zh) * | 2020-09-21 | 2024-06-14 | 深圳喜为智慧科技有限公司 | 一种提升畜牧个体点数精度和效率的方法和系统 |
CN112598384B (zh) * | 2020-12-24 | 2022-07-26 | 卡斯柯信号有限公司 | 一种基于建筑信息模型的车站客流监测方法及系统 |
CN113313027A (zh) * | 2021-05-28 | 2021-08-27 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和存储介质 |
CN113468250A (zh) * | 2021-06-29 | 2021-10-01 | 北京市商汤科技开发有限公司 | 热力图生成方法、装置、设备及存储介质 |
CN113628095B (zh) * | 2021-08-04 | 2022-11-01 | 展讯通信(上海)有限公司 | 人像区域网格点信息存储方法及相关产品 |
CN115100309A (zh) * | 2022-06-24 | 2022-09-23 | 京东方科技集团股份有限公司 | 行人热力图生成方法及系统 |
CN117319662B (zh) * | 2023-11-28 | 2024-02-27 | 杭州杰竞科技有限公司 | 一种人体目标识别的图像压缩、解压方法和系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107340364A (zh) * | 2017-05-31 | 2017-11-10 | 北京市环境保护监测中心 | 基于海量大气污染浓度数据的污染空间分析方法及装置 |
CN108090096A (zh) * | 2016-11-23 | 2018-05-29 | 北京国双科技有限公司 | 获取热力图的方法和装置 |
CN108664946A (zh) * | 2018-05-18 | 2018-10-16 | 上海极歌企业管理咨询中心(有限合伙) | 基于图像的人流特征获取方法及装置 |
CN108924627A (zh) * | 2018-08-23 | 2018-11-30 | 北京字节跳动网络技术有限公司 | 运动对象的位置分布显示方法、装置、设备及存储介质 |
-
2018
- 2018-12-24 CN CN201811581739.0A patent/CN109816745B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090096A (zh) * | 2016-11-23 | 2018-05-29 | 北京国双科技有限公司 | 获取热力图的方法和装置 |
CN107340364A (zh) * | 2017-05-31 | 2017-11-10 | 北京市环境保护监测中心 | 基于海量大气污染浓度数据的污染空间分析方法及装置 |
CN108664946A (zh) * | 2018-05-18 | 2018-10-16 | 上海极歌企业管理咨询中心(有限合伙) | 基于图像的人流特征获取方法及装置 |
CN108924627A (zh) * | 2018-08-23 | 2018-11-30 | 北京字节跳动网络技术有限公司 | 运动对象的位置分布显示方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109816745A (zh) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109816745B (zh) | 人体热力图展示方法及相关产品 | |
CN109815843B (zh) | 图像处理方法及相关产品 | |
CN109740444B (zh) | 人流量信息展示方法及相关产品 | |
CN108876791B (zh) | 图像处理方法、装置和系统及存储介质 | |
CN106447721B (zh) | 图像阴影检测方法和装置 | |
CN109766779B (zh) | 徘徊人员识别方法及相关产品 | |
US10366509B2 (en) | Setting different background model sensitivities by user defined regions and background filters | |
CN103914802B (zh) | 用于使用导入的深度信息的图像选择和掩蔽的系统与方法 | |
US9792664B2 (en) | System and method for mapping object coordinates from a video to real world coordinates using perspective transformation | |
CN105809620A (zh) | 用于线性全景图像拼接的预览图像获取用户界面 | |
EP2375376A1 (en) | Method and arrangement for multi-camera calibration | |
CN106845352B (zh) | 行人检测方法和装置 | |
CN108875750B (zh) | 物体检测方法、装置和系统及存储介质 | |
WO2018210047A1 (zh) | 数据处理方法、数据处理装置、电子设备及存储介质 | |
CN105303514A (zh) | 图像处理方法和装置 | |
CN104145276A (zh) | 用于通过光学成像进行的对象检测和表征的增强对比度 | |
CN113689578B (zh) | 一种人体数据集生成方法及装置 | |
CN108985263B (zh) | 一种数据采集方法、装置、电子设备和计算机可读介质 | |
US20160098863A1 (en) | Combining a digital image with a virtual entity | |
CN109508583A (zh) | 一种人群分布特征的获取方法和装置 | |
KR102042793B1 (ko) | 실제 장면의 화상을 가상 이미지와 오버레이하는 방법 및 장치, 그리고 모바일 디바이스 | |
CN109840885B (zh) | 图像融合方法及相关产品 | |
JP7092615B2 (ja) | 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム | |
CN109785439B (zh) | 人脸素描图像生成方法及相关产品 | |
CN109816628B (zh) | 人脸评价方法及相关产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |