CN112215205B - 目标识别方法、装置、计算机设备和存储介质 - Google Patents

目标识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112215205B
CN112215205B CN202011229582.2A CN202011229582A CN112215205B CN 112215205 B CN112215205 B CN 112215205B CN 202011229582 A CN202011229582 A CN 202011229582A CN 112215205 B CN112215205 B CN 112215205B
Authority
CN
China
Prior art keywords
target object
frame
tracking
image frames
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011229582.2A
Other languages
English (en)
Other versions
CN112215205A (zh
Inventor
林愉欢
李嘉麟
刘永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011229582.2A priority Critical patent/CN112215205B/zh
Publication of CN112215205A publication Critical patent/CN112215205A/zh
Application granted granted Critical
Publication of CN112215205B publication Critical patent/CN112215205B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种目标识别方法、装置、计算机设备和存储介质。所述方法包括:在获取的连续的图像帧中,确定各所述图像帧中针对目标对象的追踪区域;将各所述图像帧中的所述追踪区域划分为至少两个阶段;对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态;根据所述场景运动状态,将相邻图像帧中的所述目标对象,在各所述阶段所分别对应的追踪区域内进行追踪识别,得到各所述图像帧中各所述目标对象的追踪结果。采用本方法能够有效提高目标对象的识别准确率。

Description

目标识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理和人工智能技术领域,特别是涉及一种目标识别方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术的发展和计算机视觉原理的广泛应用,利用计算机图像处理技术对目标进行实时跟踪研究越来越热门,对目标进行动态实时跟踪定位在目标检测、智能化交通系统等任务场景具有广泛的应用价值。
相关技术中,是采用基于特征匹配算法,根据颜色特征以及空间特征等进行目标对象的匹配,以实现目标追踪识别。然而对于低帧率的连续帧图像,尤其是对于连续帧图像的伸缩度较大、光照变化较大,或连续帧中同一物体的特征变化较小等复杂场景下,容易将相似的目标误识别为同一个的目标,导致目标识别的准确率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提高目标对象的识别准确率的目标识别方法、装置、计算机设备和存储介质。
一种目标识别方法,所述方法包括:
在获取的连续的图像帧中,确定各所述图像帧中针对目标对象的追踪区域;
将各所述图像帧中的所述追踪区域划分为至少两个阶段;
对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态;
根据所述场景运动状态,将相邻图像帧中的所述目标对象,在各所述阶段所分别对应的追踪区域内进行追踪识别,得到各所述图像帧中各所述目标对象的追踪结果。
一种目标识别装置,所述装置包括:
图像检测模块,用于在获取的连续的图像帧中,确定各所述图像帧中针对目标对象的追踪区域;
区域划分模块,用于将各所述图像帧中的所述追踪区域划分为至少两个阶段;
场景匹配模块,用于对相邻图像帧进行场景匹配,得到在相邻图像帧之间的场景运动状态;
追踪识别模块,用于根据所述场景运动状态,将相邻图像帧中的所述目标对象,在各所述阶段所分别对应的追踪区域内进行追踪识别,得到各所述图像帧中各所述目标对象的追踪结果。
在其中一个实施例中,所述图像检测模块还用于根据各所述图像帧对应的图像语义特征,识别各所述图像帧中属于追踪区域的像素点;根据所述像素点对各所述图像帧进行区域分割,确定各所述图像帧中的所述追踪区域。
在其中一个实施例中,所述区域划分模块还用于识别各所述图像帧中所述追踪区域对应的灭点和区域边缘;根据所述追踪区域对应的灭点和区域边缘,对所述追踪区域进行阶段划分,将各所述图像帧中的所述追踪区域划分为至少两个阶段。
在其中一个实施例中,所述场景匹配模块还用于分别对各所述图像帧进行特征提取,得到各所述图像帧中的特征点;根据所述特征点,得到各所述图像帧对应的场景特征;根据各所述图像帧的所述场景特征,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。
在其中一个实施例中,所述场景匹配模块还用于根据各所述图像帧的场景特征,建立相邻图像帧之间的特征映射矩阵;根据所述特征映射矩阵,确定相邻图像帧的图像中心之间的偏移;根据所述偏移,判定相邻图像帧之间的场景运动状态。
在其中一个实施例中,所述相邻图像帧为相邻的一组图像帧,所述相邻图像帧包括当前帧、以及与所述当前帧相邻的另一帧;所述场景匹配模块还用于若所述场景运动状态为运动,根据所述当前帧中所述目标对象所位于的阶段,确定另一帧中与所述所位于的阶段相邻的待追踪阶段;将所述当前帧中的所述目标对象,与所述另一帧中所述待追踪阶段所对应的追踪区域内的目标对象进行匹配;当在所述待追踪阶段未匹配到所述目标对象时,将所述当前帧中的所述目标对象,与所述另一帧中相应追踪区域内的目标对象进行匹配;所述另一帧中相应追踪区域,是在所述另一帧中与所述所位于的阶段对应的追踪区域。
在其中一个实施例中,所述追踪区域包括至少一个子区域;所述场景匹配模块还用于将所述当前帧中的所述目标对象所在的子区域,与所述另一帧中所述待追踪阶段所对应的追踪区域内的子区域进行匹配;当在所述待追踪阶段匹配到所述子区域时,将所述当前帧中的所述目标对象,与所述另一帧中相匹配的子区域内的目标对象进行匹配。
在其中一个实施例中,所述相邻图像帧包括当前帧和另一帧;所述场景匹配模块还用于若所述场景运动状态为未运动,根据所述当前帧中所述目标对象所位于的阶段,将所述当前帧中的所述目标对象,与所述另一帧中与所述所位于的阶段对应的追踪区域内的目标对象进行匹配;当在所述追踪区域内匹配到所述目标对象,且所述当前帧与所述另一帧中所述目标对象对应的变化差异满足条件阈值时,将相邻图像帧中相匹配的目标对象标记为同一个目标对象。
在其中一个实施例中,所述区域划分后的各所述图像帧按照帧间序列存放于追踪池中;所述追踪识别模块还用于若在相邻图像帧中识别到相匹配的目标对象,则继续在所述追踪池中的下一组相邻图像帧之间,对所述目标对象进行追踪识别;若超过连续预设组数的相邻图像帧中均未识别到相匹配的目标对象,则结束对未被匹配的目标对象的追踪识别;直到所述追踪池中的各所述图像帧中的各目标对象均匹配完成后,得到所述连续的图像帧中每一个目标对象对应的追踪结果。
在其中一个实施例中,所述追踪识别模块还用于根据各所述图像帧中各所述目标对象的追踪结果,将各相邻图像帧中相匹配的目标对象标记为同一个目标对象;对所述连续的图像帧中包括同一个目标对象的图像帧进行聚合,得到每个目标对象对应的图像帧集合。
在其中一个实施例中,所述追踪结果包括各所述目标对象在各所述图像帧中的置信度;所述追踪识别模块还用于针对至少一个目标对象,从所述目标对象所对应的图像帧集合中,提取所述置信度满足条件的目标对象对应的图像帧;根据提取的所述图像帧中的追踪结果,对所述图像帧集合中待矫正的图像帧中的追踪结果进行矫正;所述待矫正的图像帧,是所述置信度未满足条件的所述目标对象对应的图像帧。
在其中一个实施例中,各所述图像帧分别携带对应的地理位置信息,所述装置还包括地图标记模块,用于根据各所述图像帧的地理位置信息和各所述目标对象的追踪结果,确定各所述目标对象对应的地理位置信息;根据各所述目标对象对应的地理位置信息,在电子地图上标记与各所述目标对象对应的所述物理点标识。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
在获取的连续的图像帧中,确定各所述图像帧中针对目标对象的追踪区域;
将各所述图像帧中的所述追踪区域划分为至少两个阶段;
对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态;
根据所述场景运动状态,将相邻图像帧中的所述目标对象,在各所述阶段所分别对应的追踪区域内进行追踪识别,得到各所述图像帧中各所述目标对象的追踪结果。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
在获取的连续的图像帧中,确定各所述图像帧中针对目标对象的追踪区域;
将各所述图像帧中的所述追踪区域划分为至少两个阶段;
对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态;
根据所述场景运动状态,将相邻图像帧中的所述目标对象,在各所述阶段所分别对应的追踪区域内进行追踪识别,得到各所述图像帧中各所述目标对象的追踪结果。
上述目标识别方法、装置、计算机设备和存储介质,对于获取的连续的图像帧,首先确定各图像帧中针对目标对象的追踪区域;通过将各图像帧中的追踪区域划分为至少两个阶段,能够有效地根据追踪区域的阶段对目标对象进行追踪。通过对相邻图像帧进行场景匹配,由此能够有效地判断出相邻图像帧之间的场景运动状态。进而根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,能够准确地识别出追踪区域的目标对象。并且按照追踪区域的阶段进行追踪识别,能够更加精准地对各个目标对象进行追踪,从而能够准确地得到各图像帧中各目标对象的追踪结果,进而有效提高了目标识别的准确率。
附图说明
图1为一个实施例中目标识别方法的应用环境图;
图2为另一个实施例中目标识别方法的应用环境图;
图3为一个实施例中目标识别方法的流程示意图;
图4为一个实施例中对图像帧中的追踪区域进行阶段划分的示意图;
图5为一个实施例中建立相邻图像帧之间的特征映射矩阵的示意图;
图6为一个实施例中将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别的步骤的示意图;
图7为另一个实施例中目标识别方法的流程示意图;
图8为一个实施例中对各图像帧中的目标对象进行追踪识别处理的示意图;
图9为又一个实施例中目标识别方法的流程示意图;
图10为一个实施例中相邻图像帧的其中一张图像帧的示意图;
图11为一个实施例中相邻图像帧的另一张图像帧的示意图;
图12为一个实施例中目标识别装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本申请提供的目标识别方法,可以应用于计算机设备中。计算机设备可以为终端或服务器。可以理解的是,本申请提供的目标识别方法可以应用于终端,也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。
本申请提供的目标识别方法,可以应用于如图1所示的应用环境中。其中,终端102通过网络与服务器104进行通信。其中,终端102可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等,但并不局限于此。服务器104可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端102以及服务器104可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。
具体地,终端102采集连续的图像帧后,将采集到的连续的图像帧发送至服务器104。服务器104获取连续的图像帧后,在获取的连续的图像帧中,确定各图像帧中针对目标对象的追踪区域;将各图像帧中的追踪区域划分为至少两个阶段;对相邻图像帧进行场景匹配,得到在相邻图像帧之间的场景运动状态;根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,得到各图像帧中各目标对象的追踪结果。
在一个具体的实施例中,可以应用于如图2所示的应用环境中。其中,终端为车辆终端,车辆终端202通过网络与服务器204进行通信。车辆终端202在行驶的过程中针对路面区域,以及路面区域中的地面交通标识进行图像采集,并将所采集的连续的图像帧上传至服务器204。服务器204获取的连续的图像帧后,确定各图像帧中针对地面交通标识的路面区域,并将各图像帧中的路面区域划分为至少两个阶段。然后对相邻图像帧进行场景匹配,得到在相邻图像帧之间的场景运动状态;根据场景运动状态,将相邻图像帧中的地面交通标识,在各阶段所分别对应的路面区域内进行追踪识别,得到各图像帧中每一个地面交通标识对应的追踪结果。
其中,云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。作为云计算的基础能力提供商,会建立云计算资源池(简称云平台,一般称为IaaS(Infrastructure as a Service,基础设施即服务)平台,在资源池中部署多种类型的虚拟资源,供外部客户选择使用。
可以理解,本申请各实施例中的目标识别方法,采用人工智能技术中的计算机视觉技术以及机器学习技术等,能够有效实现精准追踪并识别出连续的图像帧中的目标对象。人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。可以理解,本申请正是使用计算机视觉技术,从连续的图像帧中追踪并识别出目标对象。
机器学习(Machine Learning,ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。可以理解,在本申请一些实施例中可以使用基于机器学习的神经网络对个图像帧进行处理,能够更加精准地从各图像帧中识别出目标对象。
在一个实施例中,如图3所示,提供了一种目标识别方法,以该方法应用于计算机设备为例进行说明,该计算机设备具体可以是终端或者服务器,包括以下步骤:
S302,在获取的连续的图像帧中,确定各图像帧中针对目标对象的追踪区域。
其中,连续的图像帧是指按照一定的帧率采集的连续的画面图像。
在一个实施例中,连续的图像帧可以是从视频中获取的。其中,图像帧是组成视频的最小单位。连续的图像变化每秒超过24帧画面以上时,根椐视觉暂留原理,人眼看上去是平滑连续的视觉效果,这种连续画面叫视频。在其他实施例中,连续的图像帧也可以不是从视频中获取的,比如,可以是拍摄的具有时序关系的图片。
帧率是以帧称为单位的位图图像连续出现在显示器上的频率,就是每秒有多少帧。帧率越高,图像画面则越流畅。帧就是影像动画中最小单位的单幅影像画面,一帧就是一副静止的画面,连续的帧则可以形成动画。
其中,目标对象是指图像帧中需要识别出来的物体对象,也就是针对目标对象,对图像帧进行目标检测和目标识别,用于定位图像中目标对象对应的物体和边界,例如可以用线、曲线等表示。例如,目标对象可以是图像中的人物、车辆或交通标识等,在此不做限定。
可以理解,追踪区域是指图像帧中的目标对象所属的区域范围。例如,以目标对象为车辆或地面交通标识等为例,针对目标对象的追踪区域则是图像帧中的路面区域。
计算机设备获取采集到的连续的图像帧后,通过对各图像帧中的像素进行分类识别,识别出每一帧图像帧中的追踪区域,并进一步识别出追踪区域中的目标对象。其中,追踪区域中的目标对象的数量可能为零,也可能为一个或一个以上。
S304,将各图像帧中的追踪区域划分为至少两个阶段。
其中,阶段,是指事物发展过程中划分的区间段落。
可以理解,对追踪区域进行阶段划分,具体可以按照连续的图像帧中追踪区域的发展过程,将每一帧图像帧中的追踪区域均划分为多个阶段。在其中一个实施例中,可以按照等比的比例,将追踪区域均划分为等比例的多个阶段。在另一个实施例中,还可以例如,可以按照不等比的比例,将追踪区域均划分为不同比例的多个阶段。可以理解,划分后的每个阶段是追踪区域中的部分区域,划分成的多个阶段,共同组成整个追踪区域。
在一个具体的实施例中,以追踪区域为路面区域为例,可以将按照连续的图像帧中出现的路面区域,将路面划分为三个阶段。具体还可以根据路面区域的灭点,即消失点,和路面区域的边缘区域,也就是路面的结束区域,按照路面从灭点至边缘区域的出现规律,将路面区域划分为出现阶段、中间阶段和结束阶段。
S306,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。
可以理解,相邻图像帧,是指连续的图像帧中任意彼此相邻的一组图像帧。具体地,相邻的一组图像帧中可以包括彼此相邻的两帧图像帧。
其中,场景匹配,是指将相邻图像帧中两个图像帧分别对应的图像场景特征进行比较,从而实现帧间的场景匹配处理。可以理解的是,场景运动状态,是指相邻图像帧中两帧图像帧的场景之间对应的运动状态。场景运动状态可以反映两个图像之间的场景是否发生变化。
计算机设备将各图像帧中的追踪区域划分为至少两个阶段后,则按照帧间序列,依次对相邻图像帧进行场景匹配。具体可以先识别出每一个图像帧对应的场景特征,然后将相邻图像帧中两个图像帧分别对应的场景特征进行匹配,从而可以得到相邻图像帧之间的场景运动状态。
S308,根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,得到各图像帧中各目标对象的追踪结果。
其中,追踪识别表示在连续的图像帧中对每一个目标对象进行追踪和识别处理,以识别出连续的图像帧中的每一个目标对象。
计算机设备获得到相邻图像帧之间的场景运动状态后,则进一步根据识别出的场景运动状态,分别将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别。具体地,计算机设备根据相邻图像帧之间的场景运动状态,确定相邻图像帧中两个图像帧分别对应的待追踪的阶段,然后将目标对象。在两个图像帧中待追踪的阶段分别对应的追踪区域内进行追踪识别,从而能够有效地得到各图像帧中各目标对象的追踪结果。
在其中一个实施例中,连续的图像帧可以是按照较低帧率采集的图像。例如,可以是通过图像采集设备按照每1-2s的帧率所采集的连续的图像帧。可以理解,采用低帧率采集的连续图像帧中,通常同一个目标对象在前后相邻图像帧之间距离差距较大,特征变化也较大。
上述目标识别方法中,计算机设备对于获取的连续的图像帧,首先确定各图像帧中针对目标对象的追踪区域;通过将各图像帧中的追踪区域划分为至少两个阶段,能够有效地根据追踪区域的阶段对目标对象进行追踪。通过对相邻图像帧进行场景匹配,由此能够有效地判断出相邻图像帧之间的场景运动状态。进而根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,能够准确地识别出追踪区域的目标对象。并且按照追踪区域的阶段进行追踪识别,能够更加精准地对各个目标对象进行追踪,从而能够准确地得到各图像帧中各目标对象的追踪结果,进而有效提高了目标识别的准确率。
在一个实施例中,确定各图像帧中针对目标对象的追踪区域,包括:根据各图像帧对应的图像语义特征,识别各图像帧中属于追踪区域的像素点;根据像素点对各图像帧进行区域分割,确定各图像帧中的追踪区域。
可以理解,确定各图像帧中针对目标对象的追踪区域,也就是对各图像帧中的追踪区域进行图像分割,以识别出各图像帧中的追踪区域。其中,在计算机视觉领域,图像分割是指把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程,也就是将数字图像细分为多个图像子区域,即像素的集合,也被称作超像素的过程。
在图像领域,语义指的是对图像中内容的意思理解。分割是指从像素的角度分割出图像中的不同对象,对原图像中的每个像素都进行标注。语义分割即图像语义分割,就是让计算机根据图像的语义来进行分割,是对图像中的每个像素打上类别标签的过程,也就是需要预测出图像的每一个像素点属于哪一类的标签。
计算机设备获取连续的图像帧后,对每一个图像帧进行追踪区域分割。对于每一个图像帧,首先识别出不同图像语义类别的像素,然后预测出类别属于追踪区域的像素,并标注出属于追踪区域的像素区域,从而得识别出图像帧中的追踪区域。
可以理解,图像语义特征是指包含了图像中大量图像语义信息的特征,如多尺度特征、局部特征、上下文特征、全局特征等。
计算机设备对各图像帧中的追踪区域进行分割的过程中,首先对各图像帧进行特征提取,得到各图像帧对应的图像语义特征。例如可以通过对各图像帧进行多次卷积操作和池化操作,从而能够捕捉到图像帧对应的丰富的多尺度特征,进而根据捕捉到的这些多尺度特征得到各图像帧最终的图像语义特征。
计算机设备进而能够根据各图像帧对应的图像语义特征,识别各图像帧中每个像素的类别,进而可以识别出属于各图像帧中属于追踪区域的像素点。计算机设备则根据属于追踪区域的像素点,标注出各图像帧中追踪区域对应的轮廓,由此能够准确地识别出各图像帧中的追踪区域。
计算机设备识别出各图像帧中的追踪区域后,还进一步识别追踪区域内的各个目标对象。其中,目标对象的类别可以包括多个,即追踪区域中可以包括不同类别的目标对象。具体地,针对每个目标对象,计算机设备从各图像帧的追踪区域中提取属于每一个目标对象的像素点。进而根据像素点确定目标对象的类别,并提取追踪区域中各个目标对象对应的检测框,从而识别出追踪区域中的每个目标对象。
在其中一个实施例中,计算机设备还可以利用经过预先训练的图像分割网络,对各图像帧进行区域分割和目标检测。可以理解,预先训练的图像分割网络,是通过基于深度学习训练得到的具有对图像进行目标分割功能的机器学习网络模型。其中,图像分割网络可以采用基于VGG16(Visual Geometry Group,卷积神经网络)、ResNet(残差网络)、LFPN(Feature Pyramid Network,特征金字塔网络)、RPN(Region Proposal Network,区域生成网络)或FasterRCNN(Faster Region Convolutional Neural Networks,深度区域卷积神经网络)、UNet(U型对称结构网络)、YOLO(You Only Look Once,基于单个神经网络的目标检测网络)等的神经网络,或多个神经网络的组合等,但不限于此。
具体地,计算机设备将各图像帧输入至经过预先训练的图像分割网络,通过图像分割网络中的各个网络层,对图像帧进行多尺度的特征提取和卷积操作,以提取深层次的图像语义特征,进而识别各图像帧中属于追踪区域的像素点,并根据追踪区域的像素点,确定追踪区域对应的整体的轮廓,得到追踪区域的分割结果。计算机设备还可以通过图像分割网络,进一步对追踪区域内属于目标对象的像素进行识别,并标记出每个目标对象在追踪区域内的目标检测框,目标检测框用于标记各图像帧中目标对象的位置。
其中,图像分割网络还可以一次性预测多个目标对象的位置和类别。比如采用基于YOLO的卷积神经网络,能够一次性预测图像帧中多个目标对象的位置和类别,能够高效快速地对各图像帧进行追踪区域识别和目标检测识别。
本实施例中,通过利用经过预先训练的图像分割网络能够精准地提取出各图像帧对应的图像语义特征,从而能够准确地识别出各图像帧中的追踪区域以及检测出目标对象。
在一个实施例中,将各图像帧中的追踪区域划分为至少两个阶段,包括:识别各图像帧中追踪区域对应的灭点和区域边缘;根据追踪区域对应的灭点和区域边缘,对追踪区域进行阶段划分,将各图像帧中的追踪区域划分为至少两个阶段。
可以理解,灭点,是指立体图形中各条边的延伸线所产生的相交点,也即透视点的消失点。在透视投影中,一束平行于投影面的平行线的投影可以保持平行,而不平行于投影面的平行线的投影会聚集到一个点,这个点成为灭点。灭点可以看作是无限远处的一点在投影面上的投影。
计算机设备识别出追踪区域后,还可以对各图像帧进行二值化处理,然后对各图像帧中的追踪区域进行投影。具体地,计算机设备可以对各图像帧中的追踪区域分别进行水平投影和垂直投影,分别确定水平投影和垂直投影对应的极值,进而根据投影的极值确定追踪区域中的灭点位置,也即将极值的交点确定为灭点位置。在另一个实施例中,还可以通过识别追踪区域的最远点,将最远点的均值确定为追踪区域的灭点。
计算机设备还识别出追踪区域在各图像帧中的区域边缘,例如,当追踪区域在各图像帧中最边缘时,追踪区域的区域边缘则在图像帧的边缘。例如,里图像帧中的地面、道路、跑道等时,追踪区域的区域边缘通常在图像最下边的位置。
识别出各图像帧中追踪区域对应的灭点和区域边缘后,还可以计算灭点至区域边缘的长度,进而根据这个长度,按照预设比例对追踪区域进行阶段划分,以将各图像帧中的追踪区域划分为多个阶段。
例如,以目标对象为地面交通标识,针对目标对象的追踪区域为路面为例。计算机设备对各图像帧进行路面分割,识别出路面对应的追踪区域后,根据路的灭点和图像的最下边缘按比例分成三个阶段。其中,一个地面标识在各图像帧的追踪区域中可以分为三个阶段,从路面的灭点到图像帧最下边的路面区域边缘依次可以为:出现阶段、中间阶段和结束阶段。其中,出现阶段是从路面的最远点开始逐渐出现的路面区域,也就是距离图像采集点最远的路面区域;结束阶段是各图像帧中路面即将结束的路面区域,也就是距离图像采集点最近的路面区域;中间阶段则为出现阶段和结束阶段之间对应的路面区域。优选地,可以按照0.2、0.6、1.0的比例将各图像帧中的追踪区域划分为三个阶段,能够更加有效地根据各阶段对连续的图像帧中的目标对象进行追踪识别。
如图4所示,为一个实施例中对图像帧中的追踪区域进行阶段划分的示意图。参照图4,图像帧中包括中间的马路和马路两旁的房屋建筑。图像帧中的追踪区域则为马路所对应的路面区域,401为路面区域中的一个路面交通标识,402为路面区域中的另一个路面交通标识。其中,图4中标注出的P1区域,即为路面区域的灭点,也就是路面在图像帧中的消失点;追踪区域对应的区域边缘,即为路面区域靠近图像帧边框的部分区域。通过对路面区域进行阶段划分后,将路面区域划分为了S1、S2和S3三个阶段。其中,S1可以为出现阶段,S2为中间阶段,S3为结束阶段。可以看出,地面交通标识401位于路面区域中的S2阶段,地面交通标识402位于路面区域中的S3阶段。
本实施例中,通过将各图像帧中的追踪区域划分为多个阶段,能够有效地在各阶段所分别对应的追踪区域内进行追踪识别,进而能够更加精准地对各个目标对象进行追踪。
在一个实施例中,对相邻图像帧进行场景匹配,得到在相邻图像帧之间的场景运动状态,包括:分别对各图像帧进行特征提取,得到各图像帧中的特征点;根据特征点,得到各图像帧对应的场景特征;根据各图像帧的场景特征,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。
可以理解的是,在图像处理中,特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点),也即关键点的特征。图像特征点能够反映图像本质特征,通过特征点的匹配能够实现图像帧之间的场景匹配。
特征点是经过特征提取出的含有丰富局部信息的点,经常出现在图像中拐角、纹理剧烈变化等地方。特征点具有的所谓“尺度不变性”,就是指其在不同图片中能够被识别出来具有的统一性质。对各图像帧进行帧间场景匹配,则需要提取出图像中的关键信息,以及这些关键信息之间的关系。
计算机设备对相邻图像帧进行场景匹配之前,还需要分别提取出各图像帧对应的场景特征。具体地,计算机设备对各图像帧进行特征提取,首先提取各图像帧的图像梯度,然后进行多尺度梯度图的高斯变换,并计算旋转特征。根据旋转特征计算各图像帧中的角点,进而根据角点确定各图像帧中的特征点。
进一步提取特征点对应的局部特征信息,并根据这些局部信息生成各特征点对应的描述子。各图像帧中通常包括多个特征点以及对应的特征描述子,进而可以利用所提取的特征描述子生成各图像帧对应的场景特征。
例如,可以采用SIFT(Scale-invariant feature transform,尺度不变特征变换)算法提取各图像帧中的特征点对应的描述子,从而根据图像帧中每个特征点对应的描述子,生成图像帧对应的场景特征。在其他的实施例中,还可以采用基于ORB(Oriented Fastand Rotated Brief,局部不变性特征变换)算法、SURF(Speeded Up Robust Features,快速鲁棒性特征提取)算法等,提取各图像帧的场景特征。本申请在此不做限定。
在其中一个实施例中,还可以获取各图像帧中的背景区域。其中,背景区域是各图像帧中除追踪区域以外的区域,提取背景区域中的特征点,然后利用背景区域对应的特征点生成各图像帧对应的场景特征。
计算机设备获得各图像帧对应的场景特征后,则对各相邻图像帧进行场景匹配。具体地,将相邻图像帧中各图像帧分别对应的场景特征进行特征匹配,从而能够判定相邻图像帧之间的场景变化情况,进而能够确定各相邻图像帧直接的场景运动状态。
本实施例中,通过提取出各图像帧对应的特征点后,根据特征点提取各图像帧的场景特征,可以仅对各图像帧中的一些特征点进行处理及匹配,由此能够避免对每个像素都进行处理或变换,大大提高了处理速度。通过根据场景特征在各相邻图像帧进行场景匹配,由此能够有效地判断出相邻图像帧之间的场景运动状态。
在一个实施例中,根据各图像帧的场景特征,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态,包括:根据各图像帧的场景特征,建立相邻图像帧之间的特征映射矩阵;根据特征映射矩阵,确定相邻图像帧的图像中心之间的偏移;根据偏移,判定相邻图像帧之间的场景运动状态。
其中,场景特征可以通过矩阵表示。可以理解的是,特征映射矩阵,是指相邻图像帧中各图像帧对应的场景特征矩阵之间的映射。在其中一个实施例中,各图像帧对应的场景特征包括多个特征点对应的特征,还可以根据各图像帧的特征点,相邻图像帧之间的特征映射矩阵,可以是相邻图像帧中各特征点之间的映射。
计算机设备根据各图像帧的场景特征,对相邻图像帧进行场景匹配时,根据相邻图像帧中各图像帧分别对应的场景特征,建立相邻图像帧之间的特征映射矩阵,并根据特征映射矩阵计算出相邻图像帧之间的偏移,进而根据相邻图像帧之间的偏移,判定相邻图像帧之间的场景是否发生运动,即判定相邻图像帧之间的场景是否存在变化。
具体地,各图像帧对应的场景特征可以是多个特征点的特征,计算机设备根据相邻图像帧中各图像帧对应的特征点,建立相邻图像帧之间的特征映射矩阵。然后通过分别计算出特征映射矩阵各特征点各自的偏移量,然后对这些特征点的偏移量进行综合,得到相邻图像帧之间整体的偏移量。
如图5所示,为一个实施例中建立相邻图像帧之间的特征映射矩阵的示意图,其中,图5中的(a)和(b)为两张相邻的图像帧。图5的(a)和(b)中分别包括识别出的多个特征点,即图5中所标注出的各个圆圈。可以理解,通过连线示意的特征点,即为相邻图像帧(a)和(b)中相对应的特征点。比如,图5的(a)中的特征点Fa1、Fa2和Fa3,分别与(b)中的Fb1、Fb2和Fb3相对应。进而对这些相对应的特征点进行特征映射,以建立相邻图像帧之间的特征映射矩阵。可以看出图5中的特征映射矩阵存在较大偏移和偏差,比如,可以看到Fa1与Fb1之间、Fa2和Fb2之间的连线并不是水平的,而是存在较大偏移的,因此,能够判定出该相邻图像帧(a)和(b)之间的场景运动状态发生了变化。
在另一个实施例中,还可以根据各图像帧中的特征点,计算各图像帧的图像中心。其中,各图像帧的图像中心可以是场景特征矩阵对应的中心点。进而根据特征映射矩阵,计算相邻图像帧中各帧的中心点对应的偏移,也就是计算相邻图像帧中各帧的中心点对应的映射位置的偏移。
例如,具体可以根据场景特征中包括的各个特征点描述子,建立相邻图像帧之间的单应性矩阵。进而根据单应性矩阵,计算相邻图像帧中其中一帧的图像中心,与另一帧的图像中心在UV坐标系下的坐标的偏移,进而根据坐标的偏移来判断相邻图像帧中其中一帧到另一帧是否发生运动。其中,UV坐标是指二维的平面坐标系。水平方向是U,垂直方向是V,通过在二维平面的UV坐标系中建立相邻图像帧之间的单应性矩阵,可以定位相邻图像帧中的任意一个像素,以及确定相邻图像帧之间相应特征点之间的映射。
可以理解,若偏移超过预设的偏移阈值,则判定相邻图像帧之间的场景运动状态为运动。若偏移未超过预设的偏移阈值,则判定相邻图像帧之间的场景运动状态为未运动。
在其中一个实施例中,各图像帧分别携带有对应的地理位置信息,各图像帧的地理位置信息通常可以反映图像采集点的位置,以及图像采集点的位置是否发生变化。计算机设备在确定相邻图像帧之间的场景运动状态的过程中,还可以获取相邻图像帧分别对应的地理位置信息。通过比较该相邻图像帧对应的地理位置信息的变化情况,判定相邻图像帧之间的场景运动状态。进一步地,计算机设备还可以结合相邻图像帧之间的场景特征和地理位置信息,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。例如,可以分别配置进行场景特征匹配对应的权重,以及进行地理位置信息匹配对应的权重,进而根据场景特征和地理位置信息,综合判定相邻图像帧之间的场景运动状态。
本实施例中,通过提取出各图像帧对应的场景特征后,根据场景特征通过建立帧间的特征映射矩阵,能够精准地映射相邻图像帧的图像中心的映射位置,从而得到帧间的偏移,从而能够精准有效地对相邻图像帧进行场景匹配。
在一个实施例中,相邻图像帧为相邻的一组图像帧,相邻图像帧包括当前帧、以及与当前帧相邻的另一帧;根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,包括:若场景运动状态为运动,根据当前帧中目标对象所位于的阶段,确定另一帧中与所位于的阶段相邻的待追踪阶段;将当前帧中的目标对象,与另一帧中待追踪阶段所对应的追踪区域内的目标对象进行匹配;当在待追踪阶段未匹配到目标对象时,将当前帧中的目标对象,与另一帧中相应追踪区域内的目标对象进行匹配;另一帧中相应追踪区域,是在另一帧中与所位于的阶段对应的追踪区域。
其中,连续的图像帧中包括至少一组相邻图像帧,相邻图像帧为连续的图像帧中的任意一组图像帧。当前帧可以是当前正在处理的这一组相邻图像帧中的任一帧,另一帧则是与当前帧相邻的另一帧。
可以理解,各图像帧中追踪区域均划分了相应的阶段。例如,各图像帧中追踪区域均划分了第一阶段、第二阶段和第三阶段,比如一组相邻图像帧的当前帧中的目标对象位于第二阶段,在另一帧中相应追踪区域则是同一阶段对应的追踪区域,即另一帧中同为第二阶段所对应的追踪区域。
需要理解的是,若相邻图像帧之间的场景运动状态为运动,则表示相邻图像帧之间的场景发生了变化,通常目标对象在相邻图像帧中当前帧和另一帧中的位置也发生了变化。因此,目标对象在当前帧和另一帧的追踪区域中所处的阶段可能也不同。
计算机设备则获取当前帧中目标对象,在当前帧的追踪区域中所位于的阶段,进而根据当前帧中目标对象所位于的阶段,确定另一帧中与所位于的阶段相邻的待追踪阶段。具体地,计算机设备可以根据当前帧与另一帧之间的帧间顺序,或按照图像采集点在帧间的移动方向,确定另一帧中与所位于的阶段相邻的待追踪阶段。
计算机设备则将当前帧中的目标对象,与另一帧中待追踪阶段所对应的追踪区域内的目标对象进行匹配,以识别在另一帧中待追踪阶段所对应的追踪区域内,是否存在与当前帧中的目标对象相匹配的同一目标对象。
若在待追踪阶段匹配到目标对象时,表示另一帧中待追踪阶段所对应的追踪区域内存在该目标对象,则将当前帧中的目标对象和另一帧中匹配到的目标对象标记为同一个目标对象。计算机设备则结束对该相邻帧中该目标对象的追踪识别。
当在待追踪阶段未匹配到目标对象时,表示另一帧中待追踪阶段所对应的追踪区域内不存在该目标对象。计算机设备进而将当前帧中的目标对象,与另一帧中相应追踪区域内的目标对象进行匹配,也就是在另一帧中与所位于的阶段对应的追踪区域内,识别是否存在与当前帧中的目标对象相匹配的同一目标对象。若匹配到目标对象时,则将当前帧中的目标对象和另一帧中匹配到的目标对象标记为同一个目标对象。若仍未匹配到目标对象时,则结束对该相邻帧中该目标对象的追踪识别。
在其中一个实施例中,一组相邻图像帧中,当前帧是相邻图像帧中的第一帧,另一帧是相邻图像帧中以帧间顺序为参照的第二帧,也就是当前帧的下一帧。
若相邻图像帧之间的场景运动状态为运动,根据当前帧中目标对象所位于的阶段,可以确定另一帧中与所位于的阶段相邻的待追踪阶段,也就是下一帧中在所位于的阶段的下一阶段。例如,当前帧中的目标对象位于第二阶段,则可以确定另一帧中的待追踪阶段,为下一帧中的第三阶段。
例如,若连续的图像帧中,图像采集点的位置是不断前进的,由此,目标对象在当前帧的位置通常较远,随着图像采集点向前进方向移动,在当前帧的下一帧中,目标对象的位置则会更近一些。
由此,计算机设备则将当前帧中的目标对象,与下一帧中在所位于的阶段的下一阶段对应的追踪区域内的目标对象进行匹配。
若未匹配到目标对象时,进而将当前帧中的目标对象,与下一帧中与所位于的阶段相应的追踪区域内的目标对象进行匹配。
在另一个实施例中,一组相邻图像帧中,当前帧是相邻图像帧中的第二帧,另一帧是相邻图像帧中以帧间顺序为参照的第一帧,也就是当前帧的上一帧。
若相邻图像帧之间的场景运动状态为运动,根据当前帧中目标对象所位于的阶段,可以确定另一帧中与所位于的阶段相邻的待追踪阶段,也就是上一帧中在所位于的当前阶段的上一阶段。例如,当前帧中的目标对象位于第二阶段,则可以确定另一帧中的待追踪阶段,为上一帧中的第一阶段。在另一个实施例中,另一帧中与所位于的阶段相邻的待追踪阶段,还可以是上一帧中在所位于的当前阶段之前的所有阶段。
同理,在连续的图像帧中,目标对象在上一帧中的位置通常较远,在当前帧中的位置则会更近一些。计算机设备则将当前帧中的目标对象,与上一帧中在所位于的阶段的上一阶段对应的追踪区域内的目标对象进行匹配。若未匹配到目标对象时,进而将当前帧中的目标对象,与上一帧中与所位于的阶段相应的追踪区域内的目标对象进行匹配。
本实施例中,当相邻图像帧之间的场景运动状态为运动时,通过将目标对象在相邻图像帧中根据所确定的待追踪阶段进行动态追踪识别,从而能够优先将当前帧中的目标对象,在另一帧中最可能出现的阶段对应的追踪区域内进行匹配,由此能够有效提高匹配的精准度,同时大大提高了相邻图像帧之间进行匹配的处理速度。
在一个实施例中,追踪区域包括至少一个子区域;如图6所示,为一个实施例中将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别的步骤的示意图,包括:
S602,若场景运动状态为运动,根据当前帧中目标对象所位于的阶段和所在的子区域,确定另一帧中与所位于的阶段相邻的待追踪阶段。
S604,将当前帧中的目标对象所在的子区域,与另一帧中待追踪阶段所对应的追踪区域内的子区域进行匹配。
S606,当在待追踪阶段匹配到子区域时,将当前帧中的目标对象,与另一帧中相匹配的子区域内的目标对象进行匹配。
S608,当在待追踪阶段未匹配到目标对象时,将当前帧中的目标对象,与另一帧中相应追踪区域内的目标对象进行匹配;另一帧中相应追踪区域,是在另一帧中与所位于的阶段对应的追踪区域。
其中,各图像帧中的追踪区域还可能包括多个子区域,子区域是根据追踪区域自身的特征属性识别出来的。例如,以追踪区域为马路为例,马路中可能包括多个车道,每一个车道则为追踪区域内的一个子区域。
计算机设备将当前帧中的目标对象,与另一帧中待追踪阶段所对应的追踪区域内的目标对象进行匹配的过程中,若当前帧中的追踪区域包括至少一个子区域时,计算机设备则首先识别当前帧中的目标对象所在的子区域。
然后根据当前帧中的目标对象所在的子区域,与另一帧中待追踪阶段所对应的追踪区域内的子区域进行匹配。计算机设备还可以比较当前帧中追踪区域的各子区域,与另一帧中追踪区域的各子区域是否一致;或比较当前帧中目标对象所在的阶段与另一帧的中待追踪阶段,分别对应的子区域是否一致。若一致,则可以确定当前帧中的目标对象所在的子区域,与另一帧中待追踪阶段所对应的追踪区域内的子区域是相匹配的。
若未在待追踪阶段匹配到子区域时,表示当前帧中的目标对象所在的子区域,相邻图像帧各图像帧中追踪区域的子区域不匹配,当前帧中的目标对象也必然与另一帧中待追踪阶段内的目标对象是不匹配的,则可以直接结束与另一帧中待追踪阶段中匹配处理。
当在待追踪阶段匹配到该子区域时,计算机设备则继续当前帧中的目标对象,与另一帧中待追踪阶段中对应的子区域内的目标对象进行匹配。具体可以识别目标对象的类别是否一致,若不一致,则可以直接确定相邻图像帧中的目标对象不匹配。若一致,然后根据各图像帧中目标对象的特征,进行特征匹配,若匹配度满足匹配阈值,则可以确定相邻图像帧中的目标对象相匹配。若识别到相匹配的目标对象,则将相邻图像帧中的该目标对象标记为同一个目标对象。
若未识别到相匹配的目标对象,则表示另一帧中待追踪阶段中对应的追踪区域内不存在该目标对象。计算机设备则将当前帧中的目标对象,与另一帧中相应追踪区域对应的子区域内的目标对象进行匹配。
本实施例中,当追踪区域包括至少一个子区域时,通过将当前帧中的目标对象所在的子区域,与另一帧中待追踪阶段所对应的追踪区域内的子区域进行匹配,能够更加精准地识别相邻图像帧中的目标对象,有效提高了目标对象的追踪识别的准确度。
在一个实施例中,相邻图像帧为相邻的一组图像帧,相邻图像帧包括当前帧、以及与当前帧相邻的另一帧;根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,包括:
若场景运动状态为未运动,根据当前帧中目标对象所位于的阶段,将当前帧中的目标对象,与另一帧中与所位于的阶段对应的追踪区域内的目标对象进行匹配;当在追踪区域内匹配到目标对象,且当前帧与另一帧中目标对象对应的变化差异满足条件阈值时,将相邻图像帧中相匹配的目标对象标记为同一个目标对象。
可以理解,若相邻图像帧之间的场景运动状态为未运动,则表示相邻图像帧之间的场景没有发生变化,通常目标对象在相邻图像帧中当前帧和另一帧中的位置也没有发生变化。因此,目标对象在当前帧和另一帧的追踪区域中所处的阶段必然是相同的。
在场景运动状态为未运动的情况下,计算机设备可以仅通过将当前帧中目标对象所位于的阶段,将目标对象在另一帧中与相应的同一阶段进行匹配。
具体地,计算机设备则获取当前帧中目标对象,在当前帧的追踪区域中所位于的阶段。根据当前帧中目标对象所位于的阶段,将当前帧中的目标对象,与另一帧中与所位于的阶段对应的追踪区域内的目标对象进行匹配。其中,与所位于的阶段对应的追踪区域,也就是该目标对象所位于的阶段,在另一帧中与该目标对象的阶段对应的相同阶段。例如,当前帧中的目标对象位于第二阶段,则可以确定另一帧中与所位于的阶段对应的追踪区域,为另一帧中同第二阶段对应的追踪区域。
当在追踪区域内匹配到该目标对象时,计算机设备进一步比较当前帧与另一帧中目标对象对应的变化差异。例如,可以通过比较当前帧与另一帧中目标对象分别对应的检测框的大小,确定目标对象对应的变化差异。若当前帧与另一帧中目标对象对应的变化差异满足条件阈值时,可以确定当前帧与另一帧中的目标对象是相匹配的,则将相邻图像帧中相匹配的目标对象标记为同一个目标对象。
在其中一个实施例中,若当前帧的追踪区域包括至少一个子区域时,计算机设备还可以根据当前帧中目标对象所位于的阶段和子区域,确定另一帧中与所位于的阶段对应的相同阶段,以及相同阶段对应的追踪区域与该目标对象对应的子区域。计算机设备进而将当前帧中的目标对象,与另一帧中对应的子区域内的目标对象进行匹配。当在该子区域内匹配到目标对象,且当前帧与另一帧中目标对象对应的变化差异满足条件阈值时,将相邻图像帧中相匹配的目标对象标记为同一个目标对象。
本实施例中,当相邻图像帧之间的场景运动状态为未运动时,通过将目标对象在相邻图像帧中对应的同一阶段内进行追踪识别,由此能够快速定位追踪区域,从而能够精准快速地将当前帧中的目标对象,在另一帧中相同阶段对应的追踪区域内进行追踪识别。
在一个实施例中,如图7所示,为另一个实施例中目标识别方法的流程示意图,包括以下步骤:
S702,在获取的连续的图像帧中,确定各图像帧中针对目标对象的追踪区域。
S704,将各图像帧中的追踪区域划分为至少两个阶段,区域划分后的各图像帧按照帧间序列存放于追踪池中。
S706,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。
S708,根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,得到各图像帧中各目标对象的追踪结果。
S710,若在相邻图像帧中识别到相匹配的目标对象,则继续在追踪池中的下一组相邻图像帧之间,对目标对象进行追踪识别。
S712,若超过连续预设组数的相邻图像帧中均未识别到相匹配的目标对象,则结束对未被匹配的目标对象的追踪识别。
S714,直到追踪池中的各图像帧中的各目标对象均匹配完成后,得到连续的图像帧中每一个目标对象对应的追踪结果。
其中,追踪池,是预先建立的用于对连续的图像帧进行追踪识别处理的数据池,也即数据库连接池。可以将数据池视为使用大数据技术构建的数据仓库,用于分配、管理和释放数据库连接的数据。数据库连接池通常是在运行时建立足够的数据库连接,并将这些数据连接组成一个连接池,由计算机设备中的程序动态地对池中的连接进行申请、使用和释放。能够有效提高对数据库操作的性能。
可以理解,追踪池提供运行时所需要处理的可变数据,也就是能够高效便捷地对各图像帧进行追踪识别处理过程中的数据。
计算机设备对连续的图像帧进行区域划分后,将区域划分后的各图像帧写入建立的追踪池中,并按照帧间序列对追踪池中的各图像帧进行排序。计算机设备进而对追踪池中排序后的各图像帧进行追踪识别处理。
具体地,计算机设备按照帧间序列依次读取一组相邻图像帧,然后对读取的当前相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。进而根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,得到该相邻图像帧中各目标对象的追踪结果。
若在相邻图像帧中识别到相匹配的目标对象,则对相邻图像帧中相匹配的目标对象添加相应的匹配标识。可以理解的是,相邻图像帧存在相匹配的目标对象,该目标对象可能在下一组相邻图像帧中仍然存在。计算机设备则继续在追踪池中的下一组相邻图像帧之间,对该目标对象进行追踪识别。
若超过连续预设组数的相邻图像帧中均未识别到相匹配的目标对象时,表示该目标对象已经不会存在于连续预设组数的相邻图像帧之后的图像帧中。计算机设备则结束对该未被匹配的目标对象的追踪识别。直到追踪池中的各图像帧中的各目标对象均匹配完成后,得到连续的图像帧中每一个目标对象对应的追踪结果。
在其中一个实施例中,追踪池还可以包括待匹配的追踪池和完成匹配的追踪池。计算机设备在对追踪池中的各相邻图像帧进行帧间追踪识别时,还可以针对每一个目标对象设定对应的计数器。对于在相邻图像帧相匹配的目标对象,则将该目标对象放入待匹配的追踪池中,继续对该目标对象进行识别追踪。
对于未被匹配的目标对象,则赋予未被匹配的目标对象一个对应的计数器。若超过连续预设组数的相邻图像帧中,例如超过连续两帧,即在超过连续两组的相邻图像帧中,该目标对象均为未被匹配到时,则结束对该目标对象的追踪识别,并将该目标对象放入完成匹配的追踪池中。
在其中一个实施例中,计算机设备还可以建立一个信息池,用于存放对连续的图像帧中的追踪区域和目标对象识别后的图像帧以及分别对应的检测结果信息和路网信息。其中检测结果信息包括对各图像帧中追踪区域的识别结果和目标对象的检测结果;路网信息包括各图像帧携带的地理位置信息。计算机设备然后将各图像帧和检测结果信息输入至追踪聚合中,以进行追踪聚合处理。计算机设备首先对信息池中的各图像帧进行区域划分,然后对各图像帧进行区域划分后,则将各图像帧对应的信息写入已建立的追踪池中,并按照连续的图像帧之间的帧间顺序进行排序。计算机设备进而按照帧间序列依次读取一组相邻图像帧对应的信息,然后分别对读取的当前相邻图像帧进行追踪识别处理,并将各图像帧中目标对象的追踪识别结果写入追踪池中。在其中一个实施例中,计算机设备得到各图像帧中各目标对象的追踪识别结果后,还可以对未满足条件的目标对象进行过滤,例如识别出的目标对象的检测框的大小未达到阈值,或目标对象在各图像帧中的置信度为达到阈值,则确定为未满足条件的目标对象。计算机设备对各相邻图像帧追踪识别处理后,还可以对追踪池中的各图像帧进行多帧聚合,也就是将连续的图像帧中包括同一个目标对象的图像帧聚集在一起。从而得到连续的图像帧中每一个各目标对象的追踪结果。计算机设备还可以进一步将追踪池中的追踪结果输出至预设的数据库中,以用于对追踪结果进行进一步处理。如图8所示,为一个实施例中对各图像帧中的目标对象进行追踪识别处理的示意图。
本实施例中,通过将区域划分后的各图像帧写入追踪池中,按照帧间序列依次对各图像帧进行追踪识别处理,尽可能多地重用了消耗内存地资源,大大节省了内存,提高了对各图像帧进行追踪识别的处理效率。
在一个实施例中,如图9所示,为另一个实施例中目标识别方法的流程示意图,包括以下步骤:
S902,在获取的连续的图像帧中,确定各图像帧中针对目标对象的追踪区域。
S904,将各图像帧中的追踪区域划分为至少两个阶段,区域划分后的各图像帧按照帧间序列存放于追踪池中。
S906,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。
S908,根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,得到各图像帧中各目标对象的追踪结果。
S910,根据各图像帧中各目标对象的追踪结果,将各相邻图像帧中相匹配的目标对象标记为同一个目标对象。
S912,对连续的图像帧中包括同一个目标对象的图像帧进行聚合,得到每个目标对象对应的图像帧集合。
其中,聚合,在信息科学中是指对有关的数据进行内容挑选、分析、归类,得到所需的结果的过程。对同一个目标对象的图像帧进行聚合,是指将连续的图像帧中包括同一个目标对象的图像帧聚集在一起。
计算机设备对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。并根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,得到各图像帧中各目标对象的追踪结果后,根据各图像帧中各目标对象的追踪结果,将连续的图像帧中的各相邻图像帧中相匹配的目标对象分别标记为同一个目标对象。
例如,同一个目标对象存可能在于相邻图像帧中或者不相邻的图像帧中,通过将各图像帧中相匹配的目标对象标记为同一个目标对象,能够识别出每一个目标对象存在于哪些图像帧中。
计算机设备进而将连续的图像帧中包括同一个目标对象的图像帧进行聚合,由此能够获得分别包括相同目标对象的所有图像帧,并分别生成每一个目标对象对应的图像帧集合,从而能够有效得到每个目标对象对应的图像帧集合。
本实施例中,通过将连续的图像帧中包括同一个目标对象的图像帧进行聚合,能够准确地追踪识别出每一个目标对象所落入的图像帧,从而能够精准对连续的图像帧中的每一个目标对象进行追踪和识别。
在一个实施例中,追踪结果包括各目标对象在各图像帧中的置信度;方法还包括:针对至少一个目标对象,从目标对象所对应的图像帧集合中,提取置信度满足条件的目标对象对应的图像帧;根据提取的图像帧中的追踪结果,对图像帧集合中待矫正的图像帧中的追踪结果进行矫正;待矫正的图像帧,是置信度未满足条件的目标对象对应的图像帧。
可以理解,对连续的图像帧中各相邻图像帧中的目标对象进行追踪识别的过程中,还确定各目标对象在各图像帧中的置信度。其中,各图像帧中的追踪区域可能还包括多个子区域。各目标对象的置信度,是表示各图像帧中目标对象位于追踪区域中各子区域的置信度。
当各图像帧中的追踪区域包括多个子区域时,对于各个目标对象在有的图像帧中追踪区域的子区域的追踪结果,可能会存在误差。计算机设备对连续的图像帧中包括同一个目标对象的图像帧进行聚合,生成每个目标对象对应的图像帧集合后。还进一步利用各图像帧集合中,置信度满足条件的目标对象对应的图像帧,对置信度未满足条件的目标对象对应的图像帧进行矫正。
具体地,计算机设备首先确定各图像帧集合中,置信度未满足条件的目标对象对应的图像帧。对于未满足条件的目标对象,从该目标对象所对应的图像帧集合中,获取置信度满足条件的该目标对象对应的图像帧对应的追踪结果,由此能够确定该目标对象图像帧集合中对应在追踪区域内所属的子区域。进而对图像帧集合中待矫正的图像帧中的目标对象所属的子区域进行矫正,也就是将置信度未满足条件的目标对象对应的子区域,更新为置信度满足条件的目标对象对应的子区域。由此能够有效实现对各图像帧集合中,置信度未满足条件的目标对象的所属位置进行矫正,从而能够更加精准地识别出每一个目标对象在各图像帧中的位置。
在一个实施例中,各图像帧分别携带对应的地理位置信息,上述目标识别方法还包括:根据各图像帧的地理位置信息和各目标对象的追踪结果,确定各目标对象对应的地理位置信息,并根据地理位置信息生成与各目标对象对应的物理点标识;根据各物理点标识的地理位置信息,在电子地图上标记各物理点标识,生成包括各物理点标识的电子地图。
可以理解,各图像帧对应的地理位置信息,可以是各图像帧的图像采集点所位于的地理位置信息,也就是各图像帧的拍摄地点。
其中,可以将各图像帧中的各个目标对象,抽象为现实物理空间中追踪区域内的一个物理点,也就是物理空间中的目标对象的位置点。
计算机设备对连续的图像帧中的目标对象进行追踪识别,得到各图像帧中各所目标对象的追踪结果后,进而可以根据各图像帧的地理位置信息和各目标对象的追踪结果,确定每一个目标对象对应的地理位置信息,并根据每一个目标对象对应的地理位置信息,生成与各目标对象对应的物理点标识。例如,可以根据目标对象的地理位置信息和目标对象的类别,生成包括地理位置信息和对象类别的物理点标识。
计算机设备还可以进一步根据各物理点标识的地理位置信息,将每一个物理点标识在电子地图上进行标记,并生成包括各物理点标识的电子地图。由此能够精准有效地在电子地图中标注出追踪识别到的各目标对象对应的物理点。
本实施例中,通过对采集的连续的图像帧中的目标对象进行追踪识别,得到各图像帧中各所目标对象的追踪结果,并根据各图像帧的地理位置信息和各目标对象的追踪结果,确定各目标对象对应的地理位置信息后,将各目标对象对应的物理点标识在电子地图上标记出来,由此大大提高了地图数据标注的效率和准确度。
在一个具体的实施例中,获取的连续的图像帧可以是在车辆行驶过程中采集的图像。例如,可以是车辆中的图像采集设备或车辆携带的行车记录仪等,所采集的连续的图像帧。
其中,图像帧中需要识别的目标对象可以为地面交通标识,也被称为地面车信、地面交通标志或道路交通标志。图像帧中针对目标对象的追踪区域则为路面,或交通道路。
可以理解的是,车辆行驶过程中采集的连续的图像帧中,通常前后连续图像帧的同一地面交通标识出现在图像帧中的特征变化大,且由于车辆速较快,前后连续图像帧在同一路段,可能会出现在同一图像位置中存在长相相似的地面交通标识,但实质并不是同一个地面交通标识的情况。如图10和图11所示,其中,图10为相邻图像帧中的第一帧,图11为相邻图像帧中的第二帧。从图10和图11中可以看出,图10中的地面交通标识1001,与图11中的地面交通标识1101比较相似,均为直行右转类别的地面交通标识,并且两个地面交通标识在图像帧中所处的位置相似。但通过比较第一帧和第二帧中的场景,如第一帧中路面两旁的房屋建筑、花草树木以及路面中的其他车辆等场景,与第二帧中相应的场景是不同的,由此可以分析出相邻图像帧之间的场景发生了变化。进而根据相邻图像帧之间场景运动状态,可以判定出地面交通标识1001和地面交通标识1101并不是同一个地面交通标识。
计算机设备获取采集的连续的图像帧后,首先通过对各图像帧中的像素进行分类识别,识别出每一帧图像帧中的路面区域,并进一步识别出路面区域中的地面交通标识。
计算机设备还识别出各图像帧中路面区域的灭点和边缘区域。其中,路面区域的灭点,也就是路面在各图像帧中的消失点,路面区域的边缘区域通常是图像的最下边缘。然后将各图像帧中的路面区域划分为至少两个阶段。优选地,可以将路面区域划分为三个阶段,并按照预设比例,如0.2、0.6、1的比例,将路面区域划分为三个阶段。具体还可以划分为出现阶段、中间阶段以及结束阶段。如果按照车辆不断向前行驶的方向采集图像帧,路面区域的出生阶段也就是路面中逐渐新出现新路面的区域,生长阶段则是路面区域中的中间区域,结束阶段则是路面逐渐消失的区域。
对各图像帧中的路面区域进行区域划分后,计算机设备则获取各图像帧分别对应的场景特征,并根据各图像帧的场景特征对各相邻图像帧进行场景匹配,从而得到相邻图像帧之间的场景运动状态。然后根据场景运动状态,将相邻图像帧中的地面交通标识,在各阶段所分别对应的路面区域内进行追踪识别,得到各图像帧中各个地面交通标识的追踪结果。
具体地,各图像帧中的路面区域包括至少一个子区域。其中,子区域为路面区域的各车道对应的区域。也路面区域包括至少一个车道。
若相邻图像帧之间的场景运动状态为运动时,根据当前帧中地面交通标识在路面区域中所位于的阶段,确定另一帧中与所位于的阶段相邻的待追踪阶段。以当前处理的相邻图像帧中包括上一帧和当前帧为例,上一帧中与所位于的阶段相邻的待追踪阶段,则为上一帧中在所位于的当前阶段的上一阶段,或当前阶段之前的阶段。
计算机设备则将当前帧中的地面交通标识,与另一帧中的待追踪阶段对应的路面区域内的地面交通标识进行匹配。具体地,计算机设备还根据地面交通标识在路面区域中所位于的阶段以及所属车道,与另一帧中待追踪阶段所对应的路面区域中相应的车道内的进行匹配。
若在待追踪阶段未匹配到对应的车道时,表示当前帧中的车道与另一帧中的车道不匹配,因此地面交通标识也是不匹配的,则结束与另一帧中待追踪阶段中匹配处理。若在待追踪阶段匹配到对应的车道时,则继续当前帧中的地面交通标识,与另一帧中待追踪阶段中对应的车道内的地面交通标识进行匹配。
若在待追踪阶段未匹配到地面交通标识时,进而将当前帧中的地面交通标识,与下一帧中与所位于的阶段相应的追踪区域内的地面交通标识进行匹配,也就是在下一帧中与所位于的阶段相同的阶段对应的追踪区域内进行匹配。存在相匹配的地面交通标识时,则将该相邻图像帧中相匹配的地面交通标识标记为同一个地面交通标识。
若相邻图像帧之间的场景运动状态为未运动时,根据当前帧中地面交通标识所位于的阶段,将当前帧中的地面交通标识,与另一帧中与所位于的阶段对应的路面区域内的地面交通标识进行匹配;当在路面区域内匹配到该地面交通标识,且当前帧与另一帧中地面交通标识对应的变化差异满足条件阈值时,将相邻图像帧中相匹配的地面交通标识标记为同一个地面交通标识。
若在相邻图像帧中识别到相匹配的地面交通标识,则继续在追踪池中的下一组相邻图像帧之间,对该匹配的地面交通标识进行追踪识别;若超过连续预设组数的相邻图像帧中均未识别到相匹配的地面交通标识时,则结束对未被匹配的地面交通标识的追踪识别;直到追踪池中的各图像帧中的各地面交通标识均匹配完成后,得到连续的图像帧中每一个地面交通标识对应的追踪结果。
计算机设备进一步根据各图像帧中各地面交通标识的追踪结果,将各相邻图像帧中相匹配的地面交通标识标记为同一个地面交通标识,并对连续的图像帧中包括同一个地面交通标识的图像帧进行聚合,生成每个地面交通标识对应的图像帧集合。通过将连续的图像帧中包括同一个地面交通标识的图像帧进行聚合,能够准确地追踪识别出每一个地面交通标识所落入的图像帧,从而能够精准对连续的图像帧中的每一个地面交通标识进行追踪和识别。
在其中一个应用场景中,各图像帧分别携带对应的地理位置信息。计算机设备生成每个地面交通标识对应的图像帧集合后,还根据各图像帧的地理位置信息和各地面交通标识的追踪结果,确定每个地面交通标识对应的地理位置信息,并根据每个地面交通标识对应的地理位置信息,在电子地图上标记各地面交通标识对应的物理点标识,得到包括标注了各地面交通标识的电子地图。具体地,可以在电子地图中相应的位置标注地面交通标识相应的信息,例如可以包括地面交通标识的位置、所属车道以及地面交通标识类别。由此有效提高了地图数据标注的效率和准确度。
在进一步的应用中,在电子地图中相应的位置标注地面交通标识相应的信息后,可以在移动终端或车辆中安装该标注了地面交通标识的电子地图,进而在车辆行驶过程中,利用电子地图进行导航。具体地,通过获取车辆当前的位置信息,并确定车辆的行驶方向,获取预设范围内的地面交通标识,并根据获取的地面交通标识进行导航提示。进一步地,还可以识别车辆当前位于的车道,然后车辆当前的所在的车道和获取的地面交通标识,在电子地图中进行导航提示。在其中一个实施例中,还可以在电子地图的路面区域中生成与各地面交通标识对应的虚拟地面交通标识。在利用该电子地图进行导航的过程在,则可以在显示界面中展示当前导航区域中与地面交通标识对应的虚拟地面交通标识。通过利用标注了各地面交通标识的电子地图,对车辆进行导航,能够更加有效地识别道路中的地面交通标识,从而能够更加精准地进行地图导航。
在另一个应用场景中,目标对象还可以为车辆,针对车辆的追踪区域同样为图像帧中的路面区域。在连续的图像帧中,检测出各图像帧中的路面区域和车辆后,将各图像帧中的路面区域划分为至少两个阶段。然后根据各图像帧的场景特征,对各相邻图像帧进行场景匹配,从而得到相邻图像帧之间的场景运动状态。进而根据场景运动状态,将相邻图像帧中的每一个车辆,在各阶段所分别对应的路面区域内进行追踪识别。进一步地,还可以在各阶段分别对应的路面区域中的相应车道内进行追踪识别。然后将各相邻图像帧中相匹配的车辆,标记为同一个车辆,并对连续的图像帧中包括同一个车辆的图像帧进行聚合,由此能够精准地对连续的图像帧中的每一个车辆进行追踪识别。
在又一个应用场景中,目标对象为人物,针对目标对象的追踪区域为人物可移的动路径对应的区域,例如追踪区域可以是道路、跑道或室内空间等。在获取的连续的图像帧中,检测出各图像帧中的追踪区域和目标人物后,将各图像帧中的追踪区域划分为至少两个阶段。然后分别提取各图像帧对应的场景特征,并根据各图像帧的场景特征,对各相邻图像帧进行场景匹配,从而得到相邻图像帧之间的场景运动状态。相邻图像帧之间的场景运动状态,通常可以反映出目标人物的运动状态。进而根据场景运动状态,将相邻图像帧中的每一个目标人物,在各阶段所分别对应的追踪区域内进行追踪识别,然后将各相邻图像帧中相匹配的目标人物,标记为同一个目标人物,并对连续的图像帧中包括同一个目标人物的图像帧进行聚合,生成每个目标人物分别对应的图像帧集合。由此能够准确地追踪识别出每一个目标人物所落入的图像帧,从而能够精准地追踪和识别出连续的图像帧中的每一个目标人物。
应该理解的是,虽然图3、6、7、9的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图3、6、7、9中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图12所示,提供了一种目标识别装置1200,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:图像检测模块1202、区域划分模块1204、场景匹配模块1206和追踪识别模块1208,其中:
图像检测模块1202,用于在获取的连续的图像帧中,确定各图像帧中针对目标对象的追踪区域;
区域划分模块1204,用于将各图像帧中的追踪区域划分为至少两个阶段;
场景匹配模块1206,用于对相邻图像帧进行场景匹配,得到在相邻图像帧之间的场景运动状态;
追踪识别模块1208,用于根据场景运动状态,将相邻图像帧中的目标对象,在各阶段所分别对应的追踪区域内进行追踪识别,得到各图像帧中各目标对象的追踪结果。
在其中一个实施例中,图像检测模块1202还用于根据各图像帧对应的图像语义特征,识别各图像帧中属于追踪区域的像素点;根据像素点对各图像帧进行区域分割,确定各图像帧中的追踪区域。
在其中一个实施例中,区域划分模块1204还用于识别各图像帧中追踪区域对应的灭点和区域边缘;根据追踪区域对应的灭点和区域边缘,对追踪区域进行阶段划分,将各图像帧中的追踪区域划分为至少两个阶段。
在其中一个实施例中,场景匹配模块1206还用于分别对各图像帧进行特征提取,得到各图像帧中的特征点;根据特征点,得到各图像帧对应的场景特征;根据各图像帧的场景特征,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。
在其中一个实施例中,场景匹配模块1206还用于根据各图像帧的场景特征,建立相邻图像帧之间的特征映射矩阵;根据特征映射矩阵,确定相邻图像帧的图像中心之间的偏移;根据偏移,判定相邻图像帧之间的场景运动状态。
在其中一个实施例中,相邻图像帧为相邻的一组图像帧,相邻图像帧包括当前帧、以及与当前帧相邻的另一帧;场景匹配模块1206还用于若场景运动状态为运动,根据当前帧中目标对象所位于的阶段,确定另一帧中与所位于的阶段相邻的待追踪阶段;将当前帧中的目标对象,与另一帧中待追踪阶段所对应的追踪区域内的目标对象进行匹配;当在待追踪阶段未匹配到目标对象时,将当前帧中的目标对象,与另一帧中相应追踪区域内的目标对象进行匹配;另一帧中相应追踪区域,是在另一帧中与所位于的阶段对应的追踪区域。
在其中一个实施例中,追踪区域包括至少一个子区域;场景匹配模块1206还用于将当前帧中的目标对象所在的子区域,与另一帧中待追踪阶段所对应的追踪区域内的子区域进行匹配;当在待追踪阶段匹配到子区域时,将当前帧中的目标对象,与另一帧中相匹配的子区域内的目标对象进行匹配。
在其中一个实施例中,相邻图像帧为相邻的一组图像帧,相邻图像帧包括当前帧、以及与当前帧相邻的另一帧;场景匹配模块1206还用于若场景运动状态为未运动,根据当前帧中目标对象所位于的阶段,将当前帧中的目标对象,与另一帧中与所位于的阶段对应的追踪区域内的目标对象进行匹配;当在追踪区域内匹配到目标对象,且当前帧与另一帧中目标对象对应的变化差异满足条件阈值时,将相邻图像帧中相匹配的目标对象标记为同一个目标对象。
在其中一个实施例中,区域划分后的各图像帧按照帧间序列存放于追踪池中;追踪识别模块1208还用于若在相邻图像帧中识别到相匹配的目标对象,则继续在追踪池中的下一组相邻图像帧之间,对目标对象进行追踪识别;若超过连续预设组数的相邻图像帧中均未识别到相匹配的目标对象,则结束对未被匹配的目标对象的追踪识别;直到追踪池中的各图像帧中的各目标对象均匹配完成后,得到连续的图像帧中每一个目标对象对应的追踪结果。
在其中一个实施例中,追踪识别模块1208还用于根据各图像帧中各目标对象的追踪结果,将各相邻图像帧中相匹配的目标对象标记为同一个目标对象;对连续的图像帧中包括同一个目标对象的图像帧进行聚合,得到每个目标对象对应的图像帧集合。
在其中一个实施例中,追踪结果包括各目标对象在各图像帧中的置信度;追踪识别模块908还用于针对至少一个目标对象,从目标对象所对应的图像帧集合中,提取置信度满足条件的目标对象对应的图像帧;根据提取的图像帧中的追踪结果,对图像帧集合中待矫正的图像帧中的追踪结果进行矫正;待矫正的图像帧,是置信度未满足条件的目标对象对应的图像帧。
在其中一个实施例中,各图像帧分别携带对应的地理位置信息,装置还包括地图标记模块,用于根据各图像帧的地理位置信息和各目标对象的追踪结果,确定各目标对象对应的地理位置信息,并根据地理位置信息生成与各目标对象对应的物理点标识;根据各物理点标识的地理位置信息,在电子地图上标记各物理点标识,生成包括各物理点标识的电子地图。
关于目标识别装置的具体限定可以参见上文中对于目标识别方法的限定,在此不再赘述。上述目标识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,也可以是服务器,其内部结构图可以如图13所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储连续的图像帧以及处理过程中的数据和追踪结果等数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标识别方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (24)

1.一种目标识别方法,其特征在于,所述方法包括:
在获取的连续的图像帧中,确定各所述图像帧中针对目标对象的追踪区域;
按照连续的图像帧中追踪区域的发展过程,将各所述图像帧中的所述追踪区域划分为至少两个阶段;划分后的每个阶段是追踪区域中的部分区域,划分成的多个阶段,共同组成整个追踪区域;
对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态;所述相邻图像帧为相邻的一组图像帧,所述相邻图像帧包括当前帧、以及与所述当前帧相邻的另一帧;
若所述场景运动状态为运动,根据所述当前帧中所述目标对象所位于的阶段,确定另一帧中与所述所位于的阶段相邻的待追踪阶段;将所述当前帧中的所述目标对象,与所述另一帧中所述待追踪阶段所对应的追踪区域内的目标对象进行匹配;当在所述待追踪阶段未匹配到所述目标对象时,将所述当前帧中的所述目标对象,与所述另一帧中相应追踪区域内的目标对象进行匹配,得到各所述图像帧中各所述目标对象的追踪结果;所述另一帧中相应追踪区域,是在所述另一帧中与所述所位于的阶段对应的追踪区域;
若所述场景运动状态为未运动,根据所述当前帧中所述目标对象所位于的阶段,将所述当前帧中的所述目标对象,与所述另一帧中与所述所位于的阶段对应的追踪区域内的目标对象进行匹配。
2.根据权利要求1所述的方法,其特征在于,所述确定各所述图像帧中针对目标对象的追踪区域,包括:
根据各所述图像帧对应的图像语义特征,识别各所述图像帧中属于追踪区域的像素点;
根据所述像素点对各所述图像帧进行区域分割,确定各所述图像帧中的所述追踪区域。
3.根据权利要求1所述的方法,其特征在于,所述将各所述图像帧中的所述追踪区域划分为至少两个阶段,包括:
识别各所述图像帧中所述追踪区域对应的灭点和区域边缘;
根据所述追踪区域对应的灭点和区域边缘,对所述追踪区域进行阶段划分,将各所述图像帧中的所述追踪区域划分为至少两个阶段。
4.根据权利要求1所述的方法,其特征在于,所述对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态,包括:
分别对各所述图像帧进行特征提取,得到各所述图像帧中的特征点;
根据所述特征点,得到各所述图像帧对应的场景特征;
根据各所述图像帧的所述场景特征,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。
5.根据权利要求4所述的方法,其特征在于,所述根据各所述图像帧的所述场景特征,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态,包括:
根据各所述图像帧的场景特征,建立相邻图像帧之间的特征映射矩阵;
根据所述特征映射矩阵,确定相邻图像帧的图像中心之间的偏移;
根据所述偏移,判定相邻图像帧之间的场景运动状态。
6.根据权利要求1所述的方法,其特征在于,所述追踪区域包括至少一个子区域;所述将所述当前帧中的所述目标对象,与所述另一帧中所述待追踪阶段所对应的追踪区域内的目标对象进行匹配,包括:
将所述当前帧中的所述目标对象所在的子区域,与所述另一帧中所述待追踪阶段所对应的追踪区域内的子区域进行匹配;
当在所述待追踪阶段匹配到所述子区域时,将所述当前帧中的所述目标对象,与所述另一帧中相匹配的子区域内的目标对象进行匹配。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当在所述追踪区域内匹配到所述目标对象,且所述当前帧与所述另一帧中所述目标对象对应的变化差异满足条件阈值时,将相邻图像帧中相匹配的目标对象标记为同一个目标对象。
8.根据权利要求1所述的方法,其特征在于,所述区域划分后的各所述图像帧按照帧间序列存放于追踪池中;所述方法还包括:
若在相邻图像帧中识别到相匹配的目标对象,则继续在所述追踪池中的下一组相邻图像帧之间,对所述目标对象进行追踪识别;
若超过连续预设组数的相邻图像帧中均未识别到相匹配的目标对象,则结束对未被匹配的目标对象的追踪识别;
直到所述追踪池中的各所述图像帧中的各目标对象均匹配完成后,得到所述连续的图像帧中每一个目标对象对应的追踪结果。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据各所述图像帧中各所述目标对象的追踪结果,将各相邻图像帧中相匹配的目标对象标记为同一个目标对象;
对所述连续的图像帧中包括同一个目标对象的图像帧进行聚合,得到每个目标对象对应的图像帧集合。
10.根据权利要求9所述的方法,其特征在于,所述追踪结果包括各所述目标对象在各所述图像帧中的置信度;所述方法还包括:
针对至少一个目标对象,从所述目标对象所对应的图像帧集合中,提取所述置信度满足条件的目标对象对应的图像帧;
根据提取的所述图像帧中的追踪结果,对所述图像帧集合中待矫正的图像帧中的追踪结果进行矫正;所述待矫正的图像帧,是所述置信度未满足条件的所述目标对象对应的图像帧。
11.根据权利要求1至10任意一项所述的方法,其特征在于,各所述图像帧分别携带对应的地理位置信息,所述方法还包括:
根据各所述图像帧的地理位置信息和各所述目标对象的追踪结果,确定各所述目标对象对应的地理位置信息;
根据各所述目标对象对应的地理位置信息,在电子地图上标记与各所述目标对象对应的物理点标识。
12.一种目标识别装置,其特征在于,所述装置包括:
图像检测模块,用于在获取的连续的图像帧中,确定各所述图像帧中针对目标对象的追踪区域;
区域划分模块,用于按照连续的图像帧中追踪区域的发展过程,将各所述图像帧中的所述追踪区域划分为至少两个阶段;划分后的每个阶段是追踪区域中的部分区域,划分成的多个阶段,共同组成整个追踪区域;
场景匹配模块,用于对相邻图像帧进行场景匹配,得到在相邻图像帧之间的场景运动状态;所述相邻图像帧为相邻的一组图像帧,所述相邻图像帧包括当前帧、以及与所述当前帧相邻的另一帧;
追踪识别模块,用于若所述场景运动状态为运动,根据所述当前帧中所述目标对象所位于的阶段,确定另一帧中与所述所位于的阶段相邻的待追踪阶段;将所述当前帧中的所述目标对象,与所述另一帧中所述待追踪阶段所对应的追踪区域内的目标对象进行匹配;当在所述待追踪阶段未匹配到所述目标对象时,将所述当前帧中的所述目标对象,与所述另一帧中相应追踪区域内的目标对象进行匹配,得到各所述图像帧中各所述目标对象的追踪结果;所述另一帧中相应追踪区域,是在所述另一帧中与所述所位于的阶段对应的追踪区域;若所述场景运动状态为未运动,根据所述当前帧中所述目标对象所位于的阶段,将所述当前帧中的所述目标对象,与所述另一帧中与所述所位于的阶段对应的追踪区域内的目标对象进行匹配。
13.根据权利要求12所述的装置,其特征在于,所述图像检测模块,还用于:
根据各所述图像帧对应的图像语义特征,识别各所述图像帧中属于追踪区域的像素点;
根据所述像素点对各所述图像帧进行区域分割,确定各所述图像帧中的所述追踪区域。
14.根据权利要求12所述的装置,其特征在于,所述区域划分模块,还用于:
识别各所述图像帧中所述追踪区域对应的灭点和区域边缘;
根据所述追踪区域对应的灭点和区域边缘,对所述追踪区域进行阶段划分,将各所述图像帧中的所述追踪区域划分为至少两个阶段。
15.根据权利要求12所述的装置,其特征在于,所述场景匹配模块,还用于:
分别对各所述图像帧进行特征提取,得到各所述图像帧中的特征点;
根据所述特征点,得到各所述图像帧对应的场景特征;
根据各所述图像帧的所述场景特征,对相邻图像帧进行场景匹配,得到相邻图像帧之间的场景运动状态。
16.根据权利要求15所述的装置,其特征在于,所述场景匹配模块,还用于:
根据各所述图像帧的场景特征,建立相邻图像帧之间的特征映射矩阵;
根据所述特征映射矩阵,确定相邻图像帧的图像中心之间的偏移;
根据所述偏移,判定相邻图像帧之间的场景运动状态。
17.根据权利要求12所述的装置,其特征在于,所述追踪区域包括至少一个子区域;所述追踪识别模块,还用于:
将所述当前帧中的所述目标对象所在的子区域,与所述另一帧中所述待追踪阶段所对应的追踪区域内的子区域进行匹配;
当在所述待追踪阶段匹配到所述子区域时,将所述当前帧中的所述目标对象,与所述另一帧中相匹配的子区域内的目标对象进行匹配。
18.根据权利要求12所述的装置,其特征在于,所述装置还用于:
当在所述追踪区域内匹配到所述目标对象,且所述当前帧与所述另一帧中所述目标对象对应的变化差异满足条件阈值时,将相邻图像帧中相匹配的目标对象标记为同一个目标对象。
19.根据权利要求12所述的装置,其特征在于,所述区域划分后的各所述图像帧按照帧间序列存放于追踪池中;所述装置还用于:
若在相邻图像帧中识别到相匹配的目标对象,则继续在所述追踪池中的下一组相邻图像帧之间,对所述目标对象进行追踪识别;
若超过连续预设组数的相邻图像帧中均未识别到相匹配的目标对象,则结束对未被匹配的目标对象的追踪识别;
直到所述追踪池中的各所述图像帧中的各目标对象均匹配完成后,得到所述连续的图像帧中每一个目标对象对应的追踪结果。
20.根据权利要求12所述的装置,其特征在于,所述装置还用于:
根据各所述图像帧中各所述目标对象的追踪结果,将各相邻图像帧中相匹配的目标对象标记为同一个目标对象;
对所述连续的图像帧中包括同一个目标对象的图像帧进行聚合,得到每个目标对象对应的图像帧集合。
21.根据权利要求20所述的装置,其特征在于,所述追踪结果包括各所述目标对象在各所述图像帧中的置信度;所述装置还用于:
针对至少一个目标对象,从所述目标对象所对应的图像帧集合中,提取所述置信度满足条件的目标对象对应的图像帧;
根据提取的所述图像帧中的追踪结果,对所述图像帧集合中待矫正的图像帧中的追踪结果进行矫正;所述待矫正的图像帧,是所述置信度未满足条件的所述目标对象对应的图像帧。
22.根据权利要求12至21任意一项所述的装置,其特征在于,各所述图像帧分别携带对应的地理位置信息,所述装置还用于:
根据各所述图像帧的地理位置信息和各所述目标对象的追踪结果,确定各所述目标对象对应的地理位置信息;
根据各所述目标对象对应的地理位置信息,在电子地图上标记与各所述目标对象对应的物理点标识。
23.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。
24.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。
CN202011229582.2A 2020-11-06 2020-11-06 目标识别方法、装置、计算机设备和存储介质 Active CN112215205B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011229582.2A CN112215205B (zh) 2020-11-06 2020-11-06 目标识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011229582.2A CN112215205B (zh) 2020-11-06 2020-11-06 目标识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112215205A CN112215205A (zh) 2021-01-12
CN112215205B true CN112215205B (zh) 2022-10-18

Family

ID=74056665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011229582.2A Active CN112215205B (zh) 2020-11-06 2020-11-06 目标识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112215205B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378958A (zh) * 2021-06-24 2021-09-10 北京百度网讯科技有限公司 自动标注方法、装置、设备、存储介质及计算机程序产品
CN114494990A (zh) * 2021-12-21 2022-05-13 长视科技股份有限公司 一种目标检测方法、系统、终端设备及存储介质
CN118261941B (zh) * 2024-04-12 2024-10-01 嘉达鼎新信息技术(苏州)有限公司 基于视觉大模型的ai图像目标追踪与合成方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470354A (zh) * 2018-03-23 2018-08-31 云南大学 视频目标跟踪方法、装置和实现装置
CN110060276A (zh) * 2019-04-18 2019-07-26 腾讯科技(深圳)有限公司 对象追踪方法、追踪处理方法、相应的装置、电子设备
CN110473227A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 目标跟踪方法、装置、设备及存储介质
CN111091115A (zh) * 2019-12-31 2020-05-01 深圳中兴网信科技有限公司 车辆监控方法、装置、计算机设备及存储介质
JP2020149641A (ja) * 2019-03-15 2020-09-17 オムロン株式会社 物体追跡装置および物体追跡方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108470354A (zh) * 2018-03-23 2018-08-31 云南大学 视频目标跟踪方法、装置和实现装置
JP2020149641A (ja) * 2019-03-15 2020-09-17 オムロン株式会社 物体追跡装置および物体追跡方法
CN110060276A (zh) * 2019-04-18 2019-07-26 腾讯科技(深圳)有限公司 对象追踪方法、追踪处理方法、相应的装置、电子设备
CN110473227A (zh) * 2019-08-21 2019-11-19 图谱未来(南京)人工智能研究院有限公司 目标跟踪方法、装置、设备及存储介质
CN111091115A (zh) * 2019-12-31 2020-05-01 深圳中兴网信科技有限公司 车辆监控方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN112215205A (zh) 2021-01-12

Similar Documents

Publication Publication Date Title
CN112215205B (zh) 目标识别方法、装置、计算机设备和存储介质
CN111666921B (zh) 车辆控制方法、装置、计算机设备和计算机可读存储介质
CN112699834B (zh) 交通标识检测方法、装置、计算机设备和存储介质
CN107967457A (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN112257668A (zh) 主辅路判断方法、装置、电子设备及存储介质
CN116883610A (zh) 基于车辆识别与轨迹映射的数字孪生路口构建方法和系统
CN114199223A (zh) 提供用于创建数字地图的数据的方法和设备及程序产品
Xiao et al. Geo-spatial aerial video processing for scene understanding and object tracking
CN113450457B (zh) 道路重建方法、装置、计算机设备和存储介质
CN110636248B (zh) 目标跟踪方法与装置
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN114677330A (zh) 一种图像处理方法、电子设备及存储介质
CN114299230A (zh) 一种数据生成方法、装置、电子设备及存储介质
CN111767839B (zh) 一种车辆行驶轨迹确定方法、装置、设备及介质
CN117011413B (zh) 道路图像重建方法、装置、计算机设备和存储介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN112053439A (zh) 图像中实例属性信息确定方法、装置、设备及存储介质
CN114419338B (zh) 图像处理方法、装置、计算机设备和存储介质
CN115731287B (zh) 基于集合与拓扑空间的运动目标检索方法
CN117011481A (zh) 构建三维地图的方法、装置、电子设备及存储介质
CN113836251B (zh) 一种认知地图构建方法、装置、设备及介质
CN112529116B (zh) 场景元素融合处理方法、装置和设备及计算机存储介质
CN112669346B (zh) 一种路面突发状况确定方法及装置
CN114820931A (zh) 基于虚拟现实的智慧城市cim可视化实时成像方法
CN113705304A (zh) 一种图像处理方法、装置、存储介质及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40037373

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant