CN115294162B - 目标识别方法、装置、设备及存储介质 - Google Patents

目标识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115294162B
CN115294162B CN202211225265.2A CN202211225265A CN115294162B CN 115294162 B CN115294162 B CN 115294162B CN 202211225265 A CN202211225265 A CN 202211225265A CN 115294162 B CN115294162 B CN 115294162B
Authority
CN
China
Prior art keywords
target
image frame
pixel
image
pixel block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211225265.2A
Other languages
English (en)
Other versions
CN115294162A (zh
Inventor
徐东
赵俊
林国飞
李文娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211225265.2A priority Critical patent/CN115294162B/zh
Publication of CN115294162A publication Critical patent/CN115294162A/zh
Application granted granted Critical
Publication of CN115294162B publication Critical patent/CN115294162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20052Discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Computing Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种目标识别方法、装置、设备及存储介质,涉及图像处理领域。该方法包括:获取目标图像帧;对目标图像帧中的图像内容进行边缘检测,得到目标图像帧中的边缘点坐标;基于边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与像素块对应的目标变换矩阵;基于像素块与目标变换矩阵之间的对应关系,以目标变换矩阵对像素块进行矩阵变换,并得到与目标图像帧对应的图像帧特征表示;基于图像帧特征表示将目标对象从目标图像帧中分离。通过以上方式,能够区别性地对待不同边缘点坐标对应的像素块,强化目标对象与图像背景之间的差异。本申请可应用于云技术、人工智能、智慧交通等各种场景。

Description

目标识别方法、装置、设备及存储介质
技术领域
本申请实施例涉及图像处理领域,特别涉及一种目标识别方法、装置、设备及存储介质。
背景技术
目标检测是计算机视觉研究的重点问题之一,是理解图像高层语义信息的重要基础。目标检测的主要任务是根据输入图像定位感兴趣的目标,以边界框(Bounding Box)的形式标识目标的具体位置。
相关技术中,考虑到在动态场景下,背景运动相对缓慢,而目标运动相对迅速,因此通常采用差值法,将前后两帧或多帧图像做差值。根据差值的大小差异确定动态目标,其中,背景的差值通常较小或基本为零,而动态目标的差值较大。
然而,当动态场景下动态目标的移动速度缓慢时,上述差值法无法对动态目标和背景进行有效区别,从而影响动态目标的有效识别过程。
发明内容
本申请实施例提供了一种目标识别方法、装置、设备及存储介质,能够区别性地对待不同边缘点坐标对应的像素块,强化目标对象与图像背景之间的差异,提高了目标对象的识别准确性。所述技术方案如下。
一方面,提供了一种目标识别方法,所述方法包括:
获取目标图像帧,所述目标图像帧中包括目标对象;
对所述目标图像帧中的图像内容进行边缘检测,得到所述目标图像帧中的边缘点坐标;
基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与所述像素块对应的目标变换矩阵,其中,所述像素块与所述目标变换矩阵之间存在一一对应关系;
基于所述像素块与所述目标变换矩阵之间的对应关系,以所述目标变换矩阵对所述像素块进行矩阵变换,并得到与所述目标图像帧对应的图像帧特征表示;
基于所述图像帧特征表示将所述目标对象从所述目标图像帧中分离,得到所述目标对象在所述目标图像帧中的位置。
另一方面,提供了一种目标识别装置,所述装置包括:
图像获取模块,用于获取目标图像帧,所述目标图像帧中包括目标对象;
边缘检测模块,用于对所述目标图像帧中的图像内容进行边缘检测,得到所述目标图像帧中的边缘点坐标;
矩阵获取模块,用于基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与所述像素块对应的目标变换矩阵,其中,所述像素块与所述目标变换矩阵之间存在一一对应关系;
矩阵变换模块,用于基于所述像素块与所述目标变换矩阵之间的对应关系,以所述目标变换矩阵对所述像素块进行矩阵变换,并得到与所述目标图像帧对应的图像帧特征表示;
目标分类模块,用于基于所述图像帧特征表示将所述目标对象从所述目标图像帧中分离,得到所述目标对象在所述目标图像帧中的位置。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述目标识别方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本申请实施例中任一所述的目标识别方法。
另一方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的目标识别方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
对包括目标对象的目标图像帧进行边缘检测后得到边缘点坐标,基于边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与像素块对应的目标变换矩阵,并以目标变换矩阵对像素块进行矩阵变换,得到与目标图像帧对应的图像帧特征表示;从而通过图像帧特征表示将目标对象从目标图像帧中分离。以此针对不同图像帧本身进行分析,避免依赖多个图像帧之间的关系进行目标识别过程,通过区别性地对待不同边缘点坐标对应的像素块,尽可能弱化不能将目标对象从目标图像帧中分离的像素块,并尽可能强化能将目标对象从目标图像帧中分离的像素块,得到更加便于将目标对象从目标图像帧中进行分离的图像帧特征表示,在强化了目标对象与图像背景之间的差异的情况下,使得目标对象能够更准确地从目标图像帧分离出来,提高对目标对象的识别准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的实施环境示意图;
图2是本申请一个示例性实施例提供的目标识别方法流程图;
图3是本申请另一个示例性实施例提供的目标识别方法流程图;
图4是本申请再一个示例性实施例提供的目标识别方法流程图;
图5是本申请一个示例性实施例提供的目标图像帧的示意图;
图6是本申请一个示例性实施例提供的进行边缘检测后的目标图像帧的示意图;
图7是本申请一个示例性实施例提供的应用目标识别方法后显示识别框的界面示意图;
图8是本申请一个示例性实施例提供的特征预处理部分的方法流程图;
图9是本申请一个示例性实施例提供的神经网络目标识别部分的方法流程图;
图10是本申请一个示例性实施例提供的空间关系标记的示意图;
图11是本申请一个示例性实施例提供的通过神经网络卷积器确定权重的示意图;
图12是本申请一个示例性实施例提供的目标识别装置的结构框图;
图13是本申请一个示例性实施例提供的服务器的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
相关技术中,考虑到在动态场景下,背景运动相对缓慢,而目标运动相对迅速,因此通常采用差值法,将前后两帧或多帧图像做差值。根据差值的大小差异确定动态目标,其中,背景的差值通常较小或基本为零,而动态目标的差值较大。然而,当动态场景下动态目标的移动速度缓慢时,上述差值法无法对动态目标和背景进行有效区别,从而影响动态目标的有效识别过程。
本申请实施例中,提供了一种目标识别方法,能够区别性地对待不同边缘点坐标对应的像素块,强化目标对象与图像背景之间的差异,提高了目标对象的识别准确性。针对本申请训练得到的目标识别方法,在应用时包括影视视频中的人物识别场景、交通录像中的车辆识别场景、游戏运行中的虚拟角色识别场景等多种场景中的至少一种。值得注意的是,上述应用场景仅为示意性的举例,本实施例提供的目标识别方法还可以应用于其他场景中,本申请实施例对此不加以限定。
需要说明的是,本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号,均为经用户授权或者经过各方充分授权的,且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如,本申请中涉及到的图像数据、坐标点数据等都是在充分授权的情况下获取的。
其次,对本申请实施例中涉及的实施环境进行说明,示意性的,请参考图1,该实施环境中涉及终端110、服务器120,终端110和服务器120之间通过通信网络130连接。
在一些实施例中,终端110中安装有图像获取功能的应用程序;或者,终端110中安装有视频播放功能的应用程序;或者,终端110中安装有显示虚拟场景的游戏应用程序等。终端110将获取得到的图像、视频播放过程中的视频帧或者虚拟场景对应的画面帧等图像作为目标图像帧,其中,在目标图像帧中包括目标对象。示意性的,终端110通过上述方式获取得到目标视频帧,或者,终端110将通过上述方式获取得到目标视频帧发送至服务器120,使得服务器120获取得到目标图像帧。
本申请实施例提供的目标识别方法可以由终端110单独执行实现,也可以由服务器120执行实现,或者由终端110和服务器120通过数据交互实现,本申请实施例对此不加以限定。可选地,以服务器120对目标图像帧进行分析为例进行说明。
可选地,服务器120在接收终端110发送的目标图像帧后,对目标图像帧中的图像内容进行边缘检测,得到目标图像帧中的边缘点坐标。例如:对目标图像帧中的图像内容进行边缘检测后,得到边缘点坐标1和边缘点数据2。
此外,根据目标图像帧中不同图像坐标对应的像素值之间的变化情况,确定目标图像帧对应的变化幅度阈值,并将边缘点坐标对应的像素块内像素值的变化幅度与目标图像帧对应的变化幅度阈值进行比较,根据比较的幅度差异结果获取与像素块对应的目标变换矩阵。其中,像素块与目标变换矩阵之间存在一一对应关系,例如:根据边缘点坐标1对应的像素块1内像素值的变化幅度与变化幅度阈值之间的差异获取与像素块1对应的目标变换矩阵1;根据边缘点坐标2对应的像素块2内像素值的变化幅度与变化幅度阈值之间的差异获取与像素块2对应的目标变换矩阵2。
之后,基于像素块与目标变换矩阵之间的对应关系,以目标变换矩阵对像素块进行矩阵变换,并得到与目标图像帧对应的图像帧特征表示。例如:以目标变换矩阵1对像素块1进行矩阵变换,以目标变换矩阵2对像素块2进行矩阵变换,从而综合分析多个矩阵变换后的像素块,得到与目标图像帧对应的图像帧特征表示。基于图像帧特征表示将目标对象从目标图像帧中分离,得到目标对象在目标图像帧中的位置,实现对目标对象进行识别的过程。可选地,服务器120将对目标对象的识别结果发送至终端110上,终端110对目标对象进行显示;或者,终端显示目标对象被识别到的特效(如:识别框等)。
值得注意的是,上述终端包括但不限于手机、平板电脑、便携式膝上笔记本电脑、智能语音交互设备、智能家电、车载终端等移动终端,也可以实现为台式电脑等;上述服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
其中,云技术(Cloud technology)是指在广域网或局域网内将硬件、应用程序、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。
在一些实施例中,上述服务器还可以实现为区块链系统中的节点。
结合上述名词简介和应用场景,对本申请提供的目标识别方法进行说明,以该方法应用于服务器为例进行说明,如图2所示,该方法包括如下步骤210至步骤250。
步骤210,获取目标图像帧。
示意性的,目标图像帧是从目标视频中获取得到的视频帧;或者,目标图像帧用于指示获取得到的图像数据;目标图像帧用于指示从游戏的虚拟画面中获取得到的画面帧等。
例如:在游戏运行过程中展示虚拟画面,虚拟画面由若干个画面帧组成,从若干个画面帧中任意获取一个或者多个画面帧,将获取得到的画面帧作为目标画面帧;或者,将获取得到的一个或者多个图像作为目标图像帧等。
其中,目标图像帧中包括目标对象。
目标对象用于指示对图像帧进行目标识别后需要准确识别到的对象。可选地,目标对象实现为目标人物、目标虚拟角色、目标移动物体等多种形式。将目标对象确定为游戏中的目标虚拟角色A。
示意性的,目标图像帧中包括至少一个目标对象。例如:在游戏显示的虚拟画面中,将目标对象确定为游戏中的目标虚拟角色A;或者,将目标对象确定为游戏中的目标虚拟角色A和目标虚拟角色B等。
在一些实施例中,在获取目标图像帧时,以目标对象为目标采集点,根据目标对象的位置获取包括目标对象的目标图像帧。例如:首先确定目标虚拟角色A为目标对象,在获取目标图像帧时,根据目标虚拟角色A在虚拟画面中的位置,从包括目标虚拟角色A的多个画面帧中,选择至少一个画面帧作为目标画面帧。
在一些实施例中,在获取目标图像帧后,将目标图像帧中的重点描述对象作为目标对象。
示意性的,获取目标图像帧的目的是为了描述车辆的运行状态,则在获取目标图像帧后,将目标图像帧中的车辆作为目标对象等。
步骤220,对目标图像帧中的图像内容进行边缘检测,得到目标图像帧中的边缘点坐标。
示意性的,边缘检测是一种图像特征提取方法,用于找到目标图像帧中像素亮度发生明显变化的像素点集合,通常这些像素点集合表现为轮廓形状、区域形状等。图像内容用于指示目标图像帧中所包含的具有一定边缘的内容。例如:目标图像帧中的图像内容为目标人物、建筑物、草地等。
其中,边缘即为目标图像帧上灰度变化很快的像素点的集合。
可选地,目标图像帧上某个像素点的灰度值变化超过预设变化阈值,则将该像素点作为边缘点。示意性的,在对目标图像帧中的图像内容进行边缘检测后,检测到多个像素点的灰度值变化超过预设变化阈值,则将多个像素点作为边缘点,从而获得目标图像帧中的多个边缘点;或者,在对目标图像帧中的图像内容进行边缘检测后,检测到多个像素点的灰度值变化速度超过预设变化速度阈值,则将多个像素点作为边缘点,从而获得目标图像帧中的多个边缘点等。
可选地,在目标图像帧中,除包括目标图像外,还包括除目标对象之外的图像背景,图像背景的像素值与目标对象的像素值通常存在较大差异,通过边缘检测方法,能够将目标对象与图像背景以较粗粒度的方式进行区分。例如:在对目标图像帧中的图像内容进行边缘检测后,将得到的多个边缘点进行连接并得到一定的边缘区域,该边缘区域大致表示了目标图像的区域范围。
示意性的,在获取得到边缘点后,确定边缘点在目标图像帧上的图像坐标,将该图像坐标作为边缘点坐标。例如:在经过边缘检测获取得到多个边缘点后,分别确定多个边缘点在目标图像帧上的图像坐标,将图像坐标作为与边缘点对应的边缘点坐标。
在一些实施例中,采用霍夫变换的方法对目标图像帧中的图像内容进行边缘检测,并获取得到多个边缘点;或者;采用索贝尔(Sobel)算子,根据像素点上下左右邻点的灰度加权差,对目标图像帧中的图像内容进行边缘检测,当检测到灰度加权差达到极值,则将该点作为边缘点;或者;采用Canny算子对目标图像帧中的图像内容进行边缘检测等。
值得注意的是,以上仅为示意性的举例,本申请实施例对此不加以限定。
步骤230,基于边缘点坐标对应的像素块内像素值的变化幅度和目标图像帧对应的变化幅度阈值之间的差异,获取与像素块对应的目标变换矩阵。
其中,变化幅度阈值为预先确定的幅度阈值。可选地,变化幅度阈值根据目标图像帧中的多个像素值进行确定;或者,变化幅度阈值是预先设定的一个固定数值等。
示意性的,以变化幅度阈值是根据目标图像帧中的多个像素值进行确定的数值为例进行说明。在获取目标图像帧中多个图像坐标分别对应的像素值后,以每一个图像坐标为分析坐标,确定该图像坐标周围的至少一个其余图像坐标,并分析至少一个图像坐标对应的像素值与该图像坐标对应的像素值之间的像素变化幅度,从而得到多个图像坐标分别对应的像素变化幅度。可选地,基于多个图像坐标分别对应的像素变化幅度确定目标图像帧对应的变化幅度阈值。
示意性的,将多个图像坐标分别对应的像素变化幅度的变化幅度均值作为目标图像帧对应的变化幅度阈值;或者,从多个图像坐标分别对应的像素变化幅度中确定像素变化幅度的中位数,将该中位数作为目标图像帧对应的变化幅度阈值;或者,将多个图像坐标分别对应的像素变化幅度的变化幅度均值的指定倍数,作为目标图像帧对应的变化幅度阈值等。
可选地,边缘点坐标对应的像素块中包括边缘点坐标对应的像素点和其他至少一个图像坐标对应的像素点。示意性的,根据预设选择标准,将边缘点坐标对应的像素点和周围的至少一个图像坐标对应的像素点组成像素块。在获取边缘点坐标对应的像素块时,根据预设选择标准,通过边缘点坐标组成该边缘点坐标对应的像素块。
或者,对目标图像帧进行分割,得到分割之后得到的多个目标子图像帧,将多个目标子图像帧分别作为一个像素块,像素块中包括至少两个像素点,在获取边缘点坐标对应的像素块时,通过边缘点坐标确定该边缘点坐标对应的目标子图像帧,并将该目标子图像帧作为该边缘点坐标对应的像素块。
在一些实施例中,在获取得到边缘点坐标后,确定边缘点坐标对应的像素块内的至少一个图像坐标,获取边缘点坐标对应的像素值,以及至少一个图像坐标对应像素值,根据边缘点坐标对应的像素值与至少一个图像坐标对应的像素值,确定边缘点坐标对应的像素值与至少一个图像坐标对应的像素值之间的像素值的变化幅度。
示意性的,在获取得到边缘点坐标M后,将边缘点坐标M左侧的图像坐标N作为被选取的像素块内的至少一个图像坐标,获取边缘点坐标M对应的像素值,以及至少一个图像坐标N对应像素值,根据边缘点坐标M对应的像素值和图像坐标N对应像素值之间的梯度变化情况,确定边缘点坐标M对应的像素值的变化幅度。
或者,在获取得到边缘点坐标M后,将边缘点坐标M上侧的图像坐标N1、下侧的图像坐标N2、左侧的图像坐标N3以及右侧的图像坐标N4作为被选取的像素块内的至少一个图像坐标,获取边缘点坐标M对应的像素值,以及与图像坐标N1、图像坐标N2、图像坐标N3以及图像坐标N4分别对应的像素值,根据边缘点坐标M对应的像素值和图像坐标N1、图像坐标N2、图像坐标N3以及图像坐标N4对应像素值之间的梯度变化情况,确定边缘点坐标M对应的像素值的变化幅度,例如:确定边缘点坐标M对应的像素值和图像坐标N1、图像坐标N2对应像素值之间的第一梯度,以及边缘点坐标M对应的像素值和图像坐标N3、图像坐标N4对应像素值之间的第二梯度,将第一梯度和第二梯度之间的梯度平均值作为边缘点坐标M对应的像素值的变化幅度等。
值得注意的是,以上仅为示意性的举例,本申请实施例对此不加以限定。
可选地,根据边缘点坐标对应的像素块内像素值的变化幅度与变化幅度阈值之间的比较结果,对初始变换矩阵的系数进行调整,从而获取与像素块对应的目标变换矩阵。
其中,初始变换矩阵用于指示预先确定的变换矩阵。例如:初始变换矩阵为一个二维离散余弦变换公式,该二维离散余弦变换公式中包括公式系数。
示意性的,通过不同边缘点坐标对应的像素块内像素值的变化幅度与变化幅度阈值之间的比较结果,对初始变换矩阵的系数进行差异性的调整,从而得到与不同像素块分别对应的目标变换矩阵。也即:像素块与目标变换矩阵之间存在一一对应关系。
例如:在得到边缘点坐标1对应的像素块1内像素值的变化幅度与变化幅度阈值之间的比较结果1,以及边缘点坐标2对应的像素块2内像素值的变化幅度与变化幅度阈值之间的比较结果2后;根据比较结果1对初始变换矩阵的系数进行第一调整,得到与像素块1对应的目标变换矩阵1;根据比较结果2对初始变换矩阵的系数进行第二调整,得到与像素块2对应的目标变换矩阵2等。
可选地,像素块用于指示对目标图像帧进行分割后获取得到的目标子图像帧,不同的边缘点坐标可能对应不同的像素块,也可能对应相同的像素块;不同的目标子图像帧中可能存在边缘点坐标,也可能不存在边缘点坐标。
示意性的,对目标图像帧进行8*8分割后,得到64个目标子图像帧,其中,目标子图像帧1中包括边缘点坐标1和边缘点坐标2;目标子图像帧2中不包括边缘点坐标。其中,边缘点坐标1和边缘点坐标2对应的像素块是相同的像素块。
在一个可选的实施例中,当同一个像素块中包括多个边缘点坐标时,当基于边缘点坐标确定与像素块对应的目标变换矩阵时,根据该像素块中多个边缘点坐标和多个图像坐标之间的像素变化幅度,确定该像素块对应的变化幅度。
值得注意的是,以上仅为示意性的举例,本申请实施例对此不加以限定。
步骤240,基于像素块与目标变换矩阵之间的对应关系,以目标变换矩阵对像素块进行矩阵变换,并得到与目标图像帧对应的图像帧特征表示。
示意性的,在获取得到与不同像素块分别对应的目标变换矩阵后,通过不同的目标变换矩阵对对应的像素块进行矩阵变换,从而得到与不同像素块分别对应的矩阵变换结果。
例如:在得到与像素块1对应的目标变换矩阵1以及与像素块2对应的目标变换矩阵2后,以目标变换矩阵1对像素块1进行矩阵变换,得到与像素块1对应的矩阵变换结果1;以目标变换矩阵2对像素块2进行矩阵变换,得到与像素块2对应的矩阵变换结果2。
可选地,基于不同像素块分别对应的矩阵变换结果,得到与目标图像帧对应的图像帧特征表示。示意性的,将不同像素块分别对应的矩阵变换结果进行矩阵拼接,从而得到与目标图像帧对应的。
步骤250,基于图像帧特征表示将目标对象从目标图像帧中分离,得到目标对象在目标图像帧中的位置。
示意性的,在图像帧特征表示中,基于上述对边缘点坐标进行的差异性矩阵变换处理过程,增大了不同边缘点坐标的差异性特征表示,从而在基于图像帧特征表示对目标图像帧进行分析时,能够更好地对不同的边缘点坐标进行差异性识别过程。
可选地,将图像帧特征表示作为输入特征表示输入至预先训练的分类神经网络中,通过分类神经网络对图像帧特征表示进行目标识别,从而将目标对象从目标图像帧中分离,得到目标对象在目标图像帧中的位置。
值得注意的是,以上仅为示意性的举例,本申请实施例对此不加以限定。
综上所述,针对不同图像帧本身进行分析,避免依赖多个图像帧之间的关系进行目标识别过程,通过区别性地对待不同边缘点坐标对应的像素块,尽可能弱化不能将目标对象从目标图像帧中分离的像素块,并尽可能强化能将目标对象从目标图像帧中分离的像素块,得到更加便于将目标对象从目标图像帧中进行分离的图像帧特征表示。从而在通过图像帧特征表示将目标对象从目标图像帧中分离时,强化了目标对象与图像背景之间的差异,使得目标对象能够更准确地从目标图像帧分离出来,提高对目标对象的识别准确性。
在一个可选的实施例中,对目标图像帧进行分割处理,得到至少两个像素块,在确定边缘点坐标对应的像素块后,通过对初始变换矩阵的系数进行调整的方法,获取与像素块对应的目标变换矩阵。示意性的,如图3所示,上述图2所示出的实施例中的步骤230还可以实现为如下步骤310至步骤370。
步骤310,获取初始变换矩阵。
其中,初始变换矩阵为预先确定的变换矩阵。
示意性的,初始变换矩阵实现为一个如下公式一,公式一为一个二维离散余弦变换公式。
公式一:
Figure 900604DEST_PATH_IMAGE001
Figure 474805DEST_PATH_IMAGE002
其中,
Figure 424306DEST_PATH_IMAGE003
用于指示进行矩阵变换后的矩阵结果;
Figure 185589DEST_PATH_IMAGE004
Figure 760796DEST_PATH_IMAGE005
用于指示对边缘点坐标进行坐标系变换(uv变换)后的坐标表示;N=8;
Figure 658344DEST_PATH_IMAGE006
用于指示原始图像的像素值;
Figure 778747DEST_PATH_IMAGE007
Figure 292905DEST_PATH_IMAGE008
用于指示边缘点坐标。
可选地,为便于后续对初始变换矩阵进行调整,将上述的二维离散余弦变换公式进行调整,使得二维离散余弦变换公式中包括公式系数
Figure 403294DEST_PATH_IMAGE009
示意性的,上述初始变换矩阵变换为如下公式二。
公式二:
Figure 420928DEST_PATH_IMAGE010
其中,系数
Figure 774549DEST_PATH_IMAGE009
在未调整时的初始取值为1。
步骤320,获取目标图像帧中多个图像坐标分别对应的像素值。
可选地,以目标图像帧中的每个像素点为参考标准,确定目标图像帧中的多个图像坐标,并确定多个图像坐标分别对应的像素值,从而获取得到目标图像帧中多个图像坐标分别对应的像素值。
步骤330,基于多个图像坐标和多个图像坐标分别对应的像素值,获取多个图像坐标分别对应的像素变化幅度。
示意性的,像素变化幅度用于指示图像坐标对应的像素值与预设范围内的至少一个图像坐标对应的像素值之间像素值的变化情况。也即,对于多个图像坐标中的任意一个图像坐标而言,在获取得到该图像坐标的像素值以及在该图像坐标的预设范围内的至少一个其余图像坐标对应的像素值后,分析该图像坐标的像素值与至少一个其余图像坐标对应的像素值之间的像素值的变化情况,即可知悉该图像坐标对应的像素变化幅度。
在一个可选的实施例中,在对多个图像坐标中的指定图像坐标的像素变化幅度进行获取时,确定指定图像坐标和在指定图像坐标的预设范围内的至少一个图像坐标。
示意性的,在获取得到目标图像帧中的多个图像坐标后,任意选择一个图像坐标作为指定图像坐标,如:任意选择图像坐标C1作为指定图像坐标,并确定该指定图像坐标在预设范围内的至少一个图像坐标,也即:在预设范围内确定除该指定图像坐标之外的至少一个其余图像坐标。例如:将图像坐标C1周围的8个图像坐标作为在预设范围内选择的至少一个图像坐标;或者,将图像坐标C1左上角的1个图像坐标作为在预设范围内选择的至少一个图像坐标;或者,将图像坐标C1左侧的1个图像坐标和右侧的1个图像坐标作为在预设范围内选择的至少一个图像坐标等。
可选地,在确定指定图像坐标和在指定图像坐标的预设范围内的至少一个图像坐标后,确定指定图像坐标对应的像素值以及至少一个图像坐标分别对应的像素值。
示意性的,以图像坐标C1左上角的1个图像坐标O作为在预设范围内选择的至少一个图像坐标,确定图像坐标C1对应的像素值以及与图像坐标O对应的像素值。
在一个可选的实施例中,基于至少一个图像坐标对应的像素值和指定图像坐标对应的像素值的梯度变化情况,确定指定图像坐标对应的像素变化幅度。
示意性的,计算图像坐标C1对应的像素值与图像坐标O对应的像素值之间的梯度值,将该梯度值作为指定图像坐标对应的像素变化幅度。
可选地,计算图像坐标C1对应的像素值与图像坐标O对应的像素值之间的像素值之差,将该像素值之差作为指定图像坐标对应的像素变化幅度等。
可选地,基于上述对多个图像坐标中指定图像坐标的像素变化幅度进行确定的方法,对多个图像坐标分别进行分析,确定与多个图像坐标分别对应的像素变化幅度,从而获取得到多个图像坐标分别对应的像素变化幅度。
例如:在将图像坐标C1作为指定图像坐标进行上述分析后,确定图像坐标C1对应的像素变化幅度;之后,将图像坐标C2作为指定图像坐标进行上述分析,从而得到图像坐标C2对应的像素变化幅度等。
值得注意的是,以上仅为示意性的举例,本申请实施例对此不加以限定。
步骤340,对多个图像坐标分别对应的像素变化幅度进行均值运算,确定目标图像帧的变化幅度均值。
示意性的,在通过上述步骤330得到与多个图像坐标分别对应的像素变化幅度后,对目标图像帧中多个图像坐标分别对应的像素变化幅度进行均值运算,从而得到与目标图像帧对应的变化幅度均值。
步骤350,基于变化幅度均值确定目标图像帧对应的变化幅度阈值。
示意性的,在确定目标图像帧对应的变化幅度均值后,基于变化幅度均值确定目标图像帧对应的变化幅度阈值。
可选地,将目标图像帧对应的变化幅度均值作为目标图像帧对应的变化幅度阈值;或者,将目标图像帧对应的变化幅度均值的指定倍数,作为目标图像帧对应的变化幅度阈值。例如:在获取得到目标图像帧对应的变化幅度均值后,将1.2倍的变化幅度均值作为目标图像帧对应的变化幅度阈值等。
步骤360,对目标图像帧进行分割处理,得到目标图像帧中的多个像素块。
示意性的,将目标图像帧分割成等面积的矩形小块,从而得到至少两个等面积的目标子图像帧,目标子图像帧是由多个像素组成的图像帧,其中,存在至少一个目标子图像帧对应有边缘点坐标,将边缘点坐标对应的目标子图像帧作为与该边缘点坐标对应的像素块。
例如:将目标图像帧切割成8*8的矩阵小块,从而得到64个等面积的目标子图像帧,其中,存在多个目标子图像帧中存在边缘点坐标,将边缘点坐标对应的目标子图像帧作为上述像素块。通过上述分割方法,能够一定程度上减少对目标图像帧的计算过程。
步骤370,基于边缘点坐标对应的像素块内像素值的变化幅度和目标图像帧对应的变化幅度阈值之间的差异,对初始变换矩阵的系数进行调整,得到与像素块对应的目标变换矩阵。
其中,初始变换矩阵用于指示预先确定的变换矩阵。例如:初始变换矩阵为一个二维离散余弦变换公式,该二维离散余弦变换公式中包括公式系数。
示意性的,获取得到多个边缘点坐标后,确定与多个边缘点坐标分别对应的像素块,并确定在像素块内像素值的变化幅度。
例如:在得到目标图像帧中的多个边缘点坐标后,确定每个边缘点坐标对应的像素块,也即:确定每个边缘点坐标位于分割后的目标图像帧的哪一个区域内。可选地,在获取得到多个边缘点坐标后,另外确定与多个边缘点坐标分别对应的像素块,并根据像素块内的图像坐标和边缘点坐标,确定边缘点坐标的像素值的变化幅度。
可选地,不同边缘点坐标分别对应的像素块可能是相同的,例如:边缘点坐标1和边缘点坐标2对应的像素块均实现为像素块1;或者,不同边缘点坐标分别对应的像素块可能是不同的,例如:边缘点坐标1对应像素块1,边缘点坐标2对应像素块2等。
在确定每个边缘点坐标对应的像素块内像素值的变化幅度时,通过像素块内的图像坐标对应的像素值与该边缘点坐标对应的像素值进行确定,例如:确定该边缘点坐标对应的像素值与像素块内的图像坐标对应的像素值之间的梯度值,将该梯度值作为该边缘点坐标的像素块对应的像素值的变化幅度;或者,确定该边缘点坐标对应的像素值与像素块内的图像坐标对应的像素值之间的像素值之差,将该像素值之差作为该边缘点坐标的像素块对应的像素值的变化幅度等。
可选地,目标图像帧对应的变化幅度阈值是预先确定的数值;或者,目标图像帧对应的变化幅度阈值是根据目标图像帧确定的数值。
可选地,当目标图像帧对应的变化幅度阈值是根据目标图像帧确定的数值时,目标图像帧对应的变化幅度阈值可以实现为梯度值;或者,目标图像帧对应的变化幅度阈值可以实现为像素值之差等。
示意性的,以目标图像帧对应的变化幅度阈值实现为梯度值为例进行说明。在将边缘点坐标对应的像素块内像素值的变化幅度和目标图像帧对应的变化幅度阈值进行比较时,边缘点坐标对应的像素块内像素值的变化幅度也实现为梯度值,将该像素块对应求解得到的梯度值与实现为梯度值的变化幅度阈值进行比较,从而确定边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的比较结果。
示意性的,以目标图像帧对应的变化幅度阈值实现为像素值之差为例进行说明。在将边缘点坐标对应的像素块内像素值的变化幅度和目标图像帧对应的变化幅度阈值进行比较时,边缘点坐标对应的像素块内像素值的变化幅度也实现为像素值之差,将该像素块对应求解得到的像素值之差与实现为像素值之差的变化幅度阈值进行比较,从而确定边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的比较结果。
值得注意的是,以上仅为示意性的举例,本申请实施例对此不加以限定。
可选地,根据边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的比较结果,对初始变换矩阵的系数进行调整,从而获取与像素块对应的目标变换矩阵。
示意性的,根据不同边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间不同的比较结果,对上述二维离散余弦变换公式的系数
Figure 510424DEST_PATH_IMAGE009
进行差异性的调整,从而得到与不同像素块分别对应的目标变换矩阵。
可选地,确定边缘点坐标对应的像素块内的多个像素点。其中,多个像素点中包括边缘点坐标对应的像素点,多个像素点分别对应有像素值。
在一个可选的实施例中,以多个像素点对应的像素值之间的梯度变化情况,确定像素块对应的变化幅度;响应于像素块对应的变化幅度小于变化幅度阈值,以第一预设比例减小变换矩阵的系数。
可选地,根据边缘点坐标对应的像素块内,多个像素点对应的像素值之间的变化情况,确定该像素块对应的变化幅度。例如:根据多个像素点对应的像素值之间的梯度变化情况,确定该像素块对应的变化幅度。
示意性的,将像素块对应的变化幅度与目标图像帧对应的变化幅度阈值进行比较,当边缘点坐标对应的像素块内像素值的变化幅度小于变化幅度阈值时,以第一预设比例减小上述二维离散余弦变换公式的系数
Figure 912587DEST_PATH_IMAGE009
的取值。
其中,第一预设比例用于指示预先设定的调整比例。例如:第一预设比例为预设的调整比例数值;或者,第一预设比例为预设的调整比例区间等。其中,基于对系数进行调整的过程,第一预设比例为取值在0至1之间的数值。
示意性的,将系数
Figure 33995DEST_PATH_IMAGE009
降低一定比例(如:将系数
Figure 27359DEST_PATH_IMAGE009
降低1/8,得到系数
Figure 984951DEST_PATH_IMAGE009
的取值为0.875);或者,将系数
Figure 190804DEST_PATH_IMAGE009
降低至固定数值(如:将系数
Figure 432299DEST_PATH_IMAGE009
的取值设置为0.9);或者,根据边缘点坐标对应的像素块内像素值的变化幅度与目标图像帧对应的变化幅度阈值之间相差的程度,对系数
Figure 65405DEST_PATH_IMAGE009
的取值进行差异调整,例如:设置相差程度和系数
Figure 775872DEST_PATH_IMAGE009
取值的对照关系,当边缘点坐标对应的像素块内像素值的变化幅度与目标图像帧对应的变化幅度阈值相差程度处于第一档次(如:相差程度较大)时,将系数
Figure 785417DEST_PATH_IMAGE009
取为第一取值(系数
Figure 881417DEST_PATH_IMAGE009
的取值较小,如:0.8);当边缘点坐标对应的像素块内像素值的变化幅度与目标图像帧对应的变化幅度阈值相差程度处于第二档次(如:相差程度较小)时,将系数
Figure 747742DEST_PATH_IMAGE009
取为第二取值(系数
Figure 679926DEST_PATH_IMAGE009
的取值较大,如:0.9)等。
在一个可选的实施例中,以多个像素点对应的像素值之间的梯度变化情况,确定像素块对应的变化幅度;响应于像素块对应的变化幅度大于变化幅度阈值,以第二预设比例增大变换矩阵的系数。
可选地,根据边缘点坐标对应的像素块内,多个像素点对应的像素值之间的变化情况,确定该像素块对应的变化幅度。例如:根据多个像素点对应的像素值之间的梯度变化情况,确定该像素块对应的变化幅度。
示意性的,将像素点对应的变化幅度与变化幅度阈值进行比较,当边缘点坐标对应的像素块内像素值的变化幅度大于变化幅度阈值时,以第二预设比例增大上述二维离散余弦变换公式的系数
Figure 493161DEST_PATH_IMAGE009
的取值。
其中,第二预设比例用于指示预先设定的调整比例。例如:第二预设比例为预设的调整比例数值;或者,第二预设比例为预设的调整比例区间等。其中,基于对系数进行调整的过程,第二预设比例为取值在大于1的数值。
示意性的,将系数
Figure 459980DEST_PATH_IMAGE009
增大一定比例(如:将系数
Figure 421508DEST_PATH_IMAGE009
增大1/4,得到系数
Figure 106567DEST_PATH_IMAGE009
的取值为1.25);或者,将系数
Figure 457914DEST_PATH_IMAGE009
降低至固定数值(如:将系数
Figure 279239DEST_PATH_IMAGE009
的取值设置为1.2);或者,根据边缘点坐标对应的像素块内像素值的变化幅度与变化幅度阈值相差的程度,对系数
Figure 221788DEST_PATH_IMAGE009
的取值进行差异调整,例如:设置相差程度和系数
Figure 377831DEST_PATH_IMAGE009
取值的对照关系,当边缘点坐标对应的像素块内像素值的变化幅度与变化幅度阈值相差程度处于第一档次(如:相差程度较大)时,将系数
Figure 532869DEST_PATH_IMAGE009
取为第一取值(系数
Figure 208701DEST_PATH_IMAGE009
的取值较大,如:1.3);当边缘点坐标对应的像素块内像素值的变化幅度与目标图像帧对应的变化幅度阈值相差程度处于第二档次(如:相差程度较小)时,将系数
Figure 525413DEST_PATH_IMAGE009
取为第二取值(系数
Figure 168753DEST_PATH_IMAGE009
的取值较大,如:1.2)等。
示意性的,以变化幅度阈值为1.2倍的变化幅度均值为例进行说明。在获取得到边缘点坐标1和边缘点坐标2后,将边缘点坐标1对应的像素块1内像素值的变化幅度和边缘点坐标2对应的像素块2内像素值的变化幅度分别与变化幅度阈值进行比较。
例如:当边缘点坐标1对应的像素块1内像素值的变化幅度小于目标图像帧对应的变化幅度阈值时,减小初始变换矩阵的系数
Figure 861902DEST_PATH_IMAGE009
,以实现对初始变换矩阵的第一调整,从而得到与像素块1对应的目标变换矩阵1,该目标变换矩阵中的系数
Figure 657820DEST_PATH_IMAGE009
取值小于1;当边缘点坐标2对应的像素块2内像素值的变化幅度大于目标图像帧对应的变化幅度阈值时,增大初始变换矩阵的系数
Figure 411012DEST_PATH_IMAGE009
,以实现对初始变换矩阵的第二调整,从而得到与像素块2对应的目标变换矩阵2,该目标变换矩阵中的系数
Figure 823539DEST_PATH_IMAGE009
取值大于1等。
值得注意的是,以上仅为示意性的举例,本申请实施例对此不加以限定。
在本申请实施例中,根据不同的边缘点坐标,对初始变换矩阵的系数进行不同的调整,从而获取与像素块一一对应的目标变换矩阵,并采用目标变换矩阵对像素块进行矩阵变换,强化了目标对象与图像背景之间的差异,使得目标对象能够更准确地从目标图像帧分离出来,提高对目标对象的识别准确性。
在一个可选的实施例中,根据像素块与目标变换矩阵之间一一对应的对应关系,以目标变换矩阵对像素块进行矩阵变换,并基于多个矩阵变换的结果得到与目标图像帧对应的图像帧特征表示。示意性的,如图4所示,上述图2所示出的实施例还可以实现为如下步骤410至步骤480。
步骤410,获取目标图像帧。
其中,目标图像帧中包括目标对象。
示意性的,目标图像帧是从目标视频中获取得到的视频帧;或者,目标图像帧用于指示获取得到的图像数据;目标图像帧用于指示从游戏的虚拟画面中获取得到的画面帧等。
目标对象用于指示对图像帧进行目标识别后需要准确识别到的对象。例如:目标对象实现为目标人物、目标虚拟角色、目标移动物体等多种形式。将目标对象确定为游戏中的目标虚拟角色A。示意性的,目标图像帧中包括一个目标对象;或者,目标图像帧中包括多个目标对象,也即:可以对目标图像帧中的多个目标对象进行目标识别过程。
步骤420,对目标图像帧中的图像内容进行边缘检测,得到目标图像帧中的边缘点坐标。
示意性的,边缘检测是一种图像特征提取方法,用于找到目标图像帧中像素亮度发生明显变化的像素点集合,在对目标图像帧中的图像内容进行边缘检测后,得到目标图像帧中的多个边缘点坐标,该多个边缘点坐标包括与目标对象对应的边缘点坐标,也可能包括能够描绘出其他具有轮廓形状的物体的边缘点坐标。
在一个可选的实施例中,采用离散化梯度逼近函数,根据目标图像帧中二维灰度矩阵梯度向量来寻找灰度矩阵的灰度跃变位置,也即:边缘点位置数据。考虑到实际情况中理想的灰度阶跃及其线条边缘是很少见的,同时大多数的传感器件具有低频滤波特性,因此在边缘检测中,首先要进行的处理是滤波处理。
在一个可选的实施例中,获取图像帧。
示意性的,图像帧包括从目标视频帧中获取得到的视频帧;或者,图像帧包括从目标虚拟画面中获取得到的画面帧等。
可选地,对图像帧进行滤波处理,得到滤波后的图像帧。
示意性的,边缘检测的算法主要是基于图像强度的一阶和二阶导数,但导数通常对噪声很敏感,因此采用滤波器来改善与噪声有关的边缘检测器的性能。
可选地,采用高斯滤波方法对图像帧进行滤波处理,即采用离散化的高斯函数产生一组归一化的高斯核,然后基于高斯核函数对图像灰度矩阵的每一点进行加权求和。
示意性的,以图像帧实现为从虚拟画面中获取得到的画面帧为例进行说明。在游戏过程中,终端实时从游戏中录制虚拟画面,并将虚拟画面传输至服务器上,服务器实时提取最新的图像帧;或者,终端实时从游戏中录制虚拟画面后,由终端自行实时提取最新的图像帧等。
可选地,为便于图像处理过程,将提取得到最新的图像帧调整为256×256的图像尺寸,并将经过尺寸调整后的图像帧采用高斯滤波方法去除噪声。
其中,高斯滤波用于去除图像帧中的噪声,并平滑图像帧。示意性的,采用高斯滤波器进行高斯滤波过程,以高斯滤波器是对游戏目标检测中进行专门设计的滤波器为例,高斯滤波器中的高斯算子是一种卷积算子,高斯平滑的过程则是通过卷积来完成的。
可选地,采用图像的2D卷积算子实现平滑和去噪过程。此高斯过滤器包含两个参数,分别为窗口尺寸和标准差。高斯平滑滤波器需要将噪声区域去掉,并且在非噪声区实现平滑功能,因此通过计算游戏图像的空间域和频域的分布特性,得出了一个较佳的窗口尺寸和标准差,从而使用高斯滤波器可以实现低通滤波从而实现平滑,同时通过滤除高频的方式去除不必要的噪声。
在一个可选的实施例中,对滤波后的图像帧进行分割处理,得到至少两个目标图像帧。
示意性的,将滤波后的图像帧分割成等面积的矩形小块,从而得到至少两个等面积的目标图像帧。例如:将滤波后的图像帧切割成8*8的矩阵小块,从而得到64个等面积的目标图像帧。通过上述分割方法,不仅能够一定程度上减少离散余弦变换的计算量,还能够便于特征计算过程。
可选地,对上述进行分割处理前的滤波后的图像帧进行边缘检测,并获取得到与目标对象对应的多个边缘点坐标;或者,在经过上述分割处理得到多个目标图像帧后,对多个目标图像帧分别进行边缘检测,并获取得到与多个目标图像帧分别对应的边缘点坐标。
步骤430,基于边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与像素块对应的目标变换矩阵。
其中,像素块与目标变换矩阵之间存在一一对应关系。
示意性的,在得到上述目标图像帧后,为了进一步加大图像背景和目标对象之间的差异性,便于进行目标识别过程,基于边缘点坐标对应的像素块内像素值的变化幅度,对像素块进行调整,主要手段就是利用原始的离散余弦变换公式,对原始的离散余弦变换公式的系数进行更新,尽可能减小背景区域图像变换时的系数,增大目标区域图像变换时的系数。
可选地,获取得到多个边缘点坐标后,确定与多个边缘点坐标分别对应的像素值,以及在边缘点坐标的像素块内的图像坐标对应的像素值,从而确定边缘点坐标在像素块内像素值的变化幅度。将每一个边缘点坐标对应的像素值的变化幅度与变化幅度阈值进行比较,根据比较结果对初始变换矩阵进行调整,从而获取与每一个像素块分别对应的目标变换矩阵。
示意性的,变化幅度阈值为对目标图像帧进行分析后得到的数值。响应于边缘点坐标在像素块内对应的像素值的变化幅度小于目标图像帧对应的变化幅度阈值,减小初始变换矩阵的系数;响应于边缘点坐标在像素块内对应的像素值的变化幅度大于目标图像帧对应的变化幅度阈值,增大变换矩阵的系数等。
值得注意的是,以上仅为示意性的举例,本申请实施例对此不加以限定。
步骤440,获取与目标检测对象对应的至少两个边缘点坐标,以及与至少两个边缘点坐标分别对应的像素块。
其中,至少两个边缘点坐标包括第一边缘点坐标以及第二边缘点坐标,与第一边缘点坐标对应的像素块为第一像素块,与第二边缘点坐标对应的像素块为第二像素块,第一像素块与第二像素块不同。
步骤450,以与第一像素块对应的第一目标变换矩阵对第一像素块进行矩阵变换,得到与第一像素块对应的第一矩阵。
示意性的,第一目标变换矩阵是基于第一边缘点坐标在像素块内对应的像素值的变化幅度与变化幅度阈值之间的比较结果得到的目标变换矩阵,该第一目标变换矩阵与第一像素块相对应,能够对第一像素块进行针对性调整。例如:将第一像素块内的图像坐标代入到第一目标变换矩阵后,得到与第一像素块对应的第一矩阵,其中,第一像素块内的图像坐标包括第一边缘点坐标。
步骤460,以与第二像素块对应的第二目标变换矩阵对第二像素块进行矩阵变换,得到与第二像素块对应的第二矩阵。
示意性的,第二目标变换矩阵是基于第二边缘点坐标在像素块内对应的像素值的变化幅度与变化幅度阈值之间的比较结果得到的目标变换矩阵,该第二目标变换矩阵与第二像素块相对应,能够对第二像素块进行针对性调整。例如:将第二像素块代入到第二目标变换矩阵后,得到与第二像素块对应的第二矩阵。
步骤470,基于第一矩阵和第二矩阵,得到与目标图像帧对应的图像帧特征表示。
示意性的,在得到第一矩阵和第二矩阵后,将第一矩阵和第二矩阵进行矩阵拼接后,得到与目标图像帧对应的图像帧特征表示。
在一个可选的实施例中,获取图像像素块,图像像素块用于指示目标图像帧中不存在边缘点坐标的像素块。
示意性的,在确定边缘点坐标后,将边缘点坐标所在的一定像素区域内的像素块作为与边缘点对应的像素块;将不存在边缘点坐标且与边缘点对应的像素块不存在交集的像素块作为上述的图像像素块。
或者,在对目标图像帧进行图像分割后获取得到的至少两个目标子图像帧中,将具有边缘点坐标的目标子图像帧作为与边缘点对应的像素块;将不具有边缘点坐标的目标子图像帧作为上述的图像像素块。
可选地,以初始变换矩阵对图像像素块进行矩阵变换,得到与图像像素块对应的图像坐标矩阵。
其中,初始变换矩阵用于指示预先确定的变换矩阵。例如:初始变换矩阵为上述的二维离散余弦变换公式。
可选地,在基于目标子图像帧对初始变换矩阵对应的系数进行调整时,通过初始变换矩阵对不具有边缘点坐标的至少一个目标子图像帧进行矩阵变换。
示意性的,将不具有边缘点坐标的目标子图像帧代入上述的二维离散余弦变换公式中,其中系数
Figure 569647DEST_PATH_IMAGE009
的取值为1,从而得到对至少一个目标子图像帧进行矩阵变换后的图像坐标矩阵。
在一个可选的实施例中,将图像坐标矩阵与第一矩阵和第二矩阵进行拼接,得到与目标图像帧对应的图像帧特征表示。
示意性的,在得到与至少一个图像坐标对应的图像坐标矩阵后,将至少一个图像坐标矩阵与第一矩阵和第二矩阵进行矩阵拼接,从而得到与目标图像帧对应的图像帧特征表示。
示意性的,如图5所示,为未经过边缘检测的目标图像帧的示意图,其中包括目标对象510以及图像背景520,目标对象510为一个目标虚拟角色。
对如图5所示的目标图像帧进行边缘检测后,得到如图6所示的边缘检测示意图,在如图6所示的图像中,能够较好地识别到目标对象610的轮廓,即:目标对象610对应的目标区域620。但在进行机器学习的过程中,机器未必能够准确地将目标区域620作为目标对象610对应的区域。在通过上述方法对边缘点坐标对应的像素块进行差异性变换时,根据边缘点坐标在像素块内的像素值变化幅度,能够加大目标对象610对应的目标区域620与图像背景630对应的背景区域640的区别度,从而得到更能够区别目标区域620与背景区域640的图像帧特征表示。
例如:以对边缘点坐标621进行分析为例,该边缘点坐标621虽然代表了灰度值变化较大的边缘点,但当对边缘点坐标621在像素块内的像素值的变化幅度进行分析后,发现边缘点坐标621在像素块内的像素值的变化幅度小于变化幅度阈值,从而判断该边缘点坐标621对应的像素块并不属于划分目标区域620与背景区域640之间的像素块;基于该比较结果,采用调小系数的目标变换矩阵对边缘点坐标621对应的像素块的边缘性进行弱化。
同理,以对边缘点坐标622进行分析为例,该边缘点坐标622虽然代表了灰度值变化较大的边缘点,但当对边缘点坐标622在像素块内的像素值的变化幅度进行分析后,发现边缘点坐标622在像素块内的像素值的变化幅度大于变化幅度阈值,从而判断该边缘点坐标622对应的像素块属于划分目标区域620与背景区域640之间的像素块;基于该比较结果,采用调大系数的目标变换矩阵对边缘点坐标622对应的像素块的边缘性进行强化。
基于上述方法对多个边缘点坐标对应的像素块分别进行分析,针对不同图像帧本身进行分析,避免依赖多个图像帧之间的关系进行目标识别过程,通过区别性地对待不同边缘点坐标对应的像素块,尽可能弱化不属于划分目标区域与背景区域之间边缘点对应的像素块,并强化属于划分目标区域与背景区域之间边缘点对应的像素块,得到更加能够划分目标区域与背景区域的图像帧特征表示。
步骤480,基于图像帧特征表示将目标对象从目标图像帧中分离,得到目标对象在目标图像帧中的位置。
在通过上述方式获取得到的图像帧特征表示中,基于边缘点坐标在像素块内像素值的变化幅度,对边缘点坐标进行差异性的变换,使得图像帧特征表示能够更好地体现出目标对象与图像背景的差异,当对于图像帧特征表示进行分析时,也更便于从目标图像帧中分离得到目标对象。
在一个可选的实施例中,将图像帧特征表示输入预先训练的分类神经网络。
其中,分类神经网络用于对目标对象进行识别。
可选地,分类神经网络根据图像帧特征表示的像素差异,对图像帧特征表示进行分析,从而对目标图像帧中的目标对象进行分离,并从神经分类网络中输出得到目标对象在目标图像帧中的位置。
可选地,神经分类网络对图像帧特征表示进行超像素聚类处理,确定像素聚类结果。其中,超像素聚类处理用于将目标图像帧中具有相同聚类目标的像素进行聚类处理。
示意性的,聚类目标用于指示预设像素值区间。例如:设定第一预设像素值区间为0至10;第二预设像素值区间为11至20等,则基于图像帧特征表示所指示的不同图像坐标所对应的像素值情况,对不同图像坐标对应的像素进行聚类处理,从而得到像素聚类结果。
可选地,基于像素聚类结果对目标图像帧中的目标对象进行分离,从神经分类网络中输出得到目标对象在所述目标图像帧中的位置。
在一个可选的实施例中,根据图像帧特征表示中的像素值情况,将目标图像帧中的目标对象和图像背景进行分离。其中,图像背景用于指示目标图像帧中除目标对象以外的区域。
可选地,基于目标对象的分离结果,确定目标对象在目标图像帧中的位置。
示意性的,如图7所示,为一款游戏运行中的虚拟画面中的一个画面帧,将该画面帧作为目标图像帧。通过上述目标识别方法,由服务器或者终端对该目标图像帧进行目标识别过程,从而确定其中的至少一个目标对象在目标图像帧中的位置。
例如:目标对象710在目标图像帧中以包围框711进行表示;目标对象720在目标图像帧中以包围框721进行表示等。
也即:上述目标识别方法既可以用于对目标图像帧中的一个目标对象进行识别,也可以用于同时对多个目标对象进行识别。可选地,分类神经网络根据像素值的变化幅度的差异,区别性地对不同的目标对象采用上述方法进行识别,从而确定多个目标对象分别对应的位置。
示意性的,可以将上述目标识别方法应用在多种游戏的目标识别中,通过上述目标识别方法,能够对游戏中的多个虚拟角色进行轨迹检测,从而记录其轨迹的坐标规律,死亡坐标等位置信息。
例如:将上述目标识别方法应用在多人在线战术竞技游戏(Multiplayer OnlineBattle Arena,MOBA)中,通过记录不同虚拟角色的坐标信息,可以判断该虚拟角色是否属于常规胜率,死亡坐标是否越线等。
如图7所示,首先设定需要进行目标识别的虚拟角色(目标对象),例如:玩家自行选择或者游戏默认配置等。在游戏开始后,通过上述目标识别方法,主动识别移动的虚拟角色,将虚拟角色作为待识别的目标对象,并且自动标记目标对象。然后在目标识别过程中,不仅可以不断记录该目标对象的行动轨迹,还可以实时识别不同的游戏角色,例如:自动再对另一个虚拟角色进行识别等。示意性的,不同的目标对象分别对应一个识别框,一旦进行识别的目标对象死亡消失,则与该目标对象对应的识别框则会消失。
值得注意的是,上述识别框既可以实现为显示在游戏画面中的识别框,还可以实现为隐藏显示在后台的识别框等;此外,上述应用于游戏场景的过程仅为示意性的举例,还可以将上述目标识别方法应用于影视视频中的人物识别、交通录像中的车辆识别等多种场景下,以上仅为示意性的举例,本申请实施例对此不加以限定。
在本申请实施例中,在用不同的目标变换矩阵对对应的像素块进行矩阵变换后,将像素块对应的矩阵进行拼接,从而得到体现目标图像帧总体特征的图像帧特征表示,在通过图像帧特征表示将目标对象从目标图像帧中分离时,强化了目标对象与图像背景之间的差异,使得目标对象能够更准确地从目标图像帧分离出来,提高对目标对象的识别准确性。
在一个可选的实施例中,采用融合修正的离散余弦变换公式和超像素图像分割的方式进行上述目标识别过程,则将上述目标识别方法称为“一种融合修正的离散余弦变换和超像素图像分割的目标对象识别神经网络”方法。示意性的,上述目标识别过程还可以实现为如下两个部分:(一)特征预处理部分;(二)神经网络目标识别部分。
(一)特征预处理部分
特征预处理过程的目的主要为了差异化目标对象和图像背景,从而为进行目标对象识别的分类神经网络做准备。其中,目标对象可以实现为游戏角色,例如:对游戏过程中的游戏角色进行目标识别过程。可选地,以该方法应用于游戏场景的目标对象识别过程为例进行说明。示意性的,如图8所示,特征预处理部分可以实现为如下步骤810至步骤860。
步骤810,游戏录制视频流。
示意性的,以图像帧实现为从虚拟画面中获取得到的画面帧为例进行说明。在游戏过程中,终端实时从游戏中录制虚拟画面,从而使得终端获取得到录制视频流;或者,终端实时从游戏中录制虚拟画面,并将虚拟画面传输至服务器上,从而使得服务器获取得到录制视频流等。
步骤820,图像帧提取。
示意性的,终端实时从游戏中录制虚拟画面后,由终端自行实时提取最新的图像帧;或者,终端将从游戏中录制虚拟画面传输至服务器后,由服务器实时提取最新的图像帧等。
步骤830,预处理——高斯滤波。
可选地,为便于图像处理过程,将提取得到最新的图像帧调整为256×256的图像尺寸,并将经过尺寸调整后的图像帧采用高斯滤波方法去除噪声。其中,高斯滤波用于去除图像帧中的噪声,并平滑图像帧。
示意性的,采用高斯滤波器进行高斯滤波过程。
在一个可选的实施例中,对滤波后的目标图像帧进行分割处理,得到至少两个目标子图像帧。
示意性的,将滤波后的目标图像帧分割成等面积的矩形小块,从而得到至少两个等面积的目标子图像帧。例如:将滤波后的目标图像帧切割成8*8的矩阵小块,从而得到64个等面积的目标子图像帧。通过上述分割方法,不仅能够一定程度上减少离散余弦变换的计算量,还能够便于特征计算过程。
步骤840,改进离散余弦变换公式。
可选地,采用霍夫变换对分割后的目标子图像帧进行边缘检测;或者,采用霍夫变换对分割前的目标图像帧进行边缘检测。基于边缘检测的结果,标记多个边缘点的坐标,从而得到多个边缘点分别对应的边缘点坐标。
示意性的,根据边缘检测的边缘点坐标,确定与边缘点坐标对应的目标子图像帧,将与边缘点坐标对应的目标子图像帧作为与边缘点坐标对应的像素块,并对与边缘点坐标对应的像素块的离散余弦变换的系数进行更新,如果在边缘点的偏平滑区域(低于变化幅度阈值),则降低离散余弦变换的系数,例如:对每个系数降低1/8;同时,如果发现是偏变化区域(高于变化幅度阈值),则增加离散余弦变换的系数,例如:对每个系数增加1/4。
其中,平滑的判断与否是通过图像平滑度进行确定的,图像的平滑度可以通过图像中不同像素值之间的梯度进行确定。示意性的,对目标图像帧中的每个图像坐标对应的像素变化幅度进行均值计算后设置了变化幅度阈值,例如:将变化幅度阈值设置为变化幅度均值的1.2倍。其中的1.2倍是较好的经验值取值情况,还可以取值为1.25、1.1等其他数值,本申请实施例对此不加以限定。
可选地,当目标图像帧中存在不具有边缘点坐标的目标子图像帧时,采用未进行系数更新的离散余弦变换对不具有边缘点坐标的目标子图像帧进行变换。
步骤850,特征表示提取。
示意性的,使用更新后的离散余弦变换公式对每个像素块进行变换,并将变换后的特征表示进行拼接,从而得到处理后的特征表示,该特征表示与目标图像帧相对应,即上述的图像帧特征表示。
步骤860,卷积网络分类器。
可选地,将处理后的图像帧特征表示送入卷积网络分类器(分类神经网络)。
(二)神经网络目标识别部分
示意性的,在将上述图像帧特征表示输入卷积网络分类器后,通过卷积网络分类器对图像帧特征表示进行分析,如图9所示,神经网络目标识别部分可以实现为如下步骤910至步骤970。
步骤910,输入特征表示。
示意性的,经过预处理后的特征表示需要经过神经网络分类才能分离背景和目标。可选地,卷积网络分类器采用的是激活函数(softmax)回归多分类,在上一部分使用了增强余弦变换得到体现差异化的特征表示后,使用一种带超像素的神经网络链路分离出目标。
步骤920,RNN神经网络。
可选地,基于在上一部分对图像帧进行了分块处理,而分块处理后的目标图像帧之前存在着相互的联系,图像帧是由各个目标图像帧拼接而来,因此图像帧对应的特征表示也是由各个目标图像帧对应的图像帧特征表示拼接得到的。即:处理后的图像帧特征表示之间存在着某些像素或者频域的连续性。可选地,使用递归神经网络(Recurrent NeuralNetwork,RNN)对上述各个图像帧特征表示进行处理,这样各个分散的特征块之间经过RNN网络后有序的进行了编码,这个过程为提取的超像素提供了连接性。经过RNN处理后的图像帧特征表示按照原始的空间关系一一对应。
可选地,按照3*3的空间关系标记上了时序模型,便于恢复空间关系。如图10所示,RNN将特征块1010按照空间关系标记了T+1,T+2等时序关系,并且使用RNN处理各个图像帧特征表示,能够过滤掉关联不太紧密的特征关系。
步骤930,9*9超像素卷积核。
示意性的,使用一个9*9的超像素卷积核,尽可能彻底分离目标对象和图像背景,这个超像素卷积核的作用是将同一归类的目标的分散的像素点,用较少的大块像素进行标记,从而按照最直观的大像素就可以看出目标。
可选地,9*9的卷积核是使用一个稀疏的神经网络转换而来的卷积核,也即:9*9的卷积核是一个稀疏坐标经过一个神经网络卷积转换得到的,该稀疏坐标的左上角能量需要较低。示意性的,将左上角5*5部分的能量设置为0。
可选地,对于其他区域,要求右下角能量的绝对值平方占总值的90%,该要求为稀疏矩阵的基本要求。该要求的目的在于使用9*9的卷积核完成超像素的卷积。低频区域的低能量会使得低频像素聚集在一起,一般都是同一大黑色像素块,对应图像背景;至于目标对象对应的目标区域,则会被卷集成一个或多个超像素。其中,该神经网络的输入与输出呈现正相关关系。示意性的,如图11所示,将稀疏坐标(i,j)输入神经网络卷积器1110,得到对应的核权重K(i,j),其中,核权重用于指示需要进行预测的点。
示意性的,对神经网络的组成进行简要介绍。其中,各个层的系数在前一层的基础上乘以2,例如:第一层分别标记为1,2,2,1;第二层分别标记为2,4,4,2,这样稀疏矩阵经过神经网络的转换,在卷积时不会因为特征差异无规则变换,正向相关性得到的卷积核恰好使得原有的稀疏矩阵保持稀疏特性,进行超像素卷积。这样得到的9*9的卷积核就是原始稀疏矩阵转换而来的超像素卷积核。
步骤940,全连接层。
示意性的,在经过9*9的超像素卷积核后,将9*9卷积核输出的特征表示通过全连接层,把各个特征表示序列进行拼接。
步骤950,softmax回归。
可选地,使用softmax回归分类,对超像素标记的大块目标进行完整标记。
步骤960,分类器。
经过softmax分类后,将相同目标的超像素块分配至一起,实现对相同目标的超像素块的分配过程,从而基于分配结果得到对应的目标对象,即:将像素组合起来代表一个目标对象。
步骤970,目标识别。
可选地,基于上述分类器的多个像素分配结果,可以得到与多个像素分配结果分别对应的目标对象,即:得到多个目标对象,从而实现目标对象与图像背景的区别过程,以及实现区分多个目标对象的过程。
值得注意的是,以上仅为示意性的举例,本申请实施例对此不加以限定。
综上所述,对图像帧进行分割处理后得到多个目标图像帧,不仅能够简化目标图像帧的图像帧特征表示,还能够在对多个目标图像帧进行拼接时,过滤掉不必要的噪音信息,在进行更细颗粒度分析的同时,强化目标对象的像素表示,从而使得目标对象能够更明确地从目标图像帧分离出来,提高对目标对象的识别准确性。
图12是本申请一个示例性实施例提供的目标识别装置的结构框图,如图12所示,该装置包括如下部分:
图像获取模块1210,用于获取目标图像帧,所述目标图像帧中包括目标对象;
边缘检测模块1220,用于对所述目标图像帧中的图像内容进行边缘检测,得到所述目标图像帧中的边缘点坐标;
矩阵获取模块1230,用于基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与所述像素块对应的目标变换矩阵,其中,所述像素块与所述目标变换矩阵之间存在一一对应关系;
矩阵变换模块1240,用于基于所述像素块与所述目标变换矩阵之间的对应关系,以所述目标变换矩阵对所述像素块进行矩阵变换,并得到与所述目标图像帧对应的图像帧特征表示;
目标分类模块1250,用于基于所述图像帧特征表示将所述目标对象从所述目标图像帧中分离,得到所述目标对象在所述目标图像帧中的位置。
在一个可选的实施例中,所述矩阵获取模块1230还用于获取初始变换矩阵,所述初始变换矩阵为预先确定的变换矩阵;基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,对所述初始变换矩阵的系数进行调整,得到与所述像素块对应的目标变换矩阵。
在一个可选的实施例中,所述矩阵获取模块1230还用于确定所述边缘点坐标对应的像素块内的多个像素点,所述多个像素点中包括所述边缘点坐标对应的像素点,所述多个像素点分别对应有像素值;以所述多个像素点对应的像素值之间的梯度变化情况,确定所述像素块对应的变化幅度;响应于所述像素块对应的变化幅度小于所述变化幅度阈值,以第一预设比例减小所述变换矩阵的系数;或者,响应于所述像素块对应的变化幅度大于所述变化幅度阈值,以第二预设比例增大所述变换矩阵的系数。
在一个可选的实施例中,所述矩阵获取模块1230还用于获取所述目标图像帧中多个图像坐标分别对应的像素值;基于所述多个图像坐标和所述多个图像坐标分别对应的像素值,获取所述多个图像坐标分别对应的像素变化幅度;对所述多个图像坐标分别对应的像素变化幅度进行均值运算,确定所述目标图像帧的变化幅度均值;基于所述变化幅度均值确定所述目标图像帧对应的所述变化幅度阈值。
在一个可选的实施例中,所述矩阵获取模块1230还用于在对所述多个图像坐标中的指定图像坐标的像素变化幅度进行获取时,确定所述指定图像坐标和在所述指定图像坐标的预设范围内的至少一个图像坐标;基于所述至少一个图像坐标对应的像素值和所述指定图像坐标对应的像素值的梯度变化情况,确定所述指定图像坐标对应的像素变化幅度;获取所述多个图像坐标分别对应的像素变化幅度。
在一个可选的实施例中,所述矩阵变换模块1240还用于获取至少两个边缘点坐标,所述至少两个边缘点坐标包括第一边缘点坐标以及第二边缘点坐标;获取与所述第一边缘点坐标对应的第一像素块,和与所述第二边缘点坐标对应的第二像素块,所述第一像素块和所述第二像素块不同;以与所述第一像素块对应的第一目标变换矩阵对所述第一像素块进行矩阵变换,得到与所述第一像素块对应的第一矩阵;以与所述第二像素块对应的第二目标变换矩阵对所述第二像素块进行矩阵变换,得到与所述第二像素块对应的第二矩阵;基于所述第一矩阵和所述第二矩阵,得到与所述目标图像帧对应的所述图像帧特征表示。
在一个可选的实施例中,所述矩阵变换模块1240还用于获取图像像素块,所述图像像素块用于指示所述目标图像帧中不存在所述边缘点坐标的像素块;以初始变换矩阵对所述图像像素块进行矩阵变换,得到与所述图像像素块对应的图像坐标矩阵;将所述图像坐标矩阵与所述第一矩阵和所述第二矩阵进行拼接,得到与所述目标图像帧对应的所述图像帧特征表示。
在一个可选的实施例中,所述目标分类模块1250还用于将所述图像帧特征表示输入预先训练的神经分类网络;所述神经分类网络对所述图像帧特征表示进行超像素聚类处理,确定像素聚类结果,所述超像素聚类处理用于将所述目标图像帧中具有相同聚类目标的像素进行聚类处理,所述聚类目标用于指示预设像素值区间;基于所述像素聚类结果对所述目标图像帧中的目标对象进行分离,从所述神经分类网络中输出得到所述目标对象在所述目标图像帧中的位置。
在一个可选的实施例中,所述目标分类模块1250还用于根据所述像素聚类结果中的像素值情况,将所述目标图像帧中的目标对象和图像背景进行分离,所述图像背景用于指示目标图像帧中除所述目标对象以外的区域;基于所述目标对象的分离结果,确定所述目标对象在所述目标图像帧中的位置。
在一个可选的实施例中,所述图像获取模块1210还用于获取图像帧,所述图像帧包括从目标视频中获取得到的视频帧;对所述图像帧进行滤波处理,得到所述目标图像帧;对所述目标图像帧进行分割处理,得到所述目标图像帧中的多个目标子图像帧,所述多个目标子图像帧中包括至少一个存在边缘点坐标的像素块。
在一个可选的实施例中,所述矩阵获取模块1230还用于从所述多个目标子图像帧中,获取存在所述边缘点坐标的目标子图像帧作为与所述边缘点坐标对应的像素块;基于与所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与所述像素块对应的目标变换矩阵。
需要说明的是:上述实施例提供的目标识别装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标识别装置与目标识别方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图13示出了本申请一个示例性实施例提供的服务器的结构示意图。该服务器1300包括中央处理单元(Central Processing Unit,CPU)1301、包括随机存取存储器(RandomAccess Memory,RAM)1302和只读存储器(Read Only Memory,ROM)1303的系统存储器1304,以及连接系统存储器1304和中央处理单元1301的系统总线1305。服务器1300还包括用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1306。
大容量存储设备1306通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。大容量存储设备1306及其相关联的计算机可读介质为服务器1300提供非易失性存储。也就是说,大容量存储设备1306可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。上述的系统存储器1304和大容量存储设备1306可以统称为存储器。
根据本申请的各种实施例,服务器1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1300可以通过连接在系统总线1305上的网络接口单元1311连接到网络1312,或者说,也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。
本申请的实施例还提供了一种计算机设备,该计算机设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的目标识别方法。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行,以实现上述各方法实施例提供的目标识别方法。
本申请的实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中任一所述的目标识别方法。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (14)

1.一种目标识别方法,其特征在于,所述方法包括:
获取目标图像帧,所述目标图像帧中包括目标对象;
对所述目标图像帧中的图像内容进行边缘检测,得到所述目标图像帧中的边缘点坐标;
基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与所述像素块对应的目标变换矩阵,其中,所述像素块与所述目标变换矩阵之间存在一一对应关系;
基于所述像素块与所述目标变换矩阵之间的对应关系,以所述目标变换矩阵对所述像素块进行矩阵变换,并得到与所述目标图像帧对应的图像帧特征表示;
基于所述图像帧特征表示将所述目标对象从所述目标图像帧中分离,得到所述目标对象在所述目标图像帧中的位置。
2.根据权利要求1所述的方法,其特征在于,所述基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与所述像素块对应的目标变换矩阵,包括:
获取初始变换矩阵,所述初始变换矩阵为预先确定的变换矩阵;
基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,对所述初始变换矩阵的系数进行调整,得到与所述像素块对应的目标变换矩阵。
3.根据权利要求2所述的方法,其特征在于,所述基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,对所述初始变换矩阵的系数进行调整,包括:
确定所述边缘点坐标对应的像素块内的多个像素点,所述多个像素点中包括所述边缘点坐标对应的像素点,所述多个像素点分别对应有像素值;
以所述多个像素点对应的像素值之间的梯度变化情况,确定所述像素块对应的变化幅度;
响应于所述像素块对应的变化幅度小于所述变化幅度阈值,以第一预设比例减小所述变换矩阵的系数;或者,响应于所述像素块对应的变化幅度大于所述变化幅度阈值,以第二预设比例增大所述变换矩阵的系数。
4.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
获取所述目标图像帧中多个图像坐标分别对应的像素值;
基于所述多个图像坐标和所述多个图像坐标分别对应的像素值,获取所述多个图像坐标分别对应的像素变化幅度;
对所述多个图像坐标分别对应的像素变化幅度进行均值运算,确定所述目标图像帧的变化幅度均值;
基于所述变化幅度均值确定所述目标图像帧对应的所述变化幅度阈值。
5.根据权利要求4所述的方法,其特征在于,所述基于所述多个图像坐标和所述多个图像坐标分别对应的像素值,获取所述多个图像坐标分别对应的像素变化幅度,包括:
在对所述多个图像坐标中的指定图像坐标的像素变化幅度进行获取时,确定所述指定图像坐标和在所述指定图像坐标的预设范围内的至少一个图像坐标;
基于所述至少一个图像坐标对应的像素值和所述指定图像坐标对应的像素值的梯度变化情况,确定所述指定图像坐标对应的像素变化幅度;
获取所述多个图像坐标分别对应的像素变化幅度。
6.根据权利要求1至3任一所述的方法,其特征在于,所述基于所述像素块与所述目标变换矩阵之间的对应关系,以所述目标变换矩阵对所述像素块进行矩阵变换,并得到与所述目标图像帧对应的图像帧特征表示,包括:
获取至少两个边缘点坐标,所述至少两个边缘点坐标包括第一边缘点坐标以及第二边缘点坐标;
获取与所述第一边缘点坐标对应的第一像素块,和与所述第二边缘点坐标对应的第二像素块,所述第一像素块和所述第二像素块不同;
以与所述第一像素块对应的第一目标变换矩阵对所述第一像素块进行矩阵变换,得到与所述第一像素块对应的第一矩阵;
以与所述第二像素块对应的第二目标变换矩阵对所述第二像素块进行矩阵变换,得到与所述第二像素块对应的第二矩阵;
基于所述第一矩阵和所述第二矩阵,得到与所述目标图像帧对应的所述图像帧特征表示。
7.根据权利要求6所述的方法,其特征在于,所述基于所述第一矩阵和所述第二矩阵,得到与所述目标图像帧对应的所述图像帧特征表示,包括:
获取图像像素块,所述图像像素块用于指示所述目标图像帧中不存在所述边缘点坐标的像素块;
以初始变换矩阵对所述图像像素块进行矩阵变换,得到与所述图像像素块对应的图像坐标矩阵;
将所述图像坐标矩阵与所述第一矩阵和所述第二矩阵进行拼接,得到与所述目标图像帧对应的所述图像帧特征表示。
8.根据权利要求1至3任一所述的方法,其特征在于,所述基于所述图像帧特征表示将所述目标对象从所述目标图像帧中分离,得到所述目标对象在所述目标图像帧中的位置,包括:
将所述图像帧特征表示输入预先训练的神经分类网络;
通过所述神经分类网络对所述图像帧特征表示进行超像素聚类处理,确定像素聚类结果,所述超像素聚类处理用于将所述目标图像帧中具有相同聚类目标的像素进行聚类处理,所述聚类目标用于指示预设像素值区间;
基于所述像素聚类结果对所述目标图像帧中的目标对象进行分离,从所述神经分类网络中输出得到所述目标对象在所述目标图像帧中的位置。
9.根据权利要求8所述的方法,其特征在于,所述基于所述像素聚类结果对所述目标图像帧中的目标对象进行分离,从所述神经分类网络中输出得到所述目标对象在所述目标图像帧中的位置,包括:
根据所述像素聚类结果中的像素值情况,将所述目标图像帧中的目标对象和图像背景进行分离,所述图像背景用于指示目标图像帧中除所述目标对象以外的区域;
基于所述目标对象的分离结果,确定所述目标对象在所述目标图像帧中的位置。
10.根据权利要求1至3任一所述的方法,其特征在于,所述方法还包括:
获取图像帧,所述图像帧包括从目标视频中获取得到的视频帧;
对所述图像帧进行滤波处理,得到所述目标图像帧;
对所述目标图像帧进行分割处理,得到所述目标图像帧中的多个目标子图像帧,所述多个目标子图像帧中包括至少一个存在边缘点坐标的像素块。
11.根据权利要求10所述的方法,其特征在于,所述基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与所述像素块对应的目标变换矩阵,包括:
从所述多个目标子图像帧中,获取存在所述边缘点坐标的目标子图像帧作为与所述边缘点坐标对应的像素块;
基于与所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与所述像素块对应的目标变换矩阵。
12.一种目标识别装置,其特征在于,所述装置包括:
图像获取模块,用于获取目标图像帧,所述目标图像帧中包括目标对象;
边缘检测模块,用于对所述目标图像帧中的图像内容进行边缘检测,得到所述目标图像帧中的边缘点坐标;
矩阵获取模块,用于基于所述边缘点坐标对应的像素块内像素值的变化幅度和变化幅度阈值之间的差异,获取与所述像素块对应的目标变换矩阵,其中,所述像素块与所述目标变换矩阵之间存在一一对应关系;
矩阵变换模块,用于基于所述像素块与所述目标变换矩阵之间的对应关系,以所述目标变换矩阵对所述像素块进行矩阵变换,并得到与所述目标图像帧对应的图像帧特征表示;
目标分类模块,用于基于所述图像帧特征表示将所述目标对象从所述目标图像帧中分离,得到所述目标对象在所述目标图像帧中的位置。
13.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1至11任一所述的目标识别方法。
14.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至11任一所述的目标识别方法。
CN202211225265.2A 2022-10-09 2022-10-09 目标识别方法、装置、设备及存储介质 Active CN115294162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211225265.2A CN115294162B (zh) 2022-10-09 2022-10-09 目标识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211225265.2A CN115294162B (zh) 2022-10-09 2022-10-09 目标识别方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115294162A CN115294162A (zh) 2022-11-04
CN115294162B true CN115294162B (zh) 2022-12-06

Family

ID=83833554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211225265.2A Active CN115294162B (zh) 2022-10-09 2022-10-09 目标识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN115294162B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115984447B (zh) * 2023-03-16 2023-06-23 腾讯科技(深圳)有限公司 图像渲染方法、装置、设备和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895139A (zh) * 2017-10-19 2018-04-10 金陵科技学院 一种基于多特征融合的sar图像目标识别方法
CN113436215A (zh) * 2021-06-29 2021-09-24 北京金山云网络技术有限公司 前景目标的检测方法和装置、存储介质、电子装置
CN113723164A (zh) * 2021-03-23 2021-11-30 腾讯科技(深圳)有限公司 获取边缘差异信息的方法、装置、设备及存储介质
WO2022205605A1 (zh) * 2021-04-01 2022-10-06 广东拓斯达科技股份有限公司 图像边缘特征库构建方法、装置、计算机设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7831098B2 (en) * 2006-11-07 2010-11-09 Recognition Robotics System and method for visual searching of objects using lines
TW201437925A (zh) * 2012-12-28 2014-10-01 Nec Corp 物體識別裝置、方法及電腦程式產品
JP6075888B2 (ja) * 2014-10-16 2017-02-08 キヤノン株式会社 画像処理方法、ロボットの制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107895139A (zh) * 2017-10-19 2018-04-10 金陵科技学院 一种基于多特征融合的sar图像目标识别方法
CN113723164A (zh) * 2021-03-23 2021-11-30 腾讯科技(深圳)有限公司 获取边缘差异信息的方法、装置、设备及存储介质
WO2022205605A1 (zh) * 2021-04-01 2022-10-06 广东拓斯达科技股份有限公司 图像边缘特征库构建方法、装置、计算机设备及存储介质
CN113436215A (zh) * 2021-06-29 2021-09-24 北京金山云网络技术有限公司 前景目标的检测方法和装置、存储介质、电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
空间目标快速轮廓特征提取与跟踪技术;曹姝清等;《飞控与探测》;20180925(第02期);第42-47页 *

Also Published As

Publication number Publication date
CN115294162A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
US11830230B2 (en) Living body detection method based on facial recognition, and electronic device and storage medium
US10943145B2 (en) Image processing methods and apparatus, and electronic devices
US11188783B2 (en) Reverse neural network for object re-identification
JP6719457B2 (ja) 画像の主要被写体を抽出する方法とシステム
WO2021139324A1 (zh) 图像识别方法、装置、计算机可读存储介质及电子设备
CN109918969B (zh) 人脸检测方法及装置、计算机装置和计算机可读存储介质
CN112734775B (zh) 图像标注、图像语义分割、模型训练方法及装置
Li et al. Finding the secret of image saliency in the frequency domain
CN101971190B (zh) 实时身体分割系统
CN114913565A (zh) 人脸图像检测方法、模型训练方法、装置及存储介质
WO2014081687A1 (en) Method and system for counting people using depth sensor
CN112329851B (zh) 一种图标检测方法、装置及计算机可读存储介质
CN109741293A (zh) 显著性检测方法及装置
CN112272295B (zh) 具有三维效果的视频的生成方法、播放方法、装置及设备
CN111178146A (zh) 基于人脸特征识别主播的方法及装置
CN115294162B (zh) 目标识别方法、装置、设备及存储介质
CN114973057B (zh) 基于人工智能的视频图像检测方法及相关设备
CN113065379B (zh) 融合图像质量的图像检测方法、装置、电子设备
CN112257729A (zh) 图像识别方法、装置、设备及存储介质
CN113688839B (zh) 视频处理方法及装置、电子设备、计算机可读存储介质
CN114449362A (zh) 视频封面的选取方法、装置、设备及存储介质
Fan et al. Two-stage salient region detection by exploiting multiple priors
CN110472639B (zh) 一种基于显著性先验信息的目标提取方法
CN113591829B (zh) 字符识别方法、装置、设备及存储介质
CN116977683A (zh) 对象识别方法、装置、计算机设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40076047

Country of ref document: HK