CN115004245A - 目标检测方法、装置、电子设备和计算机存储介质 - Google Patents

目标检测方法、装置、电子设备和计算机存储介质 Download PDF

Info

Publication number
CN115004245A
CN115004245A CN202180004199.3A CN202180004199A CN115004245A CN 115004245 A CN115004245 A CN 115004245A CN 202180004199 A CN202180004199 A CN 202180004199A CN 115004245 A CN115004245 A CN 115004245A
Authority
CN
China
Prior art keywords
image
detection result
target object
game platform
regression model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202180004199.3A
Other languages
English (en)
Inventor
刘春亚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sensetime International Pte Ltd
Original Assignee
Sensetime International Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sensetime International Pte Ltd filed Critical Sensetime International Pte Ltd
Priority claimed from PCT/IB2021/062081 external-priority patent/WO2023111674A1/en
Publication of CN115004245A publication Critical patent/CN115004245A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种目标检测方法、装置、边缘计算设备和计算机存储介质，该方法包括：确定游戏平台图像的第一检测结果，所述游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，所述第一检测结果用于表征目标对象所在区域；在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域；根据所述裁剪区域对所述原始游戏平台图像进行裁剪，得到裁剪图像；根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果。

Description

目标检测方法、装置、电子设备和计算机存储介质
相关申请的交叉引用
本申请要求于2021年12月17日提交新加坡知识产权局、申请号为10202114024R的新加坡专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本公开涉及计算机视觉处理技术，涉及但不限于一种目标检测方法、装置、电子设备和计算机存储介质。
背景技术
目标检测广泛应用于智能视频分析系统中，在游戏平台场景中，对与游戏平台相关的物品的检测有助于分析游戏平台场景的图像。在相关技术中，由于用于目标检测的图像的分辨率较低，使得目标检测的精确度较低。
发明内容
本公开实施例可以提供目标检测方法、装置、电子设备和计算机存储介质，能够较为准确地得出目标对象的检测结果。
本公开实施例提供了一种目标检测方法，所述方法包括：
确定游戏平台图像的第一检测结果，所述游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，所述第一检测结果用于表征目标对象所在区域；
在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域；根据所述裁剪区域对所述原始游戏平台图像进行裁剪，得到裁剪图像；
根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果。
在一些实施例中，所述根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果，包括：
提取所述裁剪图像的图像特征；
根据所述第一检测结果和所述图像特征，确定所述裁剪图像中所述目标对象的特征；
根据所述目标对象的特征，得到第二检测结果。
在一些实施例中，所述提取所述裁剪图像的图像特征，包括：
利用残差网络提取所述裁剪图像的图像特征。
在一些实施例中，所述根据所述第一检测结果和所述图像特征，确定所述裁剪图像中所述目标对象的特征，包括：
将所述第一检测结果和所述图像特征输入至回归模型中，利用所述回归模型对所述第一检测结果和所述图像特征进行处理，得到所述裁剪图像中所述目标对象的特征；
所述根据所述目标对象的特征，得到第二检测结果，包括：
利用所述回归模型对所述目标对象的特征进行处理，得到所述第二检测结果。
在一些实施例中，所述回归模型为全连接网络。
在一些实施例中，所述回归模型的训练方法包括以下步骤：
获取第一样本图像中部分图像的图像特征、第二样本图像的第三检测结果和所述第一样本图像的标注信息，所述第二样本图像是对所述第一样本图像进行降分辨率处理得到的，所述第三检测结果用于表征参考对象所在区域，所述部分图像的区域包括所述参考对象所在区域；
将所述部分图像的图像特征和所述第三检测结果输入至所述回归模型，利用所述回归模型对所述部分图像的图像特征和所述第三检测结果进行处理，得到第四检测结果，所述第四检测结果表示所述第三检测结果的优化结果；
根据所述第四检测结果和所述第一样本图像的标注信息，调整所述回归模型的网络参数值。
在一些实施例中，所述目标对象所在区域为检测框；
所述在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域，包括：
在所述原始游戏平台图像中，将所述检测框沿向上、向下、向左和向右中的至少一个方向进行扩展，得到所述裁剪区域。
本公开实施例还提供了一种目标检测装置，所述装置包括：确定模块、第一处理模块和第二处理模块，其中，
确定模块，用于确定游戏平台图像的第一检测结果，所述游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，所述第一检测结果用于表征目标对象所在区域；
第一处理模块，用于在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域；根据所述裁剪区域对所述原始游戏平台图像进行裁剪，得到裁剪图像；
第二处理模块，用于根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果。
本公开实施例还提供了一种电子设备，所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
所述处理器用于运行所述计算机程序以执行上述任意一种目标检测方法。
本公开实施例还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任意一种目标检测方法。
本公开实施例提出的目标检测方法、装置、电子设备和计算机存储介质中，确定游戏平台图像的第一检测结果，所述游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，所述第一检测结果用于表征目标对象所在区域；在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域；根据所述裁剪区域对所述原始游戏平台图像进行裁剪，得到裁剪图像；根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果。
可以看出，由于裁剪区域大于目标对象所在区域，并且，原始游戏平台图像的分辨率高于游戏平台图像，因此，裁剪图像能够体现目标对象的精细局部信息，进而，根据裁剪图像对第一检测结果进行优化，有利于更准确地得出目标对象所在区域，提升了目标检测的精确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1为本公开实施例的目标检测方法的一个流程图；
图2为本公开实施例中利用Faster-RCNN框架对游戏平台图像进行目标检测的示意图；
图3为本公开实施例的目标检测方法的另一个流程图；
图4为本公开实施例的目标检测方法的又一个流程图；
图5为本公开实施例的回归模型的训练方法的流程图；
图6为本公开实施例的目标检测装置的结构示意图；
图7为本公开实施例的电子设备的结构示意图。
具体实施方式
在游戏平台场景中，可以使用千万级别的像素相机进行图像采集；然而，在相关技术中，使用千万级别的像素相机采集的图像并不能直接应用于目标检测模型的训练和应用，其原因在于：如果直接使用高分辨率图像训练目标检测模型或者利用训练完成的目标检测模型处理高分辨率图像，容易引发显卡内存等资源的过度消耗，因此，可以对千万级别的像素相机采集的图像进行降分辨率处理，将千万级像素图像缩小为百万级像素图像，然后将百万级像素图像应用于目标检测模型的训练和应用。示例性地，千万级像素图像目标对象的厚度在8像素左右，那么在百万级像素图像中目标对象的厚度仅为1至2个像素，由于目标的特征较少，因而目标检测的精度较低，即目标检测框的位置容易出现偏差，如果直接用该精度较低的目标检测框确定成摞目标的位置，容易产生误检的问题(包括重复检测和漏检等问题)，不满足游戏平台场景中对目标对象检测的精度要求。
针对上述技术问题，提出本公开实施例的技术方案。
以下结合附图及实施例，对本公开进行进一步详细说明。应当理解，此处所提供的实施例仅仅用以解释本公开，并不用于限定本公开。另外，以下所提供的实施例是用于实施本公开的部分实施例，而非提供实施本公开的全部实施例，在不冲突的情况下，本公开实施例记载的技术方案可以任意组合的方式实施。
需要说明的是，在本公开实施例中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素，而且还包括没有明确列出的其他要素，或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元，例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
例如，本公开实施例提供的目标检测方法包含了一系列的步骤，但是本公开实施例提供的目标检测方法不限于所记载的步骤，同样地，本公开实施例提供的目标检测装置包括了一系列模块，但是本公开实施例提供的装置不限于包括所明确记载的模块，还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
本公开实施例可以应用于游戏平台场景的边缘计算设备或服务端设备中，并可以与众多其它通用或专用计算系统环境或配置一起操作。这里，边缘计算设备可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统，等等。服务端设备可以是小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
边缘计算设备可以通过程序模块执行指令。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
边缘计算设备可以与服务端设备进行数据交互，例如，服务端设备可以通过调用边缘计算设备的接口，向边缘计算设备发送数据，边缘计算设备在通过相应的接口接收到来自服务端设备的数据后，可以对针对接收到的数据进行处理；边缘计算设备也可以向服务端设备发送数据。
下面对本公开实施例的应用场景进行示例性说明。
在游戏平台场景中，可以通过计算机视觉处理技术对各种游戏的运行状态进行检测。
本公开实施例中，计算机视觉(Computer vision)是一门研究如何使机器“看”的科学，是指用摄影机和计算机代替人眼对目标进行检测和测量，并进一步做图像处理。在游戏过程中可以使用三个摄像头来检测游戏平台上发生的事情，已进行进一步分析；游戏平台可以是实体的桌面平台或其它实体平台。
图1为本公开实施例的目标检测方法的一个流程图，如图1所示，该流程可以包括：
步骤101：确定游戏平台图像的第一检测结果，游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，第一检测结果用于表征目标对象所在区域。
本公开实施例中，原始游戏平台图像可以包括一帧图像或多帧图像；在实际应用中，可以利用至少一个摄像头拍摄游戏平台，得到视频数据或图像数据，然后从视频数据或图像数据中获取至少一帧原始游戏平台图像；在一些实施例中，拍摄游戏平台的摄像头可以是位于游戏平台正上方用于拍摄游戏平台俯视图的摄像头，也可以是从其它角度拍摄游戏平台的摄像头；相应地，每帧原始游戏平台图像可以是俯视图或其它视角的游戏平台图像；在另一些实施例中，每帧原始游戏平台图像还可以是将俯视图和它视角的游戏平台图像进行融合处理得到的图像。
在得到原始游戏平台图像后，可以对原始游戏平台图像进行降分辨率处理，得到游戏平台图像；然后，可以通过计算机视觉处理技术对游戏平台图像进行目标检测，得到游戏平台图像的第一检测结果。
在一些实施例中，目标对象可以包括人体、游戏用品和资金替代物品中的至少一种；例如，目标对象中的人体可以包括人体的整体，也可以包括人手、人脸等部分人体；游戏用品可以是扑克牌，扑克牌可以是黑桃、红桃、方块、梅花等类型的纸牌。
在一些实施例中，目标对象所在区域可以通过目标对象的检测框进行呈现；示例性地，可以通过目标对象的检测框的坐标信息确定目标对象所在区域。
在一些实施例中，可以预先训练目标检测模型，利用训练完成的目标检测模型对游戏平台图像进行目标检测，得到游戏平台图像的第一检测结果。
本公开实施例并不对目标检测模型的网络结构进行限定，目标检测模型的网络结构可以是两阶段检测网络结构，例如，车辆检测模型的网络结构为快速区域卷积神经网络(Faster-Regions with Convolutional Neural Network，Faster-RCNN)等；目标检测模型的网络结构也可以是单阶段检测网络结构，例如，目标检测模型的网络结构为RetinaNet等。
图2为本公开实施例中利用Faster-RCNN框架对游戏平台图像进行目标检测的示意图，参照图2，Faster-RCNN框架包括作为主干网络(backbone)的特征金字塔网络(Feature Pyramid Networks，FPN)、区域候选网络(Region Proposal Network，RPN)和区域卷积神经网络(Region with Convolutional Neural Network，RCNN)；其中，FPN用于提取游戏平台图像201的特征，并用于将提取的特征输入至RPN和RCNN中，RPN用于根据输入的特征生成候选检测框，候选检测框可以称为描框(anchor)；RPN可以将候选检测框发送至RCNN中；RCNN可以对输入的特征和候选检测框进行处理，得到游戏平台图像的第一检测结果；本公开实施例中，游戏平台图像的第一检测结果可以记为Det_bbox。
步骤102：在原始游戏平台图像中，将目标对象所在区域向外扩展，得到裁剪区域；根据裁剪区域对原始游戏平台图像进行裁剪，得到裁剪图像。
在一些实施例中，可以在原始游戏平台图像中，将目标对象的检测框沿向上、向下、向左和向右中的至少一个方向进行扩展，得到裁剪区域。示例性地，可以将目标对象的检测框沿向上、向下、向左和向右的方向分别扩展N个像素，得到裁剪区域，N可以根据实际需求进行设置，例如，N的取值为15、20或25。
可以看出，裁剪区域大于目标对象所在区域，并且，原始游戏平台图像的分辨率高于游戏平台图像，因此，根据裁剪区域对原始游戏平台图像进行裁剪得到的裁剪图像，能够体现目标对象的精细局部信息。
这里，由于对原始游戏平台图像进行裁剪，因此，裁剪图像的各个像素点的坐标相比于原始游戏平台图像会进行更改，从而，在裁剪图像中目标对象的检测框的坐标可以进行适应性更改。
步骤103：根据裁剪图像，对第一检测结果进行优化，得到第二检测结果。
可以理解地，第二检测结果用于表征目标对象所在区域，第二检测结果与第一检测结果相比，目标对象所在区域会发生变化。
在实际应用中，步骤101至步骤103可以利用电子设备中的处理器实现，上述处理器可以为特定用途集成电路(Application Specific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital SignalProcessing Device，DSPD)、可编程逻辑装置(Programmable Logic Device，PLD)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、中央处理器(Central ProcessingUnit，CPU)、控制器、微控制器、微处理器中的至少一种。
可以看出，由于裁剪区域大于目标对象所在区域，并且，原始游戏平台图像的分辨率高于游戏平台图像，因此，裁剪图像能够体现目标对象的精细局部信息，进而，根据裁剪图像对第一检测结果进行优化，有利于更准确地得出目标对象所在区域，提升了目标检测的精确性。
在本公开的一些实施例中，根据裁剪图像，对第一检测结果进行优化，得到第二检测结果的实现方式，可以包括：提取裁剪图像的图像特征；根据第一检测结果和上述图像特征，确定裁剪图像中目标对象的特征；根据目标对象的特征，得到第二检测结果。
示例性地，可以采用残差网络或其它卷积神经网络提取裁剪图像的图像特征；在实际应用中，可以利用残差网络或其它卷积神经网络的卷积层对裁剪图像进行卷积运算，得到裁剪图像的图像特征。
可以理解地，由于残差网络内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题，因而，采用残差网络取裁剪图像的图像特征，有利于增加图像特征提取的准确性。
示例性地，裁剪图像的特征可以通过特征图(Feature Map)或其它方式呈现。
示例性地，在得到裁剪图像的图像特征和第一检测结果后，可以结合第一检测结果，在裁剪图像中第一检测结果表征的区域位置上提取裁剪图像中目标对象的特征；从而根据裁剪图像中目标对象的特征，在裁剪图像中进行特征匹配，得到裁剪图像中目标对象的精确位置，进而确定出裁剪图像中目标对象所在区域，即，确定出第二检测结果。
可以理解地，由于裁剪图像能够体现目标对象的精细局部信息，进而，根据裁剪图像的图像特征和第一检测结果，有利于更准确地得出目标对象所在区域，提升了目标检测的精确性。
在本公开的一些实施例中，根据第一检测结果和裁剪图像的图像特征，确定裁剪图像中目标对象的特征，可以包括：将第一检测结果和裁剪图像的图像特征输入至回归模型中，利用回归模型对第一检测结果和裁剪图像的图像特征进行处理，得到裁剪图像中目标对象的特征。
相应地，根据目标对象的特征，得到第二检测结果，可以包括：利用回归模型对目标对象的特征进行处理，得到第二检测结果。
这里，回归模型用于对裁剪图像中目标对象所在区域进行回归预测，回归预测的原理是：以预测的相关性原则作为基础，把影响预测目标的各因素找出来，然后找出这些因素和预测目标之间的函数关系的近似表达。
本公开实施例中，第二检测结果可以看成是回归预测的预测目标，第一检测结果和裁剪图像的图像特征可以看成是影响预测目标的自变量。
示例性地，上述回归模型可以是全连接网络，全连接网络可以是一层或两层的全连接网络；可以理解地，使用全连接网络可以将第一检测结果和裁剪图像的图像特征进行整合，获取图像的高层语义特征，从而用于准确地实现回归预测。
可以看出，本公开实施例可以通过回归模型对第一检测结果和裁剪图像的图像特征进行处理，有利于准确地得出第二检测结果。
参照图3，可以将裁剪图像301输入至残差网络中，利用残差网络对裁剪图像301进行处理，得到表征裁剪图像301的图像特征的特征图；然后，将游戏平台图像的第一检测结果Det_bbox和特征图输入至两层全连接网络BoxNet中，利用两层全连接网络BoxNet对游戏平台图像的第一检测结果Det_bbox和特征图进行回归预测，得到第二检测结果；本公开实施例中，Bbox表示第二检测结果。
参照图4，本公开实施例可以基于检测模型401和回归模型402级联的网络实现，其中，检测模型401用于对游戏平台图像201进行检测，得到第一检测结果；回归模型402用于根据高清晰度的原始游戏平台图像中目标对象的精细局部信息，对第一检测结果进行优化，得到第二检测结果Bbox，使得第二检测结果Bbox表征的目标对象所在区域更加准确，即，可以更加准确地确定目标对象的位置边界。
下面通过附图示例性地说明上述回归模型的训练过程。
图5为本公开实施例的回归模型的训练方法的流程图，如图5所示，该流程可以包括：
步骤501：获取第一样本图像中部分图像的图像特征、第二样本图像的第三检测结果和第一样本图像的标注信息。
这里，第二样本图像是对第一样本图像进行降分辨率处理得到的，第三检测结果用于表征参考对象所在区域，部分图像的区域包括参考对象所在区域。
在一些实施例中，参考对象可以包括人体、游戏用品和资金替代物品中的至少一种；例如，参照对象中的人体可以包括人体的整体，也可以包括人手、人脸等部分人体；游戏用品可以是扑克牌，扑克牌可以是黑桃、红桃、方块、梅花等类型的纸牌。
在一些实施例中，第一样本图像表示包括参考对象的图像，可以从公共数据集中获取第一样本图像，也可以通过图像采集装置采集得到第一样本图像。
在一些实施例中，可以将第二样本图像输入至上述检测模型，利用检测模型对第二样本图像进行处理，得到第三检测结果。
在一些实施例中，第三检测结果可以通过参考对象的检测框体现；从而，可以在第一样本图像中，将参考对象的检测框沿向上、向下、向左和向右中的至少一个方向进行扩展，得到扩展后的区域；然后，根据扩展后的区域对第一游戏平台图像中进行裁剪，得到第一样本图像中部分图像。
在得到第一样本图像中部分图像后，可以采用残差网络或其它卷积神经网络提取第一样本图像中部分图像的图像特征。
本公开实施例中，可以在获取第一样本图像，可以对第一样本图像中参考对象所在区域进行标注，得到第一样本图像的标注信息；这里，第一样本图像的标注信息表示：第一样本图像中参考对象所在区域的真实值。
步骤502：将部分图像的图像特征和第三检测结果输入至回归模型，利用回归模型对部分图像的图像特征和第三检测结果进行处理，得到第四检测结果，第四检测结果表示第三检测结果的优化结果。
步骤503：根据第四检测结果和第一样本图像的标注信息，调整回归模型的网络参数值。
本公开实施例中，可以根据第四检测结果和第一样本图像的标注信息，确定回归模型的损失，然后，根据回归模型的损失调整回归模型的网络参数值。
步骤504：判断网络参数值调整后的回归模型是否满足训练结束条件，如果否，则重新执行步骤501至步骤504；如果是，则执行步骤505。
本公开实施例中，训练结束条件可以是训练回归模型时的迭代次数达到设定次数，或者，网络参数值调整后的回归模型的损失小于设定损失；这里，设定次数和设定损失可以是预先设置的。
步骤505：将网络参数值调整后的回归模型作为训练完成的回归模型。
在实际应用中，步骤501至步骤505可以利用电子设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
可以看出，在本公开实施例中，通过预先训练回归模型，可以使训练完成的回归模型能够较为准确地检测图像中目标对象的位置。
下面结合一个应用场景对本公开实施例进行示例性说明，在该应用场景中，可以首先获取原始游戏平台图像，对原始游戏平台图像进行降分辨率处理，得到低分辨率的游戏平台图像；然后，基于Faster-RCNN框架对游戏平台图像进行检测，得到游戏平台图像的第一检测结果；第一检测结果可以是游戏物品的初始检测框；游戏物品表示为使游戏正常进行而使用的物品。
在得到游戏物品的初始检测框后，可以在原始游戏平台图像中将初始检测框向外扩展，得到裁剪区域；按照裁剪区域对原始游戏平台图像进行裁剪，得到裁剪图像；然后，提取裁剪图像的图像特征；将裁剪图像的图像特征和游戏物品的初始检测框输入至回归模型中，利用回归模型对裁剪图像的图像特征和游戏物品的初始检测框进行处理，得到游戏物品的最终检测框。
可以理解地，在本公开实施例中，游戏物品的最终检测框是结合了原始游戏平台图像对游戏物品的初始检测框进行优化的结果，而原始游戏平台图像能够体现游戏物品的精细局部信息，因此，与游戏物品的初始检测框相比，游戏物品的最终检测框能够更加准确地体现游戏物品的位置信息；进一步地，本公开实施例在检测模型的基础上，通过增加回归模型可以提升游戏物品位置的准确性，即，在增加少量的计算量的基础上，可以更加准确地预测游戏物品的位置信息。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
在前述实施例提出的目标检测方法的基础上，本公开实施例提出了一种目标检测装置。
图6为本公开实施例的目标检测装置的组成结构示意图，如图6所示，该装置可以包括：确定模块601、第一处理模块602和第二处理模块603，其中，
确定模块601，用于确定游戏平台图像的第一检测结果，所述游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，所述第一检测结果用于表征目标对象所在区域；
第一处理模块602，用于在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域；根据所述裁剪区域对所述原始游戏平台图像进行裁剪，得到裁剪图像；
第二处理模块603，用于根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果。
在一些实施例中，所述第二处理模块603，具体用于：
提取所述裁剪图像的图像特征；
根据所述第一检测结果和所述图像特征，确定所述裁剪图像中所述目标对象的特征；
根据所述目标对象的特征，得到第二检测结果。
在一些实施例中，所述第二处理模块603，具体用于利用残差网络提取所述裁剪图像的图像特征。
在一些实施例中，所述第二处理模块603，具体用于：将所述第一检测结果和所述图像特征输入至回归模型中，利用所述回归模型对所述第一检测结果和所述图像特征进行处理，得到所述裁剪图像中所述目标对象的特征；利用所述回归模型对所述目标对象的特征进行处理，得到所述第二检测结果。
在一些实施例中，所述回归模型为全连接网络。
在一些实施例中，所述装置还包括训练模块，所述训练模块具体用于采用以下步骤训练所述回归模型：
获取第一样本图像中部分图像的图像特征、第二样本图像的第三检测结果和所述第一样本图像的标注信息，所述第二样本图像是对所述第一样本图像进行降分辨率处理得到的，所述第三检测结果用于表征参考对象所在区域，所述部分图像的区域包括所述参考对象所在区域；
将所述部分图像的图像特征和所述第三检测结果输入至所述回归模型，利用所述回归模型对所述部分图像的图像特征和所述第三检测结果进行处理，得到第四检测结果，所述第四检测结果表示所述第三检测结果的优化结果；
根据所述第四检测结果和所述第一样本图像的标注信息，调整所述回归模型的网络参数值。
在一些实施例中，所述目标对象所在区域为检测框；
所述第一处理模块602，具体用于在所述原始游戏平台图像中，将所述检测框沿向上、向下、向左和向右中的至少一个方向进行扩展，得到所述裁剪区域。
实际应用中，确定模块601、第一处理模块602和第二处理模块603均可以利用边缘计算设备中的处理器实现，上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
具体来讲，本实施例中的一种目标检测方法对应的计算机程序指令可以被存储在光盘，硬盘，U盘等存储介质上，当存储介质中的与一种目标检测方法对应的计算机程序指令被一电子设备读取或被执行时，实现前述实施例的任意一种目标检测方法。
基于前述实施例相同的技术构思，本公开实施例还提供了一种电子设备，参见图7，本公开实施例提供的电子设备7，可以包括：存储器701和处理器702；其中，
所述存储器701，用于存储计算机程序和数据；
所述处理器702，用于执行所述存储器中存储的计算机程序，以实现前述实施例的任意一种目标检测方法。
在实际应用中，上述存储器701可以是易失性存储器(volatile memory)，例如RAM；或者非易失性存储器(non-volatile memory)，例如ROM，快闪存储器(flash memory)，硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器702提供指令和数据。
上述处理器702可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本公开实施例不作具体限定。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述
本公开所提供的各方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本公开所提供的各产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本公开所提供的各方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例的方法。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本公开的保护之内。

Claims (20)

1.一种目标检测方法，所述方法包括：
确定游戏平台图像的第一检测结果，所述游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，所述第一检测结果用于表征目标对象所在区域；
在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域；根据所述裁剪区域对所述原始游戏平台图像进行裁剪，得到裁剪图像；
根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果。
2.根据权利要求1所述的方法，其中，所述根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果，包括：
提取所述裁剪图像的图像特征；
根据所述第一检测结果和所述图像特征，确定所述裁剪图像中所述目标对象的特征；
根据所述目标对象的特征，得到所述第二检测结果。
3.根据权利要求2所述的方法，其中，所述提取所述裁剪图像的图像特征，包括：
利用残差网络提取所述裁剪图像的图像特征。
4.根据权利要求2或3所述的方法，其中，所述根据所述第一检测结果和所述图像特征，确定所述裁剪图像中所述目标对象的特征，包括：
将所述第一检测结果和所述图像特征输入至回归模型中，利用所述回归模型对所述第一检测结果和所述图像特征进行处理，得到所述裁剪图像中所述目标对象的特征；
所述根据所述目标对象的特征，得到第二检测结果，包括：
利用所述回归模型对所述目标对象的特征进行处理，得到所述第二检测结果。
5.根据权利要求4所述的方法，其中，所述回归模型为全连接网络。
6.根据权利要求4或5所述的方法，其中，所述回归模型的训练方法包括以下步骤：
获取第一样本图像中部分图像的图像特征、第二样本图像的第三检测结果和所述第一样本图像的标注信息，所述第二样本图像是对所述第一样本图像进行降分辨率处理得到的，所述第三检测结果用于表征参考对象所在区域，所述部分图像的区域包括所述参考对象所在区域；
将所述部分图像的图像特征和所述第三检测结果输入至所述回归模型，利用所述回归模型对所述部分图像的图像特征和所述第三检测结果进行处理，得到第四检测结果，所述第四检测结果表示所述第三检测结果的优化结果；
根据所述第四检测结果和所述第一样本图像的标注信息，调整所述回归模型的网络参数值。
7.根据权利要求1至6中任一项所述的方法，其中，所述目标对象所在区域为检测框；
所述在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域，包括：
在所述原始游戏平台图像中，将所述检测框沿向上、向下、向左和向右中的至少一个方向进行扩展，得到所述裁剪区域。
8.一种目标检测装置，所述装置包括：确定模块、第一处理模块和第二处理模块，其中，
确定模块，用于确定游戏平台图像的第一检测结果，所述游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，所述第一检测结果用于表征目标对象所在区域；
第一处理模块，用于在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域；根据所述裁剪区域对所述原始游戏平台图像进行裁剪，得到裁剪图像；
第二处理模块，用于根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果。
9.一种电子设备，其特征在于，所述电子设备包括处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，
在执行所述存储器中存储的所述计算机程序时，所述处理器配置为：
确定游戏平台图像的第一检测结果，所述游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，所述第一检测结果用于表征目标对象所在区域；
在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域；根据所述裁剪区域对所述原始游戏平台图像进行裁剪，得到裁剪图像；
根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果。
10.根据权利要求9所述的电子设备，其中，所述处理器具体配置为：
提取所述裁剪图像的图像特征；
根据所述第一检测结果和所述图像特征，确定所述裁剪图像中所述目标对象的特征；
根据所述目标对象的特征，得到所述第二检测结果。
11.根据权利要求10所述的电子设备，其中，所述处理器具体配置为：
利用残差网络提取所述裁剪图像的图像特征。
12.根据权利要求10或11所述的电子设备，其中，所述处理器具体配置为：
将所述第一检测结果和所述图像特征输入至回归模型中，利用所述回归模型对所述第一检测结果和所述图像特征进行处理，得到所述裁剪图像中所述目标对象的特征；
其中，所述处理器具体配置为：
利用所述回归模型对所述目标对象的特征进行处理，得到所述第二检测结果。
13.根据权利要求12所述的电子设备，其中，所述回归模型为全连接网络。
14.根据权利要求12或13所述的电子设备，其中，所述回归模型的训练方法包括以下步骤：
获取第一样本图像中部分图像的图像特征、第二样本图像的第三检测结果和所述第一样本图像的标注信息，所述第二样本图像是对所述第一样本图像进行降分辨率处理得到的，所述第三检测结果用于表征参考对象所在区域，所述部分图像的区域包括所述参考对象所在区域；
将所述部分图像的图像特征和所述第三检测结果输入至所述回归模型，利用所述回归模型对所述部分图像的图像特征和所述第三检测结果进行处理，得到第四检测结果，所述第四检测结果表示所述第三检测结果的优化结果；
根据所述第四检测结果和所述第一样本图像的标注信息，调整所述回归模型的网络参数值。
15.根据权利要求9至14中任一项所述的电子设备，其中，所述目标对象所在区域为检测框；
其中，所述处理器具体配置为：
在所述原始游戏平台图像中，将所述检测框沿向上、向下、向左和向右中的至少一个方向进行扩展，得到所述裁剪区域。
16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时配置为：
确定游戏平台图像的第一检测结果，所述游戏平台图像是对原始游戏平台图像进行降分辨率处理得到的，所述第一检测结果用于表征目标对象所在区域；
在所述原始游戏平台图像中，将所述目标对象所在区域向外扩展，得到裁剪区域；根据所述裁剪区域对所述原始游戏平台图像进行裁剪，得到裁剪图像；
根据所述裁剪图像，对所述第一检测结果进行优化，得到第二检测结果。
17.根据权利要求16所述的存储介质，其中，所述计算机程序具体配置为：
提取所述裁剪图像的图像特征；
根据所述第一检测结果和所述图像特征，确定所述裁剪图像中所述目标对象的特征；
根据所述目标对象的特征，得到所述第二检测结果。
18.根据权利要求17所述的存储介质，其中，所述计算机程序具体配置为：
利用残差网络提取所述裁剪图像的图像特征。
19.根据权利要求17或18所述的存储介质，其中，所述计算机程序具体配置为：
将所述第一检测结果和所述图像特征输入至回归模型中，利用所述回归模型对所述第一检测结果和所述图像特征进行处理，得到所述裁剪图像中所述目标对象的特征；
其中，所述计算机程序具体配置为：
利用所述回归模型对所述目标对象的特征进行处理，得到所述第二检测结果。
20.根据权利要求19所述的存储介质，其中，所述回归模型为全连接网络。
CN202180004199.3A 2021-12-17 2021-12-21 目标检测方法、装置、电子设备和计算机存储介质 Withdrawn CN115004245A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SG10202114024R 2021-12-17
SG10202114024R 2021-12-17
PCT/IB2021/062081 WO2023111674A1 (en) 2021-12-17 2021-12-21 Target detection method and apparatus, electronic device, and computer storage medium

Publications (1)

Publication Number Publication Date
CN115004245A true CN115004245A (zh) 2022-09-02

Family

ID=81185136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180004199.3A Withdrawn CN115004245A (zh) 2021-12-17 2021-12-21 目标检测方法、装置、电子设备和计算机存储介质

Country Status (2)

Country Link
US (1) US20220122341A1 (zh)
CN (1) CN115004245A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114581781B (zh) * 2022-05-05 2022-08-09 之江实验室 一种高分辨率遥感图像的目标检测方法及装置

Also Published As

Publication number Publication date
US20220122341A1 (en) 2022-04-21

Similar Documents

Publication Publication Date Title
TWI773189B (zh) 基於人工智慧的物體檢測方法、裝置、設備及儲存媒體
CN108805131B (zh) 文本行检测方法、装置及系统
US10936911B2 (en) Logo detection
CN110858394B (zh) 一种图像质量评估方法、装置、电子设备及计算机可读存储介质
CN109035304B (zh) 目标跟踪方法、介质、计算设备和装置
KR102354692B1 (ko) 규칙 기반 비디오 중요도 분석
US9436883B2 (en) Collaborative text detection and recognition
US20180018503A1 (en) Method, terminal, and storage medium for tracking facial critical area
US8861884B1 (en) Training classifiers for deblurring images
CN110765860A (zh) 摔倒判定方法、装置、计算机设备及存储介质
KR102087882B1 (ko) 시각적 이미지 매칭을 기반으로 한 미디어 스트림 식별 장치 및 방법
US8391551B2 (en) Object detecting device, learning device, object detecting method, and program
CN110460838B (zh) 一种镜头切换的检测方法、装置及计算机设备
CN109063776B (zh) 图像再识别网络训练方法、装置和图像再识别方法及装置
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN112329762A (zh) 图像处理方法、模型训练方法、装置、计算机设备和介质
CN112417970A (zh) 目标对象识别方法、装置和电子系统
CN115062186A (zh) 一种视频内容检索方法、装置、设备以及存储介质
CN115004245A (zh) 目标检测方法、装置、电子设备和计算机存储介质
WO2024022301A1 (zh) 视角路径获取方法、装置、电子设备及介质
CN112287905A (zh) 车辆损伤识别方法、装置、设备及存储介质
EP4332910A1 (en) Behavior detection method, electronic device, and computer readable storage medium
CN115393755A (zh) 视觉目标跟踪方法、装置、设备以及存储介质
CN112825145B (zh) 人体朝向检测方法、装置、电子设备和计算机存储介质
CN117121051A (zh) 用于从图像和视频中去除反射特征的基于实时机器学习的隐私过滤器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220902

WW01 Invention patent application withdrawn after publication