CN108229305A - 用于确定目标对象的外接框的方法、装置和电子设备 - Google Patents

用于确定目标对象的外接框的方法、装置和电子设备 Download PDF

Info

Publication number
CN108229305A
CN108229305A CN201711165979.8A CN201711165979A CN108229305A CN 108229305 A CN108229305 A CN 108229305A CN 201711165979 A CN201711165979 A CN 201711165979A CN 108229305 A CN108229305 A CN 108229305A
Authority
CN
China
Prior art keywords
key point
attribute information
target object
information
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711165979.8A
Other languages
English (en)
Other versions
CN108229305B (zh
Inventor
李步宇
李全全
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201711165979.8A priority Critical patent/CN108229305B/zh
Publication of CN108229305A publication Critical patent/CN108229305A/zh
Priority to SG11201913529UA priority patent/SG11201913529UA/en
Priority to JP2019572712A priority patent/JP6872044B2/ja
Priority to PCT/CN2018/111464 priority patent/WO2019100886A1/zh
Priority to US16/731,858 priority patent/US11348275B2/en
Application granted granted Critical
Publication of CN108229305B publication Critical patent/CN108229305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种用于确定目标对象的外接框的方法、装置、计算机可读存储介质以及电子设备，其中的方法包括：获取目标对象的多个关键点中每个关键点的属性信息；根据所述目标对象的多个关键点中每个关键点的属性信息以及预设的神经网络，确定所述目标对象的外接框位置。本申请实施方式能够提高确定目标对象的外接框的效率以及准确性。

Description

用于确定目标对象的外接框的方法、装置和电子设备
技术领域
本申请涉及计算机视觉技术，尤其是一种用于确定目标对象的外接框的方法、装置和电子设备。
背景技术
在图像识别等计算机视觉领域中，往往需要快速准确的确定出人体的外接框。
目前，通常利用Faster-RCNN(Convolutional Neural Networks，加快的基于区域的卷积神经网络)来确定人体的外接框，即先利用RPN(Region Proposal Network，候选区域生成网络)获得多个候选区域，然后，再利用RCNN对各个候选区域进行评分及修正，从而确定出人体的外接框。
发明内容
本申请实施方式提供一种用于确定目标对象的外接框的方法、用于确定目标对象的外接框的装置、计算机可读存储介质以及电子设备。
根据本申请的一个方面，提供了一种用于确定目标对象的外接框的方法，包括：获取目标对象的多个关键点中每个关键点的属性信息；根据所述目标对象的多个关键点中每个关键点的属性信息以及预设的神经网络，确定所述目标对象的外接框位置。
在本申请一实施方式中，所述目标对象包括：人体。
在本申请又一实施方式中，所述关键点的属性信息包括：坐标信息以及存在判别值。
在本申请再一实施方式中，所述根据所述目标对象的多个关键点中每个关键点的属性信息以及预设的神经网络，确定所述目标对象的外接框位置，包括：根据所述多个关键点中每个关键点的属性信息，从所述多个关键点中确定至少一个有效关键点；根据所述至少一个有效关键点中每个有效关键点的属性信息，对所述多个关键点的属性信息进行处理，得到处理后的多个关键点的属性信息；将所述处理后的所述多个关键点的属性信息输入到所述预设的神经网络进行处理，得到所述目标对象的外接框位置。
在本申请再一实施方式中，所述处理后的多个关键点的属性信息包括：所述至少一个有效关键点中每个有效关键点的处理后的属性信息以及所述多个关键点中除所述至少一个有效关键点之外的其他关键点的属性信息。
在本申请再一实施方式中，所述根据所述至少一个有效关键点中每个有效关键点的属性信息，对所述多个关键点的属性信息进行处理，得到处理后的多个关键点的属性信息，包括：根据所述至少一个有效关键点中每个有效关键点的属性信息包括的坐标信息，确定参考坐标；根据所述参考坐标和所述至少一个有效关键点中每个有效关键点的属性信息中的坐标信息，确定所述每个有效关键点的处理后的属性信息中的坐标信息。
在本申请再一实施方式中，所述根据所述至少一个有效关键点中每个有效关键点的属性信息包括的坐标信息，确定参考坐标，包括：对所述至少一个有效关键点中每个有效关键点的坐标信息对应的坐标进行平均处理，得到所述参考坐标；和/或，根据所述参考坐标和所述至少一个有效关键点中每个有效关键点的属性信息中的坐标信息，确定所述每个有效关键点的处理后的属性信息中的坐标信息，包括：将所述参考坐标作为原点，确定所述至少一个有效关键点中每个有效关键点的坐标信息所对应的处理后的坐标信息。
在本申请再一实施方式中，所述将所述处理后的所述多个关键点的属性信息输入到所述预设的神经网络进行处理，得到所述目标对象的外接框位置，包括：将所述处理后的所述多个关键点的属性信息输入到所述预设的神经网络进行处理，得到输出位置信息；根据所述参考坐标和所述输出位置信息，确定所述目标对象的外接框位置。
在本申请再一实施方式中，所述方法还包括：获取包括多个样本数据的样本集合，其中，所述样本数据包括：样本对象的多个关键点的属性信息，并且所述样本数据标注有所述样本对象的外接框位置；
根据每个所述样本数据中样本对象的多个关键点的属性信息以及所述样本对象的外接框位置，训练所述神经网络。
在本申请再一实施方式中，所述神经网络是基于随机梯度下降算法进行训练得到的。
在本申请再一实施方式中，所述目标对象的外接框位置包括：所述目标对象的外接框对角线方向上的两个顶点的坐标信息。
在本申请再一实施方式中，所述神经网络包括：至少两层全连接层。
在本申请再一实施方式中，所述神经网络包括：三层全连接层，其中所述三层全连接层的第一层全连接层和第二层全连接层中的至少一层的激活函数包括：修正线性单元ReLu激活函数。
在本申请再一实施方式中，所述第一层全连接层包括320个神经元，所述第二层神经网络包括320个神经元，所述三层全连接层中的最后一层全连接层包括4个神经元。
根据本申请的另一个方面，提供了一种用于确定目标对象的外接框的装置，包括：获取模块，用于获取目标对象的多个关键点中每个关键点的属性信息；确定模块，用于根据所述获取模块获取的所述目标对象的多个关键点中每个关键点的属性信息以及预设的神经网络，确定所述目标对象的外接框位置。
具体地，该装置可以用于执行上述方法的任一实施方式，相应地，该装置可以包括用于执行上述方法的任一实施方式的单元和/或模块。
根据本申请的再一个方面，提供了一种电子设备，包括：处理器和计算机可读存储介质，计算机可读存储介质用于存储指令，所述处理器对所述指令的执行使得所述电子设备执行上述方法的任一实施方式。
根据本申请的再一个方面，提供的一种计算机可读存储介质，其上存储有指令，所述指令被处理器执行时，上述方法的任一实施方式被执行。
根据本申请的再一个方面，提供的一种计算机程序产品，包括至少一个指令，所述至少一个指令在被处理器执行时，上述方法的任一实施方式被执行。
基于本申请上述实施方式提供的用于确定目标对象的外接框的方法和装置以及电子设备，通过利用目标对象的多个关键点中每个关键点的属性信息以及神经网络，来确定目标对象的外接框位置，有利于提高确定目标对象的外接框的效率以及准确性。
下面通过附图和实施方式，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施方式，并且连同描述一起用于解释本申请的原理。
图1为本申请中的方法的一个实施方式的流程图；
图2为本申请中的对神经网络进行训练的方法的一实施方式的流程图；
图3为本申请中的装置的一个实施方式的具体结构示意图；
图4为本申请中的电子设备的一个实施方式的结构示意图；
图5为本申请中的计算机可读存储介质的一个实施方式的示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施方式。应该注意到：除非另外具体说明，否则在这些实施方式中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施方式的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
本申请实施方式可以应用于计算机系统/服务器，其可与众多其它通用或者专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于：个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统、大型计算机系统和包括上述任何系统的分布式云计算技术环境，等等。
计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常，程序模块可以包括例程、程序、目标程序、组件、逻辑以及数据结构等等，它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施，分布式云计算环境中，任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中，程序模块可以位于包括存储设备的本地或者远程计算系统存储介质上。
下面具体介绍本申请的各种非限制性实施方式。
图1为本申请的用于确定目标对象的外接框的方法的示意性流程图。如图1所示，本申请的用于确定目标对象的外接框的方法主要包括：S100和S110。下面对图1中的各步骤分别进行说明。
S100、获取目标对象的多个关键点中每个关键点的属性信息。
在一个可选示例中，本申请实施方式中的目标对象也可以称为检测对象或者外接框检测对象等，本申请实施例对此不做限定。可选地，该目标对象可以具体为人体，也可以具体为人脸或者某种特定物体，本申请实施方式不限制目标对象的具体表现形式。本申请实施方式中的外接框通常是指能够表示出目标对象所在区域的多边形(通常为矩形)，且该外接框通常不仅可以准确的涵盖目标对象的所有部位，而且其面积还可以尽可能的小。
在一个可选示例中，本申请实施方式中的关键点的属性信息可以包括关键点的多种信息。作为一个例子，关键点的属性信息可以用于描述目标对象的各关键点是否在图像中可见以及图像中可见的各关键点在图像中的具体位置；本申请实施方式可以将在图像中可见的关键点(即位于图像中的关键点)称为有效关键点，而将图像中不可见的关键点(即没有位于图像中的关键点)称为无效关键点。其中，图像中不可见的关键点可以为被遮挡的关键点，也可以为位于图像之外的关键点，本申请实施例对此不做限定。
在一个具体的例子中，关键点的属性信息可以包括：关键点的坐标信息以及关键点的存在判别值，其中，关键点的坐标信息可以用于表示该关键点在图像中的位置，例如，该关键点的坐标信息可以具体为关键点的二维坐标，但本申请实施例不限于此；关键点的存在判别值可以用于指示关键点在图像中是否可见。例如，若关键点的存在判别值为1，则表示该关键点可见，而若关键点的存在判别值为0，则表示该关键点不可见，但本申请实施例中的存在判别值还可以采用其他方式实现。可选地，该属性信息还可以包括其他信息，本申请实施例不限于此。
作为一个例子，本申请实施方式获取到的关键点的属性信息可以是一个3×N维的向量，其中的N表示预先为目标对象的多个关键点的数量。本申请实施方式中的一个关键点的属性信息可以通过一个数组(x，y，v)来表示，且x和y为该关键点在图像中的二维坐标，而v为该关键点的存在判别值，在v的取值为第一判别值时，表示该关键点为图像中的可见关键点，在v的取值为第二判别值时，表示该关键点为图像中的不可见关键点。例如，对于目标对象的一个关键点而言，如果该关键点为有效关键点，则该关键点的属性信息可以表示为数组(x，y，1)，而如果该关键点为无效关键点(被遮挡或者位于图像之外)，则该关键点的属性信息可以表示为数组(0，0，0)。通过利用这样的方式来表示关键点的属性信息可以方便的获知目标对象的所有关键点在图像中的实际情况。
在一个可选示例中，在目标对象为人体的情况下，本申请实施方式的人体的关键点通常可以包括：头顶、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左髋、右髋、左膝、右膝、左踝以及右踝，利用这14个关键点可以较为完整的描述出人体的姿势形态。此时，多个关键点的属性信息可以包括这14个关键点中部分或全部关键点的属性信息。作为一个例子，本申请实施方式所获取到的多个关键点的属性信息可以包括：头顶的坐标信息和头顶的存在判别值、颈部的坐标信息和颈部的存在判别值、左肩的坐标信息和左肩的存在判别值、右肩的坐标信息和右肩的存在判别值、左肘的坐标信息和左肘的存在判别值、右肘的坐标信息和右肘的存在判别值、左腕的坐标信息和左腕的存在判别值、右腕的坐标信息和右腕的存在判别值、左髋的坐标信息和左髋的存在判别值、右髋的坐标信息和右髋的存在判别值、左膝的坐标信息和左膝的存在判别值、右膝的坐标信息和右膝的存在判别值、左踝的坐标信息和左踝的存在判别值以及右踝的坐标信息和右踝的存在判别值。通过利用这14个关键点的属性信息可以描述出图像中的人体概况。在目标对象为其他事物的情况下，其关键点通常会随之发生变化，本申请实施方式不限制目标对象的关键点的具体表现形式。
在一个可选示例中，本申请实施方式可以适用于已经获得了目标对象的多个关键点的属性信息的应用场景中，也就是说，在已经从图像中或其他方式获得了目标对象的多个关键点的属性信息的应用场景中，本申请实施方式可以通过信息读取等方式获得该目标对象的关键点的属性信息，但本申请实施例不限于此。在这样的应用场景中，本申请实施方式可以根据该目标对象的多个关键点的属性信息，利用预先训练出的神经网络，获得目标对象的外接框位置。
S110、根据目标对象的多个关键点中每个关键点的属性信息以及预设的神经网络，确定目标对象的外接框位置。
目标对象的外接框位置可以用于确定目标对象的外接框。可选地，该外接框位置可以包括外接框的一个或多个顶点的位置信息。在一个可选例子中，如果该外接框为四边形，例如矩形，则该外接框位置可以包括外接框的两个相对顶点的位置信息，例如，两个相对顶点中每个相对顶点的二维坐标，但本申请实施例对目标对象的外接框位置的具体实现不做限定。
在一个可选示例中，本申请实施方式中的神经网络可以是专用神经网络。该神经网络可以是利用大量的样本数据训练而成的，其中，该样本数据可以包括样本对象的多个关键点的属性信息以及外接框位置，也就是说，该样本数据可以标注有样本对象的外接框位置。该训练过程的一个具体例子可以参见下述针对图2的描述，在此不再详细说明。
可选地，本申请实施方式中的神经网络可以包括：至少两层全连接层。与卷积神经网络相比，全连接网络可以具有更快的计算速度和处理效率。
在一个可选示例中，本申请实施方式中的神经网络包括：两层全连接层，且第一层全连接层的激活函数可以为ReLu(Rectified Linear Unit，修正线性单元)激活函数。
在一个可选示例中，本申请实施方式中的神经网络包括：三层全连接层，且第一层全连接层的激活函数可以为ReLu激活函数，而第二层全连接层的激活函数也可以为ReLu激活函数。
在本申请实施例中，神经网络所包含的全连接层的层数以及每一层全连接层所包含的神经元的数量可以根据实际情况自行设置。在神经网络的层数以及神经元的数量足够多的情况下，神经网络具有较强的函数表达能力，从而基于神经网络所获得的外接框位置会更准确。在一个可选例子中，对于由三层全连接层形成的神经网络而言，神经网络的第一层全连接层的神经元数量可以为320个，第二层全连接层的神经元数量也可以为320个，在目标对象的外接框为四边形(例如，矩形)，且在目标对象的外接框位置通过外接框的对角线方向上的两个顶点的二维坐标信息来表示的情况下，第三层全连接层的神经元数量可以设置为4个。
发明人通过多次实验验证，具有三层全连接层，第一层和第二层全连接层的激活函数使用ReLu激活函数，且第一层和第二层全连接层分别具有320个神经元，第三层全连接层具有4个神经元的神经网络，不但其运算速度可以满足实际需求，且确定外接框位置的准确性同样可以满足实际需求。
在本申请实施例中，可以直接将该多个关键点的属性信息输入到的神经网络，或者可以在对该多个关键点的属性信息进行处理之后输入到神经网络。也就是说，可以根据该多个关键点的属性信息，确定神经网络的输入信息，其中，该输入信息可以是该多个关键点的属性信息本身，或者是通过对该多个关键点的属性信息进行处理得到的。神经网络可以对输入信息进行处理，得到输出结果，其中，该目标对象的外接框位置可以根据神经网络的输出结果得到。具体地，神经网络的输出结果可以包括该目标对象的外接框的位置信息，例如，目标对象的外接框的一个或多个顶点的坐标信息，作为一个例子，如果该外接框为矩形，则该输出结果可以包括外接框的两个相对顶点的坐标信息；或者，该目标对象的外接框位置可以是通过对神经网络的输出结果进行处理得到的，本申请实施例对此不做限定。
在一个可选示例中，本申请可以根据目标对象的多个关键点中每个关键点的属性信息，进行有效关键点的选取。例如，如果关键点的属性信息包括存在判别值，则可以将存在判别值指示存在的关键点确定为有效关键点，例如，如果关键点的存在判别值为1，则可以将该关键点确定为有效关键点，但本申请实施例不限于此。
可选地，如果能够从该多个关键点中选出至少一个有效关键点，则可以根据该至少一个有效关键点中每个有效关键点的属性信息，对该多个关键点中部分或所有关键点的属性信息进行处理，得到处理后的多个关键点的属性信息，并将该处理后的多个关键点的属性信息作为输入信息。具体地，该处理后的多个关键点的属性信息可以包括该多个关键点中每个关键点的处理后的属性信息，或者包括该多个关键点中的一部分关键点的处理后的属性信息以及该多个关键点中的另一个部分关键点的原始的属性信息。作为一个例子，该处理后的多个关键点的属性信息可以包括至少一个有效关键点中每个有效关键点的处理后的属性信息以及该多个关键点中除该至少一个有效关键点之外的其他关键点的原始的属性信息，也就是说，可以对该至少一个有效关键点中每个有效关键点的属性信息进行处理，而不对其他关键点的属性信息进行处理，但本申请实施例不限于此。
在本申请实施例中，可以通过多种方式处理该至少一个有效关键点的属性信息。作为一个例子，可以根据至少一个有效关键点中每个有效关键点的属性信息包括的坐标信息，确定参考坐标，并且根据参考坐标和有效关键点的属性信息中的坐标信息，确定该有效关键点的处理后的属性信息中的坐标信息。该参考坐标可以是通过对该至少一个有效关键点的坐标信息进行处理得到的。例如，该参考坐标可以是对该至少一个有效关键点的坐标进行平均处理得到的，但本申请实施例对该参考坐标的具体实现不做限定。
在一个可选示例中，可以对S100获取到的关键点的属性信息进行零均值化处理，并将零均值处理后获得的信息作为输入信息的一部分提供给神经网络。例如，可以根据有效关键点的属性信息中的坐标信息，计算坐标均值(mx，my)；之后，针对所有关键点中的每一个有效关键点，分别计算该关键点的坐标信息(xi，yi)与上述坐标均值的差值，即(xi-mx，yi-my)，并利用计算出的差值作为该有效关键点的坐标信息；最后，可以将目标对象的所有关键点的坐标信息以及所有关键点的存在判别值作为输入信息提供给神经网络。
需要特别说明的是，如果本申请实施方式在训练神经网络的过程中，并未对样本数据进行零均值处理，则在S110中，也不需要对目标对象的有效关键点的二维坐标进行零均值处理。
可选地，在提供给神经网络的输入信息为经过零均值处理的输入信息的情况下，本申请实施方式可以将神经网络输出的坐标信息与上述计算出来的坐标均值的和作为目标对象的外接框的多个顶点(如矩形外接框的对角线上的两个顶点)的最终的坐标。例如，神经网络的输出位置信息为(bx1，by1)和(bx2，by2)，则目标对象的外接框对角线上的两个顶点的坐标可以为(bx1+mx，by1+my)以及(bx2+mx，by2+my)。
图2为本申请实施方式的训练神经网络的方法的一示意性流程图。其中，这里假设多个关键点的数量为N，每个关键点的属性信息可以均为3维向量：(x，y，v)，外接框为矩形。此外，假设神经网络的输入包括3×N矩阵，输出包括2×2矩阵，具体为外接框对角线上两个顶点的二维坐标。
如图2所示，本申请实施方式的训练神经网络的方法可以包括：S200、S210、S220、S230、S240及S250。下面对图2中的各步骤分别进行说明。
S200、从样本集合中获取一条样本数据。
在一个可选示例中，本申请实施方式中的样本集合通常为非空，且通常包括大量的样本数据，例如，该样本集合可以具体为目前公开的MS COCO数据库等。样本集合中的每一条样本数据可以包括：样本对象的多个关键点的属性信息，并且每个样本数据可以标注有样本对象的外接框位置，其中的关键点的属性信息可以包括关键点的坐标信息和关键点的存在判别值，但本申请实施例不限于此。样本数据所对应的样本对象通常与目标对象具有相同的类型，例如，在目标对象为人体的情况下，样本对象也为人体。本申请实施方式可以从样本集合中按照样本数据的排列次序顺序的选取一条样本数据，也可以从样本集合中随机选取一条样本数据，本申请实施例对选择样本数据的方式不做限定。
S210、根据该条样本数据的所有有效关键点的坐标信息计算坐标均值，例如，针对样本数据中的v为1的所有关键点的坐标信息属计算坐标均值(mx，my)。
S220、计算该条样本数据中的各有效关键点的坐标信息与上述坐标均值的差值，并将计算出的差值作为相应的有效关键点的坐标信息，即针对样本数据中的有效关键点的坐标信息(xi，yi)，计算(xi-mx，yi-my)。
S230、将该条样本数据的所有关键点的属性信息作为输入提供给神经网络。
在一个可选示例中，在神经网络的输出为矩形对角线上的两个顶点的二维坐标(bx1，by1)和(bx2，by2)的情况下，外接框的坐标可以确定为上述输出坐标信息与坐标均值的差值(即给定监督)，具体可以表示为(bx1-mx，by1-my)以及(bx2-mx，by2-my)。
可选地，本申请实施方式可以采用随机梯度下降算法进行计算，以实现训练。
可选地，可以通过比较神经网络计算得到的结果和该样本数据标注的外接框位置，来确定是否对神经网络的参数进行调整。其中，若神经网络计算得到的结果与样本数据标注的外接框位置之间的差别低于一定范围，则可以终止训练过程或者继续从样本集合中选取新的样本数据。否则，可以调整神经网络的参数，并利用调整后的神经网络继续进行计算。
S240、判断是否继续从样本集合中获取一条新的样本数据，如果需要继续从样本集合中获取一条新的样本数据，则返回S200，否则，到S250。
在一个可选示例中，本申请实施方式可以通过判断样本集合中的所有样本数据是否均被用于训练、神经网络输出的结果是否满足预定准确度要求或者读取的样本数量是否达到预定数量等因素，来判断是否继续从样本集合中获取一条新的样本数据。
S250、本次训练过程结束。
在一个可选示例中，通过检测，在确定出神经网络输出的结果满足预定准确度要求的情况下，神经网络训练成功，而如果样本集合中的所有样本数据已经均被用于训练或者读取的样本数量已经达到预定数量，然而，通过检测在确定出神经网络输出的结果还不满足预定准确度要求，则虽然本次训练过程结束了，但是，神经网络并没有训练成功，可以对神经网络进行再次训练。上述检测可以具体为：从样本集合中选取多个未进行过训练的样本数据，并基于这样的样本数据，按照图1所示的方法提供给神经网络，并确定基于神经网络获得的各外接框位置与相应的样本数据中人工标注的外接框位置的误差，在根据各误差确定出准确度满足预定准确度要求时，神经网络训练成功。另外，本申请实施方式在训练神经网络的过程中，可以采用L2损失函数进行训练监督，但本申请实施例不限于此。
本申请通过利用样本对象的关键点的属性信息以及外接框位置来训练神经网络，使训练后的神经网络可以基于目标对象的关键点的属性信息直接确定出目标对象的外接框位置；由于在一些实际应用中，存在已经成功获得了目标对象的关键点的属性信息的情况，因此，本申请实施方式可以在不需要图像的情况下，通过充分利用已经获得的目标对象的关键点的属性信息快速的获得目标对象的外接框；由于本申请实施方式中的神经网络是利用样本对象的关键点的属性信息以及外接框位置训练获得的，因此，在样本对象的关键点数量较多且设置的神经元数量较多的情况下，神经网络所需要学习的参数也较多，这有利于使神经网络能够较为准确的确定出目标对象的外接框。
图3为本申请的用于确定目标对象的外接框的装置一个实施方式的结构示意图。该实施方式的装置可用于实现本申请上述各方法实施方式。
如图3所示，该实施方式的装置主要包括：获取模块300以及确定模块310，可选的，该装置还可以包括：训练模块320。
获取模块300主要用于获取目标对象的多个关键点中每个关键点的属性信息。目标对象、关键点、有效关键点以及关键点的属性信息的具体内容可以参见上述方法实施方式中的S100的相关描述，在此不再详细说明。
在一个可选示例中，本申请实施方式的装置通常适用于已经成功获得了目标对象的关键点的属性信息的应用场景中，也就是说，在已经从图像中获得了目标对象的关键点的属性信息的应用场景中，获取模块300可以通过读取等方式直接获得已经存在的目标对象的关键点的属性信息。
确定模块310主要用于根据获取模块300获取的目标对象的多个关键点中每个关键点的属性信息以及预设的神经网络，确定目标对象的外接框位置。本申请中的神经网络的具体表现形式(例如，层数、神经元数量以及激活函数等)可以参见上述方法实施方式中的相关描述，在此不再详细说明。
在一个可选示例中，确定模块310可以包括：第一子模块、第二子模块以及第三子模块。其中的第一子模块主要用于根据获取模块300获取的多个关键点中每个关键点的属性信息，从多个关键点中确定至少一个有效关键点。其中的第二子模块主要用于根据第一子模块确定出的至少一个有效关键点中每个有效关键点的属性信息，对多个关键点的属性信息进行处理，得到处理后的多个关键点的属性信息。其中的第三子模块主要用于将第二子模块得到的处理后的多个关键点的属性信息输入到预设的神经网络进行处理，得到目标对象的外接框位置。本申请中的处理后的多个关键点的属性信息可以包括：至少一个有效关键点中每个有效关键点的处理后的属性信息以及多个关键点中除所述至少一个有效关键点之外的其他关键点的属性信息。上述第二子模块可以具体包括：第一单元和第二单元。其中的第一单元主要用于根据第一子模块确定出的至少一个有效关键点中每个有效关键点的属性信息包括的坐标信息，确定参考坐标；例如，第一单元对至少一个有效关键点中每个有效关键点的坐标信息对应的坐标进行平均处理，得到参考坐标。其中的第二单元主要用于根据第一单元得到的参考坐标和至少一个有效关键点中每个有效关键点的属性信息中的坐标信息，确定每个有效关键点的处理后的属性信息中的坐标信息；例如，第二单元将第一单元得到的参考坐标作为原点，确定至少一个有效关键点中每个有效关键点的坐标信息所对应的处理后的坐标信息。此时，第三子模块可以具体用于将第二单元处理后的多个关键点的属性信息输入到神经网络进行处理，得到输出位置信息，并根据参考坐标和上述输出的位置信息，确定目标对象的外接框位置。
在一个可选示例中，在需要对目标对象的关键点的二维坐标进行零均值处理的情况下，第一单元用于根据目标对象的所有有效关键点的坐标信息计算二维坐标均值；第二单元用于针对目标对象的所有有效关键点，分别计算关键点的坐标信息与二维坐标均值的差值，并将差值作为有效关键点的坐标信息；第三子模块用于将目标对象的所有关键点的坐标信息以及所有关键点的存在判别值作为输入信息提供给神经网络。
在确定模块310对目标对象的关键点的二维坐标进行零均值处理的情况下，确定模块310可以将神经网络输出的外接框坐标信息与坐标均值的和作为目标对象的外接框二维坐标信息。
训练模块320主要用于训练神经网络。
在一个可选示例中，训练模块320从样本集合中获取多条样本数据，针对每一条样本数据，训练模块320根据该条样本数据的所有有效关键点的坐标信息计算坐标均值，分别计算该条样本数据中的各有效关键点的坐标信息与上述坐标均值的差值，并将计算出的差值作为相应的有效关键点的坐标信息，训练模块320将该条样本数据的所有关键点的属性信息作为输入提供给神经网络。训练模块320对神经网络进行训练所执行的操作的一个具体的例子可以参见上述方法施方式中的描述，在此不再重复说明。
本申请实施方式还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图4，其示出了适于用来实现本申请实施方式的终端设备或服务器的电子设备400的结构示意图：如图4所示，计算机系统400包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)401，和/或一个或多个图像处理器(GPU)413等，处理器可以根据存储在只读存储器(ROM)402中的可执行指令或者从存储部分408加载到随机访问存储器(RAM)403中的可执行指令而执行各种适当的动作和处理。通信部412可以包括但不限于网卡，所述网卡可以包括但不限于IB(Infiniband)网卡。处理器可与只读存储器402和/或随机访问存储器430中通信以执行可执行指令，通过总线404与通信部412相连、并经通信部412与其他目标设备通信，从而完成本申请实施方式提供的任一项方法对应的操作。
此外，在RAM 403中，还可以存储有装置操作所需的各种程序以及数据。CPU401、ROM402及RAM403通过总线404彼此相连。在有RAM403的情况下，ROM402为可选模块。RAM403存储可执行指令，或在运行时向ROM402中写入可执行指令，可执行指令使处理器401执行上述通信方法对应的操作。输入/输出(I/O)接口405也连接至总线404。通信部412可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
需要说明的，如图4所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图4的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或者集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信部可分离设置，也可集成设置在CPU或者GPU上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本公开的实施方式，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请公开的实施方式包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施方式提供的方法步骤对应的指令。在这样的实施方式中，该计算机程序可以通过通信部分409从网络上被下载以及安装，和/或从可拆卸介质411被安装。在该计算机程序中的指令被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。
可能以许多方式来实现本申请的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的计算机可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质，例如，图5所示的计算机可读存储介质500。
可能以许多方式来实现本申请的方法和装置、电子设备以及计算机可读存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置、电子设备以及计算机可读存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施方式中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的计算机可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施方式是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施方式。

Claims (10)

1.一种用于确定目标对象的外接框的方法，其特征在于，包括：
获取目标对象的多个关键点中每个关键点的属性信息；
根据所述目标对象的多个关键点中每个关键点的属性信息以及预设的神经网络，确定所述目标对象的外接框位置。
2.根据权利要求1所述的方法，其特征在于，所述目标对象包括：人体。
3.根据权利要求1或2所述的方法，其特征在于，所述关键点的属性信息包括：坐标信息以及存在判别值。
4.根据权利要求3所述的方法，其特征在于，所述根据所述目标对象的多个关键点中每个关键点的属性信息以及预设的神经网络，确定所述目标对象的外接框位置，包括：
根据所述多个关键点中每个关键点的属性信息，从所述多个关键点中确定至少一个有效关键点；
根据所述至少一个有效关键点中每个有效关键点的属性信息，对所述多个关键点的属性信息进行处理，得到处理后的多个关键点的属性信息；
将所述处理后的所述多个关键点的属性信息输入到所述预设的神经网络进行处理，得到所述目标对象的外接框位置。
5.根据权利要求4所述的方法，其特征在于，所述处理后的多个关键点的属性信息包括：所述至少一个有效关键点中每个有效关键点的处理后的属性信息以及所述多个关键点中除所述至少一个有效关键点之外的其他关键点的属性信息。
6.根据权利要求4或5所述的方法，其特征在于，所述根据所述至少一个有效关键点中每个有效关键点的属性信息，对所述多个关键点的属性信息进行处理，得到处理后的多个关键点的属性信息，包括：
根据所述至少一个有效关键点中每个有效关键点的属性信息包括的坐标信息，确定参考坐标；
根据所述参考坐标和所述至少一个有效关键点中每个有效关键点的属性信息中的坐标信息，确定所述每个有效关键点的处理后的属性信息中的坐标信息。
7.根据权利要求6所述的方法，其特征在于，所述根据所述至少一个有效关键点中每个有效关键点的属性信息包括的坐标信息，确定参考坐标，包括：
对所述至少一个有效关键点中每个有效关键点的坐标信息对应的坐标进行平均处理，得到所述参考坐标；和/或
根据所述参考坐标和所述至少一个有效关键点中每个有效关键点的属性信息中的坐标信息，确定所述每个有效关键点的处理后的属性信息中的坐标信息，包括：
将所述参考坐标作为原点，确定所述至少一个有效关键点中每个有效关键点的坐标信息所对应的处理后的坐标信息。
8.一种用于确定目标对象的外接框的装置，其特征在于，包括：
获取模块，用于获取目标对象的多个关键点中每个关键点的属性信息；
确定模块，用于根据所述获取模块获取的所述目标对象的多个关键点中每个关键点的属性信息以及预设的神经网络，确定所述目标对象的外接框位置。
9.一种电子设备，包括：处理器和计算机可读存储介质，计算机可读存储介质用于存储指令，所述处理器对所述指令的执行使得所述电子设备执行如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有指令，所述指令被处理器执行时，执行如权利要求1至7中任一项所述的方法。
CN201711165979.8A 2017-11-21 2017-11-21 用于确定目标对象的外接框的方法、装置和电子设备 Active CN108229305B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201711165979.8A CN108229305B (zh) 2017-11-21 2017-11-21 用于确定目标对象的外接框的方法、装置和电子设备
SG11201913529UA SG11201913529UA (en) 2017-11-21 2018-10-23 Methods and apparatuses for determining bounding box of target object, media, and devices
JP2019572712A JP6872044B2 (ja) 2017-11-21 2018-10-23 対象物の外接枠を決定するための方法、装置、媒体及び機器
PCT/CN2018/111464 WO2019100886A1 (zh) 2017-11-21 2018-10-23 用于确定目标对象的外接框的方法、装置、介质和设备
US16/731,858 US11348275B2 (en) 2017-11-21 2019-12-31 Methods and apparatuses for determining bounding box of target object, media, and devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711165979.8A CN108229305B (zh) 2017-11-21 2017-11-21 用于确定目标对象的外接框的方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN108229305A true CN108229305A (zh) 2018-06-29
CN108229305B CN108229305B (zh) 2021-06-04

Family

ID=62652771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711165979.8A Active CN108229305B (zh) 2017-11-21 2017-11-21 用于确定目标对象的外接框的方法、装置和电子设备

Country Status (5)

Country Link
US (1) US11348275B2 (zh)
JP (1) JP6872044B2 (zh)
CN (1) CN108229305B (zh)
SG (1) SG11201913529UA (zh)
WO (1) WO2019100886A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100886A1 (zh) * 2017-11-21 2019-05-31 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置、介质和设备
CN110826357A (zh) * 2018-08-07 2020-02-21 北京市商汤科技开发有限公司 对象三维检测及智能驾驶控制的方法、装置、介质及设备
CN110929792A (zh) * 2019-11-27 2020-03-27 深圳市商汤科技有限公司 图像标注方法、装置、电子设备及存储介质
CN111241887A (zh) * 2018-11-29 2020-06-05 北京市商汤科技开发有限公司 目标对象关键点识别方法及装置、电子设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
CN112115746B (zh) 2019-06-21 2024-06-18 富士通株式会社 人体动作识别装置及方法、电子设备
CN110782404B (zh) * 2019-10-11 2022-06-10 北京达佳互联信息技术有限公司 一种图像处理方法、装置及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107194361A (zh) * 2017-05-27 2017-09-22 成都通甲优博科技有限责任公司 二维姿势检测方法及装置
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5665401B2 (ja) * 2010-07-21 2015-02-04 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9342888B2 (en) * 2014-02-08 2016-05-17 Honda Motor Co., Ltd. System and method for mapping, localization and pose correction of a vehicle based on images
IL231862A (en) * 2014-04-01 2015-04-30 Superfish Ltd Image representation using a neural network
JP2016006626A (ja) 2014-05-28 2016-01-14 株式会社デンソーアイティーラボラトリ 検知装置、検知プログラム、検知方法、車両、パラメータ算出装置、パラメータ算出プログラムおよびパラメータ算出方法
US9177225B1 (en) * 2014-07-03 2015-11-03 Oim Squared Inc. Interactive content generation
CN104573715B (zh) * 2014-12-30 2017-07-25 百度在线网络技术（北京）有限公司 图像主体区域的识别方法及装置
CN107851192B (zh) 2015-05-13 2023-04-14 北京市商汤科技开发有限公司 用于检测人脸部分及人脸的设备和方法
US9767381B2 (en) 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
US10078794B2 (en) 2015-11-30 2018-09-18 Pilot Ai Labs, Inc. System and method for improved general object detection using neural networks
KR102592076B1 (ko) 2015-12-14 2023-10-19 삼성전자주식회사 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치
CN107194338A (zh) 2017-05-14 2017-09-22 北京工业大学 基于人体树图模型的交通环境行人检测方法
WO2018213972A1 (en) * 2017-05-22 2018-11-29 Intel Corporation Region proposal filter for digital image processing
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
CN108229305B (zh) * 2017-11-21 2021-06-04 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置和电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107220604A (zh) * 2017-05-18 2017-09-29 清华大学深圳研究生院 一种基于视频的跌倒检测方法
CN107194361A (zh) * 2017-05-27 2017-09-22 成都通甲优博科技有限责任公司 二维姿势检测方法及装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019100886A1 (zh) * 2017-11-21 2019-05-31 北京市商汤科技开发有限公司 用于确定目标对象的外接框的方法、装置、介质和设备
US11348275B2 (en) 2017-11-21 2022-05-31 Beijing Sensetime Technology Development Co. Ltd. Methods and apparatuses for determining bounding box of target object, media, and devices
CN110826357A (zh) * 2018-08-07 2020-02-21 北京市商汤科技开发有限公司 对象三维检测及智能驾驶控制的方法、装置、介质及设备
CN110826357B (zh) * 2018-08-07 2022-07-26 北京市商汤科技开发有限公司 对象三维检测及智能驾驶控制的方法、装置、介质及设备
CN111241887A (zh) * 2018-11-29 2020-06-05 北京市商汤科技开发有限公司 目标对象关键点识别方法及装置、电子设备和存储介质
CN111241887B (zh) * 2018-11-29 2024-04-16 北京市商汤科技开发有限公司 目标对象关键点识别方法及装置、电子设备和存储介质
CN110929792A (zh) * 2019-11-27 2020-03-27 深圳市商汤科技有限公司 图像标注方法、装置、电子设备及存储介质
CN110929792B (zh) * 2019-11-27 2024-05-24 深圳市商汤科技有限公司 图像标注方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
SG11201913529UA (en) 2020-01-30
JP6872044B2 (ja) 2021-05-19
US20200134859A1 (en) 2020-04-30
CN108229305B (zh) 2021-06-04
JP2020525959A (ja) 2020-08-27
WO2019100886A1 (zh) 2019-05-31
US11348275B2 (en) 2022-05-31

Similar Documents

Publication Publication Date Title
CN108229305A (zh) 用于确定目标对象的外接框的方法、装置和电子设备
US11113560B2 (en) Body contour key point detection methods, apparatuses, and devices
CN108229318A (zh) 手势识别和手势识别网络的训练方法及装置、设备、介质
Chen et al. Tensor-based human body modeling
CN108460338A (zh) 人体姿态估计方法和装置、电子设备、存储介质、程序
WO2019238072A1 (zh) 深度神经网络的归一化方法和装置、设备、存储介质
TWI235041B (en) Characteristic points automatically identification method for three-dimensional space scanning data of human body
Chen et al. Automated contouring error detection based on supervised geometric attribute distribution models for radiation therapy: a general strategy
CN108229296A (zh) 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN108229479A (zh) 语义分割模型的训练方法和装置、电子设备、存储介质
WO2019167064A1 (en) Resolving virtual apparel simulation errors
CN110348543A (zh) 眼底图像识别方法、装置、计算机设备及存储介质
Scandrett et al. A person-specific, rigorous aging model of the human face
CN108229301B (zh) 眼睑线检测方法、装置和电子设备
CN110889446A (zh) 人脸图像识别模型训练及人脸图像识别方法和装置
CN110675487A (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN109829448A (zh) 人脸识别方法、装置及存储介质
CN107463865A (zh) 人脸检测模型训练方法、人脸检测方法及装置
CN108717700A (zh) 一种检测结节长短径长度的方法及装置
WO2022257456A1 (zh) 头发信息识别方法、装置、设备及存储介质
CN111814804A (zh) 基于ga-bp-mc神经网络的人体三维尺寸信息预测方法及装置
CN109035380B (zh) 基于三维重建的人脸修饰方法、装置、设备及存储介质
CN110390307A (zh) 表情识别方法、表情识别模型训练方法及装置
US11495049B2 (en) Biometric feature reconstruction method, storage medium and neural network
CN113743194B (zh) 人脸静默活体检测方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant