CN110288646A - 一种基于图像的人体尺寸计算方法及装置 - Google Patents

一种基于图像的人体尺寸计算方法及装置 Download PDF

Info

Publication number
CN110288646A
CN110288646A CN201910545058.7A CN201910545058A CN110288646A CN 110288646 A CN110288646 A CN 110288646A CN 201910545058 A CN201910545058 A CN 201910545058A CN 110288646 A CN110288646 A CN 110288646A
Authority
CN
China
Prior art keywords
image
human
human body
key point
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910545058.7A
Other languages
English (en)
Inventor
王文东
萧天孜
田野
阙喜戎
龚向阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Posts and Telecommunications
Original Assignee
Beijing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Posts and Telecommunications filed Critical Beijing University of Posts and Telecommunications
Priority to CN201910545058.7A priority Critical patent/CN110288646A/zh
Publication of CN110288646A publication Critical patent/CN110288646A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1072—Measuring physical dimensions, e.g. size of the entire body or parts thereof measuring distances on the body, e.g. measuring length, height or thickness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供了一种基于图像的人体尺寸计算方法及装置，其中方法包括：获取待处理的包含人体的目标图像；对目标图像进行预处理操作，得到人体区域图像；将人体区域图像输入预先训练的深度神经网络中，得到关键点坐标；基于人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算目标图像中人体部位的尺寸。本发明实施例能够提高人体尺寸计算的计算精度。

Description

一种基于图像的人体尺寸计算方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别是涉及一种基于图像的人体尺寸计算方法及装置。
背景技术
人体尺寸计算技术是一种用于对图像中的人物进行尺寸测量的技术，现有的人体尺寸计算方法，通常采用单目测距方式进行人体尺寸计算。
现有的单目测距方式进行人体尺寸计算时，其具体过程为：通过单目摄像头对人体进行拍摄，采集到人体姿态图片，再对单目摄像头与被测量人体之间的距离进行测量，得到拍摄距离参数，再将图片中的人体部位尺寸参数和单目摄像头与被测量人体之间的拍摄距离参数，以及单目摄像头的自身焦距参数，作为单目测距进行尺寸计算方法的输入参数，进而基于上述三个输入参数计算人体部位尺寸。
然而，发明人在实现本发明的过程中发现，通过单目测距方式进行人体尺寸计算时，由于单目摄像头与被测量人体之间的拍摄距离其跨度范围大，例如，可能为几米内，也可能为几十米内，因此在对拍摄距离这一参数进行测量时容易产生误差，导致输出的人体部位尺寸也将产生误差，进而导致对人体尺寸进行计算时的计算精度较低。
发明内容
本发明实施例的目的在于提供一种基于图像的人体尺寸计算方法及装置，以提高人体尺寸计算的计算精度。具体技术方案如下：
第一方面，本发明实施例提供了一种基于图像的人体尺寸计算方法，所述方法包括：
获取待处理的包含人体的目标图像；
对所述目标图像进行预处理操作，得到人体区域图像；
将所述人体区域图像输入预先训练的深度神经网络中，得到关键点坐标；其中，所述关键点坐标用于表示人体区域图像中人体各部位的位置，所述人体部位至少包括：躯干部位、手臂部位、腿部；所述深度神经网络是根据各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值训练得到的；
基于所述人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算所述目标图像中人体部位的尺寸。
可选地，所述对所述目标图像进行预处理操作，得到所述人体区域图像的步骤，包括：
对所述目标图像进行尺寸缩放处理及去均值化处理；
确定处理后的目标图像中的人体位置；
根据所确定的所述人体位置，对所述处理后的目标图像中的人体区域进行截取，得到人体区域图像
可选地，所述深度神经网络的训练过程包括：
构建初始深度神经网络，所述初始深度神经网络至少包括：一层卷积层，一层激活函数，一层池化层，一层批归一化层，以及一层全连接层；
获取多个样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值；
将各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值输入所述初始深度神经网络，训练得到所述深度神经网络，所述关键点坐标真值是所述样本人体区域图像经人工标注后得到的。
可选地，所述基于所述人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算所述目标图像中人体部位的尺寸的步骤，包括：
根据所述人体区域图像对应的至少两个关键点坐标，计算得到人体部位的归一化长度；
将所述人体部位的归一化长度与预设人体总长度均值相乘，得到所述目标图像中人体部位的尺寸。
可选地，所述根据所述人体区域图像对应的关键点坐标，计算得到人体部位的归一化长度的步骤，包括：
利用第一预设表达式，计算所述人体部位的归一化长度，所述第一预设表达式为：
L＝(xk-xm)2+(yk-ym)2+(zk-zm)2
式中，L表示人体部位的长度，k表示该人体部位的其中一个关键点，(xk,yk,zk)表示k的坐标，m表示该人体部位的另一个关键点，(xm,ym,zm)表示m的坐标。
第二方面，本发明实施例提供了一种基于图像的人体尺寸计算装置，所述装置包括：
第一获取模块，用于获取待处理的包含人体的目标图像；
预处理模块，用于对所述目标图像进行预处理操作，得到人体区域图像；
输入模块，用于将所述人体区域图像输入预先训练的深度神经网络中，得到关键点坐标；其中，所述关键点坐标用于表示人体区域图像中人体各部位的位置，所述人体部位至少包括：躯干部位、手臂部位、腿部；所述深度神经网络是根据各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值训练得到的；
计算模块，用于基于所述人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算所述目标图像中人体部位的尺寸。
可选地，所述预处理模块包括：
第一预处理子模块，用于对所述目标图像进行尺寸缩放处理及去均值化处理；
确定子模块，用于确定处理过的目标图像中的人体位置；
第二预处理子模块，用于根据所确定的所述人体位置，对所述处理过的目标图像中的人体区域进行截取，得到人体区域图像。
可选地，所述计算模块包括：
第一计算子模块，用于根据人体区域图像对应的至少两个关键点坐标，利用第一预设表达式，计算得到人体部位的归一化长度。
第二计算子模块，用于将人体部位的归一化长度与预设人体总长度均值相乘，得到目标图像中人体部位的尺寸。
可选地，所述第一计算子模块具体用于：
利用第一预设表达式，计算所述人体部位的归一化长度，所述第一预设表达式为：
L＝(xk-xm)2+(yk-ym)2+(zk-zm)2
式中，L表示人体部位的长度，k表示该人体部位的其中一个关键点，(xk,yk,zk)表示k的坐标，m表示该人体部位的另一个关键点，(xm,ym,zm)表示m的坐标。
可选地，所述装置还包括：
构建模块，用于构建初始深度神经网络，所述初始深度神经网络至少包括：一层卷积层，一层激活函数，一层池化层，一层批归一化层，以及一层全连接层；
第二获取模块，用于获取多个样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值；
训练模块，用于将各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值输入所述初始深度神经网络，训练得到所述深度神经网络，所述关键点坐标真值是所述样本人体区域图像经人工标注后得到的。
第三方面，本发明实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，所述处理器、所述通信接口、所述存储器通过所述通信总线完成相互间的通信；所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器被所述机器可执行指令促使：实现本发明实施例第一方面提供的基于图像的人体尺寸计算方法的方法步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行本发明实施例第一方面提供的基于图像的人体尺寸计算方法的方法步骤。
本发明实施例提供一种基于图像的人体尺寸计算方法及装置，通过将人体区域图像输入预先训练的深度神经网络，从而得到该人体区域图像对应的关键点坐标，并能够利用所得到的关键点坐标计算目标图像中人体部位的尺寸，由于本发明实施例在计算人体部位的尺寸时，不再需要拍摄距离这一参数，便能够完成对人体尺寸的计算，因此能够避免因测量拍摄距离时而产生的误差，从而能够提高人体尺寸计算的计算精度。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于图像的人体尺寸计算方法的一种流程示意图；
图2为包含人体的目标图像的示意图；
图3为本发明实施例提供的基于图像的人体尺寸计算方法中，步骤S104的一种流程示意图；
图4为本发明实施例提供的基于图像的人体尺寸计算方法中，步骤S102的一种流程示意图；
图5为本发明实施例中深度神经网络训练过程的一种流程示意图；
图6为本发明实施例提供的基于图像的人体尺寸计算装置的一种结构示意图；
图7为本发明实施例提供的基于图像的人体尺寸计算装置中，预处理模块的一种结构示意图；
图8为本发明实施例提供的基于图像的人体尺寸计算装置中，计算模块的一种结构示意图；
图9为本发明实施例提供的基于图像的人体尺寸计算装置另一种结构示意图；
图10为本发明实例提供的电子设备的一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
现有技术通过单目测距方式进行人体尺寸计算时，单目测距原理是通过相似三角形比例进行处理的，即单目摄像头焦距与拍摄距离的比值和图片中的人体部位尺寸与人体部位尺寸真实值的比值相等。在拍摄距离与图片中的人体部位尺寸，以及单目摄像头焦距进行运算后，输出的人体部位尺寸计算值是以单目摄像头焦距为分母，以拍摄距离与图片中的人体部位尺寸之积为分子的值。对拍摄距离进行测量时会产生误差，由于参与计算的单目摄像头焦距是一个微小的值，例如，2.73mm，因此，输出的人体部位尺寸的计算值产生的误差比测量拍摄距离时产生的误差更大。
有鉴于此，如图1所示，本发明实施例提供了一种基于图像的人体尺寸计算方法，该过程可以包括以下步骤：
S101，获取待处理的包含人体的目标图像。
本发明实施例提供的方法可以应用于电子设备。具体地，该电子设备可以为台式计算机、便携式计算机、智能移动终端等。
在本发明实施例中，为了对人体部位的尺寸进行计算，可以在需要对人体部位尺寸进行计算的公共场所安装图像采集设备。其中，上述图像采集设备可以为单目摄像机等，本发明实施例对此不进行限定。
并且，可以在图像采集设备与电子设备之间建立有线或无线连接，从而图像采集设备可以将其采集的图像发送给电子设备。例如，可以通过WIFI(Wireless Fidelity，无线保真)技术、NFC(Near Field Communication，近距离无线通讯技术)技术、蓝牙技术等无线连接技术，在图像采集设备与电子设备之间建立连接，本发明实施例对此不进行限定。
在本发明实施例中，图像采集设备可以采集待处理的包含人体的目标图像。例如，图像采集设备可以根据电子设备预先输入的目标被测者位置信息，对该位置的目标被测者进行拍摄，拍摄的姿态图片要求对被测者不存在遮挡并且姿态自然。并且，图像采集设备可以将其采集的目标图像发送给电子设备，以使电子设备根据该目标图像进行人体部位的尺寸计算。因此，在本发明实施例中，电子设备可以获取待处理的包含人体的目标图像，以计算人体部位的尺寸。该目标图像可以在RGB(Red，Green，Blue，红，绿，蓝)色彩空间下进行处理。请参考图2的图像，其示出了电子设备获取的目标图像示意图。如图2所示，图中包含了待处理的目标人体。
S102，对目标图像进行预处理操作，得到人体区域图像。
在本发明实施例中，当电子设备获取到待处理的包含人体的目标图像后，由于上述目标图像的格式和尺寸可能不符合深度神经网络图像输入的格式和尺寸要求，且上述目标图像中还可能包含对计算人体部位尺寸无用的人体周边环境等信息，因此，可以对目标图像进行预处理操作，以得到符合深度神经网络要求的人体区域图像。
由于得到的人体区域图像符合深度神经网络的格式和尺寸要求，而且消除了无用的人体周边环境等信息的干扰，因此能够更加顺利高效地通过深度神经网络进行处理和分析。
S103，将人体区域图像输入预先训练的深度神经网络中，得到关键点坐标。
在本发明实施例中，当电子设备对目标图像进行预处理操作，得到人体区域图像后，将包括人体的人体区域图像输入预先训练的深度神经网络中，由于上述深度神经网络是根据各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值训练得到的，因此，该深度神经网络就可以输出该人体区域图像对应的关键点坐标。
具体的，上述关键点坐标用于表示人体区域图像中人体各部位的位置，上述人体部位至少包括：躯干部位、手臂部位、腿部位，上述人体部位可以通过该人体部位的关键点坐标，用向量的形式表示。因此上述关键点坐标也可以用于计算人体区域图像中人体各部位的尺寸。
为了提高人体部位尺寸计算的速度和准确性，电子设备可以预先根据一定数量的样本人体区域图像，如100张、500张、1000张等，以及各样本人体区域图像对应的关键点坐标真值训练得到深度神经网络，上述各样本人体区域图像对应的关键点坐标真值，可以是样本人体区域图像经人工标注后得到的。上述人工标注是指：利用样本人体区域图像对应的人体部位的归一化长度真值，通过第一预设表达式，反推计算得到关键坐标真值。其中，上述人体部位的归一化长度真值是通过样本人体区域图像中人体部位长度的真实值除以预设的人体总长度均值得到的。
其中，上述第一预设表达式为：
L＝(xk-xm)2+(yk-ym)2+(zk-zm)2
式中，L表示人体部位的长度，k表示该人体部位的其中一个关键点，(xk,yk,zk)表示k的坐标，其中x、y、z分别表示坐标轴，xk表示k在x轴的坐标值，yk表示k在y轴的坐标值，zk表示k在z轴的坐标值；m表示该人体部位的另一个关键点，(xm,ym,zm)表示m的坐标，其中x、y、z分别表示坐标轴，xm表示m在x轴的坐标值，ym表示m在y轴的坐标值，zm表示m在z轴的坐标值。
上述预设的人体总长度均值是通过：统计训练数据集中近360万张图像中人体的数据，计算每张图像上人体各个部位尺寸对应的真实值之和，得到该图像对应的人体总长度，再对该近360万张图像对应的近360万个人体总长度求均值得到的。
上述深度神经网络至少包括：一层卷积层，一层激活函数，一层池化层，一层批归一化层，以及一层全连接层。本发明实施例的深度神经网络可以使用现有的深度神经网络，或者可以通过现有的深度神经网络改造而来，例如，现有的deepHAR深度神经网络。
S104，基于人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算目标图像中人体部位的尺寸。
在本发明实施例中，当电子设备获取到人体区域图像对应的关键点坐标后，根据至少两个关键点坐标，通过第一预设表达式计算的各个人体部位的长度与各个人体部位的归一化长度真值近似，上述根据关键点坐标计算的各个人体部位的长度为人体部位的归一化长度。
由于人体部位的归一化长度真值是通过样本人体区域图像中人体部位长度的真实值除以预设的人体总长度均值得到的，且上述人体部位的归一化长度与人体部位的归一化长度真值近似，因此，根据人体部位的归一化长度及预设人体总长度均值，便能够计算得到目标图像中人体部位的尺寸。
如图3所示，作为本发明实施例的一种可选的实施方式，上述基于人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算目标图像中人体部位的尺寸的步骤，包括：
S1041，根据人体区域图像对应的至少两个关键点坐标，计算得到人体部位的归一化长度。
在本发明实施例中，预先训练的深度神经网络输出与人体区域图像对应的关键点坐标后，对于一个人体部位(躯干部位、手臂部位、腿部位等)，可以利用两个关键点坐标通过向量的形式表示，对于一个人体部位的长度，也可以利用两个关键点坐标通过第一预设表达式表示，由于上述关键点坐标与关键点坐标真值近似，所以根据至少两个关键点坐标表示的各个人体部位的长度与各个人体部位的归一化长度真值近似，上述根据关键点坐标表示的各个人体部位的长度为人体部位的归一化长度。
S1042，将人体部位的归一化长度与预设人体总长度均值相乘，得到目标图像中人体部位的尺寸。
具体的，由于人体部位的归一化长度真值是通过样本人体区域图像中人体部位长度的真实值除以预设的人体总长度均值得到的，上述人体部位的归一化长度与人体部位的归一化长度真值近似，所以人体部位的归一化长度与该人体部位长度的真实值除以预设的人体总长度均值得到的比值近似，因此，将人体部位的归一化长度与预设人体总长度均值相乘，就能够得到目标图像中人体部位长度的真实值，即人体部位的尺寸。
例如，人体区域图像中某一人体部位对应的两个关键点k,m的关键点坐标分别为(xk,yk,zk)和(xm,ym,zm)。把上述两个关键点坐标带入第一预设表达式中，计算得到该人体部位的归一化长度L。其中，第一预设表达式为：
L＝(xk-xm)2+(yk-ym)2+(zk-zm)2
式中L表示人体部位的长度，k表示该人体部位的其中一个关键点，(xk,yk,zk)表示k的坐标，其中x、y、z分别表示坐标轴，xk表示k在x轴的坐标值，yk表示k在y轴的坐标值，zk表示k在z轴的坐标值；m表示该人体部位的另一个关键点，(xm,ym,zm)表示m的坐标，其中x、y、z分别表示坐标轴，xm表示m在x轴的坐标值，ym表示m在y轴的坐标值，zm表示m在z轴的坐标值。
计算得到上述人体部位的归一化长度L后，将上述人体部位的归一化长度L与预设人体总长度均值n相乘，得到该目标图像中人体部位的尺寸l＝L×n。
为了目标图像能够更加顺利高效地计算目标人体部位的尺寸，如图4所示，作为本发明实施例的一种可选的实施方式，上述对目标图像进行预处理操作，得到人体区域图像的步骤，包括：
S1021，对目标图像进行尺寸缩放处理及去均值化处理。
在本发明实施例中，当电子设备获取到待处理的包含人体的目标图像后，由于上述目标图像的格式和尺寸可能不符合深度神经网络图像输入的格式和尺寸要求，而获取到的目标图像，后续都要通过深度神经网络进行处理和分析，因此根据深度神经网络的特点对目标图像进行尺寸缩放及去均值化等处理操作，以得到符合深度神经网络要求的目标图像，从而能够更加顺利地通过后续的深度神经网络进行处理和分析。
S1022，确定处理后的目标图像中的人体位置。
在本发明实施例中，当电子设备对目标图像进行尺寸缩放处理及去均值化处理后，可能包含人体信息，还可能包含人体周边环境等多余信息，如果不去除这些多余信息，不仅导致计算效率低，而且会浪费用于计算目标人体部位尺寸的资源，因此当电子设备对目标图像进行尺寸缩放、去均值化等处理操作后，可以进一步确定处理后的目标图像中的人体位置，以提高后续处理效率。
具体的，可以通过对处理过的目标图像进行目标检测，确定处理过的目标图像中的人体位置。该目标检测阶段可以使用神经网络进行，该神经网络结构包括主干网络和网络头部。其中，主干网络作为图像的特征提取器，主要用于对处理过的目标图像中的人体特征进行提取，网络头部主要用于将主干网络提取的特征信息进行堆叠和整理。由于处理过的目标图像通常较为简单，因此可以通过压缩主干网络的通道数等方法，减少参数和计算量，缩短检测使用的时间。为了保证运算速度和精度，该目标检测阶段可以选用ones-stage(单阶段)检测方法模型，例如，SSD(Single Shot Multi Box Detector，单拍多盒探测器)模型、RetinaNet(视网膜网络)模型等经典的目标检测模型。
S1023，根据所确定的人体位置，对处理后的目标图像中的人体区域进行截取，得到人体区域图像。
在本发明实施例中，当电子设备确定了处理后的目标图像中的人体位置后，根据所确定的人体位置，对处理后的目标图像中的人体区域进行截取，得到人体区域图像。上述人体区域图像对上述目标图像中的人体区域进行了截取，消除了无用的人体周边环境等信息的干扰，因此能够更加顺利高效地通过神经网络进行处理和分析。
需要说明的是，在本发明实施例中，电子设备对目标图像进行预处理操作，得到人体区域图像，还可以采用现有的任一种方法，本发明实施例对此过程使用的方法不进行限定。
在本发明实施例中，电子设备可以预先训练得到用于人体部位尺寸计算的深度神经网络。具体的，如图5所示，在图1所示流程的基础上，本发明实施例提供的基于图像的人体尺寸计算方法，还可以包括以下步骤：
S201，构建初始深度神经网络。
该步骤可以位于图1所示步骤S104之前，本发明实施例中，电子设备可以首先构建初始深度神经网络，其中，初始深度神经网络至少包括：一层卷积层，一层激活函数，一层池化层，一层批归一化层，以及一层全连接层。初始深度神经网络中的参数为初始值，通过训练来优化参数。
S202，获取多个样本人体区域图像。
在构建初始深度神经网络后，电子设备获取包含人体信息的图像，并将获取的图像作为样本人体区域图像。例如，为了对初始深度神经网络进行准确的训练，电子设备可以获取大量的样本人体区域图像，如100张、500张、1000张等。
其中，获取多个样本人体区域图像的步骤可以为：获取多个样本目标图像，对样本目标图像进行预处理操作，得到多个样本人体区域图像。上述预处理操作包括对各个样本目标图像进行尺寸缩放和去均值化等处理操作，在对处理过的各个样本目标图像进行人体区域的截取，得到各个样本人体区域图像。
S203，获取各样本人体区域图像对应的关键点坐标真值。
在获取多个样本人体区域图像后，电子设备获取用来训练初始深度神经网络的关键点坐标真值，其中，关键点坐标真值是样本人体区域图像经人工标注后得到的。
具体的，获取各样本人体区域图像对应的关键点坐标真值的步骤可以为：第一步，统计训练数据集中近360万张图像中人体的数据，计算每张图像上人体各个部位尺寸对应的真实值之和，得到该图像对应的人体总长度；第二步，对该近360万张图像对应的近360万个人体总长度求均值，得到人体总长度均值；第三步，将各样本人体区域图像中人体部位的真实长度除以人体总长度均值，得到各样本人体区域图像对应的人体部位的归一化长度真值；第四步，根据计算得到的人体部位的归一化长度真值，再利用第一预设表达式：
L＝(xk-xm)2+(yk-ym)2+(zk-zm)2反推得到各样本人体区域图像对应的关键点坐标真值。
S204，将各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值输入初始深度神经网络，训练得到深度神经网络。
在本发明实施例中，获取到各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值后，电子设备可以将各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值输入初始深度神经网络，训练得到深度神经网络。
在对深度神经网络进行训练时，可以构建初始深度神经网络，该初始深度神经网络中的参数为初始值，通过训练来优化参数。该深度神经网络可以使用迭代误差反馈的方法进行精度优化训练。具体的，该深度神经网络使用迭代误差反馈的方法进行精度优化训练的过程可以为：假设根据该深度神经网络预测的关键点坐标，通过第一预设表达式能够计算得到的人体部位长度为Lin。计算上述人体部位长度Lin与人体部位的归一化长度真值的误差值ΔL，通过上述误差值ΔL，以更新初始深度神经网络中的参数，通过不断的迭代更新过程，在不导致网络参数过大的情况下可完成更加精细化的优化训练，直到误差值ΔL不再下降时，参数值确定，深度神经网络训练完成。
例如，假设构建的深度神经网络为G，使用全连接层计算上述人体部位长度Lin与人体部位的归一化长度真值的误差值ΔL，ΔL＝G(Lin)，然后将ΔL和Lin相加一起得到Lout＝Lin+G(Lin)，其中Lout为训练后的深度神经网络预测得到的人体部位的长度，根据Lout利用第一预设表达式反推出对应的关键点坐标，将上述关键点坐标从上述深度神经网络输出，上述关键点坐标为该深度神经网络预测的关键点坐标。
也就是说，深度神经网络训练完成后，将获取的人体区域图像输入预先训练的深度神经网络中，该深度神经网络输出的人体区域图像对应的关键点坐标与关键点坐标真值相似度较高。而且关键点坐标真值是利用人体部位的归一化长度真值，通过第一预设表达式反推得到的，因此，训练后的深度神经网络预测输出的关键点坐标，通过第一预设表达式能够准确的表达人体部位的归一化长度。
本发明实施例提供的一种基于图像的人体尺寸计算方法，通过将人体区域图像输入预先训练的深度神经网络，从而得到该人体区域图像对应的关键点坐标，并能够利用所得到的关键点坐标计算目标图像中人体部位的尺寸，由于本发明实施例在计算人体部位的尺寸时，不再需要拍摄距离这一参数，便能够完成对人体尺寸的计算，因此能够避免因测量拍摄距离时而产生的误差，从而能够提高人体尺寸计算的计算精度。
相应于上面的方法实施例，本发明实施例还提供了相应的装置实施例。
图6为本发明实施例提供的一种基于图像的人体尺寸计算装置，与图1所示流程对应，上述装置包括：
第一获取模块301，用于获取待处理的包含人体的目标图像。
预处理模块302，用于对目标图像进行预处理操作，得到人体区域图像。
输入模块303，用于将人体区域图像输入预先训练的深度神经网络中，得到关键点坐标；其中，关键点坐标用于表示人体区域图像中人体各部位的位置，人体部位至少包括：躯干部位、手臂部位、腿部；深度神经网络是根据各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值训练得到的。
计算模块304，用于基于人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算目标图像中人体部位的尺寸。
作为本发明实施例的一种可选的实施方式，如图7所示，上述预处理模块302包括：
第一预处理子模块3021，用于对目标图像进行尺寸缩放处理及去均值化处理。
确定子模块3022，用于确定处理过的目标图像中的人体位置。
第二预处理子模块3023，用于根据所确定的人体位置，对处理过的目标图像中的人体区域进行截取，得到人体区域图像。
作为本发明实施例的一种可选的实施方式，如图8所示，上述计算模块304包括：
第一计算子模块3041，用于根据人体区域图像对应的至少两个关键点坐标，利用第一预设表达式，计算得到人体部位的归一化长度。
上述第一预设表达式为：
L＝(xk-xm)2+(yk-ym)2+(zk-zm)2
式中，L表示人体部位的长度，k表示该人体部位的其中一个关键点，(xk,yk,zk)表示k的坐标，m表示该人体部位的另一个关键点，(xm,ym,zm)表示m的坐标。
第二计算子模块3042，用于将人体部位的归一化长度与预设人体总长度均值相乘，得到目标图像中人体部位的尺寸。
作为本发明实施例的一种可选的实施方式，如图9所示，在图6所示装置结构的基础上，上述基于图像的人体尺寸计算装置还包括：
构建模块401，用于构建初始深度神经网络，初始深度神经网络至少包括：一层卷积层，一层激活函数，一层池化层，一层批归一化层，以及一层全连接层。
第二获取模块402，用于获取多个样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值。
训练模块403，用于将各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值输入初始深度神经网络，训练得到深度神经网络，上述关键点坐标真值是样本人体区域图像经人工标注后得到的。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明实施例提供的一种基于图像的人体尺寸计算装置，配合基于图像的人体尺寸计算方法，通过将人体区域图像输入预先训练的深度神经网络，从而得到该人体区域图像对应的关键点坐标，并能够利用所得到的关键点坐标计算目标图像中人体部位的尺寸，由于本发明实施例在计算人体部位的尺寸时，不再需要拍摄距离这一参数，便能够完成对人体尺寸的计算，因此能够避免因测量拍摄距离时而产生的误差，从而能够提高人体尺寸计算的计算精度。
本发明实施例还提供了一种电子设备，如图10所示，包括处理器501、通信接口502、存储器503和通信总线504，其中，处理器501，通信接口502，存储器503通过通信总线504完成相互间的通信，
存储器503，用于存放计算机程序；
处理器501，用于执行存储器503上所存放的程序时，实现如下步骤：
获取待处理的包含人体的目标图像；
对目标图像进行预处理操作，得到人体区域图像；
将人体区域图像输入预先训练的深度神经网络中，得到关键点坐标；其中，关键点坐标用于表示人体区域图像中人体各部位的位置，人体部位至少包括：躯干部位、手臂部位、腿部；深度神经网络是根据各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值训练得到的；
基于人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算目标图像中人体部位的尺寸。
本发明实施例提供的一种电子设备，配合基于图像的人体尺寸计算方法，通过将人体区域图像输入预先训练的深度神经网络，从而得到该人体区域图像对应的关键点坐标，并能够利用所得到的关键点坐标计算目标图像中人体部位的尺寸，由于本发明实施例在计算人体部位的尺寸时，不再需要拍摄距离这一参数，便能够完成对人体尺寸的计算，因此能够避免因测量拍摄距离时而产生的误差，从而能够提高人体尺寸计算的计算精度。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，简称RAM)，也可以包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，用以执行如下步骤：
获取待处理的包含人体的目标图像；
对目标图像进行预处理操作，得到人体区域图像；
将人体区域图像输入预先训练的深度神经网络中，得到关键点坐标；其中，关键点坐标用于表示人体区域图像中人体各部位的位置，人体部位至少包括：躯干部位、手臂部位、腿部位；深度神经网络是根据各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值训练得到的；
基于人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算目标图像中人体部位的尺寸。
本发明实施例提供的一种计算机可读存储介质，存储有计算机程序，配合基于图像的人体尺寸计算方法，通过将人体区域图像输入预先训练的深度神经网络，从而得到该人体区域图像对应的关键点坐标，并能够利用所得到的关键点坐标计算目标图像中人体部位的尺寸，由于本发明实施例在计算人体部位的尺寸时，不再需要拍摄距离这一参数，便能够完成对人体尺寸的计算，因此能够避免因测量拍摄距离时而产生的误差，从而能够提高人体尺寸计算的计算精度。
对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，本发明实施例的装置、电子设备及存储介质分别是应用上述基于图像的人体尺寸计算方法的装置、电子设备及存储介质，则上述基于图像的人体尺寸计算方法的所有实施例均适用于该装置、电子设备及存储介质，且均能达到相同或相似的有益效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (10)

1.一种基于图像的人体尺寸计算方法，其特征在于，所述方法包括：
获取待处理的包含人体的目标图像；
对所述目标图像进行预处理操作，得到所述人体区域图像；
将所述人体区域图像输入预先训练的深度神经网络中，得到关键点坐标；其中，所述关键点坐标用于表示人体区域图像中人体各部位的位置，所述人体部位至少包括：躯干部位、手臂部位、腿部位；所述深度神经网络是根据各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值训练得到的；
基于所述人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算所述目标图像中人体部位的尺寸。
2.根据权利要求1所述的方法，其特征在于，所述对所述目标图像进行预处理操作，得到所述人体区域图像的步骤，包括：
对所述目标图像进行尺寸缩放处理及去均值化处理；
确定处理后的目标图像中的人体位置；
根据所确定的所述人体位置，对所述处理后的目标图像中的人体区域进行截取，得到人体区域图像。
3.根据权利要求1所述的方法，其特征在于，所述深度神经网络的训练过程包括：
构建初始深度神经网络，所述初始深度神经网络至少包括：一层卷积层，一层激活函数，一层池化层，一层批归一化层，以及一层全连接层；
获取多个样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值；
将各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值输入所述初始深度神经网络，训练得到所述深度神经网络，所述关键点坐标真值是所述样本人体区域图像经人工标注后得到的。
4.根据权利要求1所述的方法，其体征在于，所述基于所述人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算所述目标图像中人体部位的尺寸的步骤，包括：
根据所述人体区域图像对应的至少两个关键点坐标，计算得到人体部位的归一化长度；
将所述人体部位的归一化长度与预设人体总长度均值相乘，得到所述目标图像中人体部位的尺寸。
5.根据权利要求4所述的方法，其体征在于，所述根据所述人体区域图像对应的至少两个关键点坐标，计算得到人体部位的归一化长度的步骤，包括：
利用第一预设表达式，计算所述人体部位的归一化长度，所述第一预设表达式为：
L＝(xk-xm)2+(yk-ym)2+(zk-zm)2
式中，L表示人体部位的长度，k表示该人体部位的其中一个关键点，(xk,yk,zk)表示k的坐标，m表示该人体部位的另一个关键点，(xm,ym,zm)表示m的坐标。
6.一种基于图像的人体尺寸计算装置，其特征在于，所述装置包括：
第一获取模块，用于获取待处理的包含人体的目标图像；
预处理模块，用于对所述目标图像进行预处理操作，得到人体区域图像；
输入模块，用于将所述人体区域图像输入预先训练的深度神经网络中，得到关键点坐标；其中，所述关键点坐标用于表示人体区域图像中人体各部位的位置，所述人体部位至少包括：躯干部位、手臂部位、腿部；所述深度神经网络是根据各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值训练得到的；
计算模块，用于基于所述人体区域图像对应的关键点坐标，以及预设人体总长度均值，计算所述目标图像中人体部位的尺寸。
7.根据权利要求6所述的装置，其特征在于，所述预处理模块包括：
第一预处理子模块，用于对所述目标图像进行尺寸缩放处理及去均值化处理；
确定子模块，用于确定处理过的目标图像中的人体位置；
第二预处理子模块，用于根据所确定的所述人体位置，对所述处理过的目标图像中的人体区域进行截取，得到人体区域图像。
8.根据权利要求6所述的装置，其特征在于，所述装置还包括：
构建模块，用于构建初始深度神经网络，所述初始深度神经网络至少包括：一层卷积层，一层激活函数，一层池化层，一层批归一化层，以及一层全连接层；
第二获取模块，用于获取多个样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值；
训练模块，用于将各样本人体区域图像，以及各样本人体区域图像对应的关键点坐标真值输入所述初始深度神经网络，训练得到所述深度神经网络，所述关键点坐标真值是所述样本人体区域图像经人工标注后得到的。
9.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一所述的方法步骤。
CN201910545058.7A 2019-06-21 2019-06-21 一种基于图像的人体尺寸计算方法及装置 Pending CN110288646A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910545058.7A CN110288646A (zh) 2019-06-21 2019-06-21 一种基于图像的人体尺寸计算方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910545058.7A CN110288646A (zh) 2019-06-21 2019-06-21 一种基于图像的人体尺寸计算方法及装置

Publications (1)

Publication Number Publication Date
CN110288646A true CN110288646A (zh) 2019-09-27

Family

ID=68004309

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910545058.7A Pending CN110288646A (zh) 2019-06-21 2019-06-21 一种基于图像的人体尺寸计算方法及装置

Country Status (1)

Country Link
CN (1) CN110288646A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036321A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd-roi级联神经网络的安全帽检测方法
CN113545773A (zh) * 2021-07-21 2021-10-26 北京的卢深视科技有限公司 人体尺寸测量方法、装置、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120269384A1 (en) * 2011-04-19 2012-10-25 Jones Michael J Object Detection in Depth Images
CN107507188A (zh) * 2016-06-13 2017-12-22 北京理工大学 一种基于机器学习提取图像信息的方法及装置
CN108961330A (zh) * 2018-06-22 2018-12-07 深源恒际科技有限公司 基于图像的猪体长测算方法及系统
CN109214343A (zh) * 2018-09-14 2019-01-15 北京字节跳动网络技术有限公司 用于生成人脸关键点检测模型的方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120269384A1 (en) * 2011-04-19 2012-10-25 Jones Michael J Object Detection in Depth Images
CN107507188A (zh) * 2016-06-13 2017-12-22 北京理工大学 一种基于机器学习提取图像信息的方法及装置
CN108961330A (zh) * 2018-06-22 2018-12-07 深源恒际科技有限公司 基于图像的猪体长测算方法及系统
CN109214343A (zh) * 2018-09-14 2019-01-15 北京字节跳动网络技术有限公司 用于生成人脸关键点检测模型的方法和装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112036321A (zh) * 2020-09-01 2020-12-04 南京工程学院 一种基于ssd-roi级联神经网络的安全帽检测方法
CN113545773A (zh) * 2021-07-21 2021-10-26 北京的卢深视科技有限公司 人体尺寸测量方法、装置、电子设备和可读存储介质

Similar Documents

Publication Publication Date Title
CN107403141B (zh) 人脸检测方法及装置、计算机可读存储介质、设备
CN108875524B (zh) 视线估计方法、装置、系统和存储介质
CN109614935A (zh) 车辆定损方法及装置、存储介质及电子设备
CN109684920A (zh) 物体关键点的定位方法、图像处理方法、装置及存储介质
CN108197618B (zh) 用于生成人脸检测模型的方法和装置
CN111179419B (zh) 三维关键点预测及深度学习模型训练方法、装置及设备
CN108876804B (zh) 抠像模型训练和图像抠像方法、装置和系统及存储介质
CN110349082B (zh) 图像区域的裁剪方法和装置、存储介质及电子装置
CN105043271A (zh) 长度测量方法及装置
KR20220160066A (ko) 이미지 처리 방법 및 장치
CN109948590A (zh) 姿态问题检测方法及装置
WO2020062338A1 (zh) 无人机迁移轨迹生成方法、装置、电子设备和存储介质
CN109272543B (zh) 用于生成模型的方法和装置
US20220414910A1 (en) Scene contour recognition method and apparatus, computer-readable medium, and electronic device
KR20220081261A (ko) 객체 포즈 추정 방법 및 장치
CN110136156A (zh) 一种多边形区域检测方法及装置
CN112990010A (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN109559341A (zh) 一种机械臂抓取方案的生成方法及装置
WO2022206729A1 (zh) 视频封面选择方法、装置、计算机设备和存储介质
JP2020525959A (ja) 対象物の外接枠を決定するための方法、装置、媒体及び機器
CN110288646A (zh) 一种基于图像的人体尺寸计算方法及装置
CN111582252A (zh) 人群密度图的获取方法、装置、计算机设备和存储介质
CN104765440B (zh) 手检测方法和设备
JP2023523745A (ja) コンピュータビジョンに基づく文字列認識方法、装置、機器及び媒体
CN114565916A (zh) 目标检测模型训练方法、目标检测方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190927

RJ01 Rejection of invention patent application after publication