CN110728168B - 部位识别方法、装置、设备及存储介质 - Google Patents
部位识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110728168B CN110728168B CN201810783503.9A CN201810783503A CN110728168B CN 110728168 B CN110728168 B CN 110728168B CN 201810783503 A CN201810783503 A CN 201810783503A CN 110728168 B CN110728168 B CN 110728168B
- Authority
- CN
- China
- Prior art keywords
- feature extraction
- extraction unit
- recognition
- submodels
- calculation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000000605 extraction Methods 0.000 claims abstract description 226
- 238000004364 calculation method Methods 0.000 claims abstract description 62
- 238000010586 diagram Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 8
- 238000012937 correction Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例公开了一种部位识别方法、装置、设备及存储介质。方法包括：获取显示有至少一个部位的姿态图像；将姿态图像输入至部位识别模型中；获取部位识别模型输出的识别结果；部位识别模型包括：至少两个并行排布且内部斜向连接的部位识别子模型，部位识别子模型用于识别对应的部位，包括顺序连接的至少两个特征提取单元，不同顺次的特征提取单元对应不同的计算级数。本实施例提供的方法提高对姿态图像的处理能力和处理速度，以及提高了整体网络的表达能力。
Description
技术领域
本发明实施例涉及计算机视觉技术，尤其涉及一种部位识别方法、装置、设备及存储介质。
背景技术
随着直播技术的发展，越来越多的用户通过直播视频获取信息、参与活动，例如通过直播视频进行姿态矫正或者动作引导。
在进行姿态矫正或者动作引导的过程中较重要的环节是识别用户的部位。用户的各部位包括各肢体、关节以及眼耳口鼻等器官。随着计算机视觉技术的发展，可以通过图像识别算法识别图像中各部位的位置、尺寸等信息，再辅以主播的讲解，为用户提供姿态矫正或者动作引导建议。
但是，现有的图像识别算法的识别速率较慢、精度不高，难以满足直播的实时性要求和准确性要求，进而导致直播视频的时延和矫正不及时、不准确的后果。
发明内容
本发明实施例提供一种部位识别方法、装置、设备及存储介质，以提高对姿态图像的识别精度和速率。
第一方面，本发明实施例提供了一种部位识别方法，包括：
获取显示有至少一个部位的姿态图像；
将所述姿态图像输入至部位识别模型中；
获取所述部位识别模型输出的识别结果；
其中，所述部位识别模型包括：至少两个并行排布且内部斜向连接的部位识别子模型，所述部位识别子模型用于识别对应的部位，包括顺序连接的至少两个特征提取单元，不同顺次的特征提取单元对应不同的计算级数；
至少一个所述特征提取单元，用于对至少两个所述部位识别子模型中的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中的至少两个第二特征提取单元中，其中，所述第一特征提取单元的计算级数位于所述特征提取单元的计算级数之前，所述第二特征提取单元的计算级数位于所述特征提取单元的计算级数之后。
第二方面，本发明实施例还提供了一种部位识别装置，该装置包括：
第一获取模块，用于获取显示有至少一个部位的姿态图像；
输入模块，用于将所述姿态图像输入至部位识别模型中；
第二获取模块，用于获取所述部位识别模型输出的识别结果；
其中，所述部位识别模型包括：至少两个并行排布且内部斜向连接的部位识别子模型，所述部位识别子模型用于识别对应的部位，包括顺序连接至少两个特征提取单元，不同顺次的特征提取单元对应不同的计算级数；
至少一个所述特征提取单元，用于对至少两个所述部位识别子模型中的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中的至少两个第二特征提取单元中，其中，所述第一特征提取单元的计算级数位于所述特征提取单元的计算级数之前，所述第二特征提取单元的计算级数位于所述特征提取单元的计算级数之后。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现任一实施例所述的部位识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一实施例所述的部位识别方法。
本发明实施例中，通过获取显示有至少一个部位的姿态图像；将所述姿态图像输入至部位识别模型中；获取所述部位识别模型输出的识别结果；其中，部位识别子模型并行排布且内部斜向连接，分别用于识别不同的部位，多个部位识别子模型并行、分部位识别，提高对姿态图像的处理能力和识别速度，提高整体网络的表达能力，进一步提高识别的准确性；至少一个特征提取单元，用于对至少两个所述部位识别子模型中计算级数位于自身计算级数之前的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中计算级数位于自身计算级数之后的至少两个第二特征提取单元中，使得特征提取单元能够对至少两个部位的历史特征进行特征提取，通过共享其他部位的历史特征，使特征提取单元对本部位和其他部位之间进行推理、解耦，提高部位识别的准确性。本实施例提供的方法能够准确、快速地进行部位识别，能够满足直播的实时性要求和准确性要求，进而避免直播视频的时延和矫正不及时、不准确的后果。
附图说明
图1a是本发明实施例一提供的一种部位识别方法的流程图；
图1b是本发明实施例一提供的一种部位识别模型的结构示意图；
图2a是本发明实施例二提供的一种部位识别模型的结构示意图；
图2b是本发明实施例二提供的一种沙漏单元的结构示意图；
图3是本发明实施例三提供的一种部位识别方法的流程图；
图4是本发明实施例四提供的一种部位识别装置的结构示意图；
图5是本发明实施例五提供的一种电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1a是本发明实施例一提供的一种部位识别方法的流程图，本实施例可适用于对姿态图像中的部位进行识别的情况，该方法可以由部位识别装置来执行，该装置可以由硬件和/或软件组成，并集成在电子设备中。如图1a所示，该方法具体包括如下步骤：
S110、获取显示有至少一个部位的姿态图像；
在用户展示某一姿态时，通过摄像头对用户进行拍摄，以采集用户的姿态图像。可选地，可以在预设时间采集姿态图像、在拍照指令后采集姿态图像或者周期性采集姿态图像。姿态图像可以是一张、两张者多张。
姿态图像上显示的用户部位包括但不限于头部、颈部、左/右肩、左/右肘、左/右腕、左/右臀、左/右膝、左/右踝。在一些实施例中，用户部位可称为用户的关键点。
S120、将姿态图像输入至部位识别模型中；
S130、获取部位识别模型输出的识别结果。
部位识别模型的输入是姿态图像，输出是姿态图像中至少一个部位的识别结果。该识别结果可以是至少一个部位的位置信息、尺寸等。可选地，至少一个部位的位置信息可以通过位置坐标或者区域范围表示。
基于此，将姿态图像输入至部位识别模型，并获取部位识别模型输出的至少一个部位的识别结果。
图1b是本发明实施例一提供的一种部位识别模型的结构示意图，如图1b所示，部位识别模型包括：至少两个并行排布且内部斜向连接的部位识别子模型11。
不同部位识别子模型11用于识别不同的部位，例如，第一个部位识别子模型用于识别头部、第二个部位识别子模型用于识别颈部、第三个部位识别子模型用于识别左肩，第四个部位识别子模型用于识别右肩，以此类推。
各部位识别模型11均包括顺序连接的至少两个特征提取单元12，不同顺次的特征提取单元对应不同的计算级数。示例性地，同一部位识别子模型中，靠前的特征提取单元的计算级数低于靠后的特征提取单元的计算级数。
至少一个特征提取单元12，用于对至少两个所述部位识别子模型中的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中的至少两个第二特征提取单元中，其中，所述第一特征提取单元的计算级数位于所述特征提取单元的计算级数之前，所述第二特征提取单元的计算级数位于所述特征提取单元的计算级数之后。
具体地，如果特征提取单元12是部位识别子模型中第一个单元，则用于对姿态图像进行特征提取，并将特征提取后的结果输入至至少两个部位识别子模型中的至少两个第二特征提取单元中；如果特征提取单元12是部位识别子模型中最后一个单元，则用于对至少两个所述部位识别子模型中的至少两个第一特征提取单元的输出特征进行特征提取，并输出识别结果；如果特征提取单元12既不是部位识别子模型中第一个单元也不是最后一个单元，而是中间单元，则用于对至少两个所述部位识别子模型中的至少两个第一特征提取单元的输出特征进行特征提取，并将特征提取后的结果输入至至少两个所述部位识别子模型中的至少两个第二特征提取单元中。
其中，位于自身级数之前的特征提取单元指计算级数低于自身的特征提取单元，包括位于自身级数前一个、前二个、前三个……的特征提取单元。位于自身级数之后的特征提取单元指计算级数高于自身的特征提取单元，包括位于自身级数后一个、后二个、后三个……的特征提取单元中。可见，部位识别子模型内部斜向连接。值得说明的是，本实施例并不限定每个特征提取单元均与其它特征提取单元进行斜向连接，只要存在斜向连接的两个特征提取单元即可。
在图1b中，示例性地示出了两个部位识别子模型，分别为第一部位识别子模型和第二部位识别子模型，第一部位识别子模型包括顺序连接的1号～4号特征提取单元，计算级数分别是1、2、3、4。第二部位识别子模型包括顺序连接的5号～8号特征提取单元，计算级数分别是1、2、3、4。1号特征提取单元用于对姿态图像进行特征提取，并分别将特征提取后的结果输入至2号特征提取单元和6号特征提取单元。6号特征提取单元用于对1号特征提取单元和5号特征提取单元的输出特征进行特征提取，并将特征提取后的结果输入至7号特征提取单元和3号特征提取单元。
本发明实施例中，通过获取显示有至少一个部位的姿态图像；将所述姿态图像输入至部位识别模型中；获取所述部位识别模型输出的识别结果；其中，部位识别子模型并行排布且内部斜向连接，分别用于识别不同的部位，多个部位识别子模型并行、分部位识别，提高对姿态图像的处理能力和处理速度，提高整体网络的表达能力，进一步提高识别的准确性；至少一个所述特征提取单元，用于对至少两个所述部位识别子模型中计算级数位于自身计算级数之前的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中计算级数位于自身计算级数之后的至少两个第二特征提取单元中，使得特征提取单元能够对至少两个部位的历史特征进行特征提取，通过共享其他部位的历史特征，使特征提取单元对本部位和其他部位之间进行推理、解耦，提高部位识别的准确性。本实施例提供的方法能够准确、快速地进行部位识别，能够满足直播的实时性要求和准确性要求，进而避免直播视频的时延和矫正不及时、不准确的后果。
在一些实施例中，至少一组相同计算级数的特征提取单元不连接。例如图1b中，1号和5号特征提取单元不连接，2号和3号特征提取单元不连接，3号和7号特征提取单元不连接，4号和8号特征提取单元不连接。通过大量实验证明，如果相同计算级数的特征提取单元共享特征将会造成信息冗余，且不会提高识别的准确性。本实施例通过相同计算级数的特征提取单元不共享特征，不同计算级数的特征提取单元共享特征，使特征提取单元对本部位和其他部位之间进行推理、解耦，提高部位识别的准确性；而且，减少网络参数以及节省网络存储空间，在精简网络结果的同时提高网络的表达能力。
实施例二
本实施例对上述实施例进行进一步优化，具体限定了部位识别模型的结构。本实施例中，部位识别模型包括P个并联的部位识别子模型，每个部位识别子模型包括顺序连接的1个起始特征提取单元、N个中间特征提取单元以及1个结尾特征提取单元。可选地，部位识别模型中部位识别子模型的个数与待识别的部位的个数相等；即一个部位识别子模型用于识别一个部位。部位识别子模型中特征提取单元的个数为Q个，其中，Q是自然数，2≤Q≤8，此时识别精度和速率均达到了较佳的效果。
图2a是本发明实施例二提供的一种部位识别模型的结构示意图，如图2a所示，部位识别模型包括3个并联的部位识别子模型21，每个部位识别子模型21包括顺序连接的1个起始特征提取单元22、2个中间特征提取单元23以及1个结尾特征提取单元24。在图2a的基础上，本领域技术人员可以对部位识别子模型及其连接关系进行复制，得到P个部位识别子模型，以及对中间特征提取单元及其连接关系进行复制得到M个中间特征提取单元。
起始特征提取单元22，用于对姿态图像进行特征提取，并将特征提取后的结果输入至各部位识别子模型中第1个中间特征提取单元中。
第M个中间特征提取单元23，用于对各部位识别子模型21中第M-1个特征提取单元的输出特征进行特征提取，并将特征提取后的结果输入至各部位识别子模型中第M+1个特征提取单元中。
如果M＝1，各部位识别子模型21中第M-1个特征提取单元为起始特征提取单元22。如果M>1，各部位识别子模型21中第M-1个特征提取单元为中间特征提取单元23。
其中，各部位识别子模型中第M-1个特征提取单元的计算级数低于第M个中间特征提取单元，各部位识别子模型中第M+1个特征提取单元的计算级数高于第M个中间特征提取单元。
本实施例中，各部位识别子模型21中起始特征提取单元22的计算级数相同，第M个中间特征提取单元23的计算级数分别相同，结尾特征提取单元24的计算级数相同。如图2a所示，相同计算级数的两个特征提取单元不连接，即不共享特征。
结尾特征提取单元24，用于对各部位识别子模型中第N个中间特征提取单元的输出特征进行特征提取，并输出识别结果；其中，M和N是自然数，1≤M≤N。
本实施例提供的部位识别模型中，各特征提取单元共享各特征提取子模型中前一特征提取单元输出的特征，即历史最新特征，也是当前精确度最高的识别结果，而不再共享其他特征提取单元输出的特征，从而使得共享特征足够精确且数量较少，进而有效地提高网络表达能力，提高部位识别的准确性。
上述实施例或者下述实施例中，特征提取单元包括沙漏单元，和/或阶段单元。具体地，一个特征提取单元包括至少一个沙漏单元，或者至少一个阶段单元，或者至少一个沙漏单元和至少一个阶段单元的组合。相同计算级数的特征提取单元可以相同也可以不同。
沙漏单元包括多个Residual模块，具体是由多个Residual模块构成的Hourglass子网络。可选地，Hourglass子网络可以是1阶、2阶、3阶、4阶，…，8阶。
图2b是本发明实施例二提供的一种沙漏单元的结构示意图。该沙漏单元是一个1阶Hourglass子网络，图2b中，上下两个半路都包括若干Residual模块，逐步提取更深层次的特征。但上半路在原尺度进行，下半路经历了先降采样再升采样的过程。
可选地，阶段单元顺次选用Convolutional Pose Machines中的Stage1、Stage2、Stage3、Stage4。
Stage1：姿态图像经过卷积层，得到初始响应图，包括7层卷积，3层池化层。Stage2：输入也是姿态图像，但是在卷积层的中段，加入一个串联的结构，用来融合三部分的信息：一是Stage1的响应图，二是阶段性卷积结果，三是高斯模版生成的中心约束。Stage3：输入的不再是姿态图像，而是Stage2的阶段性卷积结果，即中间层特征图。之后的结构和Stage2是一样。至于Stage4也和stage3结构一样。
实施例三
图3是本发明实施例三提供的一种部位识别方法的流程图，包括以下步骤：
S310、获取显示有至少一个部位的姿态图像。
S320、将姿态图像输入至部位识别模型中。
S330、获取各部位识别子模型输出的对应部位的热力图。
本实施例中，将该姿态图像输入至各部位识别子模型，各部位识别子模型输出对应各部位的热力图，一张热力图显示一个部位。例如，第一个部位识别子模型输出对应左腕的热力图，第二个部位识别子模型输出对应右腕的热力图，第三个部位识别子模型输出对应颈部的热力图。本实施例中的热力图是以特殊高亮的形式显示对应部位所在的区域的图示。
S340、从对应各部位的热力图中，分别确定各部位的位置信息。
可选地，从各部位的热力图上的高亮区域中任选一点(x,y)，作为对应部位的位置信息。优选地，从各部位的热力图上的高亮区域中选择中心点或者最亮的点，作为对应部位的位置信息。具体地，对各部位的热力图进行滤波(例如高斯滤波、维纳滤波或者均值滤波等)，在滤波后的图像中筛选灰度最低(亮度最高)的点的坐标作为对应部位的位置信息。
本实施例中，通过获取各部位识别子模型输出的对应部位的热力图，并从对应各部位的热力图中，分别确定各部位的位置信息，基于部位识别模型输出的热力图得到各部位的位置信息，从而从姿态图像中准确、快速地识别到各部位的位置信息，进而为姿态校正和动作引导提供数据基础。同时，将本实施例提供的方法应用于直播平台，赋予了直播平台在服务端的人体关键点检测能力，扩展了直播的应用场景，增大了业务发展潜力。
实施例四
图4是本发明实施例四提供的一种部位识别装置的结构示意图，部位识别装置包括：第一获取模块41、输入模块42和第二获取模块43。
第一获取模块41，用于获取显示有至少一个部位的姿态图像；
输入模块42，用于将姿态图像输入至部位识别模型中；
第二获取模块43，用于获取部位识别模型输出的识别结果；
其中，所述部位识别模型包括：至少两个并行排布且内部斜向连接的部位识别子模型，所述部位识别子模型用于识别对应的部位，包括顺序连接至少两个特征提取单元，不同顺次的特征提取单元对应不同的计算级数；
至少一个所述特征提取单元，用于对至少两个所述部位识别子模型中的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中的至少两个第二特征提取单元中，其中，所述第一特征提取单元的计算级数位于所述特征提取单元的计算级数之前，所述第二特征提取单元的计算级数位于所述特征提取单元的计算级数之后。
本发明实施例中，通过获取显示有至少一个部位的姿态图像；将所述姿态图像输入至部位识别模型中；获取所述部位识别模型输出的识别结果；其中，部位识别子模型并行排布且内部斜向连接，分别用于识别不同的部位，多个部位识别子模型并行、分部位识别，提高对姿态图像的处理能力和处理速度，提高整体网络的表达能力，进一步提高识别的准确性；至少一个特征提取单元，用于对至少两个所述部位识别子模型中计算级数位于自身计算级数之前的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中计算级数位于自身计算级数之后的至少两个第二特征提取单元中，使得特征提取单元能够对至少两个部位的历史特征进行特征提取，通过共享其他部位的历史特征，使特征提取单元对本部位和其他部位之间进行推理、解耦，提高部位识别的准确性。本实施例提供的方法能够准确、快速地进行部位识别，能够满足直播的实时性要求和准确性要求，进而避免直播视频的时延和矫正不及时、不准确的后果。
可选地，至少一组相同计算级数的特征提取单元不连接。
可选地，每个部位识别子模型包括顺序连接的1个起始特征提取单元、N个中间特征提取单元以及1个结尾特征提取单元；
起始特征提取单元，用于对姿态图像进行特征提取，并将特征提取后的结果输入至各部位识别子模型中第1个中间特征提取单元中；
第M个中间特征提取单元，用于对各部位识别子模型中第M-1个特征提取单元的输出特征进行特征提取，并将特征提取后的结果输入至各部位识别子模型中第M+1个特征提取单元中；其中，各部位识别子模型中第M-1个特征提取单元的计算级数低于第M个中间特征提取单元，各部位识别子模型中第M+1个特征提取单元的计算级数高于第M个中间特征提取单元；
结尾特征提取单元，用于对各部位识别子模型中第N个中间特征提取单元的输出特征进行特征提取，并输出识别结果；
其中，M和N是自然数，1≤M≤N。
可选地，所述部位识别模型中部位识别子模型的个数与待识别的部位的个数相等；所述部位识别子模型中特征提取单元的个数为Q个，其中，Q是自然数，2≤Q≤8。
可选地，特征提取单元包括至少一个沙漏单元；
沙漏单元包括多个Residual模块。
可选地，第二获取模块43，在获取部位识别模型输出的识别结果时，具体用于：获取各部位识别子模型输出的对应部位的热力图。
可选地，该装置还包括确定模块，用于在获取各部位识别子模型输出的对应部位的热力图之后，从对应各部位的热力图中，分别确定各部位的位置信息。
本发明实施例所提供的部位识别装置可执行本发明任意实施例所提供的部位识别方法，具备执行方法相应的功能模块和有益效果。
实施例五
图5是本发明实施例五提供的一种电子设备的结构示意图，如图5所示，该电子设备包括处理器50、存储器51；电子设备中处理器50的数量可以是一个或多个，图5中以一个处理器50为例；电子设备中的处理器50、存储器51可以通过总线或其他方式连接，图5中以通过总线连接为例。
存储器51作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的部位识别方法对应的程序指令/模块(例如，部位识别装置中的第一获取模块41、输入模块42和第二获取模块43)。处理器50通过运行存储在存储器51中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的部位识别方法。
存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器51可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器51可进一步包括相对于处理器50远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实施例六
本发明实施例六还提供一种其上存储有计算机程序的计算机可读存储介质，计算机程序在由计算机处理器执行时用于执行一种部位识别方法，该方法包括：
获取显示有至少一个部位的姿态图像；
将姿态图像输入至部位识别模型中；
获取部位识别模型输出的识别结果；
其中，所述部位识别模型包括：至少两个并行排布且内部斜向连接的部位识别子模型，所述部位识别子模型用于识别对应的部位，包括顺序连接至少两个特征提取单元，不同顺次的特征提取单元对应不同的计算级数；
至少一个所述特征提取单元，用于对至少两个所述部位识别子模型中的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中的至少两个第二特征提取单元中，其中，所述第一特征提取单元的计算级数位于所述特征提取单元的计算级数之前，所述第二特征提取单元的计算级数位于所述特征提取单元的计算级数之后。
当然，本发明实施例所提供的一种其上存储有计算机程序的计算机可读存储介质，其计算机程序不限于如上的方法操作，还可以执行本发明任意实施例所提供的部位识别方法中的相关操作。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例的方法。
值得注意的是，上述部位识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种部位识别方法，其特征在于，包括：
获取显示有至少一个部位的姿态图像；
将所述姿态图像输入至部位识别模型中；
获取所述部位识别模型输出的识别结果；
其中，所述部位识别模型包括：至少两个并行排布且内部斜向连接的部位识别子模型，不同的部位识别子模型用于识别不同的部位，所述部位识别子模型包括顺序连接的至少两个特征提取单元，不同顺次的特征提取单元对应不同的计算级数，其中，斜向连接是指不同部位识别子模型中的不同计算级数的特征提取单元进行连接，使不同计算级数的特征提取单元共享特征；
至少一个所述特征提取单元，用于对至少两个所述部位识别子模型中的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中的至少两个第二特征提取单元中，其中，所述第一特征提取单元的计算级数位于所述特征提取单元的计算级数之前，所述第二特征提取单元的计算级数位于所述特征提取单元的计算级数之后。
2.根据权利要求1所述的方法，其特征在于，至少一组相同计算级数的特征提取单元不连接。
3.根据权利要求1所述的方法，其特征在于，每个部位识别子模型包括顺序连接的1个起始特征提取单元、N个中间特征提取单元以及1个结尾特征提取单元；
起始特征提取单元，用于对所述姿态图像进行特征提取，并将特征提取后的结果输入至各所述部位识别子模型中第1个中间特征提取单元中；
第M个中间特征提取单元，用于对各所述部位识别子模型中第M-1个特征提取单元的输出特征进行特征提取，并将特征提取后的结果输入至各所述部位识别子模型中第M+1个特征提取单元中；其中，各所述部位识别子模型中第M-1个特征提取单元的计算级数低于第M个中间特征提取单元，各所述部位识别子模型中第M+1个特征提取单元的计算级数高于第M个中间特征提取单元；
结尾特征提取单元，用于对各所述部位识别子模型中第N个中间特征提取单元的输出特征进行特征提取，并输出识别结果；
其中，M和N是自然数，1≤M≤N。
4.根据权利要求1所述的方法，其特征在于，
所述部位识别模型中部位识别子模型的个数与待识别的部位的个数相等；
所述部位识别子模型中特征提取单元的个数为Q个，其中，Q是自然数，2≤Q≤8。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述特征提取单元包括至少一个沙漏单元；
所述沙漏单元包括多个Residual模块。
6.根据权利要求1所述的方法，其特征在于，所述获取所述部位识别模型输出的识别结果，包括：
获取各所述部位识别子模型输出的对应部位的热力图。
7.根据权利要求6所述的方法，其特征在于，在获取各所述部位识别子模型输出的对应部位的热力图之后，还包括：
从对应各部位的热力图中，分别确定各部位的位置信息。
8.一种部位识别装置，其特征在于，包括：
第一获取模块，用于获取显示有至少一个部位的姿态图像；
输入模块，用于将所述姿态图像输入至部位识别模型中；
第二获取模块，用于获取所述部位识别模型输出的识别结果；
其中，所述部位识别模型包括：至少两个并行排布且内部斜向连接的部位识别子模型，不同的部位识别子模型用于识别不同的部位，所述部位识别子模型包括顺序连接至少两个特征提取单元，不同顺次的特征提取单元对应不同的计算级数，其中，斜向连接是指不同部位识别子模型中的不同计算级数的特征提取单元进行连接，使不同计算级数的特征提取单元共享特征；
至少一个所述特征提取单元，用于对至少两个所述部位识别子模型中的至少两个第一特征提取单元的输出特征进行特征提取，和/或，将特征提取后的结果输入至至少两个所述部位识别子模型中的至少两个第二特征提取单元中，其中，所述第一特征提取单元的计算级数位于所述特征提取单元的计算级数之前，所述第二特征提取单元的计算级数位于所述特征提取单元的计算级数之后。
9.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的部位识别方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的部位识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810783503.9A CN110728168B (zh) | 2018-07-17 | 2018-07-17 | 部位识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810783503.9A CN110728168B (zh) | 2018-07-17 | 2018-07-17 | 部位识别方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110728168A CN110728168A (zh) | 2020-01-24 |
| CN110728168B true CN110728168B (zh) | 2022-07-22 |
Family
ID=69217398
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810783503.9A Active CN110728168B (zh) | 2018-07-17 | 2018-07-17 | 部位识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110728168B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111683263B (zh) * | 2020-06-08 | 2022-06-03 | 腾讯科技（深圳）有限公司 | 直播指导方法、装置、设备及计算机可读存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866112A (zh) * | 2015-06-12 | 2015-08-26 | 安徽朗坤物联网有限公司 | 一种基于移动终端的非接触式交互方法 |
| CN105184254A (zh) * | 2015-09-02 | 2015-12-23 | 深圳先进技术研究院 | 一种身份认证方法及系统 |
| CN105389569A (zh) * | 2015-11-17 | 2016-03-09 | 北京工业大学 | 一种人体姿态估计方法 |
| CN107609459A (zh) * | 2016-12-15 | 2018-01-19 | 平安科技（深圳）有限公司 | 一种基于深度学习的人脸识别方法及装置 |
| CN107633207A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | Au特征识别方法、装置及存储介质 |
| CN108229268A (zh) * | 2016-12-31 | 2018-06-29 | 商汤集团有限公司 | 表情识别及卷积神经网络模型训练方法、装置和电子设备 |
-
2018
- 2018-07-17 CN CN201810783503.9A patent/CN110728168B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104866112A (zh) * | 2015-06-12 | 2015-08-26 | 安徽朗坤物联网有限公司 | 一种基于移动终端的非接触式交互方法 |
| CN105184254A (zh) * | 2015-09-02 | 2015-12-23 | 深圳先进技术研究院 | 一种身份认证方法及系统 |
| CN105389569A (zh) * | 2015-11-17 | 2016-03-09 | 北京工业大学 | 一种人体姿态估计方法 |
| CN107609459A (zh) * | 2016-12-15 | 2018-01-19 | 平安科技（深圳）有限公司 | 一种基于深度学习的人脸识别方法及装置 |
| CN108229268A (zh) * | 2016-12-31 | 2018-06-29 | 商汤集团有限公司 | 表情识别及卷积神经网络模型训练方法、装置和电子设备 |
| CN107633207A (zh) * | 2017-08-17 | 2018-01-26 | 平安科技（深圳）有限公司 | Au特征识别方法、装置及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 复杂混合部位的姿态图像识别方法研究;刘岩等;《计算机仿真》;20161130;第1-4页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110728168A (zh) | 2020-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190377930A1 (en) | Method and System for Face Recognition Via Deep Learning | |
| CN111160375B (zh) | 三维关键点预测及深度学习模型训练方法、装置及设备 | |
| CN109840477B (zh) | 基于特征变换的受遮挡人脸识别方法及装置 | |
| CN111858869B (zh) | 一种数据匹配方法、装置、电子设备和存储介质 | |
| US11157796B2 (en) | Joint position estimation device, joint position estimation method, and joint position estimation program | |
| CN109821239B (zh) | 体感游戏的实现方法、装置、设备及存储介质 | |
| CN109117753B (zh) | 部位识别方法、装置、终端及存储介质 | |
| CN113822314B (zh) | 图像数据处理方法、装置、设备以及介质 | |
| CN114186632B (zh) | 关键点检测模型的训练方法、装置、设备、存储介质 | |
| CN109274883B (zh) | 姿态矫正方法、装置、终端及存储介质 | |
| CN110619316A (zh) | 人体关键点检测方法、装置和电子设备 | |
| CN111738269B (zh) | 模型训练方法、图像处理方法及装置、设备、存储介质 | |
| EP3968285A2 (en) | Model training method and apparatus, keypoint positioning method and apparatus, device and medium | |
| CN112767294B (zh) | 深度图像的增强方法、装置、电子设备以及存储介质 | |
| CN111598087B (zh) | 不规则文字的识别方法、装置、计算机设备及存储介质 | |
| CN110796135A (zh) | 目标的定位方法及装置、计算机设备、计算机存储介质 | |
| CN111241924A (zh) | 基于尺度估计的人脸检测及对齐方法、装置、存储介质 | |
| CN111950321A (zh) | 步态识别方法、装置、计算机设备及存储介质 | |
| CN112418195A (zh) | 一种人脸关键点检测方法、装置、电子设备及存储介质 | |
| CN113780197A (zh) | 动作姿态信息补全方法、电子设备及计算机可读存储介质 | |
| CN111429476A (zh) | 确定目标人物行动轨迹的方法和装置 | |
| CN115496925A (zh) | 图像处理方法、设备、存储介质及程序产品 | |
| CN110728168B (zh) | 部位识别方法、装置、设备及存储介质 | |
| CN114022748B (zh) | 目标识别方法、装置、设备及存储介质 | |
| CN109784295B (zh) | 视频流特征识别方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |