CN108629306B - 人体姿态识别方法及装置、电子设备、存储介质 - Google Patents

人体姿态识别方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN108629306B
CN108629306B CN201810402486.XA CN201810402486A CN108629306B CN 108629306 B CN108629306 B CN 108629306B CN 201810402486 A CN201810402486 A CN 201810402486A CN 108629306 B CN108629306 B CN 108629306B
Authority
CN
China
Prior art keywords
human body
input image
limb
image
body posture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810402486.XA
Other languages
English (en)
Other versions
CN108629306A (zh
Inventor
安耀祖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JD Digital Technology Holdings Co Ltd
Jingdong Technology Holding Co Ltd
Original Assignee
JD Digital Technology Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JD Digital Technology Holdings Co Ltd filed Critical JD Digital Technology Holdings Co Ltd
Priority to CN201810402486.XA priority Critical patent/CN108629306B/zh
Publication of CN108629306A publication Critical patent/CN108629306A/zh
Application granted granted Critical
Publication of CN108629306B publication Critical patent/CN108629306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种人体姿态识别方法及装置、电子设备、计算机可读存储介质，属于计算机视觉技术领域。该方法包括：获取包含人体姿态的原始图像；检测所述原始图像中的人体关键点，并连接所述人体关键点，获得肢体标识；对包含所述肢体标识的原始图像做预处理，并将所述肢体标识突出化处理，获得输入图像；通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果。本公开可以减少人体姿态识别过程中的运算量，节省系统硬件资源及处理时间。

Description

人体姿态识别方法及装置、电子设备、存储介质
技术领域
本公开涉及计算机视觉技术领域，尤其涉及一种人体姿态识别方法及装置、电子设备、计算机可读存储介质。
背景技术
近年来，基于人工智能的计算机视觉技术得到快速发展，人体姿态识别作为其中的一个重要方向，在体感游戏、虚拟现实、安防、监控等多个领域都有较大的应用前景。
现有的人体姿态识别方法多数基于专用设备，例如虚拟现实可穿戴设备中设置大量的传感器，以监控人体各部位的动作，通过特定算法分析人体姿态。在不依赖专用设备的图像人体姿态识别中，则需要依靠GPU(Graphics Processing Unit，图形处理器)进行大量的运算及分析，耗时较长，对系统硬件的要求较高，不利于大规模应用。
因此有必要提出一种运算量较少的人体姿态识别方法。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种人体姿态识别方法及装置、电子设备、计算机可读存储介质，进而至少在一定程度上克服由于现有技术的限制和缺陷而导致的人体姿态识别过程中运算量过大的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种人体姿态识别方法，包括：获取包含人体姿态的原始图像；检测所述原始图像中的人体关键点，并连接所述人体关键点，获得肢体标识；对包含所述肢体标识的原始图像做预处理，并将所述肢体标识突出化处理，获得输入图像；通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果。
在本公开的一种示例性实施例中，所述深度可分离卷积神经网络模型包括2N+1个卷积层，其中，第1卷积层包括q1个g1×g1×t的第一卷积核；第i卷积层包括qi个gi×gi×1的第i卷积核；第i+1卷积层包括qi+1个1×1×qi的第i+1卷积核；其中，t为所述输入图像的通道数，i为[2,2N]的任意偶数，且qi＝qi-1。
在本公开的一种示例性实施例中，所述深度可分离卷积神经网络模型还包括池化层、全连接层及Softmax层；所述通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果包括：将所述输入图像输入所述2N+1个卷积层，以输出卷积特征图像；将所述卷积特征图像输入所述池化层，以输出压缩特征图像；将所述压缩特征图像输入所述全连接层，以输出特征向量；将所述特征向量输入所述Softmax层，以计算各标准姿态的概率值，并将最大概率值对应的标准姿态作为所述人体姿态的分类结果。
在本公开的一种示例性实施例中，还包括：根据样本图像以及所述样本图像的分类标注，训练所述2N+1个卷积层的参数以及所述全连接层的参数。
在本公开的一种示例性实施例中，所述通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果包括：根据预设算法对所述输入图像进行初次分类，得到初次分类结果；根据所述初次分类结果调整所述输入图像中所述肢体标识的像素值，获得修正图像；将所述修正图像输入所述深度可分离卷积神经网络模型，得到所述人体姿态的再次分类结果；如果所述再次分类结果与所述初次分类结果相同，则将所述再次分类结果作为所述人体姿态的分类结果。
在本公开的一种示例性实施例中，所述根据预设算法对所述输入图像进行初次分类包括：按照预设规则将所述肢体标识转换为肢体向量；计算各所述肢体向量之间的余弦相似度；将所述余弦相似度与各标准姿态的参数对比，确定所述初次分类结果。
在本公开的一种示例性实施例中，所述根据预设算法对所述输入图像进行初次，得到初次分类结果分类包括：将所述输入图像输入所述深度可分离卷积神经网络模型，得到所述初次分类结果。
在本公开的一种示例性实施例中，所述根据所述初次分类结果调整所述输入图像中所述肢体标识的像素值包括：提高所述初次分类结果对应的特征肢体标识在所述输入图像中的亮度，及/或降低所述特征肢体标识以外的肢体标识在所述输入图像中的亮度。
在本公开的一种示例性实施例中，所述预处理包括灰度处理、截图、尺寸调整、归一化处理、去均值中的一种或多种。
根据本公开的一个方面，提供一种人体姿态识别装置，包括：图像采集模块，用于获取包含人体姿态的原始图像；关键点检测模块，用于检测所述原始图像中的人体关键点，并连接所述人体关键点，获得肢体标识；图像预处理模块，用于对包含所述肢体标识的原始图像做预处理，并将所述肢体标识突出化处理，获得输入图像；卷积处理模块，用于通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果。
根据本公开的一个方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。
根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法
本公开的示例性实施例具有以下有益效果：
本公开的示例性实施例提供的方法及装置中，在原始图像中将与人体姿态相关的肢体部分标注为肢体标识，并对肢体标识突出化处理，得到输入图像，然后通过深度可分离卷积神经网络模型对输入图像中的人体姿态进行分类识别。一方面，标注肢体标识可以加强图像中的关键信息，相当于降低了无关内容的干扰，使卷积神经网络模型在处理分类任务时更容易进行特征提取，有利于简化模型，降低系统的复杂度。另一方面，由于输入图像中的特征易于提取，因此可以使用深度可分离卷积神经网络模型进行识别，相比于普通卷积神经网络模型，在准确率相近的情况下，能够大幅减少模型中的参数数量，从而降低模型训练及使用过程中的运算量，节省硬件资源及处理时间。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示意性示出本示例性实施例中一种人体姿态识别方法的流程图；
图2示意性示出本示例性实施例中一种肢体标识的示意图；
图3示意性示出本示例性实施例中一种深度可分离卷积过程的示意图；
图4示意性示出本示例性实施例中另一种人体姿态识别方法的流程图；
图5示意性示出本示例性实施例中另一种人体姿态识别方法的流程图；
图6示意性示出本示例性实施例中另一种肢体标识的示意图；
图7示意性示出本示例性实施例中一种修正图像的示意图；
图8示意性示出本示例性实施例中一种人体姿态识别装置的结构框图；
图9示意性示出本示例性实施例中一种电子设备；
图10示意性示出本示例性实施例中一种计算机可读存储介质。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
在本公开的示例性实施例中，首先提供了一种人体姿态识别方法，可以应用于终端设备中，例如个人计算机、智能手机、监控设备等，也可以应用于服务器中，例如应用程序服务器、游戏服务器等。如图1所示，该方法可以包括以下步骤：
步骤S110，获取包含人体姿态的原始图像。
其中，原始图像可以是用户上传或加载的图片，也可以是摄像装置拍摄的照片等。本示例性实施例的方法可以适用于静态图像中的人体姿态识别，对于GIF图片(GraphicsInterchange Format，一种支持动态的图片文件)、短视频等动态图像，可以将其逐帧拆解为静态图像序列，并分别对其中的每个静态图像通过本实施例的方法进行人体姿态识别。
步骤S120，检测所述原始图像中的人体关键点，并连接所述人体关键点，获得肢体标识。
其中，人体关键点可以包括头部、颈部、肩部、肘部、手、胯部、膝盖、足等。参考图2所示，识别出人体关键点后，可以将其按照预设顺序连接，例如头部连接颈部、颈部连接肩部、肩部连接肘部等，可以直观的通过线段显示，也可以由程序后台对肢体标识所包含的像素点进行标记等，由此得到可以体现人体主要肢体或躯干的肢体标识。
步骤S130，对包含所述肢体标识的原始图像做预处理，并将所述肢体标识突出化处理，获得输入图像。
在一示例性实施例中，所述预处理可以包括灰度处理、截图、尺寸调整、归一化处理、去均值中的一种或多种。灰度处理是指将原始图像转换成灰度图像，从而将图像的通道由3个(RGB)减少为1个(灰度)，以减少后续步骤的运算量。截图是指对原始图像中肢体标识所在的区域进行分割与截取，即筛选掉原始图像中与肢体标识无关的区域，得到一个或多个以肢体标识为主要图像信息的子图像。尺寸调整是指将原始图像的尺寸或像素调整为与预设标准一致，以便于系统处理。归一化处理是指将原始图像中各像素点的灰度值(0到255)除以255从而归一化到0～1的范围内，以便于后续计算。去均值是指将原声图像的所有像素点减去像素均值，以增大不同像素点之间的相对差别。
对肢体标识突出化处理是指在原始图像中，通过加深颜色、改变颜色、增加亮度等方法，使肢体标识能够明显的区别于图像的其他部分。例如，在灰度图像中，可以为肢体标识设置整个图像中最高的亮度值，使系统可以根据亮度值轻易的筛选出肢体标识部分；或者在彩色图像中，可以为肢体标识设置不同于其他部分的色彩倾向，如在整体偏红色的图像中加强肢体标识的蓝色像素分量以便于系统区分，也可以为不同肢体标识设置不同的色彩倾向，以便于系统识别肢体标识属于身体的哪个部位等。
步骤S140，通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果。
其中，深度可分离卷积神经网络模型是卷积神经网络模型中的一种，包括至少一组深度可分离卷积层，深度可分离卷积层通常由Depth Wise卷积层与Point Wise卷积层组成，从而可以将普通卷积层拆解为两个分立的卷积层，通过两个卷积层的特征提取，达到和普通卷积层相同或相近的卷积效果。在本实施例中，深度可分离卷积神经网络模型可以是一种分类器，以不同的标准姿态为分类标准，输出人体姿态与各标准姿态的相似程度，将其中相似程度最高的标准姿态作为分类结果，即为输入图像中人体姿态的识别结果。
本示例性实施例中，在原始图像中将与人体姿态相关的肢体部分标注为肢体标识，并对肢体标识突出化处理，得到输入图像，然后通过深度可分离卷积神经网络模型对输入图像中的人体姿态进行分类识别。一方面，标注肢体标识可以加强图像中的关键信息，相当于降低了无关内容的干扰，使卷积神经网络模型在处理分类任务时更容易进行特征提取，有利于简化模型，降低系统的复杂度。另一方面，由于输入图像中的特征易于提取，因此可以使用深度可分离卷积神经网络模型进行识别，相比于普通卷积神经网络模型，在准确率相近的情况下，能够大幅减少模型中的参数数量，从而降低模型训练及使用过程中的运算量，节省硬件资源及处理时间。
在一示例性实施例中，所述深度可分离卷积神经网络模型可以包括2N+1个卷积层，其中，第1卷积层可以包括q1个g1×g1×t的第一卷积核；第i卷积层包括qi个gi×gi×1的第i卷积核；第i+1卷积层可以包括qi+1个1×1×qi的第i+1卷积核；其中，t为所述输入图像的通道数，i为[2,2N]的任意偶数，且qi＝qi-1。
第1卷积层为普通卷积层。其中第1卷积核的通道数与输入图像的通道数相同，例如，当输入图像是3通道时(彩色图像)，第1卷积核的大小可以为g1×g1×3，当输入图像是单通道时(灰度图像)，第1卷积核的大小可以为g1×g1×1。q1为第1卷积核的数量，通常卷积核的数量可以与该卷积层的特征分类数量相关。
第i卷积层与第i+1卷积层为一组深度可分离卷积层。其中，第i卷积层为DepthWise卷积层，第i卷积核的数量qi与上一卷积层的卷积核数量qi-1相等；第i+1卷积层为Point Wise卷积层，第i+1卷积核的数量qi+1可以由该卷积层的特征分类数量决定。第i卷积层与第i+1卷积层叠加后可以实现等效普通卷积的卷积效果。
由此可知，该深度可分离卷积神经网络模型可以由1个普通卷积层、N个DepthWise卷积层及N个Point Wise卷积层组成。
参考图3所示，对上述各卷积层进行示例性说明。假设输入图像的像素为f×f，经过灰度处理后，为f×f×1的单通道图像。在第1卷积层，可以通过5个3×3×1的第1卷积核进行卷积。图3中示出了卷积核的一种初步设置情况，5个第1卷积核可以分别从肢体标识的不同分布角度提取特征，例如竖直分布、水平分布、左侧倾斜45度分布、右侧倾斜45度分布、竖直短分布(头部与颈部连接的肢体标识)。假设图中各卷积层的步长(Stride)都为1，则第1卷积层的输出可以是5个f×f的特征图像。第2卷积层为Depth Wise卷积层，可以通过5个3×3×1的第2卷积核分别对上一层输出的特征图像进行卷积，以输出5个f×f的特征图像。第3卷积层为Point Wise卷积层，可以通过10个1×1×5的第3卷积核进行卷积，其中每个第3卷积核都遍历上一层的全部特征图像，以输出一张该层的特征图像，最终10个第3卷积核共输出10个f×f的特征图像。图3中还示出了第2卷积层为等效普通卷积的情况，可以通过10个3×3×5的卷积核对上一层输出的特征图像卷积，输出的特征图像尺寸、数量都与深度可分离卷积层中的情况相同。在深度可分离卷积层中，第2卷积层包含了5×3×3×1＝45个参数，第3卷积层包含了10×1×1×5＝50个参数，则深度可分离卷积层一共包含了45+50＝95个参数；在普通卷积层中，第2卷积层包含了10×3×3×5＝450个参数。可见，深度可分离卷积层的参数数量远小于普通卷积层的参数数量。
在一示例性实施例中，所述深度可分离卷积神经网络模型还可以包括池化层、全连接层及Softmax层；图1中的步骤S140可以通过图4中的步骤S441～S444实现：
步骤S441中，将所述输入图像输入所述2N+1个卷积层，以输出卷积特征图像。
步骤S442中，将所述卷积特征图像输入所述池化层，以输出压缩特征图像。池化层可以对特征图像进行特征压缩，减少特征图像的像素数量，并进一步提取特征，通常包括平均池化(Mean Pooling)与最大池化(Max Pooling)等方式。本实施例中，由于对肢体标识进行了突出化处理，使其在一定的区域内具有最高的亮度或像素值，因此可以采用最大池化进行特征压缩，在输出的压缩特征图像中能够较好的保留肢体标识的关键信息。
步骤S443中，将所述压缩特征图像输入所述全连接层，以输出特征向量。
全连接层通常可视为一种全局卷积层，即将全连接层中的所有卷积核遍历所有的压缩特征图像，以将各压缩特征图像中分布的特征映射到同一个特征向量中。在输出的特征向量中，各项可以代表输入图像中的人体姿态与各标准姿态的相似程度。
步骤S444中，将所述特征向量输入所述Softmax层，以计算各标准姿态的概率值，并将最大概率值对应的标准姿态作为所述人体姿态的分类结果。
在Softmax层，特征向量中的各项可以通过Softmax函数进行归一化。假设特征向量F＝[x1x2…xh]，h为标准姿态的数量，则通过Softmax函数
Figure BDA0001646054590000081
可以输出E＝[y1y2…yh]，其中y1、y2……yh为各标准姿态对应的概率值，即输入图像的人体姿态属于各标准姿态的概率，对于任意j，yj∈[0,1]。可以将y1、y2……yh中数值最大的一项对应的标准姿态作为原始图像中人体姿态的分类结果，以完成对人体姿态的识别。
需要说明的是，图4所示的过程仅是本示例实施方式中通过深度可分离卷积神经网络模型对输入图像进行分类的一种示例性说明。不限于图4所示的情况，在2N+1个卷积层中也可以穿插设置一个或多个池化层、激励层或全连接层，以加速特征提取，减少卷积层的总数。其中激励层可以通过ReLU函数(Rectified Linear Unit,一种线性整流函数)、Sigmoid函数(一种常用的S型函数)等激活函数对特征进行非线性处理。通常模型中的最后一层应当为Softmax层，而卷积层、池化层、激励层、全连接层之间的相互顺序可以根据实际情况进行调整。
在一示例性实施例中，所述方法还可以包括：根据样本图像以及所述样本图像的分类标注，训练所述2N+1个卷积层的参数以及所述全连接层的参数。卷积神经网络模型中的各项参数通常可以根据经验人为设定初值，然后通过样本图像及其分类标注进行训练，以优化各项参数。分类标注是指样本图像的分类结果，例如可以以E＝[y1y2…yh]的形式输入到模型中，其中只有一项的数值为1，其余项为0。本实施例中，样本图像可以是已完成肢体标识的标注、突出化处理及预处理的图像，则输入的样本图像中特征较为明显，易于设定结构较简单的深度可分离卷积神经网络模型，并且易于人为设定其中的各项参数初值，使模型具有较好的鲁棒性。
为了加强人体姿态识别的准确度，在一示例性实施例中，图1中的步骤S140可以包括以下步骤：
步骤S541，根据预设算法对所述输入图像进行初次分类，得到初次分类结果。其中，初次分类可视为对人体姿态的粗略识别。预设算法可以通过多种形式实现，以下通过两种情况进行示例性说明：
在一示例性实施例中，步骤S541可以通过以下步骤实现：按照预设规则将所述肢体标识转换为肢体向量；计算各所述肢体向量之间的余弦相似度；将所述余弦相似度与各标准姿态的参数对比，确定所述初次分类结果。
其中，肢体向量与肢体标识的区别为，肢体向量具有方向，因此在输入图像中，可以按照人体由上到下的顺序(预设规则)为各肢体标识设定方向，例如可以由头部指向颈部，由颈部指向肩部，由肩部指向肘部等。此外，预设规则也可以是在设定方向时按照人体由下到上的顺序，由中心到四肢的顺序等。余弦相似度是通过计算两个向量的夹角余弦值来评估两个向量的相似度，计算公式如下：
Figure BDA0001646054590000101
其中，x、y分别代表两条肢体向量，xi、yi分别代表向量x与向量y中的各分项。
在计算余弦相似度时，可以为各肢体向量编号，参考图7所示，向量1～8分别代表身体的不同部位的肢体，从而在计算余弦相似度时，可以对应于具体哪两个肢体向量。通常可以计算出任意两个肢体向量之间的余弦相似度，得到一个余弦相似度的数值列表，将其与各标准姿态的参数(即标准姿态的各肢体向量之间余弦相似度的数值列表)进行对比，综合各肢体向量余弦相似度的对比相近程度，判断属于哪个标准姿态，将其作为初次分类结果。
在一示例性实施例中，步骤S541也可以通过以下步骤实现：将所述输入图像输入所述深度可分离卷积神经网络模型，得到所述初次分类结果。此时通过模型进行第一次分类，初次分类结果并非最终的分类结果。
步骤S542，根据所述初次分类结果调整所述输入图像中所述肢体标识的像素值，获得修正图像。在不同的姿态中，人体不同肢体部位的重要程度也不同，例如在跑步时，腿部的姿态比手臂的姿态更具代表性，在挥手时，手臂的姿态更具代表性，在弯腰时，身体部分的姿态更具代表性等。因此，可以调整这些具有代表性的身体部位肢体标识的像素值，使其在图像中具有更明显的区分度。在一示例性实施例中，步骤S542还可以通过以下步骤实现：提高所述初次分类结果对应的特征肢体标识在所述输入图像中的亮度，及/或降低所述特征肢体标识以外的肢体标识在所述输入图像中的亮度。其中，特征肢体标识即指上述能够更好的体现某种标准姿态的肢体部位，例如跑步姿态对应于腿部肢体标识，挥手姿态对应于手臂肢体标识，弯腰姿态对应于身体肢体标识等。如图7所示，如果初次分类结果是跑步，可以在输入图像中提高腿部肢体标识(图中5、6、7、8)的亮度，或者降低其他部位肢体标识的亮度，以增大腿部肢体标识与其他部位肢体标识的亮度差，在修正图像中更明显的体现特征肢体标识。在其他实施例中，也可以调整特征肢体标识的像素值RGB分量，使其表现出明显不同于其他区域的色彩倾向，以便于识别。
步骤S543，将所述修正图像输入所述深度可分离卷积神经网络模型，得到所述人体姿态的再次分类结果。由于在修正图像中加强了特征肢体标识，相当于在模型中加强了特征肢体标识部分的权重值，相应的可以更好的排除无关信息的干扰。
步骤S544，如果所述再次分类结果与所述初次分类结果相同，则将所述再次分类结果作为所述人体姿态的分类结果。在深度可分离卷积神经网络模型训练状况较好的情况下，再次分类结果通常与初次分类结果相同，并且，再次分类的最大概率值通常大于初次分类的最大概率值，说明通过加强特征肢体标识的亮度，模型对分类结果更加确信。然而，再次分类结果与初次分类结果不同的情况难以完全避免，当两次分类结果不同时，说明模型的可靠性不理想，可以调整模型中的各项参数后再次尝试，直到两次分类结果相同为止。
需要补充的是，上述实施例中，通过两次使用深度可分离卷积神经网络模型，得到更准确的分类结果，该方法也可以适用于对深度可分离卷积神经网络模型的训练中，通过对样本图像初次识别、特征肢体标识加亮度、样本修正图像再次识别、调整模型参数的过程，可以使用更少的样本图像，更快的训练出可用的模型。
本公开的示例性实施例还提供了一种人体姿态识别装置，可以应用于终端设备中，也可以应用于服务器中。如图8所示，该人体姿态识别装置800可以包括：图像采集模块810，用于获取包含人体姿态的原始图像；关键点检测模块820，用于检测所述原始图像中的人体关键点，并连接所述人体关键点，获得肢体标识；图像预处理模块830，用于对包含所述肢体标识的原始图像做预处理，并将所述肢体标识突出化处理，获得输入图像；卷积处理模块840，用于通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果。
在一示例性实施例中，所述深度可分离卷积神经网络模型可以包括2N+1个卷积层，其中，第1卷积层包括q1个g1×g1×t的第一卷积核；第i卷积层包括qi个gi×gi×1的第i卷积核；第i+1卷积层包括qi+1个1×1×qi的第i+1卷积核；其中，t为所述输入图像的通道数，i为[2,2N]的任意偶数，且qi＝qi-1。
在一示例性实施例中，所述深度可分离卷积神经网络模型还可以包括池化层、全连接层及Softmax层；其中，所述2N+1个卷积层用于对所述输入图像提取特征，以输出卷积特征图像；所述池化层用于对所述卷积特征图像压缩特征，以输出压缩特征图像；所述全连接层用于将所述压缩特征图像转换为特征向量；所述Softmax层用于根据所述特征向量计算各标准姿态的概率值，并将最大概率值对应的标准姿态作为所述人体姿态的分类结果。
在一示例性实施例中，所述卷积处理模块包括：参数训练单元，用于根据样本图像以及所述样本图像的分类标注，训练所述2N+1个卷积层的参数以及所述全连接层的参数。
在一示例性实施例中，所述卷积处理模块可以包括：第一分类单元，用于根据预设算法对所述输入图像进行初次分类，得到初次分类结果；图像修正单元，用于根据所述初次分类结果调整所述输入图像中所述肢体标识的像素值，获得修正图像；第二分类单元，用于将所述修正图像输入所述深度可分离卷积神经网络模型，得到所述人体姿态的再次分类结果；分类确定单元，用于在所述再次分类结果与所述初次分类结果相同时，将所述再次分类结果作为所述人体姿态的分类结果。
在一示例性实施例中，所述第一分类单元可以用于按照预设规则将所述肢体标识转换为肢体向量，计算各所述肢体向量之间的余弦相似度，以及将所述余弦相似度与各标准姿态的参数对比，确定所述初次分类结果。
在一示例性实施例中，所述第一分类单元可以用于将所述输入图像输入所述深度可分离卷积神经网络模型，得到所述初次分类结果。
在一示例性实施例中，所述图像修正单元可以用于提高所述初次分类结果对应的特征肢体标识在所述输入图像中的亮度，及/或降低所述特征肢体标识以外的肢体标识在所述输入图像中的亮度。
在一示例性实施例中，所述预处理可以包括灰度处理、截图、尺寸调整、归一化处理、去均值中的一种或多种。
本公开的示例性实施例还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图9来描述根据本公开的这种示例性实施例的电子设备900。图9显示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：上述至少一个处理单元910、上述至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元99)的总线930、显示单元940。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元910执行，使得所述处理单元910执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元910可以执行如图1中所示的步骤：步骤S110，获取包含人体姿态的原始图像；步骤S120，检测所述原始图像中的人体关键点，并连接所述人体关键点，获得肢体标识；步骤S130，对包含所述肢体标识的原始图像做预处理，并将所述肢体标识突出化处理，获得输入图像；步骤S140，通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果。
存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(ROM)923。
存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备900也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施例的方法。
本公开的示例性实施例还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图10所示，描述了根据本公开的示例性实施例的用于实现上述方法的程序产品1000，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施例，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (11)

1.一种人体姿态识别方法，其特征在于，包括：
获取包含人体姿态的原始图像；
检测所述原始图像中的人体关键点，并连接所述人体关键点，获得肢体标识；
对包含所述肢体标识的原始图像做预处理，并将所述肢体标识突出化处理，获得输入图像；
通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果；
其中，所述通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果包括：
根据预设算法对所述输入图像进行初次分类，得到初次分类结果；
根据所述初次分类结果调整所述输入图像中所述肢体标识的像素值，获得修正图像；
将所述修正图像输入所述深度可分离卷积神经网络模型，得到所述人体姿态的再次分类结果；
如果所述再次分类结果与所述初次分类结果相同，则将所述再次分类结果作为所述人体姿态的分类结果。
2.根据权利要求1所述的方法，其特征在于，所述深度可分离卷积神经网络模型包括2N+1个卷积层，其中，
第1卷积层包括q1个g1×g1×t的第一卷积核；
第i卷积层包括qi个gi×gi×1的第i卷积核；
第i+1卷积层包括qi+1个1×1×qi的第i+1卷积核；
其中，t为所述输入图像的通道数，i为[2,2N]的任意偶数，且qi＝qi-1。
3.根据权利要求2所述的方法，其特征在于，所述深度可分离卷积神经网络模型还包括池化层、全连接层及Softmax层；所述通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果包括：
将所述输入图像输入所述2N+1个卷积层，以输出卷积特征图像；
将所述卷积特征图像输入所述池化层，以输出压缩特征图像；
将所述压缩特征图像输入所述全连接层，以输出特征向量；
将所述特征向量输入所述Softmax层，以计算各标准姿态的概率值，并将最大概率值对应的标准姿态作为所述人体姿态的分类结果。
4.根据权利要求3所述的方法，其特征在于，还包括：
根据样本图像以及所述样本图像的分类标注，训练所述2N+1个卷积层的参数以及所述全连接层的参数。
5.根据权利要求1所述的方法，其特征在于，所述根据预设算法对所述输入图像进行初次分类包括：
按照预设规则将所述肢体标识转换为肢体向量；
计算各所述肢体向量之间的余弦相似度；
将所述余弦相似度与各标准姿态的参数对比，确定所述初次分类结果。
6.根据权利要求1所述的方法，其特征在于，所述根据预设算法对所述输入图像进行初次分类，得到初次分类结果包括：
将所述输入图像输入所述深度可分离卷积神经网络模型，得到所述初次分类结果。
7.根据权利要求1、5、6任一项所述的方法，其特征在于，所述根据所述初次分类结果调整所述输入图像中所述肢体标识的像素值包括：
提高所述初次分类结果对应的特征肢体标识在所述输入图像中的亮度，及/或降低所述特征肢体标识以外的肢体标识在所述输入图像中的亮度。
8.根据权利要求1所述的方法，其特征在于，所述预处理包括灰度处理、截图、尺寸调整、归一化处理、去均值中的一种或多种。
9.一种人体姿态识别装置，其特征在于，包括：
图像采集模块，用于获取包含人体姿态的原始图像；
关键点检测模块，用于检测所述原始图像中的人体关键点，并连接所述人体关键点，获得肢体标识；
图像预处理模块，用于对包含所述肢体标识的原始图像做预处理，并将所述肢体标识突出化处理，获得输入图像；
卷积处理模块，通过深度可分离卷积神经网络模型对所述输入图像进行处理，得到所述人体姿态的分类结果；
其中，所述卷积处理模块包括：
第一分类单元，用于根据预设算法对所述输入图像进行初次分类，得到初次分类结果；
图像修正单元，用于根据所述初次分类结果调整所述输入图像中所述肢体标识的像素值，获得修正图像；
第二分类单元，用于将所述修正图像输入所述深度可分离卷积神经网络模型，得到所述人体姿态的再次分类结果；
分类确定单元，用于在所述再次分类结果与所述初次分类结果相同时，将所述再次分类结果作为所述人体姿态的分类结果。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法。
CN201810402486.XA 2018-04-28 2018-04-28 人体姿态识别方法及装置、电子设备、存储介质 Active CN108629306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810402486.XA CN108629306B (zh) 2018-04-28 2018-04-28 人体姿态识别方法及装置、电子设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810402486.XA CN108629306B (zh) 2018-04-28 2018-04-28 人体姿态识别方法及装置、电子设备、存储介质

Publications (2)

Publication Number Publication Date
CN108629306A CN108629306A (zh) 2018-10-09
CN108629306B true CN108629306B (zh) 2020-05-15

Family

ID=63695034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810402486.XA Active CN108629306B (zh) 2018-04-28 2018-04-28 人体姿态识别方法及装置、电子设备、存储介质

Country Status (1)

Country Link
CN (1) CN108629306B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311786A (zh) * 2018-11-23 2020-06-19 杭州眼云智家科技有限公司 智能门锁系统及其智能门锁控制方法
CN109635925A (zh) * 2018-11-30 2019-04-16 北京首钢自动化信息技术有限公司 一种运动员辅助训练数据获取方法、装置及电子设备
CN111797791A (zh) * 2018-12-25 2020-10-20 上海智臻智能网络科技股份有限公司 人体姿态识别方法及装置
CN112149477A (zh) * 2019-06-28 2020-12-29 北京地平线机器人技术研发有限公司 姿态估计方法、装置、介质及设备
CN112306220A (zh) * 2019-07-31 2021-02-02 北京字节跳动网络技术有限公司 基于肢体识别的控制方法、装置、电子设备及存储介质
CN110826401B (zh) * 2019-09-26 2023-12-26 广州视觉风科技有限公司 一种人体肢体语言识别方法及系统
CN112581414B (zh) * 2019-09-30 2024-04-23 京东方科技集团股份有限公司 一种卷积神经网络、图像处理的方法及电子设备
CN112741596A (zh) * 2019-10-31 2021-05-04 南京大学 一种基于深度可分离卷积神经网络的移动端心音分类方法
CN111080670B (zh) * 2019-12-17 2023-08-04 广州视源电子科技股份有限公司 图像提取方法、装置、设备及存储介质
CN111000328A (zh) * 2019-12-20 2020-04-14 石狮市森科智能科技有限公司 应用于鞋自动松紧调整的智能姿态交互系统
CN111640119B (zh) * 2020-04-09 2023-11-17 北京邮电大学 一种图像处理方法、处理装置、电子设备及存储介质
CN114627546A (zh) * 2020-11-26 2022-06-14 广州源动智慧体育科技有限公司 跑步姿态的识别方法、装置和计算机设备
CN112651345B (zh) * 2020-12-29 2023-11-10 深圳市优必选科技股份有限公司 一种人体姿态识别模型优化方法、装置和终端设备
CN113553959A (zh) * 2021-07-27 2021-10-26 杭州逗酷软件科技有限公司 动作识别方法及装置、计算机可读介质和电子设备
CN113611008B (zh) * 2021-07-30 2023-09-01 广州文远知行科技有限公司 一种车辆行驶场景采集方法、装置、设备及介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107423721A (zh) * 2017-08-08 2017-12-01 珠海习悦信息技术有限公司 人机交互动作检测方法、装置、存储介质及处理器
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451568A (zh) * 2017-08-03 2017-12-08 重庆邮电大学 使用深度卷积神经网络的姿态检测方法及设备
CN107423721A (zh) * 2017-08-08 2017-12-01 珠海习悦信息技术有限公司 人机交互动作检测方法、装置、存储介质及处理器

Also Published As

Publication number Publication date
CN108629306A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN108629306B (zh) 人体姿态识别方法及装置、电子设备、存储介质
CN109558832B (zh) 一种人体姿态检测方法、装置、设备及存储介质
CN111931701B (zh) 基于人工智能的姿态识别方法、装置、终端和存储介质
WO2021203863A1 (zh) 基于人工智能的物体检测方法、装置、设备及存储介质
CN108229509B (zh) 用于识别物体类别的方法及装置、电子设备
CN108229296B (zh) 人脸皮肤属性识别方法和装置、电子设备、存储介质
CN109902548B (zh) 一种对象属性识别方法、装置、计算设备及系统
CN111178183B (zh) 人脸检测方法及相关装置
WO2020078119A1 (zh) 模拟用户穿戴服装饰品的方法、装置和系统
CN108280455B (zh) 人体关键点检测方法和装置、电子设备、程序和介质
WO2019033569A1 (zh) 眼球动作分析方法、装置及存储介质
CN111989689A (zh) 用于识别图像内目标的方法和用于执行该方法的移动装置
CN110555481A (zh) 一种人像风格识别方法、装置和计算机可读存储介质
WO2019033570A1 (zh) 嘴唇动作分析方法、装置及存储介质
CN111209818A (zh) 视频个体识别方法、系统、设备及可读存储介质
WO2019033568A1 (zh) 嘴唇动作捕捉方法、装置及存储介质
CN112966574A (zh) 人体三维关键点预测方法、装置及电子设备
CN112487844A (zh) 手势识别方法、电子设备、计算机可读存储介质和芯片
CN111553838A (zh) 模型参数的更新方法、装置、设备及存储介质
Chuang et al. Saliency-guided improvement for hand posture detection and recognition
CN110390254B (zh) 基于人脸的性格分析方法、装置、计算机设备及存储介质
CN115223239A (zh) 一种手势识别方法、系统、计算机设备以及可读存储介质
CN113011253B (zh) 基于ResNeXt网络的人脸表情识别方法、装置、设备及存储介质
CN110008922A (zh) 用于终端设备的图像处理方法、设备、装置、介质
CN117423134A (zh) 一种人体目标检测和解析的多任务协同网络及其训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant after: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.

Address before: Room 221, 2nd floor, Block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Applicant before: BEIJING JINGDONG FINANCIAL TECHNOLOGY HOLDING Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee after: Jingdong Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee before: Jingdong Digital Technology Holding Co.,Ltd.

CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Daxing District, Beijing, 100176

Patentee after: Jingdong Digital Technology Holding Co.,Ltd.

Address before: Room 221, 2 / F, block C, 18 Kechuang 11th Street, Beijing Economic and Technological Development Zone, 100176

Patentee before: JINGDONG DIGITAL TECHNOLOGY HOLDINGS Co.,Ltd.