CN110928408A - 基于二维图像人体姿态匹配的人机交互方法及装置 - Google Patents

基于二维图像人体姿态匹配的人机交互方法及装置 Download PDF

Info

Publication number
CN110928408A
CN110928408A CN201911095370.7A CN201911095370A CN110928408A CN 110928408 A CN110928408 A CN 110928408A CN 201911095370 A CN201911095370 A CN 201911095370A CN 110928408 A CN110928408 A CN 110928408A
Authority
CN
China
Prior art keywords
human body
posture
human
dimensional image
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911095370.7A
Other languages
English (en)
Inventor
许忠雄
陈洛奇
刘小晗
王文杉
王迎雪
刘弋锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Electronics Technology Group Corp CETC
Electronic Science Research Institute of CTEC
Original Assignee
China Electronics Technology Group Corp CETC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Electronics Technology Group Corp CETC filed Critical China Electronics Technology Group Corp CETC
Priority to CN201911095370.7A priority Critical patent/CN110928408A/zh
Publication of CN110928408A publication Critical patent/CN110928408A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于二维图像人体姿态匹配的人机交互方法及装置，其中，基于二维图像人体姿态匹配的人机交互方法包括：确定与操作动作一一对应的模板姿态特征；获取含有人体的二维图像，并确定人体的姿态特征；比对人体的姿态特征与模板姿态特征，确定人体姿态对应的操作动作，以完成人机交互。采用本发明，可以直接从二维图像中估计人体姿态，无需使用特殊的图像传感器设备，人机交互方案更容易实现，且成本更低。

Description

基于二维图像人体姿态匹配的人机交互方法及装置
技术领域
本发明涉及人机交互技术领域，尤其涉及一种基于二维图像人体姿态匹配的人机交互方法及装置。
背景技术
随着科技的发展，人类生活离不开各种各样机器设备，做一个特殊的手势触发机器工作是人类梦寐以求的目标。
微软的Kinect技术是基于计算机视觉人体姿态估计的人机交互中比较成熟的方法，其主要技术方案是通过Kinect传感器获取RGBD深度图，并从深度图上采用分割的方法获取人体姿态信息，最后通过追踪人体姿态实现人机交互。该技术能够实现动态实时捕捉人体动作，人机交互体验效果好，但需要配备昂贵的Kinect体感摄像头，开发与实现成本高。
发明内容
本发明实施例提供一种基于二维图像人体姿态匹配的人机交互方法及装置，用以解决现有技术中人机交互实现困难、成本高的问题。
根据本发明实施例的基于二维图像人体姿态匹配的人机交互方法，包括：
确定与操作动作一一对应的模板姿态特征；
获取含有人体的二维图像，并确定所述人体的姿态特征；
比对所述人体的姿态特征与所述模板姿态特征，确定人体姿态对应的操作动作，以完成人机交互。
根据本发明的一些实施例，所述确定所述人体的姿态特征，包括：
检测所述人体的多个关节点；
基于所述关节点，构建所述人体对应的人体骨架；
基于所述人体骨架，计算所述人体的姿态特征。
在本发明的一些实施例中，所述检测所述人体的多个关节点，包括：
采用深度学习法检测所述人体的多个关节点。
在本发明的一些实施例中，所述基于所述人体骨架，计算所述人体的姿态特征，包括：
建立基于所述人体骨架的坐标系；
从所述人体骨架中选取多个预设节点；
任意两个所述预设节点之间的距离为预设距离，选取至少一个所述预设距离为所述姿态特征的距离特征。
在本发明的一些示例中，所述检测所述人体的多个关节点，包括：
检测分别与所述人体的脖颈、肩关节、肘关节、腕关节、髋关节、膝关节以及踝关节所对应的节点。
进一步的，所述建立基于所述人体骨架的坐标系，包括：
确定与所述脖颈对应的节点为原点，过所述肩关节对应的节点与所述原点的直线为X轴，垂直于所述X轴为Y轴。
在本发明的一些示例中，所述基于所述人体骨架，计算所述人体的姿态特征，还包括：
任意两个所述预设节点可连接成向量，任意两个所述向量之间的夹角为预设角度，选取至少一个所述预设角度为所述姿态特征的角度特征；
融合所述距离特征与所述角度特征作为所述人体的姿态特征。根据本发明实施例的基于二维图像人体姿态匹配的人机交互装置，包括：
模板设置模块，用于确定与操作动作一一对应的模板姿态特征；
姿态获取模块，用于获取含有人体的二维图像，并确定所述人体的姿态特征；
比对模块，用于比对所述人体的姿态特征与所述模板姿态特征，确定所述人体对应的操作动作，以完成人机交互。
根据本发明实施例的基于二维图像人体姿态匹配的人机交互设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述方法的步骤。
根据本发明实施例的计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如上所述方法的步骤。
采用本发明实施例，可以直接从二维图像中估计人体姿态，无需使用特殊的图像传感器设备，人机交互方案更容易实现，且成本更低。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例中基于二维图像人体姿态匹配的人机交互方法的流程图；
图2是本发明实施例中人体骨架的结构示意图；
图3是本发明实施例中基于人体骨架的坐标系的示意图；
图4是本发明实施例中基于二维图像人体姿态匹配的人机交互方法的流程图；
图5是本发明实施例中基于二维图像人体姿态匹配的人机交互装置的结构示意图；
图6是本发明实施例中基于二维图像人体姿态匹配的人机交互设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本发明实施例的基于二维图像人体姿态匹配的人机交互方法，如图1所示，所述方法包括：
S101，确定与操作动作一一对应的模板姿态特征。
可以理解的是，首先需要确定完成人机交互的操作动作，即需要对机器实现哪些操作，然后为所有操作动作匹配一一对应的模板姿态，每个模板姿态具有其独立的姿态特征，即每个模板姿态对应的姿态特征均不同。
S102，获取含有人体的二维图像，并确定人体的姿态特征。
对于二维图像的获取方式不作限定，只要满足一定的成像清晰度要求，可以识别二维图像中的人体即可。例如，二维图像可以是从视屏中获取的图像帧。对于获取二维图像的图像传感器、摄像头等不作限定。例如，二维图像可以是通过光学摄像头(如红外成像摄像头)获取的。
S103，比对人体的姿态特征与模板姿态特征，确定人体姿态对应的操作动作，以完成人机交互。
可以理解的是，通过将步骤S102确定的二维图像中人体的姿态特征，与步骤S101所确定的模板姿态特征进行比对，当二维图像中人体的姿态特征与其中一个模板姿态特征的相似度达到预设值时，即可以判定二者(二维图像中的人体姿态与某一模板姿态)属于同一姿态，则可以执行该模板姿态对应的操作动作，实现人机交互。当二维图像中人体的姿态特征与任何一个模板姿态特征的相似度均没有达到预设值时，则不执行任何操作动作。
这里需要说明的是，这里所提到的预设值的设定需要保证人体的姿态特征与一个模板姿态特征的相似度可以达到预设值。或者是，当人体的姿态特征与多个模板姿态特征的相似度均达到预设值后，选择相似度最高的模板姿态，并执行其对应的操作动作。
采用本发明实施例，可以直接从二维图像中估计人体姿态，无需使用特殊的图像传感器，不仅可以方便、容易的实现人机交互，还可以大大地降低应用成本，以更广泛地应用于市场。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，确定人体的姿态特征，包括：
检测人体的多个关节点。
例如，可以检测分别与人体的脖颈、两个肩关节、两个肘关节、两个腕关节、两个髋关节、两个膝关节以及两个踝关节所对应的节点。
基于关节点，构建人体对应的人体骨架。
该步骤中，可以基于人体结构知识，将部分节点用线段连接起来，以形成一个人体骨架。例如，将脖颈对应的节点与肩关节对应的节点连接起来，将肩关节对应的节点与肘关节对应的节点连接起来，将肘关节对应的节点与腕关节对应的节点连接起来，将脖颈对应的节点与髋关节对应的节点连接起来，将髋关节对应的节点与膝关节对应的节点连接起来，将膝关节对应的节点与踝关节对应的节点连接起来。
需要说明的是，上述步骤可以采用相关技术中的技术手段实现。例如，在本发明的一些实施例中，可以采用深度学习法实现节点的检测以及人体骨架的构建。
深度学习法具体包括以下两种方法：
(1)自底向上法，其基本思想为：先在二维图像中检测出每个人体的位置，之后针对每个人体单独进行检测。
(2)自顶向下法，其基本思想为：先在二维图像中回归预测出所有人体的节点，再将所有节点利用匈牙利算法(或其他可行的算法)连接起来形成完整的人体骨架。该方法的优点是随着人数的增加，算法效率不受影响。
基于人体骨架，计算人体的姿态特征。
该步骤中，通过确定的人体骨架，可以计算一些反应人体形态/人体姿态/人体动作/人体行为的特征，例如，模板姿态是针对上半身的动作，则在计算人体的姿态特征时，可以选择上半身(如手臂)的特征，具体可以是手臂与下半身结构的距离、夹角等。例如，模板姿态是针对下半身的动作，则在计算人体的姿态特征时，可以选择下半身(如腿)的特征，具体可以是腿与上半身结构的距离、夹角等。
在本发明的一些实施例中，基于人体骨架，计算人体的姿态特征，具体可以包括：
建立基于人体骨架的坐标系。
可以基于每个人体骨架建立其对应的坐标系。换言之，坐标系的建立是基于人体骨架所建立的，不同的人体骨架对应的坐标系可能不同。需要注意的是，这里坐标系的建立只是一种实施方式，人体骨架的坐标系建立时坐标原点、坐标轴指向可任意选择。
在本发明的一些实施例中，为了保持人体的姿态特征的旋转、位移不变性，建立基于人体骨架的坐标系，可以包括：
确定与脖颈对应的节点为原点，过肩关节对应的节点与原点的直线为X轴，垂直于X轴为Y轴。
从人体骨架中选取多个预设节点。
可以理解的是，从人体骨架中的多个节点中选取一些节点作为预设节点。
任意两个预设节点之间的距离为预设距离，选取至少一个预设距离为人体的姿态特征。
任意两个所述预设节点可连接成向量，任意两个所述向量之间的夹角为预设角度，选取至少一个所述预设角度为所述姿态特征的角度特征；
需要说明的是，在本发明的一些示例中，为了保证姿态特征的尺度不变性，方便姿态特征的比对，可以以标准距离对选取的预设距离进行归一化处理。
在本发明的一些示例中，基于人体骨架，计算人体的姿态特征，还包括：
从人体骨架中选取多条预设线段。
可以理解的是，从人体骨架中的多条线段中选取一些线段作为预设线段。需要说明的是，这里所提到的人体骨架中的多条线段可以为人体骨架中任意两个节点之间的线段，即不仅包括基于人体结构知识，用于将部分节点连接起来以形成一个人体骨架的线段，还包括不作为人体骨架的线段。
任意相邻的两条预设线段之间的夹角为预设夹角，选取至少一个预设夹角为人体的姿态特征。
需要说明的是，在本发明的一些示例中，为了保证姿态特征的尺度不变性，方便姿态特征的比对，可以以标准角度对选取的预设夹角进行归一化处理。
根据本发明实施例的基于二维图像人体姿态匹配的人机交互装置100，如图5所示，所述装置100包括：
模板设置模块110，用于确定与操作动作一一对应的模板姿态特征。
可以理解的是，首先需要确定完成人机交互的操作动作，即需要对机器实现哪些操作，然后为所有操作动作匹配一一对应的模板姿态，每个模板姿态具有其独立的姿态特征，即每个模板姿态对应的姿态特征均不同。
姿态获取模块120，用于获取含有人体的二维图像，并确定人体的姿态特征。
对于二维图像的获取方式不作限定，只要满足一定的成像清晰度要求，可以识别二维图像中的人体即可。例如，二维图像可以是从视屏中获取的图像帧。对于获取二维图像的图像传感器、摄像头等不作限定。例如，二维图像可以是通过光学摄像头(如红外成像摄像头)获取的。
比对模块130，用于比对人体的姿态特征与模板姿态特征，确定人体姿态对应的操作动作，以完成人机交互。
可以理解的是，通过将二维图像中人体的姿态特征，与确定的模板姿态特征进行比对，当二维图像中人体的姿态特征与其中一个模板姿态特征的相似度达到预设值时，即可以判定二者(二维图像中的人体与某一模板姿态)属于同一姿态，则可以执行该模板姿态对应的操作动作，实现人机交互。当二维图像中人体的姿态特征与任何一个模板姿态特征的相似度均没有达到预设值时，则不执行任何操作。
这里需要说明的是，这里所提到的预设值的设定需要保证人体的姿态特征与一个模板姿态特征的相似度可以达到预设值。或者是，当人体的姿态特征与多个模板姿态特征的相似度均达到预设值后，选择相似度最高的模板姿态，并执行其对应的操作动作。
采用本发明实施例，可以直接从二维图像中估计人体姿态，无需使用特殊的图像传感器，不仅可以方便、容易的实现人机交互，还可以大大地降低应用成本，以更广泛地应用于市场。
在上述实施例的基础上，进一步提出各变型实施例，在此需要说明的是，为了使描述简要，在各变型实施例中仅描述与上述实施例的不同之处。
根据本发明的一些实施例，姿态获取模块120，可以具体用于：
检测人体的多个关节点。
例如，可以检测分别与人体的脖颈、两个肩关节、两个肘关节、两个腕关节、两个髋关节、两个膝关节以及两个踝关节所对应的节点。
基于关节点，构建人体对应的人体骨架。
这里，可以基于人体结构知识，将部分节点用线段连接起来，以形成一个人体骨架。例如，将脖颈对应的节点与肩关节对应的节点连接起来，将肩关节对应的节点与肘关节对应的节点连接起来，将肘关节对应的节点与腕关节对应的节点连接起来，将脖颈对应的节点与髋关节对应的节点连接起来，将髋关节对应的节点与膝关节对应的节点连接起来，将膝关节对应的节点与踝关节对应的节点连接起来。
需要说明的是，姿态获取模块可以采用相关技术中的技术手段实现。例如，在本发明的一些实施例中，可以采用深度学习法实现节点的检测以及人体骨架的构建。
深度学习法具体包括以下两种方法：
(1)自底向上法，其基本思想为：先在二维图像中检测出每个人体的位置，之后针对每个人体单独进行检测。
(2)自顶向下法，其基本思想为：先在二维图像中回归预测出所有人体的节点，再将所有节点利用匈牙利算法(或其他可行的算法)连接起来形成完整的人体骨架。该方法的优点是随着人数的增加，算法效率不受影响。
基于人体骨架，计算人体的姿态特征。
这里，通过确定的人体骨架，可以计算一些反应人体形态/人体姿态/人体动作/人体行为的特征，例如，模板姿态是针对上半身的动作，则在计算人体的姿态特征时，可以选择上半身(如手臂)的特征，具体可以是手臂与下半身结构的距离、夹角等。例如，模板姿态是针对下半身的动作，则在计算人体的姿态特征时，可以选择下半身(如腿)的特征，具体可以是腿与上半身结构的距离、夹角等。
在本发明的一些实施例中，姿态获取模块120，具体用于：
建立基于人体骨架的坐标系。
可以基于每个人体骨架建立其对应的坐标系。换言之，坐标系的建立是基于人体骨架所建立的，不同的人体骨架对应的坐标系可能不同。
在本发明的一些实施例中，为了保持人体的姿态特征的旋转、位移不变性，姿态获取模块120可以：
确定与脖颈对应的节点为原点，过肩关节对应的节点与原点的直线为X轴，垂直于X轴为Y轴。
从人体骨架中选取多个预设节点。
可以理解的是，从人体骨架中的多个节点中选取一些节点作为预设节点。
任意两个预设节点之间的距离为预设距离，选取至少一个预设距离为人体姿态的距离特征。
需要说明的是，在本发明的一些示例中，为了保证姿态特征的尺度不变性，方便姿态特征的比对，可以以标准距离对选取的预设距离进行归一化处理。
在本发明的一些示例中，姿态获取模块120，还用于：
从人体骨架中选取多条预设线段。
可以理解的是，从人体骨架中的多条线段中选取一些线段作为预设线段。需要说明的是，这里所提到的人体骨架中的多条线段可以为人体骨架中任意两个节点之间的线段，即不仅包括基于人体结构知识，用于将部分节点连接起来以形成一个人体骨架的线段，还包括不作为人体骨架的线段。
任意相邻的两条预设线段之间的夹角为预设夹角，选取至少一个预设夹角为人体姿态的角度特征。
需要说明的是，在本发明的一些示例中，为了保证姿态特征的尺度不变性，方便姿态特征的比对，可以以标准角度对选取的预设夹角进行归一化处理。
根据本发明实施例的基于二维图像人体姿态匹配的人机交互设备1000，如图6所示，包括：存储器1010、处理器1020及存储在所述存储器1010上并可在所述处理器1020上运行的计算机程序，所述计算机程序被所述处理器1020执行时实现如下方法步骤：
S101，确定与操作动作一一对应的模板姿态特征。
S102，获取含有人体的二维图像，并确定人体的姿态特征。
S103，比对人体的姿态特征与模板姿态特征，确定人体对应的操作动作，以完成人机交互。
采用本发明实施例，可以直接从二维图像中估计人体姿态，无需使用特殊的图像传感器，不仅可以方便、容易的实现人机交互，还可以大大地降低应用成本，以更广泛地应用于市场。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器1020执行时实现如下方法步骤：
S101，确定与操作动作一一对应的模板姿态特征。
S102，获取含有人体的二维图像，并确定人体的姿态特征。
S103，比对人体的姿态特征与模板姿态特征，确定人体对应的操作动作，以完成人机交互。
采用本发明实施例，可以直接从二维图像中估计人体姿态，无需使用特殊的图像传感器，不仅可以方便、容易的实现人机交互，还可以大大地降低应用成本，以更广泛地应用于市场。
本实施例所述计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
需要说明的是，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
下面参照图2-图6以一个具体的实施例详细描述根据本发明实施例的基于二维图像人体姿态匹配的人机交互方法、装置、设备以及计算机可读存储介质。值得理解的是，下述描述仅是示例性说明，而不是对本发明的具体限制。凡是采用本发明的相似结构及其相似变化，均应列入本发明的保护范围。
一方面，本发明实施例提出一种基于二维图像人体姿态匹配的人机交互方法，如图4所示，所述方法包括：
S201，确定完成人机交互的操作动作。即确定需要对机器实现哪些操作。
S202，确定与操作动作一一对应的模板姿态。
S203，输入模板姿态特征。每个模板姿态具有其独立的姿态特征，即每个模板姿态对应的姿态特征均不同。
S204，获取含有人体的二维图像。对于二维图像的获取方式不作限定，只要满足一定的成像清晰度要求，可以识别二维图像中的人体即可。例如，二维图像可以是从视屏中获取的图像帧。对于获取二维图像的图像传感器、摄像头等不作限定。例如，二维图像可以是通过光学摄像头(如红外成像摄像头)获取的。
S205，采用自顶向下的深度学习法构造人体对应的人体骨架。具体的，在二维图像中回归预测出所有人体的节点，再将所有节点利用匈牙利算法连接起来形成完整的人体骨架。可以检测分别与人体的脖颈、两个肩关节、两个肘关节、两个腕关节、两个髋关节、两个膝关节以及两个踝关节所对应的节点。例如，如图2所示，脖颈对应节点1，两个肩关节分别对应节点2、5，两个肘关节分别对应节点3、6，两个腕关节分别对应节点4、7，两个髋关节分别对应节点8、11，两个膝关节分别对应节点9、12，两个踝关节分别对应节点10、13。
如图2所示，基于人体结构知识，将节点1与节点2用线段连接起来，将节点1与节点5用线段连接起来，将节点1与节点8用线段连接起来，将节点1与节点11用线段连接起来，将节点2与节点3用线段连接起来，将节点3与节点4用线段连接起来，将节点5与节点6用线段连接起来，将节点6与节点7用线段连接起来，将节点8与节点9用线段连接起来，将节点9与节点10用线段连接起来，将节点11与节点12用线段连接起来，将节点12与节点13用线段连接起来，以形成一个人体骨架。
S206，建立基于人体骨架的坐标系。具体的，如图3所示，确定与脖颈对应的节点1为原点，过节点1与肩关节对应的节点2和/或5的直线向右为X轴，垂直于X轴向上为Y轴。
S207，从人体骨架中选取多个预设节点和多条预设线段。从人体骨架中的多个节点中选取一些节点作为预设节点。从人体骨架中的多条线段中选取一些线段作为预设线段。例如，如图2所示，选取节点1、3、4、6、7、8为预设节点，节点1与节点2之间的实线段、节点2与节点3之间的实线段、节点3与节点4之间的实线段、节点1与节点5之间的实线段、节点5与节点6之间的实线段、节点6与节点7之间的实线段、节点12与节点3之间的虚线段、节点1与节点4之间的虚线段、节点1与节点6之间的虚线段、节点1与节点7之间的虚线段。
S208，任意两个预设节点之间的距离为预设距离，选取至少一个预设距离为人体姿态的距离特征。例如，计算节点1与节点2之间的距离、节点1与节点4之间的距离、节点1与节点6之间的距离、节点1与节点7之间的距离、节点3与节点8之间的距离、节点4与节点8之间的距离、节点6与节点8之间的距离、节点7与节点8之间的距离、节点3与节点6之间的距离、节点4与节点7之间的距离作为人体的姿态特征。为了保证姿态特征的尺度不变性，方便姿态特征的比对，可以以节点2与节点5之间的距离作为标准距离，对所有选取的预设距离进行归一化处理。下面以计算节点1与节点6之间的距离为例进行说明，
Figure BDA0002268168450000131
归一化：feature_dis16＝dis16dis25
S209，任意相邻的两条预设线段之间的夹角为预设夹角，选取至少一个预设夹角为人体姿态的角度特征。例如，计算节点1与节点2之间的实线段、与节点2与节点3之间的实线段的夹角，计算节点2与节点3之间的实线段、与节点3与节点4之间的实线段的夹角，计算节点1与节点5之间的实线段、与节点5与节点6之间的实线段的夹角，计算节点5与节点6之间的实线段、与节点6与节点7之间的实线段的夹角，计算节点2与节点1之间的实线段、与节点1与节点3之间的虚线段的夹角，计算节点2与节点1之间的实线段、与节点1与节点4之间的虚线段的夹角，计算节点5与节点1之间的实线段、与节点1与节点6之间的虚线段的夹角，计算节点5与节点1之间的实线段、与节点1与节点7之间的虚线段的夹角。下面以计算节点5与节点6之间的实线段、与节点6与节点7之间的实线段的夹角为例进行说明，
Figure BDA0002268168450000141
需要说明的是，肢体之间的角度信息不限于采用余弦值，可采用其他三角函数，亦可采用角度和弧度表示。
最终的姿态特征为距离特征和角度特征的组合形成多维特征向量：feature_pos＝(feature_dis16,feature_dis17,...,feature_cos567,feature_cos234,...)。
S210，计算人体的姿态特征与模板姿态特征的相似度。
S211，判断相似度是否大于预设值，若是，执行步骤S212，否则，跳至步骤S204。
S212，触发标准姿势对应的操作动作，完成人机交互。
需要说明的是，当二维图像中人体的姿态特征与其中一个模板姿态特征的相似度达到预设值时，即可以判定二者(二维图像中的人体与某一模板姿态)属于同一姿态，则可以执行该模板姿态对应的操作动作，实现人机交互。当二维图像中人体的姿态特征与任何一个模板姿态特征的相似度均没有达到预设值时，则不执行任何操作动作。适用于度量两向量之间相似度的度量函数均可用于度量人体特征之间的相似度。
另一方面，本发明实施例还提出一种基于二维图像人体姿态匹配的人机交互装置100，如图5所示，所述装置100包括：
模板设置模块110，用于实现上述步骤S201-S203。
姿态获取模块120，用于实现上述步骤S204-S209。
比对模块130，用于实现上述步骤S210。
又一方面，本发明实施例提出一种基于二维图像人体姿态匹配的人机交互设备，如图6所示，包括：存储器1010、处理器1020及存储在所述存储器1010上并可在所述处理器1020上运行的计算机程序，所述计算机程序被所述处理器1020执行时可以实现步骤S201-S210。
再一方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传输的实现程序，所述程序被处理器1020执行时可以实现步骤S201-S210。
计算机可读存储介质包括但不限于为：ROM、RAM、磁盘或光盘等。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
采用本发明实施例，可以从二维图像中直接估计人体姿态，无需使用特殊的图像传感器设备，人机交互方案更容易实现，且成本更低；融合距离和角度信息表达人体的姿态特征，特征更加丰富，匹配准确度更高；建立人体独立的坐标系，使得人体的姿态特征具有平移和旋转不变性，且对距离信息进行归一化，使得姿态特征具有尺度不变性。
需要说明的是，以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于二维图像人体姿态匹配的人机交互方法，其特征在于，包括：
确定与操作动作一一对应的模板姿态特征；
获取含有人体的二维图像，并确定所述人体的姿态特征；
比对所述人体的姿态特征与所述模板姿态特征，确定人体姿态对应的操作动作，以完成人机交互。
2.如权利要求1所述的方法，其特征在于，所述确定所述人体的姿态特征，包括：
检测所述人体的多个关节点；
基于所述关节点，构建所述人体对应的人体骨架；
基于所述人体骨架，计算所述人体的姿态特征。
3.如权利要求2所述的方法，其特征在于，所述检测所述人体的多个关节点，包括：
采用深度学习法检测所述人体的多个关节点。
4.如权利要求2所述的方法，其特征在于，所述基于所述人体骨架，计算所述人体的姿态特征，包括：
建立基于所述人体骨架的坐标系；
从所述人体骨架中选取多个预设节点；
任意两个所述预设节点之间的距离为预设距离，选取至少一个所述预设距离为所述姿态特征的距离特征。
5.如权利要求4所述的方法，其特征在于，所述检测所述人体的多个关节点，包括：
检测分别与所述人体的脖颈、肩关节、肘关节、腕关节、髋关节、膝关节以及踝关节所对应的节点。
6.如权利要求5所述的方法，其特征在于，所述建立基于所述人体骨架的坐标系，包括：
确定与所述脖颈对应的节点为原点，过所述肩关节对应的节点与所述原点的直线为X轴，垂直于所述X轴为Y轴。
7.如权利要求4所述的方法，其特征在于，所述基于所述人体骨架，计算所述人体的姿态特征，还包括：
任意两个所述预设节点可连接成向量，任意两个所述向量之间的夹角为预设角度，选取至少一个所述预设角度为所述姿态特征的角度特征；
融合所述距离特征与所述角度特征作为所述人体的姿态特征。
8.一种基于二维图像人体姿态匹配的人机交互装置，其特征在于，包括：
模板设置模块，用于确定与操作动作一一对应的模板姿态特征；
姿态获取模块，用于获取含有人体的二维图像，并确定所述人体的姿态特征；
比对模块，用于比对所述人体的姿态特征与所述模板姿态特征，确定人体姿态对应的操作动作，以完成人机交互。
9.一种基于二维图像人体姿态匹配的人机交互设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN201911095370.7A 2019-11-11 2019-11-11 基于二维图像人体姿态匹配的人机交互方法及装置 Pending CN110928408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911095370.7A CN110928408A (zh) 2019-11-11 2019-11-11 基于二维图像人体姿态匹配的人机交互方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911095370.7A CN110928408A (zh) 2019-11-11 2019-11-11 基于二维图像人体姿态匹配的人机交互方法及装置

Publications (1)

Publication Number Publication Date
CN110928408A true CN110928408A (zh) 2020-03-27

Family

ID=69853804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911095370.7A Pending CN110928408A (zh) 2019-11-11 2019-11-11 基于二维图像人体姿态匹配的人机交互方法及装置

Country Status (1)

Country Link
CN (1) CN110928408A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107080940A (zh) * 2017-03-07 2017-08-22 中国农业大学 基于深度相机Kinect的体感交互转换方法及装置
CN108304762A (zh) * 2017-11-30 2018-07-20 腾讯科技（深圳）有限公司 一种人体姿态匹配方法及其设备、存储介质、终端
CN109299659A (zh) * 2018-08-21 2019-02-01 中国农业大学 一种基于rgb相机和深度学习的人体姿态识别方法与系统
JP2019148865A (ja) * 2018-02-26 2019-09-05 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107080940A (zh) * 2017-03-07 2017-08-22 中国农业大学 基于深度相机Kinect的体感交互转换方法及装置
CN108304762A (zh) * 2017-11-30 2018-07-20 腾讯科技（深圳）有限公司 一种人体姿态匹配方法及其设备、存储介质、终端
JP2019148865A (ja) * 2018-02-26 2019-09-05 パナソニックＩｐマネジメント株式会社 識別装置、識別方法、識別プログラムおよび識別プログラムを記録した一時的でない有形の記録媒体
CN109299659A (zh) * 2018-08-21 2019-02-01 中国农业大学 一种基于rgb相机和深度学习的人体姿态识别方法与系统

Similar Documents

Publication Publication Date Title
TWI777538B (zh) 圖像處理方法、電子設備及電腦可讀儲存介質
JP6369534B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
CN109448090B (zh) 图像处理方法、装置、电子设备及存储介质
CN110913751B (zh) 具有滑动检测和校正功能的可穿戴眼睛跟踪系统
Zeng et al. View-invariant gait recognition via deterministic learning
WO2015186436A1 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
WO2012077286A1 (ja) 物体検出装置および物体検出方法
CN108153421B (zh) 体感交互方法、装置及计算机可读存储介质
JP2019096113A (ja) キーポイントデータに関する加工装置、方法及びプログラム
Droeschel et al. 3D body pose estimation using an adaptive person model for articulated ICP
US10600202B2 (en) Information processing device and method, and program
JP2018119833A (ja) 情報処理装置、システム、推定方法、コンピュータプログラム、及び記憶媒体
CN110986969A (zh) 地图融合方法及装置、设备、存储介质
CN112528957A (zh) 人体运动基础信息检测方法、系统及电子设备
Yin et al. Estimation of the fundamental matrix from uncalibrated stereo hand images for 3D hand gesture recognition
CN114743062A (zh) 一种建筑特征的识别方法及装置
Varshney et al. Rule-based multi-view human activity recognition system in real time using skeleton data from RGB-D sensor
Cao et al. Human posture recognition using skeleton and depth information
Jiang et al. independent hand gesture recognition with Kinect
CN111771227B (zh) 用于识别三维物体的方法、系统、电子装置和存储介质
Barros et al. Real-time human pose estimation from body-scanned point clouds
CN110928408A (zh) 基于二维图像人体姿态匹配的人机交互方法及装置
CN116246343A (zh) 轻量化的人体行为识别方法及装置
JP2017097549A (ja) 画像処理装置、方法、及びプログラム
Solichah et al. Marker-less motion capture based on openpose model using triangulation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200327