CN112085792A - 一种基于立体摄像头的3d人体姿态评估方法及系统 - Google Patents

一种基于立体摄像头的3d人体姿态评估方法及系统 Download PDF

Info

Publication number
CN112085792A
CN112085792A CN202010918815.3A CN202010918815A CN112085792A CN 112085792 A CN112085792 A CN 112085792A CN 202010918815 A CN202010918815 A CN 202010918815A CN 112085792 A CN112085792 A CN 112085792A
Authority
CN
China
Prior art keywords
human body
information flow
information stream
body posture
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010918815.3A
Other languages
English (en)
Inventor
曹文明
钟建奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN202010918815.3A priority Critical patent/CN112085792A/zh
Publication of CN112085792A publication Critical patent/CN112085792A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供适用于计算机视觉理解领域，提供了一种基于立体摄像头的3D人体姿态评估方法。包括采用两个普通摄像头同时获取目标包含人体的场景数据流，堆叠沙漏深度神经网络提取场景数据流中人体二维人体姿态特征，通过立体三角法将人体提取二维人体姿态特征融合，得到3D人体姿态。由于多个普通摄像头获取场景时，时空域的一致性能够帮助快速准确地重建3D场景，且普通摄像头成本低，使得3D人体姿态评估成本更低，准确率更高。

Description

一种基于立体摄像头的3D人体姿态评估方法及系统
技术领域
本发明属于计算机视觉理解的技术领域，尤其涉及一种基于立体摄像头的3D人体姿态评估方法及系统。
背景技术
基于立体摄像头的3D人体姿态评估方法一种实现成本低、评估精确度高的人体姿态评估方法，其能够从普通摄像头中得到人体关键点的3D位置信息，常被用于人机交互、动作识别、智能监控领域。
当前，3D人体姿态评估主要通过两种方法获得：(1)基于标记物的运动跟踪系统；(2)基于深度神经网络的3D人体姿态评估方法。但是基于标记物的运动跟踪系统成本太高，无法大量普及使用；目前，基于深度神经网络的3D人体姿态评估方法评估准确率不高。
发明内容
本发明所要解决的技术问题在于提供一种基于立体摄像头的3D人体姿态评估方法和系统，旨在解决现有技术在进行3D人体姿态评估时，难以降低评估成本以及评估准确性的问题。一种基于立体摄像头的人体姿态评估方法，其特征在于，包括：
采用立体摄像头获取第一视角下的第一信息流及获取第二视角下第二信息流；
分别对第一信息流、第二信息流进行信息流预处理，得到第一增强型信息流、第二增强型信息流；
利用同步器分别对所述第一增强型信息流和所述第二增强型信息流进行帧数同步，得到已同步的第一增强型信息流、已同步的第二增强型信息流；
根据所述已同步的第一增强型信息流、所述已同步的第二增强型信息流，采用沙漏堆栈深度神经网络分别提取所述已同步的第一增强型信息流中第一二维人体姿态特征、所述已同步的第二增强型信息流中第二二维人体姿态特征；
利用滤波器对所述第一二维人体姿态特征滤波，得到第一友好型特征；利用滤波器对所述第二二维人体姿态特征滤波，得到第二友好型特征；
采用立体三角形法挖掘第一友好型特征和第二友好型特征之间相互关系，得到三维人体姿态数据，完成3D人体姿态评估。
进一步地，所述信息流包括至少一张图像或者视频。
进一步地，所述立体摄像头包括摆放在不同位置的两个普通相同的摄像头，同时记录两个摄像头视角重叠场景，得到所述第一信息流、第二信息流。
进一步地，对第一信息流、第二信息流进行信息流预处理，得到第一增强型信息流、第二增强型信息流的步骤包括：
利用张正友标定法标定立体摄像头，获取立体摄像头内外标定参数、畸变参数。
利用已标定好的立体摄像头分别对所述第一信息流、所述第二信息流进行信息流矫正，得到所述第一增强型信息流、第二增强型信息流。
进一步地，同步器分别对所述第一增强型信息流和所述第二增强型信息流进行帧数同步，得到已同步的第一增强型信息流、已同步的第二增强型信息流包括：
利用手动同步方式同步第一增强信息流、第二增强信息流，保证第一增强信息流、第二增强信息流在时间域上同步，得到所述已同步的第一增强型信息流、已同步的第二增强型信息流。
进一步地，所述二维人体姿态特征包括至少以下关键点的二维坐标：头、胸腔、左右肩、左右手肘、左右手腕、脊椎、左右髋、左右膝盖、左右脚腕。
进一步地，采用沙漏堆栈神经网络分别提取所述已同步的第一增强型信息流中第一二维人体姿态特征、所述已同步的第二增强型信息流中第二二维人体姿态特征包括：
利用沙漏堆栈神经网络从所述第一增强型信息流中提取包含所述关键点二维坐标的所有热图。从所有热图中提取人体姿态特征，得到第一二维人体姿态特征
Figure BSA0000218568240000031
利用沙漏堆栈神经网络从所述第二增强型信息流中提取包含所述关键点二维坐标的所有热图，从所有热图中提取人体姿态特征，得到第二二维人体姿态特征
Figure BSA0000218568240000032
进一步地，所述滤波器包括中值滤波器和均值滤波器。
进一步地，采用立体三角形法挖掘第一友好型特征和第二友好型特征之间相互关系，得到3D人体姿态数据包括：
根据第一友好型特征和第二友好型特征，利用立体三角形法求取三维人体姿态数据
本发明还提供了一种基于立体摄像头的3D人体姿态评估系统，包括：
信息捕捉单元：用于采用立体摄像头分别观测第一视角、第二视角，得到第一信息流、第二信息流；
预处理单元，用于对立体摄像机进行相机标定和对所述第一信息流、所述第二信息流进行图像校正，得到第一增强信息流、第二增强信息流；
同步单元：用于根据所述第一增强信息流、所述第二增强信息流，利用同步器同步所述第一增强信息流、所述第二增强信息流，得到已同步的第一增强型信息流、已同步的第二增强型信息流。；
特征提取单元：用于根据所述已同步的第一增强型信息流、所述已同步的第二增强型信息流，利用所述沙漏堆栈神经网络提取根据所述已同步的第一增强型信息流的第一二维人体姿态特征、所述已同步的第二增强型信息流的第二二维人体姿态特征；
滤波单元：用于采用中值滤波及均值滤波分别对所述第一二维人体姿态特征、所述第二二维人体姿态特征进行滤波，得到第一友好型特征、第二友好型特征；
3D人体姿态评估单元：用于根据所述第一友好型特征、第二友好型特征进行3D人体姿态评估；
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单的介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种基于立体摄像头的3D人体姿态评估方法的流程示意图；
图2是本发明实施例提供的立体摄像头布局结构示意图；
图3是本发明实施例提供的人体姿态关键点示意图；
图4是本发明实施例提供的同步器示意图；
图5是本发明实施例提供的立体三角形法示意图；
图6是本发明实施例提供的一种基于立体摄像头的3D人体姿态评估系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
图1示出了本发明实施例提供的一种基于立体摄像头的3D人体姿态评估方法，包括：
S101，采用立体摄像头获取第一视角下的第一信息流及获取第二视角下第二信息流
S102，分别对第一信息流、第二信息流进行信息流预处理，得到第一增强型信息流、第二增强型信息流；
S103，利用同步器分别对所述第一增强型信息流和所述第二增强型信息流进行帧数同步，得到已同步的第一增强型信息流、已同步的第二增强型信息流；
S104，根据所述已同步的第一增强型信息流、所述已同步的第二增强型信息流，采用沙漏堆栈深度神经网络分别提取所述已同步的第一增强型信息流中第一二维人体姿态特征、所述已同步的第二增强型信息流中第二二维人体姿态特征；
S105，利用滤波器对所述第一二维人体姿态特征滤波，得到第一友好型特征；利用滤波器对所述第二二维人体姿态特征滤波，得到第二友好型特征；
S106，采用立体三角形法挖掘第一友好型特征和第二友好型特征之间相互关系，得到三维人体姿态数据，完成人体姿态评估。
下面结合图2-图6对本发明实施例进行进一步的阐述：
一、信息捕捉阶段
如图2所示，采用立体摄像头获取第一视角下的第一信息流及获取第二视角下第二信息流。立体摄像头包括二个普通摄像头，二个普通摄像头处于同一水平面，摆放距离相距但不限于0.2m，面向场景同时采集包含人体的场景。具体地，信息流为至少一张图像或一段图像帧数为N的视频。
二、预处理阶段
分别对第一信息流、第二信息流进行信息流预处理，得到第一增强型信息流、第二增强型信息流；
(1)立体摄像头的标定
利用张正友标定法标定立体摄像头，获取立体摄像头内外标定参数、畸变参数。张正友标定法通过立体摄像头拍摄棋盘确定摄像头的内外参数、畸变参数，进而获取摄像头坐标系之间的关系、摄像头坐标系与世界坐标关系。
(2)信息流校正
利用已标定好的立体摄像头分别对所述第一信息流、所述第二信息流进行信息流矫正，得到所述第一增强型信息流、第二增强型信息流，校正公式如下：
x0＝x(1+k1r2+k2r4+k3r6)
y0＝y(1+k1r2+k2r4+k3r6)
其中，(x，y)是第一信息流或第二信息流上的像素点位置，(x0，y0)是校正后的第一增强信息流或第二增强流上像素点位置，k1，k2，k3是畸变参数。在进行信息流校正后，可以认为第一增强型信息流和第二增强型信息可以正常描述所述包含人体的场景。
三、同步阶段
如图3所示，利用同步器分别对所述第一增强型信息流和所述第二增强型信息流进行帧数同步，得到已同步的第一增强型信息流、已同步的第二增强型信息流。
四、特征提取阶段
采用沙漏堆栈深度神经网络分别提取所述已同步的第一增强型信息流中第一二维人体姿态特征、所述已同步的第二增强型信息流中第二二维人体姿态特征，二维人体姿态概率分布如下式所示：
P(x，I)＝P(x|I)·P(I)
其中，I表示信息流，x表示二维人体特征。如图4所示，二维人体姿态特征包括至少以下15个关键点的二维坐标：头、胸腔、左右肩、左右手肘、左右手腕、脊椎、左右髋、左右膝盖、左右脚腕。沙漏堆栈深度神经网络由多个堆叠的残差网络构成，提取信息流每一帧中人体的二维人体姿态特征。
在本步骤中，信息流所有帧图像作为沙漏堆栈深度神经网络的输入，对于每一帧图像，沙漏堆栈深度神经网络输出15张分别包含15个关键点的深度图，然后，根据所有热图，得到第一二维人体姿态特征
Figure BSA0000218568240000061
第二二维人体姿态特征
Figure BSA0000218568240000062
五、特征滤波阶段
采用中值滤波及均值滤波分别对所述第一二维人体姿态特征、所述第二二维人体姿态特征进行滤波，得到第一友好型特征、第二友好型特征，中值滤波如下式所示：
y(i)＝Med{x(i-n)，x(i-n+1)，...，x(i+n+1)}
其中，x(i)为待处理的数据，y(i)为滤波处理后的数据，Med表示取中值数操作
均值滤波如下式所示：
Figure BSA0000218568240000071
其中，x(i)为待处理的数据，y(i)为滤波处理后的数据。通过本步骤，可以认为，沙漏堆栈深度神经网络遗留在所述第一二维人体姿态特征
Figure BSA0000218568240000072
第二二维人体姿态特征
Figure BSA0000218568240000073
中的噪音毛刺被很大程度消除，降低对3D人体姿态评估的影响。
六、3D人体姿态评估阶段
如图5所示，根据第一友好型特征和第二友好型特征，利用立体三角形法求取三维人体姿态数据，评估公式如下式所示：
Figure BSA0000218568240000074
其中，f代表信息流第f帧图像，i代表第i个关键点，Df，s(i)表示第f帧图像中第i个关键点的三维坐标。如图5所示，所述立体三角法公式为：
Figure BSA0000218568240000075
Figure BSA0000218568240000076
Figure BSA0000218568240000077
其中，T为所述立体摄像机内部摄像机投影中心之间的距离，f为投影中心到摄像机平面的距离。X，Y，Z为三维人体姿态数据的组成部分。
本发明实施例还提供了如图6所示的一种基于立体摄像头的3D人体姿态评估系统，包括：
信息捕捉单元S610：用于采用立体摄像头分别观测第一视角、第二视角，得到第一信息流、第二信息流；
预处理单元S620，用于对立体摄像机进行相机标定和对所述第一信息流、所述第二信息流进行图像校正，得到第一增强信息流、第二增强信息流；
同步单元S630：用于根据所述第一增强信息流、所述第二增强信息流，利用同步器同步所述第一增强信息流、所述第二增强信息流，得到已同步的第一增强型信息流、已同步的第二增强型信息流；
特征提取单元S640：用于根据所述已同步的第一增强型信息流、所述已同步的第二增强型信息流，利用所述沙漏堆栈神经网络提取根据所述已同步的第一增强型信息流的第一二维人体姿态特征、所述已同步的第二增强型信息流的第二二维人体姿态特征；
滤波单元S650：用于采用中值滤波及均值滤波分别对所述第一二维人体姿态特征、所述第二二维人体姿态特征进行滤波，得到第一友好型特征、第二友好型特征；
3D人体姿态评估单元S660：用于根据所述第一友好型特征、第二友好型特征进行3D人体姿态评估；
具体地，信息捕捉单元S10具体用于采用立体摄像头面向场景同时采集包含人体的场景获取第一视角下的第一信息流及获取第二视角下第二信息流。
预处理单元S620具体用于张正友标定法通过立体摄像头拍摄棋盘确定摄像头的内外参数、畸变参数，进而获取摄像头坐标系之间的关系、摄像头坐标系与世界坐标关系。
利用已标定好的立体摄像头分别对所述第一信息流、所述第二信息流进行信息流矫正
同步单元S630具体用于利用同步器分别对所述第一增强型信息流和所述第二增强型信息流进行帧数同步，得到已同步的第一增强型信息流、已同步的第二增强型信息流。
特征提取单元S64具体用于利用沙漏堆栈深度神经网络输出15张分别包含15个关键点的深度图，然后，根据所有热图，得到第一二维人体姿态特征
Figure BSA0000218568240000091
第二二维人体姿态特征
Figure BSA0000218568240000092
滤波单元S650具体用于采用中值滤波及均值滤波分别对所述第一二维人体姿态特征、所述第二二维人体姿态特征进行滤波，得到第一友好型特征、第二友好型特征
3D人体姿态评估单元S660具体用于利用立体三角形法挖掘第一友好型数据和第二友好型数据之间的关系，求取3D人体姿态数据
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本发明所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
以上为对本发明所提供的一种基于立体摄像头的3D人体姿态评估方法及系统的描述，对于本领域的技术人员，依据本发明实施例的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于立体摄像头的3D人体姿态评估方法，其特征在于，包括：
采用立体摄像头获取第一视角下的第一信息流及获取第二视角下第二信息流；
分别对第一信息流、第二信息流进行信息流预处理，得到第一增强型信息流、第二增强型信息流；
利用同步器分别对所述第一增强型信息流和所述第二增强型信息流进行帧数同步，得到已同步的第一增强型信息流、已同步的第二增强型信息流；
根据所述已同步的第一增强型信息流、所述已同步的第二增强型信息流，采用沙漏堆栈深度神经网络分别提取所述已同步的第一增强型信息流中第一二维人体姿态特征、所述已同步的第二增强型信息流中第二二维人体姿态特征；
利用滤波器对所述第一二维人体姿态特征滤波，得到第一友好型特征；利用滤波器对所述第二二维人体姿态特征滤波，得到第二友好型特征；
采用立体三角形法挖掘第一友好型特征和第二友好型特征之间相互关系，得到三维人体姿态数据，完成人体姿态评估。
2.根据权利要求1所述的基于立体摄像头的3D人体姿态评估方法，其特征在于，所述信息流包括至少一张图像或者视频。
3.根据权利要求1所述的基于立体摄像头的3D人体姿态评估方法，其特征在于，所述立体摄像头包括摆放在不同位置的两个普通相同的摄像头，同时记录两个摄像头视角重叠场景，得到所述第一信息流、第二信息流。
4.根据权利要求1所述的基于立体摄像头的3D人体姿态评估方法，其特征在于，对第一信息流、第二信息流进行信息流预处理，得到第一增强型信息流、第二增强型信息流的步骤包括：
利用张正友标定法标定立体摄像头，获取立体摄像头内外标定参数、畸变参数。
利用已标定好的立体摄像头分别对所述第一信息流、所述第二信息流进行信息流矫正，得到所述第一增强型信息流、第二增强型信息流。
5.根据权利要求1所述的基于立体摄像头的3D人体姿态评估方法，其特征在于，同步器分别对所述第一增强型信息流和所述第二增强型信息流进行帧数同步，得到已同步的第一增强型信息流、已同步的第二增强型信息流包括：
利用手动同步方式同步第一增强信息流、第二增强信息流，保证第一增强信息流、第二增强信息流在时间域上同步，得到所述已同步的第一增强型信息流、已同步的第二增强型信息流。
6.根据权利要求1所述的基于立体摄像头的3D人体姿态评估方法，其特征在于，所述二维人体姿态特征包括至少以下关键点的二维坐标：头、胸腔、左右肩、左右手肘、左右手腕、脊椎、左右髋、左右膝盖、左右脚腕。
7.根据权利要求1所述的基于立体摄像头的3D人体姿态评估方法，其特征在于，采用沙漏堆栈深度神经网络分别提取所述已同步的第一增强型信息流中第一二维人体姿态特征、所述已同步的第二增强型信息流中第二二维人体姿态特征包括：
利用沙漏堆栈神经网络从所述第一增强型信息流中提取包含所述关键点二维坐标的所有热图。从所有热图中提取人体姿态特征，得到第一二维人体姿态特征
Figure 1
利用沙漏堆栈神经网络从所述第二增强型信息流中提取包含所述关键点二维坐标的所有热图，从所有热图中提取人体姿态特征，得到第二二维人体姿态特征
Figure 2
。
8.根据权利要求1所述的基于立体摄像头的3D人体姿态评估方法，其特征在于，所述滤波器包括中值滤波器和均值滤波器。
9.根据权利要求1所述的基于立体摄像头的3D人体姿态评估方法，其特征在于，采用立体三角形法挖掘第一友好型特征和第二友好型特征之间相互关系，得到3D人体姿态数据包括：
分别根据第一友好型特征和第二友好型特征，利用立体三角形法求取三维人体姿态数据。
10.一种基于立体摄像头的3D人体姿态评估系统，其特征在于，所述系统包括：
信息捕捉单元：用于采用立体摄像头分别观测第一视角、第二视角，得到第一信息流、第二信息流；
预处理单元，用于对立体摄像机进行相机标定和对所述第一信息流、所述第二信息流进行图像校正，得到第一增强信息流、第二增强信息流；
同步单元：用于根据所述第一增强信息流、所述第二增强信息流，利用同步器同步所述第一增强信息流、所述第二增强信息流，得到已同步的第一增强型信息流、已同步的第二增强型信息流；
特征提取单元：用于根据所述已同步的第一增强型信息流、所述已同步的第二增强型信息流，利用所述沙漏堆栈深度神经网络提取根据所述已同步的第一增强型信息流的第一二维人体姿态特征、所述已同步的第二增强型信息流的第二二维人体姿态特征；
滤波单元：用于采用中值滤波及均值滤波分别对所述第一二维人体姿态特征、所述第二二维人体姿态特征进行滤波，得到第一友好型特征、第二友好型特征；
3D人体姿态评估单元：用于根据所述第一友好型特征、第二友好型特征进行3D人体姿态评估。
CN202010918815.3A 2020-08-31 2020-08-31 一种基于立体摄像头的3d人体姿态评估方法及系统 Pending CN112085792A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010918815.3A CN112085792A (zh) 2020-08-31 2020-08-31 一种基于立体摄像头的3d人体姿态评估方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010918815.3A CN112085792A (zh) 2020-08-31 2020-08-31 一种基于立体摄像头的3d人体姿态评估方法及系统

Publications (1)

Publication Number Publication Date
CN112085792A true CN112085792A (zh) 2020-12-15

Family

ID=73731433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010918815.3A Pending CN112085792A (zh) 2020-08-31 2020-08-31 一种基于立体摄像头的3d人体姿态评估方法及系统

Country Status (1)

Country Link
CN (1) CN112085792A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086681A (zh) * 2006-06-09 2007-12-12 中国科学院自动化研究所 基于立体视觉的游戏控制系统及方法
CN110111368A (zh) * 2019-05-07 2019-08-09 山东广域科技有限责任公司 一种基于人体姿态识别的相似移动目标的检测跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101086681A (zh) * 2006-06-09 2007-12-12 中国科学院自动化研究所 基于立体视觉的游戏控制系统及方法
CN110111368A (zh) * 2019-05-07 2019-08-09 山东广域科技有限责任公司 一种基于人体姿态识别的相似移动目标的检测跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANQI ZHONG 等: "Pedestrian Motion Trajectory Prediction With Stereo-Based 3D Deep Pose Estimation and Trajectory Learning", SPECIAL SECTION ON INTEGRATIVE COMPUTER VISION AND MULTIMEDIA ANALYTICS》, vol. 8, pages 23480 - 23486, XP011770516, DOI: 10.1109/ACCESS.2020.2969994 *

Similar Documents

Publication Publication Date Title
Tuytelaars et al. Synchronizing video sequences
CN108470324B (zh) 一种鲁棒的双目立体图像拼接方法
CN107767339B (zh) 一种双目立体图像拼接方法
CN103345736A (zh) 一种虚拟视点绘制方法
CN107798704B (zh) 一种用于增强现实的实时图像叠加方法及装置
CN112509125A (zh) 一种基于人工标志物和立体视觉的三维重建方法
CN103810708A (zh) 一种激光散斑图像深度感知方法及装置
CN103279952A (zh) 一种目标跟踪方法和装置
CN106952247B (zh) 一种双摄像头终端及其图像处理方法和系统
CN113689503B (zh) 目标对象的姿态检测方法、装置、设备及存储介质
CN110120013A (zh) 一种点云拼接方法及装置
WO2023169281A1 (zh) 图像配准方法、装置、存储介质及电子设备
WO2023169283A1 (zh) 双目立体全景图像的生成方法、装置、设备、存储介质和产品
TW202244853A (zh) 三維重建方法、裝置和系統、媒體及計算機設備
CN107798703B (zh) 一种用于增强现实的实时图像叠加方法以及装置
CN112102504A (zh) 一种基于混合现实的三维场景和二维图像混合方法
CN115359193B (zh) 一种基于双目鱼眼相机的快速半稠密三维重建方法
CN112085792A (zh) 一种基于立体摄像头的3d人体姿态评估方法及系统
CN116823611A (zh) 基于多聚焦图像的有参考超分辨率方法
CN112991207B (zh) 全景深度估计方法、装置、终端设备及存储介质
CN109741245A (zh) 平面信息的插入方法及装置
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
JP2019220032A (ja) 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
CN111739158B (zh) 一种三维场景图像恢复方法
CN112884817B (zh) 稠密光流计算方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20201215