CN106408659A - 一种人体特征节点三维建模系统及其建模方法 - Google Patents
一种人体特征节点三维建模系统及其建模方法 Download PDFInfo
- Publication number
- CN106408659A CN106408659A CN201611075067.7A CN201611075067A CN106408659A CN 106408659 A CN106408659 A CN 106408659A CN 201611075067 A CN201611075067 A CN 201611075067A CN 106408659 A CN106408659 A CN 106408659A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- camera
- image processing
- processing chip
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 51
- 238000004891 communication Methods 0.000 claims abstract description 6
- 230000006835 compression Effects 0.000 claims abstract description 4
- 238000007906 compression Methods 0.000 claims abstract description 4
- 238000002329 infrared spectrum Methods 0.000 claims description 12
- 230000005855 radiation Effects 0.000 claims description 6
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000013480 data collection Methods 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种人体特征节点三维建模系统及其建模方法，其特征在于包括电源管理模块、ARM处理器系统，以及与ARM处理器系统通信连接的摄像头采集阵列、二维图像处理芯片、三维图像处理芯片；所述二维图像处理芯片和三维图像处理芯片通过控制总线连接，电源管理模块与ARM处理器系统电性连接。该方法包括以下步骤：首先摄像头采集阵列获取人体数据；而后ARM处理器系统控制摄像头采集阵列采集帧图像数据并通过二维图像处理芯片生成二维节点图像；最后三维图像处理芯片生成三维节点图像，并经视频压缩输出建模结果。本发明无需人体穿戴特定的传感器，且能高效实时的进行视频处理，可实现七个人体运动学目标的三维建模。
Description
技术领域
本发明涉及一种人体特征节点三维建模系统及其建模方法。
背景技术
目前，人体特征节点三维建模技术主要有两大类：1、基于关节传感器的人体识别技术，该技术需要在被测人体身上佩戴专门的关节节点传感器，为提高识别精度，一般需要在人体主要关节点佩戴20个以上的传感器。然后，由两台高速红外摄像机从不同角度拍摄人体运动图像，根据关节节点传感器的红外反射信息，计算机可以重构出人体的三维建模数学模型。该方法的技术原理相对简单，但具体实现起来比较复杂，需要建造专门的三维建模摄影实验室及购买相应的人体关节节点传感器套件，且每次测试都必须佩戴节点传感器，因此该技术使用起来并不方便，且系统成本相当昂贵。2、基于节点重构的人体三维建模技术，该技术无需被测人体佩戴专门的传感器网络，使用方便快捷；目前，美国、德国等发达国家已开始研究将该技术应用于远程医疗领域。在国内，已有部分高校和科研机构正在开展该技术的研究，但目前仅能做到2-3个人体目标的识别，而且人体运动视频的处理速率较低，一般低于24帧/秒，因此性能较低，有待提高。
发明内容
本发明针对现有技术的不足，提供一种人体特征节点三维建模系统及其建模方法；其不但无需人体穿戴特定的传感器，而且能够高效的实时的进行视频处理，从而可以实现七个人体运动学目标的三维建模。
为了达到上述目的，本发明一种人体特征节点三维建模系统，主要包括用于对人体图像进行数据采集的摄像头采集阵列，用于生成人体二维节点图像的二维图像处理芯片，用于生成人体三维节点图像的三维图像处理芯片，作为控制中枢的ARM处理器系统，以及电源管理模块；所述摄像头采集阵列、二维图像处理芯片、三维图像处理芯片与ARM处理器系统通信连接，所述二维图像处理芯片和三维图像处理芯片通过控制总线连接，所述电源管理模块与ARM处理器系统电性连接；
所述摄像头采集阵列主要包括：
256色真色彩摄像头，所述256色真色彩摄像头与三维图像处理芯片通信连接；
红外摄像头，所述红外摄像头主要用于发射出红外光谱并形成红外差值图像数据；
深度感应摄像头，所述深度感应摄像头主要用于捕捉红外差值数据，分析红外光谱，生成3D图像的红外相对深度差值坐标数据；
平面建模摄像头，所述平面建模摄像头主要用于拍摄环境画面，并对捕捉到的画面进行数字滤波，从而产生被摄物体的边缘锐化图像；
热感感应摄像头，所述热感感应摄像头主要用于拍摄热感辐射照片，以获取运动目标数据，并与环境背景相区分。
优选地，所述ARM处理器系统连接有无线蓝牙接口、USB接口、以太网接口以及RS232接口。
优选地，所述电源管理模块主要由I/O接口电源、模块/总线电源以及电源适配器构成。
优选地，所述256色真色彩摄像头与三维图像处理芯片之间连接有视频放大器。
作为上述方案的进一步改进，所述视频放大器与三维图像处理芯片之间连接有视频解码器。
一种人体特征节点三维建模方法，主要包括以下步骤：
第一步，红外摄像头发射出红外光谱，光谱在三维物体表面产生反射，形成红外差值图像数据，此时深度感应摄像头捕捉红外差值数据，分析红外光谱，生成3D图像的红外相对深度差值坐标数据，同时平面建模摄像头拍摄环境画面，并对捕捉到的画面进行数字滤波，产生被摄物体的边缘锐化图像，热感感应摄像头则拍摄物体的热感辐射照片，以获取运动目标数据，并与环境背景相区分，作为人体运动跟踪的重要基础数据；
第二步，ARM处理器系统控制摄像头采集阵列按照相同的时序采集帧图像数据，并通过数据总线将帧图像数据传递给二维图像处理芯片，二维图像处理芯片对人体二维节点坐标进行获取并生成二维节点图像；
第三步，三维图像处理芯片通过提取256色真色彩摄像头的流媒体同步数据信息，并在二维节点图像的基础上生成三维节点图像，经过视频压缩后，系统即输出完整流畅的人体三维建模结果。
本发明相对于现有技术具有如下的优点及效果：
1、本发明可实现较高的实时视频处理速率，即每秒30帧，高于标准电视制式24帧/秒；
2、本发明可实现多人同时识别，系统可同时实现7个人体运动学目标的三维建模；
3、本发明无需人体穿戴特定的传感器。
附图说明
图1为本发明的系统框架示意图。
其中，1为ARM处理器系统，2为二维图像处理芯片，3为三维图像处理芯片，41为红外摄像头，42为深度感应摄像头，43为热感感应摄像头，44为平面建模摄像头，45为256色真色彩摄像头，5为视频放大器，6为视频解码器，7为电源管理模块。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
参照图1，本发明实施例一种人体特征节点三维建模系统，主要包括：用于对人体图像进行数据采集的摄像头采集阵列，用于生成人体二维节点图像的二维图像处理芯片2，用于生成人体三维节点图像的三维图像处理芯片3，作为控制中枢的ARM处理器系统1，以及电源管理模块7；所述摄像头采集阵列、二维图像处理芯片2、三维图像处理芯片3与ARM处理器系统1通信连接，所述二维图像处理芯片2和三维图像处理芯片3通过控制总线连接，所述电源管理模块7与ARM处理器系统1电性连接。
所述摄像头采集阵列主要包括：
256色真色彩摄像头45，所述256色真色彩摄像头45与三维图像处理芯片3通信连接；
红外摄像头41，所述红外摄像头41主要用于发射出红外光谱并形成红外差值图像数据；
深度感应摄像头42，所述深度感应摄像头42主要用于捕捉红外差值数据，分析红外光谱，生成3D图像的红外相对深度差值坐标数据；
平面建模摄像头44，所述平面建模摄像头44主要用于拍摄环境画面，并对捕捉到的画面进行数字滤波，从而产生被摄物体的边缘锐化图像；
热感感应摄像头43，所述热感感应摄像头43主要用于拍摄热感辐射照片，以获取运动目标数据，并与环境背景相区分。
参照图1，所述ARM处理器系统1连接有无线蓝牙接口、USB接口、以太网接口以及RS232接口；所述电源管理模块7主要由I/O接口电源、模块/总线电源以及电源适配器构成。所述256色真色彩摄像头45与三维图像处理芯片3之间连接有视频放大器5，该视频放大器5与三维图像处理芯片3之间连接有视频解码器6。
一种人体特征节点三维建模方法，主要包括以下步骤：
第一步，红外摄像头41发射出红外光谱，光谱在三维物体表面产生反射，形成红外差值图像数据；
此时深度感应摄像头42捕捉红外差值数据，分析红外光谱，生成3D图像的红外相对深度差值坐标数据；
同时平面建模摄像头44拍摄环境画面，并对捕捉到的画面进行数字滤波，产生被摄物体的边缘锐化图像，该图像二值化处理以后，可获取物体的边缘轮廓数据，作为3D建模的基础数据之一；
热感感应摄像头43则拍摄物体的热感辐射照片，以获取运动目标数据，并与环境背景相区分，作为人体运动跟踪的重要基础数据。
第二步，ARM处理器系统1控制摄像头采集阵列按照相同的时序采集帧图像数据，并通过数据总线将帧图像数据传递给二维图像处理芯片2，二维图像处理芯片2对人体二维节点坐标进行获取并生成二维节点图像。
第三步，三维图像处理芯片3通过提取256色真色彩摄像头45的流媒体同步数据信息，并在二维节点图像的基础上生成三维节点图像，经过视频压缩后，系统即输出完整流畅的人体三维建模结果。
本发明相对于现有技术具有如下的优点及效果：
1、本发明可实现较高的实时视频处理速率，即每秒30帧，高于标准电视制式24帧/秒；
2、本发明可实现多人同时识别，系统可同时实现7个人体运动学目标的三维建模；
3、本发明无需人体穿戴特定的传感器。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (6)
1.一种人体特征节点三维建模系统，其特征在于，主要包括用于对人体图像进行数据采集的摄像头采集阵列，用于生成人体二维节点图像的二维图像处理芯片，用于生成人体三维节点图像的三维图像处理芯片，作为控制中枢的ARM处理器系统，以及电源管理模块；所述摄像头采集阵列、二维图像处理芯片、三维图像处理芯片与ARM处理器系统通信连接，所述二维图像处理芯片和三维图像处理芯片通过控制总线连接，所述电源管理模块与ARM处理器系统电性连接；所述摄像头采集阵列主要包括：
256色真色彩摄像头，所述256色真色彩摄像头与三维图像处理芯片通信连接；
红外摄像头，所述红外摄像头主要用于发射出红外光谱并形成红外差值图像数据；
深度感应摄像头，所述深度感应摄像头主要用于捕捉红外差值数据，分析红外光谱，生成3D图像的红外相对深度差值坐标数据；
平面建模摄像头，所述平面建模摄像头主要用于拍摄环境画面，并对捕捉到的画面进行数字滤波，从而产生被摄物体的边缘锐化图像；
热感感应摄像头，所述热感感应摄像头主要用于拍摄热感辐射照片，以获取运动目标数据，并与环境背景相区分。
2.根据权利要求1所述的一种人体特征节点三维建模系统，其特征在于，所述ARM处理器系统连接有无线蓝牙接口、USB接口、以太网接口以及RS232接口。
3.根据权利要求1所述的一种人体特征节点三维建模系统，其特征在于，所述电源管理模块主要由I/O接口电源、模块/总线电源以及电源适配器构成。
4.根据权利要求1所述的一种人体特征节点三维建模系统，其特征在于，所述256色真色彩摄像头与三维图像处理芯片之间连接有视频放大器。
5.根据权利要求4所述的一种人体特征节点三维建模系统，其特征在于，所述视频放大器与三维图像处理芯片之间连接有视频解码器。
6.如权利要求1所述的一种人体特征节点三维建模方法，其特征在于，主要包括以下步骤：
第一步，红外摄像头发射出红外光谱，光谱在三维物体表面产生反射，形成红外差值图像数据，此时深度感应摄像头捕捉红外差值数据，分析红外光谱，生成3D图像的红外相对深度差值坐标数据，同时平面建模摄像头拍摄环境画面，并对捕捉到的画面进行数字滤波，产生被摄物体的边缘锐化图像，热感感应摄像头则拍摄物体的热感辐射照片，以获取运动目标数据，并与环境背景相区分，作为人体运动跟踪的重要基础数据；
第二步，ARM处理器系统控制摄像头采集阵列按照相同的时序采集帧图像数据，并通过数据总线将帧图像数据传递给二维图像处理芯片，二维图像处理芯片对人体二维节点坐标进行获取并生成二维节点图像；
第三步，三维图像处理芯片通过提取256色真色彩摄像头的流媒体同步数据信息，并在二维节点图像的基础上生成三维节点图像，经过视频压缩后，系统即输出完整流畅的人体三维建模结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611075067.7A CN106408659A (zh) | 2016-11-22 | 2016-11-22 | 一种人体特征节点三维建模系统及其建模方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611075067.7A CN106408659A (zh) | 2016-11-22 | 2016-11-22 | 一种人体特征节点三维建模系统及其建模方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106408659A true CN106408659A (zh) | 2017-02-15 |
Family
ID=58085035
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611075067.7A Pending CN106408659A (zh) | 2016-11-22 | 2016-11-22 | 一种人体特征节点三维建模系统及其建模方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106408659A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169423A (zh) * | 2017-04-24 | 2017-09-15 | 南京邮电大学 | 一种视频人物运动类型识别方法 |
| CN110827396A (zh) * | 2019-09-26 | 2020-02-21 | 黑龙江省科学院自动化研究所 | 一种数字化工厂三维建模系统 |
| CN110895830A (zh) * | 2018-09-12 | 2020-03-20 | 珠海格力电器股份有限公司 | 3d图像的获取方法及装置 |
| CN112055167A (zh) * | 2020-09-18 | 2020-12-08 | 深圳随锐云网科技有限公司 | 一种基于5g云视频会议的远程协作三维建模系统及方法 |
| CN116091704A (zh) * | 2023-03-15 | 2023-05-09 | 广州思涵信息科技有限公司 | 一种远程人体三维图像重构方法 |
-
2016
- 2016-11-22 CN CN201611075067.7A patent/CN106408659A/zh active Pending
Non-Patent Citations (1)
| Title |
|---|
| 程骏 等: "一种新型人体三维建模系统的设计", 《嵌入式技术》 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107169423A (zh) * | 2017-04-24 | 2017-09-15 | 南京邮电大学 | 一种视频人物运动类型识别方法 |
| CN107169423B (zh) * | 2017-04-24 | 2020-08-04 | 南京邮电大学 | 一种视频人物运动类型识别方法 |
| CN110895830A (zh) * | 2018-09-12 | 2020-03-20 | 珠海格力电器股份有限公司 | 3d图像的获取方法及装置 |
| CN110827396A (zh) * | 2019-09-26 | 2020-02-21 | 黑龙江省科学院自动化研究所 | 一种数字化工厂三维建模系统 |
| CN112055167A (zh) * | 2020-09-18 | 2020-12-08 | 深圳随锐云网科技有限公司 | 一种基于5g云视频会议的远程协作三维建模系统及方法 |
| CN116091704A (zh) * | 2023-03-15 | 2023-05-09 | 广州思涵信息科技有限公司 | 一种远程人体三维图像重构方法 |
| CN116091704B (zh) * | 2023-03-15 | 2023-06-13 | 广州思涵信息科技有限公司 | 一种远程人体三维图像重构方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11354840B2 (en) | Three dimensional acquisition and rendering | |
| CN111060023B (zh) | 一种高精度3d信息采集的设备及方法 | |
| Pavlakos et al. | Harvesting multiple views for marker-less 3d human pose annotations | |
| CN106408659A (zh) | 一种人体特征节点三维建模系统及其建模方法 | |
| WO2019007180A1 (zh) | 同时具备摄影测量和三维扫描功能的手持式大尺度三维测量扫描仪系统 | |
| CN104537707B (zh) | 像方型立体视觉在线移动实时测量系统 | |
| CN102833487A (zh) | 面向视觉计算的光场成像装置和方法 | |
| WO2018075053A1 (en) | Object pose based on matching 2.5d depth information to 3d information | |
| CN110458897A (zh) | 多摄像头自动标定方法及系统、监控方法及系统 | |
| TW201525934A (zh) | 影像合成系統及方法 | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| CN104794748A (zh) | 基于Kinect视觉技术的三维空间地图构建方法 | |
| CN109889799B (zh) | 基于rgbir摄像头的单目结构光深度感知方法及装置 | |
| CN103455657A (zh) | 一种基于Kinect的现场作业仿真方法及其系统 | |
| CN111583128B (zh) | 基于深度学习和真实感渲染的人脸图片高光去除方法 | |
| Belbachir et al. | A novel hdr depth camera for real-time 3d 360 panoramic vision | |
| CN107343148A (zh) | 图像补全方法、装置和终端 | |
| CN107066975B (zh) | 基于深度传感器的视频识别与跟踪系统及其方法 | |
| Wang et al. | Facial feature extraction in an infrared image by proxy with a visible face image | |
| CN116964599A (zh) | 基于激光雷达的三维人体动作捕捉方法、训练方法及系统 | |
| CN107977938A (zh) | 一种基于光场的Kinect深度图像修复方法 | |
| CN101923730A (zh) | 基于鱼眼相机和多平面镜装置的三维重建方法 | |
| Casas et al. | Rapid photorealistic blendshape modeling from RGB-D sensors | |
| Fan et al. | Human-m3: A multi-view multi-modal dataset for 3d human pose estimation in outdoor scenes | |
| CN105740450A (zh) | 一种基于多台Kinect的3D人体姿态数据库构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170215 |
|
| WD01 | Invention patent application deemed withdrawn after publication |