CN109254664B - 一种实时追踪人体镜中影像的系统 - Google Patents

一种实时追踪人体镜中影像的系统 Download PDF

Info

Publication number
CN109254664B
CN109254664B CN201811098174.0A CN201811098174A CN109254664B CN 109254664 B CN109254664 B CN 109254664B CN 201811098174 A CN201811098174 A CN 201811098174A CN 109254664 B CN109254664 B CN 109254664B
Authority
CN
China
Prior art keywords
user
mirror
screen
display
coordinate system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811098174.0A
Other languages
English (en)
Other versions
CN109254664A (zh
Inventor
顾少聘
应俊
刘伟
薛玮隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Saiyue Technology Co ltd
Original Assignee
Liu Yue Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Liu Yue Shanghai Technology Co ltd filed Critical Liu Yue Shanghai Technology Co ltd
Priority to CN201811098174.0A priority Critical patent/CN109254664B/zh
Publication of CN109254664A publication Critical patent/CN109254664A/zh
Application granted granted Critical
Publication of CN109254664B publication Critical patent/CN109254664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种实时追踪人体镜中影像的系统，整个系统硬件方面至少包括：动作捕捉装置：用于获取机器前用户以及捕捉用户的骨骼关节点在空间中的实时位置，所述骨骼关节点至少包括用户的头部、左右肩、胸锁关节、左右手肘、左右手腕、骨盆、左右髋、左右膝、左右脚踝，该动作捕捉装置采用深度摄像头获取底层数据；本发明提供的一种实时追踪人体镜中影像的系统，本发明提出的实时追踪人体镜中影像的系统有别于一般的人体识别交互方式，最大的区别在于摒弃了人体图像的绘制，而是使用镜面通过物理光学的方法显示用户自己，屏幕基于用户看到的镜中的自己显示交互图像。

Description

一种实时追踪人体镜中影像的系统
技术领域
本发明涉及人体识别、智能运动领域，进一步说，尤其涉及一种实时追踪人体镜中影像的系统。
背景技术
人体识别技术配合屏幕交互的场景是一种更加直觉的人机交互方式。一般的，通过人体识别获得人体数据，将人体数据绘制在显示屏幕中。需要交互的元素则基于屏幕中绘制好的人体图像来显示。本发明提出了一种实时追踪人体镜中影像的系统，有别于这种一般的人体识别交互方式。
发明内容
本发明为解决上述技术问题而采用的技术方案是提供一种实时追踪人体镜中影像的系统，其中，具体技术方案为：
整个系统硬件方面至少包括：
动作捕捉装置：用于获取机器前用户以及捕捉用户的骨骼关节点在空间中的实时位置，所述骨骼关节点至少包括用户的头部、左右肩、胸锁关节、左右手肘、左右手腕、骨盆、左右髋、左右膝、左右脚踝，该动作捕捉装置采用深度摄像头获取底层数据；
显示交互装置：用于向用户展示界面、显示交互图像的装置，所述显示交互装置至少需要0.7x1m的大小且亮度至少要350cd/m2；
镜面装置：用于展示用户自己的身体运动状况，大小至少要2x1.2m，显示交互装置需要在该装置的后方；
工控机：用于处理动作捕捉装置的底层数据、处理显示内容；
在显示交互装置显示用户对应的关节的交互时，该系统实时给出用户眼睛观察用户镜子中自己各个关节骨骼对应显示交互屏幕上的具体位置点。
上述的一种实时追踪人体镜中影像的系统，其中，具体实施方式为：
1)用户观测镜子中的自己，工控机需要获取一系列的显示交互屏幕中具体像素点，这个些像素点和用户观测到镜子自己的关节点重合；
2)显示交互屏幕严格竖直放置，定义显示交互屏幕左下角为屏幕坐标系坐标原点，并且以垂直方向朝上为y轴，屏幕下沿从左至右为x轴建立直角坐标系，该坐标系为屏幕坐标系S；
3)以运动捕捉装置为坐标原点，建立运动捕捉坐标系K，该坐标系即为运动捕捉装置识别用户的坐标系；
4)显示交互屏幕与镜子相对位置固定，所以S与K的坐标变换是一个定值，坐标系k到S的变换为：
Figure BDA0001806024370000021
该变换矩阵可以靠校准测量得到；
5)运动捕捉设备获取自己坐标系下用户眼睛的坐标Ek:
Figure BDA0001806024370000022
6)根据变换得到显示交互屏幕坐标系下用户眼睛的坐标ES：
Figure BDA0001806024370000023
其中
Figure BDA0001806024370000024
同样的方式得到n个关节在显示交互屏幕坐标系的坐标：J1S、J2S、J3S…JnS；
7)除了眼睛坐标点不需要镜面翻转，其余关节坐标经行镜面翻转，镜面与屏幕距离为d，则以
Figure BDA0001806024370000031
为例，得到镜面中第一个关节在显示交互坐标系下的坐标点:
Figure BDA0001806024370000032
类似的可以得到所有其他关节的Jm1S、Jm2S、Jm3S…JmmS；
8)要得到1中所述一系列像素的坐标即需要得到显示交互屏幕坐标系下，眼睛坐标点与镜中各个关节坐标点的连线与屏幕平面的交点；
第n个关节对应的需要得到的像素点坐标定义为UnS，根据空间关系可以得到：
Figure BDA0001806024370000033
最后根据各个关节U1S、U2S…UnS坐标转换至屏幕的像素点，基于这些像素点位置可以显示对应粒子效果、对应关节弯曲角度。
本发明相对于现有技术具有如下有益效果：本发明提出的实时追踪人体镜中影像的系统有别于一般的人体识别交互方式，最大的区别在于摒弃了人体图像的绘制，而是使用镜面通过物理光学的方法显示用户自己，屏幕基于用户看到的镜中的自己显示交互图像。
附图说明
图1为实时追踪人体镜中影像示意图。
图2为本发明整体的框架图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
整个系统硬件方面至少包括：
动作捕捉装置：用于获取机器前用户以及捕捉用户的骨骼关节点在空间中的实时位置，所述骨骼关节点至少包括用户的头部、左右肩、胸锁关节、左右手肘、左右手腕、骨盆、左右髋、左右膝、左右脚踝，该动作捕捉装置采用深度摄像头获取底层数据；
显示交互装置：用于向用户展示界面、显示交互图像的装置，所述显示交互装置至少需要0.7x1m的大小且亮度至少要350cd/m2；
镜面装置：用于展示用户自己的身体运动状况，大小至少要2x1.2m，显示交互装置需要在该装置的后方；
工控机：用于处理动作捕捉装置的底层数据、处理显示内容；
在显示交互装置显示用户对应的关节的交互时，该系统实时给出用户眼睛观察用户镜子中自己各个关节骨骼对应显示交互屏幕上的具体位置点。
上述的一种实时追踪人体镜中影像的系统，具体实施方式为：
1)用户观测镜子中的自己，工控机需要获取一系列的显示交互屏幕中具体像素点，这个些像素点和用户观测到镜子自己的关节点重合；
2)显示交互屏幕严格竖直放置，定义显示交互屏幕左下角为屏幕坐标系坐标原点，并且以垂直方向朝上为y轴，屏幕下沿从左至右为x轴建立直角坐标系，该坐标系为屏幕坐标系S；
3)以运动捕捉装置为坐标原点，建立运动捕捉坐标系K，该坐标系即为运动捕捉装置识别用户的坐标系；
4)显示交互屏幕与镜子相对位置固定，所以S与K的坐标变换是一个定值，坐标系k到S的变换为：
Figure BDA0001806024370000051
该变换矩阵可以靠校准测量得到；
5)运动捕捉设备获取自己坐标系下用户眼睛的坐标Ek:
Figure BDA0001806024370000052
6)根据变换得到显示交互屏幕坐标系下用户眼睛的坐标ES：
Figure BDA0001806024370000053
其中
Figure BDA0001806024370000054
同样的方式得到n个关节在显示交互屏幕坐标系的坐标：J1S、J2S、J3S…JnS；
7)除了眼睛坐标点不需要镜面翻转，其余关节坐标经行镜面翻转，镜面与屏幕距离为d，则以
Figure BDA0001806024370000055
为例，得到镜面中第一个关节在显示交互坐标系下的坐标点:
Figure BDA0001806024370000056
类似的可以得到所有其他关节的Jm1S、Jm2S、Jm3S…JmnS；
8)要得到1中所述一系列像素的坐标即需要得到显示交互屏幕坐标系下，眼睛坐标点与镜中各个关节坐标点的连线与屏幕平面的交点；
第n个关节对应的需要得到的像素点坐标定义为UnS，根据空间关系可以得到：
Figure BDA0001806024370000061
最后根据各个关节U1S、U2S…UnS坐标转换至屏幕的像素点，基于这些像素点位置可以显示对应粒子效果、对应关节弯曲角度
动作捕捉装置：
通常是一个深度摄像头获取摄像头前方的深度数据，而深度数据的处理方式是由训练好的神经网络进行处理，获取进入摄像头的人体数据，这些数据主要包括用户的至少15个骨骼点，所述骨骼关节点至少包括用户的头部、左右肩、胸锁关节、左右手肘、左右手腕、骨盆、左右髋、左右膝、左右脚踝。目前市面上现有的比较不错的解决方案有：microsoft的Kinect2，这个产品使用的是TOF(time of flight)解决方法，根据光的传播时间来确定深度数据，该产品较为突出和成熟，其基本参数如下：
RGB：1920x1080@30/15FPS(根据环境亮度)
Depth：512x424@30FPS、16bit距离值(mm)、可侦测范围0.5～4.5M
红外相机：512x484，30Hz
FOV:70°x60°
深度识别范围:0.5–4.5meters
1080p彩色相机30Hz(弱光条件下为15Hz)
还有中国国内的奥比中光、华捷艾米，这2家使用的是结构光的解决方案。结构光是Kinect1代所采用的方案。
以及intel realsense等。
显示交互装置：
用于向用户展示界面、显示各种运动数据，引导用户健身流程的装置。所述装置至少需要0.7x1m的大小且亮度至少要350cd/m2。该装置是一个显示器，必须符合上述要求。同时安装时候必须与镜面装置紧贴，安装在镜面装置后方，确保与镜面装置平行且距离最小。
镜面装置：
用于展示用户自己的身体运动状况。进一步的，配合运动捕捉装置以及显示装置，追踪显示一些运动数据。显示交互装置需要在该装置的后方。该装置是一块单面反射镜，允许背后的光源透出，反射正面的光源，即用户可以看见后面的显示装置的显示内容，而无法看清显示装置本身，且用户可以看见镜子里的自己。用户在观察镜子中自己的时候，会有一些特别的运动数据附着在镜中自己的对应关节上。而这些数据是通过算法由显示装置显示，显示定位在镜中的对应关节上的。
虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。

Claims (1)

1.一种实时追踪人体镜中影像的系统，其特征在于：
整个系统硬件方面至少包括：
动作捕捉装置：用于获取机器前用户以及捕捉用户的骨骼关节点在空间中的实时位置，所述骨骼关节点至少包括用户的头部、左右肩、胸锁关节、左右手肘、左右手腕、骨盆、左右髋、左右膝、左右脚踝，该动作捕捉装置采用深度摄像头获取底层数据；
显示交互装置：用于向用户展示界面、显示交互图像的装置，所述显示交互装置至少需要0.7mx1m的大小且亮度至少要350cd/m2；
镜面装置：用于展示用户自己的身体运动状况，大小至少要2mx1.2m，显示交互装置需要在该装置的后方；
工控机：用于处理动作捕捉装置的底层数据、处理显示内容；
在显示交互装置显示用户对应的关节的交互时，该系统实时给出用户眼睛观察用户镜子中自己各个关节骨骼对应显示交互屏幕上的具体位置点；
1)用户观测镜子中的自己，工控机需要获取一系列的显示交互屏幕中具体像素点，这个些像素点和用户观测到镜子自己的关节点重合；
2)显示交互屏幕严格竖直放置，定义显示交互屏幕左下角为屏幕坐标系坐标原点，并且以垂直方向朝上为y轴，屏幕下沿从左至右为x轴建立直角坐标系，该坐标系为屏幕坐标系S；
3)以运动捕捉装置为坐标原点，建立运动捕捉坐标系K，该坐标系即为运动捕捉装置识别用户的坐标系；
4)显示交互屏幕与镜子相对位置固定，所以S与K的坐标变换是一个定值，坐标系K到S的变换为：
Figure FDA0003538019500000011
该变换矩阵靠校准测量得到；
5)运动捕捉装置获取自己坐标系下用户眼睛的坐标Ek：
Figure FDA0003538019500000021
6)根据变换得到显示交互屏幕坐标系下用户眼睛的坐标ES：
Figure FDA0003538019500000022
其中
Figure FDA0003538019500000023
同样的方式得到n个关节在显示交互屏幕坐标系的坐标：J1S、J2S、J3S…JnS；
7)除了眼睛坐标点不需要镜面翻转，其余关节坐标经镜面翻转，镜面与屏幕距离为d，则以
Figure FDA0003538019500000024
为例，得到镜面中第一个关节在显示交互坐标系下的坐标点:
Figure FDA0003538019500000025
类似的可以得到所有其他关节的Jm2S、Jm3S...JmnS；
8)要得到步骤1中所述一系列像素的坐标即需要得到显示交互屏幕坐标系下，眼睛坐标点与镜中各个关节坐标点的连线与屏幕平面的交点；
第n个关节对应的需要得到的像素点坐标定义为UnS，根据空间关系可以得到：
Figure FDA0003538019500000026
最后根据各个关节U1S、U2S...UnS坐标转换至屏幕的像素点，基于这些像素点位置可以显示对应粒子效果、对应关节弯曲角度。
CN201811098174.0A 2018-09-20 2018-09-20 一种实时追踪人体镜中影像的系统 Active CN109254664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811098174.0A CN109254664B (zh) 2018-09-20 2018-09-20 一种实时追踪人体镜中影像的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811098174.0A CN109254664B (zh) 2018-09-20 2018-09-20 一种实时追踪人体镜中影像的系统

Publications (2)

Publication Number Publication Date
CN109254664A CN109254664A (zh) 2019-01-22
CN109254664B true CN109254664B (zh) 2022-04-29

Family

ID=65048578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811098174.0A Active CN109254664B (zh) 2018-09-20 2018-09-20 一种实时追踪人体镜中影像的系统

Country Status (1)

Country Link
CN (1) CN109254664B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935921B (zh) * 2021-10-19 2024-06-04 成都拟合未来科技有限公司 一种镜面式健身信息交互方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009277195A (ja) * 2008-04-18 2009-11-26 Panasonic Electric Works Co Ltd 情報表示システム
CN202584009U (zh) * 2012-04-01 2012-12-05 广州市水晶球信息技术有限公司 体感式数字镜子交互系统
CN103118647A (zh) * 2010-09-22 2013-05-22 松下电器产业株式会社 运动支援系统
CN204889399U (zh) * 2015-08-18 2015-12-23 蒋彬 智能健身镜子
CN105556508A (zh) * 2013-08-04 2016-05-04 艾斯适配有限公司 虚拟镜子的装置、系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009277195A (ja) * 2008-04-18 2009-11-26 Panasonic Electric Works Co Ltd 情報表示システム
CN103118647A (zh) * 2010-09-22 2013-05-22 松下电器产业株式会社 运动支援系统
CN202584009U (zh) * 2012-04-01 2012-12-05 广州市水晶球信息技术有限公司 体感式数字镜子交互系统
CN105556508A (zh) * 2013-08-04 2016-05-04 艾斯适配有限公司 虚拟镜子的装置、系统和方法
CN204889399U (zh) * 2015-08-18 2015-12-23 蒋彬 智能健身镜子

Also Published As

Publication number Publication date
CN109254664A (zh) 2019-01-22

Similar Documents

Publication Publication Date Title
CN102638653B (zh) 一种基于Kinect的自动面部追踪方法
CN101576771B (zh) 基于非均匀样本插值的眼动仪定标方法
CN108170277B (zh) 一种智能可视化交互的装置和方法
CN102063887A (zh) 一种自动调节显示器可视范围的方法及其显示器
CN104067209B (zh) 交互式输入系统及方法
CN108153502B (zh) 基于透明屏幕的手持式增强现实显示方法及装置
CN109145802B (zh) 基于Kinect的多人手势人机交互方法及装置
CN109471533B (zh) 一种vr/ar教室内的学生端系统及其使用方法
US20110128283A1 (en) File selection system and method
CN105741290A (zh) 一种基于增强现实技术的印制电路板信息指示方法及装置
CN112348942B (zh) 一种健身交互方法和系统
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN111399634B (zh) 一种手势引导物体识别的方法及装置
CN115359093A (zh) 一种基于单目的注视点估计视线追踪方法
CN109254664B (zh) 一种实时追踪人体镜中影像的系统
CN105607730A (zh) 基于眼球追踪的增强显示方法及装置
CN112330753B (zh) 一种增强现实系统的目标检测方法
JP2017173455A (ja) 情報処理装置、情報処理方法及びプログラム
CN202870727U (zh) 一种带有动作捕捉模块的显示单元设备
CN202749066U (zh) 一种非接触式物展交互系统
CN110858095A (zh) 可由头部操控的电子装置与其操作方法
CN210691397U (zh) 基于三维实时重建技术的ar采集交互装置
CN203773477U (zh) 3d交互实时显示系统
Yoshimura et al. Appearance-based gaze estimation for digital signage considering head pose
CN203117946U (zh) 一种移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240412

Address after: 200120 building 10, No. 860, Xinyang Road, Lingang New District, Pudong New Area pilot Free Trade Zone, Shanghai

Patentee after: Shanghai Saiyue Technology Co.,Ltd.

Country or region after: China

Address before: Floor 6, No. 9, Lane 360, Feihong Road, Hongkou District, Shanghai 200086 (centralized registration place)

Patentee before: LIU YUE (SHANGHAI) TECHNOLOGY Co.,Ltd.

Country or region before: China