CN107247874A - 一种基于Kinect的体检机器人系统 - Google Patents
一种基于Kinect的体检机器人系统 Download PDFInfo
- Publication number
- CN107247874A CN107247874A CN201710420135.7A CN201710420135A CN107247874A CN 107247874 A CN107247874 A CN 107247874A CN 201710420135 A CN201710420135 A CN 201710420135A CN 107247874 A CN107247874 A CN 107247874A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- examinee
- robot
- physical examination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Rehabilitation Tools (AREA)
Abstract
一种基于Kinect的体检机器人系统，首先，采用语言模块来控制整个体检过程并完成与体检者的问答人机交互；其次，通过Kinect骨架追踪技术，获取人体关节点的三维坐标，通过关节坐标来判断人体四肢是否正常；最后，通过上位机来显示各项体检结果；本发明具有减少了的工作量，显著提高体检的效率的特点。
Description
技术领域
本发明涉及语音识别技术和Kinect骨骼扫描技术领域，特别涉及一种基于Kinect的体检机器人系统。
背景技术
随着科技的发展和人民生活水平的提高，人们对生活的各个方面的要求都在提高，尤其是对身体健康的追求。入学体检、入职体检、驾校体检等等都是我们经常会遇到的，而医疗资源的紧缺又是我们不得不面对的事实。众所周知，传统的体检，人数较多，功能分散，体检者需要消耗大量时间，而且医护人员在检测时，不断重复同样的工作，过程枯燥单一，容易造成体检效率的降低。
发明内容
为克服上述现有技术的不足，本发明的目的在于提供一种基于Kinect的体检机器人系统，可以自行对人进行非接触式体检，快速有效，节约了体检者的大量时间，而且不需要医护人员参与，大大减少了的工作量，有效缓解了医疗资源紧缺压力，并且利用机器人来代替人从而将医护人员从简单的重复劳动中解放出来，能显著提高体检的效率，给为人们的生活带来了方便。
为了达到上述目的，本发明采用的技术方案是：
一种基于Kinect的体检机器人系统，包括以下步骤；
Step 1、体检者立正姿势站在体检区域，体重数据通过带WiFi功能的ESPDUINO型Arduino模块准确地传输给上位机，获得体检者体重；
Step 2、Kinect采集体检者头部和脚部的关节点数据，将头部坐标和脚部坐标相减计算出体检者身高；
Step 3、利用机器人语音模块的问答模式，让体检者做出固定的动作，然后通过判断体检者是否能完成指定动作确定体检者听力是否正常；
Step 4、利用机器人语音模块的问答环节，通过体检者回答色盲检测卡中所隐藏数字或图案,判断体检者是否存在色盲问题；
Step 5、利用机器人语音模块的问答环节，让体检者依次闻瓶中无色液体，并说出液体名称，机器人根据体检者答案的正确与否判断出体检者嗅觉是否正常；
Step 6、机器人对体检者进行提问，机器人问题设置采用标准的心理学测试问题，根据体检者的回答内容判断其心情状态，给出体检者的心情指数；
Step 7、语音模块发出指令，机器人引导体检者做出相应动作，利用程序实时读取人体关节的数据，来判断被测者的四肢是否正常；
机器人先做出左臂平举动作，语音模块发出声音让人模仿机器人做出左臂平举动作，然后通过Kinect的骨骼追踪技术得到人体左肘、左肩以及左臀部的三维坐标，然后利用三维坐标相减分别计算两个向量左肘到左肩向量Vi和左肩到左臀向量Vj，然后利用以下的向量角度公式计算被测者肩关节的抬起角度θi-j
Vi1、Vi2、Vi3代表Vi向量的X、Y、Z分量，Vj1、Vj2、Vj3代表Vj向量的X、Y、Z分量；
当肩关节的角度达到阈值[75,105]范围时，说明被测者的肩关节活动正常；
机器人做出左手上举动作，语音模块发出声音让人模仿机器人的动作出左手上举动作，然后通过Kinect的骨骼追踪技术得到人体左手、左肘、以及左肩的三维坐标，然后利用三维坐标相减分别计算两个向量左手到左肘和左肘到左肩，然后还是利用的向量角度公式计算被测者肘关节的抬起角度，当肘关节的角度达[75,105]范围时，说明被测者的肘关节活动正常；
语音模块发出声音让被测者左脚向前迈一步，然后通过Kinect的骨骼追踪技术得到人体左脚的三维坐标，然后与立正左脚的三维坐标进行比较，若两者Z坐标差距在大于等于100时说明被测者的左腿活动正常；
采取同样的测量方法测量被测者的右肩、右肘和右腿是否正常；
Step 8、最终通过上位机来显示各项体检结果；
将语音识别技术与Kinect人体识别技术相结合，设计智能体检机器人，用来替复杂的体检过程，利用机器人引导体检者做出相应的动作，通过程序实时读取代人体关节数据来判断人体四肢是否符合健康要求，利用语音模块的问答模式来确定测试者是否存在色盲以及嗅觉是否正常，还可以通过体检者对特定问题的答案推断出体检者的心情状态，通过体检者与机器人之间的交互进行分析判断，并最终通过上位机给出最终的体检结果。
本发明的有益效果是：
本发明涉及的基于Kinect的体检机器人，可以实现对体检者的无接触体检功能，并将医务人员从简单的重复的工作中解放出来，若将本发明应用于日常体检领域，能大大节约医疗资源，改善繁琐的体检过程，提高体检的效率，是智能体检的解决方案。
附图说明
图1是本发明的系统结构框图。
具体实施方式
下面结合附图对本发明的结构原理和工作原理作详细叙述。
如图1所示：一种基于Kinect的体检机器人系统，包括以下步骤；
Step 1、体检者立正姿势站在体检区域，体重数据通过带WiFi功能的ESPDUINO型Arduino模块准确的传输给上位机，即可获得体检者体重；
Step 2、利用Kinect的人体骨骼追踪技术，采集体检者头部和脚部的关节点数据，将头部坐标和脚部坐标的Y坐标相减就可计算出体检者身高；
Step 3、利用机器人语音模块的问答模式，让体检者做出固定的动作，然后通过判断体检者是否能完成指定动作确定体检者听力是否正常；
Step 4、利用机器人语音模块的问答环节，通过体检者回答色盲检测卡中所隐藏数字或图案,即可判断体检者是否存在色盲问题；
Step 5、利用机器人语音模块的问答环节，让体检者依次闻瓶中无色液体，并说出液体名称，机器人根据体检者答案的正确与否判断出体检者嗅觉是否正常；
Step 6、机器人对体检者进行提问，机器人问题设置采用标准的心理学测试问题，根据体检者的回答内容判断其心情状态，给出体检者的心情指数；
Step 7、语音模块发出指令，机器人引导体检者做出相应动作，利用程序实时读取人体关节的数据，来判断被测者的四肢是否正常；
机器人先做出左臂平举动作，语音模块发出声音让人模仿机器人做出左臂平举动作，然后通过Kinect的骨骼追踪技术得到人体左肘、左肩以及左臀部的三维坐标，然后利用三维坐标相减分别计算两个向量左肘到左肩向量Vi和左肩到左臀向量Vj，然后利用以下的向量角度公式计算被测者肩关节的抬起角度θi-j
Vi1、Vi2、Vi3代表Vi向量的X、Y、Z分量，Vj1、Vj2、Vj3代表Vj向量的X、Y、Z分量；
当肩关节的角度达到阈值[75,105]范围时，说明被测者的肩关节活动正常；
机器人做出左手上举动作，语音模块发出声音让人模仿机器人的动作出左手上举动作，然后通过Kinect的骨骼追踪技术得到人体左手、左肘、以及左肩的三维坐标，然后利用三维坐标相减分别计算两个向量左手到左肘和左肘到左肩，然后还是利用的向量角度公式计算被测者肘关节的抬起角度，当肘关节的角度达[75,105]范围时，说明被测者的肘关节活动正常；
语音模块发出声音让被测者左脚向前迈一步，然后通过Kinect的骨骼追踪技术得到人体左脚的三维坐标，然后与立正左脚的三维坐标进行比较，若两者Z坐标差距在大于等于100时说明被测者的左腿活动正常；
采取同样的测量方法测量被测者的右肩、右肘和右腿是否正常；
Step 8、最终通过上位机来显示各项体检结果。
将语音识别技术与Kinect人体识别技术相结合，设计智能体检机器人，用来替复杂的体检过程，利用机器人引导体检者做出相应的动作，通过程序实时读取代人体关节数据来判断人体四肢是否符合健康要求，利用语音模块的问答模式来确定测试者是否存在色盲以及嗅觉是否正常，还可以通过体检者对特定问题的答案推断出体检者的心情状态。通过体检者与机器人之间的交互进行分析判断，并最终通过上位机给出最终的体检结果。
本发明工作过程：
首先，采用语言模块来控制整个体检过程并完成与体检者的问答人机交互；其次，通过Kinect骨架追踪技术，获取人体关节点的三维坐标，通过计算关节角度来判断人体四肢是否正常；最后，通过上位机来显示各项体检结果。
Claims (1)
1.一种基于Kinect的体检机器人系统，其特征在于，包括以下步骤；
Step 1、体检者立正姿势站在体检区域，体重数据通过带WiFi功能的ESPDUINO型Arduino模块准确的传输给上位机，即可获得体检者体重；
Step 2、Kinect采集体检者头部和脚部的关节点数据，将头部坐标和脚部坐标相减可计算出体检者身高；
Step 3、利用机器人语音模块的问答模式，让体检者做出固定的动作，然后通过判断体检者是否能完成指定动作确定体检者听力是否正常；
Step 4、利用机器人语音模块的问答环节，通过体检者回答色盲检测卡中所隐藏数字或图案，即可判断体检者是否存在色盲问题；
Step 5、利用机器人语音模块的问答环节，让体检者依次闻瓶中无色液体，并说出液体名称，机器人根据体检者答案的正确与否判断出体检者嗅觉是否正常；
Step 6、机器人对体检者进行提问，机器人问题设置采用标准的心理学测试问题，根据体检者的回答内容判断其心情状态，给出体检者的心情指数；
Step 7、语音模块发出指令，机器人引导体检者做出相应动作，利用程序实时读取人体关节的数据，来判断被测者的四肢是否正常；
机器人先做出左臂平举动作，语音模块发出声音让人模仿机器人做出左臂平举动作，然后通过Kinect的骨骼追踪技术得到人体左肘、左肩以及左臀部的三维坐标，然后利用三维坐标相减分别计算两个向量左肘到左肩向量Vi和左肩到左臀向量Vj，然后利用以下的向量角度公式计算被测者肩关节的抬起角度θi-j
<mrow>
<msub>
<mi>&theta;</mi>
<mrow>
<mi>i</mi>
<mo>-</mo>
<mi>j</mi>
</mrow>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>&times;</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>j</mi>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>&times;</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>j</mi>
<mn>2</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mn>3</mn>
</mrow>
</msub>
<mo>&times;</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>j</mi>
<mn>3</mn>
</mrow>
</msub>
</mrow>
<mrow>
<msqrt>
<mrow>
<msup>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mn>1</mn>
</mrow>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mn>2</mn>
</mrow>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mn>3</mn>
</mrow>
</msub>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
<mo>&times;</mo>
<msqrt>
<mrow>
<msup>
<msub>
<mi>V</mi>
<mrow>
<mi>j</mi>
<mn>1</mn>
</mrow>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>V</mi>
<mrow>
<mi>j</mi>
<mn>2</mn>
</mrow>
</msub>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<msub>
<mi>V</mi>
<mrow>
<mi>j</mi>
<mn>3</mn>
</mrow>
</msub>
<mn>2</mn>
</msup>
</mrow>
</msqrt>
</mrow>
</mfrac>
</mrow>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<msub>
<mi>V</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mn>1</mn>
</mrow>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mn>2</mn>
</mrow>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mn>3</mn>
</mrow>
</msub>
<mi>z</mi>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<msub>
<mi>V</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>j</mi>
<mn>1</mn>
</mrow>
</msub>
<mi>x</mi>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>j</mi>
<mn>2</mn>
</mrow>
</msub>
<mi>y</mi>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>j</mi>
<mn>3</mn>
</mrow>
</msub>
<mi>z</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
Vi1、Vi2、Vi3代表Vi向量的X、Y、Z分量，Vj1、Vj2、Vj3代表Vj向量的X、Y、Z分量；
当肩关节的角度达到阈值[75,105]范围时，说明被测者的肩关节活动正常；
机器人做出左手上举动作，语音模块发出声音让人模仿机器人的动作出左手上举动作，然后通过Kinect的骨骼追踪技术得到人体左手、左肘、以及左肩的三维坐标，然后利用三维坐标相减分别计算两个向量左手到左肘和左肘到左肩，然后还是利用的向量角度公式计算被测者肘关节的抬起角度，当肘关节的角度达[75,105]范围时，说明被测者的肘关节活动正常；
语音模块发出声音让被测者左脚向前迈一步，然后通过Kinect的骨骼追踪技术得到人体左脚的三维坐标，然后与立正左脚的三维坐标进行比较，若两者Z坐标差距在大于等于100时说明被测者的左腿活动正常；
采取同样的测量方法测量被测者的右肩、右肘和右腿是否正常；
Step 8、最终通过上位机来显示各项体检结果；
将语音识别技术与Kinect人体识别技术相结合，设计智能体检机器人，用来替复杂的体检过程，利用机器人引导体检者做出相应的动作，通过程序实时读取代人体关节数据来判断人体四肢是否符合健康要求，利用语音模块的问答模式来确定测试者是否存在色盲以及嗅觉是否正常，还可以通过体检者对特定问题的答案推断出体检者的心情状态，通过体检者与机器人之间的交互进行分析判断，并最终通过上位机给出最终的体检结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710420135.7A CN107247874A (zh) | 2017-06-06 | 2017-06-06 | 一种基于Kinect的体检机器人系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710420135.7A CN107247874A (zh) | 2017-06-06 | 2017-06-06 | 一种基于Kinect的体检机器人系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107247874A true CN107247874A (zh) | 2017-10-13 |
Family
ID=60019121
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710420135.7A Pending CN107247874A (zh) | 2017-06-06 | 2017-06-06 | 一种基于Kinect的体检机器人系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107247874A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108227931A (zh) * | 2018-01-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于控制虚拟人物的方法、设备、系统、程序和存储介质 |
| CN108903957A (zh) * | 2018-04-24 | 2018-11-30 | 浙江工业大学 | 一种基于Kinect的机动车驾驶员体检系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224809A (zh) * | 2015-10-16 | 2016-01-06 | 中山大学 | 一种基于Kinect的自助体检系统及方法 |
| CN105469679A (zh) * | 2015-11-14 | 2016-04-06 | 辽宁大学 | 基于Kinect的心肺复苏辅助训练系统及方法 |
| CN105534528A (zh) * | 2015-12-08 | 2016-05-04 | 杭州电子科技大学 | 一种基于体感识别的无接触体质测试系统及测试方法 |
| CN105608467A (zh) * | 2015-12-16 | 2016-05-25 | 西北工业大学 | 基于Kinect的无接触式学生体质测评方法 |
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| CN106625658A (zh) * | 2016-11-09 | 2017-05-10 | 华南理工大学 | 一种实时模仿人体上半身动作的人形机器人控制方法 |
-
2017
- 2017-06-06 CN CN201710420135.7A patent/CN107247874A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105224809A (zh) * | 2015-10-16 | 2016-01-06 | 中山大学 | 一种基于Kinect的自助体检系统及方法 |
| CN105469679A (zh) * | 2015-11-14 | 2016-04-06 | 辽宁大学 | 基于Kinect的心肺复苏辅助训练系统及方法 |
| CN105534528A (zh) * | 2015-12-08 | 2016-05-04 | 杭州电子科技大学 | 一种基于体感识别的无接触体质测试系统及测试方法 |
| CN105608467A (zh) * | 2015-12-16 | 2016-05-25 | 西北工业大学 | 基于Kinect的无接触式学生体质测评方法 |
| CN106022213A (zh) * | 2016-05-04 | 2016-10-12 | 北方工业大学 | 一种基于三维骨骼信息的人体动作识别方法 |
| CN106625658A (zh) * | 2016-11-09 | 2017-05-10 | 华南理工大学 | 一种实时模仿人体上半身动作的人形机器人控制方法 |
Non-Patent Citations (3)
| Title |
|---|
| WENBING ZHAO 等: "A Kinect-based rehabilitation exercise monitoring and guidance system", 《ICSESS.2014》 * |
| 秦超龙 等: "基于Unity3D 与Kinect的康复训练机器人情景交互系统", 《仪器仪表学报》 * |
| 程雪莲 等: "基于Kinect的无接触式体质检测系统", 《传感器与微系统》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108227931A (zh) * | 2018-01-23 | 2018-06-29 | 北京市商汤科技开发有限公司 | 用于控制虚拟人物的方法、设备、系统、程序和存储介质 |
| CN108903957A (zh) * | 2018-04-24 | 2018-11-30 | 浙江工业大学 | 一种基于Kinect的机动车驾驶员体检系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2022134868A1 (zh) | 一种基于特征融合的道岔尖轨伤损状态监测方法 | |
| CN105608432A (zh) | 一种基于瞬时肌电图像的手势识别方法 | |
| CN105877766A (zh) | 一种基于多生理信号融合的精神状态检测系统及方法 | |
| WO2007117889A3 (en) | System, method and apparatus for detecting a force applied to a finger | |
| CN106725376B (zh) | 体征信号检测方法及装置 | |
| CN107247874A (zh) | 一种基于Kinect的体检机器人系统 | |
| CN109085918B (zh) | 基于肌电的针灸行针手法训练方法 | |
| CN109620244A (zh) | 基于条件生成对抗网络和svm的婴儿异常行为检测方法 | |
| CN102073377B (zh) | 基于人眼扫视信号的人机交互式二维定位方法 | |
| CN110363129A (zh) | 基于微笑范式和音视频行为分析的孤独症早期筛查系统 | |
| CN110472497A (zh) | 一种融合旋转量的动作特征表示方法 | |
| CN109199417A (zh) | 一种用于运动康复治疗的增强现实方法及系统 | |
| Vasco et al. | Train with me: a study comparing a socially assistive robot and a virtual agent for a rehabilitation task | |
| CN111862758A (zh) | 一种基于人工智能的心肺复苏培训与考核系统及方法 | |
| Sharma et al. | Real-time recognition of yoga poses using computer vision for smart health care | |
| CN109859559A (zh) | 一种变电站安全执规仿真培训方法 | |
| CN105653039B (zh) | 一种基于脑电信号检测的手部动作自动矫正识别方法 | |
| CN103823989A (zh) | 一种儿童精细运动量化评估方法 | |
| CN107174203A (zh) | 一种脑电信号的识别方法 | |
| Hu et al. | A novel realtime vision-based acupoint estimation for TCM massage robot | |
| CN110197727A (zh) | 基于人工神经网络的上肢建模方法及运动机能评估系统 | |
| CN107157498B (zh) | 一种针对脑力疲劳的语音疲劳度检测方法 | |
| CN109919101A (zh) | 一种基于手机客户端的用户体验评价方法及系统 | |
| CN205750882U (zh) | 智能物联网国民体质监测系统 | |
| CN110576443A (zh) | 一种用于心理宣泄的机器人系统及其数据采集分析方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20171013 |
|
| WD01 | Invention patent application deemed withdrawn after publication |