CN109140168A - 一种体感采集多媒体播放系统 - Google Patents

一种体感采集多媒体播放系统 Download PDF

Info

Publication number
CN109140168A
CN109140168A CN201811116803.8A CN201811116803A CN109140168A CN 109140168 A CN109140168 A CN 109140168A CN 201811116803 A CN201811116803 A CN 201811116803A CN 109140168 A CN109140168 A CN 109140168A
Authority
CN
China
Prior art keywords
human body
sensing
distance
shaft
artis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811116803.8A
Other languages
English (en)
Inventor
谭攻坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Code Communication Technology Co Ltd
Original Assignee
Guangzhou Code Communication Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Code Communication Technology Co Ltd filed Critical Guangzhou Code Communication Technology Co Ltd
Priority to CN201811116803.8A priority Critical patent/CN109140168A/zh
Publication of CN109140168A publication Critical patent/CN109140168A/zh
Pending legal-status Critical Current

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/04—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand
    • F16M11/06—Means for attachment of apparatus; Means allowing adjustment of the apparatus relatively to the stand allowing pivoting
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16M—FRAMES, CASINGS OR BEDS OF ENGINES, MACHINES OR APPARATUS, NOT SPECIFIC TO ENGINES, MACHINES OR APPARATUS PROVIDED FOR ELSEWHERE; STANDS; SUPPORTS
    • F16M11/00—Stands or trestles as supports for apparatus or articles placed thereon ; Stands for scientific apparatus such as gravitational force meters
    • F16M11/02—Heads
    • F16M11/18—Heads with mechanism for moving the apparatus relatively to the stand
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Acoustics & Sound (AREA)
  • Evolutionary Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种体感采集多媒体播放系统，底座顶部通过铰轴活动连接机体，机体左右两侧设置有音箱，机体正面设置有体感摄像头和麦克风；体感摄像头中的红外收发器采集包括人体以及背景的红外图像，双镜头光学距离识别器计算出人体距离机体的位置；根据红外图像以及人体距离机体的位置识别人体二维化动作；根据人体距离机体的位置以及人体二维化动作匹配预置的操作指令，控制机体本发明实施中,将机体正面旋转至正对人体的角度，长时间使用之后，摩擦片厚度减少，抵接器中的伸缩轴在弹性件压迫下伸出，弥补摩擦片磨损缺失厚度，长时间使用摩擦片磨损，依然保持初始阻尼；通过动作识别以及语音识别,提高复杂背景条件下动作识别精度。

Description

一种体感采集多媒体播放系统
技术领域
本发明涉及多媒体体感控制播放设备领域，具体涉及一种体感采集多媒体播放系统。
背景技术
多媒体播放器广泛应用于家庭娱乐设备中，但是传统的多媒体播放器多数使用遥控器进行控制，使用不方便。
部分使用体感仪及逆行控制的设备，无法将人体与复杂背景分离，识别精度低。
在专利号为CN107346141A的专利中公开了一种体感控制方法，其特征在于，步骤包括： Sl，遥控器接收到体感激活命令时，获得遥控器当前姿态的初始矩阵DCMinit; S2，实时获取遥控器姿态变化的当前矩阵DCMcur; S3，根据初始矩阵DCMinit和当前矩阵DCMcur计算得到中间矩阵DCMre3Iative3; S4，将中间矩阵DCMre3Iative^f换为最终矩阵DCMfinaI ; S5，将最终矩阵DCMfinaI换算成能够控制无人机姿态的控制量； S6，遥控器与无人机通信，无人机根据所述控制量实施姿态调整。但是此种控制方法只能对纯色背景下的人体进行识别，再家庭娱乐中，由于家具的干扰，无法做到精确识别。
发明内容
本发明的目的在于克服现有技术中存在的上述问题，提供一种体感采集多媒体播放器，即使长时间使用摩擦片磨损，依然能够保持初始的阻尼；并且通过动作识别以及语音控制，提高复杂背景条件下动作识别精度。
为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：
一种体感采集多媒体播放器，包括底座，底座顶部通过铰轴活动连接机体，机体左右两侧设置有音箱，机体正面设置有体感摄像头和麦克风；
所述铰轴包括左右对称相对开口的壳体，壳体底部固定有底座，壳体内部设置有转轴座，转轴座活动卡接有转轴，转轴中部固定有转盘，转盘固定连接有机体，壳体内部还设置有抵接器，抵接器弹性活动端固定有第一摩擦片，第一摩擦片与转盘侧壁对应位置的第二摩擦片摩擦接触, 将机体正面旋转至正对人体的角度，铰轴中国的抵接器压迫第一摩擦片与转盘侧壁对应位置的第二摩擦片摩擦接触，起到阻尼作用，长时间使用之后，第一摩擦片和第二摩擦片的厚度减少，抵接器中的伸缩轴在弹性件压迫下伸出，弥补摩擦片磨损缺失厚度。
进一步地，所述抵接器包括与壳体开口方向一致的套筒，套筒插接有伸缩轴，伸缩轴插接端与套筒内的弹性件抵接，伸缩轴非插接端固定第一摩擦片，所述转轴座内设置有与转轴两端滚动接触的滚珠。
进一步地，所述音箱包括音腔与覆盖音腔的出音面板；
所述体感摄像头包括摄像头、体感检测器红外收发器，红外收发器包括红外发射管和体感红外接收器。
进一步地，所述机体通过转接器与电视机的HDMI-IN接口连接，所述转接器包括USBtype-C接口、HDMI插头以及电源插口。
一种体感采集方法，包括以下步骤：
步骤S1：体感摄像头中的红外收发器采集包括人体以及背景的红外图像，双镜头光学距离识别器计算出人体距离机体的位置；
步骤S2：根据红外图像以及人体距离机体的位置识别人体二维化动态图；
步骤S3：根据人体距离机体的位置以及人体二维化动态图进行动作识别；
步骤S4：根据识别的动作匹配预置的操作指令，控制机体。
进一步地，所述步骤S1中，具体包括以下步骤：
步骤S1.1：双镜头光学距离识别器在同一时间分别拍摄两张与红外图像等比例的第一静态图以及；
步骤S1.2：将中的人体进行重叠生成；
步骤S1.3；将中的人形坐标、双镜头的坐标、建立等腰三角形，则双镜头光学距离识别器距人体的距离是：
其中，和分别为是中双镜头与人体的夹角。
进一步地，所述步骤S2中具体包括以下步骤：
步骤S2.1：红外收发器采集红外图像；
步骤S2.2：将红外图像中的像素点亮度建立与时间相关的函数，将求导得出，非零值范围状态下的的即是人形轮廓；
步骤S2.3：将人形轮廓与预设的人形轮廓进行对比，生成人体二维化动作。
进一步地，所述步骤S3中，具体包括以下步骤：
步骤S3.1：二维化动态图包括人体骨架的各个关节点，结合人体距离机体的位置生成人体关节点的数据；
步骤3.2：从筛选出的骨架关节点数据中提取、计算动作特征值并构造动作的特征向量序列，动作特征包括位置、角度、速度、关节点的速度和关节夹角，特征向量序列是由特征值组成的特征向量并构成的序列；
步骤3.3：对特征向量进行预处理，所述预处理是指对特征向量中关节点的坐标做归一化处理，包括大小归一化处理和位置归一化处理；
步骤3.4，将动作样本集的特征向量序列保存下来作为动作样本模板库；
步骤3.5：实时采集动作并用动态时间规整算法计算其特征向量序列与模板库中所有动作样本的特征向量序列的距离值，动态时间规整算法是指计算两个长度不同的时间序列的距离值，并以此距离值作为评判两个序列的相似度的方法；
步骤3.6：对动作进行分类识别:根据步骤S3.5中计算的距离值，计算出目标动作与模板库中动作模板的相似度，最后依据相似度对目标动作进行分类识别。
进一步地，所述步骤S3.1中，还包括以下步骤：
3.1.1：根据已训练好的神经网络模型，输入体感摄像头生成的热力图和相关人体特征数据，得到人体在二维化动态图中的对应的关节点位置；
3.1.2：根据关节点热力图和关系特征图，根据匹配算法和模板匹配，得到整个人体骨架的数据。
进一步地，所述步骤3.6中，还包括以下步骤：
步骤3.6.1：根据S3.5得到的目标动作，计算和对应模版库中的距离值，分别通过欧氏距离、曼哈顿距离两种方法进行计算；
步骤3.6.2：根据目标动作的关节点的相对角度和模板的相对角度的总误差值，依据欧氏距离、曼哈顿距离两种方法对用户的动作进行分类识别。
本发明的收益效果是：
1、即使长时间使用摩擦片磨损，依然能够保持初始的阻尼，将机体正面旋转至正对人体的角度，铰轴中国的抵接器压迫第一摩擦片与转盘侧壁对应位置的第二摩擦片摩擦接触，起到阻尼作用，长时间使用之后，第一摩擦片和第二摩擦片的厚度减少，抵接器中的伸缩轴在弹性件压迫下伸出，弥补摩擦片磨损缺失厚度；
2、并且通过动作识别以及语音控制，提高复杂背景条件下动作识别精度，体感摄像头中的红外收发器采集包括人体以及背景的红外图像，双镜头光学距离识别器计算出人体距离机体的位置；根据红外图像以及人体距离机体的位置识别人体二维化动作；根据人体距离机体的位置以及人体二维化动作匹配预置的操作指令，控制机体，并且还可以通过语音指令进行控制。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述体感采集多媒体播放器的立体结构示意图；
图2为本发明所述感采集多媒体播放器的右视结构示意图；
图3为本发明所述转接器的立体结构示意图；
图4为本发明所述铰轴的纵向剖面结构示意图；
图5为本发明所述摩擦片磨损之后的铰轴纵向剖面结构示意图；
图6为本发明所述机体纵向剖面结构示意图；
图7为本发明所述体感采集方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
如图1-7所示，本发明为：
一种体感采集多媒体播放器，包括底座1，底座1顶部通过铰轴2活动连接机体3，机体1左右两侧设置有音箱31，机体1正面设置有体感摄像头32和麦克风33；
铰轴2包括左右对称相对开口的壳体21，壳体21底部固定有底座1，壳体21内部设置有转轴座22，转轴座22活动卡接有转轴23，转轴23中部固定有转盘24，转盘24固定连接有机体3，壳体21内部还设置有抵接器25，抵接器25弹性活动端固定有第一摩擦片26，第一摩擦片26与转盘24侧壁对应位置的第二摩擦片27摩擦接触, 将机体1正面旋转至正对人体的角度，铰轴2中国的抵接器25压迫第一摩擦片26与转盘24侧壁对应位置的第二摩擦片27摩擦接触，起到阻尼作用，长时间使用之后，第一摩擦片26和第二摩擦片27的厚度减少，抵接器25中的伸缩轴253在弹性件253压迫下伸出，弥补摩擦片26、27磨损缺失厚度。
本实施方式的一个优选项为，抵接器25包括与壳体21开口方向一致的套筒251，套筒251插接有伸缩轴253，伸缩轴253插接端与套筒251内的弹性件253抵接，伸缩轴253非插接端固定第一摩擦片26，转轴座22内设置有与转轴23两端滚动接触的滚珠221。
本实施方式的一个优选项为，所述音箱31包括音腔311与覆盖音腔311的出音面板312；
所述体感摄像头32包括摄像头321、体感检测器322红外收发器，红外收发器包括红外发射管323和体感红外接收器324。
本实施方式的一个优选项为，机体3通过转接器4与电视机的HDMI-IN接口连接，转接器4包括USBtype-C接口41、HDMI插头42以及电源插口43。
一种体感采集方法，包括以下步骤：
步骤S1：体感摄像头32中的红外收发器采集包括人体以及背景的红外图像，双镜头光学距离识别器计算出人体距离机体1的位置；
步骤S2：根据红外图像以及人体距离机体1的位置识别人体二维化动态图；
步骤S3：根据人体距离机体1的位置以及人体二维化动态图进行动作识别；
步骤S4：根据识别的动作匹配预置的操作指令，控制机体1。
本实施方式的一个优选项为，所述步骤S1中，具体包括以下步骤：
步骤S1.1：双镜头光学距离识别器在同一时间分别拍摄两张与红外图像等比例的第一静态图以及；
步骤S1.2：将中的人体进行重叠生成；
步骤S1.3；将中的人形坐标、双镜头的坐标、建立等腰三角形，则双镜头光学距离识别器距人体的距离是：
其中，和分别为是中双镜头与人体的夹角。
本实施方式的一个优选项为，所述步骤S2中具体包括以下步骤：
步骤S2.1：红外收发器采集红外图像；
步骤S2.2：将红外图像中的像素点亮度建立与时间相关的函数，将求导得出，非零值范围状态下的的即是人形轮廓；
步骤S2.3：将人形轮廓与预设的人形轮廓进行对比，生成人体二维化动作。
本实施方式的一个优选项为：所述步骤S3中，具体包括以下步骤：
步骤S3.1：二维化动态图包括人体骨架的各个关节点，结合人体距离机体1的位置生成人体关节点的数据；
步骤3.2：从筛选出的骨架关节点数据中提取、计算动作特征值并构造动作的特征向量序列，动作特征包括位置、角度、速度、关节点的速度和关节夹角，特征向量序列是由特征值组成的特征向量并构成的序列；
步骤3.3：对特征向量进行预处理，所述预处理是指对特征向量中关节点的坐标做归一化处理，包括大小归一化处理和位置归一化处理；
步骤3.4，将动作样本集的特征向量序列保存下来作为动作样本模板库；
步骤3.5：实时采集动作并用动态时间规整算法计算其特征向量序列与模板库中所有动作样本的特征向量序列的距离值，动态时间规整算法是指计算两个长度不同的时间序列的距离值，并以此距离值作为评判两个序列的相似度的方法；
步骤3.6：对动作进行分类识别:根据步骤S3.5中计算的距离值，计算出目标动作与模板库中动作模板的相似度，最后依据相似度对目标动作进行分类识别。
本实施方式的一个优选项为：步骤S3.1中，还包括以下步骤：
3.1.1：根据已训练好的神经网络模型，输入体感摄像头32生成的热力图和相关人体特征数据，得到人体在二维化动态图中的对应的关节点位置；
3.1.2：根据关节点热力图和关系特征图，根据匹配算法和模板匹配，得到整个人体骨架的数据。
本实施方式的一个优选项为：所述步骤3.6中，还包括以下步骤：
步骤3.6.1：根据S3.5得到的目标动作，计算和对应模版库中的距离值，分别通过欧氏距离、曼哈顿距离两种方法进行计算；
步骤3.6.2：根据目标动作的关节点的相对角度和模板的相对角度的总误差值，依据欧氏距离、曼哈顿距离两种方法对用户的动作进行分类识别。
本实施例的一个具体应用为：
如图1-6所示：
将机体1正面旋转至正对人体的角度，铰轴2中国的抵接器25压迫第一摩擦片26与转盘24侧壁对应位置的第二摩擦片27摩擦接触，起到阻尼作用，长时间使用之后，第一摩擦片26和第二摩擦片27的厚度减少，抵接器25中的伸缩轴253在弹性件253压迫下伸出，弥补摩擦片26、27磨损缺失厚度，因此即使摩擦片26、27磨损，依然能够保持初始的阻尼。
如图7所示：
体感摄像头32中的红外收发器采集包括人体以及背景的红外图像，双镜头光学距离识别器计算出人体距离机体1的位置，将中的人体进行重叠生成；将中的人形坐标、双镜头的坐标、建立等腰三角形，则双镜头光学距离识别器距人体的距离是：
其中，和分别为是中双镜头与人体的夹角；
计算和对应模版库中的距离值，分别通过欧氏距离、曼哈顿距离两种方法进行计算，根据目标动作的关节点的相对角度和模板的相对角度的总误差值，依据欧氏距离、曼哈顿距离两种方法对用户的动作进行分类识别；
根据红外图像以及人体距离机体1的位置识别人体二维化动作，红外收发器采集红外图像，将红外图像中的像素点亮度建立与时间相关的函数，将求导得出，非零值范围状态下的的即是人形轮廓，将人形轮廓与预设的人形轮廓进行对比，生成人体二维化动作；
根据已训练好的神经网络模型，输入体感摄像头32生成的热力图和相关人体特征数据，得到人体在二维化动态图中的对应的关节点位置，根据关节点热力图和关系特征图，根据匹配算法和模板匹配，得到整个人体骨架的数据
根据人体距离机体1的位置以及人体二维化动作匹配预置的操作指令，控制机体1，或者通过语音指令进行控制。
上述操作中，相比较传统方式，即使摩擦片26、27磨损，依然能够保持初始的阻尼，便于调整机体1角度；提高复杂背景条件下动作识别精度。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等描述意指结合该实施例或示例描述的具体特征、结构、材料过着特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (10)

1.一种体感采集多媒体播放器，其特征在于：包括底座（1），底座（1）顶部通过铰轴（2）活动连接机体（3），机体（1）左右两侧设置有音箱（31），机体（1）正面设置有体感摄像头（32）和麦克风（33）；
所述铰轴（2）包括左右对称相对开口的壳体（21），壳体（21）底部固定有底座（1），壳体（21）内部设置有转轴座（22），转轴座（22）活动卡接有转轴（23），转轴（23）中部固定有转盘（24），转盘（24）固定连接有机体（3），壳体（21）内部还设置有抵接器（25），抵接器（25）弹性活动端固定有第一摩擦片（26），第一摩擦片（26）与转盘（24）侧壁对应位置的第二摩擦片（27）摩擦接触。
2.根据权利要求1所述的一种体感采集多媒体播放器，其特征在于：所述抵接器（25）包括与壳体（21）开口方向一致的套筒（251），套筒（251）插接有伸缩轴（253），伸缩轴（253）插接端与套筒（251）内的弹性件（253）抵接，伸缩轴（253）非插接端固定第一摩擦片（26），所述转轴座（22）内设置有与转轴（23）两端滚动接触的滚珠（221）。
3.根据权利要求1所述的一种体感采集多媒体播放器，其特征在于：所述音箱（31）包括音腔（311）与覆盖音腔（311）的出音面板（312）；
所述体感摄像头（32）包括摄像头（321）、体感检测器（322）红外收发器，红外收发器包括红外发射管（323）和体感红外接收器（324）。
4.根据权利要求1所述的一种体感采集多媒体播放器，其特征在于：所述机体（3）通过转接器（4）与电视机的HDMI-IN接口连接，所述转接器（4）包括USBtype-C接口（41）、HDMI插头（42）以及电源插口（43）。
5.根据权利要求1所述的一种体感采集方法，其特征在于：包括以下步骤：
步骤S1：体感摄像头（32）中的红外收发器采集包括人体以及背景的红外图像，双镜头光学距离识别器计算出人体距离机体（1）的位置；
步骤S2：根据红外图像以及人体距离机体（1）的位置识别人体二维化动态图；
步骤S3：根据人体距离机体（1）的位置以及人体二维化动态图进行动作识别；
步骤S4：根据识别的动作匹配预置的操作指令或者麦克风（3）收集的语音指令，控制机体（1）。
6.根据权利要求5所述的一种体感采集方法，其特征在于：所述步骤S1中，具体包括以下步骤：
步骤S1.1：双镜头光学距离识别器在同一时间分别拍摄两张与红外图像等比例的第一静态图以及；
步骤S1.2：将中的人体进行重叠生成；
步骤S1.3；将中的人形坐标、双镜头的坐标、建立等腰三角形，则双镜头光学距离识别器距人体的距离是：
其中，和分别为是中双镜头与人体的夹角。
7.根据权利要求5所述的一种体感采集方法，其特征在于：所述步骤S2中具体包括以下步骤：
步骤S2.1：红外收发器采集红外图像；
步骤S2.2：将红外图像中的像素点亮度建立与时间相关的函数，将求导得出，非零值范围状态下的的即是人形轮廓；
步骤S2.3：将人形轮廓与预设的人形轮廓进行对比，生成人体二维化动态图。
8.根据权利要求5所述的一种体感采集方法，其特征在于：所述步骤S3中，具体包括以下步骤：
步骤S3.1：二维化动态图包括人体骨架的各个关节点，结合人体距离机体（1）的位置生成人体关节点的数据；
步骤3.2：从筛选出的骨架关节点数据中提取、计算动作特征值并构造动作的特征向量序列，动作特征包括位置、角度、速度、关节点的速度和关节夹角，特征向量序列是由特征值组成的特征向量并构成的序列；
步骤3.3：对特征向量进行预处理，所述预处理是指对特征向量中关节点的坐标做归一化处理，包括大小归一化处理和位置归一化处理；
步骤3.4，将动作样本集的特征向量序列保存下来作为动作样本模板库；
步骤3.5：实时采集动作并用动态时间规整算法计算其特征向量序列与模板库中所有动作样本的特征向量序列的距离值，动态时间规整算法是指计算两个长度不同的时间序列的距离值，并以此距离值作为评判两个序列的相似度的方法；
步骤3.6：对动作进行分类识别:根据步骤S3.5中计算的距离值，计算出目标动作与模板库中动作模板的相似度，最后依据相似度对目标动作进行分类识别。
9.根据权利要求8所述的一种体感采集方法，其特征在于：所述步骤S3.1中，还包括以下步骤：
3.1.1：根据已训练好的神经网络模型，输入体感摄像头（32）生成的热力图和相关人体特征数据，得到人体在二维化动态图中的对应的关节点位置；
3.1.2：根据关节点热力图和关系特征图，根据匹配算法和模板匹配，得到整个人体骨架的数据。
10.根据权利要求8所述的一种体感采集方法，其特征在于：所述步骤3.6中，还包括以下步骤：
步骤3.6.1：根据S3.5得到的目标动作，计算和对应模版库中的距离值，分别通过欧氏距离、曼哈顿距离两种方法进行计算；
步骤3.6.2：根据目标动作的关节点的相对角度和模板的相对角度的总误差值，依据欧氏距离、曼哈顿距离两种方法对用户的动作进行分类识别。
CN201811116803.8A 2018-09-25 2018-09-25 一种体感采集多媒体播放系统 Pending CN109140168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811116803.8A CN109140168A (zh) 2018-09-25 2018-09-25 一种体感采集多媒体播放系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811116803.8A CN109140168A (zh) 2018-09-25 2018-09-25 一种体感采集多媒体播放系统

Publications (1)

Publication Number Publication Date
CN109140168A true CN109140168A (zh) 2019-01-04

Family

ID=64823537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811116803.8A Pending CN109140168A (zh) 2018-09-25 2018-09-25 一种体感采集多媒体播放系统

Country Status (1)

Country Link
CN (1) CN109140168A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443148A (zh) * 2019-07-10 2019-11-12 广州市讯码通讯科技有限公司 一种动作识别方法、系统和存储介质
CN110569711A (zh) * 2019-07-19 2019-12-13 沈阳工业大学 面向人体动作识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013091677A1 (en) * 2011-12-20 2013-06-27 Squarehead Technology As Speech recognition method and system
CN104463146A (zh) * 2014-12-30 2015-03-25 华南师范大学 基于近红外tof相机深度信息的姿势识别方法和装置
KR20170086005A (ko) * 2017-07-14 2017-07-25 주식회사 비즈모델라인 거리 차이를 이용한 증강현실 제공 방법
CN108363482A (zh) * 2018-01-11 2018-08-03 江苏四点灵机器人有限公司 一种基于双目结构光的三维手势控制智能电视的方法
CN108459707A (zh) * 2018-01-26 2018-08-28 上海萌王智能科技有限公司 一种利用智能终端识别动作并控制机器人的系统
CN209213360U (zh) * 2018-09-25 2019-08-06 广州市讯码通讯科技有限公司 一种体感采集多媒体播放系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013091677A1 (en) * 2011-12-20 2013-06-27 Squarehead Technology As Speech recognition method and system
CN104463146A (zh) * 2014-12-30 2015-03-25 华南师范大学 基于近红外tof相机深度信息的姿势识别方法和装置
KR20170086005A (ko) * 2017-07-14 2017-07-25 주식회사 비즈모델라인 거리 차이를 이용한 증강현실 제공 방법
CN108363482A (zh) * 2018-01-11 2018-08-03 江苏四点灵机器人有限公司 一种基于双目结构光的三维手势控制智能电视的方法
CN108459707A (zh) * 2018-01-26 2018-08-28 上海萌王智能科技有限公司 一种利用智能终端识别动作并控制机器人的系统
CN209213360U (zh) * 2018-09-25 2019-08-06 广州市讯码通讯科技有限公司 一种体感采集多媒体播放系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110443148A (zh) * 2019-07-10 2019-11-12 广州市讯码通讯科技有限公司 一种动作识别方法、系统和存储介质
CN110443148B (zh) * 2019-07-10 2021-10-22 广州市讯码通讯科技有限公司 一种动作识别方法、系统和存储介质
CN110569711A (zh) * 2019-07-19 2019-12-13 沈阳工业大学 面向人体动作识别方法
CN110569711B (zh) * 2019-07-19 2022-07-15 沈阳工业大学 面向人体动作识别方法

Similar Documents

Publication Publication Date Title
Petridis et al. End-to-end audiovisual speech recognition
CN106415447B (zh) 信息处理装置、信息处理方法和图像处理系统
US20180373413A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
Zafrulla et al. American sign language recognition with the kinect
CA2830499C (en) Virtual golf simulation apparatus and sensing device and method used for the same
US7519537B2 (en) Method and apparatus for a verbo-manual gesture interface
WO2020037679A1 (zh) 视频处理方法、装置及电子设备
WO2018171041A1 (zh) 一种动向智能投影系统及其方法
CN106166376B (zh) 简化24式太极拳综合训练系统
JP5751610B2 (ja) 会話ロボット
US20120120218A1 (en) Semi-private communication in open environments
WO2019205284A1 (zh) Ar成像方法和装置
JP2012014394A (ja) ユーザ指示取得装置、ユーザ指示取得プログラムおよびテレビ受像機
CN109140168A (zh) 一种体感采集多媒体播放系统
WO2021196645A1 (zh) 交互对象的驱动方法、装置、设备以及存储介质
CN109116981A (zh) 一种被动触觉反馈的混合现实交互系统
CN105138111A (zh) 一种基于单摄像头的体感交互方法及系统
CN108377398A (zh) 基于红外的ar成像方法、系统及电子设备
US20210279935A1 (en) Motion Tracking and Image Recognition of Hand Gestures to Animate a Digital Puppet, Synchronized with Recorded Audio
CN106618479B (zh) 瞳孔追踪系统及其方法
CN111442464B (zh) 空调器及其控制方法
CN106055092A (zh) 一种实现互动投影的方法及系统
KR102171428B1 (ko) 음악과 춤의 상관관계를 학습하여 춤을 추는 로봇
CN209213360U (zh) 一种体感采集多媒体播放系统
CN106708257A (zh) 游戏交互方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination