CN110008998B - 标签数据生成系统和方法 - Google Patents

标签数据生成系统和方法 Download PDF

Info

Publication number
CN110008998B
CN110008998B CN201910168566.8A CN201910168566A CN110008998B CN 110008998 B CN110008998 B CN 110008998B CN 201910168566 A CN201910168566 A CN 201910168566A CN 110008998 B CN110008998 B CN 110008998B
Authority
CN
China
Prior art keywords
user gesture
data
generate
image
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910168566.8A
Other languages
English (en)
Other versions
CN110008998A (zh
Inventor
林孟苇
林宏锜
陈圣
林贸鸿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Merry Electronics Shenzhen Co ltd
Original Assignee
Merry Electronics Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Merry Electronics Shenzhen Co ltd filed Critical Merry Electronics Shenzhen Co ltd
Publication of CN110008998A publication Critical patent/CN110008998A/zh
Application granted granted Critical
Publication of CN110008998B publication Critical patent/CN110008998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1091—Details not provided for in groups H04R1/1008 - H04R1/1083
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请涉及一种标签数据生成系统和方法。所述方法包括：感测用户姿势以产生平面影像；感测所述用户姿势以产生深度影像；感测所述用户姿势以产生运动数据；以及根据所述平面影像及所述深度影像生成所述用户姿势的识别结果，并根据所述识别结果对所述运动数据添加标签以生成标签数据。采用本方法能够提高标签数据的生成速度，并提升了识别模型的识别准确性。

Description

标签数据生成系统和方法
技术领域
本申请涉及数据处理技术领域，特别是涉及一种标签数据生成系统和方法。
背景技术
随着科技进步，市面上出现了许多搭配有运动传感器的智能运动配件，比如智能手环和智能手表等。这些智能运动配件通过无线传输技术将运动传感器感测到的数据发送到智能手机，智能手机的应用程序对这些数据进行分析生成分析结果。用户可以通过分析结果获得心律、运动步数等与生理状态和运动状态相关的信息。
然而，无线传输会大量消耗智能运动配件及智能手机的电量，且无线传输质量较差时会导致数据分析的延迟。另一方面，对与用户姿势相关的感测数据进行分析时需要使用识别模型，而识别模型的训练过程需要大量的标签数据。标签数据通常由人工对自身姿势进行判断，根据判断结果对感测数据添加标签生成。不同用户对姿势的判断标准并不相同，且长时间连续添加标签容易出错，使得人工添加标签的效率较低，很多错误的标签数据被用于识别模型的训练，导致识别模型的识别准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高识别准确性的标签数据生成系统和方法。此外，本申请提出一种耳机。
一种耳机，包括扬声器、运动传感器、收发器和处理器。其中，扬声器用于播放音频数据。运动传感器用于感测用户姿势以产生第一感测数据。收发器用于与外部装置进行数据传输。处理器耦接运动传感器和收发器，根据第一感测数据判断用户姿势是否正确并生成识别结果，并通过收发器发送识别结果。
一种耳机，包括扬声器、运动传感器和处理器。扬声器用于播放音频数据。运动传感器用于感测用户姿势以产生第一感测数据。处理器包含数据处理单元和音频处理单元，其中数据处理单元耦接于运动传感器与音频处理单元之间。数据处理单元根据第一感测数据判断用户姿势是否正确并生成识别结果，通过音频处理单元的扬声器播放识别结果。
综上所述，本申请的耳机不需要通过无线传输技术将传感器产生的原始数据发送至智能手机等外部装置。因此，可显著地降低耳机和/或外部装置消耗的电量。
为了提高标签数据的生成效率，并提高识别模型的识别准确率(accuracy)，本申请提出了一种标签数据生成系统和方法。
本申请提供一种标签数据生成系统，包括第一影像捕获设备、第二影像捕获设备、运动感测装置和第一处理器。第一影像捕获设备感测用户姿势以产生平面影像。第二影像捕获设备感测用户姿势以产生深度影像。运动感测装置感测用户姿势以产生运动数据。第一处理器耦接第一影像捕获设备、第二影像捕获设备和运动感测装置。第一处理器根据平面影像及深度影像生成用户姿势的识别结果，并根据识别结果对运动数据添加标签以生成标签数据。
本申请提供一种标签数据生成方法，包括：感测用户姿势以产生平面影像；感测用户姿势以产生深度影像；感测用户姿势以产生运动数据；根据平面影像及深度影像生成用户姿势的识别结果，并根据识别结果对运动数据添加标签以生成标签数据。
综上所述，本申请提供的标签数据生成系统可自动地对运动数据添加标签，使用户更快地获得标签数据，且提升了根据标签数据训练得到的识别模型的识别准确性。
附图说明
图1为一个实施例中耳机的示意图；
图2为一个实施例中耳机的功能框图；
图3为一个实施例中标签数据生成系统的功能框图；
图4为一个实施例中标签数据生成方法的流程示意图；
图5为一个实施例中生成标签数据的步骤的流程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
图1为一个本申请一个实施例中耳机10的示意图，图2为本申请一个实施例中耳机10的功能框图。具体地，同时参照图1和图2，耳机10可以包括主板100、第一壳体110、第二壳体120、电源模块130以及麦克风与控制按键模块140。电源模块130用于给耳机10供电。麦克风与控制按键模块140为耳机10的输入装置，用户可以通过麦克风与控制按键模块140将声音或控制指令发送至耳机10的处理器101。
主板100可以包括陶瓷基板、印刷电路板(printed circuit board，PCB)、有机基板和中介基板中的至少一种。在一个实施例中，主板100可以包括处理器101和收发器103。
处理器101可以是中央处理单元(central processing unit，CPU)、微处理器(microprocessor)、数字信号处理器(digital signal processor，DSP)、可程序化控制器、特殊应用集成电路(application specific integrated circuit，ASIC)或其他类似组件中的至少一种。
具体地，处理器101包括至少一个处理单元。当处理单元的数量多于一个时，各处理单元可以具有不同的功能。如图2所示，处理器101可以包括数据处理单元P1和音频处理单元P2，其中数据处理单元P1耦接于运动传感器111和音频处理单元P2之间。数据处理单元P1用于识别用户相对于耳机10的用户姿势，音频处理单元P2用于执行音频处理并发送音频数据至扬声器113和/或扬声器123。
收发器103耦接于处理器101的数据处理单元P1，可以通过无线或有线的方式与处理器101或外部装置进行数据传输。收发器103还可以用于低噪声放大(low noiseamplifying，LNA)、阻抗匹配、混频、上下变频转换、滤波、放大以及类似的操作。
第一壳体110对应于耳机10的用户的第一耳，运动传感器111和扬声器113可以被设置。第二壳体120对应于耳机10的用户的第二耳，生理传感器121和扬声器123可以被设置。扬声器113与扬声器123分别耦接至处理器101的音频处理单元P2。音频处理单元P2可以发送信号b至扬声器113和/或扬声器123，以通过扬声器113和/或扬声器123播放音频数据。在一个实施例中，第一壳体110可以设置有运动传感器111和/或生理传感器121，第二壳体120可以设置有运动传感器111和/或生理传感器121。
运动传感器111耦接处理器101的数据处理单元P1，用于感测用户相对于耳机10的用户姿势以产生感测数据d1。运动传感器111可以是电子罗盘、地磁传感器、陀螺仪、角速度传感器、加速度传感器、六轴传感器和九轴传感器中的至少一种。感测数据d1是与人体的姿势相关的动作姿态参数，可以是位移、加速度、角速度和磁力变化中的至少一种。
生理传感器121耦接处理器101的数据处理单元P1，用于感测耳机10的用户的生理信息以产生感测数据d2。生理传感器121可以是心电传感器、声音传感器、温湿度传感器、汗液酸碱度传感器和肌电传感器中的至少一种。感测数据d2是与人体生理状态相关的生理参数，可以是心率值、呼吸率和过敏反应中的至少一种。
耳机10的使用包括一般模式和训练模式。在一般模式中，耳机10用于对用户姿势进行辨识并生成用于判断用户姿势是否正确的识别结果op。耳机10的收发器103可以仅发送识别结果op，以减少耳机10在一般模式中的耗电量。
在训练模式中，耳机10可以通过用户在运动时产生的感测数据训练识别模型im。具体地，在训练模式中，耳机10的数据处理单元P1通过收发器103将感测数据d1和/或感测数据d2发送至外部装置，比如智能手机。外部装置可根据感测数据d1和/或感测数据d2训练识别模型im。即耳机10的训练模式可以产生与用户姿势或生理信息相关的训练数据。
在一般模式中，处理器101的数据处理单元P1可接收来自运动传感器111的感测数据d1，并且根据感测数据d1判断用户使用耳机10时的用户姿势是否正确，以生成识别结果op。识别结果op可用于提示用户运动时的姿势是否正确。
具体地，处理器101的数据处理单元P1可储存或预存一个或多个识别模型im。数据处理单元P1可以根据识别模型im及感测数据d1判断用户姿势是否正确并生成识别结果op。在一个实施例中，数据处理单元P1还可以根据识别模型im、感测数据d1及感测数据d2判断用户姿势是否正确并生成识别结果op。
在生成识别结果op后，数据处理单元P1通过收发器103将识别结果op发送至外部装置，比如智能手机。另一方面，数据处理单元P1也可以将识别结果op发送至音频处理单元P2。音频处理单元P2可对识别结果op进行音频处理(audio processing)，得到与识别结果op对应的信号b，将信号b发送至扬声器113和扬声器123进行播放。信号b可以是以提示音的形式提示使用耳机10的用户的姿势是否正确。当需要播放识别结果op对应的信号b时，如果用户正在通过耳机10收听音乐或广播等其他音频数据，音频处理单元P2可以降低当前音频数据的音量，以使用户可以清楚地听到识别结果op对应的信号b。
在一个实施例中，处理器101的数据处理单元P1可以通过收发器103接收用户设置的锻炼菜单。比如，用户可以通过智能手机的应用设置锻炼菜单，并将锻炼菜单发送至耳机10。处理器101的数据处理单元P1可以根据感测数据d1、识别模型im和锻炼菜单判断用户姿势是否正确，以生成识别结果op。锻炼菜单可以包括锻炼种类、锻炼组数(set)和锻炼次数(rep)中的至少一种。
在一个实施例中，耳机10除了使用默认于数据处理单元P1的识别模型im进行用户姿势的识别，还可以从外部装置获取识别模型im。具体地，处理器101的数据处理单元P1可通过收发器103接收更新信息，更新信息用于提示耳机10进行韧体更新，更新信息可以包括识别模型im的相关信息。数据处理单元P1可以根据接收到的更新信息更新耳机10的韧体，以获得更新的识别模型im或新增的识别模型im。
图3为本申请一个实施例中标签数据生成系统30的功能框图。具体地，参照图3，标签数据生成系统30包括第一处理器310、第一影像捕获设备320、第二影像捕获设备330、运动感测装置340和云端处理单元350。标签数据生成系统30可以根据用户姿势自动生成与用户姿势对应的标签数据。云端处理单元350根据标签数据训练得到与用户姿势对应的自定义识别模型，以更准确地识别用户运动时的姿势是否正确。
第一处理器310耦接第一影像捕获设备320、第二影像捕获设备330、运动感测装置340和云端处理单元350。第一处理器310可以是中央处理单元、微处理器、数字信号处理器、可程序化控制器、特殊应用集成电路或其他类似组件中的至少一种。
第一影像捕获设备320可感测用户姿势以产生与用户姿势对应的平面影像i1。第二影像捕获设备330可感测用户姿势以产生与用户姿势对应的深度影像i2。第一影像捕获设备320及第二影像捕获设备330可以是相机和摄影机中的至少一种。在一个实施例中，第一影像捕获设备320可以是红绿蓝摄影机，第二影像捕获设备330可以是深度摄影机。
运动感测装置340可感测用户姿势以产生与用户姿势对应的运动数据d3。运动感测装置340可以是六轴传感器和九轴传感器中的至少一种。在一个实施例中，运动感测装置340可以是如图2所示的耳机10，运动数据d3可以是如图2所示的感测数据d1。
云端处理单元350耦接第一处理器310。云端处理单元350可以是中央处理单元、微处理器、数字信号处理器、可程序化控制器、特殊应用集成电路或其他类似组件中的至少一种。
本实施例中，当用户运动时，第一处理器310分别从第一影像捕获设备320和第二影像捕获设备330获取与用户姿势对应的平面影像i1和深度影像i2，从运动感测装置340获取与用户姿势对应的运动数据d3。第一处理器310可以根据平面影像i1和深度影像i2对用户姿势进行识别，比如，通过默认的或接收到的识别模型对用户姿势进行识别，从而生成与用户姿势对应的识别结果。在得到识别结果后，第一处理器310可以根据识别结果对运动数据d3添加标签生成对应的标签数据td。标签数据td是具有时间标签的运动数据d3。
具体地，第一处理器310先根据平面影像i1和深度影像i2侦测出运动中的用户的一个特定姿势和此特定姿势的开始时间，对运动数据d3添加标签，使得与开始时间对应的开始时间标签与运动数据d3相关联。然后，第一处理器310根据平面影像i1和深度影像i2侦测出该特定姿势的结束时间，并对运动数据d3添加标签，使得与结束时间对应的结束时间标签与运动数据d3相关联。在生成开始时间标签和结束时间标签后，第一处理器310可以根据开始时间标签和结束时间标签，对开始时间与结束时间对应的时间段内的运动数据d3添加标签，使该时间段内的运动数据d3对应于该用户姿势；即，将与该特定姿势对应的姿势标签与该时间中的运动数据d3相关联。上述步骤完成后，第一处理器310可以生成标签数据td，其中标签数据td即为已添加标签的运动数据d3。
生成标签数据td后，第一处理器310可以将标签数据td发送至云端处理单元350。举例说明，第一处理器310可以通过发送器将用户的标签数据td发送至云端处理单元350。云端处理单元350可以根据标签数据td训练对应的识别模型im，其中该识别模型im用于识别用户姿势是否正确。云端处理单元350可将其产生的新的或更新后的识别模型im发送至第一处理器310，使得第一处理器310可以根据新的识别模型im来生成新的标签数据。
另一方面，云端处理单元350也可以将产生的识别模型im发送至运动感测装置340。运动感测装置340可以根据接收到的识别模型im判断用户运动时的姿势是否正确。具体地，云端处理单元350可以根据产生的识别模型im，发送包括识别模型im信息的更新信息至运动感测装置340，其中更新信息用于提示运动感测装置340进行韧体的更新。运动感测装置340可以从云端处理单元350接收更新信息，并根据更新信息来更新运动感测装置340的韧体，以获得更新或新的识别模型im。
图4为一个实施例中标签数据生成方法40的流程示意图，该标签数据生成方法40可以应用于图3所示的标签数据生成系统30。步骤402，感测用户姿势以产生平面影像。步骤404，感测用户姿势以产生深度影像。步骤406，感测用户姿势以产生运动数据。步骤408，根据平面影像及深度影像生成用户姿势的识别结果，并根据识别结果对运动数据添加标签以生成标签数据。步骤410，根据标签数据生成识别模型。步骤412，根据生成的识别模型发送更新信息，以提示运动感测装置更新韧体。
如图5所示，在一个实施例中，步骤408具体还包括生成标签数据的步骤，该步骤具体包括如下步骤：步骤502，根据平面影像及深度影像侦测用户姿势的开始时间。步骤504，根据平面影像及深度影像侦测用户姿势的结束时间。步骤506，对开始时间与结束时间对应的时间段内的运动数据添加标签，以使该时间段内的运动数据与用户姿势相对应。
综上所述，本申请的耳机可以在本地进行用户姿势的识别并生成识别结果。耳机无需通过无线传输技术将传感器产生的原始数据发送至智能手机类的外部装置，可以显著降低耳机和/或外部装置耗用的电量。此外，耳机可配置不同类型的传感器以产生不同类型的感测数据，使得感测数据具有更多元的应用方式。另一方面，本申请的标签数据生成系统通过图像处理技术对用户姿势进行识别，并根据识别结果自动地对数据添加标签。标签数据生成系统不需要人工介入标签数据的生成过程。本申请提供的标签数据生成系统可以帮助用户更快速地生成标签数据，且根据标签数据训练得到的识别模型的识别准确率也获得提升。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (13)

1.一种标签数据生成系统，所述系统包括：
第一影像捕获设备，感测用户姿势以产生平面影像；
第二影像捕获设备，感测所述用户姿势以产生深度影像；
运动感测装置，感测所述用户姿势以产生运动数据；以及
第一处理器，耦接所述第一影像捕获设备、所述第二影像捕获设备和所述运动感测装置，所述第一处理器根据所述平面影像及所述深度影像生成所述用户姿势的识别结果，并根据所述识别结果对所述运动数据添加标签以生成标签数据。
2.根据权利要求1所述的系统，其特征在于，所述系统还包括：
云端处理单元，耦接所述第一处理器，所述云端处理单元接收所述第一处理器生成的标签数据，并根据所述标签数据生成识别模型。
3.根据权利要求2所述的系统，其特征在于，所述运动感测装置包括：
第二处理器和收发器，所述云端处理单元根据所述识别模型生成更新信息并将所述更新信息发送至所述收发器，所述更新信息用于指示所述第二处理器更新韧体。
4.根据权利要求3所述的系统，其特征在于，所述第二处理器包括：
数据处理单元，识别所述用户姿势并进行对比，以生成识别结果；以及
音频处理单元，进行音频处理并播放所述识别结果。
5.根据权利要求1所述的系统，其特征在于，所述标签数据是添加有时间标签的运动数据。
6.根据权利要求1所述的系统，其特征在于，所述第一处理器根据所述平面影像及所述深度影像生成所述用户姿势的识别结果，并根据所述识别结果对所述运动数据添加标签以生成标签数据包括：
根据所述平面影像及所述深度影像侦测所述用户姿势的开始时间；
根据所述平面影像及所述深度影像侦测所述用户姿势的结束时间；以及
对所述开始时间与所述结束时间对应的时间段内的运动数据添加标签，以使所述时间段内的运动数据对应于所述用户姿势。
7.根据权利要求1所述的系统，其特征在于，所述第一影像捕获设备为红绿蓝摄影机，所述第二影像捕获设备为深度摄影机且所述运动感测装置为六轴传感器和九轴传感器中的至少一种。
8.一种标签数据生成方法，所述方法包括：
感测用户姿势以产生平面影像；
感测所述用户姿势以产生深度影像；
感测所述用户姿势以产生运动数据；以及
根据所述平面影像及所述深度影像生成所述用户姿势的识别结果，并根据所述识别结果对所述运动数据添加标签以生成标签数据。
9.根据权利要求8所述的方法，其特征在于，所述方法还包括：
根据所述标签数据生成识别模型。
10.根据权利要求9所述的方法，其特征在于，所述方法还包括：
根据所述识别模型生成并发送更新信息；所述更新信息用于指示运动感测装置更新韧体。
11.根据权利要求8所述的方法，其特征在于，所述标签数据是添加有时间标签的运动数据。
12.根据权利要求8所述的方法，其特征在于，所述根据所述识别结果对所述运动数据添加标签以生成标签数据包括：
根据所述平面影像及所述深度影像侦测所述用户姿势的开始时间；
根据所述平面影像及所述深度影像侦测所述用户姿势的结束时间；以及
对所述开始时间与所述结束时间对应的时间段内的运动数据添加标签，以使所述时间段内的运动数据对应于所述用户姿势。
13.根据权利要求8所述的方法，其特征在于，所述方法还包括：
通过红绿蓝摄影机感测所述用户姿势以产生所述平面影像；
通过深度摄影机感测所述用户姿势以产生所述深度影像；以及
通过六轴传感器和九轴传感器中的至少一种感测所述用户姿势以产生所述运动数据。
CN201910168566.8A 2018-11-27 2019-03-06 标签数据生成系统和方法 Active CN110008998B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW107142165 2018-11-27
TW107142165A TWI707249B (zh) 2018-11-27 2018-11-27 產生標籤資料的系統及方法

Publications (2)

Publication Number Publication Date
CN110008998A CN110008998A (zh) 2019-07-12
CN110008998B true CN110008998B (zh) 2021-07-13

Family

ID=67166497

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910168566.8A Active CN110008998B (zh) 2018-11-27 2019-03-06 标签数据生成系统和方法

Country Status (3)

Country Link
US (1) US10609469B1 (zh)
CN (1) CN110008998B (zh)
TW (1) TWI707249B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989326A (zh) * 2009-07-31 2011-03-23 三星电子株式会社 人体姿态识别方法和装置
CN102553232A (zh) * 2010-12-07 2012-07-11 鼎亿数码科技(上海)有限公司 人体姿态捕捉装置及其实现方法
CN103049465A (zh) * 2011-10-12 2013-04-17 富士施乐株式会社 信息处理设备和信息处理方法
CN106502398A (zh) * 2016-10-21 2017-03-15 浙江工业大学 一种基于加速度传感器和多视图集成学习的语义化活动识别方法
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN108509897A (zh) * 2018-03-29 2018-09-07 同济大学 一种人体姿态识别方法和系统
CN106096662B (zh) * 2016-06-24 2019-06-28 深圳市颐通科技有限公司 基于加速度传感器的人体运动状态识别

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7733224B2 (en) * 2006-06-30 2010-06-08 Bao Tran Mesh network personal emergency response appliance
US7771318B2 (en) * 2005-12-22 2010-08-10 International Business Machines Corporation Device for monitoring a user's posture
US8172637B2 (en) * 2008-03-12 2012-05-08 Health Hero Network, Inc. Programmable interactive talking device
US20110025834A1 (en) * 2009-07-31 2011-02-03 Samsung Electronics Co., Ltd. Method and apparatus of identifying human body posture
CN102760434A (zh) * 2012-07-09 2012-10-31 华为终端有限公司 一种声纹特征模型更新方法及终端
US20140066811A1 (en) * 2012-09-05 2014-03-06 Ben Garney Posture monitor
US10163049B2 (en) * 2013-03-08 2018-12-25 Microsoft Technology Licensing, Llc Inconspicuous tag for generating augmented reality experiences
US9406211B2 (en) * 2014-11-19 2016-08-02 Medical Wearable Solutions Ltd. Wearable posture regulation system and method to regulate posture
WO2016158402A1 (ja) * 2015-03-30 2016-10-06 ソニー株式会社 画像処理装置および方法
US10311746B2 (en) * 2016-06-14 2019-06-04 Orcam Technologies Ltd. Wearable apparatus and method for monitoring posture
KR101975056B1 (ko) * 2016-12-02 2019-05-07 한국전자통신연구원 사용자 맞춤형 트레이닝 시스템 및 이의 트레이닝 서비스 제공 방법
KR102481883B1 (ko) * 2017-09-27 2022-12-27 삼성전자주식회사 위험 상황을 감지하는 방법 및 장치

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989326A (zh) * 2009-07-31 2011-03-23 三星电子株式会社 人体姿态识别方法和装置
CN102553232A (zh) * 2010-12-07 2012-07-11 鼎亿数码科技(上海)有限公司 人体姿态捕捉装置及其实现方法
CN103049465A (zh) * 2011-10-12 2013-04-17 富士施乐株式会社 信息处理设备和信息处理方法
CN106937531A (zh) * 2014-06-14 2017-07-07 奇跃公司 用于产生虚拟和增强现实的方法和系统
CN106096662B (zh) * 2016-06-24 2019-06-28 深圳市颐通科技有限公司 基于加速度传感器的人体运动状态识别
CN106502398A (zh) * 2016-10-21 2017-03-15 浙江工业大学 一种基于加速度传感器和多视图集成学习的语义化活动识别方法
CN108509897A (zh) * 2018-03-29 2018-09-07 同济大学 一种人体姿态识别方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度相机与加速度传感器融合的体感交互方法研究;李懿;《中国优秀硕士学位论文全文数据库信息科技辑》;20180615(第06期);正文第1.3节、2.1.2节 *

Also Published As

Publication number Publication date
TW202020626A (zh) 2020-06-01
TWI707249B (zh) 2020-10-11
CN110008998A (zh) 2019-07-12
US10609469B1 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
TWI772564B (zh) 具有運動感測器的耳機
US20200192627A1 (en) Method for changing audio signal path according to external electronic device transmitting em signal and electronic device therefor
CN108008858B (zh) 一种终端控制方法和移动终端
CN109040641B (zh) 一种视频数据合成方法及装置
WO2017181365A1 (zh) 一种耳机声道控制方法、相关设备及系统
CN111742539B (zh) 一种语音控制命令生成方法及终端
CN109189362B (zh) 发声控制方法、装置、电子设备及存储介质
CN108683850B (zh) 一种拍摄提示方法及移动终端
CN111010608B (zh) 视频播放的方法及电子设备
CN107886969B (zh) 一种音频播放方法及音频播放装置
CN104991493B (zh) 数据传输方法、装置及系统
CN107396275B (zh) 一种振幅检测装置、方法及移动终端
CN111026305A (zh) 音频处理方法及电子设备
CN110568926A (zh) 一种声音信号处理方法及终端设备
CN110830368A (zh) 即时通讯消息发送方法及电子设备
CN108564943A (zh) 语音交互方法及系统
CN111372029A (zh) 视频显示方法、装置及电子设备
CN108430004B (zh) 一种扬声器振幅调节装置、调节方法及移动终端
US20210383806A1 (en) User input processing method and electronic device supporting same
CN108900688B (zh) 发声控制方法、装置、电子装置及计算机可读介质
CN110008998B (zh) 标签数据生成系统和方法
CN109032008B (zh) 发声控制方法、装置以及电子装置
CN109124647B (zh) 一种激光模组、激光模组的探测方法和终端
CN108347527B (zh) 一种来电提示方法及移动终端
CN112997144A (zh) 一种录音方法、装置、电子设备和计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant