CN112446899A - 一种目标用户锁定方法及电子设备 - Google Patents

一种目标用户锁定方法及电子设备 Download PDF

Info

Publication number
CN112446899A
CN112446899A CN201910815716.XA CN201910815716A CN112446899A CN 112446899 A CN112446899 A CN 112446899A CN 201910815716 A CN201910815716 A CN 201910815716A CN 112446899 A CN112446899 A CN 112446899A
Authority
CN
China
Prior art keywords
user
users
target user
target
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910815716.XA
Other languages
English (en)
Inventor
黄磊
陈霄汉
赵杰
黄洁静
李玥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910815716.XA priority Critical patent/CN112446899A/zh
Priority to CN202011045942.3A priority patent/CN112308880B/zh
Priority to US17/636,725 priority patent/US20220284738A1/en
Priority to PCT/CN2020/106913 priority patent/WO2021036717A1/zh
Priority to JP2022513342A priority patent/JP7341324B2/ja
Priority to EP20858098.5A priority patent/EP4020389A4/en
Publication of CN112446899A publication Critical patent/CN112446899A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/79Game security or game management aspects involving player-related data, e.g. identities, accounts, preferences or play histories
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/62Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/23Recognition of whole body movements, e.g. for sport training
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/50Maintenance of biometric data or enrolment thereof
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/814Musical performances, e.g. by evaluating the player's ability to follow a notation
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/816Athletics, e.g. track-and-field sports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30221Sports video; Sports image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Biophysics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Cardiology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本申请实施例提供一种目标用户锁定方法及电子设备,涉及电子设备领域。本申请提供的方法可应用于人工智能(artificial intelligence,AI)健身场景中。能够保障目标用户锁定的准确性。电子设备通过对用户特征进行识别,或结合用户佩戴的可穿戴设备采集的数据对用户进行识别,或对用户的运动模式进行识别等方法,可完成目标用户的识别,及健身过程中的目标用户的跟踪。

Description

一种目标用户锁定方法及电子设备
技术领域
本申请涉及电子设备领域,尤其涉及一种目标用户锁定方法及电子设备。
背景技术
随着生活水平的提高,人们对自身身体的健康状况愈加关注。健身运动作为一种增强身体素质的有效手段得到人们的广泛认可,健身运动相关的产品方案也得到越来越多消费者的欢迎和喜爱。健身场所也不再局限于健身房等特定场所,在家中用户也可进行运动健身。
例如,基于家庭中占有率极高的电视机等大屏电子设备,可利用图像处理技术给用户进行智能健身指导。具体的:可以利用电子设备的摄像头采集目标用户的人体图像,根据采集到的人体图像识别目标用户的健身动作。然后根据健身动作的关键指标评价动作的完成质量,并给用户提供智能的健身指导,如对动作进行计数,指出错误动作,给出改进指导等。让用户可以在家中也可科学健身。
在利用图像处理技术进行健身指导的过程中,目标用户的锁定(如识别,跟踪)是提供智能健身指导的关键。但是,家庭中如电视机等大屏电子设备一般安装在客厅等公用区域,目标用户在健身过程中,很可能会有其他用户,如坐在沙发上的家人、围观的家人、墙纸人像、相框人物等对电子设备锁定目标用户产生干扰,也就无法保障目标用户锁定的准确性。
发明内容
本申请实施例提供一种目标用户锁定方法及电子设备,能够保障目标用户锁定的准确性。
为达到上述目的,本申请采用如下技术方案:
本申请的第一方面,提供一种目标用户锁定方法,该方法可以应用于包括摄像头的电子设备,该方法可以包括:电子设备确定目标用户,通过摄像头对目标用户进行跟踪,在对目标用户进行跟踪的过程中,通过摄像头采集用户图像数据;电子设备在根据采集到的用户图像数据确定画幅内存在干扰用户时,通过摄像头采集画幅内所有用户的人体姿态,画幅包括摄像头FOV的部分区域或全部区域;电子设备根据画幅内所有用户的人体姿态,确定画幅内每个用户的运动模式;电子设备根据画幅内每个用户的运动模式,将画幅内所有用户中运动模式与健身教程中教练的运动模式相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪。
采用上述技术方案,电子设备确定了目标用户后,在用户健身过程中,对该目标用户进行跟踪。如果在跟踪过程中,出现干扰用户从目标用户身前经过,或其他干扰人物与目标用户重叠的情况,通过运动模式匹配来保障目标用户跟踪的准确性,避免目标用户错误转移的情况,提高了用户体验和健身动作的可完成性。
在一种可能的实现方式中,电子设备根据画幅内每个用户的运动模式,将画幅内所有用户中运动模式与健身教程中教练的运动模式相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪,包括:电子设备根据画幅内每个用户的运动模式,将画幅内所有用户中运动模式为干扰运动模式的干扰用户去除;干扰运动模式包括静止模式,准直线运动模式中的至少一个;电子设备将画幅内除干扰用户外的用户中运动模式与健身教程中教练的运动模式相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪。这样,通过先将干扰用户滤除,然后对画幅内剩余的用户的运动模式进行匹配,减小了匹配的计算量,进一步提高了用户体验和健身动作的可完成性。
在另一种可能的实现方式中,上述根据采集到的用户图像数据确定画幅内存在干扰用户,包括:电子设备根据采集到的用户图像数据,确定画幅内存在用户干扰摄像头对目标用户健身数据的采集。
在另一种可能的实现方式中,上述电子设备确定目标用户,可以包括:电子设备通过摄像头采集用户图像数据;电子设备根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,电子设备提示用户完成目标动作,通过摄像头采集画幅内所有用户的人体姿态,将画幅内人体姿态与目标动作相匹配的用户确定为目标用户。这样,当画幅中存在多个用户时,通过提示用户完成目标动作,以便可通过识别画幅中所有用户的人体姿态来完成目标用户的确定。
在另一种可能的实现方式中,上述电子设备确定目标用户,可以包括:电子设备通过摄像头采集用户图像数据;电子设备根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,电子设备通过摄像头采集画幅内所有用户的人脸图像,将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户。这样,当画幅中存在多个用户时,通过采集画幅内所有用户的人脸数据,以便可通过识别画幅中所有用户的人脸来完成目标用户的确定,进一步提高了目标用户识别的准确性。
在另一种可能的实现方式中,该方法还可以包括:电子设备采集目标用户的人脸图像,将目标用户的人脸图像与账户关联存储;上述将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户,可以包括:电子设备将画幅内人脸图像与和账户关联存储的人脸图像相匹配的用户确定为目标用户。通过提前存储目标用户的人脸图像,以为目标用户识别做好准备工作。
在另一种可能的实现方式中,健身课程中教练的运动模式包括以下模式中的一种或多种:盘腿跳,左右换腿跳,手助力深蹲,侧点地出拳,侧向提膝收腹,交替弓步蹲,弓步过头击掌跳,半蹲跳,站姿腿后伸,深蹲侧向提膝收腹。
本申请的第二方面,提供一种目标用户锁定方法,该方法可以应用于包括摄像头的电子设备,该方法可以包括:电子设备确定目标用户,通过摄像头对目标用户进行跟踪;电子设备在对目标用户进行跟踪的过程中,通过摄像头采集用户图像数据;电子设备在根据采集到的用户图像数据确定画幅内存在干扰用户时,通过摄像头采集画幅内所有用户的特征数据,画幅包括摄像头FOV的部分区域或全部区域;电子设备根据画幅内所有用户的特征数据,将画幅内所有用户中特征数据与存储的特征数据相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪,特征数据包括以下至少一种:人脸图像,发型图像,穿着图像。
采用上述技术方案,电子设备确定了目标用户后,在用户健身过程中,对该目标用户进行跟踪。如果在跟踪过程中,出现干扰用户从目标用户身前经过,或其他干扰人物与目标用户重叠的情况,通过用户特征的匹配来保障目标用户跟踪的准确性,避免目标用户错误转移的情况,提高了用户体验和健身动作的可完成性。
在一种可能的实现方式中,在上述电子设备确定目标用户之后,该方法还可以包括:电子设备采集目标用户的特征数据并存储。
在另一种可能的实现方式中,上述根据采集到的用户图像数据确定画幅内存在干扰用户,可以包括:电子设备根据采集到的用户图像数据,确定画幅内存在用户干扰摄像头对目标用户健身数据的采集。
在另一种可能的实现方式中,上述电子设备确定目标用户,可以包括:电子设备通过摄像头采集用户图像数据;电子设备根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,电子设备通过摄像头采集画幅内所有用户的人脸图像,将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户。这样,当画幅中存在多个用户时,通过采集画幅内所有用户的人脸数据,以便可通过识别画幅中所有用户的人脸来完成目标用户的确定,进一步提高了目标用户识别的准确性。
在另一种可能的实现方式中,该方法还可以包括:电子设备采集目标用户的人脸图像,将目标用户的人脸图像与账户关联存储;上述将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户,包括:电子设备将画幅内人脸图像与和账户关联存储的人脸图像相匹配的用户确定为目标用户。通过提前存储目标用户的人脸图像,以为目标用户识别做好准备工作。
在另一种可能的实现方式中,上述电子设备确定目标用户,可以包括:电子设备通过摄像头采集用户图像数据;电子设备根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,电子设备提示用户完成目标动作,通过摄像头采集画幅内所有用户的人体姿态,将画幅内人体姿态与目标动作相匹配的用户确定为目标用户。这样,当画幅中存在多个用户时,通过提示用户完成目标动作,以便可通过识别画幅中所有用户的人体姿态来完成目标用户的确定。
本申请的第三方面,提供一种目标用户锁定方法,该方法可以应用于包括摄像头的电子设备,该方法可以包括:电子设备确定目标用户,通过摄像头对目标用户进行跟踪;电子设备确定目标用户的可穿戴设备,目标用户的可穿戴设备与电子设备建立了无线连接;电子设备在对目标用户进行跟踪的过程中,通过摄像头采集用户图像数据;电子设备在根据采集到的用户图像数据确定画幅内存在干扰用户时,通过摄像头采集画幅内所有用户的人体姿态,画幅包括摄像头FOV的部分区域或全部区域;电子设备根据画幅内所有用户的人体姿态,确定画幅内每个用户的运动数据;电子设备根据画幅内每个用户的运动数据,将画幅内所有用户中运动数据与接收来自目标用户的可穿戴设备的运动数据相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪。
采用上述技术方案,电子设备确定了目标用户后,在用户健身过程中,对该目标用户进行跟踪。如果在跟踪过程中,出现干扰用户从目标用户身前经过,或其他干扰人物与目标用户重叠的情况,通过目标用户佩戴的可穿戴设备采集到的数据的匹配来保障目标用户跟踪的准确性,避免目标用户错误转移的情况,提高了用户体验和健身动作的可完成性。
在另一种可能的实现方式中,上述根据采集到的用户图像数据确定画幅内存在干扰用户,可以包括:电子设备根据采集到的用户图像数据,确定画幅内存在用户干扰摄像头对目标用户健身数据的采集。
在另一种可能的实现方式中,在电子设备确定目标用户之前,该方法还可以包括:电子设备与第一可穿戴设备配对并建立无线连接,用于第一可穿戴设备将采集到的用户的运动数据传输给电子设备;电子设备确定目标用户,包括:电子设备提示用户完成目标动作,通过摄像头采集画幅内所有用户的人体姿态;电子设备根据画幅内所有用户的人体姿态,将画幅内人体姿态与目标动作相匹配的用户确定为目标用户;电子设备确定目标用户的可穿戴设备,包括:电子设备根据目标用户的人体姿态,确定目标用户的运动数据,在接收到的来自第一可穿戴设备的运动数据与目标用户的运动数据相匹配时,确定第一可穿戴设备为目标用户的可穿戴设备。这样,通过提示用户完成目标动作,以便可通过识别画幅中所有用户的人体姿态来完成目标用户的确定。并通过匹配目标用户的运动数据与接收来自可穿戴设备采集的运动数据,可实现目标用户可穿戴设备的确定。
在另一种可能的实现方式中,电子设备确定目标用户,可以包括:电子设备通过摄像头采集用户图像数据;电子设备根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,电子设备通过摄像头采集画幅内所有用户的人脸图像,将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户。这样,当画幅中存在多个用户时,通过采集画幅内所有用户的人脸数据,以便可通过识别画幅中所有用户的人脸来完成目标用户的确定,进一步提高了目标用户识别的准确性。
在另一种可能的实现方式中,该方法还包括:电子设备采集目标用户的人脸图像,将目标用户的人脸图像与账户关联存储;将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户,包括:电子设备将画幅内人脸图像与和账户关联存储的人脸图像相匹配的用户确定为目标用户。通过提前存储目标用户的人脸图像,以为目标用户识别做好准备工作。
在另一种可能的实现方式中,电子设备确定目标用户,可以包括:电子设备通过摄像头采集用户图像数据;电子设备根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,电子设备提示用户完成目标动作,通过摄像头采集画幅内所有用户的人体姿态,将画幅内人体姿态与目标动作相匹配的用户确定为目标用户。这样,当画幅中存在多个用户时,通过提示用户完成目标动作,以便可通过识别画幅中所有用户的人体姿态来完成目标用户的确定。
在另一种可能的实现方式中,电子设备确定目标用户的可穿戴设备,可以包括:电子设备确定与电子设备相互关联的可穿戴设备为目标用户的可穿戴设备;其中,可穿戴设备与电子设备相互关联包括:可穿戴设备与电子设备登录了同一个账号,可穿戴设备登录的账号是电子设备登录账号的联系人,可穿戴设备登录的账号与电子设备的健身应用登录的账号相同。
本申请的第四方面,提供一种电子设备,该电子设备可以包括:处理器、存储器、显示屏和摄像头;处理器和显示屏,摄像头,存储器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机软件指令,当计算机软件指令被电子设备执行时,使得电子设备执行如下操作:确定目标用户,通过摄像头对目标用户进行跟踪;在对目标用户进行跟踪的过程中,通过摄像头采集用户图像数据;在根据采集到的用户图像数据确定画幅内存在干扰用户时,通过摄像头采集画幅内所有用户的人体姿态,画幅包括摄像头FOV的部分区域或全部区域;根据画幅内所有用户的人体姿态,确定画幅内每个用户的运动模式;根据画幅内每个用户的运动模式,将画幅内所有用户中运动模式与健身教程中教练的运动模式相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪。
在一种可能的实现方式中,上述根据画幅内每个用户的运动模式,将画幅内所有用户中运动模式与健身教程中教练的运动模式相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪,包括:根据画幅内每个用户的运动模式,将画幅内所有用户中运动模式为干扰运动模式的干扰用户去除;干扰运动模式包括静止模式,准直线运动模式中的至少一个;电子设备将画幅内除干扰用户外的用户中运动模式与健身教程中教练的运动模式相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪。
在另一种可能的实现方式中,上述根据采集到的用户图像数据确定画幅内存在干扰用户,包括:根据采集到的用户图像数据,确定画幅内存在用户干扰摄像头对目标用户健身数据的采集。
在另一种可能的实现方式中,上述确定目标用户,包括:通过摄像头采集用户图像数据;根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,提示用户完成目标动作,通过摄像头采集画幅内所有用户的人体姿态,将画幅内人体姿态与目标动作相匹配的用户确定为目标用户。
在另一种可能的实现方式中,上述确定目标用户,包括:通过摄像头采集用户图像数据;根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,通过摄像头采集画幅内所有用户的人脸图像,将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户。
在另一种可能的实现方式中,当计算机软件指令被电子设备执行时,还使得电子设备执行如下操作:采集目标用户的人脸图像,将目标用户的人脸图像与账户关联存储;上述将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户,包括:将画幅内人脸图像与和账户关联存储的人脸图像相匹配的用户确定为目标用户。
在另一种可能的实现方式中,健身课程中教练的运动模式包括以下模式中的一种或多种:盘腿跳,左右换腿跳,手助力深蹲,侧点地出拳,侧向提膝收腹,交替弓步蹲,弓步过头击掌跳,半蹲跳,站姿腿后伸,深蹲侧向提膝收腹。
本申请的第五方面,提供一种电子设备,该电子设备可以包括:处理器、存储器、显示屏和摄像头;处理器和显示屏,摄像头,存储器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机软件指令,当计算机软件指令被电子设备执行时,使得电子设备执行如下操作:确定目标用户,通过摄像头对目标用户进行跟踪;在对目标用户进行跟踪的过程中,通过摄像头采集用户图像数据;在根据采集到的用户图像数据确定画幅内存在干扰用户时,通过摄像头采集画幅内所有用户的特征数据,画幅包括摄像头FOV的部分区域或全部区域;根据画幅内所有用户的特征数据,将画幅内所有用户中特征数据与存储的特征数据相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪,特征数据包括以下至少一种:人脸图像,发型图像,穿着图像。
在一种可能的实现方式中,当计算机软件指令被电子设备执行时,还使得电子设备执行如下操作:采集目标用户的特征数据并存储。
在另一种可能的实现方式中,上述根据采集到的用户图像数据确定画幅内存在干扰用户,包括:根据采集到的用户图像数据,确定画幅内存在用户干扰摄像头对目标用户健身数据的采集。
在另一种可能的实现方式中,上述确定目标用户,包括:通过摄像头采集用户图像数据;根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,通过摄像头采集画幅内所有用户的人脸图像,将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户。
在另一种可能的实现方式中,当计算机软件指令被电子设备执行时,还使得电子设备执行如下操作:采集目标用户的人脸图像,将目标用户的人脸图像与账户关联存储;上述将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户,包括:将画幅内人脸图像与和账户关联存储的人脸图像相匹配的用户确定为目标用户。
在另一种可能的实现方式中,上述确定目标用户,包括:通过摄像头采集用户图像数据;根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,提示用户完成目标动作,通过摄像头采集画幅内所有用户的人体姿态,将画幅内人体姿态与目标动作相匹配的用户确定为目标用户。
本申请的第六方面,提供一种电子设备,该电子设备可以包括:处理器、存储器、显示屏和摄像头;处理器和显示屏,摄像头,存储器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机软件指令,当计算机软件指令被电子设备执行时,使得电子设备执行如下操作:确定目标用户,通过摄像头对目标用户进行跟踪;确定目标用户的可穿戴设备,目标用户的可穿戴设备与电子设备建立了无线连接;在对目标用户进行跟踪的过程中,通过摄像头采集用户图像数据;在根据采集到的用户图像数据确定画幅内存在干扰用户时,通过摄像头采集画幅内所有用户的人体姿态,画幅包括摄像头FOV的部分区域或全部区域;根据画幅内所有用户的人体姿态,确定画幅内每个用户的运动数据;根据画幅内每个用户的运动数据,将画幅内所有用户中运动数据与接收来自目标用户的可穿戴设备的运动数据相匹配的用户确定为目标用户,继续通过摄像头对目标用户进行跟踪。
在一种可能的实现方式中,上述根据采集到的用户图像数据确定画幅内存在干扰用户,包括:根据采集到的用户图像数据,确定画幅内存在用户干扰摄像头对目标用户健身数据的采集。
在另一种可能的实现方式中,当计算机软件指令被电子设备执行时,还使得电子设备执行如下操作:与第一可穿戴设备配对并建立无线连接,用于第一可穿戴设备将采集到的用户的运动数据传输给电子设备;上述确定目标用户,包括:提示用户完成目标动作,通过摄像头采集画幅内所有用户的人体姿态;根据画幅内所有用户的人体姿态,将画幅内人体姿态与目标动作相匹配的用户确定为目标用户;上述确定目标用户的可穿戴设备,包括:根据目标用户的人体姿态,确定目标用户的运动数据,在接收到的来自第一可穿戴设备的运动数据与目标用户的运动数据相匹配时,确定第一可穿戴设备为目标用户的可穿戴设备。
在另一种可能的实现方式中,上述确定目标用户,包括:通过摄像头采集用户图像数据;根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,通过摄像头采集画幅内所有用户的人脸图像,将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户。
在另一种可能的实现方式中,当计算机软件指令被电子设备执行时,还使得电子设备执行如下操作:采集目标用户的人脸图像,将目标用户的人脸图像与账户关联存储;上述将画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户,包括:电子设备将画幅内人脸图像与和账户关联存储的人脸图像相匹配的用户确定为目标用户。
在另一种可能的实现方式中,上述确定目标用户,包括:通过摄像头采集用户图像数据;根据采集到的用户图像数据,在确定画幅内存在一个用户时,确定画幅内的用户为目标用户;在确定画幅内存在多个用户时,提示用户完成目标动作,通过摄像头采集画幅内所有用户的人体姿态,将画幅内人体姿态与目标动作相匹配的用户确定为目标用户。
在另一种可能的实现方式中,上述确定目标用户的可穿戴设备,包括:确定与电子设备相互关联的可穿戴设备为目标用户的可穿戴设备;其中,可穿戴设备与电子设备相互关联包括:可穿戴设备与电子设备登录了同一个账号,可穿戴设备登录的账号是电子设备登录账号的联系人,可穿戴设备登录的账号与电子设备的健身应用登录的账号相同。
本申请的第七方面,提供一种计算机可读存储介质,包括:计算机软件指令;当计算机软件指令在电子设备中运行时,使得电子设备执行如第一方面或第一方面可能的实现方式,或第二方面或第二方面可能的实现方式,或第三方面或第三方面可能的实现方式中任一项所述的目标用户锁定方法。
本申请的第八方面,提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行如第一方面或第一方面可能的实现方式,或第二方面或第二方面可能的实现方式,或第三方面或第三方面可能的实现方式中任一项所述的目标用户锁定方法。
本申请的第九方面,提供一种装置,该装置具有实现上述第一方面或第二方面或第三方面的方法中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,例如,确定单元或模块,采集单元或模块,跟踪单元或模块等。
本申请的第十方面,提供一种芯片系统,该芯片系统应用于电子设备;芯片系统包括接口电路和处理器;接口电路和处理器通过线路互联;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行该计算机指令时,芯片系统执行如第一方面或第一方面可能的实现方式,或第二方面或第二方面可能的实现方式,或第三方面或第三方面可能的实现方式中任一项所述的目标用户锁定方法。
应当理解的是,本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
图1为本申请实施例提供的一种电子设备的结构示意图;
图2为本申请实施例提供的一种目标用户锁定方法的流程示意图;
图3为本申请实施例提供的一种显示界面示意图;
图4A为本申请实施例提供的另一种目标用户锁定方法的流程示意图;
图4B为本申请实施例提供的一种目标用户的识别场景示意图;
图5A为本申请实施例提供的又一种目标用户锁定方法的流程示意图;
图5B为本申请实施例提供的另一种目标用户的识别场景示意图。
具体实施方式
基于家庭中的电视机等电子设备,利用图像处理技术可以为用户提供智能健身指导,让用户在家中也可科学健身。其中,利用图像处理技术进行健身指导时,电子设备对目标用户的锁定(如识别,跟踪)是提供智能健身指导的关键。例如,在用户开始健身时,电子设备可将某一特定区域,如画幅中央的用户识别为目标用户。然后,通过人体检测算法和目标跟踪算法对该目标用户进行跟踪。在跟踪过程中通过采集该目标用户的人体图像,以根据采集到的人体图像识别目标用户的健身动作,完成健身指导,如对健身动作进行计数,指出错误动作,给出改进指导等。
但是,上述过程并无法保障目标用户锁定的准确性。如,在特定区域有多个用户时,难以确定目标用户。在目标用户短暂离开摄像头视角(Field of View,FOV),再次回到摄像头FOV时如果电子设备已锁定其他用户为目标用户,则难以将目标用户切回之前的用户。在有干扰人物与目标用户重叠(如,从目标用户身前经过),上述过程容易出现误跟踪的问题。这些问题都会影响基于电子设备进行智能健身的用户体验,有时用户甚至无法做完一套完整的健身动作。
本申请实施例提供一种目标用户锁定方法,该方法可以应用于包括显示屏和摄像头的电子设备。该方法中,电子设备可以准确的锁定目标用户,即可准确的识别并跟踪目标用户,以为目标用户提供智能的健身指导。提高了用户使用电子设备进行智能健身时的用户体验。
示例性的,本申请实施例中的电子设备可以是电视机、平板电脑、投影仪、手机、桌面型、膝上型、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer,UMPC)、上网本,以及蜂窝电话、个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)\虚拟现实(virtual reality,VR)设备等包括显示屏和摄像头的设备,本申请实施例对该电子设备的具体形态不作特殊限制。
请参考图1,为本申请实施例提供的一种电子设备的结构示意图。如图1所示,电子设备可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universalserial bus,USB)接口130,电源管理模块140,天线,无线通信模块160,音频模块170,扬声器170A,音箱接口170B,麦克风170C,传感器模块180,按键190,指示器191,显示屏192,以及摄像头193等。其中,上述传感器模块180可以包括距离传感器,接近光传感器,指纹传感器,温度传感器,触摸传感器,环境光传感器等传感器。
可以理解的是,本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,和/或USB接口等。
电源管理模块140用于连接电源。电源管理模块140还可以与处理器110、内部存储器121、显示屏192、摄像头193和无线通信模块160等连接。电源管理模块140接收电源的输入,为处理器110、内部存储器121、显示屏192、摄像头193和无线通信模块160等供电。在一些实施例中,电源管理模块140也可以设置于处理器110中。
电子设备的无线通信功能可以通过天线和无线通信模块160等实现。其中,无线通信模块160可以提供应用在电子设备上的包括无线局域网(wireless local areanetworks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequencymodulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。
无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线转为电磁波辐射出去。在一些实施例中,电子设备的天线和无线通信模块160耦合,使得电子设备可以通过无线通信技术与网络以及其他设备通信。
电子设备通过GPU,显示屏192,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏192和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏192用于显示图像,视频等。该显示屏192包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。
电子设备可以通过ISP,摄像头193,视频编解码器,GPU,显示屏192以及应用处理器等实现拍摄功能。ISP用于处理摄像头193反馈的数据。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头193,N为大于1的正整数。例如,以电子设备是电视机为例,如图3中的(a)所示,摄像头193可以设置于电视机的显示屏192的上侧边缘处。当然,本申请实施例对摄像头193在电子设备上的位置不作限定。
或者,电子设备可以不包括摄像头,即上述摄像头193并未设置于电子设备(如电视机)中。电子设备可以通过接口(如USB接口130)外接摄像头193。该外接的摄像头193可以通过外部固定件(如带夹子的摄像头支架)固定在电子设备上。例如,外接的摄像头193可以通过外部固定件,固定在电子设备的显示屏192的边缘处,如上侧边缘处。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备可以通过音频模块170,扬声器170A,麦克风170C,音箱接口170B,以及应用处理器等实现音频功能。例如,音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。
音箱接口170B用于连接有线音箱。音箱接口170B可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入,产生与电子设备的用户设置以及功能控制有关的键信号输入。
指示器191可以是指示灯,可以用于指示电子设备处于开机状态、待机状态或者关机状态等。例如,指示灯灭灯,可指示电子设备处于关机状态;指示灯为绿色或者蓝色,可指示电子设备处于开机状态;指示灯为红色,可指示电子设备处于待机状态。
在一些实施例中,如电视机等电子设备会配有一遥控器。该遥控器用于控制电子设备。该遥控器可以包括:多个按键,如电源按键、音量按键、以及其他的多个选择按键。遥控器上的按键可以是机械按键,也可以是触摸式按键。遥控器可以接收按键输入,产生与电子设备的用户设置以及功能控制有关的键信号输入,并向电子设备发送相应的控制信号,以控制电子设备。例如,遥控器可以通过红外信号等向电子设备发送控制信号。该遥控器还可以包括电池收纳腔,用于安装电池,为遥控器供电。
可以理解的是,本申请实施例示意的结构并不构成对电子设备的具体限定。其可以具有比图1中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。例如,该电子设备还可以包括音箱等部件。图1中所示出的各种部件可以在包括一个或多个信号处理或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
以下实施例中的方法均可以在具有上述硬件结构的电子设备中实现。以下实施例中以上述电子设备是电视机为例,对本申请实施例的方法进行说明。
图2为本申请实施例提供的一种目标用户锁定方法的流程示意图。如图2所示,该方法可以包括:
S201、电子设备确定目标用户。
其中,目标用户是指使用电子设备进行健身指导的用户。
示例性的,电子设备中可安装有用于进行健身指导的应用程序。在用户想要进行健身时,电子设备中的该应用程序可为用户提供智能健身指导。例如,以电子设备是电视机为例。用于进行健身指导的应用可为“AI健身”应用。在用户想要在家中利用电视机进行健身时,可以打开电视机中的“AI健身”应用。例如,如图3中的(a)所示,用户可使用遥控器对电视机显示的界面中“AI健身”应用的图标301进行操作。响应于该操作,电视机可打开“AI健身”应用,并显示“AI健身”应用的界面。如,“AI健身”应用的界面可如图3中的(b)所示的界面302。该“AI健身”应用可为用户提供不同类型的健身指导。如,“AI健身”应用的界面302中,包括各种健身指导课程的入口,如课程卡片1 303等,用户可根据需求对对应入口进行操作,以选择想要健身的课程进行健身指导。
可以理解的是,在基于电子设备进行健身指导时,电子设备首先需要识别想要健身指导的用户,即需确定目标用户。在本实施例中,电子设备可采用如下方式来确定目标用户。
方式1:电子设备可通过对用户的生物特征,如人脸进行识别,以确定目标用户。
例如,以电子设备为电视机为例。用户想要减脂指导时,可在图3中的(b)所示的“AI健身”应用的界面302中选择对应的指导课程。如,用户可使用遥控器对“AI健身”应用的界面302中课程卡片1 303进行操作。响应于该操作,电视机可确定目标用户。
其中,在该方式1中,上述S201可以包括,即电子设备确定目标用户的过程可包括如图4A所示的步骤。电子设备打开电子设备的摄像头,通过该摄像头采集用户图像数据(即执行S401)。电子设备根据采集到的用户图像数据,利用人体检测算法判断画幅内的用户数量(即执行S402)。其中,画幅包括摄像头FOV中的部分区域或全部区域。如果画幅内的用户数量为0,则重新执行S401。如果画幅内的用户数量等于1,则电子设备可确定画幅内的用户为目标用户(即执行S403)。
如果画幅内的用户数量大于1,则电子设备通过摄像头采集画幅内所有用户的人脸图像(即执行S404)。电子设备识别画幅内所有用户的人脸图像与存储的人脸图像是否匹配(即执行S405)。如果电子设备识别出画幅内存在人脸图像与存储的人脸图像相匹配的用户,则确定匹配成功的人脸图像对应的用户为目标用户(即执行S406)。其中,目标用户的数量可以是一个,也可以是两个或两个以上。例如,如果电子设备确定画幅内存在一个人脸图像与存储的人脸图像相匹配的用户,则确定该用户为目标用户。如果电子设备确定画幅内存在多个(如,两个或两个以上)人脸图像与存储的人脸图像相匹配的用户,则电子设备可以确定该多个用户均为目标用户,或者,电子设备可通过以下方式2或方式3从这多个用户中确定目标用户。
如果电子设备在采集的画幅内所有用户的人脸图像中,未识别出与存储的人脸图像相匹配的人脸图像,则可能是想要健身指导的用户未在画幅内,因此,在一种可能的实现方式,电子设备可以播放或显示提示信息,提示用户移动位置,以确保摄像头能检测到用户(即执行S407)。并且电子设备可重新执行上述S401。或者,也可能是电子设备中并未存储想要健身的用户的人脸图像,则在另一种可能的实现方式中,电子设备可通过其他方式,如以下方式2或方式3确定目标用户(即执行S408)。当然,在该实现方式中,电子设备也可以显示提示信息,提示用户录入人脸图像,以便在下次健身时,电子设备可识别出该用户。
其中,在本实施例中,电子设备中存储的人脸图像可以是用户在第一次基于电子设备进行健身指导时录入并存储的。例如,用户在第一次使用电子设备进行健身指导时,电子设备可提示用户创建个人账户并进行人脸数据采集。这样,用户可根据提示在电子设备上创建个人账户,并由电子设备采集自身的人脸图像。在采集成功后电子设备可存储采集到的人脸数据。其中,人脸图像可与创建的个人账户关联存储。同一个个人账户可关联存储一个或多个人脸图像。与不同个人账户关联存储的人脸图像可以相同,也可以不同。也就是说,上述S405具体的可以为:电子设备可以识别画幅内所有用户的人脸图像和与当前登录的个人账户关联存储的人脸图像是否匹配。
例如,以电子设备是电视机为例,结合图3所示的示例。在用户使用遥控器对“AI健身”应用的界面302中课程卡片1 303进行操作后,如图4B所示,电视机可通过摄像头采集画幅(如图4B中的扇形范围)内所有用户的人脸图像。如图4B所示,扇形范围内包括用户1和用户2,用户1坐在沙发上,用户2是准备健身的用户,电视机内存储有用户2的人脸图像。在采集到画幅内所有用户,即用户1和用户2的人脸图像后,电视机可识别用户1和用户2的人脸图像与存储的人脸图像是否匹配。电视机可匹配出用户2的人脸图像与存储的人脸图像匹配,此时确定用户2是目标用户。
方式2:电子设备可通过对用户的人体姿态进行识别,以确定目标用户。
如上述方式1中的示例,电子设备可在接收到用户对“AI健身”应用的界面302中课程卡片1 303的操作后,确定目标用户。
其中,在该方式2中,上述S201可以包括,即电子设备确定目标用户的过程可包括如图5A所示的步骤。电子设备打开电子设备的摄像头,通过该摄像头采集用户图像数据(即执行S501)。电子设备根据采集到的用户图像数据,利用人体检测算法判断画幅内的用户数量(即执行S502)。如果画幅内的用户数量为0,则重新执行S501。如果画幅内的用户数量等于1,则电子设备可确定画幅内的用户为目标用户(即执行S503)。
如果画幅内的用户数量大于1,则电子设备可以播放或显示提示信息,提示用户完成目标动作,如双臂向两侧伸直,双臂弯举,叉腰,挥动手臂,点头,蹬腿等标志性动作(即执行S504)。需要进行健身指导的用户会根据提示完成目标动作,不需要进行健身指导的用户则不会。电子设备通过摄像头采集画幅内所有用户的人体姿态,并利用人体姿态检测算法识别画幅内所有用户的人体姿态与上述目标动作是否匹配(即执行S505)。其中,人体姿态检测(human pose estimation)算法是一种通过训练神经网络模型检测人体关键点(keypoint),并根据人体关键点来描述人的姿态(pose)的算法。
如果电子设备识别出画幅内存在人体姿态与目标动作相匹配的用户,则确定匹配成功的人体姿态对应的用户为目标用户(即执行S506)。其中,目标用户的数量可以是一个,也可以是两个或两个以上。例如,如果电子设备确定画幅内存在一个人体姿态与目标动作相匹配的用户,则确定该用户为目标用户。如果电子设备确定画幅内存在多个(如,两个或两个以上)人体姿态与目标动作相匹配的用户,则电子设备可以确定该多个用户均为目标用户。或者,如果用户所选的课程只允许一个人进行,即单人模式,则电子设备可播放或显示提示信息,提示其他用户避让,并重新执行上述S505,直到确定出画幅内仅存在一个人体姿态与目标动作相匹配的用户时,确定其为目标用户。
如果电子设备在采集的画幅内所有用户的人体姿态中,未识别出与目标动作相匹配的人体姿态,则可能是想要健身指导的用户未在画幅内,因此,在一种可能的实现方式,电子设备可以播放或显示提示信息,提示用户移动位置,以确保摄像头能检测到用户(即执行S507)。并且电子设备可重新执行上述S501。或者,也可能是用户的动作不标准,则在另一种可能的实现方式中,电子设备可重新执行上述S504,以指示用户重新完成目标动作。可以看到的是,用户仅需完成指定的动作,即可使得电子设备自动完成目标用户的确定,很方便的实现了目标用户确定。
例如,以电子设备是电视机为例,结合图3所示的示例。例如,以电子设备是电视机为例,结合图3所示的示例。在用户使用遥控器对“AI健身”应用的界面302中课程卡片1 303进行操作后,如图5B所示,电视机可显示界面501。该界面501中包括提示信息502,该提示信息502用于提示用户完成目标动作:双臂向两侧伸直。另外,电视机可通过摄像头采集画幅(如图5B中的扇形范围)内所有用户的人体姿态。如图5B所示,扇形范围内包括用户1和用户2,用户1是准备健身的用户,用户1按照提示在完成双臂向两侧伸直的动作,而用户2没有做该动作。在采集到画幅内所有用户,即用户1和用户2的人体姿态后,电视机可识别用户1和用户2的人体姿态与目标动作是否匹配。电视机可匹配出用户1的人体姿态与目标动作匹配,此时确定用户1是目标用户。
另外,在本实施例中,在电子设备确定出目标用户之后可进入健身环节。在健身环节,目标用户可根据电子设备显示屏上显示的课程指导完成健身动作。在该实现方式2中,在目标用户健身的过程中,如果其他用户希望尝试健身训练或者想完成接力训练,则该用户可通过完成上述目标动作,以触发电子设备实现目标用户的切换。这样,可较为方便的完成目标用户的切换,且无需原目标用户进行避让。另,在目标用户健身过程中,如果该目标用户短暂离开摄像头FOV,导致电子设备将目标跟踪到非目标用户身上,则在用户返回摄像头FOV时,也可以通过完成上述目标动作重新使电子设备确定其为目标用户,无需其他用户避让。
方式3:电子设备利用用户佩戴的可穿戴设备,结合识别的用户的人体姿态,来实现目标用户的确定。
其中,可穿戴设备可以是手表,手环,运动耳机,跑步精灵等设备。用户可将自身佩戴的可穿戴设备与电子设备配对并建立无线连接。另外,在用户运动的过程中,用户佩戴的可穿戴设备可将用户的运动数据(如,角速度,加速度等)传输给电子设备。
如上述方式1中的示例,电子设备可在接收到用户对“AI健身”应用的界面302中课程卡片1 303的操作后,确定目标用户。在该方式3中,上述S201可以包括,即电子设备确定目标用户的过程可包括:电子设备打开电子设备的摄像头,播放或显示提示信息,提示用户完成目标动作,如双臂弯举,叉腰,挥动手臂,点头,蹬腿等标志性动作。需要进行健身指导的用户会根据提示完成目标动作,不需要进行健身指导的用户则不会。电子设备通过摄像头采集画幅内所有用户的人体姿态。电子设备将画幅内所有用户中人体姿态与目标动作相匹配的用户确定为目标用户。另外,电子设备还可根据采集到的目标用户的人体姿态确定目标用户的运动数据。电子设备将确定出的目标用户的运动数据和接收来自可穿戴设备的运动数据进行比对,可将运动数据与确定出的目标用户的运动数据相匹配的可穿戴设备确定为目标用户的可穿戴设备。
方式4:电子设备可根据用户在特定区域,如画幅中的位置来确定目标用户。
如上述方式1中的示例,电子设备可在接收到用户对“AI健身”应用的界面302中课程卡片1 303的操作后,确定目标用户。其中,在该方式4中,上述S201可以为,即电子设备确定目标用户的过程可为:电子设备可根据用户在特定区域(如画幅)中的位置,将该特定区域,如画幅中央或标识区域内的用户确定为目标用户。
需要说明的是,以上示例中是以在用户选择了对应的健身课程后,触发电子设备执行确定目标用户的操作为例进行说明的。电子设备也可在其他时机,执行目标用户的确定操作。如电子设备可在接收到用户打开上述“AI健身”应用时,确定目标用户。本申请实施例对电子设备执行确定目标用户的操作的时机并不做具体限制,只需在用户开始进入健身环节之前执行完成即可。
S202、电子设备对目标用户进行跟踪,在跟踪过程中,采集目标用户的人体图像。
S203、电子设备根据S202中采集到的人体图像,进行健身指导。
其中,在电子设备确定出目标用户之后,可进入健身环节。在健身环节,目标用户可根据电子设备显示屏上显示的课程指导完成健身动作。另外,在用户执行健身动作的过程中,电子设备可通过摄像头对目标用户进行实时跟踪,并采集目标用户的人体图像,以便根据采集到的人体图像,识别目标用户的健身动作。电子设备根据识别出的健身动作和对应的关键指标对目标用户健身动作的完成质量进行评价,并给出智能健身指导,如对健身动作进行计数,指出错误动作,给出改进指导等。
在实施例中,电子设备可采用如下方式来实现目标用户的跟踪。
方式A:电子设备可利用目标用户佩戴的可穿戴设备来实现目标用户的跟踪。
在一些实施例中,目标用户佩戴的可穿戴设备可与电子设备配对并建立无线连接。如果S201中电子设备采用方式3确定目标用户,则目标用户的可穿戴设备在S201中已确定。如果S201中电子设备采用方式1,方式2或方式4确定目标用户。则在本实施中,在电子设备执行上述S201,即确定目标用户后,电子设备可以确定目标用户的可穿戴设备。在一些实施例中,电子设备可以确定与电子设备相互关联的可穿戴设备为目标用户的可穿戴设备。其中,可穿戴设备与电子设备相互关联可以是:可穿戴设备与电子设备登录了同一个账号。或者,可穿戴设备登录的账号是电子设备登录账号的联系人。或者,可穿戴设备登录的账号与电子设备的健身应用,如“AI健身”应用登录的账号相同。上述账号可以为云服务提供商为用户提供的账号,如小米账号、华为账号、苹果账号(AppleID)等,还可以为用于登录应用程序的账号,如微信账号、谷歌邮箱账号等。在其他一些实施例中,电子设备可提示目标用户对自身的可穿戴设备执行特定操作,如单击屏幕,或者按下某个按键。电子设备可将接收到对应操作的可穿戴设备确定为目标用户的可穿戴设备。
在目标用户根据课程指导完成健身动作的过程中,目标用户的可穿戴设备可采集用户的运动数据,并传输给电子设备。其中,运动数据可以包括角速度,加速度等。另外,在目标用户根据课程指导完成健身动作的过程中,电子设备通过摄像头利用目标跟踪算法可对目标用户进行跟踪。如果在对目标用户进行跟踪的过程中出现了干扰用户(如,可将出现在画幅内的影响电子设备采集目标用户健身数据的用户称为干扰用户),如出现了某个用户与目标用户的身体重叠的情况,即电子设备检测到画幅内存在干扰用户,则电子设备可利用摄像头采集画幅内所有用户的人体姿态。电子设备根据采集到的画幅内所有用户的人体姿态确定每个用户的运动数据。然后将确定出的运动数据和接收来自可穿戴设备的运动数据进行比对,将画幅内的运动数据与来自可穿戴设备的运动数据匹配的用户锁定为目标用户,并继续采用目标跟踪算法对其进行跟踪。
例如,以电子设备是电视机为例。用户1是目标用户,目标2是干扰用户,用户1的手表与电视机建立了无线连接。在用户1根据课程指导完成健身动作的过程中,用户1的手表采集用户1的加速度并传输给了电视机。另外,在用户1根据课程指导完成健身动作的过程中,电视机通过摄像头利用目标跟踪算法可对用户1进行跟踪。在对用户1进行跟踪的过程中,用户2与用户1的身体出现了重叠的情况,如用户2坐在用户1身旁的沙发上,用户1在完成健身动作时与用户2的身体重叠,则电视机可利用摄像头采集画幅内所有用户,如包括用户1和用户2的人体姿态。根据采集到的用户1和用户2的人体姿态,电视机可以确定用户1的加速度和用户2的加速度。然后,电视机可将确定出加速度与来自手表的加速度进行匹配。匹配出用户1的加速度与来自手表的加速度相同,则电视机可将用户1锁定为目标用户,并继续采用目标跟踪算法对用户1进行跟踪。
方式B:电子设备可通过识别画幅内所有用户的运动模式,以实现目标用户的跟踪。
其中,对于所提供的健身课程,该健身课程中教练的运动模式通常是已知的,而干扰用户的运动模式往往和健身课程中教练的运动模式不同,目标用户的运动模式与健身课程中教练的运动模式相同。因此,可通过识别画幅内所有用户的运动模式,以实现目标用户的跟踪。
作为一种示例,健身课程中教练的运动模式可包括以下模式中的一种或多种:盘腿跳,左右换腿跳,手助力深蹲,侧点地出拳,侧向提膝收腹,交替弓步蹲,弓步过头击掌跳,半蹲跳,站姿腿后伸,深蹲侧向提膝收腹。干扰用户的运动模式可包括以下模式中的一种或多种:静止模式(如,家人坐在一旁围观目标用户健身等,其身体包络框相对静止),准直线运动模式(如,如家人从摄像头FOV内经过,类似直线运动)。
在目标用户根据课程指导完成健身动作的过程中,电子设备通过摄像头利用目标跟踪算法可对目标用户进行跟踪。如果在对目标用户进行跟踪的过程中出现了干扰用户,如出现了某个用户与目标用户的身体重叠的情况,即电子设备检测到画幅内存在干扰用户,则电子设备可利用摄像头采集画幅内所有用户的人体姿态。电子设备根据采集到的画幅内所有用户的人体姿态确定每个用户的运动模式。
在一些实施例中,电子设备可将确定出的运动模式与健身课程中教练的运动模式进行比对,将画幅内的运动模式与健身课程中教练的运动模式匹配的用户锁定为目标用户,并继续采用目标跟踪算法对其进行跟踪。在其他一些实施例中,电子设备可先确定出画幅中的干扰用户并将其滤除,如电子设备可根据画幅内所有用户的运动模式,将画幅中运动模式是静止模式和准直线运动模式等干扰运动模式的用户滤除,即滤除干扰用户。然后,电子设备对滤除干扰用户后的画幅中用户的运动模式与健身课程中教练的运动模式进行匹配,将运动模式匹配的用户锁定为目标用户,并继续采用目标跟踪算法对其进行跟踪。其中,锁定的目标用户可以是一个,也可以是多个。也就是说,电子设备可将画幅中运动模式与健身课程中教练的运动模式匹配的所有用户锁定为目标用户并对其进行跟踪。
例如,以电子设备为电视机为例。用户1是目标用户,目标2是干扰用户。在用户1根据课程指导完成健身动作的过程中,电视机通过摄像头利用目标跟踪算法可对用户1进行跟踪。用户2在用户1完成健身动作时从用户1身前经过,即在对用户1进行跟踪的过程中,用户2与用户1的身体出现了重叠的情况,则电视机可利用摄像头采集画幅内所有用户,如包括用户1和用户2的人体姿态,根据采集到的用户1和用户2的人体姿态,可以确定用户1的运动模式是侧点地出拳,用户2的运动模式是准直线运动模式。电视机可确定出用户2是干扰用户并将其滤除。电视机还可确定出用户1的运动模式与健身课程中教练的运动模式(如侧点地出拳)相匹配,此时,电视机可将用户1锁定为目标用户,并继续采用目标跟踪算法对用户1进行跟踪。
方式C:电子设备可结合目标用户的特征(如人脸,或者人脸和其他如发型,穿着等特征),实现目标用户的跟踪。
其中,以用户的特征是人脸为例。如果S201中是采用方式1进行目标用户确定的,则电子设备可根据存储的目标用户的人脸图像实现目标用户的跟踪。如果S201中是采用方式2或方式3进行目标用户确定的,则在确定目标用户后,电子设备可采集该目标用户的人脸图像并保存,以便可在S203中根据目标用户的人脸图像实现目标用户的跟踪。
以用户的特征是人脸和其他特征为例。如果S201中是采用方式1进行目标用户确定的,则电子设备在确定目标用户后,可获取目标用户的如发型,穿着等其他特征并存储,用于实现目标用户的跟踪。如果S201中是采用方式2或方式3进行目标用户确定的,则在确定目标用户后,电子设备可采集该目标用户的人脸图像及其他如发型,穿着等特征并保存,用于实现目标用户的跟踪。
在目标用户根据课程指导完成健身动作的过程中,电子设备通过摄像头利用目标跟踪算法可对目标用户进行跟踪。如果在对目标用户进行跟踪的过程中出现了干扰用户,如出现了某个用户与目标用户的身体重叠的情况,即电子设备检测到画幅内存在干扰用户,则电子设备可利用摄像头采集画幅内所有用户的特征(如人脸图像或人体图像)。电子设备根据采集到的画幅内所有用户的特征,将特征与存储的特征相匹配的用户锁定为目标用户,并继续采用目标跟踪算法对其进行跟踪。
例如,以电子设备是电视机为例。用户1是目标用户,目标2是干扰用户,电视机存储有用户1的人脸图像。在用户1根据课程指导完成健身动作的过程中,电视机通过摄像头利用目标跟踪算法可对用户1进行跟踪。用户2在用户1完成健身动作时从用户1身前经过,则电视机可利用摄像头采集画幅内所有用户,如包括用户1和用户2的人脸图像。根据采集到的用户1和用户2的人脸图像,电视机可锁定用户1为目标用户,并继续采用目标跟踪算法对用户1进行跟踪。
另外,在本实施例中,如果电子设备检测到干扰用户持续对采集目标用户的数据有干扰,则可播放或显示提示信息,提示其他人避让。这样,可避免在画幅中长时间出现干扰用户。
采用本实施例中的技术方案,电子设备可通过对用户特征进行识别,或结合用户佩戴的可穿戴设备采集的数据对用户进行识别等方法,完成目标用户确定,健身过程中的目标用户跟踪等过程,能够保障目标用户锁定的准确性,提升了使用电子设备进行智能健身时的用户体验。另外,如果在用户健身过程中,出现干扰用户从目标用户身前经过,或其他干扰人物与目标用户重叠的情况,可以通过运动模式匹配来保障目标用户跟踪的准确性,避免目标用户错误转移的情况,提高了用户体验和健身动作的可完成性。
本申请另一些实施例还提供了一种电子设备,用于执行以上实施例中的方法,以实现上述实施例中电子设备的功能。该电子设备可以包括:显示屏;一个或多个处理器;存储器;摄像头。上述各器件可以通过一个或多个通信总线连接。其中上述存储器中存储一个或多个计算机程序代码,该一个或多个计算机程序代码包括计算机指令,一个或多个处理器用于执行计算机指令,可以用于实现上述实施例中电子设备的行为功能。显示屏可用于根据一个或多个处理器的指示进行内容的显示,如显示健身教程等。
本申请另一些实施例还提供一种计算机可读存储介质,该计算机可读存储介质可包括计算机软件指令,当该计算机软件指令在电子设备上运行时,使得该电子设备执行上述实施例中电子设备执行的各个步骤。
本申请另一些实施例还提供一种计算机程序产品,当该计算机程序产品在计算机上运行时,使得该计算机执行上述实施例中电子设备执行的各个步骤。
本申请另一些实施例还提供一种装置,该装置具有实现上述实施例中电子设备行为的功能。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块,例如,确定单元或模块,采集单元或模块,跟踪单元或模块等。
本申请另一些实施例还提供一种芯片系统,该芯片系统可以应用于电子设备。该电子设备包括显示屏和摄像头。芯片系统包括接口电路和处理器;接口电路和处理器通过线路互联;接口电路用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行该计算机指令时,芯片系统执行上述实施例中电子设备执行的各个步骤。
本申请实施例提供的电子设备,计算机可读存储介质,计算机程序产品,装置及芯片系统,可以执行上述实施例中电子设备的动作,其实现原理和技术效果类似,在此不再赘述。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是一个物理单元或多个物理单元,即可以位于一个地方,或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一个设备(可以是单片机,芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (23)

1.一种目标用户锁定方法,其特征在于,所述方法应用于包括摄像头的电子设备,所述方法包括:
所述电子设备确定目标用户,通过所述摄像头对所述目标用户进行跟踪;
所述电子设备在对所述目标用户进行跟踪的过程中,通过所述摄像头采集用户图像数据;
所述电子设备在根据采集到的用户图像数据确定画幅内存在干扰用户时,通过所述摄像头采集所述画幅内所有用户的人体姿态,所述画幅包括所述摄像头视角FOV的部分区域或全部区域;
所述电子设备根据所述画幅内所有用户的人体姿态,确定所述画幅内每个用户的运动模式;
所述电子设备根据所述画幅内每个用户的运动模式,将所述画幅内所有用户中运动模式与健身教程中教练的运动模式相匹配的用户确定为所述目标用户,继续通过所述摄像头对所述目标用户进行跟踪。
2.根据权利要求1所述的方法,其特征在于,所述电子设备根据所述画幅内每个用户的运动模式,将所述画幅内所有用户中运动模式与健身教程中教练的运动模式相匹配的用户确定为所述目标用户,继续通过所述摄像头对所述目标用户进行跟踪,包括:
所述电子设备根据所述画幅内每个用户的运动模式,将所述画幅内所有用户中运动模式为干扰运动模式的干扰用户去除;干扰运动模式包括静止模式,准直线运动模式中的至少一个;
所述电子设备将所述画幅内除所述干扰用户外的用户中运动模式与健身教程中教练的运动模式相匹配的用户确定为所述目标用户,继续通过所述摄像头对所述目标用户进行跟踪。
3.根据权利要求1或2所述的方法,其特征在于,所述根据采集到的用户图像数据确定画幅内存在干扰用户,包括:
所述电子设备根据采集到的用户图像数据,确定所述画幅内存在用户干扰所述摄像头对所述目标用户健身数据的采集。
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述电子设备确定目标用户,包括:
所述电子设备通过摄像头采集用户图像数据;
所述电子设备根据采集到的用户图像数据,在确定所述画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定所述画幅内存在多个用户时,所述电子设备提示用户完成目标动作,通过所述摄像头采集所述画幅内所有用户的人体姿态,将所述画幅内人体姿态与所述目标动作相匹配的用户确定为所述目标用户。
5.根据权利要求1-3中任一项所述的方法,其特征在于,所述电子设备确定目标用户,包括:
所述电子设备通过摄像头采集用户图像数据;
所述电子设备根据采集到的用户图像数据,在确定所述画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定所述画幅内存在多个用户时,所述电子设备通过所述摄像头采集所述画幅内所有用户的人脸图像,将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述电子设备采集所述目标用户的人脸图像,将所述目标用户的人脸图像与账户关联存储;
所述将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户,包括:
所述电子设备将所述画幅内人脸图像与和所述账户关联存储的人脸图像相匹配的用户确定为所述目标用户。
7.根据权利要求1-6中任一项所述的方法,其特征在于,健身课程中教练的运动模式包括以下模式中的一种或多种:盘腿跳,左右换腿跳,手助力深蹲,侧点地出拳,侧向提膝收腹,交替弓步蹲,弓步过头击掌跳,半蹲跳,站姿腿后伸,深蹲侧向提膝收腹。
8.一种目标用户锁定方法,其特征在于,所述方法应用于包括摄像头的电子设备,所述方法包括:
所述电子设备确定目标用户,通过所述摄像头对所述目标用户进行跟踪;
所述电子设备在对所述目标用户进行跟踪的过程中,通过所述摄像头采集用户图像数据;
所述电子设备在根据采集到的用户图像数据确定画幅内存在干扰用户时,通过所述摄像头采集所述画幅内所有用户的特征数据,所述画幅包括所述摄像头视角FOV的部分区域或全部区域;
所述电子设备根据所述画幅内所有用户的特征数据,将所述画幅内所有用户中特征数据与存储的特征数据相匹配的用户确定为所述目标用户,继续通过所述摄像头对所述目标用户进行跟踪,所述特征数据包括以下至少一种:人脸图像,发型图像,穿着图像。
9.根据权利要求8所述的方法,其特征在于,在所述电子设备确定目标用户之后,所述方法还包括:
所述电子设备采集所述目标用户的特征数据并存储。
10.根据权利要求8或9所述的方法,其特征在于,所述根据采集到的用户图像数据确定画幅内存在干扰用户,包括:
所述电子设备根据采集到的用户图像数据,确定所述画幅内存在用户干扰所述摄像头对所述目标用户健身数据的采集。
11.根据权利要求8-10中任一项所述的方法,其特征在于,所述电子设备确定目标用户,包括:
所述电子设备通过摄像头采集用户图像数据;
所述电子设备根据采集到的用户图像数据,在确定所述画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定所述画幅内存在多个用户时,所述电子设备通过所述摄像头采集所述画幅内所有用户的人脸图像,将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
所述电子设备采集所述目标用户的人脸图像,将所述目标用户的人脸图像与账户关联存储;
所述将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户,包括:
所述电子设备将所述画幅内人脸图像与和所述账户关联存储的人脸图像相匹配的用户确定为所述目标用户。
13.根据权利要求8-10中任一项所述的方法,其特征在于,所述电子设备确定目标用户,包括:
所述电子设备通过摄像头采集用户图像数据;
所述电子设备根据采集到的用户图像数据,在确定所述画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定所述画幅内存在多个用户时,所述电子设备提示用户完成目标动作,通过所述摄像头采集所述画幅内所有用户的人体姿态,将所述画幅内人体姿态与所述目标动作相匹配的用户确定为所述目标用户。
14.一种目标用户锁定方法,其特征在于,所述方法应用于包括摄像头的电子设备,所述方法包括:
所述电子设备确定目标用户,通过所述摄像头对所述目标用户进行跟踪;
所述电子设备确定所述目标用户的可穿戴设备,所述目标用户的可穿戴设备与所述电子设备建立了无线连接;
所述电子设备在对所述目标用户进行跟踪的过程中,通过所述摄像头采集用户图像数据;
所述电子设备在根据采集到的用户图像数据确定画幅内存在干扰用户时,通过所述摄像头采集所述画幅内所有用户的人体姿态,所述画幅包括所述摄像头视角FOV的部分区域或全部区域;
所述电子设备根据所述画幅内所有用户的人体姿态,确定所述画幅内每个用户的运动数据;
所述电子设备根据所述画幅内每个用户的运动数据,将所述画幅内所有用户中运动数据与接收来自所述目标用户的可穿戴设备的运动数据相匹配的用户确定为所述目标用户,继续通过所述摄像头对所述目标用户进行跟踪。
15.根据权利要求14所述的方法,其特征在于,所述根据采集到的用户图像数据确定画幅内存在干扰用户,包括:
所述电子设备根据采集到的用户图像数据,确定所述画幅内存在用户干扰所述摄像头对所述目标用户健身数据的采集。
16.根据权利要求14或15所述的方法,其特征在于,在所述电子设备确定目标用户之前,所述方法还包括:
所述电子设备与第一可穿戴设备配对并建立无线连接,用于所述第一可穿戴设备将采集到的用户的运动数据传输给所述电子设备;
所述电子设备确定目标用户,包括:
所述电子设备提示用户完成目标动作,通过所述摄像头采集所述画幅内所有用户的人体姿态;
所述电子设备根据所述画幅内所有用户的人体姿态,将所述画幅内人体姿态与所述目标动作相匹配的用户确定为所述目标用户;
所述电子设备确定所述目标用户的可穿戴设备,包括:
所述电子设备根据所述目标用户的人体姿态,确定所述目标用户的运动数据,在接收到的来自所述第一可穿戴设备的运动数据与所述目标用户的运动数据相匹配时,确定所述第一可穿戴设备为所述目标用户的可穿戴设备。
17.根据权利要求14或15所述的方法,其特征在于,所述电子设备确定目标用户,包括:
所述电子设备通过摄像头采集用户图像数据;
所述电子设备根据采集到的用户图像数据,在确定所述画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定所述画幅内存在多个用户时,所述电子设备通过所述摄像头采集所述画幅内所有用户的人脸图像,将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户。
18.根据权利要求17所述的方法,其特征在于,所述方法还包括:
所述电子设备采集所述目标用户的人脸图像,将所述目标用户的人脸图像与账户关联存储;
所述将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户,包括:
所述电子设备将所述画幅内人脸图像与和所述账户关联存储的人脸图像相匹配的用户确定为所述目标用户。
19.根据权利要求14或15所述的方法,其特征在于,所述电子设备确定目标用户,包括:
所述电子设备通过摄像头采集用户图像数据;
所述电子设备根据采集到的用户图像数据,在确定所述画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定所述画幅内存在多个用户时,所述电子设备提示用户完成目标动作,通过所述摄像头采集所述画幅内所有用户的人体姿态,将所述画幅内人体姿态与所述目标动作相匹配的用户确定为所述目标用户。
20.根据权利要求17-19中任一项所述的方法,其特征在于,所述电子设备确定所述目标用户的可穿戴设备,包括:
所述电子设备确定与所述电子设备相互关联的可穿戴设备为所述目标用户的可穿戴设备;
其中,可穿戴设备与所述电子设备相互关联包括:可穿戴设备与所述电子设备登录了同一个账号,可穿戴设备登录的账号是所述电子设备登录账号的联系人,可穿戴设备登录的账号与所述电子设备的健身应用登录的账号相同。
21.一种电子设备,其特征在于,所述电子设备包括:处理器、存储器、显示屏和摄像头;所述处理器和所述显示屏,所述摄像头,所述存储器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机软件指令,当所述计算机软件指令被所述电子设备执行时,使得所述电子设备执行如权利要求1至20中任一项所述的目标用户锁定方法。
22.一种计算机可读存储介质,其特征在于,包括:计算机软件指令;
当所述计算机软件指令在电子设备中运行时,使得所述电子设备执行如权利要求1至20中任一项所述的目标用户锁定方法。
23.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至20中任一项所述的目标用户锁定方法。
CN201910815716.XA 2019-08-30 2019-08-30 一种目标用户锁定方法及电子设备 Pending CN112446899A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910815716.XA CN112446899A (zh) 2019-08-30 2019-08-30 一种目标用户锁定方法及电子设备
CN202011045942.3A CN112308880B (zh) 2019-08-30 2019-08-30 一种目标用户锁定方法及电子设备
US17/636,725 US20220284738A1 (en) 2019-08-30 2020-08-04 Target user locking method and electronic device
PCT/CN2020/106913 WO2021036717A1 (zh) 2019-08-30 2020-08-04 一种目标用户锁定方法及电子设备
JP2022513342A JP7341324B2 (ja) 2019-08-30 2020-08-04 目標ユーザのロック方法および電子デバイス
EP20858098.5A EP4020389A4 (en) 2019-08-30 2020-08-04 METHOD FOR LOCKING OUT TARGET USER AND ELECTRONIC DEVICE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910815716.XA CN112446899A (zh) 2019-08-30 2019-08-30 一种目标用户锁定方法及电子设备

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202011045942.3A Division CN112308880B (zh) 2019-08-30 2019-08-30 一种目标用户锁定方法及电子设备

Publications (1)

Publication Number Publication Date
CN112446899A true CN112446899A (zh) 2021-03-05

Family

ID=74489232

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201910815716.XA Pending CN112446899A (zh) 2019-08-30 2019-08-30 一种目标用户锁定方法及电子设备
CN202011045942.3A Active CN112308880B (zh) 2019-08-30 2019-08-30 一种目标用户锁定方法及电子设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202011045942.3A Active CN112308880B (zh) 2019-08-30 2019-08-30 一种目标用户锁定方法及电子设备

Country Status (5)

Country Link
US (1) US20220284738A1 (zh)
EP (1) EP4020389A4 (zh)
JP (1) JP7341324B2 (zh)
CN (2) CN112446899A (zh)
WO (1) WO2021036717A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935921A (zh) * 2021-10-19 2022-01-14 成都拟合未来科技有限公司 一种镜面式健身信息交互方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114903325A (zh) * 2021-02-08 2022-08-16 乔山健身器材(上海)有限公司 可自动转向的健身用智能镜子

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008129442A1 (en) * 2007-04-20 2008-10-30 Philips Intellectual Property & Standards Gmbh System and method of assessing a movement pattern
WO2011155958A1 (en) * 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
JP5552946B2 (ja) * 2010-07-30 2014-07-16 株式会社リコー 顔画像サンプル採取装置、顔画像サンプル採取方法、プログラム
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
JP5406883B2 (ja) * 2011-05-20 2014-02-05 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム制御方法、ならびに、プログラム
US20150085111A1 (en) * 2013-09-25 2015-03-26 Symbol Technologies, Inc. Identification using video analytics together with inertial sensor data
US9595146B2 (en) * 2013-11-18 2017-03-14 Microsoft Technology Licensing, Llc Persistent user identification
CN105741312B (zh) * 2014-12-09 2018-04-27 株式会社理光 目标对象跟踪方法和设备
US10210737B2 (en) * 2015-06-23 2019-02-19 Cleveland State University Systems and methods for privacy-aware motion tracking with notification feedback
CN105654512B (zh) * 2015-12-29 2018-12-07 深圳微服机器人科技有限公司 一种目标跟踪方法和装置
US10122965B2 (en) * 2016-11-29 2018-11-06 Facebook, Inc. Face detection for background management
WO2018119871A1 (zh) * 2016-12-29 2018-07-05 深圳市柔宇科技有限公司 一种健身辅助方法及系统
CN107644204B (zh) * 2017-09-12 2020-11-10 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113935921A (zh) * 2021-10-19 2022-01-14 成都拟合未来科技有限公司 一种镜面式健身信息交互方法及系统
CN113935921B (zh) * 2021-10-19 2024-06-04 成都拟合未来科技有限公司 一种镜面式健身信息交互方法及系统

Also Published As

Publication number Publication date
EP4020389A1 (en) 2022-06-29
EP4020389A4 (en) 2022-10-12
CN112308880B (zh) 2022-02-25
WO2021036717A1 (zh) 2021-03-04
JP7341324B2 (ja) 2023-09-08
US20220284738A1 (en) 2022-09-08
CN112308880A (zh) 2021-02-02
JP2022545933A (ja) 2022-11-01

Similar Documents

Publication Publication Date Title
WO2021036568A1 (zh) 辅助健身的方法和电子装置
WO2021000708A1 (zh) 健身教学方法、装置、电子设备及存储介质
CN112439180B (zh) 一种智能语音播放方法及设备
CN113655935B (zh) 一种用户确定方法、电子设备和计算机可读存储介质
CN112308880B (zh) 一种目标用户锁定方法及电子设备
CN112783330A (zh) 电子设备的操作方法、装置和电子设备
WO2023040449A1 (zh) 利用健身动作触发客户端操作指令
WO2022213834A1 (zh) 一种运动指导信息的确定方法、电子设备和运动指导系统
WO2022206639A1 (zh) 人体关键点检测方法及相关装置
WO2021036562A1 (zh) 用于健身训练的提示方法和电子设备
US20230284920A1 (en) Electronic device for controlling operation based on a bio-signal and operating method thereof
CN114359953A (zh) 指示听诊位置的方法及设备
CN112541382A (zh) 一种辅助运动的方法、系统以及识别终端设备
WO2022111704A1 (zh) 心率检测方法及电子设备
WO2022012602A1 (zh) 一种电子设备的屏幕交互方法及装置
WO2021254091A1 (zh) 运动次数的确定方法和终端
CN115604513A (zh) 一种系统模式切换方法、电子设备及计算机可读存储介质
CN113693556A (zh) 运动后肌肉疲劳度的检测方法及装置、电子设备
WO2021254092A1 (zh) 划桨频率的推荐方法、装置和设备
US12126864B2 (en) Screen interaction method and apparatus for electronic device
CN115203524A (zh) 一种健身推荐方法和电子设备
CN116992276A (zh) 解耦数据确定模型的训练、关节角度的确定方法及装置
CN118116065A (zh) 动作识别方法、通信系统及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination