CN113590003A - 一种用户确定方法、电子设备和计算机可读存储介质 - Google Patents

一种用户确定方法、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN113590003A
CN113590003A CN202110131885.9A CN202110131885A CN113590003A CN 113590003 A CN113590003 A CN 113590003A CN 202110131885 A CN202110131885 A CN 202110131885A CN 113590003 A CN113590003 A CN 113590003A
Authority
CN
China
Prior art keywords
user
action
target user
electronic device
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110131885.9A
Other languages
English (en)
Inventor
马春晖
黄磊
陈霄汉
郁心迪
赵杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110131885.9A priority Critical patent/CN113590003A/zh
Priority to CN202110815120.7A priority patent/CN113655935A/zh
Publication of CN113590003A publication Critical patent/CN113590003A/zh
Priority to PCT/CN2021/140199 priority patent/WO2022161037A1/zh
Priority to EP21922627.1A priority patent/EP4270245A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20Input arrangements for video game devices
    • A63F13/21Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45Controlling the progress of the video game
    • A63F13/48Starting a game, e.g. activating a game device or waiting for other players to join a multiplayer session
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/533Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game for prompting the player, e.g. by displaying a game menu
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50Controlling the output signals based on the game progress
    • A63F13/53Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A63F13/5375Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen for graphically or textually suggesting an action, e.g. by displaying an arrow indicating a turn in a driving game
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80Special adaptations for executing a specific game genre or game mode
    • A63F13/816Athletics, e.g. track-and-field sports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例提供一种用户确定方法、电子设备和计算机可读存储介质,涉及人机交互技术领域。该用户确定方法应用于电子设备,包括:响应于用户的第一操作,显示预设的第一图像和采集的第二图像;确定第二图像中的第一目标用户;显示第一目标用户相关的第一内容;在显示第一目标用户相关的第一内容时,确定第二图像中的第二目标用户;在显示第一内容的同时,显示第二目标用户相关的第二内容。通过本申请实施例提供的技术方案,电子设备在确定第一目标用户之后,可以再将其他用户确定为第二目标用户,同时指导多个目标用户进行运动锻炼,具有较好的用户体验。

Description

一种用户确定方法、电子设备和计算机可读存储介质
技术领域
本申请涉及人机交互技术领域,尤其涉及一种用户确定方法、电子设备和计算机可读存储介质。
背景技术
随着计算机技术的发展,搭载摄像头的大屏智能电子设备(如智能电视)能够指导用户进行运动锻炼,例如指导用户健身、练瑜伽、跳舞、打太极、打篮球等。以电子设备指导用户健身为例,电子设备显示教练视频供用户模仿学习,通过摄像头采集用户图像以识别用户的人体姿态,并根据人体姿态对用户的健身动作进行评价与指导。
在电子设备提供的运动项目中,有的需要多个(指两个及以上)用户配合进行(例如双人跳绳),有的则不需要用户之间的相互配合。目前,对于不需要多个用户配合的运动运动项目,电子设备通常只能识别并指导位于屏幕特定区域内的一个用户(例如用户1)进行运动锻炼。在用户1锻炼的过程中,如果其他用户(例如用户2)也想加入当前的运动项目,那么只有用户1退出并且用户2处于该特定区域后,用户2才能加入,电子设备对用户的切换不够智能,用户体验不佳。
发明内容
本申请提供一种用户确定方法、电子设备和计算机可读存储介质,在一定程度上解决了现有技术中电子设备在指导用户进行运动锻炼的过程中,电子设备对用户的确定不够智能,用户体验不佳的问题。
为达到上述目的,本申请采用如下技术方案:
第一方面,本申请实施例提供一种用户确定方法,应用于电子设备,该方法包括:响应于用户的第一操作,显示预设的第一图像和采集的第二图像;确定第二图像中的第一目标用户;显示第一目标用户相关的第一内容;在显示第一目标用户相关的第一内容时,确定第二图像中的第二目标用户;在显示第一内容的同时,显示第二目标用户相关的第二内容。
在本实施例中,用户的第一操作可以为用户打开电子设备所提供的运动项目的操作。其中,运动项目(例如肩颈运动)是指提供运动指导服务的应用程序中设置的子应用程序。一个应用程序中通常包括多个子应用程序,电子设备通过运行不同的子应用程序能够提供不同的运动指导内容。
第一图像通常包括指定加入动作的显示图标,还可以包括示范者(例如教练)的动作。第二图像为电子设备通过摄像头采集的图像信息。第二图像中在包括该第一目标用户和第二目标用户的基础上,还可以包括其他用户。
目标用户是指电子设备针对当前的运动项目所确定的目标指导用户。以当前的运动项目是健身运动为例,该目标用户即为健身用户。目标用户相关的内容可以是:指示用户为目标用户的环形,也可以是用户的运动时长、评分、所消耗的卡路里等。
通过本申请实施例提供的用户确定方法,电子设备在确定第一目标用户之后,可以再将其他用户确定为第二目标用户,同时指导多个目标用户进行运动锻炼,并且第二目标用户的加入不会影响第一目标用户,具有较好的用户体验。
需要说明的是,本申请实施例提供的用户确定方法并不局限于仅有两个目标用户的场景,电子设备在确定多个(指两个或两个以上)的目标用户之后,还可以继续确定其他目标用户,例如第三目标用户、第四目标用户等。
在一些实施例中,确定第二图像中的第一目标用户包括:当第二图像中的用户满足第一预设条件时,将该用户确定为第一目标用户。确定第二图像中的第二目标用户包括:当第二图像中除第一目标用户之外的其他用户满足第一预设条件时,将该其他用户确定为第二目标用户。应理解,在本实施例中,各个目标用户的确定条件均是相同的,各个用户均可以通过完成第一预设条件成为目标用户。
在一些实施例中,该第一预设条件为:用户的动作与指定加入动作匹配,且持续匹配超过预设时间;或者,用户的动作序列与第一图像中显示的动作序列匹配,且持续匹配超过预设时间。其中,指定加入动作是电子设备中预先设置的。第一图像中显示的动作序列为示范者做出的动作序列。
通过本申请实施例提供的方法,用户可以通过做指定加入动作加入当前的运动项目,也可以通过模仿示范者的动作加入当前的运动项目,具有较好的用户体验。
在一些实施例中,该方法还包括:当第一目标用户满足第二预设条件时,不显示第一目标用户相关的第一内容;或者,当第二目标用户满足该第二预设条件时,不显示第二目标用户相关的第二内容。
应理解,当电子设备不显示第一目标用户相关的第一内容后,第一目标用户即退出当前的运动项目,电子设备不再指导其运动。同理,当电子设备不显示第二目标用户相关的第二内容后,第二目标用户即退出当前的运动项目,电子设备不再指导其运动。
在一些实施例中,该第二预设条件为:目标用户的动作与指定退出动作匹配,且持续匹配超过预设时间;或者,目标用户持续静止超过预设时间,且与第一图像中显示的动作序列不匹配;或者,目标用户不在第二图像内且持续超过预设时间。
通过本申请实施例提供的方法,用户可以通过做指定退出动作,通过保持静止不动且不做示范动作,或者通过离开摄像头拍摄范围的方式退出当前的运动项目。用户退出当前运动项目的方式智能且灵活多样。
在一些实施例中,该方法还包括:当第一目标用户或者第二目标用户满足第三预设条件时,显示询问信息,该询问信息用于询问对应的目标用户是否退出。例如,该询问信息可以为“是否退出当前的运动项目?”。需要说明的是,该询问信息仅起到一个提示作用,具体是否退出当前的运动项目根据目标用户的选择确定。
在一些实施例中,该第三预设条件为:目标用户的动作与第一图像中显示的动作序列的匹配度低于阈值,并且持续超过预设时间。当用户满足第三条件时,说明在参与运动的过程中,目标用户持续处于运动状态较差,或者不积极运动的状态。
在一些实施例中,该电子设备能够确定的目标用户的上限数量为T,T≥2。例如T=3,T=5等。针对不需要用户之间项目配合的第一类运动项目,T=A,A为电子设备能够确定的目标用户的上限数量。针对需要K个用户相互配合才能进行的第二类运动项目,T=K。
针对第一类运动项目,对于运算能力不足的电子设备,通过设置目标用户上限,可以在一定程度上提高电子设备的运行速率。
在一些实施例中,该方法还包括:针对第二类运动项目,当已确定的目标用户的数量为P时,P<T,则显示第一提示信息,该第一提示信息用于提示目标用户数量不足,当前的运动项目无法开始。
在一些实施例中,该方法还包括:当已确定的目标用户的数量为P时,P<T,如果检测到有Q个用户同时满足该第一预设条件,并且Q>T-P,显示第二提示信息,该第二提示信息用于提示当前目标用户的数量超过上限数量T。
在一些实施例中,该方法还包括:当已确定的目标用户的数量为P时,P<T,如果检测到有Q个用户同时满足该第一预设条件,Q>T-P,确定该Q个用户中,每个用户的动作与指定加入动作的匹配度,或者每个用户的动作序列与该第一图像中显示的动作序列的匹配度,将匹配度位于前T-P名的用户确定为目标用户,显示与该目标用户相关的内容。
通过本实施例提供的方法,电子设备能够择优选择用户,将动作姿势相对标准的用户确定为目标用户。
在一些实施例中,该方法还包括:当确定一用户为目标用户时,记录该确定操作的时刻;当已确定的目标用户的数量为T时,若检测到第T+1个用户满足第一预设条件,不显示T个目标用户中该确定操作的时刻最早的用户的相关内容;将该第T+1个用户确定为目标用户;显示该第T+1个用户相关的内容。
本实施例提供的方法基于“先入先出”的机制,替换最早加入的目标用户,能够尽可能地给每个用户提供锻炼的机会,具有较好的用户体验。
在一些实施例中,该方法还包括:当已确定的目标用户的数量为T时,若检测到第T+1个用户满足第一预设条件,确定第二图像上第T+1个用户的用户图像与每个目标用户的用户图像之间的距离;不显示距离该第T+1个用户最近的目标用户相关的内容;将该第T+1个用户确定为目标用户;显示该第T+1个用户相关的内容。
通过本实施例提供的方法,非目标用户可以通过站在想要替换的目标用户附近做出加入动作,即可替换该目标用户,具有较好的用户体验。
在一些实施例中,该方法还包括:当已确定的目标用户的数量为T时,若检测到第T+1个用户满足第一预设条件,则依次突出显示T个目标用户;在突出显示T个目标用户中第i个目标用户时,若检测到该第T+1个用户做出选择动作,不显示该第i个目标用户相关的内容;将该第T+1个用户确定为目标用户;显示该第T+1个用户相关的内容。
通过本实施例提供的用户确定方法,非目标用户可以通过做动作自主选择想要替换的目标用户,具有较好的用户体验。
在一些实施例中,该方法还包括:确定目标用户是否为新用户;若目标用户为新用户,则显示用户切换提示信息,该用户切换提示信息中包括指定加入动作的显示图标。
对于新用户,其可能不太了解电子设备切换用户的方式。因此,通过本实施例提供的方法,可以对新用户进行多次重复提醒,加强新用户对切换方式的了解,以便提高该用户在后续加入运动项目时的成功率。
在一些实施例中,确定目标用户是否为新用户,包括:在确定目标用户后,采集目标用户的人脸信息;在应用服务器的人脸信息库中查找该目标用户的人脸信息,人脸信息库中包括历史目标用户的人脸信息;若人脸信息库中不包括该目标用户的人脸信息,则确定该用户为新用户,并将该新用户的人脸信息存储到该人脸信息库中。
在一些实施例中,当第一预设条件为用户的动作与指定加入动作匹配,且持续匹配超过预设时间时,该方法还包括:在确定目标用户后,根据该目标用户的实际加入动作,更新该目标用户的指定加入动作;其中,实际加入动作为目标用户实际做出的动作。
在一些实施例中,根据目标用户的实际加入动作,更新目标用户的指定加入动作,包括:当目标用户是新用户时,根据该目标用户的实际加入动作,创建该目标用户的模板池,该模板池中存储有根据该实际加入动作生成的M个动作模板,M<N;N为模板池允许存储的最大模板数量;将该目标用户的该指定加入动作更新为:M个动作模板的聚类中心。
通过本实施例提供的方法,电子设备为每一个新用户创建一个模板池,以通过用户的实际加入动作学习用户的动作习惯,并根据用户的动作习惯更新该用户的指定加入动作,能够提高用户加入运动项目的成功率。
在一些实施例中,根据目标用户的实际加入动作,更新目标用户的指定加入动作,包括:当目标用户不是新用户时,若该目标用户的模板池中的动作模板的数量小于N时,则将该实际加入动作存储至该目标用户的模板池中,更新该模板池;或者,若该目标用户的模板池中的动作模板的数量等于N时,则使用该实际加入动作替换该用户的模板池中处于聚类边缘的动作模板,更新该模板池;将该目标用户的该指定加入动作更新为:更新后的模板池中所有动作模板的聚类中心。
在本实施例中,对于老用户,模板池的聚类中心最接近用户的动作习惯,随着电子设备对用户的实际加入动作的聚类学习,指定加入动作会越来越接近用户的动作习惯。因此,将聚类中心对应的加入动作确定为指定加入动作,有助于提高用户切换用户的成功率,提高用户体验。
在一些实施例中,该方法还包括:当启动云模式时,显示运动指导界面,该运动指导界面包括至少两个电子设备采集的第二图像。通过本实施例提供的方法,即使各个用户相隔较远,也可以通过各自的电子设备同时参加同一运动项目,共同进行运动锻炼。
第二方面,本申请实施例提供一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,该处理器执行所述计算机程序时实现如第一方面所述的方法。
第三方面,本申请实施例提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的方法。
第四方面,本申请实施例提供一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备实现如第一方面所述的方法。
可以理解的是,上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。
附图说明
图1是本申请实施例提供的电子设备的部分结构的示意性框图;
图2A是本申请的一个实施例提供的电子设备的显示界面示意图一;
图2B是本申请的一个实施例提供的电子设备的显示界面示意图二;
图2C是本申请的一个实施例提供的电子设备的显示界面示意图三;
图2D是本申请的一个实施例提供的电子设备的显示界面示意图四;
图3是本申请实施例提供的用户骨骼节点的示意图;
图4是本申请实施例提供的用户识别跟踪方法的流程图;
图5是本申请实施例提供的用户位置的示意图;
图6A是现有技术提供的用户切换场景示意图一;
图6B是现有技术提供的用户切换场景示意图二;
图7是本申请的一个实施例提供的用户确定方法的流程图;
图8A是本申请的一个实施例提供的用户加入健身时的显示界面示意图一;
图8B是本申请的一个实施例提供的用户加入健身时的显示界面示意图二;
图8C是本申请的一个实施例提供的用户加入健身时的显示界面示意图三;
图8D是本申请的一个实施例提供的用户加入健身时的显示界面示意图四;
图9是本申请的一个实施例提供的电子设备显示用户切换提示信息的示意图;
图10A是本申请的一个实施例提供的用户退出健身时的显示界面示意图一;
图10B是本申请的一个实施例提供的用户退出健身时的显示界面示意图二;
图10C是本申请的一个实施例提供的电子设备询问用户是否退出健身的显示界面示意图;
图10D是本申请的一个实施例提供的用户退出健身时的显示界面示意图三;
图11是本申请一个实施例提供的三人健身的场景示意图;
图12A是本申请另一实施例提供的用户加入健身时的显示界面示意图一;
图12B是本申请另一实施例提供的用户加入健身时的显示界面示意图二;
图12C是本申请另一实施例提供的用户加入健身时的显示界面示意图三;
图13A是本申请另一实施例提供的切换用户的显示界面示意图一;
图13B是本申请另一实施例提供的切换用户的显示界面示意图二;
图13C是本申请另一实施例提供的切换用户的显示界面示意图三;
图13D是本申请的一个实施例提供的用户距离计算示意图;
图13E是本申请另一实施例提供的切换用户的显示界面示意图四;
图14是本申请一个实施例提供的历史运动信息的显示示意图;
图15A是本申请又一实施例提供的电子设备的显示界面示意图一;
图15B是本申请又一实施例提供的电子设备的显示界面示意图二;
图16A是本申请又一实施例提供的电子设备的显示界面示意图三;
图16B是本申请又一实施例提供的电子设备的显示界面示意图四;
图16C是本申请又一实施例提供的电子设备的显示界面示意图五;
图17是本申请实施例提供的共享健身房的显示界面示意图;
图18是本申请实施例提供的评分排名榜的示意图;
图19是本申请实施例提供的用户的实际加入动作的示意图;
图20是本申请实施例提供的指定加入动作的更新流程图。
具体实施方式
随着计算机技术的发展,搭载摄像头的大屏智能电子设备(如智能电视、智慧屏幕等)能够指导用户进行各种各样的运动锻炼,例如指导用户健身、练瑜伽、跳舞、打太极、打篮球、玩体感游戏等。
图1示出了一种电子设备的结构示意图。电子设备200可以包括处理器210,外部存储器接口220,内部存储器221,通用串行总线(universal serial bus,USB)接口230,充电管理模块240,电源管理模块241,电池242,天线1,天线2,移动通信模块250,无线通信模块260,音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,传感器模块280,按键290,马达291,指示器292,摄像头293,显示屏294,以及用户标识模块(subscriberidentification module,SIM)卡接口295等。其中传感器模块280可以包括压力传感器280A,陀螺仪传感器280B,气压传感器280C,磁传感器280D,加速度传感器280E,距离传感器280F,接近光传感器280G,指纹传感器280H,温度传感器280J,触摸传感器280K,环境光传感器280L,骨传导传感器280M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
作为举例,当电子设备200为手机或平板电脑时,可以包括图示中的全部部件,也可以仅包括图示中的部分部件。
作为举例,当电子设备200为智能电视、智慧屏幕等大屏设备时,也可以包括图示中的全部部件,也可以仅包括图示中的部分部件。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
在一些实施例中,处理器210可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器210可以包含多组I2C总线。处理器210可以通过不同的I2C总线接口分别耦合触摸传感器280K,充电器,闪光灯,摄像头293等。例如:处理器210可以通过I2C接口耦合触摸传感器280K,使处理器210与触摸传感器280K通过I2C总线接口通信,实现电子设备200的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器210可以包含多组I2S总线。处理器210可以通过I2S总线与音频模块270耦合,实现处理器210与音频模块270之间的通信。在一些实施例中,音频模块270可以通过I2S接口向无线通信模块260传递音频信号。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块270与无线通信模块260可以通过PCM总线接口耦合。
在一些实施例中,音频模块270也可以通过PCM接口向无线通信模块260传递音频信号。I2S接口和PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。
在一些实施例中,UART接口通常被用于连接处理器210与无线通信模块260。例如:处理器210通过UART接口与无线通信模块260中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块270可以通过UART接口向无线通信模块260传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器210与显示屏294,摄像头293等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器210和摄像头293通过CSI接口通信,实现电子设备200的拍摄功能。处理器210和显示屏294通过DSI接口通信,实现电子设备200的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器210与摄像头293,显示屏294,无线通信模块260,音频模块270,传感器模块280等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口230是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口230可以用于连接充电器为电子设备200充电,也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备200的结构限定。在本申请另一些实施例中,电子设备200也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块240用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块240可以通过电子设备200的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为电子设备供电。
电源管理模块241用于连接电池242,充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210,内部存储器221,外部存储器,显示屏294,摄像头293,和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。
在其他一些实施例中,电源管理模块241也可以设置于处理器210中。在另一些实施例中,电源管理模块241和充电管理模块240也可以设置于同一个器件中。
电子设备200的无线通信功能可以通过天线1,天线2,移动通信模块250,无线通信模块260,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块250可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
在一些实施例中,移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施例中,移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器270A,受话器270B等)输出声音信号,或通过显示屏294显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器210,与移动通信模块250或其他功能模块设置在同一个器件中。
无线通信模块260可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得电子设备200可以通过无线通信技术与网络以及其他设备通信。无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备200通过GPU,显示屏294,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏294和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏294用于显示图像,视频等。例如本申请实施例中的教学视频和用户动作画面视频,显示屏294包括显示面板。显示面板可以采用液晶显示屏(liquid crystaldisplay,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot light emitting diodes,QLED)等。在一些实施例中,电子设备200可以包括1个或N个显示屏294,N为大于1的正整数。
电子设备200可以通过ISP,摄像头293,视频编解码器,GPU,显示屏294以及应用处理器等实现拍摄功能。
ISP用于处理摄像头293反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头293中。
摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备200可以包括1个或N个摄像头293,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备200可以支持一种或多种视频编解码器。这样,电子设备200可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备200的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
在本申请实施例中,NPU或其他处理器可以用于对电子设备200存储的视频中的图像进行分析处理等操作。
外部存储器接口220可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器210通过运行存储在内部存储器221的指令,从而执行电子设备200的各种功能应用以及数据处理。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)。存储数据区可存储电子设备200使用过程中所创建的数据(比如音频数据,电话本等)。
此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备200可以通过音频模块270,扬声器270A,受话器270B,麦克风270C,耳机接口270D,以及应用处理器等实现音频功能。
音频模块270用于将数字音频信号转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中,音频模块270可以设置于处理器210中,或将音频模块270的部分功能模块设置于处理器210中。
扬声器270A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备200可以通过扬声器270A收听音乐,或收听免提通话,例如扬声器可以播放本申请实施例提供的比对分析结果。
受话器270B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时,可以通过将受话器270B靠近人耳接听语音。
麦克风270C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风270C发声,将声音信号输入到麦克风270C。电子设备200可以设置至少一个麦克风270C。在另一些实施例中,电子设备200可以设置两个麦克风270C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备200还可以设置三个,四个或更多麦克风270C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口270D用于连接有线耳机。耳机接口270D可以是USB接口230,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器280A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器280A可以设置于显示屏294。压力传感器280A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器280A,电极之间的电容改变。电子设备200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏294,电子设备200根据压力传感器280A检测触摸操作强度。电子设备200也可以根据压力传感器280A的检测信号计算触摸的位置。
在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器280B可以用于确定电子设备200的运动姿态。在一些实施例中,可以通过陀螺仪传感器280B确定电子设备200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器280B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器280B检测电子设备200抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备200的抖动,实现防抖。陀螺仪传感器280B还可以用于导航,体感游戏场景。
气压传感器280C用于测量气压。在一些实施例中,电子设备200通过气压传感器280C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器280D包括霍尔传感器。电子设备200可以利用磁传感器280D检测翻盖皮套的开合。在一些实施例中,当电子设备200是翻盖机时,电子设备200可以根据磁传感器280D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器280E可检测电子设备200在各个方向上(一般为三轴)加速度的大小。当电子设备200静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器280F,用于测量距离。电子设备200可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备200可以利用距离传感器280F测距以实现快速对焦。
接近光传感器280G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备200通过发光二极管向外发射红外光。电子设备200使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备200附近有物体。当检测到不充分的反射光时,电子设备200可以确定电子设备200附近没有物体。电子设备200可以利用接近光传感器280G检测用户手持电子设备200贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器280G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器280L用于感知环境光亮度。电子设备200可以根据感知的环境光亮度自适应调节显示屏294亮度。环境光传感器280L也可用于拍照时自动调节白平衡。环境光传感器280L还可以与接近光传感器280G配合,检测电子设备200是否在口袋里,以防误触。
指纹传感器280H用于采集指纹。电子设备200可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器280J用于检测温度。在一些实施例中,电子设备200利用温度传感器280J检测的温度,执行温度处理策略。例如,当温度传感器280J上报的温度超过阈值,电子设备200执行降低位于温度传感器280J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备200对电池242加热,以避免低温导致电子设备200异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备200对电池242的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器280K,也称“触控面板”。触摸传感器280K可以设置于显示屏294,由触摸传感器280K与显示屏294组成触摸屏,也称“触控屏”。触摸传感器280K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏294提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器280K也可以设置于电子设备200的表面,与显示屏294所处的位置不同。
骨传导传感器280M可以获取振动信号。在一些实施例中,骨传导传感器280M可以获取人体声部振动骨块的振动信号。骨传导传感器280M也可以接触人体脉搏,接收血压跳动信号。
在一些实施例中,骨传导传感器280M也可以设置于耳机中,结合成骨传导耳机。音频模块270可以基于骨传导传感器280M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于骨传导传感器280M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键290包括开机键,音量键等。按键290可以是机械按键。也可以是触摸式按键。电子设备200可以接收按键输入,产生与电子设备200的用户设置以及功能控制有关的键信号输入。
马达291可以产生振动提示。马达291可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏294不同区域的触摸操作,马达291也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295,或从SIM卡接口295拔出,实现和电子设备200的接触和分离。电子设备200可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口295可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口295也可以兼容不同类型的SIM卡。SIM卡接口295也可以兼容外部存储卡。电子设备200通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备200采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备200中,不能和电子设备200分离。
下面以电子设备是智能电视为例,结合电子设备指导用户健身的场景,对本申请实施例提供的一种用户确定方法及电子设备进行示例性说明。应理解,本实施例提供的用户确定方法还适用于上述其他基于人机交互的运动锻炼场景。
图2A是本申请的一个实施例提供的电子设备的显示界面示意图一。电子设备通过运行用健身应用程序(application,App)指导用户健身。根据App的不同,电子设备所提供的运动运动项目通常不相同。以图2A所示的人工智能(atrificial intiligence,AI)健身App为例,电子设备在运行AI健身App时,所提供的运动运动项目不仅包括健身项目(例如“肩颈运动”、“扩胸运动”等),还可以包括瑜伽、拉伸放松、舞蹈、太极等。用户可以根据需求,选择自己想要进行的运动项目,例如健身项目中的“肩颈运动”。
本实施例中涉及的运动项目(例如健身项目),是指提供运动指导服务的应用程序中设置的子应用程序。一个应用程序中通常包括多个子应用程序,电子设备通过运行不同的子应用程序能够提供不同的指导内容。
可选的,用户可以通过遥控器选择运动项目,也可以通过语音控制选择运动项目。对于语音控制的方式,示例性的,用户可以通过第一控制语音(如“小艺小艺,打开AI健身”)控制电子设备打开AI健身App;通过第二控制语音“我想进行肩颈运动”打开“肩颈运动”。本实施例对具体的语音控制指令不进行限制。
图2B是本申请的一个实施例提供的电子设备的显示界面示意图二。参见图2B所示,在用户通过遥控器选择“肩颈运动”之后,电子设备可以显示该项运动的一些基本信息,例如项目名称“肩颈运动”、运动时长“8分钟”、难度“一般”等。此外,电子设备还可以显示一些控件,例如“智能模式”、“普通模式”等模式选项。用户通过操作模式选项控制电子设备进入对应的锻炼模式。
需要说明的是,在本实施例中,在智能模式下,电子设备不仅播放教练视频,还采集用户图像、识别用户动作,从而对用户进行健身指导。而在普通模式下,电子设备仅播放教练动作供用户自行模仿学习,不采集用户图像,也不对用户进行健身指导。
图2C是本申请的一个实施例提供的电子设备的显示界面示意图三。参见图2C所示,在智能模式下,电子设备的用户界面一部分用于显示教练动作,另一部分用于显示用户动作,以便用户在健身过程中对比观察自己的动作是否标准。另外,由于摄像头拍摄范围内可能会出现多个用户,有的用户想加入健身,而有的用户并不想加入健身,因此电子设备需要识别确定健身用户。
需要说明的是,本实施例将电子设备摄像头拍摄范围内的每个人物均称为用户,并将其中已加入健身的用户称为健身用户,将其中未加入健身的用户称为非健身用户。本实施例将电子设备中教练动作显示区内的人物图像称为教练或者示范者。
在电子设备打开健身项目之后,电子设备会实时利用摄像头采集图像信息,并对该图像信息中的所有人进行骨骼节点识别(例如图3所示),确定其人体姿态,直至电子设备退出该项健身运动。因此,在一种可能的实现方式中,在进入健身项目之后,电子设备可以显示提示信息以提示用户做出指定加入动作以加入健身。电子设备在显示提示信息后,采集并识别用户图像,将做出指定加入动作的用户确定为健身用户,并对该用户进行跟踪识别,从而对其进行健身指导。例如,参见图2C所示,电子设备提示的指定加入动作为:双手握拳向上弯曲,位于头部两侧。电子设备在检测到用户动作与该指定加入动作匹配时,确定该用户为健身用户,指导其进行运动锻炼。
当用户成功加入健身运动之后,电子设备可以在该用户的脚下显示一个环形,用于表示该用户为健身用户。示例性的,该环形可以如图2D所示,在用户移动的过程中,该环形也会跟着该用户移动。
在电子设备指导健身用户锻炼的过程中,电子设备基于摄像头采集的用户图像,利用人体骨骼节点识别算法确定其人体姿态,再结合教练动作和动作匹配算法对健身用户的人体姿态进行分析,从而对健身用户的动作进行评价和指导。其中,对动作进行评价包括对动作进行评分、确定该动作的评价信息。例如,评分可以为50分、80分、90分,该评价信息可以为评语,例如“很好”、“完美”、“加油”、“遗憾”等,也可以为一些提示音。对动作进行指导包括纠正当前健身动作存在的问题。例如,参见图2D所示,在健身用户进行肩部环绕运动的过程中,当电子设备检测到健身用户手臂的环绕速度过快时,可以显示“环绕速度不要过快”等提示信息。
此外,参见图2D所示,在智能健身过程中,电子设备还可以显示健身用户已完成当前健身动作的次数,以及需要完成该健身动作的总次数。以图2D中的“6/12”为例,针对当前的教练动作时肩颈环绕运动,“6/12”表示健身用户当前已完成肩部环绕运动6次,总共需要做肩部环绕运动12次。
在上述实施例中,电子设备在指导健身用户进行图2D所示的肩部环绕运动时,可以通过骨骼节点算法实时检测健身用户肘关节的位置。若电子设备检测到健身用户的肘关节的移动轨迹为环形,则每形成一个环形轨迹认为该健身用户完成一次肩部环绕运动,以对完成次数进行统计。此外,当检测到用户肘关节的环绕速度大于教练肘关节的环绕速度时,认为健身用户手臂的环绕速度过快。
图4是本申请一个实施例提供的用户识别跟踪方法的流程图,具体包括如下内容。
S401,电子设备获取用户图像。
该用户图像是指摄像头采集的图像信息,其中可能包括一个或者多个用户。例如,图7所示的用户图像中仅包括一个用户。
S402,电子设备确定用户在用户图像中的位置。
可选的,电子设备可以基于图像识别算法或者神经网络算法,确定每个用户在用户图像中的位置(B,C,W,H)。其中,(B,C,W,H)用于描述用户所在矩形区域在用户图像中的位置。示例性的,参见图5所示,(B,C,W,H)是指该矩形区域的左上顶点坐标为(B,C),右下顶点的坐标为(B+W,C+H)。
电子设备在确定用户在用户图像中的位置之后,可以在该位置附近显示该用户的相关信息,例如账号信息、历史健身信息、健身评分等。可选的,电子设备可以将该用户的相关信息显示在其矩形区域的上边框以上的区域。
S403,电子设备基于用户在用户图像中的位置,跟踪识别每个用户。
在本实施例中,电子设备对每一帧用户图像中的各个用户所在的矩形区域进行识别,确定各个用户的骨骼节点位置。在连续的D帧用户图像中,将骨骼节点位置相差在预设范围内的用户确定为同一用户,以实现对用户的跟踪识别,D≥2。
此外,电子设备还可以对每一帧用户图像整体进行识别,确定各个用户的骨骼节点位置。在连续的D帧用户图像中,将骨骼节点位置相差在预设范围内的用户确定为同一用户,以实现对用户的跟踪识别,D≥2。
可以理解,相对于对用户图像整体进行识别,仅识别用户所在的矩形区域有助于提高骨骼节点位置的识别速率,进而提高用户跟踪识别的速率。
在识别用户骨骼节点的过程中,在用户图像中可能会出现一些骨骼节点识别异常的情况,例如识别失败或者识别结果与相邻帧差异较大等。为了避免异常的骨骼节点识别结果影响用户的跟踪识别,电子设备可以忽略该异常的骨骼节点。例如,在相邻的3帧用户图像中,若第二帧用户图像中某一用户的骨骼节点1识别异常,但该用户的其余骨骼节点均识别正常,且在相邻帧的用户图像中存在位置相近的骨骼节点。那么,也可以说明在该连续的3帧用户图像中,该用户为同一用户。
若电子设备需要根据该第二帧用户图像识别用户姿态,确定其与教练动作、指定加入动作等动作的匹配度,电子设备则需要对结合相邻帧用户图像,对这些异常的骨骼节点识别结果进行估算处理。例如,在连续的3帧用户图像中,对于同一用户,电子设备可以确定第一帧与第三帧用户图像中骨骼节点1的中间位置,并将该中间位置确定为第二帧用户图像中异常的骨骼节点1的位置。
此外,在其他一些实施例中,电子设备在通过骨骼节点跟踪识别用户的基础上,还可以基于深度神经网络算法,结合用户的个人特征进一步对用户进行跟踪识别,以保证用户跟踪识别的准确性。其中,用户的个人特征包括:用户头发的长短,用户的面部特征,用户衣服的款式、颜色与纹理,用户鞋子的颜色等。
通过本申请实施例提供的用户识别跟踪方法,电子设备可以快速并准确地跟踪识别用户,进而指导每个用户进行运动锻炼。
在电子设备提供的运动项目中,有的需要预设数量的用户配合进行(例如双人跳绳、双人舞蹈等),有的则不需要用户之间的相互配合(例如单人的肩颈运动)。目前,对于不需要多个用户配合的运动运动项目,电子设备通常只能识别并指导一个用户(例如用户1)进行运动锻炼。在用户1锻炼的过程中,如果其他用户(例如用户2)也想加入当前的运动项目,那么只有用户1退出后用户2才能加入。以用户1正在进行肩颈运动为例,参见图6A所示,用户1在做出退出动作并成功退出健身之后,用户2才可以通过加入动作加入当前健身项目。或者,参见图6B所示,用户2在离开摄像头的拍摄范围之后,用户2才可以通过加入动作加入当前健身项目,用户体验不佳。由此可见,目前电子设备对健身用户的切换不够智能,用户体验不佳。
为此,本申请实施例提供一种用户确定方法以及电子设备,以智能切换健身用户,提高用户体验。
首先,需要说明的是,本实施例将运动运动项目分为第一类运动项目和第二类运动项目。其中,第一类运动项目不需要用户之间的相互配合,用户可以独立进行锻炼,例如肩颈运动、单人太极等。第二类运动项目需要预设数量的用户相互配合进行运动锻炼,例如双人跳绳、三人舞蹈等。
下面结合电子设备指导用户进行第一类运动项目为例,对本申请实施例提供的用户确定方法进行具体说明。
针对第一类运动项目,由于其不需要用户之间的相互配合,健身用户可以独立进行锻炼,因此,在本实施例中,在电子设备指导用户进行第一类运动项目时,可以根据摄像头拍摄范围内用户的图像信息识别每个用户的健身意图,根据每个用户的健身意图独立管理其加入或者退出,并允许一个或者多个健身用户同时进行健身,以提高用户体验。
示例性的,参见图7所示,电子设备在打开第一类运动项目之后,可以持续对摄像头拍摄范围内每一个用户进行骨骼节点识别,实时识别每个用户的切换动作。在本实施例中,切换动作包括加入动作和退出动作,当电子设备检测到某个用户做出加入动作之后,则认为该用户有健身意图,将其确定为健身用户,对其健身动作进行评价和指导。而当电子设备检测到某个健身用户做出退出动作之后,则认为该用户没有健身意图,将其确定为非健身用户,不再对其健身动作进行评价和指导。
下面以第一类运动项目是单人的“肩颈运动”为例,结合用户1和用户2,对电子设备切换用户的过程进行说明。
(一)用户加入健身
在本实施例中,用户可以通过做指定加入动作或者做教练动作加入健身。其中,用户做指定加入动作是指,用户的动作与指定加入动作的匹配度大于或者等于第一阈值,且持续预设时间。用户做教练动作指,用户的动作与电子设备同步显示的教练动作的匹配度大于或者等于第一阈值,且持续匹配超过预设时间。示例性的,该第一阈值可以为80%、90%等,该预设时间可以为1秒、2秒、3秒等。
在一些实施例中,参见图8A所示,在电子设备打开第一类运动项目的健身项目后,在电子设备确定健身用户的过程中,如果用户1和用户2想一起进行“肩颈运动”的锻炼,那么用户1和用户2可以根据电子设备显示的提示信息(如指定加入动作的示意图,以及提示语“请完成图示动作”),一起做出该指定加入动作。电子设备在检测到用户1和用户2一起做出指定加入动作后,将用户1和用户2均确定为健身用户,并开始指导用户1和用户2健身。
可选的,电子设备在检测到多人同时做指定加入动作之后,可以显示进入多人健身模式的倒计时提示信息,例如“还需3秒,进入多人健身模式”,并进行3秒的倒计时。
在另一些实施例中,在用户1首先单独加入了肩颈运动(参见图2C)后,如果用户2想加入当前的运动项目,可以通过做加入动作加入健身。在本实施例中,加入动作可以为指定加入动作,例如图2C中的提示信息示出的动作;或者,加入动作也可以为电子设备当前显示的教练动作。即如果电子设备检测到用户2的动作与指定加入动作或者教练动作的匹配度大于第一阈值(例如80%),且持续大于第一阈值的时长超过预设时间(例如3秒),则确定用户2具有加入健身的意图,将其确定为健身用户。
例如,当用户1正在进行肩颈运动时,如果用户2想加入当前的运动项目,那么参见图8B所示,用户2可以与用户1一起做指定加入动作,共同加入健身。具体地,电子设备在检测到用户1和用户2同时作指定加入动作之后,将用户1和用户2均确定为健身用户。可选的,电子设备在检测到多人同时做指定加入动作之后,可以显示进入多人健身模式的倒计时提示信息,例如“还需3秒进入多人健身模式”,并进行3秒的倒计时。
例如,参见图8C所示,当用户1正在进行肩颈运动时,如果用户2想加入当前的运动项目,用户2可以直接跟随教练做教练动作。电子设备检测到用户2的动作与教练动作的匹配度大于第一阈值(例如80%),且该动作的持续时间大于预设时间(例如3秒)后,直接将用户2确定为健身用户,并对其健身动作进行评价和指导。可选的,在用户2作教练动作的过程中,电子设备也可以显示用户2加入健身的倒计时提示信息,例如“还需3秒加入健身”,并进行3秒的倒计时。
又例如,参见图8D所示,当用户1正在进行肩颈运动时,如果用户2想加入当前的运动项目,在用户1做教练动作时,用户2可以通过做指定加入动作加入当前健身运动。电子设备检测到用户2做指定加入动作后,直接将用户2确定为健身用户,并对其健身动作进行评价和指导。可选的,在用户2做指定加入动作的过程中,电子设备也可以显示用户2加入健身的倒计时提示信息,例如“还需3秒加入健身”,并进行3秒的倒计时。
在上述图8A~图8D所示的实施例中,当多个用户加入当前的健身项目之后,电子设备可以显示提示信息,提示电子设备已进入多人健身的模式,并提示当前的健身用户的数量。以当前的健身用户是用户1和用户2为例,显示设备显示的提示信息可以为“成功进入多人模式,当前健身用户为2人”。
此外,在本实施例中,电子设备可以和健身应用的应用服务器连接,将所有健身用户的基本信息存储在应用服务器中。其中,基本信息包括账号名称、人脸信息等。当一个用户成为健身用户之后,电子设备能够根据其人脸信息通过应用服务器查询该用户是否为新用户(即首次进行智能健身的用户)。其中,如果应用服务器中未存储该用户的人脸信息,则确定该用户为新用户。如果该用户为新用户,电子设备在指导该用户健身的过程中,每间隔预设时间显示用户切换提示信息,该提示信息中包括指定加入动作的图标,用于向新用户提示加入健身的方式,提高新用户的健身体验。例如,参见图9所示,用户2为新用户,那么用户2在加入当前的健身项目之后,电子设备每间隔预设时间(例如10秒)显示一次用户切换提示信息。
可选的,电子设备还可以统计该用户根据指定加入动作成功加入健身的次数。如果该次数未超过预设次数(例如5次),则电子设备在该用户每一次成为健身用户之后,均每间隔一段时间(例如1分钟)显示该用户切换提示信息,以便该用户根据该提示信息加入健身。当电子设备检测到用户2成功加入健身的次数超过或者等于预设次数时,不再针对该用户显示用户切换提示信息。
可选的,在用户根据指定加入动作成功加入健身的次数逐渐增加的过程中,电子设备可以逐渐增大用户切换提示信息的显示时间间隔。
针对新用户,电子设备每间隔预设时间显示用户切换提示信息,能够向新用户提示用户切换的方式,提高用户体验。
在本实施例中,电子设备在确定多个健身用户之后,可以在每一个健身用户脚下均显示一个环形。对于不同的健身用户,其环形的颜色可以不相同。例如,在图8B中,用户1的环形的颜色为红色,用户2的环形的颜色为绿色。
通过本实施例提供的用户确定方法,在电子设备在启动第一类运动项目后,可以随时将每个具有健身意图的用户均确定为健身用户,并指导这些健身用户同时进行运动锻炼,具有较好的用户体验。
(二)用户退出健身
在一个或多个健身用户使用电子设备指导健身的过程中,电子设备能够根据摄像头采集的图像信息,确定当前的健身用户是否有退出健身的意图,即健身用户是否做出了退出动作。如果健身用户做出了退出动作,则将其确定为非健身用户,不再指导其进行健身运动。可选的,在本实施例中,退出动作可以为离开摄像头的拍摄范围,或者指定退出动作(例如双臂在胸前交叉),或者与教练动作的匹配度低于预设值,且该用户处于静止状态。其中,用户做指定退出动作是指用户的动作与指定退出动作的匹配度大于或者等于第一阈值,且持续预设时间。
下面以当前的健身用户是用户1和用户2,且用户1欲退出当前的健身运动为例,对本实施例提供的用户确定方法进行说明。
例如,参见图10A所示,在用户1和用户2一起健身的过程中,当用户1离开摄像头的拍摄范围预设时间(例如5秒)之后,电子设备由于无法识别到用户1而自动取消对用户1的健身指导。需要说明的是,若用户离开摄像头拍摄范围的时间少于该预设时间,例如仅离开2秒之后立即返回,那么电子设备可以继续对该用户进行跟踪识别,指导其健身。
又例如,参见图10B所示,在用户1和用户2一起健身的过程中,在预设时间内(例如3秒内),如果电子设备在检测到用户1静止,且用户1的健身动作与教练动作匹配度低于预设值(例如60%),则确定用户1有退出当前健身的意图。此时,电子设备将用户1确定为非健身用户,不再对其进行健身指导。其中,电子设备可以根据当前健身项目对应的关键骨骼节点进行时序行为分析。若预设时间内(例如3秒内),各关键节点位移的标准差在阈值范围(例如3厘米)内,则认为用户静止。
需要说明的是,在本实施例中,骨骼节点包括肩部、肘部、手腕、头部、膝盖、胯部、脚腕等位置的骨骼节点。示例性的,当健身项目是“肩颈运动”时,其对应的关键骨骼节点包括肩部、肘部、手腕、头部等位置的骨骼节点。当健身项目是“踢腿运动”时,其对应的关键骨骼节点包括膝盖、胯部、脚腕等位置的骨骼节点。
再例如,参见图10C所示,在用户1和用户2一起健身的过程中,当电子设备检测到用户1不处于静止状态,但在预设时间内(例如10秒内),用户1当前的健身动作与教练动作的匹配度的低于预设值(例如40%)时,认为其可能有退出当前健身的意图。因此,电子设备显示询问信息,以询问用户1是否要退出当前健身项目。示例性的,该询问信息可以为“您的动作匹配度较低,是否退出健身?”。当电子设备检测到用户做出指定退出动作后,不再对用户1进行健身指导。否则,继续对其进行健身指导。
又例如,参见图10D所示,在用户1和用户2一起健身的过程中,当电子设备检测到用户1做出指定退出动作后,不再对用户1进行健身指导。
需要说明的是,在上述图10A-图10D所示的实施例中,当用户1退出健身之后,用户2仍然可以正常进行健身运动,不受用户1退出的影响。
需要说明的是,在上述实施例仅是以用户1和用户2为例,对本实施例针对第一类运动项目提供的用户确定方法进行示例性的说明,其并不将用户的数量局限为2人。当摄像头拍摄范围内有更多用户时,电子设备也可以通过该用户确定方法进行用户切换。例如,参见图11所示,在用户1和用户2健身的过程中,用户3也可以基于本实施例提供的用户确定方法,加入或者退出当前的健身项目。
综上所述,在电子设备指导用户进行第一类运动项目的过程中,电子设备能够根据摄像头范围内各个用户的健身意图(即用户是否做出了加入动作或者退出动作),来灵活切换健身用户。其中包括将有健身意图的用户均确定为健身用户,指导其进行健身运动,将有退出意图的用户确定为非健身用户,不再指导其进行健身运动,具有较好的用户体验。
下面结合电子设备指导用户进行第二类运动项目为例,对本申请实施例提供的用户确定方法进行具体说明。
由于第二类运动项目需要预设数量的用户相互配合进行,因此电子设备不仅需要识别摄像头拍摄范围内的健身用户,还需要对健身用户的数量进行统计。如果当前健身用户的数量未达到预设数量,则电子设备显示第一提示信息,以提示当前健身用户不足。用户根据第一提示信息即可及时加入当前的运动项目,开始运动锻炼。
以第二类运动项目是双人健身项目为例,电子设备需要在摄像头拍摄的图像范围内确定出两个健身用户才能开始该健身项目。示例性的,参见图12A所示,在用户1和用户2加入双人健身的过程中,当用户1已加入健身而用户2未加入时,健身用户数量未达到所需的预设数量2,此时电子设备显示第一提示信息“还差一个健身用户”。而当用户1和用户2均加入健身之后,电子设备显示提示信息“成功加入健身”,并开始指导用户健身。
由于第二类运动项目的健身用户的数量是预设的,因此在实际应用中,在用户做出指定动作触发健身的过程中,可能会出现超过预设数量的用户想要加入健身。例如,在双人健身项目中,可能会出现3个或3个以上的用户想要加入健身,此时电子设备需要针对该情况采取一定的处理措施。
在一些实施例中,在用户触发电子设备开始健身指导的过程中,当已加入用户的数量和当前执行指定加入动作的用户数量之和,超过该健身项目所需的人数时,说明有多余用户想要加入该健身项目。此时,电子设备可以显示第二提示信息,以提示健身用户数量超过预设数量。用户根据该第二提示信息即可协商加入当前的运动项目,具有较好的用户体验。
例如,参见图12B所示,当用户1、用户2和用户3同时做出指定加入动作以加入双人健身时,由于请求加入双人健身的人数超过两人,此时电子设备可以显示第二提示信息“仅需2名健身用户,请非健身用户放下动作”。当用户1、用户2或用户3中任意一人放下指定加入动作之后,电子设备开始指导用户进行双人健身项目。
在另一些实施例中,以该第二类运动项目需要K个用户之间的相互配合为例,K≥2,在用户触发电子设备开始健身指导的过程中,电子设备已确定的健身用户的数量为P时。随后,当电子设备检测到有Q个人一起做指定加入动作后,将与指定加入动作匹配度最高的K-P个动作对应的用户确定健身用户,其中Q>P。本实施例提供的方法能够将动作姿势相对标准的用户确定为健身用户。
例如,参见图12C所示,当前已加入双人健身的健身用户数量为0个,还差2个健身用户。当电子设备检测到用户1、用户2和用户3一起做出指定加入动作以加入双人健身时,电子设备检测到用户1和用户2所做的加入动作的匹配度为前两名,用户3所做的加入动作的动作匹配度为最后一名,因此电子设备将用户1和用户2确定为健身用户,并分别在其图像上显示提示信息,以提示成为健身用户。示例性的,该提示信息可以为“动作匹配度高,您为健身用户”。随后,电子设备开始指导用户1和用户2进行双人健身。
在用户1和用户2均加入健身之后,如果其他用户(例如用户3)想替换用户1加入健身,则可以采用如下任意一种方式加入健身。
方式一:在已有健身用户退出之后加入健身
参见图13A所示,在用户1和用户2健身的过程中,如果用户1做退出动作退出当前健身,则用户3可以通过做加入动作加入当前健身,实现用户3替换用户1进行双人健身的目的。需要说明的是,在本实施例中,退出的用户(即用户1)可以采用图10A、图10B或者图10D示出的任意一种退出方式退出当前的健身运动,加入的用户(即用户3)可以采用图8A-图8D示出的人一种加入方式加入当前的健身运动。
方式二:根据加入健身的顺序抢占成为健身用户
参见图13B所示,在用户1和用户2健身的过程中,用户3可以做加入动作加入当前的健身运动。电子设备记录每个健身用户的加入时间。当用户3成功加入之后,电子设备自动控制加入时间最早的健身用户(例如用户1)退出健身。在本实施例中,加入的用户(即用户3)可以采用图8A-图8D示出的任意一种加入方式加入当前的健身运动。在用户3加入健身之后,即使用户1当前正处于健身中,且健身动作匹配度很高,也将用户1确定为非健身用户。
可选的,在用户3做加入动作加入当前的健身运动的过程中,如果最早加入的用户(如用户1)的健身时长超过预设时间(例如5分钟),则电子设备将用户3确定为健身用户。否则,不将用户3确定为健身用户。通过该方法可以尽可能保证每个用户的锻炼时间。
本实施例提供的方法基于“先入先出”的机制,能够尽可能地给每个具有健身意图的用户提供锻炼的机会,具有较好的用户体验。
方式三、替换距离最近的健身用户
参见图13C所示,在用户1和用户2健身的过程中,当用户3想要加入当前的健身运动时,可以选择一个想要替换的健身用户(例如用户1),靠近用户1站立并作出指定加入动作或者教练动作。电子设备在检测到用户3具有健身意图后,分别确定其与其他健身用户(即用户1和用户2)的距离,将距离最近的健身用户切换为非健身用户,并将用户3确定为健身用户。以电子设备检测到距离用户3最近的健身用户是用户1为例,电子设备将用户1切换为非健身用户,将用户3切换为健身用户。
在一个示例中,由于用户图像中用户的位置关系和实际用户的位置关系是相同的,因此,电子设备可以根据用户图像之间的远近关系来在一定程度上表征实际用户的远近关系。可选的,在用户图像中,电子设备可以将两个用户脚踝之间的最近距离,确定为这两个用户之间的距离。基于此,参见图13D所示,由于用户3的左脚踝距离用户1的右脚踝最近,因此,用户3的左脚踝与用户1的右脚踝之间距离D1即为用户3和用户1之间的距离。同理,用户3的左脚踝与用户2的右脚踝之间距离D2即为用户3和用户2之间的距离。由于D1小于D2,因此,电子设备确定距离用户3最近的用户为用户1,并使用用户3替换用户1,即将用户1切换为非健身用户,而将用户3切换为健身用户。
通过本实施例提供的方法,非健身用户通过站在想要替换的健身用户附近做出加入动作,即可替换该健身用户,具有较好的用户体验。
方式四、用户主动选择所要替换的健身用户
参见图13E所示,在用户1和用户2健身的过程中,用户3可以通过做指定加入动作控制电子设备进入用户替换模式。在用户替换模式下,电子设备依次突出显示用户1和用户2的图像。其中,突出显示用户图像包括高亮显示用户图像、闪烁显示用户图像或者在用户图像上方显示指示信息(例如图13E中的箭头和提文字“目标替换用户”)等。当用户3想要替换用户1时,在电子设备突出显示用户1时,用户3做出选择动作即可替换用户3成为健身用户。当用户3想要替换用户2时,在电子设备突出显示用户2时,用户3做出选择动作即可替换用户2成为健身用户。其中,选择动作可以为某指定动作,也可以为用户放下当前所做的指定加入动作的操作。
通过本实施例提供的方法,非健身用户可以自主选择想要替换的健身用户,也具有较好的用户体验。
在上述方式一至方式四中,当用户1退出用户3加入之后,电子设备可以显示提示信息以提示切换用户成功。例如,该提示信息可以为“用户1退出,用户3加入”,本实施例对该提示信息的具体形式不进行限制。
综上所述,在电子设备指导用户进行第二类运动项目的过程中,能够根据灵活地确定健身用户,有助于提高用户体验。
此外,针对第一类运动项目,尽管本申请实施例提供的方法能够将每个具有健身意图的用户均确定为健身用户,指导其健身。但在实际应用中,有的电子设备的处理能力可能不足。对于处理器能力相对较差的电子设备,其实际能够指导的健身用户的数量是有限的。因此,电子设备可以根据自身的运算处理能力,针对第一类运动项目预先设置一个健身用户的上限人数A,例如A=5。
与第二类运动项目必须要确定K个健身用户才能开始运动指导不同,对于设置有上限人数A的电子设备,其在启动第一类运动项目后,只要确定了一个健身用户,即可开始进行健身指导。在指导过程中,电子设备可以继续识别用户图像,随时将具有健身意图的用户确定为健身用户,或者将不具有健身意图的健身用户切换为非健身用户。
在一些实施例中,针对第一类运动项目,在电子设备指导P个健身用户健身的过程中(P<A),当用户图像内具有健身意图的非健身用户的数量为Q且Q≤A-P时,电子设备将这Q个非健身用户均确定为健身用户。
以A=5、P=2、Q=2为例,当第一类运动项目的上限人数是5时,电子设备在指导2个健身用户运动的过程中,当用户图像内还有2个非健身用户具有健身意图时,可以将这2个非健身用户均确定为健身用户。
在另一些实施例中,针对第一类运动项目,在电子设备指导P个健身用户健身的过程中(P<A),当用户图像内具有健身意图的非健身用户的数量为Q且Q>A-P时,电子设备可以采用图12B或者图12C示出的方法,从Q个用户中确定出A-P个用户。
以A=5、P=2、Q=4为例,当第一类运动项目的上限人数是5时,电子设备在指导2个健身用户运动的过程中,当用户图像内还有4个非健身用户具有健身意图时,可以采用图12B所示的方法,提示请求加入的用户数量过多,请部分用户停止执行加入动作。或者,电子设备可以采用图12C所示的方法,确定这4个非健身用户中的每个用户的动作与指定加入动作或者教练动作的匹配度,将匹配度最高的前三名用户确定为健身用户。
在其他一些实施例中,针对第一类运动项目,在电子设备指导A个健身用户健身的过程中,当用户图像内的具有健身意图的非健身用户的数量为Q,该Q个健身用户中的每一个用户均可以采用上述方式一至方式四中的任意一种方式进行用户切换,加入该第一类运动项目,成为健身用户。
以A=5、P=5、Q=2为例,当第一类运动项目的上限人数是5时,电子设备在指导5个健身用户运动的过程中,当用户图像内还有2个非健身用户具有健身意图时,电子设备可以依次针对这两个用户,采用方式一至方式四任意一个方法加入该第一类运动项目,成为健身用户。
电子设备在指导健身用户进行第一类运动项目或者第二类运动项目的过程中,可以显示健身用户的历史运动信息。该历史运动信息可以是用户参加当前运行的运动项目时所产生的历史运动信息,也可以是用户当日参加所有运动项目的历史运动信息。该历史运动信息包括健身时长、健身评分以及所消耗的卡路里等。
在一些实施例中,对于第一类运动项目或者第二类运动项目,电子设备在指导用户健身的过程中,可以在屏幕上显示每个健身用户的历史健身信息,并根据用户的运动情况不断更新该历史运动信息。
在另一些实施例中,对于第一类运动项目或者第二类运动项目,电子设备在指导用户健身的过程中,可能会出现某个健身用户退出健身后又加入该健身项目的情况。当电子设备检测到退出的健身用户再次加入当前健身项目后,电子设备可以显示该健身用户参加当前健身项目的历史运动信息。
例如,参见图14所示,在用户1进行“肩颈运动”锻炼的过程中,如果电子设备检测到用户1退出当前的肩颈运动之后又加入了该运动项目,则显示用户进行该运动项目的历史运动信息:健身时长5分钟、评分90、卡路里10千卡。
在另一些实施例中,对于第一类运动项目或者第二类运动项目,当用户退出电子设备当前进行的运动项目之后,可以将该用户参与该运动项目的历史运动信息显示在屏幕上。
在其他一些实施例中,对于一些需要多个健身用户轮流执行的第二类运动项目,例如“接力跑”运动项目,电子设备可以累积统计各个健身用户的历史运动信息。例如,在用户1进行“接力跑”运动项目的过程中,电子设备实时显示用户1的历史运动信息,当用户2替换用户1之后,电子设备在用户1的历史运动信息的基础上,继续叠加统计用户2的运动信息,作为该运动项目所有参与用户共同的历史运动信息。
通过历史运动信息,用户可以了解自身的运动情况,如历史运动时长、消耗的卡路里等,有助于用户合理安排运动计划。
本申请实施例还提供一种云健身的运动锻炼模式,即不同用户通过多个电子设备同时参加同一个健身项目。下面结合附图对云健身的具体内容进行说明。
在一种可能的实现方式中,以电子设备指导用户进行第一类运动项目中的肩颈运动为例,参见图15A所示,用户1可以在“肩颈运动”的模式选择界面选择云模式,以进行肩颈运动的云模式运动锻炼。当用户1开始云模式锻炼之后,参见图15B所示的运动指导界面,电子设备将创建一个健身房间,该房间具有唯一确定的房间号(例如123456)。其他用户可以根据该房间号加入用户1当前正在进行的运动运动项目。
以用户2加入用户1当前的运动运动项目为例,参见图16A所示,用户2可以通过操作AI健身应用的主界面中的“云健身”图标进入云健身加入页面。参见图16B所示,该云健身加入页面可以包括房间号码输入区,以及“加入”图标和“返回”图标。当用户2在该云健身加入界面输入房间号码,并操作“加入”图标之后,用户2进入用户1创建的健身房间,与用户1共同进行云健身。
在用户2进入用户1创建的健身房间之后,参见图16C所示,用户1的电子设备和用户2的电子设备均可以同时显示运动指导界面,该运动指导界面包括教练动作、用户1的图像信息以及用户2的图像信息。此外,用户1和用户2也可以进行语音交流。
在另一种可能的实现方式中,用户可以通过电子设备中的健身应用预约其他用户进行云健身。其中,云健身的预约信息包括健身项目名称、健身时长、健身用户账号、健身开始时间、健身加入链接等信息。预约成功后,健身应用将预约信息通知到对应的健身用户账号。在到达约定的健身时间之后,用户可以根据健身加入链接加入预约的健身项目。
在其他一些可能的实现方式中,健身应用中可以预先设置一些共享健身房,任何健身用户均可以进入该健身房间,和其他网络健身用户共同参与该健身房间提供的运动项目。例如,参见图17所示的共享健身房界面,本实施例提供的电子设备可以为不同种类的运动项目设置不同的运动专区,例如健身专区、广场舞专区、瑜伽专区、太极拳专区等,用户可以根据进入对应的房间进行运动锻炼。以用户进行“健身项目1”为例,用户可以通过操作健身专区中,房间1对应的“加入”图标进入房间1,进行“健身项目1”运动锻炼。
在本实施例中,用户在进入共享健身房之后,电子设备可以不采集用户的图像信息,以避免泄露用户的隐私。或者,电子设备可以采集用户的图像信息对其进行健身指导,并将健身用户在该房间内的健身信息(例如健身时长、评分以及消耗的卡路里)共享到该健身房间,但不共享健身用户的图像信息,避免泄露用户隐私。
此外,在共享健身房中,用户也可以查看该健身房内所有用户的排名榜。示例性的,该排名榜可以是根据用户的健身动作评分确定的评分排名榜(例如图18所示),也可以是根据用户的健身时长确定的时长排名榜,本实施例对排名榜的具体类型不进行限制。
需要说明的是,在用户进行云健身的过程中(包括第一类运动项目和第二类运动项目),电子设备也可以采用上述本申请实施例提供的用户确定方法,切换该电子设备摄像头拍摄范围内的健身用户。
通过本申请实施例提供的云健身的技术方案,用户可以不受距离的限制与其他用户一起进行健身,有助于提高用户健身的积极性,并且具有较好的用户体验。
在用户通过指定加入动作切换健身用户的过程中(可参见图2C、图8A、图12A等附图),由于用户对指定加入动作的理解不同,用户实际做出的指定加入动作(本实施称之为实际加入动作)与指定加入动作可能存在差异较大。
示例性的,对于图2C中电子设备示出的指定加入动作,用户在做出该动作时,可能会做出例如图19中的(a)~图19中的(c)所示的不同的实际加入动作。当实际加入动作与指定加入动作的匹配度低于预设的第一阈值(例如85%)时,电子设备将无法根据该实际加入动作将该用户确定为健身用户,导致该用户无法加入健身,进而导致该用户通过指定加入动作加入健身的成功率比较低。
为了提高用户通过指定加入动作切换用户的成功率,参见图20所示,本申请实施例提供的用户确定方法还可以包括如下步骤。
S2001,电子设备采集用户的人脸信息。
对于每一个健身项目,电子设备打开该健身项目之后,可以通过摄像头采集用户的人脸信息。此外,电子设备会持续识别摄像头拍摄范围内每个用户的姿态,直至电子设备退出该AI健身项目。
S2002,电子设备根据人脸信息检测该用户是否为新用户。其中,新用户的具体检测方法请参见前文描述,本实施例在此不再赘述。
如果该用户为新用户,则电子设备在S2002之后执行S2003~S2005,以及S2010~S2012。当该用户不是新用户时,该电子设备在S2002之后执行S2006~S2012。具体如下所示。
S2003,如果该用户为新用户,获取新用户实际加入动作与指定加入动作的匹配度阈值(即第一阈值)X1
通常情况下,电子设备给新用户和老用户设置的匹配度阈值X是相同的,例如X=85%,当用户实际加入动作与指定加入动作的匹配度大于或者等于85%时,该用户才能加入健身。但是,对于新用户,其在首次根据指定加入动作切换用户时,可能对指定加入动作的理解不准确,其做出的实际加入动作与指定加入动作差异可能较大,切换用户的成功率较低。因此,本实施例将新用户的匹配度阈值设置为一个较低的数值X1,以提高新用户切换用户的成功率。其中,X1是电子设备针对新用户预设的一个数值,X1<X,例如X1=70%。
S2004,当该用户的实际加入动作与指定加入动作的匹配度≥X1时,电子设备将该用户确定为健身用户。
应理解,电子设备在确定该用户为健身用户之后,即开始指导该用户进行运动锻炼。
S2005,电子设备根据该实际加入动作生成M个动作模板,并将其存储在该健身用户的模板池中。
可选的,电子设备在确定实际加入动作的骨骼节点信息之后,可以通过高斯噪声法将该实际加入动作中骨骼节的点位置进行不同程度的偏移,生成与该实际加入动作类似但不同的M-1个动作模板。然后,将该实际加入动作和动作模板一起存储在模板池中(共计M个动作模板)。其中,M为预设值,例如M=50。
S2006,如果该用户不是新用户,则当实际加入动作与指定加入动作的匹配度≥X2时,电子设备确定该用户为健身用户。
需要说明的是,用户每成功加入一次,智能设备会更新该用户的匹配度阈值,更新后匹配度阈值即为X2。具体参见S2011,此处不进行赘述。
S2007,电子设备判断该健身用户模板池中的动作模板的数量是否小于N,其中M<N。
本实施例将模板池中容纳动作模板的最大数量设置为N个,M<N,例如N=100。需要说明的是,通常情况下,模板池中一部分模板为用户的实际加入动作对应的动作模板,而另一部分是电子设备根据高斯噪声法生成的模板。
S2008,如果模板池中的动作模板的数量小于N,则电子设备将该实际加入动作对应的动作模板,加入模板池中。
通过S2008可以增加模板池中用户实际加入动作的数量,有助于电子设备学习用户对动作的理解。
S2009,如果模板池中的动作模板的数量等于N,则电子设备使用该实际加入动作对应的动作模板,替换模板池中处于聚类边缘的动作模板。
其中,模板池中处于聚类边缘的动作模板与用户的动作习惯差异最大,因此,电子设备将其从模板池中删除,并加入该实际加入动作对应的动作模板。
S2010,电子设备根据模板池中动作模板的聚类中心确定指定加入动作。
其中,模板池的聚类中心最接近用户的动作习惯,随着电子设备对用户的实际加入动作的聚类学习,指定加入动作会越来越接近用户的动作习惯。因此,将聚类中心对应的加入动作确定为指定加入动作,有助于提高用户切换用户的成功率,提高用户体验。
S2011,电子设备根据实际加入动作与模板池中各个动作模板的平均匹配度,确定或更新该健身用户的X2
其中,对于新用户,电子设备根据S2011确定该用户的X2。对于老用户,电子设备根据S2011更新该用户的X2。可以理解,随着指定加入动作越来越接近用户的动作习惯,用户的实际加入动作与指定加入动作的匹配度也越来越高。
需要说明的是,S2011是一个可选的步骤,电子设备也可以不提高用户的匹配度阈值。
S2012,电子设备更新指定加入动作的显示图标。
具体地,电子设备可以根据指定加入动作对应的人体姿态,生成加入动作的显示图标。应理解,随着指定加入动作与用户的动作习惯越来越相近,该加入动作的显示图标也与用户的实际加入动作越来越相近。
通过上述步骤S2001~S2012,电子设备能够智能更新用户的指定加入动作和匹配度阈值,通过在线机器学习方法,迭代式的学习用户对加入动作的理解,提高切换用户的成功率,提高用户体验。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
基于上述用户确定方法,本实施例提供的电子设备被配置为执行上述任一实施例提供的用户确定方法。本申请实施例提供的电子设备在确定第一目标用户之后,可以再将其他用户确定为第二目标用户,同时指导多个目标用户进行运动锻炼,并且第二目标用户的加入不会影响第一目标用户,具有较好的用户体验。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述各个实施例中描述的方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现,则功能可以作为一个或多个指令或代码存储在计算机可读介质上或者在计算机可读介质上传输。计算机可读介质可以包括计算机存储介质和通信介质,还可以包括任何可以将计算机程序从一个地方传送到另一个地方的介质。存储介质可以是可由计算机访问的任何可用介质。
作为一种可选的设计,计算机可读介质可以包括只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(randomaccess memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electrically erasable programmabler-only memory,EEPROM)或其它光盘存储器,磁盘存储器或其它磁存储设备,或可用于承载的任何其它介质或以指令或数据结构的形式存储所需的程序代码,并且可由计算机访问。而且,任何连接被适当地称为计算机可读介质。例如,如果使用同轴电缆,光纤电缆,双绞线,数字用户线(DSL)或无线技术(如红外,无线电和微波)从网站,服务器或其它远程源传输软件,则同轴电缆,光纤电缆,双绞线,DSL或诸如红外,无线电和微波之类的无线技术包括在介质的定义中。如本文所使用的磁盘和光盘包括光盘(CD),激光盘,光盘,数字通用光盘(DVD),软盘和蓝光盘,其中磁盘通常以磁性方式再现数据,而光盘利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。本申请实施例中提及的处理器可以是中央处理单元(centralprocessing unit,CPU),还可以是其他通用处理器、数字信号处理器(digital signalprocessor,DSP)、专用集成电路(application specific integrated circuit,ASIC)、现成可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
本申请实施例提供一种计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备实现上述各个实施例中描述的方法。上述实施例中描述的方法可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。如果在软件中实现,可以全部或者部分得通过计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时,全部或部分地产生按照上述方法实施例中描述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、用户设备或者其它可编程装置。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以上,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (21)

1.一种用户确定方法,应用于电子设备,其特征在于,所述方法包括:
响应于用户的第一操作,显示预设的第一图像和采集的第二图像;
确定所述第二图像中的第一目标用户;
显示所述第一目标用户相关的第一内容;
在显示所述第一目标用户相关的第一内容时,确定所述第二图像中的第二目标用户;
在显示所述第一内容的同时,显示所述第二目标用户相关的第二内容。
2.根据权利要求1所述的方法,其特征在于,
所述确定所述第二图像中的第一目标用户包括:当所述第二图像中的用户满足第一预设条件时,将所述用户确定为第一目标用户;
所述确定所述第二图像中的第二目标用户包括:当所述第二图像中除所述第一目标用户之外的其他用户满足所述第一预设条件时,将所述其他用户确定为所述第二目标用户。
3.根据权利要求2所述的方法,其特征在于,所述第一预设条件为:
用户的动作与指定加入动作匹配,且持续匹配超过预设时间;或者,
用户的动作序列与所述第一图像中显示的动作序列匹配,且持续匹配超过预设时间。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述方法还包括:
当所述第一目标用户满足第二预设条件时,不显示所述第一目标用户相关的第一内容;或者,
当所述第二目标用户满足所述第二预设条件时,不显示所述第二目标用户相关的第二内容。
5.根据权利要求4所述的方法,其特征在于,所述第二预设条件为:
目标用户的动作与指定退出动作匹配,且持续匹配超过预设时间;或者,
目标用户持续静止超过预设时间,且与所述第一图像中显示的动作序列不匹配;或者,
目标用户不在所述第二图像内且持续超过预设时间。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
当所述第一目标用户或者所述第二目标用户满足第三预设条件时,显示询问信息,所述询问信息用于询问对应的目标用户是否退出。
7.根据权利要求6所述的方法,其特征在于,所述第三预设条件为:目标用户的动作与所述第一图像中显示的动作序列的匹配度低于阈值,并且持续超过预设时间。
8.根据权利要求2或3所述的方法,其特征在于,所述电子设备能够确定的目标用户的上限数量为T,T≥2。
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
当已确定的目标用户的数量为P时,P<T,如果检测到有Q个用户同时满足所述第一预设条件,并且Q>T-P,显示第二提示信息,所述第二提示信息用于提示当前目标用户的数量超过所述上限数量。
10.根据权利要求8所述的方法,其特征在于,所述方法还包括:
当已确定的目标用户的数量为P时,P<T,如果检测到有Q个用户同时满足所述第一预设条件,Q>T-P,确定所述Q个用户中,每个用户的动作与指定加入动作的匹配度,或者每个用户的动作序列与所述第一图像中显示的动作序列的匹配度,将所述匹配度位于前T-P名的用户确定为目标用户,显示与所述目标用户相关的内容。
11.根据权利要求8所述的方法,其特征在于,所述方法还包括:
当确定一用户为目标用户时,记录确定操作的时刻;
当已确定的目标用户的数量为T时,若检测到第T+1个用户满足所述第一预设条件,不显示T个目标用户中所述确定操作的时刻最早的用户的相关内容;
将所述第T+1个用户确定为目标用户;
显示所述第T+1个用户相关的内容。
12.根据权利要求8所述的方法,其特征在于,所述方法还包括:
当已确定的目标用户的数量为T时,若检测到第T+1个用户满足所述第一预设条件,确定所述第二图像上第T+1个用户的用户图像与每个目标用户的用户图像之间的距离;
不显示距离所述第T+1个用户最近的目标用户相关的内容;
将所述第T+1个用户确定为目标用户;
显示所述第T+1个用户相关的内容。
13.根据权利要求8所述的方法,其特征在于,所述方法还包括:
当已确定的目标用户的数量为T时,若检测到第T+1个用户满足所述第一预设条件,则依次突出显示T个目标用户;
在突出显示T个目标用户中第i个目标用户时,若检测到所述第T+1个用户做出选择动作,不显示所述第i个目标用户相关的内容;
将所述第T+1个用户确定为目标用户;
显示所述第T+1个用户相关的内容。
14.根据权利要求1-13任一项所述的方法,其特征在于,所述方法还包括:
确定目标用户是否为新用户;
若目标用户为新用户,则显示用户切换提示信息,所述用户切换提示信息中包括指定加入动作的显示图标。
15.根据权利要求14所述的方法,其特征在于,所述确定目标用户是否为新用户,包括:
在确定目标用户后,采集目标用户的人脸信息;
在应用服务器的人脸信息库中查找所述目标用户的人脸信息,所述人脸信息库中包括历史目标用户的人脸信息;
若所述人脸信息库中不包括所述目标用户的人脸信息,则确定所述用户为新用户,并将所述新用户的人脸信息存储到所述人脸信息库中。
16.根据权利要求3所述的方法,其特征在于,当所述第一预设条件为用户的动作与指定加入动作匹配,且持续匹配超过预设时间时,所述方法还包括:
在确定目标用户后,根据所述目标用户的实际加入动作,更新所述目标用户的指定加入动作;其中,所述实际加入动作为所述目标用户实际做出的动作。
17.根据权利要求16所述的方法,其特征在于,根据目标用户的实际加入动作,更新所述目标用户的指定加入动作,包括:
当所述目标用户是新用户时,根据所述目标用户的实际加入动作,创建所述目标用户的模板池,所述模板池中存储有根据所述实际加入动作生成的M个动作模板,M<N;N为所述模板池允许存储的最大模板数量;
将所述目标用户的所述指定加入动作更新为:所述M个动作模板的聚类中心。
18.根据权利要求16所述的方法,其特征在于,根据目标用户的实际加入动作,更新所述目标用户的指定加入动作,包括:
当所述目标用户不是新用户时,若所述目标用户的模板池中的动作模板的数量小于N时,则将所述实际加入动作存储至所述目标用户的模板池中,更新所述模板池;或者,
若所述目标用户的模板池中的动作模板的数量等于N时,则使用所述实际加入动作替换所述用户的模板池中处于聚类边缘的动作模板,更新所述模板池;
将所述目标用户的所述指定加入动作更新为:更新后的模板池中所有动作模板的聚类中心。
19.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-18任一项所述的方法。
20.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-18任一项所述的方法。
21.一种计算机程序产品,其特征在于,当所述计算机程序产品在电子设备上运行时,使得所述电子设备实现如权利要求1-18任一项所述的方法。
CN202110131885.9A 2021-01-30 2021-01-30 一种用户确定方法、电子设备和计算机可读存储介质 Pending CN113590003A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110131885.9A CN113590003A (zh) 2021-01-30 2021-01-30 一种用户确定方法、电子设备和计算机可读存储介质
CN202110815120.7A CN113655935A (zh) 2021-01-30 2021-01-30 一种用户确定方法、电子设备和计算机可读存储介质
PCT/CN2021/140199 WO2022161037A1 (zh) 2021-01-30 2021-12-21 一种用户确定方法、电子设备和计算机可读存储介质
EP21922627.1A EP4270245A1 (en) 2021-01-30 2021-12-21 User determination method, electronic device, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110131885.9A CN113590003A (zh) 2021-01-30 2021-01-30 一种用户确定方法、电子设备和计算机可读存储介质

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110815120.7A Division CN113655935A (zh) 2021-01-30 2021-01-30 一种用户确定方法、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113590003A true CN113590003A (zh) 2021-11-02

Family

ID=78238053

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110815120.7A Pending CN113655935A (zh) 2021-01-30 2021-01-30 一种用户确定方法、电子设备和计算机可读存储介质
CN202110131885.9A Pending CN113590003A (zh) 2021-01-30 2021-01-30 一种用户确定方法、电子设备和计算机可读存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110815120.7A Pending CN113655935A (zh) 2021-01-30 2021-01-30 一种用户确定方法、电子设备和计算机可读存储介质

Country Status (3)

Country Link
EP (1) EP4270245A1 (zh)
CN (2) CN113655935A (zh)
WO (1) WO2022161037A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114745576A (zh) * 2022-03-25 2022-07-12 上海合志信息技术有限公司 一种家庭健身互动方法、装置、电子设备以及存储介质
WO2022161037A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种用户确定方法、电子设备和计算机可读存储介质
CN116549956A (zh) * 2023-05-09 2023-08-08 北京维艾狄尔信息科技有限公司 一种户外体感交互方法、系统及智能终端

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150100911A1 (en) * 2013-10-08 2015-04-09 Dao Yin Gesture responsive keyboard and interface
CN104516496A (zh) * 2013-10-04 2015-04-15 财团法人工业技术研究院 可调体感范围的多人指引系统与其方法
CN107886075A (zh) * 2017-11-13 2018-04-06 广东工业大学 一种健身动作检测的方法及装置
CN109725727A (zh) * 2018-12-29 2019-05-07 百度在线网络技术(北京)有限公司 有屏设备的手势控制方法和装置
CN112259191A (zh) * 2019-08-30 2021-01-22 华为技术有限公司 辅助健身的方法和电子装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616712B (zh) * 2018-04-18 2020-11-10 深圳中电数码显示有限公司 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN208444577U (zh) * 2018-06-15 2019-01-29 上海利霸电子科技有限公司 一种可互动人影投影装置
CN111580673A (zh) * 2020-05-13 2020-08-25 京东方科技集团股份有限公司 目标对象推荐方法、装置和系统
CN113655935A (zh) * 2021-01-30 2021-11-16 华为技术有限公司 一种用户确定方法、电子设备和计算机可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104516496A (zh) * 2013-10-04 2015-04-15 财团法人工业技术研究院 可调体感范围的多人指引系统与其方法
US20150100911A1 (en) * 2013-10-08 2015-04-09 Dao Yin Gesture responsive keyboard and interface
CN107886075A (zh) * 2017-11-13 2018-04-06 广东工业大学 一种健身动作检测的方法及装置
CN109725727A (zh) * 2018-12-29 2019-05-07 百度在线网络技术(北京)有限公司 有屏设备的手势控制方法和装置
CN112259191A (zh) * 2019-08-30 2021-01-22 华为技术有限公司 辅助健身的方法和电子装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022161037A1 (zh) * 2021-01-30 2022-08-04 华为技术有限公司 一种用户确定方法、电子设备和计算机可读存储介质
CN114745576A (zh) * 2022-03-25 2022-07-12 上海合志信息技术有限公司 一种家庭健身互动方法、装置、电子设备以及存储介质
CN116549956A (zh) * 2023-05-09 2023-08-08 北京维艾狄尔信息科技有限公司 一种户外体感交互方法、系统及智能终端
CN116549956B (zh) * 2023-05-09 2023-11-07 北京维艾狄尔信息科技有限公司 一种户外体感交互方法、系统及智能终端

Also Published As

Publication number Publication date
CN113655935A (zh) 2021-11-16
EP4270245A1 (en) 2023-11-01
WO2022161037A1 (zh) 2022-08-04

Similar Documents

Publication Publication Date Title
WO2022161037A1 (zh) 一种用户确定方法、电子设备和计算机可读存储介质
WO2021036568A1 (zh) 辅助健身的方法和电子装置
CN114466128A (zh) 目标用户追焦拍摄方法、电子设备及存储介质
WO2022213834A1 (zh) 一种运动指导信息的确定方法、电子设备和运动指导系统
CN113996046B (zh) 热身判断方法、装置及电子设备
WO2022214004A1 (zh) 一种目标用户确定方法、电子设备和计算机可读存储介质
US20230402150A1 (en) Adaptive Action Evaluation Method, Electronic Device, and Storage Medium
CN114432683A (zh) 一种智能语音播放方法及设备
WO2022111704A1 (zh) 心率检测方法及电子设备
WO2022042275A1 (zh) 测量距离的方法、装置、电子设备及可读存储介质
EP4020389A1 (en) Target user locking method and electronic device
US20220277845A1 (en) Prompt method and electronic device for fitness training
CN115700847A (zh) 绘本阅读方法及相关设备
WO2022161027A1 (zh) 动作提示图标序列生成方法、电子设备和可读存储介质
CN115203524A (zh) 一种健身推荐方法和电子设备
CN113380374B (zh) 基于运动状态感知的辅助运动方法、电子设备及存储介质
WO2021254091A1 (zh) 运动次数的确定方法和终端
CN112752015B (zh) 拍摄角度推荐方法、装置、电子设备及存储介质
WO2021254092A1 (zh) 划桨频率的推荐方法、装置和设备
WO2023011356A1 (zh) 视频生成方法及电子设备
CN115691754A (zh) 一种运动指导方法及相关装置
CN117034095A (zh) 瑜伽动作检测的方法、装置以及系统
CN118116065A (zh) 动作识别方法、通信系统及电子设备
CN115445170A (zh) 一种运动提醒方法以及相关设备
CN113693556A (zh) 运动后肌肉疲劳度的检测方法及装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination