CN114466128B - 目标用户追焦拍摄方法、电子设备及存储介质 - Google Patents
目标用户追焦拍摄方法、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114466128B CN114466128B CN202011240237.9A CN202011240237A CN114466128B CN 114466128 B CN114466128 B CN 114466128B CN 202011240237 A CN202011240237 A CN 202011240237A CN 114466128 B CN114466128 B CN 114466128B
- Authority
- CN
- China
- Prior art keywords
- human body
- target user
- frame
- user
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 230000033001 locomotion Effects 0.000 claims abstract description 203
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000009432 framing Methods 0.000 claims abstract description 20
- 230000036544 posture Effects 0.000 claims description 172
- 230000009471 action Effects 0.000 claims description 53
- 238000004422 calculation algorithm Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 abstract description 18
- 238000004891 communication Methods 0.000 description 34
- 230000006854 communication Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 31
- 230000000875 corresponding effect Effects 0.000 description 28
- 238000007726 management method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 20
- 239000010410 layer Substances 0.000 description 19
- 238000012545 processing Methods 0.000 description 15
- 238000010295 mobile communication Methods 0.000 description 13
- 230000005236 sound signal Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 12
- 230000004044 response Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 210000000988 bone and bone Anatomy 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000003416 augmentation Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000036772 blood pressure Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000000386 athletic effect Effects 0.000 description 1
- 230000007175 bidirectional communication Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002138 osteoinductive effect Effects 0.000 description 1
- 230000010349 pulsation Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
- H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Geometry (AREA)
- Studio Devices (AREA)
- Automatic Focus Adjustment (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请提供目标用户追焦拍摄方法、电子设备及存储介质,其中,方法包括:电子设备获取运动参考信息;电子设备进入预设模式后电子设备持续获取图像数据,并基于图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户;电子设备基于第T帧图像,确定目标用户的第一人体姿态,并根据第一人体姿态和运动参考信息预测得到第T+n帧图像中目标用户的第二人体姿态;电子设备根据第一人体姿态和预测得到的第二人体姿态确定第T帧图像的目标取景区域;电子设备在显示屏显示目标取景区域。本申请提供的目标用户追焦拍摄方法,用户在运动过程中目标取景区域不会大幅晃动,提升追焦时的用户体验,避免追焦延迟导致目标用户出镜或追焦失败。
Description
技术领域
本发明涉及物联网技术领域,尤其涉及一种目标用户追焦拍摄方法、电子设备及存储介质。
背景技术
现代社会人们的生活节奏越来越快,或多或少存在身体健康问题,如何在快节奏的工作下保持良好的身体状态成为一个急需解决的问题。目前,利用智能终端设备(电视)进行智能健身或体感游戏指导是一种不错的运动方式。
在智能健身中,智能终端设备为了能够保证用户能全身入镜,往往采用大FOV(Field Of View,镜头视角)的相机镜头,但是大FOV的相机镜头容易导致当用户距离相机镜头稍远时,用户身体所占的画幅比重较小,从而造成观感差,影响用户体验。为了解决上述问题,现有技术中采用主角追焦技术,对取景获得的图像中的目标用户进行跟踪,然后进行ROI(Region Of Interest,感兴趣区域)裁剪(即在不超出取景获得的图像的前提下,在识别的目标用户四周取一定的余量,构成ROI取景框,裁剪出ROI取景框内的图像区域),然后将裁剪出的图像区域放大至全画幅进行显示,从而达到突出主角的目的。
由于目标用户在运动过程中,ROI取景框也会跟随目标用户在画幅区域内相应的移动或者调整,当目标用户运动速度过快时,可能因为追焦延迟导致用户出镜,甚至出现追焦失败的情况,当目标用户运动幅度较大时,也可能会出现追焦画幅晃动等问题,从而影响用户使用体验。
发明内容
本申请实施例提供目标用户追焦拍摄方法、电子设备及存储介质,用户在运动过程中目标取景区域不会大幅晃动,提升追焦时的用户体验,避免追焦延迟导致目标用户出镜或追焦失败。
第一方面,本申请实施例提供了一种目标用户追焦拍摄方法,所述方法应用于包括摄像头及显示屏的电子设备,所述方法包括:
所述电子设备获取运动参考信息;
所述电子设备进入预设模式后,所述电子设备持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,其中,T为大于或者等于1的自然数;
所述电子设备基于所述第T帧图像,确定所述目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中所述目标用户的第二人体姿态,其中,n为大于或者等于1的自然数;
所述电子设备根据所述第一人体姿态和预测得到的第二人体姿态确定所述第T帧图像的目标取景区域;
所述电子设备在所述显示屏显示目标取景区域。
在上述方案中,电子设备根据获取用户当前的人体姿态和预测得到的接下来的人体姿态,进行自适应地进行取景窗口的调节,避免用户运动速度过快时,可能因为追焦延迟导致用户出镜,甚至出现追焦失败的情况,提升用户使用体验。
可选地,所述电子设备通过所述摄像头持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,包括:
所述电子设备根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;在确定画幅内存在多个用户时,所述电子设备播放或显示提示信息,提示用户完成目标动作,获取所述摄像头采集的画幅内所有用户的人体姿态,将所述画幅内人体姿态与所述目标动作相匹配的用户确定为所述目标用户。
电子设备通过播放提示信息,来提示用户完成相应的动作,使得当画幅中存在多个用户时,可通过识别画幅中所有用户的人体姿态来完成目标用户的确定。
可选地,所述电子设备通过所述摄像头持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,包括:
所述电子设备根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;在确定画幅内存在多个用户时,所述电子设备获取所述摄像头采集的画幅内所有用户的人脸图像,将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户。
当画幅中存在多个用户时,通过采集画幅内所有用户的人脸数据,以便可通过识别画幅中所有用户的人脸来完成目标用户的确定,进一步提高了目标用户识别的准确性。
可选地,所述方法还包括:所述电子设备采集所述目标用户的人脸图像,将所述目标用户的人脸图像与账户关联存储;所述将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户,包括:所述电子设备将所述画幅内人脸图像与和所述账户关联存储的人脸图像相匹配的用户确定为所述目标用户。通过提前存储目标用户的人脸图像,以为目标用户识别做好准备工作。
可选地,所述电子设备通过所述摄像头持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,包括:所述电子设备根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;在确定画幅内存在多个用户时,所述电子设备获取所述摄像头采集的画幅内所有用户的运动数据,将所有用户的运动数据与预设的可穿戴设备采集到的运动数据进行匹配,并将匹配成功的用户确定为目标用户。通过匹配目标用户的运动数据与接收来自可穿戴设备采集的运动数据,可实现目标用户可穿戴设备的确定,快捷准确。
可选地,所述方法还包括:所述电子设备与预设的可穿戴设备配对并建立无线连接,所述可穿戴设备将采集到的用户的运动数据传输给所述电子设备。通过用户佩戴的可穿戴设备的运动数据来与绑定的可穿戴设备的运动数据进行比对,可以快速准备地确定目标用户。这里的可穿戴设备可以是手表,手环,运动耳机,跑步精灵等设备。可选地,所述运动参考信息包括多个运动阶段、各个所述运动阶段的标准人体姿态、各个所述运动阶段的姿态时长信息及姿态排列顺序。人体姿态例如直立、下蹲、直立起跳等等。
可选地,所述电子设备基于所述第T帧图像,确定目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中目标用户的第二人体姿态,包括:根据所述第T帧图像中所述目标用户的第一人体姿态和/或所述第T帧图像前的至少1个帧图像中所述目标用户的第三人体姿态,确定多个运动阶段中与所述第一人体姿态和/或所述第三人体姿态相匹配的标准人体姿态,并确定所述目标用户所处的当前运动阶段;根据所述当前运动阶段后的至少一个运动阶段的标准人体姿态预测第T+n帧图像中所述目标用户的第二人体姿态。
电子设备通过获取的运动参考信息,能够根据用户当前的姿态判断用户当前所处的运动阶段,从而获取下一运动阶段的运动姿态,从而能够根据当前的运动姿态及预测得到的下一个运动阶段的运动姿态来实现取景区域的调节。
可选地,所述电子设备基于所述第T帧图像,确定目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中目标用户的第二人体姿态,包括:在确定所述第一人体姿态为多个运动阶段中单次的人体姿态时,根据所述第T帧图像中所述目标用户的第一人体姿态匹配得到的标准人体姿态,确定所述目标用户所处的当前运动阶段。在确定所述第一人体姿态为多个运动阶段中重复多次的人体姿态时,根据所述第T帧图像中所述目标用户的第一人体姿态结合所述第T帧图像前的至少1个帧图像中所述目标用户的第三人体姿态,确定所述目标用户所处的当前运动阶段。
例如,健身课程中健身教练包括3个运动阶段,分别为第一运动阶段、第二运动阶段及第三运动阶段,第一运动阶段、第二运动阶段及第三运动阶段的参考动作类型分别为:“开合右跨步半蹲,双臂向上合拢”、“双腿并拢站立,双臂自然放在身体两侧”、“开合左跨步半蹲,双臂向上合拢”。其中,通过时间序列匹配算法,当第一帧图像中目标用户的人体姿态所匹配的参考动作类型为“开合右跨步半蹲,双臂向上合拢”时,则可以确定“开合右跨步半蹲,双臂向上合拢”对应的第二运动阶段为当前运动阶段。
可选地,所述电子设备获取运动参考信息,包括:所述电子设备基于健身课程获取运动参考信息。电子设备可以对健身课程进行解析可以是离线进行的,也可以是在线进行的,得到运动参考信息。
第二方面,本申请提供一种电子设备,包括摄像头、显示屏及处理器;
所述处理器,用于获取运动参考信息;
当所述电子设备进入预设模式后,所述摄像头用于持续获取图像数据;
所述处理器还用于:基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,其中,T为大于或者等于1的自然数;基于所述第T帧图像,确定所述目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中所述目标用户的第二人体姿态,其中,n为大于或者等于1的自然数;根据所述第一人体姿态和预测得到的第二人体姿态确定所述第T帧图像的目标取景区域;所述显示屏用于显示所述目标取景区域。
在上述方案中,电子设备根据获取用户当前的人体姿态和预测得到的接下来的人体姿态,进行自适应地进行取景窗口的调节,避免用户运动速度过快时,可能因为追焦延迟导致用户出镜,甚至出现追焦失败的情况,提升用户使用体验。
可选地,所述处理器还用于:根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;在确定画幅内存在多个用户时,所述电子设备播放或显示提示信息,提示用户完成目标动作,获取所述摄像头采集的画幅内所有用户的人体姿态,将所述画幅内人体姿态与所述目标动作相匹配的用户确定为所述目标用户。
电子设备通过播放提示信息,来提示用户完成相应的动作,使得当画幅中存在多个用户时,可通过识别画幅中所有用户的人体姿态来完成目标用户的确定。
可选地,所述处理器还用于:根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;在确定画幅内存在多个用户时,所述电子设备获取所述摄像头采集的画幅内所有用户的人脸图像,将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户。
当画幅中存在多个用户时,通过采集画幅内所有用户的人脸数据,以便可通过识别画幅中所有用户的人脸来完成目标用户的确定,进一步提高了目标用户识别的准确性。
可选地,所述摄像头,还用于采集所述目标用户的人脸图像;
所述处理器还用于:将所述目标用户的人脸图像与账户关联存储;所述处理器在将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户,包括:将所述画幅内人脸图像与和所述账户关联存储的人脸图像相匹配的用户确定为所述目标用户。通过提前存储目标用户的人脸图像,以为目标用户识别做好准备工作。
可选地,所述处理器还用于:根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;在确定画幅内存在多个用户时,所述电子设备获取所述摄像头采集的画幅内所有用户的运动数据,将所有用户的运动数据与预设的可穿戴设备采集到的运动数据进行匹配,并将匹配成功的用户确定为目标用户。通过匹配目标用户的运动数据与接收来自可穿戴设备采集的运动数据,可实现目标用户可穿戴设备的确定,快捷准确。
可选地,所述运动参考信息包括多个运动阶段、各个所述运动阶段的标准人体姿态、各个所述运动阶段的姿态时长信息及姿态排列顺序。
可选地,所述处理器还用于:根据所述第T帧图像中所述目标用户的第一人体姿态和/或所述第T帧图像前的至少1个帧图像中所述目标用户的第三人体姿态,确定多个运动阶段中与所述第一人体姿态和/或所述第三人体姿态相匹配的标准人体姿态,并确定所述目标用户所处的当前运动阶段;根据所述当前运动阶段后的至少一个运动阶段的标准人体姿态预测第T+n帧图像中所述目标用户的第二人体姿态。
电子设备通过获取的运动参考信息,能够根据用户当前的姿态判断用户当前所处的运动阶段,从而获取下一运动阶段的运动姿态,从而能够根据当前的运动姿态及预测得到的下一个运动阶段的运动姿态来实现取景区域的调节。
可选地,所述处理器还用于:在确定所述第一人体姿态为多个运动阶段中单次的人体姿态时,根据所述第T帧图像中所述目标用户的第一人体姿态匹配得到的标准人体姿态,确定所述目标用户所处的当前运动阶段。
在确定所述第一人体姿态为多个运动阶段中重复多次的人体姿态时,根据所述第T帧图像中所述目标用户的第一人体姿态结合所述第T帧图像前的至少1个帧图像中所述目标用户的第三人体姿态,确定所述目标用户所处的当前运动阶段。
例如,健身课程中健身教练包括3个运动阶段,分别为第一运动阶段、第二运动阶段及第三运动阶段,第一运动阶段、第二运动阶段及第三运动阶段的参考动作类型分别为:“开合右跨步半蹲,双臂向上合拢”、“双腿并拢站立,双臂自然放在身体两侧”、“开合左跨步半蹲,双臂向上合拢”。其中,通过时间序列匹配算法,当第一帧图像中目标用户的人体姿态所匹配的参考动作类型为“开合右跨步半蹲,双臂向上合拢”时,则可以确定“开合右跨步半蹲,双臂向上合拢”对应的第二运动阶段为当前运动阶段。
可选地,所述处理器还用于:基于健身课程获取运动参考信息。电子设备可以对健身课程进行解析可以是离线进行的,也可以是在线进行的,得到运动参考信息。
第三方面,本申请实施例提供一种计算机可读存储介质,包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备执行第一方面或者第一方面的任一可选的实现方式中的方法的指令。
第四方面,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面或者第一方面的任一可选的实现方式中的方法的指令。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1为本申请实施例提供的电子设备的结构示意图;
图2是本发明实施例的电子设备的软件结构框图;
图3为本申请实施例提供的电子设备的摄像头取景所获得的图像的示意图;
图4为本申请提供的一种目标用户追焦拍摄方法的流程图;
图5本申请实施例提供的电子设备上的用于展示电子设备安装的应用程序的示例性用户界面;
图6为本申请实施例提供的电子设备的健身app界面的示意图;
图7为本申请实施例提供的健身运动中的三个运动阶段的示意图;
图8为本申请实施例提供的电子设备的健身app的一种界面示意图;
图9为本申请实施例提供的电子设备的健身app的另一种界面示意图;
图10为本申请实施例提供的目标用户追焦拍摄方法中确定目标用户的流程示意图;
图11为本申请实施例提供的一种目标用户的识别场景示意图;
图12为本申请实施例提供的另一种目标用户的识别场景示意图;
图13为本申请实施例提供的目标用户追焦拍摄方法中确定目标用户的另一种流程示意图;
图14为本申请实施例提供的另一种目标用户的识别场景示意图;
图15为本申请实施例提供的电子设备的健身app的另一种界面示意图;
图16为本申请实施例提供的电子设备的健身app的另一种界面示意图;
图16a为本申请实施例提供的电子设备的健身app的一种界面变化状态示意图;
图16b为本申请实施例提供的电子设备的健身app的另一种界面变化状态示意图;
图16c为本申请实施例提供的电子设备的健身app的另一种界面变化状态示意图;
图16d为本申请实施例提供的电子设备的健身app的另一种界面变化状态示意图;
图16e为本申请实施例提供的电子设备的健身app的另一种界面变化状态示意图;
图16f为本申请实施例提供的电子设备的健身app的另一种界面变化状态示意图;
图17a为本申请实施例提供的电子设备的健身app的另一种界面示意图;
图17b为本申请实施例提供的电子设备的健身app的另一种界面示意图;
图18为本申请实施例提供的电子设备的健身app的另一种界面示意图;
图19为本申请实施例提供的电子设备的健身app的另一种界面示意图;
图20为本申请实施例提供的运动阶段的标准人体姿态变化示意图;
图21为本申请实施例提供的电子设备的目标取景区域的变化示意图;
图22为本申请提供的另一种目标用户追焦拍摄方法的流程图。
具体实施方式
下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;本文中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
在本申请实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
图1示出了电子设备100的结构示意图。
电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其它电子设备,例如AR设备等。
可以理解的是,本发明实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其它一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其它功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其它设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其它数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。处理器110通过运行存储在内部存储器121的指令,和/或存储在设置于处理器中的存储器的指令,执行电子设备100的各种功能应用以及数据处理。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备100通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备100是翻盖机时,电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备100执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备100对电池142加热,以避免低温导致电子设备100异常关机。在其它一些实施例中,当温度低于又一阈值时,电子设备100对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本发明实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本发明实施例的电子设备100的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
其中,窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
在本申请的实施例中,应用程序框架层还可以包括活动管理器AMS用于负责管理Activity,负责系统中各组件的启动、切换、调度及应用程序的管理和调度等工作。
例如,当检测到手机进入桌面编辑模式后,第一应用可以调用活动管理器,设置两个窗口的模式。其中一个窗口可用于显示桌面实时的缩略图,另一个窗口则用于显示可供用户编辑桌面的相关控件,例如选择壁纸控件,添加桌面小工具控件,选择切换效果控件,开启或关闭相关功能的控件等。窗口管理器则根据活动管理器设置的两个窗口的模式绘制各个窗口相应的界面。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
以下实施例中所涉及的技术方案均可以在具有上述硬件架构和软件架构的电子设备100中实现。
本发明实施例提供一种目标用户追焦拍摄方法,主要应用于家庭场景下的智能健身指导,通过电子设备(例如电视、电脑)为用户提供健身指导以及通过摄像头对用户的健身过程中的图像数据进行采集并显示。
本申请在显示用户运动的过程中采用目标跟踪技术,对取景获得的图像中的目标用户进行跟踪,然后进行ROI(Region Of Interest,感兴趣区域)裁剪(即在不超出取景获得的原始图像的前提下,在识别的目标用户四周取一定的余量,构成目标取景区域,在原始图像裁剪出目标取景区域),然后将裁剪出的目标取景区域放大至预设尺寸进行显示,从而达到突出目标用户的目的。
图3为本申请实施例提供的电子设备的摄像头取景所获得的图像的示意图,如图3所示,为了对上述过程进行示意说明,图3所示的B表示目标用户,对A中的目标用户B进行目标用户识别后,在不超出原始取景图像A的前提下,在识别的目标用户B四周取一定的余量(具体余量的多少可根据实际需要设定),构成目标取景区域C,通常情况下目标取景区域C为一个矩形块状,目标取景区域C中至少包括目标用户B。然后,在原始取景图像A中裁剪出目标取景区域C,然后将裁剪出的目标取景区域C放大至电子设备的显示屏进行全画幅显示。
由于目标用户B在运动过程中,目标取景区域C也会跟随目标用户B在原始取景图像A内相应的移动和/或尺寸调整,当目标用户B运动速度过快时,可能会因为追焦延迟导致目标用户B出镜,甚至出现追焦失败的情况,当目标用户B运动幅度较大时,也可能会出现追焦画幅(即目标取景区域C)晃动等问题,从而影响用户使用体验。
针对上述问题,本申请通过结合预先确定目标用户在运动中的运动参考信息,根据目标用户的运动参考信息预测后续目标用户的人体姿态,从而可以减少目标取景区域的晃动,减少追焦延迟导致用户出镜,甚至追焦失败的情况,进一步提高用户体验。
电子设备可以是图1所示的电子设备100,电子设备的例子可以是但不限于电视、智能电视、智能手机、平板电脑、个人计算机(personal computer,PC)、个人数字助理(PDA,Personal Digital Assistant)、上网本、增强现实技术(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、机器人等设备。
电子设备包括摄像头。可以理解的,电子设备的摄像头的数量可以为一个,也可以为多个,例如,1个、2个、3个、5个等。
其中,摄像头设置于电子设备的形式不限,例如,可以是内置于电子设备的摄像头,也可以外置于电子设备的摄像头。电子设备上的摄像头可以为任意类型的摄像头。例如,摄像头可以是彩色摄像头、灰度图像、黑白摄像头、深度摄像头、广角摄像头等,不限于此。
可以理解的是,如果摄像头的数量为至少两个,则至少两个摄像头位于电子设备的同一侧,并拍摄同一方向的场景。
电子设备开启摄像头时,摄像头进行取景,获得上述的原始取景图像,电子设备的显示屏用于显示上述的目标取景区域。用户可以通过显示屏实时观察拍摄对象的情况。例如,拍摄对象中可以包括人物、风景、建筑物等多种元素。当然,结合本申请的应用场景,拍摄对象可以通过显示屏观察目标用户的运动过程。
电子设备包括显示屏。电子设备的显示屏可以为图1所示的显示屏194。电子设备的显示屏的数量可以为一个,也可以为多个,例如,1个、2个、3个、5个等。
图4为本申请提供的一种目标用户追焦拍摄方法的流程图。如图4所示,本申请提供的一种目标用户追焦拍摄方法,应用于电子设备,可以包括:
步骤S101:电子设备获取运动参考信息;
步骤S102:电子设备进入预设模式后所述电子设备持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,T为大于或者等于1的自然数;
步骤S103:电子设备基于所述第T帧图像,确定目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中目标用户的第二人体姿态,n为大于或者等于1的自然数;
步骤S104:电子设备根据所述第一人体姿态和预测得到的第二人体姿态确定所述第T帧图像的目标取景区域;
步骤S105:电子设备在显示屏显示目标取景区域。
其中,目标用户的数量可以为1个或者多个,目标取景区域的数量也可以为1个或者多个。
下面以电子设备为电视为例,对本申请提供的目标用户追焦拍摄方法的各个步骤进行具体的说明。
针对步骤S101:电子设备获取运动参考信息。
其中,运动参考信息包括多个运动阶段、各个所述运动阶段的标准人体姿态,一个运动阶段可以对应一种标准人体姿态,动作类型例如直立、下蹲、直立起跳等等。
更具体地,运动参考信息还可以包括各个所述运动阶段的姿态时长信息及姿态排列顺序。
作为一种实现方式,电子设备获取运动参考信息的过程可以包括:步骤S1011和步骤S1012。
步骤S1011:电子设备接收用户选择的健身课程;
其中,健身课程可以是已知的预置视频数据,例如电子设备中已保存的本地健身视频数据,健身课程也可以是用户自主选择的第三方视频数据,例如通过网络在线搜索所获取的第三方视频数据。
本申请实施例中,电视至少能够为用户提供用于进入智能健身服务的入口。
作为一种实施方式,可以在电子设备的操作系统中设置为用户提供智能健身服务的功能,以使得该功能作为操作系统的一自带功能;作为另一种实施方式,也可以采用健身类的移动APP(Application,应用程序)的形式使得电视具有为用户提供智能健身服务的功能。
作为一种示例,电视显示有启动智能健身的入口控件,用户可以采用点击、手势操控、远程操控、语音交互等交互方式,使电视启动智能健身服务。
下面介绍本申请实施例提供的一些示例性图形用户界面。
图5示例性示出了电子设备100上的用于展示电子设备100安装的应用程序的示例性用户界面10。
用户界面10可包括:状态栏101,应用程序图标102。其中:
状态栏101可包括:无线高保真(wireless fidelity,Wi-Fi)信号的一个或多个信号强度指示符101C,电池状态指示符101D、时间指示符101E。
在一些实施例中,状态栏101还可以包括:移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符、运营商名称(例如“中国移动”)。
应用程序图标102可例如:健身的图标102A、图库的图标102B、音乐的图标102C、应用的图标102D、联系人的图标102E,邮箱的图标102F、云共享的图标102G、备忘录的图标102H、设置的图标102I、相机的图标102J。用户界面10还可包括页面指示符103。其他应用程序图标可分布在多个页面,页面指示符103可用于指示用户当前浏览的是哪一个页面中的应用程序。用户可以左右滑动其他应用程序图标的区域,来浏览其他页面中的应用程序图标。
在一些实施例中,用户界面10还可包括:导航栏104。
导航栏104可包括:返回键104A、主屏幕键104B、多任务键104C等系统导航键。当检测到用户点击返回键104A时,电子设备100可显示当前页面的上一个页面。当检测到用户点击主屏幕键104B时,电子设备100可显示用户界面10。当检测到用户点击多任务键104C时,电子设备100可显示用户最近打开的任务。各导航键的命名还可以为其他,本申请对此不做限制。不限于虚拟按键,导航栏104中的各导航键也可以实现为物理按键。
在一些实施例中,图3示例性所示的用户界面10可以为主界面(Home screen)。
在其他一些实施例中,电子设备100还可以包括前置摄像头,前置摄像头还可称作副摄像头,主要位于电子设备100屏幕的上方,前置摄像头可以用于自拍、视频通话等。
在其他一些实施例中,电子设备100还可以包括主屏幕键。该主屏幕键可以是实体按键,也可以是虚拟按键。该主屏幕键可用于接收用户的指令,将当前显示的UI返回到主界面,这样可以方便用户随时查看主屏幕。上述指令具体可以是用户单次按下主屏幕键的操作指令,也可以是用户在短时间内连续两次按下主屏幕键的操作指令,还可以是用户在预定时间内长按主屏幕键的操作指令。在本申请其他一些实施例中,主屏幕键还可以集成指纹识别器,以便用于在按下主屏幕键的时候,随之进行指纹采集和识别。
可以理解的是,图5仅仅示例性示出了电子设备100上的用户界面,不应构成对本申请实施例的限定。
示例性的,如图6所示,用户可点击用户界面10上的健身图标102A,电子设备100检测到上述用户操作,响应于上述用户操作,电子设备100显示健身app的界面11。
健身app的界面11可包括:应用程序标题栏201,搜索框202,设置203,功能栏204,显示区205。其中:
应用程序标题栏201可用于指示当前页面用于展示电子设备100的设置界面。应用程序标题栏201的表现形式可以为文本信息“智能健身”、图标或其他形式。
搜索框202可用于根据用户输入的字符,搜索与该字符匹配的健身课程。
设置203可接收用户操作(例如触摸操作),响应于检测到的该用户操作,电子设备100可以显示智能健身的设置界面。
功能栏204可包括:用户中心控件204A,课程推荐控件204B,多个课程分类控件。上述多个课程分类控件可包括但不限于:燃脂专区控件204C、塑形专区控件204D、舞蹈专区控件204E。其中
用户中心控件204A可接收用户操作(例如触摸操作),响应于检测到的该用户操作,电子设备100可以在显示区205显示用户个人中心的界面内容。
课程推荐控件204B可接收用户操作(例如触摸操作),响应于检测到的该用户操作,电子设备100可以在显示区205显示一或多个推荐的健身课程。例如,如图4所示,显示区205显示多个推荐课程的课程封面,以及每个推荐课程的课程分类、时长、名称。
上述多个课程分类控件中的控件可接收用户操作(例如触摸操作),响应于检测到的该用户操作,电子设备100可以在显示区205显示该课程分类控件对应的一或多个健身课程的课程封面。
在本申请的一些实施例中,上述健身课程的课程封面或名称可接收用户的播放操作(例如触摸操作),响应于检测到的上述播放操作,电子设备100可以在显示屏显示健身课程的具体内容。
健身app可以是响应于用户对该健身app的图标的触控操作启动的,例如,单击、双击、长按等。在本申请的一些实施例中,显示屏配置有触控面板,可用于接收用户的触控操作,该触控操作是指用户手部、手肘、触控笔等接触显示屏的操作。在具体实现中还可以有其他的方式打开健身app的界面11。此处不作限定。
例如,用户可通过按压按键开启第一控制模式打开健身app的界面11;或者,通过检测用户输入的语音打开健身app的界面11;或者,通过指关节绘制的特定形状(如Z形、矩形、圆圈等)打开健身app的界面11。本申请实施例对此不作具体限定。
此外,用户还可以通过遥控器控制电子设备100显示健身app的界面11;用户还可以通过特定手势控制电子设备100显示健身app的界面11。本申请实施例中对用户操作不做具体限定。
可以理解的是,图6仅仅示例性示出了电子设备100上的健身app界面,不应构成对本申请实施例的限定。
本申请实施例中,可以有一或多个用户跟随电子设备100播放的健身课程一起进行锻炼,且电子设备100可以同时为上述一或多个用户提供健身反馈。
首先,以单用户训练的应用场景为例,结合附图对本申请的健身课程交互方法进行说明。在该具体的应用场景中,用户通过电子设备100播放健身课程,并跟随健身课程一起训练。电子设备100实时采集用户的运动数据,并根据用户的运动数据和该健身课程的标准运动数据,指导用户更好的完成动作,以及实时展现用户的锻炼效果。
在本申请的一些实施例中,电子设备100可接收用户的播放操作,响应于检测到上述播放操作,电子设备100可以在显示屏同时显示健身课程窗口和用户健身窗口,健身课程窗口用于显示健身课程的具体内容,用户健身窗口用于实时显示用户的身体姿态。
应当知道的是,上述列举的各个界面仅作为一种示例性的实现方式,这些在实际应用中都是可以多样化实施、灵活选择的。
步骤S1012:电子设备基于健身课程获取运动参考信息。
在具体实施例中,运动参考信息包括多个运动阶段、各个运动阶段下的标准人体姿态、各个运动阶段的姿态时长信息及姿态排列顺序。
具体地,如果电子设备没有预先存储有用户选取的健身课程的运动参考信息,则当用户选择该健身课程后,电子设备可以对健身课程进行解析,对健身课程中的各个图像帧逐帧进行人体姿态检测,识别出运动参考对象(例如健身教练)在不同播放时刻的标准人体姿态(即时序姿态序列),从而确定健身课程中的运动参考对象在不同播放阶段的标准人体姿态、姿态时长、姿态排列顺序,得到运动参考信息。
其中,电子设备可以对健身课程进行解析可以是离线进行的,也可以是在线进行的。也就是说,可以对健身课程提前进行解析,也可以是在线的,健身课程现行完成解析,得到运动参考信息。
如果电子设备预先存储有该健身课程对应的运动参考信息,当用户选择该健身课程后,可直接获取该健身课程的运动参考信息。具体地,如果该健身课程是已知的预置视频,则电子设备可以提前对健身课程进行解析,对健身课程中的各个图像帧进行人体姿态检测,识别出运动参考对象(例如健身教练)的在不同播放时刻的人体姿态,从而确定健身课程中的运动参考对象在不同播放阶段(即运动阶段)的标准人体姿态,得到运动参考信息并存储。当用户选择该健身课程后,可直接读取该健身课程对应的健身课程的运动参考信息。
当然,电子设备获取运动参考信息也可以不通过对健身课程进行解析获得,例如,可以通过用户手动设置运动参考信息与该健身课程的对应关系,当用户选择该健身课程时,可直接获取该健身课程对应的运动参考信息,例如健身课程名称为波比跳,当用户选择或者输入波比跳时,电子设备可直接获取波比跳对应的运动参考信息。
示例性地,如图7所示,健身课程中健身教练包括3个运动阶段,3个运动阶段的动作顺序依次为:(一)开合右跨步半蹲,双臂向上合拢;(二)双腿并拢站立,双臂自然放在身体两侧;(三)开合左跨步半蹲,双臂向上合拢。对应地,运动参考信息包括上述3个运动阶段的顺序和3个运动阶段中每个运动阶段的标准人体姿态,运动参考信息还可以包括3个运动阶段中每个运动阶段对应的姿态时长信息和姿态排列顺序。
可以理解,本申请根据对健身课程中运动参考对象进行动作分析,得到运动参考信息,以便于后续根据运动参考信息在用户健身的过程中预测用户的活动范围。
针对步骤S102:电子设备进入预设模式后,通过摄像头持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直至第T帧图像确定目标用户,T为大于或者等于1的自然数。
在电子设备通过摄像头获取图像数据前,电子设备需要启动摄像头,其中,电子设备的摄像头可以是用户选择健身课程后自动启动,也可以是在用户确认后启动,本申请对此不作限定。
示例性地,用户可点击图6所示的用户界面11上的燃脂课程,电子设备100检测到上述用户操作,响应于上述用户操作,电子设备100显示如图8所示健身app的界面12,界面12为健身课程选择确认界面,用户可点击图8所示的界面12中的“确认”控件实现对健身课程选择的确认,用户可点击图8所示的界面12中的“返回”控件返回如图6所示的界面11。
示例性地,当用户点击图8所示的界面12中的“确认”控件后,电子设备100检测到上述用户操作,响应于上述用户操作,电子设备100显示如图9所示健身app的界面13,界面13为开启摄像头的确认界面,用户可点击图9所示的界面12中的“是”控件时,响应于上述用户操作,电子设备100开启摄像头。
应当知道的是,图8和图9所示的健身app界面可以是非必要的或者可以在实际应用中进行灵活调整。例如,当用户点击所需要的健身课程后,电子设备100可以直接启动摄像头,同时,电子设备100可以在显示屏同时显示健身课程窗口和用户健身窗口,健身课程窗口具体用于显示健身课程的具体内容,用户健身窗口具体用于实时显示摄像头所采集的原始图像中的目标取景区域。
摄像头启动后,电子设备首先根据采集的图像数据确定目标用户。在本实施例中,电子设备可采用如下方式来确定目标用户。
方式一,当摄像头开启后,如果摄像头画幅中人体的数量为两个及以上,可以采用提示用户完成指定动作的方法确定目标用户,如图10所示,提示用户完成指定动作的方法确定目标用户的过程包括:
步骤S301:所述电子设备通过摄像头采集图像数据;
步骤S302:电子设备根据摄像头采集的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测。其中,任一帧图像中的画幅包括摄像头FOV中的部分区域或全部区域。如果画幅内的用户数量为0,则继续通过摄像头采集图像数据,直至电子设备利用人体检测算法判断画幅内的用户数量大于或等于1。
步骤S303:当画幅内用户数量等于1时,确定画幅内的用户为目标用户;
步骤S304:当画幅内用户数量大于1时,则电子设备可以播放或显示提示信息,提示用户完成目标动作。需要进行健身指导的用户会根据提示完成目标动作,不需要进行健身指导的用户则不会。如双臂向两侧伸直,双臂弯举,叉腰,挥动手臂,点头,蹬腿等标志性动作。
需要说明的是,当电子设备执行步骤S303后,则继续执行步骤S103,而不会继续执行步骤S304。
步骤S305:电子设备获取摄像头采集的画幅内所有用户的人体姿态,并利用人体姿态检测算法识别画幅内所有用户的人体姿态与上述目标动作是否匹配。其中,人体姿态检测(human pose estimation)算法是一种通过训练神经网络模型检测人体关键点(keypoint),并根据人体关键点来描述人的姿态(pose)的算法。
步骤S306,当电子设备识别出画幅内存在人体姿态与目标动作相匹配的用户,则确定匹配成功的人体姿态对应的用户为目标用户。其中,目标用户的数量可以是一个,也可以是两个或两个以上。例如,如果电子设备确定画幅内存在一个人体姿态与目标动作相匹配的用户,则确定该用户为目标用户。如果电子设备确定画幅内存在多个(如,两个或两个以上)人体姿态与目标动作相匹配的用户,则电子设备可以确定该多个用户均为目标用户。或者,如果用户所选的课程只允许一个人进行,即单人模式,则电子设备可播放或显示提示信息,提示其他用户避让,并重新执行上述S305,直到确定出画幅内仅存在一个人体姿态与目标动作相匹配的用户时,确定其为目标用户。
如果电子设备在采集的画幅内所有用户的人体姿态中,未识别出与目标动作相匹配的人体姿态,则可能是想要健身指导的用户未在画幅内,因此,在一种可能的实现方式,执行步骤S307,电子设备播放或显示提示信息,提示用户移动位置,以确保摄像头能检测到用户。并且电子设备可重新执行上述S301。或者,也可能是用户的动作不标准,则在另一种可能的实现方式中,电子设备可重新执行上述S304,以指示用户重新完成目标动作。可以看到的是,用户仅需完成指定的动作,即可使得电子设备自动完成目标用户的确定,很方便的实现了目标用户确定。
示例性地,如图11所示,当电子设备100开启摄像头(例如图10所示的摄像头a)后,电子设备100的显示屏采用分屏模式,电子设备100在显示屏同时显示第一窗口141和第二窗口142,其中,第一窗口141用于显示提示用户完成指定动作的界面141a,第二窗口142用于实时显示摄像头所采集的用户的人体姿态。
当摄像头a采集到帧图像中的用户的人体姿态为指定姿态时,确定用户为该帧图像的目标用户。当电子设备完成对目标用户的确认后,第一窗口141显示如图12所示的界面141b,界面141b显示提示用户目标用户已确认的文字信息。当确认目标用户后,在后续电子设备获得的帧图像中,电子设备100对目标用户进行跟踪检测。
方式二,当摄像头开启后,还可以采用人脸识别的方法确定目标用户,如图13所示,采用人脸识别的方法确定目标用户的具体步骤,包括:
步骤S401:电子设备通过摄像头采集图像数据;
需要说明的是,用户可以预先在健身系统中建立账户并录入人脸数据,人脸数据可以对应一个或者多个人体的脸部特征。
步骤S402:电子设备根据摄像头采集的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测。其中,画幅包括摄像头FOV中的部分区域或全部区域。如果画幅内的用户数量为0,则重新执行S401。
步骤S403:当画幅内用户数量等于1时,确定画幅内的用户为目标用户;
步骤S404:当画幅内用户数量大于1时,获取画幅内所有用户的人脸图像;
步骤S405,识别画幅中所有用户的人脸图像与存储的人脸图像是否匹配;
步骤S406,当电子设备识别出画幅内存在人脸图像与存储的人脸图像相匹配时,将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为目标用户。其中,目标用户的数量可以是一个,也可以是两个或两个以上。例如,如果电子设备确定画幅内存在一个人脸图像与存储的人脸图像相匹配的用户,则确定该用户为目标用户。如果电子设备确定画幅内存在多个(如,两个或两个以上)人脸图像与存储的人脸图像相匹配的用户,则电子设备可以确定该多个用户均为目标用户,或者,电子设备可通过以下方式一或方式三从这多个用户中确定目标用户。
当电子设备在采集的画幅内所有用户的人脸图像中,未识别出与存储的人脸图像相匹配的人脸图像,则可能是想要健身指导的用户未在画幅内,因此,在一种可能的实现方式,执行步骤S407,电子设备可以播放或显示提示信息,提示用户移动位置,以确保摄像头能检测到用户。并且电子设备可重新执行上述S401。或者,也可能是电子设备中并未存储想要健身的用户的人脸图像,则在另一种可能的实现方式中,电子设备可通过其他方式,如以下方式一或方式三确定目标用户(即执行S408)。当然,在该实现方式中,电子设备也可以显示提示信息,提示用户录入人脸图像,以便在下次健身时,电子设备可识别出该用户。
其中,在本实施例中,电子设备中存储的人脸图像可以是用户在第一次基于电子设备进行健身指导时录入并存储的。例如,用户在第一次使用电子设备进行健身指导时,电子设备可提示用户创建个人账户并进行人脸数据采集。这样,用户可根据提示在电子设备上创建个人账户,并由电子设备采集自身的人脸图像。在采集成功后电子设备可存储采集到的人脸数据。其中,人脸图像可与创建的个人账户关联存储。同一个个人账户可关联存储一个或多个人脸图像。与不同个人账户关联存储的人脸图像可以相同,也可以不同。也就是说,上述S405具体的可以为:电子设备可以识别画幅内所有用户的人脸图像和与当前登录的个人账户关联存储的人脸图像是否匹配。
以电子设备是电视机为例,结合图6所示的示例。在用户使用遥控器对“智能健身”应用的界面205中燃脂课程进行操作后,如图14所示,电视机可通过摄像头采集画幅(如图14中的扇形范围)内所有用户的人脸图像。如图14所示,扇形范围内包括用户1和用户2,用户1坐在沙发上,用户2是准备健身的用户,电视机内存储有用户2的人脸图像。在采集到画幅内所有用户,即用户1和用户2的人脸图像后,电视机可识别用户1和用户2的人脸图像与存储的人脸图像是否匹配。电视机可匹配出用户2的人脸图像与存储的人脸图像匹配,此时确定用户2是目标用户。
方式三:电子设备利用用户佩戴的可穿戴设备,结合识别的用户的人体姿态,来实现目标用户的确定。
其中,可穿戴设备可以是手表,手环,运动耳机,跑步精灵等设备。用户可将自身佩戴的可穿戴设备与电子设备配对并建立无线连接。另外,在用户运动的过程中,用户佩戴的可穿戴设备可根据用户的运动数据(如,角速度,加速度等)传输给电子设备。
在该方式三中,电子设备确定目标用户的过程可包括:在确定画幅内存在多个用户时,所述电子设备获取所述摄像头采集的画幅内所有用户的运动数据,将所有用户的运动数据与预设的可穿戴设备采集到的运动数据进行匹配,并将匹配成功的用户确定为目标用户。
在方式三中,在用户进行运动之前,所述电子设备与预设的可穿戴设备配对并建立无线连接,所述可穿戴设备将采集到的用户的运动数据传输给所述电子设备。
作为一种示例,在进入健身模式之前,可以为用户提供是否对摄像头取景区域进行调整的选择界面,如图15所示,第一窗口141显示对摄像头取景区域是否进行调整的选择界面141c,当用户点击图15所示的界面141c中的“是”控件后,电子设备100检测到上述用户操作,响应于上述用户操作,电子设备100的第一窗口141显示如图15所示的用于为用户调整目标取景区域提供动作提示的界面141d,其中,界面141d可包括:调整动作提示界面标题栏301、“重新开始”控件302、“确定”控件303和动作提示显示区304。当用户点击图15所示的界面141c中的“跳过”控件后,电子设备可直接进入健身模式。
调整动作提示界面标题栏301可用于指示当前页面用于显示电子设备100的调整目标取景区域的尺寸和位置的动作提示界面。调整动作提示界面标题栏301的表现形式可以为文本信息“调整动作提示”、图标或其他形式。
“重新开始”控件302用于当用户选择该控件时,电子设备100的调整目标取景区域的尺寸和位置回到调整前的初始状态。
“确定”控件303用于当用户选择该控件时,电子设备100确认当前用户对目标取景区域调整。
动作提示显示区304用于显示用于调整目标取景区域的尺寸和/或位置的多个预设动作。
其中,以图16为例,在电视的显示屏的数量为1个且目标用户为一个的情况下,电视的显示屏采用分屏模式,分为第一窗口141和第二窗口142,第一窗口141可以用于播放健身课程以及其它界面(例如界面141a-41d),第二窗口142可以用于实时显示摄像头所采集的原始图像中该目标用户对应的目标取景区域。
示例性地,在电视的显示屏的数量为1个且目标用户为多个的场景下,例如有3个目标用户的情况下,电视的显示屏也可以对应目标用户的数量分为4个窗口,其中,一个窗口作为上述的第一窗口141,另外的三个窗口用于分别实时显示摄像头所采集的3个目标用户对应的目标取景区域。
示例性地,在电视的显示屏的数量大于1且目标用户为一个的场景下,可以一部分显示屏显示上述第一窗口141所显示的内容,另一部分显示屏显示上述第二窗口142所显示的内容。
示例性地,在电视的显示屏的数量大于1且目标用户为多个的场景下,可以一部分显示屏显示上述第一窗口141所显示的内容,一部分显示屏分别实时显示摄像头所采集的多个目标用户对应的目标取景区域。
在本申请其他实施方式中,为用户调整目标取景区域进行动作指导还可以通过语音提示的方式,或者界面提示结合语音提示的方式,本申请对此不作限定。
在本申请实施例中,调整目标取景区域具体为调整目标取景区域在摄像头获取的帧图像中的位置和/或尺寸。
作为一些示例,如图16(a)所示,当目标用户的动作类型为双臂上举时,调整目标取景区域在摄像头获取的帧图像中的位置向上移动,从而使得目标用户在第二窗口142中向下移动。
如图16(b)所示,当目标用户的动作类型为双臂下压时,调整目标取景区域在摄像头获取的帧图像中的位置向下移动,从而使得目标用户在第二窗口142中向上移动。
如图16(c)所示,当目标用户的动作类型为双臂左推时,调整目标取景区域在摄像头获取的帧图像中的位置向左移动,从而使得目标用户在第二窗口142中向右移动。
如图16(d)所示,当目标用户的动作类型为双臂右推时,调整目标取景区域在摄像头获取的帧图像中的位置向右移动,从而使得目标用户在第二窗口142中向左移动。
如图16(e)所示,当目标用户的动作类型为双臂平展时,调整目标取景区域在摄像头获取的帧图像中变大,从而使得目标用户在第二窗口142中变小。
如图16(f)所示,当目标用户的动作类型为双臂抱胸时,调整目标取景区域在摄像头获取的帧图像中变小,从而使得目标用户在第二窗口142中变大。
可以理解,本发明通过引导用户在健身开始前利用身体动作调整目标取景区域,使得用户可以根据自己的活动范围提前调整目标取景区域,进一步保障减少用户运动过程中出现出镜、追焦失败等情况,有利于减少目标取景区域的晃动,适用性广,极大提升用户体验。
进一步地,电子设备根据目标用户的动作类型调整目标取景区域后,调整后的目标取景区域的在摄像头采集的图像中的尺寸不超过预设尺寸范围,和/或调整后的目标取景区域的在摄像头采集的图像中的位置不超过预设区域范围。
可选地,当摄像头实时获取的图像中目标用户的动作类型用于指示将目标取景区域变大时,如果目标取景区域的尺寸已达到预设尺寸范围的最大值,则生成第一提示信息,第一提示信息用于提示用户目标取景区域无法再继续变大,具体可参见图17(a),如图17(a)所示,第一提示信息还可以用于提示用户调整站位。第一提示信息的例子例如图17(a)所示的“取景区域已调整至最大,建议您后退一段距离”。第一提示信息还可以通过语音的方式或者结合语音的方式实现。
可选地,当摄像头实时获取的图像中目标用户的动作类型用于指示将目标取景区域变小时,如果目标取景区域的尺寸已达到预设尺寸范围的最小值,生成第二提示信息,第二提示信息用于提示用户目标取景区域无法再继续变小,具体可参见图17(b),如图17(b)所示,第二提示信息还可以用于提示用户调整站位。第一提示信息的例子例如图17(b)所示的“取景区域已调整至最小,建议您靠近一段距离”。第二提示信息还可以通过语音的方式或者结合语音的方式实现。
可选地,当摄像头实时获取的图像中目标用户的动作类型用于指示将目标取景区域向四周移动时,如果目标取景区域已达到预设区域范围的边界,则生成第三提示信息,第三提示信息用于提示用户目标取景区域无法再继续移动。第三提示信息可以是文字信息或者是语音信息或者是文字信息和语音信息的结合。
示例性地,当用户对目标取景区域调整完毕后,用户可以选择如图15所示的“确定”控件303,实现对目标取景区域调整的确认,如果用户想要重新对目标取景区域进行调整,则可以选择如图15所示的“重新开始”控件302。
如图18所示,图18示出了一种电子设备100进入健身模式的界面图,示例性地,当电子设备100检测到用户对目标取景区域调整进行确认的操作后或者检测到用户进行播放健身课程的操作后,电子设备正式进入健身模式。
在一个实施例中,电子设备在进入健身模式之后,如图18所示,电子设备100的第一窗口141显示用于指示当前页面进行健身模式的界面141,电子设备100的第一窗口141显示用于指示当前页面进行健身模式的界面141后,如图19所示,电子设备100的第一窗口141开始播放用户选定的健身课程,电子设备100的第二窗口142继续实时显示摄像头所采集的第T帧图像中目标用户对应的目标取景区域,目标用户可在健身课程的指导下进行运动。
其中,图18所示的用于指示当前页面进行健身模式的界面141可以是非必要的,电子设备在进入健身模式之后,电子设备100的第一窗口141可直接开始播放健身课程。
针对步骤S103:基于第T帧图像,确定目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中目标用户的第二人体姿态,n为大于或者等于1的自然数;
其中,根据人体姿态检测算法确定第T帧图像中的目标用户的第一人体姿态。运动参考信息通过步骤S101获得并存储于电子设备中,运动参考信息包括多个运动阶段、各个运动阶段的标准人体姿态、各个运动阶段的姿态时长信息及姿态排列顺序。其中,一个运动阶段可以对应一种标准人体姿态。
在一种实施方式中,根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中目标用户的第二人体姿态,具体可以包括:
步骤S1031:根据第T帧图像中目标用户的第一人体姿态和/或第T帧图像前的至少1个帧图像中目标用户的第三人体姿态,确定多个运动阶段中与所述第一人体姿态和/或第三人体姿态相匹配的标准人体姿态,并确定目标用户所处的当前运动阶段。
在一种实施方式中,在确定所述第一人体姿态为多个运动阶段中单次的人体姿态时,可以仅根据第T帧图像中目标用户的第一人体姿态匹配得到的标准人体姿态,即可确定目标用户所处的当前运动阶段。
在另一种实施方式中,在确定所述第一人体姿态为多个运动阶段中重复多次的人体姿态时,即多个运动阶段中都会采用该姿态时,可以根据第T帧图像中目标用户的第一人体姿态结合第T帧图像前的至少1个帧图像中目标用户的第三人体姿态,确定目标用户所处的当前运动阶段。例如,健身课程中健身教练包括3个运动阶段,分别为第一运动阶段、第二运动阶段及第三运动阶段,第一运动阶段、第二运动阶段及第三运动阶段的参考动作类型分别为:“开合右跨步半蹲,双臂向上合拢”、“双腿并拢站立,双臂自然放在身体两侧”、“开合左跨步半蹲,双臂向上合拢”。其中,通过时间序列匹配算法,当第一帧图像中目标用户的人体姿态所匹配的参考动作类型为“开合右跨步半蹲,双臂向上合拢”时,则可以确定“开合右跨步半蹲,双臂向上合拢”对应的第二运动阶段为当前运动阶段。
其中,时间序列匹配算法的例子可以是DTW(Dynamic Time Warping,动态时间规整)算法。
步骤S1032:根据所述当前运动阶段后的至少一个运动阶段的标准人体姿态预测第T+n帧图像中所述目标用户的第二人体姿态。
其中,步骤S1032具体可以包括:
步骤S1032a:判断当前运动阶段是否为多个运动阶段中的最后一个运动阶段,如果是,则进入S1032b,如果否,则进入S1032c。
步骤S1032b:如果是,则根据据第T帧图像的目标用户的第一人体姿态确定目标取景区域。
步骤S1032c:如果否,则根据当前运动阶段后的至少一个运动阶段的标准人体姿态预测第T+n帧图像中目标用户的第二人体姿态。
举例来说,图20示例性示出了运动参考信息对应有5个运动阶段的标准人体姿态变化示意图,5个运动阶段的标准人体姿态分别为:直立、下蹲、俯卧撑、下蹲和直立起跳,其中,以第T帧图像中目标用户的人体姿态为下蹲为例,当经过时间序列匹配算法后,确定第T帧图像中目标用户的第一人体姿态对应的运动阶段为第二运动阶段,因此,基于运动参考信息,可以预测出目标用户即将进入第三运动阶段和第四运动阶段,进而可以确定目标用户的两个第二人体姿态,即将进行俯卧撑和下蹲的动作。
可以理解,通过对参考动作的时序分解,预测目标用户下一步的动作,从而可以得到更好的追焦效果。
针对步骤S104:电子设备根据所述第一人体姿态和预测得到的第二人体姿态确定所述第T帧图像的目标取景区域。
其中,确定第T帧图像中的目标取景区域具体为确定目标取景区域的位置和尺寸大小。
以第T帧图像中目标用户的第一人体姿态为下蹲为例,图21所示的D表示第T帧图像,图21所示的E表示目标用户,电子设备对D中的目标用户E进行人体姿态检测后,在不考虑目标用户后续动作的前提下,电子设备在检测的目标用户E四周取一定的余量(具体余量的多少可根据实际需要设定),构成目标取景区域F1,然后,在第T帧图像D中裁剪出目标取景区域F1,然后将裁剪出的目标取景区域F1放大至电子设备的显示屏进行显示。而本申请实施例通过预测目标用户后续的动作,确定目标用户E即将进行俯卧撑动作(如图20所示),此时,目标用户后续的活动范围会变宽,因此结合目标用户E后续的活动范围,可以将第T帧图像对应的目标取景区域F1调整为F2,其中,F1和F2两个裁剪框的长宽比相一致,且F2的宽度大于F1的宽度,从而使得在目标用户E在进行俯卧撑动作时对应的目标取景区域相对目标取景区域F1不会大幅晃动,以提升追焦时的用户体验,同时可以减少目标用户运动速度过快时,因为追焦延迟导致目标用户出镜,甚至追焦失败的情况发生。
示例性地,图22示出了一种本申请实施例的提供的目标用户追焦拍摄方法的具体流程图,本申请实施例的目标用户追焦拍摄方法的具体流程可以包括:
步骤S501:用户选择健身课程;
步骤S502:电子设备确定健身课程中运动参考信息,运动参考信息包括多个运动阶段、各个运动阶段下的标准人体姿态、各个运动阶段的姿态时长信息及姿态排列顺序;
步骤S503:电子设备进入健身模式,电子设备通过摄像头获取图像数据;
步骤S504:电子设备基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,T为大于或者等于1的自然数;
步骤S505:电子设备基于所述第T帧图像,确定所述目标用户的第一人体姿态;
步骤S506:电子设备通过时间序列匹配算法,确定与所述第一人体姿态匹配的标准人体姿态所对应的当前运动阶段;
步骤S507:电子设备根据当前运动阶段预测后续至少一个运动阶段中目标用户的第二人体姿态;
步骤S508:电子设备根据所述第一人体姿态和预测得到的第二人体姿态确定目标取景区域的位置和尺寸;
步骤S509:电子设备在显示屏显示目标取景区域。
可以理解,本申请通过对健身课程中运动参考对象的健身动作进行检测,得到运动参考对象的运动参考信息,当用户根据健身课程进行运动时,根据运动参考信息预测用户在当前动作之后的动作,进而确定用户后续的第二人体姿态,然后根据用户后续的活动范围确定当前动作对应的目标取景区域,从而使得用户在健身过程中目标取景区域不会大幅晃动,以提升追焦时的用户体验,同时可以减少目标用户运动速度过快时,因为追焦延迟导致目标用户出镜,甚至追焦失败的情况发生。
本申请还提供的一种电子设备,如图1所示,电子设备100包括内部存储器121、内部存储器121中存储有计算机程序,处理器110与内部存储器121连接,处理器110执行计算机程序以实现如上述任一实施例提供的追焦拍摄方法。
本申请还提供了一种计算机存储介质,包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备执行如上述任一实施例提供的跨设备桌面管理方法中的各个步骤。
本申请还提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,该计算机程序产品在计算机上运行时,使得计算机执行上述任一实施例提供的跨设备桌面管理方法中的各个步骤。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
以上,仅为本申请的具体实施方式,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。
Claims (20)
1.一种目标用户追焦拍摄方法,其特征在于,所述方法应用于包括摄像头及显示屏的电子设备,所述方法包括:
所述电子设备获取运动参考信息;其中,所述运动参考信息包括多个运动阶段、各个所述运动阶段的标准人体姿态;
所述电子设备进入预设模式后,所述电子设备持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,其中,T为大于或者等于1的自然数;
所述电子设备基于所述第T帧图像,确定所述目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中所述目标用户的第二人体姿态,其中,n为大于或者等于1的自然数;
所述电子设备根据所述第一人体姿态和预测得到的第二人体姿态确定所述第T帧图像的目标取景区域;
所述电子设备在所述显示屏显示目标取景区域。
2.根据权利要求1所述的方法,其特征在于,所述电子设备通过所述摄像头持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,包括:
所述电子设备根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;
在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定画幅内存在多个用户时,所述电子设备播放或显示提示信息,提示用户完成目标动作,获取所述摄像头采集的画幅内所有用户的人体姿态,将所述画幅内人体姿态与所述目标动作相匹配的用户确定为所述目标用户。
3.根据权利要求1所述的方法,其特征在于,所述电子设备通过所述摄像头持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,包括:
所述电子设备根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;
在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定画幅内存在多个用户时,所述电子设备获取所述摄像头采集的画幅内所有用户的人脸图像,将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
所述电子设备采集所述目标用户的人脸图像,将所述目标用户的人脸图像与账户关联存储;
所述将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户,包括:
所述电子设备将所述画幅内人脸图像与和所述账户关联存储的人脸图像相匹配的用户确定为所述目标用户。
5.根据权利要求1所述的方法,其特征在于,所述电子设备通过所述摄像头持续获取图像数据,并基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,包括:
所述电子设备根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;
在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定画幅内存在多个用户时,所述电子设备获取所述摄像头采集的画幅内所有用户的运动数据,将所有用户的运动数据与预设的可穿戴设备采集到的运动数据进行匹配,并将匹配成功的用户确定为目标用户。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
所述电子设备与预设的可穿戴设备配对并建立无线连接,所述可穿戴设备将采集到的用户的运动数据传输给所述电子设备。
7.根据权利要求1所述的方法,其特征在于,所述电子设备基于所述第T帧图像,确定目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中目标用户的第二人体姿态,包括:
根据所述第T帧图像中所述目标用户的第一人体姿态和/或所述第T帧图像前的至少1个帧图像中所述目标用户的第三人体姿态,确定多个运动阶段中与所述第一人体姿态和/或所述第三人体姿态相匹配的标准人体姿态,并确定所述目标用户所处的当前运动阶段;
根据所述当前运动阶段后的至少一个运动阶段的标准人体姿态预测第T+n帧图像中所述目标用户的第二人体姿态。
8.根据权利要求7所述的方法,其特征在于,所述电子设备基于所述第T帧图像,确定目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中目标用户的第二人体姿态,包括:
在确定所述第一人体姿态为多个运动阶段中单次的人体姿态时,根据所述第T帧图像中所述目标用户的第一人体姿态匹配得到的标准人体姿态,确定所述目标用户所处的当前运动阶段。
9.根据权利要求7所述的方法,其特征在于,所述电子设备基于所述第T帧图像,确定目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中目标用户的第二人体姿态,包括:
在确定所述第一人体姿态为多个运动阶段中重复多次的人体姿态时,根据所述第T帧图像中所述目标用户的第一人体姿态结合所述第T帧图像前的至少1个帧图像中所述目标用户的第三人体姿态,确定所述目标用户所处的当前运动阶段。
10.根据权利要求1所述的方法,其特征在于,所述电子设备获取运动参考信息,包括:
所述电子设备基于健身课程获取运动参考信息。
11.一种电子设备,其特征在于,包括摄像头、显示屏及处理器;
所述处理器,用于获取运动参考信息;其中,所述运动参考信息包括多个运动阶段、各个所述运动阶段的标准人体姿态;
当所述电子设备进入预设模式后,所述摄像头用于持续获取图像数据;
所述处理器还用于:基于所述图像数据逐帧或跳帧进行目标用户检测,直到第T帧图像确定目标用户,其中,T为大于或者等于1的自然数;基于所述第T帧图像,确定所述目标用户的第一人体姿态,并根据所述第一人体姿态和所述运动参考信息预测得到第T+n帧图像中所述目标用户的第二人体姿态,其中,n为大于或者等于1的自然数;根据所述第一人体姿态和预测得到的第二人体姿态确定所述第T帧图像的目标取景区域;
所述显示屏用于显示所述目标取景区域。
12.根据权利要求11所述的电子设备,其特征在于,所述处理器还用于:
根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;
在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定画幅内存在多个用户时,所述电子设备播放或显示提示信息,提示用户完成目标动作,获取所述摄像头采集的画幅内所有用户的人体姿态,将所述画幅内人体姿态与所述目标动作相匹配的用户确定为所述目标用户。
13.根据权利要求11所述的电子设备,其特征在于,所述处理器还用于:
根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;
在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定画幅内存在多个用户时,所述电子设备获取所述摄像头采集的画幅内所有用户的人脸图像,将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户。
14.根据权利要求13所述的电子设备,其特征在于,所述摄像头,还用于采集所述目标用户的人脸图像;
所述处理器还用于:将所述目标用户的人脸图像与账户关联存储;
所述处理器在将所述画幅内人脸图像与存储的人脸图像相匹配的用户确定为所述目标用户,包括:
将所述画幅内人脸图像与和所述账户关联存储的人脸图像相匹配的用户确定为所述目标用户。
15.根据权利要求11所述的电子设备,其特征在于,所述处理器还用于:
根据采集到的图像数据,利用人体检测算法逐帧或跳帧进行目标用户检测;
在确定画幅内存在一个用户时,确定所述画幅内的用户为所述目标用户;
在确定画幅内存在多个用户时,所述电子设备获取所述摄像头采集的画幅内所有用户的运动数据,将所有用户的运动数据与预设的可穿戴设备采集到的运动数据进行匹配,并将匹配成功的用户确定为目标用户。
16.根据权利要求11所述的电子设备,其特征在于,所述处理器还用于:
根据所述第T帧图像中所述目标用户的第一人体姿态和/或所述第T帧图像前的至少1个帧图像中所述目标用户的第三人体姿态,确定多个运动阶段中与所述第一人体姿态和/或所述第三人体姿态相匹配的标准人体姿态,并确定所述目标用户所处的当前运动阶段;
根据所述当前运动阶段后的至少一个运动阶段的标准人体姿态预测第T+n帧图像中所述目标用户的第二人体姿态。
17.根据权利要求16所述的电子设备,其特征在于,所述处理器还用于:
在确定所述第一人体姿态为多个运动阶段中单次的人体姿态时,根据所述第T帧图像中所述目标用户的第一人体姿态匹配得到的标准人体姿态,确定所述目标用户所处的当前运动阶段。
18.根据权利要求16所述的电子设备,其特征在于,所述处理器还用于:
在确定所述第一人体姿态为多个运动阶段中重复多次的人体姿态时,根据所述第T帧图像中所述目标用户的第一人体姿态结合所述第T帧图像前的至少1个帧图像中所述目标用户的第三人体姿态,确定所述目标用户所处的当前运动阶段。
19.根据权利要求11所述的电子设备,其特征在于,所述处理器还用于:
基于健身课程获取运动参考信息。
20.一种计算机可读存储介质,其特征在于,包括:计算机软件指令;
当所述计算机软件指令在电子设备中运行时,使得所述电子设备执行如权利要求1~10中任一项所述的目标用户追焦拍摄方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310542232.9A CN116528046A (zh) | 2020-11-09 | 2020-11-09 | 目标用户追焦拍摄方法、电子设备及存储介质 |
CN202011240237.9A CN114466128B (zh) | 2020-11-09 | 2020-11-09 | 目标用户追焦拍摄方法、电子设备及存储介质 |
PCT/CN2021/127105 WO2022095788A1 (zh) | 2020-11-09 | 2021-10-28 | 目标用户追焦拍摄方法、电子设备及存储介质 |
US18/035,870 US20230421900A1 (en) | 2020-11-09 | 2021-10-28 | Target User Focus Tracking Photographing Method, Electronic Device, and Storage Medium |
EP21888485.6A EP4221184A4 (en) | 2020-11-09 | 2021-10-28 | PANORAMIC PHOTOGRAPHY METHOD FOR TARGET USER, ELECTRONIC DEVICE AND STORAGE MEDIUM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011240237.9A CN114466128B (zh) | 2020-11-09 | 2020-11-09 | 目标用户追焦拍摄方法、电子设备及存储介质 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310542232.9A Division CN116528046A (zh) | 2020-11-09 | 2020-11-09 | 目标用户追焦拍摄方法、电子设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114466128A CN114466128A (zh) | 2022-05-10 |
CN114466128B true CN114466128B (zh) | 2023-05-12 |
Family
ID=81404804
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011240237.9A Active CN114466128B (zh) | 2020-11-09 | 2020-11-09 | 目标用户追焦拍摄方法、电子设备及存储介质 |
CN202310542232.9A Pending CN116528046A (zh) | 2020-11-09 | 2020-11-09 | 目标用户追焦拍摄方法、电子设备及存储介质 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310542232.9A Pending CN116528046A (zh) | 2020-11-09 | 2020-11-09 | 目标用户追焦拍摄方法、电子设备及存储介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230421900A1 (zh) |
EP (1) | EP4221184A4 (zh) |
CN (2) | CN114466128B (zh) |
WO (1) | WO2022095788A1 (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116112780B (zh) * | 2022-05-25 | 2023-12-01 | 荣耀终端有限公司 | 录像方法和相关装置 |
CN116055868B (zh) * | 2022-05-30 | 2023-10-20 | 荣耀终端有限公司 | 一种拍摄方法及相关设备 |
CN116095477B (zh) * | 2022-08-16 | 2023-10-20 | 荣耀终端有限公司 | 对焦处理系统、方法、设备及存储介质 |
CN115170441B (zh) * | 2022-08-30 | 2023-02-07 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN115689963B (zh) * | 2022-11-21 | 2023-06-06 | 荣耀终端有限公司 | 一种图像处理方法及电子设备 |
CN116664684B (zh) * | 2022-12-13 | 2024-04-05 | 荣耀终端有限公司 | 定位方法、电子设备及计算机可读存储介质 |
CN117135441A (zh) * | 2023-02-23 | 2023-11-28 | 荣耀终端有限公司 | 一种图像抓拍方法及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107786812A (zh) * | 2017-10-31 | 2018-03-09 | 维沃移动通信有限公司 | 一种拍摄方法、移动终端及计算机可读存储介质 |
WO2019114760A1 (zh) * | 2017-12-15 | 2019-06-20 | 深圳市瀚海基因生物科技有限公司 | 成像方法、装置及系统 |
US10388053B1 (en) * | 2015-03-27 | 2019-08-20 | Electronic Arts Inc. | System for seamless animation transition |
CN110650291A (zh) * | 2019-10-23 | 2020-01-03 | Oppo广东移动通信有限公司 | 目标追焦方法和装置、电子设备、计算机可读存储介质 |
CN110716634A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及显示设备 |
CN111225157A (zh) * | 2020-03-03 | 2020-06-02 | Oppo广东移动通信有限公司 | 追焦方法及相关设备 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5082631B2 (ja) * | 2007-07-06 | 2012-11-28 | 株式会社ニコン | 撮影装置 |
JP5086824B2 (ja) * | 2008-01-28 | 2012-11-28 | 三菱重工業株式会社 | 追尾装置及び追尾方法 |
US9781350B2 (en) * | 2015-09-28 | 2017-10-03 | Qualcomm Incorporated | Systems and methods for performing automatic zoom |
CN106161941B (zh) * | 2016-07-29 | 2022-03-11 | 南昌黑鲨科技有限公司 | 双摄像头自动追焦方法、装置及终端 |
US11069144B2 (en) * | 2018-09-14 | 2021-07-20 | Mirrorar Llc | Systems and methods for augmented reality body movement guidance and measurement |
CN109829107A (zh) * | 2019-01-23 | 2019-05-31 | 华为技术有限公司 | 一种基于用户运动状态的推荐方法及电子设备 |
CN110677592B (zh) * | 2019-10-31 | 2022-06-10 | Oppo广东移动通信有限公司 | 主体对焦方法、装置、计算机设备和存储介质 |
CN111898519B (zh) * | 2020-07-28 | 2023-06-09 | 武汉大学 | 便携式的特定区域内运动训练辅助视觉伺服机器人系统及姿态评估方法 |
-
2020
- 2020-11-09 CN CN202011240237.9A patent/CN114466128B/zh active Active
- 2020-11-09 CN CN202310542232.9A patent/CN116528046A/zh active Pending
-
2021
- 2021-10-28 WO PCT/CN2021/127105 patent/WO2022095788A1/zh active Application Filing
- 2021-10-28 EP EP21888485.6A patent/EP4221184A4/en active Pending
- 2021-10-28 US US18/035,870 patent/US20230421900A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10388053B1 (en) * | 2015-03-27 | 2019-08-20 | Electronic Arts Inc. | System for seamless animation transition |
CN107786812A (zh) * | 2017-10-31 | 2018-03-09 | 维沃移动通信有限公司 | 一种拍摄方法、移动终端及计算机可读存储介质 |
WO2019114760A1 (zh) * | 2017-12-15 | 2019-06-20 | 深圳市瀚海基因生物科技有限公司 | 成像方法、装置及系统 |
CN110716634A (zh) * | 2019-08-28 | 2020-01-21 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及显示设备 |
CN110650291A (zh) * | 2019-10-23 | 2020-01-03 | Oppo广东移动通信有限公司 | 目标追焦方法和装置、电子设备、计算机可读存储介质 |
CN111225157A (zh) * | 2020-03-03 | 2020-06-02 | Oppo广东移动通信有限公司 | 追焦方法及相关设备 |
Also Published As
Publication number | Publication date |
---|---|
US20230421900A1 (en) | 2023-12-28 |
EP4221184A1 (en) | 2023-08-02 |
EP4221184A4 (en) | 2024-04-03 |
CN114466128A (zh) | 2022-05-10 |
WO2022095788A1 (zh) | 2022-05-12 |
CN116528046A (zh) | 2023-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114466128B (zh) | 目标用户追焦拍摄方法、电子设备及存储介质 | |
CN115866121B (zh) | 应用界面交互方法、电子设备和计算机可读存储介质 | |
US20220176200A1 (en) | Method for Assisting Fitness and Electronic Apparatus | |
CN112887583B (zh) | 一种拍摄方法及电子设备 | |
WO2020029306A1 (zh) | 一种图像拍摄方法及电子设备 | |
CN110489215A (zh) | 一种应用程序中等待场景的处理方法和装置 | |
CN115484380B (zh) | 拍摄方法、图形用户界面及电子设备 | |
CN110059211B (zh) | 记录用户情感的方法及相关装置 | |
CN113010076A (zh) | 一种显示要素的显示方法和电子设备 | |
CN115914461B (zh) | 位置关系识别方法和电子设备 | |
CN114079730B (zh) | 一种拍摄方法和拍摄系统 | |
CN116051351B (zh) | 一种特效处理方法和电子设备 | |
CN113542574A (zh) | 变焦下的拍摄预览方法、终端、存储介质及电子设备 | |
CN116152814A (zh) | 一种图像识别方法以及相关设备 | |
CN116339568A (zh) | 屏幕显示方法和电子设备 | |
CN115730091A (zh) | 批注展示方法、装置、终端设备及可读存储介质 | |
CN116017138B (zh) | 测光控件显示方法、计算机设备和存储介质 | |
CN116709018B (zh) | 一种变焦条分割方法及电子设备 | |
CN116233599B (zh) | 一种录像模式推荐方法和电子设备 | |
CN116450026B (zh) | 用于识别触控操作的方法和系统 | |
CN114205318B (zh) | 头像显示方法及电子设备 | |
EP4310725A1 (en) | Device control method and electronic device | |
CN116301483A (zh) | 一种应用卡片的管理方法、电子设备和存储介质 | |
CN116339569A (zh) | 分屏显示的方法、折叠屏设备和计算机可读存储介质 | |
CN118000660A (zh) | 前庭功能的风险检测方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |