CN115439875A - 姿势评估装置、方法及系统 - Google Patents
姿势评估装置、方法及系统 Download PDFInfo
- Publication number
- CN115439875A CN115439875A CN202210444232.0A CN202210444232A CN115439875A CN 115439875 A CN115439875 A CN 115439875A CN 202210444232 A CN202210444232 A CN 202210444232A CN 115439875 A CN115439875 A CN 115439875A
- Authority
- CN
- China
- Prior art keywords
- geometric relationship
- line
- key points
- image
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Abstract
本发明实施例提供一种姿势评估装置、方法及系统。利用图像捕获设备撷取待测图像。识别待测图像中的关键点。关键点对应于待测图像中的主体的数个位置,并包括第一及第二群关键点。获取第一群关键点的位置,并经由第一群关键点之关联定义出第一几何关系。依据第一几何关系或是关键点的数量判断主体与图像捕获设备间的相对位置。各相对位置具有对应之默认几何关系。比较预设几何关系与第二群关键点之关联所形成的第二几何关系,并生成比较结果。藉此,可提升识别准确度及效率。
Description
技术领域
本发明涉及一种图像识别技术,尤其是,还涉及一种基于图像的姿势评估装置、方法及系统。
背景技术
姿势不良可能会引发肌肉或骨头酸痛或其他负面影响。例如,长期以驼背久坐可能造成腰背肌肉僵硬、腹部或臀部无力、髋关节紧绷等问题。虽然现有技术可通过超音波测距方式检测人体部位的深度并据以估测人体姿势,但估测结果较为粗略且不准确。由此可知,人体姿势的评估仍有待改进。
发明内容
本发明实施例是针对一种姿势评估装置、方法及系统,其可基于图像中关键点之间的位置关系判断姿势,进而提升估测的准确度及效率。
根据本发明的实施例,姿势评估方法包括(但不仅限于)下列步骤:利用图像捕获设备撷取待测图像。识别待测图像中的数个关键点。那些关键点对应于待测图像中的主体的数个位置。那些关键点包括第一群关键点及第二群关键点。获取第一群关键点的位置,并经由第一群关键点的关联定义出第一几何关系。依据第一几何关系判断主体与图像捕获设备间的相对位置。各相对位置具有对应的默认几何关系。比较预设几何关系与第二群关键点所形成的第二几何关系,并生成比较结果。
根据本发明的实施例,姿势评估装置包括(但不仅限于)存储器及处理器。存储器存储程序代码。处理器耦接存储器。处理器加载并执行程序代码以经配置用以识别待测图像中的数个关键点,获取第一群关键点的位置,经由第一群关键点的关联定义出第一几何关系,依据第一几何关系判断主体与图像捕获设备间的相对位置,比较默认几何关系与第二群关键点的关联所形成的第二几何关系,并生成比较结果。关键点对应于待测图像中的主体的数个位置,那些关键点包括第一群关键点及第二群关键点。各相对位置具有对应的默认几何关系。
根据本发明的实施例,姿势评估系统包括(但不仅限于)图像捕获设备、存储器及处理器。图像捕获设备撷取待测图像。存储器存储程序代码。处理器耦接存储器及图像捕获设备。处理器加载并执行程序代码以经配置用以识别待测图像中的数个关键点,获取第一群关键点的位置,经由第一群关键点的关联定义出第一几何关系,依据第一几何关系判断主体与图像捕获设备间的相对位置,比较默认几何关系与第二群关键点的关联所形成的第二几何关系,并生成比较结果。关键点对应于待测图像中的主体的数个位置,那些关键点包括第一群关键点及第二群关键点。各相对位置具有对应的默认几何关系。
基于上述,依据本发明实施例的姿势评估装置、方法及系统,基于主体的关键点在待测图像中的位置关系判断主体与图像捕获设备间的相对位置,并依据对应相对位置判断主体是否为正常姿势。藉此,可提升姿势评估的准确度,并可改进识别效率。
附图说明
包含附图以便进一步理解本发明,且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例,并与描述一起用于解释本发明的原理。
图1是依据本发明一实施例的姿势评估系统的组件方块图;
图2是依据本发明一实施例的姿势评估方法的流程图;
图3A至图3B是依据本发明一实施例的对主体拍摄的示意图;
图3C是依据本发明一实施例的对主体朝向的示意图;
图4是依据本发明一实施例的正面的关键点标记的示意图;
图5是依据本发明一实施例的斜侧面的关键点标记的示意图;
图6是依据本发明一实施例的侧面的关键点标记的示意图;
图7是依据本发明一实施例的多种阅读情境的关键点标记的示意图;
图8A及图8B是依据本发明一实施例的正面识别的示意图;
图9A及图9B是依据本发明一实施例的斜侧面识别的示意图;
图10是依据本发明另一实施例的正面识别的示意图;
图11是依据本发明另一实施例的侧面识别的示意图;
图12是依据本发明一实施例的正面的正常姿势识别的示意图;
图13是依据本发明另一实施例的正面的正常姿势识别的示意图;
图14A及图14B是依据本发明另一实施例的正面的正常姿势识别的示意图;
图15是依据本发明另一实施例的正面的正常姿势识别的示意图;
图16A及图16B是依据本发明一实施例的斜侧面的正常姿势识别的示意图;
图17A及图17B是依据本发明另一实施例的斜侧面的正常姿势识别的示意图;
图18是依据本发明一实施例的侧面的正常姿势识别的示意图;
图19A及图19B是依据本发明另一实施例的侧面的正常姿势识别的示意图;
图20是依据本发明一实施例的示警的流程图。
附图标号说明
1:姿势评估系统;
100:姿势评估装置;
110:存储器;
130:处理器;
150:图像捕获设备;
S210~S290、S201~S205:步骤;
θ1~θ3、θ7、θ8、θ10、θ11、θ13:角度;
B1~B4:主体;
HP:水平面;
VT:垂直面;
P1:脖子;
P2-1、P2-2:肩膀;
P3-1、P3-2:耳朵;
P4-1、P4-2:眼睛;
P5:鼻子;
IM1~IM3:待测图像;
S1~S15:样本;
x、y:轴;
RH1、RH2、RH3、RH4:第二线;
h1、h2、h3、h4:间距;
w1、w2、h5、w3、h6:距离;
LE、LE2、LE3:连线;
θ5、θ6、θ9、θ12、θ16:夹角;
RH5:第四线;
b:角度公差。
具体实施方式
现将详细地参考本发明的示范性实施例,示范性实施例的实例说明于附图中。只要有可能,相同组件符号在图式和描述中用来表示相同或相似部分。
图1是依据本发明一实施例的姿势评估系统1的组件方块图。请参照图1,姿势评估系统1包括(但不仅限于)姿势评估装置100及图像捕获设备150。
姿势评估装置100包括存储器110及处理器130。姿势评估装置100可以是桌面计算机、笔记本电脑、智能型手机、平板电脑、服务器、医疗检测仪器、智能台灯、智能办公/阅读装置或其他运算装置。
存储器110可以是任何型态的固定或可移动随机存取内存(Radom AccessMemory,RAM)、只读存储器(Read Only Memory,ROM)、闪存(flash memory)、传统硬盘(HardDisk Drive,HDD)、固态硬盘(Solid-State Drive,SSD)或类似组件。在一实施例中,存储器110用以存储程序代码、软件模块、组态配置、数据或档案。
处理器130耦接存储器110,处理器130并可以是中央处理单元(CentralProcessing Unit,CPU)、图形处理单元(Graphic Processing unit,GPU),或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor,DSP)、可程序化控制器、现场可程序化逻辑门阵列(FieldProgrammable Gate Array,FPGA)、特殊应用集成电路(Application-SpecificIntegrated Circuit,ASIC)、神经网络加速器或其他类似组件或上述组件的组合。在一实施例中,处理器130用以执行姿势评估装置100的所有或部份作业,且可加载并执行存储器110所存储的各程序代码、软件模块、档案及数据。
图像捕获设备150可以是相机、摄影机、监视器或相似功能的装置。在一实施例中,图像捕获设备150可能内建或外接于姿势评估装置100主体。
在一实施例中,图像捕获设备150可包括图像传感器(例如,电荷耦合装置(ChargeCoupled Device,CCD)、互补式金氧半导体(Complementary Metal-Oxide-Semiconductor,CMOS)等)、光学镜头、图像控制电路、图像处理器等组件。在一些实施例中,图像捕获设备150的镜头规格(例如,取像光圈、倍率、焦距、取像可视角度、图像传感器大小等)及其数量可依据实际需求而调整。例如,图像捕获设备150包括鱼眼镜头,且其图像处理器或处理器130可对经由鱼眼镜头所撷取的鱼眼图像展开成全景图像。又例如,图像捕获设备150包括广角镜头,且其图像处理器或处理器130可对图像传感器所撷取的图像修正扭曲变形。
下文中,将搭配姿势评估系统1中的各项装置、组件及模块说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而调整,且并不仅限于此。
图2是依据本发明一实施例的姿势评估方法的流程图。请参照图2,处理器130可利用图像捕获设备150撷取待测图像(步骤S210)。具体而言,待测图像是通过姿势评估装置100的图像捕获设备150或其他外部图像捕获设备对主体拍摄所得的图像。在一实施例中,主体是人类的身体。在一实施例中,待测图像是针对主体的上半身(例如,腰部、肩膀或胸部以上)。
举例而言,图3A至图3B是依据本发明一实施例的主体拍摄的示意图。请参照图3A,图像捕获设备150置于水平面HP(例如,桌面)上,且水平面HP的高度大致位于主体B1的胸部至腰部之间。图像捕获设备150可配置鱼眼镜头,以撷取到主体B1的上半身。
请参照图3B,图像捕获设备150置于垂直面VT(例如,墙面)上,且图像捕获设备150的高度大致位于主体B1的头部。此时,图像捕获设备150可配置广角镜头甚至是标准镜头,即可撷取到主体B1的上半身。
图3C是依据本发明一实施例的主体朝向的示意图。请参照图3C,假设图像捕获设备150设于桌面(如图3A所示),且图像捕获设备150的视野涵盖至少180度。与图像捕获设备150的相对位置分别于角度θ1(例如,90度)、角度θ2(例如,45度)及角度θ3(例如,180度)主体B2,B3,B4皆在图像捕获设备150的视野内。在一些情境中,图像捕获设备150的视野可能受主体所处桌面影响而仅拍摄到主体B4,B3,B4的上半身。在其他情境中,图像捕获设备150也可设定成朝向特定角度,使其视野仅涵盖主体B4,B3,B4的肩膀或其他特定部位以上。
须说明的是,图3C所示主体B2,B3,B4与图像捕获设备150的相对位置(例如,角度θ1,θ2,θ3)仅是作为范例说明,然在实际情况中仍可能有其他相对位置,且此范例并非用以限缩本发明实施例。
在一些实施例中,处理器130可对待测图像切割,并取得主体的特定部位。这些部位例如是头部、脖子及肩膀。也就是说,当原始的待测图像是针对主体的全身、3/4身或其他身体比例时,处理器130可经切割原始的待测图像而取得主体B1~B4的上半身或其他身体部位。
须说明的是,图像捕获设备150的设置位置仍可能依据实际情况而变动。在一些实施例中,待测图像的拍摄内容或主体的特定部位可依据实际需求而改变。在其他实施例中,姿势评估装置100也可能经由网络或自存储媒体取得来自其他图像捕获设备所拍摄的图像。
处理器130可识别待测图像中的关键点(步骤S230)。在一实施例中,关键点包括一个或两个眼睛、一个或两个耳朵、鼻子、脖子和/或一个或两个肩膀的位置。在其他实施例中,关键点可以是主体的任一器官、关节、边缘、或由前述任一个所延伸的位置。这些关键点是用于后续评估姿势所用。
针对关键点识别,在一实施例中,处理器130可基于一神经网络(Neural Network,NN)标记待测图像中的那些关键点。神经网络(或称类神经网络、人工神经网络)可基于数学统计学类型的学习方法(Learning Method)得以优化其内部结构和/或参数,并据以进行人工感知方面的解决问题。
在一实施例中,神经网络是深度学习神经网络。深度学习神经网络的架构包括输入层、隐藏层及输出层。在输入层中,众多神经元(Neuron)接收大量非线性输入讯息。在隐藏层中,众多神经元和连结可能组成一层或更多层面,且各层面包括线性组合及非线性的激励(activation)函数。在一些实施例中,例如是递归神经网络会将隐藏层中某一层面的输出作为另一层面的输入。讯息在神经元链接中传输、分析、和/或权衡后即可在输出层形成预测结果。而神经网络之训练程序即是找出隐藏层中的参数(例如,权重、偏差(bias)等)及连结。
在一实施例中,神经网络是卷积神经网络(Convolutional Neural Network,CNN)。卷积神经网络通常包括一个或多个卷积层和顶端的全连通层(即,前述深度学习神经网络),也可还包括关联权重和池化层(pooling layer)。值得注意的是,在卷积层中,每一层神经元以二维矩阵排列,且指定的卷积核(kernel)对每层输入矩阵进行卷积运算,进而取得特征图(feature map)。
在其他实施例中,神经网络也可以是OpenPose、Inception、GoogleNet、Alexnet或其他网络结构。
在一实施例中,神经网络是经已标记那些关键点的学习样本所训练。这些学习样本已在其上的一个或更多个特定区域(例如,感兴趣区(Region of Interest,ROI)、包围盒(bounding box))标记有特定类别。这些类别即是已定义的那些关键点。神经网络可分析学习样本以自中获得规律,从而通过规律对未知数据预测。也就是说,经训练的神经网络可对待测图像推论,依据推论结果决定待测图像中的ROI、包围盒或圈选区域,并据以在这些特定区域中标记出关键点及其类型。
在其他实施例中,处理器130使用诸如Harr特征、加速稳健特征(Speeded UpRobust Features,SURF)、尺度不变特征转换(scale-invariant feature transform,SIFT)、Adaboost或其他图像识别和/或特征比对技术来识别关键点,进而自待测图像中标记关键点。
举例而言,图4是依据本发明一实施例的正面的关键点标记的示意图。请参照图3C及图4,假设图像捕获设备150对图3C中位于图像捕获设备150正前方的主体B2(以正面朝向图像捕获设备150)拍摄以取得待测图像IM1。处理器130可自待测图像中识别出脖子P1、肩膀P2-1,P2-2、耳朵P3-1,P3-2、眼睛P4-1,P4-2及鼻子P5。
图5是依据本发明一实施例的斜侧面的关键点标记的示意图。请参照图3C及图5,假设图像捕获设备150对图3C中位于图像捕获设备150右前方的主体B3(以斜侧面朝向图像捕获设备150)拍摄以取得待测图像IM2。处理器150可自待测图像中识别出脖子P1、肩膀P2-1,P2-2、耳朵P3-2、眼睛P4-1,P4-2及鼻子P5。
图6是依据本发明一实施例的侧面的关键点标记的示意图。请参照图3C及图6,假设图像捕获设备150对图3C中位于图像捕获设备150左边的主体B4(以侧身朝向图像捕获设备150)拍摄以取得待测图像IM3。处理器150可自待测图像中识别出脖子P1、肩膀P2-2、耳朵P3-2、眼睛P4-2及鼻子P5。
处理器130获取那些关键点中第一群关键点的位置,并经由第一群关键点的关联定义出第一几何关系(步骤S250)。具体而言,关键点包括一个第一群关键点及一个第二群关键点。部分或全部的关键点可作为第一群关键点和/或第二群关键点,第一群关键点相关于主体与图像捕获设备150间的相对位置,第二群关键点相关于姿态的正确性,且其详细评估方式待后续实施例详述。
以阅读情境为例(但不以此情境为限),图7是依据本发明一实施例的多种阅读情境的关键点标记的示意图。请参照图7,不同使用者的习惯或环境影响,在不同相对位置的情况(例如,样本S1~S5是主体是以正面朝向图像捕获设备150,样本S6~S10是主体是以斜侧面朝向图像捕获设备150,样本S11~S15是主体是完全以侧面朝向图像捕获设备150)下,关键点的关联所形成的几何关系可能不同。几何关系可相关于关键点的连线和/或其所形成的几何形状因其所处位置而形成的角度、距离、比例、相对位置或相对方向。
处理器150可依据第一几何关系判断主体与图像捕获设备150间的相对位置(步骤S270)。在一实施例中,处理器130可从已知样本(已确认主体与图像捕获设备150间的相对位置的图像)中分析出第一群关键点的关联对应的第一参考几何关系,将此第一参考几何关系与第一几何关系比较,并基于比较结果确认待测图像中的主体与图像捕获设备150间的相对位置。
在一实施例中,主体与图像捕获设备150间的相对位置包括正面及斜侧面,且第一群关键点包括两肩膀以及脖子的位置。处理器130可定义一条第一线以及两条第二线。第一线为自脖子的位置水平延伸或是朝一个肩膀的方向延伸。在一实施例中,当两肩膀的位置的链接为水平线(例如,相对于任一参考水平面),则第一线为自脖子的位置水平延伸。在一实施例中,当两肩膀的位置的链接为斜线,第一线为自脖子的位置朝一肩膀的方向延伸。
另一方面,这二第二线分别平行地位于第一线的两侧且距第一线一间距。例如,当第一线为自脖子的位置水平延伸,两条第二线亦为水平线。又例如,当第一线为自脖子的位置朝一肩膀的方向延伸,两条第二线平行于此延伸线但不一定为水平线(视脖子与肩膀的位置的链接的倾斜度而定)。
处理器150可判断肩膀的位置是否为于两第二线之间的第一范围。在本实施例中,第一几何关为为肩膀的位置与第一范围的位置关系。例如,肩膀位于第一范围内,或肩膀与第一范围的距离。即,主体的左肩及右肩是否落于第一范围内。
处理器130可依据第一几何关系判断相对位置为正面或是斜侧面。举例而言,图8A及图8B是依据本发明一实施例的正面识别的示意图。请参照图8A,二肩膀P2-1,P2-2的位置的链接大致为水平线,且第一线(以x轴(或是水平线,而y轴为垂直线)为例)是以脖子P1的位置为起始点(或中心点)并水平地向外(例如,向图面左右两侧)延伸。两第二线RH1,RH2位于x轴(即,第一线)的上、下方。第二线RH1,RH2分别平行于第一线且与第一线分别有间距h1,h2(其值可依据实际需求而改变)。处理器130可将第二线RH1,RH2之间的范围设定为第一范围。请参照图8B,处理器130可判断肩膀P2-1,P2-2是否位于第二线RH1,RH2之间的第一范围内。当肩膀P2-1,P2-2皆位于第一范围内,处理器130可判断主体与图像捕获设备150间的相对位置为正面。也就是说,当第一线为自脖子P1的位置水平延伸,且肩膀P2-1,P2-2的位置位于两第二线RH1,RH2之间的第一范围,处理器130判断相对位置为正面。此时,主体为正面朝向图像捕获设备150,且其两肩膀大致为水平(如图4所示)。当肩膀P2-1,P2-2未位于第一范围内,处理器130可判断主体并非以正面朝向图像捕获设备150。
针对肩膀与第一范围之间的第一几何关系的另一范例,图9A及图9B是依据本发明一实施例的斜侧面识别的示意图。请参照图9A及图9B,二肩膀P2-1,P2-2的位置的链接大致为斜线,且第一线是以脖子P1的位置为起始点并朝肩膀P2-1延伸。两第二线RH3,RH4位于第一线的斜上、下方。第二线RH3,RH4分别平行于第一线且与第一线分别有间距h3,h4(其值可依据实际需求而改变)。处理器130可将第二线RH3,RH4之间的范围设定为第一范围。肩膀P2-1至脖子P1的连线(以x轴为例)与第一线之间形成夹角θ5。处理器130可判断肩膀P2-2是否位于第二线RH3,RH4之间的第一范围内。当肩膀P2-2皆位于第一范围内(或夹角θ5小于角度门坎值(例如,15、30或45度)),处理器130可判断主体与图像捕获设备150间的相对位置为斜侧面。也就是说,当第一线为自脖子P1的位置朝肩膀P2-1的方向延伸,且肩膀P2-1的位置位于两第二线之间RH3,RH4的第一范围,处理器130判断相对位置为斜侧面。此时,主体为斜面朝向,其两肩膀相对于水平线大致为倾斜的(如图5所示)。当肩膀P2-2未位于第一范围内(或夹角θ5大于角度门坎值),处理器130可判断主体并非以斜侧面朝向图像捕获设备150。
在另一实施例中,第一群关键点包括两肩膀以及脖子的位置,处理器130可定义第一比例。第一比例是两肩膀P2-1,P2-2分别至脖子P1的两距离的比例。即,左肩及右肩到脖子的距离比例。在本实施例中,第一几何关系为第一比例。
处理器130可判断第一比例是否位于第一比例区间内,并依据第一几何关系判断相对位置为正面或是斜侧面。举例而言,图10是依据本发明另一实施例的正面识别的示意图。请参照图10,右肩P2-1至脖子P1的距离为w1,且左肩P2-2至脖子P1的距离为w2。处理器130可设定参考比例r1及误差值b1,以形成第一比例区间(即,r1-b1(即,参考比例r1及误差值b1的差值)至r1+b1(即,参考比例r1及误差值b1的和值)的数值区间;换句而言,第一比例区间大于或等于参考比例r1与误差值b1的差值,且第一比例区间小于或等于参考比例r1与误差值b1的和值)。处理器130可进一步判断第一比例(例如,距离w1除以距离w2)是否位于第一比例区间内。当第一比例位于第一比例区间内(即,r1-b1≦w1/w2≦r1+b1),处理器130可判断主体与图像捕获设备150间的相对位置为正面。
在一较佳实施例中,max{w1,w2}/min{w1,w2}≦1.1的情况下,处理器130亦可判断主体与图像捕获设备150间的相对位置为正面。其中,max{w1,w2}是指取w1与w2中的最大值,min{w1,w2}是指取w1与w2中的最小值。
针对肩膀与脖子的第一比例的另一范例,请参照图10,相似地,处理器130仍可进一步判断第一比例(例如,距离w1除以距离w2)是否位于第一比例区间内。当第一比例未位于第一比例区间内(即,r1-b1>w1/w2或w1/w2>r1+b1),处理器130可判断主体与图像捕获设备150间的相对位置为斜侧面。
针对肩膀与脖子的第一比例的另一范例,请再参照图10,相似地,在1.1<max{w1,w2}/min{w1,w2}≦1+b的情况下,处理器130亦可判断主体与图像捕获设备150间的相对位置为斜侧面。其中,b>0.1,b值例如会依照图像捕获设备150的摆放角度而变化。
值得注意的是,斜侧面的参考比例r1及误差值b1与正面的对应数值不同。例如,斜侧面的参考比例r1(例如,0.7、或0.8)可小于正面的参考比例r1(例如,1、或1.2)。此外,误差值不限于b1,或可能有分别针对第一比例区间的上、下限的两个误差值。
在另一实施例中,处理器130可依据第一群关键点的数量判断主体与图像捕获设备150间的相对位置。主体与图像捕获设备150间的相对位置为侧面,且第一群关键点包括一个或两个肩膀、一个或两个眼睛及一个或两个耳朵的位置。处理器130可判断肩膀、眼睛及耳朵的数量。例如,数量为特定数值或是否超过范围。
处理器130可依据肩膀、眼睛及耳朵的数量判断主体与图像捕获设备150间的相对位置。举例而言,图11是依据本发明另一实施例的侧面识别的示意图。请参照图11,当主体为侧面时,眼睛P4-2、耳朵P3-2、肩膀P2-2皆各只有一点。即,眼睛P4-2、耳朵P3-2、肩膀P2-2的数量各为一。即,当肩膀、眼睛及耳朵的数量分别为一时,处理器130判断相对位置为侧面。
须说明的是,依据不同情境,前述范围、比例及数量可能变化,且本发明实施例不加以限制。例如,主体的大小、与图像捕获设备150之间的距离等因素可能改变前述范围、比例及数量。
处理器130可比较预设几何关系与关键点中的第二群关键点的关联所形成的第二几何关系,并生成比较结果(步骤S290)。具体而言,请再次参照图7,不同朝向在关键点所形成的位置关系有差异,因此主体与图像捕获设备150间的特定相对位置有对应的正常姿势判断规则。在一实施例中,各相对位置具有对应的默认几何关系。处理器130可依据已知样本(已确认其为正常姿势)中分析出关键点之间对应的预设几何关系。即,预设几何关系是在主体处于正常姿势下的那些关键点(即,第二群关键点)的关联而预先定义出。
处理器130可依据相对位置的类型对应定义第二几何关系。第二几何关系包括第二群关键点中的二个的位置、第二群关键点中任二个的位置所形成的一条或更多条连线、两条连线的比例、或是那些连线与第三线之间的夹角、比例或几何关系。其中,第三线为第二群关键点中的一个所延伸的参考线。处理器130可将此预设几何关系与第二几何关系比较(即,判断第二几何关系是否满足预设几何关系),并基于比较结果确认待测图像中的主体是否为正常姿势。
在一实施例中,这些正常姿势的预设几何关系衍伸出正面、斜侧面和/或侧面角度分析。
针对正面角度分析(即,相对位置为正面),在一实施例中,处理器130可判断那些关键点中的二个(即,第二群关键点)所形成的连线是否平行于水平线,并据以生成比较结果。在本实施例中,第二群关键点包括两眼睛的位置,第二几何关系为两眼睛的位置所形成的连线,且处理器130可将水平线定义为预设几何关系。水平线可以是由鼻子、脖子或其他关键点所延伸的水平线或其他角度的参考线。
举例而言,图12是依据本发明一实施例的正面的正常姿势识别的示意图。请参照图12,两眼睛P4-1,P4-2形成连线LE。在正常姿势下,连线LE应与水平线(以x轴为例)大致平行。即,连线LE与水平线之间的夹角大概为零度。当比较结果为连线LE平行于水平线,处理器130判断待测图像中的主体以正面朝向为正常姿势。而当比较结果为连线LE未平行于水平线,处理器130判断待测图像中的主体以正面朝向不为正常姿势(下文统称为不良姿势)。
图13是依据本发明另一实施例的正面的正常姿势识别的示意图。请参照图13,当主体的头部倾斜时,其两眼P4-1,P4-2所形成的连线未平行于水平线。即,两眼睛P4-1,P4-2所形成的连线LE2与水平线(以x轴为例)之间的夹角θ6大于零度或甚至大于其他角度。因此,处理器130可设定角度区间为0~10度、0~15度或其他范围。例如,处理器130将已知样本中的最高者、次高者、最低者、次低者、或上述任一个或更多个的平均值、中位数或其他代表数作为角度区间的上限和/或下限。当比较结果为连线LE2与水平线之间的夹角θ6位于角度区间内,处理器130判断待测图像中的主体以正面朝向为正常姿势。而当比较结果为连线LE2与水平线之间的夹角θ6不位于角度区间内,处理器130判断待测图像中的主体以正面朝向为不良姿势。
针对正面角度分析,在另一实施例中,第二群关键点包括两眼睛及两耳朵的位置,且处理器130可判断两耳朵的位置是否位于依据两眼睛所形成的第二范围,并据以生成比较结果。在本实施例中,第二几何关系为两耳朵与第二范围的位置关系。例如,耳朵中的任一个或两个是否位于第二范围或与第二范围的相对距离或相对方向。处理器130可将两眼睛的位置所形成的连线以及与这连线平行的参考线之间定义为第二范围。即,第二范围位于两眼睛的连线及参考线之间。值得注意的是,第二范围为预设几何关系。处理器130可基于已知样本中判定为正面且正常姿势的关键点决定第二范围的形状及大小。
举例而言,图14A及图14B是依据本发明另一实施例的正面的正常姿势识别的示意图。请参照图14A,两眼睛P4-1,P4-2的连线LE3的上方相距距离h5(其值可依据实际需求而改变)处形成第四线RH5(与连线LE3平行),且连线LE3与第四线RH5之间形成第二范围。请参照图14B,处理器130可判断两耳朵P3-1,P3-2是否位于连线LE3与第四线RH5所形成的第二范围内。当比较结果为两耳朵P3-1,P3-2位于第二范围内,处理器130判断待测图像中的主体以正面朝向为正常姿势。而当比较结果两耳朵P3-1,P3-2未位于第二范围内(可能是主体低头的角度过大),处理器130判断待测图像中的主体以正面朝向为不良姿势。
针对正面角度分析,在另一实施例中,第二群关键点包括脖子、鼻子及两肩膀的位置。处理器130可定义第二比例。第二比例是第一距离与第二距离的比例。其中,第一距离为鼻子至脖子的距离,且第二距离为两肩膀之间的最短距离(或垂直距离)。处理器130可判断第二比例是否位于第二比例区间内,并据以生成比较结果。在本实施例中,第二几何关系为此第二比例,且正常姿势的第二比例位于第二比例区间(可能不同于第一比例对应的第一比例区间)内。即,第二比例区间为预设几何关系。处理器130可基于已知样本中判定为正常姿势的关键点设定参考比例r2及误差值b2,以形成此第二比例区间(即,r2-b2(即,参考比例r2与误差值b2的差值)至r2+b2(即,参考比例r2与误差值b2的和值)的数值区间)。
举例而言,图15是依据本发明另一实施例的正面的正常姿势识别的示意图。请参照图15,鼻子P5至脖子P1的距离为h6,且两肩膀P2-1,P2-2之间的距离为w3。处理器130可进一步判断第二比例(例如,距离h6除以距离w3)是否位于第二比例区间(r2-b2至r2+b2,即,第二比例区间大于或等于参考比例r2与误差值b2的差值,且第二比例区间小于或等于参考比例r2与误差值b2的和值)内。当比较结果为第二比例位于第二比例区间内(即,r2-b2≦h6/w3≦r2+b2),处理器130可判断待测图像中的主体以正面朝向为正常姿势。当比较结果为第二比例未位于第二比例区间内(即,r2-b2>h6/w3或h6/w3>r2+b2),处理器130可判断待测图像中的主体以正面朝向为不良姿势(例如,主体驼背或上仰的情况)。须说明的是,误差值不限于b2,或可能有分别针对第二比例区间的上、下限的两个误差值。
针对斜侧面角度分析(即,相对位置为斜侧面),在一实施例中,处理器130可定义那些关键点中的二个(即,第二群关键点)所形成的连线与第三线之间的夹角。在本实施例中,第二群关键点包括脖子及鼻子的位置,且处理器130可定义脖子的位置及鼻子的位置所形成的连线。第三线为水平线,而第二几何关系为此夹角此外,预设几何关系为预设的角度区间。处理器130可依据已知样本中对应于斜侧面且正常姿势的夹角决定预设的角度区间。例如,处理器130将已知样本中的最高者、次高者、最低者、次低者、或上述任一个或更多个的平均值、中位数或其他代表数作为角度区间的上限和/或下限。
处理器130可判断夹角是否满足预设几何关系。举例而言,图16A及图16B是依据本发明一实施例的斜侧面的正常姿势识别的示意图。请参照图16A,处理器130可设定水平线(以x轴为例,即第三线,且以脖子P1为中心点)为基准的角度区间(例如,角度θ7~θ8)。此角度区间相关于脖子P1容许的下倾角度。请参照图16B,处理器130可判断脖子P1及鼻子P5的连线与水平线之间的夹角θ9是否位于角度区间之间。当比较结果为夹角θ9位于角度区间内,处理器130判断待测图像中的主体以斜侧面朝向为正常姿势。而当比较结果为夹角θ9不位于角度区间内,处理器130判断待测图像中的主体以斜侧面朝向为不良姿势。
针对斜侧面角度分析,在另一实施例中,第二群关键点为眼睛及耳朵的位置,处理器130可定义眼睛的位置及耳朵的位置所形成的连线,并定义连线与第三线之间的夹角。在本实施例中,第三线为水平线,第二几何关系为眼睛的位置及耳朵的位置所形成的连线与第三线之间的夹角,且预设几何关系为预设的角度区间。
处理器130可判断夹角是否满足预设几何关系,并据以生成比较结果。举例而言,图17A及图17B是依据本发明另一实施例的斜侧面的正常姿势识别的示意图。请参照图17A,处理器130可设定水平线(以x轴为例,即第三线,且以眼睛P4-2为中心点)为基准的角度区间(例如,角度θ10~θ11)。此角度区间相关于脖子P1容许的下倾角度。请参照图17B,处理器130可判断眼睛P4-2及耳朵P3-2的连线与水平线之间的夹角θ12是否位于角度区间之间。当比较结果为夹角θ12位于角度区间内,处理器130判断待测图像中的主体以斜侧面朝向为正常姿势。而当比较结果为夹角θ12不位于角度区间内,处理器130判断待测图像中的主体以斜侧面朝向为不良姿势。
须说明的是,图17A及图17B也可能是眼睛P4-1及耳朵P3-1的连线,且是基于眼睛P4-1的水平线。
针对侧面角度分析(即,相对位置为侧面),在一实施例中,处理器130亦可定义那些关键点中的二个(即,第二群关键点)所形成的连线与第三线之间的夹角。在本实施例中,第二群关键点包括脖子及鼻子的位置,且处理器130可定义眼睛的位置及耳朵的位置所形成的连线。第三线为水平线,第二几何关系为连线与第三线之间的夹角,且预设几何关系为预设之角度区间。
处理器130可判断夹角是否满足预设几何关系,并据以生成比较结果。举例而言,举例而言,图18是依据本发明一实施例的侧面的正常姿势识别的示意图。请参照图18,处理器130可设定角度公差b及角度θ13,并判断脖子P1与鼻子P5所形成的连线与水平线(以x轴为例,即第三线,且以脖子P1为中心点)之间的夹角是否位于角度区间(角度θ13-b~角度θ13+b)。当比较结果为脖子P1与鼻子P5所形成的连线与水平线之间的夹角位于角度区间内,处理器130判断待测图像中的主体以侧面朝向为正常姿势。而当比较结果为脖子P1与鼻子P5所形成的连线与水平线之间的夹角不位于角度区间内,处理器130判断待测图像中的主体以侧面朝向为不良姿势。
针对侧面角度分析,在另一实施例中,第二群关键点为眼睛及耳朵的位置,处理器130可定义眼睛的位置及耳朵的位置所形成的连线,并定义连线与第三线之间的夹角。在本实施例中,第三线为水平线,第二几何关系为眼睛的位置及耳朵的位置所形成的连线与第三线之间的夹角,且预设几何关系为预设的角度区间。
处理器130可判断夹角是否满足预设几何关系,并据以生成比较结果。举例而言,图19A及图19B是依据本发明另一实施例的侧面的正常姿势识别的示意图。请参照图19A,处理器130可设定水平线(以x轴为例,即第三线,且以眼睛P4-2为中心点)为基准的角度区间(例如,角度θ14~θ15)。此角度区间相关于脖子P1容许的下倾角度。请参照图17B,处理器130可判断眼睛P4-2及耳朵P3-2的连线与水平线之间的夹角θ16是否位于角度区间之间。当比较结果为夹角θ16位于角度区间内,处理器130判断待测图像中的主体以斜侧面朝向为正常姿势。而当比较结果为夹角θ16不位于角度区间内,处理器130判断待测图像中的主体以斜侧面朝向为不良姿势。
须说明的是,图19A及图19B也可能是眼睛P4-1及耳朵P3-1的连线,且是基于眼睛P4-1的水平线。
此外,依据不同情境,前述范围、比例及角度区间可能变化,且本发明实施例不加以限制。例如,主体的大小、与图像捕获设备150之间的距离等因素可能改变前述范围、比例及角度区间。
无论是正常或是不良的阅读或观赏姿势,长时间维持固定不变的姿势,人体都会疲劳。因此,可针对个别姿势统计分析,并提出不同示警。在一实施例中,处理器130可依据比较结果及第二比较结果的累计次数发出警示。比较结果及第二比较结果是正常姿势或不良姿势。累计次数是比较结果与第二比较结果为正常姿势或不为正常姿势(即,不良姿势)的统计次数。第二比较结果相关于对一张或更多张第二待测图像比较正常姿势所得出的比较结果,且待测图像与第二待测图像的撷取时间可能不同。例如,图像捕获设备150每10秒、每30秒或每分钟撷取一张图像作为待测图像或第二待测图像。此外,需要发出警示的累计次数可能相关于图像撷取时间、统计时间、卫教信息或其他需求。
图20是依据本发明一实施例的示警的流程图。请参照图20,处理器130对待测图像或第二待测图像进行样本匹配(步骤S201)。例如,处理器130将判断为正常姿势的图像作为正样本,将判断为不良姿势的图像作为负样本,并据以分别统计正样本及负样本的累计次数。处理器130可判断累计次数是否符合示警要求(例如,累计次数大于特定次数、或特定时间内的累计次数是否达到特定次数)(步骤S203)。当累计次数符合示警要求,处理器130可发出示警(步骤S205)。示警例如是相关于声、光或其组合的提醒。例如,通过特定颜色的灯炮闪烁、或发出提示声音。当累计次数尚未符合示警要求,处理器130继续统计累计次数。
在另一实施例中,处理器130也可能是检测到负样本即发出示警。
综上所述,在本发明实施例的姿势评估装置及姿势评估方法中,分析待测图像中的主体的数个关键点所形成的位置关系决定主体相对于图像捕获设备的朝向,并判断特定朝向的主体是否为正常姿势。位置关系可能是关键点和/或其连线所形成的角度、距离或比例。藉此,可提升姿势估测的准确度及效率。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (22)
1.一种姿势评估方法,其特征在于,包括:
利用图像捕获设备撷取待测图像;
识别所述待测图像中的多个关键点,其中所述关键点位于所述待测图像中之主体的多个位置,所述关键点包括第一群关键点及第二群关键点;
获取所述第一群关键点的位置,并经由所述第一群关键点之关联定义出第一几何关系;
依据所述第一几何关系判断所述主体与所述图像捕获设备间的相对位置,其中各所述相对位置具有对应的默认几何关系;以及
比较所述预设几何关系与所述第二群关键点的关联所形成的第二几何关系,并生成比较结果。
2.根据权利要求1所述的姿势评估方法,其特征在于,识别所述待测图像中的所述关键点的步骤包括:
基于神经网络标记所述待测图像中的所述关键点,其中所述神经网络是经已标记所述关键点的学习样本所训练。
3.根据权利要求1所述的姿势评估方法,其特征在于,还包括:
依据所述比较结果判断所述主体是否为正常姿势,其中所述预设几何关系是在所述主体处于所述正常姿势下的所述关键点的关联而预先定义出;
其中,依据所述比较结果判断所述主体是否为所述正常姿势的步骤之后,还包括:
依据所述比较结果及第二比较结果的累计次数发出警示,其中所述累计次数是所述比较结果与所述第二比较结果为所述正常姿势或不为所述正常姿势的统计次数,所述第二比较结果相关于至少一第二待测图像,且所述待测图像与所述至少一第二待测图像的撷取时间不同。
4.根据权利要求1所述的姿势评估方法,其特征在于,位于所述主体的所述第一群关键点包括二肩膀以及脖子的位置,而判断所述主体与所述图像捕获设备间的所述相对位置的步骤包括:
定义第一线以及二第二线,其中所述第一线为自所述脖子的位置水平延伸或是朝所述肩膀的方向延伸,所述二第二线分别平行地位于所述第一线的两侧且距所述第一线有间距;
判断所述肩膀的位置是否位于所述二第二线之间的第一范围,而所述第一几何关系为所述肩膀的位置与所述第一范围的位置关系;以及
依据所述第一几何关系判断所述相对位置为正面或是斜侧面;
其中,判断所述第一线为自所述脖子的位置水平延伸,所述二肩膀的位置的链接为水平线;
其中,判断所述第一线为自所述脖子的位置朝所述肩膀的方向延伸,所述二肩膀的位置的链接为斜线;
其中,依据所述第一几何关系判断所述相对位置为所述正面或是所述斜侧面的步骤包括:
判断所述肩膀的位置位于所述二第二线之间的所述第一范围,并进一步判断所述相对位置为所述正面,其中所述第一线为自所述脖子的位置水平延伸;以及
判断所述肩膀的位置位于所述二第二线之间的所述第一范围,并进一步判断所述相对位置为所述斜侧面,其中所述第一线为自所述脖子的位置朝所述肩膀的方向延伸。
5.根据权利要求1所述的姿势评估方法,其特征在于,位于所述主体的所述第一群关键点包括二肩膀及脖子的位置,而判断所述主体与所述图像捕获设备间的所述相对位置的步骤包括:
定义第一比例,其中所述第一比例是所述二肩膀分别至所述脖子的二距离的比例;
判断所述第一比例是否位于第一比例区间内,其中所述第一几何关系为所述第一比例;以及
依据所述第一几何关系判断所述相对位置为正面或是斜侧面;
其中,所述第一比例区间大于或等于参考比例与第一误差值的差值,且所述第一比例区间小于或等于所述参考比例与第二误差值的和值,
判断所述相对位置为所述正面,其中所述第一比例位于所述第一比例区间内;以及
判断所述相对位置为所述斜侧面,其中所述第一比例未位于所述第一比例区间内。
6.根据权利要求1所述的姿势评估方法,其特征在于,还包括:
依据所述第一群关键点的数量判断所述主体与所述图像捕获设备间的所述相对位置;
其中,位于所述主体的所述第一群关键点包括至少一肩膀、至少一眼睛及至少一耳朵的位置,而判断所述主体与所述图像捕获设备间的所述相对位置的步骤包括:
判断所述至少一肩膀、所述至少一眼睛及所述至少一耳朵的数量;
依据所述至少一肩膀、所述至少一眼睛及所述至少一耳朵的数量判断所述主体与所述图像捕获设备间的所述相对位置;以及
判断所述相对位置为侧面,其中所述至少一肩膀、所述至少一眼睛及所述至少一耳朵的数量分别为一。
7.根据权利要求1所述的姿势评估方法,其特征在于,所述相对位置包括正面、斜侧面及侧面,而比较各所述相对位置对应的所述默认几何关系与所述第二群关键点的关联所形成的所述第二几何关系的步骤包括:
依据所述相对位置的类型对应定义所述第二几何关系,其中所述第二几何关系包括所述第二群关键点中的二个的位置、所述第二群关键点中任二个的位置所形成的至少一连线、二所述连线的比例、或是所述至少一连线与第三线之间的夹角、比例或几何关系,所述第三线为所述第二群关键点中的一个所延伸的参考线;以及
判断所述第二几何关系是否满足所述预设几何关系。
8.根据权利要求7所述的姿势评估方法,其特征在于,
当所述相对位置为所述正面,且所述第二群关键点包括二眼睛的位置,比较所述默认几何关系与所述第二群关键点的关联所形成的所述第二几何关系的步骤包括:
将水平线定义为所述预设几何关系;
判断所述二眼睛的位置所形成的所述连线是否平行所述水平线,其中所述二眼睛的位置所形成的所述连线为所述第二几何关系;以及
生成所述比较结果;
当所述相对位置为所述正面,且所述第二群关键点包括二眼睛及二耳朵的位置,比较所述默认几何关系与所述关键点的关联所形成的所述第二几何关系的步骤包括:
将所述二眼睛的位置所形成的所述连线以及与所述连线平行的参考线之间定义为第二范围,其中所述第二范围为所述预设几何关系;
判断所述二耳朵的位置是否位于所述第二范围,其中所述二耳朵的位置为所述第二几何关系;以及
生成所述比较结果。
9.根据权利要求7所述的姿势评估方法,其特征在于,所述相对位置为所述正面,且所述第二群关键点包括脖子、鼻子及二肩膀的位置,比较所述默认几何关系与所述第二群关键点的关联所形成的所述第二几何关系的步骤包括:
定义第二比例,其中所述第二比例是第一距离与第二距离的比例,其中所述第一距离为所述鼻子至所述脖子的距离,所述第二距离为所述二肩膀之间的距离,所述第二几何关系为所述第二比例;
判断所述第二比例是否于第二比例区间内,其中所述第二比例区间为所述预设几何关系;以及
生成所述比较结果;
其中,所述第二比例区间大于或等于参考比例与第三误差值的差值,且所述第二比例区间小于或等于所述参考比例与第四误差值的和值。
10.根据权利要求7所述的姿势评估方法,其特征在于,
当所述相对位置为所述斜侧面或所述侧面,且所述第二群关键点包括脖子及鼻子的位置,比较所述默认几何关系与所述关键点的关联所形成的所述第二几何关系的步骤包括:
定义所述脖子的位置及所述鼻子的位置所形成的所述连线;
定义所述连线与所述第三线之间的所述夹角,其中所述第三线为水平线,而所述夹角为所述第二几何关系;
判断所述夹角是否满足所述预设几何关系,其中所述预设几何关系为预设的角度区间;以及
生成所述比较结果;
当所述相对位置为所述斜侧面或所述侧面,且所述第二群关键点包括眼睛及耳朵的位置,比较所述默认几何关系与所述关键点的关联所形成的所述第二几何关系的步骤包括:
定义所述眼睛的位置及所述耳朵的位置所形成的所述连线;
定义所述连线与所述第三线之间的所述夹角,其中所述第三线为水平线,而所述夹角为所述第二几何关系;
判断所述夹角是否满足所述预设几何关系,所述预设几何关系为预设的角度区间;以及
生成所述比较结果。
11.根据权利要求1所述的姿势评估方法,其特征在于,识别所述待测图像中的所述关键点的步骤之前,还包括:
对鱼眼图像展开成全景图像,并将所述全景图像作为所述待测图像。
12.一种姿势评估装置,包括:
存储器,存储程序代码;以及
处理器,耦接所述存储器,其特征在于,加载并执行所述程序代码以经配置用以:
识别待测图像中的多个关键点,其中所述待测图像是利用图像捕获设备所撷取,所述关键点对应于所述待测图像中的主体的多个位置,所述关键点包括第一群关键点及第二群关键点;
获取所述第一群关键点的位置,并经由所述第一群关键点的关联定义出第一几何关系;
依据第一几何关系判断所述主体与所述图像捕获设备间的相对位置,其中各所述相对位置具有对应的默认几何关系;以及
比较所述预设几何关系与所述第二群关键点的关联所形成的第二几何关系,并生成比较结果。
13.根据权利要求12所述的姿势评估装置,其特征在于,所述处理器还经配置用以:
基于神经网络标记所述待测图像中的所述关键点,其中所述神经网络是经已标记所述关键点的学习样本所训练。
14.根据权利要求12所述的姿势评估装置,其特征在于,所述处理器还经配置用以:
依据所述比较结果判断所述主体是否为正常姿势,其中所述预设几何关系是在所述主体处于所述正常姿势下的所述关键点的关联而预先定义出;
其中,所述处理器还经配置用以:
依据所述比较结果及第二比较结果的累计次数发出警示,其中所述累计次数是所述比较结果与所述第二比较结果为所述正常姿势或不为所述正常姿势的统计次数,所述第二比较结果相关于至少一第二待测图像,且所述待测图像与所述至少一第二待测图像的撷取时间不同。
15.根据权利要求12所述的姿势评估装置,其特征在于,位于所述主体的所述第一群关键点包括二肩膀及脖子的位置,且所述处理器还经配置用以:
定义第一线以及二第二线,其中所述第一线为自所述脖子的位置水平延伸或是朝所述肩膀的方向延伸,所述二第二线分别平行地位于所述第一线的两侧且距所述第一线有间距;
判断所述肩膀的位置是否位于所述二第二线之间的一第一范围,而所述第一几何关系为所述肩膀的位置与所述第一范围的位置关系;以及
依据所述第一几何关系判断所述相对位置为正面或是斜侧面;
其中,所述处理器还经配置用以判断所述第一线为自所述脖子的位置水平延伸,其中所述二肩膀的位置的链接为水平线;
其中,所述处理器还经配置用以判断所述第一线为自所述脖子的位置朝所述肩膀的方向延伸,其中所述二肩膀的位置的链接为斜线;
其中,所述处理器还经配置用以:
判断所述肩膀的位置位于所述二第二线之间的所述第一范围,并进一步判断所述相对位置为所述正面,其中所述第一线为自所述脖子的位置水平延伸;以及
判断所述肩膀的位置位于所述二第二线之间的所述第一范围,并进一步判断所述相对位置为所述斜侧面,其中所述第一线为自所述脖子的位置朝所述肩膀的方向延伸。
16.根据权利要求12所述的姿势评估装置,其特征在于,位于所述主体的所述第一群关键点包括二肩膀及脖子的位置,且所述处理器还经配置用以:
定义第一比例,其中所述第一比例是所述二肩膀分别至所述脖子的二距离的比例;
判断所述第一比例是否位于第一比例区间内,其中所述第一几何关系为所述第一比例;以及
依据所述第一几何关系判断所述相对位置为正面或是斜侧面;
其中,所述第一比例区间大于或等于参考比例与第一误差值的差值,且所述第一比例区间小于或等于所述参考比例与第二误差值的和值,且所述处理器还经配置用以:
判断所述相对位置为所述正面,其中所述第一比例位于所述第一比例区间内;以及
判断所述相对位置为所述斜侧面,其中所述第一比例未位于所述第一比例区间内。
17.根据权利要求12所述的姿势评估装置,其特征在于,所述处理器还经配置用以:
依据所述第一群关键点的数量判断所述主体与所述图像捕获设备间的所述相对位置;
其中,位于所述主体的所述第一群关键点包括至少一肩膀、至少一眼睛及至少一耳朵的位置,且所述处理器还经配置用以:
判断所述至少一肩膀、所述至少一眼睛及所述至少一耳朵的数量;
依据所述至少一肩膀、所述至少一眼睛及所述至少一耳朵的数量判断所述主体与所述图像捕获设备间的所述相对位置;以及
判断所述相对位置为侧面,其中所述至少一肩膀、所述至少一眼睛及所述至少一耳朵的数量分别为一。
18.根据权利要求12所述的姿势评估装置,其特征在于,所述朝向包括正面、斜侧面及侧面,且所述处理器还经配置用以:
依据所述相对位置的类型对应定义所述第二几何关系,其中所述第二几何关系包括所述第二群关键点中的二个的位置、所述第二群关键点中任二个的位置所形成的至少一连线、二所述连线的比例、或是所述至少一连线与第三线之间的夹角、比例或几何关系,所述第三线为所述第二群关键点中的一个所延伸的参考线;以及
判断所述第二几何关系是否满足所述预设几何关系。
19.根据权利要求18所述的姿势评估装置,其特征在于,
当所述相对位置为所述正面,且所述第二群关键点包括二眼睛的位置,所述处理器还经配置用以:
将水平线定义为所述预设几何关系;
判断所述二眼睛的位置所形成的所述连线是否平行所述水平线,其中所述二眼睛的位置所形成的所述连线为所述第二几何关系;以及
生成所述比较结果;
当所述相对位置为所述正面,且所述第二群关键点包括二眼睛及二耳朵的位置,所述处理器还经配置用以:
将所述二眼睛的位置所形成的所述连线以及与所述连线平行的一参考线之间定义为第二范围,其中所述第二范围为所述预设几何关系;
判断所述二耳朵的位置是否位于所述第二范围,其中所述二耳朵的位置为所述第二几何关系;以及
生成所述比较结果。
20.根据权利要求18所述的姿势评估装置,其特征在于,所述相对位置为所述正面,且所述第二群关键点包括脖子、鼻子及二肩膀的位置,所述处理器还经配置用以:
定义第二比例,其中所述第二比例是第一距离与第二距离的比例,其中所述第一距离为所述鼻子至所述脖子的距离,所述第二距离为所述二肩膀之间的距离,所述第二几何关系为所述第二比例;
判断所述第二比例是否于第二比例区间内,其中所述第二比例区间为所述预设几何关系;以及
生成所述比较结果;
其中,所述第二比例区间大于或等于参考比例与第三误差值的差值,且所述第二比例区间小于或等于所述参考比例与第四误差值的和值。
21.根据权利要求18所述的姿势评估装置,其特征在于,
当所述相对位置为所述斜侧面或所述侧面,且所述第二群关键点包括脖子及鼻子的位置,所述处理器还经配置用以:
定义所述脖子的位置及所述鼻子的位置所形成的所述连线;
定义所述连线与所述第三线之间的所述夹角,其中所述第三线为水平线,而所述夹角为所述第二几何关系;
判断所述夹角是否满足所述预设几何关系,其中所述预设几何关系为预设的角度区间;以及
生成所述比较结果;
当所述相对位置为所述斜侧面或所述侧面,且所述第二群关键点包括眼睛及耳朵的位置,所述处理器还经配置用以:
定义所述眼睛的位置及所述耳朵的位置所形成的所述连线;
定义所述连线与所述第三线之间的所述夹角,其中所述第三线为水平线,而所述夹角为所述第二几何关系;
判断所述夹角是否满足所述预设几何关系,所述预设几何关系为预设的角度区间;以及
生成所述比较结果。
22.一种姿势评估系统,包括:
图像捕获设备,撷取待测图像;
存储器,存储程序代码;以及
处理器,耦接所述存储器及所述图像处理装置,其特征在于,加载并执行所述程序代码以经配置用以:
识别所述待测图像中的多个关键点,其中所述待测图像是利用图像捕获设备所撷取,所述关键点对应于所述待测图像中的主体的多个位置,所述关键点包括第一群关键点及第二群关键点;
获取所述第一群关键点的位置,并经由所述第一群关键点的关联定义出第一几何关系;
依据第一几何关系判断所述主体与所述图像捕获设备间的相对位置,其中各所述相对位置具有对应的默认几何关系;以及
比较所述预设几何关系与所述第二群关键点的关联所形成的第二几何关系,并生成比较结果。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW110120432A TWI797635B (zh) | 2021-06-04 | 2021-06-04 | 姿勢評估裝置、方法及系統 |
TW110120432 | 2021-06-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115439875A true CN115439875A (zh) | 2022-12-06 |
Family
ID=84241617
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210444232.0A Pending CN115439875A (zh) | 2021-06-04 | 2022-04-25 | 姿势评估装置、方法及系统 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220392246A1 (zh) |
CN (1) | CN115439875A (zh) |
TW (1) | TWI797635B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116682041A (zh) * | 2023-06-06 | 2023-09-01 | 南京听说科技有限公司 | 教学及考试用智能辅助卡及其控制系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105307017A (zh) * | 2015-11-03 | 2016-02-03 | Tcl集团股份有限公司 | 智能电视用户的姿势矫正方法及装置 |
EP3909504A3 (en) * | 2018-05-28 | 2022-03-09 | Kaia Health Software GmbH | Monitoring the performance of physical exercises |
US10327697B1 (en) * | 2018-12-20 | 2019-06-25 | Spiral Physical Therapy, Inc. | Digital platform to identify health conditions and therapeutic interventions using an automatic and distributed artificial intelligence system |
CN111568438B (zh) * | 2019-07-09 | 2020-11-24 | 四川大学华西第二医院 | 孕妇姿态校正与监测系统 |
-
2021
- 2021-06-04 TW TW110120432A patent/TWI797635B/zh active
-
2022
- 2022-04-25 CN CN202210444232.0A patent/CN115439875A/zh active Pending
- 2022-05-09 US US17/739,183 patent/US20220392246A1/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116682041A (zh) * | 2023-06-06 | 2023-09-01 | 南京听说科技有限公司 | 教学及考试用智能辅助卡及其控制系统 |
CN116682041B (zh) * | 2023-06-06 | 2023-12-12 | 南京听说科技有限公司 | 教学及考试用智能辅助卡及其控制系统 |
Also Published As
Publication number | Publication date |
---|---|
TWI797635B (zh) | 2023-04-01 |
US20220392246A1 (en) | 2022-12-08 |
TW202248892A (zh) | 2022-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109815770B (zh) | 二维码检测方法、装置及系统 | |
WO2020252917A1 (zh) | 一种模糊人脸图像识别方法、装置、终端设备及介质 | |
CN110348270B (zh) | 影像物件辨识方法与影像物件辨识系统 | |
CN111091590B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109479082B (zh) | 图象处理方法及装置 | |
US10713530B2 (en) | Image processing apparatus, image processing method, and image processing program | |
CN110287862B (zh) | 基于深度学习的防偷拍检测方法 | |
CN110596121A (zh) | 键盘外观检测方法、装置和电子系统 | |
KR102434703B1 (ko) | 생체 이미지 처리 방법 및 이를 포함한 장치 | |
CN113421242B (zh) | 基于深度学习的焊点外观质量检测方法、装置及终端 | |
WO2022116104A1 (zh) | 图像处理方法、装置、设备及存储介质 | |
CN114049512A (zh) | 模型蒸馏方法、目标检测方法、装置及电子设备 | |
CN111935479A (zh) | 一种目标图像确定方法、装置、计算机设备及存储介质 | |
CN111652054A (zh) | 关节点检测方法、姿态识别方法及装置 | |
CN109961103B (zh) | 特征提取模型的训练方法、图像特征的提取方法及装置 | |
CN110738204B (zh) | 一种证件区域定位的方法及装置 | |
CN115439875A (zh) | 姿势评估装置、方法及系统 | |
CN109753886B (zh) | 一种人脸图像的评价方法、装置及设备 | |
CN111339884A (zh) | 图像识别方法以及相关设备、装置 | |
CN111507252A (zh) | 人体跌倒检测装置、方法、电子终端及存储介质 | |
CN114005052A (zh) | 全景图像的目标检测方法、装置、计算机设备和存储介质 | |
CN113840135A (zh) | 色偏检测方法、装置、设备及存储介质 | |
CN113822871A (zh) | 基于动态检测头的目标检测方法、装置、存储介质及设备 | |
JP6717769B2 (ja) | 情報処理装置及びプログラム | |
CN107341799B (zh) | 诊断数据获取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |