CN112989959A - 手归属识别方法、装置、电子设备及存储介质 - Google Patents
手归属识别方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112989959A CN112989959A CN202110195207.9A CN202110195207A CN112989959A CN 112989959 A CN112989959 A CN 112989959A CN 202110195207 A CN202110195207 A CN 202110195207A CN 112989959 A CN112989959 A CN 112989959A
- Authority
- CN
- China
- Prior art keywords
- key part
- hand
- picture
- connecting line
- color purity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000011159 matrix material Substances 0.000 claims description 50
- 238000012216 screening Methods 0.000 claims description 13
- 210000004247 hand Anatomy 0.000 claims description 5
- 210000000707 wrist Anatomy 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 210000003857 wrist joint Anatomy 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 11
- 210000002310 elbow joint Anatomy 0.000 description 10
- 210000000323 shoulder joint Anatomy 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/113—Recognition of static hand signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Abstract
本申请公开了一种手归属识别方法、装置、电子设备及存储介质,其中,手归属识别方法,包括:获取带有多人物图片;将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,关键部位为与手相关联的部位;基于第一目标图片中关键部位连线的颜色纯度判断关键部位连线是否正确;当关键部位连线正确时,根据关键部位连线确定带有多人物图片中手的归属。从而判断出手势指令的使用者,根据使用者的操作权限,判断是否执行手势指令。防止了无权限者的手势干扰手势指令的判断,同时也防止无权限者的越权操作。
Description
技术领域
本申请涉及电子设备信息安全技术领域,具体涉及一种手归属识别方法、装置、电子设备及存储介质。
背景技术
在计算机科学中,手势识别是通过数学算法来识别人类手势的一个议题。用户可以使用简单的手势来控制设备或与设备进行交互,让计算机理解人类的行为。但是,随着摄像头的像素逐渐提高,设备常常采集到的是多人物手势,这样会导致设备无法做出正确的判断。
发明内容
本申请实施例的目的是提供一种手归属识别方法、装置、电子设备及存储介质,以至少解决现有技术无法对于多人物手势识别进行正确判断的问题。
本申请的技术方案如下:
根据本申请实施例的第一方面,提供一种手归属识别方法,包括:获取带有多人物图片;将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,关键部位为与手相关联的部位;基于第一目标图片中关键部位连线的颜色纯度判断关键部位连线是否正确;当关键部位连线正确时,根据关键部位连线确定带有多人物图片中手的归属。
进一步地,基于第一目标图片中关键部位连线的颜色纯度判断关键部位连线是否正确,包括:将第一目标图片中的每一段关键部位连线均设置成预设宽度的多个像素矩阵;计算多个像素矩阵中每一个像素矩阵的第一颜色纯度,并判断第一颜色纯度是否大于第一预设纯度;当像素矩阵的第一颜色纯度大于第一预设纯度时,则确定像素矩阵的关键部位连线正确,当像素矩阵的第一颜色纯度小于等于第一预设纯度时,则确定像素矩阵的关键部位连线错误;当关键部位连线错误的数量大于或等于1时,则确定关键部位连线错误,当关键部位连线错误的数量等于0时,则确定关键部位连线正确。
进一步地,计算多个像素矩阵中每一个像素矩阵的第一颜色纯度,并判断第一颜色纯度是否大于第一预设纯度,包括:计算多个像素矩阵中每一个像素矩阵中的每一列像素的第二颜色纯度;基于像素矩阵中的每一列像素的第二颜色纯度计算像素矩阵的颜色纯度,得到第一颜色纯度;将第一颜色纯度与第一预设纯度比较,判断第一颜色纯度是否大于第一预设纯度。
进一步地,计算多个像素矩阵中每一个像素矩阵中的每一列像素的第二颜色纯度,包括:计算多个像素矩阵中每一个像素矩阵的每一列像素中相邻的两个像素的颜色差;根据颜色差确定多个像素矩阵中每一个像素矩阵的每一列像素中包括的颜色种类;根据颜色种类,筛选每一列像素中像素数量最多的颜色;根据颜色确定每一列像素的第二颜色纯度。
进一步地,将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,关键部位为与手相关联的部位之后,方法还包括:当关键部位连线错误时,根据实际人体关键部位之间关系重新进行关键部位连线,得到第二目标图片;根据第二目标图片中的关键部位连线确定多人物图片中手的归属。
进一步地,根据实际人体关键部位之间关系重新进行关键部位连线,得到第二目标图片,包括:根据人体相连关键部位和一个关键部位只能连接一个同类型关键部位,对多人物图片中关键部位进行连线,得到有多种连线组合的图片集;筛选出图片集关键部位连线可靠性最高的图片,得到第二目标图片,可靠性最高的图片是根据第一颜色纯度进行判断的,第一颜色纯度最高的图片为可靠性最高的图片,第一颜色纯度最高的图片为相同颜色像素数量占全部像素数量比例最高的图片。
进一步地,关键部位包括:手心、腕关节、肘关节和肩关节中的至少一种。
根据本申请实施例的第二方面,提供一种手归属识别装置,该装置可以包括:获取模块,用于获取带有多人物图片;判断模块,用于将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,关键部位为与手相关联的部位;判断模块,还用于基于所述第一目标图片中所述关键部位连线的颜色纯度判断所述关键部位连线是否正确;手归属确定模块,用于当关键部位连线正确时,根据关键部位连线确定带有多人物图片中手的归属。
进一步地,判断模块,包括:像素矩阵设置单元,用于将第一目标图片中的每一段关键部位连线均设置成预设宽度的多个像素矩阵;第一计算单元,用于计算多个像素矩阵中每一个像素矩阵的第一颜色纯度;第一关键部位连线判断单元,用于判断第一颜色纯度是否大于第一预设纯度;确定单元,用于当像素矩阵的第一颜色纯度大于第一预设纯度时,则确定像素矩阵的关键部位连线正确,当像素矩阵的第一颜色纯度小于等于第一预设纯度时,则确定像素矩阵的关键部位连线错误;当关键部位连线错误的数量大于或等于1时,则确定关键部位连线错误,当关键部位连线错误的数量等于0时,则确定关键部位连线正确。
进一步地,第一计算单元包括:第一颜色纯度计算子单元,用于计算多个像素矩阵中每一个像素矩阵中的每一列像素的第二颜色纯度;第二颜色纯度计算子单元,用于基于像素矩阵中的每一列像素的第二颜色纯度计算像素矩阵的颜色纯度,得到第一颜色纯度。
进一步地,第一颜色纯度计算子单元包括:色差计算子单元,用于计算多个像素矩阵中每一个像素矩阵的每一列像素中相邻的两个像素的颜色差;颜色确定子单元,用于根据颜色差确定多个像素矩阵中每一个像素矩阵的每一列像素中包括的颜色种类;第一颜色纯度确定单元,用于根据颜色种类,筛选每一列像素中像素数量最多的颜色;根据颜色确定每一列像素的第二颜色纯度。
进一步地,该装置还包括:重连线模块,用于当关键部位连线错误时,根据实际人体关键部位之间关系重新进行关键部位连线,得到第二目标图片;手归属确定模块,还用于根据第二目标图片中的关键部位连线确定多人物图片中手的归属。
进一步地,重连线模块包括:关键部位连线单元,用于根据人体相连关键部位和一个关键部位只能连接一个同类型关键部位,对多人物图片中关键部位进行连线,得到有多种连线组合的图片集;筛选单元,用于筛选出图片集关键部位连线可靠性最高的图片,得到第二目标图片,可靠性最高的图片是根据第一颜色纯度进行判断的,第一颜色纯度最高的图片为可靠性最高的图片,第一颜色纯度最高的图片为相同颜色像素数量占全部像素数量比例最高的图片。
根据本申请实施例的第三方面,提供一种电子设备,该电子设备可以包括:
处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面的任一项实施例中所述的手归属识别方法。
根据本申请实施例的第四方面,提供一种存储介质,所述存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面的任一项实施例中所述的手归属识别方法。
本申请的实施例提供的技术方案至少带来以下有益效果:
本申请实施例通过获取带有多人物图片,将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,判断第一目标图片中关键部位连线是否正确,当关键部位连线正确时,根据关键部位连线确定带有多人物图片中手的归属,从而判断出手势指令的使用者,根据使用者的操作权限,判断是否执行手势指令。防止了无权限者的手势干扰手势指令的判断,同时也防止无权限者的越权操作。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理,并不构成对本申请的不当限定。
图1是根据一示例性实施例示出的手归属识别方法流程示意图;
图2是根据另一示例性实施例示出的关键部位连线判断流程示意图;
图3是根据一示例性实施例示出的手归属识别方法完整流程示意图;
图4是根据一具体实施例示出的手归属识别方法流程示意图;
图5是根据一示例性实施例示出的手归属识别装置结构示意图;
图6是根据一示例性实施例示出的电子设备结构示意图;
图7是根据一示例性实施例示出的电子设备的硬件结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本申请的技术方案,下面将结合附图,对本申请实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
如图1所示,在本申请实施例的第一方面,提供一种手归属识别方法,包括:
步骤100:获取带有多人物图片;
步骤200:将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,关键部位为与手相关联的部位;
步骤300:基于第一目标图片中关键部位连线的颜色纯度判断关键部位连线是否正确;
步骤400:当关键部位连线正确时,根据关键部位连线确定带有多人物图片中手的归属。
现有技术中已经有手势识别方法,可以准确识别出手势指令,但是,当有多个手势同时出现时,没有判断手的归属方法,导致了手势指令的误判,执行了无权限者的手势指令,上述实施例方法通过获取带有多人物图片,将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,判断第一目标图片中关键部位连线是否正确,当关键部位连线正确时,根据关键部位连线确定多人物图片中手的归属,从而判断出手势指令的使用者,根据使用者的操作权限,判断是否执行手势指令。防止了无权限者的手势干扰手势指令的判断,同时也防止无权限者的越权操作。
上述各步骤的具体实现方式将在下文中进行详细描述。
首先介绍步骤100,获取带有多人物图片。
本步骤中,所获取的图片是带有多个人物的图片,由于本步骤获取的图片是有多个人物,目前的手归属判断模型是无法准确的确定带有多人物图片每个手的归属,也就是说会有无权限者的手势干扰手势指令的判断。具体的场景可以是,电子设备的使用者在人流密集的场所使用手指令,电子设备所采集到的画面会包括很多人物,这种情况,画面中每个人物的手势都有可能影响电子设备对手势指令的判断。
接下来介绍一下步骤200,将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,关键部位为与手相关联的部位。
示例性的,利用AI手归属判断模型确定图片中人的手心、腕关节、肘关节、肩关节以及它们的连线;基于确定这些关键部位的连线就可以确定手和人物的对应关系。这样就可以进一步判断手势指令的使用者是否有权限。
再介绍一下步骤300,基于第一目标图片中关键部位连线的颜色纯度判断关键部位连线是否正确。
本步骤是基于步骤200得到带有关键部位连线的第一目标图片的进一步判断,目前的手归属判断模型是无法准确的确定带有多人物图片每个手的归属,也就是说会有无权限者的手势干扰手势指令的判断。本步骤防止无权限者的越权操作,进一步对第一目标图片中关键部位连线进行判断,判断连线是否准确。
最后介绍一下步骤400,当关键部位连线正确时,根据关键部位连线确定带有多人物图片中手的归属。
本步骤中,关键部位连线正确也就意味着AI手归属判断模型识别得到的带有关键部位连线的第一目标图片是正确的,电子设备可以执行图片中权限所有者的手势指令。
如图2所示,在本申请的一些可选实施例中,为了更为准确地判断连线正确与否,步骤300基于第一目标图片中关键部位连线的颜色纯度判断关键部位连线是否正确,可以具体包括:
步骤310:将第一目标图片中的每一段关键部位连线均设置成预设宽度的多个像素矩阵;为了使图像识别模型更容易对像素矩阵进行识别片段,因此将连线拓宽形成像素矩阵,便于识别模型进行识别,该预设宽度可以根据图像识别模型的实际需要进行设置。
步骤320:计算多个像素矩阵中每一个像素矩阵的第一颜色纯度,并判断第一颜色纯度是否大于第一预设纯度;其中,第一预设纯度可以根据第一目标图片的鲜艳度进行设置,鲜艳度高的图片第一预设纯度可以设置相对高一些,鲜艳度低的图片第一预设纯度可以设置相对低一些,总之可以明显判断出关键部位连线的颜色是否一致即可。
步骤330:当像素矩阵的第一颜色纯度大于第一预设纯度时,则确定像素矩阵的关键部位连线正确,当像素矩阵的颜色纯度小于等于第一预设纯度时,则确定像素矩阵的关键部位连线错误;
步骤340:当关键部位连线错误的数量大于或等于1时,则确定关键部位连线错误,当关键部位连线错误的数量等于0时,则确定关键部位连线正确。
本实施例中,通过判断连线的颜色纯度是否达到预设的纯度,从而判断该连线是否正确,通常情况下,同一个人相邻的关键部位色差不会太大,如果连线连接了不同的人,由于不同的人肤色和穿着的差异会导致颜色纯度较低,因此,通过纯度判断可以较为准确的判断出关键部位连线是否正确。
在本申请的一些可选实施例中,步骤320计算多个像素矩阵中每一个像素矩阵的第一颜色纯度,并判断第一颜色纯度是否大于第一预设纯度,包括:
步骤321:计算多个像素矩阵中每一个像素矩阵中的每一列像素的第二颜色纯度;为了颜色纯度的判断更加准确,在计算像素矩阵颜色纯度时,是通过计算像素矩阵每一列的像素纯度。
步骤322:基于像素矩阵中的每一列像素的第二颜色纯度计算像素矩阵的颜色纯度,得到第一颜色纯度;在计算得到每一列像素的第二颜色纯度之后,通过计算像素矩阵中相同颜色最多的列占全部列的百分比,计算得到整个像素矩阵的第一颜色纯度。
步骤323:将第一颜色纯度与第一预设纯度比较,判断第一颜色纯度是否大于第一预设纯度。
本实施例中,是对每一个连线形成的像素矩阵进行纯度识别,在识别每一个像素矩阵纯度时,是对每一个像素矩阵的每一列像素分别进行识别比较判断的,该方式易于实现,计算数据量较小。
在本申请的一些可选实施例中,步骤321计算多个像素矩阵中每一个像素矩阵中的每一列像素的第二颜色纯度,包括:
步骤3211:计算多个像素矩阵中每一个像素矩阵的每一列像素中相邻的两个像素的颜色差;
步骤3212:根据颜色差确定多个像素矩阵中每一个像素矩阵的每一列像素中包括的颜色种类;本步骤可以预先设定一个像素颜色公差,当颜色差大于像素颜色公差时认为相邻两个像素为两个颜色,当颜色差小于或者等于像素颜色公差时认为相邻两个像素为一个颜色,以此进行每一列所有相邻像素的颜色差比较,最终得到该列包括几种颜色。
步骤3213:根据颜色种类,筛选每一列像素中像素数量最多的颜色;本步骤中,通过计算得到每种颜色的像素数量之后,筛选出像素数量最多的颜色。
步骤3214:根据颜色确定每一列像素的第二颜色纯度。本步骤的第二颜色纯度是通过计算像素数量最多的颜色占整列全部像素的百分比得到。
本实施例中,在对每一列像素的颜色纯度进行计算时,事先计算每一列像素中总共有几种颜色,筛选出像素数量最多的颜色,并计算该种颜色的像素数量占比,从而计算该列的颜色纯度。
如图3所示,在本申请的一具体实施例中,步骤200将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,关键部位为与手相关联的部位之后,方法还包括:
步骤500:当关键部位连线错误时,根据实际人体关键部位之间关系重新进行关键部位连线,得到第二目标图片;本步骤,根据人体相连关键部位和一个关键部位只能连接一个同类型关键部位,对多人物图片中关键部位进行连线,得到有多种连线组合的图片集;筛选出图片集关键部位连线可靠性最高的图片,得到第二目标图片。
步骤600:根据第二目标图片中的关键部位连线确定多人物图片中手的归属。
本实施例中,当关键部位连线错误时,根据实际人体关键部位之间关系重新进行关键部位连线,人体上相连的关节,其关节点之间就可能有连线;反之则不能有连线。示例性的,一个手心点和所有的腕关节点都有连接的可能,腕关节和所有的手心点和肘关节点都有连接的可能;而手心点不能和肘关节点还有肩关节点相连。一个关节点同一个类型的关节点只能连一个。示例性的,一个肘关节点只能和一个腕关节和一个肩关节点相连,不能和第二个腕关节或者肩关节相连。根据连线规则列举出所有可能的连线组合。计算所有组合中正向投票占所有投票的百分比,选择正向投票占比最大的连线组合,根据正向投票占比最大的连线组合确定手的归属。
在本申请的一些可选实施例中,为了更加准确地确定关键部位的联系,步骤500根据实际人体关键部位之间关系重新进行关键部位连线,得到第二目标图片,具体可以包括
步骤510:根据人体相连关键部位和一个关键部位只能连接一个同类型关键部位,对多人物图片中关键部位进行连线,得到有多种连线组合的图片集;本步骤中,人体相连的关节可能进行连线,例如:一个手心点和所有的腕关节点都有连接的可能,腕关节和所有的手心点和肘关节点都有连接的可能;而手心点不能和肘关节点还有肩关节点相连;一个关节点同一个类型的关节点只能连一个。一个肘关节点只能和一个腕关节和一个肩关节点相连,不能和第二个腕关节或者肩关节相连。
步骤520:筛选出图片集关键部位连线可靠性最高的图片,得到第二目标图片,可靠性最高的图片是根据第一颜色纯度进行判断的,第一颜色纯度最高的图片为可靠性最高的图片,其中第一颜色纯度最高的图片为相同颜色像素数量占全部像素数量比例最高的图片。本步骤同样是根据颜色纯度对关键部位连线进行判断,在此作用效果不再赘述。
在本申请的一些可选实施例中,关键部位包括:手心、腕关节、肘关节和肩关节中的至少一种。
如图4所示,在本申请一具体实施例中,提供一种手归属识别方法,包括:
第1步:通过摄像头获取图片。
第2步:对图片进行预处理。
第3步:将预处理过的图片送入AI模型,解析模型的输出得到图片中人的手心、腕关节、肘关节、肩关节以及它们的连线。
第4步:通过算法判断手心、腕关节、肘关节、肩关节之间的连线是否正确。如果判断为正确,直接输出;如果判断为错误进入第4步。
在本实施例的第4步中,可以包括以下子步骤:
第41步:设置一个宽度值w,将连线向垂直于连线的上下两个方向分别平移w/2的距离,得到一个长为连线长度、宽为w的矩形。以矩形的长为行、宽为列生成像素矩阵,其包含RGB3个通道。
第42步:通过RGB3个通道的值,求出像素矩阵列上面相邻像素的颜色差
第43步:设置一个能接受的颜色公差x,如果两个像素点的颜色差小于x,则会被认为是一个颜色。根据颜色公差x和像素颜色差,判断像素矩阵中每一列所包含的颜色种类。
第44步:设置一个矩阵列颜色纯度阙值y,每一列像素数量最多的颜色占这一列全部像素的百分比为此列的颜色纯度。根据每一列颜色纯度与y的关系进行投票,当其大于y时,这一列为正向投票;当其小于y时为反向投票。
第45步:设置一个投票占比阈值z,遍历像素矩阵的所有列得到它们的投票。如果正向投票占所有投票的百分比大于z,那么认为这条连线是对的;反之,则认为这条连线是错的。
第46步:遍历所有连线判断其对错,如果有两条连线的判断都是错误的,就认为AI模型的输出是错误的,执行第4步进行修正,毕竟有一条错误的连线就必然会有第二条错误的连线;反之认为AI模型的输出是对的,将其输出。
第5步:根据实际人体关节点之间关系,设计出关键点之间的连线规则。根据连线规则列举出所有可能的连线组合,计算所有组合中正向投票占所有投票的百分比,选择正向投票占比最大的连线组合,并将其输出。
在本实施例的第5步中,可以包括以下子步骤:
第51步:根据实际人体关节点之间关系,设计关节点之间的连线规则。
第52步:根据连线规则列举出所有可能的连续组合。
第53步:计算所有组合中正向投票占所有投票的百分比,选择正向投票占比最大的连线组合,并将其输出。
在多个人同时通过手势识别对系统进行远程操作时,可以知道每只手是谁的,从而判断这只手是否有操作的权限。通过算法对AI模型的输出进行优化,提高其手归属判别的准确度。
如图5所示,在本申请实施例的第二方面,提供一种手归属识别装置,该装置可以包括:
获取模块5100,用于获取带有多人物图片;
判断模块5200,用于将带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,关键部位为与手相关联的部位;
判断模块,还用于基于第一目标图片中关键部位连线的颜色纯度判断关键部位连线是否正确;
手归属确定模块5300,用于当关键部位连线正确时,根据关键部位连线确定多人物图片中手的归属。
在本申请的一些可选实施例中,判断模块,包括:像素矩阵设置单元,用于将第一目标图片中的每一段关键部位连线均设置成预设宽度的多个像素矩阵;第一计算单元,用于计算多个像素矩阵中每一个像素矩阵的第一颜色纯度;第一关键部位连线判断单元,用于判断第一颜色纯度是否大于第一预设纯度;确定单元,用于当像素矩阵的第一颜色纯度大于第一预设纯度时,则确定像素矩阵的关键部位连线正确,当像素矩阵的第一颜色纯度小于等于第一预设纯度时,则确定像素矩阵的关键部位连线错误;当关键部位连线错误的数量大于或等于1时,则确定关键部位连线错误,当关键部位连线错误的数量等于0时,则确定关键部位连线正确。
在本申请的一些可选实施例中,第一计算单元包括:第一颜色纯度计算子单元,用于计算多个像素矩阵中每一个像素矩阵中的每一列像素的第二颜色纯度;第二颜色纯度计算子单元,用于基于像素矩阵中的每一列像素的第二颜色纯度计算像素矩阵的颜色纯度,得到第一颜色纯度。
在本申请的一些可选实施例中,第一颜色纯度计算子单元包括:色差计算子单元,用于计算多个像素矩阵中每一个像素矩阵的每一列像素中相邻的两个像素的颜色差;颜色确定子单元,用于根据颜色差确定多个像素矩阵中每一个像素矩阵的每一列像素中包括的颜色种类;第一颜色纯度确定单元,用于根据颜色种类,筛选每一列像素中像素数量最多的颜色;根据颜色确定每一列像素的第二颜色纯度。
在本申请的一些可选实施例中,该装置还包括:重连线模块,用于当关键部位连线错误时,根据实际人体关键部位之间关系重新进行关键部位连线,得到第二目标图片;手归属确定模块,还用于根据第二目标图片中的关键部位连线确定多人物图片中手的归属。
在本申请的一些可选实施例中,重连线模块包括:关键部位连线单元,用于根据人体相连关键部位和一个关键部位只能连接一个同类型关键部位,对多人物图片中关键部位进行连线,得到有多种连线组合的图片集;筛选单元,用于筛选出图片集关键部位连线可靠性最高的图片,得到第二目标图片,可靠性最高的图片是根据第一颜色纯度进行判断的,第一颜色纯度最高的图片为可靠性最高的图片,第一颜色纯度最高的图片为相同颜色像素数量占全部像素数量比例最高的图片。
本申请实施例中的手归属识别装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的手归属识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的手归属识别装置能够实现图1至图4的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选的,如图6所示,本申请实施例还提供一种电子设备600,包括处理器602,存储器601,存储在存储器601上并可在所述处理器602上运行的程序或指令,该程序或指令被处理器602执行时实现上述手归属识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备600包括上述所述的移动电子设备和非移动电子设备。
图7为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备的硬件结构700包括但不限于:射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。
本领域技术人员可以理解,电子设备的硬件结构700还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器710逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
应理解的是,本申请实施例中,输入单元704可以包括图形处理器(GraphicsProcessing Unit,GPU)7041和麦克风7042,图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071,也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器709可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器710可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器710中。
本申请实施例还提供一种存储介质,所述存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述手归属识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述手归属识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。
Claims (10)
1.一种手归属识别方法,其特征在于,包括:
获取带有多人物图片;
将所述带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,所述关键部位为与手相关联的部位;
基于所述第一目标图片中所述关键部位连线的颜色纯度判断所述关键部位连线是否正确;
当所述关键部位连线正确时,根据所述关键部位连线确定所述带有多人物图片中手的归属。
2.根据权利要求1所述的手归属识别方法,其特征在于,所述基于所述第一目标图片中所述关键部位连线的颜色纯度判断所述关键部位连线是否正确,包括:
将所述第一目标图片中的每一段所述关键部位连线均设置成预设宽度的多个像素矩阵;
计算多个所述像素矩阵中每一个所述像素矩阵的第一颜色纯度,并判断所述第一颜色纯度是否大于第一预设纯度;
当所述像素矩阵的所述第一颜色纯度大于所述第一预设纯度时,则确定所述像素矩阵对应的关键部位连线正确,当所述像素矩阵的第一颜色纯度小于等于所述第一预设纯度时,则确定所述像素矩阵的关键部位连线错误;
当所述关键部位连线错误的数量大于或等于1时,则确定所述关键部位连线错误,当所述关键部位连线错误的数量等于0时,则确定所述关键部位连线正确。
3.根据权利要求2所述的手归属识别方法,其特征在于,所述计算多个所述像素矩阵中每一个所述像素矩阵的第一颜色纯度,并判断所述第一颜色纯度是否大于第一预设纯度,包括:
计算多个所述像素矩阵中每一个所述像素矩阵中的每一列像素的第二颜色纯度;
基于所述像素矩阵中的所述每一列像素的所述第二颜色纯度计算所述像素矩阵的颜色纯度,得到所述第一颜色纯度;
将所述第一颜色纯度与所述第一预设纯度比较,判断所述第一颜色纯度是否大于所述第一预设纯度。
4.根据权利要求3所述的手归属识别方法,其特征在于,所述计算多个所述像素矩阵中每一个所述像素矩阵中的每一列像素的第二颜色纯度,包括:
计算多个所述像素矩阵中每一个所述像素矩阵的所述每一列像素中相邻的两个像素的颜色差;
根据所述颜色差确定多个所述像素矩阵中每一个所述像素矩阵的所述每一列像素中包括的颜色种类;
根据所述颜色种类,筛选所述每一列像素中像素数量最多的颜色;
根据所述颜色确定所述每一列像素的所述第二颜色纯度。
5.根据权利要求2所述的手归属识别方法,其特征在于,所述将所述带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,所述关键部位为与手相关联的部位之后,所述手归属识别方法还包括:
当所述关键部位连线错误时,根据实际人体关键部位之间关系重新进行关键部位连线,得到第二目标图片;
根据所述第二目标图片中的所述关键部位连线确定所述多人物图片中手的归属。
6.根据权利要求5所述的手归属识别方法,其特征在于,所述根据实际人体关键部位之间关系重新进行关键部位连线,得到第二目标图片,包括:
根据人体相连关键部位和一个关键部位只能连接一个同类型关键部位,对所述多人物图片中关键部位进行连线,得到有多种连线组合的图片集;
筛选出所述图片集关键部位连线可靠性最高的图片,得到所述第二目标图片,所述可靠性最高的图片根据所述第一颜色纯度进行判断,所述第一颜色纯度最高的图片为所述可靠性最高的图片,所述第一颜色纯度最高的图片为相同颜色像素数量占全部像素数量比例最高的图片。
7.根据权利要求1-6任一项所述的手归属识别方法,其特征在于,所述关键部位包括:手心、腕关节、肘关节和肩关节中的至少一种。
8.一种手归属识别装置,其特征在于,包括:
获取模块,用于获取带有多人物图片;
判断模块,用于将所述带有多人物图片输入到手归属判断模型当中,得到带有关键部位连线的第一目标图片,所述关键部位为与手相关联的部位;
所述判断模块,还用于基于所述第一目标图片中所述关键部位连线的颜色纯度判断所述关键部位连线是否正确;
手归属确定模块,用于当所述关键部位连线正确时,根据所述关键部位连线确定所述带有多人物图片中手的归属。
9.一种电子设备,其特征在于,所述电子设备包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-7中任一项所述的手归属识别方法。
10.一种存储介质,其特征在于,所述存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-7中任一项所述的手归属识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110195207.9A CN112989959A (zh) | 2021-02-20 | 2021-02-20 | 手归属识别方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110195207.9A CN112989959A (zh) | 2021-02-20 | 2021-02-20 | 手归属识别方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112989959A true CN112989959A (zh) | 2021-06-18 |
Family
ID=76393806
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110195207.9A Pending CN112989959A (zh) | 2021-02-20 | 2021-02-20 | 手归属识别方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112989959A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150083581A (ko) * | 2014-01-10 | 2015-07-20 | 한국전자통신연구원 | 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법 |
CN106971130A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技(杭州)有限公司 | 一种以人脸为参照的手势识别方法 |
CN107533599A (zh) * | 2015-12-31 | 2018-01-02 | 华为技术有限公司 | 一种手势识别方法、装置及电子设备 |
US20200057886A1 (en) * | 2018-08-14 | 2020-02-20 | Boe Technology Group Co., Ltd. | Gesture recognition method and apparatus, electronic device, and computer-readable storage medium |
CN111679737A (zh) * | 2020-05-27 | 2020-09-18 | 维沃移动通信有限公司 | 手部分割方法和电子设备 |
-
2021
- 2021-02-20 CN CN202110195207.9A patent/CN112989959A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150083581A (ko) * | 2014-01-10 | 2015-07-20 | 한국전자통신연구원 | 3차원 영상을 이용한 다수의 팔 및 손 검출 장치 및 그 방법 |
CN107533599A (zh) * | 2015-12-31 | 2018-01-02 | 华为技术有限公司 | 一种手势识别方法、装置及电子设备 |
CN106971130A (zh) * | 2016-01-14 | 2017-07-21 | 芋头科技(杭州)有限公司 | 一种以人脸为参照的手势识别方法 |
US20200057886A1 (en) * | 2018-08-14 | 2020-02-20 | Boe Technology Group Co., Ltd. | Gesture recognition method and apparatus, electronic device, and computer-readable storage medium |
CN111679737A (zh) * | 2020-05-27 | 2020-09-18 | 维沃移动通信有限公司 | 手部分割方法和电子设备 |
Non-Patent Citations (1)
Title |
---|
刘佳升;张凤军;张镇嵩;陈辉;戴国忠;王宏安: "《多触点交互桌面左右手区分方法》", 《软件学报》, pages 1 - 14 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109684980B (zh) | 自动阅卷方法及装置 | |
CN102402382A (zh) | 信息处理设备和信息处理方法 | |
CN103176690A (zh) | 显示控制设备、显示控制方法和程序 | |
CN111884908B (zh) | 联系人标识显示方法、装置及电子设备 | |
CN108919982B (zh) | 一种基于人脸朝向识别的自动键鼠切换方法 | |
CN112613475A (zh) | 扫码界面显示方法、装置、移动终端及存储介质 | |
CN112422817B (zh) | 图像处理方法及装置 | |
EP2701096A2 (en) | Image processing device and image processing method | |
CN112540740A (zh) | 分屏显示方法、装置、电子设备和可读存储介质 | |
CN112462990A (zh) | 图像发送方法、装置及电子设备 | |
CN112099704A (zh) | 信息显示方法、装置、电子设备和可读存储介质 | |
WO2022268023A1 (zh) | 指纹识别方法、装置、电子设备和可读存储介质 | |
CN112533072A (zh) | 图像发送方法、装置及电子设备 | |
CN107346197B (zh) | 一种信息显示方法及装置 | |
CN112989959A (zh) | 手归属识别方法、装置、电子设备及存储介质 | |
CN111859322A (zh) | 身份验证方法、装置和电子设备 | |
US20220156832A1 (en) | Order generation method and system for software interface | |
CN109426429B (zh) | 解锁装置、解锁方法和电子设备 | |
CN107516024B (zh) | 解锁电子设备的方法、装置、电子设备 | |
CN109886058B (zh) | 一种检测图像的方法和设备 | |
CN107018150A (zh) | 数据传输方法及装置 | |
CN114063772A (zh) | 手势识别方法、装置、设备及介质 | |
CN113656131A (zh) | 远程控制方法、装置、电子设备及存储介质 | |
CN112286429A (zh) | 电子设备的控制方法、控制装置和电子设备 | |
CN112287713A (zh) | 二维码识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |