CN112839172A - 基于手部识别的拍摄主体识别方法和系统 - Google Patents

基于手部识别的拍摄主体识别方法和系统 Download PDF

Info

Publication number
CN112839172A
CN112839172A CN202011640184.XA CN202011640184A CN112839172A CN 112839172 A CN112839172 A CN 112839172A CN 202011640184 A CN202011640184 A CN 202011640184A CN 112839172 A CN112839172 A CN 112839172A
Authority
CN
China
Prior art keywords
hand
recognition
index finger
identification
pointing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011640184.XA
Other languages
English (en)
Other versions
CN112839172B (zh
Inventor
黄安昊
李琪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Instant Play Technology Co ltd
Original Assignee
Shenzhen Instant Play Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Instant Play Technology Co ltd filed Critical Shenzhen Instant Play Technology Co ltd
Priority to CN202011640184.XA priority Critical patent/CN112839172B/zh
Publication of CN112839172A publication Critical patent/CN112839172A/zh
Application granted granted Critical
Publication of CN112839172B publication Critical patent/CN112839172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于手部识别的拍摄主体识别方法和系统,涉及拍摄主体识别技术领域。通过对图像中的手部和物品进行识别,得到手部对应的关节点和物品的识别框,并基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合作为所有可能的指向,并将与备选指向射线存在交点的物品的识别框作为所有可能的拍摄主体,最终从中筛选出每个手部的手指所指的识别框作为拍摄主体,能够很好确定手指指向的物品,并考虑到不同备选指向射线的权重对于拍摄主体识别的影响,在不同场景下,判断食指尖与物品的距离远近,进而动态的调节各个备选指向射线的权重,进一步提高拍摄主体的识别准确度。

Description

基于手部识别的拍摄主体识别方法和系统
技术领域
本发明涉及拍摄主体识别技术领域,具体涉及一种基于手部识别的拍摄主体识别方法和系统。
背景技术
在生成图像的预览图时,往往需要先确定图中的拍摄主体,再对拍摄主体进行缩放,生成预览图。
但现有的拍摄主体识别方法通常对图像的中心区域进行物品识别,将识别结果作为拍摄主体。
但在实际拍摄时,往往拍摄的构图并非是将拍摄主体设置在中心处,上述方法仅考虑到了局部区域的物体,并不能从图像整体上进行拍摄主体识别,容易遗漏其他区域的信息,存在拍摄主体识别准确率不高的问题,因此,将上述方法使用在实现预览图生成功能时,容易导致生成的预览图遗漏关键信息。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了一种基于手部识别的拍摄主体识别方法和系统,解决了现有技术无法从图像整体上识别拍摄主体,存在拍摄主体识别准确度不高的问题。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
第一方面,提供了一种基于手部识别的拍摄主体识别方法,该方法包括:
在拍摄时对图像中的手部进行识别,获取每个手部的关节点;
基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合;
对图像中的物品进行识别,获取每个物品的识别框;
获取与每个手部对应的所述备选指向射线存在交点的识别框,从中选择一个识别框作为拍摄主体。
进一步的,所述识别框包括矩形识别框对应的四个端点坐标;所述关节点包括手部21个关节点的坐标。
进一步的,所述基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合,包括:
从关节点中获取食指的关节点坐标,并按手部张开状态下到手腕关节点的距离从小至大依次编号,得到食指关节点集合:
P={p1,p2,p3,p4}
其中,p1,p2,p3,p4分别表示食指的四个关节点坐标;
基于任意两个相邻编号的关节点pi和pi+1构建射线函数
Figure BDA0002879818720000021
基于p1,p2,p3,p4进行直线拟合,构建拟合射线函数
Figure BDA0002879818720000022
构建备选指向射线集合
Figure BDA0002879818720000023
进一步的,所述获取与每个手部对应的所述备选指向射线存在交点的识别框,从中选择一个识别框作为拍摄主体,包括:
对于任一手部,获取与备选指向射线
Figure BDA0002879818720000024
存在交点的识别框集合
Figure BDA0002879818720000025
基于每个备选指向射线函数
Figure BDA0002879818720000026
的权重
Figure BDA0002879818720000027
计算所述识别框f的评估值mf
Figure BDA0002879818720000028
Figure BDA0002879818720000029
将评估值最大的识别框f作为拍摄主体。
进一步的,所述备选指向射线函数
Figure BDA00028798187200000210
的权重
Figure BDA00028798187200000211
为动态权值,且权值分配方法为:
计算食指尖坐标p4到识别框f的最短距离D;
若最短距离D<第一阈值L1,则令
Figure BDA0002879818720000031
若最短距离D>第二阈值L2,则令
Figure BDA0002879818720000032
若L1≤D≤L2,则令
Figure BDA0002879818720000033
进一步的,所述食指长度Lf的计算方法为;
Figure BDA0002879818720000034
所述第一阈值L1和第二阈值L2的计算方法为:
Figure BDA0002879818720000035
L2=2*Lf
其中,
Figure BDA0002879818720000036
表示关节点pi与pj之间的长度。
进一步的,若最短距离D<第一阈值L1,则
Figure BDA0002879818720000037
Figure BDA0002879818720000038
若最短距离D>第二阈值L2,则
Figure BDA0002879818720000039
Figure BDA00028798187200000310
若L1≤D≤L2,则
Figure BDA00028798187200000311
第二方面,提供了一种基于手部识别的拍摄主体识别系统,所述系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下方法的步骤:
在拍摄时对图像中的手部进行识别,获取每个手部的关节点;
基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合;
对图像中的物品进行识别,获取每个物品的识别框;
获取与每个手部对应的所述备选指向射线存在交点的识别框,从中选择一个识别框作为拍摄主体。
进一步的,所述识别框包括矩形识别框对应的四个端点坐标;所述关节点包括手部21个关节点的坐标。
进一步的,所述基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合,包括:
从关节点中获取食指的关节点坐标,并按手部张开状态下到手腕关节点的距离从小至大依次编号,得到食指关节点集合:
P={p1,p2,p3,p4}
其中,p1,p2,p3,p4分别表示食指的四个关节点坐标;
基于任意两个相邻编号的关节点pi和pi+1构建射线函数
Figure BDA0002879818720000041
基于p1,p2,p3,p4进行直线拟合,构建拟合射线函数
Figure BDA0002879818720000042
构建备选指向射线集合
Figure BDA0002879818720000043
进一步的,所述获取与每个手部对应的所述备选指向射线存在交点的识别框,从中选择一个识别框作为拍摄主体,包括:
对于任一手部,获取与备选指向射线
Figure BDA0002879818720000044
存在交点的识别框集合
Figure BDA0002879818720000045
基于每个备选指向射线函数
Figure BDA0002879818720000046
的权重
Figure BDA0002879818720000047
计算所述识别框f的评估值mf
Figure BDA0002879818720000048
Figure BDA0002879818720000049
将评估值最大的识别框f作为拍摄主体。
进一步的,所述备选指向射线函数
Figure BDA00028798187200000410
的权重
Figure BDA00028798187200000411
为动态权值,且权值分配方法为:
计算食指尖坐标p4到识别框f的最短距离D;
若最短距离D<第一阈值L1,则令
Figure BDA00028798187200000412
若最短距离D>第二阈值L2,则令
Figure BDA00028798187200000413
若L1≤D≤L2,则令
Figure BDA00028798187200000414
进一步的,所述食指长度Lf的计算方法为;
Figure BDA00028798187200000415
所述第一阈值L1和第二阈值L2的计算方法为:
Figure BDA00028798187200000416
L2=2*Lf
其中,
Figure BDA0002879818720000051
表示关节点pi与pj之间的长度。
进一步的,若最短距离D<第一阈值L1,则
Figure BDA0002879818720000052
Figure BDA0002879818720000053
若最短距离D>第二阈值L2,则
Figure BDA0002879818720000054
Figure BDA0002879818720000055
若L1≤D≤L2,则
Figure BDA0002879818720000056
(三)有益效果
本发明提供了一种基于手部识别的拍摄主体识别方法和系统。与现有技术相比,具备以下有益效果:
本发明通过对图像中的手部和物品进行识别,得到手部对应的关节点和物品的识别框,并基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合作为所有可能的指向,并将与备选指向射线存在交点的物品的识别框作为所有可能的拍摄主体,最终从中筛选出每个手部的手指所指的识别框作为拍摄主体,能够很好确定手指指向的物品,进而提高拍摄主体的识别准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例的流程图;
图2为手部识别的关节点示意图;
图3为部分识别框与部分备选指向射线的相交示意图;
图4为物品识别的识别框示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例通过提供一种基于手部识别的拍摄主体识别方法和系统,解决了现有技术无法从图像整体上识别拍摄主体,存在拍摄主体识别准确度不高的问题。
本申请实施例中的技术方案为解决上述技术问题,总体思路如下:通过对图像中的手部和物品进行识别,得到手部对应的关节点和物品的识别框,并基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合作为所有可能的指向,并将与备选指向射线存在交点的物品的识别框作为所有可能的拍摄主体,最终从中筛选出每个手部的手指所指的识别框作为拍摄主体。
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
实施例1:
如图1所示,本发明提供了一种基于手部识别的拍摄主体识别方法,该方法包括:
S1、在拍摄时对图像中的手部进行识别,获取每个手部的关节点;
S2、基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合;
S3、对图像中的物品进行识别,获取每个物品的识别框;
S4、获取与每个手部对应的所述备选指向射线存在交点的识别框,从中选择一个识别框作为拍摄主体。
本实施例的有益效果为:
本实施通过对图像中的手部和物品进行识别,得到手部对应的关节点和物品的识别框,并基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合作为所有可能的指向,并将与备选指向射线存在交点的物品的识别框作为所有可能的拍摄主体,最终从中筛选出每个手部的手指所指的识别框作为拍摄主体,能够很好确定手指指向的物品,进而提高拍摄主体的识别准确度。
下面对本发明实施例的实现过程进行详细说明:
S1、在拍摄时对图像中的手部进行识别,获取每个手部的关节点。
手部的关节点识别可采用现有的手部识别算法,获取包括手部21个关节点的坐标,如图2所示,具体包括每个手指部分对应的4个关节点和一个手腕关节点。
S2、基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合;
由于在确定食指指向时,需要考虑到食指可能呈轻微弯曲状态,会对手指指向的判断造成影响,进而导致识别的拍摄主体准确度下降,因此,为了更准确的判断手指指向,可采用S21~S24的方法获取食指所有可能的指向。
S21、从关节点中获取食指的关节点坐标,并按手部张开状态下到手腕关节点的距离从小至大依次编号,得到食指关节点集合:
P={p1,p2,p3,p4}
其中,p1,p2,p3,p4分别表示食指的四个关节点坐标,依次对应图1中的5~8关节点;
S22、基于任意两个相邻编号的关节点pi和pi+1构建射线函数
Figure BDA0002879818720000071
具体的,基于食指的四个关节点坐标,一共可得到3条射线函数
Figure BDA0002879818720000072
且射线的方向为pi→pi+1。如图3所示,射线函数
Figure BDA0002879818720000073
可表示食指每一节的指向。
S23、基于p1,p2,p3,p4进行直线拟合,构建拟合射线函数
Figure BDA0002879818720000074
拟合的射线
Figure BDA0002879818720000075
可表示最接近食指整体形态的指向。
S24、基于每一节的指向和食指整体形态的指向这两个角度考虑,可得到备选指向射线集合R:
Figure BDA0002879818720000081
S3、对图像中的物品进行识别,获取每个物品的识别框;
物品识别可采用现有物品识别算法,如图4所示,识别到的物品被一个矩形识别框进行标记,可获取每个识别框的端点坐标;
S4、获取与每个手部对应的所述备选指向射线存在交点的识别框,从中选择一个识别框作为拍摄主体:
具体的拍摄主体选择方法可根据实际需要进行选择,例如,从所有与备选指向射线存在交点的识别框中选择距食指指尖最近的识别框作为拍摄主体。
但为了进一步提高识别拍摄主体的准确性,需要考虑不同备选指向射线的权重对于拍摄主体识别的影响,具体可采用S41~S42的方法进行识别。
S41、对于任一手部,获取与备选指向射线
Figure BDA0002879818720000082
存在交点的识别框集合
Figure BDA0002879818720000083
其中,i=1,2,3;j=2,3,4,且i<j;
Figure BDA0002879818720000084
表示与备选指向射线
Figure BDA0002879818720000085
存在交点的识别框;
对每个识别框与各个备选指向射线的交点进行计算,如图3所示,部分识别框与部分备选指向射线的交点情况为:
识别框f1与备选指向射线
Figure BDA0002879818720000086
均存在交点;
识别框f2仅与备选指向射线
Figure BDA0002879818720000087
存在交点;
识别框f3仅与备选指向射线
Figure BDA0002879818720000088
存在交点;
识别框f4仅与备选指向射线
Figure BDA0002879818720000089
存在交点;
因此,
Figure BDA00028798187200000810
以此类推,可得到
Figure BDA00028798187200000811
S42、基于每个备选指向射线函数
Figure BDA00028798187200000812
的权重
Figure BDA00028798187200000813
按下面的公式计算所述识别框f的评估值mf
Figure BDA00028798187200000814
其中:
Figure BDA0002879818720000091
将评估值最大的识别框f作为拍摄主体。
根据实际需要,每个备选指向射线函数
Figure BDA0002879818720000092
的权重
Figure BDA0002879818720000093
可设置为定值,例如设置
Figure BDA0002879818720000094
此时每个备选指向射线的可性度一致,被最多备选指向射线所指的识别框为拍摄主体。
为了进一步提高拍摄主体的识别准确的,需要考虑不同场景下,各个备选指向射线的权重是不同的,例如,食指尖与识别框距离很近时,应更关注
Figure BDA0002879818720000095
的指向,而食指尖与识别框距离很远时,应更关注
Figure BDA0002879818720000096
的指向,而不应关注
Figure BDA0002879818720000097
的指向。具体可采用如下方法确定食指尖与识别框距离远近,并将权重
Figure BDA0002879818720000098
设置为动态权值。
S420、对于食指尖与识别框距离远近的判断,需要确定判断标准,本实施例以食指长度Lf为标准,小于两个前端手指节的距离作为食指尖与识别框距离较近;大于两个食指长度的距离作为食指尖与识别框距离较远,能够很好反应识别框距食指尖的远近。因此:
计算食指尖坐标p4到识别框f的最短距离D;且所述食指长度Lf的计算方法为;
Figure BDA0002879818720000099
S421、需要针对不同最短距离使用不同的权重:
若最短距离D<第一阈值L1,则令
Figure BDA00028798187200000910
例如,设置
Figure BDA00028798187200000911
若最短距离D>第二阈值L2,则令
Figure BDA00028798187200000912
例如,设置
Figure BDA00028798187200000913
若L1≤D≤L2,则令
Figure BDA00028798187200000914
例如,设置
Figure BDA00028798187200000915
所述第一阈值L1和第二阈值L2的计算方法为:
Figure BDA00028798187200000916
L2=2*Lf
其中,
Figure BDA0002879818720000101
表示关节点pi与pj之间的长度。
实施例2
本发明还提供了一种基于手部识别的拍摄主体识别系统,所述系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
可理解的是,本发明实施例提供的基于手部识别的拍摄主体识别系统与上述基于手部识别的拍摄主体识别方法相对应,其有关内容的解释、举例、有益效果等部分可以参考基于手部识别的拍摄主体识别方法中的相应内容,此处不再赘述。
实施例3
还提供了一种利用上述基于手部识别的拍摄主体识别方法的云手机图像预览图生成方法,具体包括T1~T4:
T1、利用实施例1中的方法识别出图像中的拍摄主体,具体包括S1~S4:
S1、在拍摄时对图像中的手部进行识别,获取每个手部的关节点。
手部的关节点识别可采用现有的手部识别算法,获取包括手部21个关节点的坐标,如图2所示,具体包括每个手指部分对应的4个关节点和一个手腕关节点。
S2、基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合;
由于在确定食指指向时,需要考虑到食指可能呈轻微弯曲状态,会对手指指向的判断造成影响,进而导致识别的拍摄主体准确度下降,因此,为了更准确的判断手指指向,可采用S21~S24的方法获取食指所有可能的指向。
S21、从关节点中获取食指的关节点坐标,并按手部张开状态下到手腕关节点的距离从小至大依次编号,得到食指关节点集合:
P={p1,p2,p3,p4}
其中,p1,p2,p3,p4分别表示食指的四个关节点坐标,依次对应图1中的5~8关节点;
S22、基于任意两个相邻编号的关节点pi和pi+1构建射线函数
Figure BDA0002879818720000111
具体的,基于食指的四个关节点坐标,一共可得到3条射线函数
Figure BDA0002879818720000112
且射线的方向为pi→pi+1。如图3所示,射线函数
Figure BDA0002879818720000113
可表示食指每一节的指向。
S23、基于p1,p2,p3,p4进行直线拟合,构建拟合射线函数
Figure BDA0002879818720000114
拟合的射线
Figure BDA0002879818720000115
可表示最接近食指整体形态的指向。
S24、基于每一节的指向和食指整体形态的指向这两个角度考虑,可得到备选指向射线集合R:
Figure BDA0002879818720000116
S3、对图像中的物品进行识别,获取每个物品的识别框;
物品识别可采用现有物品识别算法,如图4所示,识别到的物品被一个矩形识别框进行标记,可获取每个识别框的端点坐标;
S4、获取与每个手部对应的所述备选指向射线存在交点的识别框,从中选择一个识别框作为拍摄主体:
具体的拍摄主体选择方法可根据实际需要进行选择,例如,从所有与备选指向射线存在交点的识别框中选择距食指指尖最近的识别框作为拍摄主体。
但为了进一步提高识别拍摄主体的准确性,需要考虑不同备选指向射线的权重对于拍摄主体识别的影响,具体可采用S41~S42的方法进行识别。
S41、对于任一手部,获取与备选指向射线
Figure BDA0002879818720000117
存在交点的识别框集合
Figure BDA0002879818720000118
其中,i=1,2,3;j=2,3,4,且i<j;
Figure BDA0002879818720000119
表示与备选指向射线
Figure BDA00028798187200001110
存在交点的识别框;
对每个识别框与各个备选指向射线的交点进行计算,如图3所示,部分识别框与部分备选指向射线的交点情况为:
识别框f1与备选指向射线
Figure BDA00028798187200001111
均存在交点;
识别框f2仅与备选指向射线
Figure BDA0002879818720000121
存在交点;
识别框f3仅与备选指向射线
Figure BDA0002879818720000122
存在交点;
识别框f4仅与备选指向射线
Figure BDA0002879818720000123
存在交点;
因此,
Figure BDA0002879818720000124
以此类推,可得到
Figure BDA0002879818720000125
S42、基于每个备选指向射线函数
Figure BDA0002879818720000126
的权重
Figure BDA0002879818720000127
按下面的公式计算所述识别框f的评估值mf
Figure BDA0002879818720000128
其中:
Figure BDA0002879818720000129
将评估值最大的识别框f作为拍摄主体。
根据实际需要,每个备选指向射线函数
Figure BDA00028798187200001210
的权重
Figure BDA00028798187200001211
可设置为定值,例如设置
Figure BDA00028798187200001212
此时每个备选指向射线的可性度一致,被最多备选指向射线所指的识别框为拍摄主体。
为了进一步提高拍摄主体的识别准确的,需要考虑不同场景下,各个备选指向射线的权重是不同的,例如,食指尖与识别框距离很近时,应更关注
Figure BDA00028798187200001213
的指向,而食指尖与识别框距离很远时,应更关注
Figure BDA00028798187200001214
的指向,而不应关注
Figure BDA00028798187200001215
的指向。具体可采用如下方法确定食指尖与识别框距离远近,并将权重
Figure BDA00028798187200001216
设置为动态权值。
S420、对于食指尖与识别框距离远近的判断,需要确定判断标准,本实施例以食指长度Lf为标准,小于两个前端手指节的距离作为食指尖与识别框距离较近;大于两个食指长度的距离作为食指尖与识别框距离较远,能够很好反应识别框距食指尖的远近。因此:
计算食指尖坐标p4到识别框f的最短距离D;且所述食指长度Lf的计算方法为;
Figure BDA0002879818720000131
S421、需要针对不同最短距离使用不同的权重:
若最短距离D<第一阈值L1,则令
Figure BDA0002879818720000132
例如,设置
Figure BDA0002879818720000133
若最短距离D>第二阈值L2,则令
Figure BDA0002879818720000134
例如,设置
Figure BDA0002879818720000135
若L1≤D≤L2,则令
Figure BDA0002879818720000136
例如,设置
Figure BDA0002879818720000137
所述第一阈值L1和第二阈值L2的计算方法为:
Figure BDA0002879818720000138
L2=2*Lf
其中,
Figure BDA0002879818720000139
表示关节点pi与pj之间的长度。
至此,可确定图像中的拍摄主体。
T2、再根据识别出的拍摄主体的数量确定分割区域图像:
T21a、若拍摄主体数量为1,表示图像中仅包含一个拍摄主体,则将拍摄主体的图像作为分割区域图像;
T21b、若拍摄主体数量大于1,则获取将所有拍摄主体包含在内的矩形区域,并将矩形区域的图像作为分割区域图像;
所述获取将所有拍摄主体包含在内的矩形区域,包括:
T211b、获取所有拍摄主体对应的矩形框对角线的端点坐标(a,b);
T212b、从中筛选出a和b的极值,并基于a和b的极值构建矩形区域。
例如,拍摄主体共有2个,对应的两个矩形框对角线的端点坐标分别为(0,0),(120,146),(240,600),(546,235);
可得a和b的极值,amin=0,amax=546,bmin=0,bmax=600;
据此,可构建一个矩形区域,其对角线的端点为(0,0),(546,600)。
分割区域图像会使像素数减少,因此要考虑到预览图的最终显示效果是否与分割区域图像参数匹配,如果不匹配,需要对分割区域图像进行调整。
T3、计算云手机推流画面在智能终端上的最大显示能力Pmax和分割区域图像的DPI值;
具体的,所述云手机推流画面在智能终端上的最大显示能力Pmax,可描述云手机输出的实际显示效果;数值越大,显示的图像越清晰。
所述分割区域图像的DPI值,图像每英寸长度内的像素点数,可描述分割区域图像的显示效果,数值越大,图像越清晰;
且两者的计算方法为:
Figure BDA0002879818720000141
Figure BDA0002879818720000142
其中,ppi表示智能终端的像素密度;
(xstream,ystream)表示云手机推流画面的分辨率,即在智能终端上显示的画面分辨率;
(ximage,yimage)表示分割区域图像的分辨率;
Sizevscreen表示在智能终端上虚拟的云手机屏幕对角线尺寸,即在智能终端上显示的整个云手机画面尺寸;
Sizedisplay表示预览图显示框对角线尺寸,即在智能终端上显示的预览图画面尺寸。
T4、比较DPI值与Pmax的大小,选择不同的生成方法:
T4a、若所述DPI值不低于Pmax,说明分割区域图像已经能够匹配最大显示能力,无需进行调整,则将分割区域图像作为预览图;由于像素数的减少,在满足显示效果的同时,相比于初始图像,预览图的体积也会相应的减小。
T4b、若所述DPI值低于Pmax,说明分割区域图像未能够匹配最大显示能力,需要进行调整,则对分割区域图像进行分辨率提升,使所述DPI值不低于Pmax;并将分辨率提升后的分割区域图像作为预览图。
例如,运行云手机程序的平板电脑的屏幕分辨率为3840*2160,尺寸为8寸,可知像素密度为ppi=550,云手机推流画面的分辨率为(xstream,ystream)=1080*1920,在平板电脑上虚拟的云手机屏幕对角线尺寸Sizevscreen=5英寸;
可得到
Figure BDA0002879818720000151
显然,由于推流的图像画质限制,实际并不能达到550的显示效果,因此Pmax=440.58;
分割区域图像的分辨率(ximage,yimage)=540*720,预览图显示框对角线尺寸Sizedisplay=3英寸,可知DPI=300;此时,DPI=300<Pmax=440.58,分割区域图像的显示效果并不能匹配最大显示能力,因此,需要提升分割区域图像的分辨率,具体的可通过现有的图像超分辨率算法实现,例如,将分辨率提升2倍,使所述DPI值不低于Pmax,分辨率提升后的分割区域图像能够匹配最大显示能力,可作为预览图。
综上所述,与现有技术相比,本发明具备以下有益效果:
①通过对图像中的手部和物品进行识别,得到手部对应的关节点和物品的识别框,并基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合作为所有可能的指向,并将与备选指向射线存在交点的物品的识别框作为所有可能的拍摄主体,最终从中筛选出每个手部的手指所指的识别框作为拍摄主体,能够很好确定手指指向的物品,进而提高拍摄主体的识别准确度。
②考虑到不同备选指向射线的权重对于拍摄主体识别的影响,在不同场景下,判断食指尖与物品的距离远近,进而动态的调节各个备选指向射线的权重,进一步提高拍摄主体的识别准确度。
需要说明的是,通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于手部识别的拍摄主体识别方法,其特征在于,该方法包括:
在拍摄时对图像中的手部进行识别,获取每个手部的关节点;
基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合;
对图像中的物品进行识别,获取每个物品的识别框;
获取与每个手部对应的所述备选指向射线存在交点的识别框,从中选择一个识别框作为拍摄主体。
2.如权利要求1所述的一种基于手部识别的拍摄主体识别方法,其特征在于,所述识别框包括矩形识别框对应的四个端点坐标;所述关节点包括手部21个关节点的坐标。
3.如权利要求2所述的一种基于手部识别的拍摄主体识别方法,其特征在于,所述基于每个手部对应的关节点,获取食指指向对应的备选指向射线集合,包括:
从关节点中获取食指的关节点坐标,并按手部张开状态下到手腕关节点的距离从小至大依次编号,得到食指关节点集合:
P={p1,p2,p3,p4}
其中,p1,p2,p3,p4分别表示食指的四个关节点坐标;
基于任意两个相邻编号的关节点pi和pi+1构建射线函数
Figure FDA0002879818710000011
基于p1,p2,p3,p4进行直线拟合,构建拟合射线函数
Figure FDA0002879818710000012
构建备选指向射线集合
Figure FDA0002879818710000013
4.如权利要求3所述的一种基于手部识别的拍摄主体识别方法,其特征在于,所述获取与每个手部对应的所述备选指向射线存在交点的识别框,从中选择一个识别框作为拍摄主体,包括:
对于任一手部,获取与备选指向射线
Figure FDA0002879818710000014
存在交点的识别框集合
Figure FDA0002879818710000015
基于每个备选指向射线函数
Figure FDA0002879818710000021
的权重
Figure FDA0002879818710000022
计算所述识别框f的评估值mf
Figure FDA0002879818710000023
Figure FDA0002879818710000024
将评估值最大的识别框f作为拍摄主体。
5.如权利要求4所述的一种基于手部识别的拍摄主体识别方法,其特征在于,所述备选指向射线函数
Figure FDA0002879818710000025
的权重
Figure FDA0002879818710000026
为动态权值,且权值分配方法为:
计算食指尖坐标p4到识别框f的最短距离D;
若最短距离D<第一阈值L1,则令
Figure FDA0002879818710000027
若最短距离D>第二阈值L2,则令
Figure FDA0002879818710000028
若L1≤D≤L2,则令
Figure FDA0002879818710000029
6.如权利要求5所述的一种基于手部识别的拍摄主体识别方法,其特征在于,所述食指长度Lf的计算方法为;
Figure FDA00028798187100000210
所述第一阈值L1和第二阈值L2的计算方法为:
Figure FDA00028798187100000211
L2=2*Lf
其中,
Figure FDA00028798187100000212
表示关节点pi与pj之间的长度。
7.如权利要求5所述的一种基于手部识别的拍摄主体识别方法,其特征在于,若最短距离D<第一阈值L1,则
Figure FDA00028798187100000213
Figure FDA00028798187100000214
若最短距离D>第二阈值L2,则
Figure FDA00028798187100000215
Figure FDA00028798187100000216
若L1≤D≤L2,则
Figure FDA00028798187100000217
8.一种基于手部识别的拍摄主体识别系统,所述系统包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现上述权利要求1-7任一所述方法的步骤。
CN202011640184.XA 2020-12-31 2020-12-31 基于手部识别的拍摄主体识别方法和系统 Active CN112839172B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011640184.XA CN112839172B (zh) 2020-12-31 2020-12-31 基于手部识别的拍摄主体识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011640184.XA CN112839172B (zh) 2020-12-31 2020-12-31 基于手部识别的拍摄主体识别方法和系统

Publications (2)

Publication Number Publication Date
CN112839172A true CN112839172A (zh) 2021-05-25
CN112839172B CN112839172B (zh) 2022-02-18

Family

ID=75926869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011640184.XA Active CN112839172B (zh) 2020-12-31 2020-12-31 基于手部识别的拍摄主体识别方法和系统

Country Status (1)

Country Link
CN (1) CN112839172B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523679A (zh) * 2024-01-08 2024-02-06 成都运达科技股份有限公司 一种驾驶员手势识别方法、系统及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211073A1 (en) * 2010-02-26 2011-09-01 Research In Motion Limited Object detection and selection using gesture recognition
US20140168714A1 (en) * 2012-12-19 2014-06-19 Konica Minolta, Inc. Image processing terminal, image processing system, and computer-readable storage medium storing control program of image processing terminal
CN105117685A (zh) * 2015-07-27 2015-12-02 华南理工大学 基于图像模板匹配的手指手腕关节自动定位方法
CN106933341A (zh) * 2015-12-31 2017-07-07 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
CN109376612A (zh) * 2018-09-27 2019-02-22 广东小天才科技有限公司 一种基于手势协助定位学习的方法和系统
CN111443831A (zh) * 2020-03-30 2020-07-24 北京嘉楠捷思信息技术有限公司 一种手势识别方法及装置
US20200338745A1 (en) * 2019-04-25 2020-10-29 Jack Adiletta Signing robotic hand assemly apparatuses, systems, and methods
CN112016346A (zh) * 2019-05-28 2020-12-01 阿里巴巴集团控股有限公司 手势的识别方法、装置、系统以及信息的处理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110211073A1 (en) * 2010-02-26 2011-09-01 Research In Motion Limited Object detection and selection using gesture recognition
US20140168714A1 (en) * 2012-12-19 2014-06-19 Konica Minolta, Inc. Image processing terminal, image processing system, and computer-readable storage medium storing control program of image processing terminal
CN105117685A (zh) * 2015-07-27 2015-12-02 华南理工大学 基于图像模板匹配的手指手腕关节自动定位方法
CN106933341A (zh) * 2015-12-31 2017-07-07 北京体基科技有限公司 一种在图像中确定手指所处区域的方法、装置及腕式设备
CN109376612A (zh) * 2018-09-27 2019-02-22 广东小天才科技有限公司 一种基于手势协助定位学习的方法和系统
US20200338745A1 (en) * 2019-04-25 2020-10-29 Jack Adiletta Signing robotic hand assemly apparatuses, systems, and methods
CN112016346A (zh) * 2019-05-28 2020-12-01 阿里巴巴集团控股有限公司 手势的识别方法、装置、系统以及信息的处理方法
CN111443831A (zh) * 2020-03-30 2020-07-24 北京嘉楠捷思信息技术有限公司 一种手势识别方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523679A (zh) * 2024-01-08 2024-02-06 成都运达科技股份有限公司 一种驾驶员手势识别方法、系统及存储介质

Also Published As

Publication number Publication date
CN112839172B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
CN112348815B (zh) 图像处理方法、图像处理装置以及非瞬时性存储介质
CN109255352B (zh) 目标检测方法、装置及系统
CN109146892B (zh) 一种基于美学的图像裁剪方法及装置
Yu et al. High-resolution deep image matting
CN110427932B (zh) 一种识别图像中多个票据区域的方法及装置
CN110136156B (zh) 一种多边形区域检测方法及装置
CN109919971B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
CN107967482A (zh) 图标识别方法及装置
CN111798360A (zh) 一种水印检测方法、装置、电子设备及存储介质
CN108288253B (zh) Hdr图像生成方法及装置
CN111091590A (zh) 图像处理方法、装置、存储介质及电子设备
CN107273895B (zh) 用于头戴式智能设备的视频流实时文本识别及翻译的方法
CN114511661A (zh) 图像渲染方法、装置、电子设备及存储介质
CN114511449A (zh) 图像增强方法、装置及计算机可读存储介质
CN112036209A (zh) 一种人像照片处理方法及终端
CN112839172B (zh) 基于手部识别的拍摄主体识别方法和系统
CN112907569A (zh) 头部图像区域的分割方法、装置、电子设备和存储介质
CN113079409B (zh) 画面渲染方法及画面渲染装置
CN115983304A (zh) 一种二维码动态调整方法、装置、电子设备及存储介质
CN115656991A (zh) 车辆外参标定方法、装置、设备以及存储介质
CN114372931A (zh) 一种目标对象虚化方法、装置、存储介质及电子设备
CN113808151A (zh) 直播图像的弱语义轮廓检测方法、装置、设备及存储介质
CN109727193B (zh) 图像虚化方法、装置及电子设备
CN113808040A (zh) 直播图像的轮廓矫正方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant