CN112861783A - 一种手部检测方法及系统 - Google Patents
一种手部检测方法及系统 Download PDFInfo
- Publication number
- CN112861783A CN112861783A CN202110249403.XA CN202110249403A CN112861783A CN 112861783 A CN112861783 A CN 112861783A CN 202110249403 A CN202110249403 A CN 202110249403A CN 112861783 A CN112861783 A CN 112861783A
- Authority
- CN
- China
- Prior art keywords
- hand
- network
- detection
- mask
- recognition probability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 163
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000004913 activation Effects 0.000 claims description 35
- 238000012549 training Methods 0.000 claims description 5
- 239000004744 fabric Substances 0.000 claims 11
- 230000011218 segmentation Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/107—Static hand or arm
- G06V40/11—Hand-related biometrics; Hand pose recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种手部检测方法及系统，该方法为：获取待检测图像的红外数据和深度数据；若深度数据符合预设的过滤条件，将红外数据输入预设的检测模型进行手部检测，得到待检测图像对应的手部检测结果。本方案中，获取待测图像的红外数据和深度数据，当所获取的深度数据满足过滤条件时，利用检测模型对红外数据进行处理，得到待检测图像对应的手部检测结果，红外数据中能保留较好的边缘精度和纹理信息，通过检测模型处理红外数据能准确的检测手部信息，并且不需要依赖传感器即可检测手部信息，提高检测精度和提高检测的鲁棒性。
Description
技术领域
本发明涉及数据处理技术领域，具体涉及一种手部检测方法及系统。
背景技术
利用深度相机对手部进行跟踪时，需要对手部进行检测和定位。目前检测手部的方式通常是按照距离阈值过滤出手部区域，但此种方式依赖于手部相对于传感器的位置，鲁棒性较差，并且当手部附近的其它物体也处于距离阈值内时会影响检测结果，检测精度较低。
发明内容
有鉴于此，本发明实施例提供一种手部检测方法及系统，以解决现有手部检测方式存在的鲁棒性差和检测精度低等问题。
为实现上述目的，本发明实施例提供如下技术方案：
本发明实施例第一方面公开一种手部检测方法，所述方法包括：
获取待检测图像的红外数据和深度数据；
若所述深度数据符合预设的过滤条件，将所述红外数据输入预设的检测模型进行手部检测，得到所述待检测图像对应的手部检测结果，所述检测模型由根据样本数据训练深度网络模型得到，所述深度网络模型包括第一网络结构和第二网络结构。
优选的，所述将所述红外数据输入预设的检测模型进行手部检测，得到所述待检测图像对应的手部检测结果，包括：
将所述红外数据输入预设的检测模型中的第一网络结构进行手部检测，得到第一左手识别概率、第一右手识别概率、左手掩膜mask和右手mask；
若所述第一左手识别概率大于等于第一阈值，且所述第一右手识别概率大于等于第二阈值，输出所述第一左手识别概率、所述第一右手识别概率、所述左手mask和所述右手mask；
若所述第一左手识别概率小于所述第一阈值，和/或，若所述第一右手识别概率小于所述第二阈值，将所述左手mask与所述第一左手识别概率相乘得到第一乘积结果，及将所述右手mask与所述第一右手识别概率相乘得到第二乘积结果；
将所述第一乘积结果、所述第二乘积结果和所述红外数据进行拼接后输入所述检测模型的第二网络结构进行手部检测，得到并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。
优选的，确定所述深度数据符合预设的过滤条件的过程，包括：
确定所述深度数据是否在预设的深度范围内；
若所述深度数据在所述深度范围内，确定所述深度数据符合过滤条件；
若所述深度数据不在所述深度范围内，确定所述深度数据不符合过滤条件。
优选的，所述第一网络结构由第一网络子结构和第二网络子结构组成，所述第一网络子结构包括：标准卷积Conv层、批量归一化BN层和swish激活层，所述第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层。
优选的，所述第二网络结构由第一网络子结构、第二网络子结构、第三网络子结构和第四网络子结构组成，所述第一网络子结构包括：标准Conv层、BN层和swish激活层，所述第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层，所述第三网络子结构包括：尺寸为K×1的卷积核和尺寸为1×K的卷积核，所述第四网络子结构包括：拼接concat层、BN层和swish激活层。
本发明实施例第二方面公开一种手部检测系统，所述系统包括：
获取单元，用于获取待检测图像的红外数据和深度数据；
检测单元，用于若所述深度数据符合预设的过滤条件，将所述红外数据输入预设的检测模型进行手部检测，得到所述待检测图像对应的手部检测结果，所述检测模型由根据样本数据训练深度网络模型得到，所述深度网络模型包括第一网络结构和第二网络结构。
优选的，所述检测单元包括：
第一检测模块，用于将所述红外数据输入预设的检测模型中的第一网络结构进行手部检测，得到第一左手识别概率、第一右手识别概率、左手掩膜mask和右手mask；
第一输出模块，用于若所述第一左手识别概率大于等于第一阈值，且所述第一右手识别概率大于等于第二阈值，输出所述第一左手识别概率、所述第一右手识别概率、所述左手mask和所述右手mask；
处理模块，用于若所述第一左手识别概率小于所述第一阈值，和/或，若所述第一右手识别概率小于所述第二阈值，将所述左手mask与所述第一左手识别概率相乘得到第一乘积结果，及将所述右手mask与所述第一右手识别概率相乘得到第二乘积结果；
第二检测模块，用于将所述第一乘积结果、所述第二乘积结果和所述红外数据进行拼接后输入所述检测模型的第二网络结构进行手部检测，得到并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。
优选的，用于确定所述深度数据符合预设的过滤条件的所述检测单元，具体用于：确定所述深度数据是否在预设的深度范围内，若所述深度数据在所述深度范围内，确定所述深度数据符合过滤条件，若所述深度数据不在所述深度范围内，确定所述深度数据不符合过滤条件。
优选的，所述第一网络结构由第一网络子结构和第二网络子结构组成，所述第一网络子结构包括：标准卷积Conv层、批量归一化BN层和swish激活层，所述第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层。
优选的，所述第二网络结构由第一网络子结构、第二网络子结构、第三网络子结构和第四网络子结构组成，所述第一网络子结构包括：标准Conv层、BN层和swish激活层，所述第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层，所述第三网络子结构包括：尺寸为K×1的卷积核和尺寸为1×K的卷积核，所述第四网络子结构包括：拼接concat层、BN层和swish激活层。
基于上述本发明实施例提供的一种手部检测方法及系统，该方法为：获取待检测图像的红外数据和深度数据；若深度数据符合预设的过滤条件，将红外数据输入预设的检测模型进行手部检测，得到待检测图像对应的手部检测结果。本方案中，获取待测图像的红外数据和深度数据，当所获取的深度数据满足过滤条件时，利用检测模型对红外数据进行处理，得到待检测图像对应的手部检测结果，红外数据中能保留较好的边缘精度和纹理信息，通过检测模型处理红外数据能准确的检测手部信息，并且不需要依赖传感器即可检测手部信息，提高检测精度和提高检测的鲁棒性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例提供的一种手部检测方法的流程图；
图2为本发明实施例提供的获取手部检测结果的流程图；
图3为本发明实施例提供的第三网络子结构的结构示意图；
图4为本发明实施例提供的检测模型检测得到手部检测结果的示意图；
图5为本发明实施例提供的第三网络子结构和第四网络子结构之间的运算示意图；
图6为本发明实施例提供的一种手部检测系统的结构框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知，目前通常是按照距离阈值过滤出手部区域，但采用此种方式检测手部时，需要依赖于手部相对于传感器的位置，鲁棒性较差，并且当手部附近的其它物体也处于距离阈值内时会影响检测结果，检测精度较低。
因此，本发明实施例提供一种手部检测方法及系统，获取待测图像的红外数据和深度数据，当所获取的深度数据满足过滤条件时，利用检测模型对红外数据进行处理，得到待检测图像对应的手部检测结果，红外数据中能保留较好的边缘精度和纹理信息，通过检测模型处理红外数据能准确的检测手部信息，并且不需要依赖传感器即可检测手部信息，以提高检测精度和提高检测的鲁棒性。
参见图1，示出了本发明实施例提供的一种手部检测方法的流程图，该手部检测方法包括：
步骤S101：获取待检测图像的红外数据和深度数据。
在具体实现步骤S101的过程中，利用指定设备获取待检测图像的红外数据和深度数据，该指定设备为能够获取图像中的红外数据和深度数据的设备，比如深度相机，该待检测图像为至少包含红外数据和深度数据的图像，比如红外图。
步骤S102：确定待检测图像的深度数据是否符合预设的过滤条件。若符合，执行步骤S104，若不符合，执行步骤S103。
在具体实现步骤S102的过程中，预先设定相应的深度范围，判断待检测图像的深度数据是否在该深度范围内。若待检测图像的深度数据在该深度范围内，确定待检测图像的深度数据符合过滤条件，执行步骤S104。
若待检测图像的深度数据不在该深度范围内，确定待检测图像的深度数据不符合过滤条件，执行步骤S103，将该待检测图像的红外数据置为0，即对该待检测图像的红外数据不做后续处理。
步骤S103：将待检测图像的红外数据置为0。
步骤S104：将红外数据输入预设的检测模型进行手部检测，得到待检测图像对应的手部检测结果。
预先利用样本数据训练深度网络模型得到检测模型，需要说明的是，该深度网络模型由第一网络结构和第二网络结构组成，在训练深度网络模型时，以级联的方式训练该第一网络结构和第二网络结构。
在具体实现步骤S104的过程中，在待检测图像的深度数据符合过滤条件的情况下，将该待检测图像的红外数据输入检测模型进行手部检测，得到该待检测图像对应的手部检测结果。
在本发明实施例中，获取待测图像的红外数据和深度数据，当所获取的深度数据满足过滤条件时，利用检测模型对红外数据进行处理，得到待检测图像对应的手部检测结果，红外数据中能保留较好的边缘精度和纹理信息，通过检测模型处理红外数据能准确的检测手部信息，并且不需要依赖传感器即可检测手部信息，提高检测精度和提高检测的鲁棒性。
上述本发明实施例图1步骤S104中涉及的获取手部检测结果的过程，参见图2，示出了本发明实施例提供的获取手部检测结果的流程图，包括以下步骤：
步骤S201：将红外数据输入预设的检测模型中的第一网络结构进行手部检测，得到第一左手识别概率、第一右手识别概率、左手掩膜(mask)和右手mask。
在具体实现步骤S201的过程中，将待检测图像的红外数据输入检测模型的第一网络结构进行网络卷积操作，得到待检测图像对应的第一左手识别概率(识别左手成功的概率，范围为0至1)、第一右手识别概率(识别右手成功的概率，范围为0至1)、左手mask和右手mask。
需要说明的是，mask(掩膜)即为分割结果。
步骤S202：若第一左手识别概率大于等于第一阈值，且第一右手识别概率大于等于第二阈值，输出第一左手识别概率、第一右手识别概率、左手mask和右手mask。
需要说明的是，预先设定识别左手成功的概率阈值(即第一阈值)，以及预先设定识别右手成功的概率阈值(即第二阈值)。
在具体实现步骤S202的过程中，当利用第一网络结构所识别得到的第一左手识别概率大于等于第一阈值，且第一右手识别概率大于等于第二阈值时，表示检测模型中第一网络结构所识别得到的手部检测结果较为准确，则直接输出第一左手识别概率、第一右手识别概率、左手mask和右手mask，不继续执行后续步骤，此时待检测图像对应的手部检测结果包含第一左手识别概率、第一右手识别概率、左手mask和右手mask。
将所输出的左手mask和右手mask作为手部分割结果。
步骤S203：若第一左手识别概率小于第一阈值，和/或，若第一右手识别概率小于第二阈值，将左手mask与第一左手识别概率相乘得到第一乘积结果，及将右手mask与第一右手识别概率相乘得到第二乘积结果。
在具体实现步骤S203的过程中，当第一网络结构识别得到的第一左手识别概率小于第一阈值时，和/或，当第一右手识别概率小于第二阈值时，将左手mask与第一左手识别概率相乘得到第一乘积结果，及将右手mask与第一右手识别概率相乘得到第二乘积结果。
步骤S204：将第一乘积结果、第二乘积结果和红外数据进行拼接后输入检测模型的第二网络结构进行手部检测，得到并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。
在具体实现步骤S204的过程中，将第一乘积结果、第二乘积结果和待检测图像的红外数据进行拼接，并将拼接后的数据输入检测模型的第二网络结构进行网络卷积操作，得到并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask，此时待检测图像对应的手部检测结果包含第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。
也就是说，当第一网络结构所识别得到的第一左手识别概率和/或第一右手识别概率小于相对应的阈值时，通过第二网络结构再次识别得到第二左手识别概率和第二右手识别概率，优化了手部的识别概率，以及通过第二网络结构识别得到左手掌mask、右手掌mask、左手指mask和右手指mask。
可以理解的是，可将左手掌mask和右手掌mask作为手部分割结果，也可将左手指mask和右手指mask作为手部分割结果，从而细化了手部分割。
在本发明实施例中，利用检测模型的第一网络结构识别得到待检测图像对应的第一左手识别概率、第一右手识别概率、左手mask和右手mask。当第一左手识别概率和第一右手识别概率大于等于相应的阈值，则直接输出第一左手识别概率、第一右手识别概率、左手mask和右手mask。当第一左手识别概率和/或第一右手识别概率小于相应的阈值，利用检测模型的第二网络结构识别并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。通过检测模型的第一网络结构和第二网络结构，优化手部的识别概率和细化手部分割，提高手部检测的精度。
在一具体实施例中，检测模型的第一网络结构由第一网络子结构和第二网络子结构组成，第一网络子结构包括：标准卷积(Conv)层、批量归一化(Batch Normalization，BN)层和swish激活层，第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层。
其中，第一网络结构的组成结构依次为：第一网络子结构-第一网络子结构-第二网络子结构-第二网络子结构-第二网络子结构-第二网络子结构，即第一网络结构由2个第一网络子结构和4个第二网络子结构组成。
第一网络子结构的组成结构依次为：标准Conv层-标准Conv层-BN层-swish激活层，第二网络子结构的组成结构依次为：DepthConv层-BN层-swish激活层-PointConv层-BN层-swish激活层。
在一具体实施例中，第二网络结构由第一网络子结构、第二网络子结构、第三网络子结构和第四网络子结构组成，第一网络子结构包括：标准Conv层、BN层和swish激活层，第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层，第三网络子结构包括：尺寸为K×1(K的取值可以为3、5和7等数值，具体数值根据实际情况确定)的卷积核和尺寸为1×K的卷积核，第四网络子结构包括：拼接(concat)层、BN层和swish激活层。
其中，第二网络结构的组成结构依次为：第一网络子结构-第二网络子结构-第三网络子结构-第四网络子结构-第三网络子结构-第四网络子结构-第三网络子结构-第四网络子结构。
第三网络子结构由2个尺寸为K×1的卷积核和2个尺寸为1×K的卷积核组成，具体结构如图3示出的第三网络子结构的结构示意图。
第四网络子结构的组成结构依次为：concat层-BN层-swish激活层。
结合上述关于第一网络结构和第二网络结构的具体内容，通过图4示出的检测模型检测得到手部检测结果的示意图，对如何利用检测模型检测得到待检测图像的手部检测结果进行解释说明。
如图4示出的内容，将待检测图像的红外数据输入第一网络结构，依次经过第一网络结构中的第一网络子结构-第一网络子结构-第二网络子结构-第二网络子结构-第二网络子结构-第二网络子结构处理，得到第一左手识别概率、第一右手识别概率、左手mask和右手mask。
若第一左手识别概率大于等于第一阈值，且第一右手识别概率大于等于第二阈值时，直接输出第一左手识别概率、第一右手识别概率、左手mask和右手mask。
当第一网络结构识别得到的第一左手识别概率小于第一阈值时，和/或，当第一右手识别概率小于第二阈值时，将第一乘积结果(左手mask与第一左手识别概率相乘)、第二乘积结果(将右手mask与第一右手识别概率相乘)和待检测图像的红外数据进行拼接，并将拼接后的数据输入检测模型的第二网络结构，依次经过第二网络结构中的第一网络子结构-第二网络子结构-第三网络子结构-第四网络子结构-第三网络子结构-第四网络子结构-第三网络子结构-第四网络子结构进行处理，得到并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。
其中，对于第三网络子结构和第四网络子结构之间的数据处理，通过图5示出的第三网络子结构和第四网络子结构之间的运算示意图进行解释说明。
在图5中，由swish激活层输出的数据先分别输入第三网络子结构中尺寸为1×K的卷积核(在此称为第一卷积核)和尺寸为K×1的卷积核(在此称为第二卷积核)，第一卷积核将处理后的数据输入第三网络子结构中尺寸为K×1的另一卷积核(在此称为第三卷积核)，第二卷积核将处理后的数据输入第三网络子结构中尺寸为1×K的另一卷积核(在此称为第四卷积核)。
第三卷积核和第四卷积核将处理后的数据输入第四网络子结构，该数据依次经过第四网络子结构的concat层-BN层-swish激活层进行相应处理。
需要说明的是，在利用第二网络结构检测待检测图像的手部检测结果时，通过第三网络子结构使用并行1×K Conv+K×1Conv的操作，可进一步减少每秒浮点运算次数(floating-point operations per second，FLOPs)次数，也可通过设置更大的卷积核尺寸，从而更加细化手部分割区域的效果。
与上述本发明实施例提供的一种手部检测方法相对应，参见图6，本发明实施例还提供了一种手部检测系统的结构框图，该手部检测系统包括：获取单元601和检测单元602；
获取单元601，用于获取待检测图像的红外数据和深度数据。
检测单元602，用于若深度数据符合预设的过滤条件，将红外数据输入预设的检测模型进行手部检测，得到待检测图像对应的手部检测结果，检测模型由根据样本数据训练深度网络模型得到，深度网络模型包括第一网络结构和第二网络结构。
在具体实现中，用于确定深度数据符合预设的过滤条件的检测单元602，具体用于：确定深度数据是否在预设的深度范围内，若深度数据在深度范围内，确定深度数据符合过滤条件，若深度数据不在所述深度范围内，确定深度数据不符合过滤条件。
在具体实现中，第一网络结构由第一网络子结构和第二网络子结构组成，第一网络子结构包括：标准Conv层、BN层和swish激活层，第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层。
第二网络结构由第一网络子结构、第二网络子结构、第三网络子结构和第四网络子结构组成，第一网络子结构包括：标准Conv层、BN层和swish激活层，第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层，第三网络子结构包括：尺寸为K×1的卷积核和尺寸为1×K的卷积核，第四网络子结构包括：concat层、BN层和swish激活层。
在本发明实施例中，获取待测图像的红外数据和深度数据，当所获取的深度数据满足过滤条件时，利用检测模型对红外数据进行处理，得到待检测图像对应的手部检测结果，红外数据中能保留较好的边缘精度和纹理信息，通过检测模型处理红外数据能准确的检测手部信息，并且不需要依赖传感器即可检测手部信息，提高检测精度和提高检测的鲁棒性。
结合图6示出的内容，检测单元602包括第一检测模块、第一输出模块、处理模块和第二检测模块，各个模块的执行原理如下：
第一检测模块，用于将红外数据输入预设的检测模型中的第一网络结构进行手部检测，得到第一左手识别概率、第一右手识别概率、左手mask和右手mask。
第一输出模块，用于若第一左手识别概率大于等于第一阈值，且第一右手识别概率大于等于第二阈值，输出第一左手识别概率、第一右手识别概率、左手mask和右手mask。
处理模块，用于若第一左手识别概率小于第一阈值，和/或，若第一右手识别概率小于第二阈值，将左手mask与第一左手识别概率相乘得到第一乘积结果，及将右手mask与第一右手识别概率相乘得到第二乘积结果。
第二检测模块，用于将第一乘积结果、第二乘积结果和红外数据进行拼接后输入检测模型的第二网络结构进行手部检测，得到并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。
在本发明实施例中，利用检测模型的第一网络结构识别得到待检测图像对应的第一左手识别概率、第一右手识别概率、左手mask和右手mask。当第一左手识别概率和第一右手识别概率大于等于相应的阈值，则直接输出第一左手识别概率、第一右手识别概率、左手mask和右手mask。当第一左手识别概率和/或第一右手识别概率小于相应的阈值，利用检测模型的第二网络结构识别并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。通过检测模型的第一网络结构和第二网络结构，优化手部的识别概率和细化手部分割，提高手部检测的精度。
综上所述，本发明实施例提供一种手部检测方法及系统，获取待测图像的红外数据和深度数据，当所获取的深度数据满足过滤条件时，利用检测模型对红外数据进行处理，得到待检测图像对应的手部检测结果，红外数据中能保留较好的边缘精度和纹理信息，通过检测模型处理红外数据能准确的检测手部信息，并且不需要依赖传感器即可检测手部信息，提高检测精度和提高检测的鲁棒性。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种手部检测方法，其特征在于，所述方法包括：
获取待检测图像的红外数据和深度数据；
若所述深度数据符合预设的过滤条件，将所述红外数据输入预设的检测模型进行手部检测，得到所述待检测图像对应的手部检测结果，所述检测模型由根据样本数据训练深度网络模型得到，所述深度网络模型包括第一网络结构和第二网络结构。
2.根据权利要求1所述的方法，其特征在于，所述将所述红外数据输入预设的检测模型进行手部检测，得到所述待检测图像对应的手部检测结果，包括：
将所述红外数据输入预设的检测模型中的第一网络结构进行手部检测，得到第一左手识别概率、第一右手识别概率、左手掩膜mask和右手mask；
若所述第一左手识别概率大于等于第一阈值，且所述第一右手识别概率大于等于第二阈值，输出所述第一左手识别概率、所述第一右手识别概率、所述左手mask和所述右手mask；
若所述第一左手识别概率小于所述第一阈值，和/或，若所述第一右手识别概率小于所述第二阈值，将所述左手mask与所述第一左手识别概率相乘得到第一乘积结果，及将所述右手mask与所述第一右手识别概率相乘得到第二乘积结果；
将所述第一乘积结果、所述第二乘积结果和所述红外数据进行拼接后输入所述检测模型的第二网络结构进行手部检测，得到并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。
3.根据权利要求1所述的方法，其特征在于，确定所述深度数据符合预设的过滤条件的过程，包括：
确定所述深度数据是否在预设的深度范围内；
若所述深度数据在所述深度范围内，确定所述深度数据符合过滤条件；
若所述深度数据不在所述深度范围内，确定所述深度数据不符合过滤条件。
4.根据权利要求1所述的方法，其特征在于，所述第一网络结构由第一网络子结构和第二网络子结构组成，所述第一网络子结构包括：标准卷积Conv层、批量归一化BN层和swish激活层，所述第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层。
5.根据权利要求1所述的方法，其特征在于，所述第二网络结构由第一网络子结构、第二网络子结构、第三网络子结构和第四网络子结构组成，所述第一网络子结构包括：标准Conv层、BN层和swish激活层，所述第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层，所述第三网络子结构包括：尺寸为K×1的卷积核和尺寸为1×K的卷积核，所述第四网络子结构包括：拼接concat层、BN层和swish激活层。
6.一种手部检测系统，其特征在于，所述系统包括：
获取单元，用于获取待检测图像的红外数据和深度数据；
检测单元，用于若所述深度数据符合预设的过滤条件，将所述红外数据输入预设的检测模型进行手部检测，得到所述待检测图像对应的手部检测结果，所述检测模型由根据样本数据训练深度网络模型得到，所述深度网络模型包括第一网络结构和第二网络结构。
7.根据权利要求6所述的系统，其特征在于，所述检测单元包括：
第一检测模块，用于将所述红外数据输入预设的检测模型中的第一网络结构进行手部检测，得到第一左手识别概率、第一右手识别概率、左手掩膜mask和右手mask；
第一输出模块，用于若所述第一左手识别概率大于等于第一阈值，且所述第一右手识别概率大于等于第二阈值，输出所述第一左手识别概率、所述第一右手识别概率、所述左手mask和所述右手mask；
处理模块，用于若所述第一左手识别概率小于所述第一阈值，和/或，若所述第一右手识别概率小于所述第二阈值，将所述左手mask与所述第一左手识别概率相乘得到第一乘积结果，及将所述右手mask与所述第一右手识别概率相乘得到第二乘积结果；
第二检测模块，用于将所述第一乘积结果、所述第二乘积结果和所述红外数据进行拼接后输入所述检测模型的第二网络结构进行手部检测，得到并输出第二左手识别概率、第二右手识别概率、左手掌mask、右手掌mask、左手指mask和右手指mask。
8.根据权利要求6所述的系统，其特征在于，用于确定所述深度数据符合预设的过滤条件的所述检测单元，具体用于：确定所述深度数据是否在预设的深度范围内，若所述深度数据在所述深度范围内，确定所述深度数据符合过滤条件，若所述深度数据不在所述深度范围内，确定所述深度数据不符合过滤条件。
9.根据权利要求6所述的系统，其特征在于，所述第一网络结构由第一网络子结构和第二网络子结构组成，所述第一网络子结构包括：标准卷积Conv层、批量归一化BN层和swish激活层，所述第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层。
10.根据权利要求6所述的系统，其特征在于，所述第二网络结构由第一网络子结构、第二网络子结构、第三网络子结构和第四网络子结构组成，所述第一网络子结构包括：标准Conv层、BN层和swish激活层，所述第二网络子结构包括：DepthConv层、BN层、swish激活层和PointConv层，所述第三网络子结构包括：尺寸为K×1的卷积核和尺寸为1×K的卷积核，所述第四网络子结构包括：拼接concat层、BN层和swish激活层。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110249403.XA CN112861783A (zh) | 2021-03-08 | 2021-03-08 | 一种手部检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110249403.XA CN112861783A (zh) | 2021-03-08 | 2021-03-08 | 一种手部检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112861783A true CN112861783A (zh) | 2021-05-28 |
Family
ID=75994663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110249403.XA Pending CN112861783A (zh) | 2021-03-08 | 2021-03-08 | 一种手部检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112861783A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581535A (zh) * | 2022-03-03 | 2022-06-03 | 北京深光科技有限公司 | 图像中用户骨关键点标注方法、装置、存储介质及设备 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110282140A1 (en) * | 2010-05-14 | 2011-11-17 | Intuitive Surgical Operations, Inc. | Method and system of hand segmentation and overlay using depth data |
| CN108062525A (zh) * | 2017-12-14 | 2018-05-22 | 中国科学技术大学 | 一种基于手部区域预测的深度学习手部检测方法 |
| US20180322623A1 (en) * | 2017-05-08 | 2018-11-08 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
| CN109117746A (zh) * | 2018-07-23 | 2019-01-01 | 北京华捷艾米科技有限公司 | 手部检测方法及机器可读存储介质 |
| CN109784147A (zh) * | 2018-12-05 | 2019-05-21 | 北京达佳互联信息技术有限公司 | 关键点检测方法、装置、电子设备及存储介质 |
| CN110209273A (zh) * | 2019-05-23 | 2019-09-06 | Oppo广东移动通信有限公司 | 手势识别方法、交互控制方法、装置、介质与电子设备 |
| CN110232311A (zh) * | 2019-04-26 | 2019-09-13 | 平安科技（深圳）有限公司 | 手部图像的分割方法、装置及计算机设备 |
| CN110443205A (zh) * | 2019-08-07 | 2019-11-12 | 北京华捷艾米科技有限公司 | 一种手部图像分割方法及装置 |
| CN110852311A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 一种三维人手关键点定位方法及装置 |
| CN111191632A (zh) * | 2020-01-08 | 2020-05-22 | 梁正 | 一种基于红外反射手套的手势识别方法及系统 |
| CN111310699A (zh) * | 2020-02-27 | 2020-06-19 | 浙江光珀智能科技有限公司 | 一种基于手掌特征的身份认证方法及系统 |
| CN112036383A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于手静脉的身份识别方法及装置 |
| CN112233161A (zh) * | 2020-10-15 | 2021-01-15 | 北京达佳互联信息技术有限公司 | 手部图像深度确定方法、装置、电子设备及存储介质 |
| CN112232232A (zh) * | 2020-10-20 | 2021-01-15 | 城云科技（中国）有限公司 | 一种目标检测方法 |
-
2021
- 2021-03-08 CN CN202110249403.XA patent/CN112861783A/zh active Pending
Patent Citations (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110282140A1 (en) * | 2010-05-14 | 2011-11-17 | Intuitive Surgical Operations, Inc. | Method and system of hand segmentation and overlay using depth data |
| US20180322623A1 (en) * | 2017-05-08 | 2018-11-08 | Aquifi, Inc. | Systems and methods for inspection and defect detection using 3-d scanning |
| CN108062525A (zh) * | 2017-12-14 | 2018-05-22 | 中国科学技术大学 | 一种基于手部区域预测的深度学习手部检测方法 |
| CN109117746A (zh) * | 2018-07-23 | 2019-01-01 | 北京华捷艾米科技有限公司 | 手部检测方法及机器可读存储介质 |
| CN109784147A (zh) * | 2018-12-05 | 2019-05-21 | 北京达佳互联信息技术有限公司 | 关键点检测方法、装置、电子设备及存储介质 |
| WO2020114236A1 (zh) * | 2018-12-05 | 2020-06-11 | 北京达佳互联信息技术有限公司 | 关键点检测方法、装置、电子设备及存储介质 |
| CN110232311A (zh) * | 2019-04-26 | 2019-09-13 | 平安科技（深圳）有限公司 | 手部图像的分割方法、装置及计算机设备 |
| CN110209273A (zh) * | 2019-05-23 | 2019-09-06 | Oppo广东移动通信有限公司 | 手势识别方法、交互控制方法、装置、介质与电子设备 |
| CN110443205A (zh) * | 2019-08-07 | 2019-11-12 | 北京华捷艾米科技有限公司 | 一种手部图像分割方法及装置 |
| CN111191632A (zh) * | 2020-01-08 | 2020-05-22 | 梁正 | 一种基于红外反射手套的手势识别方法及系统 |
| CN110852311A (zh) * | 2020-01-14 | 2020-02-28 | 长沙小钴科技有限公司 | 一种三维人手关键点定位方法及装置 |
| CN111310699A (zh) * | 2020-02-27 | 2020-06-19 | 浙江光珀智能科技有限公司 | 一种基于手掌特征的身份认证方法及系统 |
| CN112233161A (zh) * | 2020-10-15 | 2021-01-15 | 北京达佳互联信息技术有限公司 | 手部图像深度确定方法、装置、电子设备及存储介质 |
| CN112232232A (zh) * | 2020-10-20 | 2021-01-15 | 城云科技（中国）有限公司 | 一种目标检测方法 |
| CN112036383A (zh) * | 2020-11-04 | 2020-12-04 | 北京圣点云信息技术有限公司 | 一种基于手静脉的身份识别方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| D. RYUMIN，等: "AUTOMATIC DETECTION AND RECOGNITION OF 3D MANUAL GESTURES FOR HUMAN-MACHINE INTERACTION", 《INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES》, vol. 2, no. 12, pages 179 - 183 * |
| 杨尊俭: "基于手势识别的智能虚实交互技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 01, pages 138 - 2190 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114581535A (zh) * | 2022-03-03 | 2022-06-03 | 北京深光科技有限公司 | 图像中用户骨关键点标注方法、装置、存储介质及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101178768B (zh) | 图像处理设备和方法以及个人识别设备 | |
| CN111078083A (zh) | 一种点读内容的确定方法及电子设备 | |
| US10852879B2 (en) | Support of narrow tip styluses on touch screen devices | |
| US20130100267A1 (en) | Apparatus and method for recognizing fingerprints | |
| RU2014108820A (ru) | Процессор изображений, содержащий систему распознавания жестов с функциональными возможностями обнаружения и отслеживания пальцев | |
| US10466745B2 (en) | Operational control method for flexible display device | |
| US20180032785A1 (en) | Method for setting fingerprint sensor interrupt threshold, apparatus, and terminal device | |
| CN114402369A (zh) | 人体姿态的识别方法、装置、存储介质及电子设备 | |
| US5940532A (en) | Apparatus for and method of recognizing hand-written characters | |
| CN113095292A (zh) | 手势识别方法、装置、电子设备及可读存储介质 | |
| US8005262B2 (en) | System and method for video object identification | |
| CN112861783A (zh) | 一种手部检测方法及系统 | |
| CN111914841B (zh) | 一种ct图像处理方法和装置 | |
| CN112418089A (zh) | 一种手势识别方法、装置及终端 | |
| JPWO2021049234A5 (zh) | ||
| CN114846513A (zh) | 动作分析系统和动作分析程序 | |
| CN112613510A (zh) | 图片预处理方法、文字识别模型训练方法和文字识别方法 | |
| CN113449652A (zh) | 基于生物特征识别的定位方法及装置 | |
| CN113255674A (zh) | 字符识别方法、装置、电子设备及计算机可读存储介质 | |
| CN111090989A (zh) | 一种基于文字识别的提示方法及电子设备 | |
| WO2015005425A1 (ja) | 顔照合装置、顔照合方法及び顔照合プログラム | |
| CN110781973B (zh) | 物品识别模型训练方法、物品识别方法、装置及电子设备 | |
| CN117523604A (zh) | 手势识别方法、装置、电子设备及计算机可读存储介质 | |
| CN113221891B (zh) | 掌静脉图像的识别角度的调整方法和装置 | |
| CN106446902A (zh) | 非文字图像识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |