CN113496175A - 一种人形上半身检测分块设计方法 - Google Patents
一种人形上半身检测分块设计方法 Download PDFInfo
- Publication number
- CN113496175A CN113496175A CN202010264080.7A CN202010264080A CN113496175A CN 113496175 A CN113496175 A CN 113496175A CN 202010264080 A CN202010264080 A CN 202010264080A CN 113496175 A CN113496175 A CN 113496175A
- Authority
- CN
- China
- Prior art keywords
- input
- image
- blocks
- wlen
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000000638 solvent extraction Methods 0.000 title claims abstract description 5
- 238000004364 calculation method Methods 0.000 claims abstract description 6
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 238000010276 construction Methods 0.000 claims abstract description 4
- 238000005192 partition Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种人形上半身检测分块设计方法,所述方法包括以下步骤:S1,级联卷积网络对图像进行图像金字塔构建,以M*N为输入分辨率,以scale为i的缩放系数进行构造图像金字塔,金字塔图像列表计算公式为:input_w*i的n次方,input_h*i的n次方;S2,以16+3的设计理念进行分块优化,其中,16指的是图像宽的方向分为四块,高的方向分为四块,3是指的金字塔列表里的最后三个,且16块的分块标准按以下公式计算:(INPUT_W‑WLEN_W)/INC_W+1=FN_W(1)(INPUT_H‑WLEN_H)/INC_H+1=FN_H(2);其中,INPUT_W/INPUT_H为输入图像的宽/高;WLEN_W/WLEN_H为分块的宽/高长度;INC_W/INC_H为块移;FN_W/FN_H是我们在横向/纵向要分的块数。本发明改变传统方案都是基于全帧去检测的方法,单纯依靠CPU工作却能够降低CPU负载,提升用户体验。
Description
技术领域
本发明涉及神经网络领域,特别涉及一种人形上半身检测分块设计方法。
背景技术
人工智能领域中神经网络技术日益发展迅猛。其中MTCNN技术也是近年来较为流行的技术之一。MTCNN,Multi-task convolutional neural network(多任务卷积神经网络),将人脸区域检测与人脸关键点检测放在了一起,总体可分为P-Net、R-Net、和O-Net三层网络结构。用于人脸检测任务的多任务神经网络模型,该模型主要采用了三个级联的网络,采用候选框加分类器的思想,进行快速高效的人脸检测。这三个级联的网络分别是快速生成候选窗口的P-Net、进行高精度候选窗口过滤选择的R-Net和生成最终边界框与人脸关键点的O-Net。
但是,在现有技术中,也存在如下缺点:传统方案都是基于全帧去检测,当前深度学习算法如果不依赖GPU或NPU等硬件加速处理器在嵌入式平台上纯粹靠CPU运行会非常吃力,客户体验也会非常不好,CPU占用率居高不下,落地困难。
此外,现有技术中常用的技术术语包括:
级联卷积网络:就是设计N阶网络,由粗到精对任务进行处理。
图像金字塔:就是将图像按一定尺度进行变换,以适应对不同大小的人脸进行检测。
最小检测大小:如果检测目标宽高小于最小检测大小,模型没有检测能力。
发明内容
为了解决上述问题,本发明的目的在于:改变传统方案都是基于全帧去检测的方法,单纯依靠CPU工作却能够降低CPU负载,提升用户体验。
具体地,本发明提供一种人形上半身检测分块设计方法,所述方法包括以下步骤:
S1,级联卷积网络对图像进行图像金字塔构建,以M*N为输入分辨率,以scale为i的缩放系数进行构造图像金字塔,金字塔图像列表计算公式为:input_w*i的n次方,input_h*i的n次方;
S2,以16+3的设计理念进行分块优化,其中,16指的是图像宽的方向分为四块,高的方向分为四块,3是指的金字塔列表里的最后三个,且16块的分块标准按以下公式计算:
(INPUT_W-WLEN_W)/INC_W+1=FN_W (1)
(INPUT_H-WLEN_H)/INC_H+1=FN_H (2)
其中,
INPUT_W/INPUT_H为输入图像的宽/高;
WLEN_W/WLEN_H为分块的宽/高长度;
INC_W/INC_H为块移;
FN_W/FN_H是在横向/纵向要分的块数。
所述步骤S1中,所述的以M*N为输入分辨率,M=640,N=360;所述的i=0.6。
所述步骤S1中,人形检测最小检测大小为40,输入分辨率640*360对应的列表为(640,360),(384,216),(230,130),(138,78),(83,47),因为47再以0.6的比例缩放已经小于最小检测大小,所以(83,47)作为最后一个金字塔图像。
所述的步骤S2中,所述的块移的计算通过以下公式计算:
MIN_OBJECT_SIZE为最小检测物体大小
INC_W=(INPUT_W–MIN_OBJECT_SIZE)/FN_W (3)
MIN_OBJECT_SIZE,其保证跨越两块之间的最小物体不漏检。
所述的以M*N为输入分辨率,M=640,N=360;所述的i=0.6,则
INPUT_W=640
FN_W=4
根据公式(3)
INC_W=(640–40)/4=150
根据公式(1)
WLEN_W=190。
所述的WLEN_W为190,取图像金字塔的最后三个(230,130),(138,78),(83,47)作为16+3的设计理念的后面的3。
同理:
INPUT_H=360
FN_H=4
根据公式(3)
INC_H=(360–40)/4=80
根据公式(1)
WLEN_H=120。
由此,本申请的优势在于:
1采用分块设计的方法,会大大提升用户体验,把每帧所需要的算力平摊到多帧,大大降低CPU负载;
2本发明的分块设计方法,充分考虑到了大小目标的检测范围,与整帧检测效果没有差异。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,并不构成对本发明的限定。
图1是本发明方法的示意流程图。
具体实施方式
为了能够更清楚地理解本发明的技术内容及优点,现结合附图对本发明进行进一步的详细说明。
如图1所示,本发明涉及一种人形上半身检测分块设计方法,所述方法包括以下步骤:
S1,级联卷积网络对图像进行图像金字塔构建,项目以M*N为输入分辨率,以scale为i的缩放系数进行构造图像金字塔,金字塔图像列表计算公式为:input_w*i的n次方,input_h*i的n次方;
S2,以16+3的设计理念进行分块优化,其中,16指的是图像宽的方向分为四块,高的方向分为四块,3是指的金字塔列表里的最后三个,且16块的分块标准按以下公式计算:
(INPUT_W-WLEN_W)/INC_W+1=FN_W (1)
(INPUT_H-WLEN_H)/INC_H+1=FN_H (2)
其中,
INPUT_W/INPUT_H为输入图像的宽/高;
WLEN_W/WLEN_H为分块的宽/高长度;
INC_W/INC_H为块移;
FN_W/FN_H是我们在横向/纵向要分的块数。
所述的步骤S2中,所述的块移的计算通过以下公式计算:
MIN_OBJECT_SIZE为最小检测物体大小
INC_W=(INPUT_W–MIN_OBJECT_SIZE)/FN_W (3)
MIN_OBJECT_SIZE,其保证跨越两块之间的最小物体不漏检。
具体地,可以按照以下描述方式解释本申请:
1级联卷积网络需要对图像进行图像金字塔构建,项目以640*360为输入分辨率,以scale为0.6的缩放系数进行构造图像金字塔,金字塔图像列表计算公式为(input_w*0.6的n次方,input_h*0.6的n次方);
以人形检测最小检测大小为40为例,640*360对应的列表为(640,360),(384,216),(230,130),(138,78),(83,47),因为47再以0.6的比例缩放已经小于最小检测大小,所以(83,47)为最后一个金字塔图像;
2分块设计:
因为640*360的大分辨率图计算量占整体计算量的70%以上,所以重点对640*360进行分块优化;
16+3的设计理念:16指的是图像宽的方向分为四块,高的方向分为四块,3是指的金字塔列表里的最后三个。
16块的分块标准以以下公式计算:
(INPUT_W-WLEN_W)/INC_W+1=FN_W (1)
(INPUT_H-WLEN_H)/INC_H+1=FN_H (2)
INPUT_W/INPUT_H为输入图像的宽和高
WLEN_W/WLEN_H为分块的宽和高长度
INC_W/INC_H为块移
FN_W/FN_H是在横向和纵向要分的块数
块移的计算通过以下公式计算:
MIN_OBJECT_SIZE为最小检测物体大小
INC_W=(INPUT_W–MIN_OBJECT_SIZE)/FN_W (3)
尤为重要的是MIN_OBJECT_SIZE,其保证跨越两块之间的最小物体不漏检;
以640*360为例:
INPUT_W=640
FN_W=4
根据公式(3)
INC_W=(640–40)/4=150
根据公式(1)
WLEN_W=190
此例中WLEN_W为190,取金字塔的最后三个(230,130),(138,78),(83,47)作为16+3后面的3的设计理念,对于跨越两块的大目标有检测能力并且计算量很小。
同理:
INPUT_H=360
FN_H=4
INC_H=(360–40)/4=80
WLEN_H=120。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种人形上半身检测分块设计方法,其特征在于,所述方法包括以下步骤:
S1,级联卷积网络对图像进行图像金字塔构建,以M*N为输入分辨率,以scale为i的缩放系数进行构造图像金字塔,金字塔图像列表计算公式为:input_w*i的n次方,input_h*i的n次方;
S2,以16+3的设计理念进行分块优化,其中,16指的是图像宽的方向分为四块,高的方向分为四块,3是指的图像金字塔列表里的最后三个,且16块的分块标准按以下公式计算:
(INPUT_W-WLEN_W)/INC_W+1=FN_W (1)
(INPUT_H-WLEN_H)/INC_H+1=FN_H (2)
其中,
INPUT_W/INPUT_H为输入图像的宽/高;
WLEN_W/WLEN_H为分块的宽/高长度;
INC_W/INC_H为块移;
FN_W/FN_H是在横向/纵向要分的块数。
2.根据权利要求1所述的一种人形上半身检测分块设计方法,其特征在于,所述步骤S1中,所述的以M*N为输入分辨率,M=640,N=360;所述的i=0.6。
3.根据权利要求2所述的一种人形上半身检测分块设计方法,其特征在于,所述步骤S1中,人形检测最小检测大小为40,输入分辨率640*360对应的列表为(640,360),(384,216),(230,130),(138,78),(83,47),因为47再以0.6的比例缩放已经小于最小检测大小,所以(83,47)作为最后一个金字塔图像。
4.根据权利要求1所述的一种人形上半身检测分块设计方法,其特征在于,所述的步骤S2中,所述的块移的计算通过以下公式计算:
MIN_OBJECT_SIZE为最小检测物体大小
INC_W=(INPUT_W–MIN_OBJECT_SIZE)/FN_W (3)
MIN_OBJECT_SIZE,其保证跨越两块之间的最小物体不漏检。
5.根据权利要求4所述的一种人形上半身检测分块设计方法,其特征在于,所述的以M*N为输入分辨率,M=640,N=360;所述的i=0.6,则INPUT_W=640
FN_W=4
根据公式(3)
INC_W=(640–40)/4=150
根据公式(1)
WLEN_W=190。
6.根据权利要求5所述的一种人形上半身检测分块设计方法,其特征在于,所述的WLEN_W为190,取图像金字塔的最后三个(230,130),(138,78),(83,47)作为16+3的设计理念的后面的3。
7.根据权利要求5所述的一种人形上半身检测分块设计方法,其特征在于,进一步同理:
INPUT_H=360
FN_H=4
根据公式(3)
INC_H=(360–40)/4=80
根据公式(1)
WLEN_H=120。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010264080.7A CN113496175A (zh) | 2020-04-07 | 2020-04-07 | 一种人形上半身检测分块设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010264080.7A CN113496175A (zh) | 2020-04-07 | 2020-04-07 | 一种人形上半身检测分块设计方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113496175A true CN113496175A (zh) | 2021-10-12 |
Family
ID=77995429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010264080.7A Pending CN113496175A (zh) | 2020-04-07 | 2020-04-07 | 一种人形上半身检测分块设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113496175A (zh) |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101550665B1 (ko) * | 2014-03-27 | 2015-09-07 | 서강대학교산학협력단 | 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법 |
US20160098619A1 (en) * | 2014-10-02 | 2016-04-07 | Xerox Corporation | Efficient object detection with patch-level window processing |
US20170147905A1 (en) * | 2015-11-25 | 2017-05-25 | Baidu Usa Llc | Systems and methods for end-to-end object detection |
US20170364757A1 (en) * | 2016-06-20 | 2017-12-21 | Delphi Technologies, Inc. | Image processing system to detect objects of interest |
CN107516312A (zh) * | 2017-08-14 | 2017-12-26 | 北京工业大学 | 一种应用浅层神经网络的中医面色自动分类方法 |
WO2018030593A1 (ko) * | 2016-08-10 | 2018-02-15 | 한국과학기술원 | 라플라시안 패치 기반 이미지 합성 방법 및 장치 |
CN108509898A (zh) * | 2018-03-29 | 2018-09-07 | 中国电子科技集团公司第五十四研究所 | 一种基于图像流的近实时遥感图像在线目标检测方法 |
CN108537235A (zh) * | 2018-03-27 | 2018-09-14 | 北京大学 | 一种低复杂度尺度金字塔提取图像特征的方法 |
US20180300880A1 (en) * | 2017-04-12 | 2018-10-18 | Here Global B.V. | Small object detection from a large image |
CN109902585A (zh) * | 2019-01-29 | 2019-06-18 | 中国民航大学 | 一种基于图模型的手指三模态融合识别方法 |
CN110310228A (zh) * | 2019-06-28 | 2019-10-08 | 福建师范大学 | 一种基于闭合链路数据重表达的人脸超分辨率处理方法及系统 |
-
2020
- 2020-04-07 CN CN202010264080.7A patent/CN113496175A/zh active Pending
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101550665B1 (ko) * | 2014-03-27 | 2015-09-07 | 서강대학교산학협력단 | 최적 계층적 블록 매칭 방법 및 시스템, 이를 이용한 영상 정합 방법 및 영상 압축 방법 |
US20160098619A1 (en) * | 2014-10-02 | 2016-04-07 | Xerox Corporation | Efficient object detection with patch-level window processing |
US20170147905A1 (en) * | 2015-11-25 | 2017-05-25 | Baidu Usa Llc | Systems and methods for end-to-end object detection |
US20170364757A1 (en) * | 2016-06-20 | 2017-12-21 | Delphi Technologies, Inc. | Image processing system to detect objects of interest |
WO2018030593A1 (ko) * | 2016-08-10 | 2018-02-15 | 한국과학기술원 | 라플라시안 패치 기반 이미지 합성 방법 및 장치 |
US20180300880A1 (en) * | 2017-04-12 | 2018-10-18 | Here Global B.V. | Small object detection from a large image |
CN107516312A (zh) * | 2017-08-14 | 2017-12-26 | 北京工业大学 | 一种应用浅层神经网络的中医面色自动分类方法 |
CN108537235A (zh) * | 2018-03-27 | 2018-09-14 | 北京大学 | 一种低复杂度尺度金字塔提取图像特征的方法 |
CN108509898A (zh) * | 2018-03-29 | 2018-09-07 | 中国电子科技集团公司第五十四研究所 | 一种基于图像流的近实时遥感图像在线目标检测方法 |
CN109902585A (zh) * | 2019-01-29 | 2019-06-18 | 中国民航大学 | 一种基于图模型的手指三模态融合识别方法 |
CN110310228A (zh) * | 2019-06-28 | 2019-10-08 | 福建师范大学 | 一种基于闭合链路数据重表达的人脸超分辨率处理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Munjiza et al. | Penalty function method for combined finite–discrete element systems comprising large number of separate bodies | |
EP2693300A2 (en) | Device and method for recognizing gesture based on direction of gesture | |
CN111640089A (zh) | 一种基于特征图中心点的缺陷检测方法及装置 | |
CN108596944A (zh) | 一种提取运动目标的方法、装置及终端设备 | |
CN109815876A (zh) | 基于地址事件流特征的手势识别方法 | |
CN111008631B (zh) | 图像的关联方法及装置、存储介质和电子装置 | |
CN111079604A (zh) | 面向大尺度遥感图像的微小目标快速检测方法 | |
CN109799703B (zh) | 一种粒子群自抗扰控制方法、装置及存储介质 | |
Joo et al. | Real‐Time Depth‐Based Hand Detection and Tracking | |
CN109032667B (zh) | 一种分子动力学模拟中邻接表快速建立方法和系统 | |
CN113536613B (zh) | 一种人群疏散模拟方法、装置、终端设备及存储介质 | |
CN113496175A (zh) | 一种人形上半身检测分块设计方法 | |
CN103970985A (zh) | 一种基于局部抽象凸估计的群体全局优化方法 | |
EP2987069B1 (en) | Detection of pan and scaling during multi-finger touch interactions | |
Suliman et al. | A fuzzy logic based method for edge detection | |
CN113554651A (zh) | 一种级联检测中分块优化的方法 | |
Yamamoto et al. | New approach for pedestrian dynamics by real-coded cellular automata (RCA) | |
WO2021036424A1 (zh) | 盒式滤波器并行高效计算方法 | |
Coupland et al. | Geometric Interval Type-2 Fuzzy Systems. | |
Bandini et al. | Generation of pedestrian groups distributions with probabilistic cellular automata | |
Shuangyan et al. | Lighter and Faster Face Mask Detection Method Based on YOLOv5 | |
CN107292850B (zh) | 一种基于最邻近搜索的光流并行加速方法 | |
JP2613961B2 (ja) | 索引の分割率変更処理方式 | |
Smith et al. | Efficient polygonal intersection determination with applications to robotics and vision | |
Rezig et al. | Control synthesis based on reachability graph with minimal cuts: Application to a flexible manufacturing system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |