CN113673578A - 图像检测方法、图像检测设备及计算机可读存储介质 - Google Patents
图像检测方法、图像检测设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN113673578A CN113673578A CN202110851206.5A CN202110851206A CN113673578A CN 113673578 A CN113673578 A CN 113673578A CN 202110851206 A CN202110851206 A CN 202110851206A CN 113673578 A CN113673578 A CN 113673578A
- Authority
- CN
- China
- Prior art keywords
- loss value
- feature
- feature extraction
- feature map
- image detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 98
- 238000000605 extraction Methods 0.000 claims abstract description 140
- 238000000034 method Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 46
- 238000010586 diagram Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 description 24
- 230000011218 segmentation Effects 0.000 description 13
- 238000004458 analytical method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 230000008878 coupling Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 210000003414 extremity Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 210000002414 leg Anatomy 0.000 description 4
- 210000003423 ankle Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 210000000617 arm Anatomy 0.000 description 2
- 210000000746 body region Anatomy 0.000 description 2
- 244000309466 calf Species 0.000 description 2
- 210000001513 elbow Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000003739 neck Anatomy 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000002832 shoulder Anatomy 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 241000283070 Equus zebra Species 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013434 data augmentation Methods 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 210000002478 hand joint Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像检测技术领域，公开了图像检测方法、图像检测设备及计算机可读存储介质。该方法包括：对包含待处理对象的待处理图像进行特征提取，得到第一特征图；分别对第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图；将多个第二特征图进行增强融合，得到第三特征图；根据多个第二特征图和第三特征图，确定待处理对象的对象信息。通过上述方式，能够提升图像检测的准确性。
Description
技术领域
本申请涉及图像检测技术领域，特别是涉及图像检测方法、图像检测设备及计算机可读存储介质。
背景技术
在图像检测技术中，有一种多任务检测方法，即可以使用该方法同时完成多个任务。
申请人长期研究发现，虽然可以完成多个任务，但是每个任务之间均是独立的，实质上就是利用不同的分支完成不同的任务，这样造成检测的准确性低下。
发明内容
本申请主要解决的技术问题是提供图像检测方法、图像检测设备及计算机可读存储介质，能够提升图像检测的准确性。
为了解决上述问题，本申请采用的一种技术方案是提供一种图像检测方法，该方法包括：对包含待处理对象的待处理图像进行特征提取，得到第一特征图；分别对第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图；将多个第二特征图进行增强融合，得到第三特征图；根据多个第二特征图和第三特征图，确定待处理对象的对象信息。
其中，多个第二特征图包括如下至少两种：用于表征待处理对象的全局信息的特征图；用于表征待处理对象的部件信息的特征图；用于表征待处理对象的关键点信息的特征图。
其中，分别对第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图，包括：将第一特征图输入训练后的图像检测网络；基于图像检测网络中的多个特征提取单元，对第一特征图进行特征提取，得到多个第二特征图；其中，不同特征提取单元对第一特征图进行不同层级的特征提取。
其中，多个特征提取单元至少包括如下两个：包括n个反卷积模块和n个膨胀卷积的第一特征提取单元；包括n/2个反卷积模块和2n个膨胀卷积的第二特征提取单元；包括n/4个反卷积模块和4n个膨胀卷积的第三特征提取单元；其中，n为4的倍数。
其中，该方法还包括：构建图像检测网络；其中，图像检测网络至少包括不同层级的特征提取单元、特征融合单元；将第一特征图输入至图像检测网络，得到不同层级的特征提取单元分别输出的第二特征图，以及得到特征融合单元输出的第三特征图；将第二特征图转化为第一向量，第三特征图转化为第二向量；基于第一向量、第二向量确定损失值；利用损失值对图像检测网络进行参数修正。
其中，不同层级的特征提取单元包括第一层级特征提取单元、第二层级特征提取单元和第三层级特征提取单元；基于第一向量、第二向量确定损失值，包括：根据第一层级特征提取单元输出的第二特征图转化的第一向量确定第一损失值；根据第二层级特征提取单元输出的第二特征图转化的第一向量确定第二损失值；根据第三层级特征提取单元输出的第二特征图转化的第一向量确定第三损失值；利用第一损失值和第二损失值确定第四损失值；利用第一损失值和第三损失值确定第五损失值；利用第二损失值和第三损失值确定第六损失值；利用第四损失值、第五损失值和第六损失值确定第七损失值；利用损失值对图像检测网络进行参数修正，包括：利用第一损失值、第二损失值、第三损失值和第七损失值对图像检测网络进行参数修正。
其中，根据第一层级特征提取单元输出的第二特征图转化的第一向量确定第一损失值，包括：利用第一层级特征提取单元输出的第二特征图转化的第一向量表征的预测信息与第一层级特征提取单元对应的真实信息确定第一损失值；
根据第二层级特征提取单元输出的第二特征图转化的第一向量确定第二损失值，包括：
利用第二层级特征提取单元输出的第二特征图转化的第一向量表征的预测信息与第二层级特征提取单元对应的真实信息确定第二损失值；
根据第三层级特征提取单元输出的第二特征图转化的第一向量确定第三损失值，包括：利用第三层级特征提取单元输出的第二特征图转化的第一向量表征的预测信息与第三层级特征提取单元对应的真实信息确定第三损失值。
其中，利用第四损失值、第五损失值和第六损失值确定第七损失值，包括：利用第一控制参数对第四损失值进行加权；利用第二控制参数对第五损失值进行加权；利用第三控制参数对第六损失值进行加权；对加权后的第四损失值、第五损失值和第六损失值求和得到第七损失值。
为了解决上述问题，本申请采用的另一种技术方案是提供一种图像检测设备，该图像检测设备包括处理器以及与处理器耦接的存储器；其中，存储器用于存储计算机程序，处理器用于执行计算机程序，以实现如上述技术方案提供的方法。
为了解决上述问题，本申请采用的另一种技术方案是提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现如上述技术方案提供的方法。
本申请的有益效果是：区别于现有技术的情况，本申请提供的图像检测方法、图像检测设备及计算机可读存储介质。该方法包括：对包含待处理对象的待处理图像进行特征提取，得到第一特征图；分别对第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图；将多个第二特征图进行增强融合，得到第三特征图；根据多个第二特征图和第三特征图，确定待处理对象的对象信息。通过上述方式，将不同层级的特征融合，能够使融合后的特征具有更多的特征信息，从而利用增强融合后的特征和之前的特征确定待处理对象的对象信息，能够提升图像检测的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的图像检测方法一实施例的流程示意图；
图2是本申请提供的图像检测方法另一实施例的流程示意图；
图3是本申请提供的图像检测方法另一实施例的流程示意图；
图4是本申请提供的图像检测方法另一实施例的流程示意图；
图5是本申请提供的步骤44一实施例的流程示意图；
图6是本申请提供的步骤447一实施例的流程示意图；
图7是本申请提供的图像检测方法另一实施例的流程示意图；
图8-图11是本申请提供的图像检测方法应用场景示意图；
图12是本申请提供的图像检测设备一实施例的结构示意图；
图13是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请提供的图像检测方法一实施例的流程示意图。该方法包括：
步骤11：对包含待处理对象的待处理图像进行特征提取，得到第一特征图。
在一些实施例中，待处理图像可以是通过图像采集装置实时采集的。待处理图像也可以是图像采集装置按照采集规则采集的，如固定时间间隔采集的。待处理图像也可以是图像采集装置预先采集的。
如，图像采集装置设置于交通场景中，待处理图像中则会存在车道线、斑马线、车辆和行人等一系列与交通相关的内容。
又如，图像采集装置设置于目标检测场景中，待处理图像中则会存在对应的检测目标或者只有背景信息，如检测目标可以是动物、人物或物品等。
作为一种实施例，在得到第一特征图的过程中，需要对待处理图像进行多次卷积、池化、修正等操作，得到待处理图像对应的第一特征图。
可以理解，步骤11是一个下采样过程。
在一些实施例中，第一特征图中的特征信息可以表征待处理图像中对象的基础特征。如，待处理图像中包括人体，则这些基础特征可以是人体的纹理，人体的色彩等基本信息。如，待处理图像中包括对象，则这些基础特征可以是对象的纹理以及对象的色彩等基本信息。
步骤12：分别对第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图。
在步骤12中，可以利用不同尺度的特征提取单元对第一特征图进行特征提取，得到对应不同层级的至少两个第二特征图。
以待处理图像中主要存在人体图像为例进行说明：
可以按照人体结构进行不同层级的特征提取，如，将人体轮廓作为第一层级，人体的肢体部件作为第二层级，将人体关键点作为第三层级。
分别利用不同结构的特征提取单元进行特征提取。如，利用人体关键点检测技术准确地估计出待处理图像中的人体n个主要关键点，可以包括：左右手肘、左右手腕、左右肩膀、头、脖子、左右脚踝、左右膝盖、左右臀和脚掌等人体主要关键点。人体关键点检测技术可应用于判断人体的状态，人体的姿势等。
利用人体分割技术准确的估计出待处理图像中的人体区域和背景区域，将正确的人体区域检测出来。人体分割技术可应用于人体行为分析，步态识别等。
利用人体部件解析技术准确的估计出待处理图像中人体的各个肢体部件，包括头部，左大臂，左小臂，右大臂，右小臂，上半身躯干，左大腿，左小腿，右大腿，右小腿等人体主要肢体部位。人体部件解析技术可应用于人体行为分析，行为识别等。
同理，也可以对其余对象按照上述方式分层级，如，动物，也可以将动物轮廓作为第一层级，动物的肢体部件作为第二层级，将动物关键点作为第三层级。
可以理解，上述不同层级的特征提取同时进行，能够减少处理过程所耗费的时间，提升处理效率。
步骤13：将多个第二特征图进行增强融合，得到第三特征图。
在步骤13中，可以对不同层级的第二特征图进行映射，以形成基于不同层级的第二特征图融合的第三特征图。在第三特征图中可以体现出不同层级特征之间的对应关系，使检测更加准确。
步骤14：根据多个第二特征图和第三特征图，确定待处理对象的对象信息。
此时，可以根据多个第二特征图和第三特征图确定待处理图像中的对象的状态。以对象为人体为例，可以根据第二特征图和第三特征图给出待处理图像中是否存在人体数据。若存在，则判断待处理图像中人体的行为状态。如可以是站立状态、蹲坐状态、行走状态、跑步状态、跌倒状态等。
在本实施例中，上述参与特征提取的网络是利用相对应的对象图像预先训练得到的。
在一应用场景中，上述参与特征提取的网络可以是同一图像检测网络，也可以是不同的图像检测网络。如，一图像检测网络用于执行步骤11，对输入的包含待处理对象的待处理图像进行特征提取，得到第一特征图，然后将第一特征图输入至另一图像检测网络中。上述步骤12可以是以下流程：
将第一特征图输入训练后的图像检测网络；基于图像检测网络中的多个特征提取单元，对第一特征图进行特征提取，得到多个第二特征图；其中，不同特征提取单元对第一特征图进行不同层级的特征提取。
在参与特征提取的网络是同一图像检测网络时，将包含待处理对象的待处理图像输入至该图像检测网络，图像检测网络执行上述步骤11-步骤14的流程。
在本实施例中，不同层级的第二特征图能够同时完成不同的任务，如可以完成目标分割任务，将背景和目标对象分割，可以完成对目标对象的部件分割，如将目标对象的部件分割并标记展示，还可以完成对目标对象关键点检测。
在本实施例中，通过对包含待处理对象的待处理图像进行特征提取，得到第一特征图；分别对第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图；将多个第二特征图进行增强融合，得到第三特征图；根据多个第二特征图和第三特征图，确定待处理对象的对象信息的方式，将不同层级的特征融合，能够使融合后的特征具有更多的特征信息，从而利用增强融合后的特征和之前的特征确定待处理对象的对象信息，能够提升图像检测的准确性。
参阅图2，图2是本申请提供的图像检测方法另一实施例的流程示意图。该方法包括：
步骤21：对包含待处理对象的待处理图像进行特征提取，得到第一特征图。
步骤21与上述实施例具有相同或相似的技术方案，这里不做赘述。
步骤22：对第一特征图进行第一层级的特征提取，得到第一层级的第二特征图。
其中，第一层级的第二特征图用于表征对象的全局信息。以对象为人体为例，第一层级的第二特征图可以表征该人体轮廓。以对象为物品为例，第一层级的第二特征图可以表征该物品轮廓，如椅子轮廓、汽车轮廓等。
在此过程中，相当于利用分割技术准确的估计出待处理图像中的对象区域和背景区域，将正确的对象区域检测出来。具体地，可以使用目标分割技术，将第一特征图中表征对象区域和背景区域的像素进行分割。
步骤23：对第一特征图进行第二层级的特征提取，得到第二层级的第二特征图。
其中，第二层级的第二特征图用于表征对象的部件信息。以对象为人体为例，第二层级的第二特征图可以表征该人体肢体部件，如手臂、腿、脑袋、上半身、下半身。以对象为物品为例，第二层级的第二特征图可以表征该物品部件，如物品为椅子，第二特征图中可以表征椅子腿、椅背等。
在此过程中，相当于利用部件解析技术准确的估计出物品的各个部件等。
步骤24：对第一特征图进行第三层级的特征提取，得到第三层级的第二特征图。
其中，第三层级的第二特征图用于表征对象的关键点信息。以对象为人体为例，第三层级的第二特征图可以表征该人体关键点，如左右手肘、左右手腕、左右肩膀、头、脖子、左右脚踝、左右膝盖、左右臀和脚掌。以对象为物品为例，第三层级的第二特征图可以表征该物品关键点，如物品为椅子，第二特征图中可以表征椅子腿的连接处、椅背连接处等。
在此过程中，相当于利用关键点检测技术准确的估计出物品的各个关键点等。
步骤25：将第一层级的第二特征图、第二层级的第二特征图和第三层级的第二特征图进行增强融合，得到第三特征图。
步骤26：根据多个第二特征图和第三特征图，确定待处理图像中的对象信息。
根据不同层级的第二特征图完成不同的检测任务，如图像背景和对象的分割、对象部件分割以及对象关键点的提取。
通过上述方式，将不同层级的特征融合，能够使融合后的特征具有更多的特征信息，从而利用增强融合后的特征和之前的特征确定待处理图像中的对象信息，能够提升图像检测的准确性。
参阅图3，图3是本申请提供的图像检测方法另一实施例的流程示意图。该方法包括：
步骤31：对包含待处理对象的待处理图像进行特征提取，得到第一特征图。
步骤31与上述任一实施例的技术方案相同或相似，这里不再赘述。
在本实施例中，利用对应结构的特征提取单元对第一特征图进行特征提取，具体的，参阅步骤32-步骤34。
步骤32：利用第一特征提取单元对第一特征图进行第一层级的特征提取，得到第一层级的第二特征图。
第一层级的第二特征图用于表征对象的全局信息。
其中，第一特征提取单元包括n个反卷积模块和n个膨胀卷积。
第一特征图是一个小分辨的图像，可以经过n个反卷积模块和n个膨胀卷积进行上采样，恢复为一个大分辨的图像。利用膨胀卷积可以增加感受野，有利于全局信息的提取，使提取到的特征更加准确。
步骤33：利用第二特征提取单元对第一特征图进行第二层级的特征提取，得到第二层级的第二特征图。
第二层级的第二特征图用于表征对象的部件信息。
其中，第二特征提取单元包括n/2个反卷积模块和2n个膨胀卷积。
第一特征图是一个小分辨的图像，可以经过n/2个反卷积模块和2n个膨胀卷积进行上采样，恢复为一个较大分辨的图像。利用膨胀卷积可以增加感受野，有利于局部信息的提取，使提取到的局部特征更加准确。
可以理解，因步骤34是对应局部信息进行提取，因此无需向第一特征提取单元那样拥有更大的分辨率，因此反卷积模块的数量可以是第一特征提取单元的一半。
步骤34：利用第三特征提取单元对第一特征图进行第三层级的特征提取，得到第三层级的第二特征图。
其中，第三层级的第二特征图用于表征对象的关键点信息。
其中，第三特征提取单元包括n/4个反卷积模块和4n个膨胀卷积；其中，n为4的倍数。
第一特征图是一个小分辨的图像，可以经过n/4个反卷积模块和4n个膨胀卷积进行上采样，恢复为一个相对第一特征图的大分辨的图像。利用膨胀卷积可以增加感受野，有利于局部信息的提取，使提取到的局部特征更加准确。
可以理解，因步骤34是对应关键点信息进行提取，对局部语义信息较为敏感，因此无需向第一特征提取单元那样拥有更大的分辨率，因此反卷积模块的数量可以是第一特征提取单元的四分之一。
步骤35：将第一层级的第二特征图、第二层级的第二特征图和第三层级的第二特征图进行增强融合，得到第三特征图。
步骤36：根据多个第二特征图和第三特征图，确定待处理图像中的对象信息。
通过上述方式，将不同层级的特征融合，能够使融合后的特征具有更多的特征信息，从而利用增强融合后的特征和之前的特征确定待处理对象的对象信息，能够提升图像检测的准确性，提升图像检测的准确性。
参阅图4，图4是本申请提供的图像检测方法另一实施例的流程示意图。本实施例用于介绍上述参与图像检测的图像检测网络的训练过程。该方法包括：
步骤41：构建图像检测网络。
其中，图像检测网络至少包括不同层级的特征提取单元、特征融合单元、全连接单元。
其中，共用特征提取单元与不同层级的特征提取单元连接，共用特征提取单元的输出分别作为不同层级的特征提取单元的输入。不同层级的特征提取单元的输出作为特征融合单元的输入。且不同层级的特征提取单元还连接全连接单元，以使全连接单元对每一层级的特征提取单元的输出进行预测。特征融合单元还连接全连接单元，特征融合单元的输出作为全连接单元的输入。
步骤42：将第一特征图输入至图像检测网络，得到不同层级的特征提取单元分别输出的第二特征图，以及得到特征融合单元输出的第三特征图。
步骤43：将第二特征图转化为第一向量，第三特征图转化为第二向量。
在一些实施例中，训练图像在输入至图像检测网络之前，需要对训练图像上的本次训练的目标进行标注，以作为真实信息。在标注后，可对训练图像进行数据增广，如，旋转、调整像素等，以扩大训练图像的数量，提升训练质量。
然后将训练图像输入至图像检测网络的共用特征提取单元。在共用特征提取单元中，可以采用下采样的方式得到训练图像中的特征，进而形成第一特征图。共用特征提取单元可以利用多个卷积模块、池化模块进行构建。
然后此时得到的第一特征图作为不同层级的特征提取单元的输入，使每个特征提取单元输出的对应层级的第二特征图，将第二特征图用第一向量表示。将每个第二特征图输入至特征融合单元进行耦合，得到第三特征图，将第三特征图用第二向量表示。
步骤44：基于第一向量、第二向量确定损失值。
此时，每个第一向量输入至全连接层，以进行损失值计算，第二向量输入至全连接层，以进行损失值计算。
在一些实施例中，参阅图5，步骤44可以是如下流程：
步骤441：根据第一层级特征提取单元输出的第二特征图转化的第一向量确定第一损失值。
具体地，利用第一层级特征提取单元输出的第二特征图转化的第一向量表征的预测信息与第一层级特征提取单元对应的真实信息确定第一损失值。
其中，可以用以下公式进行计算：
其中，Lossseg表示第一损失值，n表示分割类别数，Pi表示预测信息，
表示真实信息。
步骤442：根据第二层级特征提取单元输出的第二特征图转化的第一向量确定第二损失值。
具体地，利用第二层级特征提取单元输出的第二特征图转化的第一向量表征的预测信息与第二层级特征提取单元对应的真实信息确定第二损失值。
其中，可以用以下公式进行计算：
其中，Lossparse表示第二损失值，n表示部件类别数，Pi表示预测信息，
表示真实信息，j表示n个部件类别数中的第j个类别。可以理解，每一特征提取单元具有对应的真实信息，以及预测信息。
步骤443：根据第三层级特征提取单元输出的第二特征图转化的第一向量确定第三损失值。
利用第三层级特征提取单元输出的第二特征图转化的第一向量表征的预测信息与第三层级特征提取单元对应的真实信息确定第三损失值。
其中，可以用以下公式进行计算：
其中，Losskp表示第三损失值，n表示关键点个数，Pi表示预测信息，
表示真实信息。
步骤444：利用第一损失值和第二损失值确定第四损失值。
其中，可以用以下公式进行计算：
通过这样的方式，全局信息和局部信息两者之间进行互相监督，能够起到相互促进的作用，全局使的过渡阶段的局部信息的特征关注点更加专一，而局部信息的特征使得全局特征更加精细。
步骤445：利用第一损失值和第三损失值确定第五损失值。
通过这样的方式，全局信息和关键点信息两者之间进行互相监督，能够起到相互促进的作用，全局信息使得关键点信息的特征关注点更加专一，而关键点信息的特征使得全局特征更加精细。
步骤446：利用第二损失值和第三损失值确定第六损失值。
通过这样的方式，局部信息和关键点信息两者之间进行互相监督，能够起到相互促进的作用，局部信息使得关键点信息的特征关注点更加专一，而关键点信息的特征使得局部信息更加精细。
步骤447：利用第四损失值、第五损失值和第六损失值确定第七损失值。
在一些实施例中，参阅图6，步骤447可以是如下流程：
步骤4471：利用第一控制参数对第四损失值进行加权。
步骤4472：利用第二控制参数对第五损失值进行加权。
步骤4473：利用第三控制参数对第六损失值进行加权。
步骤4474：对加权后的第四损失值、第五损失值和第六损失值求和得到第七损失值。
步骤4471-步骤4474可以用以下公式表示：
其中，Loss耦合表示第七损失值，α表示第一控制参数，β表示第二控制参数，γ表示第三控制参数。
第一控制参数、第二控制参数、第三控制参数可以在进行参数修正时进行修正，以参与下一次迭代训练。
步骤45：利用损失值对图像检测网络进行参数修正。
利用第一损失值、第二损失值、第三损失值和第七损失值对图像检测网络进行参数修正。
在本实施例中，可以利用反向传播的方式进行参数修正，以对上述的共用特征提取单元、不同层级的特征提取单元、特征融合单元、全连接单元中的参数进行更新。利用反向传播的方式，能够使图像检测网络收敛速度加快，提升训练效率。
按照上述步骤42-步骤44的流程，利用多个第一特征图对图像检测网络进行多次迭代训练，直至图像检测网络的精度满足要求，即可将训练完成的图像检测网络用于图像检测。
通过上述方式，提出的三个多任务学习分支，可以抽象出不同层级的对象体征，由于对象骨架特征之间的相互耦合关系，可以使得多个任务的耦合关系更加紧密，且互相相关，实现了更紧密的耦合，进而能够提升应用图像检测网络进行图像检测的准确性。
在其他实施例中，第一特征图也是在该图像检测网络中得到，则图像检测网络的训练过程为：构建图像检测网络，将训练图像输入至图像检测网络进行训练。具体地，在图像检测网络中，对训练图像进行特征提取，得到第一特征图，然后利用不同层级的特征提取单元对第一特征图进行特征提取，得到至少两个第二特征图，然后将至少两个第二特征图在特征融合单元进行特征融合，得到第三特征图。基于至少两个第二特征图和第三特征图进行向量转化，利用转化后的向量计算对应的损失值，然后根据损失值进行参数修正。
在一应用场景中，以人体图像作为训练图像，结合图7进行说明：
首先，将训练图像输入至共用特征层，以提取出如上述任一实施例提及的第一特征图。然后将第一特征图分别输入至全局特征提取层、部件分析特征提取层、关键点特征提取层。
其中，全局特征提取层可用于提取训练图像中的人体全局轮廓，部件分析特征提取层可用于提取训练图像中的人体部件轮廓，如手臂、头、腿，关键点特征提取层可用于提取训练图像中的人体关键点，如，眼睛、鼻子、肘关节、膝关节、脚踝、手关节。
然后分别对全局特征提取层输出的第二特征图进行全局损失计算，得到第一损失值。
部件分析特征提取层输出的第二特征图进行部件分析损失计算，得到第二损失值。
关键点特征提取层输出的第二特征图进行关键点损失计算，得到第三损失值。
且，对全局特征提取层输出的第二特征图、关键点特征提取层输出的第二特征图、部件分析特征提取层输出的第二特征图进行分级映射，得到第三特征图，对第三特征图进行耦合损失计算，得到第七损失值。
利用第一损失值、第二损失值、第三损失值和第七损失值对图像检测网络进行参数修正。
结合图8-图11所示，图8为原始图像，图9为利用全局特征提取层提取的图像信息。图10为利用部件分析特征提取层提取的图像信息。图11为利用关键点特征提取层提取的图像信息。将图9所示的人体分割特征定义为全局骨架，将图10所示的人体部件特征定义为过渡骨架，将图11所示的将人体关键点信息定义为细节骨架。很显然，从骨架特征而言，分割部分提供的是全局的轮廓信息，人体部件解析提供的是进一步细分的基于肢体部件的轮廓。这两者之间进行互相监督，能够起到相互促进的作用，全局是的过渡阶段的特征关注点更加专一，而过渡特征使得全局特征更加精细。同理全局特征和关键点特征也是相互促进。细节特征和过渡特征也能相互促进。
因此，基于三种不同层级的骨架特征，以骨架为依托，构建骨架耦合的损失，来促进三个任务的协同优化学习，各自都能达到比训练单个或者任意两个都好的性能效果。
从而在训练完成后，能够在进行图像检测时，能够完成三个不同的任务，且具有更高的准确性。
参阅图12，图12是本申请提供的图像检测设备一实施例的结构示意图。该图像检测设备120包括处理器121以及与处理器121耦接的存储器122；其中，存储器122用于存储计算机程序，处理器121用于执行计算机程序，以实现以下方法：
对包含待处理对象的待处理图像进行特征提取，得到第一特征图；分别对第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图；将多个第二特征图进行增强融合，得到第三特征图；根据多个第二特征图和第三特征图，确定待处理对象的对象信息。
可以理解，处理器121还用于执行计算机程序，以实现上述任一实施例的方法，这里不在做赘述。
参阅图13，图13是本申请提供的计算机可读存储介质一实施例的结构示意图。该计算机可读存储介质130用于存储计算机程序131，计算机程序131在被处理器执行时，用于实现以下方法：
对包含待处理对象的待处理图像进行特征提取，得到第一特征图；分别对第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图；将多个第二特征图进行增强融合，得到第三特征图；根据多个第二特征图和第三特征图，确定待处理对象的对象信息。
可以理解，计算机程序131在被处理器执行时，还用于实现上述任一实施例的方法，这里不在做赘述。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。
Claims (10)
1.一种图像检测方法，其特征在于，所述方法包括：
对包含待处理对象的待处理图像进行特征提取，得到第一特征图；
分别对所述第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图；
将所述多个第二特征图进行增强融合，得到第三特征图；
根据所述多个第二特征图和所述第三特征图，确定所述待处理对象的对象信息。
2.根据权利要求1所述的方法，其特征在于，所述多个第二特征图包括如下至少两种：
用于表征所述待处理对象的全局信息的特征图；
用于表征所述待处理对象的部件信息的特征图；
用于表征所述待处理对象的关键点信息的特征图。
3.根据权利要求1所述的方法，其特征在于，所述分别对所述第一特征图进行不同层级的特征提取，得到对应不同层级的多个第二特征图，包括：
将所述第一特征图输入训练后的图像检测网络；
基于所述图像检测网络中的多个特征提取单元，对所述第一特征图进行特征提取，得到所述多个第二特征图；其中，不同特征提取单元对所述第一特征图进行不同层级的特征提取。
4.根据权利要求3所述的方法，其特征在于，所述多个特征提取单元至少包括如下两个：
包括n个反卷积模块和n个膨胀卷积的第一特征提取单元；
包括n/2个反卷积模块和2n个膨胀卷积的第二特征提取单元；
包括n/4个反卷积模块和4n个膨胀卷积的第三特征提取单元；
其中，n为4的倍数。
5.根据权利要求4所述的方法，其特征在于，
所述方法还包括：
构建所述图像检测网络；其中，所述图像检测网络至少包括不同层级的特征提取单元、特征融合单元；
将所述第一特征图输入至所述图像检测网络，得到所述不同层级的特征提取单元分别输出的所述第二特征图，以及得到所述特征融合单元输出的所述第三特征图；
将所述第二特征图转化为第一向量，所述第三特征图转化为第二向量；
基于所述第一向量、所述第二向量确定损失值；
利用所述损失值对所述图像检测网络进行参数修正。
6.根据权利要求5所述的方法，其特征在于，
所述不同层级的特征提取单元包括第一层级特征提取单元、第二层级特征提取单元和第三层级特征提取单元；
所述基于所述第一向量、所述第二向量确定损失值，包括：
根据所述第一层级特征提取单元输出的所述第二特征图转化的第一向量确定第一损失值；
根据所述第二层级特征提取单元输出的所述第二特征图转化的第一向量确定第二损失值；
根据所述第三层级特征提取单元输出的所述第二特征图转化的第一向量确定第三损失值；
利用所述第一损失值和所述第二损失值确定第四损失值；
利用所述第一损失值和所述第三损失值确定第五损失值；
利用所述第二损失值和所述第三损失值确定第六损失值；
利用所述第四损失值、所述第五损失值和所述第六损失值确定第七损失值；
所述利用所述损失值对所述图像检测网络进行参数修正，包括：
利用所述第一损失值、所述第二损失值、所述第三损失值和所述第七损失值对所述图像检测网络进行参数修正。
7.根据权利要求6所述的方法，其特征在于，
所述根据所述第一层级特征提取单元输出的所述第二特征图转化的第一向量确定第一损失值，包括：
利用所述第一层级特征提取单元输出的所述第二特征图转化的第一向量表征的预测信息与所述第一层级特征提取单元对应的真实信息确定所述第一损失值；
所述根据所述第二层级特征提取单元输出的所述第二特征图转化的第一向量确定第二损失值，包括：
利用所述第二层级特征提取单元输出的所述第二特征图转化的第一向量表征的预测信息与所述第二层级特征提取单元对应的真实信息确定所述第二损失值；
所述根据所述第三层级特征提取单元输出的所述第二特征图转化的第一向量确定第三损失值，包括：
利用所述第三层级特征提取单元输出的所述第二特征图转化的第一向量表征的预测信息与所述第三层级特征提取单元对应的真实信息确定所述第三损失值。
8.根据权利要求6所述的方法，其特征在于，
所述利用所述第四损失值、所述第五损失值和所述第六损失值确定第七损失值，包括：
利用第一控制参数对所述第四损失值进行加权；
利用第二控制参数对所述第五损失值进行加权；
利用第三控制参数对所述第六损失值进行加权；
对加权后的所述第四损失值、所述第五损失值和所述第六损失值求和得到所述第七损失值。
9.一种图像检测设备，其特征在于，所述图像检测设备包括处理器以及与所述处理器耦接的存储器；
其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序，以实现如权利要求1-8任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序在被处理器执行时，用于实现如权利要求1-8任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110851206.5A CN113673578A (zh) | 2021-07-27 | 2021-07-27 | 图像检测方法、图像检测设备及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110851206.5A CN113673578A (zh) | 2021-07-27 | 2021-07-27 | 图像检测方法、图像检测设备及计算机可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113673578A true CN113673578A (zh) | 2021-11-19 |
Family
ID=78540346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110851206.5A Pending CN113673578A (zh) | 2021-07-27 | 2021-07-27 | 图像检测方法、图像检测设备及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113673578A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118353493A (zh) * | 2024-04-28 | 2024-07-16 | 青岛裕华电子科技有限公司 | 一种基于电力载波的通信数据监管系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190156144A1 (en) * | 2017-02-23 | 2019-05-23 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN110866897A (zh) * | 2019-10-30 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
| CN111401265A (zh) * | 2020-03-19 | 2020-07-10 | 重庆紫光华山智安科技有限公司 | 行人重识别方法、装置、电子设备和计算机可读存储介质 |
| CN112001403A (zh) * | 2020-08-11 | 2020-11-27 | 北京化工大学 | 一种图像轮廓检测方法及系统 |
| CN112052945A (zh) * | 2019-06-06 | 2020-12-08 | 北京地平线机器人技术研发有限公司 | 神经网络的训练方法、神经网络的训练装置和电子设备 |
| CN112215180A (zh) * | 2020-10-20 | 2021-01-12 | 腾讯科技（深圳）有限公司 | 一种活体检测方法及装置 |
| CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
| CN112800691A (zh) * | 2021-04-15 | 2021-05-14 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 一种构建降水等级预测模型的方法及装置 |
-
2021
- 2021-07-27 CN CN202110851206.5A patent/CN113673578A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190156144A1 (en) * | 2017-02-23 | 2019-05-23 | Beijing Sensetime Technology Development Co., Ltd | Method and apparatus for detecting object, method and apparatus for training neural network, and electronic device |
| CN112052945A (zh) * | 2019-06-06 | 2020-12-08 | 北京地平线机器人技术研发有限公司 | 神经网络的训练方法、神经网络的训练装置和电子设备 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN110866897A (zh) * | 2019-10-30 | 2020-03-06 | 上海联影智能医疗科技有限公司 | 一种图像检测方法及计算机可读存储介质 |
| CN111401265A (zh) * | 2020-03-19 | 2020-07-10 | 重庆紫光华山智安科技有限公司 | 行人重识别方法、装置、电子设备和计算机可读存储介质 |
| CN112001403A (zh) * | 2020-08-11 | 2020-11-27 | 北京化工大学 | 一种图像轮廓检测方法及系统 |
| CN112215180A (zh) * | 2020-10-20 | 2021-01-12 | 腾讯科技（深圳）有限公司 | 一种活体检测方法及装置 |
| CN112633156A (zh) * | 2020-12-22 | 2021-04-09 | 浙江大华技术股份有限公司 | 车辆检测方法、图像处理装置以及计算机可读存储介质 |
| CN112800691A (zh) * | 2021-04-15 | 2021-05-14 | 中国气象局公共气象服务中心(国家预警信息发布中心) | 一种构建降水等级预测模型的方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| KHAWAJA TEHSEEN AHMED ET AL: "Fusion of local and global features for effective image extraction", 《APPLIED INTELLIGENCE》, 11 April 2017 (2017-04-11), pages 526 - 543, XP036297584, DOI: 10.1007/s10489-017-0916-1 * |
| 史秋月: "少样本下的图像分类与检测", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 April 2021 (2021-04-15), pages 138 - 731 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118353493A (zh) * | 2024-04-28 | 2024-07-16 | 青岛裕华电子科技有限公司 | 一种基于电力载波的通信数据监管系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110516620B (zh) | 目标跟踪方法、装置、存储介质及电子设备 | |
| CN114724241A (zh) | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 | |
| US20220254157A1 (en) | Video 2D Multi-Person Pose Estimation Using Multi-Frame Refinement and Optimization | |
| CN109960962B (zh) | 图像识别方法、装置、电子设备以及可读存储介质 | |
| CN109063584B (zh) | 基于级联回归的面部特征点定位方法、装置、设备及介质 | |
| Hashmi et al. | FashionFit: Analysis of mapping 3D pose and neural body fit for custom virtual try-on | |
| CN111008583A (zh) | 一种利用肢体特征辅助的行人和骑车人姿态估计方法 | |
| CN111968165A (zh) | 动态人体三维模型补全方法、装置、设备和介质 | |
| CN111507184B (zh) | 基于并联空洞卷积和身体结构约束的人体姿态检测方法 | |
| CN111160225B (zh) | 基于深度学习的人体解析方法和装置 | |
| Li et al. | Automatic road extraction from remote sensing imagery using ensemble learning and postprocessing | |
| CN113269700A (zh) | 视频生成方法、装置、电子设备及存储介质 | |
| CN113570685A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| Shen et al. | Semantic image segmentation via guidance of image classification | |
| CN113673578A (zh) | 图像检测方法、图像检测设备及计算机可读存储介质 | |
| CN113158970B (zh) | 一种基于快慢双流图卷积神经网络的动作识别方法与系统 | |
| CN111914809B (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
| CN116468831B (zh) | 模型处理方法、装置、设备及存储介质 | |
| CN117010492A (zh) | 基于知识迁移进行模型训练的方法及装置 | |
| CN116798127A (zh) | 一种基于全卷积的太极拳全身姿态估计方法、设备和介质 | |
| CN111489196A (zh) | 基于深度学习网络的预测方法、装置、电子设备及介质 | |
| CN114638744B (zh) | 人体姿态迁移方法及装置 | |
| CN114663917A (zh) | 基于多视角的多人三维人体位姿估计方法及装置 | |
| Wang et al. | Tongue semantic segmentation based on fully convolutional neural network | |
| Liu et al. | Single-image clothed 3D human reconstruction guided by a well-aligned parametric body model |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |