CN112488906A - 基于多线程的图像处理方法、计算机设备和存储介质 - Google Patents
基于多线程的图像处理方法、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112488906A CN112488906A CN202011373418.9A CN202011373418A CN112488906A CN 112488906 A CN112488906 A CN 112488906A CN 202011373418 A CN202011373418 A CN 202011373418A CN 112488906 A CN112488906 A CN 112488906A
- Authority
- CN
- China
- Prior art keywords
- image
- decoding
- target
- main thread
- task
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 63
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000010191 image analysis Methods 0.000 claims abstract description 18
- 238000007405 data analysis Methods 0.000 claims abstract description 17
- 238000004590 computer program Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 11
- 230000004913 activation Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010230 functional analysis Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于多线程的图像处理方法、计算机设备和存储介质，所述方法包括：主线程创建多个解码子线程；所述主线程发送解码指令到所述多个解码子线程，使所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集；所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集；所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果；因此，本发明解决了现有技术对视频图像的处理方法处理速度较慢和处理质量低的问题，满足了用户对视频图像实时处理的需求。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及基于多线程的图像处理方法、计算机设备和存储介质。
背景技术
目前，在图像处理过程中一般是在中央处理器上通过单线程进行图像处理，而由于中央处理器对图像进行处理的速度和图像的像素个数成正比，因此在处理较高分变形的图像时处理速度和处理质量都不太理想；特别是在对多路输入源进行图像处理时，不仅增加了中央处理器的处理负担，还存在较长等待时间。
可见，现有技术对视频图像的处理方法处理速度较慢，不能满足用户对视频图像实时处理的需求。
发明内容
针对现有技术中所存在的不足，本发明提供的基于多线程的图像处理方法、计算机设备和存储介质，其解决了现有技术对视频图像的处理方法处理速度较慢和处理质量低的问题，满足了用户对视频图像实时处理的需求。
第一方面，本发明提供一种基于多线程的图像处理方法，所述方法包括：主线程创建多个解码子线程；所述主线程发送解码指令到所述多个解码子线程，使所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集；所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集；所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果。
可选地，所述主线程创建多个解码子线程，包括：所述主线程获取任务队列中的解码任务数量和当前中央处理器的最大线程数，所述任务队列中存放多个解码任务，每个解码任务对应一路视频图像；所述主线程根据所述任务数量和所述最大线程数，创建多个解码子线程。
可选地，所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集，包括：所述多个解码子线程根据所述解码指令同时对每个解码任务中的每帧图像进行解码，得到每帧解码图像；所述多个解码子线程将所述每帧解码图像依次存放到解码队列；所述主线程实时获取所述解码队列中与每个解码任务相匹配的解码图像数量值；判断所述解码图像数量值是否等于第一预设值；当所述解码图像数量值等于所述第一预设值时，将所述解码图像数量值所对应的解码图像作为所述目标解码图像集。
可选地，所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集之前，所述方法还包括：所述主线程控制所述目标解码图像集转存到帧缓存；所述主线程获取当前图形处理器的第一数值；所述主线程根据所述第一数值和当前帧缓存中目标解码图像集的第二数值，每个图形处理器分配相对应的目标解码图像集。
可选地，所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集，包括：所述图形处理器按照预设标准尺寸，对所述目标解码图像集中每帧图像的尺寸进行修改，得到标准图像集；所述图形处理器对所述标准图像集进行滤波，得到所述目标图像集；所述图形处理器将所述目标图像集输入目标检测模型进行图像识别，得到每个目标图像的检测结果；其中，所有检测结果组合成所述目标解码图像集的检测结果集。
可选地，所述每个目标图像的检测结果，包括：多个作业类别和多个位置信息，所述多个位置信息与所述多个作业类别相对应。
可选地，当所述多个作业类别包括未佩戴安全帽、佩戴安全帽、佩戴安全带、未佩戴安全带、已系安全卡扣、未系安全卡扣和安全卡扣位置违规时，所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果，包括：所述主线程获取当前时间段内当前解码任务相匹配的所有检测结果；所述主线程对所有检测结果进行分类汇总，获取到每个作业类别的数量；所述主线程判断所述佩戴安全帽的数量是否小于第一阈值；当所述佩戴安全帽的数量大于或等于所述第一阈值时，所述主线程判断所述佩戴安全带的数量是否小于第二阈值；当所述佩戴安全带的数量大于或等于所述第二阈值时，所述主线程判断所述已系安全卡扣的数量是否小于第三阈值；当所述已系安全卡扣的数量大于或等于所述第三阈值时，所述主线程判断所述安全卡扣的位置是否存在违规；当所述安全卡扣的位置不存在违规时，所述主线程判定当前解码任务在所述当前时间段的图像分析结果为正常作业状态。
可选地，所述图形处理器将所述目标图像集输入目标检测模型进行图像识别，得到每个目标图像的检测结果之后，包括：所述主线程根据所述多个位置信息，生成多个位置边框；所述主线程将所述多个作业类别、所述多个位置边框与相对应的解码图像进行编码，得到当前时间段的标注视频图像。
第二方面，本发明提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：主线程创建多个解码子线程；所述主线程发送解码指令到所述多个解码子线程，使所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集；所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集；所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果。
第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：主线程创建多个解码子线程；所述主线程发送解码指令到所述多个解码子线程，使所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集；所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集；所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果。
相比于现有技术，本发明具有如下有益效果：
本发明通过在中央处理器中采用多线程同时对多路视频图像进行解码处理，从而提高了解码效率；通过图形处理器同时对多帧解码图像进行图像识别，从而提高图像识别的效率和图像识别的质量；再通过中央处理器对多个图像识别结果进行综合数据分析，得到预设时间段内的图像分析结果，从而提高了数据处理的效率。
因此，本发明将图像识别通过图形处理器进行处理，减少了中央处理器的负担和提高了图像识别的质量，通过提高解码效率、图像识别效率和数据处理效率来达到提高图像处理的速度，实现了多路视频的实时处理，解决了现有技术对视频图像的处理方法处理速度较慢和处理质量低的问题，满足了用户对视频图像实时处理的需求。
附图说明
图1所示为本发明实施例提供的一种基于多线程的图像处理方法的流程示意图；
图2所示为图1中步骤S102的具体步骤；
图3所示为本发明实施例提供的一种基于多线程的图像处理装置的框架示意图；
图4所示为本发明实施例提供的另一种基于多线程的图像处理方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
图1所示为本发明实施例提供的一种基于多线程的图像处理方法的流程示意图；如图1所示，所述基于多线程的图像处理方法具体包括以下步骤：
步骤S101，主线程创建多个解码子线程。
在本实施例中，所述主线程创建多个解码子线程，包括：所述主线程获取任务队列中的解码任务数量和当前中央处理器的最大线程数，所述任务队列中存放多个解码任务，每个解码任务对应一路视频图像；所述主线程根据所述任务数量和所述最大线程数，创建多个解码子线程。
需要说明的是，本发明实施例可以应用在对吊篮作业的安全监测领域，在每个吊篮上安装有视频监控装置，同时对多个吊篮上采集的视频图像进行处理和识别，判断是否存在人员作业安全的问题。因此一路视频图像对应一个解码任务，当存在多个视频图像时对应多个解码任务，每个解码任务都有唯一的身份标识，所有的解码任务存放在任务队列中。
中央处理器的主线程根据任务队列中的解码任务数量和当前中央处理器的最大线程数来建立适当数量的解码子线程，例如当解码任务数量为8时，当前最大线程数为16，因此建立的解码子线程数量为8；其中，当解码任务数量大于当前可建立的最大解码子线程数量时，可以增加中央处理器，采用分布式加多线程的方式进行解码子线程的建立和任务的分配，处理过程同本实施例的方式相同，此处就不再赘述。
步骤S102，所述主线程发送解码指令到所述多个解码子线程，使所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集。
具体地，如图2所示，所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集，具体包括以下步骤：
步骤S201，所述多个解码子线程根据所述解码指令同时对每个解码任务中的每帧图像进行解码，得到每帧解码图像；
步骤S202，所述多个解码子线程将所述每帧解码图像依次存放到解码队列；
步骤S203，所述主线程实时获取所述解码队列中与每个解码任务相匹配的解码图像数量值；
步骤S204，判断所述解码图像数量值是否等于第一预设值，当所述解码图像数量值等于所述第一预设值时执行步骤S205，当所述解码图像数量值不等于所述第一预设值时执行步骤S203；
步骤S205，将所述解码图像数量值所对应的解码图像作为所述目标解码图像集。
需要说明的是，所述主线程为每个解码子线程分配相应的解码任务后，将表示每个解码任务身份的身份标识生成解码指令发送到每个解码子线程中，使每个解码子线程根据解码指令中的身份标识获取相应解码任务中的视频图像，并对每帧视频图像进行解码处理，将解码完成每帧解码图像依次存放在解码队列中，其中每个解码子线程对视频图像进行解码时还增加时间戳到每帧解码图像中，因此表示每帧解码图像图像的身份ID由解码任务的身份标识+时间戳组成，只要解码子线程解码完成后即可将包含时间戳的解码图像存放在解码队列中，因此解码队列中的解码图像是无序和先入先出的存放规则。
进一步地，所述主线程实时获取所述解码队列中与每个解码任务相对应的解码图像的数量值，当存在所述数量值达到第一预设值时将所述解码任务所述对应的所有解码图像作为目标解码图像集；举例说明，当所述第一预设值等于8时，所述主线程实时判断所述解码队列中来自同一个解码任务的解码图像是否有等于8帧图像，当有存在8帧解码图像时将所述8帧解码图像全部取出作为目标解码图像集；当还未到达8帧解码图像时的解码任务，还需继续等待相应解码子线程进行解码；当然，可以根据图形处理器的实际处理能力修改所述第一预设值。
步骤S103，所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集。
进一步，在所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集之前，所述方法还包括：所述主线程控制所述目标解码图像集转存到帧缓存；所述主线程获取当前图形处理器的第一数值；所述主线程根据所述第一数值和当前帧缓存中目标解码图像集的第二数值，每个图形处理器分配相对应的目标解码图像集。
需要说明的是，所述主线程将获取到与每个解码任务相匹配的目标解码图像集从解码队列中转存到帧缓存，使进行图像识别的图像处理器从所述帧缓存中获取所述目标解码图像集。
为了进一步提高图像识别过程的处理速度，所述主线程还根据当前图像处理器的个数和当前帧缓存中目标解码图像集的个数，进行图像处理器的任务分配，可以通过多个图形处理器对帧缓存中的目标解码图像集进行同时图像识别处理，减少图像识别过程的等待时间，提高了图像识别过程的处理效率。
进一步地，所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集，包括：所述图形处理器按照预设标准尺寸，对所述目标解码图像集中每帧图像的尺寸进行修改，得到标准图像集；所述图形处理器对所述标准图像集进行滤波，得到所述目标图像集；所述图形处理器将所述目标图像集输入目标检测模型进行图像识别，得到每个目标图像的检测结果；其中，所有检测结果组合成所述目标解码图像集的检测结果集。
需要说明的是，图像处理器对解码图像进行图像识别过程包括图像尺寸的修改、图像的滤波处理和图像的目标检测，具体实现过程为：图像在进行目标检测模型识别之前，需要进行预处理步骤，解码图像需要修改到模型固定输入大小，在本实施例可选为608*608，或者416*416，图像越大模型捕获的特征越多，识别效果则会越好；修改尺寸过后的图像会经过高斯滤波进行模糊处理，主要是减少背景中远处小目标带来的随机噪声；通过高斯滤波公式算出高斯核参数后，再对图像进行全局滤波。
在本实施中采用的高斯滤波公式为：
步骤S104，所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果。
需要说明的是，在上述实施例中为了提高图形处理器的图像识别效率，同时对多帧解码图像进行识别处理，那么为了提高对检测结果的数据分析处理效率，在中央处理器的主线程中可以同时对多个检测结果集进行数据分析，例如来自间隔时长在1秒内的图像检测结果，反映在实际应用中是来自1秒内的所有视频图像的检测结果进行综合分析后得到的图像分析结果。在这里的数据分析是根据图形处理器对图像识别后的检测结果进行函数分析，例如分析1秒内吊篮作业人员的安全行为是否存在未戴安全帽、未戴安全戴或者未系安全扣等结果。
相比于现有技术，本发明具有如下有益效果：
本发明通过在中央处理器中采用多线程同时对多路视频图像进行解码处理，从而提高了解码效率；通过图形处理器同时对多帧解码图像进行图像识别，从而提高图像识别的效率和图像识别的质量；再通过中央处理器对多个图像识别结果进行综合数据分析，得到预设时间段内的图像分析结果，从而提高了数据处理的效率。
因此，本发明将图像识别通过图形处理器进行处理，减少了中央处理器的负担和提高了图像识别的质量，通过提高解码效率、图像识别效率和数据处理效率来达到提高图像处理的速度，实现了多路视频的实时处理，解决了现有技术对视频图像的处理方法处理速度较慢和处理质量低的问题，满足了用户对视频图像实时处理的需求。
图3所示为本发明实施例提供的一种基于多线程的图像处理装置的框架示意图；如图3所示，所述图像处理装置包括中央处理器和图形处理器，多路摄像头将采集到的视频图像经过任务队列发送到多个解码子线程进行图像解码，多个解码子线程将解码完成的解码图像依次存放在解码队列中，所述主线程将同一个解码任务中的多个解码图像组成目标解码图像集存放到帧缓存，使图形处理器从帧缓存中提取所述目标解码图像集进行图像识别，得到图像检测结果，所述主线程获取预设时长的图像检测结果进行数据分析和处理，得到每个解码任务在当前时间段的图像分析结果。
需要说明的是，当本发明提供的基于多线程的图像处理方法应用在基于图像识别的安全监测的场景中时，所述每个目标图像的检测结果，包括：多个作业类别和多个位置信息，所述多个位置信息与所述多个作业类别相对应；所述多个作业类别包括未佩戴安全帽、佩戴安全帽、佩戴安全带、未佩戴安全带、已系安全卡扣、未系安全卡扣和安全卡扣位置违规。
图4所示为本发明实施例提供的另一种基于多线程的图像处理方法的流程示意图；如图4所示，本发明在获取到一批次图像检测结果(目标检测类别、边框位置信息)，以此来判断这个计算周期内人员是否处于安全状态，假设一批次检测到安全帽目标数量小于阈值(一批图像数量x误检率)，则判定出人员未佩戴安全帽。再次判断一批次图像检测到安全带数量是否小于阈值(一批图像数量x误检率)，判定出人员是否穿戴安全带。最后，判断卡扣需要先判定卡扣位置是否处在安全绳合法位置，一旦违规输出检测结果。其中关于卡扣的位置处于背景不变的网络摄像头中，视觉算法的输入图像视野不会随吊篮升降变化。
在本发明的另一个实施例中，所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果，包括：所述主线程获取当前时间段内当前解码任务相匹配的所有检测结果；所述主线程对所有检测结果进行分类汇总，获取到每个作业类别的数量；所述主线程判断所述佩戴安全帽的数量是否小于第一阈值；当所述佩戴安全帽的数量大于或等于所述第一阈值时，所述主线程判断所述佩戴安全带的数量是否小于第二阈值；当所述佩戴安全带的数量大于或等于所述第二阈值时，所述主线程判断所述已系安全卡扣的数量是否小于第三阈值；当所述已系安全卡扣的数量大于或等于所述第三阈值时，所述主线程判断所述安全卡扣的位置是否存在违规；当所述安全卡扣的位置不存在违规时，所述主线程判定当前解码任务在所述当前时间段的图像分析结果为正常作业状态。
需要说明的是，所述第一阈值、所述第二阈值、所述第三阈值是根据目标监控区域的作业人员来设置的，当只有一个作业人员时，所述第一阈值、第二阈值和所述第三阈值理论上都为1，但是由于目标检测模型和人员安全分析算法会有相应的计算误差，所以上述阈值根据实际情况和计算误差进行综合计算而设定。
其中，当所述安全帽的数量小于所述第一阈值时，所述当前时间段的安全检测结果为未佩戴安全帽；当所述安全带的数量小于所述第二阈值时，所述当前时间段的安全检测结果为未佩戴安全带；当所述卡扣的数量小于所述第三阈值时，所述当前时间段的安全检测结果为未系安全卡扣；当所述安全卡扣的位置存在违规时，所述当前时间段的安全检测结果为卡扣位置违规。
其中，所述目标检测模型是通过样本数据集进行训练、验证和测试过后的模型，将目标图像集中的每个目标图像输入到所述目标检测模型进行多层卷积、池化和激活，得到每个目标图像的检测结果，也就是每个目标图像中是否存在未佩戴安全帽、佩戴安全帽、佩戴安全带、未佩戴安全带、已系安全卡扣、未系安全卡扣和安全卡扣位置违规中的一个或者多个作业类别。
在本发明的另一个实施例中，判断所述安全卡扣的位置是否存在违规，包括：获取所述安全卡扣和目标参考位置在所述目标图像中的第一像素信息和第二像素信息；根据所述第一像素信息和所述第二像素信息，得到所述安全卡扣到所述目标参考位置的参考距离；根据所述安全卡扣的所述第一像素信息，得到所述安全卡扣在所述目标图像中的参考尺寸；根据所述安全卡扣的参考尺寸和实际尺寸的比值，得到缩放比例；根据所述参考距离和所述缩放比例，得到所述安全卡扣到所述目标参考位置的实际距离；将所述实际距离与预设距离进行比较，判断所述安全卡扣的位置是否存在违规。
需要说明的是，为了进一步保证吊篮作业人员的安全，需要将安全卡扣设置在预设位置，所述预设位置到吊篮底部的距离为预设距离，比如2米或者2.5米，上述目标参数位置为吊篮底部的位置，因此通过上述测量安全卡扣到目标参考位置的距离来检测安全卡扣的位置是否存在违规操作。
在本发明的另一个实施例中，在所述图形处理器将所述目标图像集输入目标检测模型进行图像识别，得到每个目标图像的检测结果之后，包括：所述主线程根据所述多个位置信息，生成多个位置边框；所述主线程将所述多个作业类别、所述多个位置边框与相对应的解码图像进行编码，得到当前时间段的标注视频图像。
需要说明的是，目标检测模型对目标图像集进行目标检测后，将检测结果中的位置信息生成位置边框对视频图像中的相应目标进行跟踪标记，得到当前时间段的标注视频图像，使远程管理人员更加清楚的对现场作业进行监控管理。
在本发明中，采用CSPDarkNet53作为新的神经网络模型。首先，融合CSPNet到DarkNet53主要为了解决深度卷积神经网络框架骨干网络中梯度信息重复问题，将梯度的变化全部放到特征图中，减少了模型的参数，兼顾速度与精度，对应了发明内容提到的快而准的特点。其次，CSPNet在DenseNet的思想基础之上，将dense block复制到下一个阶段，从而将基础层的特征映射图提取出来，从而有效缓解梯度消失、支持信息传播、复用网络特征信息。
本发明还采用更准确的Mish激活函数代替LeakyReLU方法进行训练，负值区间时，并没有完全截断，保证了较小梯度流入的可能性，使得卷积后的激活操作更加准确，从而使得模型收敛更加迅速，其中Mish激活函数表达式为Mish＝x*tanh(ln(1+e^x))。
在本发明的另一个实施例中，提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：主线程创建多个解码子线程；所述主线程发送解码指令到所述多个解码子线程，使所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集；所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集；所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果。
在本发明的又一个实施例中，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实现以下步骤：主线程创建多个解码子线程；所述主线程发送解码指令到所述多个解码子线程，使所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集；所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集；所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种基于多线程的图像处理方法，其特征在于，所述方法包括：
主线程创建多个解码子线程；
所述主线程发送解码指令到所述多个解码子线程，使所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集；
所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集；
所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果。
2.如权利要求1所述的基于多线程的图像处理方法，其特征在于，所述主线程创建多个解码子线程，包括：
所述主线程获取任务队列中的解码任务数量和当前中央处理器的最大线程数，所述任务队列中存放多个解码任务，每个解码任务对应一路视频图像；
所述主线程根据所述任务数量和所述最大线程数，创建多个解码子线程。
3.如权利要求1所述的基于多线程的图像处理方法，其特征在于，所述多个解码子线程根据所述解码指令，同时对每个解码任务中的每帧图像进行解码，得到所述每个解码任务相对应的目标解码图像集，包括：
所述多个解码子线程根据所述解码指令同时对每个解码任务中的每帧图像进行解码，得到每帧解码图像；
所述多个解码子线程将所述每帧解码图像依次存放到解码队列；
所述主线程实时获取所述解码队列中与每个解码任务相匹配的解码图像数量值；
判断所述解码图像数量值是否等于第一预设值；
当所述解码图像数量值等于所述第一预设值时，将所述解码图像数量值所对应的解码图像作为所述目标解码图像集。
4.如权利要求3所述的基于多线程的图像处理方法，其特征在于，所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集之前，所述方法还包括：
所述主线程控制所述目标解码图像集转存到帧缓存；
所述主线程获取当前图形处理器的第一数值；
所述主线程根据所述第一数值和当前帧缓存中目标解码图像集的第二数值，每个图形处理器分配相对应的目标解码图像集。
5.如权利要求1所述的基于多线程的图像处理方法，其特征在于，所述主线程控制图形处理器对所述目标解码图像集中的每帧图像进行图像识别，得到所述目标解码图像集的检测结果集，包括：
所述图形处理器按照预设标准尺寸，对所述目标解码图像集中每帧图像的尺寸进行修改，得到标准图像集；
所述图形处理器对所述标准图像集进行滤波，得到所述目标图像集；
所述图形处理器将所述目标图像集输入目标检测模型进行图像识别，得到每个目标图像的检测结果；
其中，所有检测结果组合成所述目标解码图像集的检测结果集。
6.如权利要求5所述的基于多线程的图像处理方法，其特征在于，所述每个目标图像的检测结果，包括：
多个作业类别和多个位置信息，所述多个位置信息与所述多个作业类别相对应。
7.如权利要求6所述的基于多线程的图像处理方法，其特征在于，当所述多个作业类别包括未佩戴安全帽、佩戴安全帽、佩戴安全带、未佩戴安全带、已系安全卡扣、未系安全卡扣和安全卡扣位置违规时，所述主线程对当前时间段内获取到的所有检测结果集进行数据分析，得到每个解码任务在当前时间段内的图像分析结果，包括：
所述主线程获取当前时间段内当前解码任务相匹配的所有检测结果；
所述主线程对所有检测结果进行分类汇总，获取到每个作业类别的数量；
所述主线程判断所述佩戴安全帽的数量是否小于第一阈值；
当所述佩戴安全帽的数量大于或等于所述第一阈值时，所述主线程判断所述佩戴安全带的数量是否小于第二阈值；
当所述佩戴安全带的数量大于或等于所述第二阈值时，所述主线程判断所述已系安全卡扣的数量是否小于第三阈值；
当所述已系安全卡扣的数量大于或等于所述第三阈值时，所述主线程判断所述安全卡扣的位置是否存在违规；
当所述安全卡扣的位置不存在违规时，所述主线程判定当前解码任务在所述当前时间段的图像分析结果为正常作业状态。
8.如权利要求6所述的基于多线程的图像处理方法，其特征在于，所述图形处理器将所述目标图像集输入目标检测模型进行图像识别，得到每个目标图像的检测结果之后，包括：
所述主线程根据所述多个位置信息，生成多个位置边框；
所述主线程将所述多个作业类别、所述多个位置边框与相对应的解码图像进行编码，得到当前时间段的标注视频图像。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011373418.9A CN112488906B (zh) | 2020-11-30 | 2020-11-30 | 基于多线程的图像处理方法、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011373418.9A CN112488906B (zh) | 2020-11-30 | 2020-11-30 | 基于多线程的图像处理方法、计算机设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112488906A true CN112488906A (zh) | 2021-03-12 |
| CN112488906B CN112488906B (zh) | 2023-10-31 |
Family
ID=74937371
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011373418.9A Active CN112488906B (zh) | 2020-11-30 | 2020-11-30 | 基于多线程的图像处理方法、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112488906B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112995610A (zh) * | 2021-04-21 | 2021-06-18 | 浙江所托瑞安科技集团有限公司 | 共享内存在多路视频监控中运用的方法 |
| CN113553963A (zh) * | 2021-07-27 | 2021-10-26 | 广联达科技股份有限公司 | 安全帽的检测方法、装置、电子设备及可读存储介质 |
| CN113688868A (zh) * | 2021-07-21 | 2021-11-23 | 深圳市安软科技股份有限公司 | 一种多线程的图像处理方法及装置 |
| CN113680409A (zh) * | 2021-08-24 | 2021-11-23 | 中科计算技术西部研究院 | 一种自动配存方法及系统 |
| CN115514940A (zh) * | 2022-11-22 | 2022-12-23 | 天地伟业技术有限公司 | 一种多目视频监控系统搭建方法及电子设备 |
| CN113918249B (zh) * | 2021-09-14 | 2023-11-21 | 北京房江湖科技有限公司 | 一种背景模糊控件的实现方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009105701A (ja) * | 2007-10-24 | 2009-05-14 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
| CN105100803A (zh) * | 2014-04-29 | 2015-11-25 | 三星电子（中国）研发中心 | 视频解码优化方法 |
| CN106095536A (zh) * | 2016-06-22 | 2016-11-09 | 福建联迪商用设备有限公司 | 基于多核mpu的多线程解码方法及系统 |
| CN111178212A (zh) * | 2019-12-23 | 2020-05-19 | 深圳供电局有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN111601081A (zh) * | 2020-05-13 | 2020-08-28 | 上海百安胜信息技术有限公司 | 一种吊篮作业的监控方法和装置 |
-
2020
- 2020-11-30 CN CN202011373418.9A patent/CN112488906B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009105701A (ja) * | 2007-10-24 | 2009-05-14 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び該方法を実行させるためのプログラムを格納したコンピュータ読み取り可能な記録媒体 |
| CN105100803A (zh) * | 2014-04-29 | 2015-11-25 | 三星电子（中国）研发中心 | 视频解码优化方法 |
| CN106095536A (zh) * | 2016-06-22 | 2016-11-09 | 福建联迪商用设备有限公司 | 基于多核mpu的多线程解码方法及系统 |
| CN111178212A (zh) * | 2019-12-23 | 2020-05-19 | 深圳供电局有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN111601081A (zh) * | 2020-05-13 | 2020-08-28 | 上海百安胜信息技术有限公司 | 一种吊篮作业的监控方法和装置 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112995610A (zh) * | 2021-04-21 | 2021-06-18 | 浙江所托瑞安科技集团有限公司 | 共享内存在多路视频监控中运用的方法 |
| CN113688868A (zh) * | 2021-07-21 | 2021-11-23 | 深圳市安软科技股份有限公司 | 一种多线程的图像处理方法及装置 |
| CN113688868B (zh) * | 2021-07-21 | 2023-08-22 | 深圳市安软科技股份有限公司 | 一种多线程的图像处理方法及装置 |
| CN113553963A (zh) * | 2021-07-27 | 2021-10-26 | 广联达科技股份有限公司 | 安全帽的检测方法、装置、电子设备及可读存储介质 |
| CN113680409A (zh) * | 2021-08-24 | 2021-11-23 | 中科计算技术西部研究院 | 一种自动配存方法及系统 |
| CN113680409B (zh) * | 2021-08-24 | 2022-12-06 | 中科计算技术西部研究院 | 一种自动配存方法及系统 |
| CN113918249B (zh) * | 2021-09-14 | 2023-11-21 | 北京房江湖科技有限公司 | 一种背景模糊控件的实现方法及装置 |
| CN115514940A (zh) * | 2022-11-22 | 2022-12-23 | 天地伟业技术有限公司 | 一种多目视频监控系统搭建方法及电子设备 |
| WO2024108703A1 (zh) * | 2022-11-22 | 2024-05-30 | 天地伟业技术有限公司 | 一种多目视频监控系统搭建方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112488906B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112488906A (zh) | 基于多线程的图像处理方法、计算机设备和存储介质 | |
| CN109684981B (zh) | 青光眼图像识别方法、设备和筛查系统 | |
| CN106682620A (zh) | 人脸图像采集方法及装置 | |
| Datcu et al. | Noncontact automatic heart rate analysis in visible spectrum by specific face regions | |
| CN108323203A (zh) | 一种定量检测人脸肤质参量的方法、装置和智能终端 | |
| CN110555875A (zh) | 瞳孔半径的检测方法、装置、计算机设备和存储介质 | |
| CN109697716B (zh) | 青光眼图像识别方法、设备和筛查系统 | |
| CN110929591A (zh) | 变电站监控方法、装置、计算机设备和存储介质 | |
| CN116071657B (zh) | 一种建筑施工视频监控大数据的智能预警系统 | |
| CN104424632B (zh) | 一种视频对比度异常检测方法及装置 | |
| CN112487976B (zh) | 基于图像识别的监测方法、装置和存储介质 | |
| CN112800847B (zh) | 人脸采集源检测方法、装置、设备和介质 | |
| CN115690693B (zh) | 一种建筑吊篮的智能监控系统及监控方法 | |
| CN113936132B (zh) | 基于计算机视觉的化工厂水体污染检测方法与系统 | |
| CN117876971B (zh) | 基于机器视觉的建筑施工安全监测及预警方法 | |
| CN111028218A (zh) | 眼底图像质量判定模型训练方法、装置和计算机设备 | |
| CN111259763A (zh) | 目标检测方法、装置、电子设备及可读存储介质 | |
| CN111325133A (zh) | 一种基于人工智能识别的影像处理系统 | |
| CN112598677A (zh) | 用于图像分析的方法和设备 | |
| CN116092198B (zh) | 一种矿用安全帽识别检测方法、装置、设备及介质 | |
| CN117392404A (zh) | 一种提高图像检测速度的方法及系统 | |
| CN116363578A (zh) | 一种基于视觉的船舶封闭舱室人员监测方法和系统 | |
| CN108205652B (zh) | 一种吃饭动作的识别方法和装置 | |
| CN113935966B (zh) | 金属物料的渣点检测方法、装置、设备和存储介质 | |
| CN116229502A (zh) | 基于图像的摔倒行为识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |