CN113327219B - 基于多源数据融合的图像处理方法与系统 - Google Patents
基于多源数据融合的图像处理方法与系统 Download PDFInfo
- Publication number
- CN113327219B CN113327219B CN202110687453.6A CN202110687453A CN113327219B CN 113327219 B CN113327219 B CN 113327219B CN 202110687453 A CN202110687453 A CN 202110687453A CN 113327219 B CN113327219 B CN 113327219B
- Authority
- CN
- China
- Prior art keywords
- image data
- image
- neural network
- group
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004927 fusion Effects 0.000 title claims abstract description 77
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000003062 neural network model Methods 0.000 claims abstract description 53
- 238000004364 calculation method Methods 0.000 claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 38
- 238000012216 screening Methods 0.000 claims abstract description 30
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000006872 improvement Effects 0.000 claims description 15
- 230000000694 effects Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 238000012549 training Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- -1 equipment names Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
本发明提出基于多源数据融合的图像采集、处理系统、方法与计算机可读介质。图像处理系统包括第一图像输入通道组、第二图像选择组、第三图像处理组以及第四图像融合组。第一图像输入通道组获得多种不同来源的图像数据；第二图像选择组包括图像数据筛选引擎以及图像数据分组引擎；图像分组引擎得到多个分组图像数据；第三图像处理组包括第一神经网络模型和第二神经网络模型；所述第四图像融合组接收第一神经网络模型的第一输出结果和第二神经网络模型的第二输出结果，并将第一输出结果和第二输出结果进行融合计算。本发明可基于融合计算的结果调节多源图片数据的产生方式，从而在降低硬件使用成本的同时保证图像处理质量。
Description
技术领域
本发明属于图像处理技术领域，尤其涉及一种基于多源数据融合的图像采集、处理系统、方法与计算机可读介质。
背景技术
对于电力、石油、化工和交通等重要行业，安全生产和设备的安全运行举足轻重，因而对设备和现场的监控至关重要。图像监控系统的现场监控设备主要包括摄像机及镜头、云台、控制器等设备，摄像机主要用于将光信号转变成为电信号(视频)，镜头则对光圈和焦距进行调整，以达到清晰的成像效果；云台负责对摄像机进行上下左右的移动；控制器从上级获取命令，完成对云台和镜头的控制，并可以提供现场其他设备和摄像的联动接口。
以交通监控为例，智能交通监控系统可通过监控系统将监视区域内的现场图像传回指挥中心，使管理人员直接掌握车辆排队、堵塞、信号灯等交通状况，及时调整信号配时或通过其他手段来疏导交通，改变交通流的分布，以达到缓解交通堵塞的目的。智能交通监控系统要能够提供图片监控、车辆查询、违章查询、智能研判、布控、流量统计分析；实时图片监控道路的车辆信息，同步图片叠加时间、抓拍地点、车牌号码、车牌颜色、车身颜色、设备名称、车速、限速、车道、红灯时间和抓拍序号等；支持卡口车辆信息实时刷新和停止刷新操作；支持多种车辆研判模式如首次、频繁、高危时段，支持车辆行为分析和查询模式如区间、碰撞、同行车、套牌车；实时监控交通路面情况，提供识别车辆号牌字符，识别车辆号牌颜色，识别车身颜色，检测车辆时速等卡口功能，同时也提供闯红灯，不按车道行驶，违章变道，逆行，压(实)线等功能；支持通过录入车牌号码、车主信息、车身颜色、车身长度、车辆类型、车牌颜色、布控机构和通缉单位、布控类型、布控联系人、布控时间等信息进行布控。
中国发明专利申请CN202110109738.1提出一种智能摄像头自训练置信度阈值选择方法、装置及设备。该方法包括:当前模型对测试样本集检测输出检测结果；然后结合取样步长对应的各置信度阈值，得到多个mAP值；筛选出符合要求的mAP值，从而确定目标置信度阈值。本发明还包括用于执行上述方法的装置和设备。该发明通过置信度阈值与mAP值的对应关系，筛选出符合要求的mAP值，从而确定出目标置信度阈值，使用该目标置信度阈值去筛选伪标签，可以减少漏标、错标等错误标签，提高微调训练后模型的检测准确性。
然而，发明人发现，为了获得监控的准确性以及全面性，现有技术中，针对同一个监控区域(监控位置)，通常需要配置超数量的监控设备(摄像头)，同时这些摄像头还需要具备超标准的高分辨率，并且在大部分时间段据需要同时不间断的开启，硬件成本较高，并且占用的资源也较多。如何在确保监控准确性和全面性的前提下，降低硬件成本并且减少资源占用，成为本领域亟待解决的技术问题。
发明内容
为解决上述技术问题，本发明提出一种基于多源数据融合的图像采集、处理系统、方法与计算机可读介质。图像处理系统包括第一图像输入通道组、第二图像选择组、第三图像处理组以及第四图像融合组。第一图像输入通道组获得多种不同来源的图像数据；第二图像选择组包括图像数据筛选引擎以及图像数据分组引擎；图像分组引擎得到多个分组图像数据；第三图像处理组包括第一神经网络模型和第二神经网络模型；所述第四图像融合组接收第一神经网络模型的第一输出结果和第二神经网络模型的第二输出结果，并将第一输出结果和第二输出结果进行融合计算。
本发明可基于融合计算的结果调节多源图片数据的产生方式，从而在降低硬件使用成本的同时保证图像处理质量，满足使用目的。
具体而言，本发明的技术方案包括如下几个方面：
在第一个方面，本发明提出一种基于多源数据融合的图像处理系统，所述图像处理系统包括第一图像输入通道组、第二图像选择组、第三图像处理组以及第四图像融合组；
具体的，作为本发明的应用场景基础，所述第一图像输入通道组包括多个并行的图像数据获取通道，通过所述多个并行图像数据获取通道同时获得多种不同来源的图像数据；
所述第二图像选择组包括图像数据筛选引擎以及图像数据分组引擎；
所述图像数据筛选引擎设定图像数据筛选条件，所述筛选条件包括图像数据的分辨率和时间范围；
所述图像分组引擎用于将经过所述图像数据筛选引擎处理后的筛选图像数据进行分组，得到多个分组图像数据；
所述第三图像处理组包括第一神经网络模型和第二神经网络模型；
将所述多个分组图像数据中的第一数量分组的第一分组图像数据作为所述第一神经网络模型的输入；
将所述多个分组图像数据中的第二数量分组的第二分组图像数据作为所述第二神经网络模型的输入；
所述第四图像融合组接收所述第一神经网络模型的第一输出结果和所述第二神经网络模型的第二输出结果，并将所述第一输出结果和所述第二输出结果进行融合计算。
其中，所述第一神经网络模型为预先训练的多层图片质量评分标记模型；所述第二神经网络模型为预先训练的多层图片分辨率提升模型。
其中，所述融合计算包括：将所述第一分组图像数据的质量评分随时间变化的预测趋势图与所述第二分组图像数据的分辨率提升效果图进行比对分析。
进一步的，上述技术方案还包括：基于融合计算的结果调节多源图片数据的产生方式。
在本发明的第二个方面，提供一种多源图像采集系统，所述多源图像采集系统包括位于多个不同位置的多个图像采集装置。
作为本发明的多源图片的来源形式，在本发明中，在同一个位置配置多个分辨率不同的图像采集装置；所述同一个位置配置的所述多个分辨率不同的图像采集装置同时采集多个图像数据；
将所述图像数据发送至第一个方面所述的基于多源数据融合的图像处理系统进行融合计算；
基于所述融合计算的结果，调整所述同一个位置配置的多个分辨率不同的图像采集装置的开启和关闭时间段。
在本发明的第三个方面，提供一种基于多源数据融合的图像处理方法，所述方法包括如下步骤：
S800：并行的获取多张多源图片数据；
S801：按照预先设定的筛选条件对所述多张多源图片数据进行筛选，获得筛选图片数据；
S802：按照预先设定的分组条件对所述筛选图片数据进行分组，获得分组图片数据；
S803：从所述分组图片数据中获取第一数量分组图片数据，将所述第一数量分组图片数据作为第一神经网络模型的输入，并获得所述第一神经网络模型的第一输出结果；
S804：从所述分组图片数据中获取第二数量分组图片数据，将所述第二数量分组图片数据作为第二神经网络模型的输入，并获得所述第二神经网络模型的第二输出结果；
S805：将所述第一输出结果和所述第二输出结果进行融合计算，并可视化的展现所述融合计算的结果；
其中，所述第一神经网络为预先训练的多层图片质量评分标记模型；所述第二神经网络为预先训练的多层图片分辨率提升模型。
进一步的，所述方法还包括：
基于所述融合计算的结果，调节所述多源图片数据的产生方式。
本发明的上述方法可以通过包含处理器和存储器的终端设备，尤其是图像处理终端设备，包括移动终端、桌面终端、服务器以及服务器集群等，通过程序指令自动化的执行，因此，在本发明的第四个方面，还提供一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现第三个方面所述方法的全部或者部分步骤。
基于上述技术方案，本发明可以针对需要在同一个位置配置多个分辨率不同的图像采集装置的图片产生场合，针对多源图片数据进行分组处理后，基于融合计算的结果，调节所述多源图片数据的产生方式，从而在保证图像处理质量的同时，降低硬件使用成本。
本发明的进一步优点将结合说明书附图在具体实施例部分进一步详细体现。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例的一种基于多源数据融合的图像处理系统的整体架构图
图2是图1所述系统的进一步更具体的实施例的示意图
图3是图1所述系统使用的分组图像数据的示意图
图4是图1所述系统中获得第一分组图像数据的流程示意图
图5是本发明一个实施例的一种多源图像采集系统的整体架构图
图6是基于图1或图5所述系统实现的一种基于多源数据融合的图像处理方法的主要流程图
具体实施方式
下面，结合附图以及具体实施方式，对发明做出进一步的描述。
参照图1，是本发明一个实施例的一种基于多源数据融合的图像处理系统的整体架构图。
在图1所述的系统中，示出了所述图像处理系统包括第一图像输入通道组、第二图像选择组、第三图像处理组以及第四图像融合组。
同时参见图1可以示意性的看到，所述第一图像输入通道组包括多个并行的图像数据获取通道，所述第二图像选择组包括至少两个处理器引擎，所述第三图像选择组可以将图像分为至少三个分组，所述第四融合组至少将两个分组处理结果进行融合。
更具体的，在图1基础上，可结合性的参照图2。图2是图1所述系统的进一步更具体的实施例的示意图。
在图2中，所述第一图像输入通道组包括多个并行的图像数据获取通道，通过所述多个并行图像数据获取通道同时获得多种不同来源的原始图像数据；
作为一个示意性的说明，在实施例所使用的场景中，可以是在某个相同位置配置多个分辨率不同的图像采集装置；同一个位置配置的所述多个分辨率不同的图像采集装置同时采集多个图像数据，作为所述多种不同来源的原始图像数据。
作为更具体的例子，所述原始图像数据可以是交通监控数据，所述图像采集装置可以是交通安全监控摄像头。通常，在同一个位置(或者位置范围内)针对同一个目标地点(或者目标区域)，需要配置多个不同角度、不同分辨率的交通监控摄像头。
当然，以上例子仅仅是示意性的举例，并不代表对本发明的保护范围的限制。
所述第二图像选择组包括图像数据筛选引擎以及图像数据分组引擎；
所述图像数据筛选引擎设定图像数据筛选条件，所述筛选条件包括图像数据的分辨率、时间范围和位置因素；
与此相对应的，图像数据筛选引擎包括分辨率筛选器、时间筛选器和位置筛选器；
所述图像分组引擎用于将经过所述图像数据筛选引擎处理后的筛选图像数据进行分组，得到多个分组图像数据；
所述第三图像处理组包括第一神经网络模型和第二神经网络模型；
将所述多个分组图像数据中的第一数量分组的第一分组图像数据作为所述第一神经网络模型的输入；
将所述多个分组图像数据中的第二数量分组的第二分组图像数据作为所述第二神经网络模型的输入；
所述第四图像融合组接收所述第一神经网络模型的第一输出结果和所述第二神经网络模型的第二输出结果，并将所述第一输出结果和所述第二输出结果进行融合计算。
在图2中，所述第四图像融合组包括至少一个融合比对引擎执行所述融合计算。
作为个更具体的例子，所述第四图像融合组接收所述第一神经网络模型的第一输出结果和所述第二神经网络模型的第二输出结果，并将所述第一输出结果和所述第二输出结果进行融合计算，具体包括：
所述第一神经网络针对所述第一分组图像数据进行分层计算后，输出所述第一分组图像数据的第一输出结果，所述第一输出结果包括所述第一分组图像数据的质量评分随时间变化的预测趋势图，例如不同时间段拍摄得到的图片的整体质量评分。
图片的整体质量评分可以有多种方法，具体可参见相关现有技术，本发明对此做不做限制。所述第一神经网络可以内置多种打分模型进行深度学习训练。
所述第二神经网络针对所述第二分组图像数据进行分辨率提升计算，输出所述第二分组图像数据的第二输出结果，所述第二输出结果包括所述第二分组图像数据的分辨率提升效果图；
基于软件方法对图片进行分辨率增强，本领域已有现有技术，本发明对此不做展开，所述第二神经网络可以内置多种图像增强模型。
所述融合计算包括：将所述第一分组图像数据的质量评分随时间变化的预测趋势图与所述第二分组图像数据的分辨率提升效果图进行比对分析。
同时，基于所述融合计算的结果，调整所述同一个位置配置的多个分辨率不同的图像采集装置的开启和关闭时间段。
举例来说，以前述所述原始图像数据可以是交通监控数据，所述图像采集装置可以是交通安全监控摄像头为例，基于融合计算的结果，就可以选择性的关闭或者开启同一个位置的多个摄像头的至少部分摄像头，或者仅开启部分分辨率较低的摄像头，以降低硬件成本。对于前者，可能是融合计算的结果显示，不需要如此多的多源图片；对于后者，可能是融合计算的结果显示，即使分辨率降低，也可通过后期通过软件提升方式弥补质量以满足要求，等等。本发明对此不做限制，本领域技术人员可以根据实际情况，预先配置所述调整规则。
甚至于，本发明的技术方案还可以进一步包括：
基于所述融合计算的结果，改变所述同一个位置配置的多个分辨率不同的图像采集装置的数量，例如减少图像采集装置，以进一步降低硬件成本。
接下来参见图3和图4。
在图3中，给出了所述分组图片数据的一个示意图说明。
所述图像分组引擎用于将经过所述图像数据筛选引擎处理后的筛选图像数据进行分组，得到多个分组图像数据，具体包括：
获取所述筛选图像数据的标记时间；
将标记时间处于同一个设定时间段的筛选图像数据分为同一组；并且，同一组中的筛选图像数据按照分辨率从高到低的顺序排列。
以图3为例，图3右半部分示出了三个分组，称之以上组、中组和下组。
在上组中的所有图片的采集时间均为每天的9：00-12：00，分辨率由高到低排列为img1，img2，……imgM；
在中组中的所有图片的采集时间均为每天的12：00-14：00，分辨率由高到低排列为imga1，imga2，……imgaN；
在下组中的所有图片的采集时间均为每天的14：00-16：00，分辨率由高到低排列为为imgb1，imgb2，……imgbK；
显然，根据实际情况的不同，所述img1、imga1、imgb1可以相同也可以不同，所述M、N、K可以相同也可以不同。
在获得分组图片数据之后，需要从不同的分组中对应性的获取分组筛选图片，具体的，图4示出了其中一个实施例。
将所述多个分组图像数据中的第一数量分组的第一分组图像数据作为所述第一神经网络模型的输入，具体包括：
从第一设定时间段对应的第一分组中获取第一分辨率的第一筛选图像数据；
依次判断在其他设定时间段对应的其他分组中是否存在第一分辨率的其他筛选图像数据，如果存在，则获取所述其他筛选图像数据；
将所述第一筛选图像数据和所述其他筛选图像数据作为所述第一神经网络模型的输入；
其中，所述其他设定时间段不同于所述第一设定时间段。
假设所有分组的数量为groupNum，分组组号为i＝1，2，……，groupNum；
上述过程可以通过图4所述的计算机流程程序解释如下：
(1)设定目标分辨率，将所述目标分辨率作为所述第一分辨率；
(2)令i＝1；
(3)判断第i分组是否存在目标分组图像，所述目标分组图像为分辨率为所述第一分辨率的图像；
如果是，则获取第i分组中所有的目标分组图像后，进入下一组(i++)
否则，直接进入下一组(i++)；
(4)判断是否为最后一组(i>groupNum是否成立)，如果不是，则返回步骤(3)，如果是，退出。
执行上述过程，可以获得所有分组中的所有分组图像数据，作为所述第一分组图形数据，成为所述第一神经网络模型的输入。
类似的，将所述多个分组图像数据中的第二数量分组的第二分组图像数据作为所述第二神经网络模型的输入，具体包括：
从第一设定时间段对应的第一分组中获取第二分辨率的第二筛选图像数据；
依次判断在其他设定时间段对应的其他分组中是否存在不高于第二分辨率的候选筛选图像数据，如果存在，则获取所述候选筛选图像数据；
将所述第二筛选图像数据和所述候选筛选图像数据作为所述第二神经网络模型的输入；
所述第二分辨率低于所述第一分辨率。
显然，上述过程也可以通过类似图4所述的计算机流程实现，本实施例对此不再赘述。
在图1-图4的实施例中，所述第一神经网络为预先训练的多层图片质量评分标记模型；所述第二神经网络为预先训练的多层图片分辨率提升模型。
因此，所述第四图像融合组接收所述第一神经网络模型的第一输出结果和所述第二神经网络模型的第二输出结果，并将所述第一输出结果和所述第二输出结果进行融合计算，具体包括：
所述第一神经网络针对所述第一分组图像数据进行分层计算后，输出所述第一分组图像数据的第一输出结果，所述第一输出结果包括所述第一分组图像数据的质量评分随时间变化的预测趋势图；
所述第二神经网络针对所述第二分组图像数据进行分辨率提升计算，输出所述第二分组图像数据的第二输出结果，所述第二输出结果包括所述第二分组图像数据的分辨率提升效果图；
所述融合计算包括：将所述第一分组图像数据的质量评分随时间变化的预测趋势图与所述第二分组图像数据的分辨率提升效果图进行比对分析。
基于图1-图4的基础，参见图5，示出一种多源图像采集控制系统，所述多源图像采集控制系统包括位于多个不同位置的多个图像采集装置，其特征在于：
在同一个位置配置多个分辨率不同的图像采集装置；
所述同一个位置配置的所述多个分辨率不同的图像采集装置同时采集多个图像数据；
将所述图像数据发送至图1所述的基于多源数据融合的图像处理系统进行融合计算；
基于所述融合计算的结果，调整所述同一个位置配置的多个分辨率不同的图像采集装置的开启和关闭时间段。
优选的，基于所述融合计算的结果改变所述同一个位置配置的多个分辨率不同的图像采集装置的数量，例如减少图像采集装置，以进一步降低硬件成本。
举例来说，以前述所述原始图像数据可以是交通监控数据，所述图像采集装置可以是交通安全监控摄像头为例，基于融合计算的结果，就可以选择性的在某个特定时段关闭或者开启同一个位置的多个摄像头的至少部分摄像头，或者仅开启部分分辨率较低的摄像头，以降低硬件成本；或者直接减少摄像头数量。对于前者，可能是融合计算的结果显示，不需要如此多的多源图片；对于后者，可能是融合计算的结果显示，即使分辨率降低，也可通过后期通过软件提升方式弥补质量以满足要求，等等。本发明对此不做限制，本领域技术人员可以根据实际情况，预先配置所述调整规则。
基于图1-图5所述的系统，图6的实施例给出一种基于多源数据融合的图像处理方法，所述方法包括如下步骤：
S800：并行的获取多张多源图片数据；
S801：按照预先设定的筛选条件对所述多张多源图片数据进行筛选，获得筛选图片数据；
S802：按照预先设定的分组条件对所述筛选图片数据进行分组，获得分组图片数据；
S803：从所述分组图片数据中获取第一数量分组图片数据，将所述第一数量分组图片数据作为第一神经网络模型的输入，并获得所述第一神经网络模型的第一输出结果；
S804：从所述分组图片数据中获取第二数量分组图片数据，将所述第二数量分组图片数据作为第二神经网络模型的输入，并获得所述第二神经网络模型的第二输出结果；
S805：将所述第一输出结果和所述第二输出结果进行融合计算，并可视化的展现所述融合计算的结果；
其中，所述第一神经网络为预先训练的多层图片质量评分标记模型；所述第二神经网络为预先训练的多层图片分辨率提升模型。
所述方法还包括：
基于所述融合计算的结果，调节所述多源图片数据的产生方式。
利用本发明的技术方案，可以针对需要在同一个位置配置多个分辨率不同的图像采集装置的图片产生场合，针对多源图片数据进行分组处理后，基于融合计算的结果，调节所述多源图片数据的产生方式，从而在保证图像处理质量的同时，降低硬件使用成本。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种基于多源数据融合的图像处理系统，所述图像处理系统包括第一图像输入通道组、第二图像选择组、第三图像处理组以及第四图像融合组；
其特征在于：
所述第一图像输入通道组包括多个并行的图像数据获取通道，通过所述多个并行图像数据获取通道同时获得多种不同来源的图像数据；
所述第二图像选择组包括图像数据筛选引擎以及图像数据分组引擎；
所述图像数据筛选引擎设定图像数据筛选条件，所述筛选条件包括图像数据的分辨率和时间范围；
所述图像数据分组引擎用于将经过所述图像数据筛选引擎处理后的筛选图像数据进行分组，得到多个分组图像数据；
所述第三图像处理组包括第一神经网络模型和第二神经网络模型；
将所述多个分组图像数据中的第一数量分组的第一分组图像数据作为所述第一神经网络模型的输入；
将所述多个分组图像数据中的第二数量分组的第二分组图像数据作为所述第二神经网络模型的输入；
所述第四图像融合组接收所述第一神经网络模型的第一输出结果和所述第二神经网络模型的第二输出结果，并将所述第一输出结果和所述第二输出结果进行融合计算，具体包括：
所述第一神经网络针对所述第一分组图像数据进行分层计算后，输出所述第一分组图像数据的第一输出结果，所述第一输出结果包括所述第一分组图像数据的质量评分随时间变化的预测趋势图；
所述第二神经网络针对所述第二分组图像数据进行分辨率提升计算，输出所述第二分组图像数据的第二输出结果，所述第二输出结果包括所述第二分组图像数据的分辨率提升效果图；
所述融合计算包括：将所述第一分组图像数据的质量评分随时间变化的预测趋势图与所述第二分组图像数据的分辨率提升效果图进行比对分析。
2.如权利要求1所述的一种基于多源数据融合的图像处理系统，其特征在于：
所述多种不同来源的图像数据的分辨率不同。
3.如权利要求1所述的一种基于多源数据融合的图像处理系统，其特征在于：
所述图像数据分组引擎用于将经过所述图像数据筛选引擎处理后的筛选图像数据进行分组，得到多个分组图像数据，具体包括：
获取所述筛选图像数据的标记时间；
将标记时间处于同一个设定时间段的筛选图像数据分为同一组；并且，同一组中的筛选图像数据按照分辨率从高到低的顺序排列。
4.如权利要求3所述的一种基于多源数据融合的图像处理系统，其特征在于：
将所述多个分组图像数据中的第一数量分组的第一分组图像数据作为所述第一神经网络模型的输入，具体包括：
从第一设定时间段对应的第一分组中获取第一分辨率的第一筛选图像数据；
依次判断在其他设定时间段对应的其他分组中是否存在第一分辨率的其他筛选图像数据，如果存在，则获取所述其他筛选图像数据；
将所述第一筛选图像数据和所述其他筛选图像数据作为所述第一神经网络模型的输入；
其中，所述其他设定时间段不同于所述第一设定时间段。
5.如权利要求4所述的一种基于多源数据融合的图像处理系统，其特征在于：
将所述多个分组图像数据中的第二数量分组的第二分组图像数据作为所述第二神经网络模型的输入，具体包括：
从第一设定时间段对应的第一分组中获取第二分辨率的第二筛选图像数据；
依次判断在其他设定时间段对应的其他分组中是否存在不高于第二分辨率的候选筛选图像数据，如果存在，则获取所述候选筛选图像数据；
将所述第二筛选图像数据和所述候选筛选图像数据作为所述第二神经网络模型的输入；
所述第二分辨率低于所述第一分辨率。
6.一种多源图像采集系统，所述多源图像采集系统包括位于多个不同位置的多个图像采集装置，其特征在于：
在同一个位置配置多个分辨率不同的图像采集装置；
所述同一个位置配置的所述多个分辨率不同的图像采集装置同时采集多个图像数据；
将所述图像数据发送至权利要求1-5任一项所述的基于多源数据融合的图像处理系统进行融合计算；
基于所述融合计算的结果，调整所述同一个位置配置的多个分辨率不同的图像采集装置的开启和关闭时间段。
7.一种基于多源数据融合的图像处理方法，所述方法包括如下步骤：
S800：并行的获取多张多源图片数据；
S801：按照预先设定的筛选条件对所述多张多源图片数据进行筛选，获得筛选图片数据；
S802：按照预先设定的分组条件对所述筛选图片数据进行分组，获得分组图片数据；
S803：从所述分组图片数据中获取第一数量分组图片数据，将所述第一数量分组图片数据作为第一神经网络模型的输入，并获得所述第一神经网络模型的第一输出结果；
S804：从所述分组图片数据中获取第二数量分组图片数据，将所述第二数量分组图片数据作为第二神经网络模型的输入，并获得所述第二神经网络模型的第二输出结果；
S805：将所述第一输出结果和所述第二输出结果进行融合计算，并可视化的展现所述融合计算的结果；
其特征在于：
所述第一神经网络为预先训练的多层图片质量评分标记模型；
所述第二神经网络为预先训练的多层图片分辨率提升模型。
8.如权利要求7所述的一种基于多源数据融合的图像处理方法，其特征在于：
所述方法还包括：
基于所述融合计算的结果，调节所述多源图片数据的产生方式。
9.一种计算机可读存储介质，其上存储有计算机程序指令；通过包含处理器和存储器的图像终端处理设备，执行所述程序指令，用于实现权利要求7-8任一项所述方法的全部或者部分步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110687453.6A CN113327219B (zh) | 2021-06-21 | 2021-06-21 | 基于多源数据融合的图像处理方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110687453.6A CN113327219B (zh) | 2021-06-21 | 2021-06-21 | 基于多源数据融合的图像处理方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113327219A CN113327219A (zh) | 2021-08-31 |
| CN113327219B true CN113327219B (zh) | 2022-01-28 |
Family
ID=77424164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110687453.6A Active CN113327219B (zh) | 2021-06-21 | 2021-06-21 | 基于多源数据融合的图像处理方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113327219B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723781B (zh) * | 2022-03-07 | 2022-10-28 | 北京拙河科技有限公司 | 基于相机阵列的目标追踪方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104374053A (zh) * | 2014-11-25 | 2015-02-25 | 珠海格力电器股份有限公司 | 一种智能控制方法、装置及系统 |
| CN107767343A (zh) * | 2017-11-09 | 2018-03-06 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
| CN108039044A (zh) * | 2017-12-05 | 2018-05-15 | 安徽大学 | 基于多尺度卷积神经网络的车辆智能排队的系统及方法 |
| CN108389182A (zh) * | 2018-01-24 | 2018-08-10 | 北京卓视智通科技有限责任公司 | 一种基于深度神经网络的图像质量检测方法及装置 |
| CN110147400A (zh) * | 2019-05-10 | 2019-08-20 | 青岛建邦供应链股份有限公司 | 基于大数据的跨行业数据资源整合系统 |
| CN111209434A (zh) * | 2020-01-09 | 2020-05-29 | 国网江苏省电力有限公司徐州供电分公司 | 一种基于多源异构数据融合的变电站设备巡检系统及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190110965A (ko) * | 2019-09-11 | 2019-10-01 | 엘지전자 주식회사 | 이미지 해상도를 향상시키기 위한 방법 및 장치 |
| CN110706166B (zh) * | 2019-09-17 | 2022-03-18 | 中国科学院空天信息创新研究院 | 一种锐化标签数据的图像超分辨率重建方法及装置 |
| KR20190119550A (ko) * | 2019-10-02 | 2019-10-22 | 엘지전자 주식회사 | 영상의 해상도를 향상시키기 위한 방법 및 장치 |
| CN111563843B (zh) * | 2020-04-30 | 2023-11-28 | 苏州大学 | 一种图像超分辨重构方法、系统及相关装置 |
| CN112767251B (zh) * | 2021-01-20 | 2023-04-07 | 重庆邮电大学 | 基于多尺度细节特征融合神经网络的图像超分辨率方法 |
-
2021
- 2021-06-21 CN CN202110687453.6A patent/CN113327219B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104374053A (zh) * | 2014-11-25 | 2015-02-25 | 珠海格力电器股份有限公司 | 一种智能控制方法、装置及系统 |
| CN107767343A (zh) * | 2017-11-09 | 2018-03-06 | 京东方科技集团股份有限公司 | 图像处理方法、处理装置和处理设备 |
| CN108039044A (zh) * | 2017-12-05 | 2018-05-15 | 安徽大学 | 基于多尺度卷积神经网络的车辆智能排队的系统及方法 |
| CN108389182A (zh) * | 2018-01-24 | 2018-08-10 | 北京卓视智通科技有限责任公司 | 一种基于深度神经网络的图像质量检测方法及装置 |
| CN110147400A (zh) * | 2019-05-10 | 2019-08-20 | 青岛建邦供应链股份有限公司 | 基于大数据的跨行业数据资源整合系统 |
| CN111209434A (zh) * | 2020-01-09 | 2020-05-29 | 国网江苏省电力有限公司徐州供电分公司 | 一种基于多源异构数据融合的变电站设备巡检系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113327219A (zh) | 2021-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102189262B1 (ko) | 엣지 컴퓨팅을 이용한 교통 정보 수집 장치 및 방법 | |
| TWI677826B (zh) | 車牌辨識系統與方法 | |
| CN108509912B (zh) | 多路网络视频流车牌识别方法及系统 | |
| CN108986465B (zh) | 一种车流量检测的方法、系统及终端设备 | |
| Osman et al. | Intelligent traffic management system for cross section of roads using computer vision | |
| CN108039044B (zh) | 基于多尺度卷积神经网络的车辆智能排队的系统及方法 | |
| KR101935010B1 (ko) | 영상 기반 차량 번호판 인식 장치 및 방법 | |
| CN111340856B (zh) | 车辆的跟踪方法、装置、设备及存储介质 | |
| KR20210080459A (ko) | 차선 검출방법, 장치, 전자장치 및 가독 저장 매체 | |
| CN111950536A (zh) | 信号灯图像的处理方法、装置、计算机系统和路侧设备 | |
| CN116434159A (zh) | 一种基于改进YOLO V7和Deep-Sort的交通流量统计方法 | |
| CN113327219B (zh) | 基于多源数据融合的图像处理方法与系统 | |
| CN112241974A (zh) | 交通事故检测方法及处理方法、系统、存储介质 | |
| CN113257003A (zh) | 交通道路车道级车流计数系统及其方法、设备、介质 | |
| CN114040094B (zh) | 一种基于云台相机的预置位调节方法和设备 | |
| Rangari et al. | Deep Learning based smart traffic light system using Image Processing with YOLO v7 | |
| CN114241373A (zh) | 一种端到端的车辆行为检测方法、系统、设备及存储介质 | |
| CN110909607B (zh) | 一种智慧地铁运营中客流感知的装置系统 | |
| CN114913690B (zh) | 交通精细化监控方法、系统和可读存储介质 | |
| EP3671687A1 (en) | Traffic light prediction | |
| CN113438451B (zh) | 用于多终端多源数据的统一标准化处理平台与方法 | |
| CN115565389A (zh) | 基于大数据的智能交通红绿灯处理模型 | |
| CN115909126A (zh) | 目标检测方法、设备和存储介质 | |
| CN113989774A (zh) | 一种交通灯检测方法、装置、车辆和可读存储介质 | |
| Sabeenian et al. | Density-based traffic control system using artificial intelligence |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |