CN111754565B - 图像处理方法及装置 - Google Patents
图像处理方法及装置 Download PDFInfo
- Publication number
- CN111754565B CN111754565B CN201910285384.9A CN201910285384A CN111754565B CN 111754565 B CN111754565 B CN 111754565B CN 201910285384 A CN201910285384 A CN 201910285384A CN 111754565 B CN111754565 B CN 111754565B
- Authority
- CN
- China
- Prior art keywords
- image
- light
- supplementing
- target object
- processed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000001914 filtration Methods 0.000 claims abstract description 90
- 238000012545 processing Methods 0.000 claims abstract description 70
- 238000007499 fusion processing Methods 0.000 claims abstract description 20
- 230000001502 supplementing effect Effects 0.000 claims description 41
- 238000000034 method Methods 0.000 claims description 31
- 230000004927 fusion Effects 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 7
- 230000006835 compression Effects 0.000 abstract description 5
- 238000007906 compression Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006399 behavior Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001156002 Anthonomus pomorum Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请实施例提供一种图像处理方法及装置，通过对待处理图像进行目标识别以获得目标对象，并获得目标对象的位置信息。基于目标对象的位置信息提取出第一区域图像及第二区域图像，对提取出的第二区域图像进行低通滤波处理。再对第一区域图像及低通滤波处理后的第二区域图像进行融合处理，以得到待处理图像的处理结果图像。如此，可在保持包含目标对象的第一区域图像的清晰度的前提下，降低第二区域图像的细节程度，以提升整体的压缩率，降低融合后的图像的大小，减少存储空间。
Description
技术领域
本发明涉及视频监控技术领域，具体而言，涉及一种图像处理方法及装置。
背景技术
智能交通系统中，目前应用最广泛、技术最成熟的当属高清智能卡口系统和电子警察系统。高清智能卡口系统通过记录道路断面的机动车、非机动车和行人的图片和数据信息，结合智能识别技术获取车速、号牌、车标、车身颜色等车辆特征，为交通管理提供违法车辆的实时侦测、嫌疑车辆的实时布控报警和断面交通流量采集等信息。电子警察系统用于检测和记录十字路口处的违章行为，采集违章车辆的违章过程，有效管理交通违章行为，减少由此引起的交通事故，促进交通秩序良性循环。随着智能交通抓拍单元采集的图像分辨率越来越高，最终得到的编码后的图像占用的存储空间也越来越大。假如一个城市1000条车道，每条5000辆过车，每张图片1M，每天会带来5TB的存储，每个月将高达150TB。如何尽可能的降低图片大小，降低存储能耗已经成为一个越来越重要的课题。
发明内容
有鉴于此，本申请的目的在于，提供一种图像处理方法及装置，在保证感兴趣图像的清晰度的前提下，通过降低非感兴趣图像的细节提升整体压缩率，降低图像大小、减少存储空间。
本申请实施例提供一种图像处理方法，所述方法包括：
获取待处理图像，对所述待处理图像进行目标识别获得目标对象，并获得所述目标对象在所述待处理图像中的位置信息；
根据所述目标对象在所述待处理图像中的位置信息提取出包含所述目标对象的第一区域图像以及除所述第一区域图像之外的第二区域图像；
对所述第二区域图像进行低通滤波处理；
对所述第一区域图像以及低通滤波处理后的所述第二区域图像进行图像融合处理，得到所述待处理图像的处理结果图像。
可选地，所述对所述第二区域图像进行低通滤波处理的步骤，包括：
利用预设清晰度评价函数计算得到所述第二区域图像的清晰度值；
从预设的多个滤波模板中选择出与所述清晰度值匹配的滤波模板；
获得与所述滤波模板对应的滤波窗口；以及
利用所述滤波窗口对所述第二区域图像进行低通滤波处理。
可选地，所述待处理图像包括具有闪光灯补光的多帧补光图像以及无闪光灯补光的多帧无补光图像，所述获得所述目标对象在所述待处理图像中的位置信息的步骤包括：
针对所述待处理图像中包含的具有闪光灯补光的每一帧补光图像，获得与当前帧补光图像相邻的预设数量帧无补光图像；
获得所述预设数量帧无补光图像的各帧图像中的目标对象，根据各帧图像中的目标对象的位置信息并采用样条插值法拟合出目标对象的运动轨迹；
根据所述运动轨迹中所述当前帧补光图像的前一帧无补光图像以及后一帧无补光图像中的目标对象的位置信息计算得到所述当前帧补光图像中所述目标对象的位置信息。
可选地，所述待处理图像包括无闪光灯补光的多帧无补光图像，所述待处理图像中的各帧无补光图像中的目标对象通过以下步骤获得：
针对所述待处理图像中包含的无闪光灯补光的每一帧无补光图像，根据排在当前帧无补光图像前面的多帧图像的均值计算得到当前帧无补光图像的实时背景图像；
从当前帧无补光图像中滤除当前帧无补光图像的实时背景图像得到前景图像，将该前景图像作为目标对象。
可选地，所述获得所述目标对象在所述待处理图像中的位置信息的步骤，包括：
利用矩形框框定通过所述目标识别后得到的所述目标对象；
获得所述矩形框的中心位置的中心坐标值，以及所述矩形框的宽度值和高度值；
根据所述中心坐标值、宽度值及高度值获得所述目标对象的位置信息。
可选地，所述对所述第一区域图像以及低通滤波后的所述第二区域图像进行图像融合处理的步骤，包括：
将所述第一区域图像以及低通滤波后的所述第二区域图像分别转换为对应的二值化图像；
对所述第一区域图像对应的二值化图像以及所述第二区域图像对应的二值化图像，分别按第一融合比例及第二融合比例进行图像融合处理。
本申请另一实施例还提供一种图像处理装置，所述装置包括：
识别模块，用于获取待处理图像，对所述待处理图像进行目标识别获得目标对象，并获得所述目标对象在所述待处理图像中的位置信息；
提取模块，用于根据所述目标对象在所述待处理图像中的位置信息提取出包含所述目标对象的第一区域图像以及除所述第一区域图像之外的第二区域图像；
处理模块，用于对所述第二区域图像进行低通滤波处理；
融合模块，用于对所述第一区域图像以及低通滤波处理后的所述第二区域图像进行图像融合处理，得到所述待处理图像的处理结果图像。
可选地，所述处理模块具体用于：
利用预设清晰度评价函数计算得到所述第二区域图像的清晰度值；
从预设的多个滤波模板中选择出与所述清晰度值匹配的滤波模板；
获得与所述滤波模板对应的滤波窗口；以及
利用所述滤波窗口对所述第二区域图像进行低通滤波处理。
可选地，所述待处理图像包括具有闪光灯补光的多帧补光图像以及无闪光灯补光的多帧无补光图像，所述识别模块通过以下方式获得目标对象在所述待处理图像中的位置信息：
针对所述待处理图像中包含的具有闪光灯补光的每一帧补光图像，获得与当前帧补光图像相邻的预设数量帧无补光图像；
获得所述预设数量帧无补光图像的各帧图像中的目标对象，根据各帧图像中的目标对象的位置信息并采用样条插值法拟合出目标对象的运动轨迹；
根据所述运动轨迹中所述当前帧补光图像的前一帧无补光图像以及后一帧无补光图像中的目标对象的位置信息计算得到所述当前帧补光图像中所述目标对象的位置信息。
可选地，所述待处理图像包括无闪光灯补光的多帧无补光图像，所述识别模块具体通过以下方式获得待处理图像中的各帧无补光图像中的目标对象：
针对所述待处理图像中包含的无闪光灯补光的每一帧无补光图像，根据排在当前帧无补光图像前面的多帧图像的均值计算得到当前帧无补光图像的实时背景图像；
从当前帧无补光图像中滤除当前帧无补光图像的实时背景图像得到前景图像，将该前景图像作为目标对象并获得该目标对象的位置信息。
本申请实施例提供的图像处理方法及装置，通过对待处理图像进行目标识别以获得目标对象，并获得目标对象的位置信息。基于目标对象的位置信息提取出第一区域图像及第二区域图像，对提取出的第二区域图像进行低通滤波处理。再对第一区域图像及低通滤波处理后的第二区域图像进行融合处理，以得到待处理图像的处理结果图像。如此，可在保持包含目标对象的第一区域图像的清晰度的前提下，降低第二区域图像的细节程度，以提升整体的压缩率，降低融合后的图像的大小，减少存储空间。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的图像处理方法的应用场景示意图。
图2为本申请实施例提供的摄像设备的示意性结构框图。
图3为本申请实施例提供的图像处理方法的流程图。
图4为本申请实施例提供的图像处理方法的另一流程图。
图5为本申请实施例提供的图像处理方法的另一流程图。
图6为图3中步骤330的子步骤的流程图。
图7为本申请实施例提供的清晰度值与滤波模板之间的关系示意图。
图8为本申请实施例提供的图像处理装置的功能模块框图。
图标：100-摄像设备；110-处理器；120-存储器；130-图像处理装置；131-识别模块；132-提取模块；133-处理模块；134-融合模块；200-监控终端。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
请参阅图1，为本发明实施例提供的一种图像处理方法的应用场景示意图。该场景包括监控终端200和摄像设备100，所述监控终端200通过网络与所述摄像设备100通信连接，以进行数据通信或交互。在本实施例中，所述摄像设备100包括多个，多个所述摄像设备100与所述监控终端200通信连接。在本实施例中，所述摄像设备100可以为相机、摄像头等具有图像采集功能的终端设备。所述监控终端200为交通指挥中心的终端设备，所述监控终端200可接收各摄像设备100发送的数据流并进行解码以显示或存储。所述监控终端200可以是但不限于，计算机、服务器等。
请参阅图2，为本发明实施例提供的一种电子设备的示意性结构框图。在本实施例中，所述电子设备可以为上述的摄像设备100，所述摄像设备100包括图像处理装置130、处理器110及存储器120。其中，所述存储器120与所述处理器110之间直接或间接的电性连接，以实现数据的传输或交互。所述图像处理装置130包括至少一个可以软件或固件的形式存储于所述存储器120中或固化在所述摄像设备100的操作系统中的软件功能模块。所述处理器110用于执行所述存储器120中存储的可执行模块，例如所述图像处理装置130包括的软件功能模块或计算机程序。
请参阅图3，是本发明实施例提供的一种应用于上述摄像设备100的图像处理方法的流程图。所应说明的是，本发明提供的方法不以图3及以下所述的具体顺序为限制。下面将对图3中示出的各步骤进行详细说明。
步骤310，获取待处理图像，对所述待处理图像进行目标识别获得目标对象，并获得所述目标对象在所述待处理图像中的位置信息。
步骤320，根据所述目标对象在所述待处理图像中的位置信息提取出包含所述目标对象的第一区域图像以及除所述第一区域图像之外的第二区域图像。
对于智能交通抓拍单元(例如本实施例中的摄像设备100)采集的图片，其中的例如违章的车辆、行人等的特征及行为是交通监控所关注的重点，而对于其中的如地面、绿化带等并不作着重关注。因此，可在保障所关注的对象的清晰度的前提下，通过适当降低非关注对象的细节呈现度，以提升图像的整体压缩率。
本实施例中，摄像设备100在获得待处理图像后，通过目标识别的方法获得其中的目标对象，其中，目标对象可以是车辆、行人、红绿灯及斑马线等。车辆可以包括但不限于小轿车、电动车、货车等。在识别出目标对象后，获得目标对象在待处理图像中的位置信息。如此，可根据目标对象在待处理图像中的位置信息提取出包含目标对象的第一区域图像以及除第一区域图像之外的第二区域图像。
其中，第一区域图像也就是感兴趣区域(region of interest，ROI)图像。在图像处理领域中，感兴趣区域是从图像中选择的一个图像区域，这个区域是图像分析所关注的重点，圈定该区域以便于进行进一步处理。通过圈定感兴趣区域以得到关注的目标对象，可以减少处理时间、增加精度。而第二区域图像即为图像中除圈定的感兴趣区域之外的其他非感兴趣区域的图像。
本实施例中，对于待处理图像中的一些静态对象，例如红绿灯、斑马线等，由于这些静态对象在摄像设备100安装固定之后，其在摄像设备100的拍摄画面中的位置即固定不变。因此，在需要对这类静态目标进行识别、标定时，用户可通过手动操作进行标定。可选地，可获得操作者输入的圈定框，该圈定框为操作者手动圈定的包含上述静态对象的区域框。这种情形下，可将操作者标定的圈定框内的区域内的图像作为第一区域图像，将除该圈定框之外的其他区域的图像作为第二区域图像。
应当理解，在实际的交通监控中，所关注的对象往往是呈运动状态的例如车辆、行人等对象，这类运动对象在摄像设备100的拍摄画面中的位置是变动的，因此，无法采用上述的手动圈定的方式确定运动对象的位置。本实施例中，对于这类运动对象可通过运动检测的方式提取第一区域图像。
本实施例中，待处理图像为连续拍摄的多帧图像，该多帧图像中包含具有闪光灯补光的多帧补光图像以及无闪光灯补光的多帧无补光图像。对于无闪光灯补光的各帧无补光图像，可通过以下方式获得待处理图像中的各帧无补光图像中的目标对象，如图4所示：
步骤410，针对所述待处理图像中包含的无闪光灯补光的每一帧无补光图像，根据排在当前帧无补光图像前面的多帧图像的均值计算得到当前帧无补光图像的实时背景图像。
步骤420，从当前帧无补光图像中滤除当前帧无补光图像的实时背景图像得到前景图像，将该前景图像作为目标对象。
本实施例中，可通过常用的背景建模的方法，如平均背景建模、高斯背景建模等进行背景建模，再通过前景图像提取的方式提取出目标对象。例如，针对当前帧无补光图像，可获得排在当前帧无补光图像前面的多帧图像，例如前m帧图像。计算该前m帧图像的均值以计算得到当前帧无补光图像的实时背景图像。再使用求取当前帧无补光图像与实时背景图像差分的方式提取出目标对象。具体地，从当前帧无补光图像中滤除当前帧无补光图像的实时背景图像得到前景图像，将该前景图像作为目标对象，可按以下公式进行计算：
Ifg＝I-Ibg
其中，n表示当前帧，m表示当前帧的前m帧，Ik表示前m帧中的任意一帧图像，Ibg表示当前帧无补光图像的实时背景图像，I表示当前帧无补光图像，Ifg表示当前帧无补光图像的前景图像。
在本实施例中，在识别出目标对象之后，还需确定出目标对象在图像中的位置信息。可选地，可利用矩形框框定通过目标识别后得到的目标对象，该矩形框可为能够圈定目标对象的最小矩形框，或者是通过适当放大后的矩形框。当然，应当理解，并不限定于矩形框，也可以是其他形状的外接框，例如圆形、椭圆形等。
在框定目标对象后，获得矩形框的中心位置的中心坐标值，以及矩形框的宽度值和高度值。根据矩形框的中心坐标值、宽度值和高度值可获得目标对象的位置信息，即以矩形框的形状及位置来表征目标对象的位置。
在分离出当前帧无补光图像中的目标对象并确定目标对象的位置信息后，可通过去除一些孤立的噪点或者是一些非明显的运动目标的方式，提取出当前帧无补光图像中的包含目标对象的第一区域图像，而除第一区域图像之外的图像即为第二区域图像。
上述为针对待处理图像中的无闪光灯补光的无补光图像的处理过程，而对于有闪光灯补光的情形下，由于得到的图像中叠加了闪光灯光斑，因此，无法通过上述的背景差分的方式直接提取出目标对象的位置信息。在这种情况下，请参阅图5，可通过以下方式获得有闪光灯补光的补光图像的位置信息：
步骤510，针对所述待处理图像中包含的具有闪光灯补光的每一帧补光图像，获得与当前帧补光图像相邻的预设数量帧无补光图像。
步骤520，获得所述预设数量帧无补光图像的各帧图像中的目标对象，根据各帧图像中的目标对象的位置信息并采用样条插值法拟合出目标对象的运动轨迹。
步骤530，根据所述运动轨迹中所述当前帧补光图像的前一帧无补光图像以及后一帧无补光图像中的目标对象的位置信息计算得到所述当前帧补光图像中所述目标对象的位置信息。
针对需要处理的当前帧补光图像，可获得与该当前帧补光图像相邻的预设数量帧无补光图像，例如当前帧补光图像的前d(d可以为2或4等)帧无补光图像以及后b(b可以是1或2等)帧无补光图像。本实施例中，其中，可以取当前帧补光图像的后一帧无补光图像，如此，意味着对当前帧补光图像的处理更为及时，提高处理的实时性、避免滞后。
再获得当前帧补光图像的前d帧无补光图像和后b帧无补光图像中的各帧图像中的目标对象以及目标对象的位置信息。对于无补光图像中的目标对象的识别以及目标对象的位置信息的获取可参见上述步骤中的相关描述，在此不再赘述。
在获得各帧无补光图像中的目标对象的位置信息后，采用样条插值法可拟合出目标对象的运动轨迹，即将目标对象的位置信息拟合为一条光滑曲线。再获得该运动轨迹中当前帧补光图像的前一帧无补光图像中的目标对象的位置信息，以及当前帧补光图像的后一帧无补光图像中的目标对象的位置信息。在获得轨迹曲线中当前帧补光图像的前后帧图像中的目标对象的位置信息后，即可估算出处于该前后两帧图像的中间位置的当前帧补光图像的目标对象的位置信息，包括框定当前帧补光图像中的目标对象的矩形框的中心坐标值，以及其高度值和宽度值。从而提取出当前帧补光图像中的包含目标对象的第一区域图像，以及除第一区域图像之外的第二区域图像。
步骤330，对所述第二区域图像进行低通滤波处理。
步骤340，对所述第一区域图像以及低通滤波处理后的所述第二区域图像进行图像融合处理，得到所述待处理图像的处理结果图像。
本实施例中，由于第二区域图像中并未包含所关注的目标，因此可适当降低第二区域图像的细节以减少高频像素数量，从而降低图像整体的大小，降低传输及存储负担。可选地，可对提取出的第二区域图像进行低通滤波处理来降低第二区域图像的图片大小。本实施例中，考虑到不同的原图像本身的清晰度存在差异，例如有些原图像本身的清晰度很高，图片大小很大，而有些原图像本身的清晰度并不高，图片大小相对较小。因此，在针对不同清晰度的原图像进行处理，可采用不同强度的低通滤波，以使得到的处理后的图像可满足统一要求。
可选地，请参阅图6，在本实施例中，可通过以下步骤实现对第二区域图像的低通滤波处理：
步骤610，利用预设清晰度评价函数计算得到所述第二区域图像的清晰度值。
步骤620，从预设的多个滤波模板中选择出与所述清晰度值匹配的滤波模板。
步骤630，获得与所述滤波模板对应的滤波窗口。
步骤640，利用所述滤波窗口对所述第二区域图像进行低通滤波处理。
本实施例中，在提取出第二区域图像后，可利用预设的清晰度评价函数计算得到第二区域图像的清晰度值。常用的清晰度评价函数有Brenner梯度函数，可通过计算图像中相差两个像素单元或者多个像素单元之间的灰度差的平方和以估算图像的清晰程度。一般地，清晰度评价函数的输出结果越大，则表明图像清晰度越高，反之清晰度评价函数的输出结果越小，则表明图像清晰度越低。具体的，利用清晰度评价函数计算图像的清晰度的计算方法可参见现有的常用方式，在此不作赘述。
本实施例中，摄像设备100中预存有多个滤波模板，各个滤波模板的滤波强度不等。以3*3均值滤波器为例，滤波模板可表示如下：
其中，N表示预存的滤波模板的数量，k大于等于0且小于N，在k值越大时对应滤波模板的滤波强度越低，反之越高。
在计算得到第二区域图像的清晰度值的基础上，从多个滤波模板中选择出与第二区域图像的清晰度值匹配的滤波模板。在第二区域图像的清晰度值越高时，匹配滤波强度越大的滤波模板，反之，匹配滤波强度越低的滤波模板。
具体实施时，可预先将清晰度值划分为多个等级范围，并将各个等级范围匹配至不同的滤波模板。如此，后续在确定第二区域图像的清晰度值后，可根据该清晰度值所属的等级范围获得与其匹配的滤波模板。本实施例中，清晰度值与滤波模板中的k值的对应关系可如图7中所示。
在获得匹配的滤波模板后，可得到与该滤波模板对应的滤波窗口，用Sxy表示。其中，Sxy表示中心点在(x，y)处，大小为m*n的滤波窗口。以Sxy为算数均值滤波器为例进行说明，可利用滤波窗口Sxy对第二区域图像进行低通滤波处理，可按以下公式进行：
其中，f(x,y)表示滤波处理后得到的图像，g(x,y)表示滤波处理前的图像。
本实施例中，通过以上方式选择出适配于第二区域图像的清晰度值的滤波模板，并对其进行低通滤波处理以降低高频像素数量，减小图片大小。
针对待处理图像中的第一区域图像，可根据需求不作处理，或者进行适当程度的锐化、对比度提升处理，以凸显感兴趣图像的清晰度及细节。对于锐化及对比度提升处理可参考现有技术中的常用方法，本实施例在此不作赘述。
在分别对第一区域图像及第二区域图像进行处理后，可对第一区域图像以及低通滤波处理后的第二区域图像进行图像融合处理，得到待处理图像的处理结果图像。可选地，本实施例中，首先可将第一区域图像以及低通滤波后的第二区域图像分别转换为对应的二值化图像，其中，转换为二值化图像后的第一区域图像及第二区域图像可以表示如下：
上式中，在二值化图像中第一区域图像对应的各点表征为1，而第二区域图像对应的各点表征为0。
然后，再对所述第一区域图像对应的二值化图像以及所述第二区域图像对应的二值化图像，分别按第一融合比例及第二融合比例进行图像融合处理。具体地可根据以下公式进行融合：
I＝α*Iroi+(1-α)*Iothers
其中，I表示融合后的处理结果图像，Iroi表示第一区域图像，Iothers表示低通滤波处理后的第二区域图像，α表示融合过程中第一区域图像的第一融合比例，取值范围为[0,1]，(1-α)表示融合过程中第二区域图像的第二融合比例。其中，α的取值可如下：
其中，h(x,y)＝1表示第一区域图像对应的二值化图像，h(x,y)＝0表示第二区域图像对应的二值化图像。
在通过以上方式得到融合处理图像之后，即可对融合后的图像进行编码，并发送至监控终端200进行后续的分析处理或者存储。如此，在保障了所关注的对象的清晰度的前提下，通过降低非感兴趣区域的细节程度，从而降低整体图像的大小，进而减小传输及存储的负担。
请参阅图8，本申请另一实施例还提供一种应用于上述摄像设备100的图像处理装置130，所述图像处理装置130包括识别模块131、提取模块132、处理模块133及融合模块134。
识别模块131，用于获取待处理图像，对所述待处理图像进行目标识别获得目标对象，并获得所述目标对象在所述待处理图像中的位置信息。可以理解，该识别模块131可以用于执行上述步骤310，关于该识别模块131的详细实现方式可以参照上述对步骤310有关的内容。
提取模块132，用于根据所述目标对象在所述待处理图像中的位置信息提取出包含所述目标对象的第一区域图像以及除所述第一区域图像之外的第二区域图像。可以理解，该提取模块132可以用于执行上述步骤320，关于该提取模块132的详细实现方式可以参照上述对步骤320有关的内容。
处理模块133，用于对所述第二区域图像进行低通滤波处理。可以理解，该处理模块133可以用于执行上述步骤330，关于该处理模块133的详细实现方式可以参照上述对步骤330有关的内容。
融合模块134，用于对所述第一区域图像以及低通滤波处理后的所述第二区域图像进行图像融合处理，得到所述待处理图像的处理结果图像。可以理解，该融合模块134可以用于执行上述步骤340，关于该融合模块134的详细实现方式可以参照上述对步骤340有关的内容。
本实施例中，上述处理模块133具体可以用于：
利用预设清晰度评价函数计算得到所述第二区域图像的清晰度值；
从预设的多个滤波模板中选择出与所述清晰度值匹配的滤波模板；
获得与所述滤波模板对应的滤波窗口；以及
利用所述滤波窗口对所述第二区域图像进行低通滤波处理。
可选地，本实施例中，所述待处理图像包括具有闪光灯补光的多帧补光图像以及无闪光灯补光的多帧无补光图像，所述识别模块131可以通过以下方式获得目标对象在所述待处理图像中的位置信息：
针对所述待处理图像中包含的具有闪光灯补光的每一帧补光图像，获得与当前帧补光图像相邻的预设数量帧无补光图像；
获得所述预设数量帧无补光图像的各帧图像中的目标对象，根据各帧图像中的目标对象的位置信息并采用样条插值法拟合出目标对象的运动轨迹；
根据所述运动轨迹中所述当前帧补光图像的前一帧无补光图像以及后一帧无补光图像中的目标对象的位置信息计算得到所述当前帧补光图像中所述目标对象的位置信息。
本实施例中，所述识别模块131具体可以通过以下方式获得待处理图像中的各帧无补光图像中的目标对象：
针对所述待处理图像中包含的无闪光灯补光的每一帧无补光图像，根据排在当前帧无补光图像前面的多帧图像的均值计算得到当前帧无补光图像的实时背景图像；
从当前帧无补光图像中滤除当前帧无补光图像的实时背景图像得到前景图像，将该前景图像作为目标对象并获得该目标对象的位置信息。
本实施例中，所述识别模块131可以通过以下方式获得所述目标对象在所述待处理图像中的位置信息：
利用矩形框框定通过所述目标识别后得到的所述目标对象；
获得所述矩形框的中心位置的中心坐标值，以及所述矩形框的宽度值和高度值；
根据所述中心坐标值、宽度值及高度值获得所述目标对象的位置信息。
进一步地，本实施例中，所述融合模块134具体可以通过以下方式实现图像融合处理：
将所述第一区域图像以及低通滤波后的所述第二区域图像分别转换为对应的二值化图像；
对所述第一区域图像对应的二值化图像以及所述第二区域图像对应的二值化图像，分别按第一融合比例及第二融合比例进行图像融合处理。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
综上所述，本申请实施例提供的图像处理方法及装置，通过对待处理图像进行目标识别以获得目标对象，并获得目标对象的位置信息。基于目标对象的位置信息提取出第一区域图像及第二区域图像，对提取出的第二区域图像进行低通滤波处理，再对第一区域图像及低通滤波处理后的第二区域图像进行融合处理，以得到待处理图像的处理结果图像。如此，可在保持包含目标对象的第一区域图像的清晰度的前提下，降低第二区域图像的细节程度，以提升整体的压缩率，降低融合后的图像的大小，减少存储空间。
在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (8)
1.一种图像处理方法，其特征在于，所述方法包括：
获取待处理图像，对所述待处理图像进行目标识别获得目标对象，并获得所述目标对象在所述待处理图像中的位置信息；
根据所述目标对象在所述待处理图像中的位置信息提取出包含所述目标对象的第一区域图像以及除所述第一区域图像之外的第二区域图像；
对所述第二区域图像进行低通滤波处理；
对所述第一区域图像以及低通滤波处理后的所述第二区域图像进行图像融合处理，得到所述待处理图像的处理结果图像；
所述获得所述目标对象在所述待处理图像中的位置信息的步骤包括：
针对所述待处理图像中包含的具有闪光灯补光的每一帧补光图像，获得与当前帧补光图像相邻的预设数量帧无补光图像，获得所述预设数量帧无补光图像的各帧图像中的目标对象，根据各帧图像中的目标对象的位置信息并采用样条插值法拟合出目标对象的运动轨迹，根据所述运动轨迹中所述当前帧补光图像的前一帧无补光图像以及后一帧无补光图像中的目标对象的位置信息计算得到所述当前帧补光图像中所述目标对象的位置信息。
2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第二区域图像进行低通滤波处理的步骤，包括：
利用预设清晰度评价函数计算得到所述第二区域图像的清晰度值；
从预设的多个滤波模板中选择出与所述清晰度值匹配的滤波模板；
获得与所述滤波模板对应的滤波窗口；以及
利用所述滤波窗口对所述第二区域图像进行低通滤波处理。
3.根据权利要求1所述的图像处理方法，其特征在于，所述待处理图像包括无闪光灯补光的多帧无补光图像，所述待处理图像中的各帧无补光图像中的目标对象通过以下步骤获得：
针对所述待处理图像中包含的无闪光灯补光的每一帧无补光图像，根据排在当前帧无补光图像前面的多帧图像的均值计算得到当前帧无补光图像的实时背景图像；
从当前帧无补光图像中滤除当前帧无补光图像的实时背景图像得到前景图像，将该前景图像作为目标对象。
4.根据权利要求1所述的图像处理方法，其特征在于，所述获得所述目标对象在所述待处理图像中的位置信息的步骤，包括：
利用矩形框框定通过所述目标识别后得到的所述目标对象；
获得所述矩形框的中心位置的中心坐标值，以及所述矩形框的宽度值和高度值；
根据所述中心坐标值、宽度值及高度值获得所述目标对象的位置信息。
5.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第一区域图像以及低通滤波后的所述第二区域图像进行图像融合处理的步骤，包括：
将所述第一区域图像以及低通滤波后的所述第二区域图像分别转换为对应的二值化图像；
对所述第一区域图像对应的二值化图像以及所述第二区域图像对应的二值化图像，分别按第一融合比例及第二融合比例进行图像融合处理。
6.一种图像处理装置，其特征在于，所述装置包括：
识别模块，用于获取待处理图像，对所述待处理图像进行目标识别获得目标对象，并获得所述目标对象在所述待处理图像中的位置信息；
提取模块，用于根据所述目标对象在所述待处理图像中的位置信息提取出包含所述目标对象的第一区域图像以及除所述第一区域图像之外的第二区域图像；
处理模块，用于对所述第二区域图像进行低通滤波处理；
融合模块，用于对所述第一区域图像以及低通滤波处理后的所述第二区域图像进行图像融合处理，得到所述待处理图像的处理结果图像；
所述识别模块通过以下方式获得目标对象在所述待处理图像中的位置信息：
针对所述待处理图像中包含的具有闪光灯补光的每一帧补光图像，获得与当前帧补光图像相邻的预设数量帧无补光图像，获得所述预设数量帧无补光图像的各帧图像中的目标对象，根据各帧图像中的目标对象的位置信息并采用样条插值法拟合出目标对象的运动轨迹，根据所述运动轨迹中所述当前帧补光图像的前一帧无补光图像以及后一帧无补光图像中的目标对象的位置信息计算得到所述当前帧补光图像中所述目标对象的位置信息。
7.根据权利要求6所述的图像处理装置，其特征在于，所述处理模块具体用于：
利用预设清晰度评价函数计算得到所述第二区域图像的清晰度值；
从预设的多个滤波模板中选择出与所述清晰度值匹配的滤波模板；
获得与所述滤波模板对应的滤波窗口；以及
利用所述滤波窗口对所述第二区域图像进行低通滤波处理。
8.根据权利要求6所述的图像处理装置，其特征在于，所述待处理图像包括无闪光灯补光的多帧无补光图像，所述识别模块具体通过以下方式获得待处理图像中的各帧无补光图像中的目标对象：
针对所述待处理图像中包含的无闪光灯补光的每一帧无补光图像，根据排在当前帧无补光图像前面的多帧图像的均值计算得到当前帧无补光图像的实时背景图像；
从当前帧无补光图像中滤除当前帧无补光图像的实时背景图像得到前景图像，将该前景图像作为目标对象并获得该目标对象的位置信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910285384.9A CN111754565B (zh) | 2019-03-29 | 2019-03-29 | 图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910285384.9A CN111754565B (zh) | 2019-03-29 | 2019-03-29 | 图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111754565A CN111754565A (zh) | 2020-10-09 |
| CN111754565B true CN111754565B (zh) | 2024-04-26 |
Family
ID=72672667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910285384.9A Active CN111754565B (zh) | 2019-03-29 | 2019-03-29 | 图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111754565B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587586A (zh) * | 2008-05-20 | 2009-11-25 | 株式会社理光 | 一种图像处理装置及图像处理方法 |
| CN107180407A (zh) * | 2016-03-09 | 2017-09-19 | 杭州海康威视数字技术股份有限公司 | 一种图片处理方法及装置 |
| CN108428211A (zh) * | 2017-02-15 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 图像的处理方法、装置和机器可读介质 |
| WO2019057807A1 (en) * | 2017-09-21 | 2019-03-28 | Connaught Electronics Ltd. | HARMONIZING IMAGE NOISE IN A CAMERA DEVICE OF A MOTOR VEHICLE |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9213898B2 (en) * | 2014-04-30 | 2015-12-15 | Sony Corporation | Object detection and extraction from image sequences |
-
2019
- 2019-03-29 CN CN201910285384.9A patent/CN111754565B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101587586A (zh) * | 2008-05-20 | 2009-11-25 | 株式会社理光 | 一种图像处理装置及图像处理方法 |
| CN107180407A (zh) * | 2016-03-09 | 2017-09-19 | 杭州海康威视数字技术股份有限公司 | 一种图片处理方法及装置 |
| CN108428211A (zh) * | 2017-02-15 | 2018-08-21 | 阿里巴巴集团控股有限公司 | 图像的处理方法、装置和机器可读介质 |
| WO2019057807A1 (en) * | 2017-09-21 | 2019-03-28 | Connaught Electronics Ltd. | HARMONIZING IMAGE NOISE IN A CAMERA DEVICE OF A MOTOR VEHICLE |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111754565A (zh) | 2020-10-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wu et al. | Lane-mark extraction for automobiles under complex conditions | |
| US11003931B2 (en) | Vehicle monitoring method and apparatus, processor, and image acquisition device | |
| CN109145798B (zh) | 一种驾驶场景目标识别与可行驶区域分割集成方法 | |
| US20190340446A1 (en) | Shadow removing method for color image and application | |
| CN101599175B (zh) | 确定拍摄背景发生改变的检测方法及图像处理设备 | |
| CN103208185A (zh) | 一种基于车灯识别的夜间车辆检测方法及系统 | |
| CN111627215A (zh) | 基于人工智能的视频图像识别方法及相关设备 | |
| Chandra et al. | Recognition of vehicle number plate using Matlab | |
| CN111815556B (zh) | 基于纹理提取和小波变换的车载鱼眼相机自诊断方法 | |
| CN112528917A (zh) | 斑马线区域识别方法、装置、电子设备和存储介质 | |
| CN106803073B (zh) | 基于立体视觉目标的辅助驾驶系统及方法 | |
| Prutha et al. | Morphological image processing approach of vehicle detection for real-time traffic analysis | |
| CN111754565B (zh) | 图像处理方法及装置 | |
| KR20130070210A (ko) | 영상의 노이즈 제거 방법 | |
| CN116030430A (zh) | 铁轨识别方法、装置、设备及存储介质 | |
| Boliwala et al. | Automatic number plate detection for varying illumination conditions | |
| KR101875786B1 (ko) | 도로영상에서 후미등영역을 이용한 차량식별방법 | |
| CN116310889A (zh) | 无人机环境感知数据的处理方法、控制终端以及存储介质 | |
| TWI630818B (zh) | Dynamic image feature enhancement method and system | |
| JP2020098389A (ja) | 道路標識認識装置及びそのプログラム | |
| CN107992789B (zh) | 识别交通灯的方法、装置及车辆 | |
| CN115115546A (zh) | 一种图像处理方法、系统、电子设备及可读存储介质 | |
| Xiang et al. | A new model for daytime visibility index estimation fused average sobel gradient and dark channel ratio | |
| WO2017017140A1 (en) | Method for capturing an object on a road in the environment of a motor vehicle, camera system and motor vehicle using the same | |
| Singh et al. | Embedded based implementation: Controlling of real time traffic light using image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |