CN113793283B - 一种车载影像降噪方法 - Google Patents
一种车载影像降噪方法 Download PDFInfo
- Publication number
- CN113793283B CN113793283B CN202111345063.7A CN202111345063A CN113793283B CN 113793283 B CN113793283 B CN 113793283B CN 202111345063 A CN202111345063 A CN 202111345063A CN 113793283 B CN113793283 B CN 113793283B
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- target frame
- reference frame
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000009467 reduction Effects 0.000 title claims abstract description 26
- 238000003708 edge detection Methods 0.000 claims abstract description 15
- 238000006073 displacement reaction Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 238000012935 Averaging Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 6
- 230000000694 effects Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000005034 decoration Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 206010070834 Sensitisation Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008313 sensitization Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种车载影像降噪方法，采用多帧降噪模式，对于传感器获取的图像数据在Bayer域进行计算处理，计算处理时将一帧图像作为一个整体，采用边缘检测算子检测出参考帧和目标帧的边缘特征点，计算参考帧和目标帧的对应边缘特征点之间的位移，位移集合中出现频率最高的元素C(m,n)即为目标帧相对于参考帧的移动向量，将参考帧所有像素位移C(m,n)，对目标帧和位移后的参考帧不重合的部分所有像素保留目标帧原像素值，对重合的部分的像素对应取均值。本方法相对现有技术，利用“景移方法”代替“物移方法”，并采用“边缘检测”代替“匹配块搜索”，能够达到优质的降噪效果，且硬件资源占用少，且没有额外引入处理噪声。
Description
技术领域
本发明涉及一种数字图像处理方法，具体涉及一种车载影像的降噪方法。
背景技术
数字图像采集是利用摄像头等传感器将光信号转化成电信号并用数字形式进行存储、传输和显示，数字图像处理是将采集的数字图像针对使用目的和场景进行处理优化，其中常见的方法包括：图像增强和复原、图像编码压缩、图像描述等。
车载影像指车载摄像头在驾驶过程中采集到的多帧视频影像，包括倒车影像、行车记录影像、360度影像等。驾驶过程中的环境复杂多变，特别是在某些低照度的环境下，比如在傍晚和夜晚的户外，摄像头由于感光不足会产生大量的噪点，为了能够显示清晰，需要对低照度影像降噪，便于肉眼清晰获取实时信息和存储清晰图像，便于后续使用。
目前主流的车载影像处理器大多是沿用了相机和监控的图像处理算法，针对于实景降噪，一般有两种方式。
一种是采用空域降噪，通常称为2DNR，即在一帧图片内，针对噪点不同于图像信息的特征，采用滤波的方式降低噪声的信息量。这种方式的优点是只需要保存一帧图片，对存储空间占用少，单帧图片的降噪算法成熟度高，这种方式的缺点是噪点比较多时降噪效果不佳，因为噪点的特性“融合侵蚀”了图像，区分噪点在数学上变得困难。
另一种是采用时域降噪，通常称为3DNR，如图6所示，即在连续多帧图片内，针对噪点是随机出现的特征，采用多帧图片的信息加权处理的方法降低噪声在图像中的比重，同时通过运动估计来弥补多帧图像中运动物体带来的信息“差异”。这种方式的优点是比空域降噪效果好，缺点是对存储空间、处理器计算能力、算法设计要求高，并且相对于相机和监控场景，车载场景应用现有算法的降噪效果不佳。
随着智能汽车产业的发展，车载影像在人车交互和辅助驾驶方面将发挥越来越重要的作用，影像清晰度首要需要保证，是肉眼观测和影像留存的基础，也是进一步采用人工智能进行图像检测和识别的前提条件，所以提出一种适合硬件实现的车载影像的降噪方法具有实际价值。
发明内容
发明目的：针对上述现有技术，提出一种车载影像降噪方法，适用于车载影像独特的使用场景和清晰度要求，降低对硬件的要求，实现图像的有效降噪。
技术方案：一种车载影像降噪方法，包括：采用多帧降噪模式，对于传感器获取的图像数据在Bayer域进行计算处理，计算处理时将一帧图像作为一个整体，采用边缘检测算子检测出参考帧和目标帧的边缘特征点，计算参考帧和目标帧的对应边缘特征点之间的位移，位移集合中出现频率最高的元素C(m,n)即为目标帧相对于参考帧的移动向量，将参考帧所有像素位移C(m,n)，对目标帧和位移后的参考帧不重合部分的所有像素保留目标帧原像素值，对重合部分的像素对应取均值，从而完成目标帧降噪过程。
进一步的，Bayer格式中，在2*2的窗口中放置RGB颜色中的2个G、1个R、1个B，采用2*2的边缘检测算子窗口逐行从左到右隔列步进，隔列步进即只对G通道像素进行卷积运算，得到卷积后的输出像素Oi,j。
进一步的，设图像宽H、高V，亮度取值范围是0-255，设置边缘阈值ED_TH，对Oi,j进行二值化，得到边缘特征点Si,j：
所述边缘阈值ED_TH通过有效特征点数量ED_VOL进行确定，通过计算得到能够达到ED_VOL>0.5%*H*V的最小ED_TH值。
进一步的，计算参考帧和目标帧的对应边缘特征点之间的位移具体包括：计算目标帧所有边缘特征点和对应参考帧边缘特征点对应的行坐标和列坐标的差值，将差值集合记为Ck，通过概率统计得出集合Ck中出现频率最高的元素C(m,n)，即得到所述移动向量。
进一步的，将参考帧的下一帧图像作为目标帧。
进一步的，所述方法中，间隔选取多个帧作为参考帧。
有益效果：本发明针对车载影像独特的使用场景和清晰度要求，考虑到多帧降噪的优质效果和易于实现，采用连续帧加权的总体思路，具体创新包括：
1. 利用“景移方法”代替“物移方法”。多帧降噪的难点在于对多帧图像之间的区别加以识别和补偿，相机和监控影像是“背景”不变，“物体”移动，比如监控中场景是固定的，人和车在移动，但是车载影像是车在动，所以看上去是整个影像的“背景”在移动，这样传统的运动估计方法就不适用，本发明提出“景移方法”，也就是说把一帧图像作为一个整体，计算出移动向量，从而实现多帧图像的“对齐”。
2. 采用“边缘检测”代替“匹配块搜索”。传统的运动估计是通过把一帧图片分成多个块，然后搜索每个块在多帧中的变化来计算移动向量，因为无法判断“块”是否具有代表性，会有较大的误判，需要通过更多的计算来反复验证和弥补。本发明采用边缘检测算子计算出图像的显著边缘，即选择出了边缘特征点，多帧连续图像的对应边缘特征点之间的位移就是帧间位移。
3. 采用“Bayer域”数据代替“RGB域”数据。主流的多帧降噪都是在RGB域进行，本发明为了增强效果和提高效率，在Bayer域进行计算，并且只取G通道数据进行处理，避免插值去马赛克带来的“数据污染”，也把计算数据量直接减少一半。
因此本方法可实现：1、能够达到优质的降噪效果。2、计算内存占用少、易于硬件实现，便于低成本实现。3、本方法较好保留了图像原始像素，没有额外引入处理噪声。
附图说明
图1是GRGR/BGBG Bayer格式示意图；
图2是边缘检测算子窗口原理示意图；
图3是边缘检测示例图；
图4是参考帧和目标帧的边缘检测示例图；
图5是本发明采用“景移方法”的原理示意图；
图6为传统3DNR算法的原理示意图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
一种车载影像降噪方法，包括如下步骤：
第一步，获取参考帧图像。本方法采用多帧降噪，至少需要一帧参考帧，为了描述方便，此处描述取参考帧紧接着的下一帧为目标帧。图像处理器从图像传感器获取一帧Bayer格式图像数据作为参考帧。Bayer格式图像是sensor输出的一种原始数据格式，其中每一个像素点只有红R、绿G、蓝B三种颜色中的一种，因为人眼对绿色敏感，在2*2的窗口中放置2个G、1个R、1个B，排列方式有四种，此处以GRGR/BGBG为例，如图1所示，其他三种格式处理方法类同。
若从Bayer域数据转换为RGB域数据进行处理，一般需要采用插值算法计算每个像素缺失的两个通道数据，插值后的图像会引入数据误差，因此本方法在Bayer域计算。
第二步，参考帧边缘检测。设参考帧图像宽H、高V，像素点对应的亮度值记为Pi,j，其中i∈[1,H]，j∈[1,V]。选取2*2的边缘检测算子
，采用此算子的好处是对应Bayer格式中G像素的分布位置，能够用较少的计算实现边缘检测功能。
检测算子窗口逐行从左到右隔列步进，隔列步进即只处理G通道。如图2所示，与参考帧图像的G像素进行卷积运算Pi,j*W，得到卷积后的输出像素Oi,j：
Oi,j =Pi,j*W= abs(Pi,j- Pi+1,j+1), i=1,3,5…H-1, j=1,2,3…V, abs为取绝对值运算。
Oi,j = 0, others
设亮度取值8bit即范围是0-255，设置边缘阈值ED_TH，对Oi,j进行二值化，得到边缘特征点Si,j：
边缘阈值ED_TH通过有效特征点数量ED_VOL（即Si,j = 255的个数）进行确定，为了方便计算图像位移，边缘特征点Si,j的数量过多会导致计算量大，边缘特征点Si,j的数量过少会导致误差大，根据实测经验，边缘特征点Si,j数量选取在0.5%*H*V个点为合适，通过计算得到能够达到ED_VOL>0.5%*H*V的最小ED_TH值。
如图3所示，示例参考帧图像中H=550，V=366，ED_VOL=0.5%*H*V =1007，采用如上算法进行边缘检测，计算得到边缘特征点Si,j，对应的有效特征点数量ED_TH=37。
第三步，计算参考帧的边缘特征点坐标集合。构造边缘特征点坐标集合D，集合大小=ED_VOL，集合元素是所有边缘特征点的坐标，即Dk=(i,j)k, 当Si,j=255，Dkx代表第K个元素的行坐标，Dky代表第K个元素的列坐标。
第四步，获取目标帧图像并进行边缘检测。以紧接着参考帧的下一帧图像为目标帧，参照第一、二、三步对参考帧的方法，依次得到目标帧的P'i,j、S'i,j、D'k，如图4所示。
第五步，计算目标帧背景移动向量。如图5所示，本方法采用“景移算法”。计算目标帧所有边缘特征点和参考帧对应边缘特征点的行坐标和列坐标的差值，将差值集合记为Ck，通过概率统计得出Ck集合中出现频率最高的元素C(m,n)，即为目标帧相对于参考帧的移动向量。
第六步，重合部分均值处理。将参考帧所有像素位移C(m,n)，即行坐标+m，列坐标+n，目标帧和位移后的参考帧重合的部分中所有像素（包括R通道和B通道）对应取均值，目标帧和位移后的参考帧不重合的部分所有像素保留目标帧原像素值。至此，完成目标帧降噪过程，图像数据可进入后续处理环节。
未经处理的目标帧也作为目标帧下一帧的参考帧，以此重复。
如果整个过程有多个参考帧，可类似方法进行计算处理。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (5)
1.一种车载影像降噪方法，其特征在于，包括：采用多帧降噪模式，对于传感器获取的图像数据在Bayer域进行计算处理，计算处理时将一帧图像作为一个整体，采用边缘检测算子检测出参考帧和目标帧的边缘特征点，计算参考帧和目标帧的对应边缘特征点之间的位移，位移集合中出现频率最高的元素C(m,n)即为目标帧相对于参考帧的移动向量，将参考帧所有像素位移C(m,n)，对目标帧和位移后的参考帧不重合部分的所有像素保留目标帧原像素值，对重合部分的像素对应取均值，从而完成目标帧降噪过程；
计算参考帧和目标帧的对应边缘特征点之间的位移具体包括：计算目标帧所有边缘特征点和对应参考帧边缘特征点对应的行坐标和列坐标的差值，将差值集合记为Ck，通过概率统计得出集合Ck中出现频率最高的元素C(m,n)，即得到所述移动向量。
2.根据权利要求1所述的车载影像降噪方法，其特征在于，Bayer格式中，在2*2的窗口中放置RGB颜色中的2个G、1个R、1个B，采用2*2的边缘检测算子窗口逐行从左到右隔列步进，隔列步进即只对G通道像素进行卷积运算，得到卷积后的输出像素Oi,j。
3.根据权利要求2所述的车载影像降噪方法，其特征在于，设图像宽H、高V，亮度取值范围是0-255，设置边缘阈值ED_TH，对Oi,j进行二值化，得到边缘特征点Si,j：
所述边缘阈值ED_TH通过有效特征点数量ED_VOL进行确定，通过计算得到能够达到ED_VOL>0.5%*H*V的最小ED_TH值。
4.根据权利要求1-3任一所述的车载影像降噪方法，其特征在于，将参考帧的下一帧图像作为目标帧。
5.根据权利要求1-3任一所述的车载影像降噪方法，其特征在于，所述方法中，间隔选取多个帧作为参考帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111345063.7A CN113793283B (zh) | 2021-11-15 | 2021-11-15 | 一种车载影像降噪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111345063.7A CN113793283B (zh) | 2021-11-15 | 2021-11-15 | 一种车载影像降噪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113793283A CN113793283A (zh) | 2021-12-14 |
| CN113793283B true CN113793283B (zh) | 2022-02-11 |
Family
ID=78955153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111345063.7A Active CN113793283B (zh) | 2021-11-15 | 2021-11-15 | 一种车载影像降噪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113793283B (zh) |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760826B (zh) * | 2016-02-03 | 2020-11-13 | 歌尔股份有限公司 | 一种人脸跟踪方法、装置和智能终端 |
| CN109919855A (zh) * | 2019-01-17 | 2019-06-21 | 深圳禾苗通信科技有限公司 | 一种基于多帧影像的快速保边去噪方法 |
| CN113160294B (zh) * | 2021-03-31 | 2022-12-23 | 中国科学院深圳先进技术研究院 | 图像场景深度的估计方法、装置、终端设备和存储介质 |
| CN113643333A (zh) * | 2021-08-25 | 2021-11-12 | Oppo广东移动通信有限公司 | 图像配准方法、装置、电子设备和计算机可读存储介质 |
-
2021
- 2021-11-15 CN CN202111345063.7A patent/CN113793283B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN113793283A (zh) | 2021-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6724945B1 (en) | Correcting defect pixels in a digital image | |
| US9582863B2 (en) | Image processing apparatus, image processing method, and program | |
| US6625325B2 (en) | Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning kernel | |
| US8571312B2 (en) | Image interpolation method and apparatus using pattern characteristics of color filter array | |
| CN105069801A (zh) | 基于图像质量诊断的视频图像预处理方法 | |
| CN111784605B (zh) | 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质 | |
| WO2020238970A1 (zh) | 图像降噪装置及图像降噪方法 | |
| CN103650486B (zh) | 摄像装置和图像生成方法 | |
| CN107967668B (zh) | 一种图像处理方法及装置 | |
| JP2004522372A (ja) | 時空間適応的雑音除去／高画質復元方法及びこれを応用した高画質映像入力装置 | |
| CN111510691B (zh) | 颜色插值方法及装置、设备、存储介质 | |
| CN111784603A (zh) | 一种raw域图像去噪方法、计算机装置及计算机可读存储介质 | |
| JPH03187571A (ja) | ハーフトーンデジタル映像から連続トーンデジタル映像への逆変換方法 | |
| KR101637488B1 (ko) | 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치 | |
| CN111260580B (zh) | 图像去噪方法、计算机装置及计算机可读存储介质 | |
| CN103053163A (zh) | 图像生成装置、图像生成系统、方法及程序 | |
| Honda et al. | Make my day-high-fidelity color denoising with near-infrared | |
| CN113793283B (zh) | 一种车载影像降噪方法 | |
| Lee et al. | Cost-efffective color filter array demosaicing using spatial correlation | |
| CN110580684A (zh) | 一种基于黑白-彩色双目相机的图像增强方法 | |
| JP2015211325A (ja) | パープルフリンジ除去処理方法及びその処理を遂行するパープルフリンジ除去処理装置 | |
| Paul et al. | Maximum accurate medical image demosaicing using WRGB based Newton Gregory interpolation method | |
| US8731281B2 (en) | Wavelet transform on incomplete image data and its applications in image processing | |
| CN111784575A (zh) | 一种基于标定的监控摄像机去马赛克的方法 | |
| CN113840124B (zh) | 图像处理方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220228 Address after: No. 88, Wenchang East Road, Yangzhou, Jiangsu 225000 Patentee after: Jiangsu Daoyuan Technology Group Co.,Ltd. Address before: 211135 enlightenment star Nanjing maker space G41, second floor, No. 188, Qidi street, Qilin science and Technology Innovation Park, Qixia District, Nanjing, Jiangsu Province Patentee before: Jiangsu Peregrine Microelectronics Co.,Ltd. |