CN114727102A - 一种辅助驾驶摄像头坏点校正优化方法 - Google Patents

一种辅助驾驶摄像头坏点校正优化方法 Download PDF

Info

Publication number
CN114727102A
CN114727102A CN202210649734.7A CN202210649734A CN114727102A CN 114727102 A CN114727102 A CN 114727102A CN 202210649734 A CN202210649734 A CN 202210649734A CN 114727102 A CN114727102 A CN 114727102A
Authority
CN
China
Prior art keywords
dead pixel
dead
pixel
camera
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210649734.7A
Other languages
English (en)
Inventor
王正宇
王彬
徐凯
陈石
聂玮成
袁明亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Peregrine Microelectronics Co ltd
Original Assignee
Jiangsu Peregrine Microelectronics Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Peregrine Microelectronics Co ltd filed Critical Jiangsu Peregrine Microelectronics Co ltd
Priority to CN202210649734.7A priority Critical patent/CN114727102A/zh
Publication of CN114727102A publication Critical patent/CN114727102A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明公开了一种辅助驾驶摄像头坏点校正优化方法，包括坏点标定以及坏点校正。坏点标定包括：准备亮度值为0的极暗场景，亮度值为1的极亮场景以及亮度值位位于0~1之间的若干光线均匀的场景；在各单色场景下，由摄像头分别抓取得到Bayer格式的图片，将各图片中实际亮度值与标准亮度值的差值大于阈值TH_bad的像素点的坐标归入疑似坏点坐标集；疑似坏点坐标集中出现次数大于设定值Per的坐标对应的像素点即为坏点。坏点校正包括：坏点的亮度值用周边四个相同通道像素点的亮度均值替代。

Description

一种辅助驾驶摄像头坏点校正优化方法
技术领域
本发明涉及一种图像处理方法，特别涉及一种坏点校正方法。
背景技术
辅助驾驶依赖于传感器获取环境信息，并通过处理器对信息进行加工，提供间接信息协助或直接干预驾驶行为。以摄像头获取车外环境的图像信息为主，以激光雷达等其他传感器的信息为辅，是辅助驾驶领域未来的发展方向。
用于辅助驾驶的图像采集是利用多个车载摄像头将光信号转化成电信号并用数字形式进行存储、传输和显示。摄像头中的图像传感器上光线采集点（像素点）阵列存在工艺上的缺陷，或光信号进行转化为电信号的过程中出现错误，造成图像上像素信息错误，导致图像中的像素点数值不准确，这些有缺陷的像素为图像坏点。由于来自不同工艺技术和传感器制造商，尤其对一些低成本的摄像头来说，坏点数会有很多。另外，车载摄像头在长时间、高温环境下坏点也会越来越多，从而破坏了图像的清晰度和完整性。坏点校正的目的就是修复这类问题，将摄像头采集的数字图像进行缺陷修复和质量增强，便于后续的图像处理和识别。
一般的图像坏点矫正方法有两种。一种是静态坏点校正。基于已有的静态坏点表，比较当前点的坐标是否与静态坏点表中的某个坐标一致，若一致则判定为坏点，然后再计算校正结果对其进行校正。一般情况下，每个摄像头的坏点都不一样，需要厂商给出每个摄像头的静态坏点表，但是出于成本的考虑，很多摄像头厂商并没有给出，而用户校正的话只能一个一个对其进行校正，因此静态坏点校正的实用性不是很强。另外，由于用于存储坏点表在硬件设计的时候需要占用大量的存储器，考虑到芯片面积等原因，静态坏点校正有限制，不可以无限制的校正。
另一种是动态坏点校正。动态坏点的校正可以实时的检测和校正摄像头的亮点与暗点，使用梯度百分比的方式去检测坏点，检测到坏点之后通过中值滤波进行坏点校正。这类方法的优势是不用提前标定，也不需要存储区存储坏点表，但是缺点是无法区分摄像头本身缺陷造成的图像坏点和图像噪声，特别是在低照度环境下，很容易将噪声识别成坏点，而坏点矫正的算法不适用于降噪，甚至会造成噪声的恶化。
辅助驾驶场景中摄像头采集图像的坏点具有如下几个特点：（1）同时存在传感器阵列物理缺陷造成的坏点和环境中光线变化造成的坏点恶化两种情况。（2）在高亮度（白天阳光下）和低亮度（夜晚）两种极端情况下，坏点对图像质量影响大，是重点需要校正的场景。（3）随着摄像头长时间高温使用，会出现新的坏点。
发明内容
发明目的：针对上述现有技术，提出一种辅助驾驶摄像头坏点校正优化方法，
技术方案：一种辅助驾驶摄像头坏点校正优化方法，包括坏点标定以及坏点校正；所述坏点标定包括：
亮度值采用经过量化的0~1的浮点数表示，准备若干单色场景，包括亮度值为0的极暗场景，亮度值为1的极亮场景，以及亮度值位于0~1之间的若干场景；
在各单色场景下，由摄像头分别抓取得到Bayer格式的图片，将各图片中实际亮度值与标准亮度值的差值大于阈值TH_bad的像素点的坐标归入疑似坏点坐标集；所述疑似坏点坐标集中出现次数大于设定值Per的坐标对应的像素点即为坏点；
所述坏点校正包括：对于完成坏点标定的摄像头所获取的图片，所述坏点的亮度值用周边四个相同通道像素点的亮度均值替代。
进一步的，在每个单色场景下均抓取若干张Bayer格式的图片进行坏点标定。
进一步的，所述阈值TH_bad为0.3。
进一步的，共有M个单色场景，每个单色场景下均抓取N张Bayer格式的图片进行坏点标定，所述设定值Per=0.3*M*N。
进一步的，所述坏点校正中，若所述坏点周边四个相同通道像素点中也存在坏点，则利用周边四个通道除坏点以外的像素点的亮度均值替代。
有益效果：1.有效的实现坏点校正，尤其对于高照度中的“黑点”和低照度中“彩点”。具体的，在驾驶摄像头风吹日晒过程中，摄像头感光元器件的受损会使得坏点随机产生，在极端情况，如高照度、低照度下尤为明显，仅靠厂家出厂时的矫正不足以维持对高照度“黑点”和低照度“彩点”的矫正。本发明方案考虑到低照度下噪声的影响，将坏点的差值阈值TH_bad加大到0.3，尽量减少噪声的影响，更加准确的定位坏点。同时，本发明方案考虑到低照度、高照度、普通场景等多场景检测，遍历疑似坏点坐标集，当出现次数大于设定值Per时才会将其标定为最终坏点，避免了单一场景对高照度“黑点”低照度“彩点”的误判统计。
2.坏点坐标表动态维护。坏点表的维护不依赖于摄像头厂商，在摄像头使用全生命周期中可动态增减坏点，保持坏点校正效果。
3.坏点坐标表占用内存空间小。仅存储坏点坐标，而非整个坏点图，其占用空间小，便于硬件实现。
4.本方法中，通过调整阈值TH_bad、场景数量M、单一场景下抓取的标定图片数量N以及设定值Per，坏点坐标表的覆盖范围可动态调整，即去坏点程度、坏点坐标表空间大小、运算时间等可根据软硬件环境进行动态调整。
附图说明
图1为本发明方法流程图；
图2为极暗场景获取的图片；
图3为图2中的一块区域像素点的亮度值；
图4为GRGR/BGBG Bayer格式示意图；
图5为坏点校正原理示意图；
图6为本实施例中待坏点校正的图片；
图7为本实施例中坏点校正后的图片。
具体实施方式
下面结合附图对本发明做更进一步的解释。
如图1所示，一种辅助驾驶摄像头坏点校正优化方法，包括坏点标定以及坏点校正。
坏点标定包括如下步骤：
步骤1：准备亮度值为0的极暗场景。
坏点标定需要从摄像头获取特殊场景的图片，首先选择极暗场景，做法是用黑胶带将摄像头镜头完全遮住，确保密不透光。理想状态下，此场景下获取的图像的所有像素点的亮度值应为0，但是实际情况下，有一部分像素点亮度值会出现大于零，甚至有一小部分像素点的亮度值和标准亮度值0的差值很大，这些像素点则是疑似坏点，如图2和图3所示。
步骤2：由摄像头在场景下抓取一张Bayer格式的图片。
Bayer格式的图片是摄像头输出的一种原始数据格式，其中每一个像素点只有红R、绿G、蓝B三种颜色中的一种，因为人眼对绿色敏感，在2*2的窗口中一般放置2个G、1个R、1个B，排列方式有四种，此处以GRGR/BGBG为例，如图4所示，其他三种格式处理方法类同。
步骤3：标定疑似坏点，记载疑似坏点坐标。
遍历整个Bayer图片的所有像素点，将实际亮度值和标准亮度值的差值大于阈值TH_bad的像素点归入疑似坏点，并将这些疑似坏点的坐标值依次记录在表bad_table中。本实施例中，TH_bad取值为0.3。
步骤4：重复步骤2和步骤3，获取场景下N张Bayer格式的图片，更新表bad_table，即N张Bayer格式的图片上的疑似坏点的坐标均依次记录到表bad_table中。
步骤5：准备亮度值为1的极亮场景，并进行极亮场景标定。
用手电筒或者白炽灯向摄像头直射，理想状态下，此场景下获取的图像所有像素点的亮度值为1，但是实际情况下，会出现有一部分像素点亮度值小于1，甚至有一小部分像素点的亮度值和标准亮度值1的差值很大，这些是疑似坏点。按照步骤2至步骤4方法进行极亮场景标定，同样将该场景下N张Bayer格式的图片上的疑似坏点的坐标依次记录到表bad_table中。
步骤6：准备亮度值位于0~1之间且光线均匀的第3个至第M个场景，亮度选取0.5、0.8等，然后在各亮度值场景下按照步骤2至步骤4方法分别进行标定，将所有疑似坏点的坐标均依次记录到表bad_table中。
步骤7：遍历表bad_table，当同一个坐标出现次数大于设定值Per时，该坐标对应的像素点即为坏点，将筛选出的坏点坐标记入表new_table中。本实施例中，Per=0.3*M*N。
对于利用完成坏点标定的摄像头所获取的每张图片，都需经过坏点校正。
对于各图片，根据表bad_table中记录的坐标点，用四周相同通道的四个像素点的亮度均值代替此坐标点的亮度原值，如图5所示。如果坏点周边四个相同通道像素点中也存在坏点，则去除此点，即此点不参与均值计算，计算时利用周边四个通道除坏点以外的像素点的亮度均值替代亮度原值。处理效果见图6、图7，为了展现彩噪，图6、图7经过demosaic处理。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (5)

1.一种辅助驾驶摄像头坏点校正优化方法，其特征在于，包括坏点标定以及坏点校正；所述坏点标定包括：
亮度值采用经过量化的0~1的浮点数表示，准备若干单色场景，包括亮度值为0的极暗场景，亮度值为1的极亮场景，以及亮度值位于0~1之间的若干场景；
在各单色场景下，由摄像头分别抓取得到Bayer格式的图片，将各图片中实际亮度值与标准亮度值的差值大于阈值TH_bad的像素点的坐标归入疑似坏点坐标集；所述疑似坏点坐标集中出现次数大于设定值Per的坐标对应的像素点即为坏点；
所述坏点校正包括：对于完成坏点标定的摄像头所获取的图片，所述坏点的亮度值用周边四个相同通道像素点的亮度均值替代。
2.根据权利要求1所述的辅助驾驶摄像头坏点校正优化方法，其特征在于，在每个单色场景下均抓取若干张Bayer格式的图片进行坏点标定。
3.根据权利要求1所述的辅助驾驶摄像头坏点校正优化方法，其特征在于，所述阈值TH_bad为0.3。
4.根据权利要求2所述的辅助驾驶摄像头坏点校正优化方法，其特征在于，共有M个单色场景，每个单色场景下均抓取N张Bayer格式的图片进行坏点标定，所述设定值Per=0.3*M*N。
5.根据权利要求1-4任一所述的辅助驾驶摄像头坏点校正优化方法，其特征在于，所述坏点校正中，若所述坏点周边四个相同通道像素点中也存在坏点，则利用周边四个通道除坏点以外的像素点的亮度均值替代。
CN202210649734.7A 2022-06-10 2022-06-10 一种辅助驾驶摄像头坏点校正优化方法 Pending CN114727102A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210649734.7A CN114727102A (zh) 2022-06-10 2022-06-10 一种辅助驾驶摄像头坏点校正优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210649734.7A CN114727102A (zh) 2022-06-10 2022-06-10 一种辅助驾驶摄像头坏点校正优化方法

Publications (1)

Publication Number Publication Date
CN114727102A true CN114727102A (zh) 2022-07-08

Family

ID=82232367

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210649734.7A Pending CN114727102A (zh) 2022-06-10 2022-06-10 一种辅助驾驶摄像头坏点校正优化方法

Country Status (1)

Country Link
CN (1) CN114727102A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715050A (zh) * 2009-11-20 2010-05-26 北京中星微电子有限公司 一种图像传感器坏点检测的方法和系统
CN103475828A (zh) * 2013-10-10 2013-12-25 旗瀚科技有限公司 一种图像坏点校正方法及图像传感器
CN110463199A (zh) * 2018-04-10 2019-11-15 深圳市大疆创新科技有限公司 图像传感器坏点检测方法、拍摄装置、无人机及存储介质
CN110830795A (zh) * 2020-01-09 2020-02-21 武汉精立电子技术有限公司 一种图像传感器坏点检测方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101715050A (zh) * 2009-11-20 2010-05-26 北京中星微电子有限公司 一种图像传感器坏点检测的方法和系统
CN103475828A (zh) * 2013-10-10 2013-12-25 旗瀚科技有限公司 一种图像坏点校正方法及图像传感器
CN110463199A (zh) * 2018-04-10 2019-11-15 深圳市大疆创新科技有限公司 图像传感器坏点检测方法、拍摄装置、无人机及存储介质
CN110830795A (zh) * 2020-01-09 2020-02-21 武汉精立电子技术有限公司 一种图像传感器坏点检测方法、装置及电子设备

Similar Documents

Publication Publication Date Title
JP3785520B2 (ja) 電子カメラ
US6965395B1 (en) Methods and systems for detecting defective imaging pixels and pixel values
JP4633717B2 (ja) 欠陥ピクセルの動的特定および修正
CN101778222B (zh) 图像处理装置
US8149305B2 (en) Method and apparatus to detect a dead pixel of an image sensor and method and apparatus to capture an image from an image sensor
US20030179418A1 (en) Producing a defective pixel map from defective cluster pixels in an area array image sensor
US8582005B2 (en) Method, apparatus and system providing adjustment of pixel defect map
US7564491B2 (en) Pixel defect detecting/correcting device and pixel defect detecting/correcting method
KR100335529B1 (ko) 고체촬상소자의 화소결함 검출장치
US20050099516A1 (en) Error calibration for digital image sensors and apparatus using the same
US8564688B2 (en) Methods, systems and apparatuses for white balance calibration
US8804011B2 (en) Imaging device
US20100321506A1 (en) Calibration techniques for camera modules
US9544516B2 (en) Method and apparatus for sensor characterization
US7113210B2 (en) Incorporating pixel replacement for negative values arising in dark frame subtraction
CN111669523B (zh) 像素校正
US20040201758A1 (en) Defective pixel correction device
US6987577B2 (en) Providing a partial column defect map for a full frame image sensor
JP3227815B2 (ja) 固体撮像装置
JP4331120B2 (ja) 欠陥画素検出方法
KR101559724B1 (ko) 센서 어레이의 불량 픽셀 검출과 에러 은폐를 위한 방법 및 장치
US20230120604A1 (en) System and Method for Maximizing Inference Accuracy using Recaptured Datasets
CN114727102A (zh) 一种辅助驾驶摄像头坏点校正优化方法
JP2000217039A (ja) 点欠陥検出方法および点欠陥画素値補正方法
US20100231763A1 (en) Defective pixel detector for a digital video camera and associated methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20220708

RJ01 Rejection of invention patent application after publication