CN106385549B - 图像坏点矫正方法及相关装置 - Google Patents
图像坏点矫正方法及相关装置 Download PDFInfo
- Publication number
- CN106385549B CN106385549B CN201610803847.2A CN201610803847A CN106385549B CN 106385549 B CN106385549 B CN 106385549B CN 201610803847 A CN201610803847 A CN 201610803847A CN 106385549 B CN106385549 B CN 106385549B
- Authority
- CN
- China
- Prior art keywords
- point
- pixel
- dead
- attribute value
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000000729 antidote Substances 0.000 title abstract 2
- 238000012937 correction Methods 0.000 claims abstract description 102
- 238000000034 method Methods 0.000 claims abstract description 55
- 230000015654 memory Effects 0.000 claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims abstract description 28
- 238000013507 mapping Methods 0.000 claims description 14
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000003705 background correction Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 48
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 3
- 238000003672 processing method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101100498818 Arabidopsis thaliana DDR4 gene Proteins 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本申请提供一种图像坏点矫正方法及相关装置，其根据图像传感器的坏点坐标确定各个像素点的属性值，并将该各个像素点的属性值作为坏点信息存储至外部存储器中；在图像传感器输出成像图像时，从上述外部存储器中读取各个像素点的属性值，并根据该属性值及预设矫正算法，完成对所述成像图像中坏点的矫正。本申请通过外部存储器来存储坏点信息，可以满足高分辨率、多坏点的图像传感器的坏点信息存储需求；由于该外部存储器的读取速度不小于预设速度，可以保证图像处理芯片对坏点信息的加载速度；本申请以预先根据坏点坐标所确定的属性值为坏点信息，可以减少预设矫正算法执行过程中的数据处理量，从而提高坏点矫正效率，保证坏点矫正的实时性。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像坏点矫正方法及相关装置。
背景技术
随着技术的发展，图像传感器的分辨率越来越高，从而可以使得相机等图像采集设备获取到更为清晰的图像。但是，图像传感器分辨率越高，其靶面上的像素点越多，由于制造工艺的限制，这些像素点中的坏像素点(简称坏点)也越多，影响成像质量。因此，有必要对带有坏点的图像传感器获取到的每个图像进行坏点矫正，最终输出完整的没有坏点的图像。
相关技术中，典型的坏点矫正过程包括三个环节：坏点标定、坏点信息加载和坏点矫正。其中，坏点标定环节，即利用PC(Personal Computer，个人电脑)等相关测试设备对图像传感器的靶面进行测试，确定该靶面上的坏点坐标；坏点信息加载，即将坏点标定环节得到的坏点坐标存储在图像采集设备的存储单元中，当图像采集设备的图像传感器输出成像图像后，相应的图像处理芯片从上述存储单元中读取坏点坐标，以准备对该成像图像进行矫正；坏点矫正，即上述图像处理芯片通过执行预先设定的坏点矫正算法，来对上述成像图像中坏点坐标对应的像素点进行矫正，得到无坏点的目标图像。其中，上述用于执行坏点矫正的图像处理芯片包括FPGA(Field－Programmable Gate Array，现场可编程门阵列)、ASIC(Application Specific Integrated Circuits，专用集成电路)等芯片；常用的坏点矫正算法包括直接替换法、权重替换法、插值法等，通常将坏点矫正算法的代码固化写入上述图像处理芯片中。
发明人在本申请的研究过程中发现，相关技术一般直接将FPGA、ASIC等图像处理芯片的内部存储空间作为坏点坐标的存储单元，以利用其内部存储空间读取速度高的特点来实现对坏点坐标的快速加载，保证对图像坏点矫正的实时性。但是，对于高分辨率的图像传感器，其坏点个数较多，相应的存储坏点坐标所需的存储单元容量也较大，而图像处理芯片的内部存储空间往往很小，难以满足多坏点存储需求；如果借助图像处理芯片的外部存储空间来存储坏点坐标，则会因外部存储空间的读取带宽限制处理芯片对坏点坐标的加载速度，从而降低坏点矫正的效率及实时性。可见，如何在多坏点情况下，既满足大存储空间的要求，又满足对坏点坐标的快速加载要求，是目前像素坏点矫正技术亟需解决的问题。
发明内容
本申请提供了一种图像坏点矫正方法及相关装置，以解决相关技术中对坏点坐标的存储空间与加载速度之间的矛盾。
为了解决上述技术问题，本申请实施例公开了如下技术方案：
本申请实施例的第一方面，提供一种图像坏点矫正方法，应用于具有图像传感器的图像采集设备；该方法包括：
获取图像传感器的坏点坐标；
根据所述坏点坐标确定图像传感器的各个像素点对应的属性值；
将所述各个像素点的属性值存储于读取速度不小于预设速度的外部存储器；
当接收到图像传感器输出的成像图像时，从所述外部存储器中读取所述各个像素点的属性值；
执行预设矫正算法，并根据所述各个像素点的属性值对所述成像图像进行坏点矫正。
可选的，根据所述坏点坐标确定图像传感器的各个像素点对应的属性值，包括：
分别以图像传感器的每个像素点为当前像素点，根据所述当前像素点的坐标和所述坏点坐标确定所述当前像素点的位置属性；
获取所述预设矫正算法对应的位置属性与属性值之间的预设映射关系；
根据所述预设映射关系以及所述当前像素点的位置属性，查找得到所述当前像素点的属性值。
可选的，当所述预设矫正算法为直接替换法时，所述当前像素点的位置属性包括以下五种中的一种：
当前像素点为正常点；
当前像素点为坏点，且左侧相邻点为正常点；
当前像素点为坏点，且右侧相邻点为正常点；
当前像素点为坏点，且上侧相邻点为正常点；
当前像素点为坏点，且下侧相邻点为正常点；
所述五种位置属性对应的属性值分别为位宽为3bit的二进制常数。
可选的，所述图像坏点矫正方法还包括：
计算图像传感器的像素时钟与所述属性值的位宽之间的乘积，并根据所述乘积确定所述预设速度。
可选的，所述外部存储器至少包括：任一型号的双倍速率同步动态随机存储器DDR。
本申请实施例的第二方面，提供一种图像坏点矫正装置，应用于具有图像传感器的图像采集设备；该装置包括：
坏点坐标获取单元，用于获取图像传感器的坏点坐标；
坏点信息转换单元，用于根据所述坏点坐标确定图像传感器的各个像素点对应的属性值，并将所述各个像素点的属性值存储于读取速度不小于预设速度的外部存储器；
坏点信息加载单元，用于当接收到图像传感器输出的成像图像时，从所述外部存储器中读取所述各个像素点的属性值；
坏点矫正执行单元，用于执行预设矫正算法，并根据所述各个像素点的属性值对所述成像图像进行坏点矫正。
可选的，为实现根据所述坏点坐标确定图像传感器的各个像素点对应的属性值，所述坏点信息转换单元具体被配置为：
分别以图像传感器的每个像素点为当前像素点，根据所述当前像素点的坐标和所述坏点坐标确定所述当前像素点的位置属性；
获取所述预设矫正算法对应的位置属性与属性值之间的预设映射关系；
根据所述预设映射关系以及所述当前像素点的位置属性，查找得到所述当前像素点的属性值。
可选的，当所述预设矫正算法为直接替换法时，所述坏点信息转换单元所确定的当前像素点的位置属性包括以下五种中的一种：
当前像素点为正常点；
当前像素点为坏点，且左侧相邻点为正常点；
当前像素点为坏点，且右侧相邻点为正常点；
当前像素点为坏点，且上侧相邻点为正常点；
当前像素点为坏点，且下侧相邻点为正常点；
所述五种位置属性对应的属性值分别为位宽为3bit的二进制常数。
本申请实施例的第三方面，提供一种图像采集设备，包括：图像传感器、外部存储器以及上文任一项所述的图像坏点矫正装置。
可选的，所述外部存储器至少包括：任一型号的双倍速率同步动态随机存储器DDR。
由以上技术方案可知，本申请实施例根据图像传感器的坏点坐标确定各个像素点的属性值，并将该各个像素点的属性值作为坏点信息存储至外部存储器中，且该外部传感器的读取速度不小于预设速度；在接收到图像传感器输出的成像图像时，图像处理芯片从上述外部存储器中读取坏点信息，即各个像素点的属性值，并将该属性值应用于预设矫正算法中，完成对所述成像图像中坏点的矫正。可见，本申请实施例通过外部存储器代替现有技术常用的图像处理芯片的内部存储空间来存储坏点信息，可以满足图像传感器分辨率高、坏点多的情况下大量坏点信息的存储需求；同时，由于该对外部存储器的读取速度不小于预设速度，可以保证图像处理芯片对坏点信息的加载速度；而且，相对于现有技术以坏点坐标为坏点信息的处理方式，本申请实施例以预先根据坏点坐标所确定的属性值为坏点信息，应用于预设矫正算法中，可以减少预设矫正算法执行过程中的数据处理量，从而提高坏点矫正效率，保证坏点矫正的实时性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种图像采集设备的硬件结构图；
图2为本申请实施例提供的一种图像坏点矫正方法的流程图；
图3为本申请实施例提供的又一种图像采集设备的硬件结构图；
图4为本申请实施例提供的图像坏点矫正方法中基于直接替换法确定属性值的原理示意图；
图5为本申请实施例提供的一种图像坏点矫正装置的结构示意图。
具体实施方式
为了使本领域的技术人员更好地理解本申请实施例中的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。
本申请实施例提供的图像坏点矫正方法，应用于具有图像传感器的图像采集设备，如数码相机、手机等；为便于理解，首先通过图1介绍图像采集设备中与本申请实施例相关的主要硬件结构。如图1所示，本申请实施例中，图像采集设备至少包括：图像传感器100，图像处理芯片200，以及相对于图像处理芯片200的内部存储单元而言的外部存储器300。
其中，图像传感器100具体可以为CCD(Charge Coupled Device，电荷耦合元件)和CMOS(Complementary Metal-Oxide Semiconductor，金属氧化物半导体元件)两种传感器中的任一种。图像处理芯片200具体可以采用FPGA、ASIC等可编程芯片，用于通过执行预设的代码或程序，对图像传感器100输出的成像图像进行坏点矫正等处理过程。
参照图2所示流程图，基于图1所示硬件结构，本申请实例提供的图像坏点矫正方法至少包括如下步骤：
S11、获取图像传感器的坏点坐标。
可选的，实际应用中可以预先通过相关测试设备对图像采集设备的图像传感器100进行标定，确定该图像传感器100靶面上的坏点个数，以及每个坏点的坐标，并将该坏点坐标导入图像处理芯片200中。
S12、根据所述坏点坐标确定图像传感器的各个像素点对应的属性值。
图像处理芯片200在通过步骤S11中获取到的坏点坐标后，根据图像传感器靶面上的每个像素点与坏点坐标对应的坏点之间的相对位置关系，确定每个像素点对应的属性值。其中，像素点对应的属性值不同表征该像素点与坏点的相对位置关系不同；例如，“当前像素点在第一坏点的左侧”和“当前像素点在第一坏点的右侧”这两种不同的相对位置关系，分别对应不同的属性值。
可选的，为提高数据处理效率，上述属性值可以采用任意处理器均可直接处理的二进制常数。其中，由于位宽不同，相应的二进制常数可取值的总个数不同(例如，当位宽为2bit时，所组成的二进制常数共有00、01、10和11四个；而当位宽为3bit时，可以组成000、001、010、011、100、101、110和111八个二进制常数)，故上述属性值的实际位宽可以根据本次坏点矫正所选定的预设矫正算法确定：如果预设矫正算法需要分辨的任意像素点与坏点之间相对位置关系共有N种，则上述属性值的实际位宽m(单位为bit)，可以根据不等式2m-1＜N＜2m计算得到，从而可以在保证不同的相对位置关系对应不同属性值的前提下，尽量减少属性值所占的存储空间。
S13、将所述各个像素点的属性值存储于读取速度不小于预设速度的外部存储器。
S14、当接收到图像传感器输出的成像图像时，从所述外部存储器中读取所述各个像素点的属性值。
本申请实施例中，将各个像素点的属性值作为坏点信息进行存储，同时，采用外部存储器来存储坏点信息；其中，本申请实施例所采用的外部存储器不是任意一种外部存储器，而是限定为数据读取速度不小于预设速度的外部存储器(该预设速度具体可以根据图像处理芯片的数据处理速度来确定)，从而保证在步骤S14中可以快速读取到坏点信息并应用于后续步骤中，避免因坏点信息读取不及时而影响坏点矫正的实时性。
S15、执行预设矫正算法，并根据所述各个像素点的属性值对所述成像图像进行坏点矫正。
本申请实施例中，将各个像素点的属性值应用于预设矫正算法，由于像素点的属性值表征当前像素点与坏点之间的相对位置关系，可以直接根据属性值确定将坏点矫正为正常点所需的一个或多个相关正常点，因此，相对于现有技术中根据坏点坐标执行预设矫正算法的方式，本申请实施例省去了根据坏点坐标计算确定所述相关正常点的过程，从而可以提高坏点矫正效率，保证坏点矫正的实时性。
由以上技术方案可知，本申请实施例根据图像传感器的坏点坐标确定各个像素点的属性值，并将该各个像素点的属性值作为坏点信息存储至外部存储器中，且该外部传感器的读取速度不小于预设速度；在接收到图像传感器输出的成像图像时，图像处理芯片从上述外部存储器中读取坏点信息，即各个像素点的属性值，并将该属性值应用于预设矫正算法中，完成对所述成像图像中坏点的矫正。可见，本申请实施例通过外部存储器代替现有技术常用的图像处理芯片的内部存储空间来存储坏点信息，可以满足图像传感器分辨率高、坏点多的情况下大量坏点信息的存储需求；同时，由于该对外部存储器的读取速度不小于预设速度，可以保证图像处理芯片对坏点信息的加载速度；而且，相对于现有技术以坏点坐标为坏点信息的处理方式，本申请实施例以预先根据坏点坐标所确定的属性值为坏点信息，应用于预设矫正算法中，可以减少预设矫正算法执行过程中的数据处理量，从而提高坏点矫正效率，保证坏点矫正的实时性。
参照图3所示的另一种硬件结构，在本申请一个可行的实施方式中，图像采集设备还包括非易失性存储器400；通过相关测试设备标定得到的坏点坐标首先下载至非易失性存储器400进行保存，图像处理芯片200从非易失性存储器400读取所述坏点坐标，并根据预设矫正算法将坏点坐标转换为各个像素点的属性值；当需要改变预设矫正算法时，图像处理芯片200可以再次从非易失性存储器400读取所述坏点坐标，按照新的预设矫正算法重新确定各个像素点的属性值。
在本申请一个可行的实施方式中，上述步骤S12所述的根据所述坏点坐标确定图像传感器的各个像素点对应的属性值，具体可以包括以下步骤：
S121、分别以图像传感器的每个像素点为当前像素点，根据所述当前像素点的坐标和所述坏点坐标确定所述当前像素点的位置属性；
S122、获取所述预设矫正算法对应的位置属性与属性值之间的预设映射关系；
S123、根据所述预设映射关系以及所述当前像素点的位置属性，查找得到所述当前像素点的属性值。
本申请实施例中，所述位置属性为当前像素点与坏点之间相对位置关系的一种表示形式，对于不同的坏点矫正算法(如直接替换法、权重替换法、插值法等)，位置属性个数及定义不尽相同。因此，可以预先确定每种坏点矫正算法所需的位置属性的总个数及每个位置属性的定义，并为每个位置属性配置唯一的属性值，且所分配的属性值的位宽也根据位置属性的总个数确定(参照前文所述不等式2m-1＜N＜2m)。
具体的，对于直接替换法，可以通过如下五种位置属性实现坏点替换：
(1)当前像素点为正常点；
(2)当前像素点为坏点，且左侧相邻点为正常点；
(3)当前像素点为坏点，且右侧相邻点为正常点；
(4)当前像素点为坏点，且上侧相邻点为正常点；
(5)当前像素点为坏点，且下侧相邻点为正常点。
由于上述位置属性的总个数满足22＜5＜23，故相应的属性值可采用位宽为3bit的二进制常数；即，可以在八个三位二进制常数{000，001，010，011，100，101，110，111}中任意选取五个，一一配置给上述五种位置属性，配置完成后，位置属性与属性值的对应关系如下表1所示：
表1直接替换法中位置属性与属性值的映射关系
| 属性值 | 位置属性 |
| 000 | 当前像素点为正常点 |
| 001 | 当前像素点为坏点，且左侧相邻点为正常点 |
| 011 | 当前像素点为坏点，且右侧相邻点为正常点 |
| 101 | 当前像素点为坏点，且上侧相邻点为正常点 |
| 111 | 当前像素点为坏点，且下侧相邻点为正常点 |
需要说明的是，对于直接替换法，其对应的位置属性即属性值不仅限于上表1所示；在本申请其他实施例中，直接替换法对应的位置属性还可以为“当前像素点为坏点”、“当前像素点为正常点，且相邻的像素点都是正常点”、“当前像素点为正常点，且左侧相邻点为坏点”、“当前像素点为正常点，且右侧相邻点为坏点”、“当前像素点为正常点，且上侧相邻点为坏点”、“当前像素点为正常点，且下侧相邻点为坏点”等，相应的属性值同样可以基于前文所述方法进行配置。
在本申请一个可行的实施例中，用于存储各个像素点的属性值的外部存储器具体可以采用任一型号的DDR(Double-Date-Rate Synchronous Dynamic Random AccessMemory,双倍速率同步动态随机存储器)，如DDR3(第三代双倍速率同步动态随机存储器)、DDR4(第四代双倍速率同步动态随机存储器)、DDR5(第五代双倍速率同步动态随机存储器)等，或者其他更高规格(读取速度更大)的存储器。
在本申请一个可行的实施例中，上述图像坏点矫正方法还可以包括以下步骤：
计算图像传感器的像素时钟与所述属性值的位宽之间的乘积，并根据所述乘积确定所述预设速度。
例如，图像传感器的像素时钟不大于3GHz，各个像素点的属性值采用位宽为3bit的二进制常数，则预设速度为3*3＝9Gb/s，故相应的外部存储器应当选用实际读取速度(带宽)不小于9GB/s的存储器，如DDR3-800(理论带宽可达到12Gb/s，考虑刷新损耗后的实际带宽不低于10GB/s)；从另一个角度来说，在属性值的位宽固定为3bit的情况下，DDR3-800可以应用于像素时钟不大于3GHz的任意图像传感器的图像矫正。
在本申请一个可行的实施例中，外部传感器的容量可以根据图像传感器的分辨率和/或坏点个数确定，即图像传感器的分辨率越高、坏点个数越多，相应的坏点信息的数据量越大，所采用的外部传感器的容量也应越大。
按照属性值位宽为4bit(可以标识16种位置属性，能够满足大多数坏点矫正算法的需求)来计算，对于1200万像素的图像传感器，全部像素点的属性值所需的存储空间为12000000x4bit＝48Mbit，对于1亿像素的图像传感器，全部像素点的属性值所需的存储空间为100000000x4bit＝400Mbit，对于10亿像素的图像传感器，全部像素点的属性值所需的存储空间为1000000000x4bit＝4Gbit；常见的DDR3芯片的容量都是Gbit级别的，故直接将DDR3应用于本申请实施例，可以满足大多数图像传感器的图像坏点矫正需求。
下文通过具体实例对本申请实施例所述图像坏点矫正方法进行详细介绍。
首先假设如下前提条件：图像传感器有且仅有两个坏点，相应的坏点坐标分别为(502,1)和(5234,2)，预设矫正算法为直接替换法，对应的位置属性与属性值之间的预设映射关系如上文表1所示；在上述前提条件下，依照本申请实施例所述的图像坏点矫正方法，过程如下：
在步骤S11中，图像处理芯片获取得到图像传感器的两个坏点坐标，分别为(502,1)和(5234,2)。
在步骤S12中，图像处理芯片根据上述两个坏点坐标依次确定每一个像素点对应的属性值，如图4所示。
其中，对于坐标为(0,0)的第一个像素点，由于其为正常点，故根据上述表格其对应的属性值为000；依此类推，对于坐标既不是(502,1)也不是(5234,2)的任一像素点，由于其均为正常点，故对应的属性值均为000；对于坐标为(502,1)的坏点，由于其上、下、左、右四个方向的相邻像素点都是正常点，故根据上述表格，其属性值可以取001、011、101和111四种中的任一种，图4中以取值011为例；同样的，对于坐标为(5234,2)的坏点，其四个方向上的相邻像素点也都是正常点，其属性值亦可以取001、011、101和111四种中的任一种，图4中以取值101为例。
在步骤S13中，图像处理芯片将步骤S12中确定的各个像素点的属性值存入外部存储器DDR3中。
在步骤S14中，图像处理芯片实时检测图像传感器是否输出成像图像，如果是，则从所述外部存储器DDR3中加载各个像素点的属性值，并执行直接替换法，根据属性值判断是否对各个像素点进行处理，具体如下表2所示：
表2直接替换法中像素点属性值与处理方法对照
| 属性值 | 位置属性 | 处理方法 |
| 000 | 当前像素点为正常点 | 不处理 |
| 001 | 当前像素点为坏点，且左侧相邻点为正常点 | 用左侧相邻点替换当前像素点 |
| 011 | 当前像素点为坏点，且右侧相邻点为正常点 | 用右侧相邻点替换当前像素点 |
| 101 | 当前像素点为坏点，且上侧相邻点为正常点 | 用上侧相邻点替换当前像素点 |
| 111 | 当前像素点为坏点，且下侧相邻点为正常点 | 用下侧相邻点替换当前像素点 |
参照上表2，对于图4中属性值为000的像素点，不处理；对于图4中属性值为011的像素点(坐标为(502,1))，将其替换为其右侧相邻点，即坐标为(503,1)的像素点，对于图4中属性值为101像素点(坐标为(5234,2))，将其替换为其上侧相邻点，即坐标为(5234,1)的像素点。至此，当前成像图像中坐标为(502,1)和(5234,2)的两个坏点都被替换为正常点，图像坏点矫正完成，得到无坏点的正常图像。
而若依照现有技术，以坏点坐标为坏点信息，图像处理芯片在执行直接替换法时，对于每一个坏点坐标，要执行至少一次、至多四次判断，才能确定其相邻的一个正常点；对于权重替换法、插值法等更复杂的坏点矫正算法，则需要基于坏点坐标执行更多的计算、判断等数据处理，才能将坏点矫正为正常点。
可见，本申请实施例以预先根据坏点坐标所确定的属性值为坏点信息，应用于预设矫正算法中，可以减少预设矫正算法执行过程中的数据处理量，从而提高坏点矫正效率，保证坏点矫正的实时性。
本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案可以以软件产品(包括程序或代码等)的形式体现出来，该计算机软件产品可以存储在图像采集设备的图像处理芯片中，当图像处理芯片执行该计算机软件产品时，可以实现上文实施例所述的任一种图像坏点矫正方法，完成对图像采集设备的图像传感器输出图像的坏点矫正。
相应的，本申请实施例还提供一种图像坏点矫正装置，该装置应用于具有图像传感器的图像采集设备。参照图5所示结构示意图，上述图像坏点矫正装置包括：
坏点坐标获取单元210，用于获取图像传感器的坏点坐标；
坏点信息转换单元220，用于根据所述坏点坐标确定图像传感器的各个像素点对应的属性值，并将所述各个像素点的属性值存储于读取速度不小于预设速度的外部存储器；
坏点信息加载单元230，用于当接收到图像传感器输出的成像图像时，从所述外部存储器中读取所述各个像素点的属性值；
坏点矫正执行单元240，用于执行预设矫正算法，并根据所述各个像素点的属性值对所述成像图像进行坏点矫正。
由以上技术方案可知，本申请实施例通过外部存储器代替现有技术常用的图像处理芯片的内部存储空间来存储坏点信息，可以满足图像传感器分辨率高、坏点多的情况下大量坏点信息的存储需求；同时，由于该对外部存储器的读取速度不小于预设速度，可以保证图像处理芯片对坏点信息的加载速度；而且，相对于现有技术以坏点坐标为坏点信息的处理方式，本申请实施例以预先根据坏点坐标所确定的属性值为坏点信息，应用于预设矫正算法中，可以减少预设矫正算法执行过程中的数据处理量，从而提高坏点矫正效率，保证坏点矫正的实时性。
可选的，上述坏点坐标获取单元210、坏点信息转换单元220、坏点信息加载单元230和坏点矫正执行单元240具体可以为图1或图3所示图像处理芯片200中的逻辑处理单元。
在本申请一个可行的实施例中，为实现根据所述坏点坐标确定图像传感器的各个像素点对应的属性值，所述坏点信息转换单元220具体可以被配置为：
分别以图像传感器的每个像素点为当前像素点，根据所述当前像素点的坐标和所述坏点坐标确定所述当前像素点的位置属性；
获取所述预设矫正算法对应的位置属性与属性值之间的预设映射关系；
根据所述预设映射关系以及所述当前像素点的位置属性，查找得到所述当前像素点的属性值。
可选的，当所述预设矫正算法为直接替换法时，所述坏点信息转换单元220所确定的当前像素点的位置属性包括以下五种中的一种：
当前像素点为正常点；
当前像素点为坏点，且左侧相邻点为正常点；
当前像素点为坏点，且右侧相邻点为正常点；
当前像素点为坏点，且上侧相邻点为正常点；
当前像素点为坏点，且下侧相邻点为正常点；
所述五种位置属性对应的属性值分别为位宽为3bit的二进制常数。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
另外，本申请实施例还提供了一种图像采集设备，具体可以为相机、手机等；该图像采集设备至少包括图像传感器、外部存储器以及上述任一实施例所述的图像坏点矫正装置。
其中，所述外部存储器的读取速度不小于预设速度；所述图像坏点矫正装置通过所述外部存储器存储图层传感器的各个像素点的属性值，并在图像传感器输出成像图像时，从所述外部存储器中加载所述属性值，并根据该属性值对该成像图像进行坏点矫正。
可选的，上述图像坏点矫正装置具体可以为图像处理芯片，相应的图像采集设备的结构示意图如图1及图3所示。
可见，相对于现有技术，本申请实施例通过外部存储器来存储坏点信息，可以满足图像传感器分辨率高、坏点多的情况下大量坏点信息的存储需求；同时，由于该对外部存储器的读取速度不小于预设速度，可以保证图像处理芯片对坏点信息的加载速度；而且，本申请实施例以预先根据坏点坐标所确定的属性值为坏点信息，应用于预设矫正算法中，可以减少预设矫正算法执行过程中的数据处理量，从而提高坏点矫正效率，保证坏点矫正的实时性。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其它实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (8)
1.一种图像坏点矫正方法，其特征在于，应用于具有图像传感器的图像采集设备，包括：
获取图像传感器的坏点坐标；
根据所述坏点坐标确定图像传感器的各个像素点对应的属性值；
将所述各个像素点的属性值存储于读取速度不小于预设速度的外部存储器；
当接收到图像传感器输出的成像图像时，从所述外部存储器中读取所述各个像素点的属性值；
执行预设矫正算法，并根据所述各个像素点的属性值对所述成像图像进行坏点矫正；其中，
当所述预设矫正算法为直接替换法时，所述当前像素点的位置属性包括以下五种中的一种：
当前像素点为正常点；
当前像素点为坏点，且左侧相邻点为正常点；
当前像素点为坏点，且右侧相邻点为正常点；
当前像素点为坏点，且上侧相邻点为正常点；
当前像素点为坏点，且下侧相邻点为正常点；
所述五种位置属性对应的属性值分别为位宽为3bit的二进制常数。
2.根据权利要求1所述的方法，其特征在于，根据所述坏点坐标确定图像传感器的各个像素点对应的属性值，包括：
分别以图像传感器的每个像素点为当前像素点，根据所述当前像素点的坐标和所述坏点坐标确定所述当前像素点的位置属性；
获取所述预设矫正算法对应的位置属性与属性值之间的预设映射关系；
根据所述预设映射关系以及所述当前像素点的位置属性，查找得到所述当前像素点的属性值。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
计算图像传感器的像素时钟与所述属性值的位宽之间的乘积，并根据所述乘积确定所述预设速度。
4.根据权利要求1或2所述的方法，其特征在于，所述外部存储器至少包括：任一型号的双倍速率同步动态随机存储器DDR。
5.一种图像坏点矫正装置，其特征在于，应用于具有图像传感器的图像采集设备，包括：
坏点坐标获取单元，用于获取图像传感器的坏点坐标；
坏点信息转换单元，用于根据所述坏点坐标确定图像传感器的各个像素点对应的属性值，并将所述各个像素点的属性值存储于读取速度不小于预设速度的外部存储器；
坏点信息加载单元，用于当接收到图像传感器输出的成像图像时，从所述外部存储器中读取所述各个像素点的属性值；
坏点矫正执行单元，用于执行预设矫正算法，并根据所述各个像素点的属性值对所述成像图像进行坏点矫正，当所述预设矫正算法为直接替换法时，所述坏点信息转换单元所确定的当前像素点的位置属性包括以下五种中的一种：
当前像素点为正常点；
当前像素点为坏点，且左侧相邻点为正常点；
当前像素点为坏点，且右侧相邻点为正常点；
当前像素点为坏点，且上侧相邻点为正常点；
当前像素点为坏点，且下侧相邻点为正常点；
所述五种位置属性对应的属性值分别为位宽为3bit的二进制常数。
6.根据权利要求5所述的装置，其特征在于，为实现根据所述坏点坐标确定图像传感器的各个像素点对应的属性值，所述坏点信息转换单元具体被配置为：
分别以图像传感器的每个像素点为当前像素点，根据所述当前像素点的坐标和所述坏点坐标确定所述当前像素点的位置属性；
获取所述预设矫正算法对应的位置属性与属性值之间的预设映射关系；
根据所述预设映射关系以及所述当前像素点的位置属性，查找得到所述当前像素点的属性值。
7.一种图像采集设备，其特征在于，包括：图像传感器、外部存储器以及上述权利要求5或6所述的图像坏点矫正装置。
8.根据权利要求7所述的图像采集设备，其特征在于，所述外部存储器至少包括：任一型号的双倍速率同步动态随机存储器DDR。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610803847.2A CN106385549B (zh) | 2016-09-05 | 2016-09-05 | 图像坏点矫正方法及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610803847.2A CN106385549B (zh) | 2016-09-05 | 2016-09-05 | 图像坏点矫正方法及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106385549A CN106385549A (zh) | 2017-02-08 |
| CN106385549B true CN106385549B (zh) | 2019-04-26 |
Family
ID=57939542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610803847.2A Active CN106385549B (zh) | 2016-09-05 | 2016-09-05 | 图像坏点矫正方法及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106385549B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108765306A (zh) * | 2018-04-17 | 2018-11-06 | 浙江华睿科技有限公司 | 一种图像坏点矫正方法、装置、电子设备及介质 |
| CN109685794B (zh) * | 2018-12-25 | 2021-01-29 | 凌云光技术股份有限公司 | 用于手机屏幕缺陷检测相机自适应步长dpc算法及装置 |
| WO2021056202A1 (zh) * | 2019-09-24 | 2021-04-01 | 深圳市大疆创新科技有限公司 | 静态坏点校正方法、图像处理芯片以及摄像装置 |
| CN112544074B (zh) * | 2020-04-13 | 2023-05-05 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、电子设备和存储介质 |
| CN114943653A (zh) * | 2022-04-26 | 2022-08-26 | 昆山丘钛光电科技有限公司 | 图像处理设备、图像传感器模组、图像处理方法及装置 |
| CN116074495B (zh) * | 2023-03-07 | 2023-06-16 | 合肥埃科光电科技股份有限公司 | 一种图像传感器坏点的检测校正方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101304485A (zh) * | 2008-05-26 | 2008-11-12 | 北京中星微电子有限公司 | 一种坏点补偿的方法及装置 |
| CN104333676A (zh) * | 2014-11-11 | 2015-02-04 | 广东中星电子有限公司 | 一种坏点遮盖方法和系统 |
| CN105306843A (zh) * | 2015-10-20 | 2016-02-03 | 凌云光技术集团有限责任公司 | 一种图像传感器的坏点处理方法及系统 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7657116B2 (en) * | 2003-10-08 | 2010-02-02 | Canon Kabushiki Kaisha | Correction method of defective pixel in image pickup device and image processing apparatus using the correction method |
| US8026964B2 (en) * | 2008-07-08 | 2011-09-27 | Aptina Imaging Corporation | Method and apparatus for correcting defective imager pixels |
-
2016
- 2016-09-05 CN CN201610803847.2A patent/CN106385549B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101304485A (zh) * | 2008-05-26 | 2008-11-12 | 北京中星微电子有限公司 | 一种坏点补偿的方法及装置 |
| CN104333676A (zh) * | 2014-11-11 | 2015-02-04 | 广东中星电子有限公司 | 一种坏点遮盖方法和系统 |
| CN105306843A (zh) * | 2015-10-20 | 2016-02-03 | 凌云光技术集团有限责任公司 | 一种图像传感器的坏点处理方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106385549A (zh) | 2017-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106385549B (zh) | 图像坏点矫正方法及相关装置 | |
| US10337861B2 (en) | Image generating device for generating depth map with phase detection pixel | |
| JP5141245B2 (ja) | 画像処理装置、補正情報生成方法、および撮像装置 | |
| CN107749050B (zh) | 鱼眼图像矫正方法、装置及计算机设备 | |
| JP2007201530A (ja) | 画素欠陥補正装置 | |
| CN110807731A (zh) | 用于补偿图像坏点的方法、装置、系统及存储介质 | |
| US11076092B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN106447607A (zh) | 一种图像拼接方法及装置 | |
| US20190279022A1 (en) | Object recognition method and device thereof | |
| US20230377111A1 (en) | Image processing apparatus including neural network processor and method of operation | |
| US8369613B2 (en) | Image processing circuit, image processing method, and camera | |
| CN113971635A (zh) | 一种图像阵列格式转换方法、装置及电子设备和存储介质 | |
| US10375337B2 (en) | Method controlling image sensor parameters | |
| CN116012242A (zh) | 一种相机畸变矫正效果评价方法、装置、介质及设备 | |
| CN116128710A (zh) | 一种图像分辨率调整方法、装置、设备及存储介质 | |
| US11704546B2 (en) | Operation processing apparatus that calculates addresses of feature planes in layers of a neutral network and operation processing method | |
| CN103248796A (zh) | 图像处理设备和图像处理方法 | |
| CN112529923B (zh) | 一种控件识别方法及装置 | |
| CN116912556A (zh) | 图片分类方法、装置、电子设备及存储介质 | |
| CN112153311B (zh) | 图像信号处理器和包括图像信号处理器的图像传感器 | |
| US11948316B2 (en) | Camera module, imaging device, and image processing method using fixed geometric characteristics | |
| CN107835410B (zh) | 一种图像传感器校准的方法及装置 | |
| US11900570B2 (en) | Image processing system for performing image quality tuning and method of performing image quality tuning | |
| US11182617B2 (en) | Device and method for generating heat map | |
| US20240203091A1 (en) | External parameter determination method and image processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100094 Beijing city Haidian District Cui Hunan loop 13 Hospital No. 7 Building 7 room 701 Patentee after: Lingyunguang Technology Co., Ltd Address before: 100094 Beijing city Haidian District Cui Hunan loop 13 Hospital No. 7 Building 7 room 701 Patentee before: LUSTER LIGHTTECH GROUP Co.,Ltd. |