CN110533617A - 图像处理方法及装置、存储介质 - Google Patents
图像处理方法及装置、存储介质 Download PDFInfo
- Publication number
- CN110533617A CN110533617A CN201910817659.9A CN201910817659A CN110533617A CN 110533617 A CN110533617 A CN 110533617A CN 201910817659 A CN201910817659 A CN 201910817659A CN 110533617 A CN110533617 A CN 110533617A
- Authority
- CN
- China
- Prior art keywords
- image
- view
- field
- wave band
- visual field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000003860 storage Methods 0.000 title claims abstract description 15
- 230000000007 visual effect Effects 0.000 claims abstract description 169
- 238000001228 spectrum Methods 0.000 claims abstract description 93
- 230000003287 optical effect Effects 0.000 claims abstract description 82
- 238000012546 transfer Methods 0.000 claims abstract description 37
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 26
- 238000012512 characterization method Methods 0.000 claims abstract description 26
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 24
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 230000006870 function Effects 0.000 claims description 109
- 230000003595 spectral effect Effects 0.000 claims description 64
- 238000012545 processing Methods 0.000 claims description 49
- 238000003384 imaging method Methods 0.000 claims description 43
- 230000008859 change Effects 0.000 claims description 6
- 238000004891 communication Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 13
- 238000013461 design Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000012634 optical imaging Methods 0.000 description 4
- 238000012384 transportation and delivery Methods 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000004026 adhesive bonding Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像处理方法及装置、存储介质，该方法包括：当采集拍摄图像时，获取N个波段各自对应的点扩散函数集合；N为颜色基准中颜色种类的总数、且为大于0的正整数，点扩散函数集合表征对应不同视场的点扩散函数；对拍摄图像进行时域到频域的变换，得到图像频谱，并对点扩散函数集合进行时域到频域的变换，得到N个波段各自对应的光学传递函数集合；利用光学传递函数集合，对图像频谱进行反卷积，得到N个波段各自对应的视场图像频谱集合；视场图像频谱集合表征对应不同视场的无色差的视场图像频谱；对视场图像频谱集合进行频域到空域的转换和合成，得到无色差图像。
Description
技术领域
本申请实施例涉及图像成像技术，尤其涉及一种图像处理方法及装置、存储介质。
背景技术
目前，通过在光学系统中设置光学元件，来消除图像色差，例如，设置采用双胶合、双分离或三片式的正负透镜组合，然而，设置光学元件的方案，增加了光学系统的体积，并且，该方案不能消除光学成像过程中产生的图像色差。
发明内容
本申请提供一种图像处理方法及装置、存储介质，能够在不增加光学系统的体积的情况下，消除光学成像过程中产生的图像色差。
本申请的技术方案是这样实现的：
本申请实施例提供一种图像处理方法，所述方法包括：
当采集拍摄图像时，获取N个波段各自对应的点扩散函数集合；N为颜色基准中颜色种类的总数、且为大于0的正整数，所述点扩散函数集合表征对应不同视场的点扩散函数；
对所述拍摄图像进行时域到频域的变换，得到图像频谱，并对所述点扩散函数集合进行时域到频域的变换，得到所述N个波段各自对应的光学传递函数集合；
利用所述光学传递函数集合，对所述图像频谱进行反卷积，得到所述N个波段各自对应的视场图像频谱集合；所述视场图像频谱集合表征对应不同视场的无色差的视场图像频谱；
对所述视场图像频谱集合进行频域到空域的转换和合成，得到无色差图像。
上述方案中，所述获取N个波段各自对应的点扩散函数集合，包括：
获取N个波段各自的波长和光谱响应度的对应关系；
从所述波长和光谱响应度的对应关系中，获取所述N个波段各自对应的光谱特性数据，所述光谱特性数据表征波长和光谱响应度的对应关系的变化情况；
基于预设成像面和预设视场个数，对所述光谱特性数据进行处理，得到所述点扩散函数集合。
上述方案中，所述基于预设成像面和预设视场个数，对所述光谱特性数据进行处理，得到所述点扩散函数集合，包括：
基于所述预设视场个数，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场；
针对所述预设视场个数个的视场，对所述光谱特性数据进行处理，得到所述点扩散函数集合。
上述方案中，所述基于所述预设视场个数，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场，包括：
获取视场和色差值的对应关系；
根据预设色差阈值、以及所述视场和色差值的对应关系，确定所述预设成像面对应的视场划分点；
按照所述视场划分点，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场。
上述方案中，所述对所述视场图像频谱集合进行频域到空域的转换和合成，得到无色差图像，包括：
对所述视场图像频谱集合进行频域到空域的变换，得到所述N个波段各自对应的视场图像集合；所述视场图像集合表征对应不同视场的无色差的视场图像；
按照所述视场图像集合中视场图像对应的视场顺序，对所述视场图像集合进行拼接合成，得到所述N个波段各自对应的无色差通道图像；
对所述N个波段各自对应的无色差通道图像进行叠加合成，得到无色差图像。
上述方案中，根据权利要求1至4任一项所述的方法，其特征在于，所述颜色基准为RGB颜色基准时，N＝3，3个波段为R波段、G波段和B波段。
本申请实施例提供一种图像处理装置，所述装置包括：
视场处理单元，用于当采集拍摄图像时，获取N个波段各自对应的点扩散函数集合；N为颜色基准中颜色种类的总数、且为大于0的正整数，所述点扩散函数集合表征对应不同视场的点扩散函数；
频域转换单元，用于对所述拍摄图像进行时域到频域的变换，得到图像频谱，并对所述点扩散函数集合进行时域到频域的变换，得到所述N个波段各自对应的光学传递函数集合；
反卷积单元，用于利用所述光学传递函数集合，对所述图像频谱进行反卷积，得到所述N个波段各自对应的视场图像频谱集合；所述视场图像频谱集合表征对应不同视场的无色差的视场图像频谱；
图像合成单元，用于对所述视场图像频谱集合进行频域到空域的转换和合成，得到无色差图像。
上述方案中，所述视场处理单元，具体用于获取N个波段各自的波长和光谱响应度的对应关系；及从所述波长和光谱响应度的对应关系中，获取所述N个波段各自对应的光谱特性数据，所述光谱特性数据表征波长和光谱响应度的对应关系的变化情况；以及基于预设成像面和预设视场个数，对所述光谱特性数据进行处理，得到所述点扩散函数集合。
上述方案中，所述视场处理单元，具体用于基于所述预设视场个数，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场；以及针对所述预设视场个数个的视场，对所述光谱特性数据进行处理，得到所述点扩散函数集合。
上述方案中，所述视场处理单元，具体用于获取视场和色差值的对应关系；及根据预设色差阈值、以及所述视场和色差值的对应关系，确定所述预设成像面对应的视场划分点；以及按照所述视场划分点，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场。
上述方案中，所述图像合成单元，具体用于对所述视场图像频谱集合进行频域到空域的变换，得到所述N个波段各自对应的视场图像集合；所述视场图像集合表征对应不同视场的无色差的视场图像；
按照所述视场图像集合中视场图像对应的视场顺序，对所述视场图像集合进行拼接合成，得到所述N个波段各自对应的无色差通道图像；
对所述N个波段各自对应的无色差通道图像进行叠加合成，得到无色差图像。
上述方案中，所述颜色基准为RGB颜色基准时，N＝3，3个波段为R波段、G波段和B波段。
本申请实施例提供一种图像处理装置，所述装置包括：处理器、存储器以及通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的一个或者多个程序，当所述一个或者多个程序被执行时，所述处理器执行如上述任意一种图像处理方法。
本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述任意一种图像处理方法。
本申请实施例提供一种图像处理方法及装置、存储介质，采用上述技术实现方案，获取N个波段各自对应的点扩散函数集合，再分别对拍摄图像和点扩散函数集合进行时域到频域的变换，得到图像频谱、以及N个波段各自对应的光学传递函数集合，利用光学传递函数集合，对图像频谱进行反卷积，得到N个波段各自对应的视场图像频谱集合，由于点扩散函数集合表征每个波段的不同视场的点扩散函数，对点扩散函数集合进行时域到频域的变换，得到的光学传递函数集合表征每个波段的不同视场的光学传递函数，由于图像色差是不同波段的图像频谱采用不同的光学传递函数进行卷积导致的，再利用每个波段的不同视场的光学传递函数，对图像频谱进行反卷积，就可以得到每个波段的不同视场的无色差的视场图像频谱，最后对不同视场的无色差的视频图像频谱进行频域到空域的转换和合成，得到无色差图像，上述过程不需要其他硬件的支持，也就是说，实现了不增加光学系统的体积的情况下，消除光学成像过程中产生的图像色差。
附图说明
图1为本申请实施例提供的一种光学系统的结构示意图；
图2为本申请实施例提供的一种图像处理方法的流程示意图；
图3为本申请实施例提供的光谱特性曲线的示意图；
图4为本申请实施例提供的一种图像处理装置的结构示意图一；
图5为本申请实施例提供的一种图像处理装置的结构示意图二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
如图1所示的一种光学系统的结构示意图，光学系统1由镜头11、图像传感器12、和图像处理器13(ISP，Image Signal Processor)等多种光学元件按一定次序组合成的系统，光学系统1被用来成像或做光学信息处理；其中，镜头11包括透镜、反射镜、棱镜和光学设计模组，光学设计模组由处理器和光学设计工具组成，光学设计工具包括ZEMAX或CodeV；通过透镜、反射镜和棱镜，采集可见光、改变可见光的传输路径，以使得可见光照射到图像传感器12上，图像传感器12将感光面上的光像转换为电信号，将电信号传输至光学设计模组，图像传感器12为电荷耦合器件(CCD，Charge-Coupled Device)或互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)光学设计模组中的处理器通过光学设计工具，对电信号进行处理，得到处理后的电信号，将处理后的电信号发送至图像处理器13，图像处理器13对处理后的电信号进行处理，生成图像。
图像处理装置为具有光学系统1的装置，图像处理装置可以通过任意的具有光学系统的终端来实现，例如，可以为包括诸如手机、平板电脑、笔记本电脑、掌上电脑等移动终端，以及诸如台式计算机等固定终端。
本领域技术人员可以理解，图1中示出的光学系统的结构并不构成对图像处理装置中的光学系统的限定，图像处理装置中的光学系统可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
需要说明的是，本申请实施例可以基于图1所示的图像处理装置中的光学系统所实现，下面基于图1进行图像处理具体实施例的说明。
实施例一
本申请实施例提供了一种图像处理方法，如图2所示，该图像处理方法包括：
S101、当采集拍摄图像时，获取N个波段各自对应的点扩散函数集合；N为颜色基准中颜色种类的总数、且为大于0的正整数，点扩散函数集合表征对应不同视场的点扩散函数；
用户触发图像处理装置的图像采集功能，图像处理装置控制光线系统采集拍摄图像，光学系统直接获取本地存储的N个波段各自对应的点扩散函数集合，或者，实时获取N个波段各自对应的点扩散函数集合。
需要说明的是，由于光学系统在光学成像时，利用光学传递函数，对各个波段图像频谱进行卷积，生成拍摄图像，由于不同波段的图像频谱对应不同的光学传递函数，在卷积时不同波段的图像频谱采用不同的光学传递函数，导致拍摄图像存在色差，需要对拍摄图像进行色差消除。
在一些实施例中，图像处理装置获取N个波段各自的波长和光谱响应度的对应关系；
从波长和光谱响应度的对应关系中，获取N个波段各自对应的光谱特性数据，光谱特性数据表征波长和光谱响应度的对应关系的变化情况；基于预设成像面和预设视场个数，对光谱特性数据进行处理，得到点扩散函数集合。
图像处理装置中的光学系统接收可见光，光学系统中的图像传感器可以感应不同波段的光，检测到不同波段的波长和光谱响应度的对应关系，例如，光谱特征曲线；从每个波段的波长和光谱响应度的对应关系中，取出表征曲线变化的多组数据，将多组数据作为光谱特性数据，多组数据中每组数据包括波长和光谱响应度；基于预设成像面和预设视场个数，对光谱特性数据进行分析，得到预设视场个数个的点扩散函数，由预设视场个数个的点扩散函数，组成每个波段对应的点扩散函数集合；其中，预设成像面是指光学系统默认的一定大小的成像面，由预设成像面决定了视场范围，预设视场个数是考虑到图像中的不同视场对应不同的色差设置的。
需要说明的是，上述获取点扩散函数集合的过程，还可以是在步骤S101之前执行，并将点扩散函数集合保存在光学系统的图像处理器中，本申请实施例不做限制。
在一些实施例中，在光学系统的图像传感器上方，覆盖有按颜色基准分布的彩色滤波阵列(CFA，Color Filter Array)，CFA可以去除光谱中的一些波段，使图像传感器的每个像素只检测一个波段的光谱，进而检测到不同波段的光谱特性曲线。
在一些实施例中，颜色基准为RGB(Red Green Blue，红绿蓝)颜色基准时，N＝3，3个波段为R波段、G波段和B波段(简称为，RGB波段)。
在一些实施例中，CFA为拜耳滤色镜(Bayer filter)，拜耳滤色镜是一种将RGB滤色器排列在图像传感器的感光元件的方格之上所形成的马赛克彩色滤色阵列，拜耳滤色镜的阵列有50％是绿色，25％是红色，25％是蓝色。
示例性地，如图3所示的光谱特性曲线的示意图，光学系统的图像传感器检测到R波段、G波段和B波段各自的光谱特性曲线，光谱特性曲线的横坐标为波长，波长的单位为纳米nm，纵坐标为归一化后的光谱响应度，光谱响应度为每个波长的光中RGB波段各自对应的分布权重。
在一些实施例中，图像处理装置从光谱特性曲线中，可以至少取出第一个点的数据、最后一个点的数据、以及斜率为0的点的数据，将上述多组数据，作为光谱特征特性数据，本申请实施例不做限制。
示例性地，如图3所示的RGB波段各自对应的光谱特性曲线，从R波段对应的光谱特性曲线中取出R波段的多组数据，如表1所示：
表1
| 波长/nm | 光谱响应度 |
| 502 | 41 |
| 528 | 97 |
| 561 | 65 |
| 579 | 382 |
| 594 | 764 |
| 642 | 382 |
| 688 | 41 |
从G波段对应的光谱特性曲线中取出G波段的多组数据，如表2所示：
表2
| 波长/nm | 光谱响应度 |
| 460 | 42 |
| 479 | 408 |
| 524 | 855 |
| 594 | 408 |
| 672 | 42 |
从B波段对应的光谱特性曲线中取出B波段的多组数据，如表3所示：
表3
在一些实施例中，图像处理装置基于预设视场个数，对预设成像面进行视场划分，得到预设视场个数个的视场；针对预设视场个数个的视场，对光谱特性数据进行处理，得到点扩散函数集合。
图像处理装置利用光学系统的镜头中的光学设计工具，在预设成像面的中心到最大成像面的范围内进行等间隔划分或非等间隔划分，得到预设视场个数个的视场；或者，直接获取预设视场个数的视场；针对预设视场个数个的视场，对光谱特征数据进行分析处理，得到预设视场个数个的点扩散函数(PSF，Point Spread Function)，由预设视场个数个的点扩散函数组成点扩散函数集合。
在一些实施例中，光学设计工具包括ZEMAX或CodeV。
示例性地，对预设成像面的中心到最大成像面的范围进行归一化，得到视场范围为0-1，取预设视场个数为11，得到11个视场包括：[0，0.05)的视场，[0.05，0.1)的视场，[0.1，0.2)的视场，[0.2，0.3)的视场，[0.3，0.4)的视场，[0.4，0.5)的视场，[0.5，0.6)的视场，[0.6，0.7)的视场，[0.7，0.8)的视场，[0.8，0.9)的视场，[0.9，1.0)的视场；进而，针对这11个视场，对每个波段对应的光谱特性数据进行分析处理，得到每个波段对应的11个点扩散函数。
在一些实施例中，图像处理装置获取视场和色差值的对应关系；根据预设色差阈值、以及视场和色差值的对应关系，确定预设成像面对应的视场划分点；按照视场划分点，对预设成像面进行视场划分，得到预设视场个数个的视场。
图像处理装置中的光学系统获取默认的视场和色差值的对应关系，例如，色差曲线，视场和色差值的对应关系中的视场为预设成像面；判断视场和色差值的对应关系中的色差值是否大于预设色差阈值；在大于预设色差阈值的色差值对应的视场中，设置较多的视场划分点，直至确定n-1个视场划分点，n为预设视场个数、且大于0的正整数；按照n-1个视场划分点，对预设成像面划分，得到预设视场个数个的视场。
示例性地，预设视场个数等于11，色差曲线记录的视场范围为0-1，当0.5-1范围的视场对应的色差值大于预设色差阈值时，可以在0.5-1范围的视场内设置7个视场划分点，在0-0.5范围的视场内设置2个视场划分点。
需要说明的是，通常图像的中心视场对应的色差值较小，边缘视场对应的的色差值较小，可以在中心视场设置较少的视场划分点，在边缘视场设置较多的视场划分点，如此，对色差值较大的视场划分更密集，进而，对色差值较大的视场计算更多的点扩散函数，由于色差值较大的视场对图像色差的影响更大，利用更多的点扩散函数，对图像中的色差值较大的视场进行色差消除，实现更多地消除光线成像过程中产生的图像色差。
S102、对拍摄图像进行时域到频域的变换，得到图像频谱，并对点扩散函数集合进行时域到频域的变换，得到N个波段各自对应的光学传递函数集合；
图像处理装置利用光学系统中的图像处理器ISP，对采集到的拍摄图像进行时域到频域的变换，得到图像频谱，再对点扩散函数集合中的每个点扩散函数进行时域到频域的变换，得到光学传递函数，由每个波段对应的所有光学传递函数，组成光学传递函数集合。
在一些实施例中，时域到频域的变换可以为傅里叶变换，本申请实施例不做限制。
示例性地，继续以上述11个视场为例，RGB波段各自对应11个点扩散函数；对拍摄图像进行傅里叶变换，得到图像频谱H，对RGB波段各自对应的11个点扩散函数进行傅里叶变换，得到RGB波段各自对应的11个光学传递函数，R波段对应的11个光学传递函数可以表示为G1(11，12，…，111)，G波段对应的11个光学传递函数可以表示为G2(21，22，…，211)，B波段对应的11个光学传递函数可以表示为G3(31，32，…311)，RGB波段对应的33个光学传递函数可以表示为G(11，12，…，111；21，22，…，211；31，32，…311)；其中，在频域空间，生成的拍摄图像对应的图像频谱H和33个光学传递函数G的关系如式(1)所示：
F*G＝H (1)
其中，F为所有波段对应的无色差的视场频谱，可以知道，无色差的图像频谱和33个光学传递函数进行卷积，得到拍摄图像对应的图像频谱H。
S103、利用光学传递函数集合，对图像频谱进行反卷积，得到N个波段各自对应的视场图像频谱集合；视场图像频谱集合表征对应不同视场的无色差的视场图像频谱；
图像处理装置中的光学系统的图像处理器，利用每个波段对应的所有光学传递函数，对图像频谱进行反卷积，得到每个波段对应的预设视场个数个的无色差的图像频谱，对预设视场个数个的无色差的视场图像频谱和预设视场个数个的视场进行对应保存，得到每个波段对应的视场图像频谱集合。
示例性地，继续以上述11个视场为例，光学系统的图像处理器通过如下公式(2)，得到所有波段对应的无色差的视场频谱F：
F＝H/G (2)
其中，F可以表示为F(11，12，…，111；21，22，…，211；31，32，…311)，R波段的11个无色差的视场图像频谱为F11，F12，…，F111；G波段的11个无色差的视场图像频谱为F21，F22，…，F211；B波段的11个无色差的视场图像频谱为F31，F32，…F311。
S104、对视场图像频谱集合进行频域到空域的变换和合成，得到无色差图像。
图像处理装置中的光学系统的图像处理器，对视场图像频谱集合中的每个视场图像频谱进行频域到空域的变换，得到视场图像，再对所有视场图像进行合成，得到无色差图像。
在一些实施例中，图像处理器对视场图像频谱集合进行频域到空域的变换，得到N个波段各自对应的视场图像集合；视场图像集合表征对应不同视场的无色差的视场图像；按照视场图像集合中视场图像对应的视场顺序，对视场图像集合进行拼接合成，得到N个波段各自对应的无色差通道图像；对N个波段各自对应的无色差通道图像进行叠加合成，得到无色差图像。
图像处理器针对每个波段，对视场图像频谱集合中的每个视场图像频谱进行频域到时域的变换，得到一个视场对应的视场图像，进而得到预设视场个数个的视场图像，将预设视场个数个的视场和预设视场个数个的视场图像进行对应保存，得到视场图像集合；按照视场图像集合中的视场图像对应的视场顺序，对视场图像集合中的视场图像进行拼接合成，得到无色差通道图像；最后，对所有波段对应的所有无色差通道图像进行叠加合成，得到无色差图像。
在一些实施例中，频域到时域的变换可以为傅里叶逆变换。
示例性地，继续以上述11个视场为例，对R波段的11个无色差的视场图像频谱进行傅里叶逆变换，得到R波段的与11个视场对应的视场图像为f11，f12，…，f111；对G波段的11个无色差的视场图像频谱进行傅里叶逆变换，得到G波段的与11个视场对应的视场图像为f21，f22，…，f211；对B波段的11个无色差的视场图像频谱进行傅里叶逆变换，得到B波段的与11个视场对应的视场图像为f31，f32，…，f311；对视场图像为f11，f12，…，f111，按顺序进行拼接合成，得到R波段对应的无色差通道图像fR；对视场图像为f21，f22，…，f211，按顺序进行拼接合成，得到G波段对应的无色差通道图像fG；对视场图像为f31，f32，…，f311，按顺序进行拼接合成，得到B波段对应的无色差通道图像fB；最后，对无色差通道图像fR、无色差通道图像fG和无色差通道图像fB进行叠加合成，得到无色差图像。
示例性地，R波段对应的视场图像集合包括：与[0，0.05)的视场对应的f11，与[0.05，0.1)的视场对应的f12，与[0.1，0.2)的视场对应的f13，…，与[0.9，1.0)的视场对应的f111。
示例性地，G波段对应的视场图像集合包括：与[0，0.05)的视场对应的f21，与[0.05，0.1)的视场对应的f22，与[0.1，0.2)的视场对应的f23，…，与[0.9，1.0)的视场对应的f211。
示例性地，B波段对应的视场图像集合包括：与[0，0.05)的视场对应的f31，与[0.05，0.1)的视场对应的f32，与[0.1，0.2)的视场对应的f33，…，与[0.9，1.0)的视场对应的f311。
可以理解的是，图像处理装置获取N个波段各自对应的点扩散函数集合，再分别对拍摄图像和点扩散函数集合进行时域到频域的变换，得到图像频谱、以及N个波段各自对应的光学传递函数集合，利用光学传递函数集合，对图像频谱进行反卷积，得到N个波段各自对应的视场图像频谱集合，由于点扩散函数集合表征每个波段的不同视场的点扩散函数，对点扩散函数集合进行时域到频域的变换，得到的光学传递函数集合表征每个波段的不同视场的光学传递函数，由于图像色差是不同波段的图像频谱采用不同的光学传递函数进行卷积导致的，再利用每个波段的不同视场的光学传递函数，对图像频谱进行反卷积，就可以得到每个波段的不同视场的无色差的视场图像频谱，最后对不同视场的无色差的视频图像频谱进行频域到空域的转换和合成，得到无色差图像，上述过程不需要其他硬件的支持，也就是说，实现了不增加光学系统的体积的情况下，消除光学成像过程中产生的图像色差。
实施例二
基于实施例一的同一发明构思，进行进一步的说明。
本申请实施例提供了一种图像处理装置，如图4所示，图像处理装置4包括：
视场处理单元41，用于当采集拍摄图像时，获取N个波段各自对应的点扩散函数集合；N为颜色基准中颜色种类的总数、且为大于0的正整数，点扩散函数集合表征对应不同视场的点扩散函数；
频域转换单元42，用于对拍摄图像进行时域到频域的变换，得到图像频谱，并对点扩散函数集合进行时域到频域的变换，得到N个波段各自对应的光学传递函数集合；
反卷积单元43，用于利用光学传递函数集合，对图像频谱进行反卷积，得到N个波段各自对应的视场图像频谱集合；视场图像频谱集合表征对应不同视场的无色差的视场图像频谱；
图像合成单元44，用于对视场图像频谱集合进行频域到空域的转换和合成，得到无色差图像。
在一些实施例中，视场处理单元41，具体用于获取N个波段各自的波长和光谱响应度的对应关系；及从波长和光谱响应度的对应关系中，获取N个波段各自对应的光谱特性数据，光谱特性数据表征波长和光谱响应度的对应关系的变化情况；以及基于预设成像面和预设视场个数，对光谱特性数据进行处理，得到点扩散函数集合。
在一些实施例中，视场处理单元41，具体用于基于预设视场个数，对预设成像面进行视场划分，得到预设视场个数个的视场；以及针对预设视场个数个的视场，对光谱特性数据进行处理，得到点扩散函数集合。
在一些实施例中，视场处理单元41，具体用于获取视场和色差值的对应关系；及根据预设色差阈值、以及视场和色差值的对应关系，确定预设成像面对应的视场划分点；以及按照视场划分点，对预设成像面进行视场划分，得到预设视场个数个的视场。
在一些实施例中，图像合成单元44，具体用于对视场图像频谱集合进行频域到空域的变换，得到N个波段各自对应的视场图像集合；视场图像集合表征对应不同视场的无色差的视场图像；
按照视场图像集合中视场图像对应的视场顺序，对视场图像集合进行拼接合成，得到N个波段各自对应的无色差通道图像；
对N个波段各自对应的无色差通道图像进行叠加合成，得到无色差图像。
在一些实施例中，颜色基准为RGB颜色基准时，N＝3，3个波段为R波段、G波段和B波段。
需要说明的是，在实际应用中，上述视场处理单元41、频域转换单元42、反卷积单元43和图像合成单元44，可由位于图像处理装置4上的处理器45实现，具体为CPU(CentralProcessing Unit，中央处理器)、MPU(Microprocessor Unit，微处理器)、DSP(DigitalSignal Processing，数字信号处理器)或现场可编程门阵列(FPGA，Field ProgrammableGate Array)等实现。
本申请实施例还提供了一种图像处理装置，如图5所示，该图像处理装置4包括：处理器45、存储器46和通信总线47，存储器46通过通信总线47与处理器45进行通信，存储器46存储处理器45可执行的一个或者多个程序，当一个或者多个程序被执行时，通过处理器45执行如实施例一所述的任意一种图像处理方法。
本申请实施例提供一种存储介质，所述存储介质存储有程序，当所述程序被处理器45执行时，以实现如实施例一的图像处理方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、装置、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述，仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。
Claims (14)
1.一种图像处理方法，其特征在于，所述方法包括：
当采集拍摄图像时，获取N个波段各自对应的点扩散函数集合；N为颜色基准中颜色种类的总数、且为大于0的正整数，所述点扩散函数集合表征对应不同视场的点扩散函数；
对所述拍摄图像进行时域到频域的变换，得到图像频谱，并对所述点扩散函数集合进行时域到频域的变换，得到所述N个波段各自对应的光学传递函数集合；
利用所述光学传递函数集合，对所述图像频谱进行反卷积，得到所述N个波段各自对应的视场图像频谱集合；所述视场图像频谱集合表征对应不同视场的无色差的视场图像频谱；
对所述视场图像频谱集合进行频域到空域的转换和合成，得到无色差图像。
2.根据权利要求1所述的方法，其特征在于，所述获取N个波段各自对应的点扩散函数集合，包括：
获取N个波段各自的波长和光谱响应度的对应关系；
从所述波长和光谱响应度的对应关系中，获取所述N个波段各自对应的光谱特性数据，所述光谱特性数据表征波长和光谱响应度的对应关系的变化情况；
基于预设成像面和预设视场个数，对所述光谱特性数据进行处理，得到所述点扩散函数集合。
3.根据权利要求2所述的方法，其特征在于，所述基于预设成像面和预设视场个数，对所述光谱特性数据进行处理，得到所述点扩散函数集合，包括：
基于所述预设视场个数，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场；
针对所述预设视场个数个的视场，对所述光谱特性数据进行处理，得到所述点扩散函数集合。
4.根据权利要求3所述的方法，其特征在于，所述基于所述预设视场个数，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场，包括：
获取视场和色差值的对应关系；
根据预设色差阈值、以及所述视场和色差值的对应关系，确定所述预设成像面对应的视场划分点；
按照所述视场划分点，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述对所述视场图像频谱集合进行频域到空域的转换和合成，得到无色差图像，包括：
对所述视场图像频谱集合进行频域到空域的变换，得到所述N个波段各自对应的视场图像集合；所述视场图像集合表征对应不同视场的无色差的视场图像；
按照所述视场图像集合中视场图像对应的视场顺序，对所述视场图像集合进行拼接合成，得到所述N个波段各自对应的无色差通道图像；
对所述N个波段各自对应的无色差通道图像进行叠加合成，得到无色差图像。
6.根据权利要求1至4任一项所述的方法，其特征在于，所述颜色基准为RGB颜色基准时，N＝3，3个波段为R波段、G波段和B波段。
7.一种图像处理装置，其特征在于，所述装置包括：
视场处理单元，用于当采集拍摄图像时，获取N个波段各自对应的点扩散函数集合；N为颜色基准中颜色种类的总数、且为大于0的正整数，所述点扩散函数集合表征对应不同视场的点扩散函数；
频域转换单元，用于对所述拍摄图像进行时域到频域的变换，得到图像频谱，并对所述点扩散函数集合进行时域到频域的变换，得到所述N个波段各自对应的光学传递函数集合；
反卷积单元，用于利用所述光学传递函数集合，对所述图像频谱进行反卷积，得到所述N个波段各自对应的视场图像频谱集合；所述视场图像频谱集合表征对应不同视场的无色差的视场图像频谱；
图像合成单元，用于对所述视场图像频谱集合进行频域到空域的转换和合成，得到无色差图像。
8.根据权利要求7所述的装置，其特征在于，
所述视场处理单元，具体用于获取N个波段各自的波长和光谱响应度的对应关系；及从所述波长和光谱响应度的对应关系中，获取所述N个波段各自对应的光谱特性数据，所述光谱特性数据表征波长和光谱响应度的对应关系的变化情况；以及基于预设成像面和预设视场个数，对所述光谱特性数据进行处理，得到所述点扩散函数集合。
9.根据权利要求7所述的装置，其特征在于，
所述视场处理单元，具体用于基于所述预设视场个数，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场；以及针对所述预设视场个数个的视场，对所述光谱特性数据进行处理，得到所述点扩散函数集合。
10.根据权利要求9所述的装置，其特征在于，
所述视场处理单元，具体用于获取视场和色差值的对应关系；及根据预设色差阈值、以及所述视场和色差值的对应关系，确定所述预设成像面对应的视场划分点；以及按照所述视场划分点，对所述预设成像面进行视场划分，得到所述预设视场个数个的视场。
11.根据权利要求7至10任一项所述的装置，其特征在于，
所述图像合成单元，具体用于对所述视场图像频谱集合进行频域到空域的变换，得到所述N个波段各自对应的视场图像集合；所述视场图像集合表征对应不同视场的无色差的视场图像；
按照所述视场图像集合中视场图像对应的视场顺序，对所述视场图像集合进行拼接合成，得到所述N个波段各自对应的无色差通道图像；
对所述N个波段各自对应的无色差通道图像进行叠加合成，得到无色差图像。
12.根据权利要求7至10任一项所述的装置，其特征在于，所述颜色基准为RGB颜色基准时，N＝3，3个波段为R波段、G波段和B波段。
13.一种图像处理装置，其特征在于，所述装置包括：处理器、存储器和通信总线，所述存储器通过所述通信总线与所述处理器进行通信，所述存储器存储所述处理器可执行的一个或者多个程序，当所述一个或者多个程序被执行时，通过所述处理器执行如权利要求1-6任一项所述的方法。
14.一种存储介质，其特征在于，所述存储介质存储有程序，当所述程序被处理器执行时，以实现权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910817659.9A CN110533617B (zh) | 2019-08-30 | 2019-08-30 | 图像处理方法及装置、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910817659.9A CN110533617B (zh) | 2019-08-30 | 2019-08-30 | 图像处理方法及装置、存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110533617A true CN110533617A (zh) | 2019-12-03 |
| CN110533617B CN110533617B (zh) | 2022-05-27 |
Family
ID=68665906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910817659.9A Active CN110533617B (zh) | 2019-08-30 | 2019-08-30 | 图像处理方法及装置、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110533617B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760449A (zh) * | 2022-03-31 | 2022-07-15 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345727A (zh) * | 2013-06-17 | 2013-10-09 | 北京航空航天大学 | 一种二元光学图像光谱的重建方法 |
| CN104820969A (zh) * | 2015-04-03 | 2015-08-05 | 西安交通大学 | 一种实时图像盲复原方法 |
| CN105049680A (zh) * | 2014-04-25 | 2015-11-11 | 佳能株式会社 | 进行图像恢复处理的图像处理设备和图像处理方法 |
| CN106134177A (zh) * | 2014-03-31 | 2016-11-16 | 富士胶片株式会社 | 图像处理装置、摄影装置、图像处理方法及图像处理程序 |
| CN106530251A (zh) * | 2016-11-03 | 2017-03-22 | 北京航星机器制造有限公司 | 一种盲卷积运动模糊图像复原方法 |
| CN107424195A (zh) * | 2017-07-20 | 2017-12-01 | 清华大学深圳研究生院 | 一种光场距离估计方法 |
| CN108830805A (zh) * | 2018-05-25 | 2018-11-16 | 北京小米移动软件有限公司 | 图像处理方法、装置及可读存储介质、电子设备 |
-
2019
- 2019-08-30 CN CN201910817659.9A patent/CN110533617B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103345727A (zh) * | 2013-06-17 | 2013-10-09 | 北京航空航天大学 | 一种二元光学图像光谱的重建方法 |
| CN106134177A (zh) * | 2014-03-31 | 2016-11-16 | 富士胶片株式会社 | 图像处理装置、摄影装置、图像处理方法及图像处理程序 |
| CN105049680A (zh) * | 2014-04-25 | 2015-11-11 | 佳能株式会社 | 进行图像恢复处理的图像处理设备和图像处理方法 |
| CN104820969A (zh) * | 2015-04-03 | 2015-08-05 | 西安交通大学 | 一种实时图像盲复原方法 |
| CN106530251A (zh) * | 2016-11-03 | 2017-03-22 | 北京航星机器制造有限公司 | 一种盲卷积运动模糊图像复原方法 |
| CN107424195A (zh) * | 2017-07-20 | 2017-12-01 | 清华大学深圳研究生院 | 一种光场距离估计方法 |
| CN108830805A (zh) * | 2018-05-25 | 2018-11-16 | 北京小米移动软件有限公司 | 图像处理方法、装置及可读存储介质、电子设备 |
Non-Patent Citations (1)
| Title |
|---|
| 冯彦超 等: "基于分色校正的大像差光学成像系统图像处理技术", 《光子学报》 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114760449A (zh) * | 2022-03-31 | 2022-07-15 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、终端及可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110533617B (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8941762B2 (en) | Image processing apparatus and image pickup apparatus using the same | |
| JP6096243B2 (ja) | 画像データの処理方法およびシステム | |
| US8692909B2 (en) | Image processing device and image pickup device using the same | |
| US9581436B2 (en) | Image processing device, image capturing apparatus, and image processing method | |
| EP2715447B1 (en) | System and method for extending depth of field in a lens system by use of color-dependent wavefront coding | |
| JP6141587B2 (ja) | レンズシェーディング補正ファクタの算出方法及びそれを用いたレンズシェーディング補正方法及び装置 | |
| KR101826721B1 (ko) | 렌즈 쉐이딩 보정 팩터 산출 방법 및 그것을 이용한 렌즈 쉐이딩 보정 방법 및 렌즈 쉐이딩 보정 장치 | |
| CN106296625B (zh) | 图像处理装置及图像处理方法、摄像装置及摄像方法 | |
| US10572974B2 (en) | Image demosaicer and method | |
| US9473700B2 (en) | Camera systems and methods for gigapixel computational imaging | |
| KR101119268B1 (ko) | 영상의 컬러 잡음 제거 방법 및 장치 | |
| CN112672054B (zh) | 对焦方法、装置及电子设备 | |
| JP6478579B2 (ja) | 撮像ユニット、撮像装置、及び画像処理システム | |
| JP5765893B2 (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
| CN105979233B (zh) | 去马赛克方法、图像处理器及图像传感器 | |
| EP3910385A1 (en) | Image sensor | |
| CN110533617A (zh) | 图像处理方法及装置、存储介质 | |
| CN108696728B (zh) | 图像生成装置、拍摄装置及拍摄系统 | |
| CN104735349A (zh) | 同步多聚焦Bayer视频图像处理系统及方法 | |
| Kuniba et al. | Spectral sensitivity optimization of color image sensors considering photon shot noise | |
| US8736722B2 (en) | Enhanced image capture sharpening | |
| CN114660782B (zh) | 一种用于水下监控的鱼眼镜头、成像装置及图像校正方法及系统 | |
| CN105531823B (zh) | 利用单色数字摄影机的彩色成像 | |
| KR20210137886A (ko) | 이미지 센서 | |
| JP2004274197A (ja) | 輪郭強調装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |