CN110784645B - 基于单色双通道sCMOS摄像机的灰度调制图像融合方法 - Google Patents

基于单色双通道sCMOS摄像机的灰度调制图像融合方法 Download PDF

Info

Publication number
CN110784645B
CN110784645B CN201910953265.6A CN201910953265A CN110784645B CN 110784645 B CN110784645 B CN 110784645B CN 201910953265 A CN201910953265 A CN 201910953265A CN 110784645 B CN110784645 B CN 110784645B
Authority
CN
China
Prior art keywords
image signal
gain channel
signal data
low
channel image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910953265.6A
Other languages
English (en)
Other versions
CN110784645A (zh
Inventor
刘琼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Institute of Electro Optical Equipment AVIC
Original Assignee
Luoyang Institute of Electro Optical Equipment AVIC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Institute of Electro Optical Equipment AVIC filed Critical Luoyang Institute of Electro Optical Equipment AVIC
Priority to CN201910953265.6A priority Critical patent/CN110784645B/zh
Publication of CN110784645A publication Critical patent/CN110784645A/zh
Application granted granted Critical
Publication of CN110784645B publication Critical patent/CN110784645B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20032—Median filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本发明提供了一种基于单色双通道sCMOS摄像机的灰度调制图像融合方法，具备单色双通道sCMOS摄像机，信号通过A/D转换读出数据并保存，对获取的图像信号数据进行中值滤波并进行归一化，利用灰度调制因子，对滤波后的高增益通道图像信号数据进行灰度调制融合，得到高低增益通道图像信号数据融合后的图像信号数据。本发明由于自适应控制高增益图像信号与低增益图像信号的灰度调制融合程度，最终获得一幅信息量丰富，细节清晰并利于识别的图像；有效避免了过渡带的产生，且在图像中即可以看清灯光轮廓，又可以看清树林等低照度景物，得到细节清晰并利于识别的图像。

Description

基于单色双通道sCMOS摄像机的灰度调制图像融合方法
技术领域
本发明涉及图像处理技术领域，尤其是一种灰度调制图像融合方法。
背景技术
单色双通道sCMOS摄像机可以针对同一场景同时得到高增益通道图像信号与低增益通道图像信号。高增益通道的图像对场景中低照度区域的信息量比较丰富，而高照度区域往往会因为过曝而饱和发白，低增益通道的图像信号对场景中高照度区域的信息量比较丰富，而低照度区域往往因欠曝光而发黑。如果合理的把高增益通道的图像信号与低增益通道的图像信号进行融合，则可以得到同时兼附高照度与低照度区域的信息量丰富的图像。
单色双通道sCMOS摄像机中，传统的高增益通道的图像信号与低增益通道的图像信号进行融合的方法，一般是利用sCMOS摄像机的高低增益通道图像信号分界阈值设为门限，将高增益通道的图像信号中高于门限的图像信号替换成低增益通道的图像信号乘以一个增益值，就得到了融合后的图像。采用这种直接替换的融合方法得到的图像，往往会在门限值周围出现一个不自然的过渡带，图像不够自然，甚至会带来一些的带状噪声，影响正常观测。
发明内容
为了克服现有技术的不足，本发明提供一种基于单色双通道sCMOS摄像机的灰度调制图像融合方法。本发明主要解决在单色双通道sCMOS摄像机中，传统的高增益通道的图像信号与低增益通道的图像信号进行融合，在门限值周围出现一个不自然的过渡带，图像不够自然，甚至会带来一些的带状噪声的问题,从而改善单色双通道sCMOS摄像机的观测效果，提升单色双通道sCMOS摄像机的产品形象。本发明完成基于单色双通道sCMOS摄像机的改进型灰度调制图像融合，同时具有较好工程实用性。
本发明解决其技术问题所采用的技术方案的具体实现步骤如下：
1)具备单色双通道sCMOS摄像机，含M×N元探测器，信号通过A/D转换读出数据并保存；
单色双通道sCMOS摄像机上电，针对同一场景得到高增益通道图像信号数据IH与低增益通道图像信号数据IL，sCMOS传感器芯片内部经双增益通道放大后经ADC转换器量化输出，同时得到高增益通道图像信号与低增益通道图像信号的功能，单色双通道sCMOS摄像机上电，根据芯片的管脚定义，得到针对同一场景的高增益通道图像信号数据IH与低增益通道图像信号数据IL，IH与IL用矩阵标识如下，其中h(i,j)为高增益通道图像信号中每个图像像素点的灰度值，l(i,j)为低增益通道图像信号中每个图像像素点的灰度值，M为总行数，N为总列数；
Figure GDA0002745976090000021
2)对获取的高增益通道图像信号数据IH与低增益通道图像信号数据IL进行中值滤波，得到滤波后的高增益通道图像信号数据IH1与滤波后的低增益通道图像信号数据IL1；
所述中值滤波用来排除信号中椒盐噪声对融合结果的干扰，滤波窗口为3*3,IH1与IL1用矩阵标识如下，其中h1(i,j)为高增益通道图像信号中滤波后每个图像像素点的灰度值，l1(i,j)为低增益通道图像信号中滤波后每个图像像素点的灰度值，M为总行数，N为总列数；
Figure GDA0002745976090000022
3)初始化高低增益通道图像信号数据融合后的图像信号数据IF；
IF用矩阵标识如下，其中f(i,j)为高低增益通道图像信号数据融合后的图像信号数据IF中每个图像像素点的灰度值，M为总行数，N为总列数；
Figure GDA0002745976090000023
4)对滤波后的低增益通道图像信号数据IL1进行归一化；
gl(i,j)为低增益通道图像信号数据中每个图像像素点归一化后的灰度值；
Figure GDA0002745976090000024
其中，MAX(IL1)表示低增益通道图像信号的最大值，MIN(IL1)表示低增益通道图像信号的最小值；
5)计算灰度调制因子ll(i,j)；
ll(i,j)为对滤波后的高增益通道图像信号数据IH1与低增益通道图像信号数据中每个图像像素点归一化后的灰度值gl(i,j)计算生成的灰度调制因子，计算过程如下式所示：
Figure GDA0002745976090000031
其中，式中MAX(IH1)表示高增益通道图像信号的最大值，TH表示sCMOS摄像机的高低增益通道图像信号分界阈值，取值为3800，ε为一个经验因子，取值在0到40；
6)利用灰度调制因子ll(i,j)，对滤波后的高增益通道图像信号数据IH1进行灰度调制融合得到高低增益通道图像信号数据融合后的图像信号数据IF；
计算过程如下式所示：
Figure GDA0002745976090000032
其中，式中MAX(IH1)表示高增益通道图像信号的最大值，TH表示sCMOS摄像机的高低增益通道图像信号分界阈值。
本发明的有益效果在于由于采用sCMOS摄像机中低增益通道图像信号数据与sCMOS摄像机的高低增益通道图像信号分界阈值建立灰度调制因子，从而自适应控制高增益图像信号与低增益图像信号的灰度调制融合程度，最终获得一幅信息量丰富，细节清晰并利于识别的图像；当sCMOS摄像机所对场景是富含灯光的夜间城市场景时，采用本发明相比传统的高增益通道的图像信号与低增益通道的图像信号进行融合的方法，有效避免了过渡带的产生，且在图像中即可以看清灯光轮廓，又可以看清树林等低照度景物，得到细节清晰并利于识别的图像。
附图说明
图1是本发明的具体实现程序流程示意图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明中提出一种基于单色双通道sCMOS摄像机的改进型灰度调制图像融合方法。该方法创新性的利用sCMOS摄像机中低增益通道图像信号数据与sCMOS摄像机的高低增益通道图像信号分界阈值建立灰度调制因子，从而自适应控制高增益图像信号与低增益图像信号的灰度调制融合程度，最终获得一幅信息量丰富，细节清晰并利于识别的图像。该方法已经工程化实现，克服了原融合方法造成的过渡带问题，明显改善了单色双通道sCMOS摄像机的观测效果。
步骤如下：
1)具备单色双通道sCMOS摄像机，含M×N元探测器，信号通过A/D转换读出数据并保存；
单色双通道sCMOS摄像机上电，针对同一场景得到高增益通道图像信号数据IH与低增益通道图像信号数据IL，sCMOS传感器芯片内部经双增益通道放大后经ADC转换器量化输出，同时得到高增益通道图像信号与低增益通道图像信号的功能，单色双通道sCMOS摄像机上电，根据芯片的管脚定义，得到针对同一场景的高增益通道图像信号数据IH与低增益通道图像信号数据IL，IH与IL用矩阵标识如下，其中h(i,j)为高增益通道图像信号中每个图像像素点的灰度值，l(i,j)为低增益通道图像信号中每个图像像素点的灰度值，M为总行数，N为总列数；
Figure GDA0002745976090000041
2)对获取的高增益通道图像信号数据IH与低增益通道图像信号数据IL进行中值滤波，得到滤波后的高增益通道图像信号数据IH1与滤波后的低增益通道图像信号数据IL1；
所述中值滤波用来排除信号中椒盐噪声对融合结果的干扰，滤波窗口为3*3,IH1与IL1用矩阵标识如下，其中h1(i,j)为高增益通道图像信号中滤波后每个图像像素点的灰度值，l1(i,j)为低增益通道图像信号中滤波后每个图像像素点的灰度值，M为总行数，N为总列数；
Figure GDA0002745976090000051
3)初始化高低增益通道图像信号数据融合后的图像信号数据IF；
IF用矩阵标识如下，其中f(i,j)为高低增益通道图像信号数据融合后的图像信号数据IF中每个图像像素点的灰度值，M为总行数，N为总列数；
Figure GDA0002745976090000052
4)对滤波后的低增益通道图像信号数据IL1进行归一化；
gl(i,j)为低增益通道图像信号数据中每个图像像素点归一化后的灰度值；
Figure GDA0002745976090000053
其中，MAX(IL1)表示低增益通道图像信号的最大值，MIN(IL1)表示低增益通道图像信号的最小值；
5)计算灰度调制因子ll(i,j)；
ll(i,j)为对滤波后的高增益通道图像信号数据IH1与低增益通道图像信号数据中每个图像像素点归一化后的灰度值gl(i,j)计算生成的灰度调制因子，计算过程如下式所示：
Figure GDA0002745976090000054
其中，式中MAX(IH1)表示高增益通道图像信号的最大值，TH表示sCMOS摄像机的高低增益通道图像信号分界阈值，取值为3800，ε为一个经验因子，取值在0到40；
6)利用灰度调制因子ll(i,j)，对滤波后的高增益通道图像信号数据IH1进行灰度调制融合得到高低增益通道图像信号数据融合后的图像信号数据IF；
计算过程如下式所示：
Figure GDA0002745976090000055
其中，式中MAX(IH1)表示高增益通道图像信号的最大值，TH表示sCMOS摄像机的高低增益通道图像信号分界阈值。
实施例如下：
本发明假定已具备单色双通道sCMOS摄像机(含M×N元探测器)，信号可以通过A/D转换读出数据并保存。
单色双通道sCMOS摄像机上电，针对同一场景得到高增益通道图像信号数据IH与低增益通道图像信号数据IL。IH与IL可以用矩阵标识如下，其中l(i,j)为高增益通道图像信号中每个图像像素点的灰度值，h(i,j)为低增益通道图像信号中每个图像像素点的灰度值，M为总行数，N为总列数；
Figure GDA0002745976090000061
对获取的高增益通道图像信号数据IH与低增益通道图像信号数据IL进行中值滤波，得滤波后的高增益通道图像信号数据IH1与滤波后的低增益通道图像信号数据IL1的步骤。该步骤中，中值滤波主要用来排除信号中椒盐噪声对融合结果的干扰，滤波窗口为3*3，计算中
h(20,40)＝334h(20,41)＝344h(20,42)＝337h(21,40)＝355h(21,41)＝355h(21,42)＝334
h(22,40)＝338h(22,41)＝339h(22,42)＝373，经过中值滤波后，h1(21,41)＝339；
初始化高低增益通道图像信号数据融合后的图像信号数据IF。IF可以中f(i,j)为每个图像像素点的灰度值，初始值都为0；
对滤波后的低增益通道图像信号数据IL1进行归一化。计算中，MAX(IL1)＝569，MIN(IL1)＝55，l1(334,335)＝226，则有
Figure GDA0002745976090000062
计算灰度调制因子ll(i,j)，已采集的图像中，MAX(IH1)＝4055，MIN(IL1)＝79，这里sCMOS摄像机的高低增益通道图像信号分界阈值TH＝3800，经验因子ε＝0灰度调制因子：
Figure GDA0002745976090000063
利用灰度调制因子ll(i,j)，对滤波后的高增益通道图像信号数据IH1进行灰度调制融合得到高低增益通道图像信号数据融合后的图像信号数据IF，计算中：f(334,335)＝[h1(334,335)*ll(334,335)]＝[2231*0.639]＝1425。

Claims (1)

1.一种基于单色双通道sCMOS摄像机的灰度调制图像融合方法，其特征在于包括下述步骤：
1)具备单色双通道sCMOS摄像机，含M×N元探测器，信号通过A/D转换读出数据并保存；
单色双通道sCMOS摄像机上电，针对同一场景得到高增益通道图像信号数据IH与低增益通道图像信号数据IL，sCMOS传感器芯片内部经双增益通道放大后经ADC转换器量化输出，同时得到高增益通道图像信号与低增益通道图像信号的功能，单色双通道sCMOS摄像机上电，根据芯片的管脚定义，得到针对同一场景的高增益通道图像信号数据IH与低增益通道图像信号数据IL，IH与IL用矩阵标识如下：
Figure FDA0002745976080000011
其中h(i,j)为高增益通道图像信号中每个图像像素点的灰度值，l(i,j)为低增益通道图像信号中每个图像像素点的灰度值，M为总行数，N为总列数；
2)对获取的高增益通道图像信号数据IH与低增益通道图像信号数据IL进行中值滤波，得到滤波后的高增益通道图像信号数据IH1与滤波后的低增益通道图像信号数据IL1；
所述中值滤波用来排除信号中椒盐噪声对融合结果的干扰，滤波窗口为3*3，IH1与IL1用矩阵标识如下，其中h1(i,j)为高增益通道图像信号中滤波后每个图像像素点的灰度值，l1(i,j)为低增益通道图像信号中滤波后每个图像像素点的灰度值，M为总行数，N为总列数；
Figure FDA0002745976080000012
3)初始化高低增益通道图像信号数据融合后的图像信号数据IF；
IF用矩阵标识如下，其中f(i,j)为高低增益通道图像信号数据融合后的图像信号数据IF中每个图像像素点的灰度值，M为总行数，N为总列数；
Figure FDA0002745976080000021
4)对滤波后的低增益通道图像信号数据IL1进行归一化；
gl(i,j)为低增益通道图像信号数据中每个图像像素点归一化后的灰度值；
Figure FDA0002745976080000022
其中，MAX(IL1)表示低增益通道图像信号的最大值，MIN(IL1)表示低增益通道图像信号的最小值；
5)计算灰度调制因子ll(i,j)；
ll(i,j)为对滤波后的高增益通道图像信号数据IH1与低增益通道图像信号数据中每个图像像素点归一化后的灰度值gl(i,j)计算生成的灰度调制因子，计算过程如下式所示：
Figure FDA0002745976080000023
其中，式中MAX(IH1)表示高增益通道图像信号的最大值，TH表示sCMOS摄像机的高低增益通道图像信号分界阈值，取值为3800，ε为一个经验因子，取值在0到40；
6)利用灰度调制因子ll(i,j)，对滤波后的高增益通道图像信号数据IH1进行灰度调制融合得到高低增益通道图像信号数据融合后的图像信号数据IF；
计算过程如下式所示：
Figure FDA0002745976080000024
其中，式中MAX(IH1)表示高增益通道图像信号的最大值，TH表示sCMOS摄像机的高低增益通道图像信号分界阈值。
CN201910953265.6A 2019-10-09 2019-10-09 基于单色双通道sCMOS摄像机的灰度调制图像融合方法 Active CN110784645B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910953265.6A CN110784645B (zh) 2019-10-09 2019-10-09 基于单色双通道sCMOS摄像机的灰度调制图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910953265.6A CN110784645B (zh) 2019-10-09 2019-10-09 基于单色双通道sCMOS摄像机的灰度调制图像融合方法

Publications (2)

Publication Number Publication Date
CN110784645A CN110784645A (zh) 2020-02-11
CN110784645B true CN110784645B (zh) 2021-01-01

Family

ID=69384866

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910953265.6A Active CN110784645B (zh) 2019-10-09 2019-10-09 基于单色双通道sCMOS摄像机的灰度调制图像融合方法

Country Status (1)

Country Link
CN (1) CN110784645B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708175B (zh) * 2022-03-22 2024-05-31 智冠华高科技(大连)有限公司 一种用于双通道图像传感器的图像融合方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202182A (zh) * 2011-04-29 2011-09-28 北京工业大学 一种采用线阵ccd的大动态范围图像获取的装置及方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101633893B1 (ko) * 2010-01-15 2016-06-28 삼성전자주식회사 다중노출 영상을 합성하는 영상합성장치 및 방법
CN102170571A (zh) * 2010-06-22 2011-08-31 上海盈方微电子有限公司 一种支持双通道cmos传感器的数码相机架构
US8885978B2 (en) * 2010-07-05 2014-11-11 Apple Inc. Operating a device to capture high dynamic range images
CN102063712B (zh) * 2010-11-04 2013-01-30 北京理工大学 基于子带结构的多曝光图像融合方法
CN102169575B (zh) * 2011-04-22 2012-12-05 艾民 一种非基色单色光图像数据的处理方法及其处理装置
CN103247036B (zh) * 2012-02-10 2016-05-18 株式会社理光 多曝光图像融合方法和装置
CN103873781B (zh) * 2014-03-27 2017-03-29 成都动力视讯科技股份有限公司 一种宽动态摄像机实现方法及装置
CN105704404B (zh) * 2014-11-27 2020-07-28 广东中星微电子有限公司 应用于双通道图像传感器的图像处理方法及装置
CN105163044B (zh) * 2015-09-09 2018-02-09 长春长光辰芯光电技术有限公司 高动态范围图像传感器数据输出方法及装置
CN109889743B (zh) * 2019-03-05 2020-09-01 长光卫星技术有限公司 一种高低增益联合存贮的夜光遥感相机大动态范围图像获取方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102202182A (zh) * 2011-04-29 2011-09-28 北京工业大学 一种采用线阵ccd的大动态范围图像获取的装置及方法

Also Published As

Publication number Publication date
CN110784645A (zh) 2020-02-11

Similar Documents

Publication Publication Date Title
CN110298874B (zh) 基于单个图像传感器及在可见光谱中的结构光图案撷取图像及相关三维模型的方法及装置
Monakhova et al. Dancing under the stars: video denoising in starlight
CN110766621B (zh) 图像处理方法、装置、存储介质及电子设备
WO2018099136A1 (zh) 一种低照度图像降噪方法、装置及存储介质
CN110619593A (zh) 一种基于动态场景的双曝光视频成像系统
US10165280B1 (en) Motion detection based on observing several pictures
CN106412448B (zh) 一种基于单帧图像的宽动态范围处理方法与系统
CN114022732B (zh) 一种基于raw图像的极暗光物体检测方法
CN107392879B (zh) 一种基于参考帧的低照度监控图像增强方法
JP2013162431A (ja) 画像信号処理装置，撮像装置および画像処理プログラム
CN109447912B (zh) 一种荧光导航内窥镜系统的荧光图像自适应增强及降噪方法
CN113129236A (zh) 基于Retinex和卷积神经网络的单张低光照图像增强方法及系统
CN110784645B (zh) 基于单色双通道sCMOS摄像机的灰度调制图像融合方法
EP4047923A1 (en) Electronic device comprising camera and method of same
CN115334294B (zh) 一种本地自适应力度的视频降噪方法
CN115526811B (zh) 一种适应于多变光照环境的自适应视觉slam方法
Chen et al. Low‐light image enhancement based on exponential Retinex variational model
CN111641825A (zh) 一种嵌入到hevc编码过程的3d去噪方法及去噪装置
WO2023110878A1 (en) Image processing methods and systems for generating a training dataset for low-light image enhancement using machine learning models
WO2023110880A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models
CN109544466B (zh) 一种基于引导滤波的彩色图像Retinex增强方法
CN112788321B (zh) 图像颜色恢复方法和装置、摄像装置、存储介质
CN104780322A (zh) 摄像装置、摄像方法、图像处理装置
CN210120610U (zh) 一种成像信息处理系统
KR101004623B1 (ko) 플래쉬 장치를 이용한 영상 품질 개선 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant