CN113179379B - 基于单个敏感器件的可见光与近红外成像的视觉传感器 - Google Patents

基于单个敏感器件的可见光与近红外成像的视觉传感器 Download PDF

Info

Publication number
CN113179379B
CN113179379B CN202110437764.7A CN202110437764A CN113179379B CN 113179379 B CN113179379 B CN 113179379B CN 202110437764 A CN202110437764 A CN 202110437764A CN 113179379 B CN113179379 B CN 113179379B
Authority
CN
China
Prior art keywords
visible light
near infrared
visual sensor
module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110437764.7A
Other languages
English (en)
Other versions
CN113179379A (zh
Inventor
乔铁柱
杨思杨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inner Mongolia Xianhong Science Co ltd
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202110437764.7A priority Critical patent/CN113179379B/zh
Publication of CN113179379A publication Critical patent/CN113179379A/zh
Application granted granted Critical
Publication of CN113179379B publication Critical patent/CN113179379B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及基于单个敏感器件的可见光与近红外成像的视觉传感器,属于视觉传感器技术领域;解决了目前可见光与近红外图像融合的过程复杂导致融合效率低下的问题;包括光源、镜头、封装外壳、敏感器件、图像处理模块、图像存储模块、通信模块以及电源模块,敏感器件为包括控制逻辑模块、并列设置的硅基光电二极管阵列与单晶锗晶体光电二极管阵列、以及模数转换器组合而成的电路,用于将可见光与近红外光转换为二进制的数字信号输出;使用该敏感器件的视觉传感器不需要经过后期算法即可实现近红外与可见光图像融合,提高了图像融合的效率,解决了目前可见光与近红外图像融合的过程复杂导致融合效率低下的问题,可广泛应用于工业控制领域。

Description

基于单个敏感器件的可见光与近红外成像的视觉传感器
技术领域
本发明属于视觉传感器技术领域,具体涉及基于单个敏感器件的可见光与近红外成像的视觉传感器。
背景技术
可见光是指波长在380~880nm范围内的电磁波,也可指人肉眼可以感知的电磁波,可见光能直观,清晰的反映图像信息,但常常不具有穿透性,而且可见光传感器不具备夜视能力;近红外光是指波长在780~2526nm范围内的电磁波,近红外光的穿透能力强,能够在夜间工作,但却不能反映图像的颜色信息;所以可见光与近红外图像融合技术的应用能使融合后的图像包含更加丰富而全面的信息,还能在烟、尘、云、雾、雨等不利环境下工作,可以广泛的应用于遥感图像的分析处理以及医疗图像处理等领域。但现有技术中得到可见光与近红外光融合的图像都是基于两个不同的CCD器件分别获取可见光图像、和近红外图像,再利用计算机的图像融合算法进行后期图像融合处理来实现可见光与近红外图像融合,这种技术方案使用两个CCD器件不仅造价较高,而且还需要计算机系统后期实现图像融合,使得其图像融合的效率较低,且使用两个不同的CCD器件得到的可见光图像与近红外图像也不可能保持一致,后期图像融合的配准工作也需要耗费一定的时间,降低了图像融合的可靠性。
发明内容
本发明克服了现有技术的不足,提出基于单个敏感器件的可见光与近红外成像的视觉传感器,解决了目前可见光与近红外图像融合的过程复杂导致融合效率低下的问题。
为了达到上述目的,本发明是通过如下技术方案实现的。
基于单个敏感器件的可见光与近红外成像的视觉传感器,包括光源、镜头、封装外壳、敏感器件、图像处理模块、图像存储模块、通信模块以及电源模块,所述敏感器件为包括控制逻辑模块、硅基光电二极管阵列、单晶锗晶体光电二极管阵列、以及模数转换器组合而成的电路,所述硅基光电二极管阵列与单晶锗晶体光电二极管阵列并列设置后与模数转换器连接,用于将可见光与近红外光转换为二进制的数字信号输出。
进一步的,所述封装外壳的顶部设有若干个散热凹槽,所述封装外壳的一侧设有光源与镜头,另一侧面设有通讯接口。
进一步的,所述光源采取的是LED光源,成环形围绕镜头设置。
进一步的,所述硅基光电二极管与单晶锗晶体光电二极管并联后与MOS管相连接,MOS管的输出接入积分电路模块,所述MOS管与移位寄存器相连,所述移位寄存器通过时钟脉冲clk和起始脉冲s控制工作,从而控制MOS管的导通。
进一步的,所述图像处理模块用于对经过敏感器件后的数字图像做图像增强处理,并去除噪声干扰。
进一步的,所述图像存储模块包括FLASH存储器和SDARM存储器模块,用于存储图像处理模块处理后的图像以及图像特征信息。
进一步的,所述通信模块包括RS485有线通信接口以及Zigbee无线通信接口,所述通信模块分别与镜头图像处理模块、图像存储模块连接。
本发明相对于现有技术所产生的有益效果为:
本发明的视觉传感器包括光源、镜头、封装外壳、敏感器件、图像处理模块、图像存储模块、通信模块以及电源模块,并采用了基于硅基光电二极管与单晶锗晶体光电二极管并列设置的组合电路组成的敏感器件,使用该敏感器件的视觉传感器不需要经过后期算法即可实现近红外与可见光图像融合,提高了图像融合的效率,解决了目前可见光与近红外图像融合的过程复杂导致融合效率低下的问题,可广泛应用于工业控制领域。
附图说明
下面结合附图对本发明做进一步描述:
图1是本发明所述视觉传感器的内部结构示意图;
图2是本发明所述视觉传感器中单个敏感器件电路框图;
图3是本发明所述视觉传感器中单个敏感器件组合方式的示意简图;
图4是本发明所述视觉传感器的封装外壳正面示意图;
图5是本发明所述视觉传感器的封装外壳背面示意图;
图中:1—封装外壳;2—镜头;3—通讯接口;4—散热凹槽。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白,结合实施例和附图,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。下面结合实施例及附图详细说明本发明的技术方案,但保护范围不被此限制。
实施例
本发明是基于单个敏感器件的可见光与近红外成像的视觉传感器,包括光源、镜头、封装外壳、敏感器件、图像处理模块、图像存储模块、通信模块以及电源模块,所述敏感器件为包括硅基光电二极管阵列和单晶锗晶体光电二极管阵列组合而成的电路,该光源采取的是LED光源来克服环境光的干扰,提高图像的信噪比,LED光源成环形围绕镜头设置,镜头可以将光学图像聚焦在由组合电路构成的单个敏感器件上,提高视觉传感器成像的质量,且LED光源和镜头都直接设置在该视觉传感器的封装外壳上。
图1是本发明视觉传感器内部结构示意图,也就是指视觉传感器内部所包含的模块,主要包含电源模块、敏感器件、图像处理模块、图像存储模块以及通信模块。其中电源模块放置在视觉传感器内部,为整个视觉传感器各模块供电;敏感器件与设置在视觉传感器封装外壳上的镜头输出端连接并与图像处理模块的输入端连接,将光信号转换为二进制数字图像信号;再经过图像处理模块可以对可见光与近红外光照射下产生的融合图像做处理,图像处理模块用于对经过敏感器件后的数字图像做图像增强处理,并去除噪声干扰,并把处理后的结果送至图像存储模块;图像存储模块包括SDARM存储器以及FLASH存储器,主要用来存储图像处理模块处理后的图像以及图像特征信息;通信模块包含RS485等有线通信接口以及Zigbee无线通信接口;通信模块分别与镜头图像处理模块、图像存储模块连接,实现与外部控制系统通讯,外部控制系统可以发送指令控制镜头拍摄图片,以及控制图像处理模块、图像存储模块工作,也可以显示视觉传感器输出的可见光与近红外融合的图片以及其他特征信息。
图2是本发明视觉传感器采用的单个敏感器件电路框图,所述敏感器件包括控制逻辑模块、硅基光电二极管阵列、单晶锗晶体光电二极管阵列、以及模数转换器。其中硅基光电二极管对可见光敏感,单晶锗晶体光电二极管对近红外光敏感。控制逻辑模块控制硅基光电二极管阵列以及单晶锗晶体二极管阵列工作,使硅基光电二极管阵列、单晶锗晶体二极管阵列接入组合电路。当可见光和红外光照射在敏感器件上时,会产生电荷的移动进而产生电流。然后电流流经模数转换器,能将模拟信号转换为数字信号,变成二进制数字信号输出,其数字量的大小能够反映可见光与近红外光的强弱。
基于硅基光电二极管对可见光敏感,单晶锗晶体光电二极管对近红外光敏感提出的硅基光电二极管与单晶锗晶体光电二极管组合电路,并将该组合电路作为视觉传感器的光敏元。通过控制逻辑模块控制硅基光电二极管阵列以及单晶锗晶体二极管阵列工作,使硅基光电二极管阵列、单晶锗晶体二极管阵列接入组合电路。在组合电路中,由时钟脉冲clk和起始脉冲s控制数字移位寄存器产生采样脉冲扫描信号。数字移位寄存器再与若干个MOS管相连,控制MOS管导通或是闭合,单个MOS管对应一对并联的硅基光电二极管与单晶锗晶体光电二极管。在经过可见光与近红外光照射时,并联的硅基光电二极管与单晶锗晶体光电二极管会产生移动电荷,这些移动电荷经过积分电路会传输到数据总线上,形成可见光与近红外光单个像素的融合。由输出脉冲的顺序可以反映各像素的位置,因此可以完成对可见光与近红外图像的融合以及传感;而输出脉冲的高低有反映该像素光强度的大小。
图3是单个敏感器件组合方式的示意简图,由时钟脉冲clk和起始脉冲s控制数字移位寄存器产生采样脉冲扫描信号,数字移位寄存器再与若干个MOS管相连,控制MOS管导通或是闭合,单个MOS管对应一对并联的硅基光电二极管与单晶锗晶体光电二极管。在经过可见光与近红外光照射时,并联的硅基光电二极管与单晶锗晶体光电二极管会产生移动电荷,这些移动电荷经过积分电路会传输到数据总线上,形成可见光与近红外光单个像素的融合。再通过移位寄存器控制输出脉冲的顺序来反映各个像素的位置,由此不需要借助图像融合算法就可以基于纯硬件来完成可见光与近红外图像的融合和传感。
如图4—5所示,是本发明视觉传感器封装外壳示意图,镜头和光源都镶嵌在视觉传感器外壳一侧边,视觉传感器外壳顶部设有若干散热凹槽,散发热量降低视觉传感器使用时的温度,镜头采用的是可变焦镜头,能够根据目标物的位置自动调节到合适的焦距,采用LED环形光源环绕镜头,能克服环境光的干扰,提高图像的信噪比。视觉传感器另一侧边设有通讯接口,为外部控制系统与视觉传感器内部提供有限连接方式。
进一步的,本发明的通信模块包含多个信号接口,通过信号接口与外部控制系统交换信息,它分别与镜头模块,图像处理模块、图像存储模块连接,即可以发送外部指令控制各模块的运行,也可以将各模块处理后的信息发送到外部控制系统。
进一步的,本发明基于硅基光电二极管与单晶锗晶体光电二极管组合电路的敏感器件在Led环形光源与镜头下面。它在可见光与近红外光的照射下可以发生光电效应,产生移动电荷,内部设有转移栅用来转移移动电荷将其注入到MOS电容器阵列中,MOS电容器在转移栅后面,它只起到移位寄存器的作用,这种结构的视觉传感器在低照度下也能获得清晰的图像。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明,不能认定本发明的具体实施方式仅限于此,对于本发明所属技术领域的普通技术人员来说,在不脱离本发明的前提下,还可以做出若干简单的推演或替换,都应当视为属于本发明由所提交的权利要求书确定专利保护范围。

Claims (6)

1.基于单个敏感器件的可见光与近红外成像的视觉传感器,其特征在于,包括光源、镜头、封装外壳、敏感器件、图像处理模块、图像存储模块、通信模块以及电源模块,所述敏感器件为包括控制逻辑模块、硅基光电二极管阵列、单晶锗晶体光电二极管阵列、以及模数转换器组合而成的电路,所述硅基光电二极管阵列与单晶锗晶体光电二极管阵列并列设置后与模数转换器连接,用于将可见光与近红外光转换为二进制的数字信号输出;
所述硅基光电二极管与单晶锗晶体光电二极管并联后与MOS管相连接,MOS管的输出接入积分电路模块,所述MOS管与移位寄存器相连,所述移位寄存器通过时钟脉冲clk和起始脉冲s控制工作,从而控制MOS管的导通;
由时钟脉冲clk和起始脉冲s控制数字移位寄存器产生采样脉冲扫描信号,数字移位寄存器再与若干个MOS管相连,控制MOS管导通或是闭合,单个MOS管对应一对并联的硅基光电二极管与单晶锗晶体光电二极管,在经过可见光与近红外光照射时,并联的硅基光电二极管与单晶锗晶体光电二极管会产生移动电荷,移动电荷经过积分电路会传输到数据总线上,形成可见光与近红外光单个像素的融合,由输出脉冲的顺序反映各像素的位置,完成对可见光与近红外图像的融合以及传感;输出脉冲的高低反映像素光强度的大小。
2.根据权利要求1所述的基于单个敏感器件的可见光与近红外成像的视觉传感器,其特征在于,所述封装外壳的顶部设有若干个散热凹槽,所述封装外壳的一侧设有光源与镜头,另一侧面设有通讯接口。
3.根据权利要求1所述的基于单个敏感器件的可见光与近红外成像的视觉传感器,其特征在于,所述光源采取的是LED光源,成环形围绕镜头设置。
4.根据权利要求1所述的基于单个敏感器件的可见光与近红外成像的视觉传感器,其特征在于,所述图像处理模块用于对经过敏感器件后的数字图像做图像增强处理,并去除噪声干扰。
5.根据权利要求1所述的基于单个敏感器件的可见光与近红外成像的视觉传感器,其特征在于,所述图像存储模块包括FLASH存储器和SDARM存储器模块,用于存储图像处理模块处理后的图像以及图像特征信息。
6.根据权利要求1所述的基于单个敏感器件的可见光与近红外成像的视觉传感器,其特征在于,所述通信模块包括RS485有线通信接口以及Zigbee无线通信接口,所述通信模块分别与镜头图像处理模块、图像存储模块连接。
CN202110437764.7A 2021-04-22 2021-04-22 基于单个敏感器件的可见光与近红外成像的视觉传感器 Active CN113179379B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110437764.7A CN113179379B (zh) 2021-04-22 2021-04-22 基于单个敏感器件的可见光与近红外成像的视觉传感器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110437764.7A CN113179379B (zh) 2021-04-22 2021-04-22 基于单个敏感器件的可见光与近红外成像的视觉传感器

Publications (2)

Publication Number Publication Date
CN113179379A CN113179379A (zh) 2021-07-27
CN113179379B true CN113179379B (zh) 2023-03-24

Family

ID=76924134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110437764.7A Active CN113179379B (zh) 2021-04-22 2021-04-22 基于单个敏感器件的可见光与近红外成像的视觉传感器

Country Status (1)

Country Link
CN (1) CN113179379B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2769538A1 (en) * 2011-10-19 2014-08-27 Windense Ltd Motion picture scanning system
WO2016043704A1 (en) * 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel
WO2019153787A1 (zh) * 2018-02-11 2019-08-15 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
US10972684B1 (en) * 2019-08-15 2021-04-06 Facebook Technologies, Llc Sparse lock-in pixels for high ambient controller tracking

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7436038B2 (en) * 2002-02-05 2008-10-14 E-Phocus, Inc Visible/near infrared image sensor array
CN103000650B (zh) * 2012-12-10 2015-07-29 复旦大学 近红外-可见光可调图像传感器及其制造方法
US10277838B2 (en) * 2016-07-28 2019-04-30 BAE Systems Imaging Solutions Inc. Monolithic visible/IR fused low light level imaging sensor
US10339631B2 (en) * 2017-01-11 2019-07-02 Microsoft Technology Licensing, Llc Image demosaicing for hybrid optical sensor arrays
US11195866B2 (en) * 2017-06-08 2021-12-07 Semiconductor Energy Laboratory Co., Ltd. Imaging device including photoelectic conversion element and transistor
CN107333035A (zh) * 2017-06-16 2017-11-07 杭州远鉴信息科技有限公司 低功耗、小尺寸、可扩展的可见光红外双目测温摄像头
US10848681B2 (en) * 2018-04-17 2020-11-24 Facebook Technologies, Llc Image reconstruction from image sensor output
US20210067703A1 (en) * 2019-08-27 2021-03-04 Qualcomm Incorporated Camera phase detection auto focus (pdaf) adaptive to lighting conditions via separate analog gain control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2769538A1 (en) * 2011-10-19 2014-08-27 Windense Ltd Motion picture scanning system
WO2016043704A1 (en) * 2014-09-15 2016-03-24 Hewlett-Packard Development Company, L.P. Digital light projector having invisible light channel
WO2019153787A1 (zh) * 2018-02-11 2019-08-15 浙江宇视科技有限公司 基于单传感器的双光谱摄像机系统和图像处理方法
US10972684B1 (en) * 2019-08-15 2021-04-06 Facebook Technologies, Llc Sparse lock-in pixels for high ambient controller tracking

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"一种红外与可见光融合的_双双目_立体视觉系统的标定方法研究";赵美蓉;《光学技术》;20170915;全文 *

Also Published As

Publication number Publication date
CN113179379A (zh) 2021-07-27

Similar Documents

Publication Publication Date Title
US10311298B2 (en) Biometric camera
CN205123883U (zh) 一种基于InGaAs探测器的短波红外成像系统
EP3922007B1 (en) Systems and methods for digital imaging using computational pixel imagers with multiple in-pixel counters
CN108010073A (zh) 用于具有背景去除的有源深度成像仪的系统和方法
CN103024299B (zh) 凝视型数字tdi短波红外微光成像仪及成像方法
TW201715881A (zh) 用於擷取混合的結構光影像和正常影像的單一影像感測器
CN111510651A (zh) 一种图像传感电路、图像传感器及终端设备
CN110620885B (zh) 一种红外微光图像融合系统、方法及电子设备
CN113179379B (zh) 基于单个敏感器件的可见光与近红外成像的视觉传感器
CN113884234B (zh) 一种互补单像素质心探测系统及方法
CN109981966B (zh) 一种超分辨率成像相机及其成像方法
JP2009010669A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
CN104702862B (zh) 一种红外热成像设备
CN103462623A (zh) 一种快速采集图像的x射线数字成像系统
JP7164579B2 (ja) 画像センサー及び電子デバイス
CN109361833B (zh) 一种单光子压缩视频传输装置的传输方法
Kim et al. A cmos image sensor-based stereo matching accelerator with focal-plane sparse rectification and analog census transform
CN205898301U (zh) 一种片上系统红外热像仪
CN209545720U (zh) 一种基于红外与可见光的视频图像处理系统
CN203465009U (zh) 一种红外透视成像探测芯片
Stevanovic et al. A high speed camera system based on an image sensor in standard cmos technology
CN105208373A (zh) 一种基于光场压缩采样的通用集成成像记录装置
CN203590363U (zh) 夜视仪
CN202748532U (zh) 具有夜视增强功能的激光照明一体化夜视仪
CN204392437U (zh) 节能执法记录仪

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240611

Address after: 011500 Building B1, Intelligent Manufacturing Industrial Park, Helingeer New Area, Hohhot City, Inner Mongolia Autonomous Region

Patentee after: Inner Mongolia Xianhong Science Co.,Ltd.

Country or region after: China

Address before: 030024 No. 79 West Main Street, Taiyuan, Shanxi, Yingze

Patentee before: Taiyuan University of Technology

Country or region before: China

TR01 Transfer of patent right