CN110430349B - 成像装置、设备及模型训练方法 - Google Patents

成像装置、设备及模型训练方法 Download PDF

Info

Publication number
CN110430349B
CN110430349B CN201910732937.0A CN201910732937A CN110430349B CN 110430349 B CN110430349 B CN 110430349B CN 201910732937 A CN201910732937 A CN 201910732937A CN 110430349 B CN110430349 B CN 110430349B
Authority
CN
China
Prior art keywords
lens
row
preset
image sensor
wave band
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910732937.0A
Other languages
English (en)
Other versions
CN110430349A (zh
Inventor
郑旭君
潘志宏
李抱朴
包英泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201910732937.0A priority Critical patent/CN110430349B/zh
Publication of CN110430349A publication Critical patent/CN110430349A/zh
Application granted granted Critical
Publication of CN110430349B publication Critical patent/CN110430349B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了成像装置、设备及模型训练方法，涉及图像采集设备技术领域。具体实现方案为：成像装置，包括镜头、半透半反镜、第一图像传感器、色轮以及第二图像传感器；半透半反镜设置在所述镜头的后方；第一图像传感器设置在所述半透半反镜的上方；色轮设置在所述半透半反镜的后方；第二图像传感器设置在所述色轮的后方。本申请实施例由于在半透半反镜的上方设置有第一图像传感器，在色轮的后方设置有第二图像传感器，因此利用第一图像传感器和第二图像传感器采集的真实数据可以准确的对图像处理算法进行训练。

Description

成像装置、设备及模型训练方法
技术领域
本申请涉及图像处理技术领域，尤其涉及图像采集设备技术领域。
背景技术
现有成像装置的图像处理算法是通过电脑模型图像数据而训练得到的。因此无法考虑到成像装置中硬件结构的性能对采集到的图像数据的影响。
发明内容
本申请实施例提供一种成像装置、设备及模型训练方法，以解决现有技术中的一个或多个技术问题。
第一方面，本申请实施例提供了一种成像装置，包括：
镜头；
半透半反镜，设置在镜头的后方；
第一图像传感器，设置在半透半反镜的上方；
色轮，设置在半透半反镜的后方；
第二图像传感器，设置在色轮的后方。
本实施方式由于在半透半反镜的上方设置有第一图像传感器，在色轮的后方设置有第二图像传感器，因此利用第一图像传感器和第二图像传感器采集的真实数据可以准确的对图像处理算法进行训练。
在一种实施方式中，还包括：
图像信号处理单元，与第一图像传感器和第二图像传感器电连接，用于根据第一图像传感器和第二图像传感器采集的图像数据训练去马赛克模型。
本实施方式的图像信号处理单元通过将第一图像传感器和第二图像传感器采集的真实数据作为参照，能够使得最终训练出的去马赛克模型考虑到硬件的真实物理噪音。
在一种实施方式中，色轮包括可透过全波段的第一滤光片以及可透过不同预设波段的多个第二滤光片；第一图像传感器的多光谱阵列层包括可透过全波段的通道以及可透过不同预设波段的多个通道；
其中，各第二滤光片的预设波段与多光谱阵列层的各预设波段对应。
本实施方式由于在色轮上设置有可透过全波段的第一滤光片以及可透过不同预设波段的多个第二滤光片，因此使得第二图像传感器能够获取可透过全波段的第一滤光片以及可透过不同预设波段的多个第二滤光片灰度信息。同时，由于第一图像传感器的多光谱阵列层上设置有与第一滤光片和第二滤光片对应的波段，因此保证了第一图像传感器采集的数据相对第二图像传感器采集的数据具有一致性和参考性。
在一种实施方式中，色轮包括四个第二滤光片，多光谱阵列层包括可透过不同预设波段的四个通道，每个通道对应多个像素。
本实施方式由于将滤光片的数量与多光谱阵列层中通道的数量保持一致，因此保证了第一图像传感器采集的数据相对第二图像传感器采集的数据具有一致性和参考性。
在一种实施方式中，多光谱阵列层包括多组规则排列的阵列单元，每个阵列单元为四行，每行均设置有四个像素；
其中，第一行的第一位和第三位像素、第二行的第二位和第四位像素、第三行的第一位和第三位像素以及第四行的第二位和第四位像素可透过全波段，第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，第二行的第一位像素和第三位像素依次可透过第三预设波段和第四预设波段，第三行的第二位像素和第四位像素依次可透过第二预设波段和第一预设波段，第四行的第一位像素和第三位像素依次可透过第四预设波段和第三预设波段。
本实施方式由于使各像素采用上述排布方式，且使部分像素可透过全波段，因此可以显著提升第一图像传感器的空间分辨率，尤其是在两个不同颜色物体交叠边缘处。
在一种实施方式中，色轮包括十二个第二滤光片，多光谱阵列层包括可透过不同预设波段的十二个通道，每个通道对应多个像素。
本实施方式由于将滤光片的数量与多光谱阵列层中通道的数量保持一致，因此保证了第一图像传感器采集的数据相对第二图像传感器采集的数据具有一致性和参考性。
在一种实施方式中，多光谱阵列层包括多组规则排列的阵列单元，每个阵列单元为四行，每行均设置有四个像素；
其中，第一行的第一位、第三位像素和第三行的第一位和第三位像素可透过全波段，第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，第二行的四个像素依次可透过第三预设波段、第四预设波段、第五预设波段和第六预设波段，第三行的第二位像素和第四位像素依次可透过第七预设波段和第八预设波段，第四行的四个像素依次可透过第九预设波段、第十预设波段、第十一预设波段和第十二预设波段。
本实施方式由于使各像素采用上述排布方式，且使部分像素可透过全波段，因此可以显著提升第一图像传感器的空间分辨率，尤其是在两个不同颜色物体交叠边缘处。
在一种实施方式中，镜头包括壳体，壳体中由物侧至成像侧依次设置有双凹透镜、胶合透镜以及双凸非球面透镜，胶合透镜朝向物侧的端面为凹面。
本实施方式的镜头由于包括有双凹透镜、胶合透镜以及双凸非球面透镜，因此提高了镜头所采集图像的分辨率。
在一种实施方式中，还包括设置在壳体中的第一凹凸透镜、凸透镜、凹透镜、光阑和第二凹凸透镜，第一凹凸透镜、凸透镜、凹透镜和光阑设置在双凹透镜和胶合透镜之间，且由物侧至像侧依次排布；第二凹凸透镜位于胶合透镜和双凸非球面透镜之间。
本实施方式的镜头由于将第一凹凸透镜、凸透镜、凹透镜和光阑设置在双凹透镜和胶合透镜之间，将第二凹凸透镜设置于胶合透镜和双凸非球面透镜之间，因此能够更进一步的提高镜头所采集图像的分辨率。
在一种实施方式中，第二图像传感器采用黑白图像传感器。
本实施方式由于采用黑白图像传感器，因此使得第二图像传感器能够基于色轮获取各像素在不同波段的准确灰度信息。
在一种实施方式中，第一图像传感器和第二图像传感器的有效成像面尺寸相同。
本实施方式确保通过镜头和半透半反镜投射在第一图像传感器和第二图像传感器的视角一致。
在一种实施方式中，第一图像传感器的分辨率小于第二图像传感器的分辨率。
本实施方式的第一图像传感器的分辨率由于低于第二图像传感器的分辨率，因此使得第一图像传感器能够基于训练好的去马赛克模型得到接近真实且超出自身物理分辨率的图像。
第二方面，本申请实施例提供了一种模型训练方法，应用于第一方面的成像装置，包括：
获取第一图像传感器采集的第一图像数据，第一图像数据为半透半反镜反射镜头采集的图像所形成的；
获取第二图像传感器采集的第二图像数据，第二图像数据为半透半反镜投射镜头采集的图像到色轮所形成的；
基于第一图像数据和第二图像数据，训练去马赛克模型。
第三方面，本申请实施例提供了一种成像设备，包括：
镜头；
第一图像传感器，设置在镜头的后方；
图像信号处理单元，与第一图像传感器电连接，图像信号处理单元中包括第二方面训练得到的去马赛克模型，图像信号处理单元用于对第一图像传感器采集的图像数据进行处理。
在一种实施方式中，镜头包括壳体，壳体中由物侧至成像侧依次设置有双凹透镜、胶合透镜以及双凸非球面透镜，胶合透镜朝向物侧的端面为凹面。
在一种实施方式中，还包括设置在壳体中的第一凹凸透镜、凸透镜、凹透镜、光阑和第二凹凸透镜，第一凹凸透镜、凸透镜、凹透镜和光阑设置在双凹透镜和胶合透镜之间，且由物侧至像侧依次排布；第二凹凸透镜位于胶合透镜和双凸非球面透镜之间。
在一种实施方式中，第一图像传感器的多光谱阵列层包括可透过全波段的通道以及可透过不同预设波段的多个通道。
在一种实施方式中，多光谱阵列层包括可透过不同预设波段的四个通道，每个通道对应多个像素；多光谱阵列层包括多组规则排列的阵列单元，每个阵列单元为四行，每行均设置有四个像素；
其中，第一行的第一位和第三位像素、第二行的第二位和第四位像素、第三行的第一位和第三位像素以及第四行的第二位和第四位像素可透过全波段，第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，第二行的第一位像素和第三位像素依次可透过第三预设波段和第四预设波段，第三行的第二位像素和第四位像素依次可透过第二预设波段和第一预设波段，第四行的第一位像素和第三位像素依次可透过第四预设波段和第三预设波段。
在一种实施方式中，多光谱阵列层包括可透过不同预设波段的十二个通道，每个通道对应多个像素；多光谱阵列层包括多组规则排列的阵列单元，每个阵列单元为四行，每行均设置有四个像素；
其中，第一行的第一位、第三位像素和第三行的第一位和第三位像素可透过全波段，第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，第二行的四个像素依次可透过第三预设波段、第四预设波段、第五预设波段和第六预设波段，第三行的第二位像素和第四位像素依次可透过第七预设波段和第八预设波段，第四行的四个像素依次可透过第九预设波段、第十预设波段、第十一预设波段和第十二预设波段。
上述申请中的一个实施例具有如下优点或有益效果：本申请实施例由于在半透半反镜的上方设置有第一图像传感器，在色轮的后方设置有第二图像传感器，因此利用第一图像传感器和第二图像传感器采集的真实数据可以准确的对图像处理算法进行训练。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请第一实施例的成像装置的结构图；
图2是根据本申请第一实施例的多光谱阵列层的结构图；
图3是根据本申请第一实施例的另一多光谱阵列层的结构图；
图4是根据本申请第一实施例的镜头的结构图；
图5是根据本申请第二实施例的模型训练方法的流程图；
图6是根据本申请第三实施例的成像设备的结构图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
根据本申请的第一实施例，本申请提供了一种成像装置，如图1所示，该装置包括镜头1、半透半反镜2、第一图像传感器3、色轮4以及第二图像传感器5。其中，
半透半反镜2设置在镜头1的后方。第一图像传感器3设置在半透半反镜2的上方。色轮4设置在半透半反镜2的后方。第二图像传感器5设置在色轮4的后方。
本实施方式由于在半透半反镜2的上方设置有第一图像传感器3，在色轮4的后方设置有第二图像传感器5，因此利用第一图像传感器3和第二图像传感器5采集的真实数据可以准确的对图像处理算法进行训练。
需要说明的是，图1中镜头1的左侧设定为前方，镜头1的右侧设定为后方。镜头1的左侧为物侧，镜头1的右侧为成像侧。光线的传播方向为从图1中镜头1的左侧向镜头1的右侧方向进行传播。
在一个示例中，半透半反镜2的透射率和反射率均为50％。
在一个示例中，半透半反镜2倾斜设置在镜头1的后方。第一图像传感器3水平设置在半透半反镜2的上方。色轮4竖直设置在半透半反镜2的后方。第二图像传感器5竖直设置在色轮4的后方。其中，半透半反镜2与镜头1中轴线的夹角可以为45°。且半透半反镜2靠近镜头1的一侧低于半透半反镜2靠近色轮4的一侧。
在一种实施方式中，还包括图像信号处理单元(图中未示出)。图像信号处理单元与第一图像传感器3和第二图像传感器5电连接，用于根据第一图像传感器3和第二图像传感器5采集的图像数据训练去马赛克(Demosaic)模型。其中，训练好的去马赛克模型可以利用去马赛克(Demosaic)算法对采集的图像进行处理。
本实施方式的图像信号处理单元通过将第二图像传感器5所获得的数据作为第一图像传感器3去马赛克算法训练及评估的参照。因此能够使得最终训练出的去马赛克模型考虑到图像传感器硬件的真实物理噪音(多光谱通道阵列相邻像素间的串扰所形成的光谱噪声)，以真实采样数据来映射到全彩图进行算法训练可降低Demosaic后的光谱噪声。
在一种实施方式中，色轮4包括可透过全波段的第一滤光片以及可透过不同预设波段的多个第二滤光片(图中未示出)。第一图像传感器的多光谱阵列层(MultispectralFilter Array)包括可透过全波段的通道以及可透过不同预设波段的多个通道。
其中，各第二滤光片的预设波段与多光谱阵列层的各预设波段对应。各第二滤光片的预设波段以及多光谱阵列层的各预设波段，可以根据需要进行波段的选择和调整，在此不做具体限定。
本实施方式由于在色轮4上设置有可透过全波段的第一滤光片以及可透过不同预设波段的多个第二滤光片，因此使得第二图像传感器5能够获取可透过全波段的第一滤光片以及可透过不同预设波段的多个第二滤光片灰度信息。同时，由于第一图像传感器3的多光谱阵列层上设置有与第一滤光片和第二滤光片对应的波段，因此保证了第一图像传感器3采集的数据相对第二图像传感器5采集的数据具有一致性和参考性。
在一种实施方式中，色轮4包括四个第二滤光片，多光谱阵列层包括可透过不同预设波段的四个通道，每个通道对应多个像素。
本实施方式由于将滤光片的数量与多光谱阵列层中通道的数量保持一致，因此保证了第一图像传感器采集的数据相对第二图像传感器采集的数据具有一致性和参考性。
在一种实施方式中，如图2所示，多光谱阵列层31包括多组规则排列的阵列单元32，每个阵列单元32为四行，每行均设置有四个像素。
其中，第一行的第一位和第三位像素、第二行的第二位和第四位像素、第三行的第一位和第三位像素以及第四行的第二位和第四位像素可透过全波段W。第一行的第二位像素和第四位像素依次可透过第一预设波段λ1和第二预设波段λ4。第二行的第一位像素和第三位像素依次可透过第三预设波段λ2和第四预设波段λ3。第三行的第二位像素和第四位像素依次可透过第二预设波段λ4和第一预设波段λ1。第四行的第一位像素和第三位像素依次可透过第四预设波段λ3和第三预设波段λ2。
本实施方式由于使各像素采用上述排布方式，且使部分像素可透过全波段W，因此可以显著提升第一图像传感器3的空间分辨率，尤其是在两个不同颜色物体交叠边缘处。
在一种实施方式中，色轮4包括十二个第二滤光片，多光谱阵列层包括可透过不同预设波段的十二个通道，每个通道对应多个像素。
本实施方式由于将滤光片的数量与多光谱阵列层中通道的数量保持一致，因此保证了第一图像传感器采集的数据相对第二图像传感器采集的数据具有一致性和参考性。
在一种实施方式中，如图3所示，多光谱阵列层31包括多组规则排列的阵列单元33，每个阵列单元33为四行，每行均设置有四个像素。
其中，第一行的第一位、第三位像素和第三行的第一位和第三位像素可透过全波段W。第一行的第二位像素和第四位像素依次可透过第一预设波段λ1和第二预设波段λ2，第二行的四个像素依次可透过第三预设波段λ3、第四预设波段λ4、第五预设波段λ5和第六预设波段λ6。第三行的第二位像素和第四位像素依次可透过第七预设波段λ7和第八预设波段λ8。第四行的四个像素依次可透过第九预设波段λ9、第十预设波段λ10、第十一预设波段λ11和第十二预设波段λ12。
本实施方式由于使各像素采用上述排布方式，且使部分像素可透过全波段，因此可以显著提升第一图像传感器的空间分辨率，尤其是在两个不同颜色物体交叠边缘处。
在一种实施方式中，如图1所示，镜头1包括壳体11。壳体11中由物侧至成像侧(即从图1中镜头1的左侧至右侧)依次设置有双凹透镜12、胶合透镜13以及双凸非球面透镜14。胶合透镜13朝向物侧的端面为凹面。
本实施方式的镜头1由于包括有双凹透镜12、胶合透镜13以及双凸非球面透镜14，因此提高了镜头1所采集图像的分辨率。
在一个示例中，胶合透镜13为具有负折射力的胶合透镜。胶合透镜的组合焦距可以在-7～-8mm之间。
在一个示例中，双凸非球面透镜14的非球面形状可通过下列公式描述：
Figure BDA0002161220640000091
其中，K为圆锥系数，当K<-1,则为双曲面；-1<K<0时为椭圆面；K＝-1时为抛物面。z(r)为矢高Sag，r为透镜轴向半径。A2、A4、A6……A16为非球面系数。具体可参照表1中的数值。
表1
非球面系数高阶项 靠近物侧球面 靠近成像侧球面
二次项A2 0 0
四次项A4 -1.663691E-05 5.092626E-06
六次项A6 -1.205653E-07 -4.567009E-07
八次项A8 6.181806E-09 9.667835E-09
十次项A10 0 0
十二次项A12 0 0
十四次项A14 0 0
十六次项A16 0 0
在一种实施方式中，还包括设置在壳体11中的第一凹凸透镜15、凸透镜16、凹透镜17、光阑18和第二凹凸透镜19。第一凹凸透镜15、凸透镜16、凹透镜17和光阑18设置在双凹透镜12和胶合透镜13之间，且由物侧至像侧依次排布。第二凹凸透镜19位于胶合透镜13和双凸非球面透镜14之间。
本实施方式的镜头1由于将第一凹凸透镜15、凸透镜16、凹透镜17、光阑18设置在双凹透镜12和胶合透镜13之间，将第二凹凸透镜19设置在胶合透镜13和双凸非球面透镜14之间，因此能够更进一步的提高镜头1所采集图像的分辨率。
在一个示例中，光阑可以采用孔径光阑。
在一个应用示例中，如图4所示，由物侧至成像侧，双凹透镜12具有面S1和面S2、第一凹凸透镜15具有面S3和面S4、凸透镜16具有面S5和面S6、凹透镜17具有面S7和面S8、光阑18、胶合透镜13的第一透镜具有面S9和面S10、胶合透镜13的第二透镜具有面S11、第二凹凸透镜19具有面S12和面S13、双凸非球面透镜14具有面S14和面S15。第一图像传感器3具有面S16和面S17。各面的参数如表2所示。
表2
Figure BDA0002161220640000101
在一种实施方式中，第二图像传感器5采用黑白图像传感器。本实施方式由于采用黑白图像传感器，因此使得第二图像传感器5能够基于色轮4获取各像素在不同波段的准确灰度信息。
在一个示例中，第一图像传感器3和/或第二图像传感器5采用CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)或CCD(ChargeCoupled Device，电荷耦合元件)图像传感器。
在一种实施方式中，第一图像传感器3和第二图像传感器5的有效成像面尺寸相同。但由于第一图像传感器3和第二图像传感器5在加工时可能会存在一定的加工误差。因此允许第一图像传感器3和第二图像传感器5的有效成像侧存在不超过10微米的差异。从而确保通过镜头1和半透半反镜2投射在第一图像传感器3和第二图像传感器5的视角一致。
在一种实施方式中，第一图像传感器3的分辨率小于第二图像传感器5的分辨率。若第二图像传感器5的分辨率大于第一图像传感器3的分辨率时，则后期可利用本实施方式的成像装置进行超分辨率(Super Resolution)的深度学习算法训练，使得低分辨率的第一图像传感器3透过算法得到接近真实且超出原传感器物理分辨率的图像。
在一个示例中，第二图像传感器5的分辨率为2048×2048，像素尺寸为5.5微米×5.5微米。第一图像传感器3的分辨率为3004×3004，像素尺寸为3.75微米×3.75微米。
在一个示例中，本申请实施例的成像装置的镜头1为400～1000nm波段的共焦镜头。镜头1可对应1英寸5.5微米像素大小的图像传感器，最大像圆直径为16.2mm，全视角为52°，F数(光圈数)为2.8。
在一个应用示例中，本申请的成像装置利用类似多光谱滤光器阵列式图像传感器的方式，透过特殊设计的阵列排布(包含有可透过全波段的像素)，后期配合去马赛克(Demosaic)算法(包含插值或深度学习的方法)还原了原有的空间及光谱信息。利用本申请的成像装置的第一图像传感器3获取的马赛克(mosaic)图像，以及降噪(Denoise)+去马赛克(Demosaic)+超分辨率(SuperResolution)所需要的参照真实数据。依此训练出来的算法等于考虑了真实硬件的物理噪声并进行了优化，比传统纯电脑模拟数据训练出来的好，更适合用于实际产品。
根据本申请的第二实施例，本申请提供了一种模型训练方法，如图5所示，该方法包括：
S100：获取第一图像传感器采集的第一图像数据，第一图像数据为半透半反镜反射镜头采集的图像所形成的。
S200：获取第二图像传感器采集的第二图像数据，第二图像数据为半透半反镜投射镜头采集的图像到色轮所形成的。
S300：基于第一图像数据和第二图像数据，训练去马赛克模型。
根据本申请的第三实施例，本申请提供了一种成像设备，如图6所示，该设备包括：镜头1、第一图像传感器3和图像信号处理单元。第一图像传感器3设置在镜头1的后方。图像信号处理单元与第一图像传感器3电连接，图像信号处理单元中包括第二实施例训练得到的去马赛克模型，图像信号处理单元用于对第一图像传感器3采集的图像数据进行处理。
在一种实施方式中，镜头1包括壳体11。壳体11中由物侧至成像侧(即从图6中镜头1的左侧至右侧)依次设置有双凹透镜12、胶合透镜13以及双凸非球面透镜14。胶合透镜13朝向物侧的端面为凹面。
在一个示例中，胶合透镜13为具有负折射力的胶合透镜。胶合透镜的组合焦距可以在-7～-8mm之间。
在一种实施方式中，还包括设置在壳体11中的第一凹凸透镜15、凸透镜16、凹透镜17、光阑18和第二凹凸透镜19。第一凹凸透镜15、凸透镜16、凹透镜17和光阑18设置在双凹透镜12和胶合透镜13之间，且由物侧至像侧依次排布。第二凹凸透镜19位于胶合透镜13和双凸非球面透镜14之间。
在一种实施方式中，第一图像传感器3的多光谱阵列层包括可透过全波段的通道以及可透过不同预设波段的多个通道。
在一种实施方式中，多光谱阵列层包括可透过不同预设波段的四个通道，每个通道对应多个像素。多光谱阵列层包括多组规则排列的阵列单元，每个阵列单元为四行，每行均设置有四个像素。
其中，第一行的第一位和第三位像素、第二行的第二位和第四位像素、第三行的第一位和第三位像素以及第四行的第二位和第四位像素可透过全波段，第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，第二行的第一位像素和第三位像素依次可透过第三预设波段和第四预设波段，第三行的第二位像素和第四位像素依次可透过第二预设波段和第一预设波段，第四行的第一位像素和第三位像素依次可透过第四预设波段和第三预设波段。
在一种实施方式中，多光谱阵列层包括可透过不同预设波段的十二个通道，每个通道对应多个像素。多光谱阵列层包括多组规则排列的阵列单元，每个阵列单元为四行，每行均设置有四个像素。
其中，第一行的第一位、第三位像素和第三行的第一位和第三位像素可透过全波段，第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，第二行的四个像素依次可透过第三预设波段、第四预设波段、第五预设波段和第六预设波段，第三行的第二位像素和第四位像素依次可透过第七预设波段和第八预设波段，第四行的四个像素依次可透过第九预设波段、第十预设波段、第十一预设波段和第十二预设波段。
在本说明书的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接，还可以是通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度小于第二特征。
上文的公开提供了许多不同的实施方式或例子用来实现本发明的不同结构。为了简化本发明的公开，上文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种成像装置，其特征在于，包括：
镜头；
半透半反镜，设置在所述镜头的后方；
第一图像传感器，设置在所述半透半反镜的上方，包括多光谱阵列层，所述多光谱阵列层包括对应不同预设波段的多个通道；
色轮，设置在所述半透半反镜的后方，包括对应不同滤光波段的多个滤光片，所述多个滤光片的滤光波段与所述多个通道的预设波段分别一一对应，所述多个滤光片的数量与所述多个通道的数量一致；
第二图像传感器，设置在所述色轮的后方。
2.根据权利要求1所述的装置，其特征在于，还包括：
图像信号处理单元，与所述第一图像传感器和所述第二图像传感器电连接，用于根据所述第一图像传感器和所述第二图像传感器采集的图像数据训练去马赛克模型。
3.根据权利要求1所述的装置，其特征在于，所述多个滤光片包括可透过全波段的第一滤光片以及可透过不同预设波段的多个第二滤光片；所述多光谱阵列层包括可透过全波段的通道以及可透过不同预设波段的多个通道；
其中，各所述第二滤光片的预设波段与所述多光谱阵列层的各预设波段对应。
4.根据权利要求3所述的装置，其特征在于，所述多个滤光片包括四个所述第二滤光片，所述多光谱阵列层包括可透过不同预设波段的四个通道，每个所述通道对应多个像素。
5.根据权利要求4所述的装置，其特征在于，所述多光谱阵列层包括多组规则排列的阵列单元，每个所述阵列单元为四行，每行均设置有四个像素；
其中，第一行的第一位和第三位像素、第二行的第二位和第四位像素、第三行的第一位和第三位像素以及第四行的第二位和第四位像素可透过全波段，所述第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，所述第二行的第一位像素和第三位像素依次可透过第三预设波段和第四预设波段，所述第三行的第二位像素和第四位像素依次可透过所述第二预设波段和所述第一预设波段，所述第四行的第一位像素和第三位像素依次可透过所述第四预设波段和所述第三预设波段。
6.根据权利要求3所述的装置，其特征在于，所述多个滤光片包括十二个所述第二滤光片，所述多光谱阵列层包括可透过不同预设波段的十二个通道，每个所述通道对应多个像素。
7.根据权利要求6所述的装置，其特征在于，所述多光谱阵列层包括多组规则排列的阵列单元，每个所述阵列单元为四行，每行均设置有四个像素；
其中，第一行的第一位、第三位像素和第三行的第一位和第三位像素可透过全波段，所述第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，第二行的四个像素依次可透过第三预设波段、第四预设波段、第五预设波段和第六预设波段，所述第三行的第二位像素和第四位像素依次可透过第七预设波段和第八预设波段，第四行的四个像素依次可透过第九预设波段、第十预设波段、第十一预设波段和第十二预设波段。
8.根据权利要求1所述的装置，其特征在于，所述镜头包括壳体，所述壳体中由物侧至成像侧依次设置有双凹透镜、胶合透镜以及双凸非球面透镜，所述胶合透镜朝向所述物侧的端面为凹面。
9.根据权利要求8所述的装置，其特征在于，还包括设置在所述壳体中的第一凹凸透镜、凸透镜、凹透镜、光阑和第二凹凸透镜，所述第一凹凸透镜、所述凸透镜、所述凹透镜和所述光阑设置在所述双凹透镜和胶合透镜之间，且由所述物侧至所述像侧依次排布；所述第二凹凸透镜位于所述胶合透镜和所述双凸非球面透镜之间。
10.根据权利要求1所述的装置，其特征在于，所述第二图像传感器采用黑白图像传感器。
11.根据权利要求1所述的装置，其特征在于，所述第一图像传感器和所述第二图像传感器的有效成像面尺寸相同。
12.根据权利要求1所述的装置，其特征在于，所述第一图像传感器的分辨率小于所述第二图像传感器的分辨率。
13.一种模型训练方法，应用于权利要求1-12任一项所述的成像装置，其特征在于，包括：
获取第一图像传感器采集的第一图像数据，其中所述第一图像传感器包括多光谱阵列层，所述多光谱阵列层包括对应不同预设波段的多个通道，所述第一图像数据为半透半反镜反射镜头采集的图像所形成的；
获取第二图像传感器采集的第二图像数据，所述第二图像数据为所述半透半反镜投射所述镜头采集的图像到色轮所形成的，其中所述色轮包括对应不同滤光波段的多个滤光片，所述多个滤光片的滤光波段与所述多个通道的预设波段分别一一对应，所述多个滤光片的数量与所述多个通道的数量一致；
基于所述第一图像数据和所述第二图像数据，训练去马赛克模型。
14.一种成像设备，其特征在于，包括：
镜头；
第一图像传感器，设置在所述镜头的后方，其中所述第一图像传感器包括多光谱阵列层，所述多光谱阵列层包括对应不同预设波段的多个通道；
图像信号处理单元，与所述第一图像传感器电连接，所述图像信号处理单元中包括权利要求13训练得到的去马赛克模型，所述图像信号处理单元用于对所述第一图像传感器采集的图像数据进行处理。
15.根据权利要求14所述的设备，其特征在于，所述镜头包括壳体，所述壳体中由物侧至成像侧依次设置有双凹透镜、胶合透镜以及双凸非球面透镜，所述胶合透镜朝向所述物侧的端面为凹面。
16.根据权利要求15所述的设备，其特征在于，还包括设置在所述壳体中的第一凹凸透镜、凸透镜、凹透镜、光阑和第二凹凸透镜，所述第一凹凸透镜、所述凸透镜、所述凹透镜和所述光阑设置在所述双凹透镜和胶合透镜之间，且由所述物侧至所述像侧依次排布；所述第二凹凸透镜位于所述胶合透镜和所述双凸非球面透镜之间。
17.根据权利要求14所述的设备，其特征在于，所述多光谱阵列层包括可透过全波段的通道以及可透过不同预设波段的多个通道。
18.根据权利要求17所述的设备，其特征在于，所述多光谱阵列层包括可透过不同预设波段的四个通道，每个所述通道对应多个像素；所述多光谱阵列层包括多组规则排列的阵列单元，每个所述阵列单元为四行，每行均设置有四个像素；
其中，第一行的第一位和第三位像素、第二行的第二位和第四位像素、第三行的第一位和第三位像素以及第四行的第二位和第四位像素可透过全波段，所述第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，所述第二行的第一位像素和第三位像素依次可透过第三预设波段和第四预设波段，所述第三行的第二位像素和第四位像素依次可透过所述第二预设波段和所述第一预设波段，所述第四行的第一位像素和第三位像素依次可透过所述第四预设波段和所述第三预设波段。
19.根据权利要求17所述的设备，其特征在于，所述多光谱阵列层包括可透过不同预设波段的十二个通道，每个所述通道对应多个像素；所述多光谱阵列层包括多组规则排列的阵列单元，每个所述阵列单元为四行，每行均设置有四个像素；
其中，第一行的第一位、第三位像素和第三行的第一位和第三位像素可透过全波段，所述第一行的第二位像素和第四位像素依次可透过第一预设波段和第二预设波段，第二行的四个像素依次可透过第三预设波段、第四预设波段、第五预设波段和第六预设波段，所述第三行的第二位像素和第四位像素依次可透过第七预设波段和第八预设波段，第四行的四个像素依次可透过第九预设波段、第十预设波段、第十一预设波段和第十二预设波段。
CN201910732937.0A 2019-08-09 2019-08-09 成像装置、设备及模型训练方法 Active CN110430349B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910732937.0A CN110430349B (zh) 2019-08-09 2019-08-09 成像装置、设备及模型训练方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910732937.0A CN110430349B (zh) 2019-08-09 2019-08-09 成像装置、设备及模型训练方法

Publications (2)

Publication Number Publication Date
CN110430349A CN110430349A (zh) 2019-11-08
CN110430349B true CN110430349B (zh) 2021-07-02

Family

ID=68413524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910732937.0A Active CN110430349B (zh) 2019-08-09 2019-08-09 成像装置、设备及模型训练方法

Country Status (1)

Country Link
CN (1) CN110430349B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764999A (zh) * 2009-07-28 2010-06-30 北京智安邦科技有限公司 分镜头视频捕获设备
CN102974918A (zh) * 2012-11-26 2013-03-20 清华大学 一种基于多光谱分光摄影的视觉监控系统
CN103412461A (zh) * 2013-08-19 2013-11-27 南京邮电大学 基于分光片的3d成像系统
CN103713390A (zh) * 2013-12-26 2014-04-09 中国科学院苏州生物医学工程技术研究所 一种多波长激光合束选通调试方法
CN104702925A (zh) * 2013-12-09 2015-06-10 马维尔国际贸易有限公司 用于对滤色器阵列图像去马赛克的方法和装置
CN104717482A (zh) * 2015-03-12 2015-06-17 天津大学 多光谱多景深阵列拍摄方法与拍摄相机
CN106324806A (zh) * 2015-06-17 2017-01-11 浙江大华技术股份有限公司 一种光学定焦镜头
CN107341779A (zh) * 2017-07-10 2017-11-10 西安电子科技大学 基于物理成像模型的彩色图像去马赛克方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764999A (zh) * 2009-07-28 2010-06-30 北京智安邦科技有限公司 分镜头视频捕获设备
CN102974918A (zh) * 2012-11-26 2013-03-20 清华大学 一种基于多光谱分光摄影的视觉监控系统
CN103412461A (zh) * 2013-08-19 2013-11-27 南京邮电大学 基于分光片的3d成像系统
CN104702925A (zh) * 2013-12-09 2015-06-10 马维尔国际贸易有限公司 用于对滤色器阵列图像去马赛克的方法和装置
CN103713390A (zh) * 2013-12-26 2014-04-09 中国科学院苏州生物医学工程技术研究所 一种多波长激光合束选通调试方法
CN104717482A (zh) * 2015-03-12 2015-06-17 天津大学 多光谱多景深阵列拍摄方法与拍摄相机
CN106324806A (zh) * 2015-06-17 2017-01-11 浙江大华技术股份有限公司 一种光学定焦镜头
CN107341779A (zh) * 2017-07-10 2017-11-10 西安电子科技大学 基于物理成像模型的彩色图像去马赛克方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《具有强抗干扰性的测温摄像机方案研究》;余雯静;《微计算机信息》;20081031;第24卷(第10-2期);正文第6-8页 *

Also Published As

Publication number Publication date
CN110430349A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
CN107783256B (zh) 摄像镜头、相机装置、车载相机装置、传感装置、车载传感装置
TWI417596B (zh) 廣視角攝影鏡頭
JP4197994B2 (ja) 撮像装置
JP4274602B2 (ja) 対物光学系
KR20150032465A (ko) 촬상 렌즈 및 고체 촬상 장치
TWM354745U (en) Photographic lens and photographic device
JP4334216B2 (ja) 撮影レンズ
KR20150032471A (ko) 촬상 렌즈 및 고체 촬상 장치
TWM367338U (en) Photographing lens and camera apparatus using the same
JP6454968B2 (ja) 撮像光学系およびステレオカメラ装置および車載カメラ装置
CN113176655B (zh) 光学系统、摄像模组、摄像设备及载具
JP5339190B2 (ja) 結像レンズ、カメラおよび携帯情報端末装置
KR20110137091A (ko) 촬영 렌즈 광학계
CN103424846A (zh) 摄像用光学透镜组及其摄像装置
WO2019019496A1 (zh) 鱼眼镜头装置
US6674473B1 (en) Image pickup apparatus
KR101853498B1 (ko) 촬상 렌즈
CN113625430B (zh) 光学系统、取像模组、电子设备及载具
CN113296237B (zh) 光学系统、取像模组及电子设备
WO2022236817A1 (zh) 光学系统、取像模组及电子设备
WO2021164013A1 (zh) 光学系统、摄像模组、电子装置及汽车
CN109283666A (zh) 光学成像系统
CN110430349B (zh) 成像装置、设备及模型训练方法
CN113820830B (zh) 光学系统、取像模组、电子设备及载具
CN105829941B (zh) 成像设备和成像透镜

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant