CN116939383A - 图像传感器、成像模组、图像采集设备和图像处理方法 - Google Patents

图像传感器、成像模组、图像采集设备和图像处理方法 Download PDF

Info

Publication number
CN116939383A
CN116939383A CN202210364358.7A CN202210364358A CN116939383A CN 116939383 A CN116939383 A CN 116939383A CN 202210364358 A CN202210364358 A CN 202210364358A CN 116939383 A CN116939383 A CN 116939383A
Authority
CN
China
Prior art keywords
image
images
optical
transformation relation
optical signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210364358.7A
Other languages
English (en)
Inventor
杨晖
刘畅
刘舒扬
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Tianjin Jinhang Institute of Technical Physics
Original Assignee
Huawei Technologies Co Ltd
Tianjin Jinhang Institute of Technical Physics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd, Tianjin Jinhang Institute of Technical Physics filed Critical Huawei Technologies Co Ltd
Priority to CN202210364358.7A priority Critical patent/CN116939383A/zh
Priority to PCT/CN2023/084097 priority patent/WO2023193626A1/zh
Publication of CN116939383A publication Critical patent/CN116939383A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28—Investigating the spectrum
    • G01J3/2823—Imaging spectrometer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/04—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa
    • H04N1/12—Scanning arrangements, i.e. arrangements for the displacement of active reading or reproducing elements relative to the original or reproducing medium, or vice versa using the sheet-feed movement or the medium-advance or the drum-rotation movement as the slow scanning component, e.g. arrangements for the main-scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/701—Line sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Abstract

本申请提供图像传感器、成像模组、图像采集设备和图像处理方法及设备，涉及机器视觉领域。该图像传感器包括：光信号获取模块和通信接口，光信号获取模块可用于从接收到的光信号中获取红绿蓝谱段光信号和高光谱段光信号，并将红绿蓝谱段光信号和高光谱段光信号转换为电信号；其中，光信号获取模块包括对应于红绿蓝谱段的第一光学结构和对应于高光谱段的第二光学结构，第一光学结构用于从光信号中获取红绿蓝谱段光信号，第二光学结构用于从光信号中获取所述高光谱段光信号；通信接口，用于输出电信号。基于此方案，无需采用两个独立的设备来分别获取高光谱图像和红绿蓝图像，更大程度地满足用户需求。

Description

图像传感器、成像模组、图像采集设备和图像处理方法
技术领域
本申请涉及机器视觉领域，并且更具体地，涉及图像传感器、成像模组、图像采集设备和图像处理方法及设备。
背景技术
高光谱成像技术在地球观测、生物测量和食品安全等领域得到了越来越广泛的应用。高光谱成像一般有四种方式：点扫描式、线扫描式、光谱扫描式和快照式。其中，点扫描式成像一次获取一个像素的信息，虽然该方法的光谱分辨率很高，但采集图像非常耗时；光谱扫描式成像一次获取一个波长的整个空间信息，虽然生成每个波长的图像速度较快，但由于需要改变不同的波长扫描，所以最终获得成像结果依然比较耗时；快照式成像一次可以获取多个波长的信息，但是这种方式可识别的光谱和分辨率都非常有限；线扫描式成像一次可以获取一条线上多个波长的信息，比点扫描式成像要快，而且硬件实现更简单，在移动场景的高光谱成像得到广泛应用，如无人机或传送带等场景。
目前，线扫描光谱仪只能获取高光谱图像，在很多场景下还不能够满足用户需求。
发明内容
本申请提供了一种图像传感器、成像模组、图像采集设备和图像处理方法及设备，可以通过一个设备同时获取到高光谱图像和红绿蓝(red green blue，RGB)图像，以期更大程度地满足用户需求。
第一方面，本申请提供了一种图像传感器，包括：光信号获取模块和通信接口；光信号获取模块，用于从接收到的光信号中获取RGB谱段光信号和高光谱段光信号，并将RGB谱段光信号和高光谱段光信号转换为电信号；其中，光信号获取模块包括对应于RGB谱段的第一光学结构和对应于高光谱段的第二光学结构，第一光学结构用于从光信号中获取RGB谱段光信号，第二光学结构用于从光信号中获取高光谱段光信号；通信接口，用于输出电信号。
本申请提供的图像传感器，可以从接收到的光信号中获取并输出高光谱段光信号和RGB谱段光信号，以便于线扫描时同时获取高光谱图像和RGB图像。因此，通过一个图像传感器便可同时获取到高光谱图像和RGB图像，无需采用两个独立的设备(如，线扫描式光谱仪和RGB相机)来分别获取高光谱图像和RGB图像，从而可以在采集图像过程中，通过第一光学结构和第二光学结构同时获取高光谱段光信号和RGB谱段光信号，进而获得高光谱段图像和RGB谱段图像，从而可以更大程度地满足用户需求。此外，由于通过同一设备采集图像，在采集过程中，通过第一光学结构和第二光学结构同时获取高光谱段光信号和RGB谱段光信号，因此使得高光谱图像和RGB图像在采集时间上是对齐的，因此可以降低图像处理的复杂度。再者，因为不必在线扫描光谱仪的基础上增加RGB相机来采集RGB图像，也即通过一个独立的设备就可以同时获取到高光谱图像和RGB图像，故可以减少硬件成本。
结合第一方面，在第一方面的某些可能的实现方式中，第一光学结构包括滤光结构，第二光学结构包括分光结构；其中，分光结构用于对光信号进行分光，以得到高光谱段光信号；滤光结构用于对光信号进行滤光，以得到RGB谱段光信号。
结合第一方面，在第一方面的某些可能的实现方式中，第一光学结构和所述第二光学结构均包括滤光结构，滤光结构用于对光信号进行滤光，以得到高光谱段光信号和RGB谱段光信号。
本申请提供的分光结构和滤光结构都对获取到的光信号起到了筛选的作用，使照射到感光元件对应区域的光信号为对应谱段的光信号；本申请提供的感光元件可用于感知多个谱段的光信号，便于生成高光谱图像和RGB图像。
可选地，分光结构包括以下一项或多项：干涉薄膜、法布里-珀罗腔、波导光栅、纳米孔洞或金属介质。
以上列举的几种光学结构都可以对光信号产生分光的效果，将光信号分为对应于高光谱段光信号。
可选地，RGB谱段包括多个子谱段，滤光结构中对应于多个子谱段的区域呈拜耳排列。
可选地，RGB谱段包括多个子谱段，滤光结构中对应于各个谱段的区域为条形，且对应于不同子谱段的区域沿扫描方向平行排列。
本申请提供的滤光结构中，可以是对应于各个谱段的区域为条形，且对应于不同子谱段的区域沿扫描方向平行排列，以便于图像传感器对目标物的进行线扫描；也可以是对应于高光谱段的区域为条形，且对应于不同子谱段的区域沿扫描方向平行排列，对应于红绿蓝谱段的区域呈拜耳排列，以便于红绿蓝图像的生成。
可选地，滤光结构由化学染料制备得到。
化学染料可以对光信号产生滤光的效果，将光信号滤为对应谱段的光信号。
可选地，第一光学结构和第二光学结构位于不同的平面，或，位于同一平面内。
可选地，光信号获取模块还包括感光元件，用于感知从第一光学结构和第二光学结构接收到的光信号，以得到电信号。
可选地，高光谱段包括可见光谱段或红外光谱段。
第二方面，本申请提供了一种成像模组，该成像模组包括：成像镜头和图像传感器。
第三方面，本申请提供了一种图像采集设备，该图像采集设备包括成像模组。
结合第三方面，在第三方面的某些实现方式中，该图像采集设备还包括控制器，用于控制光信号获取模块在目标物上沿预设的扫描方向进行线扫描，得到目标物的多个扫描区域的图像。
第四方面，本申请提供了一种图像处理方法，该方法包括：获取第一图像序列和第二图像序列，第一图像序列包括对目标物进行线扫描采集到的红绿蓝谱段的多个图像，第二图像序列包括对目标物进行线扫描采集到的高光谱段的多个图像；
基于至少一个变换关系，对第二图像序列进行图像拼接，得到目标物在高光谱段的拼接图像，其中，至少一个变换关系基于对第一图像序列的图像拼接获得，至少一个变换关系用于表示所述第一图像序列中两个图像之间的变换关系。
本申请提供的图像处理方法，可以获取RGB谱段的图像序列，并基于RGB谱段的图像序列得到目标物在RGB谱段的拼接图像，以及用于图像拼接的变换关系。然后基于RGB谱段图像拼接的变换关系将其他谱段的图像序列的图像拼接起来。由于目前的图像处理算法计算RGB图像拼接的变换关系的效果，要优于计算高光谱图像拼接的变换关系的效果。因此，使高光谱图像的拼接复用RGB图像拼接的变换关系，不但可以减少计算量，而且可以使高光谱图像拼接的效果更好。
结合第四方面，在第四方面的某些可能的实现方式中，在基于图像间的变换关系，对第二图像序列进行图像拼接之前，该方法还包括：对第一图像序列进行图像拼接，得到至少一个变换关系。
下文示例性地给出了三种可能的实现方式。
在第一种可能的实现方式中，第二图像序列包括第一图像、第二图像以及第三图像，至少一个变换关系包括第一变换关系和第二变换关系，基于至少一个变换关系，对第二图像序列进行图像拼接，得到目标物在高光谱段的拼接图像，包括：基于第一变换关系，对第三图像和第四图像进行图像拼接，以得到目标物在高光谱段的拼接图像，第四图像是基于第二变换关系对第一图像和第二图像进行图像拼接得到的。
应理解，对第三图像和第四图像进行图像拼接得到的拼接图像可能是最终得到的拼接图像，也可能是中间步骤得到的拼接图像。但可以理解，通过一次或多次迭代，可以得到该目标物在高光谱段的拼接图像。
示例性地，第二图像序列包括T个图像，T个图像与T个采集时间一一对应，T个图像中的第1个图像是T个采集时间中的第1个采集时间采集到的，T个图像中的第t个图像是T个采集时间中的第t个采集时间采集到的，至少一个变换关系包括T-1个变换关系，T-1个变换关系中的第1个变换关系用于T个图像中的第2个图像和第1个图像的图像拼接，T-1个变换关系中的第t个变换关系用于T个图像中的第t+1个图像和第t-1个拼接图像的图像拼接，第t-1个拼接图像基于对T个图像中前t-1个图像进行图像拼接得到；其中，1＜t＜T，T＞1，t、T均为整数。
这种实现方式可用于实时的图像拼接场景，在扫描目标物的同时，就可以一边将图像拼接为最终的拼接图像，一边得到图像拼接的变换关系。
在第二种可能的实现方式中，第二图像序列包括第一图像、第二图像以及第三图像，至少一个变换关系包括第一变换关系和第二变换关系，基于至少变换关系，对第二图像序列进行图像拼接，得到目标物在高光谱段的拼接图像，包括：基于第一变换关系，对第一图像和第二图像进行图像拼接，基于第二变换关系，对第二图像和第三图像进行图像拼接，以得到目标物在高光谱段的拼接图像。
应理解，对第二图像和第三图像进行图像拼接得到的拼接图像可能是最终得到的拼接图像，也可能是中间步骤得到的拼接图像。但可以理解，基于对第二图像序列中每两个相邻图像的拼接，最终可以得到该目标物在高光谱段的拼接图像。
示例性地，第二图像序列包括T个图像，T个图像与T个采集时间一一对应，至少一个变换关系包括第t个变换关系，第t个变换关系用于T个图像中第t个图像和第t+1个图像之间的变换关系，1≤t＜T，T＞1，t、T均为整数。
这种实现方式可用于离线的图像拼接场景，先对目标物进行一遍扫描，得到按照时间先后顺序排布的图像，再计算两相邻图像之间的变换关系，最后得到目标物在红绿蓝谱段的拼接图像。
在上述第一种和第二种实现方式中，第一图像、第二图像以及第三图像按照采集时间先后顺序排布。
在第三种可能的实现方式中，至少一个变换关系包括第一变换关系，基于至少一个变换关系，对第二图像序列进行图像拼接，得到目标物在高光谱段的拼接图像，包括：获取第二图像序列中匹配度达到预设门限的两个图像；基于第一变换关系，对第二图像序列中匹配度达到预设门限的两个图像进行图像拼接，以得到目标物在所述高光谱段的拼接图像。
应理解，此处基于第一变换关系得到的拼接图像可能是最终得到的拼接图像，也可能是中间步骤得到的拼接图像。但可以理解，通过从第二图像序列中多次获取匹配度达到预设门限的两个图像，可以对更多的图像进行拼接，进而得到目标物在所述高光谱段的拼接图像。
示例性地，第一图像序列包括N个图像，至少一个变换关系中的每个变换关系为N个图像中匹配度达到预设门限的两个图像之间的变换关系。
在第三种实现方式中，可选地，第二图像序列是基于对目标物沿扫描方向进行多轮线扫描得到的。
这种实现方式可用于多轮扫描的场景，在这种场景中，与一张图像匹配度达到预设门限的图像并不一定是与其时间上最接近的图像。因此可以通过计算匹配度的方式，将图像之间择优进行拼接，有利于提高图像的拼接效果。
第五方面，本申请提供了一种图像处理设备，包括用于实现第四方面以及第四方面任一种可能实现方式中的方法的模块或单元。应理解，各个模块或单元可通过执行计算机程序来实现相应的功能。
第六方面，本申请提供了一种图像处理设备，包括存储器和处理器，其中，存储器可用于存储计算机程序。处理器可用于调用并执行存储器中存储的指令，以实现上述第四方面以及第四方面任一种可能实现方式中所述的图像处理方法。该设备还可以包括通信接口，通信接口用于该设备与其它设备进行通信，示例性地，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。
第七方面，本申请提供了一种芯片系统，该芯片系统包括至少一个处理器，用于支持实现上述第四方面以及第四方面任一种可能实现方式中所涉及的功能，例如，例如接收或处理上述方法中所涉及的数据和/或信息。
在一种可能的设计中，芯片系统还包括存储器，存储器用于保存程序指令和数据，存储器位于处理器之内或处理器之外。
该芯片系统可以由芯片构成，也可以包含芯片和其他分立器件。
第八方面，本申请提供了一种计算机可读存储介质，包括计算机程序，当其在计算机上运行时，使得计算机实现第四方面以及第四方面任一种可能实现方式中的方法。
第九方面，本申请提供了一种计算机程序产品，计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当计算机程序被运行时，使得计算机执行第四方面以及第四方面任一种可能实现方式中的方法。
附图说明
图1是本申请实施例提供的线扫描场景示意图；
图2是本申请实施例提供的图像传感器的结构示意图；
图3是本申请实施例提供的光信号获取模块的一种可能的结构示意图；
图4是本申请实施例提供的光信号获取模块的另一种可能的结构示意图；
图5是本申请实施例提供的分光结构或滤光结构的一种可能的结构示意图；
图6是本申请实施例提供的分光结构或滤光结构的另一种可能的结构示意图；
图7是本申请实施例提供的图像处理方法的流程示意图；
图8至图10是本申请实施例提供的图像拼接及确定变换关系的三种可能的实现方式的示意图；
图11和图12是本申请实施例提供的图像处理设备的示意性框图。
具体实施方式
为了使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。
因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”以及任何变形，意图在于覆盖不排他的包含。
下面将结合附图，对本申请中的技术方案进行描述。
为便于理解本申请实施例，首先做出以下几点说明。
第一，为便于理解，下文结合多个附图详细说明了本申请提供的图像传感器和图像采集设备。但这些附图仅为便于理解而示例，图中示出的各部件之间的相对距离、各部件的外形及尺寸并不一定与实物相同或按照比例缩放。
第二，下文的多个附图中仅示出了与本申请实施例相关的器件，并不限定图像传感器和图像采集设备中包括的其他器件及其数量。
图1是本申请实施例提供的线扫描场景示意图。如图1所示，该场景示出了线扫相机110、图像传感器111和扫描目标120。其中线扫相机110为一种图像采集设备，可沿预设的扫描方向对扫描目标120进行线扫描，以生成扫描目标120的拼接图像。扫描目标120可以为平面目标，例如图片、画作等，如图1中的(a)所示；也可以为立体目标，例如房屋、树木等，如图1中的(b)所示。
线扫相机110沿预设的扫描方向对扫描目标120进行线扫描，可以是线扫相机110静止，扫描目标120沿预设的扫描方向的反方向移动，如图1中的(a)所示，在传送带场景中，线扫相机110固定在传送带上方，扫描目标120在传送带上沿传送带运动方向移动，则扫描方向就是传送带运动方向的反方向；也可以是扫描目标120静止，线扫相机110沿预设的扫描方向移动，如图1中的(b)所示，在无人机场景中，线扫相机110安装在无人机上，沿预设的扫描方向移动，对扫描目标120进行扫描。
目前的线扫描光谱仪只能获取高光谱图像，在很多场景中还需要在获取高光谱图像的同时获取RGB图像。因此，如何同时获取高光谱图像和RGB图像，成为了一个需要解决的问题。
鉴于此，本申请提供了一种图像传感器，在线扫描式光谱仪的传感器的基础上添加RGB滤光结构，使安装有这种图像传感器的线扫相机可以在扫描的过程中同时获取高光谱图像与RGB图像。
图2是本申请实施例提供的图像传感器的结构示意图。如图2所示，图像传感器111包括光信号获取模块210和通信接口220。其中，光信号获取模块210可用于从接收到的光信号中获取RGB谱段光信号和高光谱段光信号，并将RGB谱段光信号和高光谱段光信号转换为电信号。具体来说，该光信号获取模块210包括对应于RGB谱段的第一光学结构和对应于高光谱段的第二光学结构，第一光学结构用于从光信号中获取RGB谱段光信号，第二光学结构用于从所述光信号中获取高光谱段光信号。通信接口220可以是一个带针脚的电路板，可用于输出电信号，例如将电信号输出至处理器，以便于处理器基于电信号生成图像。
其中，高光谱段包括可见光谱段或红外光谱段。更具体地，高光谱段对光谱的分辨率可以达到波长的百分之一数量级，可分辨的光谱宽度只有几纳米；而RGB谱段虽然也属于可见光谱段，但对于光谱的分辨率却远不如高光谱段精细，RGB谱段对光谱的分辨率一般只能达到波长的十分之一数量级，例如红光的波长范围在622到780纳米之间，绿光的波长范围在492到577纳米之间，蓝光的波长范围在455到492纳米之间，可分辨的光谱宽度有几十甚至上百纳米。
第二光学结构获取高光谱段光信号的功能可以通过分光结构或滤光结构实现。其中，分光结构可用于对光信号进行分光，以得到高光谱段光信号；滤光结构可用于对光信号进行滤光，以得到高光谱段光信号。第一光学结构获取RGB谱段光信号的功能可以通过滤光结构实现，滤光结构用于对获取到的光信号进行滤光，以得到RGB谱段光信号。
可选地，分光结构包括以下一项或多项：干涉薄膜、法布里-珀罗腔、波导光栅、纳米孔洞或金属介质。
分光结构会将一束含有多个谱段的混合光分成多束光，每一束光只含有一个子谱段，每一束子谱段的光照射到感光元件的不同区域。
可选地，滤光结构由化学染料制备得到。
滤光结构中每一个子谱段的区域只允许对应子谱段的光通过，而其他谱段的光则会被化学染料吸收，从而被滤除。
应理解，上文对于分光结构和滤光结构的具体实现仅为示例，本申请包含但不限于此。
如图3所示，除了第一光学结构和第二光学结构以外，光信号获取模块210还包括感光元件，感光元件用于感知从分光结构或滤光结构接收到的光信号，以得到多个谱段的光信号。感光元件可以是电荷耦合元件(charge-coupled device，CCD)或互补金属氧化物半导体(complementary metal oxide semiconductor，CMOS)等，本申请包含但不限于此。感光元件可以由高感光度的半导体材料制成，由许多感光单位即像素组成。光线会先通过分光结构或滤光结构再照射到感光元件上，而照射到感光元件的每一个像素上的光线都是经过分光或滤光之后的对应谱段的光线。
因此，感光元件中对应于某一谱段的像素，只能感知该谱段的光照强度。即，红色谱段对应的像素，只能感知红色谱段的光照强度；绿色谱段对应的像素，只能感知绿色谱段的光照强度；蓝色谱段对应的像素，只能感知蓝色谱段的光照强度。
当感光元件表面受到光线照射时，每个像素会在光子的激发下产生电荷，且电荷的数量与光照强度有关，光照越强，激发出的电荷数就越多。因此，感光元件可以通过衡量每个像素的电信号，来感知该像素处的光照强度。处理器进而可以根据每个像素的电信号，生成图像。
如图3所示的第一光学结构和第二光学结构位于同一个平面，除此之外，如图4所示，第一光学结构和第二光学结构也可以位于不同的平面。
第二光学结构包括高光谱段分光结构或高光谱段滤光结构，以及透明结构。其中，高光谱段分光结构或高光谱段滤光结构可用于对光信号进行分光或滤光，以获得对应于高光谱段光信号；透明结构则允许光信号无损通过，照射到第一光学结构上。
第一光学结构包括透明结构和RGB谱段滤光结构。其中透明结构允许经过第二光学结构分光或者滤光之后获得的对应于高光谱段光信号无损通过；RGB谱段滤光结构可用于对光信号进行滤光，以获得对应于RGB谱段光信号。
其中，透明结构例如镀有增透膜的光学玻璃，或者其他允许光信号无损通过的光学结构，本申请对此不作限定。
应理解，图4仅作示例，图4中第一光学结构与第二光学结构的位置可以互换，本申请对此不做限定。
本申请实施例对于第一光学结构和第二光学结构对应于不同谱段的排列方式，提供了两种方案。
一种方案如图5所示，第一光学结构和第二光学结构中每个谱段的区域为条形，且对应于不同谱段的区域沿扫描方向平行排列；另一种方案如图6所示，第二光学结构中每个谱段的区域为条形，且对应于不同谱段的区域沿扫描方向平行排列，第一光学结构的区域呈拜耳排列。
其中，条形指狭长且两侧平行或近似平行的形状，例如在图5和图6中为矩形。应理解，条形不局限于矩形，也可以是平行四边形、梯形、两侧有弧度的形状或者两侧有锯齿的形状等，本申请对此不做限定。
还应理解，第一光学结构的区域不论是哪一种排列方式，都可以将第一光学结构的区域视为一个整体。
还应理解，图5和图6仅为示意图，并不限定第二光学结构中谱段区域的数量，也不限定第二光学结构中每个谱段的光谱频率和半波宽，也不限定高光谱段区域中和RGB谱段区域中每个谱段区域所覆盖的像素范围。
仅作示例，图像传感器为四分之一视频图形阵列(quarter video graphicsarray，QVGA)传感器，分辨率为320*240像素。第二光学结构所覆盖的区域为224*240像素，第一光学结构所覆盖的区域为96*240像素。第二光学结构所覆盖的区域中，有7个谱段区域，每个谱段区域所覆盖的像素范围为32*240像素。当第一光学结构所覆盖的区域的排列呈线形排列时，每个颜色谱段区域所覆盖的像素范围为32*240像素；当第一光学结构所覆盖的区域的排列呈拜耳排列时，每个颜色谱段的方格所覆盖的像素范围为16*16像素。
在RGB图像中，每一个像素都包括RGB三色信息。
对于第一光学结构所覆盖的区域的排列为条形，且对应于不同谱段的区域沿扫描方向平行排列的方案来说，要基于第一光学结构所覆盖的区域对应像素产生的电信号生成RGB图像，可以通过简单的叠加算法，将红色谱段区域对应生成的红色图像、绿色谱段区域对应生成的绿色图像和蓝色谱段区域对应生成的蓝色图像，这三个图像合成为一张RGB图像。
对于第一光学结构所覆盖的区域的排列呈拜耳排列的方案来说，要基于第一光学结构所覆盖的区域对应像素产生的电信号生成RGB图像，可以通过去马赛克算法，计算生成RGB图像。
基于上述方案，通过一个图像传感器便可同时获取到高光谱图像和RGB图像，无需采用两个独立的设备(如，线扫描式光谱仪和RGB相机)来分别获取高光谱图像和RGB图像，从而可以在采集图像过程中，通过第一光学结构和第二光学结构同时获取高光谱段光信号和RGB谱段光信号，进而获得高光谱段图像和RGB谱段图像，从而可以更大程度地满足用户需求。此外，由于通过同一设备采集图像，在采集过程中，通过第一光学结构和第二光学结构同时获取高光谱段光信号和RGB谱段光信号，因此使得高光谱图像和RGB图像在采集时间上是对齐的，因此可以降低图像处理的复杂度。再者，因为不必在线扫描光谱仪的基础上增加RGB相机来采集RGB图像，也即通过一个独立的设备就可以同时获取到高光谱图像和RGB图像，故可以减少硬件成本。
除了图像传感器之外，本申请实施例还提供了一种成像模组，包括：成像镜头和图像传感器。
一示例，图1中的线扫相机110，包括图像传感器111和图中未示出的成像镜头，该成像镜头用于将扫描目标120成像在图像传感器111上。
本申请实施例还提供了一种图像采集设备，包括成像模组。图像采集设备还包括控制器，用于控制光信号获取模块在该目标物上沿预设的扫描方向进行线扫描，得到该目标物的多个扫描区域的图像。
一示例，在图1中的(a)中，图像采集设备为安装有线扫相机110的传送带设备，控制器可以控制传送带以一定的速率移动，以使得线扫相机110对扫描目标120进行线扫描。
另一示例，在图1中的(b)中，图像采集设备为安装有线扫相机110的无人机，控制器可以控制无人机以一定的速率移动，以使得线扫相机110对扫描目标120进行线扫描。
图7是本申请实施例提供的图像处理方法的流程示意图。图7所示的图像处理方法可以由图像处理设备来执行。该图像处理设备可以与图像采集设备合一部署；也可以分立部署，且二者间具有通信连接，本申请对此不作限定。图像采集设备例如可以包括如上文结合图2至图6描述的图像传感器，该图像传感器可以配置在如图1中的(a)所示的传送带设备或如图1中的(b)所示的无人机中等。当然，该图像采集设备也可以是其他形式的设备，例如，在如图1中的(a)所示的线扫相机旁边再额外增加一台RGB相机，线扫相机用于采集高光谱段的图像序列，RGB相机用于采集RGB谱段的图像序列。本申请包含但不限于此。
图7所示的方法700可以包括步骤710至720。下面对方法700中的各个步骤做详细说明。
在步骤710中，获取第一图像序列和第二图像序列。
其中，第一图像序列包括对目标物进行线扫描采集到的红绿蓝谱段的多个图像，第二图像序列包括对目标物进行线扫描采集到的高光谱段的多个图像。
该第一图像序列可以是在多个采集时间对目标物进行线扫描采集到的，该第二图像序列也可以是在多个采集时间对目标物进行线扫描采集到的。且第一图像序列和第二图像序列的多个采集时间是一一对应且对齐的。
示例性地，将第一图像序列记为集合P，将第二图像序列记为集合Q，且P包括图像p1，p2，p3，……，pN，Q包括图像q1，q2，q3，……，qN，则p1和q1为同一采集时间采集到的两个图像，p2和q2为同一采集时间采集到的两个图像，以此类推，可以得到N个采集时间中每个采集时间采集到的两个图像，N＞1且为整数。
可以看到，第一图像序列和第二图像序列包括了在多个采集时间分别对齐的多个图像。但应理解，本申请并不限定每个图像序列中包含的图像数量，也即不限定采集时间的数量。
由于第一图像序列和第二图像序列均可用于进行图像拼接，进而得到该目标物的各个谱段的拼接图像。而用于做图像拼接的两个图像之间最好有一定的重叠，比如至少存在2*240像素的重叠，这样有利于拼接后的图像不会出现空白间隙等信息丢失，有利于图像拼接的完整性。如果对目标物做一轮线扫描无法确保用于做图像拼接的两个图像之间有一定的重叠，可以对目标物做多轮线扫描。因此，上述第一图像序列和第二图像序列可以包括一轮或多轮线扫描采集到的多个图像。换言之，上述N个采集时间可以是一轮或多轮线扫描中的多个采集时间。
应注意，此处的“一轮线扫描”具体是指，按照预设的扫描方向，从目标物的一端开始进行线扫描，直至到达目标物的另一端。经过一轮线扫描，上述第一图像序列和第二图像序列都可包括对应于相同的多个采集时间的多个图像。
一示例，在图1中的(a)中，线扫相机110从扫描目标120的右端开始进行线扫描，直至到达扫描目标120的左端。在线扫描的过程中，线扫相机110会在每个采集时间拍摄扫描目标120在多个谱段的图像。经过一轮线扫描，就会得到扫描目标120的第一图像序列和第二图像序列。
在步骤720中，基于至少一个变换关系，对第二图像序列进行图像拼接，得到目标物在高光谱段的拼接图像。
其中至少一个变换关系基于对第一图像序列的图像拼接获得，至少一个变换关系用于表示第一图像序列中两个图像之间的变换关系。
如前所述，第一图像序列和第二图像序列包括在相同的多个采集时间对目标物进行线扫描采集到的多个图像，故可以基于其中某一个谱段的图像序列中图像间的变换关系，来对另一个谱段的图像序列进行图像拼接。
由于目前的图像处理算法计算RGB图像拼接的变换关系的效果，要好于计算高光谱图像拼接的变换关系的效果。因此，使第二图像序列的拼接复用第一图像序列拼接的变换关系，不但可以减少计算量，而且可以使第二图像序列拼接的效果更好。
因此，在对第二图像序列进行图像拼接之前，要先对第一图像序列进行拼接，并得到至少一个变换关系。
需要说明的是，在前文已经结合图5和图6说明，第一光学结构所覆盖的区域可以呈线形排列，也可以呈拜耳排列。故第一图像序列可以是通过简单的叠加算法合成的RGB图像序列，也可以是通过去马赛克算法，计算生成的RGB图像序列。本申请对此不作限定。
两个图像之间的变换关系，可以通过图像处理算法得到。例如尺度不变特征变换(scale invariant feature transform，SIFT)算法、加速稳健特征(speeded up robustfeatures，SURF)算法等，本申请对具体使用哪种算法不作任何限定。
基于图像处理算法，得到两个图像之间变换关系的过程大致如下：先对图像进行预处理，如滤波降噪等处理。接着进行图像配准，在两个图像上分别提取特征点，再为每个特征点赋予特征值，再计算两个图像上每个特征点特征值的欧氏距离。如果两个特征点特征值的欧氏距离最为接近，且与次近邻欧氏距离的比值小于预定义的阈值，则这两个特征点为匹配点。确定两个图像上所有的匹配点，根据匹配点的位置计算得到两个图像之间的变换关系。
在得到两个图像之间的变换关系之后，就可以做图像拼接，将两个图像拼接为一个拼接图像。图像拼接需要用到图像融合算法，以消除由于图像拼接引起的累计误差或图像变换所引起的局部失真，使图像拼接更加自然。
下文示例性地给出了基于至少一个变换关系对第二图像序列进行图像拼接的几种可能的实现方式。
在第一种可能的实现方式中，第二图像序列包括按照采集的时间先后顺序排布的T个图像，T个图像与T个采集时间一一对应，T个图像中的第t个图像是T个采集时间中的第t个采集时间采集到的。图像处理设备可以按照采集时间的先后顺序，以两个图像为一组，基于两个图像之间的变换关系，对图像进行拼接。其中，第1组图像可以包括第一图像序列中的第1个图像和第2个图像，基于第1组图像之间的变换关系，对第1组图像进行图像拼接，得到第1个拼接图像；此后，可以将第1个拼接图像和第一图像序列中的第3个图像作为第2组图像基于第2组图像的变换关系进行图像拼接，得到第2个拼接图像，以此类推，直至完成第一图像序列中所有图像的图像拼接。如此，第t个变换关系用于T个图像中的第t+1个图像和第t-1个拼接图像的图像拼接，第t-1个拼接图像基于对T个图像中前t个图像进行图像拼接得到，对T个图像进行图像拼接得到的第T-1个拼接图像为拼接图像；其中，1＜t＜T，T＞1，t、T均为整数。
图8所示为对第二图像序列进行图像拼接的一例。图8所示的第二图像序列中包括按照采集时间先后顺序排布的9个图像，9个图像与9个采集时间一一对应，例如第1个图像是第1个采集时间采集到的，第2个图像是第2个采集时间采集到的，以此类推。
首先，将第1个图像和第2个图像基于第1个变换关系拼接起来，得到第1个拼接图像；然后将第1个拼接图像和第3个图像基于第2个变换关系拼接起来，得到第2个拼接图像；然后将第2个拼接图像和第4个图像基于第3个变换关系拼接起来，得到第3个拼接图像；以此类推；最终将第7个拼接图像和第9个图像基于第8个变换关系拼接起来，得到第8个拼接图像，即，目标物在高光谱段的拼接图像。
这种实现方式可用于实时的图像拼接场景，在扫描目标物的同时，就可以一边将图像拼接为最终的拼接图像，一边得到图像拼接的变换关系。
在第二种可能的实现方式中，第二图像序列包括按照采集的时间先后顺序排布的T个图像，T个图像与T个采集时间一一对应，T个图像中的第t个图像是所述T个采集时间中的第t个采集时间采集到的。图像处理设备可以按照采集时间的先后顺序，以两个图像为一组，基于两个图像之间的变换关系，对图像进行拼接。其中，第1组图像可以包括第一图像序列中的第1个图像和第2个图像，第1个变换关系，可用于对第1组图像进行图像拼接；第2组图像可以包括第一图像序列中的第2个图像和第3个图像，第2个变换关系，可用于对第2组图像进行图像拼接，以此类推，直至得到所有图像拼接起来。如此，第t个变换关系可用于对T个图像中第t个图像和第t+1个图像进行图像拼接，1≤t＜T，T＞1，t、T均为整数。
图9所示为对第二图像序列进行图像拼接的另一例。第二图像序列中包括按照采集时间先后顺序排布的9个图像，9个图像与9个采集时间一一对应，例如第1个图像是第1个采集时间采集到的，第2个图像是第2个采集时间采集到的，以此类推。
一种可能的拼接方式是，首先将第1个图像和第2个图像基于第1个变换关系拼接起来，得到第1个拼接图像；然后将第2个图像和第3个图像基于第2个变换关系拼接起来，得到第2个拼接图像；以此类推，最终将第8个图像和第9个图像基于第8个变换关系拼接起来，得到第8个拼接图像。最后基于以上8个拼接图像得到目标物在高光谱段的拼接图像。
另一种可能的拼接方式是，基于8个变换关系，将9个图像一次性拼接为一张拼接图像。
这种实现方式可用于离线的图像拼接场景，先对目标物进行一遍线扫描，得到按照时间先后顺序排布的图像，再计算两相邻图像之间的变换关系，最后得到目标物的拼接图像。
在第三种可能的实现方式中，第二图像序列包括N个图像，N个图像是基于对目标物沿扫描方向进行多轮线扫描采集到的。图像处理设备可以将匹配度达到预设门限两个图像为一组，基于两个图像之间的变换关系，对两个图像进行图像拼接。其中，第1组图像可以包括第一图像序列中匹配度达到预设门限的两个图像；第2组图像可以包括第一图像序列中匹配度达到预设门限的另外两个图像；以此类推，直到将所有匹配度达到预设门限的两个图像进行图像拼接。
图10所示为对第二图像序列进行图像拼接的又一例。第二图像序列包括17个图像，17个图像是基于对目标物进行三轮线扫描采集到的。一轮线扫描包括对目标物从一端到另一端的一次或多次线扫描，每一轮线扫描得到的图像都是按照时间先后顺序排布的。第一轮线扫描采集到了图像1至6，第二轮线扫描采集到了图像7至12，第三轮线扫描采集到了图像13至17。
任意两个图像之间的匹配度可以由图像相似度算法计算得到，如结构相似性(structural similarity，SSIM)算法等，本申请对具体使用哪种算法不作任何限定。
与图像1匹配度达到预设门限的图像有图像7和图像13，与图像2匹配度达到预设门限的图像有图像7、图像8、图像13和图像14，以此类推。
最终得到任意两个图像之间的匹配度是否达到预设门限的结果，如下表1所示：
表1
由表1所示，有31对匹配度达到预设门限的图像，因此可以得到31个变换关系，基于这31个变换关系，可以将17幅图拼接为一个拼接图像。具体拼接的方式可以参考上述第一种或者第二种可能的实现方式。
这种实现方式可用于多轮扫描的场景，在这种场景中，与一张图像匹配度达到预设门限的图像并不一定是与其时间上最接近的图像，比如与图像1匹配度达到预设门限的图像不是图像2，而是图像7和图像13。因此可以通过计算匹配度的方式，将图像之间择优进行拼接，有利于提高图像的拼接效果。
应理解，上文列举的用于图像拼接的几种可能的实现方式中，至少一个变换关系在图像拼接过程中的应用与根据第一图像序列获取该至少一个变换关系的过程是对应的，可以视为上述图像拼接过程的逆过程。为了简洁，此处不再针对根据第一图像序列获取该至少一个变换关系的过程做详细说明。
本申请提供的图像处理方法，可以获取RGB谱段的图像序列，并基于RGB谱段的图像序列得到目标物在RGB谱段的拼接图像，以及用于图像拼接的变换关系。然后基于RGB谱段图像拼接的变换关系将其他谱段的图像序列的图像拼接起来。由于目前的图像处理算法计算RGB图像拼接的变换关系的效果，要优于计算高光谱图像拼接的变换关系的效果。因此，使高光谱图像的拼接复用RGB图像拼接的变换关系，不但可以减少计算量，而且可以使高光谱图像拼接的效果更好。
图11是本申请实施例提供的图像处理设备的示意性框图。该设备可以对应于上文方法实施例中的图像处理设备，用于实现其相应的功能。如图11所示，该图像处理设备1100可以包括获取模块1110和处理模块1120。
其中，获取模块1110可用于，获取第一图像序列和第二图像序列，第一图像序列包括对目标物进行线扫描采集到的高光谱段的多个图像，第二图像序列包括对目标物进行线扫描采集到的红绿蓝谱段的多个图像；处理模块1120可用于，基于至少一个变换关系，对第一图像序列进行图像拼接，得到目标物在高光谱段的拼接图像，其中，至少一个变换关系基于对第二图像序列的图像拼接获得，至少一个变换关系用于表示第一图像序列中两个图像之间的变换关系。
可选地，处理模块1120还用于，对第一图像序列进行图像拼接，得到至少一个变换关系。
可选地，第二图像序列包括第一图像、第二图像以及第三图像，至少一个变换关系包括第一变换关系和第二变换关系，处理模块1120具体用于，基于第一变换关系，对第三图像和第四图像进行图像拼接，以得到目标物在高光谱段的拼接图像，第四图像是基于第二变换关系对第一图像和第二图像进行图像拼接得到的。
可选地，第二图像序列包括第一图像、第二图像以及第三图像，至少一个变换关系包括第一变换关系和第二变换关系，处理模块1120具体用于，基于第一变换关系，对第一图像和第二图像进行图像拼接，基于第二变换关系，对第二图像和第三图像进行图像拼接，以得到目标物在高光谱段的拼接图像。
可选地，第一图像、第二图像以及第三图像按照采集时间先后顺序排布。
可选地，至少一个变换关系包括第一变换关系，获取模块1110具体用于，所述第二图像序列中匹配度达到预设门限的两个图像；处理模块1120具体用于，基于第一变换关系，对第二图像序列中匹配度达到预设门限的两个图像进行图像拼接，以得到目标物在高光谱段的拼接图像。
可选地，第二图像序列是基于对目标物沿扫描方向进行多轮线扫描得到的。
图12是本申请实施例提供的图像处理设备的另一示意性框图。如图12所示，该设备1200可以包括至少一个处理器1210，可用于实现上述方法实施例中图像处理的功能。具体参见方法示例中的详细描述，此处不做赘述。
该设备1200还可以包括一个存储器1220，用于存储程序指令和/或数据。存储器1220和处理器1210耦合。本申请中的耦合是装置、单元或模块之间的间接耦合或通信连接，可以是电性，机械或其它的形式，用于装置、单元或模块之间的信息交互。处理器1210可能和存储器1220协同操作。处理器1210可能执行存储器1220中存储的程序指令。所述至少一个存储器中的至少一个可以包括于处理器中。
该设备1200还可以包括一个通信接口1230，用于通过传输介质和其它设备进行通信，从而用于装置1200中的装置可以和其它设备进行通信。所述通信接口1230例如可以是收发器、接口、总线、电路或者能够实现收发功能的装置。处理器1210可利用通信接口1230收发数据和/或信息，并用于实现图7对应的实施例中所述的图像处理方法。
本申请中不限定上述处理器1210、存储器1220以及通信接口1230之间的具体连接介质。本申请在图12中以处理器1210、存储器1220以及通信接口1230之间通过总线1240连接。总线1240在图12中以粗线表示，其它部件之间的连接方式，仅是进行示意性说明，并不引以为限。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
在本申请实施例中，处理器可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
根据本申请提供的方法，本申请还提供一种计算机可读存储介质，该计算机可读存储介质存储有程序代码，当该程序代码在计算机上运行时，使得该计算机执行图7所示实施例中的图像处理方法。
根据本申请提供的方法，本申请还提供一种计算机程序产品，该计算机程序产品包括：计算机程序代码。当该计算机程序代码在计算机上运行时，使得该计算机执行图7所示实施例中的图像处理方法。
本申请提供的技术方案可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、网络设备、终端设备或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线，例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机可以存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质例如，数字视频光盘(digital video disc，DVD)、或者半导体介质等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (25)

1.一种图像传感器，其特征在于，包括：
光信号获取模块，用于从接收到的光信号中获取红绿蓝谱段光信号和高光谱段光信号，并将所述红绿蓝谱段光信号和所述高光谱段光信号转换为电信号；其中，所述光信号获取模块包括对应于红绿蓝谱段的第一光学结构和对应于高光谱段的第二光学结构，所述第一光学结构用于从所述光信号中获取所述红绿蓝谱段光信号，所述第二光学结构用于从所述光信号中获取所述高光谱段光信号；
通信接口，用于输出所述电信号。
2.如权利要求1所述的图像传感器，其特征在于，所述第一光学结构包括滤光结构，所述第二光学结构包括分光结构，其中，
所述分光结构用于对所述光信号进行分光，以得到所述高光谱段光信号；
所述滤光结构用于对所述光信号进行滤光，以得到所述红绿蓝谱段光信号。
3.如权利要求2所述的图像传感器，其特征在于，所述分光结构包括以下一项或多项：干涉薄膜、法布里-珀罗腔、波导光栅、纳米孔洞或金属介质。
4.如权利要求1所述的图像传感器，其特征在于，所述第一光学结构和所述第二光学结构均包括滤光结构，所述滤光结构用于对所述光信号进行滤光，以得到所述高光谱段光信号和所述红绿蓝谱段光信号。
5.如权利要求2至4中任一项所述的图像传感器，其特征在于，所述红绿蓝谱段包括多个子谱段，所述滤光结构中对应于所述多个子谱段的区域呈拜耳排列。
6.如权利要求2至4中任一项所述的图像传感器，其特征在于，所述红绿蓝谱段包括多个子谱段，所述滤光结构中对应于各个子谱段的区域为条形，且对应于不同子谱段的区域沿扫描方向平行排列。
7.如权利要求2至6中任一项所述的图像传感器，其特征在于，所述滤光结构由化学染料制备得到。
8.如权利要求1至7中任一项所述的图像传感器，其特征在于，所述第一光学结构和所述第二光学结构位于不同的平面，或，位于同一平面内。
9.如权利要求1至8中任一项所述的图像传感器，其特征在于，所述光信号获取模块还包括感光元件，用于感知从所述第一光学结构和所述第二光学结构接收到的光信号，以得到所述电信号。
10.如权利要求1至9中任一项所述的图像传感器，所述高光谱段包括可见光谱段或红外光谱段。
11.一种成像模组，其特征在于，包括：
成像镜头，和
如权利要求1至10中任一项所述的图像传感器。
12.一种图像采集设备，其特征在于，包括如权利要求11所述的成像模组。
13.如权利要求12所述的设备，其特征在于，所述设备还包括控制器，用于控制所述光信号获取模块在目标物上沿预设的扫描方向进行线扫描，得到所述目标物的多个扫描区域的图像。
14.一种图像处理方法，其特征在于，包括：
获取第一图像序列和第二图像序列，所述第一图像序列包括对目标物进行线扫描采集到的红绿蓝谱段的多个图像，所述第二图像序列包括对所述目标物进行线扫描采集到的高光谱段的多个图像；
基于至少一个变换关系，对所述第二图像序列进行图像拼接，得到所述目标物在所述高光谱段的拼接图像，其中，所述至少一个变换关系基于对所述第一图像序列的图像拼接获得，所述至少一个变换关系用于表示所述第一图像序列中两个图像之间的变换关系。
15.如权利要求14所述的方法，其特征在于，在所述基于图像间的变换关系，对所述第二图像序列进行图像拼接之前，所述方法还包括：
对所述第一图像序列进行图像拼接，得到所述至少一个变换关系。
16.如权利要求14或15所述的方法，其特征在于，所述第二图像序列包括第一图像、第二图像以及第三图像，所述至少一个变换关系包括第一变换关系和第二变换关系，所述基于至少一个变换关系，对所述第二图像序列进行图像拼接，得到所述目标物在所述高光谱段的拼接图像，包括：
基于所述第一变换关系，对所述第三图像和第四图像进行图像拼接，以得到所述目标物在所述高光谱段的拼接图像，所述第四图像是基于所述第二变换关系对所述第一图像和所述第二图像进行图像拼接得到的。
17.如权利要求14或15所述的方法，其特征在于，所述第二图像序列包括第一图像、第二图像以及第三图像，所述至少一个变换关系包括第一变换关系和第二变换关系，所述基于至少一个变换关系，对所述第二图像序列进行图像拼接，得到所述目标物在所述高光谱段的拼接图像，包括：
基于所述第一变换关系，对所述第一图像和所述第二图像进行图像拼接，基于所述第二变换关系，对所述第二图像和第三图像进行图像拼接，以得到所述目标物在所述高光谱段的拼接图像。
18.如权利要求16或17所述的方法，其特征在于，所述第一图像、所述第二图像以及所述第三图像按照采集时间先后顺序排布。
19.如权利要求14或15所述的方法，其特征在于，所述至少一个变换关系包括第一变换关系，所述基于至少一个变换关系，对所述第二图像序列进行图像拼接，得到所述目标物在所述高光谱段的拼接图像，包括：
获取所述第二图像序列中匹配度达到预设门限的两个图像；
基于第一变换关系，对所述第二图像序列中匹配度达到预设门限的两个图像进行图像拼接，以得到所述目标物在所述高光谱段的拼接图像。
20.如权利要求19所述的方法，其特征在于，所述第二图像序列是基于对所述目标物沿扫描方向进行多轮线扫描得到的。
21.一种图像处理设备，其特征在于，包括：
获取模块，用于获取第一图像序列和第二图像序列，所述第一图像序列包括对目标物进行线扫描采集到的高光谱段的多个图像，所述第二图像序列包括对所述目标物进行线扫描采集到的红绿蓝谱段的多个图像；
处理模块，用于基于至少一个变换关系，对所述第一图像序列进行图像拼接，得到所述目标物在所述高光谱段的拼接图像，其中，所述至少一个变换关系基于对所述第二图像序列的图像拼接获得，所述至少一个变换关系用于表示所述第一图像序列中两个图像之间的变换关系。
22.如权利要求21所述的设备，其特征在于，所述处理模块还用于，对所述第一图像序列进行图像拼接，得到所述至少一个变换关系。
23.一种图像处理设备，其特征在于，包括存储器和处理器，其中，
所述存储器用于存储计算机程序；
所述处理器用于调用并执行所述计算机程序，以使得所述装置执行权利要求14至20中任一项所述的方法。
24.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求14至20中任一项所述的方法。
25.一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序被运行时，实现如权利要求14至20中任一项所述的方法。
CN202210364358.7A 2022-04-08 2022-04-08 图像传感器、成像模组、图像采集设备和图像处理方法 Pending CN116939383A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210364358.7A CN116939383A (zh) 2022-04-08 2022-04-08 图像传感器、成像模组、图像采集设备和图像处理方法
PCT/CN2023/084097 WO2023193626A1 (zh) 2022-04-08 2023-03-27 图像传感器、成像模组、图像采集设备和图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210364358.7A CN116939383A (zh) 2022-04-08 2022-04-08 图像传感器、成像模组、图像采集设备和图像处理方法

Publications (1)

Publication Number Publication Date
CN116939383A true CN116939383A (zh) 2023-10-24

Family

ID=88244000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210364358.7A Pending CN116939383A (zh) 2022-04-08 2022-04-08 图像传感器、成像模组、图像采集设备和图像处理方法

Country Status (2)

Country Link
CN (1) CN116939383A (zh)
WO (1) WO2023193626A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160006954A1 (en) * 2014-07-03 2016-01-07 Snap Vision Technologies LLC Multispectral Detection and Processing From a Moving Platform
EP3510558A4 (en) * 2016-09-06 2020-05-06 B.G. Negev Technologies and Applications Ltd., at Ben-Gurion University OBTAINING HYPERSPECTRAL DATA FROM AN IMAGE
CN108419061B (zh) * 2017-02-10 2020-10-02 杭州海康威视数字技术股份有限公司 基于多光谱的图像融合设备、方法及图像传感器
WO2020199205A1 (zh) * 2019-04-04 2020-10-08 合刃科技（深圳）有限公司 一种混合型高光谱图像重构的方法及系统
CN112672054B (zh) * 2020-12-25 2022-06-10 维沃移动通信有限公司 对焦方法、装置及电子设备
CN113225485B (zh) * 2021-03-19 2023-02-28 浙江大华技术股份有限公司 图像采集组件、融合方法、电子设备及存储介质

Also Published As

Publication number Publication date
WO2023193626A1 (zh) 2023-10-12

Similar Documents

Publication Publication Date Title
US9992457B2 (en) High resolution multispectral image capture
US10735698B2 (en) Systems and methods for converting non-Bayer pattern color filter array image data
US7855786B2 (en) Single camera multi-spectral imager
US20180045569A1 (en) Spectral imaging system
EP2523160A1 (en) Image processing device, image processing method, and program
Mihoubi et al. Multispectral demosaicing using intensity-based spectral correlation
US20030063185A1 (en) Three-dimensional imaging with complementary color filter arrays
JP4328424B2 (ja) 画像変換方法
CN110771152B (zh) 复眼摄像装置、图像处理方法以及记录介质
CN112672054B (zh) 对焦方法、装置及电子设备
EP4270976A2 (en) Devices and methods for high dynamic range video
KR20070011429A (ko) 디지털 이미징 시스템을 이용하여 오브젝트로부터 광의대안적 형태의 재생
CN106507065B (zh) 拍摄装置、拍摄系统、图像生成装置及滤色器
US9188480B2 (en) Color filter array and image sensor
US20210314543A1 (en) Imaging system and method
CN114189665A (zh) 图像生成装置及拍摄装置
US10334185B2 (en) Image capturing device, signal separation device, and image capturing method
JP2018107731A (ja) 画像生成装置及び撮像装置
Kumar et al. New digital camera sensor architecture for low light imaging
CN116939383A (zh) 图像传感器、成像模组、图像采集设备和图像处理方法
CN104956669A (zh) 图像处理装置、摄像装置、图像处理方法和程序
Guttosch Investigation of Color Aliasing of High Spatial Frequencies and Edges for Bayer-Pattern Sensors and Foveon X3® Direct Image Sensors
CN112802068A (zh) 一种同步获取深度、彩色与光谱图像的装置及识别系统
CN114584725A (zh) 一种图像传感器及成像装置
US20220408021A1 (en) Information processing device and method, imaging apparatus and method, program, and interchangeable lens

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination