CN116363031B - 基于多维光学信息融合的成像方法、装置、设备及介质 - Google Patents
基于多维光学信息融合的成像方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116363031B CN116363031B CN202310190404.0A CN202310190404A CN116363031B CN 116363031 B CN116363031 B CN 116363031B CN 202310190404 A CN202310190404 A CN 202310190404A CN 116363031 B CN116363031 B CN 116363031B
- Authority
- CN
- China
- Prior art keywords
- pixel
- image
- chain
- pixel chain
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 65
- 230000004927 fusion Effects 0.000 title claims abstract description 52
- 230000003287 optical effect Effects 0.000 title claims abstract description 35
- 239000011159 matrix material Substances 0.000 claims abstract description 139
- 230000009466 transformation Effects 0.000 claims abstract description 95
- 238000012545 processing Methods 0.000 claims abstract description 39
- 239000013598 vector Substances 0.000 claims description 42
- 238000013507 mapping Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 18
- 238000000605 extraction Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 14
- 238000012216 screening Methods 0.000 claims description 13
- 238000003860 storage Methods 0.000 claims description 10
- 230000001131 transforming effect Effects 0.000 claims description 9
- 238000012512 characterization method Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 28
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 9
- 239000004065 semiconductor Substances 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 239000000463 material Substances 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 229910052710 silicon Inorganic materials 0.000 description 3
- 239000010703 silicon Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
Abstract
本发明涉及图像处理技术领域，尤其涉及一种基于多维光学信息融合的成像方法、装置、设备及介质。该方法对获取的主形图像和衍支图像进行像素链提取，计算主形图像像素链集合中第一像素链的第一特征描述矩阵和衍支图像像素链集合中第二像素链的第二特征描述矩阵，从主形图像像素链集合中确定与一第二像素链距离最近的W个第一像素链，根据特征描述矩阵计算得到W个变换矩阵及其置信度，当所有置信度满足预设条件时，将第二像素链作为融合像素链，添加至主形图像，得到融合图像，以主形图像和衍支图像进行融合，使融合图像包含丰富的细节信息，采用像素链的特征描述矩阵计算变换矩阵，提高图像融合的精准程度，提高了成像质量。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于多维光学信息融合的成像方法、装置、设备及介质。
背景技术
由于机器视觉技术非接触、应用灵活等优势，目前，工业场景下广泛采用机器视觉技术进行目标定位、检测、测量等任务。但机器视觉技术的任务能力与所采集图像的信息丰富程度息息相关，而现有采集图像的成像方法通常基于单一固定光照条件进行成像，因而导致大部分机器视觉应用被限制在功能简单、容错率高的工业场景。
在高端复杂应用场景下，例如半导体制造检测场景等，由于视觉任务繁多，单次图像处理可能需要完成多种视觉任务。但单一固定光照条件的成像结果所包含的信息比较片面，样品的部分工艺特征可能在当前的单一光照条件下无法体现，从而导致部分视觉任务难以完成。另一方面，复杂应用场景对精度、准确率等指标要求也比较高，而当随机噪声较大时，单一光照条件难以保证足够稳定的全局成像质量较差，样品的关键特征可能被噪声掩盖，视觉处理的指标可靠性也就难以保证。因此，如何提高成像质量成为亟待解决的问题。
发明内容
有鉴于此，本发明实施例提供了一种基于多维光学信息融合的成像方法、装置、设备及介质，以解决成像质量较差的问题。
第一方面，本发明实施例提供一种基于多维光学信息融合的成像方法，所述成像方法包括：
获取主形图像和衍支图像，对所述主形图像和所述衍支图像分别进行像素链提取，得到主形图像像素链集合和衍支图像像素链集合；
根据像素链内像素点的坐标，对所述主形图像像素链集合中的每个第一像素链进行特征描述，得到对应第一像素链的第一特征描述矩阵，对所述衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵；
针对任一个第二像素链，计算所述第二像素链的质心坐标点，将所述质心坐标点映射为所述主形图像中的参考坐标点，从所述主形图像像素链集合中确定与所述参考坐标点距离最近的W个第一像素链，W为大于零的整数；
根据所述对应第一像素链的第一特征描述矩阵和所述对应第二像素链的第二特征描述矩阵，通过矩阵变换分别计算得到W个变换矩阵；
遍历每个变换矩阵，将所述第二像素链中的像素点按照所述变换矩阵进行映射变换，将变换得到的映射像素点和对应所述变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到所述变换矩阵的置信度，当所有置信度中的最大值大于预设阈值时，将所述第二像素链作为融合像素链，遍历所有第二像素链，得到至少一个融合像素链；
将所有融合像素链添加至所述主形图像，得到融合图像。
第二方面，本发明实施例提供一种基于多维光学信息融合的成像装置，所述成像装置包括：
像素链提取模块，用于获取主形图像和衍支图像，对所述主形图像和所述衍支图像分别进行像素链提取，得到主形图像像素链集合和衍支图像像素链集合；
特征描述模块，用于根据像素链内像素点的坐标，对所述主形图像像素链集合中的每个第一像素链进行特征描述，得到对应第一像素链的第一特征描述矩阵，对所述衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵；
像素链选择模块，用于针对任一个第二像素链，计算所述第二像素链的质心坐标点，将所述质心坐标点映射为所述主形图像中的参考坐标点，从所述主形图像像素链集合中确定与所述参考坐标点距离最近的W个第一像素链，W为大于零的整数；
矩阵变换模块，用于根据所述对应第一像素链的第一特征描述矩阵和所述对应第二像素链的第二特征描述矩阵，通过矩阵变换分别计算得到W个变换矩阵；
像素链确定模块，用于遍历每个变换矩阵，将所述第二像素链中的像素点按照所述变换矩阵进行映射变换，将变换得到的映射像素点和对应所述变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到所述变换矩阵的置信度，当所有置信度中的最大值大于预设阈值时，将所述第二像素链作为融合像素链，遍历所有第二像素链，得到至少一个融合像素链；
图像融合模块，用于将所有融合像素链添加至所述主形图像，得到融合图像。
第三方面，本发明实施例提供一种计算机设备，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的成像方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的成像方法。
本发明实施例与现有技术相比存在的有益效果是：
获取主形图像和衍支图像，对主形图像和衍支图像分别进行像素链提取，得到主形图像像素链集合和衍支图像像素链集合，根据像素链内像素点的坐标，对主形图像像素链集合中的每个第一像素链进行特征描述，得到对应第一像素链的第一特征描述矩阵，对衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵，针对任一个第二像素链，计算第二像素链的质心坐标点，将质心坐标点映射为主形图像中的参考坐标点，从主形图像像素链集合中确定与参考坐标点距离最近的W个第一像素链，根据对应第一像素链的第一特征描述矩阵和对应第二像素链的第二特征描述矩阵，通过矩阵变换分别计算得到W个变换矩阵。遍历每个变换矩阵，将第二像素链中的像素点按照变换矩阵进行映射变换，将变换得到的映射像素点和对应变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到变换矩阵的置信度，当所有置信度中的最大值大于预设阈值时，将第二像素链作为融合像素链，遍历所有第二像素链，得到至少一个融合像素链，将所有融合像素链添加至主形图像，得到融合图像，通过多维光学条件下的主形图像和衍支图像进行融合，使得融合图像在以主形图像为基础的情况下，能够包含更丰富的图像细节信息，提高了成像质量，采用像素链的特征描述矩阵进行变换矩阵计算，使得特征描述矩阵具有较好的旋转不变性，提高了图像融合的精准程度，进而提高了成像的质量。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例一提供的一种基于多维光学信息融合的成像方法的一应用环境示意图；
图2是本发明实施例一提供的一种基于多维光学信息融合的成像方法的光学系统示意图；
图3是本发明实施例一提供的一种基于多维光学信息融合的成像方法的流程示意图；
图4是本发明实施例二提供的一种基于多维光学信息融合的成像装置的结构示意图；
图5是本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
为了说明本发明的技术方案，下面通过具体实施例来进行说明。
本发明实施例一提供的一种基于多维光学信息融合的成像方法，可应用在如图1的应用环境中，其中，客户端与光学系统进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、云端终端设备、个人数字助理(personal digital assistant，PDA)等计算机设备。光学系统用于获取目标物体的主形图像和衍支图像，在本实施例中，目标物体可以为半导体材料。
参见图2，是本发明实施例一提供的一种基于多维光学信息融合的成像方法的光学系统示意图，光学系统可以包括半导体样品、主形光源、衍支光源、透镜组、分色棱镜和成像相机，用以获取主形图像和衍支图像，其中，半导体样品可以是指上述目标物体，主形光源可以采用近红外光谱光源，衍支光源可以采用绿色光谱偏振光源和蓝色光谱光源，透镜组可以用于调整成像位置，以便于成像相机接收到主形成像和衍支成像，分色棱镜可以用于光谱分流，以同时实现多光谱光源条件下的同步成像，主形图像可以用于提取目标物体的主干形态信息，因此在光学系统中采用凸显目标物体的主要形态特征的光照条件，适当忽略目标物体的细节特征，衍支图像可以用于提取目标物体的细节信息，因此在光学系统中采用丰富目标物体的局部细节特征的光照条件，在本实施例中，将多幅衍支图像和主形图像融合，能够得到同时拥有主干形态信息和丰富细节信息的融合图像，以应用于复杂的视觉任务处理中，视觉任务处理包括但不限于边缘检测、缺陷检测、视觉点定位和尺寸测量等视觉任务。
在本实施例中，根据近红外光线可以透射半导体的主体材料硅的特性，采用近红外光谱光源对半导体样品进行透射成像，以通过近红外相机采集得到的透射图像作为主形图像，采用透射图像作为主形图像，可以避免半导体的主体材料硅产生的复杂背景，只体现目标物体的主要形态信息，图像噪声少且易于算法处理，但透视成像也会使部分细节信息失去。在绿色光谱偏振光源下，对目标物体反射成像，通过偏振相机采集得到的偏振图像作为一衍支图像，以偏振图像作为衍支图像，保留了材料硅背景反射的部分细节信息，但只接收偏振光，滤除了随机散射杂光的干扰。在蓝色光谱光源下，对目标物体反射成像，通过光强相机采集得到的蓝光图像作为另一衍支图像，以蓝光图像作为衍支图像，保留了更多的细节信息，而且蓝光波长短，分辨率更高，使目标物体的细节信息更加丰富。
上述光学系统仅为本实施例的一种实施方式，实施者可以根据实际情况，调整主形光源和衍支光源的选取，以获取到多光谱光照条件下的成像结果，需要说明的是，上述光学系统获取到的成像结果仅为待处理的图像，需要经过本发明实施例一提供的一种基于多维光学信息融合的成像方法处理后，得到用于视觉任务处理的最终成像结果。
参见图3，是本发明实施例一提供的一种基于多维光学信息融合的成像方法的流程示意图，上述成像方法可以应用于图1中的客户端，客户端对应的计算机设备连接光学系统，以获取主形图像和衍支图像等。如图3所示，该成像方法可以包括以下步骤：
步骤S301，获取主形图像和衍支图像，对主形图像和衍支图像分别进行像素链提取，得到主形图像像素链集合和衍支图像像素链集合。
本实施例中，主形图像可以用于表征目标物体的主干形态信息，衍支图像可以用于表征目标物体的细节信息，目标物体可以为半导体样品，像素链可以包括若干个像素点，像素链提取可以是指对图像进行细化操作，使图像中每一条轮廓、边缘、纹理从多像素宽度减少到单位像素宽度，并被分割为单个像素链，主形图像像素链集合可以包括主形图像进行像素链提取后的若干个第一像素链，衍支图像像素链集合可以包括衍支图像进行像素链提取后的若干个第二像素链。
可选的是，对主形图像和衍支图像分别进行像素链提取，得到主形图像像素链集合和衍支图像像素链集合包括：
对主形图像进行二值化处理，对得到的二值化主形图像进行连通域分割，将分割得到的所有连通域中小于预设面积的连通域筛除，对保留的至少一个连通域进行细化处理，确定细化处理结果为主形图像像素链集合；
针对任一衍支图像，对衍支图像进行二值化处理，对得到的对应衍支图像的二值化衍支图像进行连通域分割，将分割得到的所有连通域中小于预设面积的连通域筛除，对保留的至少一个连通域进行细化处理，确定细化处理结果为衍支图像对应的衍支图像像素链集合，遍历所有衍支图像，得到对应衍支图像的衍支图像像素链集合。
其中，二值化处理可以采用阈值法对主形图像和衍支图像进行处理，得到二值化主形图像和二值化衍支图像。连通域可以是指二值化图像中具有相同像素值且位置相邻的像素点组成的图像区域，细化处理可以采用迭代细化算法和非迭代细化算法。
具体地，在本实施例中，阈值法可以采用大津阈值法，根据所需要二值化处理的待处理图像的像素值分布自适应确定二值化阈值，在确定二值化阈值之后，将待处理图像中像素值大于二值化阈值的像素点的像素值设置为第一预设值，其他像素点的像素值设置为第二预设值，即完成二值化处理，例如，第一预设值可以为1，第二预设值可以为0。
连通域分割可以采用Two-Pass算法和种子填充算法，在本实施例中，采用种子填充算法进行连通域分割，实施者可以直接采用图像处理库中的连通域分割函数进行连通域分割，如OpenCV库中内connectedComponentsWithStats()函数。
预设面积可以用于剔除噪声连通域，其先验条件为噪声对应的连通域通常面积较小，因此可以将预设面积作为阈值将面积较小的连通域筛除，在本实施例中，采用所有连通域的面积均值的二分之一作为预设面积，需要说明的是，连通域面积可以通过连通域包含的像素点数量表征。
细化处理可以用于将连通域表征为结构形状，也即表示为像素链集合，每个连通域在细化处理后对应像素链集合中的一像素链。
本实施例对图像连通域分割，并对分割结果进行筛选，能够有效隔离图像噪声，提高所保留连通域对图像内重要信息的表征能力，进而提高后续成像的质量。
上述获取主形图像和衍支图像，对主形图像和衍支图像分别进行像素链提取，得到主形图像像素链集合和衍支图像像素链集合的步骤，能够有效滤除图像噪声，使图像的有效特征更为明显，提高后续成像的质量。
步骤S302，根据像素链内像素点的坐标，对主形图像像素链集合中的每个第一像素链进行特征描述，得到对应第一像素链的第一特征描述矩阵，对衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵。
其中，每一像素链包含至少一个像素点，第一特征描述矩阵可以用于表征第一像素链的形状特征，第二特征描述矩阵可以用于表征第二像素链的形状特征。
具体地，对任一第一像素链或者第二像素链，对像素链内的每个像素点进行特征描述，得到对应像素点的特征描述向量，将像素链内所有像素点的特征描述向量拼接，得到对应像素链的特征描述矩阵。
可选的是，成像方法还包括：
对主形图像进行特征点提取，从提取到的所有特征点中筛选出不共线的Q个特征点；
对所有衍支图像分别进行特征点提取，得到对应衍支图像的衍支特征点集合；
遍历每张衍支图像，在衍支图像对应的衍支特征点集合中确定和Q个特征点匹配的Q个匹配点，根据Q个匹配点建立衍支坐标系，得到对应衍支图像的衍支坐标系；
相应地，对主形图像像素链集合中的每个第一像素链进行特征描述，得到对应第一像素链的第一特征描述矩阵包括：
针对每个第一像素链，根据第一像素链所属的主形图像对应的图像坐标系，对第一像素链进行特征描述，确定第一像素链对应的第一特征描述矩阵，遍历所有第一像素链，得到对应第一像素链的第一特征描述矩阵；
相应地，对衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵包括：
针对每个第二像素链，根据第二像素链所属的衍支图像对应的衍支坐标系，对第二像素链进行特征描述，确定第二像素链对应的第二特征描述矩阵，遍历所有第二像素链，得到对应第二像素链的第二特征描述矩阵。
其中，Q为大于零的整数，特征点可以是指特征信息较为明显的像素点，衍支特征点集合包含至少Q个衍支特征点，匹配点可以是指与特征点的特征信息匹配的衍支特征信息对应的衍支特征点，主形图像的图像坐标系可以是指以主形图像为基准建立的二维坐标系，衍支坐标系可以用于将衍支图像的像素点变换到主形图像的图像坐标系下，与主形图像的像素点对齐。
具体地，特征点可以通过特征点提取算法获取，特征点提取算法可以采用FAST、Harris、SIFT和ORB等特征点提取算法，在本实施例中，Q可以取5，需要说明的是，为了便于衍支坐标系的建立，建议Q取大于或者等于3的整数。
特征点由形态信息更可靠的主形图像确定，在确定特征点之后，根据特征点在主形图像中的坐标，在衍支图像对应坐标的邻域进行匹配点检测，邻域可以采用预设圆形区域，即以坐标为中心，以预设半径在衍支图像中作圆，得到的圆形区域即为搜索区域，该步骤的先验条件为，主形图像和衍支图像分别采用不同的成像相机采集，因此图像并不是像素对齐的，光学系统在搭建时会通过标定校准硬件使不同图像达到最佳对齐状态，也即尽量使目标物体上任一点在所有图像中处于相同坐标，但考虑硬件变化，如温漂、振动、变形等因素的影响，仍不可避免会使主形图像和衍支图像存在一定的像素点偏差，但偏差不会过大，否则无法进行融合，因此，在邻域进行匹配点检测能够避免对衍支图像进行全局搜索而造成计算负担，从而提高特征点匹配的效率，同时能够避免搜索到近似但非匹配的衍支特征点，导致特征点误匹配，提高特征点匹配的准确率。
本实施例通过特征点匹配的方式获取衍支坐标系，以特征为基础建立更准确的用于图像融合的坐标系，能够有效保障图像融合的高精度。
可选的是，根据第二像素链对应的衍支坐标系，对第二像素链进行特征描述，确定第二像素链对应的第二特征描述矩阵包括：
根据第二像素链所属的衍支图像对应的衍支坐标系，确定第二像素链中每个像素点在衍支坐标系下的第一坐标信息，确定第二像素链中每个像素点在衍支坐标系对应的极坐标系下的第二坐标信息；
针对第二像素链中的任一像素点，计算像素点的曲率，确定曲率、对应像素点的第一坐标信息和第二坐标信息组成像素点的属性向量；
遍历第二像素链中的每一个像素点，将得到的所有属性向量组成第二像素链的属性向量序列，根据属性向量序列计算得到第二像素链对应的特征描述矩阵。
其中，第一坐标信息可以用于表征像素点在衍支图像中的位置信息，第二坐标信息可以用于表征像素点在衍支图像中与原点的距离和角度信息，曲率可以用于表征像素链在该像素点处偏离直线的程度。
属性向量可以用于表征像素点的基础特征信息，属性向量序列可以用于表征像素链的基础特征信息，相应地，特征描述矩阵可以用于表征像素链的深层特征信息。
具体地，对于一第二像素链，从该第二像素链的左上端点开始，遍历每个像素点，对于第二像素链中的第i个像素点，该像素点的属性向量可以表示为(ki,xi,yi,ri,ai)，其中，ki可以是指第i个像素点处的曲率，(xi,yi)可以是指第i个像素点在衍支坐标系下的第一坐标信息，(ri,ai)可以是指第i个像素点在衍支坐标系对应的极坐标系下的第二坐标信息，设第二像素链包含M个像素点，则第二像素链的属性向量序列可以表示为:
*(k1,x1,y1,r1,a1),…,(ki,xi,yi,ri,ai),…,(kM,xM,yM,rM,aM)+
本实施例采用衍支坐标系下的第一坐标信息、第二坐标信息和曲率信息构成属性向量，对于曲率固定的像素链能够有更好的表征效果，从而提高像素链表征的准确率。
可选的是，根据属性向量序列计算得到第二像素链对应的特征描述矩阵包括：
将属性向量序列按照预设类别划分为至少一个子序列；
遍历每个子序列，计算子序列的一阶差分序列和二阶差分序列，确定子序列、一阶差分序列和二阶差分序列中的所有局部极值点为特征描述点；
根据特征描述点所属的子序列对应的预设类别、特征描述点对应的子序列值、一阶差分值、二阶差分值和在衍支坐标系下的第三坐标信息，确定特征描述点的特征描述向量；
将第二像素链中所有特征描述点对应的特征描述向量按行依次排列，得到特征描述矩阵。
其中，预设类别可以是指曲率类别、横坐标类别、纵坐标类别、极径坐标类别和极角坐标类别，子序列可以是指仅包含对应预设类别的属性值的序列。
一阶差分序列和二阶差分序列可以用于表征子序列的变化信息，特征描述点可以是指在子序列中变化较为明显的像素点，第三坐标信息可以是指特征描述点在衍支坐标系下的坐标。
具体地，沿用上例，属性向量序列表示为：
*(k1,x1,y1,r1,a1),…,(ki,xi,yi,ri,ai),…,(kM,xM,yM,rM,aM)+
则曲率类别下的子序列K,M-可以表示为K,M-＝(k1,k2,…,KM)，相应地，子序列K,M-对应的一阶差分序列ΔK,M-和二阶差分序列Δ2K,M-可以通过差分计算得到。
在本实施例中，每个预设类别对应一预设值，例如，曲率类别对应的预设值为1，横坐标类别对应的预设值为2，纵坐标类别对应的预设值为3，极径坐标类别对应的预设值为4，极角坐标类别对应的预设值为5。
举例说明，若一特征描述点对应横坐标类别子序列的第m个序列值，则特征描述向量中，预设类别对应的向量元素值为2，子序列值为X,m-、一阶差分值为ΔX,m-、二阶差分值为Δ2X,m-，在衍支坐标系下的第三坐标信息为(X,m-,Y,m-)，则特征描述向量为[2,X,m-,ΔX,m-,Δ2X,m-,X,m-,Y,m-]。
在一实施方式中，对子序列值、一阶差分值和二阶差分值进行量化运算，即子序列值量化后表示为一阶差分值量化后表示为二阶差分值量化后表示为其中，q0、q1和q2分别为子序列值、一阶差分值和二阶差分值的量化系数，采用量化运算可以起到抑制噪声干扰和加快计算速度的作用，u表示窗口区间参数，设置窗口区间也用于抑制噪声，在本实施例中，u可以设置为1。
本实施例对属性向量序列进行进一步描述，得到特征描述矩阵，使得特征描述矩阵能够表征更丰富的像素链特征信息，便于后续提高基于特征描述矩阵进行变换矩阵计算的准确率。
上述根据像素链内像素点的坐标，对主形图像像素链集合中的每个第一像素链进行特征描述，得到对应第一像素链的第一特征描述矩阵，对衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵的步骤，对像素链进行特征描述，得到特征描述矩阵，使得特征描述矩阵包含更丰富的特征信息，便于提高后续基于特征描述矩阵计算的转换矩阵的准确率，进而提高成像质量。
步骤S303，针对任一个第二像素链，计算第二像素链的质心坐标点，将质心坐标点映射为主形图像中的参考坐标点，从主形图像像素链集合中确定与参考坐标点距离最近的W个第一像素链。
其中，质心坐标点可以是指第二像素链的质心对应的坐标点，参考坐标点可以是指质心坐标点在主形图像中对应的坐标点，W为大于零的整数。
设衍支图像中包含S个第二像素链，对于第s个第二像素链，s为大于零且小于或者等于S的整数，计算第s个第二像素链的质心坐标点和平均法向向量，将质心坐标点映射为主形图像中的参考坐标点，搜索与平均法向向量所在直线距离最近的W个第一像素链对应的质心坐标点。
上述针对任一个第二像素链，计算第二像素链的质心坐标点，将质心坐标点映射为主形图像中的参考坐标点，从主形图像像素链集合中确定与参考坐标点距离最近的W个第一像素链的步骤，通过质心坐标点搜索与第二像素链距离最近的第一像素链，避免对主形像素链集合进行全局搜索，提高了搜索效率。
步骤S304，根据对应第一像素链的第一特征描述矩阵和对应第二像素链的第二特征描述矩阵，通过矩阵变换分别计算得到W个变换矩阵。
其中，变换矩阵可以用于主形图像像素链和衍支图像像素链融合时的坐标系转换。
具体地，对于搜索到的任一第一像素链，从该第一像素链对应的第一特征描述矩阵中，筛选出与对应第二像素链的第二特征描述矩阵前4个元素相同的特征描述向量，根据每个筛选出的特征描述向量确定一组横纵坐标映射对，该横纵坐标映射对可以用于表征衍支图像和主形图像中的相似特征的位置关系。
根据多组横纵坐标映射对，计算得到变换矩阵，变换矩阵可以表示为H，矩阵变换关系可以表示为：
其中，Xs和Ys为衍支图像中第二像素链上的一待变换像素点的坐标，Xb和Yb为主形图像中第一像素链上的一变换像素点的坐标，该待变换像素点和该变换像素点为对应关系，是目标物体上同一位置的表示，变换矩阵H包含6个可变参数，也即6个自由度，因此，需要至少三组横纵坐标映射对才能确定变换矩阵。
在本实施例中，采用RANSAC算法进行变换矩阵的计算，得到适应所有组横纵坐标映射对的求解结果。
上述根据对应第一像素链的第一特征描述矩阵和对应第二像素链的第二特征描述矩阵，通过矩阵变换分别计算得到W个变换矩阵的步骤，根据像素链的特征描述矩阵计算变换矩阵，能够克服图像旋转的影响，计算更加稳定，得到的变换矩阵也更加准确。
步骤S305，遍历每个变换矩阵，将第二像素链中的像素点按照变换矩阵进行映射变换，将变换得到的映射像素点和对应变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到变换矩阵的置信度，当所有置信度中的最大值大于预设阈值时，将第二像素链作为融合像素链，遍历所有第二像素链，得到至少一个融合像素链。
其中，置信度可以表征变换矩阵在进行主形图像像素链和衍支图像像素链之间的坐标系转换时的准确程度，预设阈值可以用于判断变换矩阵是否满足应用于图像融合的标准，融合像素链可以是指待进行融合的像素链。
具体地，将变换得到的映射像素点和对应变换矩阵的第一像素链中的像素点进行比对，在已知第二像素链的像素点和第一像素链中的像素点的对应关系的前提下，比对可以是指第二像素链像素点的映射像素点与第一像素链中的像素点坐标是否一致，比对结果可以包括一致和不一致。当所有置信度中的最大值大于预设阈值时，说明变换矩阵使得衍支图像经过变换后满足融合标准，融合标准即衍支图像变换后与主形图像的像素点偏移在可接受范围内。
可选的是，将变换得到的映射像素点和对应变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到变换矩阵的置信度包括：
统计比对结果一致的映射像素点的数量，得到参考数量；
计算参考数量和所有映射像素点的数量的比值，以比值作为变换矩阵的置信度。
在本实施例中，参考数量可以是指比对结果一致的映射像素点的数量，参考数量和所有映射像素点的数量的比值的取值范围为[0，1]，比值越接近1，说明变换矩阵的变换效果越好，也即变换矩阵的置信度越高。
在一种实施方式中，可以直接根据变换矩阵适用的横纵坐标映射对数量与所有横纵坐标映射对数量的比值作为置信度。
本实施例通过像素点统计及比值计算得到置信度，计算快捷且能够有效表征出变换矩阵在进行主形图像像素链和衍支图像像素链之间的坐标系转换时的准确程度，从而便于对变换矩阵进行筛选，提高后续融合过程的准确率。
上述遍历每个变换矩阵，将第二像素链中的像素点按照变换矩阵进行映射变换，将变换得到的映射像素点和对应变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到变换矩阵的置信度，当所有置信度中的最大值大于预设阈值时，将第二像素链作为融合像素链，遍历所有第二像素链，得到至少一个融合像素链的步骤，能够对第二像素链进行进一步筛选，从而避免出现融合后误差较大的情况，提高了成像质量。
步骤S306，将所有融合像素链添加至主形图像，得到融合图像。
其中，添加可以采用加权法、局部拟合法等融合方法。将每个融合像素链按照对应的变换矩阵变换后，添加至主形图像，得到融合图像。
可选的是，将所有融合像素链添加至主形图像，得到融合图像包括：
针对任一融合像素链，按照预设窗口，确定融合像素链中的每个像素点的参考像素点集合；
确定参考像素点集合在主形图像中对应的待更新像素点集合；
在主形图像中，将参考像素点集合和待更新像素点集合逐点进行像素值加权相加，得到添加后的主形图像，遍历所有融合像素链，得到融合图像。
其中，预设窗口可以用于提取像素点的邻域区域，参考像素点集合可以包含多个待融合的参考像素点，待更新像素点集合可以包含与参考像素点对应的多个待更新像素点。
具体地，在本实施例中，采用加权方式进行像素链的融合，以主形图像初始化得到初始融合图像，对于融合像素链中的每个像素点，确定该像素点的局部法向方向，也即垂直于像素链延伸的方向，沿局部法向方向的正向和反向，分别以窗口尺寸v截取像素点，得到包括该像素点在内的2v+1个参考像素点，对该2v+1个参考像素点，采用对应的变换矩阵进行映射，得到2v+1个待更新像素点。
按顺序将2v+1个参考像素点的灰度值排列，得到第一序列F,t-，2v+1个待更新像素点的灰度值排列得到第二序列G,t-，则更新后的灰度值序列G′,t-可以表示为G′,t-＝w1*F,t-+w2*G,t-，其中，w1为参考像素点的灰度值在加权时的第一权重，w2为待更新像素点的灰度值在加权时的第二权重，在本实施例中，w1取0.4，w2取0.6，实施者可以根据实际情况调整第一权重和第二权重的取值。
上述将所有融合像素链添加至主形图像，得到融合图像的步骤，将不同光学信息图像进行融合，使得最终成像在视觉特征表达上更加全面，能够同时兼容多种不同复杂视觉任务的处理，满足多种视觉处理的需求，也即提高成像的质量。
本实施例通过多维光学条件下的主形图像和衍支图像进行融合，使得融合图像在以主形图像为基础的情况下，能够包含更丰富的图像细节信息，提高了成像质量，采用像素链的特征描述矩阵进行变换矩阵计算，使得特征描述矩阵具有较好的旋转不变性，提高了图像融合的精准程度，进而提高了成像的质量。
对应于上文实施例的基于多维光学信息融合的成像方法，图4示出了本发明实施例二提供的基于多维光学信息融合的成像装置的结构框图，上述成像装置应用于客户端，客户端对应的计算机设备连接光学系统，以获取主形图像和衍支图像等。为了便于说明，仅示出了与本发明实施例相关的部分。
参见图4，该成像装置包括：
像素链提取模块41，用于获取主形图像和衍支图像，对主形图像和衍支图像分别进行像素链提取，得到主形图像像素链集合和衍支图像像素链集合；
特征描述模块42，用于根据像素链内像素点的坐标，对主形图像像素链集合中的每个第一像素链进行特征描述，得到对应第一像素链的第一特征描述矩阵，对衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵；
像素链选择模块43，用于针对任一个第二像素链，计算第二像素链的质心坐标点，将质心坐标点映射为主形图像中的参考坐标点，从主形图像像素链集合中确定与参考坐标点距离最近的W个第一像素链，W为大于零的整数；
矩阵变换模块44，用于根据对应第一像素链的第一特征描述矩阵和对应第二像素链的第二特征描述矩阵，通过矩阵变换分别计算得到W个变换矩阵；
像素链确定模块45，用于遍历每个变换矩阵，将第二像素链中的像素点按照变换矩阵进行映射变换，将变换得到的映射像素点和对应变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到变换矩阵的置信度，当所有置信度中的最大值大于预设阈值时，将第二像素链作为融合像素链，遍历所有第二像素链，得到至少一个融合像素链；
图像融合模块46，用于将所有融合像素链添加至主形图像，得到融合图像。
可选的是，上述像素链提取模块41包括：
主形细化子模块，用于对主形图像进行二值化处理，对得到的二值化主形图像进行连通域分割，将分割得到的所有连通域中小于预设面积的连通域筛除，对保留的至少一个连通域进行细化处理，确定细化处理结果为主形图像像素链集合；
衍支细化子模块，用于针对任一衍支图像，对衍支图像进行二值化处理，对得到的对应衍支图像的二值化衍支图像进行连通域分割，将分割得到的所有连通域中小于预设面积的连通域筛除，对保留的至少一个连通域进行细化处理，确定细化处理结果为衍支图像对应的衍支图像像素链集合，遍历所有衍支图像，得到对应衍支图像的衍支图像像素链集合。
可选的是，上述成像装置还包括：
第一特征点提取模块，用于对主形图像进行特征点提取，从提取到的所有特征点中筛选出不共线的Q个特征点，Q为大于零的整数；
第二特征点提取模块，用于对所有衍支图像分别进行特征点提取，得到对应衍支图像的衍支特征点集合；
特征点匹配模块，用于遍历每张衍支图像，在衍支图像对应的衍支特征点集合中确定和Q个特征点匹配的Q个匹配点，根据Q个匹配点建立衍支坐标系，得到对应衍支图像的衍支坐标系；
相应地，上述特征描述模块42包括：
坐标系描述子模块，用于针对每个第二像素链，根据第二像素链所属的衍支图像对应的衍支坐标系，对第二像素链进行特征描述，确定第二像素链对应的第二特征描述矩阵，遍历所有第二像素链，得到对应第二像素链的第二特征描述矩阵。
可选的是，上述坐标系描述子模块包括：
坐标确定单元，用于根据第二像素链所属的衍支图像对应的衍支坐标系，确定第二像素链中每个像素点在衍支坐标系下的第一坐标信息，确定第二像素链中每个像素点在衍支坐标系对应的极坐标系下的第二坐标信息；
向量组成单元，用于针对第二像素链中的任一像素点，计算像素点的曲率，确定曲率、对应像素点的第一坐标信息和第二坐标信息组成像素点的属性向量；
像素点遍历单元，用于遍历第二像素链中的每一个像素点，将得到的所有属性向量组成第二像素链的属性向量序列，根据属性向量序列计算得到第二像素链对应的特征描述矩阵。
可选的是，上述像素点遍历单元包括：
序列划分子单元，用于将属性向量序列按照预设类别划分为至少一个子序列；
差分计算子单元，用于遍历每个子序列，计算子序列的一阶差分序列和二阶差分序列，确定子序列、一阶差分序列和二阶差分序列中的所有局部极值点为特征描述点；
向量确定子单元，用于根据特征描述点所属的子序列对应的预设类别、特征描述点对应的子序列值、一阶差分值、二阶差分值和在衍支坐标系下的第三坐标信息，确定特征描述点的特征描述向量；
向量排列子单元，用于将第二像素链中所有特征描述点对应的特征描述向量按行依次排列，得到特征描述矩阵。
可选的是，上述像素链确定模块45包括：
数量统计子模块，用于统计比对结果一致的映射像素点的数量，得到参考数量；
比值计算子模块，用于计算参考数量和所有映射像素点的数量的比值，以比值作为变换矩阵的置信度。
可选的是，上述图像融合模块46包括：
窗口提取子模块，用于针对任一融合像素链，按照预设窗口，确定融合像素链中的每个像素点的参考像素点集合；
集合确定子模块，用于确定参考像素点集合在主形图像中对应的待更新像素点集合；
像素点添加子模块，用于在主形图像中，将参考像素点集合和待更新像素点集合逐点进行像素值加权相加，得到添加后的主形图像，遍历所有融合像素链，得到融合图像。
需要说明的是，上述模块、子模块、单元、子单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
图5为本发明实施例三提供的一种计算机设备的结构示意图。如图5所示，该实施例的计算机设备包括：至少一个处理器(图5中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个成像方法实施例中的步骤。
该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图5仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
本发明实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于多维光学信息融合的成像方法，其特征在于，所述成像方法包括：
获取表征目标物体的主干形态信息的主形图像和表征所述目标物体的细节信息的衍支图像；
对所述主形图像进行二值化处理，对得到的二值化主形图像进行连通域分割，将分割得到的所有连通域中小于预设面积的连通域筛除，对保留的至少一个连通域进行细化处理，确定细化处理结果为所述主形图像像素链集合；
针对任一衍支图像，对所述衍支图像进行二值化处理，对得到的对应所述衍支图像的二值化衍支图像进行连通域分割，将分割得到的所有连通域中小于预设面积的连通域筛除，对保留的至少一个连通域进行细化处理，确定细化处理结果为所述衍支图像对应的衍支图像像素链集合，遍历所有衍支图像，得到对应衍支图像的衍支图像像素链集合；
根据像素链内像素点的坐标，对所述主形图像像素链集合中的每个第一像素链进行特征描述，得到对应第一像素链的第一特征描述矩阵，对所述衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵；
针对任一个第二像素链，计算所述第二像素链的质心坐标点，将所述质心坐标点映射为所述主形图像中的参考坐标点，从所述主形图像像素链集合中确定与所述参考坐标点距离最近的W个第一像素链，W为大于零的整数；
根据所述对应第一像素链的第一特征描述矩阵和所述对应第二像素链的第二特征描述矩阵，通过矩阵变换分别计算得到W个变换矩阵；
遍历每个变换矩阵，将所述第二像素链中的像素点按照所述变换矩阵进行映射变换，将变换得到的映射像素点和对应所述变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到所述变换矩阵的置信度，当所有置信度中的最大值大于预设阈值时，将所述第二像素链作为融合像素链，遍历所有第二像素链，得到至少一个融合像素链；
将所有融合像素链添加至所述主形图像，得到融合图像。
2.根据权利要求1所述的成像方法，其特征在于，所述成像方法还包括：
对所述主形图像进行特征点提取，从提取到的所有特征点中筛选出不共线的Q个特征点，Q为大于零的整数；
对所有衍支图像分别进行特征点提取，得到对应衍支图像的衍支特征点集合；
遍历每张衍支图像，在所述衍支图像对应的衍支特征点集合中确定和所述Q个特征点匹配的Q个匹配点，根据所述Q个匹配点建立衍支坐标系，得到对应衍支图像的衍支坐标系；
相应地，对所述衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵包括：
针对每个第二像素链，根据所述第二像素链所属的衍支图像对应的衍支坐标系，对所述第二像素链进行特征描述，确定所述第二像素链对应的第二特征描述矩阵，遍历所有第二像素链，得到对应第二像素链的第二特征描述矩阵。
3.根据权利要求2所述的成像方法，其特征在于，所述根据所述第二像素链对应的衍支坐标系，对所述第二像素链进行特征描述，确定所述第二像素链对应的第二特征描述矩阵包括：
根据所述第二像素链所属的衍支图像对应的衍支坐标系，确定所述第二像素链中每个像素点在所述衍支坐标系下的第一坐标信息，确定所述第二像素链中每个像素点在所述衍支坐标系对应的极坐标系下的第二坐标信息；
针对所述第二像素链中的任一像素点，计算所述像素点的曲率，确定所述曲率、对应所述像素点的第一坐标信息和第二坐标信息组成所述像素点的属性向量；
遍历所述第二像素链中的每一个像素点，将得到的所有属性向量组成所述第二像素链的属性向量序列，根据所述属性向量序列计算得到所述第二像素链对应的特征描述矩阵。
4.根据权利要求3所述的成像方法，其特征在于，所述根据所述属性向量序列计算得到所述第二像素链对应的特征描述矩阵包括：
将所述属性向量序列按照预设类别划分为至少一个子序列；
遍历每个子序列，计算所述子序列的一阶差分序列和二阶差分序列，确定所述子序列、所述一阶差分序列和所述二阶差分序列中的所有局部极值点为特征描述点；
根据所述特征描述点所属的子序列对应的预设类别、所述特征描述点对应的子序列值、一阶差分值、二阶差分值和在所述衍支坐标系下的第三坐标信息，确定所述特征描述点的特征描述向量；
将所述第二像素链中所有特征描述点对应的特征描述向量按行依次排列，得到所述特征描述矩阵。
5.根据权利要求1所述的成像方法，其特征在于，所述将变换得到的映射像素点和对应所述变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到所述变换矩阵的置信度包括：
统计比对结果一致的映射像素点的数量，得到参考数量；
计算所述参考数量和所有映射像素点的数量的比值，以所述比值作为所述变换矩阵的置信度。
6.根据权利要求1至5任一项所述的成像方法，其特征在于，所述将所有融合像素链添加至所述主形图像，得到融合图像包括：
针对任一融合像素链，按照预设窗口，确定所述融合像素链中的每个像素点在其对应衍支图像中的参考像素点集合；
确定所述参考像素点集合在所述主形图像中对应的待更新像素点集合；
在所述主形图像中，将所述参考像素点集合和所述待更新像素点集合逐点进行像素值加权相加，得到添加后的主形图像，遍历所有融合像素链，得到所述融合图像。
7.一种基于多维光学信息融合的成像装置，其特征在于，所述成像装置包括：
像素链提取模块，用于获取表征目标物体的主干形态信息的主形图像和表征所述目标物体的细节信息的衍支图像；
对所述主形图像进行二值化处理，对得到的二值化主形图像进行连通域分割，将分割得到的所有连通域中小于预设面积的连通域筛除，对保留的至少一个连通域进行细化处理，确定细化处理结果为所述主形图像像素链集合；
针对任一衍支图像，对所述衍支图像进行二值化处理，对得到的对应所述衍支图像的二值化衍支图像进行连通域分割，将分割得到的所有连通域中小于预设面积的连通域筛除，对保留的至少一个连通域进行细化处理，确定细化处理结果为所述衍支图像对应的衍支图像像素链集合，遍历所有衍支图像，得到对应衍支图像的衍支图像像素链集合；
特征描述模块，用于根据像素链内像素点的坐标，对所述主形图像像素链集合中的每个第一像素链进行特征描述，得到对应第一像素链的第一特征描述矩阵，对所述衍支图像像素链集合中的每个第二像素链进行特征描述，得到对应第二像素链的第二特征描述矩阵；
像素链选择模块，用于针对任一个第二像素链，计算所述第二像素链的质心坐标点，将所述质心坐标点映射为所述主形图像中的参考坐标点，从所述主形图像像素链集合中确定与所述参考坐标点距离最近的W个第一像素链，W为大于零的整数；
矩阵变换模块，用于根据所述对应第一像素链的第一特征描述矩阵和所述对应第二像素链的第二特征描述矩阵，通过矩阵变换分别计算得到W个变换矩阵；
像素链确定模块，用于遍历每个变换矩阵，将所述第二像素链中的像素点按照所述变换矩阵进行映射变换，将变换得到的映射像素点和对应所述变换矩阵的第一像素链中的像素点进行比对，根据比对结果得到所述变换矩阵的置信度，当所有置信度中的最大值大于预设阈值时，将所述第二像素链作为融合像素链，遍历所有第二像素链，得到至少一个融合像素链；
图像融合模块，用于将所有融合像素链添加至所述主形图像，得到融合图像。
8.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的成像方法。
9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的成像方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310190404.0A CN116363031B (zh) | 2023-02-28 | 2023-02-28 | 基于多维光学信息融合的成像方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310190404.0A CN116363031B (zh) | 2023-02-28 | 2023-02-28 | 基于多维光学信息融合的成像方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116363031A CN116363031A (zh) | 2023-06-30 |
| CN116363031B true CN116363031B (zh) | 2023-11-17 |
Family
ID=86926643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310190404.0A Active CN116363031B (zh) | 2023-02-28 | 2023-02-28 | 基于多维光学信息融合的成像方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116363031B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767388A (zh) * | 2018-12-28 | 2019-05-17 | 西安电子科技大学 | 基于超像素提升图像拼接质量的方法、移动终端、相机 |
| CN111897118A (zh) * | 2020-06-28 | 2020-11-06 | 北京大学 | 基于偏振结构光调制的多维层析荧光显微成像系统及方法 |
| CN112288665A (zh) * | 2020-09-30 | 2021-01-29 | 北京大米科技有限公司 | 图像融合的方法、装置、存储介质及电子设备 |
| WO2021249233A1 (zh) * | 2020-06-10 | 2021-12-16 | 中铁四局集团有限公司 | 一种图像处理方法、目标识别模型训练方法和目标识别方法 |
| CN114648508A (zh) * | 2022-03-25 | 2022-06-21 | 大连大学 | 一种基于多维协同细化网络的多曝光图像融合方法 |
| CN114708313A (zh) * | 2022-03-24 | 2022-07-05 | 安徽大学 | 基于双支路神经网络的光学与sar图像配准方法 |
| CN114972103A (zh) * | 2022-06-06 | 2022-08-30 | 河钢股份有限公司 | 一种针对铁素体晶界的骨骼提取优化算法 |
| CN115496976A (zh) * | 2022-08-29 | 2022-12-20 | 锋睿领创(珠海)科技有限公司 | 多源异构数据融合的视觉处理方法、装置、设备及介质 |
| CN115496975A (zh) * | 2022-08-29 | 2022-12-20 | 锋睿领创(珠海)科技有限公司 | 辅助加权数据融合方法、装置、设备及存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4267598B2 (ja) * | 2005-07-11 | 2009-05-27 | ザイオソフト株式会社 | 画像融合処理方法、画像融合処理プログラム、画像融合処理装置 |
| EP3750104A4 (en) * | 2018-02-09 | 2022-01-05 | The Board Of Trustees Of The University Of Illinois | SYSTEM AND METHOD FOR MERGING MULTIPLE OPTICAL DATA SOURCES TO GENERATE A HIGH-RESOLUTION, FREQUENT, CLOUD / SPACE-FREE SURFACE REFLECTANCE PRODUCT |
-
2023
- 2023-02-28 CN CN202310190404.0A patent/CN116363031B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109767388A (zh) * | 2018-12-28 | 2019-05-17 | 西安电子科技大学 | 基于超像素提升图像拼接质量的方法、移动终端、相机 |
| WO2021249233A1 (zh) * | 2020-06-10 | 2021-12-16 | 中铁四局集团有限公司 | 一种图像处理方法、目标识别模型训练方法和目标识别方法 |
| CN111897118A (zh) * | 2020-06-28 | 2020-11-06 | 北京大学 | 基于偏振结构光调制的多维层析荧光显微成像系统及方法 |
| CN112288665A (zh) * | 2020-09-30 | 2021-01-29 | 北京大米科技有限公司 | 图像融合的方法、装置、存储介质及电子设备 |
| CN114708313A (zh) * | 2022-03-24 | 2022-07-05 | 安徽大学 | 基于双支路神经网络的光学与sar图像配准方法 |
| CN114648508A (zh) * | 2022-03-25 | 2022-06-21 | 大连大学 | 一种基于多维协同细化网络的多曝光图像融合方法 |
| CN114972103A (zh) * | 2022-06-06 | 2022-08-30 | 河钢股份有限公司 | 一种针对铁素体晶界的骨骼提取优化算法 |
| CN115496976A (zh) * | 2022-08-29 | 2022-12-20 | 锋睿领创(珠海)科技有限公司 | 多源异构数据融合的视觉处理方法、装置、设备及介质 |
| CN115496975A (zh) * | 2022-08-29 | 2022-12-20 | 锋睿领创(珠海)科技有限公司 | 辅助加权数据融合方法、装置、设备及存储介质 |
Non-Patent Citations (4)
| Title |
|---|
| MsIFT: Multi-Source Image Fusion Transformer;Xin Zhang 等;《remote sensing》;1-19 * |
| Reconstruction of accurate 3-D surfaces with sharp edges using digital structured light projection and multi-dimensional image fusion;Manh-Trung Le 等;《Optics and Lasers in Engineering》;17-34 * |
| 基于闭合区域特征的光学和SAR图像配准融合;崔奇;《中国优秀硕士学位论文全文数据库 信息科技辑》(第7期);I136-734 * |
| 多源图像融合算法研究;延翔;《中国博士学位论文全文数据库 信息科技辑》(第2期);I138-58 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116363031A (zh) | 2023-06-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021115071A1 (zh) | 单目内窥镜图像的三维重建方法、装置及终端设备 | |
| WO2021004180A1 (zh) | 一种纹理特征提取方法、纹理特征提取装置及终端设备 | |
| CN109784250B (zh) | 自动引导小车的定位方法和装置 | |
| CN109640066B (zh) | 高精度稠密深度图像的生成方法和装置 | |
| WO2022095596A1 (zh) | 图像对齐方法、图像对齐装置及终端设备 | |
| CN111080526A (zh) | 航拍图像的农田面积的测算方法、装置、设备及介质 | |
| CN111368717A (zh) | 视线确定方法、装置、电子设备和计算机可读存储介质 | |
| WO2022179549A1 (zh) | 一种标定方法、装置、计算机设备和存储介质 | |
| WO2022233185A1 (zh) | 一种图像滤波方法、装置、终端和计算机可读存储介质 | |
| CN111461998A (zh) | 一种环境重建方法及装置 | |
| CN111739071B (zh) | 基于初始值的快速迭代配准方法、介质、终端和装置 | |
| CN113744256A (zh) | 一种深度图空洞填充方法、装置、服务器及可读存储介质 | |
| CN111105452A (zh) | 基于双目视觉的高低分辨率融合立体匹配方法 | |
| CN111383254A (zh) | 一种深度信息获取方法、系统及终端设备 | |
| CN110136048B (zh) | 一种图像配准方法及系统、存储介质及终端 | |
| CN114862929A (zh) | 三维目标检测方法、装置、计算机可读存储介质及机器人 | |
| CN111063029A (zh) | 地图构建方法、装置、计算机可读存储介质及机器人 | |
| CN111062927A (zh) | 一种无人机图像质量检测的方法、系统及设备 | |
| CN111062341B (zh) | 视频图像区域的分类方法、装置、设备及存储介质 | |
| CN116363031B (zh) | 基于多维光学信息融合的成像方法、装置、设备及介质 | |
| CN110472085B (zh) | 三维图像搜索方法、系统、计算机设备和存储介质 | |
| WO2019148894A1 (zh) | 一种利用图像斑块追踪测量偏移的方法、装置及存储介质 | |
| CN116109535A (zh) | 一种图像融合方法、设备及计算机可读存储介质 | |
| CN111062984B (zh) | 视频图像区域面积的测量方法、装置、设备及存储介质 | |
| CN114913105A (zh) | 激光点云融合方法、装置、服务器及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |