CN116757981A - 一种多终端图像融合方法及装置 - Google Patents
一种多终端图像融合方法及装置 Download PDFInfo
- Publication number
- CN116757981A CN116757981A CN202310728424.9A CN202310728424A CN116757981A CN 116757981 A CN116757981 A CN 116757981A CN 202310728424 A CN202310728424 A CN 202310728424A CN 116757981 A CN116757981 A CN 116757981A
- Authority
- CN
- China
- Prior art keywords
- terminal
- image data
- target
- fusion
- result
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 24
- 230000004927 fusion Effects 0.000 claims abstract description 46
- 238000001514 detection method Methods 0.000 claims abstract description 37
- 238000000034 method Methods 0.000 claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims description 30
- 238000012216 screening Methods 0.000 claims description 20
- 238000007499 fusion processing Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种多终端图像融合方法及装置。其中,该方法包括:获取第一终端图像数据和第二终端信号数据;将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果;根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果;将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数。本发明解决了现有技术中的多终端融合方法仅仅是将图像进行拼合并在多个目标终端进行展示,其拼合图像的构成无法在复杂图像环境下,利用不同功能设备来统一调度和融合,降低了图像融合的效果和质量的技术问题。
Description
技术领域
本发明涉及终端图像处理领域,具体而言,涉及一种多终端图像融合方法及装置。
背景技术
随着智能化科技的不断发展,人们的生活、工作、学习之中越来越多地用到了智能化设备,使用智能化科技手段,提高了人们生活的质量,增加了人们学习和工作的效率。
目前,互联网和移动设备在图像处理应用中越来越普及,图像在各种平台和设备上的展示呈现出多样化和复杂化的趋势。传统的图像处理方法往往只适用于特定的平台或设备,无法满足多终端展示的要求。为了解决这个问题,近年来涌现出许多多终端图像融合的方法。其中,较为常见的方法包括:1.基于像素的融合方法:该方法通过对图像进行像素级别的合成,使合成后的图像能够在多个平台和设备上呈现相似的视觉效果。2.基于深度学习的融合方法:该方法利用深度学习模型对图像进行特征提取和分析,并根据不同平台和设备的要求,对特征进行调整和优化,以获得更好的融合效果。但是现有技术中的多终端融合方法仅仅是将图像进行拼合并在多个目标终端进行展示,其拼合图像的构成无法在复杂图像环境下,利用不同功能设备来统一调度和融合,降低了图像融合的效果和质量。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种多终端图像融合方法及装置,以至少解决现有技术中的多终端融合方法仅仅是将图像进行拼合并在多个目标终端进行展示,其拼合图像的构成无法在复杂图像环境下,利用不同功能设备来统一调度和融合,降低了图像融合的效果和质量的技术问题。
根据本发明实施例的一个方面,提供了一种多终端图像融合方法,包括:获取第一终端图像数据和第二终端信号数据;将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果;根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果;将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数。
可选的,所述第一终端和所述第二终端部署在同一应用区域。
可选的,所述根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果包括:提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;根据所述工作参数和应用需求参数,生成所述检测距离参数;将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。
可选的,所述将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据包括:提取所述第一终端目标识别结果和所述第二终端目标识别结果的识别标记;将两种所述识别标记进行比对,得到比对结果,其中,所述比对结果包括:目标一致,目标不一致;根据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
根据本发明实施例的另一方面,还提供了一种多终端图像融合装置,包括:获取模块,用于获取第一终端图像数据和第二终端信号数据;输入模块,用于将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果;提取模块,用于根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果;融合模块,用于将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数。
可选的,所述第一终端和所述第二终端部署在同一应用区域。
可选的,所述提取模块包括:提取单元,用于提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;生成单元,用于根据所述工作参数和应用需求参数,生成所述检测距离参数;输入单元,用于将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。
可选的,所述融合模块包括:提取单元,用于提取所述第一终端目标识别结果和所述第二终端目标识别结果的识别标记;比对单元,用于将两种所述识别标记进行比对,得到比对结果,其中,所述比对结果包括:目标一致,目标不一致;融合单元,用于根据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
根据本发明实施例的另一方面,还提供了一种非易失性存储介质,所述非易失性存储介质包括存储的程序,其中,所述程序运行时控制非易失性存储介质所在的设备执行一种多终端图像融合方法。
根据本发明实施例的另一方面,还提供了一种电子装置,包含处理器和存储器;所述存储器中存储有计算机可读指令,所述处理器用于运行所述计算机可读指令,其中,所述计算机可读指令运行时执行一种多终端图像融合方法。
在本发明实施例中,采用获取第一终端图像数据和第二终端信号数据;将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果;根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果;将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数的方式,解决了现有技术中的多终端融合方法仅仅是将图像进行拼合并在多个目标终端进行展示,其拼合图像的构成无法在复杂图像环境下,利用不同功能设备来统一调度和融合,降低了图像融合的效果和质量的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种多终端图像融合方法的流程图;
图2是根据本发明实施例的一种多终端图像融合装置的结构框图;
图3是根据本发明实施例的用于执行根据本发明的方法的终端设备的框图;
图4是根据本发明实施例的用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
根据本发明实施例,提供了一种多终端图像融合方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
实施例一
图1是根据本发明实施例的一种多终端图像融合方法的流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取第一终端图像数据和第二终端信号数据。
具体的,本发明实施例为了解决现有技术中的多终端融合方法仅仅是将图像进行拼合并在多个目标终端进行展示,其拼合图像的构成无法在复杂图像环境下,利用不同功能设备来统一调度和融合,降低了图像融合的效果和质量的技术问题,需要首先将第一终端的图像数据,以及第二终端的信号数据进行获取,其中,第一终端是负责拍摄的主要图像采集设备,第二终端可以是一个或多个辅助进行图像目标检测的设备,如雷达。
可选的,所述第一终端和所述第二终端部署在同一应用区域。
具体的,本发明实施例所涉及的应用场景下第一终端和第二终端,分别用于采集主要的图像数据和采集辅助的信号数据,用于将同一个场景下的多个目标参数进行分析和处理,得到预期的图像处理结果,因此所述第一终端和所述第二终端部署在同一应用区域。
步骤S104,将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果。
具体的,本发明实施例将所述第一终端图像数据获取成功之后,为了将第一终端图像数据中的目标信息进行识别,并用于后续对于目标数据的处理,需要利用历史识别数据构建目标识别神经网络模型,并将第一终端图像数据输入至目标识别模型中,并通过模型计算输出第一终端的目标识别结果,其中,上述第一终端目标识别结果可以是识别目标的图像数据、坐标、状态、运动参数等。
步骤S106,根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果。
可选的,所述根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果包括:提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;根据所述工作参数和应用需求参数,生成所述检测距离参数;将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。
具体的,本发明实施例为了获取第二终端的目标相关信息,需要根据检测到的距离参数来获取第二终端识别的目标识别结果,其中,目标识别结果中的参数可以包括目标位置参数等,例如,根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果包括:提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;根据所述工作参数和应用需求参数,生成所述检测距离参数;将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。
步骤S108,将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数。
可选的,所述将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据包括:提取所述第一终端目标识别结果和所述第二终端目标识别结果的识别标记;将两种所述识别标记进行比对,得到比对结果,其中,所述比对结果包括:目标一致,目标不一致;根据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
具体的,在本发明实施例获取到了第一终端目标识别结果和第二终端目标识别结果之后,为了验证其计算的有效性和正确性,需要将上述第一终端目标识别结果和第二终端目标识别结果的标记进行提取,其中,目标的标记表征着目标的唯一性标识,因此在比对目标标记的时候可以判断第一终端和第二终端识别的目标是否为同一个目标,当确定了是同一个目标的时候,据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
通过上述实施例,解决了现有技术中的多终端融合方法仅仅是将图像进行拼合并在多个目标终端进行展示,其拼合图像的构成无法在复杂图像环境下,利用不同功能设备来统一调度和融合,降低了图像融合的效果和质量的技术问题。
实施例二
图2是根据本发明实施例的一种多终端图像融合装置的结构框图,如图2所示,该装置包括:
获取模块20,用于获取第一终端图像数据和第二终端信号数据。
具体的,本发明实施例为了解决现有技术中的多终端融合方法仅仅是将图像进行拼合并在多个目标终端进行展示,其拼合图像的构成无法在复杂图像环境下,利用不同功能设备来统一调度和融合,降低了图像融合的效果和质量的技术问题,需要首先将第一终端的图像数据,以及第二终端的信号数据进行获取,其中,第一终端是负责拍摄的主要图像采集设备,第二终端可以是一个或多个辅助进行图像目标检测的设备,如雷达。
可选的,所述第一终端和所述第二终端部署在同一应用区域。
具体的,本发明实施例所涉及的应用场景下第一终端和第二终端,分别用于采集主要的图像数据和采集辅助的信号数据,用于将同一个场景下的多个目标参数进行分析和处理,得到预期的图像处理结果,因此所述第一终端和所述第二终端部署在同一应用区域。
输入模块22,用于将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果。
具体的,本发明实施例将所述第一终端图像数据获取成功之后,为了将第一终端图像数据中的目标信息进行识别,并用于后续对于目标数据的处理,需要利用历史识别数据构建目标识别神经网络模型,并将第一终端图像数据输入至目标识别模型中,并通过模型计算输出第一终端的目标识别结果,其中,上述第一终端目标识别结果可以是识别目标的图像数据、坐标、状态、运动参数等。
提取模块24,用于根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果。
可选的,所述提取模块包括:提取单元,用于提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;生成单元,用于根据所述工作参数和应用需求参数,生成所述检测距离参数;输入单元,用于将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。
具体的,本发明实施例为了获取第二终端的目标相关信息,需要根据检测到的距离参数来获取第二终端识别的目标识别结果,其中,目标识别结果中的参数可以包括目标位置参数等,例如,根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果包括:提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;根据所述工作参数和应用需求参数,生成所述检测距离参数;将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。
融合模块26,用于将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数。
可选的,所述融合模块包括:提取单元,用于提取所述第一终端目标识别结果和所述第二终端目标识别结果的识别标记;比对单元,用于将两种所述识别标记进行比对,得到比对结果,其中,所述比对结果包括:目标一致,目标不一致;融合单元,用于根据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
具体的,在本发明实施例获取到了第一终端目标识别结果和第二终端目标识别结果之后,为了验证其计算的有效性和正确性,需要将上述第一终端目标识别结果和第二终端目标识别结果的标记进行提取,其中,目标的标记表征着目标的唯一性标识,因此在比对目标标记的时候可以判断第一终端和第二终端识别的目标是否为同一个目标,当确定了是同一个目标的时候,据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
通过上述实施例,解决了现有技术中的多终端融合方法仅仅是将图像进行拼合并在多个目标终端进行展示,其拼合图像的构成无法在复杂图像环境下,利用不同功能设备来统一调度和融合,降低了图像融合的效果和质量的技术问题。
根据本发明实施例的另一方面,还提供了一种非易失性存储介质,所述非易失性存储介质包括存储的程序,其中,所述程序运行时控制非易失性存储介质所在的设备执行一种多终端图像融合方法。
具体的,上述方法包括:获取第一终端图像数据和第二终端信号数据;将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果;根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果;将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数。可选的,所述第一终端和所述第二终端部署在同一应用区域。可选的,所述根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果包括:提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;根据所述工作参数和应用需求参数,生成所述检测距离参数;将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。可选的,所述将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据包括:提取所述第一终端目标识别结果和所述第二终端目标识别结果的识别标记;将两种所述识别标记进行比对,得到比对结果,其中,所述比对结果包括:目标一致,目标不一致;根据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
根据本发明实施例的另一方面,还提供了一种电子装置,包含处理器和存储器;所述存储器中存储有计算机可读指令,所述处理器用于运行所述计算机可读指令,其中,所述计算机可读指令运行时执行一种多终端图像融合方法。
具体的,上述方法包括:获取第一终端图像数据和第二终端信号数据;将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果;根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果;将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数。可选的,所述第一终端和所述第二终端部署在同一应用区域。可选的,所述根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果包括:提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;根据所述工作参数和应用需求参数,生成所述检测距离参数;将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。可选的,所述将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据包括:提取所述第一终端目标识别结果和所述第二终端目标识别结果的识别标记;将两种所述识别标记进行比对,得到比对结果,其中,所述比对结果包括:目标一致,目标不一致;根据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,图3为本申请一实施例提供的终端设备的硬件结构示意图。如图3所示,该终端设备可以包括输入设备30、处理器31、输出设备32、存储器33和至少一个通信总线34。通信总线34用于实现元件之间的通信连接。存储器33可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,存储器33中可以存储各种程序,用于完成各种处理功能以及实现本实施例的方法步骤。
可选的,上述处理器31例如可以为中央处理器(Central Processing Unit,简称CPU)、应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,该处理器31通过有线或无线连接耦合到上述输入设备30和输出设备32。
可选的,上述输入设备30可以包括多种输入设备,例如可以包括面向用户的用户接口、面向设备的设备接口、软件的可编程接口、摄像头、传感器中至少一种。可选的,该面向设备的设备接口可以是用于设备与设备之间进行数据传输的有线接口、还可以是用于设备与设备之间进行数据传输的硬件插入接口(例如USB接口、串口等);可选的,该面向用户的用户接口例如可以是面向用户的控制按键、用于接收语音输入的语音输入设备以及用户接收用户触摸输入的触摸感知设备(例如具有触摸感应功能的触摸屏、触控板等);可选的,上述软件的可编程接口例如可以是供用户编辑或者修改程序的入口,例如芯片的输入引脚接口或者输入接口等;可选的,上述收发信机可以是具有通信功能的射频收发芯片、基带处理芯片以及收发天线等。麦克风等音频输入设备可以接收语音数据。输出设备32可以包括显示器、音响等输出设备。
在本实施例中,该终端设备的处理器包括用于执行各设备中数据处理装置各模块的功能,具体功能和技术效果参照上述实施例即可,此处不再赘述。
图4为本申请另一实施例提供的终端设备的硬件结构示意图。图4是对图3在实现过程中的一个具体的实施例。如图4所示,本实施例的终端设备包括处理器41以及存储器42。
处理器41执行存储器42所存放的计算机程序代码,实现上述实施例中的方法。
存储器42被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,例如消息,图片,视频等。存储器42可能包含随机存取存储器(random access memory,简称RAM),也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
可选地,处理器41设置在处理组件40中。该终端设备还可以包括:通信组件43,电源组件44,多媒体组件45,音频组件46,输入/输出接口47和/或传感器组件48。终端设备具体所包含的组件等依据实际需求设定,本实施例对此不作限定。
处理组件40通常控制终端设备的整体操作。处理组件40可以包括一个或多个处理器41来执行指令,以完成上述方法的全部或部分步骤。此外,处理组件40可以包括一个或多个模块,便于处理组件40和其他组件之间的交互。例如,处理组件40可以包括多媒体模块,以方便多媒体组件45和处理组件40之间的交互。
电源组件44为终端设备的各种组件提供电力。电源组件44可以包括电源管理系统,一个或多个电源,及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件45包括在终端设备和用户之间的提供一个输出接口的显示屏。在一些实施例中,显示屏可以包括液晶显示器(LCD)和触摸面板(TP)。如果显示屏包括触摸面板,显示屏可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
音频组件46被配置为输出和/或输入音频信号。例如,音频组件46包括一个麦克风(MIC),当终端设备处于操作模式,如语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器42或经由通信组件43发送。在一些实施例中,音频组件46还包括一个扬声器,用于输出音频信号。
输入/输出接口47为处理组件40和外围接口模块之间提供接口,上述外围接口模块可以是点击轮,按钮等。这些按钮可包括但不限于:音量按钮、启动按钮和锁定按钮。
传感器组件48包括一个或多个传感器,用于为终端设备提供各个方面的状态评估。例如,传感器组件48可以检测到终端设备的打开/关闭状态,组件的相对定位,用户与终端设备接触的存在或不存在。传感器组件48可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在,包括检测用户与终端设备间的距离。在一些实施例中,该传感器组件48还可以包括摄像头等。
通信组件43被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个实施例中,该终端设备中可以包括SIM卡插槽,该SIM卡插槽用于插入SIM卡,使得终端设备可以登录GPRS网络,通过互联网与服务端建立通信。
由上可知,在图4实施例中所涉及的通信组件43、音频组件46以及输入/输出接口47、传感器组件48均可以作为图3实施例中的输入设备的实现方式。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种多终端图像融合方法,其特征在于,包括:
获取第一终端图像数据和第二终端信号数据;
将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果;
根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果;
将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数。
2.根据权利要求1所述的方法,其特征在于,所述第一终端和所述第二终端部署在同一应用区域。
3.根据权利要求1所述的方法,其特征在于,所述根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果包括:
提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;
根据所述工作参数和应用需求参数,生成所述检测距离参数;
将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。
4.根据权利要求1所述的方法,其特征在于,所述将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据包括:
提取所述第一终端目标识别结果和所述第二终端目标识别结果的识别标记;
将两种所述识别标记进行比对,得到比对结果,其中,所述比对结果包括:目标一致,目标不一致;
根据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
5.一种多终端图像融合装置,其特征在于,包括:
获取模块,用于获取第一终端图像数据和第二终端信号数据;
输入模块,用于将所述第一终端图像数据输入至目标识别模型,生成第一终端目标识别结果;
提取模块,用于根据检测距离参数提取所述第二终端信号数据中的第二终端目标识别结果;
融合模块,用于将所述第一终端目标识别结果和所述第二终端目标识别结果进行融合,得到融合图像数据,其中,所述融合图像数据包括:图像数据、目标识别数据、终端参数。
6.根据权利要求5所述的装置,其特征在于,所述第一终端和所述第二终端部署在同一应用区域。
7.根据权利要求5所述的装置,其特征在于,所述提取模块包括:
提取单元,用于提取所述第二终端的工作参数,其中,所述工作参数包括:检测范围;
生成单元,用于根据所述工作参数和应用需求参数,生成所述检测距离参数;
输入单元,用于将所述第二终端信号中的识别集合输入至目标筛选矩阵中,得到所述第二终端目标识别结果,其中,所述目标筛选矩阵是二维匹配矩阵。
8.根据权利要求5所述的装置,其特征在于,所述融合模块包括:
提取单元,用于提取所述第一终端目标识别结果和所述第二终端目标识别结果的识别标记;
比对单元,用于将两种所述识别标记进行比对,得到比对结果,其中,所述比对结果包括:目标一致,目标不一致;
融合单元,用于根据所述比对结果,将所述第一终端目标识别结果和所述第二终端目标识别结果输入至融合模板中进行融合处理,得到所述融合图像数据。
9.一种非易失性存储介质,其特征在于,所述非易失性存储介质包括存储的程序,其中,所述程序运行时控制非易失性存储介质所在的设备执行权利要求1至4中任意一项所述的方法。
10.一种电子装置,其特征在于,包含处理器和存储器;所述存储器中存储有计算机可读指令,所述处理器用于运行所述计算机可读指令,其中,所述计算机可读指令运行时执行权利要求1至4中任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310728424.9A CN116757981A (zh) | 2023-06-19 | 2023-06-19 | 一种多终端图像融合方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310728424.9A CN116757981A (zh) | 2023-06-19 | 2023-06-19 | 一种多终端图像融合方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116757981A true CN116757981A (zh) | 2023-09-15 |
Family
ID=87950991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310728424.9A Pending CN116757981A (zh) | 2023-06-19 | 2023-06-19 | 一种多终端图像融合方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116757981A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023645A (zh) * | 2016-07-29 | 2016-10-12 | 北京华航无线电测量研究所 | 一种光电与雷达复合车位检测系统 |
US20180281813A1 (en) * | 2017-03-31 | 2018-10-04 | Panasonic Intellectual Property Management Co., Ltd. | Driving support method, data processor using the same, and driving support system using the same |
CN109583383A (zh) * | 2018-11-30 | 2019-04-05 | 湖南华诺星空电子技术有限公司 | 一种基于多源传感器的无人机生命探测方法及系统 |
US20210012165A1 (en) * | 2018-03-29 | 2021-01-14 | Shanghai Zttvision Technologies Co.Ltd | Data processing method and device based on multi-sensor fusion, and multi-sensor fusion method |
WO2021135879A1 (zh) * | 2020-09-07 | 2021-07-08 | 平安科技(深圳)有限公司 | 监控车辆数据方法、装置、计算机设备及存储介质 |
WO2021259344A1 (zh) * | 2020-06-24 | 2021-12-30 | 中国第一汽车股份有限公司 | 车辆检测方法、装置、车辆和存储介质 |
CN114529789A (zh) * | 2020-10-30 | 2022-05-24 | 北京万集科技股份有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
CN115775384A (zh) * | 2023-02-13 | 2023-03-10 | 北京理工大学前沿技术研究院 | 一种基于雷达和视频融合的道路目标感知方法及系统 |
-
2023
- 2023-06-19 CN CN202310728424.9A patent/CN116757981A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106023645A (zh) * | 2016-07-29 | 2016-10-12 | 北京华航无线电测量研究所 | 一种光电与雷达复合车位检测系统 |
US20180281813A1 (en) * | 2017-03-31 | 2018-10-04 | Panasonic Intellectual Property Management Co., Ltd. | Driving support method, data processor using the same, and driving support system using the same |
US20210012165A1 (en) * | 2018-03-29 | 2021-01-14 | Shanghai Zttvision Technologies Co.Ltd | Data processing method and device based on multi-sensor fusion, and multi-sensor fusion method |
CN109583383A (zh) * | 2018-11-30 | 2019-04-05 | 湖南华诺星空电子技术有限公司 | 一种基于多源传感器的无人机生命探测方法及系统 |
WO2021259344A1 (zh) * | 2020-06-24 | 2021-12-30 | 中国第一汽车股份有限公司 | 车辆检测方法、装置、车辆和存储介质 |
WO2021135879A1 (zh) * | 2020-09-07 | 2021-07-08 | 平安科技(深圳)有限公司 | 监控车辆数据方法、装置、计算机设备及存储介质 |
CN114529789A (zh) * | 2020-10-30 | 2022-05-24 | 北京万集科技股份有限公司 | 目标检测方法、装置、计算机设备和存储介质 |
CN115775384A (zh) * | 2023-02-13 | 2023-03-10 | 北京理工大学前沿技术研究院 | 一种基于雷达和视频融合的道路目标感知方法及系统 |
Non-Patent Citations (2)
Title |
---|
SHUAI TENG 等: "Multi-Sensor and Decision-Level Fusion-Based Structural Damage Detection Using a One-Dimensional Convolutional Neural Network", 《SENSORS》, pages 1 - 21 * |
梁晨晨 等: "基于雷达和摄像头传感器融合的辅助驾驶目标检测算法", 《信息技术与信息化》, no. 12, pages 6 - 9 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN116614453B (zh) | 一种基于云端互联的图像传输带宽选择方法及装置 | |
CN116261044B (zh) | 一种亿级相机的智能调焦方法及装置 | |
CN115409869B (zh) | 一种基于mac跟踪的雪场轨迹分析方法及装置 | |
CN116595069A (zh) | 一种基于大数据的过滤展示方法及系统 | |
CN115527045A (zh) | 一种用于雪场危险识别的图像辨别方法及装置 | |
CN116757981A (zh) | 一种多终端图像融合方法及装置 | |
CN116579965B (zh) | 一种多图像融合方法及装置 | |
CN116468883B (zh) | 一种高精度图像数据体积雾识别方法及装置 | |
CN116579964B (zh) | 一种动帧渐入渐出动态融合方法及装置 | |
CN116228593B (zh) | 一种基于分级抗锯齿的图像完善方法及装置 | |
CN115345808B (zh) | 一种基于多元信息采集的画面生成方法及装置 | |
CN115984333B (zh) | 一种飞机目标平滑跟踪方法及装置 | |
CN115858240B (zh) | 一种光相机数据备份方法及装置 | |
CN116758165B (zh) | 一种基于阵列相机的图像标定方法及装置 | |
CN116302041B (zh) | 一种光场相机接口模块优化方法及装置 | |
CN116797479B (zh) | 一种图像垂直畸变转换方法 | |
CN116757983B (zh) | 一种主辅图像融合方法及装置 | |
CN116723419B (zh) | 一种用于十亿级高精度相机的采集速度优化方法及装置 | |
CN116389915B (zh) | 一种降低光场相机闪烁的方法及装置 | |
CN116528052B (zh) | 一种增加高速运动下光场相机曝光精度的方法及装置 | |
CN116723298B (zh) | 一种提升相机端传输效率的方法及装置 | |
CN116017128A (zh) | 一种边缘相机辅助图像构建方法及装置 | |
CN116774929A (zh) | 一种基于大数据的数据存储方法及系统 | |
CN116452481A (zh) | 一种多角度组合拍摄方法及装置 | |
CN116485841A (zh) | 一种基于多广角的运动规则识别方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |