CN115829897A - 一种图像融合处理方法、装置、电子设备及介质 - Google Patents

一种图像融合处理方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN115829897A
CN115829897A CN202310126070.0A CN202310126070A CN115829897A CN 115829897 A CN115829897 A CN 115829897A CN 202310126070 A CN202310126070 A CN 202310126070A CN 115829897 A CN115829897 A CN 115829897A
Authority
CN
China
Prior art keywords
image
command
fusion
data
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310126070.0A
Other languages
English (en)
Other versions
CN115829897B (zh
Inventor
孟照南
张帆
郭清文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Xinqing Technology Co ltd
Original Assignee
Hubei Xinqing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei Xinqing Technology Co ltd filed Critical Hubei Xinqing Technology Co ltd
Priority to CN202310126070.0A priority Critical patent/CN115829897B/zh
Publication of CN115829897A publication Critical patent/CN115829897A/zh
Application granted granted Critical
Publication of CN115829897B publication Critical patent/CN115829897B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种图像融合处理方法、装置、电子设备及介质,该方法包括:依次连接的主机、处理模块和存储模块,处理模块包括地址转换单元和图像叠加融合单元,地址转换单元根据第一图像的读取命令获取第一图像的坐标信息和数据长度,再根据第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度;图像叠加融合单元根据第二图像的坐标信息和数据长度从存储模块读取第二图像,根据第一图像的坐标信息和数据长度从存储模块读取第一图像;图像叠加融合单元将第一图像和第二图像生成的叠加融合图像或直接将第一图像返回给主机。本发明在AXI读总线上直接可以做视频叠加融合,使得图像融合更加高效、快速。

Description

一种图像融合处理方法、装置、电子设备及介质
技术领域
本发明涉及数据处理技术领域,尤其涉及一种图像融合处理方法、装置、电子设备及介质。
背景技术
在图像融合处理技术领域,经常需要将采集到的视频图像融合叠加在本地生成的包含日期、时间、坐标、参数等图文信息,即在本地视频图像内以“画中画”方式融合叠加采集到的视频图像。
在以往的视频图像融合叠加方式中,通常要通过CPU或者GPU来进行叠加处理,而这种方式实现往往在CPU资源或GPU资源不够时,无法及时高效地进行图像融合。
发明内容
本发明实施例的目的是提供一种图像融合处理方法、装置、电子设备及介质,提升图像融合效率。
在第一方面,为实现上述目的,本发明实施例提供了一种图像融合处理方法,应用于图像融合处理装置,所述图像融合处理装置包括依次连接的主机、处理模块和存储模块,所述处理模块包括地址转换单元和图像叠加融合单元,所述图像融合处理方法包括:
所述地址转换单元根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度;
所述图像叠加融合单元根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像;
所述图像叠加融合单元将所述第一图像和所述第二图像生成的叠加融合图像,或直接将所述第一图像或其他数据返回给所述主机。
在第二方面,为了解决相同的技术问题,本发明实施例提供了一种图像融合处理装置,包括依次连接的主机、处理模块和存储模块,所述处理模块包括地址转换单元和图像叠加融合单元;
所述地址转换单元,用于根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度;
所述图像叠加融合单元,用于根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像;
所述图像叠加融合单元,用于将所述第一图像和所述第二图像生成的叠加融合图像或直接将所述第一图像返回给所述主机。
在第三方面,为了解决相同的技术问题,本发明实施例提供了一种电子设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述存储器与所述处理器耦接,且所述处理器执行所述计算机程序时,实现上述任一项所述的图像融合处理方法中的步骤。
在第四方面,为了解决相同的技术问题,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行上述任一项所述的图像融合处理方法中的步骤。
本发明实施例提供了一种图像融合处理方法、装置、电子设备及介质,本发明在AXI读总线上直接可以做视频叠加融合,在主机AXI读总线处添加硬件以实现图像叠加融合,使得图像融合更加高效、快速。
附图说明
图1为本发明实施例提供的图像融合处理方法的一种流程示意图;
图2为本发明实施例提供的图像融合处理装置的一种结构示意图;
图3为本发明实施例提供的图像融合处理方法的另一种流程示意图;
图4为本发明实施例提供的图像融合处理装置的另一种结构示意图;
图5为本发明实施例提供的图像融合处理方法的另一种流程示意图;
图6为本发明实施例提供的图像融合处理装置的另一种结构示意图;
图7为本发明实施例提供的电子设备的一种结构示意图;
图8为本发明实施例提供的电子设备的另一种结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解的是,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
请参见图1,图1为本发明实施例提供的图像融合处理方法的一种流程示意图,请参见图2,图2为本发明实施例提供的图像融合装置的一种结构示意图,所述图像融合处理装置包括依次连接的主机、处理模块和存储模块,所述处理模块包括地址转换单元和图像叠加融合单元,图像融合处理方法包括步骤S101至步骤S103。
S101所述地址转换单元根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度;
S102所述图像叠加融合单元根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像;
S103所述图像叠加融合单元将所述第一图像和所述第二图像生成的叠加融合图像,或直接将所述第一图像或其他数据返回给所述主机。
具体的,主机包括数据处理单元DPU,DPU是一种将读取到的图像直接发送给显示屏幕的模块,当主机需要输出一个图像时,给图像叠加融合单元发送读取命令,每个读取命令对应一个总线传输,用于读取某一个图像。图像叠加融合单元响应每一个读取命令,返回一个单帧图像或叠加融合图像给主机。叠加融合图像是至少两幅图像进行叠加融合后的图像数据。存储模块为系统内存或其他存储器,存储模块与处理模块的接口之间通过AXI总线进行连接,实现命令和数据的传输。
请参见图3,图3为本发明实施例提供的图像融合处理方法的另一种流程示意图,请参见图4,图4为本发明实施例提供的图像融合装置的另一种结构示意图,所述处理模块还包括地址检查单元,所述图像叠加融合单元包括总线命令二选一子单元,所述地址转换单元根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度之前,还包括步骤:
S301所述地址检查单元接收所述主机发送的待识别读取命令,判断所述待识别读取命令是否为第一图像的读取命令;
S302在所述待识别读取命令属于所述第一图像的读取命令时,将所述第一图像的读取命令发送给所述地址转换单元;
S303在所述待识别读取命令不是所述第一图像的读取命令时,将所述待识别读取命令发送给所述图像叠加融合单元中的总线命令二选一子单元。
请参见图5,图5为本发明实施例提供的图像融合处理方法的另一种流程示意图,所述判断所述待识别读取命令是否为第一图像的读取命令包括步骤:
S501所述地址检查单元解析所述待识别读取命令得到对应的存储地址;
S502所述地址检查单元判断所述存储地址是否在所述第一图像对应的目标存储地址范围内;
S503若判断结果为所述存储地址在所述第一图像对应的目标存储地址范围内,所述地址检查单元确定所述待识别读取命令属于所述第一图像的读取命令;
S504若判断结果为所述存储地址不在所述第一图像对应的目标存储地址范围内,所述地址检查单元确定所述待识别读取命令不是所述第一图像的读取命令。
在一些实施例中,所述地址转换单元根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度包括步骤:
所述地址转换单元根据所述目标存储地址查找第一映射关系表,匹配得到用于与所述第一图像参与叠加融合处理的第二图像的坐标信息和数据长度;
所述地址转换单元将所述第二图像的坐标信息和数据长度,以及所述第一图像的读取命令同时发送至所述图像读取子单元。
示例性的,假设已知第一图像的数据长度即分辨率为100*30,第二图像的数据长度即分辨率为30*20,设定分辨率对应一个点,第一图像的分布区域为(0,0)至(100,30),第二图像的分布区域为(0,0)至(30,20)。如果第一图像中需要参与融合的坐标区域分别为(30,7)到(59,26),即第一图像中点(30,7)到点(59,26)这个矩形区域就是第二图像在第一图像要叠加的区域。设定第二图像放在第一图像的(30,7)这个偏移坐标上,那么第一图像的(30,7)就是第二图像的初始坐标。当要读取第一图像的(30,7)这个点时,需要先发送读取第二图像的(0,0)图像的数据。(30,7)到(59,26)这个区域就是第二图像在第一图像要叠加的区域,当读取命令的第一图像坐标进入地址转换单元后,将第一图像坐标减去初始坐标(30,7)就是第二图像的坐标,即第一图像的坐标(30,7)对应着第二图像的坐标(0,0),第一图像的坐标(59,26)对应着第二图像的坐标(29,19)。因为第一图像的读取命令通过总线传输发送,可能会出现到第二图像右侧不够的情况,如果第一图像读取的数据长度超过了第二图像的剩余数据量,因此只发第二图像有效数据量即可。
在一些实施例中,所述图像叠加融合单元还包括读取命令FIFO子单元、返回数据子单元、待叠加数据缓存FIFO子单元,所述图像叠加融合单元根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像包括步骤:
所述图像读取子单元先将第二标识发送至所述读取命令FIFO子单元,再将所述第二图像的读取命令发送至所述总线命令二选一子单元;所述第二标识用于标记当前发送的读取命令为所述第二图像的读取命令;
所述图像读取子单元先将第一标识发送至所述读取命令FIFO子单元,再将所述第一图像的读取命令发送至所述总线命令二选一子单元;所述第一标识用于标记当前发送的读取命令为所述第一图像的读取命令;
所述返回数据子单元从存储模块处获取返回数据,在获取所述返回数据的同时查看所述读取命令FIFO子单元中存储的命令标识,是第二图像的命令标识还是其它图像或数据的命令标识;
所述返回数据子单元将根据所述第二图像的读取命令标识从所述存储模块读取到的所述第二图像数据存入至所述待叠加数据缓存FIFO子单元;
所述返回数据子单元将根据所述第一图像的读取命令或其它数据的读取命令从所述存储模块读取到的所述第一图像或其它数据发送至所述图像叠加融合单元。
在一些实施例中,所述图像叠加融合单元将所述第一图像和所述第二图像生成的叠加融合图像,或直接将所述第一图像或其他数据返回给所述主机包括步骤:
S601若确定从所述待叠加数据缓存FIFO子单元读取到所述第二图像时,所述图像叠加融合单元将所述第二图像和所述第一图像进行叠加融合处理,并将叠加融合图像返回给所述主机;
S602若确定从所述待叠加数据缓存FIFO子单元未读取到所述第二图像时,所述图像叠加融合单元直接将所述第一图像或其它数据返回给所述主机。
请参见图6,图6为本发明实施例提供的图像融合装置的另一种结构示意图,在一些实施例中,所述图像叠加融合单元还包括:图像解压子单元;
所述图像解压子单元在所述图像叠加融合单元进行叠加融合处理时进行解压并存入至所述待叠加数据缓存FIFO子单元。
具体的,如图6所示可以在第二数据接口M1上增加一个图像解压子单元,可以把待叠加的第二图像使用解压算法解压后保存在待叠加数据缓存FIFO子单元中,后续流程和之前一致。图像叠加融合单元负责把主机要读取的第一图像和第二图像进行叠加融合,以将第一图像和所述第二图像生成的叠加融合图像通过第五数据接口M4上传给主机,或者直接通过第五数据接口M4把第一图像上传给主机,或者直接通过第五数据接口M4把其他数据上传给主机。
地址检查单元:主机通过第一命令接口N0发送待识别读取命令,通过地址检查单元判断待识别读取命令是否是第一图像的读取命令还是其他读取命令,如果是第一图像的读取命令,地址检查单元将第一图像的读取命令通过第三命令接口N2发送给地址转换单元,如果不是则地址检查单元直接通过第七命令接口N6将确定不属于第一图像的读取命令的待识别读取命令(此时用于读取其他数据)发送给总线命令二选一子单元。地址检查单元通过第二命令接口N1将确定不属于第一图像的读取命令的待识别读取命令发送给数据返回命令二选一子单元以记录待识别读取命令不是第二图像的读取命令而是其他数据的读取命令。其中,只有第二图像才会存入待叠加数据缓存FIFO子单元。
地址转换单元:用于把第一图像的读取命令进行解析得到第一图像的坐标信息和数据长度,通过第一图像的坐标信息和数据长度可以知道此坐标上需要叠加融合的第二图像的坐标信息和数据长度,把第二图像的坐标信息和数据长度,以及第一图像的读取命令通过第四命令接口N3一起发送给图像读取子单元。
图像读取子单元:如果要叠加融合第二图像,通过地址转换单元传过来第二图像的坐标信息和数据长度生成第二图像的读取命令,图像读取子单元通过第六命令接口N5把第二图像的读取命令发送出去给总线命令二选一子单元,同时通过第五命令接口N4向读取命令FIFO子单元通知此命令是第二图像的读取命令,即读取命令FIFO子单元记录第二图像的读取命令对应的第二标识。图像读取子单元通过第六命令接口N5把第一图像的读取命令发送出去给总线命令二选一子单元,同时通过第五命令接口N4向读取命令FIFO子单元通知此命令是第一图像的读取命令,即读取命令FIFO子单元记录第一图像的读取命令对应的第一标识。图像读取子单元通过第七命令接口N6把其他数据的读取命令发送出去给总线命令二选一子单元,同时通过第二命令接口N1向读取命令FIFO子单元通知此命令是其他数据的读取命令,即读取命令FIFO子单元记录其他数据的读取命令对应的第三标识。
总线命令二选一子单元:负责接收从第七命令接口N6和第六命令接口N5发送过来的命令,优先级是固定的,不会同时两个接口一起来。其中,第六命令接口N5用于发送第二图像的读取命令和第一图像的读取命令。第七命令接口N6用于发送确定不属于第一图像的读取命令的待识别读取命令(此时用于读取其他数据)。第六命令接口N5和第七命令接口N6命令不会同时过来,因此优先级可任意设置。总线命令二选一子单元通过第八命令接口N7向存储模块发送第七命令接口N6和第六命令接口N5发送过来的命令。
数据返回命令二选一子单元:负责接收从第二命令接口N1和第五命令接口N4发送过来的命令,优先级是固定的,不会同时两个接口一起来。其中,第五命令接口N4发送命令标识以记录读取命令是用于读取第一图像还是用于读取第二图像。第二命令接口N1发送命令标识以记录读取命令是用于读取其它数据。数据返回命令二选一子单元通过第九命令接口N8向读取命令FIFO子单元发送第二命令接口N1和第五命令接口N4发送过来的命令。
读取命令FIFO子单元:负责存储命令标识以记录图像读取子单元发送出去的读取命令是用于读取第一图像、还是用于读取第二图像或用于读取其它数据。读取命令FIFO子单元通过第十命令接口N9向返回数据子单元发送第二命令接口N1和第五命令接口N4发送过来的命令。
返回数据子单元:负责处理根据读取命令通过第一数据接口M0从存储模块处回读或者获取返回数据,根据读取命令FIFO子单元存储的信息,确定返回数据是哪种数据,如果返回数据是基于第二图像的读取命令获取的数据,则通过第二数据接口M1返回给待叠加数据缓存FIFO子单元,如果返回数据是第一图像或其它数据,则通过第四数据接口M3返回给图像叠加融合单元。
待叠加数据缓存FIFO子单元:此模块存储着第二图像的数据。
图像解压子单元在返回数据子单元通过第二数据接口M1从存储模块处获取的返回数据为压缩包时,图像解压子单元将解压后数据通过第六数据接口M5存入至待叠加数据缓存FIFO子单元。
图像叠加融合单元:负责叠加融合第一图像和第二图像,如果第四数据接口M3传输数据,则去检查第三数据接口M2是否有数据,如果第三数据接口M2有数据说明读取到第二图像则需要叠加融合第一图像和第二图像,那么第四数据接口M3将图像叠加融合单元对第一图像和第二图像进行叠加融合后的叠加融合图像发送到第五数据接口M4,由第五数据接口M4将叠加融合图像发送给主机。如果第三数据接口M2没有数据说明未读取到第二图像,那么第四数据接口M3获取的返回数据例如第一图像或其他数据会直接通过图像叠加融合单元发送到第五数据接口M4,由第五数据接口M4将第一图像或其他数据发送给主机。需要注意的是,命令传输顺序是第二图像的读取命令早于第一图像的读取命令,并且第二图像和第一图像的读取是交叉来的,当第一图像返回时,如果需要叠加肯定有第二图像在待叠加数据缓存FIFO,如果待叠加数据缓存FIFO为空,第一图像的返回数据就不需要进行叠加了。
现有技术通过CPU或者GPU做叠加。如果视频在DDR里边是压缩的,CPU或者GPU还得先解开视频再叠加再压缩写回DDR。本发明在图像处理IP的AXI读总线上直接可以做视频叠加融合,在主机读取口的AXI总线添加处硬件实现图像叠加融合,使得图像融合更加高效、快速。
请参见图2,图2为本申请实施例提供的图像拼接装置的一种结构示意图,如图2所示,本申请实施例提供的图像拼接装置,包括依次连接的主机、处理模块和存储模块,所述处理模块包括地址转换单元和图像叠加融合单元;
所述地址转换单元,用于根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度;
所述图像叠加融合单元,用于根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像;
所述图像叠加融合单元,用于将所述第一图像和所述第二图像生成的叠加融合图像或直接将所述第一图像返回给所述主机。
具体实施时,以上各个模块和/或单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块和/或单元的具体实施可参见前面的方法实施例,具体可以达到的有益效果也请参看前面的方法实施例中的有益效果,在此不再赘述。
另外,请参见图7,图7为本发明实施例提供的电子设备的一种结构示意图,该电子设备可以是移动终端如智能手机、平板电脑等设备。如图7所示,电子设备包括处理器、存储器。其中,处理器与存储器电性连接。
处理器是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器内的应用程序,以及调用存储在存储器内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器会按照如下的步骤,将一个或一个以上的应用程序的进程对应的指令加载到存储器中,并由处理器来运行存储在存储器中的应用程序,从而实现各种功能:
所述地址转换单元根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度;
所述图像叠加融合单元根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像;
所述图像叠加融合单元将所述第一图像和所述第二图像生成的叠加融合图像,或直接将所述第一图像或其他数据返回给所述主机。
该电子设备可以实现本发明实施例所提供的图像融合处理方法任一实施例中的步骤,因此,可以实现本发明实施例所提供的任一图像融合处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
请参见图8,图8为本发明实施例提供的电子设备的另一种结构示意图,如图8所示,图8示出了本发明实施例提供的电子设备的具体结构框图,该电子设备可以用于实施上述实施例中提供的图像融合处理方法。该电子设备900可以为移动终端如智能手机或笔记本电脑等设备。
RF电路910用于接收以及发送电磁波,实现电磁波与电信号的相互转换,从而与通讯网络或者其他设备进行通讯。RF电路910可包括各种现有的用于执行这些功能的电路元件,例如,天线、射频收发器、数字信号处理器、加密/解密芯片、用户身份模块(SIM)卡、存储器等等。RF电路910可与各种网络如互联网、企业内部网、无线网络进行通讯或者通过无线网络与其他设备进行通讯。上述的无线网络可包括蜂窝式电话网、无线局域网或者城域网。上述的无线网络可以使用各种通信标准、协议及技术,包括但并不限于全球移动通信系统(Global System for MobileCommunication, GSM)、增强型移动通信技术(Enhanced DataGSMEnvironment, EDGE),宽带码分多址技术(Wideband Code DivisionMultiple Access,WCDMA),码分多址技术(CodeDivision Access, CDMA)、时分多址技术(TimeDivisionMultiple Access, TDMA),无线保真技术(WirelessFidelity, Wi-Fi)(如美国电气和电子工程师协会标准 IEEE 802.11a, IEEE 802.11b, IEEE802.11g 和/或 IEEE 802.11n)、网络电话(Voice over InternetProtocol, VoIP)、全球微波互联接入(WorldwideInteroperabilityfor Microwave Access, Wi-Max)、其他用于邮件、即时通讯及短消息的协议,以及任何其他合适的通讯协议,甚至可包括那些当前仍未被开发出来的协议。
存储器920可用于存储软件程序以及模块,如上述实施例中图像融合处理方法对应的程序指令/模块,处理器980通过运行存储在存储器920内的软件程序以及模块,从而执行各种功能应用以及资源访问,即实现如下功能:
存储器920可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器920可进一步包括相对于处理器980远程设置的存储器,这些远程存储器可以通过网络连接至电子设备900。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入单元930可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,输入单元930可包括触敏表面931以及其他输入设备932。触敏表面931,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面931上或在触敏表面931附近的操作),并根据预先设定的程式驱动相应的连接装置。可选的,触敏表面931可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器980,并能接收处理器980发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面931。除了触敏表面931,输入单元930还可以包括其他输入设备932。具体地,其他输入设备932可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元940可用于显示由用户输入的信息或提供给用户的信息以及电子设备900的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元940可包括显示面板941,可选的,可以采用LCD(Liquid Crystal Display,液晶显示器)、OLED(OrganicLight-Emitting Diode,有机发光二极管)等形式来配置显示面板941。进一步的,触敏表面931可覆盖显示面板941,当触敏表面931检测到在其上或附近的触摸操作后,传送给处理器980以确定触摸事件的类型,随后处理器980根据触摸事件的类型在显示面板941上提供相应的视觉输出。虽然在图中,触敏表面931与显示面板941是作为两个独立的部件来实现输入和输出功能,但是在某些实施例中,可以将触敏表面931与显示面板941集成而实现输入和输出功能。
电子设备900还可包括至少一种传感器950,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板941的亮度,接近传感器可在翻盖合上或者关闭时产生中断。作为运动传感器的一种,重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等;至于电子设备900还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
音频电路960、扬声器961,传声器962可提供用户与电子设备900之间的音频接口。音频电路960可将接收到的音频数据转换后的电信号,传输到扬声器961,由扬声器961转换为声音信号输出;另一方面,传声器962将收集的声音信号转换为电信号,由音频电路960接收后转换为音频数据,再将音频数据输出处理器980处理后,经RF电路910以发送给比如另一终端,或者将音频数据输出至存储器920以便进一步处理。音频电路960还可能包括耳塞插孔,以提供外设耳机与电子设备900的通信。
电子设备900通过传输模块970(例如Wi-Fi模块)可以帮助用户接收请求、发送信息等,它为用户提供了无线的宽带互联网访问。虽然图中示出了传输模块970,但是可以理解的是,其并不属于电子设备900的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器980是电子设备900的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器920内的软件程序和/或模块,以及调用存储在存储器920内的数据,执行电子设备900的各种功能和处理数据,从而对电子设备进行整体监控。可选的,处理器980可包括一个或多个处理核心;在一些实施例中,处理器980可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解地,上述调制解调处理器也可以不集成到处理器980中。
电子设备900还包括给各个部件供电的电源990(比如电池),在一些实施例中,电源可以通过电源管理系统与处理器980逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源990还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出,电子设备900还包括摄像头(如前置摄像头、后置摄像头)、蓝牙模块等,在此不再赘述。具体在本实施例中,电子设备的显示单元是触摸屏显示器,移动终端还包括有存储器,以及一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置以由一个或者一个以上处理器执行一个或者一个以上程序包含用于进行以下操作的指令:
所述地址转换单元根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度;
所述图像叠加融合单元根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像;
所述图像叠加融合单元将所述第一图像和所述第二图像生成的叠加融合图像,或直接将所述第一图像或其他数据返回给所述主机。
具体实施时,以上各个模块可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个模块的具体实施可参见前面的方法实施例,在此不再赘述。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。为此,本发明实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的图像融合处理方法中任一实施例的步骤。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本发明实施例所提供的图像融合处理方法任一实施例中的步骤,因此,可以实现本发明实施例所提供的任一图像融合处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本发明实施例所提供的一种图像融合处理方法、装置、电子设备及介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。并且,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种图像融合处理方法,其特征在于,应用于图像融合处理装置,所述图像融合处理装置包括依次连接的主机、处理模块和存储模块,所述处理模块包括地址转换单元和图像叠加融合单元,所述图像融合处理方法包括:
所述地址转换单元根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度;
所述图像叠加融合单元根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像;
所述图像叠加融合单元将所述第一图像和所述第二图像生成的叠加融合图像,或直接将所述第一图像或其他数据返回给所述主机。
2.如权利要求1所述的图像融合处理方法,其特征在于,所述处理模块还包括地址检查单元,所述图像叠加融合单元包括总线命令二选一子单元;所述地址转换单元根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度之前,还包括步骤:
所述地址检查单元接收所述主机发送的待识别读取命令,判断所述待识别读取命令是否为第一图像的读取命令;
在所述待识别读取命令属于所述第一图像的读取命令时,将所述第一图像的读取命令发送给所述地址转换单元;
在所述待识别读取命令不是所述第一图像的读取命令时,将所述待识别读取命令发送给所述总线命令二选一子单元。
3.如权利要求2所述的图像融合处理方法,其特征在于,所述判断所述待识别读取命令是否为第一图像的读取命令包括步骤:
所述地址检查单元解析所述待识别读取命令得到对应的存储地址;
所述地址检查单元判断所述存储地址是否在所述第一图像对应的目标存储地址范围内;
若判断结果为所述存储地址在所述第一图像对应的目标存储地址范围内,所述地址检查单元确定所述待识别读取命令属于所述第一图像的读取命令;
若判断结果为所述存储地址不在所述第一图像对应的目标存储地址范围内,所述地址检查单元确定所述待识别读取命令不是所述第一图像的读取命令。
4.如权利要求3所述的图像融合处理方法,其特征在于,所述图像叠加融合单元还包括图像读取子单元,所述地址转换单元根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度包括步骤:
所述地址转换单元根据所述目标存储地址查找第一映射关系表,匹配得到用于与所述第一图像参与叠加融合处理的第二图像的坐标信息和数据长度;
所述地址转换单元将所述第二图像的坐标信息和数据长度,以及所述第一图像的读取命令同时发送至所述图像读取子单元。
5.如权利要求4所述的图像融合处理方法,其特征在于,所述图像叠加融合单元还包括读取命令FIFO子单元、返回数据子单元、待叠加数据缓存FIFO子单元,所述图像叠加融合单元根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像包括步骤:
所述图像读取子单元根据所述第二图像的坐标信息和数据长度生成用于读取所述第二图像的读取命令;
所述图像读取子单元先将第二标识发送至所述读取命令FIFO子单元,再将所述第二图像的读取命令发送至所述总线命令二选一子单元;所述第二标识用于标记当前发送的读取命令为所述第二图像的读取命令;
所述图像读取子单元先将第一标识发送至所述读取命令FIFO子单元,再将所述第一图像的读取命令发送至所述总线命令二选一子单元;所述第一标识用于标记当前发送的读取命令为所述第一图像的读取命令;
所述返回数据子单元从存储模块处获取返回数据,在获取所述返回数据的同时查看所述读取命令FIFO子单元中存储的命令标识,是第二图像的命令标识还是其它图像或数据的命令标识;
所述返回数据子单元将根据所述第二图像的读取命令标识从所述存储模块读取到的所述第二图像数据存入至所述待叠加数据缓存FIFO子单元;
所述返回数据子单元将根据所述第一图像的读取命令或其它数据的读取命令从所述存储模块读取到的所述第一图像或其它数据发送至所述图像叠加融合单元。
6.如权利要求5所述的图像融合处理方法,其特征在于,所述图像叠加融合单元将所述第一图像和所述第二图像生成的叠加融合图像,或直接将所述第一图像或其他数据返回给所述主机包括步骤:
若确定从所述待叠加数据缓存FIFO子单元读取到所述第二图像时,所述图像叠加融合单元将所述第二图像和所述第一图像进行叠加融合处理,并将叠加融合图像返回给所述主机;
若确定从所述待叠加数据缓存FIFO子单元未读取到所述第二图像时,所述图像叠加融合单元直接将所述第一图像或其它数据返回给所述主机。
7.如权利要求6所述的图像融合处理方法,其特征在于,所述图像叠加融合单元还包括:图像解压子单元;
所述图像解压子单元在所述图像叠加融合单元进行叠加融合处理时进行解压并存入至所述待叠加数据缓存FIFO子单元。
8.一种图像融合处理装置,其特征在于,包括依次连接的主机、处理模块和存储模块,所述处理模块包括地址转换单元和图像叠加融合单元;包括:
所述地址转换单元,用于根据第一图像的读取命令获取所述第一图像的坐标信息和数据长度,再根据所述第一图像的坐标信息和数据长度获得第二图像的坐标信息和数据长度;
所述图像叠加融合单元,用于根据所述第二图像的坐标信息和数据长度从所述存储模块读取所述第二图像,根据所述第一图像的坐标信息和数据长度从所述存储模块读取所述第一图像;
所述图像叠加融合单元,用于将所述第一图像和所述第二图像生成的叠加融合图像或直接将所述第一图像或其他数据返回给所述主机。
9.一种电子设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述存储器与所述处理器耦接,且所述处理器执行所述计算机程序时,实现如权利要求1至7任一项所述的图像融合处理方法中的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,其中,在所述计算机程序运行时控制所述计算机可读存储介质所在的设备执行如权利要求1至7任一项所述的图像融合处理方法中的步骤。
CN202310126070.0A 2023-02-17 2023-02-17 一种图像融合处理方法、装置、电子设备及介质 Active CN115829897B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310126070.0A CN115829897B (zh) 2023-02-17 2023-02-17 一种图像融合处理方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310126070.0A CN115829897B (zh) 2023-02-17 2023-02-17 一种图像融合处理方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN115829897A true CN115829897A (zh) 2023-03-21
CN115829897B CN115829897B (zh) 2023-06-06

Family

ID=85521703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310126070.0A Active CN115829897B (zh) 2023-02-17 2023-02-17 一种图像融合处理方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN115829897B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167627A (ja) * 1997-04-30 1999-06-22 Canon Inf Syst Res Australia Pty Ltd 画像処理装置及びその方法
JP2014165545A (ja) * 2013-02-21 2014-09-08 Ricoh Co Ltd 画像処理装置および画像処理方法
CN108449554A (zh) * 2018-04-02 2018-08-24 北京理工大学 一种基于SoC的多源图像配准融合加速系统及控制方法
CN109584197A (zh) * 2018-12-20 2019-04-05 广东浪潮大数据研究有限公司 一种图像融合方法及相关装置
CN109743515A (zh) * 2018-11-27 2019-05-10 中国船舶重工集团公司第七0九研究所 一种基于软核平台的异步视频融合叠加系统及方法
CN111669517A (zh) * 2020-06-19 2020-09-15 艾索信息股份有限公司 一种视频叠加方法
CN111930676A (zh) * 2020-09-17 2020-11-13 湖北芯擎科技有限公司 多处理器间的通信方法、装置、系统及存储介质
CN112235518A (zh) * 2020-10-14 2021-01-15 天津津航计算技术研究所 一种数字视频图像融合叠加方法
CN113038273A (zh) * 2021-05-24 2021-06-25 湖北芯擎科技有限公司 视频帧处理方法、装置、存储介质及电子设备
CN113628304A (zh) * 2021-10-09 2021-11-09 湖北芯擎科技有限公司 图像处理方法、装置、电子设备及存储介质
CN114416635A (zh) * 2021-12-14 2022-04-29 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种基于soc的图形图像叠加显示方法及芯片
CN114882327A (zh) * 2022-03-18 2022-08-09 武汉高德智感科技有限公司 双光图像融合的方法、系统、电子设备和存储介质

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11167627A (ja) * 1997-04-30 1999-06-22 Canon Inf Syst Res Australia Pty Ltd 画像処理装置及びその方法
JP2014165545A (ja) * 2013-02-21 2014-09-08 Ricoh Co Ltd 画像処理装置および画像処理方法
CN108449554A (zh) * 2018-04-02 2018-08-24 北京理工大学 一种基于SoC的多源图像配准融合加速系统及控制方法
CN109743515A (zh) * 2018-11-27 2019-05-10 中国船舶重工集团公司第七0九研究所 一种基于软核平台的异步视频融合叠加系统及方法
CN109584197A (zh) * 2018-12-20 2019-04-05 广东浪潮大数据研究有限公司 一种图像融合方法及相关装置
CN111669517A (zh) * 2020-06-19 2020-09-15 艾索信息股份有限公司 一种视频叠加方法
CN111930676A (zh) * 2020-09-17 2020-11-13 湖北芯擎科技有限公司 多处理器间的通信方法、装置、系统及存储介质
CN112235518A (zh) * 2020-10-14 2021-01-15 天津津航计算技术研究所 一种数字视频图像融合叠加方法
CN113038273A (zh) * 2021-05-24 2021-06-25 湖北芯擎科技有限公司 视频帧处理方法、装置、存储介质及电子设备
CN113628304A (zh) * 2021-10-09 2021-11-09 湖北芯擎科技有限公司 图像处理方法、装置、电子设备及存储介质
CN114416635A (zh) * 2021-12-14 2022-04-29 华中光电技术研究所(中国船舶重工集团公司第七一七研究所) 一种基于soc的图形图像叠加显示方法及芯片
CN114882327A (zh) * 2022-03-18 2022-08-09 武汉高德智感科技有限公司 双光图像融合的方法、系统、电子设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QU, XIUJIE ET AL.: "《Design for a reconfigurable image fusion system base on All Programmable System on Chip》", 《INTERNATIONAL CONFERENCE ON FUZZY SYSTEMS AND KNOWLEDGE DISCOVERY IEEE》 *
曾珂: "《基于OMAP3530的图像编码和视频图像叠加的研究与设计》", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
连成哲: "《基于ZYNQ 的高清视频与图形叠加显示技术》", 《计算机技术与发展》 *

Also Published As

Publication number Publication date
CN115829897B (zh) 2023-06-06

Similar Documents

Publication Publication Date Title
US10033920B2 (en) Method for controlling cameras, non-transitory storage medium and terminal
US9760998B2 (en) Video processing method and apparatus
US20230291827A1 (en) Screen state control method and apparatus, and storage medium
WO2019047862A1 (zh) 一种指纹采集方法及终端设备、存储介质
CN109714476B (zh) 数据处理方法、装置、移动终端及存储介质
CN111078108A (zh) 一种屏幕显示方法、装置、存储介质及移动终端
CN109413256B (zh) 联系人信息处理方法、装置、存储介质及电子设备
CN111026457B (zh) 一种硬件配置方法、装置、存储介质及终端设备
US10719926B2 (en) Image stitching method and electronic device
CN110032422B (zh) 一种应用管理方法、终端设备及计算机可读存储介质
CN115829897B (zh) 一种图像融合处理方法、装置、电子设备及介质
CN106357522B (zh) 一种数据的分享方法及装置
CN111355991B (zh) 视频播放方法、装置、存储介质及移动终端
CN111343335B (zh) 图像显示处理方法、系统、存储介质及移动终端
CN114126083A (zh) 跨网段的无线投屏方法、装置、电子设备及存储介质
CN112199050A (zh) 存储方法、装置、存储介质及终端设备
CN112468870A (zh) 一种视频播放方法、装置、设备及存储介质
CN112286849A (zh) 无线充电基座数据切换方法及系统、存储介质及终端设备
CN111026488B (zh) 通信数据保存方法、装置、终端设备和存储介质
CN104866287B (zh) 一种生成功能栏的方法和装置
CN112256197B (zh) 一种存储信息的管理方法、装置、设备及存储介质
CN111966271B (zh) 屏幕全景截图方法、装置、终端设备和存储介质
CN114095585B (zh) 数据传输方法、装置、存储介质及电子设备
CN112468725B (zh) 照片拍摄方法、装置、存储介质及移动终端
CN115883839A (zh) 一种图像校验方法、装置、设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant