CN112907496A - 一种图像融合方法以及装置 - Google Patents
一种图像融合方法以及装置 Download PDFInfo
- Publication number
- CN112907496A CN112907496A CN202110209219.2A CN202110209219A CN112907496A CN 112907496 A CN112907496 A CN 112907496A CN 202110209219 A CN202110209219 A CN 202110209219A CN 112907496 A CN112907496 A CN 112907496A
- Authority
- CN
- China
- Prior art keywords
- layer
- information
- image
- block
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 claims abstract description 31
- 230000004927 fusion Effects 0.000 claims abstract description 26
- 230000015654 memory Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/60—Memory management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像融合方法以及装置。具体实现方案为：方法包括：获取待融合的多个图层块对应的配置信息，配置信息包括图层块在目标图中的位置信息；根据配置信息确定各图层块在目标图中的位置分布；获取目标图对应的目标图像信息，并按照位置分布获取各图层块对应的图层信息；将目标图像信息和各图层块对应的图层信息进行融合处理，得到融合后的图像。有效提高了融合速度，节省图像处理时间，提高了显示效率。
Description
技术领域
本申请涉及图像处理领域，尤其涉及图像融合领域。
背景技术
人工智能系统将视频或图像在显示屏上做显示时，需要标识出视频或 图像上检测到的目标，或需要根据检测到的目标投放跟目标相关的其他信 息等。为了达到上述目的，通常采用图像融合(alpha-blending)技术。图 像融合(alpha-blending)技术可以将不同的待融合图以半透明或不透明的 方式融合到目标图(如背景图)中的不同区域，再将融合后的图像进行显 示。一幅彩色图像的每个像素用R，G，B三个分量表示，若每个分量用8位，那么一个像素共用3*8＝24位表示。在用32位表示一个像素时，若R， G，B分别用8位表示，剩下的8位常称为α通道(alpha channel)位。在每个像 素中保存一个alpha值，用来表示这个像素的透明程度。alpha的取值一般 为0到255，alpha为0时，表示图片为全透明状态，alpha为255时，表示图 片为显示目标图状态，alpha在0到255之间取值时，表示图片为半透明状态。 图像融合时，通常的方法是将源像素的RGB值，分别与目标像素(如背景 图的像素)的RGB按比例混合，最后得到一个混合后的RGB值。然而，采 用现有技术中的图像融合技术时，对视频或图像处理的时间较长，进而导 致显示效率较低。
发明内容
本申请实施例提供一种图像融合方法以及装置，以解决相关技术存在 的问题，技术方案如下：
第一方面，本申请实施例提供了一种图像融合方法，包括：
获取待融合的多个图层块对应的配置信息，配置信息包括图层块在目标 图中的位置信息；
根据配置信息确定各图层块在目标图中的位置分布；
获取目标图对应的目标图像信息，并按照位置分布获取各图层块对应的 图层信息；
将目标图像信息和各图层块对应的图层信息进行融合处理，得到融合后 的图像。
在一种实施方式中，配置信息还包括各图层块的显示优先级顺序，方法 还包括：
根据位置分布确定各图层块之间的重叠区域；
针对包含有重叠区域的多个图层块，根据显示优先级顺序，从低到高依 次获取各图层块的图层信息。
在一种实施方式中，获取目标图对应的目标图像信息，并按照位置分布 获取各图层块对应的图层信息，包括：
利用按行或列读取的方式，读取目标图中当前行或列的目标图像信息；
在当前行或列中分布有图层块的情况下，按照位置分布确定各图层块的 排列顺序；
根据排列顺序获取当前行的图层信息。
在一种实施方式中，位置信息包括图层块对应的识别框，以及识别框在 目标图中的起始坐标、结束坐标以及存储地址，根据排列顺序获取当前行的 图层信息，包括：
在读取位置落在起始坐标和结束坐标范围内的情况下，生成读 请求；
根据读请求和存储地址，按照排列顺序从内存中读取当前行或列的图层 信息，或
在图层块对应的识别框中生成当前行或列的图层信息。
在一种实施方式中，还包括：
将目标图像信息分发至第一存储模块中；
对各图层块对应的图层信息进行双线性插值运算，将运算后得到的图层 信息分发至第二存储模块中。
在一种实施方式中，将运算后得到的图层信息分发至第二存储模块中， 包括：
针对包含有重叠区域的多个图层块，将最高优先级的图层块对应的图层 信息分发至第二存储模块中。
第二方面，本申请实施例提供了一种图像融合装置，包括：
配置信息获取模块，用于获取待融合的多个图层块对应的配置信息，配 置信息包括图层块在目标图中的位置信息；
图层块分布确定模块，用于根据配置信息确定各图层块在目标图中的位 置分布；
图层信息获取模块，用于获取目标图对应的目标图像信息，并按照位置 分布获取各图层块对应的图层信息；
图像融合模块，用于将目标图像信息和各图层块对应的图层信息进行融 合处理，得到融合后的图像。
在一种实施方式中，配置信息还包括各图层块的显示优先级顺序，还包 括：
重叠区域确定模块，用于根据位置分布确定各图层块之间的重叠区域；
针对包含有重叠区域的多个图层块，根据显示优先级顺序，从低到高依 次获取各图层块的图层信息。
在一种实施方式中，图层信息获取模块包括：
目标图像信息读取子模块，用于利用按行或列读取的方式，读取目标图 中当前行或列的目标图像信息；
排列顺序确定子模块，用于在当前行或列中分布有图层块的情况下，按 照位置分布确定各图层块的排列顺序；
图层信息读取子模块，用于根据排列顺序读取当前行或列的图层信息。
在一种实施方式中，位置信息包括图层块对应的识别框，以及识别框在 目标图中的起始坐标、结束坐标以及存储地址，图层信息读取子模块包括：
读请求生成单元，用于在读取位置落在起始坐标和结束坐标范 围内的情况下，生成读请求；
图层信息读取单元，用于读取根据读请求和存储地址，按照排列顺序从 内存中读取当前行或列的图层信息；
图层信息生成单元，用于在图层块对应的识别框中生成当前行或列的图 层信息。
在一种实施方式中，还包括：
目标图像信息分发模块，用于将目标图像信息分发至第一存储模块中；
图层信息分发模块，用于对各图层块对应的图层信息进行双线性插值运 算，将运算后得到的图层信息分发至第二存储模块中。
在一种实施方式中，图层信息分发模块包括：
最高优先级信息分发子模块，用于针对包含有重叠区域的多个图层块， 将最高优先级的图层块对应的图层信息分发至第二存储模块中。
第三方面，提供了一种电子设备，包括：
至少一个处理器；以及与至少一个处理器通信连接的存储器；
其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一 个处理器执行，以使至少一个处理器能够执行上述任一项的方法。
第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介 质，计算机指令用于使计算机执行上述任一项的方法。
上述申请中的一个实施例具有如下优点或有益效果：本实施例提供的 图像融合方法，由于读取目标图的图像信息的同时还能够根据各图层块在 目标图中的位置分布读取多个图层块的图层信息，并对读取的目标图的图 像信息和多个图层块的图层信息进行融合，得到融合后的图像，进而显示 融合后的图像。按照本实施例提供的读取方式来读取目标图和多个图层块， 进而对读取的目标图和多个图层块进行融合，解决了现有技术中依次读取 和融合的背景图和多个图层块导致的融合速度低，效率低的技术问题，有 效提高了融合速度，节省图像处理时间，提高了显示效率。
上述可选方式所具有的其他效果将在下文中结合具体实施例加以说 明。
附图说明
附图用于更好地理解本方案，不构成对本申请的限定。其中：
图1是根据本申请一实施例的一种图像融合方法的示意图；
图2是根据本申请一实施例的一种图像显示器件的结构图；
图3是根据本申请另一实施例的一种图像融合方法的示意图；
图4是根据本申请一实施例的图像信息获取模块的结构示意图；
图5是根据本申请一实施例的读取目标图像信息和图层块的图层信息 的读取过程示意图；
图6是根据本申请一实施例的一种包含有重叠区域的多个图层块的显 示优先级顺序的示意图；
图7是根据本申请一实施例的一种当前行的图层块m和图层块n不交 叠的场景图；
图8是根据本申请一实施例的一种读取当前行的图层块m和图层块n 交叠的场景图；
图9是根据本申请一实施例的一种图像融合装置的示意图；
图10是根据本申请另一实施例的一种图像融合装置的示意图；
图11是用来实现本申请实施例的一种图像融合方法的电子设备的框 图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实 施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本 领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和 修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的 描述中省略了对公知功能和结构的描述。
现有的图像融合技术中，依次读取并融合背景图和多个图层块。具体 的，读取背景图和第一图层块，并将其进行融合，将第一次融合后的图像 作为背景图，再次读取第二图层块，将第一次融合后的图像和第二图层块 进行融合，以此类推，直到最后一个图层块融合结束，再将最终融合的图 像进行显示，导致图像融合时间较长，显示效率低。为了解决上述技术问 题，本实施例提供如图1所示的一种图像融合方法，包括如下步骤：
步骤S110：获取待融合的多个图层块对应的配置信息，配置信息包括图 层块在目标图中的位置信息；
步骤S120：根据配置信息确定各图层块在目标图中的位置分布；
步骤S130：获取目标图对应的目标图像信息，并按照位置分布获取各图 层块对应的图层信息；
步骤S140：将目标图像信息和各图层块对应的图层信息进行融合处理， 得到融合后的图像。
一种示例中，提供一种图像显示器件，将待输入的多个图层块(block) 和目标图进行融合，并产生对融合后的图像进行显示的接口控制逻辑。例 如，可以将软件配置的32个矩形小图(图层块)放大后以半透明或者不 透明的方式贴到背景视频图(目标图)的不同区域，所有小图之间是独立 的，其中，目标图可以是背景图像。图层块可以是矩形区域，矩形区域可 以用矩形边框来使用。矩形框的总体面积可以小于超过4张原图的面积之 和。每个图层块可以支持8倍以内整数放大。图像显示器件最大可支持32 块图层块进行融合，图层块之间的优先级可配置；图层块的透明度可配置； 对图层块中的内容进行识别的识别框可以是矩形框，矩形框的起始位置、 宽度以及高度可配置。需要每帧图像配置寄存器和图像的起始地址，支持 MIPI(Mobile Industry Processor Interface/移动工业处理器接口)、DPI (Display Pixel Interface，显示像素接口，RGB接口)输出，支持SiI9022 视频并口输出。
MIPI-DPI
SiI9022视频并口
寄存器描述
| 寄存器名称 | 位宽 | 地址 | 描述 |
| blend_en | 1 | ||
| block_start_x_i | 11 | ||
| block_start_y_i | 11 | ||
| block_src_width_i | 11 | ||
| block_src_height_i | 11 | ||
| block_des_width_i | 11 | ||
| block_des_height_i | 11 | ||
| block_alph_i | 8 | ||
| block_addr_i | 32 | ||
| block_stride_i | 32 | ||
| block_mode_i | 1 | 0：图像(image)1：图层(block) | |
| block_box_r_i | 8 | ||
| block_box_g_i | 8 | ||
| block_box_b_i | 8 | ||
| block_ratio_i | 3 | ||
| image_base_addr | 32 | ||
| image_stride | 32 | ||
| image_weight | 11 | ||
| image_height | 11 |
图像显示器件的硬件框图如图2所示，图像显示器件中的配置信息获 取模块(Block info)通过APB(Advanced Peripheral Bus)外围总线获取多 个图层块(矩形框)的配置信息。配置信息包括：图层块在目标图中的位 置信息。例如，每个图层块对应的矩形框的尺寸、矩形框在目标图中的初 始位置、结束位置以及存储地址。配置信息获取模块(Block info)从内存 中获取配置信息，并将其发送至图像信息获取模块(Fetch)和控制模块 (ctrl)中。图像信息获取模块用于根据配置信息确定各图层块在目标图中 的位置分布，获取目标图对应的图像信息，按照位置分布获取各图层块对应 的图层信息。通过数据分发模块(data_distribute)将已获取的目标图的图 像信息发送至第一缓冲模块(src_buf)存储，将已获取的多个图层块的图 像信息发送至第二缓冲模块(block_buf)存储。控制模块(ctrl)用于从 起始位置开始，按照显示顺序即从左到右从上到下的顺序扫描目标图的图 像信息和多个图层块的图层信息。图像融合模块(blending alu)利用融合 算法对扫描的目标图的图像信息和多个图层块的图层信息进行融合，得到 融合后的图像。将融合后的图像发送至显示缓冲模块(display_buf),时序 控制模块(dsi_packer)通过协议和接口将融合后的图像进行显示。
本实施方式中，由于读取目标图的图像信息的同时还能够根据各图层 块在目标图中的位置分布读取多个图层块的图层信息，并对读取的目标图 的图像信息和多个图层块的图层信息进行融合，得到融合后的图像，进而 显示融合后的图像，有效提高了融合速度，节省图像处理时间，提高了显 示效率。
在一种实施例中，如图3所示，配置信息还包括各图层块的显示优先级 顺序，还包括：
步骤S150：根据位置分布确定各图层块之间的重叠区域；
步骤S160：针对包含有重叠区域的多个图层块，根据显示优先级顺序， 从低到高依次获取各图层块的图层信息。
一种示例中，在读取图层块时，需要考虑多个图层块的先后顺序，交 叠等问题。例如，根据配置信息确定图层块i(block_i)和图层块j(block_j) 之间的位置分布关系，根据位置分布关系可以确定block_i和block_j的排 列顺序和block_i和block_j之间的重叠区域。如果一行中需要取到block_i 和block_j，且block_i和block_j之间具有重叠区域，按照block_i和block_j 的排列顺序和显示优先级顺序，获取这两个图层块的图层信息。
为了简化控制的复杂度，先取读取优先级最低图层块的图层信息，然 后再读优先级次低图层块的图层信息，将后读入的图层信息直接覆盖先读 入的图层信息，直到读到优先级最高图层块的图层信息，控制上简化了很 多，方便控制内存中的图像，在屏幕上做显示。
在一种实施例中，步骤S130，包括：
步骤S131：利用按行或列读取的方式，读取目标图中当前行或列的目标 图像信息；
步骤S132：在当前行或列中分布有图层块的情况下，按照位置分布确定 各图层块的排列顺序；
步骤S133：根据排列顺序获取当前行或列的图层信息。
一种示例中，如图4所示，图像信息获取模块包括：判断子模块 (block_judge)、坐标管理子模块(coor_manager)、地址管理子模块 (addr_manager)、请求管理子模块(req_manager)、图层块仲裁子模块 (arb)。坐标管理子模块：维护背景图像(目标图)的坐标计算，包括背景 图像的横坐标和纵坐标，也用于维护图层块相对于背景图像的坐标计算。判断子模块：每个图层块都有各自独立的判断子模块，判断子模块根据背景图 像的纵坐标信息来进行判断是否从内存中请求图层块的图层信息，并计算出 所请求的图层块的第几行图层信息。地址管理子模块：根据图像的坐标信息 来计算内存中的存储地址信息。请求管理子模块：负责产生针对背景图像的 内存访问请求，以及针对不同图层块的内存访问请求。图层块仲裁子模块： 当存在针对图层块的多个内存访问请求时，根据图层块之间的位置分布关 系来选择对应图层块进行内存访问。
通常选用按行读取的方式获取目标图像信息和图层信息，当然，也可 以按列读取的方式。在读取之前，判断子模块(block_judge)需要判断当 前行中是否有图层块分布。如果当前行中没有分布图层块，根据图像融合 算法的需求可以按照从左到右顺序读一行目标图像信息(例如，背景图像 数据)即可。如果当前行中分布有图层块，除了需要读取当前行的目标图 像信息外，还需要读取分布在当前行的多个图层块的图层信息。读取过程 如图5所示。
图层块仲裁子模块(arb)中：如果当前行有图层块分布，按照位置分 布确定各图层块的排列顺序。当然，还需要判断当前行中会穿过多个图层 块之间的重叠情况，确定包含有重叠区域的多个图层块的显示优先级顺序。 然后，按照排列顺序和显示优先级顺序对图层块的当前行进行读取。如图 6所示，例如，block_i在当前行的起始坐标小于block_j在当前行的起始 坐标(start_i<start_j)，那么可以先获取block_i在当前行的图层信息，写入第二存储模块，再取block_j在当前行的图层信息，写入第二存储模 块。针对图层块行，可以在读取一行图层信息之后，读取的图层信息进行 存储，这样可以保证存储数据量最小。如果block_i和block_j之间有重叠 区域，且block_i的显示优先级高于block_j，那么先读block_j在当前行的 图层信息，再读block_i在当前行的图层信息，在重叠区域，block_i的图 层信息覆盖于block_j的图层信息。
在一种实施方式中，位置信息包括图层块对应的识别框，以及识别框在 目标图中的起始坐标、结束坐标以及存储地址，步骤S133，包括：
在读取位置落在起始坐标和结束坐标范围内的情况下，生成读请求；
根据读请求和存储地址，按照排列顺序从内存中获取当前行或列的图层 信息，或
在图层块对应的识别框中生成当前行或列的图层信息。
一种示例中，请求管理模块(req_manager)中：在读取当前行的过程 中，如图6所示，如果读取的纵坐标y坐标落在图层块的起始坐标和结束 坐标范围内时，生成读请求。坐标管理子模块(coor_manager)中：在从 左到右读取当前行的过程中，将背景图像的像素点对应的存储地址和读请 求发送给内存，从内存中读取此地址中的背景图像信息。纵坐标管理：如 果当前行没有图层块可以融合，那么针对背景图像的y坐标，只需要在读 取每行结束时y坐标加1即可，读取下一行背景图像。横坐标坐标管理： 如图7所示，当前行中，读取背景图像的当前行长度为1919，存储在第一 缓存模块中，读取过程中需要穿过图层块m(block_m)和图层块n(block_n)。 图层块m(block_m)和图层块n(block_n)不交叠的情况下，坐标从0 直接跳到起始坐标_m进行读取图层信息，在结束坐标_m读取截止，直接 跳到下一个图层块n的起始坐标_n，开始读取图层信息，在结束坐标_n 读取截止。如图8所示，图层块m(block_m)和图层块n(block_n)交 叠的情况下，读取至交叠处判断图层块m和图层块n的优先级，如果图层 块m的优先级大于图层块n的优先级，先读取优先级较低的图层块n在交 叠处的图层信息，再读取优先级较高的图层块m在交叠处的图层信息。如 果图层块m的优先级小于图层块n的优先级，先读取优先级较低的图层块 m在交叠处的图层信息，再读取优先级较高的图层块n在交叠处的图层信 息。
在一种实施方式中，还包括：
将目标图像信息分发至第一存储模块中；
对各图层块对应的图层信息进行双线性插值运算，将运算后得到的图层 信息分发至第二存储模块中。
一种示例中，考虑到图像显示器件的实时性和设计的复杂度，对获取 的图层块的大小进行缩放，通常采用双线性插值的方法来进行图像缩放。 由于待插值点只依赖周围四个像素点，所以插值运算最多只依赖两行图像 数据。
在一种实施方式中，步骤S180：包括：
针对包含有重叠区域的多个图层块，将最高优先级的图层块对应的图层 信息分发至第二存储模块中。
一种示例中，每个图层块会使用缓存中的不同空间，当图层块发生交 叠的时候保留优先级高的图层块的图层信息，不保存交叠的图层块的历史 图层信息，为了避免了为每个图层块开辟缓存，导致缓存空间占用太多。 只需存储当前需要融合的图层块的图层信息即可，存储量较少。
在另一种具体实施方式中，如图9所示，提供了一种图像融合装置，包 括：
配置信息获取模块110，用于获取待融合的多个图层块对应的配置信息， 配置信息包括图层块在目标图中的位置信息；
图层块分布确定模块120，用于根据配置信息确定各图层块在目标图中 的位置分布；
图层信息获取模块130，用于获取目标图对应的目标图像信息，并按照 位置分布获取各图层块对应的图层信息；
图像融合模块140，用于将目标图像信息和各图层块对应的图层信息进 行融合处理，得到融合后的图像。
在一种实施方式中，如图10所示，配置信息还包括各图层块的显示优先 级顺序，还包括：
重叠区域确定模块150，用于根据位置分布确定各图层块之间的重叠区 域；
优先级信息获取模块160，用于针对包含有重叠区域的多个图层块，根 据显示优先级顺序，从低到高依次获取各图层块的图层信息。
在一种实施方式中，图层信息获取模块130包括：
目标图像信息读取子模块，用于利用按行或列读取的方式，读取目标图 中当前行或列的目标图像信息；
排列顺序确定子模块，用于在当前行或列中分布有图层块的情况下，按 照位置分布确定各图层块的排列顺序；
图层信息读取子模块，用于根据排列顺序读取当前行或列的图层信息。
在一种实施方式中，位置信息包括图层块对应的识别框，以及识别框在 目标图中的起始坐标、结束坐标以及存储地址，图层信息读取子模块包括：
读请求生成单元，用于在读取位置落在起始坐标和结束坐标范 围内的情况下，生成读请求；
图层信息读取单元，用于读取根据读请求和存储地址，按照排列顺序从 内存中读取当前行或列的图层信息；
图层信息生成单元，用于在图层块对应的识别框中生成当前行或列的图 层信息。
在一种实施方式中，还包括：
目标图像信息分发模块，用于将目标图像信息分发至第一存储模块中；
图层信息分发模块，用于对各图层块对应的图层信息进行双线性插值运 算，将运算后得到的图层信息分发至第二存储模块中。
在一种实施方式中，图层信息分发模块包括：
最高优先级信息分发子模块，用于针对包含有重叠区域的多个图层块， 将最高优先级的图层块对应的图层信息分发至第二存储模块中。
本申请实施例各装置中的各模块的功能可以参见上述方法中的对应描述， 在此不再赘述。
根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介 质。
如图11所示，是根据本申请实施例的一种图像融合方法的电子设备的框 图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式 计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和 其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人 数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文 所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意 在限制本文中描述的和/或者要求的本申请的实现。
如图11所示，该电子设备包括：一个或多个处理器1101、存储器1102， 以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同 的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安 装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中 或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显 示图形用户界面(Graphical User Interface，GUI)的图形信息的指令。在其它 实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个 存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的 操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。 图11中以一个处理器1101为例。
存储器1102即为本申请所提供的非瞬时计算机可读存储介质。其中，存 储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申 请所提供的一种图像融合方法。本申请的非瞬时计算机可读存储介质存储计 算机指令，该计算机指令用于使计算机执行本申请所提供的一种图像融合方 法。
存储器1102作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软 件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的一种图像 融合方法对应的程序指令/模块。处理器1101通过运行存储在存储器1102中 的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数 据处理，即实现上述方法实施例中的一种图像融合方法。
存储器1102可以包括存储程序区和存储数据区，其中，存储程序区可存 储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据一种 图像融合方法的电子设备的使用所创建的数据等。此外，存储器1102可以包 括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储 器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器1102 可选包括相对于处理器1101远程设置的存储器，这些远程存储器可以通过网 络连接至上述电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
上述电子设备还可以包括：输入装置1103和输出装置1104。处理器1101、 存储器1102、输入装置1103和输出装置1104可以通过总线或者其他方式连 接，图11中以通过总线连接为例。
输入装置1103可接收输入的数字或字符信息，以及产生与上述电子设备 的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、 轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入 装置。输出装置1104可以包括显示设备、辅助照明装置(例如，LED)和触 觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显 示器(Liquid Cr11stal Displa11，LCD)、发光二极管(Light EmittingDiode， LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸 屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成 电路系统、专用集成电路(Application Specific Integrated Circuits，ASIC)、 计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以 包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在 包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器 可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、 和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、 该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程 处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/ 或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质” 和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的 任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编 程逻辑装置(programmable logic device，PLD))，包括，接收作为机器可 读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器 指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术， 该计算机具有：用于向用户显示信息的显示装置(例如，CRT(Cathode Ray Tube，阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装 置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入 提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供 给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输 入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如， 作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、 或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的 用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述 的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或 者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数 据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括： 局域网(Local Area Network，LAN)、广域网(Wide Area Network，WAN) 和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并 且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客 户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删 除步骤。例如，本申请中记载的各步骤可以并行地执行也可以顺序地执行也 可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果， 本文在此不进行限制。
上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人 员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子 组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进 等，均应包含在本申请保护范围之内。
Claims (14)
1.一种图像融合方法，其特征在于，包括：
获取待融合的多个图层块对应的配置信息，所述配置信息包括所述图层块在目标图中的位置信息；
根据所述配置信息确定各所述图层块在所述目标图中的位置分布；
获取所述目标图对应的目标图像信息，并按照所述位置分布获取各所述图层块对应的图层信息；
将所述目标图像信息和各所述图层块对应的图层信息进行融合处理，得到融合后的图像。
2.根据权利要求1所述的方法，其特征在于，所述配置信息还包括各所述图层块的显示优先级顺序，所述方法还包括：
根据所述位置分布确定各所述图层块之间的重叠区域；
针对包含有所述重叠区域的多个图层块，根据所述显示优先级顺序，从低到高依次获取各所述图层块的图层信息。
3.根据权利要求1所述的方法，其特征在于，所述获取所述目标图对应的目标图像信息，并按照所述位置分布获取各所述图层块对应的图层信息，包括：
利用按行或列读取的方式，读取所述目标图中当前行或列的目标图像信息；
在当前行或列中分布有所述图层块的情况下，按照所述位置分布确定各所述图层块的排列顺序；
根据所述排列顺序获取当前行或列的图层信息。
4.根据权利要求3所述的方法，其特征在于，所述位置信息包括所述图层块对应的识别框，以及所述识别框在所述目标图中的起始坐标、结束坐标以及存储地址，所述根据所述排列顺序获取当前行或列的图层信息，包括：
在读取位置落在所述起始坐标和所述结束坐标范围内的情况下，生成读请求；
根据所述读请求和所述存储地址，按照所述排列顺序从内存中读取当前行或列的图层信息，或
在所述图层块对应的识别框中生成当前行或列的图层信息。
5.根据权利要求2所述的方法，其特征在于，还包括：
将所述目标图像信息分发至第一存储模块中；
对各所述图层块对应的图层信息进行双线性插值运算，将运算后得到的图层信息分发至第二存储模块中。
6.根据权利要求5所述的方法，其特征在于，所述将运算后得到的图层信息分发至第二存储模块中，包括：
针对包含有所述重叠区域的多个图层块，将最高优先级的图层块对应的图层信息分发至所述第二存储模块中。
7.一种图像融合装置，其特征在于，包括：
配置信息获取模块，用于获取待融合的多个图层块对应的配置信息，所述配置信息包括所述图层块在目标图中的位置信息；
图层块分布确定模块，用于根据所述配置信息确定各所述图层块在所述目标图中的位置分布；
图层信息获取模块，用于获取所述目标图对应的目标图像信息，并按照所述位置分布获取各所述图层块对应的图层信息；
图像融合模块，用于将所述目标图像信息和各所述图层块对应的图层信息进行融合处理，得到融合后的图像。
8.根据权利要求7所述的装置，其特征在于，所述配置信息还包括各所述图层块的显示优先级顺序，还包括：
重叠区域确定模块，用于根据所述位置分布确定各所述图层块之间的重叠区域；
针对包含有所述重叠区域的多个图层块，根据所述显示优先级顺序，从低到高依次获取各所述图层块的图层信息。
9.根据权利要求7所述的装置，其特征在于，所述图层信息获取模块包括：
目标图像信息读取子模块，用于利用按行或列读取的方式，读取所述目标图中当前行或列的目标图像信息；
排列顺序确定子模块，用于在当前行或列中分布有所述图层块的情况下，按照所述位置分布确定各所述图层块的排列顺序；
图层信息读取子模块，用于根据所述排列顺序读取当前行或列的图层信息。
10.根据权利要求9所述的装置，其特征在于，所述位置信息包括所述图层块对应的识别框，以及所述识别框在所述目标图中的起始坐标、结束坐标以及存储地址，所述图层信息读取子模块包括：
读请求生成单元，用于在读取位置落在所述起始坐标和所述结束坐标范围内的情况下，生成读请求；
图层信息读取单元，用于读取根据所述读请求和所述存储地址，按照所述排列顺序从内存中读取当前行或列的图层信息；
图层信息生成单元，用于在所述图层块对应的识别框中生成当前行或列的图层信息。
11.根据权利要求8所述的装置，其特征在于，还包括：
目标图像信息分发模块，用于将所述目标图像信息分发至第一存储模块中；
图层信息分发模块，用于对各所述图层块对应的图层信息进行双线性插值运算，将运算后得到的图层信息分发至第二存储模块中。
12.根据权利要求11所述的装置，其特征在于，所述图层信息分发模块包括：
最高优先级信息分发子模块，用于针对包含有所述重叠区域的多个图层块，将最高优先级的图层块对应的图层信息分发至所述第二存储模块中。
13.一种电子设备，其特征在于，包括：
至少一个处理器；以及与所述至少一个处理器通信连接的存储器；
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110209219.2A CN112907496A (zh) | 2021-02-24 | 2021-02-24 | 一种图像融合方法以及装置 |
| PCT/CN2022/073044 WO2022179362A1 (zh) | 2021-02-24 | 2022-01-20 | 一种图像融合方法以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110209219.2A CN112907496A (zh) | 2021-02-24 | 2021-02-24 | 一种图像融合方法以及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112907496A true CN112907496A (zh) | 2021-06-04 |
Family
ID=76107137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110209219.2A Pending CN112907496A (zh) | 2021-02-24 | 2021-02-24 | 一种图像融合方法以及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN112907496A (zh) |
| WO (1) | WO2022179362A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022179362A1 (zh) * | 2021-02-24 | 2022-09-01 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
| CN116932193A (zh) * | 2022-04-07 | 2023-10-24 | 华为技术有限公司 | 一种显示子系统的通道分配方法、装置及存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115480726B (zh) * | 2022-11-15 | 2023-02-28 | 泽景(西安)汽车电子有限责任公司 | 一种显示方法、装置、电子设备及存储介质 |
| CN115880156B (zh) * | 2022-12-30 | 2023-07-25 | 芯动微电子科技(武汉)有限公司 | 一种多图层拼接显示控制方法和装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945112A (zh) * | 2017-11-17 | 2018-04-20 | 浙江大华技术股份有限公司 | 一种全景图像拼接方法及装置 |
| CN109729274A (zh) * | 2019-01-30 | 2019-05-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111402181A (zh) * | 2020-03-13 | 2020-07-10 | 北京奇艺世纪科技有限公司 | 图像融合方法、装置及计算机可读存储介质 |
| CN111598796A (zh) * | 2020-04-27 | 2020-08-28 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN111768356A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 一种人脸图像融合方法、装置、电子设备及存储介质 |
| CN112099645A (zh) * | 2020-09-04 | 2020-12-18 | 北京百度网讯科技有限公司 | 一种输入图像的生成方法、装置、电子设备及存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4480760B2 (ja) * | 2007-12-29 | 2010-06-16 | 株式会社モルフォ | 画像データ処理方法および画像処理装置 |
| CN102184720A (zh) * | 2010-06-22 | 2011-09-14 | 上海盈方微电子有限公司 | 一种支持多层多格式输入的图像合成显示的方法及装置 |
| CN109448077A (zh) * | 2018-11-08 | 2019-03-08 | 郑州云海信息技术有限公司 | 一种多图层合并的方法、装置、设备以及存储介质 |
| CN111476066A (zh) * | 2019-01-23 | 2020-07-31 | 北京奇虎科技有限公司 | 图像效果的处理方法、装置、计算机设备及存储介质 |
| CN112907496A (zh) * | 2021-02-24 | 2021-06-04 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
-
2021
- 2021-02-24 CN CN202110209219.2A patent/CN112907496A/zh active Pending
-
2022
- 2022-01-20 WO PCT/CN2022/073044 patent/WO2022179362A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945112A (zh) * | 2017-11-17 | 2018-04-20 | 浙江大华技术股份有限公司 | 一种全景图像拼接方法及装置 |
| CN109729274A (zh) * | 2019-01-30 | 2019-05-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN111402181A (zh) * | 2020-03-13 | 2020-07-10 | 北京奇艺世纪科技有限公司 | 图像融合方法、装置及计算机可读存储介质 |
| CN111598796A (zh) * | 2020-04-27 | 2020-08-28 | Oppo广东移动通信有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN111768356A (zh) * | 2020-06-28 | 2020-10-13 | 北京百度网讯科技有限公司 | 一种人脸图像融合方法、装置、电子设备及存储介质 |
| CN112099645A (zh) * | 2020-09-04 | 2020-12-18 | 北京百度网讯科技有限公司 | 一种输入图像的生成方法、装置、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022179362A1 (zh) * | 2021-02-24 | 2022-09-01 | 嘉楠明芯(北京)科技有限公司 | 一种图像融合方法以及装置 |
| CN116932193A (zh) * | 2022-04-07 | 2023-10-24 | 华为技术有限公司 | 一种显示子系统的通道分配方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022179362A1 (zh) | 2022-09-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112907496A (zh) | 一种图像融合方法以及装置 | |
| US10540744B2 (en) | Flexible control in resizing of visual displays | |
| US7710429B2 (en) | Stationary semantic zooming | |
| CN111860304B (zh) | 一种图像标注方法、电子装置、设备及存储介质 | |
| US20110292060A1 (en) | Frame buffer sizing to optimize the performance of on screen graphics in a digital electronic device | |
| EP3826309A2 (en) | Method and apparatus for processing video | |
| US9235925B2 (en) | Virtual surface rendering | |
| EP2859447B1 (en) | Virtual surface allocation | |
| JP4742051B2 (ja) | 空間・時間モーションブラー効果の生成方法 | |
| CN110989878A (zh) | 小程序中的动画展示方法、装置、电子设备及存储介质 | |
| US11587533B2 (en) | Method for displaying point of information of map, device, and readable storage medium | |
| US9230517B2 (en) | Virtual surface gutters | |
| TWI698834B (zh) | 用於圖形處理之方法及裝置 | |
| CN112581589A (zh) | 一种视图列表布局方法、装置、设备及存储介质 | |
| CN111767490A (zh) | 用于展示图像的方法、装置、设备以及存储介质 | |
| CN113538252B (zh) | 图像矫正方法以及装置 | |
| US9558560B2 (en) | Connected component labeling in graphics processors | |
| CN112541934A (zh) | 一种图像处理方法及装置 | |
| CN113630606B (zh) | 视频水印处理方法、装置、电子设备及存储介质 | |
| CN112419145B (zh) | 一种图像数据处理方法、装置、设备及存储介质 | |
| CN115827142A (zh) | 一种画面展示方法、装置、设备及存储介质 | |
| CN116360906A (zh) | 交互控制方法、装置、头戴显示设备及介质 | |
| CN114564166A (zh) | 小程序页面的布局方法、装置、电子设备及存储介质 | |
| CN114793274A (zh) | 基于视频投影的数据融合方法和装置 | |
| CN112562035A (zh) | 超椭圆的生成方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |