CN112200727B - 图像缝合装置、图像处理芯片、及图像缝合方法 - Google Patents

图像缝合装置、图像处理芯片、及图像缝合方法 Download PDF

Info

Publication number
CN112200727B
CN112200727B CN202011231437.8A CN202011231437A CN112200727B CN 112200727 B CN112200727 B CN 112200727B CN 202011231437 A CN202011231437 A CN 202011231437A CN 112200727 B CN112200727 B CN 112200727B
Authority
CN
China
Prior art keywords
image
motion
stitching
area
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011231437.8A
Other languages
English (en)
Other versions
CN112200727A (zh
Inventor
廖文扬
黄仁猷
黄道宸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingchen Technology Co ltd
Original Assignee
Xingchen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xingchen Technology Co ltd filed Critical Xingchen Technology Co ltd
Priority to CN202011231437.8A priority Critical patent/CN112200727B/zh
Publication of CN112200727A publication Critical patent/CN112200727A/zh
Priority to US17/487,455 priority patent/US20220147752A1/en
Application granted granted Critical
Publication of CN112200727B publication Critical patent/CN112200727B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Abstract

本申请公开了一种图像缝合装置、图像处理芯片、及图像缝合方法，其中，图像缝合装置包括一运动侦测单元、一确定单元及一缝合单元，运动侦测单元对需要缝合的一第一图像和一第二图像的重叠区域进行运动侦测，从而得到重叠区域中存在运动物体的一运动区域，确定单元以避开运动区域为约束条件计算一目标缝合线，缝合单元根据目标缝合线缝合第一图像以及第二图像，从而得到一缝合图像。由此，利用本申请提供的图像缝合装置，能够在图像缝合过程中避开运动物体，确保缝合图像一致性及其中运动物体的连续性，达到提高图像缝合质量的目的。

Description

图像缝合装置、图像处理芯片、及图像缝合方法
技术领域
本申请涉及图像处理技术领域，具体涉及一种图像缝合装置、图像处理芯片、及图像缝合方法。
背景技术
图像缝合是指将两张或者两张以上的图像融合为一张图像，使得融合后的图像包含更多的信息，能够更方便的供用户查看或者供计算机处理等。图像缝合是图像处理技术领域一个重要的研究方向，有着广泛的应用价值。然而，相关技术中在进行图像缝合时，仅关注于待缝合图像间的视觉差异，导致最终得到缝合图像的质量不高。
发明内容
本申请提供了一种图像缝合装置、图像处理芯片、及图像缝合方法，能够提高图像缝合的质量。
本申请提供一种图像缝合装置，包括一运动侦测单元、一确定单元以及一缝合单元。运动侦测单元对需要缝合的一第一图像和一第二图像的重叠区域进行运动侦测，得到重叠区域中存在运动物体的一运动区域。确定单元以避开所述运动区域为约束条件，计算一目标缝合线。缝合单元根据目标缝合线缝合第一图像以及第二图像，得到一缝合图像。
本申请提供一种图像处理芯片，包括一接口单元、一区域确定单元以及一图像缝合装置。接口单元获取需要进行图像缝合一第一图像及一第二图像。区域确定单元确述第一图像与第二图像间的一重叠区域。图像缝合装置包括一运动侦测单元、一确定单元以及一缝合单元。运动侦测单元对需要缝合的一第一图像和一第二图像的重叠区域进行运动侦测，得到重叠区域中存在运动物体的一运动区域。确定单元以避开所述运动区域为约束条件，计算一目标缝合线。缝合单元根据目标缝合线缝合第一图像以及第二图像，得到一缝合图像。
本申请提供一种图像缝合方法，包括：对一第一图像和一第二图像间的重叠区域进行运动侦测，得到所述重叠区域中存在运动物体的一运动区域；以避开所述运动区域为约束条件，计算一目标缝合线；以及，根据所述目标缝合线缝合所述第一图像以及所述第二图像，得到一缝合图像。
本申请能够在图像缝合过程中避开运动物体，确保缝合图像一致性及其中运动物体的连续性，达到提高图像缝合质量的目的。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请提供的图像缝合装置100的第一方块示意图。
图2为图1中运动侦测单元110对第一图像和第二图像的重叠区域进行运动侦测得到运动区域的示例图。
图3为图1中确定单元120计算得到的目标缝合线的示例图。
图4为图1中缝合单元130根据图3所示目标缝合线缝合第一图像和第二图像得到缝合图像的示例图。
图5是本申请实施例中提供的图像缝合装置100的第二方块示意图。
图6是图5中差异计算单元140的细化方块示意图。
图7是图6中色彩差异计算电路1402计算得到色彩差异矩阵的示例图。
图8是图6中边缘侦测器1404进行边缘侦测，并由图6中边缘差异计算电路1406计算得到边缘差异矩阵的示例图。
图9是图5中确定单元120的方块示意图。
图10是图9中数据处理电路1202计算得到成本图的示例图。
图11是图9中缝合线计算电路1204计算目标缝合线的示例图。
图12是图9中缝合线计算电路1204计算目标缝合线的另一示例图。
图13是本申请实施例中提供的图像缝合装置100的第三方块示意图。
图14是图1中运动侦测单元110侦测得到运动区域的示意图。
图15是本申请实施例提供的图像处理芯片10的方块示意图。
图16是本申请实施例提供的图像缝合方法的流程示意图。
具体实施方式
应当说明的是，本申请的原理是以实施在一适当的应用环境中来举例说明。以下的说明是通过所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
本申请实施例提供的方案涉及图像处理技术领域，具体涉及图像的缝合，通过下文中的实施例进行说明。请参照图1，图1为本申请实施例提供的图像缝合装置100的第一种方块示意图。该图像缝合装置100可包括相互连接的一运动侦测单元110、一确定单元120及一缝合单元130。实施上，运动侦测单元110、确定单元120以及缝合单元130可藉由硬件电路搭配软件来实现。
请参照图2，运动侦测单元110被配置为对需要缝合的一第一图像和一第二图像之间的重叠区域进行运动侦测，从而得到第一图像和第二图像的重叠区域中存在运动物体的一运动区域，此处的运动物体可为任意存在运动的物体，包括但不限于人、物等。此处不对运动侦测单元110的运动侦测方式进行具体限制，可由本领域普通技术人员根据实际需要进行配置。
此外，本申请实施例中对于以上第一图像和第二图像的来源不作具体限制，比如，第一图像和第二图像可为同一摄像头在水平旋转过程中的不同角度所拍摄的视场区域部分重叠的两张图像，或是，第一图像和第二图像可为视场区域部分重叠的两个摄像头所分别拍摄的两张图像等。
请参照图3，确定单元120被配置为以避开运动区域为约束条件，计算用于缝合第一图像和第二图像的一缝合线，记为目标缝合线。如图3所示，确定单元120所计算得到的目标缝合线避开了运动区域，也即是目标缝合线并不穿过运动区域。此处不对确定单元120计算目标缝合线的方式进行具体限制，可由本领域普通技术人员根据实际需要进行配置。
请参照图4，缝合单元130被配置为根据目标缝合线缝合第一图像以及第二图像，得到一缝合图像。如图4所示，第一图像和第二图像所缝合得到的缝合图像包括第一图像和第二图像的图像内容，其中缝合图像中缝合线左侧的图像内容来自于第一图像，缝合线右侧的图像内容来自于第二图像。
请参照图5，在一实施例中，图像缝合装置100还包括一差异计算单元140，其被配置为针对重叠区域计算得到第一图像和第二图像之间的至少一差异矩阵。得到差异矩阵后，确定单元120还被配置为根据差异矩阵，以最小化缝合线两侧差异且避开运动区域为约束条件计算目标缝合线。
应当说明的是，差异计算单元140所计算的差异矩阵用于描述第一图像和第二图像的重叠区域中各个位置的差异，可以是像素点之间的差异，也可以是多个像素点构成的像素块之间的差异。差异计算单元140计算第一图像和第二图像之间的差异可为色彩差异、灰度差异、边缘差异中的一种或者多种。比如，差异计算单元140被配置为计算像素点之间的色彩差异，差异计算单元140将针对第一图像和第二图像的重叠区域计算得到第一图像和第二图像之间的色彩差异矩阵，该色彩差异矩阵用于描述第一图像和第二图像的重叠区域中相同位置的两个像素点之间的色彩差异。
如上，在差异计算单元140计算得到前述差异矩阵，运动侦测单元110侦测到前述运动区域之后，确定单元130即根据前述差异矩阵，以最小化缝合线两侧差异且避开前述运动区域为约束条件，计算得到前述目标缝合线。由此，当缝合单元130采用该目标缝合线缝合第一图像和第二图像时，得到的缝合图像在目标缝合线左右两侧的图像内容的差异最小，且目标缝合线不会穿过运动物体，能够进一步提高图像的缝合质量。
在一实施例中，差异计算单元140被配置为按照多种不同的差异计算方式，针对重叠区域计算得到第一图像和第二图像之间不同维度的多个差异矩阵。
请参照图6，在一实施例中，差异计算单元140包括色彩差异计算电路1402、边缘侦测器1404、及边缘差异计算电路1406。色彩差异计算电路1402针对重叠区域，计算第一图像和第二图像中每一组相同位置像素点之间的色彩差异，从而得到一描述第一图像和第二图像的重叠区域中相同位置像素点之间色彩差异的色彩差异矩阵。或者，通过对色彩差异计算电路1402进行配置，使得色彩差异计算电路1402按照一分块方式，将第一图像和第二图像的重叠区域划分为多个像素块(每一像素块包括多个像素点)，并计算第一图像和第二图像中重叠区域相同位置像素块(对于一像素块，融合该像素块内所有像素点的色彩值得到一融合色彩值，用于色彩差异的计算，如针对每一色彩通道，分别计算所有像素点的平均色彩值)的色彩差异，从而得到一描述第一图像和第二图像的重叠区域中相同位置像素块之间色彩差异的色彩差异矩阵。
比如，请参照图7，第一图像和第二图像的重叠区域分别为第一图像右侧区域和第二图像左侧区域。在进行色彩维度的差异计算时，色彩差异计算电路1402按照相同的分块方式，将第一图像右侧区域和第二图像左侧区域均划分为4x4共16个像素块。然后，色彩差异计算电路1402对第一图像右侧区域和第二图像左侧区域相同位置的每一组像素块进行色彩差异的计算。例如，对于第一图像右侧区域左上顶点的像素块和第二图像左侧区域左上顶点的像素块为相同位置的一组像素块。假设第一图像右侧区域左上顶点像素块红色通道、绿色通道、蓝色通道的像素值分别为56、255、251，第二图像左侧区域左上顶点像素块红色通道、绿色通道、蓝色通道的像素值分别为52、253、250，色彩差异计算电路1402分别计算前组像素块分别在红色通道、绿色通道以及蓝色通道的之间的差值绝对值，得到结果为4、2、1，取其中最大值4作为前组像素块的差异值。
按照以上计算方式，色彩差异计算电路1402将计算得到第一图像和第二图像重叠区域中其它相同位置像素块之间的色彩维度的差异值，从而由这些对应不同像素块组的差异值构成图7所示的色彩差异矩阵。
边缘侦测器1404分别针对第一图像和和第二图像的重叠区域进行边缘侦测，以分别产生第一边缘侦测结果以及第二边缘侦测结果，实施上，边缘侦测器1404可藉由分析图像中各像素与其外围像素的像素值变化或相对关系来侦测图像中对象的边缘。
边缘差异计算电路1406可被配置为根据第一边缘侦测结果以及第二边缘侦测结果，计算第一图像和第二图像中重叠区域每一组相同位置像素点或像素块之间的边缘差异，从而得到一描述第一图像和第二图像的重叠区域中相同位置像素点或像素块之间边缘差异的边缘差异矩阵。当以像素块为计算的基础时，一像素块为融合该像素块内所有像素点的边缘值得到的一融合边缘值，例如像素块内所有像素点的平均边缘值。
比如，请参照图8，第一图像和第二图像的重叠区域分别为第一图像右侧区域和第二图像左侧区域。在进行边缘维度的差异计算时，边缘差异计算电路1406按照相同的分块方式，将第一图像右侧区域和第二图像左侧区域均划分为4x4共16个像素块。然后，边缘差异计算电路1406对第一图像右侧区域和第二图像左侧区域相同位置的每一组像素块进行边缘差异的计算。例如，对于第一图像右侧区域左上顶点的像素块和第二图像左侧区域左上顶点的像素块为相同位置的一组像素块，计算得到的差异值为2。
按照以上计算方式，边缘差异计算电路1406将计算得到第一图像和第二图像重叠区域中其它相同位置像素块之间的边缘维度的差异值，从而由这些对应不同像素块组的差异值构成图8所示的边缘差异矩阵，用于描述第一图像和第二图像的重叠区域中每一相同位置像素块之间边缘差异的边缘差异矩阵。
本申请实施例中，通过对色彩差异计算电路1402和边缘差异计算电路1406进行配置，使得色彩差异计算电路1402所计算得到的色彩差异矩阵与边缘差异计算电路1406所技术得到的边缘差异矩阵形状相同。比如，通过配置色彩差异计算电路1402和边缘差异计算电路1406均以像素点为差异计算对象，或者均以像素块(按照相同的分块方式进行像素块的划分)为差异计算对象，以使得二者所计算得到的边缘差异矩阵和色彩差异矩阵的形状相同。
请参照图9，确定单元120由两部分构成，分别为数据处理电路1202和缝合线计算电路1204。为了能够有效的利用所计算得到的第一图像和第二图像之间重叠区域在不同维度的差异，数据处理电路1202首先将色彩差异矩阵和边缘差异矩阵进行融合，将融合得到的携带了色彩差异和边缘差异的融合差异矩阵作为一用于计算缝合线的成本图。此外，为了使得计算得到的目标缝合线能够避开运动区域，数据处理电路1202进一步根据之前侦测到的运动区域，为成本图对应位置的元素增加惩罚成本，以抑制缝合线经过重叠区域中运动区域的概率。也就是说，数据处理电路1202进一步根据运动区域对成本图进行修正，而得到修正后的成本图。其中，对于色彩差异矩阵和边缘差异矩阵的融合方式，以及惩罚成本的具体取值，此处不作具体限定，可由本领域普通技术人员根据实际需要进行配置。可以理解的是，惩罚成本取值越大，计算的缝合线避开运动区域的概率越大。
比如，可以配置色彩差异矩阵和边缘差异矩阵的融合方式为对应位置元素直接相加，以及配置惩罚成本取值为6。请参照图10，假设运动区域为重叠区域右下角的两像素块区域，数据处理电路1202将根据该运动区域生成一运动矩阵，运动矩阵中值为0的元素表示其在重叠区域中对应位置的像素块不为运动区域，而值为惩罚成本6的元素表示其在重叠区域中对应位置的像素块为运动区域。如图10所示，数据处理电路1202将色彩差异矩阵和边缘差异矩阵对应位置上的元素直接相加，得到一成本图，然后将成本图与运动矩阵对应位置上的元素直接相加，为成本图增加惩罚成本，最终得到修正后的成本图。
在一实施例中，数据处理电路1202被配置为将色彩差异矩阵和边缘差异矩阵对应位置上的元素加权相加，得到成本图。例如，以色彩差异矩阵和边缘差异矩阵的权重之和为1作为约束，并由本领域普通技术人员根据实际需要为色彩差异矩阵和边缘差异矩阵分配权重。可以理解是，若分配色彩差异矩阵的权重较大，则第一图像和第二图像之间重叠区域的色彩差异将更多地影响目标缝合线的计算，同理，若分配边缘差异矩阵的权重较大，则第一图像和第二图像之间重叠区域的边缘差异将更多地影响目标缝合线的计算。
得到成本图之后，缝合线计算电路1204可利用最小成本法根据成本图计算得到一最小成本缝合线，并将该最小成本缝合线作为用于缝合第一图像和第二图像的目标缝合线。
在一实施例中，缝合线计算电路1204延着一累加方向以最小化累加值为约束条件对成本图的多个元素与其邻排的相邻元素中的一元素进行累加，以得到目标缝合线。
比如，请参照图11，其为计算目标缝合线的示例图。缝合线计算电路1204首先根据第一图像和第二图像的重叠区域确定进行成本累加的一累加方向，假设第一图像和第二图像左右重叠，则缝合线计算电路1204可以选择由上至下的方向为累加方向，也可以选择由下至上的方向为累加方向，此处选择由上至下的方向为累加方向进行示例说明。
在确定累加方向之后，缝合线计算电路1204根据累加方向在成本图中确定一起始排元素和一结束排元素。请继续参照图11，按照前述累加方向，修正成本图的横排“6，1，0，1”为首个横排，不存在累加对象，相应将横排“6，1，0，1”作为成本累加图的初始横排，将横排“1，6，6，1”设为起始排元素，将横排“1，7，8，9”设为结束排元素。也即将累加方向上第二排元素设为起始排元素，将累加方向上的最后一排元素设为结束排元素。
在确定起始排元素和结束排元素转换之后，对于起始排元素中的每一元素，缝合线计算电路1204在与累加方向相反方向的一邻排元素中，以最小化累加成本(也即最小化累加值)为约束选择一目标元素进行成本累加。其中，对于累加的一排元素，除了两端的两个元素在累加方向相反方向的一邻排元素中两个邻近元素中搜索目标元素之之外，其他元素在累加方向相反方向的一邻排元素中三个邻近元素中搜索目标元素。请继续参照图11，对于起始排元素左端的“1”，在累加方向相反方向的一邻排元素“6，1，0，1”中两个邻近元素“6，1”中搜索目标元素，此时选择“1”作为目标元素进行累加，得到累加成本“2”，以及对应的累加路径“1”-“2”(如图11中实线箭头所示)；而对于起始排元素中“6”(此处为由左至右的第一个“6”)，在累加方向相反方向的一邻排元素“6，1，0，1”中三个邻近元素“6，1，0”中搜索目标元素，此时选择“0”作为目标元素进行累加，得到累加成本“6”，以及对应的累加路径“0”-“6”；以此类推，完成对起始排元素的成本累加，对应的累加成本为“2，6，6，1”。
以此类推，缝合线计算电路1204继续对起始排元素在累加方向的邻排元素(即成本图中由上至下第三排元素)进行成本累加，得到对应的累加成本如图11中成本累加图中由上至下的第三排元素所示，为“3，2，1，2”。如此，直至累加至结束排元素(即成本图中由上至下第四排元素)。
最终，得到成本累加图同样4横排以及4纵排共16个元素，其中按照由上至下的顺序分别为“6，1，0，1”、“2，6，6，1”、“3，2，1，2”以及“3，8，9，10”。相应的，缝合线计算电路1204根据累加成本最小的累加路径(此时为“1”-“2”-“2”-“3”)生成最小成本缝合线，如图11所示。
在另一实施例中，缝合线计算电路1204延着一累加方向以最小化累加值为约束条件对成本图的多个元素与其同排及邻排的相邻元素中的一元素进行累加，以得到所述目标缝合线。与前面实施例不同的是在这实施例中缝合线计算电路1204在选择一目标元素进行成本累加的过程中，是自同排及邻排的相邻元素中进行选择，并非仅自邻排的相邻元素中选择。
请参照图12，其为此实施例计算目标缝合线的示例图。此实施例选择由上至下的方向为累加方向进行示例说明。如同前面的实施例，将横排“1，6，6，1”设为起始排元素，将横排“1，7，8，9”设为结束排元素。
请继续参照图12，对于起始排元素左端的“1”，在累加方向相反方向的一邻排元素“6，1，0，1”中两个邻近元素“6，1”中搜索目标元素，此时选择“1”作为目标元素进行累加，得到累加成本“2”，以及对应的累加路径“1”-“2”(如图12中实线箭头所示)；然后，缝合线计算电路1204进一步按照累加方向的一第一垂直方向进行累加成本的更新，即针对同排的邻近元素进行累加成本的更新。此处以由左至右的方向为第一垂直方向进行示例说明。此时“1”并不存在左侧相邻的元素，不对其累加成本进行更新，保留累加成本“2”。
而对于起始排元素中左侧的“6”(此处为由左至右的第一个“6”)，在累加方向相反方向的一邻排元素“6，1，0，1”中三个邻近元素“6，1，0”中搜索目标元素，此时选择“0”作为目标元素进行累加，得到累加成本“6”，以及对应的累加路径“0”-“6”；然后，缝合线计算电路1204进一步按照累加方向的一第一垂直方向(此时为由左至右的方向)进行累加成本的更新。此时“6”的左侧相邻元素为“1”，缝合线计算电路1204判断“6”对应的累加成本是否大于“1”对应的累加成本与“6”的成本之和，是则将“6”对应的累加成本替换为“1”对应的累加成本与“6”的成本之和。如图12所示，“6”对应的累加成本为6，小于“1”对应的累加成本(2)与“6”的成本(6)之和(8)，不对“6”对应的累加成本进行替换。
以此类推，在第一垂直方向完成对所有元素的更新后，起始排元素对应的累加成本为“2，6，6，1”，此时，缝合线计算电路1204按照与第一垂直方向相反的一第二垂直方向(此时为由右至左的方向)，根据每一元素在第二垂直方向的反向相邻元素对每一元素的累加成本再次进行更新。对于起始排元素右端的“1”，此时“1”并不存在右侧相邻的元素，不对其累加成本进行更新，保留累加成本“1”。而对于起始排元素中右侧的“6”(此处为由左至右的第二个“6”)。此时“6”的右侧相邻元素为“1”，缝合线计算电路1204判断“6”对应的累加成本是否大于“1”对应的累加成本与“6”的成本之和，是则将“6”对应的累加成本替换为“1”对应的累加成本与“6”的成本之和。如图12所示，“6”对应的累加成本为6，小于“1”对应的累加成本与“6”的成本之和7，不对“6”对应的累加成本进行替换。以此类推，在第二垂直方向完成对起始排元素累加成本的再次更新，最终得到起始排元素对应的累加成本仍然为“2，6，6，1”。
如上，缝合线计算电路1204继续对起始排元素在累加方向的邻排元素(即成本图中由上至下第三排元素“1，0，0，1”)进行成本累加，并在第一垂直方向和第二垂直方向针对同排的邻近元素进行更新。如此，直至累加至结束排元素(即成本图中由上至下第四排元素)。最终，得到成本累加图同样4横排以及4纵排共16个元素，其中按照由上至下的顺序分别为“6，1，0，1”、“2，6，6，1”、“2，1，1，2”以及“2，8，9，10”。相应的，缝合线计算电路1204根据累加成本最小的累加路径(此时为“0”-“1”-“1”-“1”-“1”-“2”)生成最小成本缝合线，如图12所示。
请参照图13，在一实施例中，图像缝合装置100还包括一位移限制单元150，用于获取缝合线计算电路1204之前计算得到的一先前缝合线，并根据先前缝合线产生一位移限制数据。确定单元120再以避开所述运动区域为约束条件，根据前述的至少一差异矩阵及位移限制数据计算目标缝合线。藉由考虑先前缝合线相关的位移限制数据，以避免当下画面所计算的目标缝合线与前一画面的先前缝合线差距过大，而影响画面的连续性。
详细来说，位移限制单元150可针对成本图中各元素与先前缝合线的距离而确定移动成本，比如，以距离越大，确定的位移成本越大为约束，进而产生对应的位移限制数据。而确定单元120中的数据处理电路1202再根据位移限制数据对成本图进行修正。
比如，存在视场区域部分重叠的第一摄像头和第二摄像头，且第一摄像头和第二摄像头均处于视频模式，连续地进行图像采集。在第一摄像头和第二摄像头开始采集的起始时刻t0，将第一摄像头在t0时刻采集的图像作为第一图像，将的第二摄像头在t0时刻采集的图像作为第二图像，由于此时并不存在先前第一图像和先前第二图像，缝合线计算电路1204在数据处理电路1202融合得到成本图之后，即根据该成本图计算一最小成本缝合线，作为用于缝合t0时刻的第一图像和第二图像的目标缝合线。在t0时刻的下一时刻t1，将第一摄像头在t1时刻采集的图像作为第一图像，将的第二摄像头在t1时刻采集的图像作为第二图像，此时的先前第一图像即第一摄像头在t0时刻采集的图像，先前第二图像即第二摄像头在t0时刻采集的图像，相应的，先前缝合线即缝合线计算电路1204根据先前第一图像和先前第二图像所计算的缝合线。位移限制单元150根据先前缝合线产生对应的位移限制数据。数据处理电路1202可综合考虑色彩差异矩阵、边缘差异矩阵、运动矩阵及位移限制数据来产生最后的成本图。比如，数据处理电路1202可在如图10所示根据色彩差异矩阵、边缘差异矩阵、运动矩阵得到一成本图后，再根据位移限制数据来修正成本图，其修正方式可为将成本图中各元素的成本值与位移限制数据中各元素对应的移动成本进行相加。相应的，缝合线计算电路1204再根据修正后的成本图计算得到目标缝合线。
在一实施例中，运动侦测单元110被配置为针对重叠区域对第一图像进行运动侦测，得到一第一候选运动区域，针对重叠区域对第二图像进行运动侦测，得到一第二候选运动区域，及融合第一候选运动区域和第二候选运动区域得到运动区域。
应当说明的是，对于运动侦测单元110采用何种运动侦测方式，可由本领域普通技术人员根据实际需要进行配置，此处不作具体限制。
比如，请参照图14，第一图像和第二图像的重叠区域分别为第一图像右侧区域和第二图像左侧区域。其中，按照相同的划分方式将第一图像右侧区域和第二图像左侧区域均划分为4x4共16个像素块。对于第一图像，运动侦测单元110侦测到的第一候选运动区域为图14所示2个像素块所构成，对于第二图像，运动侦测单元110侦测到的第二候选运动区域为图14所示2个像素块所构成。相应的，运动侦测单元110对第一候选运动区域和第二候选运动区域进行融合，得到图14所示3个像素块所构成的运动区域。
在一实施例中，运动侦测单元110被配置为获取与第一图像视场区域相同的先前第一图像，并针对重叠区域计算第一图像和先前第一图像的像素灰度差异，以及根据像素灰度差异侦测出第一候选运动区域。
比如，存在视场区域部分重叠的第一摄像头和第二摄像头，且第一摄像头和第二摄像头均处于视频模式，连续地进行图像采集。在第一摄像头和第二摄像头开始采集的起始时刻t0，将第一摄像头在t0时刻采集的图像作为第一图像，将的第二摄像头在t0时刻采集的图像作为第二图像，由于此时并不存在先前第一图像和先前第二图像，不进行运动区域的侦测。
在t0时刻的下一时刻t1，将第一摄像头在t1时刻采集的图像作为第一图像，将的第二摄像头在t1时刻采集的图像作为第二图像，此时的先前第一图像即第一摄像头在t0时刻采集的图像，先前第二图像即第二摄像头在t0时刻采集的图像。相应的，运动侦测单元110针对重叠区域计算第一图像和先前第一图像的像素灰度差异，以及根据像素灰度差异侦测出第一候选运动区域。
以此类推，在t1时刻之后的时刻，运动侦测单元110将按照如上方式进行运动侦测。
在一实施例中，运动侦测单元110被配置为将重叠区域划分为多个子块，并融合每一子块内的像素灰度差异得到一融合灰度差异，以及根据融合灰度差异大于预设阈值的子块生成第一候选运动区域。其中，对于预设阈值的具体取值，可由本领域普通技术人员根据实际需要进行配置，此处不作具体限定。
作为一可选的实施方式，运动侦测单元110被配置计算每一子块内的像素灰度差异的平均灰度差异，并将每一子块的平均灰度差异作为每一子块的融合灰度差异。
应当说明的是，对于运动侦测单元110对第二图像的运动侦测方式，可以参照运动侦测单元110对第一图像的运动侦测方式相应实施，此处不再赘述。
请参照图15，本申请还提供一种图像处理芯片10，其包括接口单元200、区域确定单元300及图像缝合装置100。接口单元200用于获取需要进行图像缝合一第一图像，及一第二图像。区域确定单元300用于确定第一图像与第二图像的一重叠区域。图像缝合装置100用于根据重叠区域缝合第一图像以及第二图像得到一缝合图像。
举例来说，接口单元200可以为移动产业处理器接口(Mobile IndustryProcessor Interface，MIPI)。接口单元200可以接收图像数据，比如接口单元200可以接收来同一摄像头在水平旋转过程中的不同角度所拍摄的视场区域部分重叠的两张图像，也可以接收视场区域部分重叠的两个摄像头所分别拍摄的两张图像。接口单元200接收到图像数据后，可以将该图像数据传输到区域确定单元300进行重叠区域的识别。
比如，接口单元200接收到同一摄像头在旋转过程中的不同角度所拍摄的视场区域部分重叠的第一图像和第二图像，并将第一图像及第二图像传输至区域确定单元300。相应的，区域确定单元300对第一图像和第二图像的重叠区域进行识别。此外，图像缝合装置100可以为本申请以上任一实施例所提供的图像缝合装置100。
在一实施例中，接口单元200从一第一监控摄像头获取第一图像，及从一第二监控摄像头获取第二图像。
本申请还提供一种图像缝合方法，请参照图16，该图像缝合方法的流程说明如下。
在步骤510中，对需要缝合的一第一图像和一第二图像的重叠区域进行运动侦测，得到重叠区域中存在运动物体的一运动区域。
在步骤520中，以避开运动区域为约束条件，计算一目标缝合线。
在步骤530中，根据目标缝合线缝合第一图像以及第二图像，得到一缝合图像。
在一实施例中，本申请提供的图像缝合方法还包括针对重叠区域计算得到第一图像和第二图像之间的至少一差异矩阵。之后，再根据差异矩阵，以最小化缝合线两侧差异且避开运动区域为约束条件计算目标缝合线。
在一实施例中，本申请提供的图像缝合方法还包括获取之前计算得到的一先前缝合线。再根据先前缝合线对成本图进行修正。
应当说明的是，图像缝合方法的详细说明请参照以上实施例中对于图像缝合装置的相关说明，在此不再赘述。
以上对本申请实施例提供的图像缝合装置、图像处理芯片、及图像缝合方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像缝合装置，其特征在于，包括：
一运动侦测单元，对一第一图像和一第二图像间的重叠区域进行运动侦测，得到所述重叠区域中存在一运动物体的一运动区域；
一确定单元，以避开所述运动区域为约束条件，于所述重叠区域中计算一目标缝合线；
一缝合单元，根据所述目标缝合线缝合所述第一图像以及所述第二图像，得到一缝合图像；
一差异计算单元，针对所述重叠区域计算得到所述第一图像和所述第二图像之间的至少一差异矩阵；以及
一位移限制单元，根据所述确定单元之前计算得到的一先前缝合线产生一位移限制数据；
其中，所述确定单元以避开所述运动区域为约束条件，根据所述至少一差异矩阵及所述位移限制数据计算所述目标缝合线。
2.根据权利要求1所述的图像缝合装置，其特征在于，所述差异计算单元按照多种不同的差异计算方式，针对所述重叠区域计算得到所述第一图像和所述第二图像之间不同维度的多个差异矩阵。
3.根据权利要求1所述的图像缝合装置，其特征在于，所述差异计算单元包括：
一色彩差异计算电路，针对所述重叠区域计算得到所述第一图像和所述第二图像之间的一色彩差异矩阵；
一边缘侦测器，针对所述重叠区域分别对所述第一图像和所述第二图像进行边缘侦测，得到对应所述第一图像的一第一边缘侦测结果，及对应所述第二图像的一第二边缘侦测结果；以及
一边缘差异计算电路，根据所述第一边缘侦测结果和所述第二边缘侦测结果进行差异计算，得到一边缘差异矩阵。
4.根据权利要求3所述的图像缝合装置，其特征在于，所述边缘差异矩阵和所述色彩差异矩阵的形状相同。
5.根据权利要求3所述的图像缝合装置，其特征在于，所述确定单元包括：
一数据处理电路，根据所述色彩差异矩阵、所述边缘差异矩阵及所述运动区域，得到一成本图；以及
一缝合线计算电路，根据所述成本图计算所述目标缝合线。
6.根据权利要求5所述的图像缝合装置，其特征在于，所述缝合线计算电路延着一累加方向以最小化累加值为约束条件对所述成本图的多个元素与其邻排的相邻元素中的一元素进行累加，以得到所述目标缝合线。
7.根据权利要求5所述的图像缝合装置，其特征在于，所述缝合线计算电路延着一累加方向以最小化累加值为约束条件对所述成本图的多个元素与其同排及邻排的相邻元素中的一元素进行累加，以得到所述目标缝合线。
8.根据权利要求1所述的图像缝合装置，其特征在于，所述运动侦测单元针对所述重叠区域依据所述第一图像所对应的一先前第一图像对所述第一图像进行运动侦测，得到一第一候选运动区域，并针对所述重叠区域依据所述第二图像所对应的一先前第二图像对所述第二图像进行运动侦测，得到一第二候选运动区域，及融合所述第一候选运动区域和所述第二候选运动区域得到所述运动区域。
9.一种图像处理芯片，其特征在于，包括：
一接口单元，获取一第一图像及一第二图像；
一区域确定单元，确定所述第一图像与所述第二图像间的一重叠区域；以及
一图像缝合装置，根据所述重叠区域缝合所述第一图像以及所述第二图像得到一缝合图像，所述图像缝合装置包括：
一运动侦测单元，对所述第一图像和所述第二图像的重叠区域进行运动侦测，得到所述重叠区域中存在运动物体的一运动区域；
一确定单元，以避开所述运动区域为约束条件，计算一目标缝合线；
一缝合单元，根据所述目标缝合线缝合所述第一图像以及所述第二图像，得到一缝合图像；
一差异计算单元，针对所述重叠区域计算得到所述第一图像和所述第二图像之间的至少一差异矩阵；以及
一位移限制单元，根据所述确定单元之前计算得到的一先前缝合线产生一位移限制数据；
其中，所述确定单元以避开所述运动区域为约束条件，根据所述至少一差异矩阵及所述位移限制数据计算所述目标缝合线。
10.根据权利要求9所述的图像处理芯片，其特征在于，所述接口单元从一第一监控摄像头获取所述第一图像，及从一第二监控摄像头获取所述第二图像。
11.一种图像缝合方法，其特征在于，包括：
对一第一图像和一第二图像间的重叠区域进行运动侦测，得到所述重叠区域中存在运动物体的一运动区域；
以避开所述运动区域为约束条件，计算一目标缝合线；
根据所述目标缝合线缝合所述第一图像以及所述第二图像，得到一缝合图像；
针对所述重叠区域计算得到所述第一图像和所述第二图像之间的至少一差异矩阵；以及
根据之前计算得到的一先前缝合线产生一位移限制数据；
其中，计算所述目标缝合线的步骤包括：
以避开所述运动区域为约束条件，根据所述至少一差异矩阵及所述位移限制数据计算所述目标缝合线。
CN202011231437.8A 2020-11-06 2020-11-06 图像缝合装置、图像处理芯片、及图像缝合方法 Active CN112200727B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202011231437.8A CN112200727B (zh) 2020-11-06 2020-11-06 图像缝合装置、图像处理芯片、及图像缝合方法
US17/487,455 US20220147752A1 (en) 2020-11-06 2021-09-28 Image stitching apparatus, image processing chip and image stitching method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011231437.8A CN112200727B (zh) 2020-11-06 2020-11-06 图像缝合装置、图像处理芯片、及图像缝合方法

Publications (2)

Publication Number Publication Date
CN112200727A CN112200727A (zh) 2021-01-08
CN112200727B true CN112200727B (zh) 2023-11-21

Family

ID=74033297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011231437.8A Active CN112200727B (zh) 2020-11-06 2020-11-06 图像缝合装置、图像处理芯片、及图像缝合方法

Country Status (2)

Country Link
US (1) US20220147752A1 (zh)
CN (1) CN112200727B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112953530B (zh) * 2021-01-28 2024-02-23 星宸科技股份有限公司 除频器电路
DE112021007132T5 (de) * 2021-06-09 2023-12-21 Nvidia Corporation Berechnung der bewegung von pixeln zwischen bildern

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530267A (zh) * 2016-11-30 2017-03-22 长沙全度影像科技有限公司 一种避免全景图像错位的融合方法
CN107203970A (zh) * 2017-06-20 2017-09-26 长沙全度影像科技有限公司 一种基于动态最优缝合线的视频拼接方法
CN109493282A (zh) * 2018-11-21 2019-03-19 清华大学深圳研究生院 一种消除运动重影的立体图像拼接方法
CN110782424A (zh) * 2019-11-08 2020-02-11 重庆紫光华山智安科技有限公司 图像融合方法、装置、电子设备及计算机可读存储介质
WO2020213430A1 (ja) * 2019-04-18 2020-10-22 日本電信電話株式会社 映像処理装置、映像処理方法及び映像処理プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
CN108205797B (zh) * 2016-12-16 2021-05-11 杭州海康威视数字技术股份有限公司 一种全景视频融合方法及装置
CN107346536B (zh) * 2017-07-04 2020-08-11 广东工业大学 一种图像融合的方法与装置
TWI661392B (zh) * 2017-12-27 2019-06-01 聚星電子股份有限公司 影像縫合方法及裝置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106530267A (zh) * 2016-11-30 2017-03-22 长沙全度影像科技有限公司 一种避免全景图像错位的融合方法
CN107203970A (zh) * 2017-06-20 2017-09-26 长沙全度影像科技有限公司 一种基于动态最优缝合线的视频拼接方法
CN109493282A (zh) * 2018-11-21 2019-03-19 清华大学深圳研究生院 一种消除运动重影的立体图像拼接方法
WO2020213430A1 (ja) * 2019-04-18 2020-10-22 日本電信電話株式会社 映像処理装置、映像処理方法及び映像処理プログラム
CN110782424A (zh) * 2019-11-08 2020-02-11 重庆紫光华山智安科技有限公司 图像融合方法、装置、电子设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN112200727A (zh) 2021-01-08
US20220147752A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
US11422356B2 (en) Information processing apparatus, imaging control method, program, digital microscope system, display control apparatus, display control method, and program including detection of a failure requiring reimaging
JP6735592B2 (ja) 画像処理装置及びその制御方法、画像処理システム
US8416314B2 (en) Method and system for processing images
US8289402B2 (en) Image processing apparatus, image pickup apparatus and image processing method including image stabilization
CN112200727B (zh) 图像缝合装置、图像处理芯片、及图像缝合方法
JP4798236B2 (ja) 撮像装置、画像処理方法及びプログラム
TW201526618A (zh) 影像接合之最佳動態接縫找尋調整系統與方法
US10740907B2 (en) Moving body tracking method, moving body tracking device, and program
US8482619B2 (en) Image processing method, image processing program, image processing device, and imaging device for image stabilization
JP4296617B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
JP6320053B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
US11893716B2 (en) Image processing apparatus and image processing method, and image capturing apparatus
US9709874B2 (en) Device and method for image processing used for tracking pursued subject
US9122935B2 (en) Object detection method, storage medium, integrated circuit, and object detection apparatus
JPWO2020012556A1 (ja) 撮像装置、画像補正方法および画像補正プログラム
TWI766434B (zh) 影像拼接裝置、影像處理晶片及影像拼接方法
US9563960B2 (en) Method for detecting foreground
US20130163862A1 (en) Image processing method and device for redeye correction
JP2017130106A (ja) データ処理装置、撮像装置、およびデータ処理方法
CN109565544B (zh) 位置指定装置及位置指定方法
JP6637242B2 (ja) 画像処理装置、撮像装置、プログラム、および画像処理方法
EP4138390A1 (en) Method for camera control, image signal processor and device with temporal control of image acquisition parameters
KR101472853B1 (ko) 카메라 모듈의 광축 정합성 평가 시스템 및 이를 사용한 카메라 모듈의 광축 정합성 평가 방법
KR101652116B1 (ko) 피사체 영역 및 움직임 검출 장치 및 방법
US20220270264A1 (en) Image processing device, control method thereof, imaging device, and recording medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 361005 1501, zone a, innovation building, software park, torch hi tech Zone, Xiamen City, Fujian Province

Applicant after: Xingchen Technology Co.,Ltd.

Address before: 361005 1501, zone a, innovation building, software park, torch hi tech Zone, Xiamen City, Fujian Province

Applicant before: Xiamen Xingchen Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant