CN108573469A - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN108573469A
CN108573469A CN201710131001.3A CN201710131001A CN108573469A CN 108573469 A CN108573469 A CN 108573469A CN 201710131001 A CN201710131001 A CN 201710131001A CN 108573469 A CN108573469 A CN 108573469A
Authority
CN
China
Prior art keywords
image
suture
crosspoint
unit
picture element
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710131001.3A
Other languages
English (en)
Inventor
刘威
范伟
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201710131001.3A priority Critical patent/CN108573469A/zh
Priority to US15/838,591 priority patent/US10614560B2/en
Priority to JP2018009341A priority patent/JP2018147471A/ja
Publication of CN108573469A publication Critical patent/CN108573469A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

本公开涉及图像处理装置和方法。所述图像处理装置包括：缝线获取单元，用于获取将要被拼接的图像中的第一图像的缝线；分割单元，用于沿着所述第一图像的缝线的延伸方向，将所述第一图像的包括缝线的中心区域分割成块，使得块边界与所述第一图像的缝线的交叉点处于强梯度区域；匹配单元，用于基于所述交叉点进行关键点匹配，以在将要被拼接的图像中的第二图像的与所述缝线对应的位置区域寻找与所述交叉点相对应的坐标点；以及融合单元，用于基于所述交叉点和所述坐标点对所述第一图像和所述第二图像进行图像融合。使用根据本公开的图像处理装置和方法，可以拼接两个图像的公共区域的任何位置，并且具有无缝的拼接结果。

Description

图像处理装置和方法
技术领域
本公开涉及图像处理的技术领域，具体地涉及用于对图像进行无缝拼接的图像处理装置和方法。
背景技术
这个部分提供了与本公开有关的背景信息，这不一定是现有技术。
在诸如大规模旧报纸拼接、多聚焦图像融合和图书馆文件数字化之类的各种领域中，已应用了文件图像拼接技术。然而，图像拼接的效果往往不稳定，难以得到高度精确的结果，并且拼接后的图像有时无法令人满意。
发明内容
这个部分提供了本公开的一般概要，而不是其全部范围或其全部特征的全面披露。
本公开的目的在于提供一种图像处理装置和方法，其能够在两个图像的重叠区域的任何位置上拼接这两个图像，实现稳固的性能和高精度的结果，并且拼接的图像可以实现无缝的结果。
根据本公开的一方面，提供了一种图像处理装置，该装置包括：缝线获取单元，用于获取将要被拼接的图像中的第一图像的缝线；分割单元，用于沿着所述第一图像的缝线的延伸方向，将所述第一图像的包括缝线的中心区域分割成块，使得块边界与所述第一图像的缝线的交叉点处于强梯度区域；匹配单元，用于基于所述交叉点进行关键点匹配，以在将要被拼接的图像中的第二图像的与所述缝线对应的位置区域寻找与所述交叉点相对应的坐标点；以及融合单元，用于基于所述交叉点和所述坐标点对所述第一图像和所述第二图像进行图像融合。
根据本公开的另一方面，提供了一种图像处理方法，该方法包括：获取将要被拼接的图像中的第一图像的缝线；沿着所述第一图像的缝线的延伸方向，将所述第一图像的包括缝线的中心区域分割成块，使得块边界与所述第一图像的缝线的交叉点处于强梯度区域；基于所述交叉点进行关键点匹配，以在将要被拼接的图像中的第二图像的与所述缝线对应的位置区域寻找与所述交叉点相对应的坐标点；以及基于所述交叉点和所述坐标点对所述第一图像和所述第二图像进行图像融合。
根据本公开的另一方面，提供了一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据本公开的图像处理方法。
使用根据本公开的图像处理装置和方法，可以拼接两个图像的公共区域的任何位置，并且具有无缝的拼接结果。
从在此提供的描述中，进一步的适用性区域将会变得明显。这个概要中的描述和特定例子只是为了示意的目的，而不旨在限制本公开的范围。
附图说明
在此描述的附图只是为了所选实施例的示意的目的而非全部可能的实施，并且不旨在限制本公开的范围。在附图中：
图1为图示根据本公开的实施例的图像处理装置的结构的框图；
图2为图示根据本公开的实施例的图像处理装置中包括的分割单元的结构的框图；
图3为图示根据本公开的另一实施例的图像处理装置的结构的框图；
图4为图示根据本公开的实施例的图像处理装置中包括的连通域获取单元的结构的框图；
图5为图示根据本公开的实施例的图像处理装置中包括的缝线获取单元的结构的框图；
图6为图示根据本公开的另一实施例的图像处理装置的结构的框图；
图7为图示根据本公开的实施例的图像处理方法的流程图；以及
图8为其中可以实现根据本公开的实施例的图像处理装置和方法的通用个人计算机的示例性结构的框图。
虽然本公开容易经受各种修改和替换形式，但是其特定实施例已作为例子在附图中示出，并且在此详细描述。然而应当理解的是，在此对特定实施例的描述并不打算将本公开限制到公开的具体形式，而是相反地，本公开目的是要覆盖落在本公开的精神和范围之内的所有修改、等效和替换。要注意的是，贯穿几个附图，相应的标号指示相应的部件。
具体实施方式
现在参考附图来更加充分地描述本公开的例子。以下描述实质上只是示例性的，而不旨在限制本公开、应用或用途。
提供了示例实施例，以便本公开将会变得详尽，并且将会向本领域技术人员充分地传达其范围。阐述了众多的特定细节如特定部件、装置和方法的例子，以提供对本公开的实施例的详尽理解。对于本领域技术人员而言将会明显的是，不需要使用特定的细节，示例实施例可以用许多不同的形式来实施，它们都不应当被解释为限制本公开的范围。在某些示例实施例中，没有详细地描述众所周知的过程、众所周知的结构和众所周知的技术。
图1图示了根据本公开的实施例的图像处理装置100的结构。如图1所示，根据本公开的实施例的图像处理装置100可以包括缝线获取单元110、分割单元120、匹配单元130和融合单元140。
缝线获取单元110可以获取将要被拼接的图像中的第一图像的缝线。本领域技术人员可以理解的是，图像的缝线指的是图像在拼接时所形成的线。
沿着第一图像的缝线的延伸方向，分割单元120可以将第一图像的包括缝线的中心区域分割成块，使得块边界与第一图像的缝线的交叉点处于强梯度区域。
在本公开中，图像的中心区域被设置为图像的包括缝线的区域。例如，当对两个图像进行左右拼接时，图像的缝线可以从上往下延伸。这时，分割单元120可以沿着竖直方向将第一图像的中心区域分割成块，并且块边界水平延伸。水平延伸的块边界将会与从上往下延伸的缝线相交而形成交叉点。另一方面，当对两个图像进行上下拼接时，图像的缝线可以水平延伸。这时，分割单元120可以沿着水平方向将第一图像的中心区域分割成块，并且块边界竖直延伸。竖直延伸的块边界将会与水平延伸的缝线相交而形成交叉点。
分割单元120可以使块边界与第一图像的缝线的交叉点处于强梯度区域。本领域技术人员可以理解的是，强梯度区域指的是梯度变化剧烈的区域。当图像上的区域的梯度变化剧烈时，往往意味着该区域处于图像中的前景对象的边缘。当分割单元120使交叉点处于强梯度区域时，能够尽可能地避免使块边界穿过图像中的前景对象。
接下来，匹配单元130可以基于块边界与第一图像的缝线的交叉点进行关键点匹配，以在将要被拼接的图像中的第二图像的与第一图像的缝线对应的位置区域寻找与交叉点相对应的坐标点。通过匹配单元130执行的关键点匹配，可以在第二图像中找到坐标点，该坐标点位于第二图像的与第一图像的缝线对应的位置区域，并且对应于块边界与第一图像的缝线的交叉点。
在这之后，融合单元140可以基于交叉点和坐标点对第一图像和第二图像进行图像融合，从而得到融合后(亦即拼接)的图像。根据本公开的优选实施例，融合单元140可以通过插值方法来对第一图像和第二图像进行图像融合。插值方法对于本领域技术人员而言是众所周知的，在此不再详述。
在根据本公开的实施例的图像处理装置100中，要被拼接的图像的包括缝线的中心区域被分割成块，并且块边界与缝线的交叉点处于强梯度区域。这样一来，就能够尽可能地避免使块边界穿过图像中的前景对象。与随机选择的交叉点相比，根据本公开的实施例的图像处理装置100得到的拼接图像可以实现稳固的性能和高精度且无缝的结果。
为了更好地理解本公开的技术方案，下面针对本公开的图像处理装置进行更加详细地描述。
图2示出了根据本公开的实施例的图像处理装置中的分割单元200。图2所示的分割单元200对应于图1所示的分割单元120。
如图2所示，分割单元200可以包括扫描单元210、设置单元220(第一设置单元)和设置单元230(第二设置单元)。
首先，扫描单元210可以沿着第一图像的缝线的延伸方向对该缝线进行扫描。
在扫描过程中，当扫描到第一图像的缝线为黑色像素且该黑色像素之后存在连续的黑色像素并且这些黑色像素的数目大于预定阈值时，设置单元220可以将该黑色像素设置为块与第一图像的缝线的一个交叉点。
另一方面，当扫描到第一图像的缝线为从黑色像素转变为白色像素且该黑色像素之前存在连续的黑色像素且这些黑色像素的数目大于预定阈值时，设置单元230可以将该黑色像素设置为块与第一图像的缝线的一个交叉点。
本领域技术人员可以理解的是，黑色像素所处的区域为强梯度区域，而白色像素所处的区域为弱梯度区域。根据如图2所示的分割单元200，当第一图像的缝线由白色像素转变为黑色像素，或者由黑色像素转变为白色像素时，设置单元220或230会将该黑色像素设置为块与缝线的一个交叉点。换言之，块边界对应于强梯度区域的边缘，从而避免使块边界穿过图像中的前景对象。另外，设置单元220和230还规定了连续的黑色像素的数目应当大于预定阈值，以便排除噪声造成的干扰。
图3示出了根据本公开的另一实施例的图像处理装置300。除了连通域获取单元310之外，如图3所示的图像处理装置300的结构与如图1所示的图像处理装置100的结构相同。图像处理装置300的与图像处理装置100相同的部件在此不再赘述。
根据如图3所示的图像处理装置300，连通域获取单元310可以获取第一图像的包括缝线的中心区域中的面积大于预定值的连通域。需要说明的是，这里的连通域指的是强梯度区域。连通域获取单元310获取的连通域的面积大于预定值，以便排除噪声造成的干扰。
基于连通域获取单元310获取的连通域，分割单元120可以将中心区域分割成块，使得块边界不穿过连通域获取单元310获取的连通域，以进一步避免使块边界穿过图像中的前景对象。
图4示出了根据本公开的实施例的图像处理装置中的连通域获取单元400。图4所示的连通域获取单元400对应于图3所示的连通域获取单元310。
如图4所示，连通域获取单元400可以包括计算单元410(第一计算单元)、计算单元420(第二计算单元)和计算单元430(第三计算单元)。
计算单元410可以对将要被拼接的图像中的第一图像进行处理，以计算第一图像的梯度图像。需要说明的是，本公开对梯度图像的计算方法并没有特殊限制，本领域技术人员可以采用任何已知的方法来计算图像的梯度图像。
接下来，计算单元420可以基于计算单元410计算的梯度图像来计算第一图像的二值图像。同样地，本公开对二值图像的计算方法也没有特殊限制，本领域技术人员可以采用任何已知的方法来计算图像的二值图像。
在这之后，计算单元430可以基于计算单元420计算的二值图像来计算连通域。同样，本公开对连通域的计算方法并没有特殊限制，本领域技术人员可以采用任何已知的方法来计算图像的连通域。
根据如图4所示的连通域获取单元400，可以获取将要被拼接的图像中的第一图像的连通域，以便于分割单元将中心区域分割成块。基于连通域获取单元400获取的连通域，分割单元可以将中心区域分割成块，使得块边界不穿过连通域获取单元400获取的连通域，以进一步避免使块边界穿过图像中的前景对象。
图5示出了根据本公开的实施例的图像处理装置中的缝线获取单元500。图5所示的缝线获取单元500对应于图1和3所示的缝线获取单元110。
如图5所示，缝线获取单元500可以包括对准单元510和获取单元520。
对准单元510可以粗略对准第一图像和第二图像，以获得第一图像和第二图像的重叠区域。根据本公开的优选实施例，对准单元510可以通过模板匹配方法或关键点匹配方法来粗略对准第一图像和第二图像。模板匹配方法和关键点匹配方法对于本领域技术人员而言是众所周知的，在此不再详述。
在这之后，获取单元520可以在通过对准单元510获得的重叠区域中获取将要被拼接的图像中的第一图像的缝线，使得该缝线穿过最少的前景像素。根据本公开的优选实施例，获取单元520可以通过动态路径规划方法来在重叠区域中获取缝线。动态路径规划方法对于本领域技术人员而言是众所周知的，在此不再详述。
根据如图5所示的缝线获取单元500，可以获取将要被拼接的图像中的第一图像的缝线。
图6示出了根据本公开的另一实施例的图像处理装置600。除了处理单元610之外，如图6所示的图像处理装置600的结构与如图1所示的图像处理装置100的结构相同。图像处理装置600的与图像处理装置100相同的部件在此不再赘述。
根据如图6所示的图像处理装置600，处理单元610可以对融合后的图像进行模糊化处理，使得处理后的图像看起来更加自然。本公开对图像模糊化处理的方法并没有特殊限制，本领域技术人员可以采用任何已知的方法来使图像模糊化。
下面结合图7来描述根据本公开的实施例的图像处理方法。根据本公开的方法可以对图像进行无缝拼接。
如图7所示，根据本公开的实施例的图像处理方法开始于步骤S110。在步骤S110中，获取将要被拼接的图像中的第一图像的缝线。
接下来，在步骤S120中，沿着第一图像的缝线的延伸方向，将第一图像的包括缝线的中心区域分割成块，使得块边界与第一图像的缝线的交叉点处于强梯度区域。
接下来，在步骤S130中，基于交叉点进行关键点匹配，以在将要被拼接的图像中的第二图像的与上述缝线对应的位置区域寻找与上述交叉点相对应的坐标点。
接下来，在步骤S140中，基于上述交叉点和上述坐标点对第一图像和第二图像进行图像融合。在这之后，过程结束。
根据本公开的优选实施例，将第一图像的包括缝线的中心区域分割成块的步骤可以包括：沿着延伸方向对第一图像的缝线进行扫描；当扫描到第一图像的缝线为黑色像素且黑色像素之后存在连续的黑色像素并且其数目大于预定阈值时，将黑色像素设置为块与第一图像的缝线的一个交叉点；以及当扫描到第一图像的缝线为从黑色像素转变为白色像素且黑色像素之前存在连续的黑色像素且其数目大于预定阈值时，将黑色像素设置为块与第一图像的缝线的一个交叉点。
根据本公开的优选实施例，该方法可以进一步包括：获取中心区域中的面积大于预定值的连通域；以及将中心区域分割成块，使得块边界不穿过连通域。
根据本公开的优选实施例，获取中心区域中的面积大于预定值的连通域的步骤可以包括：计算第一图像的梯度图像；基于梯度图像计算第一图像的二值图像；以及基于二值图像计算连通域。
根据本公开的优选实施例，获取将要被拼接的图像中的第一图像的缝线的步骤可以包括：粗略对准第一图像和第二图像，以获得第一图像和第二图像的重叠区域；以及在重叠区域中获取缝线，使得缝线穿过最少的前景像素。
根据本公开的优选实施例，可以通过模板匹配方法或关键点匹配方法来粗略对准第一图像和第二图像。
根据本公开的优选实施例，可以通过动态路径规划方法来在重叠区域中获取缝线。
根据本公开的优选实施例，可以通过插值方法来对第一图像和第二图像进行图像融合。
根据本公开的优选实施例，该方法可以进一步包括：对融合后的图像进行模糊化处理。
根据本公开的实施例的图像处理方法的上述步骤的各种具体实施方式前面已经作过详细描述，在此不再重复说明。
显然，根据本公开的图像处理方法的各个操作过程可以以存储在各种机器可读的存储介质中的计算机可执行程序的方式实现。
而且，本公开的目的也可以通过下述方式实现：将存储有上述可执行程序代码的存储介质直接或者间接地提供给系统或设备，并且该系统或设备中的计算机或者中央处理单元(CPU)读出并执行上述程序代码。此时，只要该系统或者设备具有执行程序的功能，则本公开的实施方式不局限于程序，并且该程序也可以是任意的形式，例如，目标程序、解释器执行的程序或者提供给操作系统的脚本程序等。
上述这些机器可读存储介质包括但不限于：各种存储器和存储单元，半导体设备，磁盘单元例如光、磁和磁光盘，以及其它适于存储信息的介质等。
另外，计算机通过连接到因特网上的相应网站，并且将依据本公开的计算机程序代码下载和安装到计算机中然后执行该程序，也可以实现本公开的技术方案。
图8为其中可以实现根据本公开的实施例的图像处理装置和方法的通用个人计算机的示例性结构的框图。
如图8所示，CPU 1301根据只读存储器(ROM)1302中存储的程序或从存储部分1308加载到随机存取存储器(RAM)1303的程序执行各种处理。在RAM 1303中，也根据需要存储当CPU 1301执行各种处理等等时所需的数据。CPU 1301、ROM 1302和RAM 1303经由总线1304彼此连接。输入/输出接口1305也连接到总线1304。
下述部件连接到输入/输出接口1305：输入部分1306(包括键盘、鼠标等等)、输出部分1307(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，以及扬声器等)、存储部分1308(包括硬盘等)、通信部分1309(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1309经由网络比如因特网执行通信处理。根据需要，驱动器1310也可连接到输入/输出接口1305。可拆卸介质1311比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1310上，使得从中读出的计算机程序根据需要被安装到存储部分1308中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1311安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图8所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1311。可拆卸介质1311的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM 1302、存储部分1308中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
在本公开的系统和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。
以上虽然结合附图详细描述了本公开的实施例，但是应当明白，上面所描述的实施方式只是用于说明本公开，而并不构成对本公开的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本公开的实质和范围。因此，本公开的范围仅由所附的权利要求及其等效含义来限定。
关于包括以上实施例的实施方式，还公开下述的附记：
附记1.一种图像处理装置，包括：
缝线获取单元，用于获取将要被拼接的图像中的第一图像的缝线；
分割单元，用于沿着所述第一图像的缝线的延伸方向，将所述第一图像的包括缝线的中心区域分割成块，使得块边界与所述第一图像的缝线的交叉点处于强梯度区域；
匹配单元，用于基于所述交叉点进行关键点匹配，以在将要被拼接的图像中的第二图像的与所述缝线对应的位置区域寻找与所述交叉点相对应的坐标点；以及
融合单元，用于基于所述交叉点和所述坐标点对所述第一图像和所述第二图像进行图像融合。
附记2.根据附记1所述的装置，其中，所述分割单元包括：
扫描单元，用于沿着所述延伸方向对所述第一图像的缝线进行扫描；
第一设置单元，用于当扫描到所述第一图像的缝线为黑色像素且所述黑色像素之后存在连续的黑色像素并且其数目大于预定阈值时，将所述黑色像素设置为块与所述第一图像的缝线的一个交叉点；以及
第二设置单元，用于当扫描到所述第一图像的缝线为从黑色像素转变为白色像素且所述黑色像素之前存在连续的黑色像素且其数目大于预定阈值时，将所述黑色像素设置为块与所述第一图像的缝线的一个交叉点。
附记3.根据附记1所述的装置，进一步包括：
连通域获取单元，用于获取所述中心区域中的面积大于预定值的连通域，并且
其中，所述分割单元将所述中心区域分割成块，使得所述块边界不穿过所述连通域。
附记4.根据附记3所述的装置，其中，所述连通域获取单元包括：
第一计算单元，用于计算所述第一图像的梯度图像；
第二计算单元，用于基于所述梯度图像计算所述第一图像的二值图像；以及
第三计算单元，用于基于所述二值图像计算所述连通域。
附记5.根据附记1所述的装置，其中，所述缝线获取单元包括：
对准单元，用于粗略对准所述第一图像和所述第二图像，以获得所述第一图像和所述第二图像的重叠区域；以及
获取单元，用于在所述重叠区域中获取所述缝线，使得所述缝线穿过最少的前景像素。
附记6.根据附记5所述的装置，其中，所述对准单元通过模板匹配方法或关键点匹配方法来粗略对准所述第一图像和所述第二图像。
附记7.根据附记5所述的装置，其中，所述获取单元通过动态路径规划方法来在所述重叠区域中获取所述缝线。
附记8.根据附记1所述的装置，其中，所述融合单元通过插值方法来对所述第一图像和所述第二图像进行图像融合。
附记9.根据附记1所述的装置，进一步包括：
处理单元，用于对融合后的图像进行模糊化处理。
附记10.一种图像处理方法，包括：
获取将要被拼接的图像中的第一图像的缝线；
沿着所述第一图像的缝线的延伸方向，将所述第一图像的包括缝线的中心区域分割成块，使得块边界与所述第一图像的缝线的交叉点处于强梯度区域；
基于所述交叉点进行关键点匹配，以在将要被拼接的图像中的第二图像的与所述缝线对应的位置区域寻找与所述交叉点相对应的坐标点；以及
基于所述交叉点和所述坐标点对所述第一图像和所述第二图像进行图像融合。
附记11.根据附记10所述的方法，其中，将所述第一图像的包括缝线的中心区域分割成块的步骤包括：
沿着所述延伸方向对所述第一图像的缝线进行扫描；
当扫描到所述第一图像的缝线为黑色像素且所述黑色像素之后存在连续的黑色像素并且其数目大于预定阈值时，将所述黑色像素设置为块与所述第一图像的缝线的一个交叉点；以及
当扫描到所述第一图像的缝线为从黑色像素转变为白色像素且所述黑色像素之前存在连续的黑色像素且其数目大于预定阈值时，将所述黑色像素设置为块与所述第一图像的缝线的一个交叉点。
附记12.根据附记10所述的方法，进一步包括：
获取所述中心区域中的面积大于预定值的连通域；以及
将所述中心区域分割成块，使得所述块边界不穿过所述连通域。
附记13.根据附记12所述的方法，其中，获取所述中心区域中的面积大于预定值的连通域的步骤包括：
计算所述第一图像的梯度图像；
基于所述梯度图像计算所述第一图像的二值图像；以及
基于所述二值图像计算所述连通域。
附记14.根据附记10所述的方法，其中，获取将要被拼接的图像中的第一图像的缝线的步骤包括：
粗略对准所述第一图像和所述第二图像，以获得所述第一图像和所述第二图像的重叠区域；以及
在所述重叠区域中获取所述缝线，使得所述缝线穿过最少的前景像素。
附记15.根据附记14所述的方法，其中，通过模板匹配方法或关键点匹配方法来粗略对准所述第一图像和所述第二图像。
附记16.根据附记14所述的方法，其中，通过动态路径规划方法来在所述重叠区域中获取所述缝线。
附记17.根据附记10所述的方法，其中，通过插值方法来对所述第一图像和所述第二图像进行图像融合。
附记18.根据附记10所述的方法，进一步包括：
对融合后的图像进行模糊化处理。
附记19.一种机器可读存储介质，其上携带有包括存储在其中的机器可读指令代码的程序产品，其中，所述指令代码当由计算机读取和执行时，能够使所述计算机执行根据附记10-18中任何一项所述的方法。

Claims (10)

1.一种图像处理装置，包括：
缝线获取单元，用于获取将要被拼接的图像中的第一图像的缝线；
分割单元，用于沿着所述第一图像的缝线的延伸方向，将所述第一图像的包括缝线的中心区域分割成块，使得块边界与所述第一图像的缝线的交叉点处于强梯度区域；
匹配单元，用于基于所述交叉点进行关键点匹配，以在将要被拼接的图像中的第二图像的与所述缝线对应的位置区域寻找与所述交叉点相对应的坐标点；以及
融合单元，用于基于所述交叉点和所述坐标点对所述第一图像和所述第二图像进行图像融合。
2.根据权利要求1所述的装置，其中，所述分割单元包括：
扫描单元，用于沿着所述延伸方向对所述第一图像的缝线进行扫描；
第一设置单元，用于当扫描到所述第一图像的缝线为黑色像素且所述黑色像素之后存在连续的黑色像素并且其数目大于预定阈值时，将所述黑色像素设置为块与所述第一图像的缝线的一个交叉点；以及
第二设置单元，用于当扫描到所述第一图像的缝线为从黑色像素转变为白色像素且所述黑色像素之前存在连续的黑色像素且其数目大于预定阈值时，将所述黑色像素设置为块与所述第一图像的缝线的一个交叉点。
3.根据权利要求1所述的装置，进一步包括：
连通域获取单元，用于获取所述中心区域中的面积大于预定值的连通域，并且
其中，所述分割单元将所述中心区域分割成块，使得所述块边界不穿过所述连通域。
4.根据权利要求3所述的装置，其中，所述连通域获取单元包括：
第一计算单元，用于计算所述第一图像的梯度图像；
第二计算单元，用于基于所述梯度图像计算所述第一图像的二值图像；以及
第三计算单元，用于基于所述二值图像计算所述连通域。
5.根据权利要求1所述的装置，其中，所述缝线获取单元包括：
对准单元，用于粗略对准所述第一图像和所述第二图像，以获得所述第一图像和所述第二图像的重叠区域；以及
获取单元，用于在所述重叠区域中获取所述缝线，使得所述缝线穿过最少的前景像素。
6.根据权利要求5所述的装置，其中，所述对准单元通过模板匹配方法或关键点匹配方法来粗略对准所述第一图像和所述第二图像。
7.根据权利要求5所述的装置，其中，所述获取单元通过动态路径规划方法来在所述重叠区域中获取所述缝线。
8.根据权利要求1所述的装置，其中，所述融合单元通过插值方法来对所述第一图像和所述第二图像进行图像融合。
9.根据权利要求1所述的装置，进一步包括：
处理单元，用于对融合后的图像进行模糊化处理。
10.一种图像处理方法，包括：
获取将要被拼接的图像中的第一图像的缝线；
沿着所述第一图像的缝线的延伸方向，将所述第一图像的包括缝线的中心区域分割成块，使得块边界与所述第一图像的缝线的交叉点处于强梯度区域；
基于所述交叉点进行关键点匹配，以在将要被拼接的图像中的第二图像的与所述缝线对应的位置区域寻找与所述交叉点相对应的坐标点；以及
基于所述交叉点和所述坐标点对所述第一图像和所述第二图像进行图像融合。
CN201710131001.3A 2017-03-07 2017-03-07 图像处理装置和方法 Pending CN108573469A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710131001.3A CN108573469A (zh) 2017-03-07 2017-03-07 图像处理装置和方法
US15/838,591 US10614560B2 (en) 2017-03-07 2017-12-12 Apparatus and method for image processing
JP2018009341A JP2018147471A (ja) 2017-03-07 2018-01-24 画像処理装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710131001.3A CN108573469A (zh) 2017-03-07 2017-03-07 图像处理装置和方法

Publications (1)

Publication Number Publication Date
CN108573469A true CN108573469A (zh) 2018-09-25

Family

ID=63444832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710131001.3A Pending CN108573469A (zh) 2017-03-07 2017-03-07 图像处理装置和方法

Country Status (3)

Country Link
US (1) US10614560B2 (zh)
JP (1) JP2018147471A (zh)
CN (1) CN108573469A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112308866B (zh) * 2020-11-04 2024-02-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057633A1 (en) * 2002-09-19 2004-03-25 Mai Tuy Vu System for mosaicing digital ortho-images
CN101794439A (zh) * 2010-03-04 2010-08-04 哈尔滨工程大学 基于边缘分类信息的图像拼接方法
CN104794701A (zh) * 2014-01-21 2015-07-22 富士通株式会社 图像拼接装置、方法以及图像处理设备
CN105719243A (zh) * 2014-12-04 2016-06-29 富士通株式会社 图像处理装置和方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5387983A (en) * 1991-09-27 1995-02-07 Minolta Camera Kabushiki Kaisha Facsimile apparatus comprising converting means for converting binary image data into multi-value image data and image processing apparatus judging pseudo half-tone image
US6205259B1 (en) * 1992-04-09 2001-03-20 Olympus Optical Co., Ltd. Image processing apparatus
US5583659A (en) * 1994-11-10 1996-12-10 Eastman Kodak Company Multi-windowing technique for thresholding an image using local image properties
US7953253B2 (en) * 2005-12-31 2011-05-31 Arcsoft, Inc. Face detection on mobile devices
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US9047653B2 (en) * 2010-08-24 2015-06-02 Hewlett-Packard Development Company, L.P. Stitched digital images
CN102542555B (zh) * 2010-12-17 2015-06-03 北京大学 一种栅格图像边缝路径及边缝拓扑结构的生成方法及系统
US9185284B2 (en) * 2013-09-06 2015-11-10 Qualcomm Incorporated Interactive image composition
US10547825B2 (en) * 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
JP6398812B2 (ja) * 2015-03-17 2018-10-03 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
WO2016203282A1 (en) * 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057633A1 (en) * 2002-09-19 2004-03-25 Mai Tuy Vu System for mosaicing digital ortho-images
CN101794439A (zh) * 2010-03-04 2010-08-04 哈尔滨工程大学 基于边缘分类信息的图像拼接方法
CN104794701A (zh) * 2014-01-21 2015-07-22 富士通株式会社 图像拼接装置、方法以及图像处理设备
CN105719243A (zh) * 2014-12-04 2016-06-29 富士通株式会社 图像处理装置和方法

Also Published As

Publication number Publication date
US20180260943A1 (en) 2018-09-13
JP2018147471A (ja) 2018-09-20
US10614560B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
US9129432B2 (en) Image-based procedural remodeling of buildings
Roeder et al. A computational image analysis glossary for biologists
US9177378B2 (en) Updating landmarks to improve coregistration as regions of interest are corrected
US8264544B1 (en) Automated content insertion into video scene
JP4482778B2 (ja) 画像処理装置および画像処理方法、並びに記録媒体
AU2015403475B2 (en) Systems and methods for automated segmentation of individual skeletal bones in 3D anatomical images
CN106204437B (zh) 一种图像融合方法
CN105096347B (zh) 图像处理装置和方法
CN107038707B (zh) 一种图像分割方法及装置
CN112651979A (zh) 肺部x光图像分割方法、系统、计算机设备及存储介质
Kölling et al. WHIDE—a web tool for visual data mining colocation patterns in multivariate bioimages
CN107622504A (zh) 用于处理图片的方法和装置
CN109711268A (zh) 一种人脸图像筛选方法及设备
JP2020160543A (ja) 情報処理システムおよび情報処理方法
CN108573469A (zh) 图像处理装置和方法
US9129385B2 (en) Image processing device, image processing method and apparatus for high precision document corners extraction
CN106296577B (zh) 图像拼接方法和图像拼接设备
CN106156715A (zh) 分析表格图像的布局的方法和设备
Li et al. Comic image understanding based on polygon detection
Göpfert et al. Using snakes for the registration of topographic road database objects to ALS features
CN105869139A (zh) 图像处理方法和装置
CN109949218A (zh) 图像处理装置和方法
CN113139973B (zh) 基于人工智能的疟原虫识别方法及设备
EP4224402A1 (en) Information processing device, information processing method, and program
KR102254791B1 (ko) 영상 재구성을 이용한 영상의 ct 계수 강화 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180925