CN113781369B - 对齐数字图像 - Google Patents

对齐数字图像 Download PDF

Info

Publication number
CN113781369B
CN113781369B CN202110576726.XA CN202110576726A CN113781369B CN 113781369 B CN113781369 B CN 113781369B CN 202110576726 A CN202110576726 A CN 202110576726A CN 113781369 B CN113781369 B CN 113781369B
Authority
CN
China
Prior art keywords
digital image
digital
image
images
transformation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110576726.XA
Other languages
English (en)
Other versions
CN113781369A (zh
Inventor
维克托·埃德帕尔姆
袁嵩
约翰·弗波哥
维克托斯·雅科韦利斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN113781369A publication Critical patent/CN113781369A/zh
Application granted granted Critical
Publication of CN113781369B publication Critical patent/CN113781369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及对齐数字图像，具体地涉及用于对齐数字图像(40a，40b)的数字摄像机(10)和方法(30)。该方法包括：接收(S300)包括描绘场景(20)的第一和第二区域(200a，200b)的第一和第二图像(40a，40b)的图像，区域是重叠的并沿第一方向(X)移位；使用变换来对齐图像(S302)；确定(S304)图像之间的重叠部分(402)的视差值；通过识别(S308)第一数字图像中沿第二方向(Y)具有相同位置并具有视差值分布的像素块来识别(S306)错位，视差值分布呈现低于第一预定阈值的可变性并呈现高于第二预定阈值的平均值；调整(S310)用于第一图像中的所识别的像素块及其在第二图像中的匹配像素块的变换；以及使用调整后的变换来重新对齐图像(S312)。

Description

对齐数字图像
技术领域
本发明涉及用于对齐数字图像的方法。本发明还涉及被配置为对齐数字图像的数字摄像机。
背景技术
全景成像是用于产生具有所描绘的场景的放大视场的图像的众所周知的技术。在这种技术中，由摄像机捕获的多个图像被组合并拼接成单个全景图像。
场景的全景图像中的常见问题涉及视差。场景通常由摄像机从不同的位置和/或方向描绘，这在不同图像中表现为目标的位置的明显偏移。当将几个图像组合成全景图像时，方法可以是用于最小化特定距离处的视差，例如在到场景中的感兴趣区域的距离处。这允许针对场景中的这个区域减小多个图像之间的错位。然而，因为场景通常是三维的，它们也可包括在其他距离处的其视差未被最小化的特征。这可导致针对这些距离的多个图像之间的错位，这转而可导致质量有问题的全景图像。例如，对于用户可能明显的是，使用多个摄像机而不是单个摄像机来捕获全景图像是这种技术的目的。对于更接近产生全景图像的摄像机的目标，可能会看到这种效果。例如，接近摄像机的直线在全景图像中可能通常是错位的，从而降低了全景图像的质量。在全景图像用于例如目标检测、图像内容分析或其他自动图像处理算法的情况下，全景图像中的错位也可能是成问题的。
发明内容
目的是单独地或以各种组合的方式缓和、减轻或消除本领域中的上述缺陷和缺点中的一个或多个。
根据第一方面，提供了用于对齐数字图像的方法。该方法包括：接收包括描绘场景的第一区域的第一数字图像和描绘场景的第二区域的第二数字图像的数字图像，第一区域和第二区域是重叠的并沿第一方向移位；使用变换来对齐数字图像，其中第一数字图像和第二数字图像重叠；确定第一数字图像和第二数字图像之间的重叠部分的视差值，重叠部分的每个视差值指示第一数字图像中的像素块与第二数字图像中的匹配像素块之间沿垂直于第一方向的第二方向的相对移位；通过识别第一数字图像中沿第二方向具有相同位置且具有视差值分布的像素块来识别数字图像之间的错位，该视差值分布呈现低于第一预定阈值的可变性和呈现高于第二预定阈值的平均值；调整用于第一数字图像中的所识别的像素块及其在第二数字图像中的匹配像素块的变换；以及使用调整后的变换来重新对齐数字图像以补偿所识别的错位。
已发现呈现一致的高平均视差的行或列(取决于场景中的第一区域和第二区域之间的移位的方向)可能是错位的。因此，数字图像之间的错位可被识别为第一数字图像中的其视差值变化到低程度(相对于第一预定值)且具有高平均值(相对于第二预定值)的像素块行/列。正确对齐后的行/列可具有低平均视差，其指示数字图像的匹配像素块在数字图像之间的重叠部分中可具有基本相同的位置(沿第一方向和第二方向)。进一步，呈现还变化到大的程度(例如，相对于第一预定值)的高平均视差的行/列可与在深度上变化(即，距摄像机的不同距离)的场景中的特征对应，且这样的行/列可因此被正确对齐。从而，通过识别数字图像之间的错位并补偿它们，与实际描绘的场景更一致的场景的再现被允许。进一步，重新对齐数字图像可允许增强数字图像的图像处理(例如，目标检测)。
词语“视差值”应被解释为指示像素块及其匹配像素块在两个数字图像之间偏移的程度和方向。
词语“像素块”应被解释为数字图像的一个或多个像素。因此，像素块可以是数字图像的单个像素或多个像素(例如，宏块)。要理解的是可基于用于确定视差值的算法来确定像素块。例如，在视差值在像素级别上被确定的情况下，像素块可以是单个像素。
该方法可进一步包括：拼接重新对齐后的数字图像，从而形成拼接后数字图像。
因此，可允许描绘与实际场景更一致的场景的拼接后数字图像。
用于第一数字图像中的所识别的像素块及其在第二数字图像中的匹配像素块的变换可基于与这些像素块相关联的视差值来调整。
因此，可允许变换且进而数字图像的局部调整。这可降低调整后的变换对数字图像的其他部分(即，未被识别为错位的像素块)的影响。重新对齐后的数字图像可从而提供与实际描绘的场景更一致的场景的增强表示。
变换可包括以投影距离将数字图像投影到公共投影表面上；并且调整变换的步骤可包括局部调整第一数字图像中的所识别的像素块及其在第二数字图像中的匹配像素块的投影距离，使得减小这些像素块沿第二方向的相对移位。
因此，可允许变换且进而数字图像的局部调整。这可降低调整后的变换对数字图像的其他部分(即，未被识别为错位的像素块)的影响。重新对齐后的数字图像可从而提供与实际描绘的场景更一致的场景的增强表示。
接收数字图像的步骤可包括捕获数字图像，且第一数字图像和第二数字图像可同时被捕获。
从而，第一数字图像和第二数字图像各自描绘在同一时间点的场景。因此，可在第一数字图像和第二数字图像中描绘实际场景内的同一位置处的运动目标(例如，车辆)。这转而可允许改进数字图像之间的对齐。
接收数字图像的步骤可包括：使用第一图像传感器捕获第一数字图像；以及使用第二图像传感器捕获第二数字图像。
通过使用两个图像传感器捕获第一数字图像和第二数字图像，可通过数字图像描绘场景的较大部分。
变换可基于第一图像传感器与第二图像传感器之间的相对距离和/或第一图像传感器与第二图像传感器的相对取向。
从而，可提供用于对齐数字图像的良好起始点，由此可降低对齐数字图像时所需的计算资源的水平。
变换可以是单应性(homography)。
单应性可提供数字图像的良好对齐，由此可降低与对齐数字图像相关联的计算资源的水平。可进一步理解的是，可预先确定单应性，由此可进一步降低对齐数字图像时所需的计算资源的水平。
第一方向可平行于水平方向，且第二方向可平行于垂直方向。因此，特征沿水平方向(例如，场景中的水平线)延伸的错位从而可被识别且随后被补偿。
数字图像可进一步包括描绘场景的第三区域的第三数字图像，第一区域和第三区域可以是重叠的并可沿第一方向移位；其中在对齐数字图像的步骤之后，第一数字图像和第三数字图像可重叠；其中可进一步确定第一数字图像和第三数字图像之间的附加重叠部分的视差值，附加重叠部分的每个视差值可指示第一数字图像中的像素块与第二数字图像或第三数字图像中的匹配像素块之间沿第二方向的相对移位；以及可进一步调整用于第一数字图像中的所识别的块及其在第三数字图像中的匹配像素块的变换。接收数字图像的步骤可包括使用第三图像传感器捕获第三图像。
通过在识别数字图像之间的错位时使用多于一个的重叠部分，可降低错误地识别错位的风险。例如，一个重叠部分中的行/列的视差分布可独立地呈现可能(错误地)被识别为错位的平均值和可变性，且当包括附加重叠部分时，行/列的视差分布(现在包括重叠部分和附加重叠部分的视差值)呈现可能(正确地)被识别为不是错位的平均值和可变性。换句话说，对于待识别的错位，可能需要在重叠部分和附加重叠部分中同时存在。从而错位的识别可被改进，且转而可允许由重新对齐后的图像描绘的场景与实际场景更一致。
可进一步理解的是，通过进一步包括第三数字图像的数字图像，场景的更大部分可被描绘。
根据第二方面，提供了数字摄像机。数字摄像机包括：至少一个图像传感器，其被配置为捕获包括描绘场景的第一区域的第一数字图像和描绘场景的第二区域的第二数字图像的数字图像，场景的第一区域和第二区域是重叠的且沿第一方向移位；以及电路，其被配置为执行：对齐功能，其被配置为使用变换来对齐数字图像，使得第一数字图像和第二数字图像具有重叠部分；视差功能，其被配置为确定第一数字图像和第二数字图像之间的重叠部分的视差值，重叠部分的每个视差值指示第一数字图像中的像素块与第二数字图像中的匹配像素块之间沿垂直于第一方向的第二方向的相对移位；错位功能，其被配置为通过在第一数字图像中沿第二方向识别具有相同位置且具有视差值分布的像素块来识别数字图像之间的错位，该视差值分布呈现低于第一预定阈值的可变性且呈现高于第二预定阈值的平均值；调整功能，其被配置为调整用于第一数字图像中的所识别的像素块及其在第二数字图像中的匹配像素块的变换；以及重新对齐功能，其被配置为使用调整后的变换来重新对齐数字图像以补偿所识别的错位。
第一方面的上述特征如果适用，也适用于该第二方面。为了避免不必要的重复，请参考上述内容。
电路可进一步被配置为执行：拼接功能，其被配置为拼接重新对齐后的数字图像，从而形成拼接后图像。
对齐功能可进一步被配置为将数字图像投影到公共投影表面上；以及调整功能可进一步被配置为局部调整第一数字图像中的所识别的像素块及其在第二数字图像中的匹配像素块的投影距离。
至少一个图像传感器可包括被配置为捕获第一数字图像的第一图像传感器和被配置为捕获第二数字图像的第二图像传感器。
根据第三方面，提供了非瞬态计算机可读存储介质。非瞬态计算机可读存储介质包括程序代码部分，该程序代码部分当在具有处理能力的设备上被执行时执行根据第一方面的方法。
第一方面和第二方面的上述特征如果适用，也适用于该第三方面。为了避免不必要的重复，请参考上述内容。
本公开进一步的适用性范围从下面给出的详细描述中将变得明显。然而，应理解的是，仅通过说明的方式给出在此指示本发明构思的优选变体的详细描述和具体示例，因为发明构思范围内的各种变化和修改从此详细描述中将对本领域中的技术人员变得明显。
因此，要理解的是，该发明构思不限于所述方法的特定步骤或所述系统的组成部件，因为这样的方法和系统可变化。还要理解的是，本文使用的术语仅是为了描述特定实施方式的目的且并不意为限制性的。必须注意的是，如在说明书和所附权利要求中使用的冠词“一个”、“一种”、“该”和“所述”意为意指存在一个或多个元件，除非上下文另外明确指出。因此，例如对“一个单元”或“所述单元”的引用可包括几个设备等。此外，词语“包括”、“包括”、“包含”和类似词语并不排除其他元件或步骤。
附图说明
现在将参考示出本发明的变体的附图更详细地描述本发明构思的上述和其他方面。附图不应被认为是将本发明限制到特定变体；相反它们是用于解释和理解发明构思。
如在附图中所示，层和区域的尺寸为了说明的目的而被放大，且因此被提供来说明本发明构思的变体的一般结构。相同的附图标记始终指的是相同的元件。
图1图示其中数字摄像机描绘场景的示例情景。
图2A图示由图1中的数字摄像机捕获的场景的第一数字图像和第二数字图像。
图2B图示图2A的使用变换被对齐时的第一数字图像和第二数字图像。
图2C图示图2B的使用调整后的变换被重新对齐时的第一数字图像和第二数字图像。
图3是用于对齐数字图像的方法的流程图。
具体实施方式
现在将在下文中参考附图更充分地描述本发明构思，其中示出发明构思当前优选的变体。然而，该发明构思可以以许多不同的形式实现，且不应被解释为被限制到本文阐述的变体；更确切地，这些变体为了彻底性和完整性而提供，并将本发明构思的范围充分传达给技术人员。
下面，将参考在图1和图2A至图2C中图示的示例情景和在图3中图示的流程图描述用于对齐数字图像的方法30。在图1中，数字摄像机10被布置为产生场景20的全景图像。图1中的数字摄像机10包括第一图像传感器104a和第二图像传感器104b。可以理解的是，本发明构思可应用于包括单个图像传感器或多于两个图像传感器的数字摄像机，只要数字摄像机可捕获沿第一方向(例如，沿水平方向)移位的至少两个数字图像。这可以例如通过使用包括被配置为描绘场景的不同区域的两个或多个图像传感器的摄像机来实现。可选地，可使用包括被配置为描述场景的不同区域的单个图像传感器的摄像机。这样的摄像机可以例如绕它自己的轴旋转和/或包括被配置为将场景的不同部分成像到单个图像传感器上的成像光学器件(例如，摄像机透镜)。进一步理解的是，虽然本发明构思将参考数字摄像机被描述，但它可在诸如计算机的没有成像能力的设备上实现。在这样的情况下，计算机可从诸如摄像机和/或计算机可读存储介质的不同的设备接收S300数字图像。
现在转到图1，其图示数字摄像机10和由数字摄像机10描绘的场景20。在图1中图示的场景20包括第一建筑物210、第二建筑物220和墙壁230。第一建筑物210和第二建筑物220被定位在距数字摄像机10比墙壁230更大的Z向距离处。图1中示出的场景20可由坐标系表示，其中摄像机10的位置可与坐标系的原点对应。第一图像传感器102a和第二图像传感器102b在场景20中各自具有可与相对于坐标系的原点的相应位置对应的位置。进一步，第一建筑物210、第二建筑物220和墙壁230在场景20中各自具有可与相对于坐标系的原点的相应位置对应的位置。
如图1所示，第一摄像机透镜104a被配置为将场景20的第一区域200a成像在第一图像传感器102a上，并且第二摄像机透镜104b被配置为将场景20的第二区域200b成像在第二图像传感器102b上。在这个示例中，第一图像传感器102a和第二图像传感器102b从不同的方向描绘场景20，且因此第一区域200a和第二区域200b沿水平方向X移位。水平方向X可垂直于距离Z。如在图1中进一步所见，与第一图像传感器102a相关联的视场(FOV)和与第二图像传感器102b相关联的FOV部分地重叠，并且第一区域200a和第二区域200b因此具有重叠部分202。第一图像传感器102a被配置为捕获S320描绘场景20的第一区域200a的第一数字图像40a，并且第二图像传感器102b被配置为捕获S322描绘场景20的第二区域200b的第二数字图像40b。第一图像传感器102a和第二图像传感器102b可被配置为同时捕获S318数字图像。如图1所示，数字摄像机10可进一步包括电路110。电路110被配置为控制数字摄像机10的一个或多个功能。电路110可包括非瞬态计算机可读存储介质112。电路110可包括处理能力114(例如，处理单元)。非瞬态计算机可读存储介质112可被配置为存储程序代码部分，该程序代码部分当由电路110执行时执行数字摄像机10的一个或多个功能。具体地，非瞬态计算机可读存储介质112可存储将在这个示例中稍后描述的一个或多个功能。数字摄像机10的一个或多个功能可以是硬件和/或软件实现。非瞬态计算机可读存储介质112可进一步被配置为存储由数字摄像机10捕获的数字图像和/或由电路110执行的任何功能的结果。电路110还可包括数据总线(未示出)。电路110可被配置为经由数据总线进行内部通信。电路110可进一步被配置为经由数据总线与第一图像传感器102a、第二图像传感器102b、第一摄像机透镜104a和第二摄像机透镜104b中的一个或多个通信。
在图2A中图示由摄像机10捕获的场景10的第一数字图像40a和第二数字图像40b。在第一数字图像40a中，第一建筑物210和墙壁230的部分是可见的。在第二数字图像40b中，第一建筑物210、第二建筑物220和墙壁230的部分是可见的。第一数字图像40a和第二数字图像40b看起来是失真的(例如，水平线看起来是倾斜的)，因为它们从不同的方向对场景20成像。可通过拼接第一数字图像40a和第二数字图像40b来产生场景20的全景图像。为了产生与实际场景20更一致的全景图像，使用变换对齐S302第一数字图像40a和第二数字图像40b。如在这个示例中，变换可基于第一图像传感器102a和第二图像传感器102b之间的相对距离。变换可进一步基于第一图像传感器102a和第二图像传感器102b的相对取向。通过知道第一图像传感器102a和第二图像传感器102b的相对位置和相对取向，可以确定第一数字图像40a和第二数字图像40b如何彼此关联。例如，可以确定第一数字图像40a和第二数字图像40b在距数字摄像机10的特定距离处(在坐标系中)的重叠程度。对齐由电路110被配置为执行的对齐功能120来实现。
图2B图示使用变换被对齐时的第一数字图像40a和第二数字图像40b。如在图2B中图示的，第一数字图像40a和第二数字图像40b重叠，且此重叠部分402对应于场景20的第一区域200a和第二区域200b之间的重叠部分202。在这个特定示例中，配置变换使得数字图像40a、数字图像40b使用变换被对齐时，第一建筑物210和第二建筑物220看起来是未失真的。这样的变换可包括将数字图像40a、数字图像40b投影到公共投影表面上。公共投影表面可以是定位在前述坐标系中的数字图像40a、数字图像40b被投影到其上的数学平面。公共投影表面可以是如在图2B的示例中所示的平坦表面。然而，技术人员认识到的是，公共投影表面可具有不同的形状，且公共投影表面可以例如是圆柱形表面或球形表面。如在本领域中已知的，存在可以被使用的大量不同的投影表面，且哪个投影表面被选择可由图像传感器102a、图像传感器102b的位置和/或方向及其相关联的FOV来确定。公共投影表面可在坐标系中定位在与摄像机10与场景20中的第一建筑物210和第二建筑物220之间的Z向距离对应的距离处，由此，在这个Z向距离处的对齐后的数字图像500中的错位(例如，由于视差效应)至少被减小或优选地被最小化。公共投影表面在坐标系中的位置可以例如在数字摄像机10的安装期间手动设置，和/或在摄像机10的使用期间动态设置。公共投影表面在坐标系中的位置可由摄像机10的用户设置和/或被硬编码到摄像机10中。电路110可进一步被配置为执行分析功能。分析功能可被配置为检测场景20中的目标和摄像机10与检测到的目标之间的距离，且对齐功能120可被配置为设置公共投影表面在坐标系中的位置，使得坐标系的原点(即，坐标系中的对应于摄像机10的位置)与坐标系中的公共投影表面之间的距离与摄像机10与场景20中的检测到的目标之间的Z向距离对应。该变换可以例如是单应性。单应性可包括第一数字图像40a中的像素块的位置与第二数字图像40b中的匹配像素块的位置之间的关联的信息(例如，矢量场)。然而，因为墙壁230在距摄像机10比公共投影表面更小的Z向距离处，所以墙壁230的部分232在第一数字图像40a和第二数字图像40b之间的重叠部分402中是错位的(例如，由于视差)。
为了识别S306错位，确定S304与第一数字图像40a和第二数字图像40b之间的重叠部分402对应的视差值。在图2B中示出的示例中，错位是错位的水平线(即，墙壁230的部分232的水平特征)。重叠部分402的每个视差值指示第一数字图像40a中的像素块与第二数字图像40b中的匹配像素块之间沿第二方向Y的相对移位。可使用本领域中已知的技术之一来确定重叠部分402的视差值。可通过比较第一数字图像40a中的像素块与第二数字图像40b中的匹配像素块来确定重叠部分402的视差值。例如，可确定第二数字图像40b中的作为第一数字图像40a中的像素块的最佳匹配的沿第二方向Y的像素块(即，在第二数字图像40b中沿第一方向X具有与在第一数字图像40a中的像素块相同的位置)。两个像素块的比较可涉及计算块中的像素值之间的绝对差之和(SAD)。最佳匹配像素块可以是与最小SAD相关联的像素块。视差值可接着被确定为像素块相对于第一数字图像40a沿第二方向Y的位置与匹配像素块相对于第二数字图像40b沿第二方向Y的位置之间的差值。例如，如在图2B中图示的重叠部分402中所见，与第一建筑物210相关联的特征具有沿第二方向Y的小(或甚至不存在)移位。第一数字图像40a中与建筑物210的特定特征对应的像素块和第二数字图像40b中的匹配像素块(即，与第一建筑物210的相同特定特征对应)沿第二方向Y以小的(或甚至不存在)程度移位，且关联的视差值因此是小的。然而，如在图2B中所见，与墙壁230相关联的特征232具有沿第二方向Y的更大移位。第一数字图像40a中与墙壁230的特定特征对应的像素块和第二数字图像40b中的匹配像素块(即，与墙壁230的相同特定特征对应)沿第二方向Y以大的程度移位，且关联的视差值因此是大的。视差值可以例如是像素或像素块的数量，作为在第一数字图像40a与第二数字图40b之间沿第二方向Y移位的特征。第一数字图像40a和第二数字图40b之间的重叠部分402的视差值可由视差矩阵表示。视差矩阵的每个元素可以是为第一数字图像40a中的与矩阵元素在视差矩阵中的位置对应的位置确定的视差值。视差值的确定由电路110被配置为执行的视差功能122来实现。
通过识别S308第一数学图像40a中沿第二方向Y具有相同位置且具有视差值分布的像素块来识别S306第一数字图像40a与第二数字图像40b之间的错位，该视差值分布呈现低于第一预定阈值的可变性并呈现高于第二预定阈值的平均值。在这个示例中，第一数字图像40a中沿第二方向Y具有相同位置的像素块是第一数字图像40a中的像素块行。对于第一数字图像40a中的行，关联的视差值被分布且这些视差值的平均值和可变性(例如，标准偏差等)可被确定。在可变性低于第一预定值且平均值大于第二预定值的情况下，第一数字图像40a中的行被识别为错位。例如，在平均值与可变性之间的比率大于第三预定值的情况下，错位可被识别。换句话说，相较于第一预定阈值和第二预定阈值，关联的视差值相对高且以相对低的程度变化的情况下，第一数字图像40a中的行被识别为错位。对于错位的线，如在图2B的所示示例中示出的，视差值通常是大的并呈现低可变性。以这种方式，识别第一数字图像40a与第二数字图像40b之间的重叠部分402中的错位也许可行。进一步，重叠部分402中的错位可以仅针对小于距摄像机10的预定最大距离的距离来识别。错位的识别由电路110被配置为执行的错位功能124来实现。在此特定情况下，第一数字图像40a的与墙壁230的部分232对应的行被识别为错位。
调整S310用于与所识别的错位相关联的像素块(即，第一数字图像40a中的所识别的像素块及其在第二数字图像40b中的匹配像素块)的变换。可基于与这些像素块相关联的视差值来调整用于所识别的像素块的变换。例如，可通过局部调整S316针对第一数字图像40a中的所识别的像素块及其在第二数字图像中的匹配像素块的投影距离来调整变换。如前所述，视差效应可能受到到公共投影表面的距离的影响，特别是被降低。以这种方式，这些像素块的沿第二方向的相对移位可被减小(即，减小第一数字图像40a与第二数字图像40b之间的错位)。变换的调整可基于与第一数字图像40a中的所识别的像素块相关联的平均视差值，使得调整对高平均视差值比对低平均视差值相对更大。基于平均视差值的变换的调整可例如通过查找表来预先确定。查找表可以包括将平均视差值与变换的调整关联的信息。例如，查找表可包括将平均视差值与公共投影表面应通过其来调整的距离关联的信息。可选地或附加地，可迭代地调整变换且对于每次迭代可确定更新的视差值。可迭代地调整变换，直到更新的视差值的平均值在预定阈值范围内。在变换是单应性的情况下，变换的调整可包括针对与所识别的错位相关联的像素块调整描述变换的矢量场。矢量场被调整的程度可基于与第一数字图像40a中的所识别的像素块相关联的平均视差值，使得调整对高平均视差值比对低平均视差值相对更大。基于平均视差值的矢量场的调整可例如通过查找表来预先确定。查找表可包括将平均视差值与变换的调整关联的信息。可选地或附加地，可迭代地调整矢量场且对于每次迭代可确定更新的视差值。可迭代地调整矢量场，直到更新的视差值的平均值在预定阈值范围内。变换的调整由电路110被配置为执行的调整功能126来实现。使用调整后的变换来重新对齐第一数字图像40a和第二数字图像40b以补偿所识别的错位。重新对齐由电路110被配置为执行的重新对齐功能128来实现。
图2C图示图2B的在使用调整后的变换被重新对齐之后的第一数字图像40a和第二数字图像40b。如在图2C中所见，错位在重新对齐后的数字图像600中已被补偿，从而允许与实际场景20更一致的组合数字图像。具体地，与图2B中图示的对齐后的数字图像500相比，对于图2C的重新对齐后的数字图像600，墙壁230在重叠部分402中的部分232以更低的程度沿第二方向Y移位。图2C中图示的重新对齐后的数字图像600可被拼接S314，从而形成拼接后图像。拼接可由电路110被配置为执行的拼接功能130来实现。拼接图像可被存储在非瞬态计算机可读存储介质112上。
可以理解的是，在使用多于两个数字图像的情况下，错位的识别可进一步增强。例如，描绘场景20的第三区域的第三数字图像可被捕获S324(例如，由包括第三图像传感器的摄像机)，且第三区域可与第一区域200a重叠并可沿水平方向X移位。在对齐数字图像之后，第一数字图像和第三数字图像可重叠，且可进一步确定第一数字图像与第三数字图像之间的附加重叠部分的视差值。附加重叠部分的每个视差值可指示第一数字图像中的像素块及其在第二数字图像或第三数字图像中的匹配像素块之间沿第二方向Y的移位，且可针对第一数字图像中的所识别的块及其在第三数字图像中的匹配像素块进一步调整变换。对于这种情况，认识到的是，与沿例如第一数字图像40a中行的错位有关的更多数据(即，视差值)是可得到的，这转而允许改进错位的识别。作为特定示例，考虑了第一数字图像中的行，其中第一数字图像与第二数字图像之间的重叠部分的关联视差值分布的平均值和可变性错误地指示该行是错位的。通过包括第三数字图像，第一数字图像与第二数字图像之间的重叠部分和第一数字图像与第三数字图像之间的附加重叠部分的关联视差值分布的平均值和可变性可正确地指示该行实际上是对齐的。
本领域技术人员认识到的是，本发明构思决不被限制到上述的优选变体。相反，许多修改和变形在所附权利要求书的范围内是可行的。
例如，已参考沿水平方向移位的两个数字图像描述了本发明构思。然而，技术人员认识到并理解的是，本发明构思可如何适合于数字摄像机的其他配置。例如，数字图像可沿垂直方向或垂直和水平方向的组合来移位。
进一步，方法的步骤被描述成以特定顺序执行。然而要理解的是，特定步骤可以按与所描述的不同的顺序执行。方法的一个或多个步骤可进一步被同时执行。
附加地，从附图、本公开和所附权利要求书的研究中，技术人员在实践要求保护的发明时可理解和实现对所公开的变体的变化。

Claims (15)

1.一种计算机实现的用于对齐数字图像的方法，包括：
接收包括描绘场景的第一区域的第一数字图像和描绘所述场景的第二区域的第二数字图像的数字图像，所述第一区域和所述第二区域是重叠的并沿第一方向移位；
使用变换来对齐所述数字图像，其中所述第一数字图像和所述第二数字图像重叠；
确定所述第一数字图像与所述第二数字图像之间的重叠部分的视差值，所述重叠部分的每个视差值指示所述第一数字图像中的像素块与所述第二数字图像中的匹配像素块之间沿垂直于所述第一方向的第二方向的相对移位；
通过识别所述第一数字图像中沿所述第二方向具有相同位置并具有视差值分布的像素块来识别所述数字图像之间的错位，所述视差值分布呈现低于第一预定阈值的可变性并呈现高于第二预定阈值的平均值；
调整用于所述第一数字图像中的所识别的像素块及其在所述第二数字图像中的匹配像素块的所述变换；以及
使用调整后的变换来重新对齐所述数字图像以补偿所识别的错位。
2.如权利要求1所述的方法，进一步包括：
拼接重新对齐后的数字图像，从而形成拼接后数字图像。
3.如权利要求1所述的方法，其中用于所述第一数字图像中的所识别的像素块及其在所述第二数字图像中的匹配像素块的所述变换基于与这些像素块相关联的视差值来调整。
4.如权利要求1所述的方法，其中所述变换包括以投影距离将所述数字图像投影到公共投影表面上；以及
其中调整所述变换的步骤包括局部调整所述第一数字图像中的所识别的像素块及其在所述第二数字图像中的匹配像素块的所述投影距离，从而减小这些像素块在重新对齐所述数字图像的步骤之后沿所述第二方向的所述相对移位。
5.如权利要求1所述的方法，其中接收所述数字图像的步骤包括捕获所述数字图像，并且其中所述第一数字图像和所述第二数字图像被同时捕获。
6.如权利要求1所述的方法，其中接收所述数字图像的步骤包括：
使用第一图像传感器捕获所述第一数字图像；以及
使用第二图像传感器捕获所述第二数字图像。
7.如权利要求6所述的方法，其中所述变换基于所述第一图像传感器与所述第二图像传感器之间的相对距离和/或所述第一图像传感器与所述第二图像传感器的相对取向。
8.如权利要求1所述的方法，其中所述变换是单应性。
9.如权利要求1所述的方法，其中所述第一方向平行于水平方向且所述第二方向平行于垂直方向。
10.如权利要求1所述的方法，
其中所述数字图像进一步包括描绘所述场景的第三区域的第三数字图像，所述第一区域和所述第三区域是重叠的并沿所述第一方向移位；
其中在对齐所述数字图像的步骤之后，所述第一数字图像和所述第三数字图像重叠；
其中进一步确定所述第一数字图像与所述第三数字图像之间的附加重叠部分的视差值，所述附加重叠部分的每个视差值指示所述第一数字图像中的像素块与所述第二数字图像或所述第三数字图像中的匹配像素块之间沿所述第二方向的相对移位；以及
其中进一步调整用于所述第一数字图像中的所识别的块及其在所述第三数字图像中的匹配像素块的所述变换。
11.一种数字摄像机，包括：
至少一个图像传感器，被配置为捕获包括描绘场景的第一区域的第一数字图像和描绘所述场景的第二区域的第二数字图像的数字图像，所述场景的所述第一区域和所述第二区域是重叠的并沿第一方向移位；以及
电路，被配置为执行：
对齐功能，被配置为使用变换来对齐所述数字图像，使得所述第一数字图像和所述第二数字图像具有重叠部分；
视差功能，被配置为确定所述第一数字图像与所述第二数字图像之间的重叠部分的视差值，所述重叠部分的每个视差值指示所述第一数字图像中的像素块与所述第二数字图像中的匹配像素块之间沿垂直于所述第一方向的第二方向的相对移位；
错位功能，被配置为通过识别所述第一数字图像中沿所述第二方向具有相同位置并具有视差值分布的像素块来识别所述数字图像之间的错位，所述视差值分布呈现低于第一预定阈值的可变性并呈现高于第二预定阈值的平均值；
调整功能，被配置为调整用于所述第一数字图像中的所识别的像素块及其在所述第二数字图像中的匹配像素块的所述变换；以及
重新对齐功能，被配置为使用调整后的变换来重新对齐所述数字图像以补偿所识别的错位。
12.如权利要求11所述的数字摄像机，其中所述电路进一步被配置为执行：
拼接功能，被配置为拼接重新对齐后的数字图像，从而形成拼接后图像。
13.如权利要求11所述的数字摄像机，其中所述对齐功能进一步被配置为以投影距离将所述数字图像投影到公共投影表面上；以及
其中所述调整功能进一步被配置为局部调整所述第一数字图像中的所识别的像素块及其在所述第二数字图像中的匹配像素块的所述投影距离，从而减小这些像素块在所述数字图像的重新对齐之后沿所述第二方向的所述相对移位。
14.如权利要求11所述的数字摄像机，其中所述至少一个图像传感器包括被配置为捕获所述第一数字图像的第一图像传感器和被配置为捕获所述第二数字图像的第二图像传感器。
15.一种包括程序代码部分的非瞬态计算机可读存储介质，所述程序代码部分当在具有处理能力的设备上被执行时执行根据权利要求1所述的方法。
CN202110576726.XA 2020-06-09 2021-05-26 对齐数字图像 Active CN113781369B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20179049.0 2020-06-09
EP20179049.0A EP3923241B1 (en) 2020-06-09 2020-06-09 Aligning digital images

Publications (2)

Publication Number Publication Date
CN113781369A CN113781369A (zh) 2021-12-10
CN113781369B true CN113781369B (zh) 2022-11-25

Family

ID=71083420

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110576726.XA Active CN113781369B (zh) 2020-06-09 2021-05-26 对齐数字图像

Country Status (6)

Country Link
US (1) US11610282B2 (zh)
EP (1) EP3923241B1 (zh)
JP (1) JP7166390B2 (zh)
KR (1) KR102414362B1 (zh)
CN (1) CN113781369B (zh)
TW (1) TWI800835B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI787638B (zh) * 2020-07-30 2022-12-21 杰悉科技股份有限公司 影像物件追蹤方法
US20220058825A1 (en) * 2020-08-18 2022-02-24 Here Global B.V. Attention guidance for correspondence labeling in street view image pairs
EP4229552A4 (en) * 2020-10-13 2024-03-06 Flyreel Inc GENERATION OF MEASUREMENTS OF PHYSICAL STRUCTURES AND ENVIRONMENTS THROUGH AUTOMATED ANALYSIS OF SENSOR DATA
WO2023206475A1 (zh) * 2022-04-29 2023-11-02 北京小米移动软件有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4341564B2 (ja) * 2005-02-25 2009-10-07 株式会社豊田中央研究所 対象物判定装置
KR20100138806A (ko) 2009-06-23 2010-12-31 삼성전자주식회사 자동 3차원 영상 포맷 변환 방법 및 그 장치
JP5387856B2 (ja) 2010-02-16 2014-01-15 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
EP2951642B1 (en) 2013-02-04 2019-12-18 Valorisation-Recherche, Limited Partnership Omnistereo imaging
US9900505B2 (en) 2014-07-23 2018-02-20 Disney Enterprises, Inc. Panoramic video from unstructured camera arrays with globally consistent parallax removal
US9973694B1 (en) 2014-08-21 2018-05-15 Jaunt Inc. Image stitching to form a three dimensional panoramic image
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
JP6350374B2 (ja) * 2015-04-17 2018-07-04 トヨタ自動車株式会社 路面検出装置
JP6657034B2 (ja) 2015-07-29 2020-03-04 ヤマハ発動機株式会社 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
KR101832189B1 (ko) * 2015-07-29 2018-02-26 야마하하쓰도키 가부시키가이샤 이상화상 검출장치, 이상화상 검출장치를 구비한 화상 처리 시스템 및 화상 처리 시스템을 탑재한 차량
US9973696B1 (en) * 2015-11-23 2018-05-15 Gopro, Inc. Apparatus and methods for image alignment
US10136116B2 (en) * 2016-03-07 2018-11-20 Ricoh Company, Ltd. Object segmentation from light field data
KR102236222B1 (ko) * 2016-08-24 2021-04-05 한국전자통신연구원 중첩영역의 제어점들을 이용한 시차 최소화 스티칭 장치 및 방법
US20180343431A1 (en) * 2017-05-24 2018-11-29 Nokia Technologies Oy Method and apparatus for disparity-based image adjustment of a seam in an image derived from multiple cameras
US11049218B2 (en) * 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
EP3606032B1 (en) 2018-07-30 2020-10-21 Axis AB Method and camera system combining views from plurality of cameras
US10964034B1 (en) * 2019-10-30 2021-03-30 Nvidia Corporation Vertical disparity detection in stereoscopic images from optical flow data

Also Published As

Publication number Publication date
KR102414362B1 (ko) 2022-06-28
EP3923241B1 (en) 2022-04-06
JP2022003769A (ja) 2022-01-11
TW202147253A (zh) 2021-12-16
EP3923241A1 (en) 2021-12-15
US20210383501A1 (en) 2021-12-09
KR20210152950A (ko) 2021-12-16
TWI800835B (zh) 2023-05-01
JP7166390B2 (ja) 2022-11-07
CN113781369A (zh) 2021-12-10
US11610282B2 (en) 2023-03-21

Similar Documents

Publication Publication Date Title
CN113781369B (zh) 对齐数字图像
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
US7139424B2 (en) Stereoscopic image characteristics examination system
TWI253006B (en) Image processing system, projector, information storage medium, and image processing method
US9756303B1 (en) Camera-assisted automatic screen fitting
JP6510213B2 (ja) 投影システム、半導体集積回路、および画像補正方法
US10438412B2 (en) Techniques to facilitate accurate real and virtual object positioning in displayed scenes
US11282232B2 (en) Camera calibration using depth data
US10628967B2 (en) Calibration for multi-camera systems
WO2010061956A1 (en) Stereoscopic image processing device, method, recording medium and stereoscopic imaging apparatus
JPH09322155A (ja) 映像監視方法及び装置
KR20160047846A (ko) 영상 정합 방법
US6697146B2 (en) Range finder for finding range by image realization
JP3741136B2 (ja) 障害物適応投射型表示装置
CN108520541B (zh) 一种广角摄像机的标定方法
TW202038185A (zh) 影像的修正方法及其裝置
US20180007344A1 (en) Stereoscopic image capture
US11682190B2 (en) Method, system, and device for detecting an object in a distorted image
EP2953096B1 (en) Information processing device, information processing method, system and carrier means
JP2021158393A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2022044807A1 (ja) 情報処理装置および方法
Tai et al. Fish-eye camera calibration using horizontal and vertical laser planes projected from a laser level
JP2020174328A (ja) キャリブレーション用チャートおよびキャリブレーション用器具
Šegvić et al. Preliminary experiments in multi-view video stitching
Nowakowski et al. Extracting distorted grid points for compensation of lens radial nonlinearities

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant