CN114845068A - 用于评估拼接图像的对准的方法和图像处理设备 - Google Patents

用于评估拼接图像的对准的方法和图像处理设备 Download PDF

Info

Publication number
CN114845068A
CN114845068A CN202210112469.9A CN202210112469A CN114845068A CN 114845068 A CN114845068 A CN 114845068A CN 202210112469 A CN202210112469 A CN 202210112469A CN 114845068 A CN114845068 A CN 114845068A
Authority
CN
China
Prior art keywords
image
alignment
stitched
blending
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210112469.9A
Other languages
English (en)
Inventor
B·阿多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Axis AB
Original Assignee
Axis AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Axis AB filed Critical Axis AB
Publication of CN114845068A publication Critical patent/CN114845068A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/38—Registration of image sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

一种方法，包括：根据第一对准将来自第一图像传感器的第一图像流的第一图像帧和来自第二图像传感器的第二图像流的其它第一图像帧对准，根据第一对准将第一图像流的第二图像帧和第二图像流的其它第二图像帧对准，通过根据第一混合函数在第一混合区域中混合对准的第一图像帧和其它第一图像帧来获取第一拼接图像帧，通过根据第二混合函数在第二混合区域中混合对准的第二图像帧和其它第二图像帧来获取第二拼接图像帧，以及基于差异模式来评估第一对准，差异模式是基于第一拼接帧和第二拼接帧的像素的值来计算的。像素被包括在相应的第一和第二拼接图像帧中的第一和第二混合区域的至少一个静态部分内。

Description

用于评估拼接图像的对准的方法和图像处理设备
技术领域
本文的实施例涉及用于评估拼接图像的对准的方法和图像处理设备。 还公开了一种对应的计算机程序和计算机程序载体。
背景技术
使用成像(特别是视频成像)监控公众在世界各地的许多区域是常见 的。可能需要监视的区域是例如银行、商店和需要安全的其他区域，例如 学校和政府设施。可能需要监视的其他区域是其中视频监控主要用于监视 过程的加工、制造和物流应用。
对于某些应用，至少偶尔需要视频的大视野。这可以通过几种方式实 现。例如，单传感器摄像机可以配备移动摄像机并更改视野的云台变焦 (pan-tilt-zoom)技术。与固定摄像机相比，该解决方案通常相当昂贵。 单传感器鱼眼(Fisheye)摄像机以可承受的价格提供全景视图，但在更远 的距离下获取更多细节的能力有限。另一种解决方案是使用其中通过拼接 单传感器图像来产生全景图像的多传感器全景摄像机。
图像拼接或照片拼接是将具有重叠视野的多个拍摄图像组合以产生一 个统一图像(例如分段高分辨率的，可能是全景的，图像)的过程。例如， 可以使用在来自传感器的图像之间存在重叠的部分中的不同权重来混合来 自重叠图像传感器的图像数据。通常使用软件执行的大多数图像拼接的方 法都需要图像之间的几乎精确的重叠以及相同的曝光以产生无缝结果。重 要的是，来自传感器的图像在重叠部分中正确对准。如果没有正确对准，可出现误差，例如相同对象的一部分在重叠中出现两次，或对象的部分丢 失。
通常，对准误差可以例如被分类为平移对准误差、旋转对准误差和由 于歪斜(skew)造成的对准误差。其他对准误差也存在。
可以从传感器的安装位置的知识中或者从分析要拼接的单独图像以找 到共同特征并使用这些用于对准和/或翘曲(warp)图像来找到图像之间的 对准。对准原始图像的一种方法是创建一个表，该表将原始图像中的坐标 映射到最终图像中的新坐标。这些表可以取决于摄像机的某些参数，例如 与传感器的安装位置有关的参数。参数可以在工厂校准后在摄像机中预先 安装，并且稍后被摄像机馈送。尽管工厂校准通常导致较小的对准误差，但是当在现场安装摄像机时，原始图像的对准仍可能需要一些调整。例如， 如果摄像机在运输期间受到机械干扰，或者如果现场环境与工厂中的测试 环境显著不同，或者如果现场捕获的对象不在与用于在工厂处的对准的校 准的对象类似的距离，则可能需要调整对对准进行调整。
即使是可以在已经在现场安装了摄像机时执行重新调整，这种重新调 整可能需要离线(即不在摄像机的运行时/实时视图中)确定，这意味着一 段时间无法使用来自摄像机的图像流。
在摄像机的运行时期间执行的对准方法的问题是它们可能需要单独的 图像流以评估对准。例如，可以评估未对准的(unaligned)图像。与不执 行对准相比，这种对准方法需要额外的复杂性和处理能力，以及可能地在 发送这种数据的网络上的额外带宽。
在摄像机的运行时期间执行的其他对准方法可影响拼接图像的质量。 拼接图像的降低的质量可对拼接后进行的视频处理具有负面影响，并且在 末端可被终端观察者认为是较低的质量图像。
现有技术US8600193B2公开了一种拼接图像的方法，包括评估拼接质 量。
发明内容
本文实施例的目的可以因此是消除上述一些问题，或者至少减少它们 的影响。具体地，目的可以是在执行拼接操作的图像处理设备的运行期间 动态地改进拼接图像的对准，或者换言之，动态地校准由多个图像传感器 捕获的图像的拼接。图像处理设备可以是摄像机。在图像处理设备的运行 期间执行校准可意味着在使用图像处理设备时执行校准。
作为对准或校准的改进的一部分，可以执行可以包括对准程度或质量 的确定(例如对准或未对准(misalignment)误差的大小、类型和/或方向 的确定)的对准的评估。下列表达，对准程度和对准的质量和对准质量， 将在本文中可互换地使用并且具有相同的含义。类似地，表达对准误差和 未对准误差也将本文可互换地使用。
根据一个方面，该目的通过一种由图像处理设备(例如图像捕获设备) 执行的方法来实现。该方法可以用于评估来自具有重叠视野的两个图像传 感器的拼接图像的对准，例如用于评估来自第一图像传感器的第一图像流 和来自第二图像传感器的第二图像流的对准，其中第一和第二图像传感器 具有重叠视野。图像传感器可被包括在图像捕获设备中。
该方法包括根据第一对准将来自第一图像传感器的第一图像流的第一 图像帧和来自第二图像传感器的第二图像流的其它第一图像帧对准，以及 根据第一对准将第一图像流的第二图像帧和第二图像流的其它第二图像帧 对准。
该方法还包括通过根据第一混合函数在第一和其它第一图像帧的第一 混合区域中将对准的第一图像帧和其它第一图像帧混合来获取第一拼接图 像帧，以及通过根据不同于第一混合函数的第二混合函数在第二和其它第 二图像帧的第二混合区域中将对准的第二图像帧和其它第二图像帧混合来 获取第二拼接图像帧。
该方法还包括基于差异模式来评估第一对准，该差异模式是基于第一 拼接帧和第二拼接帧的像素的值来计算的。像素被包括在相应的第一和第 二拼接图像帧中的第一和第二混合区域的至少一个静态部分内。
根据另一方面，该目的通过一种被配置为执行上述方法的图像处理设 备来实现。
根据另一方面，该目的通过与上述方面对应的一种计算机程序和计算 机程序载体来实现。
由于差异模式基于至少一个静态部分，因此差异模式不取决于彼此相 随拍摄的不同图像之间的场景中的运动。相反，差异模式取决于混合函数 和对准的变化。混合函数的变化将对用于最对准的图像的差异模式具有最 小的影响。例如，对于其中第一和其它第一图像的混合函数的和等于第二 和其它第二图像的混合函数的和的混合函数，不同的混合函数应导致针对 完美对准图像的零差异模式。对于具有未对准误差的图像，不同的混合函 数将产生非零差异模式。
因此，由于已经使用不同的混合函数拼接第一拼接帧和第二拼接帧， 并且差异模式基于至少一个静态部分，因此可以通过基于差异模式评估第 一对准来动态地评估和改进拼接图像的对准，差异模式是基于第一拼接图 像帧和第二拼接图像帧的像素的值来计算的。
本文实施例的另一个优点是它们允许在图像处理设备的运行时期间评 估对准，使得可以在不关闭图像处理设备的操作的情况下执行对准的动态 重新校准。特别地，足够好的对准的评估将对所得到的视频流影响很小， 并且因此不会被最终观察者注意到。
此外，由于可以从拼接的图像流计算差异模式，因此不需要单独的图 像流来评估对准。
本文实施例的另一个优点是它们允许通过将未对准评估为在混合区域 上分布的许多小静态部分中的平移(translation)未对准来简化拼接图像 中的复杂非线性未对准误差(例如所拼接的原始图像的旋转)的评估。
附图说明
在附图中，在一些实施例中出现的特征由虚线表示。
从以下详细描述和附图中可以容易地理解本文公开的实施例的各个方 面，包括特定特征和其优点，其中：
图1是示出本文的图像处理设备(例如图像捕获设备)的示例性实施 例的示意性概述，
图2示出包括图像处理设备的视频网络系统的示例性实施例，
图3a是示出本文示例性实施例的示意性概述，
图3b是示出本文示例性实施例的示意性概述，
图3c是示出本文示例性实施例的示意性概述，
图3d示出两个图像帧的拼接的示例性实施例，
图3e示出混合函数的示例性实施例，
图3f示出多个混合函数的示例性实施例，
图4是示出图像处理设备中的方法的实施例的流程图，
图5示出作为对准的函数的差异的量度(measure)，
图6是示出图像处理设备的实施例的框图。
具体实施方式
如上所述，感兴趣地可以是改进来自两个或更多个传感器的拼接图像 的对准。作为示例，可以在工厂(例如根据传感器的安装位置的知识)确 定对准。
但是，当在现场安装摄像机时，原始图像的对准可能仍然需要一些调 整。
如上所述，在摄像机的运行时期间执行的对准方法的问题是它们可能 需要一个或多个单独的图像流以评估对准。
在本文的实施例中，通过一种评估来自具有重叠视野的传感器的两个 图像流的对准的方法来解决这些问题。更具体地，可以通过嵌入信息动态 来改进拼接图像的对准以解决这些问题，该信息可用于分析拼接图像流中 (即拼接图像的图像流中)的对准。
通过改变拼接的原始图像的混合函数、并且然后通过计算两个所拼接 图像之间的差异模式(或者换言之差异图像)来(例如通过确定对准的程 度或质量)评估对准来获取嵌入的信息，其中每个所拼接图像通过混合从 图像传感器发出的两个图像形成。例如，可以通过基于两个拼接图像的对 应像素值计算差异来计算差异模式。在本文的一些实施例中，通过计算两 个拼接图像的加权像素值之间的差异来计算差异模式。在一些实施例中，权重等于一，使得通过计算两个拼接图像的像素值之间的差异来计算差异 模式。
在本文的一些实施例中，基于差异模式评估对准包括将用于第一对准 的差异模式与用于一个或多个其它对准(例如第二对准)的差异模式进行 比较。然后可以选择产生最小差异模式的对准。对于那些实施例，可以通 过计算两个拼接图像的像素值之间的差异来计算差异模式。
在一些其他实施例中，诸如单个差异模式的差异模式与用于产生差异 模式的拼接图像之一一起被用作神经网络的输入。在初始训练之后，神经 网络能够基于差异模式和拼接图像评估对准。
在一些其他实施例中，使用差异模式(与拼接图像之一一起)计算静 态部分内的原始图像的重建。然后评估对准可以基于用于提取这些原始图 像之间的差异和/或相似性的任何已知方法，并评估这些差异和/或相似性。 这种特征匹配方法可以包括平方差的和(SSD)、归一化交叉相关(NCC) 或比例不变特征变换(SIFT)。
换言之，本文的实施例通过改变拼接图像帧的混合函数或者换言之混 合因子或混合权重，并研究该变化对例如在原始图像之间的重叠区域中包 括的混合区域的静态部分(例如8*8像素的小片(patch))中的差异模式 的效果，来改进在图像处理设备(诸如摄像机)的运行期间的拼接图像帧 的对准。如果混合函数是相同的，则静态部分是不同图像帧之间不变的部 分。
如果原始图像对准良好，则混合的变化应该对拼接图像的效果最小， 但是如果原始图像对准不好，则混合的变化将导致重叠图像区域的静态部 分中的像素值的变化。也就是说，混合的变化将导致以不同的混合函数混 合的不同拼接图像不同，即在对应的像素位置处包括不同的像素值。可以 监视和评估基于对应像素位置处的像素值的差异，并且可以基于对差异的 评估来确定对准是否足够好。
本文的实施例的一个优点是，对于拼接图像的观察者来说，变化不会 太大到非常明显。此外，本文的实施例允许通过将未对准评估为在混合区 域上分布的许多小静态部分中的平移未对准，来简化拼接图像中的复杂非 线性未对准误差(例如拼接的原始图像的旋转)的评估。
本文的实施例可以在一个或多个图像处理设备(例如图像捕获设备， 例如数字摄像机)中实现。图1描绘了各种示例性图像捕获设备110。图 像捕获设备110可以例如是摄录像机、视频录像机、视频摄像机120(例 如监控摄像机或监视摄像机)、数字摄像机、包括图像传感器的智能手机 130、或包括图像传感器的汽车140。
图2描绘了其中可以实现本文的实施例的示例性视频网络系统250。 视频网络系统250可以包括可以捕获并在数字图像201(诸如数字视频图 像)上和执行图像处理的视频摄像机120，220。图2中的视频服务器260 可以例如通过网络等从视频摄像机120，220获取图像。
视频服务器是一种基于计算机的设备，专用于提供视频。视频服务器 用于许多应用，并且通常具有满足解决特定应用的需求的附加功能和能力。 例如，用于安全性、监控和检查应用中的视频服务器通常被设计为从一个 或多个摄像机捕获视频并通过计算机网络传送该视频。在视频制作和广播 应用中，视频服务器可具有录制和播放录制视频的能力，并同时传送许多 视频流。在图2中，视频服务器260通过网络250连接到由视频摄像机120，220例示的图像捕获设备。视频服务器260还可以连接到视频存储设备270 以存储视频图像，和/或连接到监视器280以显示视频图像。
本文的实施例可以在若干图像处理设备中实现。例如，在本文的一些 实施例中，在图像捕获设备(例如视频摄像机120，220)和一个或多个其 它图像处理设备(例如视频服务器250)两者中以分布式方式执行评估两 个图像流的对准的方法。一个或多个其它图像处理设备也可被包括在视频 管理系统(VM)或计算机云中。更具体地，可以由图像捕获设备执行的 方法的一些部分(例如对准和混合图像)，而像评估对准的其他部分可以 由一个或多个其它图像处理设备执行。这是可能的，因为与混合相关的信 息被嵌入到离开图像捕获设备的图像流。
为了更好地理解本文的实施例，首先将描述成像系统。
图3a是成像系统300(在这种情况下是数字摄像机，例如摄像机120， 220)的示意图。成像系统在一个或多个图像传感器上(例如在第一图像传 感器301a和第二图像传感器301b上)成像场景。第一和第二图像传感器 301a，301b可以设置有相应的拜耳滤波器，使得不同像素将在已知的模式 中接收特定波长区域的辐射。通常，捕获的图像的每个像素由表示在特定 波长带内的捕获的光的强度的一个或多个值表示。这些值通常称为颜色分 量或颜色通道。术语“图像”可以指代图像帧或视频帧，包括源自已经捕 获该图像的图像传感器的信息。
在读取了图像传感器301a，301b的各个传感器像素的信号之后，可 以由图像处理流水线302执行不同的图像处理动作。通常用于视频处理， 图像被包括在图像流中。图3a示出来自第一图像传感器301a的第一图像 310a流和来自第二图像传感器301b的第二图像流310b。
图像处理可以包括去马赛克(demosaicing)、颜色校正、噪声滤波(用 于消除空间和/或时间噪声)、失真校正(用于消除例如桶失真的影响)、 全局和/或局部色调映射(例如，实现包含大范围强度的场景的成像)、变 换(例如，矫正和旋转)、平场(flat-field)校正(例如，用于去除渐晕 的效果)、应用覆盖(例如，隐私掩模、解释性文本)等。图像处理流水 线302也可以与执行对象检测、识别、告警等的分析引擎相关联。
图像处理流水线302可以包括图像处理部分302a和视频后处理 (post-processing)部分302b。图像处理部分302a可以例如执行图像稳定、 应用噪声滤波、失真校正、全局和/或局部色调映射、变换和平场校正。视 频后处理部分302b可以例如裁剪图像的部分，应用覆盖，并包括分析引 擎。
具体地，在本文的实施例中，图像的处理还将包括将来自第一和第二 图像传感器301a，301b的两个图像拼接在一起。可以在图像处理流水线 302中相对稍晚(例如在视频后处理部分302b中)执行拼接。在一些实施 例中，在执行拼接之前已经执行至少噪声滤波。图3a示意性地示出第一和 第二图像流310a，310b如何组合以形成拼接图像流310c。
图3b示意性地示出这种图像拼接处理，其中在第一这样的拼接处理 中，源自相应的第一和第二图像传感器301a，301b的第一图像帧311a和 其它第一图像帧311b被拼接以产生第一拼接图像帧321。在第二这样的拼 接处理中，拼接源自相应的第一和第二图像传感器301a，301b的第二图 像帧312a和其它第二图像帧312b以产生第二拼接图像帧322。可以在相 同或类似的时间点处捕获第一图像帧311a和其它第一图像帧311b，以便 实现由于在由图像帧捕获的场景中的对象的移动导致的两个图像帧311a， 311b之间的尽可能少的变化。类似地，也可以在相同或类似的时间点处捕 获第二图像帧312a和其它第二图像帧312b。
也可以拼接两个以上的帧。
应该注意的是，对于视频摄像机，特别是如果需要实时视频流，来自 视频摄像机的传出帧速率(outgoing frame rate)(例如，对应于显示器上 的图像帧的显示速率的速率，例如30fps或60fps)可以对可以在图像处理 上花费的时间设置限制。可以执行本文的实施例，而不降低帧速率。具体 地，可以执行混合函数的变化而不影响拼接图像的帧速率。
在图像处理流水线302之后，图像可被转发给编码器303，其中图像 帧中的信息被根据编码协议(例如H.264)来编码，并且被转发给例如接 收客户端(此处例示为具有监视器280)、视频服务器260、存储设备270 等。
现在将参考图3c描述本文的示例性场景和示例性实施例。图3c示出 一种具有视频摄像机325的形式的示例性图像处理设备和包括多个对象的 场景。视频摄像机325可以包括上面讨论的图3a的成像系统300。例如， 视频摄像机325可以包括第一图像传感器301a和第二图像传感器301b。 第一和第二图像传感器具有图3c中所示具有阴影区域(hatchedarea)的 重叠视野328。在重叠视野328内，放置静态对象330，并且因此静态对象 330的至少一部分被成像到第一图像传感器301a和第二图像传感器301b 两者上。
现在将参考图3d、图3e和图3f以及图4的流程图并且进一步参考图3a-3c来描述根据本文的实施例的示例性方法。
为了拼接两个图像帧，图像帧被对准。可以在工厂执行初始对准。然 而，当图像处理设备已被安装在现场并且正在运行时，可能时不时需要重 新对准。因此，以下将呈现用于这种重新对准或者对准的重新校准的方法。 对准的重新校准包括对当前对准或未对准的评估，其可以包括确定对准的 程度和/或计算未对准误差。
现在将描述用于评估来自具有重叠视野的传感器的两个图像流的对准 的方法的实施例。首先将描述一些具体实施例的不那么详细的描述，以便 解释不同的动作如何相互作用(interplay)。
该方法可以包括以下动作：
1.根据第一对准布置第一和其它第一图像帧311a，311b，并通过在 第一混合区域331a中混合对准的第一和其它第一图像帧311a，311b来准 备第一拼接图像帧321；其中混合对准的第一和其它第一图像帧311a，311b 的第一混合区域331a被包括在对准的第一和其它第一图像帧311a，311b 的第一重叠区域332a中。第一重叠区域332a可被定义为包括具有场景的 对应内容的像素的第一和其它第一图像帧311a，311b的相应区域。
2.选择拼接图像帧321，322中的第一混合区域331a的多个静态部分 334a，334b，并且对于每个这样的静态部分334a，334b，通过以下过程确 定对准的质量：
a.对于第二拼接图像帧322，以一定量(例如10％)增加在第二混合 区域331b中的第二和其它第二图像321a，312b中的一个的混合权重，并 以对应量减小其他图像帧的权重。其中混合了对准的第一和其它第一图像 帧311a，311b的第二混合区域331b被包括在对准的第二和其它第二图像 帧311a，311b的第二重叠区域332b中。
b.基于混合区域331a，331b的静态部分334a，334b中的第二拼接图 像帧322和第一拼接图像帧321的像素的值，计算差异模式。例如，计算 在混合区域331a，331b的静态部分334a，334b中的第二拼接图像帧322 和第一拼接图像帧321之间的差异模式。
3.评估差异模式以确定关于改进的对准的假设，其中评估在第一 版本中包括：
a.如果差异模式大于零，则对准不完美，选择另一个对准并 且再次测试；
b.如果差异模式等于零，则对准很好，评估完成
c.其中评估在第二版本中包括：
i.使用预训练的神经网络以基于混合区域331a，331b中的 差异模式和拼接图像321，322来确定改进的对准。
在下面将给出每个动作的更详细描述。可以在图像处理设备(例如图 1的任何图像捕获设备110，以及特别地图3c的视频摄像机325)中实现 本文的用于评估来自具有重叠视野的两个图像传感器的拼接图像的对准， 或者换言之用于评估来自具有重叠视野的两个图像传感器的两个图像流的 对准(例如用于评估来自第一图像传感器301a的第一图像310a流和来自 第二图像传感器301b的第二图像310b流的对准)的方法。图像传感器301a，301b可被包括在图像捕获设备110中(例如视频摄像机325)。
如上所述，即使可能已经执行了工厂校准，当视频摄像机325被安装 在现场时，原始图像的对准也可能仍然需要一些调整。当在视频摄像机325 的运行期间被执行时，本文的实施例的实施方式在视频摄像机325中特别 相关，因为它们可以在视频摄像机325中被执行，而不提供用于评估对准 的单独图像流，并且对拼接图像流具有很小的影响。因此，可以在没有非 常影响图像处理设备的正常使用的情况下，执行该方法。
可以以下列示例性顺序执行图4中呈现的以下一个或多个动作。在其 他示例中，顺序可以与下面描述的顺序不同。
动作401A
图3d示意性地示出根据具有一些对准误差的一些对准的，源自两个 图像传感器的两个图像帧的覆盖。两个图像帧可以例如是第一图像帧311a 和其它第一图像帧311b。在另一示例中，两个图像帧是第二图像帧312a 和其它第二图像帧312b。
如上所述，例如在工厂处，在用于评估对准的方法开始之前，可以执 行对要用于拼接第一图像帧311a和其它第一图像帧311b的对准的计算和 确定。例如，可以使用将原始图像311a，311b中的坐标映射到它们在拼 接图像321中的新坐标的表。一些其他实施例使用将拼接图像321中的坐 标映射到原始图像311a，311b的坐标的另一个表。这些表可以取决于视 频摄像机325的某些参数，例如与传感器301a，301b的安装位置有关的 参数。因此，动作401a和下一动作401b根据已知的或确定的对准将两个 图像帧对准，而没有对准的任何评估和更新。换言之，动作401a和401b 根据已知的或确定的对准来组合或覆盖两个图像帧。这是正常拼接处理的 一部分。对准的评估是在下面的动作406中执行的。
在图3d中，对准误差使用在垂直像素方向上的平移未对准来例示。 还可能发生诸如旋转和/或歪斜未对准的其他未对准，并且本文实施例的以 下描述同样适用于这种其他未对准误差。更详细地，图3d示出根据第一 对准的，来自第一图像传感器301a的第一图像流310a的第一图像帧311a 与来自第二图像传感器301b的第二图像流310b的其它第一图像帧311b 的覆盖或对准。第一对准与第一对准误差相关联。第一图像帧311a和其它 第一图像帧311b可以在相同或类似的时间点处被捕获，使得例如由于场 景中的对象的运动而产生的两个图像帧311a，311b之间的变化在第一混 合区域331a内尽可能小。由于本文的实施例利用或换言之分析由混合过程 中的差异引起的拼接图像中的这种变化，因此希望具有尽可能少的由于场 景中的对象的运动而产生的变化。
因此，为了拼接第一图像帧311a和其它第一图像帧311b，它们根据 第一对准来对准。
动作401b
以如上面的动作401a中的对应方式，图像处理设备根据第一对准将来 自第一图像传感器301a的第一图像流310a的第二图像帧312a与来自第二 图像传感器301b的第二图像流310b的其它第二图像帧312b对准。
第二图像帧312a和其它第二图像帧312b可以在相同或类似的时间点 处被捕获，使得两个图像帧312a，312b之间的例如由于场景中的对象的 运动而产生的变化在第二混合区域331b内尽可能小。然而，相对于第一 和其它第一图像帧311a，311b，第二图像帧312a和其它第二图像帧312b 可以在不同的时间点(例如稍后的时间点)被捕获。
动作402
当第一图像帧311a和其它第一图像帧311b例如根据上面的动作401a 和401b已经被对准或组合时，图像处理设备通过根据第一混合函数333a 在第一和其它第一图像帧311a,311b的第一混合区域331a中混合对准的 第一图像帧311a和其它第一图像帧311b来获取第一拼接图像帧321，图 3e中示出其示例。
在本文的实施例中，混合函数可以将与其它对应的图像帧混合的图像 帧的相应混合权重或混合因子定义为图像的混合区域内的像素位置的函数。 因此，混合函数可以包括定义两个对应的图像帧的相应混合权重的多个相 应函数。特别地，第一混合函数333a可以将对准的第一图像帧311a和其 它第一图像帧311b的相应混合权重定义为第一混合区域331a中的像素位 置的函数。
混合函数可以是任何已知混合函数，例如alpha混合函数。
有几个版本的alpha混合，但是一个通用的概念是使用混合函数例如 (线性混合函数)来加权每个像素。然后根据在每个相应混合区域331a， 331b或在每个相应静态部分334a，334b中它位于何处来对每个像素进行 优先级化。示例实施方式使用掩模并将每个静态部分334a，334b乘以掩 模或1--掩模。
Alpha混合用于使两个图像之间的过渡更平滑。然而，这也隐含着在 不正确拼接中存在的边缘和伪像(artifact)也是被平滑的。这可能使得难 以检测它们，甚至更难以检测它们的幅度。然而，由于本文的实施例基于 差异模式来评估对准，差异模式是基于两个拼接图像的像素的值来计算的， 该差异是由于混合函数的变化而产生的，因此针对alpha混合也可以检测 这些误差。
使用alpha混合函数用于基于差异模式评估对准的的优点是对每个像 素使用相同函数计算差异模式，这意味着静态部分334的总差异的值基于 各个像素的差异之和。现在将是一个示例。该示例假设用于第一拼接图像 帧321的特定像素的混合权重的和与用于第二拼接图像帧322的相同像素 的混合权重的和相同。和可以例如对应于1，或100％。
在图3e中，第一混合函数333a是在图3e中的第一混合函数333a下 方示出的第一混合区域331a内的线性变化的函数。在该示例中，线性变化 的函数包括作为第一混合区域331a内的水平像素位置的函数的百分比形 式的第一和其它第一图像的相应混合权重的线性变化。用图3e中的阴影线 示出的第一混合权重可被应用于第一图像帧311a，而用图3e中的实线示 出的其它第一混合权重可被应用于其它第一图像帧311b。
根据图3e，第一混合权重对于第一图像帧311a内的与其它第一图像 帧311b没有重叠的，即在图3e中混合区域331a的右侧的像素位置是100％。 对于混合区域331a内的像素位置，第一混合权重从在其它第一图像帧311b 结束的像素位置处的100％变化到在第一图像帧311a结束的像素位置处的 0％。然后，第一混合权重对于其它第一图像帧311b内的，与第一图像帧 311a没有重叠的像素位置为0％。
用于其它第一图像帧311b的其它第一混合权重可以与上述对应地被 定义。
现在对于第一拼接图像帧321的静态部分334中的特定像素位置，应 用于第一图像帧311a的第一混合权重可以是30％。然后，对于相同的像 素位置，应用于其它第一图像帧311b的其它第一混合权重可以是70％。 对于对应的第二拼接图像帧322和第二混合函数，应用于第二图像帧312a 的第二混合权重可以是40％。然后，对于相同的像素位置，应用于其它第 二图像帧312b的其它第二混合权重可以是60％。
第一混合函数333a还可被描述为包括多个混合函数，例如对应于第一 图像帧和其它第一图像帧的相应混合函数。
动作403
以一种与上述在动作401a中的对应的方式，图像处理设备110通过根 据不同于第一混合函数333a的第二混合函数333b在第二和其它第二图像 帧312a，312b的第二混合区域331b中混合对准的第二图像帧312a和其 它第二图像帧312b来获取第二拼接图像帧322。图3f示出作为像素位置 的函数的，用与阴影线组合的实线示出的第一混合函数333a，和用与点划 线(dot-hatched line)组合的点线示出的第二混合函数333b两者的示例。
与第一混合函数333a类似，第二混合函数333b可以将对准的第二图 像帧312a和其它第二图像帧312b的相应混合权重定义为第二混合区域 331b中的像素位置的函数。
在本文的实施例中，第一重叠区域332a可以覆盖与第二重叠区域332b 相同的像素。第一和第二重叠区域332a，332b在图3f中用在像素位置轴 下的不间断的水平线示出。即使如此，第一混合区域331a可以与第二混合 区域331b不同。第二混合区域331b可以例如相对于第一混合区域331a 平移。在本文的一些实施例中，各个混合区域331a，331b被定义为重叠 区域，其与混合函数的混合权重的线性变化重叠。
在图3f中，不同区域被示为放置在水平像素位置轴下的不同类型的水 平线。
第一混合区域331a用下方具有细水平线的粗水平线示出，而第二混合 区域331b用上方具有细水平线的粗水平线示出。然而，第二混合区域331b 覆盖与第一混合区域331a相同的区域也是可能的。例如，可以定义第二混 合区域331b和第一混合区域331a以覆盖用两条粗实线示出的整个重叠区 域332a，332b。
在任何情况下，覆盖用两条粗阴影水平线示出的第一和第二混合区域 331a，331b的线性变化部分的区域可被用于评估对准，例如用于计算差异 模式。
用图3f中的点划线示出的第二混合权重可被应用于第二图像帧311b， 而用图3f中的点线示出的其它第二混合权重可被应用于其它第二图像帧 312b。
如图3f所示，第二混合函数333b可以与第一混合函数不同之处在于 应用于第二图像帧312a的第二混合权重高于应用于混合区域331a内的第 一图像帧311a的第一混合权重，而应用于其它第二图像帧312b的其它第 二混合权重低于应用于混合区域331a内的其它第一图像帧311b的其它第 一混合权重。这可以通过平移第一和第二混合函数333a，333b的相对于 彼此线性地变化的部分来获取。这意味着重叠区域332a，332b可以大于 用于混合的第一和第二混合区域331a，331b。然后可以确定静态部分334a， 334b，使得它们被包括在拼接图像321，322的一部分中，该其部分仅包 括线性变化的混合函数。也就是说，可以丢弃重叠区域的包括静态混合函 数的部分。例如，第二混合权重可以在第二混合区域331b内在10％和100％ 之间变化，而第一混合权重在对应的第一混合区域331a内在0％和100％之间变化。同样，其它第二混合权重可以在第二混合区域331b内在90％ 和0％之间变化，而第一混合权重在对应的第一混合区域331a内在100％ 和0％之间变化。
根据本文的一些实施例，选择或确定混合权重的变化，使得混合区域 内的总像素值对于第一和第二拼接帧保持相同。例如，像素位置p1的混 合权重的和在第一拼接图像帧321和第二拼接图像322之间可以是恒定的。 如果第二混合权重与第一混合权重相比对于像素位置p1从0％增加到 10％，则对于相同的像素位置p1，可以将其它第二混合权重从100％降低 到90％。
因此，针对相同的像素位置，第一拼接帧321的所得到的像素值可以 与第二拼接帧322的所得到的像素值相同或大致相同。
动作404
为了使该方法排除由于场景中的移动对象的移动引起的像素变化，可 以确定和/或选择混合区域331a，331b的至少一个静态部分334。静态部 分334也可以称为片(patch)。
如果第二混合函数333b与第一混合函数333a没有不同，至少一个静 态部分334可以包括第一和其它第一图像帧311a，311b的第一混合区域331a的相对于第二和其它第二图像帧312a，312b的第二混合区域331b不 变的一部分。在本文的实施例中，不变包括根本没有变化的情况，但是也 可以包括具有小于或等于原始图像帧的噪声水平的小变化的情况。
为了使差异模式的计算不那么复杂，可以从混合区域331a，331b的 其中对于两个混合图像帧都存在正混合权重的区域中选择静态部分334。
如上所述，本文的实施例通过将未对准评估为在混合区域331a，331b 上展开的许多小静态部分334中的局部平移未对准，以允许简化拼接图像 帧321，322中的复杂非线性未对准误差(例如拼接的原始图像311a，311b， 312a，312b的旋转)的评估。由此减少了对未对准误差的计算的复杂性。
因此，在一些实施例中，至少一个静态部分334包括多个静态部分334a， 334b，例如第一静态部分334a和第二静态部分334b。更多静态的部分， 例如三个或四个或甚至更多个也是可能的。每个静态部分334a，334b可 以包括少量像素，例如8×8或16x16像素。静态部分的大小可以限于一定 大小限制，无论是多个还是单个静态部分。例如，静态部分的大小可以是 有限的，以便能够将复杂的对准误差线性化为线性对准误差。
图像处理设备的处理能力的限制也可以对静态部分的大小设置限制。 然而，关于能够在任何噪声上显著确定误差，静态部分的大小有所折衷。 更大的静态部分意味着可被用于平均出噪声的更多统计点。此外，静态部 分334应该大于要被确定的线性对准误差。
如上所述，通过具有多个静态部分，可以改进对对准的评估。当未对 准是由于旋转或歪斜造成的时，与单个静态部分334相比，多个静态部分 334a，334b可以是有利的。例如，通过使用多个静态部分334a，334b评 估对准，评估可以包括关于多个对准自由度的信息，例如在两个方向中的 线性对准和/或旋转和/或歪斜。例如，对相应的多个静态部分334a，334b 的评估可以包括不同的相应评估结果，例如差异模式的不同的相应量度， 或者差异的不同符号。通过分析来自多个静态部分334a，334b的差异模 式，可以基于多个差异模式的不同量度和/或符号来得出结论。例如，来自 位于中心线的不同侧的两个静态部分的差异模式的不同符号可以指示旋转 导致未对准。因此，与单个静态部分的评估相比，相应多个静态部分334a， 334b的不同相应量度的组合评估可以改进对未对准的评估。如上所述，通 过具有许多小静态部分334a，334b，可以基于评估在每个静态部分334a， 334b中的不太复杂的线性平移未对准来评估复杂未对准误差。
此外，对于一些未对准，例如对于旋转未对准，可以根据本文的实施 例确定的最小未对准误差的大小可以取决于用于评估的像素之间的距离。 例如，可以确定的最小未对准误差可取决于第一静态部分334a和第二静态 部分334b之间的距离。在场景中，假设小旋转，例如0,1度。
进一步假设静态部分(无论是多个或单个静态部分)的大小限于特定 大小限制，例如由于图像处理设备的处理能力的限制。例如，静态部分334a， 334b的大小可以限于16×16像素。因此，每个静态部分334a，334b可以 包括16×16像素。在这种情况下，使用多个静态部分334a，334b(在它 们之间存在一些距离)而不是单个静态部分334存在很大的优点。可以基 于原始图像帧311a，311b，312a，312b的大小和使用的多个静态部分334a， 334b的数量选择多个静态部分334a，334b之间的距离。例如，可以选择 距离，使得多个静态部分334a，334b分布的区域最大化。
为了找到与16x16像素的单个静态部分的0,1度旋转未对准，本文的 实施例可能需要能够以几个百分之像素(几个1/100像素)的量级检测单 个静态部分334内的未对准。相反，如果多个静态部分334a，334b之间 存在500像素的距离，则本文的实施例可能需要能够以1像素的量级检测 多个静态部分334a，334b之间的未对准。可以通过比较两个静态部分334a， 334b之间的绝对平移误差的差来执行多个静态部分334a，334b之间的未 对准的检测。以下在动作406中简要描述如何确定这种平移误差。此外， 通过使用多个静态部分334a，334b，在评估对准质量时可以使用差异模式 的统计量度，这将减少来自噪声的影响。
动作405
第一对准的评估基于基于第一拼接帧321和第二拼接帧322的差异模 式。图像处理设备110可以获取差异模式以便评估第一对准。通过计算差 异模式，图像处理设备110可以获取差异模式。
基于第一拼接帧321和第二拼接帧322的对应像素的值来计算差异模 式。对应的像素涉及第一和第二拼接图像帧321，322中的相同像素位置。 第一拼接帧321和第二拼接帧322的像素被包括在相应的第一和第二拼接 图像帧321，322中的第一和第二混合区域331a，331b的至少一个静态部 分334内。因此，差异模式基于至少一个静态部分334。
在一些实施例中，基于第一拼接帧321和第二拼接帧322的对应像素 的值之间的差异来计算差异模式。
在一些其他实施例中，基于第一拼接帧321和第二拼接帧322的对应 像素的加权值之间的差异来计算差异模式。
差异模式可以包括混合区域331a，331b的至少一个静态部分334的 像素差异的量度。换言之，像素差异的量度可以是第一混合区域331a和第 二混合区域331b之间的差异的量度。
在一些实施例中，像素差异的量度基于基于第一拼接帧321和第二拼 接帧322的对应像素的值的差异。例如，像素差异的量度可以基于第一拼 接帧321和第二拼接帧322的对应像素的值之间的差异。第一拼接帧321 和第二拼接帧322的对应像素的值之间的差异可以是加权值之间的差异。 换言之，像素差异的量度可以基于第一拼接帧321和第二拼接帧322的对 应像素的加权值。
在第一对准的评估包括原始图像帧311a，311b，312a，312b的重建 的一些其他实施例中，重建可以基于像素差异的量度。对于这样的实施例， 第一对准的评估可以进一步基于进一步的差异模式，其基于至少一个静态 部分334内的第一图像帧311a和其它第一图像帧311b的相应重建的对应 像素的值之间的差异。
如上所述，第一对准的评估可以进一步基于原始图像帧的特征匹配。 在一些实施例中，其它差异模式可以基于特征匹配。例如，其它像素差异 的量度可以基于第一图像帧311a和其它第一图像帧311b的相应重建的对 应像素的值之间的差异。对于计算上面的像素差异的所有示例，像素差异 的量度可以包括
·描述像素差异的大小的值，例如在用于原始图像帧311a，311b，312a， 312b的原始像素值的相同范围内，例如在0-255范围内。当在评估 若干对准时或者换言之在评估几组对准参数时，可以例如使用像素 差异的大小。然后可以比较不同对准的大小，并且可以选择最小的 像素差异。
·例如描述像素差异的大小和方向的矢量，例如在哪个方向上存在像 素差异的增加。这些实施例非常适合于与神经网络一起使用，以从 也在动作408中描述的单个差异模式中找到合适的对准参数。
·第一和第二拼接图像帧321，322的单个像素值的差异，例如像素 差异的量度可以包括相应像素的像素差异的相应量度。例如，像素 差异的量度可以包括第一像素的值三和第二像素的值五，而其他像 素的像素差异的量度导致零差异。
·基于加权像素值的差异。
·诸如静态部分334上的第一和第二拼接图像帧321，322的像素差 异的统计量度(例如平均值)
·在多个静态部分334a，334b上的第一和第二拼接图像帧321，322 的像素差异的统计量度(例如平均值)
·上述例子的任何组合
差异模式将在下面的动作406中使用，作为对准是多么好的量度，或 者换言之，作为对准误差的量度。如上所述，特定静态部分334a，334b 的差异模式可用于确定局部对准误差的量度。
动作406
图像处理设备110评估差异模式，以便确定是否需要重新对准。
在一些第一实施例中，图像处理设备110评估第一对准，并且如果它 不令人满意，则继续评估其他对准。例如，选择用于将原始图像映射到拼 接图像中的摄像机的其他参数，并以试错法(trial-and-error)执行这些对 准的进一步评估。例如，可以将用于第一对准的差异模式与用于一个或多 个其它对准(诸如第二对准)的差异模式进行比较。然后可以选择导致最 小差异模式的对准。对于那些实施例，可以通过计算两个拼接图像的像素值之间的差异来计算差异模式。这也在下面在动作409中讨论。
在一些第二实施例中，图像处理设备110评估第一对准，并且基于结 果确定例如使用预先训练的神经网络改进的(优选地最佳的)对准。例如， 差异模式(例如单个差异模式)与用于产生差异模式的拼接图像321，322 中的一个一起被用作神经网络的输入。在初始训练之后，神经网络能够基 于差异模式和拼接图像321，322评估对准。这也在下面在动作408中讨论。
在一些第三实施例中，差异模式与拼接图像321，322中的一个一起使 用以计算静态部分334内的原始图像311a，311b或312a，312b的相应重 建。然后基于差异模式评估第一对准包括基于差异模式并且还基于第一拼 接帧(321)或第二拼接帧(322)的对应像素的值的两者之一计算第一图 像帧311a和其它第一图像帧311b的相应重建。对至少一个静态部分334 内的像素执行计算。评估还可以包括将相应的重建彼此进行比较。换言之， 相应重建基于混合区域331a，331b内的第一拼接帧321和第二拼接帧322 的对应像素值，并且还基于第一混合函数333a和第二混合函数333b。由 于假设静态部分334在第一图像帧311a和第二图像帧312a之间不变，因 此第一图像流310a的重建的第一图像帧应包括与第一图像流310a的重建 的第二图像帧相同的像素值。这意味着第一对准的评估可以进一步基于第 二图像帧312a和其它第二图像帧312b的相应重建的对应像素的值。
如上所述在动作405中，可以基于第一拼接帧321和第二拼接帧322 的对应像素的加权值之间的差异来计算用于重建原始图像帧的差异模式。
进一步基于重建的图像帧的像素的值评估第一对准的优点是这种评估 可以基于用于提取这些原始图像之间的差异和/或相似性的任何已知方法， 并通过例如比较和/或匹配第一和其它第一图像311a，311b，或第二和其 它第二图像312a，312b来评估这些差异和/或相似性。如上所述，这种匹 配方法可以包括SSD、NCC或SIFT。这种算法也可以用于调整对准，如 果第一对准不够好的话。
以下示例将概述如何基于原始图像311a，311b或312a，312b的重建 评估第一对准的细节。让R1是第一混合区域331a的静态部分334中的第 一图像帧311a的右像素的值。L1是第一混合区域331a的静态部分334 中其它第一图像帧311b的对应左像素的值。以下假设如上所述具有alpha 混合的混合。a是右像素值R1的混合权重。(a-1)是左像素值L1的混合权重。C1是对应于像素值R1和L1的第一拼接图像帧321的像素的值。 C2是对应于像素值R2和L2的第二拼接图像帧322的像素的值，其中R2 是第二混合区域331b的静态部分334中的第二图像帧312a的右像素的值， L2是第二混合区域331b的静态部分334中的其它第二图像帧312b的对 应左像素的值。进一步假设对于第二图像帧312a将混合权重对于R2调整 +10％至(a+0,1)，并且对应地对于第二图像帧312b将混合权重对于L2 调整-10％至(1-a-0,1)。由于像素位置被包括在静态部分334中，因此可 以假设R1＝＝R2和L1＝＝L2。这导致以下线性等式系统：
a*R1+(1-a)*L1＝C1(第一混合)
(a+0.1)*R1+(0.9-a)*L1＝C2(第二混合)
通过求解等式系统，可以针对静态部分334中的每个像素找到R1和 L1。混合权重a将是像素位置的函数。这意味着可以计算或重建静态部分 334内的原始混合图像的像素的值。计算R1和L1是基于基于第一和第二 拼接图像帧321，322的对应像素值的差异模式。可以基于第一拼接帧(321) 和第二拼接帧(322)的对应像素的值之间的差异来计算差异模式。例如， R1和L1可以基于差异图像C1-C2＝0,1*(R1-L1)并结合由 C1＝a*R1+(1-a)*L1)给出的第一拼接图像帧321的像素的值来计算。从公 式可以看出，差异值C1-C2也由用于所有其他像素位置的相同公式描述。 由于alpha-混合导致直接取决于R1和L1的差异图像C1-C2，因此可以通 过该混合方法基于上述来精确地重建静态部分334内的原始图像。
由第一和第二混合区域331a，331b两者覆盖的区域可用于计算原始 图像帧。使用上述区域进行重建的优点是原始图像帧将在该区域内以相同 的精度被重建。
如上所述，通过重建原始图像，用于特征识别、描述和匹配的已知算 法(诸如SSD)可以用于匹配对应的原始图像帧中的特征，具体地匹配与 静态部分334a，334b对应的原始图像帧的部分中的特征。例如，第一图 像帧311a中的第一特征可以与其它第一图像帧311b中的对应的其它第一 特征匹配。同样地，第二图像帧311a中的第二特征可以与其它第二图像帧 312a中的对应的其它第二特征匹配。在基于重建的原始图像评估对准的另 一示例中，对于特定的静态部分334a，对准误差可以是第一方向上的+2 像素，第二垂直方向上的-3像素。在静态部分334a，334b上的可能的平 均之后，可以在对准误差的衍生或差分的方向对对准进行小的调整。然后 可以将新对准的评估与旧对准进行比较。
因此，对于所有上述实施例，图像处理设备110基于基于第一拼接帧 321和第二拼接帧322的像素的值来计算的差异模式来评估第一对准。如 上在描述动作405时所述的，差异模式基于至少一个静态部分334。也就 是说，第一拼接帧321和第二拼接帧322的像素被包括在相应的第一和第 二拼接图像帧321，322的第一和第二混合区域331a，331b的至少一个静 态部分334内。
在本文的一些实施例中，图像处理设备110通过计算差异模式来评估 第一对准。例如，图像处理设备110可以通过基于差异模式确定第一对准 的对准程度来评估第一对准。对准程度是对准是多好的量度。换言之，对 准程度可以是对准质量或者替代地未对准或未对准误差的量度。
基于差异模式评估第一对准还可以包括将差异模式与阈值或预定差异 模式进行比较。例如，阈值可以是静态部分334上的第一和第二拼接图像 帧321，322的像素差异的阈值平均值。阈值可以与拼接图像321，322中 的噪声水平有关。即，如果差异模式高于阈值，则可以确定差异模式不仅 仅是噪声。
在一些实施例中，评估第一对准包括计算对准质量的量度(例如对准 程度)，其随着差异模式的减小而增加。差异模式的减小可以对应于像素 差异的绝对值的降低。
可以通过将差异模式与阈值进行比较来确定对准程度。例如，如果差 异模式高于零，则确定对准不完美。然后，该方法可以继续选择新的对准 并例如通过基于新的差异模式确定新对准的对准程度来评估新对准。这在 下面在动作407中描述。
但是，如果差异模式为零或接近零，则可以确定对准是好的，并且评 估完成。
如上所述，如果图像良好对准，则混合中的变化应该对所得拼接图像 的静态部分具有最小的影响。因此，差异模式是被拼接的图像的对准或未 对准程度、对准质量的良好量度，或是未对准的量度。
将对准程度或质量的评估或确定基于静态部分334中的差异模式的优 点是正确对准的拼接图像的评估或者确定将不被其余的视频系统和/或最 终用户注意到，因为差异模式对于完美对准的图像为零。如果图像不完美 对准，则拼接图像将略微受到评估的影响。然而，由于未对准并且需要重 新对准，无论如何，不完美对准的图像的拼接将生成具有拼接误差的拼接 图像。使用本文的实施例，可以在不影响良好对准的图像并且不使用单独的视频流来评估对准的情况下，重新对准未对准的图像。
在本文的一些实施例中，未对准误差的计算或确定基于差异模式。如 上所述在动作405中，像素差异的量度可以例如包括包括方向信息的矢量 值。在一些实施例中，可以由神经网络执行计算和/或确定。例如，可以使 用预先训练的神经网络基于混合区域331a中的差异模式和原始拼接图像 321，322来确定对准误差的量度。例如，预先训练的神经网络可以使用两 个输入张量(tensor)，一个用于拼接图像321，322，一个用于差异模式 或者换言之差异图像。基于确定的对准误差，可以根据已知方法确定改进 的对准。例如，对于拼接图像321，322，可存在不同对准误差，例如对应 于两个方向的线性对准误差和/或旋转误差和/或歪斜。未对准误差的确定 可以包括确定误差的大小和误差的方向，例如图像的平面中的方向。如果 对准误差被确定为沿图像的平面中的特定轴线是线性的，则可以进行图像的线性调整以使用基于未对准误差的量和方向进行拼接。例如，如果对准 误差在一定方向上是5个像素，则可以通过在对准误差的相反方向上重新 映射像素5像素来重新对准要拼接的图像，使得对准误差消失。
本文实施例的一个优点是对准的评估是基于嵌入拼接图像流310c中 的信息。因此，对于评估，不需要单独的图像流。
本文实施例的另一个优点是，可以通过改变混合而不是比较拼接的和 原始的图像使用例如来自拼接图像的更少图像，例如通过确定未对准误差 来评估对准。
又一个优点是可以通过每个静态部分334中的更简单的线性对准误差 来建模复杂的对准误差。
即使实施例在上面已被描述为确定每个静态部分334a，334b内的局 部平移误差，实施例也适用于其他对准误差，例如旋转对准误差。例如， 可以基于每个静态部分334a，334b内的许多局部平移误差来确定旋转误 差。因此，措辞误差方向还包括旋转方向。
动作407
如果差异模式高于阈值，则该方法还可以包括确定或选择第二对准。 可以进行第二对准的确定或选择，以便在没有进一步评估的情况下使用第 二对准，或者为了以与评估第一对准对应的方式评估第二对准。然后可以 对第二对准对应地重复上述动作401a和401b。因此，图像处理设备110 可以根据第二对准将第一图像帧311a和其它第一图像帧311b对准并根据 第二对准将第二图像帧312a和其它第二图像帧312b对准。可以进行对准以例如通过确定第二对准的对准程度来评估第二对准。
然而，为了能够在视频网络系统250中使用上述图像和图像流而没有 干扰，第一图像帧311a和其它第一图像帧311b通常不是与用于第一对准 相同。相反，新的图像帧可以用于评估第二对准。对应地，用于评估第二 对准的第二图像帧312a和其它第二图像帧312b通常将不与用于第一对准 的对应帧相同。
动作408
在一些实施例中，图像处理设备110基于例如基于差异模式或其量度 评估第一对准来在多个对准中选择对准。在一些其他实施例中，图像处理 设备110基于例如基于差异模式或其量度评估第一对准来确定对准。
选择对准可以包括选择视频摄像机325的上述参数，例如与传感器 301a，301b的安装位置有关的参数。此外，可以通过神经网络等来执行选 择对准。如何基于差异模式来实现这种选择超出了本文实施例的范围。
作为中间动作，评估可以基于第一对准的确定的对准程度，这又可以 基于其差异模式或其量度。例如，如果图像处理设备110例如通过确定差 异模式低于阈值来确定第一对准的质量或程度足够好，则图像处理设备 110可以确定使用多个对准中的第一对准。另一方面，如果图像处理设备 110例如通过确定差异模式高于阈值来确定第一对准的对准程度不够好， 则图像处理设备110可以确定使用与多个对准中的第一对准不同的对准。 图像处理设备110可以例如确定使用第二对准。
动作409
在一些实施例中，图像处理设备110评估多个对准，以便确定哪个是 最佳对准。然后可以重复上述动作401-406，如上面关于动作407所解释 的，其中确定或选择第二对准。对应地，还可以确定和评估第三对准等， 并与其他对准进行比较。
例如，当已经确定或选择第二对准时，图像处理设备110可以例如通 过基于第二差异模式确定第二对准的对准程度来评估第二对准，第二差异 模式是基于用第二对准和第一混合函数333b获取的第一拼接图像帧321 以及用第二对准和第二混合函数获取的第二拼接图像帧322的像素的值来 计算的。第二对准的对准程度的确定可以根据上述动作406进行。可以以 对应的方式评估进一步的对准。在一些实施例中，用于计算像素差异的量度的静态部分对于第二对准和对于第一对准是相同的。然而，还可以使用 新的静态部分(例如与至少一个静态部分334不同的第二静态部分)以计 算像素差异的量度。
可以训练神经网络以评估混合的效果并且迭代地测试并评估图像的新 对准以找到最佳对准，例如与最少的变化相关联的对准，例如导致差异模 式的最小量度的对准。
动作410
如果根据动作409的上述描述评估了多个对准，则可以执行对对准的 选择以便选择多个对准中的最佳或最优对准。该选择可以基于与相应的对 准相对应的多个差异模式中的最小差异模式。也就是说，基于哪个差异模 式最小。
例如，当图像处理设备110评估第一和第二对准时，然后图像处理设 备110可以基于第一和第二差异模式中的最小差异模式选择第一对准和第 二对准中的对准。
在一些实施例中，第一和第二差异模式中的最小差异模式包括第一混 合区域331a和第二混合区域331b之间的最小差异。也就是说，第一和第 二差异模式中的最小差异模式可以包括第一混合区域331a的静态部分334 和第二混合区域331b的静态部分334之间的最小差异。例如，可以针对 每个对准比较所有静态部分334a，334b的像素差异的和和/或平均像素差 异的和。
图5示出对不同对准选项(称为对准nr)的差异模式(称为差异)的 量度的示例图。可以看出，对准选项6对应于零或至少非常小的未对准， 因为针对对准nr6的差异为零。其他对准选项每个对应于不同的未对准， 例如沿图像帧的轴线的线性未对准。因为差异模式的量度的大小随未对准 而变化，可以基于差异模式(可能还基于关于未对准的方向的信息)来预 测未对准。可以从差异模式(例如基于两个或多个对准的差异模式)的衍 生或差异的计算来获取方向信息。
参考图6，示出图像处理设备600的实施例的示意性框图。图像处理 设备600被配置为评估第一对准，即来自第一图像传感器301a的第一图像 流310a和来自第二图像传感器301b的第二图像流310b的对准。如上所 述，图像处理设备600可以包括图像捕获设备110，例如视频摄像机325、 监视摄像机、网络视频记录器或无线通信设备。
图像处理设备600可以包括处理模块601，例如用于执行本文描述的 方法的装置。该装置可以以一个或多个硬件模块和/或一个或多个软件模块 的形式实现。
图像处理设备600还可以包括存储器602。存储器可以包括诸如包含 或存储例如具有计算机程序603的形式的指令，其可以包括当在图像处理 设备600上被执行时使图像处理设备600执行该方法的计算机可读代码单 元。
根据本文的一些实施例，图像处理设备600和/或处理模块601包括作 为示例性硬件模块的处理电路604，其可以包括一个或多个处理器。因此， 处理模块601可以以处理电路604的形式体现或由处理电路604实现。指 令可以由处理电路604执行，由此图像处理设备600可操作以执行图4的 方法。作为另一示例，指令当由图像处理设备600和/或处理电路604执行 时可以使图像处理设备600执行根据图4的方法。
鉴于上述情况，在一个示例中，提供了一种用于评估第一对准的图像 处理设备600，即，来自第一图像传感器301a的第一图像流310a和来自 第二图像传感器301b的第二图像流310b的对准。同样，存储器602包含 可由所述处理电路604执行的指令，由此图像处理设备600用于执行根据 图4的方法：
根据第一对准将来自第一图像传感器301a的第一图像流310a的第一 图像帧311a与来自第二图像传感器301b的第二图像流310b的其它第一 图像帧311b对准，并根据第一对准将第一图像流310a的第二图像帧312a 和第二图像流310b的其它第二图像帧312b的对准。
通过根据第一混合函数混合第一和其它第一图像帧311a，311b的第 一混合区域331a中的对准的第一图像帧311a和其它第一图像帧311b，获 取第一拼接图像帧321，并通过根据与第一混合函数不同的第二混合函数 混合第二和其它第二图像帧312a，312b的第二混合区域331b中的对准的 第二图像帧312a和其它第二图像帧312b，获取第二拼接图像帧322。
基于差异模式评估第一对准，差异模式是基于第一拼接帧321和第二 拼接帧322的像素的值来计算的。差异模式基于相应的第一和第二拼接图 像帧321，322中的第一和第二混合区域331a，331b的至少一个静态部分 334。
图像处理设备600还可操作以执行根据上述结合图4描述的细节实施 例的方法。
图6还示出载体605或程序载体，其包括如上直接所述的计算机程序 603。载体605可以是电子信号、光信号、无线电信号和计算机可读介质之 一。
在一些实施例中，图像处理设备600和/或处理模块601可以包括对准 模块610、获取模块620、评估模块630和选择模块640中的一个或多个， 作为示例性硬件模块。在其他示例中，上述示例性硬件模块中的一个或多 个可被实现为一个或多个软件模块。
此外，处理模块601可以包括输入/输出单元606。根据实施例，输入 /输出单元606可以包括第一和第二图像传感器301a，301b，其配置为捕 获上述诸如第一图像帧311a和其它第一图像帧311b的图像帧。
因此，图像处理设备600被配置用于评估来自第一图像传感器301a 的第一图像流310a和来自第二图像传感器301b的第二图像流310b的对 准。
因此，根据上述各种实施例，图像处理设备600和/或处理模块601和 /或对准模块6610被配置为根据第一对准将来自第一图像传感器301a的第 一图像流310a的第一图像帧311a和来自第二图像传感器301b的第二图 像流310b的其它第一图像帧311b对准，并根据第一对准将第一图像流 310a的第二图像帧312a和第二图像流310b的其它第二图像帧312b对准。
图像处理设备600和/或处理模块601和/或对准模块610还可被配置 为根据第二对准将第一图像帧311a和其它第一图像帧311b对准，并根据 第二对准将第二图像帧312a和其它第二图像帧312b对准，用于例如通过 确定第二对准的对准程度来评估第二对准。
图像处理设备600和/或处理模块601和/或获取模块620被配置为通 过根据第一混合函数333a混合第一和其它第一图像帧311a，311b的第一 混合区域331a中的对准的第一图像帧311a和其它第一图像帧311b来获 取第一拼接图像帧321，并通过根据不同于第一混合函数333a的第二混合 函数333b混合第二和其它第二图像帧312a，312b的第二混合区域331b 中的对准的第二图像帧312a和其它第二图像帧312b来获取第二拼接图像 帧322。
图像处理设备600和/或处理模块601和/或评估模块630可被配置为 基于基于差异模式来评估第一对准，差异模式是基于第一拼接帧321和第 二拼接帧322的像素的值来计算的。差异模式基于在相应的第一和第二拼 接图像帧321，322中的第一和第二混合区域331a，331b的至少一个静态 部分334。
可以通过基于差异模式确定第一对准的对准程度来执行评估。
可以基于第一拼接帧321和第二拼接帧的对应像素的值之间的差异来 计算差异模式。在一些其他实施例中，是第一拼接帧321和第二拼接帧322 的对应像素的加权值之间的差异。
在一些实施例中，基于差异模式评估第一对准包括基于差异模式并进 一步基于第一拼接帧321或第二拼接帧322的对应像素的值的两者之一计 算至少一个静态部分334内的第一图像帧311a和其它第一图像帧311b的 相应重建，然后将相应的重建彼此进行比较。
图像处理设备600和/或处理模块601和/或选择模块640可被配置为 基于评估第一对准来选择多个对准中的对准。在一些实施例中，图像处理 设备600和/或处理模块601和/或选择模块640被配置为基于第一和第二 差异模式中的最小差异模式选择第一对准和第二对准中的对准。
如本文所使用的，术语“模块”可以指一个或多个功能模块，其每个 可被实现为一个或多个硬件模块和/或一个或多个软件模块和/或组合的软 件/硬件模块。在一些示例中，模块可以表示作为软件和/或硬件实现的功 能单元。
如本文所使用的，术语“计算机程序载体”、“程序载体”或“载体” 可以指电子信号、光信号、无线电信号和计算机可读介质中的一个。在一 些示例中，计算机程序载体可以排除暂时的传播信号，例如电子、光学和/ 或无线电信号。因此，在这些示例中，计算机程序载体可以是非暂时性载 体，例如非暂时性计算机可读介质。
如本文所使用的，术语“处理模块”可以包括一个或多个硬件模块、 一个或多个软件模块或其组合。任何这样的模块，无论是硬件、软件或组 合的硬件软件模块，都可以是如本文所公开的对准装置、获取装置、评估 装置、选择装置等。作为示例，表达“装置”可以是与上面与附图结合列 出的模块相对应的模块。
如本文所使用的，术语“软件模块”可以指代软件应用、动态链接库 (DLL)、软件组件、软件对象、根据组件对象模型(COM)的对象、软 件组件、软件功能、软件引擎、可执行的二进制软件文件等。
术语“处理模块”或“处理电路”在本文中可以涵盖包括例如一个或 多个处理器的处理单元、专用集成电路(ASIC)、现场可编程门阵列(FPGA) 等。处理电路等可以包括一个或多个处理器内核。
如本文所使用的，表达“被配置为/用于”可以意味着处理电路被配置 为，例如适于或操作于，借助于软件配置和/或硬件配置执行本文描述的一 个或多个动作。
如本文所使用的，术语“动作”可以指动作、步骤、操作、响应、反 应、活动等。应当注意，如适用的话，本文的动作可以分为两个或多个子 动作。此外，也如适用的话，应当注意，本文描述的两个或更多个动作可 被合并为单个动作。
如本文所使用的，术语“存储器”可以指硬盘、磁存储介质、便携式 计算机软盘或盘、闪存、随机存取存储器(RAM)等。此外，术语“存储 器”可以指处理器的内部寄存器存储器等。
如本文所使用的，术语“计算机可读介质”可以是通用串行总线(USB) 存储器、DVD-盘、蓝光光盘、作为数据流接收的软件模块、闪存、硬盘驱 动器、存储卡(例如记忆棒(MemoryStick))、多媒体卡(MMC)、安 全数字(SD)卡等。计算机可读介质的一个或多个上述示例可以作为一个 或多个计算机程序产品来提供。
如本文所使用的，术语“计算机可读代码单元”可以是计算机程序的 文本、或者以编译格式表示计算机程序的二进制文件的部分或整个或它们 之间的任何内容。
如本文所使用的，术语“数量”和/或“值”可以是任何类型的数字， 例如二进制数、实数、虚数或有理数等。此外，“数量”和/或“值”可以 是一个或多个字符，例如字母或字母串。“数量”和/或“值”也可以由一 串比特表示，即零和/或一。
如本文所使用的，已经使用表达“在一些实施例中”来指示所描述的 实施例的特征可以与本文公开的任何其他实施例组合。
即使已经描述了各个方面的实施例，对于本领域技术人员来说，它们 的许多不同的改变、修改等将变得显而易见。因此，所描述的实施例不旨 在限制本公开的范围。

Claims (14)

1.一种由图像处理设备(110，600)执行的方法，用于评估来自第一图像传感器(301a)的第一图像流(310a)和来自第二图像传感器(301b)的第二图像流(310b)的对准，其中所述第一图像传感器和所述第二图像传感器(301a，301b)具有重叠的视野，其中所述方法包括：
根据第一对准，将所述第一图像流(310a)的第一图像帧(311a)和所述第二图像流(310b)的其它第一图像帧(311b)对准(401a)，
根据所述第一对准，将所述第一图像流(310a)的第二图像帧(312a)和所述第二图像流(310b)的其它第二图像帧(312b)对准(401b)，
通过根据第一混合函数(333a)在所述第一图像帧和所述其它第一图像帧(311a，311b)的第一混合区域(311a)中混合所对准的第一图像帧(311a)和其它第一图像帧(311b)来获取(402)第一拼接图像帧(321)，
通过根据第二混合函数(333b)在所述第二图像帧和所述其它第二图像帧(312a，312b)的第二混合区域(331b)中混合所对准的第二图像帧(312a)和其它第二图像帧(312b)来获取(403)第二拼接图像帧(322)，并且其中，所述方法的特征在于：
基于差异模式来评估(406)所述第一对准，所述差异模式是基于所述第一拼接帧(321)和所述第二拼接帧(322)的对应像素的值来计算的，其中，所述对应像素被包括在相应的第一拼接图像帧和第二拼接图像帧(321，322)中的所述第一混合区域和所述第二混合区域(331a，331b)的至少一个静态部分(334)内，并且其中，所述方法的特征进一步在于：
所述第二混合函数(333b)与所述第一混合函数(333a)不同，并且
所述第一混合函数(333a)将所对准的第一图像帧(311a)和所述其它第一图像帧(311b)的相应混合权重定义为所述第一混合区域(331a)中的像素位置的函数，以及
所述第二混合函数(333b)将所对准的第二图像帧(312a)和所述其它第二图像帧(312b)的相应混合权重定义为所述第二混合区域(331b)中的像素位置的函数。
2.根据权利要求1所述的方法，其中，所述第一图像传感器和所述第二图像传感器(301a，301b)被包括在相同的图像捕获设备(110)中，并且其中，所述第一图像帧(311a)和所述其它第一图像帧(311b)已经在相同或相似的第一时间点被捕获，并且其中，所述第二图像帧(312a)和所述其它第二图像帧(312b)在相同或相似的第二时间点被捕获，所述第二时间点与所述第一时间点不同。
3.根据权利要求1-2中任一项所述的方法，其中，基于以下内容计算所述差异模式：
a.所述第一拼接帧(321)和所述第二拼接帧(322)的对应像素的值之间的差异；和/或
b.所述第一拼接帧(321)和所述第二拼接帧(322)的对应像素的加权值之间的差异。
4.根据权利要求1-3中任一项所述的方法，其中，基于所述差异模式评估所述第一对准包括：
基于所述差异模式并且还基于所述第一拼接帧(321)或所述第二拼接帧(322)的对应像素的值的两者之一，计算在所述至少一个静态部分(334)内的所述第一图像帧(311a)和所述其它第一图像帧(311b)的相应重建；以及
将所述相应重建彼此进行比较。
5.根据权利要求1-4中任一项所述的方法，其中，基于所述差异模式评估所述第一对准包括将所述差异模式与阈值进行比较。
6.根据权利要求1-5中任一项所述的方法，还包括：基于评估所述第一对准，在多个对准中选择(408)对准。
7.根据权利要求1-6中任一项所述的方法，其中，所述差异模式高于阈值，所述方法还包括：
根据第二对准，将所述第一图像帧(311a)和所述其它第一图像帧(311b)对准(401a)，以及
根据所述第二对准，将所述第二图像帧(312a)和所述其它第二图像帧(312b)对准(401b)，以用于评估所述第二对准。
8.根据权利要求7所述的方法，还包括：
基于第二差异模式评估(406)所述第二对准，所述第二差异模式是基于用所述第二对准和所述第一混合函数(333a)获取的所述第一拼接图像帧(321)的像素的值以及用所述第二对准和所述第二混合函数(333b)获取的所述第二拼接图像帧(322)的像素的值来计算的，以及
基于所述第一差异模式和所述第二差异模式中的最小差异模式，在所述第一对准和所述第二对准中选择(410)对准。
9.根据权利要求8所述的方法，其中，所述第一差异模式和所述第二差异模式中的所述最小差异模式包括所述第一混合区域(331a)的所述静态部分(334)与所述第二混合区域(331b)的所述静态部分(334)之间的最小差异。
10.根据权利要求1-9中任一项所述的方法，在所述图像处理设备(110，600)的运行期间执行所述方法。
11.一种图像处理设备(110，600)，其被配置为执行根据权利要求1-10中任一项所述的方法。
12.根据权利要求11所述的图像处理设备(110，600)，包括图像捕获设备(110)，诸如摄像机、监控摄像机、监视摄像机或摄录像机、网络视频记录器和无线通信设备中的任一个。
13.一种计算机程序(603)，包括计算机可读代码单元，所述计算机可读代码单元当在图像处理设备(110，600)上被执行时使所述图像处理设备(110，600)执行根据权利要求1-10中任一项所述的方法。
14.一种包括根据前述权利要求所述的计算机程序的载体(605)，其中，所述载体(605)是电子信号、光信号、无线电信号和计算机可读介质中的一个。
CN202210112469.9A 2021-02-01 2022-01-29 用于评估拼接图像的对准的方法和图像处理设备 Pending CN114845068A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21154578.5A EP4036851B1 (en) 2021-02-01 2021-02-01 Method and image-processing device for evaluating an alignment of stitched images
EP21154578.5 2021-02-01

Publications (1)

Publication Number Publication Date
CN114845068A true CN114845068A (zh) 2022-08-02

Family

ID=74494813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210112469.9A Pending CN114845068A (zh) 2021-02-01 2022-01-29 用于评估拼接图像的对准的方法和图像处理设备

Country Status (6)

Country Link
US (1) US20220245760A1 (zh)
EP (1) EP4036851B1 (zh)
JP (1) JP2022119712A (zh)
KR (1) KR20220111203A (zh)
CN (1) CN114845068A (zh)
TW (1) TW202232934A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156342A (zh) * 2023-04-04 2023-05-23 合肥埃科光电科技股份有限公司 多线阵图像传感器拼接方法、线阵采像系统、装置及设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024107200A1 (en) * 2022-11-18 2024-05-23 Zeku, Inc. Multi-sensor image processing on mobile devices and method of operating the same
CN116362973B (zh) * 2023-05-24 2023-09-19 武汉智筑完美家居科技有限公司 图案拼接方法、设备及存储介质
CN118195915B (zh) * 2024-02-05 2024-09-10 钛玛科（北京）工业科技有限公司 图像拼接方法、装置、电子设备及介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8600193B2 (en) 2008-07-16 2013-12-03 Varian Medical Systems, Inc. Image stitching and related method therefor
US8509565B2 (en) * 2008-12-15 2013-08-13 National Tsing Hua University Optimal multi-resolution blending of confocal microscope images
US9143703B2 (en) * 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
US9076238B2 (en) * 2013-08-21 2015-07-07 Seiko Epson Corporation Intelligent weighted blending for ultrasound image stitching
US9740959B2 (en) * 2015-03-13 2017-08-22 Trimble Inc. Acceleration of exposure fusion with pixel shaders
US9767387B2 (en) * 2015-09-09 2017-09-19 Accenture Global Services Limited Predicting accuracy of object recognition in a stitched image
GB201615776D0 (en) * 2016-09-16 2016-11-02 Rolls Royce Plc Spatiotemporal registation of image streams
US10863105B1 (en) * 2017-06-27 2020-12-08 Amazon Technologies, Inc. High dynamic range imaging for event detection and inventory management

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116156342A (zh) * 2023-04-04 2023-05-23 合肥埃科光电科技股份有限公司 多线阵图像传感器拼接方法、线阵采像系统、装置及设备

Also Published As

Publication number Publication date
EP4036851B1 (en) 2024-07-31
EP4036851C0 (en) 2024-07-31
JP2022119712A (ja) 2022-08-17
US20220245760A1 (en) 2022-08-04
EP4036851A1 (en) 2022-08-03
KR20220111203A (ko) 2022-08-09
TW202232934A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
CN114845068A (zh) 用于评估拼接图像的对准的方法和图像处理设备
Novozamsky et al. IMD2020: A large-scale annotated dataset tailored for detecting manipulated images
US8508605B2 (en) Method and apparatus for image stabilization
US8384805B2 (en) Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image
CN110334635A (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
KR20180095059A (ko) 이미지 융합 방법 및 장치, 및 단말 디바이스
KR20060012278A (ko) 하이 다이나믹 레인지 비디오 생성 시스템 및 프로세스
KR20130137449A (ko) 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
CN102450019A (zh) 图像处理装置、图像生成系统、方法及程序
Cho et al. Single‐shot High Dynamic Range Imaging Using Coded Electronic Shutter
JP3866957B2 (ja) 画像合成装置
CN112241668A (zh) 图像处理方法、装置及设备
US11228723B2 (en) Pixel correction
EP4139840A2 (en) Joint objects image signal processing in temporal domain
US11956552B2 (en) Method and electronic device for increased dynamic range of an image
CN111160340A (zh) 一种运动目标检测方法、装置、存储介质及终端设备
Bisagno et al. Virtual camera modeling for multi-view simulation of surveillance scenes
Huang et al. High-Fidelity Hyperspectral Snapshot of Physical World: System Architecture, Dataset and Model
Lasang et al. CFA-based motion blur removal using long/short exposure pairs
JP6378496B2 (ja) 画像処理装置、制御方法及び記録媒体
Rebiere et al. Color Pixel Reconstruction for a Monolithic RGB-Z CMOS Imager
CN113379608A (zh) 一种图像处理方法、存储介质及终端设备
EP4390849A1 (en) Method and image-processing device for determining a lens distortion correction for an interchangeable camera lens
US11670074B2 (en) Method and image-processing device for detecting foreign objects on a transparent protective cover of a video camera
WO2023095250A1 (ja) 異常検知システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination