CN103069433A - 具有图像对准机构的图像处理系统及其操作方法 - Google Patents

具有图像对准机构的图像处理系统及其操作方法 Download PDF

Info

Publication number
CN103069433A
CN103069433A CN2011800387292A CN201180038729A CN103069433A CN 103069433 A CN103069433 A CN 103069433A CN 2011800387292 A CN2011800387292 A CN 2011800387292A CN 201180038729 A CN201180038729 A CN 201180038729A CN 103069433 A CN103069433 A CN 103069433A
Authority
CN
China
Prior art keywords
image
module
point
unit
letter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2011800387292A
Other languages
English (en)
Inventor
D·亚当斯
D·艾蒙斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103069433A publication Critical patent/CN103069433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理系统的操作的方法,包括:识别第一图像上的特征点;确定第二图像上的匹配点,其中,匹配点对应于特征点;计算特征点与匹配点之间的偏移分量,其中,该偏移分量具有垂直偏移;识别用于更新第一图像和第二图像的校正区,其中,校正区具有垂直调整、变焦调整、旋转调整和梯形畸变调整;以及使用校正区来更新第一图像和第二图像,以最小化偏移分量,从而将对准的图像显示在装置上。

Description

具有图像对准机构的图像处理系统及其操作方法
技术领域
本发明总体上涉及图像处理系统,并且,更具体地涉及用于对准立体图像的图像处理系统。
技术领域
计算机处理器速度和存储器上的改进正在为支持现代生活提供日益增长的功能和强度,其包括捕获、存储和处理图像。在现有技术中的研究和开发可以具有无数种不同的方向。
一种结果技术是合成同一对象的多个图像以诸如在全景照片或三维描绘中创建该对象的连续的可视化表示。但是,可用的工具经常不能有效地将多个图像恰当地对准。
降低成本、提高效率和性能、以及满足竞争压力的需求为找到解决这些问题的方案的关键的必要性增添了更大的紧迫性。但是,解决这些问题的方案已经被探索了很长时间了,但是之前的发展既没有教导也没有启示任何解决方案,这样,对这些问题的解决方案长期困扰着本领域技术人员。因此,对具有图像对准机构的图像处理系统的需求仍然存在。
发明内容
本发明提供一种图像处理的操作方法,其包括:识别第一图像上的特征点;确定第二图像上的匹配点,其中,匹配点对应于特征点;计算特征点与匹配点之间的偏移分量,其中,该偏移分量具有垂直偏移;识别用于更新第一图像和第二图像的校正区(correction field),其中,该校正区具有垂直调整、变焦调整、旋转调整和梯形畸变调整(keystone adjustment);以及使用校正区来更新第一图像和第二图像,以便最小化偏移分量,从而将对准的图像显示在装置上。
本发明提供一种图像处理系统,其包括:用于识别第一图像上的特征点的特征模块;耦合到特征模块的匹配模块,用于确定第二图像上的匹配点,其中,匹配点对应于特征点;耦合到匹配模块的偏移计算模块,用于计算特征点与匹配点之间的偏移分量,其中,该偏移分量具有垂直偏移;耦合到偏移计算模块的区识别模块,用于识别用于调整第一图像和第二图像的校正区,其中,该校正区具有垂直调整、变焦调整、旋转调整、梯形畸变调整、或者其组合;以及耦合到区识别模块的图像更新模块,用于更新第一图像和第二图像,以便最小化偏移分量,从而将对准的图像显示在装置上。
作为上面提到的步骤或元件的补充或其替换,本发明的某些实施例具有其它的步骤或元件。通过在参考附图时阅读下面的详细描述,这些步骤或元件对本领域技术人员来说将变得显而易见。
附图说明
图1是本发明实施例中的具有图像对准机构的图像处理系统。
图2是图像处理系统的示例性框图。
图3是图像处理系统的操作的例子。
图4是图像调整器的显示界面的第一例。
图5是图像调整器的显示界面的第二例。
图6是图像处理系统的控制流程。
图7是图6的调整设置模块的详细视图。
图8是本发明的另一个实施例中的图像处理系统的操作方法的流程图。
具体实施方式
对下列实施例进行足够详细的描述,以使得本领域技术人员能够制造和使用本发明。应当理解,基于本公开,其它实施例是显而易见的,并且在不脱离本发明的范围的情况下,可以进行系统、处理或机械改变。
在下面的描述中,给出大量的具体细节,以提供对本发明的全面理解。但是,显然的是,本发明可以在没有这些具体细节的情况下被实践。为了避免使本发明模糊,某些众所周知的电路、系统配置和处理步骤不被详细公开。
出于解释的目的,本文中使用的术语“水平”被定义为当观看由“图”的图名所指的附图时的水平方向。术语“垂直”指垂直于刚才定义的“水平”的方向。如图中所示,诸如“在……之上”、“在……之下”、“底部”、“顶部”、“侧面”、“更高”、“更低”、“上部”、“在……上面”和“在……下面”的术语均是相对于水平来定义的。通常,本发明可以在任意取向上操作。
示出系统的实施例的附图是半图示的,并且未按比例绘制,尤其是,在附图中,某些尺寸为了清晰地呈示的目的而被放大示出。类似地,尽管出于便于描述的目的附图中的视图通常示出类似的取向,但是,附图中的这种描绘对大部分来说都是任意的。
本文中提及的术语“模块”可以包括软件、硬件或其组合。例如,软件可以是机器码、固件、嵌入代码和应用软件。此外,例如,硬件可以是电路、处理器、计算机、集成电路、集成电路核心、照相机、摄像机、微电子机械系统、无源装置或其组合。
本文中提及的术语“图像数据”可以包括物体的数字或模拟可视化表示。例如,数字可视化表示可以是数字照片、短片、电影或其组合。此外,例如,模拟可视化表示可以是包含可视化表示的显影的图片、胶片、底片或其组合。
应当理解,在图像数据中的“像素位置”或通常的特定点的位置可以采取许多格式。例如,该位置可以使用笛卡尔坐标系或者使用极坐标系来描述,其中,笛卡尔坐标系的原点(0,0)在图像数据的左下角、左上角或中心。此外,例如,该位置可以使用诸如12或(2,511)的像素编号或者使用诸如2毫米或0.5英寸的离原点的物理距离来描述。
出于图示的目的,将使用笛卡尔坐标系来描述图像数据内的各种位置,其中,原点位于图像数据的最左边的位置之下且在与其最底边的位置相同的高度的位置处。该坐标系的每个递增量将表示为一个像素。例如,(1,0)可以表示紧临在原点的右边的像素,并且(0,1)可以表示直接在原点之上的像素。但是,应当理解,图像数据内的位置可以以上面讨论的诸多不同方式来描述。
现在参考图1,其中示出本发明实施例中的具有图像对准机构的图像处理系统100。图像处理系统100可以包括与图像调整器104通过接口连接的捕获装置102。图像调整器104可以与观看装置106通过接口连接。
捕获装置102是可以捕获照片或视频图像的装置。捕获装置102可以是多种不同的装置。例如,捕获装置102可以包括具有图像捕获部件的数字或模拟照相机、摄像机和蜂窝电话。捕获装置102还可以是用来捕获3D图像的一组三维(3D)照相机。
图像调整器104是可以调整和更新由捕获装置102捕获的图像的装置或模块。例如,图像调整器104可以是可以编辑捕获的图像的在后处理计算机上的计算机软件,或者可以是可以对准来自3D照相机的左右图像的独立装置。图像调整器104的调整和更新功能的细节将在下面被讨论。
观看装置106是可以显示已经由图像调整器104更新的图像的装置。例如,观看装置106可以是电视机、计算机屏幕、蜂窝电话上的显示界面或3D电影投影仪。
出于图示的目的,图像处理系统100被示出为具有作为在物理上分开的装置的捕获装置102、图像调整器104和观看装置106。但是,应当理解,图像处理系统100可以不同。例如,图像处理系统100可以是单个装置,诸如具有照相机、图像处理软件、硬盘驱动器和屏幕的膝上型计算机或蜂窝电话。此外,例如,图像处理系统100可以被不同地分割,诸如与独立的图像调整装置通过接口连接的具有照相机、硬盘驱动器和屏幕的计算机。
现在参考图2,其中示出图像处理系统100的示例性框图。图像处理系统100可以包括:用户接口202、控制单元204和存储单元206。用户接口202可以包括显示接口208。控制单元204可以包括控制接口210。存储单元可以包括存储接口212。
用户接口202允许用户与图像处理系统100通过接口连接并与其交互。用户接口202可以包括输入装置和输出装置。用户接口202的输入装置的例子可以包括键区、触摸区(touchpad)、软键、键盘、麦克风或其组合,以提供数据和通信输入。
用户接口202可以包括显示接口208。用户接口202的输出装置的例子可以包括显示接口208。显示接口208可以包括显示器、投影仪、视频屏幕、扬声器或其组合。
控制单元204可以执行软件214以提供图像处理系统100的智能。控制单元204可以操作用户接口202以显示由图像处理系统100生成的信息。控制单元204还可以执行用于图像处理系统100的其它功能的软件214,其包括从图1的捕获装置102接收图像信息。控制单元204还可以执行用于调整和更新图像信息以显示在图1的观看装置106上或通过观看装置106显示的软件214。
控制单元204可以以多种不同的方式来实现。例如,控制单元204可以是处理器、嵌入处理器、微处理器、硬件控制逻辑、硬件有限状态机器、数字信号处理器或其组合。
控制单元204可以包括控制接口210。控制接口210可以被用于控制单元204与图像处理系统100中的其它功能单元之间的通信。控制接口210还可以被用于图像处理系统100以外的通信。
控制接口210可以接收来自其它功能单元或来自外部源的信息,或者可以将信息发送到其它功能单元或外部目的地。外部源和外部目的地指在图像处理系统100以外的源和目的地。
控制接口210可以以不同的方式来实现,并且可以包括根据哪些功能单元或外部单元与控制接口210通过接口连接而不同的实现。例如,控制接口210可以使用压力传感器、惯性传感器、微电子机械系统、光学电路、波导、无线电路、有线电路或其组合来实现。
存储单元206可以存储软件214。存储单元206还可以存储相关信息,诸如:广告、优选设置、操作系统、之前的调整和更新、或其组合。
存储单元206可以是易失性存储器、非易失性存储器、内部存储器、外部存储器或其组合。例如,存储单元206可以是诸如非易失性随机存取存储器的非易失性存储装置、闪存、盘存储装置、或者诸如静态随机存取存储器的易失性存储装置。
存储单元206可以包括存储接口212。存储接口212可以被用于控制单元204与图像处理系统100中的其它功能单元之间的通信。存储接口212还可以被用于图像处理系统100以外的通信。
存储接口212可以接收来自其它功能单元或来自外部源的信息,或者可以将信息发送到其它功能单元或外部目的地。外部源和外部目的地指在图像处理系统100以外的源和目的地。
存储接口212可以根据哪些功能单元或外部单元通过接口被连接到存储单元206来不同地实现。存储接口212可以使用类似于实现控制接口210的技术和技能来实现。
现在参考图3,其中示出图1的图像处理系统100的操作的例子。示出图像处理系统100正在捕获对象302的图像数据。对象302是图像处理系统100捕获的或已经可视地捕获的人、地方、物体或其组合。例如,对象302可以是通过捕获装置102正在被捕获或已经被捕获为图像数据的建筑物或移动风景。
捕获的图像数据可以被表示为显示接口208上的第一图像304和第二图像306。为了简要地描述本发明的本实施例,显示接口208将被描述为图像调整器104的一部分。但是,应当理解,在显示接口208上示出的屏幕快照(screen shot)可以表示图像处理系统100的屏幕快照。
第一图像304是对象302的图像数据。第二图像306是从与拍摄第一图像304的位置不同的位置拍摄的对象302的图像数据。例如,在三维(3D)摄影应用中,第一图像304可以是来自左边照相机的图像数据,第二图像306可以是来自右边照相机的图像数据。此外,例如,在全景图片中,第一图像304可以捕获对象302的一部分,第二图像306可以是对象302的相邻部分。
第一图像304可以包括特征点308。特征点308是第一图像304内的一部分,其与周围部分在颜色、阴影、形状或其组合上不同。特征点308可以在多种方式上是独特的。例如,特征点308可以是唯一的点,诸如在第一图像304中所示出的对象302的角落、顶点或者交叉点。此外,例如,特征点308可以是第一图像304内的具有唯一的颜色或可识别的线条或边缘的一部分。
第二图像306可以包括匹配点310。匹配点310是在第二图像306内的与特征点308的独特的特征相匹配的一部分。特征点308和匹配点310可以使用图像识别方法来检测。将在下面讨论用于检测特征点308和匹配点310的方法。
基于图像处理系统100的操作,第一图像304和第二图像306的物理转换导致物理世界中的移动,诸如不同的图片或运动图片中的视点。在真实世界中的人和物体的移动可以被反馈到图像处理系统100,以进一步操作图像处理系统100。
第一图像304被示出需要旋转调整312和梯形畸变调整314以恰当地表示对象302。旋转调整312旋转如图1的观看装置106所显示的全部图像的操作。旋转调整312可以被用于调整由与从理想的取向倾斜的照相机拍摄的图像或者对3D应用中的左右照相机之间的差异进行补偿。
梯形畸变调整314是相对于图像的右侧部分调整图像的左侧部分的高度的操作,反之亦然。例如,梯形畸变调整314可以被用于调整由于图2的捕获装置102的水平位置和拍摄角度导致的形状上的光学差异。继续本例,梯形畸变调整314可以被用于降低图像的右边部分的高度,同时保持图像的左边部分的高度恒定不变,以调整水平角度的差异。
在可选实施例中,梯形畸变调整314可以是相对于图像的底部来调整图像的顶部的宽度的操作,反之亦然。例如,梯形畸变调整314可以被用于调整由于捕获装置102的垂直角导致的形状上的光学差异,诸如当照相机的角度相对于对象302向上或向下时。继续本例,梯形畸变调整314可以被用于降低底部的宽度,同时保持顶部的宽度恒定不变,以调整以向上的角度拍摄的图像。出于图示的目的,梯形畸变调整314将被描述为调整由捕获装置102的水平角导致的效果的操作。但是,应当理解,梯形畸变调整314可以调整由水平角、垂直角或其组合导致的效果。
已经发现,本发明提供了这样的图像处理系统100,其提供降低了捕获图像的复杂性以及降低摄影时间。通过消除校准捕获装置102的需要,梯形畸变调整314产生好处。梯形畸变调整314可以被用于校正3D摄影应用中的左右照相机之间的对准或角度的差。当在不改变照相机的位置或对准的情况下对准图像时,梯形畸变调整314可以被用于对准图像并且创建或调整感知深度、距离、观看位置或角度、或其组合。这样,捕获装置102不再需要被校准,以捕获理想的3D效果。
第二图像306被示出需要垂直调整316和变焦调整318以与第一图像304匹配。垂直调整316是相对于观看装置106来调整图像的垂直位置的操作。垂直调整316可以使图像在观看装置106上看起来更高或更低。
变焦调整318是调整图像的显示大小的操作。变焦调整318可以改变观看装置106上显示的图像的大小。
图像调整器104可以更新第一图像304和第二图像306以垂直地对准在两个图像中的对象302的描绘。更新后,图像调整器104可以重叠第一图像304和第二图像306以创建对准图像320。对准图像320是第二图像306与第一图像304对准或反之亦然的对象302的图像。例如,对准图像320可以是3D图片或电影、全息图片、全景图片或其组合。
为了简要地描述本发明的本实施例,图像调整器104将被描述为更新并重叠第一图像304和第二图像306,并且观看装置106示出对准图像320。但是,应当理解,图像处理系统100可以进行不同的操作。例如,图像处理系统100可以更新并重叠这些图像,并且在捕获装置102或观看装置106上示出对准图像320。
现在参考图4,其中示出在图像调整器104上的显示接口208的第一例。显示接口208可以示出格栅402和在格栅402内的格栅单元404。
格栅402是十字交叉条的框架。格栅402可以被覆盖在第一图像304、第二图像306或其组合,以将这些图像分成相等的区域。格栅单元404是十字交叉条内的区域。格栅402将图像分成多个格栅单元404。
显示接口208还可以示出平均单元内位移406和平均格栅位移408。平均单元内位移406是在格栅单元404中的多个特征点308与多个匹配点310之间的垂直差的平均数。例如,如果格栅单元404具有比对应匹配点高一个像素的第一特征点以及比对应匹配点高三个像素的第二特征点,那么平均单元内位移406可以是两个像素。
平均格栅位移408是在格栅402内的所有格栅单元的平均单元内位移406的平均数。例如,如果图像被分成四个格栅单元,这四个格栅单元分别具有一个、两个、三个和两个像素的平均单元内位移406,那么平均格栅位移408可以是两个像素。
显示接口208还可以示出图像宽度410。图像宽度410是在最宽的部分处的图像的水平尺寸。图像宽度410可以用许多方式来表示。例如,图像宽度410可以是图像水平占据的像素的数量或者以英寸或厘米计的度量或某一其它单位计量。
作为例子,第二图像306被示出与第一图像304相比向右偏移了。第一图像304和第二图像306被示出需要水平调整412。水平调整412是相对于观看装置106来调整图像的水平位置的操作。水平调整412可以使得在观看装置106上图像显得比原始图像更靠左或更靠右。
现在参考图5,其中示出在图像调整器104上的显示接口208的第二例。显示接口208可以示出偏移分量502、校正区504、单元总数限制(cell population limit)506、置信阈值508和变差(variance)阈值510。
偏移分量502是图像之间或点之间的差。偏移分量502可以指示图3的第一图像304与图3的第二图像306之间的位置差。偏移分量502还可以指示图3的特征点308与图3的匹配点310之间的位置差。偏移分量502可以具有垂直偏移512、水平偏移514和置信向量516。
垂直偏移512是图像之间或点之间的垂直差。垂直偏移512可以在第一图像304和第二图像306没有垂直对准时存在。垂直偏移512还可以在特征点308比匹配点310更高或更低时存在。
垂直偏移512可以具有方向和大小以描述位置差。例如,当第一图像304比第二图像306高时或者当特征点308比匹配点310高时,垂直偏移512可以为正。此外,例如,垂直偏移512的大小可以是特征点308与匹配点310之间的像素的数量、诸如以厘米或英寸计的距离、绝对坐标的差或者其组合。
出于图示的目的,当匹配点310在特征点308之上时,垂直偏移512将被描述为正,并且当特征点308在匹配点310之上时,垂直偏移512将被描述为负。此外,垂直偏移512将被描述为两个点之间的像素数量的差。但是,应当理解,垂直偏移512可以以不同于上述方式的多种不同的方式来描述。
水平偏移514是图像之间或点之间的水平差。水平偏移514可以在第一图像304和第二图像306没有水平对准时存在。水平偏移514还可以垂直于3D成像应用中。
水平偏移514可以具有方向和大小以描述位置差。例如,当第二图像306比第一图像304更靠右时,水平偏移514可以为正值。此外,例如,水平偏移514的大小可以是特征点308与匹配点310之间的像素的数量、诸如以厘米或英寸计的距离、预定坐标的差或者其组合。
置信向量516提供特征点308和匹配点310是对象302上的相同点的可能性。置信向量516可以是表示特征点308与匹配点310之间的相关性的的百分比或分数。关于置信向量516的细节将在下面被讨论。
校正区504是可以对图像进行的一组调整。校正区504可以具有垂直调整316、水平调整412、变焦调整318、旋转调整312、梯形畸变调整314、或者其组合。
出于图示的目的,校正区504将被示出为具有垂直调整316、水平调整412、变焦调整318、旋转调整312和梯形畸变调整314。但是,应当理解,校正区504可以不同。例如,校正区504可以具有列出的元素的一种或任意组合。此外,例如,校正区504可以包括用于调整图像的其它操作,诸如垂直梯形畸变调整或桶形畸变调整。
单元总数限制506是用来表示图像中的密集区域的在图4的格栅单元404内的特征点308和匹配点310的最小要求。例如,单元总数限制506可以被设置为4,以要求在被认为是密集的格栅单元404内的第一图像304出现4个或更多的特征点308,并且第二图像306出现4个或更多的匹配点310。当单元总数限制506已经被满足时,图像处理系统100可以补偿密集区域。关于单元总数限制506的使用的细节将在下面被描述。
置信阈值508是用来调整和更新图像的图像处理系统100的置信向量516所需的最小级别。例如,置信阈值508可以被设置为90%,以要求图3的匹配点310对应于图3的特征点308的至少90%或更高的确定性。
图像处理系统100可以使用具有大于或等于置信阈值508的置信向量516的特征点308和匹配点310来调整和更新图像。关于置信阈值508的详细的使用将在下面被讨论。
变差阈值510是可以特征点308、匹配点310或其组合相对于平均单元内位移406的变差的限制。例如,如果变差阈值510被设置为5个像素,那么在格栅单元404内的所有特征点都必须在平均单元内位移406的5个像素内。变差阈值510可以被用来消除可能已经被识别为不对应于特征点308的匹配点310的错误点。
现在参考图6,其中示出图像处理系统100的控制流程。图像处理系统100可以包括调整设置模块602、偏移计算模块604和图像更新模块606。调整设置模块602可以被耦合到偏移计算模块604,偏移计算模块604可以被耦合到图像更新模块606。
调整设置模块602的目的在于识别、确定和计算用于调整和更新图3的第一图像304和图3的第二图像306所需的分量。调整设置模块602可以识别图3的特征点308并确定图3的匹配点310。调整设置模块602可以使用图4的格栅402来将第一图像304和第二图像306分开。
调整设置模块602还可以识别或确定图5的校正区504、图5的单元总数限制506、图5的置信阈值508和图5的变差阈值510。调整设置模块602可以计算图4的图像宽度410。调整设置模块602的细节将在下面被讨论。
偏移计算模块604的目的在于计算第一图像304与第二图像306之间的位置差。通过计算特征点308与匹配点310之间的图5的偏移分量502,偏移计算模块604可以计算位置差,其中,偏移分量502具有图5的垂直偏移512。偏移计算模块604可以具有垂直偏移模块607、置信模块608、水平偏移模块610、单元内平均模块612和格栅平均模块614。
通过接收偏移计算模块604内的子模块的计算结果并通过诸如数据结构或链接列表的方法将这些结果关联在一起,偏移计算模块604可以计算偏移分量502。例如,偏移计算模块可以从置信模块608接收图5的置信向量516或者从水平偏移模块610接收图4的水平偏移514。
垂直偏移模块607的目的在于计算垂直偏移512。垂直偏移模块607可以计算特征点308与匹配点310之间的偏移分量502,其中,偏移分量502具有图5的垂直偏移512。通过计算垂直偏移512并将计算结果传送到偏移计算模块604,垂直偏移模块607可以计算偏移分量502。
通过从表示匹配点310的垂直位置的数减去表示特征点308的垂直位置的数,垂直偏移模块607可以计算偏移分量502。例如,当特征点308位于(123,678)并且匹配点310位于(456,779)时,垂直偏移512可以是101,即,垂直值678与779之间的差。此外,例如,当特征点308位于(1,25)并且匹配点310位于(1,20)时,垂直偏移512可以是-5。
垂直偏移模块607还可以从图像更新模块606接收特征点308和匹配点310的更新的位置。垂直偏移模块607可以使用更新的位置来重新计算偏移分量502。
已经发现,本发明提供减少调整图像的步骤数量并且显著地简化操作的图像处理系统100。通过消除对校正左右图像中的其它不同特征的需求,垂直偏移512和基于垂直偏移512的优化产生好处。图像处理系统100利用最小化左右图像之间的垂直偏移512对于3D应用中的大部分使用都足够的事实。
偏移计算模块604可以使用图2的控制单元204来减去这些数,以计算垂直偏移512。偏移计算模块604可以使用图2的控制单元204和控制接口210来从其它的子模块接收计算结果,以计算偏移分量502。偏移计算模块604可以将偏移分量502存储在图2的存储单元206中。
置信模块608的目的在于计算特征点308与匹配点310之间的置信向量516。置信模块608可以通过计算置信向量516并将计算结果传送到偏移计算模块604来计算偏移分量502。
置信模块608可以使用特征点308与匹配点310的特性之间的相似性来计算置信向量516。置信模块608可以使用诸如颜色、色调、包围点的区域或者其组合的特性来确定这些点之间是否存在相似性。例如,如果构成这些点的像素的颜色的各自的强度相互之间在10%内,那么置信模块608可以确定这些点匹配。
对于另外的例子,置信模块608可以分析包围这些点的区域,诸如5cm半径内或在这些点的上下左右由15个像素限定的方形区域。置信模块608可以使用诸如边缘检测或角落检测的边缘、线条或形状检测方法来确定包围特征点308和匹配点310的背景(context)。
继续本例,置信模块608可以计算包围特征点308的背景的形状或线条的外边缘的导数或者边缘的斜率与匹配点310的相应的外边缘的导数或者边缘的斜率的差。置信向量516可以是从用于评估匹配的方法或数学函数获得的百分比或诸如从零到十的等级,其中十是完美匹配。
此外,例如,通过系统性地将特征点308及其周围的区域覆盖到在不同位置的匹配点310及其周围的区域上并计算覆盖面积,置信模块608可以执行二维卷积。置信向量516可以是覆盖面积除以特征点308的总面积的最大量。
当偏移计算模块604计算垂直偏移512时,可以计算置信向量516。或者,在识别特征点308并确定匹配点310时,可以计算置信向量516。
通过计算出现的所有特征点308和匹配点310的标准误差,置信模块608也可以计算特征点308与匹配点310之间的置信向量516。置信模块608也可以使用在图4的每个格栅单元404内出现的特征点308与出现的对应的匹配点310来计算置信向量516。置信模块608可以使用统计方法和诸如用于计算置信间隔或偏差的标准的公式来计算置信向量516。
置信模块608可以使用控制单元204来计算置信向量516。置信模块608可以访问存储在存储单元206中的用于计算置信向量516的方法和公式。置信模块608可以将每一对特征点308和匹配点310的置信向量516存储在存储单元206中。
水平偏移模块610的目的在于计算特征点308与匹配点310之间具有水平偏移514的偏移分量502。通过计算水平偏移514并将结果传送到偏移计算模块604,水平偏移模块610可以计算偏移分量502。
以类似于垂直偏移模块607计算垂直偏移512的方式,水平偏移模块610可以计算水平偏移514。通过从表示匹配点310的水平位置的数目减去表示特征点308的水平位置的数目,水平偏移模块610可以计算水平偏移514。
例如,当特征点308位于(123,678)并且匹配点310位于(456,779)时,水平偏移514可以是333。此外,例如,当特征点308位于(1,25)并且匹配点310位于(1,20)时,水平偏移514可以是0。
水平偏移模块610可以使用控制单元204来减去表示水平位置的数目并计算水平偏移514。水平偏移模块610可以将水平偏移514存储在存储单元206中。
单元内平均模块612的目的在于计算属于格栅单元404内的另外的多个特征点308和匹配点310的多个垂直偏移512之间的平均单元内位移406。通过对格栅单元404内的特征点308与匹配点310之间的垂直偏移512进行平均,单元内平均模块612可以计算平均单元内位移406。
单元内平均模块612可以从第一图像304的底部的左方的格栅单元404开始,然后向右搜索含有特征点308的格栅单元404。当格栅单元404含有特征点308时,单元内平均模块612可以计算平均单元内位移406。单元内平均模块612可以将平均单元内位移406与格栅单元404相关联并存储该值,然后继续前进到下一个出现的格栅单元404,直到第一图像304的右上方的格栅单元404。
作为例子,单元内平均模块612可以以不同的顺序横穿格栅402来系统性地搜索和计算。例如,单元内平均模块612可以从第一图像304的左上角开始,并向下搜索,然后横穿搜索,直到右下角。此外,例如,单元内平均模块612可以从中心开始进行,并以顺时针或逆时针方向的螺旋模式进行搜索。
当格栅单元404含有单个的特征点308时,通过将特征点308与匹配点310之间的垂直偏移512的值分配给平均单元内位移406,单元内平均模块612可以计算平均单元内位移406。例如,如果格栅单元404含有相对于匹配点310具有14的垂直偏移512的特征点308,那么平均单元内位移406可以为格栅单元404分配值14。
当格栅单元404含有在格栅单元404内的多于一个的特征点308时,单元内平均模块612可以将特征点308与匹配点310之间的垂直偏移512的值进行平均。例如,如果格栅单元404含有特征点308的四个实例,具有作为对应垂直偏移的2、3、4和-1,那么平均单元内位移406可以为2。
单元内平均模块612可以使用控制单元204来横穿格栅402进行搜索。搜索格栅402的顺序可以被存储在存储单元206中。单元内平均模块612可以使用控制单元204来分配与格栅单元404相关联的垂直偏移512或对其求平均。单元内平均模块612可以将平均单元内位移406存储在存储单元206中。
格栅平均模块614的目的在于从格栅单元404计算图4的多个平均单元内位移406之间的图4的平均格栅位移408。格栅平均模块614可以以与单元内平均模块612类似的方式横穿格栅402进行搜索,以找到所有出现的具有平均单元内位移406的格栅单元404。
格栅平均模块614可以对所有出现的平均单元内位移406进行求平均以计算平均格栅位移408。例如,如果格栅平均模块614找到为1、2、3、4、和5的5个平均单元内位移406,那么格栅平均模块614可以对这些数求平均并发现平均格栅位移408为5。
已经发现,本发明提供了这样的图像处理系统100,其提供了准确地表示图3的对象302的对准图像。通过计算广义的总偏移,并调整和更新图像以最小化总偏移,平均格栅位移408产生好处。
格栅平均模块614可以通过存储接口212访问存储在存储单元206中的平均单元内位移406。格栅平均模块614可以使用控制模块204来对出现的平均单元内位移406求平均并计算平均格栅位移408。格栅平均模块614可以将平均格栅位移408存储在存储单元206中。
基于图像处理系统100的操作,诸如图片中的图像的不同位置的偏移分量502的物理变换导致物理世界中的移动,诸如对准图像所需的调整的量和类型或者照相机的位置的改变。在真实世界中的人和物体的移动可以被反馈给图像处理系统100,从而进一步操作图像处理系统100,以引导用户并调整图像。
图像更新模块606的目的在于更新第一图像304和第二图像306,以最小化偏移分量502。通过调整第一图像304和第二图像306以降低这些图像之间的偏移分量502,图像更新模块606可以更新这些图像。
图像更新模块606可以比较偏移分量502,同时根据诸如粒子群优化(PSO)或其它优化方法的预定模式来改变校正区504。通过对第一图像304、第二图像306或其组合进行图3的垂直调整316、图3的变焦调整318、图3的旋转调整312、图3的梯形畸变调整314、图3的水平调整412或者其组合,图像更新模块606可以改变校正区504。
在使用PSO时,图像更新模块606可以迭代地试图改进偏移分量502,尤其是垂直偏移512或格栅平均位移408,同时使用校正区504来移动多个特征点308、匹配点310或其组合。图像更新模块606还可以使用诸如梯度下降或准牛顿方法的其它方法来搜索最小化垂直偏移512或格栅平均位移408的校正区504。
可以根据在图像调整的区域中之前没有被使用过的粒子群优化的模式和方法或其它的优化方法来调整校正区504。还可以根据N维卷积或其它差分方法来调整校正区504。
已经发现,本发明提供提高应用性的图像处理系统100。通过消除对对象302或周围景象的先验知识的需要,使用校正区504和格栅402与PSO的组合产生好处。
图像更新模块606可以将调整后的第一图像304和第二图像306传送到偏移计算模块604,以重新计算偏移分量502和平均格栅位移408。图像更新模块606可以将由偏移计算模块604计算的偏移分量502和平均格栅位移408与产生这样的结果的一组特定的调整相关联。
还发现,本发明提供了提供更简单和更快速的操作的图像处理系统100,因为使用对景象或结构的先验知识的照相机相对于景象的极线几何结构(epipolar geometry)不是必要的。通过消除对相对于彼此或相对于景象的照相机的几何结构、距离或其组合的计算的需要或者对景象或结构的先验知识的需要,使用校正区504与PSO的组合产生好处。
还发现,本发明提供这样的图像处理系统100,其可以对照相机之间的固有差别进行校正并消除对照相机进行校准的要求。通过消除对确定用来捕获景象的照相机之间的固有差别的需要,使用校正区504与PSO的组合产生好处。
由于制造过程而导致捕获装置具有固有差别,诸如透镜的畸变或对某些颜色的灵敏度。通过使用校正区504和PSO来计算对图像的最佳更新,图像处理系统100可以解决装置之间的固有差别。这样,图像处理系统100消除了在捕获图像之前对照相机之间的固有质量的相对差别的分开确定或者校准处理。
图像更新模块606可以比较偏移分量502与平均格栅位移408。使用布尔逻辑、数学评估(诸如大于、小于或等于)、减法或其组合,图像更新模块606可以比较偏移分量502与平均格栅位移408。图像更新模块606可以针对校正区504的不同组合来比较偏移分量502与平均格栅位移408。
通过确定具有最低结果的校正区504与偏移分量502的组合、平均格栅位移408或其组合,图像更新模块606可以最小化平均格栅位移408。图像更新模块606可以通过迭代过程确定具有最低结果的校正区504与偏移分量502的组合。
图像更新模块606可以以迭代的方式针对校正区504中的每一种调整来经历这些模式和不同的值或程度的组合。图像更新模块606可以保持校正区504与偏移分量502的组合、平均格栅位移408或其组合。
图像更新模块606可以将迭代中的每一步骤的偏移分量502、平均格栅位移408或其组合与前一步骤进行比较。图像更新模块606可以保持具有偏移分量502的较低的结果的校正区504和/或平均格栅位移408的组合。通过根据在迭代中的每个步骤之后被保持的校正区504的组合来调整第一图像304、第二图像306或其组合,图像更新模块606可以更新这些图像。
图像更新模块606可以以其它方式来最小化偏移分量502、平均格栅位移408或其组合。例如,图像更新模块606可以针对校正区504的每一个组合来计算偏移分量502、平均格栅位移408或其组合。图像更新模块606可以使用链接的表、数据库、表格、数据结构或其组合来将校正区504的每个组合的偏移分量502、平均格栅位移408或其组合相关联。
继续本例,图像更新模块606可以搜索出现最低的偏移分量502、平均格栅位移408或其组合。通过根据与出现最低的偏移分量502、平均格栅位移408或其组合相关联的校正区504的组合来调整第一图像304、第二图像306或其组合,图像更新模块606可以更新这些图像。
图像更新模块606可以最小化属于在平均单元内位移406的变差阈值510内的特征点308和匹配点310的偏移分量502。仅通过采用具有大于变差阈值510的置信向量516的特征点308和匹配点310,图像更新模块606可以最小化偏移分量502。
图像更新模块606可以设置日志,诸如:通过为变量分配值,或者通过改变具有大于变差阈值510的置信向量516的元数据、特征点308和匹配点310。当整体上通过不同的调整来最小化偏移分量502时,图像更新模块606可以忽略属于不具有设置标志的特征点308和匹配点310的偏移分量502。
类似地,偏移计算模块604可以仅使用具有设置标志的特征点308和匹配点310来计算平均单元内位移408和平均格栅位移408。图像更新模块可以使用得到的平均单元内位移408来通过不同的调整最小化平均单元格栅位移408。
已经发现,本发明提供这样的图像处理系统100,其提供更低的功率消耗、更快的执行、并且需要更少的资源。通过限制用于寻找最佳对准的参数的数量,偏移分量502和平均格栅位移408产生好处。通过仅使用很好匹配的成对的特征点308和匹配点310,置信向量516和变差阈值510也产生上述好处。变量和点数的减少导致使用更少的处理功率,降低计算时间,降低所需的存储器的量和用于调整图像所消耗的功率。
校正区504的物理变换导致物理世界中的移动,诸如使用图1的图像调整器104或者重新放置图1的捕获装置102的人的移动。在真实世界中的人和物体的移动可以作为被调整后的第一图像304和第二图像306被反馈到图像处理系统100,从而进一步操作图像处理系统100,以引导用户并进一步调整图像。
图像更新模块606使用控制单元204来调整和更新第一图像304和第二图像306。图像更新模块606可以将偏移分量502和平均格栅位移408与校正区504的每个组合一起存储。图像更新模块606可以将更新的图像存储在存储单元206中。图像更新模块606可以将更新的图像显示在图2的显示接口208上。
图像更新模块606可以具有置信比较器模块616、宽度比较器模块618和纹理补偿模块620。置信比较器模块616的目的在于将置信向量516与置信阈值508进行比较。在对属于在平均单元内位移406的变差阈值510内的特征点308和匹配点310的偏移分量502进行最小化的过程中,图像更新模块606可以使用置信比较器模块616。
使用布尔逻辑、数学评估(诸如大于、小于或等于)、减法或其组合,置信比较器模块616可以将置信向量516与置信阈值508进行比较。置信比较器模块616可以将比较结果传送到图像更新模块606。
置信比较器模块616可以使用控制单元204来将都存储在存储单元206中的置信向量516与置信阈值508进行比较。置信比较器模块616可以将比较结果存储在存储单元206中,并使用存储接口212将这些结果传送到图像更新模块606。
宽度比较器模块618的目的在于将点之间的水平偏移量与图像的宽度进行比较以确定哪些点可以被用来调整这些图像。例如,宽度比较器模块618可以调整具有特征点308和匹配点310的第一图像304,以获得大于图像宽度410的1%的水平偏移514。通过将水平偏移514与图像宽度410进行比较,宽度比较器模块618可以调整具有宽度要求的第一图像304、第二图像306或其组合。
宽度比较器模块618可以将水平偏移514除以图像宽度410,然后将结果乘以100。宽度比较器模块618可以使用布尔逻辑、数学评估(诸如大于、小于或等于)、减法或其组合来将该结果与1进行比较。
宽度比较器模块618可以标记具有大于图像宽度410的1%的水平偏移514的特征点308和匹配点310。宽度比较器模块618可以将这些结果传送到图像更新模块606,并且图像更新模块606可以忽略还没有被标记的特征点308和匹配点310。
宽度比较器模块618可以使用控制单元204来执行在与图像宽度410进行比较时用于评估水平偏移514的分割和比较。宽度比较器模块618可以将比较结果存储在存储单元206中。宽度比较器模块618可以使用存储接口212将这些结果传送到图像更新模块606。
纹理补偿模块620的目的在于更新超出单元总数限制506的格栅单元404内具有多个特征点308的第一图像304和格栅单元404内具有另外多个匹配点310的第二图像306。通过比较在格栅单元404内出现的特征点308或匹配点310的数量,纹理补偿模块620可以更新符合单元总数限制506的要求的图像。
纹理补偿模块620可以对在格栅单元404内出现的特征点308或匹配点310进行计数。纹理补偿模块620可以将在格栅单元404内出现的特征点308或匹配点310的数量与单元总数限制506进行比较。纹理补偿模块620可以使用布尔逻辑或其它数学运算将出现的数量与单元总数限制506进行比较。
当在格栅单元404中的点的数量超出单元总数限制506时,纹理补偿模块620可以进行关于格栅单元404的记录,以识别具有密集的特征点和匹配点的区域。纹理补偿模块620可以将结果传送到图像更新模块606。图像更新模块606可以仅使用平均单元内位移406而不使用偏移分量502来调整和更新第一图像304、第二图像306或其组合。
当图像的某些区域中具有密集的点的簇群时,例如,在格栅单元404中的多个特征点308或匹配点310超出了单元总数限制506时,该簇群会导致不恰当的对准。对较小区域内的每个点给予同等的重视会导致图像对准系统100关注图像的较小区域而不是全部的图像。只有小部分被对准而图像的其余部分没有对准的这样的失准(misalignment)可以被描述为被扭曲。
纹理补偿模块620可以识别并调整这些点的簇群。纹理补偿模块620可以仅使用具有这些点的簇群的格栅单元404的平均单元内位移406来调整这些点的簇群。
已经发现,本发明提供了这样的图像处理系统100,其提供基于点的簇群的抗扭曲图像调整。通过限定具有会扭曲调整的点的簇群的区域并防止扭曲的调整,单元总数限制506和平均单元内位移406产生好处。
纹理补偿模块620可以使用控制单元204来横穿格栅402进行搜索,并对格栅单元404内出现的特征点308或匹配点310进行计数。纹理补偿模块620还可以使用控制单元204来将出现的数量与单元总数限制506进行比较。纹理补偿模块620可以将比较结果存储在存储单元206中,并使用存储接口212将这些结果传送到图像更新模块606。
现在参考图7,其中示出图6的调整设置模块602的详细视图。调整设置模块602可以具有区识别模块702、阈值模块704、特征模块706、匹配模块708、图像测量模块710和图像分割器模块712。
区识别模块702可以被耦合到阈值模块704,阈值模块704可以被耦合到特征模块706。特征模块706可以被耦合到匹配模块708,匹配模块708可以被耦合到图像测量模块710。图像测量模块710可以被耦合到图像分割器模块712,图像分割器模块712可以被耦合到偏移计算模块604。
区识别模块702的目的在于识别用于调整图3的第一图像304和图3的第二图像306的图5的校正区504,其中,校正区504具有图3的垂直调整316、图3的变焦调整318、图3的旋转调整312和图3的梯形畸变调整314。通过选择对这些图像可用的调整的类型,区识别模块702可以识别校正区504。
区识别模块702可以选择适合于第一图像304、第二图像306或其组合的调整的类型。区识别模块702可以从垂直调整316、变焦调整318、旋转调整312和梯形畸变调整314中选择。
区识别模块702可以基于由图像处理系统100提供的预定规则或表格来选择适当的调整。区识别模块702还可以提示用户选择构成校正区504的调整。区识别模块702还可以具有其它调整,诸如水平翻转、垂直翻转、裁剪或其组合。
已经发现,本发明提供提高用户的可用性和熟悉度的图像处理系统100。通过采用众所周知的调整类型,校正区504和可能的调整类型产生好处。
区识别模块702可以使用图2的控制单元204来选择适当的调整以识别校正区504。区识别模块702可以使用存储在图2的存储接口212中的预定规则或表格来选择调整。区识别模块702还可以在识别校正区504时使用图2的显示接口208和图2的用户接口202以与用户交互。
阈值模块704的目的在于识别和确定各种阈值。阈值模块704可以识别用于更新第一图像304、第二图像306或其组合的图5的单元总数限制506。通过使用预定公式或查找表格,阈值模块704可以识别单元总数限制506。阈值模块704还可以提示用户进行输入并将用户的输入识别为单元总数限制506。
阈值模块704可以确定用于更新第一图像304和第二图像306的图5的置信阈值508。阈值模块704还可以确定用于更新第一图像304和第二图像306的图5的变差阈值510。
置信阈值508和变差阈值510可以基于图像大小、图像文件类型或其组合使用查找表格来确定。阈值模块704还可以提示用户进行输入并将用户的输入识别为置信阈值508和变差阈值510。
阈值模块704可以使用控制单元240来识别单元总数限制506,并确定置信阈值508和变差阈值510。阈值模块704可以使用存储单元206来存储单元总数限制506、置信阈值508和变差阈值510。
特征模块706的目的在于识别第一图像304上的特征点308。通过搜索第一图像304中包含对比色、线条、阴影、点或其组合的区域,特征模块706可以识别特征点308。特征模块706可以使用诸如边缘检测或差分算法的方法来识别第一图像304上的特征点308。
匹配模块708的目的在于确定第二图像306上的匹配点310,其中匹配点310对应于特征点308。通过以特征模块706识别特征点308相同的方式识别关注的点,匹配模块708可以确定匹配点310。匹配模块708可以将确定的关注的点与特征点308进行比较。
当这两个点满足预定的规则或公式时,匹配模块708可以将关注的点确定为匹配点310。匹配模块708可以使用模式识别或基于内容的图像检索方法来确定匹配点310。
特征模块706和匹配模块708可以使用控制单元来识别特征点308并确定匹配点310。特征模块和匹配模块708可以将特征点308和匹配点310存储在存储单元206中。
图像测量模块710的目的在于计算用于更新第一图像304和第二图像306的第一图像304和第二图像306的图5的图像宽度。通过对水平横穿第一图像304和第二图像306的像素的数量进行计数,图像测量模块710可以计算图像宽度410。
图像测量模块710还可以使用预定的公式或参考来计算图像宽度410。图像测量模块710可以将第一图像304与第二图像306之间的两个宽度测量中较大的分配为图像宽度410。
图像测量模块710可以使用控制单元204来计算图像宽度410。图像测量模块710可以访问存储在存储单元206中的预定公式或参考。图像测量模块710可以将图像宽度410存储在存储单元206中并使用存储接口212来将这些值传送到其它模块。
图像分割器模块712的目的在于使用图5的格栅402将第一图像304和第二图像306分开,其中,格栅402至少具有图5的格栅单元404。通过覆盖均匀分布的水平线和垂直线,图像分割器模块712可以分割图像。
例如,图像分割器模块712可以每100个像素或每3厘米地将格栅402的线覆盖到图像上。通过覆盖格栅单元404的线或其组合,图像分割器模块712可以识别由图像的边缘包围的图像的部分。
图像分割器模块712可以将这些线覆盖到显示接口208,以供用户观看。图像分割器模块712还可以覆盖透明线,从而使得格栅只能被图像处理系统100识别而不能由用户识别。
已经发现,本发明提供提高应用性和使用性的图像处理系统100。通过生成可适应的参考点和分区并且不需要用户并入已知物体或参考点,诸如棋盘模式,格栅402产生好处。
图像分割器模块712可以使用控制单元204来覆盖这些线并使用格栅402分割这些图像。图像分割器模块712可以从存储单元206访问用于分割图像的这些线的预定间距。图像分割器模块712可以将分割的图像和格栅402存储在存储单元206中。
图像处理系统100可以在图1的捕获装置102、图1的图像调整器104和图1的观看装置106之间进行隔开。例如,图像处理系统100可以被分成为捕获装置102、图像调整器104和观看装置106,或者其组合。图6的调整设置模块602可以位于捕获装置102上,并且,图6的偏移计算模块604可以位于图像调整器104上。图像更新模块606可以位于观看装置106上。此外,例如,所有功能模块可以单独地存在于捕获装置102、图像调整器104或观看装置106上。
图像处理系统100还可以被实现为捕获装置102、图像调整器104和观看装置106中的附加功能单元,或者其组合。例如,图6的纹理补偿模块620可以是图像调整器104中的附加功能单元,并且调整设置模块602可以是捕获装置102中的附加功能单元。
现在参考图8,其中示出本发明的另一个实施例中的图像处理系统100的操作的方法800的流程图。方法800包括:在框802中,识别第一图像上的特征点;在框804中,确定第二图像上的匹配点,其中,匹配点对应于特征点;在框806中,计算特征点与匹配点之间的偏移分量,其中,该偏移分量具有垂直偏移;在框808中,识别用于更新第一图像和第二图像的校正区,其中,校正区具有垂直调整、变焦调整、旋转调整和梯形畸变调整;以及在框810中,使用校正区来更新第一图像和第二图像,以便最小化偏移分量,从而将对准的图像显示在装置上。
得到的方法、处理、设备、装置、产品和/或系统是直接明了的、经济有效的、不复杂的、高度通用的、精确的、灵敏的且有效的,并且可以通过适应已知部件来实现以便快捷、有效和经济的制造、应用和使用。
本发明的另一个重要的方面在于其有益地支持和服务于降低成本、简化系统以及提高性能的历史趋势。
因此,本发明的这些和其它的有价值的方面至少将本技术的状态推进到了下一个级别。
虽然已经结合具体的最佳方式描述了本发明,但是,应当理解,根据前述描述,许多替换、修改和改变对本领域技术人员来说应当是显而易见的。因此,本发明应当包括所有落入包括的权利要求的范围内的这样的替换、修改和改变。迄今为止在本文中阐述或在附图中示出的所有主题都是在图示和非限制性的意义上解释的。

Claims (10)

1.一种图像处理系统的操作的方法,包括:
识别第一图像上的特征点;
确定第二图像上的匹配点,其中,匹配点对应于特征点;
计算特征点与匹配点之间的偏移分量,其中,该偏移分量具有垂直偏移;
识别用于更新第一图像和第二图像的校正区,其中,校正区具有垂直调整、变焦调整、旋转调整、梯形畸变调整或其组合;以及
使用校正区来更新第一图像和第二图像,以最小化偏移分量,从而将对准的图像显示在装置上。
2.如权利要求1所述的方法,还包括:
使用具有格栅单元的格栅来分割第一图像;
识别用于更新第一图像的单元总数限制;并且
其中:
更新第一图像包括更新在格栅单元内具有超出单元总数限制的多个特征点的第一图像。
3.如权利要求1所述的方法,还包括:
使用具有格栅单元的格栅来分割第二图像;
识别用于更新第二图像的单元总数限制;并且
其中:
更新第二图像包括更新在格栅单元内具有超出单元总数限制的多个匹配点的第二图像。
4.如权利要求1所述的方法,还包括:
确定用于更新第一图像的置信阈值;并且
其中:
计算偏移分量包括计算特征点与匹配点之间的置信向量;以及
更新第一图像和第二图像包括将置信向量与置信阈值进行比较。
5.如权利要求1所述的方法,其中,识别校正区包括在改变校正区的同时比较偏移分量。
6.一种图像处理系统,包括:
用于识别第一图像上的特征点的特征模块;
耦合到特征模块的匹配模块,用于确定第二图像上的匹配点,其中,匹配点对应于特征点;
耦合到匹配模块的偏移计算模块,用于计算特征点与匹配点之间的偏移分量,其中,偏移分量具有垂直偏移;
耦合到偏移计算模块的区识别模块,用于识别用于调整第一图像和第二图像的校正区,其中,校正区具有垂直调整、变焦调整、旋转调整和梯形畸变调整、或者其组合;以及
耦合到区识别模块的图像更新模块,用于更新第一图像和第二图像,以最小化偏移分量,从而将对准的图像显示在装置上。
7.如权利要求6所述的系统,还包括:
耦合到特征模块的阈值模块,用于识别用于更新第一图像的单元总数限制;
耦合到匹配模块的图像分割器模块,用于使用具有格栅单元的格栅分割第一图像;以及
耦合到图像更新模块的纹理补偿模块,用于更新在格栅单元内具有超出单元总数限制的多个特征点的第一图像。
8.如权利要求6所述的系统,其中:
耦合到特征模块的阈值模块,用于识别用于更新第一图像的单元总数限制;
耦合到匹配模块的图像分割器模块,用于使用具有格栅单元的格栅分割第二图像;以及
耦合到图像更新模块的纹理补偿模块,用于更新在格栅单元内具有超出单元总数限制的多个匹配点的第二图像。
9.如权利要求6所述的系统,还包括:
耦合到图像更新模块的阈值模块,用于确定用于更新第一图像的置信阈值;
耦合到偏移计算模块的置信模块,用于计算特征点与匹配点之间的置信向量;以及
耦合到置信模块的置信比较器模块,用于将置信向量与置信阈值进行比较。
10.如权利要求6所述的系统,其中,图像更新模块用于在改变校正区的同时比较偏移分量。
CN2011800387292A 2010-08-26 2011-08-23 具有图像对准机构的图像处理系统及其操作方法 Pending CN103069433A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US37726610P 2010-08-26 2010-08-26
US61/377,266 2010-08-26
US41237810P 2010-11-10 2010-11-10
US61/412,378 2010-11-10
US13/030,124 US8571350B2 (en) 2010-08-26 2011-02-17 Image processing system with image alignment mechanism and method of operation thereof
US13/030,124 2011-02-17
PCT/US2011/048765 WO2012027338A1 (en) 2010-08-26 2011-08-23 Image processing system with image alignment mechanism and method of operation thereof

Publications (1)

Publication Number Publication Date
CN103069433A true CN103069433A (zh) 2013-04-24

Family

ID=45697363

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2011800387292A Pending CN103069433A (zh) 2010-08-26 2011-08-23 具有图像对准机构的图像处理系统及其操作方法

Country Status (4)

Country Link
US (1) US8571350B2 (zh)
EP (1) EP2591442A1 (zh)
CN (1) CN103069433A (zh)
WO (1) WO2012027338A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440659A (zh) * 2013-08-30 2013-12-11 西北工业大学 基于星图匹配的星空图像畸变检测与估计方法
CN104599236A (zh) * 2014-12-29 2015-05-06 小米科技有限责任公司 一种图像校正的方法和装置
CN110287972A (zh) * 2019-06-13 2019-09-27 南京航空航天大学 一种动物图像轮廓提取与匹配方法
CN111488114A (zh) * 2019-01-28 2020-08-04 北京灵汐科技有限公司 一种可重构的处理器架构及计算设备

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102859555B (zh) * 2011-01-13 2016-04-20 松下知识产权经营株式会社 图像处理装置及图像处理方法
JP2012177676A (ja) * 2011-01-31 2012-09-13 Sony Corp 画像処理装置および方法、並びにプログラム
US20130016186A1 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
US9361352B2 (en) * 2011-08-26 2016-06-07 Lawrence Livermore National Security, Llc Point pattern match-based change detection in a constellation of previously detected objects
CN103782234B (zh) * 2011-09-09 2015-11-25 富士胶片株式会社 立体图像捕捉设备和方法
US9872376B2 (en) * 2011-09-30 2018-01-16 Varian Medical Systems, Inc. Medical linear accelerator signal analyzer and display device
CN103093450B (zh) * 2011-10-31 2017-03-08 鸿富锦精密工业(深圳)有限公司 产品局部对齐方法及系统
CN103377297A (zh) * 2012-04-24 2013-10-30 鸿富锦精密工业(深圳)有限公司 产品变形分析系统及方法
KR20130127868A (ko) * 2012-05-15 2013-11-25 삼성전자주식회사 점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템
US9317958B2 (en) * 2013-03-07 2016-04-19 Mediatek Inc. Auto-convergence system with active learning and related method and machine-readable medium thereof
WO2014178234A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
JP6376873B2 (ja) * 2014-07-16 2018-08-22 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US10313656B2 (en) 2014-09-22 2019-06-04 Samsung Electronics Company Ltd. Image stitching for three-dimensional video
CN104751176B (zh) * 2015-03-24 2018-05-11 河海大学 一种高光谱遥感影像波段选择方法
US11049218B2 (en) 2017-08-11 2021-06-29 Samsung Electronics Company, Ltd. Seamless image stitching
CN109685839B (zh) * 2018-12-20 2023-04-18 广州华多网络科技有限公司 图像对齐方法、移动终端以及计算机存储介质
US20220392033A1 (en) * 2021-06-03 2022-12-08 Not A Satellite Labs, LLC Correction of surveillance images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371593A (zh) * 2006-01-18 2009-02-18 伊斯曼柯达公司 纠正立体显示系统的方法
CN101662690A (zh) * 2008-08-25 2010-03-03 索尼株式会社 图像处理设备、成像设备、图像处理方法及程序
US20100157070A1 (en) * 2008-12-22 2010-06-24 Honeywell International Inc. Video stabilization in real-time using computationally efficient corner detection and correspondence
US20100166323A1 (en) * 2008-12-31 2010-07-01 Intuitive Surgical. Inc. Robust sparse image matching for robotic surgery

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6831677B2 (en) 2000-02-24 2004-12-14 Yissum Research Development Company Of The Hebrew University Of Jerusalem System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair
US20060023197A1 (en) 2004-07-27 2006-02-02 Joel Andrew H Method and system for automated production of autostereoscopic and animated prints and transparencies from digital and non-digital media
US8949287B2 (en) 2005-08-23 2015-02-03 Ricoh Co., Ltd. Embedding hot spots in imaged documents
US7538876B2 (en) 2006-06-12 2009-05-26 The Boeing Company Efficient and accurate alignment of stereoscopic displays
US20080117290A1 (en) 2006-10-18 2008-05-22 Mgc Works, Inc. Apparatus, system and method for generating stereoscopic images and correcting for vertical parallax
US20090128621A1 (en) 2007-11-21 2009-05-21 Charles Gregory Passmore System and/or method for automated stereoscopic alignment of images
US8248460B2 (en) 2008-10-20 2012-08-21 Robe Lighting S.R.O. Configurable three dimensional image projection system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101371593A (zh) * 2006-01-18 2009-02-18 伊斯曼柯达公司 纠正立体显示系统的方法
CN101662690A (zh) * 2008-08-25 2010-03-03 索尼株式会社 图像处理设备、成像设备、图像处理方法及程序
US20100157070A1 (en) * 2008-12-22 2010-06-24 Honeywell International Inc. Video stabilization in real-time using computationally efficient corner detection and correspondence
US20100166323A1 (en) * 2008-12-31 2010-07-01 Intuitive Surgical. Inc. Robust sparse image matching for robotic surgery

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103440659A (zh) * 2013-08-30 2013-12-11 西北工业大学 基于星图匹配的星空图像畸变检测与估计方法
CN103440659B (zh) * 2013-08-30 2016-04-13 西北工业大学 基于星图匹配的星空图像畸变检测与估计方法
CN104599236A (zh) * 2014-12-29 2015-05-06 小米科技有限责任公司 一种图像校正的方法和装置
CN111488114A (zh) * 2019-01-28 2020-08-04 北京灵汐科技有限公司 一种可重构的处理器架构及计算设备
CN111488114B (zh) * 2019-01-28 2021-12-21 北京灵汐科技有限公司 一种可重构的处理器架构及计算设备
CN110287972A (zh) * 2019-06-13 2019-09-27 南京航空航天大学 一种动物图像轮廓提取与匹配方法

Also Published As

Publication number Publication date
US8571350B2 (en) 2013-10-29
US20120051665A1 (en) 2012-03-01
WO2012027338A1 (en) 2012-03-01
EP2591442A1 (en) 2013-05-15

Similar Documents

Publication Publication Date Title
CN103069433A (zh) 具有图像对准机构的图像处理系统及其操作方法
US8314817B2 (en) Manipulation of graphical objects
KR20200123223A (ko) 애플리케이션을 위한 디스플레이 적응 방법 및 장치, 디바이스, 및 저장 매체
CN107852447A (zh) 基于设备运动和场景距离使电子设备处的曝光和增益平衡
US11928286B2 (en) Electronic apparatus having a sensing unit to input a user command and a method thereof
CN103843329A (zh) 用于立体图像对的有条件显示的方法和设备
CN110675456B (zh) 多深度摄像机外部参数标定方法、装置及存储介质
CN112150560A (zh) 确定消失点的方法、装置及计算机存储介质
CN110084797B (zh) 平面检测方法、装置、电子设备和存储介质
CN104735356A (zh) 全景照片拍摄方法及装置
US20230386065A1 (en) Systems and methods for processing captured images
CN105678736A (zh) 具有孔径改变深度估计的图像处理系统及其操作方法
CN103262530A (zh) 视频监视装置
EP3067860B1 (en) Hybrid depth estimation
CN114782296B (zh) 图像融合方法、装置及存储介质
CN110399924A (zh) 一种图像处理方法、装置及介质
US20230127218A1 (en) Depth Estimation Based on Object Bottom Position
KR20110119639A (ko) 마우스
WO2022271499A1 (en) Methods and systems for depth estimation using fisheye cameras
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
US9646204B2 (en) Electronic device and method for outline correction
CN106406702B (zh) 一种图片显示方法及装置
CN110168601B (zh) 通过分析校正模式的影像校正方法及系统
WO2022185719A1 (ja) 情報処理装置、情報処理方法、及び、表示装置
TWI779332B (zh) 擴增實境系統與其錨定顯示虛擬物件的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130424