CN101292513A - 用于在数字成像中降低运动失真的方法和设备 - Google Patents

用于在数字成像中降低运动失真的方法和设备 Download PDF

Info

Publication number
CN101292513A
CN101292513A CNA2005800518753A CN200580051875A CN101292513A CN 101292513 A CN101292513 A CN 101292513A CN A2005800518753 A CNA2005800518753 A CN A2005800518753A CN 200580051875 A CN200580051875 A CN 200580051875A CN 101292513 A CN101292513 A CN 101292513A
Authority
CN
China
Prior art keywords
transducer
displacement
scanning direction
camera
electronic equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005800518753A
Other languages
English (en)
Other versions
CN101292513B (zh
Inventor
O·卡勒沃
J·阿拉卡宇
T·凯屈玛阿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Oyj
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Oyj filed Critical Nokia Oyj
Publication of CN101292513A publication Critical patent/CN101292513A/zh
Application granted granted Critical
Publication of CN101292513B publication Critical patent/CN101292513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种方法和电子设备,用于获取具有降低的运动失真的数字图像或者视频信号,所述电子设备诸如数码照相机或者照相机电话。通过利用例如来自数字图像数据或者附接至照相机设备的位移传感器的直接运动估计以及最终指示相同问题来跟踪图像传感器视景中部分的位移。所使用的图像传感器相对于照相机主体可旋转和/或具有可配置的扫描方向(202、204、206、208),以便基于所检测的位移而支持相对于照相机机构的其余部分来调整扫描方向。

Description

用于在数字成像中降低运动失真的方法和设备
技术领域
本发明通常涉及照相机以及图像采集。尤其是,本发明涉及装备有CMOS(互补金属氧化物半导体)传感器以及滚动快门机构的数码照相机。
背景技术
摄影术中的当前趋势驱使强烈地朝向数字成像演化,以及分别地,传统胶片照相机持续失去其市场占有。这一现象的一个驱动力追溯至近来数码照相机的快速发展,这是由于在数码照相机的大小、重量以及最大可获得图片质量中获得了进步。此外,可以将生成的数字图像灵活地存储在小尺寸、可负担得起的以及相对大容量的存储卡中,以及这些存储卡可以在诸如台式计算机/膝上型计算机、PDA(个人数字助理)、移动终端以及打印设备的不同电子设备之间方便地转移。总而言之,或者我们认为,不论所有上述特征和从中获得的益处,由于照相机制造商之间的竞争、产品数量的增加以及电子设备价格的下降,现代照相机装置仍然可以负担得起。
如经常被称作的那样,数字传感器或者“芯片”(相对于例如位移传感器,在下文中也将其称作“图像传感器”或者仅仅称作“传感器”)在现代照相机中使用,用于对图像进行曝光以及生成相应的数字数据。这种传感器通常是CMOS或者CCD(电荷耦合器件)类型。CCD器件可以利用例如全域快门,其中在公共图像元素复位之后,立刻曝光整个图像,以及然后将所述整个图像读出用于编辑/存储,所述整个图像包括称作像素的多个小图像元素、或者在视频捕捉的情况下称作单一的“帧”。
许多CMOS照相机还结合了滚动快门类型的机构,这使人记起传统胶片照相机中的幕帘快门。图像的行(即,扫描线)顺序曝光并作为连续过程而读出。通常,图像传感器的最顶部的线通常早于第二线曝光,而第二线又比第三线稍早一点曝光,以此类推,由此使得可以读出整个传感器的内容,从而即使不能同时读出来自所有线的信息,单独线的曝光时间也是常量。由此,不同线不能表示同一时刻,并且对于正在快速移动的对象(或者正在移动的相机),滚动快门不能很好地执行。关于其中的细节,生成的图像可能出现锯齿和/或模糊。出版物[1]公开了一种用于对滚动快门照相机进行建模的方法,并且具体讨论了关于在运动跟踪使用中的滚动快门照相机的性能。还给出了用于运动引入误差的补偿配置。
在特定应用中,全域快门由此优于滚动快门。然而,人们仍然继续开发增强的滚动快门类型方案的原因在于:首先,当将整体图像采集率最大化时,滚动快门优于全域快门。当产生聚焦的快速运动拍摄时,全域快门的同步曝光机构不适用于高速率(多个)图像/帧捕捉使用,这是由于覆盖所有像素的曝光/集成过程同时开始和停止,并且当读取第一线时,不可能针对其余的线连续成像。此外,由于标准CMOS芯片通常不能长久地保持和存储亮度(intensity),由此使用全域快门经常需要使用CCD传感器。然而,在许多应用中,改变为CCD传感器不是最为优选的状况,这是由于CMOS传感器通常较为便宜并且消耗较少的功率,诚然,这两方面对于终端产品的价格以及最终可用性具有很大的影响,并且由此在关心价格的消费者心目中,这还明确地影响产品的吸引力。诸如移动电话的通用多功能产品是产品范围的一个示例,其中成像电路的重量不能与在专用照相机中的重量类似。
在图1的简化示例中进一步示出了与传统滚动快门类型机构相关联的运动问题。最左侧的屏幕102表示在第一时刻t1的图像(传感器)区域,其间滚动快门曝光包括多个扫描线的子区域并且读出如附图中虚线110所标记的子区域的最上部线。例如,如果对于单一线的读出时间是1/(30×1200)秒,并且对于图像元素的曝光时间将是1/6000秒,则将同时曝光形成子区域的六个连续扫描线。在下一示出的时刻t2处,参见正中的屏幕104,由于扫描方向(由箭头表示)是从顶部至底部,曝光区域的位置相当低。在传感器的视景(view)中,在单一图像从左到右的整个曝光过程期间,考虑到竖直条带108连续位移,在屏幕106中可见到作为结果的合成图像。由于条带上面的部分先于下面的部分被捕捉,并且因为此现象是作为连续过程而执行的,该条带在最终的图像中看似表现出倾斜。如果图像包含多个移动对象且每个具有到照相机的不同的距离,则在最近的对象中的失真最为显著;当对象距离照相机越近时,角速度(传感器相对于对象)越大。
对于上述问题的一个主要的理论上的解决方案是,人工旋转照相机,然而这样用户必须已知照相机的扫描方向,并且如果照相机处于例如肖像模式并且本应捕捉风景图像时,甚至不能使用整个传感器区域。另外,这种人工旋转对于期望简单和方便的图像拍摄过程的用户来说,最终是一种令人苦恼的经历。
出版物EP1473931A1公开了一种用于视频成像的方法和设备。所提出的方案利用例如在多个后续滚动帧(由滚动快门所采集)之间进行内插,用于产生具有时间对准分量的单一期望的帧。
由于根据上述介绍而变得明显,某些应用仍将受益于使用CMOS传感器和滚动快门,尽管其缺陷也清楚地存在。主要问题涉及在快速运动成像中的不佳的性能,快速运动成像意味着,相对于图像的读出速率,照相机或者照相机的目标正在快速移动。
发明内容
本发明的目的在于,降低通过使用滚动快门类型机构所获取的图像中的运动引发的失真。通过如下方案来实现此目的,其中首先监视传感器视景中的位移,并且当检测到位移时,配置以影响传感器的扫描方向(读出方向)的选择。在照相机装置本身和/或传感器视景中对象的位移,这两者都可以引起至少在传感器视景的一部分中所述所监控的位移。由此,例如位移传感器(运动传感器)可用于跟踪照相机位移,以便代替直接数字图像分析技术或者在直接数字图像分析技术以外检测图像传感器视景中不可避免的原始位移。此外,作为可替换的或者补充的特征,图像传感器可以实际上物理地旋转,从而相对于照相机装置的其余部分改变传感器的相对扫描方向,以及最终改变在目标图像中的对象。
在本发明的一个方面中,提供了一种用于在数字图像中降低运动引发的失真的方法,所述方法包括通过将传感器与滚动类型快门结合的照相机机构来获取所述图像的步骤,所述滚动类型快门在不同时刻依次曝光扫描线,所述方法特征在于还包括以下预备步骤:
-检测在所述传感器视景的至少部分中的位移,以及
-基于所述所检测的位移,相对于所述照相机机构的其余部分来调整所述传感器的所述扫描方向。
另一方面,提供了一种用于获取数字图像的电子设备,所述设备包括:主体以及固定地附接至所述主体的照相机机构,所述机构将传感器与滚动类型快门相结合,配置滚动类型快门以在不同时刻依次曝光所述扫描线,所述设备特征在于进一步包括
-检测装置,用于识别在所述传感器的视景的至少部分中的位移,以及
-调整装置,用于基于所述位移,相对于所述电子设备的所述主体来选择所述传感器的所述扫描方向。
调整扫描方向以便降低在作为结果的图像中的弯曲效果的一种可行的方式是跟随位移方向。作为结果,正在移动的对象看来会比它们实际在作为结果的图像中更宽。将在下文的详细描述中呈现用于调整的其他选项。
本发明的效用依赖于多个因素。作为最为明显的一个效用,如果不能完全避免,至少可以降低在由具有滚动快门的传感器所拍摄的图像中使得移动对象变得倾斜的效果。只要在拍摄照片时,则可以自动运行所提出的方案,并且这不需要来自用户的输入或者指导,比如照相机笨拙的人工旋转。此外,在某种程度上,本发明容易实现为由处理单元执行的控制逻辑(例如,软件)或者可以使用硬件元件(例如,已经用于其他应用的不同的检测器和传感器)。还可以根据可用资源来在适中水平上保持其他计算。
在本发明的一个实施方式中,通过沿特定方向行进的移动的汽车侧窗拍摄了主要示出了围栏的三个图像。图像中的一个根本没有利用本发明的方法,而其余两个采用不同参数利用了根据本发明的方法。关于在优选扫描方向和位移中的自由度的数量来展开情况和分析结果。
附图说明
在下文中,参考附图来更为详细地描述本发明,附图中:
图1示出了现有技术的情况,其中滚动快门在显示移动条带的图像中引入了运动失真;
图2示出了本发明的传感器的不同扫描方向;
图3公开了在没有任何校正动作的情况下从行驶的汽车上拍摄的图像;
图4公开了现在通过应用本发明的方法的如图3中的图像;
图5公开了通过可替换地应用本发明的方法的如图3和图4中的图像;
图6是用于执行本发明的方法的一个选项的流程图;以及
图7是适于执行本发明的方法的电子设备的框图。
具体实施方式
已经结合相关现有技术的描述来讨论了图1。
图2示出了传感器可以如何利用不同扫描方向。代替总是首先读取最顶部的线以及最后读取最底部的线的是,在此基本情况下,参见参考数字202以及指示扫描方向的连续数字1、2、3,还可以逐列(竖直线)读出传感器,从而首先检查最左侧的列,接着是邻近该列的列,参见数字206。另外,还可以以反向顺序,从最底部至最顶部线204、或者从最右侧列至最左侧列208来读出信息,这是有益的。在附图中,箭头方向并不起主要作用,即,可以根据所使用的传感器来优选地处理读取扫描线(水平或者竖直)内的关于图像元素的数据。
接下来,为了在实际生活条件下说明本发明的可行性,由图3、4和5呈现了一种情况,其中该情况对于许多职业或业余摄影者是偶然出现的。这些附图仅仅是示例性的并且已经构造用于描述本发明的观点(fulcrum),即,关于诸如各种对象比例之类的它们的细节,不应被认为是完全现实。
我们假设携带照相机装置的示例性摄影者正在平稳移动的汽车或者其他车辆中行进。片刻之后,摄影者看到的感兴趣的包括木质围栏、以及树木/植物以及其后房屋的乡间风景,并且摄影者希望在行进中记录该风景,这是由于不太可能总是停车来用于拍摄的间隙;例如在高速公路上或者利用公共运输工具时,很容易发生这种情况。然后,摄影者将照相机的朝向路边对焦并且拍摄照片。已经在图3中大致示出了结果。在视景中是最接近的元素的围栏包含垂直于地表面以及照相机的笔直的板。然而,在形成的数字图像中,围栏看起来是倾斜的。这是由于以下事实:因为没有同步读出图像的线,而是最底部的线晚于最顶部的线读出,汽车相对于图像对象从右向左的水平移动导致围栏的下面的部分相对于上面的部分扭曲。参考在图3中的编号为302的部分,可以毫不费力识别出失真。相对于更为远离照相机的对象,围栏更为倾斜,这是由于围栏相对于照相机各自具有更高的角速度。显然,对于图像的观看者来说,在所存储的图像中的板的这种卷曲的形状看起来并不自然,并且他/她将其作为不愉快的影响,至少部分地扰乱整体观看体验。
在图4的情况下,在类似的情况中应用本发明的方法和/或设备。同样,从移动车辆拍摄照片,这使得不是同时读出扫描线,并且由此不能精确地表现相同的时刻。作为与先前示例的对比,此时照相机装备有可以沿可选择的方向读取扫描线的传感器。
本发明的一个可选特征在于,运动估计尤其用以获取关于图像传感器的视景中位移的信息,并且基于该信息,选择诸如读出方向的多个参数值来将在图3的示例图像中示出的不希望的结果最小化。在典型照相机应用中,在拍摄图像之前使用取景器或者相应的显示器,从而可以基于监视连续(数字化)的取景器图像而进行运动估计计算。例如,只要在照相机中选择用于降低运动失真的预定模式,则可以授权相机的用户来改变定义帧率的设置用于自动图像分析以及运动估计。与普通照片不同,不必将仅用于计算运动估计的图像永久地存储至照相机的存储器芯片或者可移除的存储卡,因为用于执行运动估计算法所需的帧/图像,可能是硬件加速地,可以仅作为连续流来在例如循环缓冲器中临时存储。
另外,适宜的是使用位移传感器来检测照相机位移,这类似地导致部分在图像传感器视景中移动。当照相机正在移动并且对象处于静止时,此类方案将很好地工作。诸如加速计、陀螺仪或者压力计的位移传感器将很好地进一步降低处理要求,以及潜在地,还增加了位移检测过程的精度。只要照相机保持静止并且对象仅在图像传感器视景中移动时,则附接至照相机的传统位移传感器并不工作。如果将其适当地校准以跟随图像传感器的视场,则检测外部动作的无线位移传感器(例如,红外的)甚至可以用于此目的。
现在,我们将主要考虑其中将基于图像数据分析的运动估计用于读出方向确定的情况,以及如将在其后公开的那样,其中单独或者结合运动估计算法来应用专用运动传感器的情况是完全可行的。
由于汽车相对于照相机视景从右向左移动,以及由此在图像中部分和对象看起来向右移动,将读出方向选择为“从左向右”,或者反之亦然。在其他方面,读出方向应该有利地平行于或者相对于图像中的位移。在图4中,由传感器应用的读出方向是从左向右的,并且围栏板402相对于图3中的围栏板来说,看起来相当水平地排列。围栏显得比初始的那个有些更宽,尽管这是自适应读出方向选择的另一值得注意的效应。
通常,当照相机以其中图像流(多个基本上连续的图像,用户可任意定义的速率)适用于分析的模式操作时,则开始上述过程。然后,可以使用例如专用硬件加速器或者软件算法在连续图像帧之间执行运动估计,并且做出在场景中是否存在位移的结论,以及如果存在,则对象相对于照相机/传感器其自身主要向下(情况A)、向上(情况B)、向右(情况C)或者向左(情况D)移动。还可以利用可能能够仅监测到照相机位移的位移传感器来检测对象的相对位移,或者分别可以使用附加地/单独地能够(无线地)监测外部对象的位移的传感器。
根据上文,选择读出方向以便将图像对象中的运动失真最小化。出于此目的,存在两种主要可能性:
可能性1:
情况A:读出方向,顶至底
情况B:读出方向,底至顶
情况C:读出方向,左至右
情况D:读出方向,右至左
可能性2:
情况A:读出方向,底至顶
情况B:读出方向,顶至底
情况C:读出方向,右至左
情况D:读出方向,左至右
在可能性1中,某种程度上,移动对象显得比它们的自然情况更宽,而在可能性2中,对象显得比原始情况更细。然而,由于直线保持是笔直的,对于人类观看者来说结果通常比图3的示例图像更为吸引人。
普通人更倾向于较细的对象还是较宽的对象,这依赖于实践经验,以及通过照相机应用等的软件参数来保持用户可定义这种选择,总之这是有利的。此外,重要的是应该注意,在工厂默认或者用户定义的选择之后,照相机将以校正模式自动处理操作。
如果唯一要求是不出现倾斜的图像,则仅需要两个读出方向(一个沿水平方向,以及一个沿竖直方向)。然后,根据在传感器视景中的对象的位移方向,对象将随机地呈现出较宽或者较细。
图5由可替换的读出方向(右至左)来示出了本发明的方法。围栏保持笔直,但是板502看起来比原始情况较窄。这一现象符合先前的讨论;在图像视景中,由于读出方向与围栏的位移相反,从围栏读出“采样”(扫描线),其中所述围栏是最为靠近照相机/传感器的对象,并且因此该对象由此承受了最高的角速度,以及将在视觉上最严重地受损于运动失真,相对于从左到右的传统水平扫描或者竖直扫描这具有降低的频率。
实际生活情况有时包括这样的对象,所述对象不是相对于照相机传感器的以及扫描轴线的轴向移动,即,这种位移或多或少是斜方向的。在照相机相应地移动的情况下,应用相同的逻辑。由此,具有可调节读出方向(水平或竖直)的传感器甚至不能完全消除引入图像的运动失真。在这些情况下,一个选项是确定主轴,例如,相对于其的相对速度最高(例如,最高的量级)的轴向,以及读出方向的选择的基点。
另一选项需要实现机械可旋转的传感器设置,其中所检测的斜方向位移影响传感器关于(相机其余部分)机构/照相机壳体的旋转角度、以及由此还影响关于图像对象的旋转角度。即使最初没有轴对准时,通过这种设置可以补偿斜方向位移。由此,首先可以经由传感器旋转将斜方向位移“微调”至轴向位移,以及然后在传感器内部选择用于最终校正的(竖直/水平)扫描方向,或者相反。
可替换方案涉及完全关于照相机机构/装置的其余部分以及最终还关于图像对象调整传感器的扫描方向,即,传感器的内部扫描方向可保持固定,而传感器关于照相机内部/壳体的其余部分以及图像对象旋转。
显然在许多情况下,上述基于传感器旋转的方案提供了数字图像,所述数字图像的对准(当拍摄照片时无意地使照相机保持倾斜时,常常出现同样的效果)对摄影者并不是优选的。由此,有利的是,如果需要,则应该经由软件方式将图像自动旋转至补偿所改变的图像对准的方向,并且进一步电子地“裁剪”至具有优选尺寸的最终(通常是矩形)形式。只要传感器大小(图像区域)对于在边界区域处捕捉所需的额外信息足够大,则这些方法是可行的,从而即使在通过软件引入旋转校正以及边界裁剪之后,数字图像的尺寸仍然保持适合。
此外,照相机视景可以包含多个部分,例如沿不同方向移动的各种对象。然后,确定例如“主要”对象之类对象的估计速度和/或大小(还预测距离),这可以用于决定读出方向。
图6的流程图从用于执行本发明的方法的多个选项中公开了一个逐步的选项。在方法激活602期间,执行设备(例如,数码照相机)的用户人工触发位移分析的执行以及后续的扫描方向确定,或者基于用户定义或工厂的默认指示性参数值由设备自身将其启动以及例如相关应用,例如照相机应用来启动它。人工触发可以通过软件功能等发生。另外,照相机应用可以包括自动位移检测算法,所述自动位移检测算法监控各种相关联参数值、以及根据需要切换可变的扫描方向进程。在步骤604中,执行运动分析以在传感器视景中检测位移。这表示在照相机传感器视景中的部分位移的直接识别,或者涉及设备自身的位移;照相机位移也引起了图像传感器视景中的位移,并且如果图像部分(例如,对象)保持静止则由此同样适用于检测基础。利用(图像)传感器的分析可以表示例如从可用的数字图像数据中直接确定必要参数的不同的模式识别以及运动跟踪算法。另一方面,如上所述,通过专用位移传感器(或者是固定的、或者是可拆除但仍然稳定地附接至照相机的)来识别照相机或者外部对象(优选地,在照相机的图像传感器的视景中对图像的运动失真具有任何影响)的位移。
将步骤604提供的结果输送至步骤606,在步骤606中选择传感器的扫描方向(读出方向)。传感器例如可以包括数据输入接口,简单控制电压或者包括指示优选扫描方向的参数的更为复杂的消息可以通过由照相机应用控制的设备的处理单元而传送至所述数据输入接口。另外,在上文中已经相当详尽地呈现了适合的扫描方向的确定。在步骤608中检查是否将要拍摄图像(将要存储)。例如,这种检查可以表示由用户按下按钮所导致的在照相机电子设备中建立的电子接触的识别、或者表示已调整的软件参数值。另外,不同的定时器可以激活实际的图像拍摄过程。在视频捕捉模式中,每个捕捉的图像(以针对恒定帧率的定时模式拍摄,或者由最大努力原则连续地拍摄)可以作为所存储视频序列中的帧而结束,或者某些图像可以单独用于视频帧之间的运动估计。显然,对于本领域技术人员而言,可以将例如步骤608重新定位在一个可能位置,该可能的位置可驻留在当前步骤602以及步骤604之间,在此情况下,可以恰好在接收到来自用户或定时器的图像拍摄命令之后启动包括运动分析的整个过程。在步骤610中,利用已调整的扫描方向来由扫描阶段最终获取图像。
图7示出了适于执行本发明的方法的电子设备的框图,所述电子设备诸如数码照相机、PDA(个人数字助理)或者(移动)终端。设备壳体(主体)包括处理装置702,其通常为处理器、可编程逻辑芯片、DSP、微控制器等形式,以便执行由电路结构自身或者存储在存储器704中的照相机应用712所记录的方法步骤。存储器704例如是一个或者多个存储器芯片、存储卡或者磁盘,所述存储器704进一步包括容纳例如独立图像以及视频数据的空间710。包括图像的存储器还可能独立于(例如,插入执行设备中的存储卡)包括应用712逻辑的存储器。控制输入装置708表示用户手中的实际控制装置或者仅仅是适当的接口连接装置,所述控制输入装置708可以包括鼠标、键盘、小键盘、独立按钮、轨迹球、笔、压力敏感的触摸垫/屏、光和/或电容传感器等。显示装置706表示显示器(crt、tft、lcd等)、类似数据投影机的不同投影装置、和/或仅用于目标(target)相机和其传感器所需的取景器。显示装置706可以进一步表示用于对同样没有包括在设备中的显示设备进行接口连接/控制的装置。另外,显示装置706可以表示根据本发明用于控制数据可视化所必须的附加软件。通过其可以捕捉照片图像的照相机(机构)714包括传感器、以及将传感器与上述壳体建立附接关系所必需的支持/连接结构,在物理可旋转传感器的情况下,上述壳体还可以充当用于传感器的旋转框架。对于可旋转传感器,还需要用于在框架中实际旋转所述传感器的装置,例如以电动马达的形式。作为内部或者可拆卸模块714或者多个独立模块,照相机机构714稳定地附接至设备。位移传感器716可以单独地或者与照相机714和/或存储器704、712中包括的基于图像分析的运动估计/检测逻辑一起使用。在设备中需要至少一个运动跟踪特征的存在,以及然后其余都是可选的,当然其中的可用性依赖于应用。
除了数据元素,还可以在诸如存储卡、磁盘、cd-rom等的单独承载介质上向执行设备提供用于应用712的代码(通常称作计算机程序),以便执行本发明的方法步骤。
在下文的权利要求书中找到本发明的范围。尽管在关于本发明的适用性以及可行性实现的文本中给出了数个或多或少关注的示例,但是其目的并非将本发明实际要旨的适用范围限制于任何特定场合,这对有经验的读者来说是显而易见的。
参考文献:
[1]Cristopher Geyer,Marci Meingast,Shankar Sastry,“Geometricmodels of Rolling-Shutter Cameras”,EECS Department,University ofCalifornia,Berkeley

Claims (27)

1.一种用于在数字图像中降低运动引入的失真的方法,所述方法包括通过将传感器与滚动类型快门相结合的照相机机构来获取图像的步骤,所述滚动类型快门在不同时刻(608、610)顺序曝光扫描线,所述方法特征在于进一步包括以下预备步骤:
-检测所述传感器的视景中至少一部分的位移(604),以及
-基于所述所检测的位移,相对于所述照相机机构的其余部分来调整所述传感器的扫描方向(606)。
2.根据权利要求1所述的方法,其中所述传感器的内部扫描方向是可配置的。
3.根据权利要求1或者2所述的方法,其中通过旋转所述传感器调整所述传感器相对于所述照相机机构的所述扫描方向。
4.根据权利要求1至3中的任意一项所述的方法,其中经由来自数字图像数据的运动估计来检测所述位移。
5.根据权利要求1至4中的任意一项所述的方法,其中经由监视以下至少一项内容的位移传感器来检测所述位移:所述照相机机构的位移、主管所述照相机机构的所述设备的位移、或者在所述传感器的所述视景中示出的对象的位移。
6.根据权利要求1至5中的任意一项所述的方法,其中所述扫描方向可从至少两个选项中选择,所述选项包括至少一个竖直扫描方向以及一个水平扫描方向。
7.根据权利要求1至6中的任意一项所述的方法,其中只要所述所检测的位移在所述视景中水平地出现,则所述所选择的扫描方向也是水平的;而如果所述位移竖直地出现,则所述所选择的扫描方向是竖直的。
8.根据权利要求1至7中的任意一项所述的方法,其中所述扫描方向是以下的至少一个:从左至右、从右至左、从顶部至底部、或者从底部至顶部。
9.根据权利要求1至8中的任意一项所述的方法,其中针对相对于所述照相机机构的所述传感器的所述位移来确定主轴,所述主轴是竖直的或者是水平的,以便调整所述扫描方向平行于所述主轴,所述主轴优选地包括所述位移的最高量级速度分量。
10.根据权利要求1至9中的任意一项所述的方法,其中在所述视景中多个部分沿不同方向移动的情况下,基于以下内容的至少一项来确定用于扫描方向调整的主要部分:所述部分的估计大小、速度、位置、或者传感器距离。
11.根据权利要求5所述的方法,其中所述位移传感器包括以下内容的至少一项:加速计、用于外部对象跟踪的无线传感器、陀螺仪或者压力计。
12.根据前述权利要求中任意一项所述的方法,其中所述图像表示视频信号的帧。
13.一种用于获取数字图像的电子设备,所述设备包括主体以及稳定地附接至所述主体的照相机机构(714),所述照相机机构(714)将传感器与滚动类型快门结合,配置所述滚动类型快门以在不同时刻顺序曝光扫描线,所述电子设备特征在于进一步包括:
-检测装置(712、714、716),用于在所述传感器的所述视景中识别至少一部分的位移,以及
-调整装置(702、712、714),用于基于所述位移,相对于所述电子设备的所述主体来选择所述传感器的所述扫描方向。
14.根据权利要求13所述的电子设备,所述传感器的内部扫描方向是可配置的。
15.根据权利要求13或者14所述的电子设备,其中所述传感器可相对于所述主体旋转,以便调整所述相对扫描方向。
16.根据权利要求13至15中的任意一项所述的电子设备,其中所述传感器支持竖直扫描方向和水平扫描方向两者。
17.根据权利要求13至16中的任意一项所述的电子设备,其中配置所述检测装置以针对运动估计目的而分析数字图像数据。
18.根据权利要求13至17中的任意一项所述的电子设备,其中所述检测装置包括位移传感器(716)。
19.根据权利要求18所述的电子设备,其中所述位移传感器(716)包括以下内容的至少一项:加速计、用于外部对象跟踪的无线传感器、陀螺仪或者压力计。
20.根据权利要求13至19中的任意一项所述的电子设备,其中配置所述调整装置以:只要所述所检测的位移在所述视景中水平地出现,则选择所述扫描方向为水平;而如果所述位移竖直地出现,则所选择的扫描方向为竖直。
21.根据权利要求13至20中的任意一项所述的电子设备,其中所述扫描方向是以下内容之一:从左至右、从右至左、从顶部至底部、或者从底部至顶部。
22.根据权利要求13至21中的任意一项所述的电子设备,其中配置所述调整装置以针对相对于所述照相机机构的所述传感器的所述位移来确定主轴,所述主轴是竖直的或者是水平的,以便调整所述扫描方向平行于所述主轴,所述主轴优选地包括所述位移的最高量级速度分量。
23.根据权利要求13至22中的任意一项所述的电子设备,其中配置所述调整装置以便,在所述视景中多个部分沿不同方向移动的情况下,基于以下内容的至少一项来确定用于扫描方向调整的主要部分:所述部分的估计大小、速度、位置、或者传感器距离。
24.根据权利要求13至23中的任意一项所述的电子设备,是移动终端、PDA(个人数字助理)或者数码照相机。
25.一种计算机可执行程序,包括代码装置(712),当在计算机设备上运行所述程序时,所述代码装置(712)适用于执行根据权利要求1至12中的任意一项所定义的所述方法步骤。
26.一种承载介质,其上记录有根据权利要求25所定义的计算机可执行程序。
27.根据权利要求26所述的承载介质,是存储卡、磁盘或者cd-rom。
CN2005800518753A 2005-10-21 2005-10-21 用于在数字成像中降低运动失真的方法和设备 Active CN101292513B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2005/050369 WO2007045714A1 (en) 2005-10-21 2005-10-21 A method and a device for reducing motion distortion in digital imaging

Publications (2)

Publication Number Publication Date
CN101292513A true CN101292513A (zh) 2008-10-22
CN101292513B CN101292513B (zh) 2012-04-11

Family

ID=37962221

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800518753A Active CN101292513B (zh) 2005-10-21 2005-10-21 用于在数字成像中降低运动失真的方法和设备

Country Status (4)

Country Link
EP (1) EP1938577B1 (zh)
JP (1) JP4776690B2 (zh)
CN (1) CN101292513B (zh)
WO (1) WO2007045714A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821252A (zh) * 2011-06-06 2012-12-12 苹果公司 使用图像稳定来校正卷帘式快门
CN103685935A (zh) * 2012-09-21 2014-03-26 黑莓有限公司 用于控制相机图像捕捉的方法和设备
CN103973975A (zh) * 2014-04-10 2014-08-06 北京智谷睿拓技术服务有限公司 交互方法、装置及用户设备
CN111885309A (zh) * 2020-08-31 2020-11-03 深圳市圆周率软件科技有限责任公司 一种全景图像采集方法和全景相机

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009210672B2 (en) 2008-02-08 2013-09-19 Google Llc Panoramic camera with multiple image sensors using timed shutters
JP2009194469A (ja) * 2008-02-12 2009-08-27 Ricoh Co Ltd 撮像装置
JP2010068241A (ja) * 2008-09-10 2010-03-25 Olympus Imaging Corp 撮像素子、撮像装置
US8358359B2 (en) 2010-01-21 2013-01-22 Microsoft Corporation Reducing motion-related artifacts in rolling shutter video information
WO2012089895A1 (en) * 2010-12-31 2012-07-05 Multitouch Oy Rolling shutter compensation in camera array
JP2012222374A (ja) * 2011-04-04 2012-11-12 Hitachi Consumer Electronics Co Ltd 車載カメラシステム
US9204047B2 (en) 2011-04-08 2015-12-01 Nokia Technologies Oy Imaging
US8648919B2 (en) 2011-06-06 2014-02-11 Apple Inc. Methods and systems for image stabilization
JP2013200603A (ja) * 2012-03-23 2013-10-03 Hitachi Automotive Systems Ltd 車載用画像処理装置及び方法
US9148571B2 (en) 2012-09-14 2015-09-29 Apple Inc. Image distortion correction in scaling circuit
JP2014187550A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 撮像制御装置、撮像制御方法及びプログラム
JP2015000288A (ja) * 2013-06-18 2015-01-05 キヤノン株式会社 被検体情報取得装置およびその制御方法ならびに音響信号取得装置およびその制御方法
DE102013220477B4 (de) * 2013-10-10 2021-07-01 Application Solutions (Electronics and Vision) Ltd. Verfahren und Vorrichtung zur Korrektur einer bildlichen Darstellung einer Fahrzeugumgebung
JP2019062479A (ja) * 2017-09-27 2019-04-18 京セラ株式会社 撮像装置及び移動体
CN111093041A (zh) * 2019-12-30 2020-05-01 三一重工股份有限公司 一种新型汽车及其车辆影像处理系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3758205B2 (ja) * 1995-06-07 2006-03-22 ソニー株式会社 固体撮像装置及びこれを用いたビデオカメラ、並びにx‐yアドレス型固体撮像装置の駆動方法
JP2000180950A (ja) * 1998-12-11 2000-06-30 Asahi Optical Co Ltd 撮影動作制御装置
US7202897B2 (en) * 2001-07-11 2007-04-10 Sony Corporation Solid-state image pickup exposure control system and method
JP2003032556A (ja) * 2001-07-16 2003-01-31 Minolta Co Ltd 撮像装置
DE10245912B4 (de) * 2002-10-01 2011-12-08 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben einer optoelektronischen Sensorvorrichtung
US7499081B2 (en) 2003-04-30 2009-03-03 Hewlett-Packard Development Company, L.P. Digital video imaging devices and methods of processing image data of different moments in time
JP2005063020A (ja) * 2003-08-08 2005-03-10 Canon Inc 認識装置
JP4531484B2 (ja) * 2004-08-16 2010-08-25 パナソニック株式会社 カメラシステム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102821252A (zh) * 2011-06-06 2012-12-12 苹果公司 使用图像稳定来校正卷帘式快门
CN102821252B (zh) * 2011-06-06 2015-05-20 苹果公司 使用图像稳定来校正卷帘式快门
CN103685935A (zh) * 2012-09-21 2014-03-26 黑莓有限公司 用于控制相机图像捕捉的方法和设备
CN103685935B (zh) * 2012-09-21 2019-03-01 黑莓有限公司 用于控制相机图像捕捉的方法和设备
CN103973975A (zh) * 2014-04-10 2014-08-06 北京智谷睿拓技术服务有限公司 交互方法、装置及用户设备
CN111885309A (zh) * 2020-08-31 2020-11-03 深圳市圆周率软件科技有限责任公司 一种全景图像采集方法和全景相机

Also Published As

Publication number Publication date
EP1938577A4 (en) 2010-07-14
EP1938577A1 (en) 2008-07-02
EP1938577B1 (en) 2013-08-14
WO2007045714A1 (en) 2007-04-26
JP2009512381A (ja) 2009-03-19
CN101292513B (zh) 2012-04-11
JP4776690B2 (ja) 2011-09-21

Similar Documents

Publication Publication Date Title
CN101292513B (zh) 用于在数字成像中降低运动失真的方法和设备
JP5163409B2 (ja) 撮像装置、撮像方法、およびプログラム
JP4770924B2 (ja) 撮像装置、撮像方法、およびプログラム
JP4962460B2 (ja) 撮像装置、撮像方法、およびプログラム
JP4618370B2 (ja) 撮像装置、撮像方法、およびプログラム
US9679394B2 (en) Composition determination device, composition determination method, and program
TWI386056B (zh) A composition determination means, a composition determination method, and a composition determination program
JP6157242B2 (ja) 画像処理装置及び画像処理方法
JP2010136302A (ja) 撮像装置、撮像方法、およびプログラム
US20070086648A1 (en) Target-image search apparatus, digital camera and methods of controlling same
CN103907340A (zh) 图像生成装置和图像生成方法
JP2008109336A (ja) 画像処理装置および撮像装置
US8767096B2 (en) Image processing method and apparatus
US20170111574A1 (en) Imaging apparatus and imaging method
JP2016201662A (ja) 撮像装置およびその制御方法
CN102265602A (zh) 图像拍摄装置
JP2006246354A (ja) 撮影装置及び撮影プログラム
JP4517813B2 (ja) パンニング撮影可能なカメラおよび動画像編集用プログラム
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2007306199A (ja) 撮像装置および画像処理プログラム
JP2019041188A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP4919165B2 (ja) 画像合成装置及びプログラム
JP6511780B2 (ja) 画像取得装置、及びプログラム
JP2014038164A (ja) 画像処理装置
CN117998211A (zh) 超延时视频生成方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20160112

Address after: Espoo, Finland

Patentee after: Technology Co., Ltd. of Nokia

Address before: Espoo, Finland

Patentee before: Nokia Oyj