CN1912685B - 使用作为陀螺仪的光运动传感器的成像装置 - Google Patents

使用作为陀螺仪的光运动传感器的成像装置 Download PDF

Info

Publication number
CN1912685B
CN1912685B CN2006100898091A CN200610089809A CN1912685B CN 1912685 B CN1912685 B CN 1912685B CN 2006100898091 A CN2006100898091 A CN 2006100898091A CN 200610089809 A CN200610089809 A CN 200610089809A CN 1912685 B CN1912685 B CN 1912685B
Authority
CN
China
Prior art keywords
imaging device
image
gyroscope
characteristic image
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2006100898091A
Other languages
English (en)
Other versions
CN1912685A (zh
Inventor
W·R·小图尔纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Avago Technologies General IP Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avago Technologies General IP Singapore Pte Ltd filed Critical Avago Technologies General IP Singapore Pte Ltd
Publication of CN1912685A publication Critical patent/CN1912685A/zh
Application granted granted Critical
Publication of CN1912685B publication Critical patent/CN1912685B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B5/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B5/02—Lateral adjustment of lens
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00—Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007—Movement of one or more optical elements for control of motion blur
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

配置成控制对接收代表图像平面上选定景象的光的成像装置的移动进行补偿的运动传感器。所述运动传感器包括光电元件阵列和控制器。光电元件阵列配置成获取运动传感器视场中环境特征的连续图像，其包括第一特征图像和在第一图像之后一定时间间隔获取的第二特征图像，所述第一和第二图像包括共同特征。所述控制器配置成接收第一和第二图像并且使得它们相关以通过检测所述共同特征相对于光电元件阵列的位置差异来检测成像装置在所述时间间隔内绕第一和第二轴的运动，和提供基于所述相关的第一和第二补偿信号以控制光-机械调整而抵消检测的图像装置绕第一和第二轴的运动，以维持选定景象和图像平面之间基本固定的关系。

Description

使用作为陀螺仪的光运动传感器的成像装置
发明背景
图像模糊是摄影中常见的问题并且有各种原因例如对象的移动和聚焦错误造成。然而，一种最常见的导致图像模糊的原因在于操作者造成的相机振动。人体肌肉通常在4-12赫兹频率范围内自然振动。当一个人拿着相机时，这样的振动造成图像模糊。这样的人体振动造成的模糊在长曝光时间或使用具备非常长焦距的变焦/长焦透镜时特别明显。为减少这样的模糊，手持成像系统，诸如数码相机、可携式摄像机和双筒望远镜常常采用某种图像稳定系统。
已经开发了用于图像稳定的几种方法和系统。然而，不论这些系统和/或方法，它们均依靠运动传感器来检测运动和一种手段来补偿检测到的运动。对静止相机，所述运动传感器通常是压电陀螺仪或MEMs(微—电—机械)陀螺仪。这些陀螺仪通常为小PC板可安装的封装体并且通常相对于成像装置的价格非常昂贵。由于需要两个陀螺仪用于图像稳定，这样陀螺仪的成本常常阻碍其在低价、高容量成像装置中的使用。可携式摄像机通常采用其中通过把每一景象帧与前一帧比较而检测运动的电子方法。尽管这样的技术是可行的，但其需要大量的信号处理并会被景象中移动的物体搞乱。
图像稳定系统通常电子或者光学补偿检测到的运动。在可携式摄像机中，电子补偿通过使用特大尺寸的图像传感器而获得。在任何时候仅仅采用一部分图像传感器来记录所述图像，并且当相机移动时，记录所述图像的图像传感器部分在图像传感器周围受陀螺仪控制随时间移动。然后对于记录的每个帧，相应地修剪图像传感器的像素数据。
静止相机和可携式摄像机都采用移动图像而补偿检测到的运动的光—机械方法。一种这样的方法采用陀螺仪和可移动透镜元件。通常，相机旋转造成图像相对于图像传感器移动。陀螺仪检测的运动转换成被马达采用而使透镜元件进行移动的控制信号，该移动与检测的运动造成的移动相等但是相反。
另外一种光—机械方法采用陀螺仪和可变棱镜。所述可变棱镜包括一对通过由形成不透液体密封的波纹管(bellow)连接的平面玻璃板。玻璃板之间的腔填充和玻璃板具备相同折射系数的液体。陀螺仪检测的运动转化成一种控制信号，该信号被马达采用而调整所述波纹管并控制玻璃板之间的角度来“掌控”图像以抵消所检测的运动造成的移动。
尽管能补偿图像移动，但上面描述的每一种用于图像移动的光-机械方法为开环系统，意味着没有对图像位置的反馈控制，因此不能证明/确保所述图像进行了适当的变换。另外，如前面所提到的，这些方法的每一种方法采用相对昂贵的用作运动传感器的陀螺仪。
发明概述
一方面，本发明提供一种运动传感器，其配置成控制对接收代表图像平面上选定景象的光的成像装置的移动进行补偿。该传感器包括光元件阵列和控制器。光元件阵列配置成获取运动传感器视场中环境特征的连续图像，其包括第一特征图像和在第一图像之后一定时间间隔获取的第二特征图像，所述第一和第二图像包括共同特征。所述控制器配置成接收第一和第二图像并且使得它们相关以通过检测所述共同特征相对于光电元件阵列的位置差异来检测成像装置在所述时间间隔内绕第一和第二轴的运动，和提供基于所述相关的第一和第二补偿信号以控制光-机械调整而抵消检测的成像装置绕第一和第二轴的运动，以维持选定景象和图像平面之间基本固定的关系。
附图说明
参考下面的附图可更好的理解本发明的实施例。附图中的元件相对于彼此不一定成比例。相同的附图标记表示相应的相似部分。
图1为总体上描述按照本发明采用配置成数字陀螺仪的运动传感器的相机的实施例的简图。
图2为图1中相机简化的等距图。
图3A为按照本发明采用图像稳定系统相机的简要示意图。
图3B为描述图3A图像稳定的简要示意图。
图4为按照本发明采用图像稳定系统的相机的简要示意图。
图5为总体上描述图像传感器和相应物镜之间关系的示意图。
图6为描述按照本发明的用于数字陀螺仪的透镜结构的实施例的简要示意图。
图7为描述按照本发明的用于数字陀螺仪的透镜结构的实施例的简要示意图。
图8为描述按照本发明数字陀螺仪一个实施例的简图。
图9为描述图8数字陀螺仪的部分光接收器阵列和转换放大器的简要示意图。
图10描述按照本发明通过图像相关性检测运动的数字陀螺仪所采用过程的一个实施例。
图11为图10中部分过程的示意图。
图12为在图8中计算阵列404内单个单元的示意图。
具体实施方式
在以下详细的说明书中，参考附图(构成说明书的一部分)，其中通过阐述可实施本发明的特定实施方案来示出本发明。在这一方面，方向术语，例如“顶部”、“底部”、“前部”、“后部”、“头部”、“尾部”等等是参考所描述附图的方位使用。由于本发明实施例的组件可位于多个不同方向，使用所述方向术语是为解释目的而非限制。应理解，可采用其它实施例并且可进行结构或逻辑的变化而不偏离本发明的范围。因此下面详细的说明书不认为起限制作用，并且本发明的范围是由附加的权利要求书限定。
图1为总体上说明成像装置例如相机30的简图，按照本发明采用配置成数字陀螺仪的运动传感器32来控制对相机30移动的补偿。相机30包括图像平面34、相机物镜36和陀螺仪物镜38。在一个实施例中，相机30包括具有图像平面34的模拟相机，该图像平面包括光敏成像膜。一个实施例中，相机30为具有包括相机图像传感器的图像平面34的数码相机，相机图像传感器包括光电元件阵列或像素，例如CCD(电荷耦合装置)型像素和CMOS(互补金属-氧化物半导体)型像素。
数字陀螺仪32进一步包括光电元件阵列或像素，其配置成陀螺仪图像传感器40和控制器42。在一个实施例中，陀螺仪图像传感器40包括30×30的CMOS像素阵列。在一个实施例中，数字陀螺仪32包括集成电路封装体，该集成电路封装体包括陀螺仪图像传感器40和控制器42。数字陀螺仪32、图像平面34和相机与陀螺仪物镜36、38设置在相机体或外壳43中。
当相机30指向相机物镜34的视场46(FOVC)中的选定景象44时，定位相机物镜从而接收并将代表选定景象44的光线48投射在图像平面34上。相似的，陀螺仪物镜38配置成接收和将来自视场50(FOVG)内环境的光投射在陀螺仪图像传感器40上。在一个实施例中，陀螺仪物镜138聚焦在无穷远。
图2为图1中相机30的简化等距图。当拍摄者手持相机时，自然、无意的手部动作或振动把动作传递给相机是平常的。绕x-和z-轴52和54的相机运动使得相机30拍摄的照片模糊。导致的模糊程度取决于运动的速度、照片的曝光时间和相机的放大设置，其通常由相机物镜36的焦距表示。
在35-毫米摄影中，常常引用的拇指规则表明相机能可靠手持的最长曝光时间(以秒计)为透镜焦距(以毫米计)的倒数。例如，当使用50-毫米透镜时，手持相机的曝光时间可为1/50秒或更快。相似的，当使用300-毫米透镜时，1/300秒或更少的曝光时间对于不借助三角架而拍摄一张清晰相片通常是必要的。
由无意的手部动作施加在相机30上的动作通常是摆动的，并且由在大约4到12赫兹频率范围内的振动组成。无意手部动作可能为大约共六个自由度。然而，图像模糊、接收的光线48在图像平面34上的移动主要由绕x-轴和z-轴52，54的转动造成。绕x-轴52的旋转造成接收的光线48沿z-轴54移动，并且绕z-轴54的旋转造成接收的光线沿x-轴52的移动。绕y-轴56的旋转通常对图像清晰度有可忽略不计的影响，因为这样的运动通常不明显和通常以使沿y-轴56运动的影响最小化的放大比例拍摄照片。
回到图1，陀螺仪图像传感器40配置成获取在数字陀螺仪32的FOVG50中环境特征的连续图像。连续图像包括第一特征图像和在第一图像后一定时间间隔获得的第二特征图像，第一和第二图像包括共同特征。这样的特征可以是所述环境中的任何物体或元件，例如，树、建筑结构、椅子或桌子。应当注意到所述特征可能位于或可能不位于图像平面34的FOVC46中。
一个实施例中，当快门控制钮62(参考附图2)被使用者部分或全部按压时，陀螺仪图像传感器40开始获取连续图像。一个实施例中，陀螺仪图像传感器140配置成每秒至多获取1000张环境特征图像。
控制器42配置成从陀螺仪图像传感器40接收获取的图像和通过检测共同特征相对于陀螺仪图像传感器40的像素阵列的位置差异使得第一图像和第二图像相关以检测相机30在所述时间间隔内绕x-轴52和z-轴54的运动。一个实施例中，第一图像被用作参考图像。一个实施例中，参考图像为阵列40在快门控制钮62按下后获取的初始图像。一个实施例中，控制器42使得所述参考图像与陀螺仪图像传感器接收的每个连续获得的图像相关以检测相机30的运动。数字陀螺仪32的一个实施例和数字陀螺仪32采用的相关过程的例子在下文通过图8到15更详细的描述。
基于所述的相关性，控制器42提供第一和第二补偿信号58和60，以控制光—机械调整来抵消检测的相机30绕x-和z-轴52、54的运动，以维持选定的景象44和图像平面34之间基本固定的联系。一个实施例中，第一补偿信号58控制沿x-轴52的调整，而且第二补偿信号60控制沿z-轴54的调整。
这里所用的“光-机械调整”包括对可动透镜元件(参见下图4)的控制和/或图像平面的移动控制(参见下面图3A和3B)以维持选定的景象44和成像平面34之间基本稳定的联系。其不包括对相机外壳43位置的调整以稳定所述图像。
总而言之，通过采用光电元件阵列来检测运动，诸如基于CMOS的图像传感器，按照本发明的数字陀螺仪32为昂贵的、基于机械的陀螺仪提供了廉价的替代物。因此，数字陀螺仪32为低价、高容量成像装置提供廉价的图像稳定装置。此外，如下面参考图3A和3B更详细的进行了描述，数字陀螺仪32为图像稳定系统提供对图像位置直接反馈控制的装置，从而改善图像稳定系统的性能。
图3A和3B总体上为显示采用按照本发明图像稳定系统实施例的数码相机130的一个实施例的简化示意图。相机132包括数字陀螺仪132、相机图像传感器134、相机物镜136和陀螺仪物镜138。数字陀螺仪132进一步包括陀螺仪图像传感器140和控制器142。
一个实施例中，如所描述的，数字陀螺仪132和相机图像传感器134设置在一个可移动平移台170上。平移台170可由第一音圈马达(VCM)172沿x-轴152移动。平移台170可由第二VCM174沿z-轴154移动(参见图3B)。数字陀螺仪132、平移台170和VCM172、174一起形成闭路图像稳定系统175，用于稳定相机图像传感器134通过相机物镜136接收到的图像。在一个实施例中(未显示)，陀螺仪图像传感器140设置在平移台170上，控制器142定位在离开平移台170的位置。
参考图3A和3B，当相机130聚焦在FOVC146选定的景象144上时，相机物镜136将选定景象144的光线148投射在相机图像传感器134上。相似的，陀螺仪物镜138接收和将来自FOVG150环境的光投射在陀螺仪图像传感器140上。一个实施例中，陀螺仪图像传感器140包括具备30×30像素阵列的CMOS图像传感器。一个实施例中，陀螺仪图像传感器140包括16×16像素阵列。
陀螺仪图像传感器140配置成获取在FOVG150中环境特征的连续图像。所述连续图像包括第一特征图像和第二特征图像，第二特征图像在第一图像后一定时间间隔获得，第一和第二图像包括共同特征。一个实施例中，陀螺仪图像传感器140配置成每秒至多获取1000张环境特征图像。一个实施例中，如上面所提到的，当使用者部分或全部按压快门控制钮62(参见图2)时陀螺仪图像传感器140开始获取连续图像。
控制器142从陀螺仪图像传感器140接收连续图像。相机130绕x-和z-轴152、154的旋转选取景象144和FOVG150中的特征分别经相机图像传感器134和陀螺仪图像传感器140从一个图像传递到下一个图像。为检测相机130这样的动作，控制器142使得第一和第二图像相关以检测处于第一和第二图像之间的陀螺仪图像传感器140上共同特征的像素位置中的差别。
基于这样的相关，控制器142对第一VCM172提供补偿信号158以抵消检测的沿x-轴152的移动，以及对第二VCM174提供第二补偿信号160来抵消检测的沿z-轴154的移动。作为一个例子，相机130分别向下和向左第二量(相对于使用者)的移动造成选定景象144和在FOVG150中的环境特征相对于相机图像传感器134和陀螺仪图像传感器140向上平移第一量和向右平移第二量。经过所述相关过程，控制器142测得这样的移动，并且相应的提供第一补偿信号158，使第一VCM172沿x-轴152朝右移动平移台170第二量，以及提供使第二VCM174沿y-轴154朝上移动平移台170第一量的第二补偿信号160。在一个实施例中，如所示，用于第一和第二补偿信号158、160的信号路径包括放大器180、182，向VCM172、174提供需要的信号值。
通过移动平移台170以抵消相机130的移动，稳定系统175维持FOVG150中环境特征和陀螺仪图像传感器140之间基本固定的关系。由于相机图像传感器134设置在平移台170上，抵消FOVG150中环境特征的运动自动抵消选定景象144相对于相机图像传感器134的运动，从而稳定图像传感器134接收到的选定景象144的图像并减少最终摄制图像中的模糊。进一步，通过与平移台170上的相机图像传感器134一致移动陀螺仪图像传感器140，稳定系统175提供对图像位置(即选定的景象144)的直接反馈控制，从而改善系统性能。
图4是简化示意图，描述了使用本发明另一图像稳定系统的相机230的实施例。相机230使用了数字陀螺仪232，图像平面234，相机物镜236，以及陀螺仪物镜238。数字陀螺仪还包括一个含有像素元件阵列的陀螺仪图像传感器240和一个控制器242。在一个实施例中，图像平面234含有感光成像膜。一个实施例中，图像平面234含有图像传感器。
相机230还包括一对包含可动凹透镜元件290和固定设置的凹透镜元件292的补偿透镜。第一VCM 272响应第一补偿信号258沿x轴252移动凹透镜元件290，第二VCM(未显示)响应第二补偿信号260沿Z轴移动凹透镜元件290。数字陀螺仪232和第一、第二VCM、可动凹透镜元件290、固定设置的凸透镜元件292一起形成一个开环图像稳定系统275。
在与上面所描述的图3A和3B的数字陀螺仪132相似的模式中，数字陀螺仪232通过将陀螺仪物镜238视场中环境的第一和第二特征图像相关来检测相机230绕x轴和z轴的旋转。基于这样的相关，数字陀螺仪提供第一和第二补偿信号，使得第一和第二音圈马达沿x-和z-轴将透镜元件290移动一合适距离以抵消检测的相机230移动。相机图像传感器234和数字陀螺仪232保持静止。通过控制凹透镜元件290的移动以抵消相机230的移动，凹透镜元件290和固定设置的凸透镜元件292一起工作以使通过相机物镜236接收的光相对于图像平面234平移，从而所述大量图像相对于图像平面234保持基本静止。
陀螺仪图像传感器240和表示陀螺仪物镜238视场中环境特征的并通过陀螺仪物镜238接收的光线之间的关系没有类似地进行调整。同样的，由于稳定系统275不接收图像位置的直接反馈，稳定系统275是开环系统(例如图3A选定的景象144)。
图5为描述图像传感器与相应物镜，例如图1所描述的陀螺仪物镜38和数字陀螺仪32的陀螺仪图像传感器40之间关系的简图。陀螺仪图像传感器40包括具备宽度dA(用292表示的)像素阵列，对于每一个像素，如像素294具备和在298处所示基本相同的宽度dp。陀螺仪物镜38的视场(FOVG)50的弧度与陀螺仪图像传感器40的宽度dA292和透镜38的焦距(f)299的比率相等。
为使数字陀螺仪32检测运动，陀螺仪图像传感器40、从而FOVG50必须转动至少特定最小角度。若相机30为数码相机时，相机图像传感器34获取的图像在相机30旋转特定最小角度而导致图像传感器34上接收图像的位置有一个像素移动时会有显著的模糊。此特定最小角度称为陀螺仪图像传感器40和相机图像传感器34的角分辨率。
若陀螺仪图像传感器40的角分辨率较相机图像传感器34的角分辨率大，则数字陀螺仪32在相机图像传感器34获取的图像开始变模糊之前将无法检测到相机30的运动。这种情况下，数字陀螺仪32将无法充分抵消相机30的运动，从而无法有效稳定相机图像传感器34接收的图像。鉴于此，数字陀螺仪32的角分辨率不应超过相机图像传感器34的角分辨率，希望陀螺仪图像传感器40的角分辨率与相机图像传感器34的角分辨率基本匹配。
陀螺仪图像传感器40的角分辨率以陀螺仪透镜38的焦距和陀螺仪图像传感器40的最小可测图像运动为依据。反过来，最小可测图像运动与陀螺仪图像传感器40的像素大小相关。像素大小影响图像质量，一般来说，像素尺寸越大，图像质量越佳。在一个示例实施方案中，阵列38包括具有最小可测图像运动大约为1/16像素的60微米像素30×30阵列，60微米除以16得到3.75微米的最小可测图像运动。若陀螺仪透镜38焦距为10毫米，则3.75微米的最小可测运动相当于角分辨率为0.375毫弧度。转换为角度相当于角分辨率约为0.0215度。
相机图像传感器34的角分辨率是基于像素大小及相机物镜36的焦距。例如，一架低档数码相机包括焦距为5.7毫米的透镜，采用3兆像素的图像传感器，其中，像素大小约为2.6微米(不同相机间像素大小不同)。2.6微米除以5.7毫米得到角分辨率约为0.46毫弧度。转化为角度即角分辨率约0.026度，这便与前述角分辨率0.0215度的数字陀螺仪很好匹配起来。
由此，为使陀螺仪32的角分辨率与相机图像传感器34的角分辨率匹配，可调整陀螺仪图像传感器40的最小可测运动和/或陀螺仪物镜的焦距。不过一般来说，选一个焦距299的陀螺仪物镜38以使陀螺仪图像传感器40的角分辨率与相机图像传感器34的角分辨率相匹配比调整陀螺仪图像传感器40的最小可测运动要容易得多。因此，陀螺仪物镜38可针对具体相机来选择以使数字陀螺仪32与相机图像传感器34的角分辨率最佳匹配。在一种实施方案中，当相机物镜36包括具有可变焦距的变焦透镜时，在变焦透镜36处于远距照相位置(即“放大”)时，数字陀螺仪的角分辨率配置得与相机图像传感器34的角分辨率大体匹配。较之在广角位置，变焦透镜36在远距照相位置时具有最长焦距。
除了角分辨率，在配置采用数字陀螺仪的图像稳定系统时考虑的另一因素为陀螺仪图像传感器的视场，例如图1所示的数字陀螺仪图像传感器40的FOVG50。参考图3如上所描述的，图像传感器的视场(按弧度计)被定义为图像传感器的宽度和相应物镜焦距的比率(例如dA292和f299的比率)。
参考上面用于描述角分辨率的实施例，陀螺仪图像传感器60微米像素的30×30阵列具备大约10度的视场(例如图1的FOVG50)，而3兆像素相机图像传感器具备约50度的视场(例如图1的FOVC46)。因此，陀螺仪图像传感器的视场仅有相机图像传感器视场的1/5宽。因此，存在这样的可能，即由陀螺仪图像传感器观测到的部分图像可能不包括数字陀螺仪可用作参考以测量运动的高对比特征。
参考上述的内容，重要的是提供具备足够大视场的陀螺仪图像传感器以增加出现高对比特征的可能性。一种增加陀螺仪图像传感器视场的方法是降低陀螺仪物镜的焦距，例如图1中的陀螺仪物镜38的焦距。然而，降低陀螺仪物镜的焦距将降低陀螺仪图像传感器的角分辨率。
如图6所示，一种增加陀螺仪图像传感器例如图1的陀螺仪图像传感器40的视场的方法在于采用陀螺仪物镜阵列，如陀螺仪物镜300a，300b，300c所述。参考图5，如果每一个物镜具备和陀螺仪物镜38相同的焦距(f)299，采用物镜阵列300a，300b，300c的陀螺仪图像传感器40的有效视场大约为当仅用物镜38时视场的三倍。在所描述的实施例中，三个透镜300a，300b，300c在陀螺仪图像传感器40上产生三个重叠的图像。因此，尽管陀螺仪图像传感器40的对比将会减小，但检测高对比特征的可能性将增大。
一个实施例中，如图7所示，相机物镜36与陀螺仪图像传感器40共享，从而减少对单独的陀螺仪物镜如图1所示陀螺仪物镜38的需要。
图8为描述按照本发明的数字陀螺仪的一个实施例的简图，如数字陀螺仪32。一个实施例中，数字陀螺仪32如图8所示，形成于一个单一集成电路芯片中。所述芯片为设计用于获取和处理两维图像的模拟信号处理芯片，提供补偿信号以抵消如相机30的相关成像装置的运动，通过获取的两维图像的相关来检测。
在图8所示的实施例中，数字陀螺仪32的陀螺仪图像传感器40包括32行68列的光电元件408阵列。68列转换放大器400阵列以逐行的方式从陀螺仪图像传感器408传递信号到64DC去除电路402阵列。计算阵列404从DC去除电路402接收数据并对该数据进行计算以向离线(off-chip)系统提供补偿信号406(即图1中的第一和第二补偿信号58和60)，该芯片系统根据补偿信号406抵消相关成像装置的运动(例如图3A和3B中的平移台170和VCM172、174)。
在没有进行常规集成光传感器的逐个单元的校准中，灵敏度中的一些变化将会由于集成电路处理技术的限制而发生。如图8所示的数字陀螺仪芯片32计算第一或参考图像与随后在相对于陀螺仪图像传感器408的不同位置获取的第二图像之间的相关性。照明度和光电元件灵敏度上的任何变化将恶化相关性信号。因此，图8的空间DC去除电路402配置成维持相关性信号的整体性，同时保持系统的成本相对较低。从导航图像中去除将破坏相关性信号的照明度和光电元件灵敏度的低空间频率变化。
DC去除电路402操作的理解对于计算阵列404操作的完全理解不重要，因此没有详细描述。理解列转换放大器400的基本操作是有用的。
参考图9，显示了68列光电元件的五列412、414、416、418和420。对每一列，显示了32行中的6行422、424、426、428、430和432。每一行可操作地与分离的转换放大器434、436、437、438和439相联系。一列中的光电元件可操作地通过关闭读出开关440而与相关的转换放大器连接。在图9电路的操作中，没有两个光电元件同时连接到相同的转换放大器上。
每一个转换放大器434-439作为一个积分器运行并包括连接到固定电压源的输入端442。第二输入端444与转换放大器的输出端446通过转换电容器448电容性地连接。
在图9电路的运行中，光电元件第一行422的读出开关可能被关闭，从而每一个转换电容448接收到与在第一行的相关光电元件处接收的光能相应的电荷。接收到的电荷经输出线446传递到随后的处理电路。单行的读出估计在200ns和300ns之间。读出第一行后，开启第一行的读出开关而且转换放大器复位。然后关闭第二行424的读出开关以传递来自第二行光电元件的信号。重复该过程直到读出每一行光电元件。
通过运行图9的转换放大器434-439，光电元件信号以逐行的方式传递到随后的电路。图8的DC去除电路402继续光电元件信号的平行处理，如列转换放大器所确定的。DC去除电路输出64个信号并代表在导航传感器408处接收的光能。在图8实施例中，信号帧由计算阵列的像素值组成，而像素值通过对来自DC去除电路的64个信号的32个转换而获得。
图10描述了根据本发明的数字陀螺仪例如数字陀螺仪32采用的处理的一种实施方案，用于检测相关成像装置例如相机30的运动(参见图1)。尽管本发明将参考处理表示数字陀螺仪视场中环境特征的光电元件信号进行描述，但所述方法不限于任何一种应用。
进行所述处理以使环境特征参考帧与随后的环境帧相关。实际上，所述相关性比较对参考帧和随后的帧共有的图像特征的位置以在获取参考帧与随后帧之间的时间间隔内提供与相关成像装置的运动相关的信息。
起初，在450处，获取参考帧信号(即参考图像)。参考帧可认为是开始位置。通过稍后时间获取来自导航传感器的样本帧信号452然后计算相对于参考帧和随后获得样本帧的相关性值454，确定导航传感器相对于稍后时间的成像区域的位置。
获取初始参考帧450可在成像过程一开始发生。例如，一个实施例中，如前面提到的，所述获取可通过按压相关成像装置的快门控制钮而引发，例如图2的快门控制钮62。
尽管通过计算来检测运动，但该实施例的概念可通过参考图11的概念图来描述。7×7像素参考帧456显示具备T型特征458的图像。稍后时间(dt)陀螺仪图像传感器408获取用参考帧456替换的第二或样本帧460，但表示的是基本相同的特征。持续时间dt优选这样设置，在相关成像装置例如相机30的平移速度下，使得T型特征458的相对位移比导航传感器的一个像素小。
如果成像装置在获取参考帧456信号与获取样本帧460信号之间的时间段内移动，T型特征将移动。尽管优选实施例为dt小于一个完整像素移动的时间，但图11的概念性描述表示特征458向上和向右移动一个完整像素。设想整个像素移动仅仅是为了简化描述。
图11中格栅462代表帧460的7×7阵列中具体像素的像素值的顺序变化。所述顺序变化单独分成八个最相邻像素。即步骤“0”不包括移动，步骤“1”为向上和向左的对角变化，步骤“2”为向上的移动，等等。所述移动对样本帧460的所有像素同时进行。以这种方式，9个像素移动帧可与参考帧456结合以产生位置帧阵列464。指定为“位置0”的位置帧不包括移动，因此结果仅仅是帧456和460的结合。“位置7”具备最小数量的阴影像素，因此为具备最高相关性的帧。基于相关性结果，T型特征458在样本帧460中的位置确定为相对于早先获得的参考帧456中相同特征的位置向右和向上对角移动，这意味着成像装置在时间dt内向下和向左移动。
尽管可采用其它相关性方法，但可接收的方法为“差值的平方和”相关性。对于图13的实施例，从单元462的9个偏移形成9个相关系数(Ck＝C0，C1…C8)。另一个选择考虑样本帧460的移动，因为所述相关性通过偏移所述参考帧456和样本帧保持不偏移表现得同样好。
运用相关性来寻找参考帧456和样本帧460共同特征458的位置以确定所述特征的位移。如上面所描述的，例如图3A和3B，调整相机图像传感器34的位置以抵消通过随后样本帧与参考帧456的相关性而检测的运动。尽管所述处理提供高度的相关性，误差尽管会小，但当每一个连续样本帧460与参考帧456比较时会随着时间积累。如果允许积累过长的时间，这些误差将造成对所检测运动抵消的减弱，并且因此对图像的稳定也减弱。对图4所示的开环稳定系统275尤其如此。
借助上面的描述，一个实施例中，如果从获取起始参考帧456开始过去太长持续时间而相机30不照一张照片，则将获得一个新的参考帧456。此外，一个实施例中，如果相机30的使用者大大移动相机而使样本帧460和参考帧456之间不存在共同特征，则获得新的参考456。
因此，再次参考图10，在454每一次相关值的计算后在466进行是否在随后相关性处理之前替换参考帧的决定。如果确定参考帧不被替换，则在步骤468确定是否移动参考帧的信号，即像素值。如果决定不替换参考帧456，所述处理则返回452以获取下一个样本帧并且所述处理继续。如果决定替换参考帧，图11中的样本帧460则成为新的参考帧，如图10中472所示。下一个样本帧在452处获取并且所述处理继续。
通过确定参考帧和样本帧之间共同特征位置中的变化，检测陀螺仪图像传感器408和被成像的环境之间的相对运动。基于所述相关性检测的运动，数字陀螺仪32提供补偿信号406以控制补偿步骤而抵消检测的运动，以维持进行成像的景象与成像装置的成像平面之间相对固定的关系(例如数码相机的相机图像传感器)，并且因此减少图像模糊。
图12为在图8的计算阵列404中单个单元的示意图。然而，如本领域技术人员所理解的，参考图10和11可使用其它电路来进行所描述的处理。
图像数据WDATA(i)代表来自装载在线468的计算单元466上的特定光电元件的光能，而电荷补偿晶体管开关470处于WR(j)信号的控制下。在WR(j)信号去声明(deasserted)后，新数据保持在电容器472上并由放大器474缓冲。计算单元为两维单元阵列中的数据单元。简要的参考图11，所述单元可用于存储像素值并移动用于包括帧456和460的7×7阵列中单个像素的像素值。图12的CDATA节点476为在计算阵列中允许信号帧所有像素的同时信号处理的一个CDATA节点。起初，CDATA节点阵列一起形成对比图像，或“参考帧”。如下文所描述的，CDATA节点随后形成样本帧。控制输入CDOUT 478选择信号CDATA、对比数据或选择用于最相邻输出节点NN(0)480的REFOUT。
最相邻输入NN(0)-NN(8)480、482、484、486、488、500、502、504和506分别通过线508上的开关控制信号S(0)-S(8)选取。所述NN(0)-NN(8)输入480-506为按照图11的像素图462的最相邻单元的输出。因此，节点480表示为既作为散开以连接最相邻单元的输出又作为单元466的输入。开关控制信号由处于计算阵列外部、未显示的编码器4-9产生。编码器的4-位输入被看作是最相邻地址并为从0000(0)到1000(8)的二进制值。
所述最相邻输入(NNINPUT)节点510通过脉冲REFLD512而取样，从而在节点REFH514上储存NNINPUT。相似的，REFDATA516可通过脉冲REFSFT520进行取样并保持在REFSH518上。
为测试，可声明(assert)ROWTSTB522，从而允许所述NN(0)信号向TEST输出524传播。所述来自一行单元中每一个单元的TEST信号连接到在每一列计算阵列中的公共垂直总线上并在所述阵列的底部多路传输和离线驱动。沿所述阵列左沿的一个标准行解码器允许选取用于测试的具体行。然而，测试特征对本发明不重要。
在图10中参考步骤454，在单元阵列中的每一个计算单元466具备确定相关性值的电路526。第一输入528接收来自REFDATA节点516的参考数据。第二输入530提供由在线508处合适的开关控制信号选取的最相邻输入NNINPUT。相关性单元的输出532为电流。在计算阵列中所有的相关性输出在跟踪电路534的单个离线求和电阻器中加在一起。在求和电阻器上形成的电压被认为是图12中的相关性值。
在图12的实施例中，电路526基于差值的平方计算。所述单元466可进行改进以提供基于乘积的相关性而不改变阵列控制输入S(0)-S(8)的基础结构，REFLD、REFSFT和CDOUT对整个阵列是全局的。
理解图11中用462代表的最相邻图之间的关系对于单个单元和作为整体的阵列是重要的。图像的0位置指所述图像的现在位置。当指图像从位置0到位置1移动时，所表示的是所有阵列单元中的图像信号向左向上移动到相邻单元。即，所述移动与计算阵列中的单个单元相关并与所述阵列中的每一个单元相关。
计算阵列功能可按照图像获取、参考图像加载和相关性计算来描述。图像获取指经每一个计算单元466的WDATA线468而加载新图像信号。在当前的实施中，从光电元件阵列经列转换放大器和DC去除放大器获取每40微秒一个新信号帧，即像素值。
加载新图像的过程被看作“帧传递”。帧传递花大约10微秒完成。帧传递控制电路在帧传递过程中声明信号FTB(未显示)。下面描述的计算阵列的操作通过观测和与FTB信号同步来使得与帧传递过程协调。新对比图像的有效性由FTB信号的下降沿显示。当没有声明FTB时，下面描述的操作是唯一适宜的。
在可计算任何图像相关性之前需要加载像素值的参考帧。为加载参考帧，在计算阵列中CDATA节点476的所有信号必须传递到REFH节点514。这通过将CDOUT478和S(0)设定高并发送线512上的REFLD信号而完成。
在参考帧加载后，计算阵列准备计算相关性。像素值的参考帧和随后的样本帧之间的相关性通过把最相邻地址设定到预期的值并记录在位移跟踪电路534的求和电阻器上形成的最终电压来进行计算。当光接收器阵列从获取参考帧的位置移动单个像素距离时，在一个最相邻位置将检测最强相关性，这是因为将有最低水平的输出电流。在图11中，相关性在阵列464的位置7处检测。子像素移动将通过在两维相关性空间中从多重电流输出读数内插而确定。应当注意到，参考帧与其自身之间的相关性可通过设定CDOUT478为低和发射REFSFT520来计算。这使得最相邻输入来自参考帧而非样本帧。
注意到，上面的图8到12仅描述了按照本发明的数字陀螺仪32的一个实施例。其它电路配置和处理可由数字陀螺仪32利用以获取和关联图像来检测运动。此外，尽管这里主要对静止相机进行了描述，但本发明的教导易于进行改变而应用于可携式摄像机或其它提供运动图像的成像装置。例如，当用于可携式摄像机时，数字陀螺仪可配置成当可携式摄像机对选定景象拍摄全景时更新参考帧，并可配置成包括筛选以区分由可携式摄像机全景拍摄或随景象移动物体造成的有意移动和例如由人体肌肉振动造成的无意移动。
尽管这里描述和解释了具体的实施例，但本领域技术人员可理解各种替代和/或等价实施可替代所显示和描述的具体实施例，而不偏离本发明的范围。该应用意欲覆盖这里讨论的具体实施例的任何更改或变化。因此，意味着本发明仅受权利要求书及其等效表述的限制。

Claims (15)

1.一种成像装置，包括：
沿第一轴和第二轴可动的台；
定位在所述台上并配置成接收代表选定景象的光的成像平面；以及
一个运动传感器，包括：
光电元件阵列，定位在所述台上并配置成获取运动传感器视场中环境的连续特征图像，其包括第一特征图像和在所述第一特征图像之后一定时间间隔获取的第二特征图像，所述第一特征图像和所述第二特征图像包括共同特征，以及
一个控制器，配置成接收所述第一特征图像和所述第二特征图像并且使得它们相关以通过检测所述共同特征相对于光电元件阵列的位置差异来检测成像装置在所述时间间隔内绕所述第一轴和所述第二轴的运动，和基于所述相关来提供第一补偿信号和第二补偿信号以控制所述台的移动而抵消检测的成像装置绕所述第一轴和所述第二轴的运动，以维持选定景象和成像平面之间基本固定的关系。
2.如权利要求1所述的成像装置，其中移动所述台以抵消检测的成像装置绕所述第一轴和所述第二轴的运动维持了运动传感器视场中所述环境和光电元件阵列之间基本固定的关系。
3.如权利要求1所述的成像装置，包括一个配置成沿所述第一轴响应所述第一补偿信号移动所述台的第一音圈马达和配置成沿所述第二轴响应所述第二补偿信号移动所述台的第二音圈马达。
4.如权利要求1所述的成像装置，其中所述成像平面包括一个图像传感器。
5.如权利要求4所述的成像装置，其中所述运动传感器的光电元件阵列的角分辨率基本上与成像装置的图像传感器的角分辨率匹配。
6.如权利要求1所述的成像装置，包括一个与所述成像平面相关的相机物镜和一个与所述运动传感器相关的运动传感器物镜。
7.如权利要求6所述的成像装置，其中运动传感器物镜具备一个焦距从而运动传感器的光电元件阵列的角分辨率与成像装置的图像传 感器的角分辨率基本匹配。
8.如权利要求1所述的成像装置，还包括多个与运动传感器的光电元件阵列相关的物镜，所述多个物镜中的每一个物镜具备相应的视场，多个物镜中每一个物镜的视场结合以形成光电元件阵列的有效视场。
9.如权利要求8所述的成像装置，其中多个物镜中的每一个透镜把相应视场中的特征图像投射到光电元件阵列上，其中每一个特征图像彼此不同。
10.一种对成像装置的运动进行补偿的方法，所述成像装置包括成像平面，所述成像平面配置成接收代表选定景象的光，该方法包括：
用图像传感器获取环境特征的连续图像，所述连续图像包括第一特征图像和在所述第一特征图像后一定时间间隔获得的第二特征图像，所述第一特征图像和所述第二特征图像包含共同特征；
使所述第一特征图像和所述第二特征图像相关以通过检测所述共同特征相对于所述图像传感器位置上的差异来检测成像装置绕第一和第二轴的运动；
提供第一补偿信号和第二补偿信号以控制沿所述第一轴和所述第二轴可动的台的移动，从而控制基于所述相关的光-机械调整以抵消检测的成像装置绕所述第一轴和所述第二轴的运动，以维持选定景象和所述成像平面之间基本固定的关系，所述图像传感器和所述成像平面定位在所述台上。
11.如权利要求10所述的方法，其中所述第一特征图像包括参考图像，并且所述相关包括选取所述环境特征的连续图像的初始图像作为所述参考图像。
12.如权利要求11所述的方法，包括基于选定的操作标准，用连续特征图像中的随后图像来更新所述参考图像。
13.如权利要求12所述的方法，其中，所述选定的操作标准包括：成像装置的移动导致所述第一特征图像和所述第二特征图像之间没有共同特征。
14.如权利要求10所述的方法，其中，控制所述光-机械调整包括 沿所述第一轴和所述第二轴调整所述成像平面的位置。
15.如权利要求14所述的方法，其中，控制所述光-机械调整沿所述第一轴和所述第二轴一起调整所述成像平面的位置和所述图像传感器的位置。 
CN2006100898091A 2005-05-05 2006-04-30 使用作为陀螺仪的光运动传感器的成像装置 Active CN1912685B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/122,964 US7656428B2 (en) 2005-05-05 2005-05-05 Imaging device employing optical motion sensor as gyroscope
US11/122964 2005-05-05

Publications (2)

Publication Number Publication Date
CN1912685A CN1912685A (zh) 2007-02-14
CN1912685B true CN1912685B (zh) 2010-12-08

Family

ID=36603936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2006100898091A Active CN1912685B (zh) 2005-05-05 2006-04-30 使用作为陀螺仪的光运动传感器的成像装置

Country Status (6)

Country Link
US (1) US7656428B2 (zh)
JP (1) JP4607048B2 (zh)
KR (1) KR101203319B1 (zh)
CN (1) CN1912685B (zh)
GB (1) GB2426655B (zh)
TW (1) TWI421616B (zh)

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1599036A1 (en) * 2003-02-25 2005-11-23 Matsushita Electric Industrial Co., Ltd. Image pickup processing method and image pickup apparatus
TWI422957B (zh) * 2004-06-23 2014-01-11 Pentax Ricoh Imaging Co Ltd 照相設備
US8730322B2 (en) * 2004-07-30 2014-05-20 Eyesee360, Inc. Telepresence using panoramic imaging and directional sound and motion
JP4545190B2 (ja) * 2005-03-24 2010-09-15 パナソニック株式会社 撮像装置
US7598979B2 (en) * 2005-09-21 2009-10-06 Aptina Imaging Corporation Imaging device with blur reduction system including a primary array and at least one navigation array
JP4648173B2 (ja) * 2005-12-01 2011-03-09 オリンパス株式会社 顕微鏡用デジタルカメラ、顕微鏡用デジタルカメラの制御方法およびプログラム
JP4596268B2 (ja) * 2006-02-14 2010-12-08 ソニー株式会社 撮像装置
US7643063B2 (en) * 2006-12-29 2010-01-05 The Boeing Company Dual loop stabilization of video camera images
US8141424B2 (en) 2008-09-12 2012-03-27 Invensense, Inc. Low inertia frame for detecting coriolis acceleration
US8047075B2 (en) 2007-06-21 2011-11-01 Invensense, Inc. Vertically integrated 3-axis MEMS accelerometer with electronics
US8462109B2 (en) 2007-01-05 2013-06-11 Invensense, Inc. Controlling and accessing content using motion processing on mobile devices
US8508039B1 (en) 2008-05-08 2013-08-13 Invensense, Inc. Wafer scale chip scale packaging of vertically integrated MEMS sensors with electronics
US8952832B2 (en) 2008-01-18 2015-02-10 Invensense, Inc. Interfacing application programs and motion sensors of a device
US8250921B2 (en) 2007-07-06 2012-08-28 Invensense, Inc. Integrated motion processing unit (MPU) with MEMS inertial sensing and embedded digital electronics
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
US8020441B2 (en) 2008-02-05 2011-09-20 Invensense, Inc. Dual mode sensing for vibratory gyroscope
US7934423B2 (en) 2007-12-10 2011-05-03 Invensense, Inc. Vertically integrated 3-axis MEMS angular accelerometer with integrated electronics
US7924316B2 (en) * 2007-03-14 2011-04-12 Aptina Imaging Corporation Image feature identification and motion compensation apparatus, systems, and methods
KR101332298B1 (ko) * 2007-04-17 2013-11-22 삼성전자주식회사 손 떨림 보정방법 및 이를 적용한 촬영장치
US7734161B2 (en) * 2007-04-19 2010-06-08 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Image stabilization with adaptive shutter control
US20090040318A1 (en) * 2007-08-09 2009-02-12 Michael John Brosnan Image stabilization with user feedback
US20090135264A1 (en) * 2007-11-28 2009-05-28 Motorola, Inc. Motion blur detection using metadata fields
US20090201380A1 (en) * 2008-02-12 2009-08-13 Decisive Analytics Corporation Method and apparatus for streamlined wireless data transfer
JP2009222995A (ja) * 2008-03-17 2009-10-01 Konica Minolta Opto Inc レンズ鏡胴及び撮像装置
CN101257581A (zh) * 2008-03-26 2008-09-03 香港应用科技研究院有限公司 感光传感器及图像捕捉装置
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
DE102008059551B4 (de) * 2008-11-28 2021-08-12 Car.Software Estonia As Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
CN101799291B (zh) * 2009-02-05 2012-06-27 义隆电子股份有限公司 光学追踪感应器成像品质的检测方法
JP2010191306A (ja) * 2009-02-20 2010-09-02 Hoya Corp 撮像装置
US8170408B2 (en) * 2009-05-18 2012-05-01 Invensense, Inc. Optical image stabilization in a digital still camera or handset
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2011143501A1 (en) 2010-05-12 2011-11-17 Pelican Imaging Corporation Architectures for imager arrays and array cameras
CN101917599B (zh) * 2010-07-23 2012-09-19 深圳中兴力维技术有限公司 一种云台故障检测方法及装置
JP5548552B2 (ja) * 2010-08-03 2014-07-16 キヤノン株式会社 撮像装置
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
WO2012155119A1 (en) 2011-05-11 2012-11-15 Pelican Imaging Corporation Systems and methods for transmitting and receiving array camera image data
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US8957944B2 (en) 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
US9088714B2 (en) 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP2014521117A (ja) 2011-06-28 2014-08-25 ペリカン イメージング コーポレイション アレイカメラで使用するための光学配列
CN102883099B (zh) * 2011-07-14 2015-03-11 中国移动通信有限公司 一种拍摄防抖方法及装置
WO2013043751A1 (en) 2011-09-19 2013-03-28 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super resolution processing using pixel apertures
IN2014CN02708A (zh) 2011-09-28 2015-08-07 Pelican Imaging Corp
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US8847137B2 (en) 2012-02-29 2014-09-30 Blackberry Limited Single package imaging and inertial navigation sensors, and methods of manufacturing the same
US9402028B2 (en) * 2012-03-15 2016-07-26 Honeywell International Inc. Image stabilization and tracking system
US20130247663A1 (en) * 2012-03-26 2013-09-26 Parin Patel Multichannel Gyroscopic Sensor
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US8902335B2 (en) 2012-06-06 2014-12-02 Apple Inc. Image blending operations
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US8619082B1 (en) 2012-08-21 2013-12-31 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras that contain occlusions using subsets of images to perform depth estimation
US20140055632A1 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
WO2014046868A1 (en) * 2012-09-24 2014-03-27 Motorola Mobility Llc Preventing motion artifacts by intelligently disabling video stabilization
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
JP2014106476A (ja) * 2012-11-29 2014-06-09 Canon Inc 焦点検出装置、撮像装置、撮像システム、焦点検出方法、プログラム、および、記憶媒体
US9591241B2 (en) * 2012-12-11 2017-03-07 Konica Minolta, Inc. Compound eye optical system and imaging device using the same
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9638883B1 (en) 2013-03-04 2017-05-02 Fotonation Cayman Limited Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
WO2014165244A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
WO2014153098A1 (en) 2013-03-14 2014-09-25 Pelican Imaging Corporation Photmetric normalization in array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
US9438888B2 (en) 2013-03-15 2016-09-06 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US9762848B2 (en) 2013-03-15 2017-09-12 Google Inc. Automatic adjustment of video orientation
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US8879858B1 (en) * 2013-10-01 2014-11-04 Gopro, Inc. Multi-channel bit packing engine
US9426343B2 (en) 2013-11-07 2016-08-23 Pelican Imaging Corporation Array cameras incorporating independently aligned lens stacks
US10119808B2 (en) 2013-11-18 2018-11-06 Fotonation Limited Systems and methods for estimating depth from projected texture using camera arrays
EP3075140B1 (en) 2013-11-26 2018-06-13 FotoNation Cayman Limited Array camera configurations incorporating multiple constituent array cameras
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
JP6390002B2 (ja) * 2014-03-10 2018-09-19 パナソニックＩｐマネジメント株式会社 撮像装置
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3139588B1 (en) * 2015-09-07 2017-06-21 Axis AB Method and device for setting a focus of a camera
JP2017209486A (ja) * 2016-05-19 2017-11-30 パナソニックＩｐマネジメント株式会社 血圧計測装置
CN106303223A (zh) * 2016-07-29 2017-01-04 努比亚技术有限公司 一种图片处理方法及设备
CN107040722B (zh) 2017-04-27 2019-02-15 维沃移动通信有限公司 一种拍摄方法及移动终端
US10438326B2 (en) 2017-07-21 2019-10-08 The Boeing Company Recursive suppression of clutter in video imagery
US10453187B2 (en) 2017-07-21 2019-10-22 The Boeing Company Suppression of background clutter in video imagery
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
JP6606234B1 (ja) * 2018-07-13 2019-11-13 Dmg森精機株式会社 測定装置
US10904440B2 (en) * 2018-07-25 2021-01-26 Tdk Taiwan Corp. Image sensor driving mechanism
WO2020061732A1 (en) * 2018-09-27 2020-04-02 Suzhou Aqueti Technology Co., Ltd. Vcm-based optical apparatus, system, and imaging method thereof
DE112020004391T5 (de) 2019-09-17 2022-06-02 Boston Polarimetrics, Inc. Systeme und verfahren zur oberflächenmodellierung unter verwendung von polarisationsmerkmalen
MX2022004163A (es) 2019-10-07 2022-07-19 Boston Polarimetrics Inc Sistemas y metodos para la deteccion de estandares de superficie con polarizacion.
CN114787648B (zh) 2019-11-30 2023-11-10 波士顿偏振测定公司 用于使用偏振提示进行透明对象分段的系统和方法
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
CN115428028A (zh) 2020-01-30 2022-12-02 因思创新有限责任公司 用于合成用于在包括偏振图像的不同成像模态下训练统计模型的数据的系统和方法
WO2021243088A1 (en) 2020-05-27 2021-12-02 Boston Polarimetrics, Inc. Multi-aperture polarization optical systems using beam splitters
KR20220019963A (ko) * 2020-08-11 2022-02-18 삼성전자주식회사 카메라 모듈을 포함하는 전자 장치 및 그의 촬영 방향을 제어하는 방법
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619030A (en) * 1993-01-22 1997-04-08 Canon Kabushiki Kaisha Control apparatus for image blur prevention employing an angular velocity and an image field sensor
US6047132A (en) * 1998-03-04 2000-04-04 Nikon Corporation Camera system and interchangeable lens to compensate for image blur when photographing at close range

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CH493065A (fr) 1969-06-06 1970-06-30 Paillard Sa Objectif à stabilisation d'image par un élément optique soumis à l'action d'un gyroscope
US4615590A (en) 1984-07-17 1986-10-07 Schwem Instruments Optically stabilized camera lens system
JPH01106582A (ja) 1987-10-19 1989-04-24 Nec Home Electron Ltd 撮像装置
DE68928217T2 (de) 1988-09-09 1998-01-29 Canon Kk Automatische Bildstabilisierungsvorrichtung
GB2273223B (en) 1989-10-17 1994-08-31 Mitsubishi Electric Corp Image blur correcting apparatus
JPH03248132A (ja) 1990-02-27 1991-11-06 Canon Inc 撮影装置
US5774266A (en) 1992-04-06 1998-06-30 Canon Kabushiki Kaisha Image stabilizing device
JP3860844B2 (ja) 1994-05-10 2006-12-20 オリンパス株式会社 手ぶれ検出装置及び手ぶれ検出方法
JP3339191B2 (ja) * 1994-08-08 2002-10-28 ミノルタ株式会社 ブレ補正機能付カメラ
US5578813A (en) 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
US6035133A (en) 1995-07-17 2000-03-07 Canon Kabushiki Kaisha Image blur prevention device
KR0175372B1 (ko) * 1995-08-29 1999-03-20 김광호 캠코더의 움직임 벡터 검출장치 및 그 검출방법
US5786804A (en) 1995-10-06 1998-07-28 Hewlett-Packard Company Method and system for tracking attitude
US5729008A (en) 1996-01-25 1998-03-17 Hewlett-Packard Company Method and device for tracking relative movement by correlating signals from an array of photoelements
US6137535A (en) * 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
JP3610210B2 (ja) * 1997-12-01 2005-01-12 キヤノン株式会社 撮像装置及び交換レンズ式撮像装置
US5978600A (en) 1997-09-30 1999-11-02 Nikon Corporation Motion compensation device to compensate for motion of an optical system without using motion sensors
JPH11119087A (ja) * 1997-10-16 1999-04-30 Olympus Optical Co Ltd カメラの焦点検出装置
JP4064001B2 (ja) * 1998-06-11 2008-03-19 株式会社リコー カメラ
US6630951B1 (en) * 1998-06-11 2003-10-07 Ricoh Company, Ltd. Apparatus for detecting hand movement of an optical device
JP2000081646A (ja) * 1998-06-26 2000-03-21 Ricoh Co Ltd 手振れ補正機能付きカメラ
JP2000069351A (ja) * 1998-08-24 2000-03-03 Ricoh Co Ltd 撮像装置
JP2001005054A (ja) * 1999-06-24 2001-01-12 Olympus Optical Co Ltd 撮像装置
JP3788714B2 (ja) * 2000-02-14 2006-06-21 株式会社リコー 撮像装置及びデジタルカメラ
JP2002027300A (ja) * 2000-07-05 2002-01-25 Minolta Co Ltd デジタルカメラ
JP2002171429A (ja) * 2000-11-30 2002-06-14 Canon Inc 複眼撮像系、撮像装置および電子機器
US7440634B2 (en) * 2003-06-17 2008-10-21 The Trustees Of Columbia University In The City Of New York Method for de-blurring images of moving objects
US6751410B1 (en) 2003-07-10 2004-06-15 Hewlett-Packard Development Company, L.P. Inertial camera stabilization apparatus and method
US7154136B2 (en) * 2004-02-20 2006-12-26 Micron Technology, Inc. Isolation structures for preventing photons and carriers from reaching active areas and methods of formation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619030A (en) * 1993-01-22 1997-04-08 Canon Kabushiki Kaisha Control apparatus for image blur prevention employing an angular velocity and an image field sensor
US6047132A (en) * 1998-03-04 2000-04-04 Nikon Corporation Camera system and interchangeable lens to compensate for image blur when photographing at close range

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JP特开平8-29827A 1996.02.02

Also Published As

Publication number Publication date
KR101203319B1 (ko) 2012-11-21
CN1912685A (zh) 2007-02-14
US20060251410A1 (en) 2006-11-09
KR20060115656A (ko) 2006-11-09
JP4607048B2 (ja) 2011-01-05
TW200702875A (en) 2007-01-16
TWI421616B (zh) 2014-01-01
JP2006350305A (ja) 2006-12-28
GB2426655B (en) 2011-04-06
GB2426655A (en) 2006-11-29
US7656428B2 (en) 2010-02-02
GB0608842D0 (en) 2006-06-14

Similar Documents

Publication Publication Date Title
CN1912685B (zh) 使用作为陀螺仪的光运动传感器的成像装置
US9948858B2 (en) Image stabilization related methods and apparatus
CN1937717B (zh) 带有模糊减轻系统的成像装置及其操作方法
CN101322399B (zh) 成像装置
CN100478728C (zh) 用于图像拍摄设备的系统和方法
US8063978B2 (en) Image pickup device, focus detection device, image pickup apparatus, method for manufacturing image pickup device, method for manufacturing focus detection device, and method for manufacturing image pickup apparatus
US8164642B2 (en) Image-capturing device with a destructive read-type image sensor
JP5742313B2 (ja) 撮像装置
CN100435559C (zh) 摄像装置
JP5895355B2 (ja) 撮像装置
CN101911671A (zh) 摄像装置和光轴控制方法
US20110169918A1 (en) 3d image sensor and stereoscopic camera having the same
CN102449999A (zh) 具有全局及滚动快门过程的成像器
CN103327223A (zh) 摄像装置
US20080278613A1 (en) Methods, apparatuses and systems providing pixel value adjustment for images produced with varying focal length lenses
KR20190101759A (ko) 카메라 모듈 및 그의 초해상도 영상 처리 방법
EP1188309B1 (en) Targetable autofocus system
JPH0377483A (ja) 画振れ防止カメラ
JP6365568B2 (ja) 撮像素子および撮像装置
JP2018191304A (ja) 撮像素子および撮像装置
WO2015066571A1 (en) Methods and apparatus relating to image stabilization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: AVAGO TECHNOLOGIES GENERAL IP (SINGAPORE) CORPORAT

Free format text: FORMER OWNER: AVAGO TECHNOLOGIES GENERAL IP

Effective date: 20130521

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130521

Address after: Singapore Singapore

Patentee after: Avago Technologies Fiber IP Singapore Pte. Ltd.

Address before: Singapore Singapore

Patentee before: Avago Technologies General IP (Singapore) Co., Ltd.

TR01 Transfer of patent right

Effective date of registration: 20181019

Address after: Singapore Singapore

Patentee after: Annwa high tech Limited by Share Ltd

Address before: Singapore Singapore

Patentee before: Avago Technologies Fiber IP Singapore Pte. Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20190625

Address after: Taiwan, Hsinchu, China Science and Technology Industrial Park, Hsinchu County Road, building five, No. five

Patentee after: Yuanxiang Science & Technology Co., Ltd.

Address before: Singapore Singapore

Patentee before: Annwa high tech Limited by Share Ltd

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20200630

Address after: Gyeonggi Do Road South Korea SamSung Suwon City Lingtong District No. 129

Patentee after: Samsung Electronics Co.,Ltd.

Address before: Taiwan, Hsinchu, China Science and Technology Industrial Park, Hsinchu County Road, building five, No. five

Patentee before: PixArt Imaging Inc.

TR01 Transfer of patent right