CN103503435B - 图像视角误差校正装置和方法 - Google Patents
图像视角误差校正装置和方法 Download PDFInfo
- Publication number
- CN103503435B CN103503435B CN201280021986.XA CN201280021986A CN103503435B CN 103503435 B CN103503435 B CN 103503435B CN 201280021986 A CN201280021986 A CN 201280021986A CN 103503435 B CN103503435 B CN 103503435B
- Authority
- CN
- China
- Prior art keywords
- movement
- described image
- region
- interested
- region interested
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 17
- 238000012937 correction Methods 0.000 title description 2
- 230000033001 locomotion Effects 0.000 claims abstract description 81
- 230000003287 optical effect Effects 0.000 claims abstract description 55
- 230000000007 visual effect Effects 0.000 claims abstract description 33
- 238000004590 computer program Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000003384 imaging method Methods 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 17
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000116 mitigating effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001052 transient effect Effects 0.000 description 2
- 241000239290 Araneae Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
提供了一种方法、装置和计算机程序。该装置包括：至少一个处理器以及存储有包括计算机程序指令的计算机程序的至少一个存储器，该计算机程序指令在由该至少一个处理器执行时，至少使得如下操作被执行：在图像传感器所成像的景象中确定至少一个感兴趣的区域，通过使得图像传感器暴露于光学装置所传送的光而发起包括该至少一个感兴趣的区域的图像的捕捉；检测该装置在图像的捕捉期间的移动；并且依据检测的装置的移动和至少一个感兴趣的区域来对图像传感器和光学装置中的至少一个的移动进行控制，以便在被捕捉的图像中的至少一个感兴趣的区域处减轻视角误差。
Description
技术领域
本发明的各实施例涉及成像。具体地，涉及减轻图像中的视角误差。
背景技术
如果相机及其数字图像传感器在曝光期间（例如，由于用户手抖）有所移动，则可能出现视角误差（perspective error）。视角误差是由于其景象（scene）视角在数字图像传感器移动时有所变化而出现的。
例如，用户手抖可能使得数字图像传感器的定向相对于被成像的景象有所变化，从而导致视角误差。视角误差可能会导致所捕捉的图像中的景物具有模糊的边缘。
发明内容
根据本发明的各种而未必所有的实施例，提供了一种装置，该装置包括：至少一个处理器；以及存储有包括计算机程序指令的计算机程序的至少一个存储器，该计算机程序指令在由该至少一个处理器执行时，至少使得如下操作被执行：在图像传感器所成像的景象中确定至少一个感兴趣的区域；通过使得图像传感器暴露于光学装置（opticalarragement）所传送的光而发起包括该至少一个感兴趣的区域的图像的捕捉；检测该装置在图像的捕捉期间的移动；并且依据检测的装置的移动和至少一个感兴趣的区域来对图像传感器和光学装置中的至少一个的移动进行控制，以便在被捕捉的图像中的至少一个感兴趣的区域处减轻视角误差。
根据本发明的各种而未必所有的实施例，提供了一种方法，包括：在装置的图像传感器所成像的景象中确定至少一个感兴趣的区域；通过使得图像传感器暴露于光学装置所传送的光而发起包括该至少一个感兴趣的区域的图像捕捉；检测该装置在图像的捕捉期间的移动；并且依据检测的晃动和至少一个感兴趣的区域来对图像传感器和光学装置中的至少一个的移动进行控制，以便在被捕捉的图像中的至少一个感兴趣的区域处减轻视角误差。
根据本发明的各种而未必所有的实施例，提供了一种包括计算机程序指令的计算机程序，该计算机程序指令在由至少一个处理器执行时，使得以上方法被执行。
根据本发明的各种而未必所有的实施例，提供了一种存储有包括计算机程序指令的计算机程序的非瞬态计算机可读介质，该计算机程序指令在由该至少一个处理器执行时，至少使得如下操作被执行：在一种装置的图像传感器所成像的景象中确定至少一个感兴趣的区域；通过使得图像传感器暴露于光学装置所传送的光而发起包括该至少一个感兴趣的区域的图像的捕捉；检测该装置在图像的捕捉期间的移动；并且依据检测的晃动和至少一个感兴趣的区域来对图像传感器和光学装置中的至少一个的移动进行控制，以便在被捕捉的图像中的至少一个感兴趣的区域处减轻视角误差。
根据本发明的各种而未必所有的实施例，提供了一种装置，该装置包括：用于在图像传感器所成像的景象中确定至少一个感兴趣的区域的装置；用于通过使得图像传感器暴露于光学装置所传送的光而发起包括该至少一个感兴趣的区域的图像的捕捉的装置；用于检测该装置在图像的捕捉期间的移动的装置；以及用于依据检测的装置的移动和至少一个感兴趣的区域来对图像传感器和光学装置中的至少一个的移动进行控制，以便在被捕捉的图像中的至少一个感兴趣的区域处减轻视角误差的装置。
附图说明
为了更好地理解本发明的各种实施例，现在将仅通过示例方式参考附图，其中：
图1图示了诸如芯片组的装置；
图2图示了诸如数码相机的装置；
图3图示了一种方法的流程图；
图4A图示了捕捉景象的静态图像的用户；
图4B图示了显示景象以用于静态图像捕捉的装置；
图5示意性图示了对图像传感器和/或光学装置在静态图像捕捉期间的移动进行控制；以及
图6示意性图示了如何确定校正矢量。
具体实施方式
本发明的实施例涉及减轻静态图像中的视角误差。
附图图示了装置10/20，该装置包括：至少一个处理器12；以及存储有包括计算机程序指令18的计算机程序16的至少一个存储器14，该计算机程序指令18在由至少一个处理器12执行时，至少使得如下操作被执行：在图像传感器22所成像的景象70中确定至少一个感兴趣的区域74；通过使得图像传感器22暴露于光学装置24所传送的光而发起图像的捕捉，该图像包括至少一个感兴趣的区域74；检测装置10/20在图像的捕捉期间的移动；并且依据检测的装置10/20的移动和至少一个感兴趣的区域74来对图像传感器22和光学装置24中的至少一个的移动进行控制，以便减轻在被捕捉的图像中的至少一个感兴趣的区域74处的视角误差。
图1图示了装置10。装置10例如可以是芯片组。装置10包括至少一个处理器12和至少一个存储器14。图1中示意性图示了单个处理器12。实践中，装置10可以包括不止一个处理器。
处理器12被配置为从存储器14读取以及向存储器14写入。处理器12还可以包括输出接口和输入接口，处理器12经由该输出接口输出数据和/或命令，并且数据和/或命令经由该输入接口被输入至处理器12。
存储器14存储器包括计算机程序指令18的计算机程序16，计算机程序指令18在被加载到处理器12中时对装置10/20的操作进行控制。计算机程序指令18提供使得装置10/20能够执行图3所示的方法的逻辑和例程。处理器12通过读取存储器14而能够加载并执行计算机程序指令18。
计算机程序16可以经由任意适合的递送机制40而到达装置10/20。递送机制40例如可以是非瞬态计算机可读存储介质、计算机程序产品、存储器设备、诸如光盘只读存储器（CD-ROM）或数字多功能盘（DVD）之类的记录介质，和/或有形地体现计算机程序16的制造品。递送机制40可以是被配置为可靠地传递计算机程序16的信号。
虽然存储器14被图示为单个组件，但是其可以被实施为一个或多个单独组件，其中的一些或全部组件可以是集成/可移动的和/或可以提供永久性/半永久性/动态/高速缓存的存储装置。
图2图示了装置20。装置20例如可以是数码相机。在本发明的一些实施例中，该数码相机可以具有移动电话功能。
图2所示的装置20包括：图像传感器22、光学装置24、一个或多个驱动25、一个或多个运动检测器26、显示器27、用户输入电路装置28以及图1所示的装置10。
部件12、14、22、24、25、26、27和28是操作耦合的，并且能够存在任意数量的中间部件或其组合（包括没有中间部件的情况）。部件12、14、22、24、25、26、27、28例如可以共同位于外壳内。
图像传感器22例如可以是诸如电荷耦合器件（CCD）或互补金属氧化物半导体（CMOS）之类的数字图像传感器。处理器12被配置为从图像传感器22接收输入。例如，处理器12可以（例如，以静态图像或视频图像的形式）从图像传感器22获取图像数据，并且将其存储在存储器14中。
光学装置24例如可以包括一个或多个光学器件，比如一个或多个透镜。光学装置24被配置为通过装置20中的光圈从装置20之外的景象接收光。光学装置24被配置为将光传送至图像传感器（以例如用于捕捉静态图像）。
一个或多个驱动25例如可以包括一个或多个电机。处理器12被配置为向一个或多个驱动25提供控制信号，以便对光学装置24和/或图像传感器22的移动进行控制。如果光学装置24包括一个或多个光学器件，则处理器12可以被配置为通过控制那些光学器件中的一些或全部光学器件的移动来控制光学装置24的移动。
一个或多个运动检测器26例如可以包括一个或多个加速计和/或陀螺仪。处理器12被配置为接收来自一个或多个运动检测器26的输入以便检测装置10的运动并且确定该运动的方向和量值。
处理器12被配置为对显示器27进行控制。显示器27例如可以显示图像、图形项目和文本。它包括多个像素并且例如可以是液晶显示器（LCD）或有机发光显示器（OLED）。
处理器12被配置为接收来自用户输入电路装置28的输入。用户输入电路装置28例如可以包括与一个或多个按键相对应的一个或多个开关。在本发明的一些实施例中，用户输入电路装置28中的至少一些用户电路装置可以与显示器27集成在触敏显示器29中。触敏显示器29可以是任意类型的触敏显示器。例如，其可以包括电容、电阻和/或声波技术。
处理器12可以被配置为对显示器27进行控制以显示菜单系统，该菜单系统使得用户能够访问装置20的功能进行。用户可以通过在用户输入电路装置28处提供输入，该输入经处理器解析，而对菜单系统进行导航。
现在将关于图3所示的流程图对根据本发明实施例的方法进行描述。
用户60对装置20的菜单系统进行导航，并且经由用户输入电路装置28提供一个或多个输入以访问装置20的图像捕捉模式。在该示例中，在装置20进入图像捕捉模式时，光经由其外壳中的光圈进入装置20。光由光学装置24传送至图像传感器22。处理器12从图像传感器22获取视频图像数据并且将其用来在显示器27上显示实时视频图像。在装置20处于图像捕捉模式时，显示器27上所显示的实时视频图像随着用户60改变装置20的位置和定向而变化。
在此示例中，用户60将装置20的光圈指向特定景象70。这在图4A中被图示。处理器12从图像传感器22获取包括景象70的实时视频图像数据。处理器12对显示器27进行控制以显示图像传感器22所成像的景象70。图4A中所图示的景象70包括房屋72和树73。
图4A中图示了笛卡尔坐标轴50。y轴和z轴并行于页面的平面并且x轴从页面向外延伸。坐标轴50出现在图4A至图6中以指示这些附图相对于彼此的定向。
图4B图示了装置20的显示器27上所显示的景象70。在图4B中，x轴和y轴平行于页面的平面并且z轴延伸进入页面。
在图3中的框302处，处理器12确定景象中的哪个分区（或哪些分区）表示感兴趣的区域（或多个感兴趣的区域）。在本发明的一些实施例中，用户60可以经由用户输入电路装置28提供用户输入以指定一个或多个分区作为景象70中的感兴趣的区域。例如，如果装置20包括触敏显示器29，则用户可以通过在显示的景象70中的感兴趣的区域触碰显示器29来指定感兴趣的区域。
在本发明的一些实施例中，用户60可以不必提供用户输入来指定感兴趣的区域。处理器12可以自动指定感兴趣的区域。例如，处理器12可以执行图像处理以确定是否存在人脸，如果存在，则处理器12可以将该人脸指定为感兴趣的区域。
处理器12可以对显示的景象70进行处理以使用图像处理对景象中的不同分区进行划界。景象70中的不同要素可以被划界为不同分区。例如，图4B所示的景象70可以被划界而使得房屋72处于与树73不同的分区中。因此，如果用户60触碰分区（例如树73）以将其指定为感兴趣的区域，则其它分区（例如房屋72）并不被指定为感兴趣的区域，除非关于那些分区提供了进一步的用户输入。这意味着景象70中的不同要素出于指定感兴趣的区域的目的而作为不同分区对待。
在该示例中，用户提供输入并且处理器12根据该用户输入确定景象70中的感兴趣的区域为树73。感兴趣的区域在图4B中由虚线74所指示。在本发明的一些实施例中，在处理器12已经确定了感兴趣的区域之后，它可以控制显示器27以向用户60标识确定的感兴趣的区域。例如，感兴趣的区域74可以由处理器12在显示器27上突出显示。
在该示例中，处理器12还通过控制一个或多个驱动25以移动光学装置24和/或图像传感器22来对感兴趣的区域74对焦来对感兴趣的区域74的确定做出响应。例如，感兴趣的区域74可以在焦而其它区域则可以失焦。
用户60然后在用户输入电路装置28处提供用户输入以使得装置20捕捉静态图像。响应于该用户输入，在图3的框303处，处理器12发起包括感兴趣的区域74的静态图像的捕捉。例如，处理器12可以对图像传感器22进行重置，然后使得图像传感器22暴露于从景象70发出并由光学装置24传送至图像传感器22的光。
装置20可能在捕捉静态图像（并且图像传感器22被曝光）的同时发生移动。例如，由于外力被施加于装置20，因此装置20可能在捕捉静态图像的同时发生晃动（不规则移动）。如果装置20在捕捉静态图像时被用户拿在（两）手中，则外力可能是由用户手抖所提供的。备选地，如果装置20在捕捉静态图像时被定位在三脚架上，则外力可能是由风提供的。
装置20的移动会使得图像传感器移动，从而改变在图像传感器22处被成像的景象70并且使得成像的景物72、73在图像传感器22处的位置有所变化。此外，由于图像传感器关于景象70的视角在装置20移动时发生变化，所以每个被成像的景物72、73的形状也有所变化。例如，关于图4B所示的景象70，房屋72的形状和树73的形状将会有所变化。
在图3的框304处，处理器12在图像捕捉期间接收来自一个或多个运动检测器26的输入。其根据该输入而检测到装置20正在移动。
在图3的框305处，处理器12依据检测的装置20的移动和一个或多个感兴趣的区域74对图像传感器22和光学装置24中的至少一个的移动进行控制，以便减轻被捕捉的静态图像中的一个或多个感兴趣的区域74处的视角误差。
图5图示了包括图像传感器22和光学装置24的示意图。以参考标号90指明的箭头图示了从景象70发出的光。以参考标号92指明的箭头图示了从光学装置24传送至图像传感器22的光。处理器12通过使得图像传感器22和/或光学装置24移动来对装置20的移动进行补偿。在此示例中，图像传感器22和/或光学装置24被配置为相对于彼此以平移而非旋转的方式移动。换言之，图像传感器22和/或光学装置24被配置为在如下方向中的至少一个方向上移动：+/-x方向，+/-y方向和+/-z方向。优选地，图像传感器22和光学装置24中的至少一个被配置为至少在+/-x方向上和+/-y方向上移动。
在此示例中，图像传感器22不能够相对于光学装置24发生倾斜/旋转，光学装置24也不能够关于图像传感器222发生倾斜/旋转。
当装置20（例如，由于用户手抖而）在静态图像捕捉期间移动时，处理器12使用一个或多个驱动25移动图像传感器22和/或光学装置24以对装置20的移动进行补偿，从而被图像传感器22所成像的景象70在图像传感器22处基本保持恒定（换言之，被成像的景物72、73基本保持在图像传感器22的相同地方）。这使得所产生的静态图像中的模糊有所减轻。
处理器12还使用一个或多个驱动25移动图像传感器22和/或光学装置24以减轻被捕捉的图像中的视角误差。这进一步减轻了所产生的静态图像中的模糊。
处理器12控制图像传感器22和/或光学装置24以根据已确定的校正矢量进行移动。图6图示了可以如何确定校正矢量84的示例。
为了确定校正矢量84，处理器12例如可以对装置20在离散时间段内的移动进行监测（并且因此对图像传感器22的移动进行监测）。
在此示例中，在特定的离散时间段内，装置20在+y方向上移动，使得显示的景象70中的景物72、73在-y方向上移动。处理器12确定图像传感器22和/或光学装置24在-y方向上的平移移动将对装置20的移动进行补偿（以使得景象70中的景物72、73的位置在图像传感器22处基本保持恒定）。处理器12所确定的用于对此进行补偿的平移移动矢量被图示为图6所示的“装置移动矢量80”。
处理器12还确定图像传感器22和/或光学装置24在+x方向上的平移移动将使在感兴趣的区域74处由于装置20在静态图像捕捉期间的移动而导致的视角误差有所减轻。处理器12所确定的对该视角误差进行补偿的平移移动矢量在图6中被图示为“视角误差矢量82”。视角误差矢量82的方向和量值取决于被成像的景象70中的感兴趣的区域74以及装置20在该离散时间段内的移动的方向和量值。
在此示例中，处理器12所导致的图像传感器22和/或光学装置24的移动会使得视角误差在感兴趣的区域而非在静态图像中的其它区域中有所减轻。本领域技术人员将要意识到的是，图像传感器22和/或光学装置24的用于减轻感兴趣的区域74处的视角误差的移动会在静态图像中用户60较不感兴趣的其它部分之中引入视角误差。因此，减轻一个或多个感兴趣的区域的视角误差导致静态图像中的一个或多个感兴趣的区域看上去比其原本更为清晰（sharp），而且会导致静态图像中的其它区域看上去比其原本更为模糊。
图6中所图示的校正矢量84指示了图像传感器22和/或光学装置24如何移动以对装置20的移动进行补偿，并且它是装置移动矢量80和视角误差矢量82之和。
处理器12监测装置20在离散时间段内的移动并且控制图像传感器22和/或光学装置24如以上所描述的那样进行移动。实际上，离散时间段可能非常短，以使得图像传感器22和/或光学装置24看上去是在连续移动。
在本发明的一些实施例中，如以上所解释的，用户60可以指定多于一个感兴趣的区域。在这些实施例中，处理器12可以对图像传感器22和/或光学装置24进行控制以使得感兴趣的区域中的视角误差在一定程度上有所减小/减轻。
在一些实施方式中，视角误差在每个感兴趣的区域中的减轻程度可以是相同的。在其它实施方式中，处理器12可以令特定感兴趣的区域（或多个特定感兴趣的区域）优先于其它感兴趣的区域并且使得在更为优先的区域中的视角误差相比其他区域中的视角误差在更大程度上有所减轻。例如，包括人脸的感兴趣的区域可以优先于并不包括人脸的其它感兴趣的区域。被捕捉的图像中较大的人脸（也就是与图像传感器最为接近的那些人脸）可以优先于较小的人脸。备选地或者附加的，处理器12可以使用图像识别技术来识别人脸，并且可以令识别出的人脸优先于未识别出的人脸。
如以上所描述的本发明实施例提供了一种减轻静态图像的感兴趣的区域中的视角误差的方法。有利地，在本发明的实施例中，不必旋转/倾斜图像传感器22或光学装置24。这使得装置20能够具有相对小的厚度。
对“计算机可读存储介质”、“计算机程序产品”、“有形实现的计算机程序”等或者“控制器”、“计算机”、“处理器”等的引用应当被理解为不仅包含具有诸如单/多处理器架构和顺序（冯·诺依曼）/并行架构之类的不同架构的计算机，而且包含诸如现场可编程门阵列（FPGA）、应用特定集成电路（ASIC）、信号处理器设备和其它处理电路装置的专用电路。对计算机程序、指令、代码等的引用应当被理解为包含用于可编程处理器或固件的软件，例如硬件设备的可编程内容，而无论其是否为用于处理器的指令，或者是用于固定功能的设备、门阵列或可编程逻辑设备等的配置设置。
如本申请中所使用的，术语“电路装置”是指以下的全部：
（a）仅硬件的电路实施方式（比如仅为模拟电路装置和/或数字电路装置的实施方式），
（b）电路和软件（和/或固件）的组合，比如（如可应用的）：（i）一个或多个处理器的组合或者（ii）一起工作以使得诸如移动电话或服务器之类的装置执行各种功能的（包括一个或多个数字信号处理器的）一个或多个处理器/软件的部分、软件和一个或多个存储器，以及
（c）诸如一个或多个微处理器或一个或多个微处理器的部分的电路，其需要软件或固件以便进行操作，即便该软件或固件并非物理存在。
“电路装置”的这个定义适用于该术语在本申请中的所有使用，包括在任意权利要求中的使用。作为另外的示例，如本申请中使用的那样，术语“电路装置”还将覆盖仅处理器（或多个处理器）的部分及其所附软件和/或固件的实现方式。作为示例并且可应用特定的于权利要求的要素的情况下，术语“电路装置”还将覆盖用于移动电话的基带集成电路或应用处理器集成电路，或者服务器、蜂窝网络设备或其它网络设备中的类似集成电路。
图3所示的框可以表示方法中的步骤和/或计算机程序16中的代码段。针对该框的特定顺序的图示并非必然暗示针对该框具有所要求或优选的顺序，并且框的顺序和排列可以有所变化。此外，一些框可能被省略。
虽然已经参考各种示例在之前的段落中描述了本发明的实施例，但是将要领会的是，可以在不偏离如所请求保护的本发明范围的情况下对所给出的示例做出修改。例如，装置20可以进一步包括位置传感器，其被配置为验证图像传感器22和/或光学装置24的位置并且向处理器12提供适当输入。
以上以静态图像捕捉为上下文对本发明的实施例进行了描述。在本发明的其它实施例中，可以捕捉视频图像而不是静态图像。可以使用以上所描述的技术来减轻视频图像的至少一个感兴趣的区域中的视角误差。
在本发明的一些实施例中，装置20不必包括显示器27。
在针对以上所描述示例的一些备选示例中，用户60可以以与以上所描述的有所不同的方式提供输入以指定一个或多个感兴趣的区域。在那些示例中的一些示例中，用户输入电路装置28可以包括快门按键。用户可以部分按下快门按键以指定感兴趣的区域（例如，在显示在显示器27上的景象70的中心）。用户60然后可以在需要的情况下重新调整相机光圈的位置和/或定向以捕捉静态图像。这一重新调节之后的感兴趣的区域可以或无需处于所捕捉静态图像的中心。
在这些备选示例中，处理器12可以通过在所指定感兴趣的区域中的要素跨图像传感器22/显示的景象70进行移动时对该要素进行追踪而在相机光圈移动时保持所指定的感兴趣的区域。备选地或附加地，处理器12可以使用由一个或多个运动检测器26提供的输入来追踪感兴趣的区域。
前面的描述中所描述的特征可以以与所明确描述的组合不同的组合而被使用。
虽然已经参考某些特征对功能进行了描述，但是那些功能可以由其它特征来执行而无论该特征是否被描述。
虽然已经参考某些实施例对特征进行了描述，但是那些特征可以出现在其它实施例中而无论该实施例是否被描述。
虽然在以上说明书中尽力引起对本发明中被认为是特别重要的那些特征的关注，但是应当理解，申请人要求关于之前所引用和/或附图中所示出的任意可获专利的特征或特征组合进行保护而无论是否对其做出了特别的强调。
Claims (20)
1.一种用于校正图像视角误差的装置，包括：
至少一个处理器；以及
存储有包括计算机程序指令的计算机程序的至少一个存储器，所述计算机程序指令在由所述至少一个处理器执行时，至少使得如下操作被执行：
在图像传感器所成像的景象中确定至少一个感兴趣的区域；
通过使得所述图像传感器暴露于光学装置所传送的光而发起包括所述至少一个感兴趣的区域的图像的捕捉；
检测所述装置在所述图像的捕捉期间的移动；以及
依据检测的所述装置的移动和所述至少一个感兴趣的区域来对所述图像传感器和所述光学装置中的至少一个的补偿移动进行控制，以便在被捕捉的所述图像中的所述至少一个感兴趣的区域处减轻由检测的所述移动导致的视角误差，
其中依据由检测的所述移动导致的所述至少一个感兴趣的区域的x方向矢量和y方向矢量在离散时间段内的位置的改变的量值和确定的方向之和来对所述补偿移动进行控制，并且其中所述x方向矢量和所述y方向矢量在所述离散时间段内的所述改变的所述量值和所述确定的方向取决于在检测的所述移动之前所述至少一个感兴趣的区域的初始位置。
2.根据权利要求1所述的装置，其中所述补偿移动包括所述装置的所述图像传感器和所述光学装置中的至少一个的移动，所述移动被控制以使得被捕捉的所述图像中的所述至少一个感兴趣的区域的至少位置在检测的所述移动期间在所述装置的所述图像传感器处保持恒定。
3.根据权利要求1或2所述的装置，其中所述至少一个感兴趣的区域包括多于一个感兴趣的区域，并且其中依据由检测的所述移动导致的所述多于一个感兴趣的区域的x方向矢量和y方向矢量在离散时间段内在所述装置的所述图像传感器处的位置的改变的量值和确定的方向之和来对所述补偿移动进行控制。
4.根据权利要求1或2所述的装置，其中所述景象中的所述至少一个感兴趣的区域根据用户输入被确定，并且其中所述用户输入是在触敏显示器处提供的用户触摸。
5.根据权利要求2所述的装置，其中对所述装置的所述图像传感器和所述光学装置中的至少一个的补偿移动进行进一步控制以使得被捕捉的所述图像中的所述至少一个感兴趣的区域的至少形状在检测的所述移动期间在所述装置的所述图像传感器处保持恒定。
6.根据前述权利要求1或2所述的装置，其中在所述图像的捕捉期间检测所述装置的移动包括在所述图像被捕捉的同时检测所述至少一个感兴趣的区域从所述图像传感器的视角的位置和形状中的改变。
7.根据前述权利要求1或2所述的装置，其中所述图像传感器所成像的所述景象被显示在显示器上，并且所述至少一个感兴趣的区域是所述显示器上所显示的所述景象的至少一个分区。
8.根据前述权利要求1或2所述的装置，其中确定多个感兴趣的区域，并且对所述图像传感器和所述光学装置中的至少一个的补偿移动进行控制以使得被捕捉的所述图像中的所述多个感兴趣的区域的至少位置在检测的所述移动期间在所述装置的所述图像传感器处保持恒定。
9.根据权利要求1或2所述的装置，其中仅确定单个感兴趣的区域，并且对所述图像传感器和所述光学装置中的至少一个的补偿移动进行控制以使得被捕捉的所述图像中的所述单个感兴趣的区域的至少位置在检测的所述移动期间在所述装置的所述图像传感器处保持恒定。
10.根据前述权利要求3所述的装置，其中所述x方向矢量和所述y方向矢量在所述离散时间段内的所述改变的所述量值和所述确定的方向取决于在检测的所述移动之前多于一个感兴趣的区域的初始位置。
11.根据前述权利要求1或2所述的装置，其中所述图像是静态图像或视频图像。
12.一种用于校正图像视角误差的方法，包括：
在装置的图像传感器所成像的景象中确定至少一个感兴趣的区域；
通过使得所述图像传感器暴露于光学装置所传送的光而发起包括所述至少一个感兴趣的区域的图像的捕捉；
检测所述装置在所述图像的捕捉期间的移动；以及
依据检测的所述装置的移动和所述至少一个感兴趣的区域来对所述图像传感器和所述光学装置中的至少一个的补偿移动进行控制，以便在被捕捉的所述图像中的所述至少一个感兴趣的区域处减轻由检测的所述移动导致的视角误差，
其中依据由检测的所述移动导致的所述至少一个感兴趣的区域的x方向矢量和y方向矢量在离散时间段内的位置的改变的量值和确定的方向之和来对所述补偿移动进行控制，并且其中所述x方向矢量和所述y方向矢量在所述离散时间段内的所述改变的所述量值和所述确定的方向取决于在检测的所述移动之前所述至少一个感兴趣的区域的初始位置。
13.根据权利要求12所述的方法，其中所述至少一个感兴趣的区域包括多于一个感兴趣的区域，并且其中依据由检测的所述移动导致的所述多于一个感兴趣的区域的x方向矢量和y方向矢量在离散时间段内在所述装置的所述图像传感器处的位置的改变的量值和确定的方向之和来对所述补偿移动进行控制。
14.根据权利要求12或13所述的方法，其中所述补偿移动包括所述图像传感器和所述光学装置中的至少一个的移动，所述移动被控制以使得被捕捉的所述图像中的所述至少一个感兴趣的区域的至少位置在检测的所述移动期间在所述图像传感器处保持恒定。
15.根据权利要求12或13所述的方法，其中所述景象中的所述至少一个感兴趣的区域根据用户输入被确定。
16.根据权利要求12或13所述的方法，其中在所述图像的捕捉期间检测所述装置的移动包括在所述图像被捕捉的同时检测所述至少一个感兴趣的区域从所述图像传感器的视角的位置和形状中的改变。
17.根据权利要求12或13所述的方法，其中所述图像传感器所成像的所述景象被显示在显示器上，并且至少一个感兴趣的区域是所述显示器上所显示的所述景象的至少一个分区。
18.一种用于校正图像视角误差的设备，包括：
用于在设备的图像传感器所成像的景象中确定至少一个感兴趣的区域的装置；
用于通过使得所述图像传感器暴露于光学装置所传送的光而发起包括所述至少一个感兴趣的区域的图像的捕捉的装置；
用于检测所述设备在所述图像的捕捉期间的移动的装置；以及
用于依据检测的所述设备的移动和所述至少一个感兴趣的区域来对所述图像传感器和所述光学装置中的至少一个的补偿移动进行控制，以便在被捕捉的所述图像中的所述至少一个感兴趣的区域处减轻由检测的所述移动导致的视角误差的装置，
其中依据由检测的所述移动导致的所述至少一个感兴趣的区域的x方向矢量和y方向矢量在离散时间段内的位置的改变的量值和确定的方向之和来对所述补偿移动进行控制，并且其中所述x方向矢量和所述y方向矢量在所述离散时间段内的所述改变的所述量值和所述确定的方向取决于在检测的所述移动之前所述至少一个感兴趣的区域的初始位置。
19.根据权利要求18所述的设备，其中所述补偿移动包括所述图像传感器和所述光学装置中的至少一个的移动，所述移动被控制以使得被捕捉的所述图像中的所述至少一个感兴趣的区域的至少位置在检测的所述移动期间在所述图像传感器处保持恒定。
20.根据权利要求18或19所述的设备，其中用于在所述图像的捕捉期间检测所述设备的移动的装置包括用于在所述图像被捕捉的同时检测所述至少一个感兴趣的区域从所述图像传感器的视角的位置和形状中的改变的装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US13/082,863 | 2011-04-08 | ||
| US13/082,863 US9204047B2 (en) | 2011-04-08 | 2011-04-08 | Imaging |
| PCT/IB2012/051430 WO2012137096A1 (en) | 2011-04-08 | 2012-03-26 | Image perspective error correcting apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103503435A CN103503435A (zh) | 2014-01-08 |
| CN103503435B true CN103503435B (zh) | 2017-04-05 |
Family
ID=46965815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201280021986.XA Active CN103503435B (zh) | 2011-04-08 | 2012-03-26 | 图像视角误差校正装置和方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9204047B2 (zh) |
| EP (1) | EP2695376A4 (zh) |
| CN (1) | CN103503435B (zh) |
| WO (1) | WO2012137096A1 (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102383134B1 (ko) * | 2017-11-03 | 2022-04-06 | 삼성전자주식회사 | 우선 순위에 기반하여 이미지를 처리하는 전자 장치 및 그 동작 방법 |
| US10547790B2 (en) * | 2018-06-14 | 2020-01-28 | Google Llc | Camera area locking |
| DE102019105275A1 (de) * | 2019-03-01 | 2020-09-03 | Connaught Electronics Ltd. | Verfahren und System zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs |
| CN110225251B (zh) * | 2019-05-31 | 2020-10-16 | 维沃移动通信（杭州）有限公司 | 一种视频录制方法及终端 |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3572939A (en) | 1968-07-22 | 1971-03-30 | Eastman Kodak Co | Photoelectric lens bench and method for testing optical systems |
| GB0116877D0 (en) * | 2001-07-10 | 2001-09-05 | Hewlett Packard Co | Intelligent feature selection and pan zoom control |
| US6801717B1 (en) * | 2003-04-02 | 2004-10-05 | Hewlett-Packard Development Company, L.P. | Method and apparatus for controlling the depth of field using multiple user interface markers |
| JP2005077886A (ja) | 2003-09-02 | 2005-03-24 | Canon Inc | 撮影装置 |
| US20050156915A1 (en) | 2004-01-16 | 2005-07-21 | Fisher Edward N. | Handwritten character recording and recognition device |
| JP4531484B2 (ja) | 2004-08-16 | 2010-08-25 | パナソニック株式会社 | カメラシステム |
| US7990412B2 (en) | 2004-11-01 | 2011-08-02 | Hewlett-Packard Development Company, L.P. | Systems and methods for correcting image perspective |
| BRPI0405039C1 (pt) | 2004-11-18 | 2005-10-18 | Audaces Automacao E Informatic | Porta-molde magnético |
| US7791642B2 (en) * | 2004-12-13 | 2010-09-07 | Fujifilm Corporation | Image-taking apparatus |
| JP2006215766A (ja) | 2005-02-03 | 2006-08-17 | Victor Co Of Japan Ltd | 画像表示装置、画像表示方法及び画像表示プログラム |
| EP1768387B1 (en) | 2005-09-22 | 2014-11-05 | Samsung Electronics Co., Ltd. | Image capturing apparatus with image compensation and method therefor |
| EP1938577B1 (en) | 2005-10-21 | 2013-08-14 | Nokia Corporation | A method and a device for reducing motion distortion in digital imaging |
| JP4766320B2 (ja) * | 2006-02-06 | 2011-09-07 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| JP2008020716A (ja) * | 2006-07-13 | 2008-01-31 | Pentax Corp | 像ぶれ補正装置 |
| US7664384B2 (en) * | 2006-11-07 | 2010-02-16 | Sony Ericsson Mobile Communications Ab | User defined autofocus area |
| JP4201809B2 (ja) | 2006-11-13 | 2008-12-24 | 三洋電機株式会社 | 手ぶれ補正装置及び方法並びに撮像装置 |
| KR100819301B1 (ko) | 2006-12-20 | 2008-04-03 | 삼성전자주식회사 | 모바일 기기용 카메라 모듈의 손떨림 보정 방법 및 장치 |
| CN101408709B (zh) | 2007-10-10 | 2010-09-29 | 鸿富锦精密工业（深圳）有限公司 | 影像撷取装置及其自动对焦方法 |
| US8259208B2 (en) * | 2008-04-15 | 2012-09-04 | Sony Corporation | Method and apparatus for performing touch-based adjustments within imaging devices |
| US8237807B2 (en) * | 2008-07-24 | 2012-08-07 | Apple Inc. | Image capturing device with touch screen for adjusting camera settings |
| KR20100013171A (ko) | 2008-07-30 | 2010-02-09 | 삼성디지털이미징 주식회사 | 오토 포커스 영역의 움직임 보상 방법 및 장치, 이를이용한 오토 포커스 방법 및 장치 |
| US8493454B1 (en) * | 2010-02-17 | 2013-07-23 | Ambarella, Inc. | System for camera motion compensation |
| US8558923B2 (en) * | 2010-05-03 | 2013-10-15 | Canon Kabushiki Kaisha | Image capturing apparatus and method for selective real time focus/parameter adjustment |
| US8934050B2 (en) * | 2010-05-27 | 2015-01-13 | Canon Kabushiki Kaisha | User interface and method for exposure adjustment in an image capturing device |
| US8625021B2 (en) * | 2010-08-30 | 2014-01-07 | Canon Kabushiki Kaisha | Image capture with region-based adjustment of imaging properties |
| US8823829B2 (en) * | 2010-09-16 | 2014-09-02 | Canon Kabushiki Kaisha | Image capture with adjustment of imaging properties at transitions between regions |
| US8780251B2 (en) * | 2010-09-20 | 2014-07-15 | Canon Kabushiki Kaisha | Image capture with focus adjustment |
| US8704929B2 (en) * | 2010-11-30 | 2014-04-22 | Canon Kabushiki Kaisha | System and method for user guidance of photographic composition in image acquisition systems |
| US8760561B2 (en) * | 2011-02-23 | 2014-06-24 | Canon Kabushiki Kaisha | Image capture for spectral profiling of objects in a scene |
-
2011
- 2011-04-08 US US13/082,863 patent/US9204047B2/en active Active
-
2012
- 2012-03-26 EP EP12768230.0A patent/EP2695376A4/en not_active Ceased
- 2012-03-26 CN CN201280021986.XA patent/CN103503435B/zh active Active
- 2012-03-26 WO PCT/IB2012/051430 patent/WO2012137096A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| CN103503435A (zh) | 2014-01-08 |
| US20120257069A1 (en) | 2012-10-11 |
| US9204047B2 (en) | 2015-12-01 |
| WO2012137096A1 (en) | 2012-10-11 |
| EP2695376A4 (en) | 2014-10-08 |
| EP2695376A1 (en) | 2014-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102502404B1 (ko) | 정보 처리 장치 및 방법, 그리고 프로그램 | |
| EP3443736B1 (en) | Method and apparatus for video content stabilization | |
| JP6877149B2 (ja) | 撮影位置推薦方法、コンピュータプログラムおよび撮影位置推薦システム | |
| CN108881703B (zh) | 防抖控制方法和装置 | |
| US20150215532A1 (en) | Panoramic image capture | |
| JP7197981B2 (ja) | カメラ、端末装置、カメラの制御方法、端末装置の制御方法、およびプログラム | |
| US10516823B2 (en) | Camera with movement detection | |
| KR102155895B1 (ko) | 객체를 추적하여 영상을 수신하는 방법 및 장치 | |
| JP2014160226A (ja) | 撮像装置 | |
| CN103503435B (zh) | 图像视角误差校正装置和方法 | |
| CN111093020B (zh) | 信息处理方法、摄像头模组和电子设备 | |
| JP6098873B2 (ja) | 撮像装置および画像処理装置 | |
| KR102474729B1 (ko) | 모니터링 장치 | |
| JP6128109B2 (ja) | 撮影装置、撮影方向の制御方法及びプログラム | |
| JP2014068335A (ja) | 撮像装置および画像処理方法 | |
| CN113744299B (zh) | 一种相机控制方法、装置、电子设备及存储介质 | |
| US8965045B2 (en) | Image capture | |
| EP3040835B1 (en) | Image navigation | |
| JP6483661B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
| JP2016111561A (ja) | 情報処理装置、システム、情報処理方法及びプログラム | |
| CN111263115B (zh) | 用于呈现图像的方法、装置、电子设备和计算机可读介质 | |
| CN110892705A (zh) | 通过判断最佳状况来进行拍摄的方法及执行该方法的装置 | |
| GB2525175A (en) | Imaging | |
| JP2023115703A (ja) | 映像監視装置、映像監視方法、及びプログラム | |
| EP3059669A1 (en) | Controlling display of video content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20160201 Address after: Espoo, Finland Applicant after: Technology Co., Ltd. of Nokia Address before: Espoo, Finland Applicant before: Nokia Oyj |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |