CN108141529A - 用于执行自动变焦的系统和方法 - Google Patents

用于执行自动变焦的系统和方法 Download PDF

Info

Publication number
CN108141529A
CN108141529A CN201680056010.4A CN201680056010A CN108141529A CN 108141529 A CN108141529 A CN 108141529A CN 201680056010 A CN201680056010 A CN 201680056010A CN 108141529 A CN108141529 A CN 108141529A
Authority
CN
China
Prior art keywords
zoom
area
electronic device
zoom area
global motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680056010.4A
Other languages
English (en)
Other versions
CN108141529B (zh
Inventor
高经纶
高大山
钟辛
齐颖勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108141529A publication Critical patent/CN108141529A/zh
Application granted granted Critical
Publication of CN108141529B publication Critical patent/CN108141529B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明描述一种电子装置。所述电子装置包含处理器。所述处理器经配置以获得多个图像。所述处理器还经配置以获得全局运动信息，所述全局运动信息指示所述多个图像中的至少两者之间的全局运动。所述处理器进一步经配置以获得对象跟踪信息，所述对象跟踪信息指示被跟踪对象在所述多个图像中的所述至少两者之间的运动。所述处理器另外经配置以基于所述全局运动信息和所述对象跟踪信息执行自动变焦。执行自动变焦产生包含所述被跟踪对象的变焦区域。所述处理器经配置以基于所述被跟踪对象在所述变焦区域内的位置确定所述变焦区域的运动响应速度。

Description

用于执行自动变焦的系统和方法
相关申请
本申请涉及且要求2015年9月28日提交的美国临时专利申请第62/233,594号“用于执行自动变焦的系统和方法(SYSTEMS AND METHODS FOR PERFORMING AUTOMATICZOOM)”的优先权。
技术领域
本发明大体上涉及电子装置。更具体地说，本发明涉及用于执行自动变焦的系统和方法。
背景技术
一些电子装置(例如，相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机、电视机、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，耳机)、扩增现实装置(例如，耳机)、混合现实装置(例如，耳机)、运动相机、监控摄像头、安装摄像头、互联摄像头、机器人、无人机、智能应用程序、医疗保健设备、机顶盒等)捕捉和/或利用图像。举例来说，智能电话可以捕捉和/或处理静态图像和/或视频图像。所述图像可经处理、显示、存储和/或发射。所述图像可描绘例如包含景观和/或对象的场景。
在一些情况下，可能难以提供自动功能性。举例来说，可能难以提供自动图像捕捉和/或调整。如可从此论述观察到，改进图像捕捉的系统和方法可能是有益的。
发明内容
描述一种电子装置。所述电子装置包含处理器。所述处理器经配置以获得多个图像。所述处理器还经配置以获得全局运动信息，所述全局运动信息指示所述多个图像中的至少两者之间的全局运动。所述处理器进一步经配置以获得对象跟踪信息，所述对象跟踪信息指示被跟踪对象在所述多个图像中的所述至少两者之间的运动。所述处理器另外经配置以基于所述全局运动信息和所述对象跟踪信息执行自动变焦。执行自动变焦产生包含所述被跟踪对象的变焦区域。所述处理器经配置以基于所述被跟踪对象在所述变焦区域内的位置确定所述变焦区域的运动响应速度。所述处理器可经配置以基于所述变焦区域中的至少两个区确定所述变焦区域的所述运动响应速度。
所述处理器可经配置以基于相机输入的完整视场执行对象跟踪。所述处理器可经配置以基于所述全局运动信息和被跟踪对象与所述变焦区域的锚点之间的距离确定变焦区域运动。所述处理器可经配置以在所述变焦区域进入边界缓冲区且被跟踪对象正朝向图像界线移动的情况下补偿全局运动。
所述处理器可经配置以在跟踪区域与所述变焦区域的尺寸比率小于最小变焦阈值的情况下增大变焦。所述处理器可经配置以在所述尺寸比率大于最大变焦阈值的情况下减小变焦。所述最小变焦阈值与所述最大变焦阈值之间可能存在一范围。
所述处理器可经配置以基于历史表格执行所述自动变焦。所述处理器可经配置以基于对象运动在帧之间调整变焦等级。
还描述一种方法。所述方法包含获得多个图像。所述方法还包含获得全局运动信息，所述全局运动信息指示所述多个图像中的至少两者之间的全局运动。所述方法进一步包含获得对象跟踪信息，所述对象跟踪信息指示被跟踪对象在所述多个图像中的至少两者之间的运动。所述方法另外包含基于所述全局运动信息及所述对象跟踪信息执行自动变焦。执行自动变焦产生包含所述被跟踪对象的变焦区域。执行自动变焦包含基于所述被跟踪对象在所述变焦区域内的位置确定所述变焦区域的运动响应速度。
还描述一种计算机程序产品。所述计算机程序产品包含具有指令的非暂时性有形计算机可读媒体。所述指令包含用于使得电子装置获得多个图像的代码。所述指令还包含用于使得所述电子装置获得全局运动信息的代码，所述全局运动信息指示所述多个图像中的至少两者之间的全局运动。所述指令进一步包含用于使得所述电子装置获得对象跟踪信息的代码，所述对象跟踪信息指示被跟踪对象在所述多个图像中的至少两者之间的运动。所述指令另外包含用于使得所述电子装置基于所述全局运动信息和所述对象跟踪信息执行自动变焦的代码。执行自动变焦产生包含所述被跟踪对象的变焦区域。所述用于使得所述电子装置执行自动变焦的代码包括用于使得所述电子装置基于所述被跟踪对象在所述变焦区域内的位置确定所述变焦区域的运动响应速度的代码。
还描述一种设备。所述设备包含用于获得多个图像的装置。所述设备还包含用于获得全局运动信息的装置，所述全局运动信息指示所述多个图像中的至少两者之间的全局运动。所述设备进一步包含用于获得对象跟踪信息的装置，所述对象跟踪信息指示被跟踪对象在所述多个图像中的至少两者之间的运动。所述设备另外包含用于基于所述全局运动信息和所述对象跟踪信息执行自动变焦的装置。执行自动变焦产生包含所述被跟踪对象的变焦区域。所述用于执行自动变焦的装置包含用于基于所述被跟踪对象在所述变焦区域内的位置确定所述变焦区域的运动响应速度的装置。
附图说明
图1是说明电子装置的一个实例的框图，可在所述实例中实施用于执行自动变焦的系统和方法；
图2是说明用于执行自动变焦的方法的一种配置的流程图；
图3是说明自动变焦管线的一个实例的框图；
图4是说明确定变焦区域的实例的图式；
图5说明具有两个区的双态方法的实例；
图6说明过渡区的实例；
图7是说明帧边界缓冲区的一个实例的图式；
图8是控制变焦等级的方法的实例；
图9是说明用于执行自动变焦的方法的一种配置的流程图；及
图10说明可包含在经配置以实施本文中所揭示的系统和方法的各种配置的电子装置内的某些组件。
具体实施方式
本文中所揭示的系统和方法涉及执行自动变焦。变焦效应是各种应用中的一特征。举例来说，变焦可放大图像中的所关注区域从而使得用户可在显示器上查看放大场景和/或视频剪辑中录入放大场景。用于变焦的一些方法包含“捏合变焦(pinch and zoom)”方法，其可能仅允许用户查看位于视场中心的放大区域。如果所关注区域并不位于中心，那么变焦等级可受影响(例如，受限)。此外，“捏合变焦”方法可能需要实质性用户输入和/或在所关注对象处于运动中和/或并不位于视场中心时不能提供良好性能。
以下给出变焦的一些方法。捏合变焦可为一种可在智能电话相机应用中实施的变焦方法。在这种方法中，变焦效应可放大帧的中心区域。因此，当所关注对象并不位于中心时，变焦效应可能达不到最佳变焦等级和/或可能消除场景中的所关注对象。此外，可能需要实质性用户输入以放大和缩小照片和/或视频捕捉。相机视图的视场可与变焦区域相同。因此，用户可能难以通过放大和缩小来捕捉所关注移动对象从而找到所关注对象。
画中画(PiP)为变焦的另一方法。一些装置可包含PiP相机特征，其中子图(例如，较大图片中的小矩形或窗口)展示所选区域的放大效应。以这种方法，经变焦区域可不限于帧的中心，并且可放大可能包含几乎整个视场的区域。以所述PiP方法，经变焦对象通常可出现在PiP的中心。相机移动和/或跟踪引起的摇晃和抖动可能被放大并引起降低的视觉效果。
另一种方法是智能电话上用于广播团队运动视频(例如，足球比赛)的自动视频变焦。以这种方法，变焦可基于检测到对象(例如，跟踪到的足球)。变焦比率可基于对象移动。然而，在这种方法中，对象可容易地脱离经变焦视图。
另一方法涉及使用无线传感器执行跟踪和变焦。以这种方法，仅可获取位置而不能获取尺寸信息。此外，变焦可仅基于中心(由于相机局限性)。这种方法可控制电动专业相机基于无线传感器平移和变焦。
如从前述论述可观察到的，可能有益的是提供一种变焦方法，其即使在对象处于运动和/或并不位于视场中心时也根据所关注对象的尺寸提供合适的变焦等级和/或利用较少(例如，最少)用户输入。提供这些益处的方法可提供改进用户体验。
本文中所揭示的系统和方法可涉及基于跟踪的自动变焦。举例来说，基于跟踪的自动变焦可提供一种自动机制，其根据被跟踪对象的位置和/或尺寸以减少的用户输入(例如，一次触摸)提供稳定经变焦视图。本文中揭示的系统和方法可实现良好的用户体验并且可能够获取高质量图像和/或视频剪辑。另外，通过减少摇晃和抖动，可根据本文中揭示的系统和方法提供的稳定经变焦视图可为有益的。这可能是有利的，因为人眼对于摇晃和抖动可能很敏感。
在一些配置中，变焦效应可基于被跟踪对象的移动、位置和/或尺寸自动改变。在确定变焦区域时可考虑整个视场。举例来说，本文中揭示的系统和方法可在确定变焦区域时利用图像传感器的整个视场。换句话说，变焦区域控制可基于整个图像传感器视场，并且可不受限于变焦区域自身内的视图。在一些配置中，跟踪器可获得用以选择所关注对象的单触式输入，并且接着可在预览和/或视频捕捉期间自动跟踪所关注对象。跟踪器还可对原始相机视场进行操作。举例来说，跟踪器可继续对原始视场而不仅仅是经裁切变焦区域进行操作。因此，所关注对象可在广角视场(其与例如相机传感器的视场相同)中移动，同时可在可提供放大的更集中视场的装置上查看和/或捕捉变焦区域。
现在参考图式描述各种配置，其中相同的参考标号可以指示功能上类似的元件。可以多种不同配置来布置及设计如本文中在图式中所大体描述及说明的系统和方法。因此，以下对图式中所展现的若干配置的更详细描述并不意图限制所主张的范围，而是仅表示系统和方法。
图1是说明电子装置102的一个实例的框图，可在所述实例中实施用于执行自动变焦的系统和方法。举例来说，电子装置102可经配置以自动放大和/或缩小一或多个图像和/或视频。电子装置102的实例包含相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)、平板装置、媒体播放器、电视机、运输工具、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，耳机)、扩增现实装置(例如，耳机)、混合现实装置(例如，耳机)、运动相机、监控摄像头、安装摄像头、互联摄像头、机器人、飞机、无人机、无人驾驶飞行器(UAV)、智能应用程序、医疗保健设备、游戏控制台、个人数字助理(PDA)、机顶盒、电气设备等。电子装置102可包含一或多个组件或元件。所述组件或元件中的一或多者可实施在硬件(例如，电路)或硬件与软件的组合(例如，具有指令的处理器)中。
在一些配置中，电子装置102可包含处理器112、存储器122、显示器124、一或多个图像传感器104、一或多个光学系统106和/或通信接口108。处理器112可与存储器122、显示器124、图像传感器104、光学系统106和/或通信接口108耦合(例如，与其电子通信)。处理器112可为通用单或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器112可被称为中央处理单元(CPU)。尽管仅在电子装置102中展示单个处理器112，但在替代配置中，可使用处理器的组合(例如，ISP和应用程序处理器、ARM和DSP等)。处理器112可经配置以实施本文中所揭示的方法中的一或多者。
在一些配置中，电子装置102可执行结合图2到10中的一或多者描述的功能、程序、方法、步骤等中的一或多者。另外或替代地，电子装置102可包含结合图2到10中的一或多个描述的结构中的一或多者。
通信接口108可使得电子装置102能够与一或多个其它电子装置通信。举例来说，通信接口108可提供用于有线和/或无线通信的接口。在一些配置中，通信接口108可耦合到一或多个天线110以用于发射和/或接收射频(RF)信号。另外或替代地，通信接口108可实现一或多个种类的有线(例如，通用串行总线(USB)、以太网等)通信。
在一些配置中，可实施和/或利用多个通信接口108。举例来说，一个通信接口108可为蜂窝式(例如，3G、长期演进(LTE)、CDMA等)通信接口108，另一通信接口108可为以太网接口，另一通信接口108可为通用串行总线(USB)接口，且又一通信接口108可为无线局域网(WLAN)接口(例如，电气电子工程师学会(IEEE)802.11接口)。在一些配置中，通信接口108可发送信息(例如，图像信息、环绕视图信息等)到另一装置(例如，运输工具、智能电话、相机、显示器、远程服务器等)和/或从另一装置接收信息。
电子装置102可获得一或多个图像(例如，数字图像、图像帧、帧、视频等)。举例来说，电子装置102可包含图像传感器104和光学系统106(例如，透镜)，所述光学系统106将位于光学系统106的视场内的场景和/或对象的图像对焦到图像传感器104上。相机(例如，可见光谱相机，或其它相机)可包含至少一个图像传感器和至少一个光学系统。相应地，在一些实施方案中，电子装置102可为一或多个相机和/或可包含一或多个相机。在一些配置中，图像传感器104可捕捉一或多个图像(例如，图像帧、视频、静态图像、成组方式图像等)。光学系统106可耦接到处理器112和/或受其控制。另外或替代地，电子装置102可从另一装置(例如，耦合到电子装置102的一或多个外部相机、网络服务器、交通摄像头、水下相机(dropcamera)、车用摄像头、网络摄像头等)请求和/或接收一或多个图像。在一些配置中，电子装置102可经由通信接口108请求和/或接收一或多个图像。举例来说，电子装置102可包含或可不包含相机(例如，图像传感器104和/或光学系统106)并且可从一或多个远程装置接收图像。图像(例如，图像帧)中的一或多者可包含一或多个场景和/或一或多个对象。
在一些配置中，电子装置102可包含图像数据缓冲器(未展示)。图像数据缓存器可缓冲(例如，存储)来自图像传感器104和/或外部相机的图像数据。经缓冲图像数据可被提供到处理器112。
在一些配置中，电子装置102可包含相机软件应用程序和/或一或多个显示器124。当相机应用程序正在运行时，图像传感器104可捕捉位于光学系统106的视场内的对象的图像。图像传感器104正捕捉的图像可呈现于显示器124上。举例来说，一或多个图像可被发送到显示器124以供用户查看。在一些配置中，这些图像可从存储器122重放，存储器122可包含较早捕捉的场景的图像数据。由电子装置102获得的一或多个图像可为一或多个视频帧和/或一或多个静态图像。在一些配置中，显示器124可呈现图像传感器104的完整视场和/或变焦区域。
处理器112可包含和/或实施图像获得器114。可将一或多个图像帧提供到图像获得器114。举例来说，图像获得器114可从一或多个图像传感器104获得图像帧。举例来说，图像获得器114可从一或多个图像传感器104和/或从一或多个外部相机接收图像数据。如上文所描述，图像可从包含在电子装置102中的图像传感器104捕捉或可从一或多个远程相机捕捉。
在一些配置中，图像获得器114可请求和/或接收一或多个图像(例如，图像帧等)。举例来说，图像获得器114可经由通信接口108从远程装置(例如，外部相机、远程服务器、远程电子装置等)请求和/或接收一或多个图像。从相机获得的图像可由处理器112处理以执行自动变焦。
处理器112可包含和/或实施对象跟踪器116。可将图像帧中的一或多者提供到对象跟踪器116。对象跟踪器116可在一或多个图像帧中跟踪一或多个对象。举例来说，对象跟踪器116可基于跟踪一或多个对象获得对象跟踪信息。对象跟踪信息可包含对应于被跟踪对象(例如，跟踪区域、限界区域、限界框、所关注区域(ROI)等)的位置信息和/或尺寸信息。在一些配置中，对象跟踪器116可实施触摸跟踪技术。举例来说，用户接口126可接收指示所关注对象的输入(例如，触摸输入、鼠标点选、手势等)。所述指示可经提供到对象跟踪器116。对象跟踪器116可确定包含所关注对象的跟踪区域(例如，限界区域、限界框、ROI等)的位置和/或尺寸。因此，在一些配置中，对象跟踪器116可基于相对较少的用户输入(例如，一次触摸)提供跟踪区域的位置和尺寸。基于跟踪信息，变焦控制器120(例如，自动变焦)可确定变焦区域的变焦等级和/或位置。对象跟踪器116的一些实例可实施光流。
在一些配置中，对象跟踪器116可基于(图像帧中的)当前帧的跟踪区域执行对象跟踪。举例来说，对象跟踪器116可尝试在帧之间跟踪图像内容(例如，对象)。对象跟踪可提供后续帧中的图像内容的估计位置。在一些配置中，对象跟踪器116可执行基于运动的对象跟踪。举例来说，对象跟踪器116可确定帧之间的对象运动(例如，对应于对象的运动向量)。在一些配置中，对象跟踪器116可不利用用于跟踪的帧减除方法。举例来说，帧减除通常可能需要取自相同视角的两个帧来起到适当的作用。本文中揭示的系统和方法的一些配置可不假设两个帧取自相同视角。举例来说，在一些配置中，可假设相机可处于运动中。
对象跟踪器116可基于对象跟踪确定(图像帧中的)后续帧的跟踪区域(例如，限界区域、限界框、ROI等)。举例来说，对象跟踪器116可产生对应于所跟踪图像内容的后续帧的跟踪区域(例如，根据对应于被跟踪对象的运动向量)。在一些配置中，对象跟踪器116可利用从当前帧跟踪区域提取的一或多个特征(例如，特征向量)来确定对应的后续帧跟踪区域。举例来说，对象跟踪器116可基于跟踪区域(例如，所检测跟踪区域、对应于用户输入的跟踪区域等)提取一或多个特征。
处理器112可包含和/或实施全局运动估计器118。举例来说，利用全局运动估计方法来估计相机的运动。全局运动估计器118可估计帧之间的全局运动(例如，执行全局运动估计)。全局运动可为内容(例如所有内容或一般来说的内容)在帧之间的运动。全局运动信息可为全局运动的指示符和/或估计值。在一些配置中，确定全局运动信息可包含计算帧之间的一或多个运动向量(例如，使用光流)。举例来说，全局运动向量可跨越帧的大部分。在一些配置中，全局运动向量可覆盖帧的特定比例。举例来说，全局运动向量可跨越和/或考虑图像的90％(并且可忽略例如边界)。在一些配置中，可在图像上的网格图案中确定全局运动向量。在一些方法中，可仅基于输入图像(物其它输入运动信息，例如来自如例如加速计和/或陀螺仪的运动传感器的运动信息)确定全局运动。
在一些配置中，全局运动估计器118可另外或替代地基于其它运动传感器数据(例如，除图像数据以外)估计全局运动。举例来说，电子装置102可包含一或多个加速计、陀螺仪和/或其它运动传感器。由运动传感器感测的运动数据可被提供到全局运动估计器118。在一些配置中，全局运动估计器118可基于运动数据确定全局运动信息(例如，全局运动估计值)。在一些配置中，全局运动信息可独立于机械控制而确定。举例来说，全局运动信息可不基于机械控制信号(例如，控制用于移动相机(例如，平移和倾斜)的机械致动器的信号)。举例来说，估计全局运动可能并非确定性的，其中已知运动控制信号。
处理器112可包含和/或实施变焦控制器120。变焦控制器120可执行自动变焦。举例来说，变焦控制器120可控制变焦区域的位置、运动、运动响应速度、尺寸和/或变焦等级。变焦区域可为图像传感器104和/或远程相机的完整视场内的区域。举例来说，变焦区域可为完整视场的子区域(并且可例如与完整视场相关)。变焦区域内的图像内容可放大(例如，以数字方式缩放和/或增强等)以便放大图像内容。在一些配置中，执行自动变焦可基于全局运动信息和/或对象跟踪信息。变焦控制器120可根据结合图2到9中的一或多者描述的一或多个功能、程序和/或方法执行自动变焦。
在一些配置中，电子装置102可能能够确定跟踪信息、对象的移动和/或相机在现实世界中的移动。这种信息可用于改进变焦位置计算和/或场景稳定性。
本文中揭示的系统和方法可利用改进的变焦策略的一或多个方面。举例来说，变焦策略可能能够跟踪所关注对象和/或可力求使整体场景移动稳定。举例来说，经变焦区域可基于前景(被跟踪对象)和/或全局运动(例如，相机运动)来确定。当跟踪区域(例如，限界区域、限界框等)的尺寸改变时，可平滑地更新视图，以使得在变焦区域中以合理的比率显现所关注对象。在被跟踪对象在帧中失踪或跟踪器已失去跟踪的情况下，变焦策略可平滑地后退到原始视场(例如，完整视场)，其中质量不会比未提供自动变焦时更坏。
本文中揭示的系统和方法可实施以下特征中的一或多者。举例来说，电子装置102可执行基于跟踪的自动变焦。在一些配置中，变焦控制器120可借跟踪(例如，所关注区域(ROI))驱动变焦效应执行自动变焦。举例来说，变焦效应可基于被跟踪对象(例如，跟踪区域)的移动、位置和/或尺寸自动改变。在一些配置中，对象跟踪可在相机的整个视场上操作(例如，覆盖整个视场)。举例来说，对象跟踪可基于相机输入的完整视场(例如，即使在变焦区域不包含完整视场时也如此)。另外或替代地，变焦控制器120可基于对象运动在帧之间调整变焦等级。
在一些配置中，可利用最少用户输入。举例来说，对象跟踪(例如，由对象跟踪器116执行的对象跟踪)可基于单个对象指示(例如，单个像素的一个指示)。举例来说，对象跟踪器116可利用所接收输入所指示的位置(例如，像素)。在一些实例中，对象跟踪器116可利用单触式输入选择所关注对象。在其它方法中，对象跟踪器116可使用例如鼠标点选输入、触摸垫轻触输入、眼部跟踪位置或手势输入所指示的位置(例如，像素)。对象跟踪器116接着可在预览和/或视频捕捉期间自动跟踪所关注对象。
在一些配置中，可实施完整视场处理和/或显示。举例来说，可对原始相机视场(例如，相机(图像传感器104和光学系统)所捕捉的整个图像，在不使视场变窄的情况下)执行对象跟踪(例如通过对象跟踪器116)。因此，所关注对象可在广角视场(其与相机传感器的视场相同)中移动，同时可在装置上呈现和/或捕捉变焦区域(其具有放大的且更集中的视场)。举例来说，变焦区域可包含完整视场的子集。即使在变焦区域为完整视场的子集时，也可基于完整视场执行跟踪(例如，可考虑、处理和/或考量完整视场)。应注意，变焦区域运动和/或变焦区域运动响应速度可与完整视场相关。在一些方法中，变焦区域和完整视场可由相同图像传感器(例如，相机)提供。
在一些配置中，本文中揭示的系统和方法(例如，变焦控制器120)可实施改进稳定。通过利用全局运动估计，例如，可应用一或多个稳定方法来减小由运动(例如，用户)引起的抖动。因此，可产生更稳定结果。
在一些配置中，本文中揭示的系统和方法(例如，变焦控制器120)可提供平滑变焦比率过渡。变焦比率可与对象的尺寸相关和/或可基于缩放历史来稳定，如此可产生平滑变焦比率过渡和良好视觉效应。在一些配置中，变焦(例如，变焦因数、放大率等)可基于跟踪区域尺寸和变焦区域尺寸。举例来说，变焦等级可基于跟踪区域和变焦区域的尺寸比率。举例来说，变焦控制器120可在尺寸比率小于最小变焦阈值的情况下增大变焦。另外或替代地，变焦控制器120可在尺寸比率大于最大变焦阈值的情况下减小变焦。最大变焦阈值和最小变焦阈值可相同或可不同。举例来说，最小变焦阈值与最大变焦阈值之间可能存在一范围。结合图8给出控制变焦的更具体实例。
在一些配置中，变焦控制器120可基于全局运动信息确定变焦区域运动。举例来说，可基于(例如先前帧与当前帧之间的)全局运动确定变焦区域在帧之间的运动或变焦区域(在例如当前帧中)的位置。在一些方法中，变焦区域运动(例如，当前帧中的变焦区域位置)可基于当前帧全局运动(例如，从先前帧到当前帧的全局运动)。在一些方法中，可利用一或多个先前帧的全局运动(例如，先前帧与先前帧之前的帧之间的全局运动、更早先前帧之间的全局运动等)来确定变焦区域运动。在一些方法中，变焦控制器120可基于全局运动和当前帧变焦区域锚点与先前帧变焦区域锚点之间的差的总和确定变焦区域运动。另外或替代地，变焦控制器120可基于全局运动、当前帧变焦区域锚点与先前帧变焦区域锚点之间的差、先前帧全局运动以及先前帧变焦区域锚点与更早帧变焦区域锚点之间的差确定变焦区域运动。结合图4给出基于全局运动信息确定变焦区域运动的更具体实例。变焦控制器120可利用全局运动信息(例如，全局运动)来根据变焦区域运动速度和/或变焦区域加速度确定(例如，计算、运算等)变焦区域运动。在一些配置中，变焦区域运动可不驱动机械平移、倾斜和/或变焦(例如，用于平移、倾斜和/或变焦的电动机、致动器等)。
另外或替代地，变焦控制器120可基于被跟踪对象(例如，跟踪区域、跟踪区域锚点等)与变焦区域的锚点之间的距离确定变焦区域运动。举例来说，变焦控制器120可基于当前帧被跟踪对象(例如，当前帧跟踪区域锚点)与变焦区域的当前帧锚点之间的距离确定变焦区域运动。被跟踪对象与变焦区域锚点之间的距离可由变焦控制器120确定。在一些配置中，变焦控制器120可另外或替代地基于先前帧被跟踪对象(例如，先前帧跟踪区域锚点)与变焦区域的先前帧锚点之间的距离确定变焦区域运动。结合图4给出基于全局运动信息确定变焦区域运动的更具体实例。变焦控制器120可利用跟踪信息(例如，跟踪区域锚点)来根据跟踪区域(例如，跟踪区域锚点)与变焦区域锚点的距离和/或距离(和/或变焦区域)的变化率确定(例如，计算、运算等)变焦区域运动。
在一些配置中，变焦控制器120可在变焦区域进入边界缓冲区并且被跟踪对象正朝向图像界线移动的情况下补偿全局运动。举例来说，变焦控制器120可基于先前帧变焦区域锚点和全局运动确定当前帧变焦区域锚点。结合图7给出在这种情况下补偿全局运动的较详细实例。
在一些配置中，变焦控制器120可基于被跟踪对象在变焦区域内的位置确定变焦区域运动响应速度。举例来说，变焦控制器120可控制变焦区域(例如在视场内)的水平和/或垂直平移。在一些方法中，区域运动响应速度可基于被跟踪对象(例如，跟踪区域)在变焦区域内的位置而变化。举例来说，变焦控制器120可取决于被跟踪对象(例如，跟踪区域)与变焦区域的边界之间的接近度来调整变焦区域运动响应速度(例如，平移响应速度)。在一些配置中，变焦区域运动响应速度可在靠近变焦区域的中心处更慢并且可在靠近变焦区域的边缘处更快。以这种方式，变焦区域可在靠近变焦区域的中心处缓慢地跟踪被跟踪对象(例如，跟踪区域)的运动。这可在对象靠近变焦区域的中心时允许平滑和缓慢的运动。变焦区域可在对象靠近变焦区域的边缘时快速地跟踪被跟踪对象(例如，跟踪区域)的运动。这种方法可帮助确保变焦区域能够在对象靠近跟踪区域的边界时快速地跟踪被跟踪对象。
在一些配置中，确定变焦区域运动响应速度可基于变焦区域内的两个或多于两个区。每个区可具有相关变焦区域运动响应速度。在一个实例中，变焦区域540可包含两个区。第一区可为缓慢响应区，并且第二区可为快速响应区。缓慢响应区可居中位于变焦区域中。快速响应区可位于靠近变焦区域的边缘处。举例来说，快速响应区可环绕或包围缓慢响应区。在一些实施方案中，缓慢响应区可为在变焦区域中居中的矩形区，并且快速响应区可处于缓慢响应区与变焦区域的边界之间。当被跟踪对象(例如，跟踪区域)在缓慢响应区内时，变焦区域可具有相对较慢的变焦区域运动响应速度。当被跟踪对象(例如，跟踪区域)进入快速响应区(例如部分或完全地)时，变焦区域可具有相对较快的变焦区域运动响应速度。结合图6描述两个区的实例。应注意，可利用不同数目个区。举例来说，两个或多于两个区可各自具有对应变焦区域运动响应速度(例如，一或多个权重)。两个或多于两个区可经布置以使得除中心区以外的每个额外区包围或环绕上一个区(例如，以圆形或矩形“靶心”图案)。
在一些配置中，变焦区域运动响应速度可使用多个权重来控制。举例来说，一或多个权重可对应于响应区中的每一者(例如，第一组权重用于缓慢响应区，而第二组权重用于快速响应区)和/或可指示特定变焦区域响应速度。举例来说，变焦控制器120可选择对应于被跟踪对象(例如，跟踪区域)当前所位于的区的一或多个权重。所选权重可实施对应变焦区域响应速度。结合图4描述权重的实例。
在一些配置中，变焦区域运动响应速度可基于被跟踪对象(例如，跟踪区域)相对于变焦区域的位置的连续函数来确定。举例来说，连续函数可将被跟踪对象的位置映射到变焦区域运动响应速度。举例来说，变焦运动响应速度在被跟踪对象位于变焦区域的中心时可为0，并且可随着被跟踪对象移动远离变焦区域的中心逐渐增大。举例来说，连续函数可将被跟踪对象(例如，跟踪区域)的位置映射到控制变焦区域运动响应速度的一或多个权重。
在一些配置中，可利用过渡区。过渡区可为不同变焦区域运动响应区之间的区。过渡区可用来预防抖动和/或不同变焦区域响应速度之间的迅速切换。举例来说，变焦控制器120可在被跟踪对象(例如，跟踪区域)已越过过渡区时才改变变焦区域运动响应速度。结合图6描述过渡区的实例。
处理器112可提供变焦信息(例如，经变焦区域信息、经裁切变焦区域等)。举例来说，处理器112可将变焦区域提供到显示器124以供呈现。另外或替代地，处理器112可将变焦区域发送到另一装置(例如经由通信接口108)。在一些配置中，可呈现变焦区域(例如，经裁切变焦区域)。在一些方法中，变焦区域可仅占据显示器124的视图的一部分(例如，画中画(PiP)、多图片(picture and picture)等)。举例来说，变焦区域可呈现在完整视场的顶部上。在其它方法中，变焦区域可占据整个视图。举例来说，当变焦区域放大时可能不会展示完整视场。应注意，无论是否呈现完整视场，都可对完整视场执行对象跟踪。
本文中揭示的系统和方法的一些配置可为数字变焦方法(例如，纯粹数字变焦方法)。举例来说，在一些方法中，执行自动变焦可不包括改变光学变焦(例如，焦距)。因此，完整视场尺寸和/或光学系统焦距可为稳定的(尽管视角、相机运动和/或场景可在帧之间改变)。举例来说，在一些方法中，可与光学变焦分开和/或独立地(例如，可不利用焦距)执行自动变焦。应注意，在一些配置中，可结合光学变焦执行自动变焦。
存储器122可存储指令和/或数据。处理器112可存取(例如，读取和/或写入)存储器122。可由存储器122存储的指令和/或数据的实例可包含图像数据(例如，变焦区域数据)、图像获得器114指令、变焦控制器120指令、对象跟踪器116指令、和/或全局运动估计器118指令等。
存储器122可存储供处理器112执行操作的图像和指令代码。存储器122可为能够存储电子信息的任何电子组件。存储器122可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器等，包含其组合。
数据和指令可存储于存储器122中。指令可由处理器112执行，以实施本文所描述的方法中的一或多者。执行指令可涉及使用存储于存储器122中的数据。当处理器112执行指令时，指令的不同部分可加载到处理器112上，并且数据的不同片段可加载到处理器112上。
在一些配置中，电子装置102可在显示器124上呈现用户接口126。举例来说，用户接口126可使得用户能够与电子装置102交互。在一些配置中，用户接口126可使得用户能够选择对象(用于跟踪和/或变焦)和/或指示对于变焦性能的偏好。举例来说，用户接口126可接收触摸、鼠标点选、手势和/或识别用于跟踪和/或变焦的对象的某一其它指示。
显示器124可集成到电子装置102中和/或可耦合到电子装置102。举例来说，电子装置102可为具有集成显示器的智能电话。在另一实例中，电子装置102可耦合到一或多个远程显示器124和/或包含一或多个显示器124的一或多个远程装置。
电子装置102(例如，处理器112)可视情况耦合到一或多个类别的装置，为所述装置的部分(例如，集成到其中)、包含所述装置和/或实施所述装置。举例来说，电子装置102可实施在装备有相机的无人机中。在另一实例中，电子装置102(例如，处理器112)可实施在运动相机中。
应注意，电子装置的元件或组件中的一或多者可组合和/或划分。举例来说，可组合图像获得器114、变焦控制器120、对象跟踪器116和/或全局运动估计器118。另外或替代地,图像获得器114、变焦控制器120、对象跟踪器116和/或全局运动估计器118中的一或多者可划分成执行其操作的子集的元件或组件。
图2是说明用于执行自动变焦的方法200的一种配置的流程图。方法200可由本文中所描述的电子装置中的一或多者(例如，结合图1描述的电子装置102)执行。电子装置102可获得202多个图像(例如，静态图像、视频帧等)。这可如结合图1所描述般实现。举例来说，电子装置102可使用一或多个集成图像传感器(例如，相机)捕捉多个图像和/或可从远程装置接收多个图像。
电子装置102可获得204全局运动信息。这可如结合图1所描述般实现。举例来说，电子装置102可基于后续图像之间的移动(例如使用光流)和/或基于来自一或多个运动传感器的运动信息确定全局运动估计。全局运动信息可指示相机和/或图像内容在图像之间是否移动和/或如何移动。
电子装置102可获得206对象跟踪信息。这可如结合图1所描述般实现。举例来说，电子装置102可在图像之间跟踪对象。对象跟踪信息可指示对象在图像之间是否已移动和/或如何移动。举例来说，对象跟踪信息可包含当前帧中的所关注区域、运动向量等，其指示对象的运动。
电子装置102可基于全局运动信息和对象跟踪信息执行208自动变焦。这可如结合图1所描述般实现。举例来说，电子装置102可执行结合图1和3到9中的一或多者所描述的程序中的一或多者。举例来说，电子装置102可(或可不)调整变焦因数。另外或替代地，电子装置102可(或可不)基于变焦区域运动响应速度和被跟踪对象(例如，跟踪区域)的位置调整变焦区域位置。在一些配置中，电子装置102可确定变焦区域运动响应速度。举例来说，电子装置102可确定被跟踪对象靠近变焦区域的中心时的相对较慢变焦区域运动响应速度，并且可确定被跟踪对象靠近变焦区域的边界或边缘时的相对较快变焦区域运动响应速度。执行208自动变焦可产生和/或更新变焦区域。
在一些配置中，电子装置102可呈现变焦区域。举例来说，电子装置102可将变焦区域呈现在显示器(例如，集成或远程显示器)上。
图3是说明自动变焦管线的一个实例的框图。具体来说，图3说明全局运动估计器318、对象跟踪器316和变焦控制器320。全局运动估计器318、对象跟踪器316和/或变焦控制器320可为结合图1和2中的一或多者描述的对应元件的实例。
可将输入图像330(例如，输入帧)提供到全局运动估计器318、对象跟踪器316和/或变焦控制器320。全局运动估计器318可估计相机和/或图像内容的运动。举例来说，全局运动估计器318可计算图像间(例如，帧间)相机运动。所得全局运动信息可反映现实世界中的相机移动，其可如上文所描述用于改进变焦位置计算和/或场景稳定性。
对象跟踪器316(例如，触摸跟踪对象跟踪器316)可计算输入图像330(例如，帧)中的对象运动和输入图像330(例如，帧)中的对象尺寸。在一些配置中，对象跟踪器316可实施触摸跟踪技术。举例来说，使用最少用户输入(例如，一次触摸)，对象跟踪器116可确定包含所关注对象的跟踪区域(例如，限界区域、限界框等)的位置和/或尺寸。基于跟踪信息，变焦控制器320(例如，自动变焦)可确定变焦区域的变焦等级和/或位置。
变焦控制器320可在对经裁切视频的光滑度约束下充分利用全局运动信息(例如，相机运动的信息)和对象跟踪信息(例如，目标对象运动信息)来计算变焦区域(例如，经裁切帧)的位置和/或尺寸。变焦控制器320可实施上文所描述的经改进变焦策略的方面中的一或多者。举例来说，变焦控制器320可控制变焦区域以便跟踪所关注对象和/或稳定整体场景移动。另外或替代地，变焦控制器320可在跟踪区域的尺寸改变(以将所关注对象相对于变焦区域保持在合理尺寸比率下)时平滑地更新视场。另外或替代地，变焦控制器320可在被跟踪对象在图像(例如，帧)中失踪时和/或在跟踪丢失时平滑地返回到原始视场。变焦控制器320可产生经裁切图像332(例如，经裁切帧)。举例来说，变焦控制器320可根据变焦区域裁切和/或缩放(和/或控制另一元件来裁切和/或缩放)输入图像330。举例来说，变焦控制器320可裁切和/或舍弃变焦区域外部的任何图像内容。在一些配置中，变焦控制器320可将裁切图像332缩放到特定尺寸(例如，显示器的尺寸、显示器上的窗口的尺寸等)。
图4是说明确定变焦区域的实例的图式。具体来说，图4说明先前帧434(例如，帧0)和当前帧436(例如，帧1)。如图4中所展示，帧之间可出现全局运动438(例如，先前帧434与当前帧436之间的全局运动gn)。举例来说，全局运动438可因相机的移动(例如，来自拿着智能电话的用户的手部移动)所致。图4还说明先前帧变焦区域440和当前帧变焦区域442(例如，经更新变焦区域)。先前帧变焦区域440可包含先前帧跟踪区域444(例如，ROI、限界框等)。当前帧变焦区域442可包含当前帧跟踪区域446。
在图4中，xi为变焦区域的变焦区域锚点(例如，中心)位置，ti为跟踪(例如，跟踪区域)的跟踪区域锚点(例如，中心)位置，并且未知参数为xn(例如，当前图像或帧的变焦区域锚点)，其中i为帧索引，并且n为当前帧数目。应注意，变焦区域中的任一点(例如，锚点)可用作用于测量距离的参考。中心点或位置可为锚点的一个实例。另外或替代地，在一些配置中，ti可为跟踪区域中除跟踪区域的中心外的点。为了捕捉变焦区域中的被跟踪对象，可用公式表示v(x)，其描述跟踪中心与经变焦区域的锚点的距离和其变化率。在一些配置中，v(x)可如等式(1)中所给定般表达。
v(xn)＝a0(tn-xn)2+a1[(tn-xn)-(tn-1-xn-1)]2 (1)
为了使经变焦区域稳定，可能有益的是用公式表达h(x)，其描述变焦区域的运动速度和加速度。在一些配置中，h(x)可如等式(2)中所给定般表达。应注意，全局运动gn可依据一或多个维度(例如，水平和垂直运动)来表达。
h(xn)＝b0[gn+(xn-xn-1)]2+b1[gn+(xn-xn-1)-gn-1-(xn-1-xn-2)]2 (2)
变焦区域可具有使函数f最小的锚点xn。在一些配置中，f可如等式(3)中所给定般表达。
f(x)＝v(x)+h(x) (3)
四个系数a0、a1、b0和b1可控制经变焦区域的表现方式。举例来说，所述系数可经选择而以高惯性状态换取对对象运动的快速响应(例如，响应速度)，从而保持变焦区域更稳定。在一些配置中，a0+a1+b0+b1＝1。较大a值可增大变焦区域运动响应速度(并且例如可增加抖动)，而较大b值可减小变焦区域运动响应速度(例如，增大光滑度)。在一些方法中，电子装置102可取决于对象在变焦区域(例如，裁切方框)内部何处而确定响应速度(例如，可选择系数)。变焦区域运动响应速度可指代变焦区域相对于所跟踪区域的平移(例如，垂直和/或水平移动、x-y移动等)。举例来说，高变焦区域运动响应速度将紧跟所跟踪区域，而低变焦区域运动响应速度将慢于所跟踪区域(但例如将展现平滑运动)。不同性能可取决于对象在变焦区域内何处而有益。
图5说明具有两个区的双态方法的实例。具体来说，图5说明帧536、变焦区域540和跟踪区域546。在所述双态方法中，变焦区域运动响应速度可基于对象(例如，跟踪区域546)在变焦区域540(例如，经裁切区域)中的位置而不同。举例来说，系数ai和bi可基于变焦区域540的状态(例如，基于跟踪区域546相对于变焦区域540的位置)确定。当被跟踪对象在变焦区域540的缓慢响应区548(例如，可包含中心区域的高惯性区)内(例如，在其内移动)时，将更多权重赋予权重bi从而使得整体场景更稳定(例如，使得变焦区域540缓慢响应跟踪区域546运动)。
当被跟踪对象(例如，跟踪区域546)处于变焦区域540的快速响应区中(例如，移动而部分或完全地超出缓慢响应区548)时，将更多权重赋予权重ai从而使得变焦区域540可快速跟踪所关注对象(例如，跟踪区域546)并使对象移动返回缓慢响应区548(例如，中心区)中。双态方法可确保变焦区域540(例如，经裁切帧)在对象于缓慢响应区548内移动(例如，具有少量反复运动)时不抖动。
图6说明过渡区A到C 652a-c的实例。为了在跟踪进入和离开不同响应区(例如，区域)时进一步避免抖动，可利用多个区。如图6中所说明，变焦区域A 640a包含三个区：缓慢响应区A648a(或内部区)、缓慢响应区A 648a周围的过渡区A 652a(或中间区)和快速响应区A 650a(或外部区)。如变焦区域B 640b中所说明，当先前状态为对应于快速响应区B650b的快速响应状态(例如，被跟踪对象处于(例如)快速响应区B 650b中的跟踪状态)时，被跟踪对象(例如，跟踪区域B 646b)可能必须到达缓慢响应区B 648b(或例如内部区或高惯性区)以便变成缓慢响应状态。举例来说，跟踪区域B 646b可能必须跨越过渡区B 652b以变成缓慢响应状态。如变焦区域C 640c中所说明，被跟踪对象(例如，跟踪区域C 646c)可能必须离开过渡区C(例如，进入快速响应区C 650c)以进行跟踪。举例来说，除非跟踪区域646离开(或例如跨越)过渡区，否则变焦区域运动速度(例如，状态)可不改变。这可帮助避免抖动(例如，状态之间的迅速切换)。
图7是说明帧边界缓冲区754的一个实例的图式。在一些方法中可利用帧边界缓冲区754来补偿全局运动。在图7中，最外方框表示帧736(例如，完整视场的帧)。帧边界缓冲区754经说明处于帧736内的周缘处。可利用帧边界缓冲区754来增强稳定。当变焦区域740(例如，经裁切区域)进入帧缓冲区754时，可仅在对象朝向界线(例如，帧边缘)移动的情况下补偿全局运动。以这种方式，可减少抖动。举例来说，变焦控制器120可补偿全局运动以确定变焦区域运动。在一些配置中，变焦控制器120可根据等式(4)执行全局运动补偿。
xn＝xn-1-gn (4)
举例来说，等式(4)说明仅应用等式(2)的一部分(例如，第一半)时的解。举例来说，如果变焦区域进入帧边界缓冲区754并且对象正朝向界线移动(例如，跟踪区域具有朝向帧界线的轨迹)，那么可应用等式(4)代替等式(1)和(2)。
图8为控制变焦等级(例如，变焦因数、缩放、放大率等)的方法的实例。可基于跟踪区域846(例如，ROI、跟踪框、限界区域、限界框等)与变焦区域840(例如，裁剪区域)之间的尺寸比率确定目标变焦等级。在图8中，最小矩形表示跟踪区域846(例如，ROI、跟踪框等)，并且外部(例如，最大)矩形表示变焦区域840(例如，裁剪框)。在一些配置中，跟踪区域846与变焦区域840之间的尺寸比率可为宽高比的最大值。可利用其它尺寸比率。如果尺寸比率小于放大区域858(例如，最小变焦阈值)，那么变焦等级可提高。否则，如果尺寸比率大于未变焦区域860(例如，最大变焦阈值)或在例如缩小区域856内，那么变焦等级可降低。最小变焦阈值与最大变焦阈值之间可能存在一范围。所述方法可增强稳定性和/或可避免抖动。
在一些配置中，变焦等级Z可受一范围(例如，[1,max_level])限制。变焦等级Z可基于一组准则来确定。举例来说，当当前帧跟踪对象并提供区域尺寸时，变焦等级历史表格H可经设定以记录当前帧之间的某一数目(例如，某一时段)的变焦等级。如果先前N个帧的变焦等级未变小，并且Z大于先前变焦等级Zt-1，那么当前变焦等级可为Zt＝min(Zt_1+1,max_level)，且反之亦然。历史表格可确保变焦等级不会急剧变化(由此产生不合意的视觉效应)。
当当前帧丢失对象的跟踪时，可为数个帧(例如，5个帧)保持当前比率，和/或接着可平滑地缩小直至展示整个视场为止。另外或替代地，当跟踪丢失时，可通过在缩小程序中固定经变焦区域的锚点来稳定场景。
图9是说明用于执行自动变焦的方法900的一种配置的流程图。方法900可由结合例如图1描述的电子装置102执行。
电子装置102可获得902一或多个下一图像。举例来说，电子装置102可获得在已经获得的先前图像之后的图像。这可如结合图1到2中的一或多者所描述般实现。
电子装置102可获得904全局运动信息。这可如结合图1到2中的一或多者所描述般实现。
电子装置可获得906对象跟踪信息。这可如结合图1到2中的一或多者所描述般实现。
电子装置102可基于被跟踪对象在变焦区域内的位置确定908变焦区域运动响应速度。这可如结合图1到6中的一或多者所描述般实现。
电子装置102可确定910变焦区域是否已进入帧边界缓冲区以及被跟踪对象是否正朝向图像界线移动。这可如结合图1到2和7中的一或多者所描述般实现。
如果变焦区域已进入帧边界缓冲区并且被跟踪对象正朝向图像界线(例如，帧界线、视场界线等)移动，那么电子装置102可补偿912全局运动。这可如结合图1到2和7中的一或多者所描述般实现。举例来说，电子装置102可应用等式(4)(代替例如等式(1)和/或等式(2))。
如果变焦区域尚未进入帧边界缓冲区或被跟踪对象并不朝向图像界线移动，那么电子装置102可基于全局运动信息和被跟踪对象与变焦区域锚点之间的距离确定914变焦区域运动。这可如结合图1到2和7中的一或多者所描述般实现。举例来说，电子装置102可应用等式(1)、等式(2)和/或等式(3)。
电子装置102可确定916跟踪区域和变焦区域的尺寸比率是否小于最小变焦阈值。这可如结合图1到2和8中的一或多者所描述般实现。如果尺寸比率小于最小变焦阈值，那么电子装置102可增大918变焦(例如，增大变焦因数、增大放大率、放大变焦区域中的图像内容等)。这可如结合图1到2和8中的一或多者所描述般实现。
如果尺寸比率并不小于最小变焦阈值，那么电子装置可确定920跟踪区域和变焦区域的尺寸比率是否大于最大变焦阈值。这可如结合图1到2和8中的一或多者所描述般实现。如果尺寸比率大于最大变焦阈值，那么电子装置可减小922变焦(例如，减小变焦因数、减小放大率、缩小变焦区域中的图像内容等)。方法900可针对一或多个之后的帧进行重复。
应注意，在一些配置中，方法900的操作(例如，步骤)中的一或多者可为可选的(例如，不实施)。另外或替代地，方法900的操作(例如，步骤)中的一或多者可按不同次序重新布置。还应注意，变焦区域可通过补偿912全局运动、确定914变焦区域运动、增大918变焦和/或减小922变焦来更新。在其它情况下，经更新变焦区域可与先前帧变焦区域相同(例如，可位于相同位置和/或具有相同变焦)。举例来说，当不改变变焦区域时，当变焦区域运动为0时，和/或当确定910、916、920为否定时等，更经新变焦区域可相同。
图10说明可包含在经配置以实施本文中所揭示的系统和方法的各种配置的电子装置1002内的某些组件。电子装置1002的实例可包含相机、视频摄录影机、数码相机、蜂窝式电话、智能电话、计算机(例如，台式计算机、膝上型计算机等)、平板装置、媒体播放器、电视机、车辆、汽车、个人相机、可穿戴式相机、虚拟现实装置(例如，耳机)、扩增现实装置(例如，耳机)、混合现实装置(例如，耳机)、运动相机、监控摄像头、安装摄像头、互联摄像头、机器人、飞机、无人机、无人驾驶飞行器(UAV)、智能应用程序、医疗保健设备、游戏控制台、个人数字助理(PDA)、机顶盒等。电子装置1002可根据结合图1描述的电子装置102实施。
电子装置1002包含处理器1001。处理器1001可为通用单芯片或多芯片微处理器(例如，ARM)、专用微处理器(例如，数字信号处理器(DSP))、微控制器、可编程门阵列等。处理器1001可被称作中央处理单元(CPU)。尽管在电子装置1002中仅展示单个处理器1001，但在替代配置中，可实施处理器(例如，ARM和DSP)的组合。
电子装置1002还包含存储器1080。存储器1080可为能够存储电子信息的任何电子组件。存储器1080可体现为随机存取存储器(RAM)、只读存储器(ROM)、磁盘存储媒体、光学存储媒体、RAM中的快闪存储器装置、随处理器包含的机载存储器、EPROM存储器、EEPROM存储器、寄存器等，包含其组合。
数据1084a和指令1082a可存储于存储器1080中。指令1082a可由处理器1001执行以实施本文中所描述的方法、程序、步骤和/或功能中的一或多者。执行指令1082a可涉及使用存储于存储器1080中的数据1084a。当处理器1001执行指令1082时，指令1082b的不同部分可加载到处理器1001上，和/或数据1084b的不同片段可加载到处理器1001上。
电子装置1002还可包含发射器1090和接收器1092，以允许将信号发射到电子装置1002和从所述电子装置接收信号。发射器1090和接收器1092可统称为收发器1094。一或多个天线1088a-b可电耦合到收发器1094。电子装置1002还可包含(未展示)多个发射器、多个接收器、多个收发器和/或额外天线。
电子装置1002可包含数字信号处理器(DSP)1096。电子装置1002还可包含通信接口1098。通信接口1098可允许和/或启用一或多个种类的输入和/或输出。举例来说，通信接口1098可包含用于将其它装置链接到电子装置1002的一或多个端口和/或通信装置。在一些配置中，通信接口1098可包含发射器1090、接收器1092或这两者(例如收发器1094)。另外或替代地，通信接口1098可包含一或多个其它接口(例如，触摸屏、小键盘、键盘、麦克风、相机等)。举例来说，通信接口1098可使用户能够与电子装置1002交互。
电子装置1002的各种组件可通过一或多个总线耦合在一起，所述一或多个总线可包含电力总线、控制信号总线、状态信号总线、数据总线等。为清楚起见，各种总线在图10中经说明为总线系统1086。
术语“确定”涵盖多种多样的动作，且因此“确定”可以包含计算、运算、处理、导出、调查、查找(例如，在表格、数据库或另一数据结构中查找)、查实等。并且，“确定”可包含接收(例如，接收信息)、存取(例如，存取存储器中的数据)等。并且，“确定”可包含解析、选择、挑选、建立等。
除非另外明确地指定，否则短语“基于”并不意味着“仅基于”。换句话说，短语“基于”描述“仅基于”和“至少基于”两者。
术语“处理器”应广义上解释为涵盖通用处理器、中央处理单元(CPU)、微处理器、数字信号处理器(DSP)、控制器、微控制器、状态机等。在一些情形下，“处理器”可指代专用集成电路(ASIC)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)等。术语“处理器”可指代处理装置的组合，例如DSP和微处理器的组合、多个微处理器、一或多个微处理器结合DSP核心，或任何其它这类配置。
术语“存储器”应当广义地解释为涵盖能够存储电子信息的任何电子组件。术语存储器可指代各种类型的处理器可读媒体，例如随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除PROM(EEPROM)、快闪存储器、磁性或光学数据存储器、寄存器等。如果处理器可从存储器读取信息和/或写入信息到存储器，那么存储器被称为与处理器电子通信。与处理器成一体的存储器与处理器电子通信。
术语“指令”和“代码”应当被广义地解释为包含任何类型的计算机可读语句。举例来说，术语“指令”和“代码”可指代一或多个程序(program)、例程、子例程、函数、程序(procedure)等。“指令”和“代码”可以包括单个计算机可读语句或许多计算机可读语句。
本文中所描述功能可实施于由硬件执行的软件或固件中。所述功能可存储为计算机可读媒体上的一或多个指令。术语“计算机可读媒体”或“计算机程序产品”指代可由计算机或处理器存取的任何有形存储媒体。借助于实例而非限制，计算机可读媒体可包括RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置，或可用于携载或存储呈指令或数据结构的形式的所要程序代码且可由计算机存取的任何其它媒体。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和Blu-光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。应注意，计算机可读媒体可为有形的和非暂时性的。术语“计算机程序产品”指代计算装置或处理器，其与可由计算装置或处理器执行、处理或计算的代码或指令(例如，“程序”)组合。如本文中所使用，术语“代码”可指代可由计算装置或处理器执行的软件、指令、代码或数据。
还可经由发射媒体发射软件或指令。举例来说，如果使用同轴电缆、光缆、双绞线、数字订户线(DSL)或无线技术(例如，红外线、无线电及微波)从网站、服务器或其它远端源发射软件，那么同轴电缆、光缆、双绞线、DSL或无线技术(例如，红外线、无线电及微波)包含在发射媒体的定义中。
本文中所揭示的方法包括用于实现所描述方法的一或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此互换。换句话说，除非正在描述的方法的适当操作需要特定次序的步骤或动作，否则在不脱离权利要求书的范围的情况下可修改特定步骤及/或动作的次序及/或使用。
另外，应了解，用于执行本文中描述的方法和技术的模块和/或其它适当装置可以下载和/或通过装置另外获得。举例来说，装置可耦合到服务器以促进传送用于执行本文中所描述的方法的装置。或者，可经由存储装置(例如，随机存取存储器(RAM)、只读存储器(ROM)、物理存储媒体(例如压缩光盘(CD)或软盘等))提供本文中所描述的各种方法，使得在将存储装置耦合或提供到装置后，装置可获得各种方法。
应理解，权利要求书不限于上文所说明的精确配置和组件。在不脱离权利要求书的范围的情况下，可以在上文所描述的系统、方法和设备的布置、操作和细节方面作出各种修改、改变和变化。

Claims (30)

1.一种电子装置，其包括：
处理器，其经配置以：
获得多个图像；
获得全局运动信息，所述全局运动信息指示所述多个图像中的至少两者之间的全局运动；
获得对象跟踪信息，所述对象跟踪信息指示被跟踪对象在所述多个图像中的所述至少两者之间的运动；及
基于所述全局运动信息和所述对象跟踪信息执行自动变焦，其中执行自动变焦产生包含所述被跟踪对象的变焦区域，其中所述处理器经配置以基于所述被跟踪对象在所述变焦区域内的位置确定所述变焦区域的运动响应速度。
2.根据权利要求1所述的电子装置，其中所述处理器经配置以基于相机输入的完整视场执行对象跟踪。
3.根据权利要求1所述的电子装置，其中所述处理器经配置以基于所述全局运动信息和被跟踪对象与所述变焦区域的锚点之间的距离确定变焦区域运动。
4.根据权利要求1所述的电子装置，其中所述处理器经配置以在所述变焦区域进入边界缓冲区且被跟踪对象正朝向图像界线移动的情况下补偿全局运动。
5.根据权利要求1所述的电子装置，其中所述处理器经配置以基于所述变焦区域中的至少两个区确定所述变焦区域的所述运动响应速度。
6.根据权利要求1所述的电子装置，其中所述处理器经配置以在跟踪区域与所述变焦区域的尺寸比率小于最小变焦阈值的情况下增大变焦。
7.根据权利要求6所述的电子装置，其中所述处理器经配置以在所述尺寸比率大于最大变焦阈值的情况下减小变焦。
8.根据权利要求7所述的电子装置，其中所述最小变焦阈值与所述最大变焦阈值之间存在一范围。
9.根据权利要求1所述的电子装置，其中所述处理器经配置以基于历史表格执行所述自动变焦。
10.根据权利要求1所述的电子装置，其中所述处理器经配置以基于对象运动在帧之间调整变焦等级。
11.一种方法，其包括：
获得多个图像；
获得全局运动信息，所述全局运动信息指示所述多个图像中的至少两者之间的全局运动；
获得对象跟踪信息，所述对象跟踪信息指示被跟踪对象在所述多个图像中的所述至少两者之间的运动；及
基于所述全局运动信息和所述对象跟踪信息执行自动变焦，其中执行自动变焦产生包含所述被跟踪对象的变焦区域，其中执行自动变焦包括基于被跟踪对象在所述变焦区域内的位置确定所述变焦区域的运动响应速度。
12.根据权利要求11所述的方法，其进一步包括基于相机输入的完整视场执行对象跟踪。
13.根据权利要求11所述的方法，其进一步包括基于所述全局运动信息和被跟踪对象与所述变焦区域的锚点之间的距离确定变焦区域运动。
14.根据权利要求11所述的方法，其进一步包括在所述变焦区域进入边界缓冲区且被跟踪对象正朝向图像界线移动的情况下补偿全局运动。
15.根据权利要求11所述的方法，其中确定所述变焦区域的所述运动响应速度是基于所述变焦区域中的至少两个区的。
16.根据权利要求11所述的方法，其进一步包括在跟踪区域与所述变焦区域的尺寸比率小于最小变焦阈值的情况下增大变焦。
17.根据权利要求16所述的方法，其进一步包括在所述尺寸比率大于最大变焦阈值的情况下减小变焦。
18.根据权利要求17所述的方法，其中所述最小变焦阈值与所述最大变焦阈值之间存在一范围。
19.根据权利要求11所述的方法，其中执行所述自动变焦是基于历史表格的。
20.根据权利要求11所述的方法，其进一步包括基于对象运动在帧之间调整变焦等级。
21.一种计算机程序产品，其包括其上具有指令的非暂时性有形计算机可读媒体，所述指令包括：
用于使得电子装置获得多个图像的代码；
用于使得所述电子装置获得全局运动信息的代码，所述全局运动信息指示所述多个图像中的至少两者之间的全局运动；
用于使得所述电子装置获得对象跟踪信息的代码，所述对象跟踪信息指示被跟踪对象在所述多个图像中的所述至少两者之间的运动；及
用于使得所述电子装置基于所述全局运动信息和所述对象跟踪信息执行自动变焦的代码，其中执行自动变焦产生包含所述被跟踪对象的变焦区域，其中所述用于使得所述电子装置执行自动变焦的代码包括用于使得所述电子装置基于所述被跟踪对象在所述变焦区域内的位置确定所述变焦区域的运动响应速度的代码。
22.根据权利要求21所述的计算机程序产品，其进一步包括用于使得所述电子装置基于相机输入的完整视场执行对象跟踪的代码。
23.根据权利要求21所述的计算机程序产品，其进一步包括用于使得所述电子装置基于所述全局运动信息和被跟踪对象与所述变焦区域的锚点之间的距离确定变焦区域运动的代码。
24.根据权利要求21所述的计算机程序产品，其中所述用于使得所述电子装置确定所述变焦区域的所述运动响应速度的代码是基于所述变焦区域中的至少两个区的。
25.根据权利要求21所述的计算机程序产品，其进一步包括用于使得所述电子装置在跟踪区域与所述变焦区域的尺寸比率小于最小变焦阈值的情况下增大变焦的代码。
26.一种设备，其包括：
用于获得多个图像的装置；
用于获得全局运动信息的装置，所述全局运动信息指示所述多个图像中的至少两者之间的全局运动；
用于获得对象跟踪信息的装置，所述对象跟踪信息指示被跟踪对象在所述多个图像中的所述至少两者之间的运动；及
用于基于所述全局运动信息和所述对象跟踪信息执行自动变焦的装置，其中执行自动变焦产生包含所述被跟踪对象的变焦区域，其中所述用于执行自动变焦的装置包括用于基于所述被跟踪对象在所述变焦区域内的位置确定所述变焦区域的运动响应速度的装置。
27.根据权利要求26所述的设备，其进一步包括用于基于相机输入的完整视场执行对象跟踪的装置。
28.根据权利要求26所述的设备，其进一步包括用于基于所述全局运动信息和被跟踪对象与所述变焦区域的锚点之间的距离确定变焦区域运动的装置。
29.根据权利要求26所述的设备，其中所述用于确定所述变焦区域的所述运动响应速度的装置是基于所述变焦区域中的至少两个区的。
30.根据权利要求26所述的设备，其进一步包括用于在跟踪区域与所述变焦区域的尺寸比率小于最小变焦阈值的情况下增大变焦的装置。
CN201680056010.4A 2015-09-28 2016-08-05 用于执行自动变焦的系统和方法 Active CN108141529B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562233594P 2015-09-28 2015-09-28
US62/233,594 2015-09-28
US14/991,698 US9781350B2 (en) 2015-09-28 2016-01-08 Systems and methods for performing automatic zoom
US14/991,698 2016-01-08
PCT/US2016/045838 WO2017058362A1 (en) 2015-09-28 2016-08-05 Systems and methods for performing automatic zoom

Publications (2)

Publication Number Publication Date
CN108141529A true CN108141529A (zh) 2018-06-08
CN108141529B CN108141529B (zh) 2019-03-01

Family

ID=58406213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680056010.4A Active CN108141529B (zh) 2015-09-28 2016-08-05 用于执行自动变焦的系统和方法

Country Status (8)

Country Link
US (1) US9781350B2 (zh)
EP (1) EP3357229B1 (zh)
JP (1) JP6469932B2 (zh)
KR (1) KR101901104B1 (zh)
CN (1) CN108141529B (zh)
BR (1) BR112018006262A2 (zh)
CA (1) CA3000355A1 (zh)
WO (1) WO2017058362A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312005A (zh) * 2020-02-12 2021-02-02 北京字节跳动网络技术有限公司 图像获取方法及装置
CN113766272A (zh) * 2020-06-04 2021-12-07 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法
US11431910B2 (en) 2019-06-03 2022-08-30 Genetec Inc. System for controlling the zoom of a set of cameras and method of controlling a set of cameras

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10168873B1 (en) * 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
JPWO2016016984A1 (ja) * 2014-07-31 2017-06-01 日立マクセル株式会社 撮像装置およびその被写体追尾方法
WO2016151925A1 (ja) * 2015-03-26 2016-09-29 富士フイルム株式会社 追尾制御装置、追尾制御方法、追尾制御プログラム、及び、自動追尾撮影システム
JP6432449B2 (ja) * 2015-06-02 2018-12-05 コニカミノルタ株式会社 情報処理装置、情報処理プログラム、及び情報処理方法
JP6590628B2 (ja) * 2015-10-09 2019-10-16 キヤノン株式会社 撮像装置、その制御方法、およびプログラム、並びに記憶媒体
KR101713492B1 (ko) * 2016-06-27 2017-03-07 가천대학교 산학협력단 영상 복호화 방법, 영상 부호화 방법, 영상 복호화 장치, 및 영상 부호화 장치
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
CN108475072A (zh) * 2017-04-28 2018-08-31 深圳市大疆创新科技有限公司 一种跟踪控制方法、装置及飞行器
KR102500462B1 (ko) * 2017-05-17 2023-02-16 가부시키가이샤 크리프톤 화상 처리 장치, 화상 처리 프로그램 및 화상 처리 방법
DE102017208592A1 (de) * 2017-05-22 2018-11-22 Continental Automotive Gmbh Rückfahrkamerasystem und dessen Komponenten
US11093752B2 (en) * 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US11587419B2 (en) 2017-08-04 2023-02-21 Toyota Research Institute, Inc. Methods and systems providing an intelligent camera system
CA3062036C (en) 2017-08-31 2021-05-11 Macdonald, Dettwiler And Associates Inc. Robotic livery printing system
US11010646B2 (en) 2018-04-10 2021-05-18 Facebook Technologies, Llc Object tracking assisted with hand or eye tracking
US10547790B2 (en) 2018-06-14 2020-01-28 Google Llc Camera area locking
CN112703533A (zh) * 2018-09-17 2021-04-23 诺基亚通信公司 对象跟踪
CN110785993A (zh) * 2018-11-30 2020-02-11 深圳市大疆创新科技有限公司 拍摄设备的控制方法、装置、设备及存储介质
CN110225251B (zh) * 2019-05-31 2020-10-16 维沃移动通信（杭州）有限公司 一种视频录制方法及终端
CN112422805B (zh) * 2019-08-22 2022-02-18 华为技术有限公司 一种拍摄方法及电子设备
KR102558959B1 (ko) * 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
CN111050066A (zh) * 2019-11-01 2020-04-21 深圳市道通智能航空技术有限公司 变焦方法、装置、飞行器、飞行系统及存储介质
CN111083360B (zh) * 2019-12-09 2021-06-04 北京航空航天大学杭州创新研究院 一种基于像素坐标的摄像监视设备匹配控制方法
CN111212222A (zh) * 2020-01-09 2020-05-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子装置及存储介质
KR20210101087A (ko) 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 그 전자 장치에서 영상을 표시하는 방법
US11265474B2 (en) 2020-03-16 2022-03-01 Qualcomm Incorporated Zoom setting adjustment for digital cameras
US11265469B1 (en) 2020-04-10 2022-03-01 Amazon Technologies, Inc. System to mitigate image jitter by an actuator driven camera
CN113592874B (zh) * 2020-04-30 2024-06-14 杭州海康威视数字技术股份有限公司 图像显示方法、装置和计算机设备
US11809998B2 (en) 2020-05-20 2023-11-07 Qualcomm Incorporated Maintaining fixed sizes for target objects in frames
KR20220006753A (ko) * 2020-07-09 2022-01-18 삼성전자주식회사 영상을 제공하는 방법 및 이를 지원하는 전자 장치
KR20220023632A (ko) * 2020-08-21 2022-03-02 삼성전자주식회사 흔들림을 보정하는 방법 및 그 전자 장치
KR20220028951A (ko) 2020-08-31 2022-03-08 삼성전자주식회사 전자 장치 및 그 제어 방법
CN114466128B (zh) * 2020-11-09 2023-05-12 华为技术有限公司 目标用户追焦拍摄方法、电子设备及存储介质
KR102474726B1 (ko) * 2020-12-14 2022-12-06 주식회사 유라코퍼레이션 후측방 접근차량 경고 시스템 및 방법
JP2022131497A (ja) * 2021-02-26 2022-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
KR20220156280A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 오브젝트 추적 방법 및 이를 위한 전자 장치
KR102592088B1 (ko) * 2021-11-19 2023-10-20 주식회사 핀텔 스트리밍모듈을 이용한 고해상도 영상분석방법, 장치 및 이에 대한 컴퓨터 프로그램
CN114222065B (zh) * 2021-12-20 2024-03-08 北京奕斯伟计算技术股份有限公司 图像处理方法、装置、电子设备、存储介质及程序产品
TWI783899B (zh) * 2022-04-20 2022-11-11 圓展科技股份有限公司 自動追蹤拍攝系統及方法
WO2024076362A1 (en) * 2022-10-04 2024-04-11 Google Llc Stabilized object tracking at high magnification ratios

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0739129A2 (en) * 1995-04-21 1996-10-23 Eastman Kodak Company A system and method for creating high-quality stills from interlaced video images
CN1758132A (zh) * 2004-09-13 2006-04-12 索尼株式会社 成像系统和成像方法
JP2008107665A (ja) * 2006-10-27 2008-05-08 Pentax Corp 手ぶれ補正装置を備えたカメラ
CN101438577A (zh) * 2006-03-29 2009-05-20 泰塞拉技术匈牙利公司 具有改善的图像质量的图像获取装置
CN101547304A (zh) * 2008-03-24 2009-09-30 索尼株式会社 成像设备、其控制方法、以及程序
CN102014248A (zh) * 2009-09-04 2011-04-13 华晶科技股份有限公司 自动聚焦方法及模块和应用该方法的影像撷取装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0147572B1 (ko) 1992-10-09 1998-09-15 김광호 자동 줌잉을 위한 피사체 추적방법 및 그 장치
US5835641A (en) 1992-10-14 1998-11-10 Mitsubishi Denki Kabushiki Kaisha Image pick-up apparatus for detecting and enlarging registered objects
JP3603737B2 (ja) * 2000-03-30 2004-12-22 日本電気株式会社 移動体追尾方法及びその装置
KR100792283B1 (ko) 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
US20060000911A1 (en) * 2002-05-07 2006-01-05 Amit Stekel Automatic certification, identification and tracking of remote objects in relative motion
JP4241742B2 (ja) 2006-01-31 2009-03-18 パナソニック株式会社 自動追尾装置及び自動追尾方法
JP4697810B2 (ja) 2007-03-05 2011-06-08 パナソニック株式会社 自動追尾装置及び自動追尾方法
US8125512B2 (en) 2007-11-16 2012-02-28 Samsung Electronics Co., Ltd. System and method for moving object selection in a handheld image capture device
JP5111088B2 (ja) * 2007-12-14 2012-12-26 三洋電機株式会社 撮像装置及び画像再生装置
JP5404238B2 (ja) 2009-08-06 2014-01-29 キヤノン株式会社 撮像装置
JP5915923B2 (ja) * 2011-04-14 2016-05-11 いすゞ自動車株式会社 画像処理装置及び運転支援システム
JP5868618B2 (ja) * 2011-06-14 2016-02-24 オリンパス株式会社 情報処理装置、画像処理システム及びプログラム
JP2013239869A (ja) * 2012-05-15 2013-11-28 Sony Corp 画像処理装置及び方法、並びに記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0739129A2 (en) * 1995-04-21 1996-10-23 Eastman Kodak Company A system and method for creating high-quality stills from interlaced video images
CN1758132A (zh) * 2004-09-13 2006-04-12 索尼株式会社 成像系统和成像方法
CN101438577A (zh) * 2006-03-29 2009-05-20 泰塞拉技术匈牙利公司 具有改善的图像质量的图像获取装置
JP2008107665A (ja) * 2006-10-27 2008-05-08 Pentax Corp 手ぶれ補正装置を備えたカメラ
CN101547304A (zh) * 2008-03-24 2009-09-30 索尼株式会社 成像设备、其控制方法、以及程序
CN102014248A (zh) * 2009-09-04 2011-04-13 华晶科技股份有限公司 自动聚焦方法及模块和应用该方法的影像撷取装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431910B2 (en) 2019-06-03 2022-08-30 Genetec Inc. System for controlling the zoom of a set of cameras and method of controlling a set of cameras
CN112312005A (zh) * 2020-02-12 2021-02-02 北京字节跳动网络技术有限公司 图像获取方法及装置
CN113766272A (zh) * 2020-06-04 2021-12-07 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法

Also Published As

Publication number Publication date
KR20180051643A (ko) 2018-05-16
JP6469932B2 (ja) 2019-02-13
US9781350B2 (en) 2017-10-03
CN108141529B (zh) 2019-03-01
US20170094184A1 (en) 2017-03-30
WO2017058362A1 (en) 2017-04-06
EP3357229B1 (en) 2021-09-22
EP3357229A1 (en) 2018-08-08
KR101901104B1 (ko) 2018-09-20
JP2018538712A (ja) 2018-12-27
CA3000355A1 (en) 2017-04-06
BR112018006262A2 (pt) 2018-10-09

Similar Documents

Publication Publication Date Title
CN108141529B (zh) 用于执行自动变焦的系统和方法
US11490054B2 (en) System and method for adjusting an image for a vehicle mounted camera
CN108604379A (zh) 用于确定图像中的区域的系统及方法
US11722647B2 (en) Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle
EP3926441B1 (en) Output of virtual content
EP3579545A1 (en) Camera setting adjustment based on predicted environmental factors and tracking systems employing the same
US20190155487A1 (en) Methods, devices, and systems for controlling movement of a moving object
WO2015156149A1 (ja) 画像処理装置および画像処理方法
CN107710736A (zh) 辅助用户捕获图像或视频的方法和系统
CN112492215B (zh) 拍摄控制方法、装置和电子设备
CN110069125B (zh) 虚拟对象的控制方法和装置
CN107835404A (zh) 基于头戴式虚拟现实设备的图像显示方法、设备及系统
AU2019271924B2 (en) System and method for adjusting an image for a vehicle mounted camera
WO2022033306A1 (zh) 目标跟踪方法和装置
CN112257638A (zh) 一种图像比对方法、系统、设备及计算机可读存储介质
CN112184722A (zh) 图像处理方法、终端及计算机存储介质
WO2021180294A1 (en) Imaging device and method for efficient capture of stationary objects
CN115589532A (zh) 防抖处理方法、装置、电子设备和可读存储介质
EP3503101A1 (en) Object based user interface
JP2021165812A (ja) 制御装置及びプログラム
CN115760584A (zh) 一种图像处理方法及相关设备
CN118056353A (zh) 通过眼睛跟踪进行运动模糊补偿
CN110941974A (zh) 虚拟对象的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant