CN112740651B - 用于操作包括显示器的系统的方法、设备、装置及计算机可读介质 - Google Patents

用于操作包括显示器的系统的方法、设备、装置及计算机可读介质 Download PDF

Info

Publication number
CN112740651B
CN112740651B CN201980061517.2A CN201980061517A CN112740651B CN 112740651 B CN112740651 B CN 112740651B CN 201980061517 A CN201980061517 A CN 201980061517A CN 112740651 B CN112740651 B CN 112740651B
Authority
CN
China
Prior art keywords
roi
display
camera
enlarged
preview stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980061517.2A
Other languages
English (en)
Other versions
CN112740651A (zh
Inventor
S.德瓦拉卡纳思
K.K.博加拉普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN112740651A publication Critical patent/CN112740651A/zh
Application granted granted Critical
Publication of CN112740651B publication Critical patent/CN112740651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

示例设备可以包括一个或多个处理器、显示器和存储器。存储器可以包括指令,这些指令在由一个或多个处理器执行时使得设备:从相机接收场景的预览流,在显示器上呈现预览流,放大在显示器上呈现的场景的第一感兴趣区域(ROI),从用户接收指示场景的第二ROI的方向输入,其中第二ROI的至少一部分当前未与经放大的第一ROI一起被呈现在显示器上,在不调整相机的变焦水平的情况下,基于所接收的方向输入从经放大的第一ROI切换到第二ROI的经放大部分,以及在显示器上呈现第二ROI的经放大部分。

Description

用于操作包括显示器的系统的方法、设备、装置及计算机可读 介质
优先权要求
本专利申请要求于2018年9月26日提交的序列号为16/142,778、题为“ZOOMED INREGION OF INTEREST”的美国非临时申请的优先权,该美国非临时申请已被转让给本申请的受让人并在此通过引用被明确地并入本文。
技术领域
本公开总体上涉及数码相机,并且具体涉及用于变焦(zoom)或放大 (enlarge)在设备的显示器上呈现的预览流的所选择的感兴趣区域的系统和方法。
背景技术
数码相机可以在显示器上呈现场景的预览流以供用户观看。当在预览流的所选择的感兴趣区域(ROI)处将数码相机拉近(zoom in)时,用户可能不能在没有进行以下操作的情况下将经变焦的ROI移动到预览流的另一部分:使相机退出变焦模式、重新定位相机从而使得另一ROI处于相机的视场 (FOV)的中心,以及随后在另一ROI处拉近。结果,如果用户想要选择预览流的另一ROI进行变焦,则相机将所选择的ROI拉远,从而使得可以再次将相机的整个FOV作为预览流对用户进行显示。用户可以通过摇摄(pan) 相机直到另一ROI位于相机的FOV的中心来选择预览流的另一ROI进行变焦,并且相机可以再次拉近相机的FOV的中心部分以放大用户所选择的另一 ROI。替代地,用户可能需要在拉近的同时物理地移动或摇摄相机以在拉近的同时显示场景的其它部分。
需要一种相机,该相机可以允许用户在预览流的第一ROI处拉近,并且此后在不拉远以再次观看相机的整个FOV的情况下将经变焦的部分移动到预览流的第二ROI。
发明内容
本公开的系统、方法和设备各自具有若干创新方面,其中没有单个方面单独地负责本文所公开的期望属性。
本公开中描述的主题的一个创新方面可以实现为用于操作诸如移动设备之类的系统的方法。在一些实施方式中,该方法可以包括从相机接收场景的预览流,在系统的显示器上呈现预览流,放大在显示器上呈现的场景的第一感兴趣区域(ROI),从用户接收指示场景的第二ROI的方向输入(使得第二 ROI的至少一部分当前未与经放大的第一ROI一起被呈现在显示器上),在不调整相机的变焦水平的情况下,基于所接收的方向输入从经放大的第一ROI 切换到第二ROI的经放大部分,以及在显示器上呈现第二ROI的经放大部分。可以在不调整相机的变焦水平的情况下将经放大的第一ROI呈现在显示器上,并且可以在不调整相机的变焦水平的情况下将第二ROI的经放大部分呈现在显示器上。在一些实施方式中,可以通过数字地裁剪预览流的第一帧来放大第一ROI,并且可以通过数字地裁剪预览流的第二帧而在显示器上呈现第二ROI的经放大部分。在一些方面,可以通过使用第一非对称裁剪比来数字地裁剪第一帧而放大第一ROI,并且可以通过使用可以与第一非对称裁剪比不同的第二非对称裁剪比来数字地裁剪第二帧而在显示器上呈现第二ROI 的经放大部分。
在一些实施方式中,显示器可以是触敏显示器,并且系统可以通过在显示器上呈现多个方向指示符并检测用户与方向指示符之一的交互来接收来自用户的方向输入。在其他实施方式中,方向输入可以是用户输入(诸如滑动输入或滑动手势、轻弹输入或轻弹手势或者拖拽输入或拖拽手势中的一个)。在一些实施方式中,该方法可以包括基于预览流的一个或多个缓冲帧来确定相机设置,其中至少部分地基于所确定的相机设置而在显示器上呈现第二 ROI的经放大部分。附加地或替代地,该方法可以包括基于一个或多个用户输入来调整第二ROI的经放大部分的大小。在一些方面,一个或多个用户输入可以包括捏合(pinch)手势或伸展(stretch)手势中的至少一个。
本公开中描述的主题的另一创新方面可以在设备中被实现。该设备可以至少包括显示器、一个或多个处理器和存储器。存储器可以存储指令,这些指令在由一个或多个处理器执行时使得设备:从相机接收场景的预览流,在设备的显示器上呈现预览流,放大在显示器上呈现的场景的第一感兴趣区域(ROI),从用户接收指示场景的第二ROI的方向输入(使得第二ROI的至少一部分当前未与经放大的第一ROI一起被呈现在显示器上),在不调整相机的变焦水平的情况下,基于所接收的方向输入从经放大的第一ROI切换到第二ROI的经放大部分,以及在显示器上呈现第二ROI的经放大部分。可以在不调整相机的变焦水平的情况下将经放大的第一ROI呈现在显示器上,并且可以在不调整相机的变焦水平的情况下将第二ROI的经放大部分呈现在显示器上。在一些实施方式中,可以通过数字地裁剪预览流的第一帧来放大第一 ROI,并且可以通过数字地裁剪预览流的第二帧而在显示器上呈现第二ROI 的经放大部分。在一些方面,可以通过使用第一非对称裁剪比来数字地裁剪第一帧而放大第一ROI,并且可以通过使用可以与第一非对称裁剪比不同的第二非对称裁剪比来数字地裁剪第二帧而在显示器上呈现第二ROI的经放大部分。
在一些实施方式中,显示器可以是触敏显示器,并且设备可以通过在显示器上呈现多个方向指示符并检测用户与方向指示符之一的交互来接收来自用户的方向输入。在其他实施方式中,方向输入可以是用户输入(诸如滑动输入或滑动手势、轻弹输入或轻弹手势或者拖拽输入或拖拽手势中的一个)。在一些实施方式中,对指令的执行可以使得设备基于预览流的一个或多个缓冲帧来确定相机设置,其中至少部分地基于所确定的相机设置而在显示器上呈现第二ROI的经放大部分。附加地或替代地,对指令的执行可以使得设备基于一个或多个用户输入来调整第二ROI的经放大部分的大小。在一些方面,一个或多个用户输入可以包括捏合手势或伸展手势中的至少一个。
本公开中描述的主题的另一创新方面可以在非暂时性计算机可读介质中被实现。该非暂时性计算机可读介质可以存储包含指令的一个或多个程序,这些指令在由装置的一个或多个处理器执行时使得该装置执行多个操作。在一些实施方式中,多个操作可以包括:从相机接收场景的预览流,在装置的显示器上呈现预览流,放大在显示器上呈现的场景的第一感兴趣区域(ROI),从用户接收指示场景的第二ROI的方向输入(使得第二ROI的至少一部分当前未与经放大的第一ROI一起被呈现在显示器上),在不调整相机的变焦水平的情况下,基于所接收的方向输入从经放大的第一ROI切换到第二ROI的经放大部分,以及在显示器上呈现第二ROI的部分。可以在不调整相机的变焦水平的情况下将经放大的第一ROI呈现在显示器上,并且可以在不调整相机的变焦水平的情况下将第二ROI的经放大部分呈现在显示器上。在一些实施方式中,可以通过数字地裁剪预览流的第一帧来放大第一ROI,并且可以通过数字地裁剪预览流的第二帧而在显示器上呈现第二ROI的经放大部分。在一些方面,可以通过使用第一非对称裁剪比来数字地裁剪第一帧而放大第一 ROI,并且可以通过使用可以与第一非对称裁剪比不同的第二非对称裁剪比来数字地裁剪第二帧而在显示器上呈现第二ROI的经放大部分。
在一些实施方式中,显示器可以是触敏显示器,并且设备可以通过在显示器上呈现多个方向指示符并检测用户与方向指示符之一的交互来接收来自用户的方向输入。在其他实施方式中,方向输入可以是滑动输入或滑动手势、轻弹输入或轻弹手势或者拖拽输入或拖拽手势中的一个。在一些实施方式中,对指令的执行可以使得设备基于预览流的一个或多个缓冲帧来确定相机设置,其中至少部分地基于所确定的相机设置而在显示器上呈现第二ROI的经放大部分。附加地或替代地,多个操作还可以包括基于一个或多个用户输入来调整第二ROI的经放大部分的大小。在一些方面,一个或多个用户输入可以包括捏合手势或伸展手势中的至少一个。
本公开中描述的主题的另一创新方面可以在装置中被实现。在一些实施方式中,该装置可以包括:用于从相机接收场景的预览流的部件,用于在装置的显示器上呈现预览流的部件,用于放大在显示器上呈现的场景的第一感兴趣区域(ROI)的部件,用于从用户接收指示场景的第二ROI的方向输入 (使得第二ROI的至少一部分当前未与经放大的第一ROI一起被呈现在显示器上)的部件,用于在不调整相机的变焦水平的情况下,基于所接收的方向输入从经放大的第一ROI切换到第二ROI的经放大部分的部件,以及用于在显示器上呈现第二ROI的部分的部件。可以在不调整相机的变焦水平的情况下将经放大的第一ROI呈现在显示器上,并且可以在不调整相机的变焦水平的情况下将第二ROI的经放大部分呈现在显示器上。在一些实施方式中,可以通过数字地裁剪预览流的第一帧来放大第一ROI,并且可以通过数字地裁剪预览流的第二帧而在显示器上呈现第二ROI的经放大部分。在一些方面,可以通过使用第一非对称裁剪比来数字地裁剪第一帧而放大第一ROI,并且可以通过使用可以与第一非对称裁剪比不同的第二非对称裁剪比来数字地裁剪第二帧而在显示器上呈现第二ROI的经放大部分。
在一些实施方式中,显示器可以是触敏显示器,并且装置可以通过在显示器上呈现多个方向指示符并检测用户与方向指示符之一的交互来接收来自用户的方向输入。在其他实施方式中,方向输入可以是用户输入(诸如滑动输入或滑动手势、轻弹输入或轻弹手势或者拖拽输入或拖拽手势中的一个)。在一些实施方式中,该装置可以包括用于基于预览流的一个或多个缓冲帧来确定相机设置的部件,其中至少部分地基于所确定的相机设置而在显示器上呈现第二ROI的经放大部分。附加地或替代地,该装置还可以包括用于基于一个或多个用户输入来调整第二ROI的经放大部分的大小的部件。在一些方面,一个或多个用户输入可以包括捏合手势或伸展手势中的至少一个。
附图说明
在所附附图的图中,以示例方式而非限制方式说明本公开的方面,并且其中相同的附图标记指代类似的元件。
图1是可以在其中实现本公开的方面的示例设备的框图。
图2A是描绘场景的示例预览流的示图。
图2B是描绘图2A的场景的经放大的感兴趣区域的示图。
图3是描绘场景的另一示例预览流的示图。
图4A是描绘图3的预览流的多个经放大的感兴趣区域的示图。
图4B是描绘图3的预览流的多个经放大的感兴趣区域的另一示图。
图5是描绘用于从在显示器上呈现经放大的第一感兴趣区域(ROI)切换到在显示器上呈现第二ROI的经放大部分的示例操作的说明性流程图。
图6是描绘用于从用户接收方向输入的示例操作的说明性流程图。
图7是描绘用于基于由用户提供的方向输入而从在显示器上呈现经放大的第一ROI切换到在显示器上呈现第二ROI的经放大部分的示例操作的说明性流程图。
具体实施方式
本文公开的系统和方法涉及拉近或放大在设备的显示器上呈现的场景的预览流的部分。根据本公开的一些方面,设备可以从耦合到设备或与设备相关联的相机接收预览流,并且可以将场景的全视场(FOV)作为预览流呈现在设备的显示器上(诸如以供用户观看)。设备可以通过数字地裁剪预览流的第一帧,从而在不改变或调整相机的变焦水平的情况下放大在显示器上呈现的场景的第一感兴趣区域(ROI)。在一些方面,经放大的第一ROI可以占据先前由场景的全FOV的预览流占据的显示器的相同或类似量。
用户可以在不移动、摇摄或倾斜相机并且在不调整相机的变焦水平的情况下,选择预览流的不同ROI来放大并呈现在显示器上。在一些实施方式中,设备可以接收由用户提供的指示场景的第二ROI的方向输入(使得第二ROI 的至少一部分当前未与经放大的第一ROI一起被呈现在显示器上),并且可基于所接收的方向输入从经放大的第一ROI切换到第二ROI的经放大部分。在一些方面,设备可以通过使用非对称裁剪比来数字地裁剪预览流的一个或多个帧,从而在不调整相机的变焦水平的情况下从经放大的第一ROI切换到第二ROI的经放大部分。
方向输入可以是任何合适的用户输入(诸如显示器上的触摸输入或由显示器感测到的非触摸手势输入),设备可以从该用户输入解释出从在显示器上呈现第一ROI切换到呈现第二ROI的经放大部分的方向。对于一个示例,设备可以在场景基于用户在显示器上向上滑动或轻弹而在预览流中向上方移动时从经放大的第一ROI切换到场景的区域的经放大部分,并且可以在场景基于用户在显示器上向下滑动或轻弹而在预览流中向下方移动时从经放大的第一ROI切换到场景的区域的经放大部分。对于另一示例,设备可以在场景基于用户向显示器的右边缘滑动或轻弹而在预览流中向右移动时从经放大的第一ROI切换到场景的区域的经放大部分,并且可以在一个场景基于用户向显示器的左边缘滑动或轻弹而在预览流中向左移动时从经放大的第一ROI切换到场景的区域的经放大部分。
在其他实施方式中,设备可以在显示器上呈现多个方向指示符,并且可以基于用户与方向指示符的交互而在显示器上呈现场景的不同ROI的经放大部分之间切换。在一些方面,方向指示符可以包括(但不限于)左方向指示符、右方向指示符、上方向指示符和下方向指示符。对于一个示例,设备可以基于用户触摸或选择上方向指示符而在场景中向上切换预览流的经放大部分,并且可以基于用户触摸或选择下方向指示符而在场景中向下切换预览流的经放大部分。对于另一示例,设备可以基于用户触摸或选择右方向指示符而在场景中向右切换预览流的经放大部分,并且可以基于用户触摸或选择左方向指示符而在场景中向左切换预览流的经放大部分。
以这种方式,设备可以在不调整相机的变焦水平的情况下(例如,在相机保持在相同的变焦水平的同时)并且在不需要用户移动、摇摄、倾斜或以其他方式重新定位设备(或相机)的情况下,允许用户选择预览流的不同区域来进行放大并呈现在显示器上。在一些实施方式中,设备可以基于预览流的一个或多个缓冲帧来确定相机设置,并且可以使用所确定的相机设置而更快地在显示器上呈现预览流的不同经放大部分之间进行切换(诸如与针对预览流的不同经放大部分而确定新的相机设置相比较)。
在以下描述中,阐述了许多特定的细节,诸如特定的组件、电路和处理的示例,以提供对本公开的透彻理解。同样,在以下描述中并且出于解释的目的,阐述了特定的术语以提供对示例实施方式的透彻理解。然而,对于本领域的技术人员将显而易见的是,这些特定的细节可能不是实践示例实施方式所必需的。在其他实例中,以框图形式示出了公知的电路和设备以避免模糊本公开。在过程、逻辑块、处理和计算机存储器内的数据比特上的操作的其它符号表示的方面呈现了以下详细描述的某些部分。这些描述和表示是数据处理领域的技术人员用来向本领域的其他技术人员最有效地传达其工作实质的手段。在本公开中,将过程、逻辑块、处理等构想为导致期望结果的步骤或指令的自洽序列。这些步骤是需要对物理量进行物理操纵的步骤。通常,尽管不是必须的,这些量采用能够在计算机系统中被存储、转移、组合、比较和以其他方式操纵的电信号或磁信号的形式。
本文使用的术语“耦合”意指直接连接到一个或多个中间组件或电路或者通过其进行连接。如本文中所使用的,术语“相机”可以指图像感测组件的集合,这些图像感测组件典型地包括传感器阵列(或“传感器”)和一个或多个光学组件(例如,一个或多个透镜或光重定向(re-directing)组件,有时在本文中被称为“光学器件”或“光学器件集合”),来自目标场景的光在到达传感器阵列之前通过这些光学组件进行传播。在一些实施例中,多相机设备可以包括多个相机,每个相机包括光学器件集合和对应的传感器阵列。在具有多个相机的设备的其他示例中,特定的光学器件集合可以对应于两个或更多个传感器,即,向两个或更多个传感器提供光。如本文所使用的,术语“变焦水平”可以指相机的光学变焦量、相机的数字变焦量或两者,并且可以指示相机聚焦设置,例如聚焦长度(focal length)和焦距(focus distance)。此外,如在本文所使用的,术语“帧”、“预览帧”和“预览图像”可以指由相机提供并呈现在设备的显示器上的预览流的单个帧,例如,从而使得预览流由各自在离散时间段内被呈现在显示器上的多个连续帧组成。
然而,应当记住,所有这些术语和类似的术语均与适当的物理量相关联,并且仅仅是应用于这些量的方便标记。除非以其他方式具体说明,否则如从以下讨论而显而易见的是,应了解,在本申请的全文中,利用诸如“访问”、“接收”、“发送”、“使用”、“选择”、“确定”、“标准化”、“乘”、“求平均”、“监测”、“比较”、“应用”、“更新”、“测量”、“导出”之类的术语的讨论指的是计算机系统或类似电子计算设备的动作和处理,这些计算机系统或类似电子计算设备操纵被表示为计算机系统的寄存器和存储器内的物理(电子) 量的数据和将该数据变换成被类似地表示为计算机系统存储器或寄存器或其它此类信息存储、传输或显示设备内的物理量的其它数据。
图1是可以在其中实现本公开的各种方面的示例设备100的框图。在一些实施方式中,设备100可以是移动设备,诸如例如智能电话、平板计算机、膝上型计算机、个人数字助理等。在其他实施方式中,设备100可以是固定设备,诸如例如台式计算机、安全系统、固定数码相机等。在一些其他实施方式中,设备100可以是不包括相机而是反之从远程相机接收预览流、视频、捕获的图像和其他合适的图像数据的系统,该远程相机可以使用有线连接或无线连接来连接到设备。例如,远程相机可以是安全相机,并且示例设备100 可以是移动电话、膝上型计算机、平板计算机或个人计算机。
设备100可以包括相机102、相机控制器110、处理器120、存储器130、显示器140和任何数量的输入/输出(I/O)组件150。示出为包括图像传感器 104的相机102可以用于捕获图像或视频,并且还可以用于生成可以在显示器140上呈现的场景的预览流。在一些方面,例如,直到用户指示设备100 捕获预览流的一个或多个帧,才可以对由相机102生成的预览流进行捕获并将其存储在存储器130中。虽然为了简单起见未示出,但是相机102可以包括变焦透镜和聚焦调节器。聚焦调节器可以调节变焦透镜的聚焦长度和焦距,以在光穿过变焦透镜并被图像传感器104接收时对光进行聚焦。变焦透镜可以具有可变大小的孔径,该孔径由f数(其可以被表示为聚焦长度除以孔径直径)表示。变焦透镜将光传递到在其上形成图像的图像传感器104。图像传感器104可以具有多个纵横比(诸如4:3和16:9图像纵横比),并且可以具有多个图像分辨率。图像传感器104可以是电荷耦合器件(CCD)传感器、互补金属氧化物半导体(CMOS)传感器或任何其他合适的图像传感器。在其它实施方式中,相机102可以包括固定聚焦长度透镜(而非变焦透镜),并且可以由相机控制器110执行数字变焦操作(诸如通过使用用于数字图像处理的图像信号处理器112)。
由相机102生成或捕获的图像和视频可以由设备100的一个或多个组件处理,该一个或多个组件包括例如相机控制器110或处理器120。在一些实施方式中,图像传感器104可以包括被布置在相应传感器的表面上的一个或多个彩色滤光片阵列(color filterarray,CFA)。在其它实施方式中,图像传感器104可以包括诸如互补金属氧化物半导体(CMOS)传感器元件之类的固态传感器元件的阵列。在一些其它实施方式中,图像传感器104可以包括用于生成或捕获图像的其它合适类型的图像传感器。
虽然设备100在图1中被示为仅包括一个相机102,但是在其他实施方式中,设备100可以包括可以以任何合适的配置来布置的任何合适数量的相机。对于其中设备100包括多个相机的实施方式,多个相机可以具有类似或不同的能力(例如分辨率、彩色或黑白、广角透镜对远摄透镜、变焦能力等),并且可以被定位在设备100的任何合适的面上(诸如正面或背面)。因此,尽管在本文中相对于图1的设备100进行描述,但本公开的各方面可以被等效地应用于多相机设备(诸如包括远摄相机和广角相机的设备或与远摄相机和广角相机相关联的设备)。
可以控制相机102和图像传感器104的各种操作的相机控制器110被示出为包括可以处理由相机102提供的图像和/或视频的图像信号处理器112。在一些实施方式中,图像信号处理器112可以执行来自存储器的指令(诸如存储在存储器130中的指令或存储在耦合到图像信号处理器112的单独存储器中的指令)以控制相机102的各种操作,和/或可以执行来自存储器的指令以处理由相机102提供的图像和/或视频(诸如将场景的全FOV作为预览流在显示器140上进行呈现,通过放大在显示器140上呈现的所选择的感兴趣区域(ROI)来拉近场景的所选择的ROI,以及基于用户输入从在显示器140 上呈现经放大的所选择的ROI切换到在显示器140上呈现另一ROI的经放大部分)。可以将经处理的图像或视频存储在存储器(例如,存储器130)中,可以将其呈现在显示器140上以供用户观看,或两者。在一些方面,可以实时地向用户呈现由相机102生成或由图像传感器104获取的图像。附加地或替代地,可以在显示器140上呈现由相机102捕获和/或由图像信号处理器112 处理的图像和/或视频。
在一些其他实施方式中,图像信号处理器112可以包括特定的硬件以控制相机102的各种操作和/或处理由相机102提供的图像和/或视频。图像信号处理器112可以替代地或附加地包括特定的硬件和执行软件指令的能力的组合。此外,尽管为了简单起见在图1中未示出,但图像信号处理器112可以包括一个或多个图像处理核(诸如视频编码核)、一个或多个图像压缩核,或两者。
显示器140可以是用于呈现图像的任何合适的显示器或屏幕,上述图像诸如例如是预览流、捕获的图像、视频、数据、图形以及供用户观看的其他合适的信息或项目。在一些实施方式中,显示器140可以是被配置成检测用户输入的触敏显示器。用户输入可以是可由显示器140检测并由处理器120 解释以执行对应功能或操作的任何合适的手势或触摸输入。在一些方面,处理器120可以确定手势或触摸输入的一个或多个属性,包括例如手势或触摸输入的位置、手势或触摸输入的方向、手势或触摸输入的压力、手势或触摸输入的持续时间等。
取决于显示器140的配置和能力,可以从用户(诸如用户的手指和/或大拇指)、从触控笔、从笔、从指示器,或从任何其他合适的对象检测用户输入。在一些实施方式中,术语“触摸输入”可以指显示器140上的在起点处开始并继续到显示器140上的终点的任何触摸事件。可以通过包括触摸输入的起点、终点、行进的距离、持续时间、速度和方向的一个或多个属性来标识触摸输入。在一些方面,触摸输入可以包括(但不限于)在显示器上的滑动、拖拽、轻弹、捏合和/或伸展触摸。术语“手势输入”可以指可由显示器(或由设备100的另一合适组件)检测的任何合适的非触摸用户输入。在一些方面,手势输入可以包括(但不限于)在显示器140的部分之上执行的滑动手势、拖拽手势、轻弹手势、捏合手势和/或伸展手势。附加地或替代地,用户输入可以包括用户与在显示器140上呈现的一个或多个方向指示符的交互。
I/O组件150可以是或者可以包括用于从用户接收输入(诸如命令)和/ 或向用户提供输出的任何合适的机构、界面或设备。例如,I/O组件150可以包括(但不限于)图形用户界面、键盘或小键盘、鼠标、一个或多个物理按钮和/或用于接收来自用户的输入和命令的其它合适的机构。在一些方面,I/O 组件150还可以包括麦克风和扬声器。在一些实施方式中,显示器140或I/O 组件150(或两者)可以接收用于选择或调整相机控制器110的一个或多个设置和/或用于选择或调整相机102的一个或多个设置的用户输入。
在一些实施方式中,当生成或捕获场景的图像时,相机102内的图像传感器104可以捕获有限的亮度范围或光强度。以有限或标准的亮度范围捕获的常规图像被称为有限动态范围(LDR)图像或标准动态范围(SDR)图像。例如,设备100可以使用自动确定的曝光值(诸如自动曝光(AE)设置)以及针对所捕获图像而捕获的不期望的有限亮度范围来捕获LDR或SDR图像。尽管人可能能够感知场景的相对大范围的亮度和光效果(诸如阴影和色彩对比度),但是LDR或SDR图像可以捕获场景的相对小范围的亮度和光效果,并且因此与人所感知的场景相比较可能表现得柔和或暗淡。
许多数码相机采用高动态范围(HDR)成像来补偿由LDR和SDR图像捕获的有限亮度范围。在HDR成像中,可以用不同的曝光值来捕获多个LDR 或SDR图像,并且可以将所捕获的LDR或SDR图像进行组合以创建HDR 图像,该HDR图像与单个LDR或SDR图像的任一个相比包括用于更大曝光范围的捕获信息。在一些实施方式中,设备100可以捕获具有不同曝光(并且因此具有不同亮度范围)的多个LDR或SDR图像,并且随后组合多个所捕获的LDR或SDR图像的一个或多个部分以生成HDR图像。在一些方面,在组合多个所捕获的LDR或SDR图像以生成HDR图像时,设备100可以使用融合(blend)、混合(mix)和/或合并(merge)技术。以这种方式,所得到的HDR图像与单独的LDR或SDR图像的任一个相比可以具有更大的亮度范围。
在一些实施方式中,图像传感器104可以使用不同的曝光值来捕获相同场景的多个LDR图像。曝光值(EV)可以以f值或光阑(stop)的形式表示,并且可以将其测量为单位面积的亮度量(诸如以坎德拉(candela)每平方英尺(cd/ft2)为单位或坎德拉每平方米(cd/m2)为单位)。一个光阑以上或更多是指由图像传感器104接收的光量的加倍(诸如2*x cd/ft2),而一个光阑以下或更少是指由图像传感器104接收的光量的减半(诸如x/2cd/ft2)。可以通过调整相机102的快门速度、通过调整图像传感器104的(诸如以ISO测量的)灵敏度和/或通过调整相机102的孔径大小来改变曝光值。
在一些实施方式中,在捕获场景的图像时(或者在生成用于在显示器140 上呈现的场景的预览流时),设备100可以使用自动曝光(AE)设置。可以将AE设置用于调整相机设置,从而使得所捕获的图像将具有目标亮度。例如,当图像传感器104被激活时,可以将来自图像传感器104的信息用于生成包括多个预览帧的预览流。预览帧的一个或多个特性(诸如色彩对比度、亮度等)可以用于确定用于捕获图像的初始相机设置。在一些实施方式中,设备100可以缓冲场景的预览流的全FOV的一个或多个帧,确定用于生成场景的缓冲帧的相机设置,并且将所确定的相机设置存储在存储器(诸如存储器130的相机设置存储132)中。在一些方面,相机设置可以包括(但不限于)用于生成缓冲帧的自动白平衡(AWB)设置、自动聚焦(AF)设置和自动曝光(AE)设置。
因为所存储的相机设置对应于被用于生成预览流的先前缓冲帧的相机设置,所以设备100可以在不调整相机的变焦水平的情况下,使用所确定的相机设置从在显示器140上呈现场景的经放大的第一ROI切换到在显示器140 上呈现场景的第二ROI的经放大部分。更具体地,因为自动白平衡、自动聚焦和自动曝光设置中的每一个都花费时间来确定并且在预览流的连续帧之间改变地非常小(如果有的话)(假设场景和/或FOV已经改变地非常小,如果有的话),则设备100可以使用所存储的相机设置,通过从在显示器140上呈现场景的经放大的第一ROI切换到在显示器140上呈现场景的第二ROI的经放大部分而将场景的经放大的ROI“移动”到预览流的不同区域,由此消除了当在显示器140上呈现场景的不同经放大部分时重置相机设置或确定新相机设置的需要。以此方式,本公开的方面不仅可以在相机102的变焦水平保持相同的同时允许用户选择预览流的多个不同区域来放大并呈现在显示器140上,而且还可以防止预览流过亮(这可能在常规相机中发生,因为重置相机设置与预览流的相继帧之间的时间间隔相比会花费更长的时间)。
附加地或替代地,设备100可以用与从相机102接收的预览流的较新近的帧相关联的较新的相机设置来更新所存储的相机设置。例如,如果所存储的相机设置是基于预览流的第N帧和第N+1帧(其中N是大于或等于一的整数),且设备100当前正在显示器140上呈现预览流的第N+50帧,则设备 100可以获得用于预览流的第N+50帧(和/或诸如第N+49帧之类的一个或多个先前帧)的相机设置,并且用较新的相机设置来更新所存储的相机设置。在一些其他实施方式中,设备100可以用较新的相机设置来替换所存储的相机设置。以此方式,由设备100使用以在显示器140上呈现场景的不同经放大部分的相机设置可以随时间的流逝而被更新或替换,例如以确保所存储的相机设置对应于场景的当前条件。
处理器120可以是能够执行存储在设备100中(诸如在存储器130内) 的一个或多个软件程序的脚本或指令的任何合适的一个或多个处理器。在一些实施方式中,处理器120可以是或包括提供处理器功能的一个或多个微处理器和提供机器可读介质的至少一部分的外部存储器。在其他实施方式中,处理器120可以是或包括专用集成电路(ASIC),其中处理器、总线接口、用户接口以及机器可读介质的至少一部分被集成到单个芯片中。在一些其他实施方式中,处理器120可以是或包括一个或多个现场可编程门阵列(FPGA) 或可编程逻辑设备(PLD)。
存储器130可以包括图像数据库131以存储由相机102捕获或获得的图像和视频、存储由图像传感器104生成的图像和视频,或存储由另一设备提供的图像和视频。所存储的图像可以包括预览流的一个或多个缓冲帧。所存储的图像还可以包括多个所捕获的图像。
存储器130还可以包括相机设置存储132,以存储用于生成给定场景的预览流的相机设置。相机设置可以包括(但不限于)自动白平衡(AWB)设置、自动聚焦(AF)设置和自动曝光(AE)设置。在一些实施方式中,相机设置中的每一个可以基于给定预览流的一个或多个缓冲帧(诸如通过对与给定预览流的一个或多个缓冲帧相关联的相机设置求平均)。例如,当设备100 在显示器140上呈现预览流时,设备100可以临时缓冲预览流的一个或多个帧,并且可以确定与生成缓冲帧相关联的AWB设置、AF设置和AE设置。在一些方面,设备100可以确定与预览流的缓冲帧相关联的平均AWB设置、平均AF设置和平均AE设置。
存储器130还可以包括非暂时性计算机可读介质(诸如一个或多个非易失性存储元件,诸如EPROM、EEPROM、闪存、硬驱动器等),其可以存储用于执行本公开中描述的一个或多个操作的全部或部分的计算机可执行指令 133。在一些实施方式中,处理器120可以执行存储在存储器130中的多个指令133,以使得设备100执行任何数量的不同功能或操作,诸如例如图5-7的一个或多个操作。虽然在图1的示例中被示出为经由处理器120彼此耦合,但相机控制器110、处理器120、存储器130、显示器140和I/O组件150可以以各种布置彼此耦合。例如,相机控制器110、处理器120、存储器130、显示器140和I/O组件150可以经由一个或多个本地总线(为了简单起见未示出)彼此耦合。
设备100可以包括为了简单起见而在图1中未示出的附加特征或组件。例如,可以包括无线接口(其可以包括一个或多个收发器和基带处理器)以用于无线通信设备。另外,设备100可以包括或者可以被耦合到除相机102 以外的附加相机。本公开不应限于任何特定的示例或说明,包括示例设备100。在其他实施方式中,设备100可以包括与图1所示的那些组件相比更少的组件。例如,在一些实施方式中,设备100可以不包括相机,而是可以(使用有线连接或无线连接)被耦合到一个或多个远程定位的相机(为了简单起见未示出)。
术语“设备”不限于一个或特定数量的物理对象(诸如智能电话)。如本文中所使用的,设备可以是具有可以实现本公开的至少某些部分的多个部分的任何电子设备。虽然以下描述和示例使用术语“设备”来描述本公开的各个方面,但是术语“设备”不限于对象的特定的配置、类型或数量。
根据本公开的一些方面,设备100可以允许用户拉近或放大预览流的第一ROI,从而使得经放大的第一ROI被呈现在显示器140上,并且此后可以允许用户使设备100在不调整相机的变焦水平的情况下,从在显示器140上呈现经放大的第一ROI切换到在显示器140上呈现第二ROI的经放大部分。以这种方式,设备100可以允许用户选择预览流的不同部分来放大并呈现在显示器140上,同时使相机保持在相同的变焦水平。
图2A是描绘场景的示例预览流201的示图200。可以将预览流201作为图1的相机102的全视场(FOV)而呈现在设备100的显示器140上。设备 100可以接收来自用户的拉近命令,并且可以放大在设备100的显示器140 上呈现的预览流201的第一感兴趣区域(ROI)210。在一些实施方式中,设备100可以基于相机的FOV的中心点(诸如在显示器140上呈现的预览流 201的中心点202)来选择第一ROI 210。在一些方面,设备100可以在显示器140上呈现对角线十字准线211-214以标识第一ROI 210。
在其它实施方式中,用户可以选择占据预览流201的任何合适部分的 ROI(诸如不包括中心点202的ROI)。在一些实施方式中,用户可以触摸或轻击显示器140上的点或区域以选择在对预览流进行拉近的期间要放大的 ROI的中心点,并且设备100可以基于用户所选择的中心点来定义对应的ROI。设备100可以使用任何合适的技术来定义ROI相对于用户所选择的中心点的边界。例如,设备100可以将要放大的ROI定义为以用户所选择的中心点为中心并且具有所选择的宽度和长度的正方形或矩形内的区域。在一些方面,设备100可以选择要放大的ROI的宽度和长度。在其他方面,用户可以选择要放大的ROI的宽度和长度。以这种方式,用户可以选择预览流201 内的任何期望的感兴趣区域来进行放大,而不是依赖于设备100基于相机的 FOV的中心来选择ROI。
在其他实施方式中,用户可以使用触摸或轻击手势来定义在拉近操作期间要放大的ROI,并且设备100可以基于触摸或轻击手势来定义对应的ROI。对于一个示例,用户可以触摸或轻击显示器140上的两个或更多个点以标识定义ROI的正方形或矩形的角。对于另一示例,用户可以使用显示器140上的伸展手势来标识定义ROI的正方形或矩形的角。
响应于接收到来自用户的拉近命令,设备100可以放大在显示器140上呈现的所选择的ROI。图2B是描绘呈现在设备100的显示器140上的经放大的ROI 210’的示图250,其中经放大的ROI 210’对应于图2A的所选择的ROI 210。在一些实施方式中,设备100可以仅在显示器140上呈现经放大的ROI 210’,例如,使得经放大的ROI 210’占据先前由图2A的整个预览流201占据的、显示器140的相同或类似的量。
在一些实施方式中,设备100可以从用户接收指示场景的第二ROI的方向输入,并且可以在不调整相机102的变焦水平的情况下,基于所接收的方向输入从经放大的第一ROI切换到第二ROI的经放大部分。方向输入可以是设备100可以从中解释出从在显示器140上呈现第一ROI切换到在显示器上呈现第二ROI(使得场景的经放大部分跨预览流201而“移动”)的期望方向的、任何合适的触摸或手势输入。在一些实施方式中,设备100可以基于在显示器140上的一个或多个用户输入来移动经放大的ROI(诸如通过从在显示器140上呈现第一ROI切换到在显示器140上呈现第二ROI的经放大部分)。在一些方面,用户输入可以是滑动、轻弹或拖拽的触摸输入或触摸手势。例如,设备100可以基于用户在显示器140上向上滑动、轻弹或拖拽来将场景的经放大部分向上方移动,可以基于用户在显示器140上向下滑动、轻弹或拖拽来将场景的经放大部分向下方移动,可以基于用户向显示器140的右边缘滑动、轻弹或拖拽来将场景的经放大部分向右移动,并且可以基于用户向显示器140的左边缘滑动、轻弹或拖拽来将场景的经放大部分向左移动。
在其它实施方式中,设备100可以在显示器140上呈现多个方向指示符,并且可基于用户与方向指示符的交互来移动在显示器140上呈现的场景的经放大部分(例如,通过从在显示器140上呈现第一ROI切换到在显示器140 上呈现第二ROI的经放大部分)。在一些方面,方向指示符可以包括(但不限于)上方向指示符、下方向指示符、右方向指示符和左方向指示符。
图3是描绘场景的另一示例预览流201的示图300。如图3所示,设备 100可以在预览流201上呈现多个方向指示符301-304。尽管在示图300中呈现对角线十字准线211-214以标识第一ROI 210,但是在其他实施方式中,可以不在显示器上呈现对角线十字准线211-214。方向指示符301向上指向显示器140的上边缘,方向指示符302向下指向显示器140的下边缘,方向指示符303向右指向显示器140的右边缘,并且方向指示符304向左指向显示器140的左边缘(为了简化,在图3中未示出显示器140)。
设备100可以基于用户与“向上”方向指示符301的交互在场景中将在显示器140上呈现的预览流的经放大部分向上方移动,可以基于用户与“向下”方向指示符302的交互在场景中将在显示器140上呈现的预览流的经放大部分向下方移动,可以基于用户与“向右”方向指示符303的交互在场景中将在显示器140上呈现的预览流的经放大部分向右移动,并且可以基于用户与“向左”方向指示符304的交互在场景中将在显示器140上呈现的预览流的经放大部分向左移动。在其他实施方式中,可以在显示器140上呈现多个附加方向指示符。以这种方式,设备100可以在不调整相机102的变焦水平和/或不要求用户重新定位设备100的情况下,允许用户将在显示器140上呈现的预览流的经放大部分移动到场景的全FOV的不同区域或部分。
根据本公开的一些方面,设备100可以通过处理预览流的缓冲帧并且随后数字地裁剪经处理的帧以放大所选择的ROI,来放大预览流的所选择的 ROI。这样,预览流的缓冲帧的整体——其包括场景的全FOV——可用于放大预览流的不同ROI(诸如通过数字地裁剪经处理的帧的不同部分)。以此方式,设备100可以在不调整相机102的变焦水平的情况下通过数字地裁剪预览流的缓冲帧来放大预览流的任何部分。换句话说,尽管设备100可以在显示器140上呈现场景的经放大的ROI,但相机102不执行变焦操作并且因此可以继续提供场景的全FOV的帧或预览流以便在显示器140上进行呈现。
在一些实施方式中,设备100可以缓冲场景的预览流的全FOV的一个或多个帧,确定用于生成缓冲帧的相机设置,并且将所确定的相机设置存储在存储器中(诸如在存储器130的相机设置存储132中)。在一些方面,相机设置可以包括(但不限于)用于生成预览流201的缓冲帧的自动白平衡(AWB) 设置、自动聚焦(AF)设置和自动曝光(AE)设置。因为所存储的相机设置对应于设备100已经针对场景的先前帧而确定的相机设置,所以设备100可以在不调整相机102的变焦水平的情况下使用所确定的相机设置来将在显示器140上呈现的预览流201的经放大部分移动到场景的全FOV的不同区域或部分。更具体地,因为自动白平衡、自动聚焦和自动曝光设置中的每一个都花费时间来确定并且在预览流201的连续帧之间改变地非常小(如果有的话) (假设场景和/或FOV已经改变地非常小,如果有的话),设备100可以在不重置相机设置或确定新的相机设置的情况下,使用所存储的相机设置来围绕场景的相机FOV移动在显示器上呈现的预览流的经放大部分。以此方式,设备100不仅可以在不调整相机102的变焦水平的情况下允许用户将呈现在显示器140上的预览流的经放大部分移动到场景的全FOV的不同区域或部分,而且可以防止预览流201太亮(这可能在常规相机中发生,因为重置相机设置与预览流的相继帧之间的时间间隔相比典型地会花费更长的时间)。
图4A是描绘图3的预览流201的多个经放大的感兴趣区域的示图400。图4A的经放大的ROI 210’是图2B中所描绘的经放大的ROI 210’的表示,并且可以在显示器140的整体上进行呈现(或至少基本上占据整个显示器140)。在其中设备100或用户选择图2A和图3的ROI 210来放大的实施方式中,设备100可以在显示器140上呈现经放大的ROI 210’(诸如响应于接收到拉近命令)。
在一些实施方式中,设备100可以在预览流201上呈现方向指示符 301-304,并且可以基于用户与方向指示符301-304的交互来从经放大的第一 ROI切换到第二ROI的经放大部分。对于一个示例,如果用户选择“向上”方向指示符301或者与“向上”方向指示符301交互,则设备100可以在场景的全FOV中将预览流的经放大部分向上“移动”,从而使得设备100从在显示器140上呈现经放大的ROI 210’切换到在显示器140上呈现经放大的 ROI220UP。对于另一示例,如果用户选择“向下”方向指示符302或者与“向下”方向指示符302交互,则设备100可以在场景的全FOV中将预览流的经放大部分向下“移动”,从而使得设备100从在显示器140上呈现经放大的ROI 210’切换到在显示器140上呈现经放大的ROI220DOWN。对于另一示例,如果用户选择“向右”方向指示符303或者与“向右”方向指示符303交互,则设备100可以在场景的全FOV中将预览流的经放大部分向右“移动”,从而使得设备100从在显示器140上呈现经放大的ROI 210’切换到在显示器 140上呈现经放大的ROI220RIGHT。对于另一示例,如果用户选择“向左”方向指示符304或者与“向左”方向指示符304交互,则设备100可以在场景的全FOV中将预览流的经放大部分向左“移动”,从而使得设备100从在显示器140上呈现经放大的ROI 210’切换到呈现经放大的ROI 220LEFT。在一些方面,用户可以通过触摸、轻击或以其他方式选择在显示器140上呈现的方向指示符301-304之一来与方向指示符301-304交互。
应理解,尽管在图4A的示例中仅描绘出四个经放大的ROI 220UP、 220DOWN、220RIGHT和220LEFT,但用户可以使设备100从第一ROI 210’切换到场景的任何数量的其它经放大的ROI。例如,当用户选择方向指示符 303时,在显示器140上呈现ROI 220RIGHT的经放大部分之前,设备100 可以在显示器140上呈现一个或多个中间的经放大的ROI的部分。因此,在一些实施方式中,设备100可以不必从经放大的第一ROI 210’跳到ROI 220RIGHT,而是可以连续地呈现位于经放大的第一ROI 210’与ROI 220RIGHT之间的ROI的经放大部分。
在其他实施方式中,用户可以指示设备100使用手势输入或触摸输入(而不是使用在显示器140上呈现的方向指示符301-304)从而在显示器140上呈现预览流的不同的经放大部分之间进行切换。图4B是描绘图3的预览流201 的多个经放大的感兴趣区域的另一示图450。图4B的经放大的ROI 210’是图 2B中所描绘的经放大的ROI 210’的表示,并且可以在显示器140的整体上进行呈现(或至少基本上占据整个显示器140)。对于一个示例,通过在显示器 140上提供向上滑动输入或滑动手势411,用户可以使设备100将预览流的经放大部分向上方“移动”,从而使得设备100从在显示器140上呈现经放大的 ROI 210’切换到在显示器140上呈现经放大的ROI 220UP。对于另一示例,通过在显示器140上提供向下滑动输入或滑动手势412,用户可以使设备100 将预览流的经放大部分向下方“移动”,从而使得设备100从呈现经放大的 ROI 210’切换到在显示器140上呈现经放大的ROI 220DOWN。对于另一示例,通过在显示器140上提供向右滑动输入或滑动手势413,用户可以使设备100将预览流的经放大部分向右“移动”,从而使得设备100从呈现经放大的ROI 210’切换到在显示器140上呈现经放大的ROI 220RIGHT。对于另一示例,通过在显示器140上提供向左滑动输入或滑动手势414,用户可以使设备100将预览流的经放大部分向左“移动”,从而使得设备100从呈现经放大的ROI 210’切换到在显示器140上呈现经放大的ROI 220LEFT。
图5是描绘用于从在显示器上呈现经放大的第一ROI切换到在显示器上呈现第二ROI的经放大部分的示例操作500的说明性流程图。尽管相对于图 1的设备100进行了描述,但是示例操作500可以由其他合适的系统、设备、相机或成像设备来执行。出于本文讨论的目的,参照预览流201和图2A-2B、 3和4A-4B的经放大的感兴趣区域220UP、220DOWN、220RIGHT和220LEFT 来描述示例操作500。为简单起见,经放大的感兴趣区域220UP、220DOWN、 220RIGHT和220LEFT中的相应一个在本文中可以被称为“经放大的ROI 220”。
设备100可以从相机接收场景的预览流(501)。在一些实施方式中,预览流201可以是从设备的相机102接收的。在其他实施方式中,预览流201 可以是从可以不被包括在设备100内的另一合适的相机(诸如远离设备100 放置的相机)接收的。设备100可以在显示器上呈现场景的预览流(502)。在一些实施方式中,可以将预览流201作为相机102的全视场(FOV)在显示器140上进行呈现。
设备100可以放大在显示器上呈现的场景的第一感兴趣区域(ROI) (503)。在一些实施方式中,设备100可以仅在显示器140上呈现经放大的第一ROI,从而使得经放大的第一ROI占据先前由整个预览流201占据的、显示器140的相同或类似的量,例如,如图2B中所描绘的那样。在一些实施方式中,设备100可以基于相机的FOV的中心点(诸如图2A中在显示器140 上呈现的预览流201的中心点202)来选择要放大的第一ROI。在其他实施方式中,用户可以选择要放大的第一ROI(而不是依赖于设备100基于相机的FOV的中心来选择要放大的ROI)。
设备100可以从用户接收指示场景的第二ROI的方向输入(504)。在一些实施方式中,第二ROI的至少一部分当前可以未与经放大的第一ROI一起被呈现在显示器上。例如,如果第一经放大的ROI 210’被呈现在显示器140 上,并且设备100接收到指示ROI 220RIGHT作为第二ROI的方向输入,则设备100可以在第一ROI 210’被呈现在显示器140上的同时不在显示器140 上呈现ROI 220RIGHT的部分。
方向输入可以是任何合适类型的输入、信号、命令或手势,这些输入、信号、命令或手势在由用户提供时,可以使得或指令设备100围绕预览流201 移动第二ROI的经放大部分。在一些实施方式中,显示器140可以是触敏显示器。在一些方面,方向输入可以是在触敏显示器140上提供的滑动手势、轻弹手势或拖拽手势中的一个。在其它方面,方向输入可以是用户与在显示器140上呈现的一个或多个方向指示符301-304的交互。附加地或替代地,显示器140可以包括邻近传感器(proximity sensor)(例如电容传感器)或与邻近传感器相关联,邻近传感器可以检测邻近于显示器140但不必接触显示器140的用户手势。以这种方式,即使显示器140不是触敏的,设备100也可以接收并解释用户手势。在其他实施方式中,设备100可以包括小键盘、一个或多个物理按钮,和/或用于接收来自用户的输入和命令的其他合适的机构。
设备100可以在不调整相机的变焦水平的情况下,基于所接收的方向输入从在显示器上呈现经放大的第一ROI切换到在显示器上呈现第二ROI的经放大部分(505)。在一些实施方式中,设备100可以基于包括例如滑动输入或滑动手势、轻弹输入或轻弹手势或者拖拽输入或拖拽手势的一个或多个用户输入从在显示器上呈现经放大的第一ROI切换到呈现第二ROI的经放大部分。在其它实施方式中,设备100可以基于用户与在显示器140上呈现的一个或多个方向指示符301-304的交互而从在显示器上呈现经放大的第一ROI 切换到呈现第二ROI的经放大部分。
设备100可以在显示器上呈现第二ROI的经放大部分(506)。在一些实施方式中,设备100可以仅在显示器140上呈现第二ROI的经放大部分,从而使得第二ROI的经放大部分占据先前由整个预览流201占据的、显示器140 的相同或类似的量。
附加地或替代地,设备100可以基于一个或多个用户输入或手势来调整第二ROI的经放大部分的大小(507)。在一些实施方式中,第二ROI的经放大部分可以基于捏合手势而被收缩,并且可以基于伸展手势而被扩大。捏合手势和伸展手势可以由用户使用两个手指(诸如拇指和食指)同时手指保持与显示器140接触(显示器140是触敏的以检测捏合手势和伸展手势)来执行。
在一些实施方式中,设备100可以基于预览流的一个或多个缓冲帧来确定相机设置(508),并且可以至少部分地基于所确定的相机设置来在显示器上呈现第二ROI的经放大部分(509)。在一些实施方式中,设备100可以缓冲场景的预览流201的全FOV的一个或多个帧,并且确定用于生成缓冲帧的相机设置。可以将所确定的相机设置存储在设备100的存储器中(诸如在存储器130的相机设置存储132中)。在一些方面,相机设置可以包括(但不限于)用于生成缓冲帧的自动白平衡(AWB)设置、自动聚焦(AF)设置和自动曝光(AE)设置。因为将存储在设备100的存储器130中的相机设置用于生成场景的预览流的先前帧,所以设备100可以在不调整相机102的变焦水平的情况下,在显示器140上呈现第二ROI的经放大部分时使用所存储的相机设置,从而消除了设备100确定新相机设置的需要。更具体地,因为自动白平衡、自动聚焦和自动曝光设置中的每一个都花费时间来确定并且在预览流201的连续帧之间典型地改变地非常小(如果有的话)(假设场景、FOV 或两者已经改变地非常小,如果有的话),设备100可以在不重置相机设置或确定新的相机设置的情况下使用先前确定的相机设置来在显示器140上呈现第二ROI的经放大部分。
图6是描绘用于从用户接收方向输入的示例操作600的说明性流程图。设备100可以在显示器上呈现多个方向指示符(601),并且可以检测用户与在显示器上呈现的一个(或多个)方向指示符的交互(602)。在一些实施方式中,显示器140是触敏显示器,并且设备100可以在显示器140上呈现多个用户可选择的方向指示符301-304,例如,如图3所描绘的那样。在一些方面,设备100可以在显示器140上呈现指向上方的方向指示符301,可以在显示器140上呈现指向下方的方向指示符302,可以在显示器140上呈现指向右的方向指示符303,并且可以在显示器140上呈现指向左的方向指示符 304。在一些实施方式中,设备100可以基于用户与方向指示符301的交互将在显示器140上呈现的经放大的ROI向上方“移动”,可以基于用户与方向指示符302的交互将在显示器140上呈现的经放大的ROI向下方“移动”,可以基于用户与方向指示符303的交互将在显示器140上呈现的经放大的 ROI向右“移动”,并且可以基于用户与方向指示符304的交互将在显示器140上呈现的经放大的ROI向左“移动”。
在其他实施方式中,用户可以使用用户输入或用户手势使设备100跨预览流201“移动”在显示器140上呈现的经放大的ROI。在一些方面,用户输入可以是滑动输入或滑动手势、轻弹输入或轻弹手势或者拖拽输入或拖拽手势中的一个。在其他方面,其他合适的用户输入或手势可以使设备100跨预览流201“移动”在显示器140上呈现的经放大的ROI。
图7是描绘用于基于由用户提供的方向输入从在显示器上呈现经放大的第一ROI切换到在显示器上呈现第二ROI的经放大部分的示例操作700的说明性流程图。设备100可以使用非对称裁剪比来数字地裁剪预览流的第一帧,以放大在显示器上呈现的第一ROI(701)。在一些实施方式中,设备100可以基于所接收的方向输入来调整非对称裁剪比(702),并且可以使用经调整的非对称裁剪比来数字地裁剪预览流的第二帧以在显示器上呈现第二ROI的经放大部分(703)。通过使用非对称裁剪比来裁剪预览流的帧以放大期望的ROI(诸如而不是使用对称裁剪比),设备100可以保持预览流的全FOV的纵横比。
如本文所使用的,指代项目列表中的“至少一个”的短语是指那些项目的任何组合,包括单个成员。作为一个示例,“a、b或c中的至少一个”旨在涵盖:a、b、c、a-b、a-c、b-c和a-b-c。
可以将结合本文所公开的实施方式而描述的各种说明性逻辑、逻辑块、模块、电路和算法处理实现为电子硬件、计算机软件或两者的组合。已经在功能方面大体描述了硬件和软件的可互换性,并且在上述各种说明性的组件、块、模块、电路和处理中对其进行了说明。以硬件实现还是以软件实现此类功能取决于具体的应用以及施加于整个系统的设计约束。
用于实现结合本文公开的方面而描述的各种说明性逻辑、逻辑块、模块和电路的硬件和数据处理装置可使用被设计成执行本文描述的功能的通用单芯片或多芯片处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑设备、分立门(discrete gate)或晶体管逻辑、分立硬件组件或其任何组合来实现或执行。通用处理器可以是微处理器,或者任何常规的处理器、控制器、微控制器或状态机。还可以将处理器实现为计算设备的组合,例如DSP和微处理器的组合、多个微处理器的组合、与DSP核结合的一个或多个微处理器的组合,或任何其他此类配置。在一些实施方式中,可以由特定于给定功能的电路系统来执行特定的过程和方法。
在一个或多个方面中,可以以硬件、数字电子电路系统、计算机软件、固件(包括本说明书中所公开的结构及其结构等效物)或其任何组合中来实现所描述的功能。本说明书中所描述的主题的实现还可以被实现为一个或多个计算机程序,即计算机程序指令的一个或多个模块,这些计算机程序指令被编码在计算机存储介质上,用于由数据处理装置执行或控制数据处理装置的操作。
如果以软件实现,则可以将功能作为一个或多个指令或代码在计算机可读介质上进行存储或传输。本文所公开的方法或算法的过程可以以可驻留于计算机可读介质上的处理器可执行软件模块实现。计算机可读介质包括计算机存储介质和通信介质两者,通信介质包括可以被启用以将计算机程序从一个地方转移到另一地方的任何介质。存储介质可以是可由计算机访问的任何可用介质。作为示例而非限制,此类计算机可读介质可以包括RAM、ROM、 EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁存储设备,或者可以被用于以指令或数据结构的形式存储所需程序代码并可由计算机访问的任何其它介质。同样,任何连接都可以适当地被称为计算机可读介质。本文使用的磁盘和光盘包括紧凑光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软盘和蓝光光盘,其中磁盘通常以磁性方式再现数据,而光盘则用激光以光学方式再现数据。上述的组合也应被包括在计算机可读介质的范围内。另外,方法或算法的操作可以作为代码和指令中的一个或任何组合或集合而驻留在机器可读介质和计算机可读介质上,该机器可读介质和计算机可读介质可以被并入计算机程序产品中。
对于本公开中描述的实施方式的各种修改对于本领域技术人员而言可以是显而易见的,并且在不背离本公开的精神或范围的情况下可以将本文定义的一般原理应用于其他实施方式。因此,权利要求书不旨在限于本文所示出的实施方式,而是将符合与本公开、本文公开的原理和新颖特征一致的最广泛范围。

Claims (28)

1.一种用于操作包括显示器的系统的方法,所述方法包括:
从相机接收场景的预览流;
在所述显示器上呈现所述预览流;
放大在所述显示器上呈现的所述场景的第一感兴趣区域(ROI);
从用户接收指示所述场景的第二ROI的方向输入,其中所述第二ROI的至少一部分当前未与经放大的第一ROI一起被呈现在所述显示器上;
在不调整所述相机的变焦水平的情况下,基于所接收的方向输入从所述经放大的第一ROI切换到所述第二ROI的经放大部分;
基于所述预览流的一个或多个缓冲帧来确定相机设置;以及
至少部分地基于所确定的相机设置而在所述显示器上呈现所述第二ROI的经放大部分。
2.如权利要求1所述的方法,其中在不调整所述相机的变焦水平的情况下将所述经放大的第一ROI呈现在所述显示器上,并且在不调整所述相机的变焦水平的情况下将所述第二ROI的经放大部分呈现在所述显示器上。
3.如权利要求1所述的方法,其中通过数字地裁剪所述预览流的一个或多个第一帧而将所述经放大的第一ROI呈现在所述显示器上,并且通过数字地裁剪所述预览流的一个或多个第二帧而将所述第二ROI的经放大部分呈现在所述显示器上。
4.如权利要求1所述的方法,其中所述相机设置包括自动白平衡(AWB)设置、自动聚焦(AF)设置和自动曝光(AE)设置中的一个或多个。
5.如权利要求1所述的方法,其中所述显示器包括触敏显示器,并且接收所述方向输入包括:
在所述触敏显示器上呈现多个方向指示符;以及
检测用户与呈现在所述触敏显示器上的所述方向指示符之一的交互。
6.如权利要求1所述的方法,其中所述方向输入包括滑动输入或滑动手势、轻弹输入或轻弹手势或者拖拽输入或拖拽手势中的一个。
7.如权利要求1所述的方法,其中所述显示器包括触敏显示器,所述方法还包括:
基于一个或多个用户输入来调整所述第二ROI的经放大部分的大小。
8.如权利要求7所述的方法,其中所述一个或多个用户输入包括捏合手势或伸展手势中的至少一个。
9.如权利要求1所述的方法,其中放大所述第一ROI包括:
使用非对称裁剪比来数字地裁剪所述预览流的第一帧。
10.如权利要求9所述的方法,其中在所述显示器上呈现所述第二ROI的经放大部分包括:
基于所接收的方向输入来调整所述非对称裁剪比;以及
使用经调整的非对称裁剪比来数字地裁剪所述预览流的第二帧。
11.一种用于呈现预览流的选择的感兴趣区域的设备,包括:
显示器;
一个或多个处理器;以及
存储指令的存储器,所述指令在由所述一个或多个处理器执行时,使得所述设备用于:
从相机接收场景的所述预览流;
在所述显示器上呈现所述预览流;
放大在所述显示器上呈现的所述场景的第一感兴趣区域(ROI);
从用户接收指示所述场景的第二ROI的方向输入,其中所述第二ROI的至少一部分当前未与经放大的第一ROI一起被呈现在所述显示器上;
在不调整所述相机的变焦水平的情况下,基于所接收的方向输入从所述经放大的第一ROI切换到所述第二ROI的经放大部分;
基于所述预览流的一个或多个缓冲帧来确定相机设置;以及
至少部分地基于所确定的相机设置而在所述显示器上呈现所述第二ROI的经放大部分。
12.如权利要求11所述的设备,其中在不调整所述相机的变焦水平的情况下将所述经放大的第一ROI呈现在所述显示器上,并且在不调整所述相机的变焦水平的情况下将所述第二ROI的经放大部分呈现在所述显示器上。
13.如权利要求11所述的设备,其中通过数字地裁剪所述预览流的一个或多个第一帧而将所述经放大的第一ROI呈现在所述显示器上,并且通过数字地裁剪所述预览流的一个或多个第二帧而将所述第二ROI的经放大部分呈现在所述显示器上。
14.如权利要求11所述的设备,其中所述相机设置包括自动白平衡(AWB)设置、自动聚焦(AF)设置和自动曝光(AE)设置中的一个或多个。
15.如权利要求11所述的设备,其中所述显示器包括触敏显示器,并且用于接收所述方向输入的指令的执行使得所述设备:
在所述触敏显示器上呈现多个方向指示符;以及
检测用户与呈现在所述触敏显示器上的所述方向指示符之一的交互。
16.如权利要求11所述的设备,其中所述方向输入包括滑动输入或滑动手势、轻弹输入或轻弹手势或者拖拽输入或拖拽手势中的一个。
17.如权利要求11所述的设备,其中所述显示器包括触敏显示器,并且所述指令的执行进一步使得所述设备:
基于一个或多个用户输入来调整所述第二ROI的经放大部分的大小。
18.如权利要求17所述的设备,其中所述一个或多个用户输入包括捏合手势或伸展手势中的至少一个。
19.如权利要求11所述的设备,其中用于放大所述第一ROI的指令的执行使得所述设备:
使用非对称裁剪比来数字地裁剪所述预览流的第一帧。
20.如权利要求19所述的设备,其中用于在所述显示器上呈现所述第二ROI的经放大部分的指令的执行使得所述设备:
基于所接收的方向输入来调整所述非对称裁剪比;以及
使用经调整的非对称裁剪比来数字地裁剪所述预览流的第二帧。
21.一种存储包含指令的一个或多个程序的非暂时性计算机可读介质,所述指令在由装置的一个或多个处理器执行时,使得所述装置执行包括以下的操作:
从相机接收场景的预览流;
在所述装置的显示器上呈现所述预览流;
放大在所述显示器上呈现的所述场景的第一感兴趣区域(ROI);
从用户接收指示所述场景的第二ROI的方向输入,其中所述第二ROI的至少一部分当前未与经放大的第一ROI一起被呈现在所述显示器上;
在不调整相机的变焦水平的情况下,基于所接收的方向输入从所述经放大的第一ROI切换到所述第二ROI的经放大部分;
基于所述预览流的一个或多个缓冲帧来确定相机设置;以及
至少部分地基于所确定的相机设置而在所述显示器上呈现所述第二ROI的经放大部分。
22.如权利要求21所述的非暂时性计算机可读介质,其中在不调整所述相机的变焦水平的情况下将所述经放大的第一ROI呈现在所述显示器上,并且在不调整所述相机的变焦水平的情况下将所述第二ROI的经放大部分呈现在所述显示器上。
23.如权利要求21所述的非暂时性计算机可读介质,其中所述显示器包括触敏显示器,并且用于接收所述方向输入的指令的执行使得所述装置执行还包括以下的操作:
在所述触敏显示器上呈现多个方向指示符;以及
检测用户与呈现在所述触敏显示器上的所述方向指示符之一的交互。
24.如权利要求21所述的非暂时性计算机可读介质,其中所述方向输入包括滑动输入或滑动手势、轻弹输入或轻弹手势或者拖拽输入或拖拽手势中的一个。
25.如权利要求21所述的非暂时性计算机可读介质,其中所述显示器包括触敏显示器,并且所述指令的执行使得所述装置执行还包括以下的操作:
基于一个或多个用户输入来调整所述第二ROI的经放大部分的大小。
26.如权利要求21所述的非暂时性计算机可读介质,其中用于放大所述第一ROI的指令的执行使得所述装置执行还包括以下的操作:
使用非对称裁剪比来数字地裁剪所述预览流的第一帧。
27.如权利要求26所述的非暂时性计算机可读介质,其中用于在所述显示器上呈现所述第二ROI的经放大部分的指令的执行使得所述装置执行还包括以下的操作:
基于所接收的方向输入来调整所述非对称裁剪比;以及
使用经调整的非对称裁剪比来数字地裁剪所述预览流的第二帧。
28.一种用于呈现预览流的选择的感兴趣区域的装置,包括:
用于从相机接收场景的所述预览流的部件;
用于在所述装置的显示器上呈现所述预览流的部件;
用于放大在所述显示器上呈现的所述场景的第一感兴趣区域(ROI)的部件;
用于从用户接收指示所述场景的第二ROI的方向输入的部件,其中所述第二ROI的至少一部分当前未与经放大的第一ROI一起被呈现在所述显示器上;
用于在不调整相机的变焦水平的情况下,基于所接收的方向输入从所述经放大的第一ROI切换到所述第二ROI的经放大部分的部件;
用于基于所述预览流的一个或多个缓冲帧来确定相机设置的部件;以及
用于至少部分地基于所确定的相机设置而在所述显示器上呈现所述第二ROI的经放大部分的部件。
CN201980061517.2A 2018-09-26 2019-08-30 用于操作包括显示器的系统的方法、设备、装置及计算机可读介质 Active CN112740651B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/142,778 2018-09-26
US16/142,778 US11082620B2 (en) 2018-09-26 2018-09-26 Zoomed in region of interest
PCT/US2019/049214 WO2020068373A1 (en) 2018-09-26 2019-08-30 Zoomed in region of interest

Publications (2)

Publication Number Publication Date
CN112740651A CN112740651A (zh) 2021-04-30
CN112740651B true CN112740651B (zh) 2022-05-13

Family

ID=67989080

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980061517.2A Active CN112740651B (zh) 2018-09-26 2019-08-30 用于操作包括显示器的系统的方法、设备、装置及计算机可读介质

Country Status (5)

Country Link
US (1) US11082620B2 (zh)
EP (1) EP3857864B1 (zh)
CN (1) CN112740651B (zh)
TW (1) TW202025789A (zh)
WO (1) WO2020068373A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022003412A1 (en) * 2020-06-30 2022-01-06 e-con Systems India Private Limited System and method for implementation of region of interest based streaming
KR20220075028A (ko) 2020-11-26 2022-06-07 삼성전자주식회사 다중 크롭 기능을 갖는 이미지 센서를 포함하는 전자 장치
CN113345113B (zh) * 2021-06-17 2022-03-18 北京航空航天大学青岛研究院 一种基于cave系统的内容呈现方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4218446B2 (ja) 2003-07-03 2009-02-04 株式会社ニコン 電子カメラ
KR100627048B1 (ko) 2003-12-15 2006-09-25 삼성테크윈 주식회사 디지털 카메라의 제어방법
US8106956B2 (en) * 2005-06-27 2012-01-31 Nokia Corporation Digital camera devices and methods for implementing digital zoom in digital camera devices and corresponding program products
EP2207342B1 (en) 2009-01-07 2017-12-06 LG Electronics Inc. Mobile terminal and camera image control method thereof
US8780251B2 (en) 2010-09-20 2014-07-15 Canon Kabushiki Kaisha Image capture with focus adjustment
KR101822655B1 (ko) * 2011-06-21 2018-01-29 삼성전자주식회사 카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템
US9137444B2 (en) * 2011-09-26 2015-09-15 Sony Corporation Image photography apparatus for clipping an image region
US9131143B2 (en) 2012-07-20 2015-09-08 Blackberry Limited Dynamic region of interest adaptation and image capture device providing same
US9635246B2 (en) 2013-06-21 2017-04-25 Qualcomm Incorporated Systems and methods to super resolve a user-selected region of interest
US20170125064A1 (en) 2015-11-03 2017-05-04 Seastar Labs, Inc. Method and Apparatus for Automatic Video Production
US10506198B2 (en) 2015-12-04 2019-12-10 Livestream LLC Video stream encoding system with live crop editing and recording
US9972111B2 (en) * 2016-02-24 2018-05-15 Adobe Systems Incorporated Optimizing image cropping
CN107239203A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 一种图像管理方法和装置
CN114125264B (zh) 2016-04-11 2024-07-05 思碧迪欧有限公司 提供虚拟的摇摄-倾斜-缩放视频功能的系统和方法

Also Published As

Publication number Publication date
US11082620B2 (en) 2021-08-03
TW202025789A (zh) 2020-07-01
EP3857864B1 (en) 2024-07-10
CN112740651A (zh) 2021-04-30
EP3857864A1 (en) 2021-08-04
WO2020068373A1 (en) 2020-04-02
US20200099866A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
US11750918B2 (en) Assist for orienting a camera at different zoom levels
KR101918760B1 (ko) 촬상 장치 및 제어 방법
CN112740651B (zh) 用于操作包括显示器的系统的方法、设备、装置及计算机可读介质
WO2011111371A1 (ja) 電子ズーム装置、電子ズーム方法、及びプログラム
US10712932B2 (en) Electronic device, method for controlling electronic device, and non-transitory computer readable medium
JP6107354B2 (ja) 画像表示装置、画像表示装置の制御方法、画像表示プログラム、および、これを記録したコンピュータ読み取り可能な記録媒体
CN113923350A (zh) 视频拍摄方法、装置、电子设备和可读存储介质
US10652442B2 (en) Image capturing apparatus with operation members provided on different sides, control method of the same, and storage medium
US20150281585A1 (en) Apparatus Responsive To At Least Zoom-In User Input, A Method And A Computer Program
US9699385B2 (en) Imaging apparatus and storage medium, and exposure amount control method
JP2011211757A (ja) 電子ズーム装置、電子ズーム方法、及びプログラム
US20200137284A1 (en) Image capturing apparatus, control method for image capturing apparatus, and control program for image capturing apparatus
US20240196093A1 (en) Imaging apparatus, imaging apparatus control method, and program
TWI843532B (zh) 用於以不同縮放位準定向一相機之輔助
JP6220276B2 (ja) 撮像装置及び撮像方法
KR20150117146A (ko) 촬영 영상의 크기 조정을 위한 촬영 장치 및 그 방법
KR20090047176A (ko) 외부 이미지를 이용하여 기능을 수행하는 디지털 촬영 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant