CN114641805A - 用于微距摄影的分屏特征 - Google Patents

用于微距摄影的分屏特征 Download PDF

Info

Publication number
CN114641805A
CN114641805A CN202180006265.0A CN202180006265A CN114641805A CN 114641805 A CN114641805 A CN 114641805A CN 202180006265 A CN202180006265 A CN 202180006265A CN 114641805 A CN114641805 A CN 114641805A
Authority
CN
China
Prior art keywords
camera
macro
electronic device
mobile electronic
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180006265.0A
Other languages
English (en)
Inventor
加尔·沙伯泰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Corephotonics Ltd
Original Assignee
Corephotonics Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Corephotonics Ltd filed Critical Corephotonics Ltd
Publication of CN114641805A publication Critical patent/CN114641805A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/02—Viewfinders
    • G03B13/06—Viewfinders with lenses with or without reflectors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B30/00—Camera modules comprising integrated lens units and imaging units, specially adapted for being embedded in other devices, e.g. mobile phones or vehicles
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/06—Panoramic objectives; So-called "sky lenses" including panoramic objectives having reflecting surfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)

Abstract

多种移动电子装置，包括一第一摄像头，具有一第一视场(FOV1)；一第二微距摄像头，具有小于第一视场的一微距视场(FOVM)；以及一装置屏幕，包括一第一屏幕部分，配置为显示来自第一摄像头的第一图像数据；以及一第二屏幕部分，配置为在两个摄像头都对焦到等于或小于30厘米的距离时，显示来自微距摄像头的第二图像数据。

Description

用于微距摄影的分屏特征
相关申请的交叉引用
本申请要求于2020年2月22日提交的美国临时专利申请第62/980,184号；2020年5月30日提交的美国临时专利申请第63,032,576号；以及2020年9月18日提交的美国临时专利申请第63,080,047号的优先权，其全部内容通过引用并入本文。
技术领域
本文公开的主题大体上涉及微距(Macro)图像，并且具体地涉及使用多摄像头(multi-cameras)(例如：双摄像头(dual-cameras))获得此类图像的方法。
背景技术
多孔数码摄像头(Multi-aperture digital cameras)(或多摄像头(multi-cameras))是移动电子装置(例如，智能手机、平板电脑等)的标准配置。多摄像头通常包括具有广角视场(wide field-of-view)(或角度)FOVW的摄像头(广角摄像头)，以及至少一附加摄像头，具有相同的视场(例如，深度辅助摄像头)，具有更窄(比广角视场)视场FOVT(长焦(Telephoto)或长焦(Tele)摄像头)，或具有比广角视场更广角的超广角(UW)视场FOVUW。在以下一些实施例中，广角或超广角摄像头可被称为非微距摄像头(non-Macro camera)。
微距摄影模式正在成为智能手机摄像头的流行差异化因素。微距摄影是指拍摄距离摄像头非常近的物体，使图像传感器记录的物体图像尺寸几乎与被拍摄的物体的实际尺寸一样大，即它有一个大物体，例如图像放大率10:1到1:1。这样的图像可以被称为微距图像。第一批包含具有微距视场FOVM的微距摄像头(通常基于超广角摄像头)的智能手机已进入消费市场。微距摄像头可以用远摄摄像头(Tele camera)来实现。一个优点是使用远摄摄像头捕捉的微距图像的高放大率，因此可以说是超微距图像(Super Macro Image)”。在一些示例中，微距摄像头可以是扫描式远摄摄像头(scanning Tele camera)，其可以使用其原生(native)微距视场扫描场景，例如在共同拥有的美国专利10,578,948中所描述的。
微距图像以约20厘米或更小的物体-摄像头距离记录。超广角摄像头可能仍然能够对焦到这些小距离。通常，非常小的物体(例如，尺寸小于1厘米)被定位为图像物体(即，感兴趣的物体(objects of interest，OOI))。微距图像的这种非常小的感兴趣的物体可能会被多摄像头主机装置(multi-camera hosting device)遮挡，使得微距摄像头难以以精确方式捕捉感兴趣的物体。当微距视场捕捉物体的小面积(例如，几平方毫米)时(例如，放置在距离摄像头2厘米到10厘米的地方)，同时被集成在大型装置中时，这一点尤其重要。有一种支持快速且用户友好的方式来将微距摄像头微距视场指向非常小的感兴趣的物体的方法会是有益的。
发明内容
在一些实施例中，提供了在多摄像头主机装置(multi-camera hosting device)上分屏(split screen)视图，其示出了超广角摄像头视场(field of view，FOV)的预览图像片段以及微距视场(Macro field of view，FOVM)的预览图像片段，以支持使用微距视场对准感兴趣的物体(object of interest，OOI)。
向用户显示的超广角摄像头视场的图像片段可以包含一些区分元素，标记将通过微距模式捕捉的感兴趣的物体的区域。这种区分元素标记可以包括一可触摸框(touchablebox)，例如，一矩形框。用户可以在屏幕上获得反馈，其中多摄像头主机装置将被移动，以使用微距视场捕捉感兴趣的物体。
在各种实施例中，提供了多种移动电子装置，包括一第一摄像头(camera)，具有一第一视场(first field of view，FOV1)；一第二微距摄像头(Macro camera)，具有一微距视场(Macro field of view，FOVM)，所述微距视场小于所述第一视场；以及一装置屏幕，包括一第一屏幕部分，配置为显示来自所述第一摄像头的第一图像数据；以及一第二屏幕部分，配置为当两个摄像头对焦到等于或小于30厘米(cm)的距离时，显示来自所述微距摄像头的第二图像数据。
在一些实施例中，所述微距视场显示并标记在所述第一屏幕部分内。
在一些实施例中，所述第一屏幕部分包括一视觉指示，用于引导所述移动电子装置的一用户使用所述微距视场朝向一场景。
在一些实施例中，所述第二屏幕部分显示来自所述第一摄像头的第一图像数据。
在一些实施例中，一装置还包含一控制器，用于基于所述第一图像数据控制所述微距摄像头的状态的改变。在一些实施例中，所述微距摄像头的状态是一变焦状态。在一些实施例中，所述微距摄像头的状态是一对焦状态。
在一些实施例中，所述第一摄像头的一焦距在2到7毫米之间。
在一些实施例中，所述微距摄像头的一焦距在12到40毫米之间。
在一些实施例中，所述微距摄像头的一焦距在14到30毫米之间。
在一些实施例中，所述微距摄像头的一焦距在15到20毫米之间。
在一些实施例中，两个摄像头均可以对焦到小于20厘米的距离。
在一些实施例中，两个摄像头均可以对焦到10厘米或更小的距离。
在一些实施例中，至少一摄像头可以对焦到5到10厘米之间的距离。
在一些实施例中，至少一摄像头可以对焦到5厘米或更小的距离。
在一些实施例中，至少一摄像头可以对焦到3厘米或更小的距离。
在一些实施例中，所述第一摄像头是一超广角摄像头。
在一些实施例中，所述第一摄像头是一广角摄像头。
在一些实施例中，所述微距摄像头是一扫描式远摄摄像头(scanning Telecamera)。在一些实施例中，所述装置还包含一控制器，用于基于所述第一图像数据控制所述微距摄像头的一扫描状态的改变。
在一些实施例中，所述微距摄像头是具有不同变焦状态的一远摄摄像头。
在一些实施例中，所述第一摄像头对焦到一第一距离，所述第一距离与所述微距摄像头对焦到的一第二距离不同。
在一些实施例中，当所述移动电子装置保持在一横向(landscape)方向时，所述第一屏幕部分及所述第二屏幕部分被垂直分割，并且当所述移动电子装置保持在一纵向(portrait)方向时，所述第一屏幕部分及所述第二屏幕部分被水平分割。
在一些实施例中，所述装置是一智能手机。
在一些实施例中，所述装置还包含一控制器，用于基于所述第一图像数据控制所述微距摄像头的一扫描状态的改变。
在各种实施例中，提供了多种方法，包含：提供一移动电子装置，包括一第一摄像头，具有第一视场；一第二微距摄像头，具有小于所述第一视场的一微距视场；以及一装置屏幕；将所述第一摄像头与所述微距摄像头对焦到≤30厘米的距离；以及在所述装置屏幕的一第一部分上显示来自所述第一摄像头的第一图像数据，并且在所述装置屏幕的一第二部分上显示来自所述第二摄像头的第二图像数据。
在一些实施例中，将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将所述第一摄像头对焦到≤30厘米的一第一距离，以及将所述微距摄像头对焦到与所述第一距离不同的≤30厘米的距离。
在一些实施例中，将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将两个摄像头对焦到20厘米或更小的距离。
在一些实施例中，将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将两个摄像头对焦到10厘米或更小的距离。
在一些实施例中，将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将两个摄像头或其中一个摄像头对焦到5厘米或更小的距离。
在一些实施例中，将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将两个摄像头或其中一个摄像头对焦到3厘米或更小的距离。
在一些实施例中，一种方法还包含在所述第一屏幕部分内显示及标记所述微距视场。
在一些实施例中，一种方法还包含在所述第一屏幕部分中包括一视觉指示，用于引导所述移动电子装置的一用户使用所述微距视场朝向一场景。
在一些实施例中，一种方法还包含在所述第二屏幕部分中显示所述第一图像数据。
在一些实施例中，一种方法还包含基于所述第一图像数据控制所述微距摄像头的状态的改变。
在一些实施例中，控制所述微距摄像头的状态的改变包括控制选自于由所述微距摄像头的一扫描状态、一变焦状态及一对焦状态所组成的群组中的一状态的改变。
在一些实施例中，所述微距摄像头是一扫描式远摄摄像头(scanning Telecamera)，并且基于所述第一图像数据控制所述微距摄像头的状态的改变包括自动控制所述扫描式远摄摄像头的一扫描状态的改变。
在一些实施例中，所述微距摄像头是具有不同变焦状态的一远摄摄像头，并且控制所述微距摄像头的状态的改变包括自动控制所述远摄摄像头的一变焦状态的改变。
附图说明
下面参考在此段落之后列出的附图描述本文公开的实施例的非限制性示例。附图以及描述旨在阐明及说明本文公开的实施例，并且不应以任何方式被认为是限制性的。不同附图中的相同元件可以使用相同的数字表示。附图中的元件不一定按比例绘制。
图1示意性地示出了超广角视场(field of view，FOV)以及微距视场之间的双摄像头(dual-camera)输出图像大小及比率；
图2A示出了根据本文公开的实施例的一种具有超广角摄像头、微距摄像头以及屏幕被分成两个部分的智能手机，其中一个部分展示了超广角视场(或其裁剪(crop)区域)，而一个部分展示了微距视场(或其裁剪区域)；
图2B示出了朝向一感兴趣的物体(object of interest，OOI)移动智能手机的过程中的一第一阶段以及图2A的摄像头中的微距视场，如屏幕的每个部分所示；
图2C示出了朝向一感兴趣的物体移动智能手机的过程中的一最后阶段以及图2A的摄像头中的微距视场，如屏幕的每个部分所示；
图3示出了根据本文公开的另一实施例的一分屏(split screen)视图；
图4示出了根据本文公开的多个实施例的在移动电子装置中使用分屏进行微距摄影的方法的流程图；以及
图5示意性地示出了包括多摄像头并且被配置为执行本文公开的方法的电子装置的实施例。
具体实施方式
本文公开的实施例解决了当使用智能手机以及其他移动电子装置中包括的多摄像头执行微距摄影时一感兴趣的物体的遮挡(occlusion)问题。为简单起见且仅作为示例，此解决方案以双摄像头(dual-camera)来说明，但应理解其也清楚地适用于具有三个或更多摄像头的多摄像头(multi-cameras)。
图1示出了智能手机100的典型的视场(field of-view，FOV)比例，包括多摄像头(未示出)，其包括一超广角(ultra-Wide，UW)摄像头，具有覆盖大部分场景的超广角视场(FOVUW)102；以及一微距摄像头，具有覆盖小部分场景的微距视场(FOVM)104。可以看到超广角与微距输出图像之间的示例尺寸及比例。
在一些示例中，微距摄像头可以是连续远摄变焦摄像头(continuous Tele zoomcamera)，其中微距视场随着变焦因子(zoom factor，ZF)的变化而变化。
图2A示出了根据当前公开的主题的编号为200的智能电话的实施例，所述智能电话包括：具有超广角视场202的一超广角摄像头；具有微距视场204的一微距摄像头；以及一屏幕(显示器)206。图5中给出了智能手机200的系统描述。如图2A至图2C中的四个箭头所示，智能手机200可以由用户在四个或更多方向上移动，以手动将微距视场移向感兴趣的物体(object of interest，OOI)/感兴趣的区域(region-of-interest，ROI)。屏幕206示出了用于显示多摄像头的图像的一第一屏幕的示例。微距摄影需要近距离捕捉小物体。微距摄像头可以包括一焦距比超广角摄像头的焦距大得多(例如，3倍到25倍)的一远摄(Tele)镜头。在这种情况下，超广角摄像头可以轻松对焦到近距离(例如，2厘米(cm)到30cm)，但由于焦距小，视场大，因此空间分辨率较差。例如，考虑2.5毫米(mm)焦距的超广角摄像头以及25mm焦距的微距摄像头。两个摄像头可以包括相同或不同的传感器(例如，具有相同或不同的像素数及像素大小)。假设两个摄像头包括相同的传感器，例如，具有4mm的主动图像传感器宽度。当对焦到5cm时，微距摄像头的M为1:1，会捕捉4mm宽的物体(与传感器宽度相同)。超广角摄像头的M为19:1，会捕捉76mm宽的物体。
在一些示例中，为了执行本文所公开的方法，代替或是除了具有超广角视场202的超广角摄像头之外，一智能手机，例如智能电话200可以包括一广角摄像头，所述广角(Wide,W)摄像头的一广角视场(FOVW)(未示出)小于超广角视场202，但仍然大于微距视场。在一些示例中，广角摄像头可能无法对焦到与例如距离很近的物体，例如10cm。在这样的示例中，为了执行本文公开的方法，广角摄像头可以被对焦到其最小焦距，例如20cm。
上述超广角或广角摄像头的景深比具有微距视场的具有微距功能的远摄摄像头大。在超广角或广角图像数据中比在微距图像数据中更容易检测到感兴趣的区域。因此，可以使用超广角、广角或微距摄像头图像数据来自动检测及选择感兴趣的区域。
在示例性情况下，用户希望使用智能手机200捕捉一感兴趣的物体(例如，在摄像头中形成图像216的花208)或是具有非常高(微距)分辨率的一感兴趣的区域。对于本文公开的使用方法，屏幕206被分为两部分，一第一部分210(可能被裁剪(crop))以及一第二部分212。第一屏幕部分可以使用第一视场(first field of view，FOV1)显示来自第一摄像头的第一图像数据，第二屏幕部分可以用微距视场显示来自第二摄像头的第二图像数据。这里的示例显示屏幕上的分屏(split screen)视图，即，两个屏幕部分并排显示。在其他示例(未示出)中，可以在屏幕上显示“画中画(picture-in-picture)”视图，即一个屏幕部分可以显示为另一屏幕部分中的嵌件(inlay)。在一些示例中，第二屏幕部分可以显示在整个屏幕上或屏幕的大部分上，但显示第一屏幕部分的部分除外，其中第一屏幕部分覆盖的屏幕区域小于第二屏幕。在图2A至图2C的实施例中，两个屏幕部分典型地具有“横向(landscape)”方向，即，第一屏幕部分与第二屏幕部分被垂直分割，当装置以横向方向固定时是有益的。屏幕206可以包括已知的附加图标或符号(未显示)。第一屏幕部分210显示被裁剪的超广角视场(因此可以称为“超广角(UW)屏幕部分210”)，而第二屏幕部分212显示微距视场(因此可以称为“微距屏幕部分212”)。在第一部分210内，微距视场204可由物理(即，在屏幕上可见)矩形204’标记。矩形204’表示微距视场204相对于超广角视场202的实际位置。可选地，另一个物理矩形204”指示感兴趣的物体(花)208的超广角预览，以便引导用户朝向花208。用户可以在超广角屏幕部分210中始终看到FOVM 204相对于矩形204”的位置，同时，微距屏幕部分212显示FOVM内的场景。在使用中，用户将带有摄像头的智能手机朝向花朵208移动。在微距屏幕部分212中，一箭头218指示将花朵208与微距视场204对齐所需的移动方向及距离。在一些示例中，来自超广角视场202的图像数据可以在微距屏幕部分212中显示。例如，当微距摄像头可能不在整个摄像头微距视场204的焦点上或当存在其他光学或图像质量问题时，这是有益的。
图2B、图2C示出了将智能手机(及微距视场)移向花208(即，移向预览216)的过程。如图2B所示，超广角屏幕部分指示微距视场204的移动，使其接近矩形204”(预览216)。花开始出现在微距屏幕部分212中。在图2C中，微距视场204在超广角屏幕部分中被视为完全重叠的矩形204”，而花朵208在微距屏幕部分212中完全显示。
图3示出了根据当前公开的主题的标号微300的智能电话的实施例，所述智能电话包括：具有超广角视场302的一超广角摄像头；具有微距视场304的一微距摄像头；以及一屏幕306。屏幕306被分成一超广角屏幕部分310以及一微距屏幕部分312，两者都是纵向的，即，第一屏幕部分及第二屏幕部分被水平分割，当装置被保持在纵向时是有益的。在图2C中，在第一部分310内，微距视场304由一物理矩形304’标记，并且可选地，另一个物理矩形304”指示花308的超广角预览(其在摄像头中形成图像316)，以便引导用户朝向花308。
这种分割屏幕并同时显示超广角视场及微距视场的方法或装置允许用户找到感兴趣的物体，并使用微距摄像头(也可以同时使用超广角摄像头)捕捉它，即使手机(图像捕捉装置)遮挡了感兴趣的物体。
图4示出了根据本文公开的实施例的在一移动电子装置中使用分屏进行微距摄影的方法的流程图。在步骤400，一移动电子装置的一屏幕被分割，以同时显示非微距(例如：超广角)摄像头图像流(steam)(或其裁剪版本)以及微距摄像头图像流(或其裁剪版本)。在步骤402，通过在感兴趣的物体/感兴趣的区域选择器546上运行的专用算法或是通过一人类用户在超广角摄像头的超广角视场中选择一感兴趣的物体/感兴趣的区域作为微距图像的一场景。超广角视场以及微距视场已被校准。如本领域已知的，超广角视场中的感兴趣的物体/感兴趣的区域的位置可以被转换为微距视场中的一相应的感兴趣的物体/感兴趣的区域的位置。在步骤404，基于超广角视场中的感兴趣的物体/感兴趣的区域的定位位置，来计算感兴趣的物体/感兴趣的区域相对于微距视场的各个位置。在步骤406，用户被视觉地或以其他方式引导朝向感兴趣的物体/感兴趣的区域相对于微距视场的定位位置。用于引导的视觉或其他指示可以是视觉的(例如，通过图2A至图2B中所示的箭头218)，或是通过专用声音，或是通过一些触觉反馈。在一些示例中，用户控制单元544配置为提供视觉或其他指示。根据步骤406的引导，用户移动摄像头的主机(hosting)装置(例如，智能手机)，直到感兴趣的物体/感兴趣的区域出现在微距视场中。在步骤408中，用户捕捉感兴趣的物体/感兴趣的区域的一微距图像(也称为超微距图像(Super Macro image))。
图5示意性地示出了编号为500的电子装置(例如，智能手机)的实施例，其包括多摄像头，并且配置为执行本文公开的方法。电子装置500包括具有微距视场的一微距摄像头510。微距摄像头510包括具有微距镜头的一微距镜头模块512、一微距图像传感器514以及用于致动微距镜头模块512的一镜头致动器516。微距镜头形成由微距图像传感器514记录的一微距图像。
可选地，微距镜头可以具有提供一固定变焦因子的一固定有效焦距(effectivefocal length，EFL)，或是提供一适配(adaptable)的变焦因子的一适配(可变(variable))的固定有效焦距。固定有效焦距的适配可以是离散的或连续的，即，用于提供具有相应的变焦因子的多个离散或连续变焦状态的可变的固定有效焦距的离散数量。摄像头510可以自动切换到有益的变焦状态。
可选地，微距摄像头510可以是折叠式摄像头，其包括光路折叠元件(opticalpath folding element，OPFE)518及光路折叠元件致动器522，用于致动光路折叠元件518，以进行光学图像稳定(optical image stabilization，OIS)及/或视场扫描。在一些实施例中，可以通过启动一个或多个光路折叠元件来执行微距摄像头的视场扫描。例如，在2020年11月5日提交的共同拥有的美国临时专利申请第63/110,057号中描述了通过驱动两个光路折叠元件执行视场扫描的扫描式微距摄像头。
微距摄像头模块510还包括第一存储器524，例如在电子式可擦除可编程只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)中。在一些实施例中，第一校准数据可以存储在存储器524中。在其他实施例中，第一校准数据可以存储在诸如非易失性存储器(Non-Volatile Memory，NVM)的第三存储器560中。第一校准数据可以包括图像传感器514与534之间的校准数据。
电子装置500还包括具有大于摄像头510的微距视场的超广角视场的超广角摄像头530。超广角摄像头530包括具有超广角镜头及超广角图像传感器534的超广角镜头模块532。镜头致动器536可以移动镜头模块532，以用于对焦及/或光学图像稳定。在一些实施例中，第二校准数据可以存储在第二存储器538中。在其他实施例中，第二校准数据可以存储在第三存储器560中。第二校准数据可以包括图像传感器514与534之间的校准数据。
微距摄像头可以具有例如8至30mm或更大的一有效焦距，10至40度的对角视场，以及约f/#＝1.8至6的f数。超广角摄像头可以具有例如2.5至8mm的一有效焦距，50至130度的对角视场，以及约1.0至2.5的f/#。
在一些实施例中，微距摄像头可以覆盖约50％的超广角摄像头的视场的的区域。在一些实施例中，微距摄像头可以覆盖约10％或更少的超广角摄像头的视场的区域。
电子装置500还包括应用处理器(application processor，AP)540。应用处理器540包括一摄像头控制器542、一用户控制单元544、感兴趣的物体/感兴趣的区域选择器546，以及一图像处理器548。电子装置500还包括一屏幕控制550及一屏幕570。屏幕570可以显示如本文所公开的方法。
现在回到图4中的使用方法，在一些示例中，摄像头控制器542可以使用超广角或广角摄像头图像数据来自动改变微距摄像头的状态(即，控制微距摄像头的扫描状态的改变)。所述状态可以是扫描(或引导(steer))状态、变焦状态或对焦状态。例如，超广角或广角摄像头图像数据可用于自动引导(或扫描)扫描式远摄摄像头的微距视场朝向一感兴趣的区域(微距摄像头的扫描状态的变化)。在一示例中，微距摄像头可以自行操纵，并且将微距视场引导到感兴趣的区域的步骤406可以由摄像头控制器542自动完成。如上所述，选择超广角视场中的感兴趣的物体/感兴趣的区域作为微距图像摄像头的场景可以通过在感兴趣的物体/感兴趣的区域选择器546上运行的专用算法来完成。在另一个示例中，微距摄像头可以使用超广角或广角图像数据在变焦状态之间切换。摄像头控制器542可以自动将微距摄像头切换到有益的变焦状态(即，控制微距摄像头的变焦状态的改变)，例如在执行步骤404及406时。有益的变焦状态可以是微距感兴趣的物体或感兴趣的区域完全进入微距视场的状态。在又一个示例中，摄像头控制器542可以使用广角或超广角摄像头的图像数据将微距摄像头自动对焦到微距视场内的感兴趣的区域(即，控制微距摄像头的对焦状态的改变)。跨越大于微距视场的场景的片段的感兴趣的物体或感兴趣的区域可以在两个或更多个连续帧中被完全捕捉，其中每个帧包括感兴趣的物体或感兴趣的区域的不同片段。顺序帧一起包括整体上的感兴趣的物体或感兴趣的区域上的图像数据，并由图像处理器548拼接成单个图像。
尽管已经根据某些示例和通常相关联的方法描述了本公开，但是示例和方法的改变和排列对于本领域技术人员来说将是显而易见的。本公开应理解为不受本文描述的具体示例的限制，而仅受所附权利要求的范围的限制。
应当理解，为了清楚起见，在单独示例的上下文中描述的当前公开主题的某些特征也可以在单个示例中组合地提供。相反，为了简洁起见，在单个示例的上下文中描述的当前公开主题的各种特征也可以单独或以任何合适的子组合提供。
除非另有说明，否则在供选择的选择列表的最后两个成员之间使用“及/或”表示选择一个或多个所列选择是适当的，并且可以进行。
应当理解，在权利要求或说明书提及“一(a)”或“一(an)”的元件的情况下，这种提及不应被解释为仅存在所述元件中的一个。
本说明书中提及的所有参考文献均以引用方式整体并入本说明书中，其程度如同每个单独的参考文献被具体地及单独地指示以引用方式并入本文一样。此外，本申请中任何参考文献的引用或标识不应被解释为承认所述参考文献可作为本申请的现有技术使用。

Claims (39)

1.一种移动电子装置，其特征在于，所述移动电子装置包含：
一第一摄像头，具有一第一视场；
一第二微距摄像头，具有一微距视场，所述微距视场小于所述第一视场；以及
一装置屏幕，包括一第一屏幕部分，配置为显示来自所述第一摄像头的第一图像数据；以及一第二屏幕部分，配置为当两个摄像头对焦到等于或小于30厘米的距离时，显示来自所述微距摄像头的第二图像数据。
2.如权利要求1所述的移动电子装置，其特征在于：所述微距视场显示并标记在所述第一屏幕部分内。
3.如权利要求1所述的移动电子装置，其特征在于：所述第一屏幕部分包括一视觉指示，用于引导所述移动电子装置的一用户使用所述微距视场朝向一场景。
4.如权利要求1所述的移动电子装置，其特征在于：所述第二屏幕部分显示来自所述第一摄像头的第一图像数据。
5.如权利要求1所述的移动电子装置，其特征在于：所述移动电子装置还包含一控制器，用于基于所述第一图像数据控制所述微距摄像头的状态的改变。
6.如权利要求1所述的移动电子装置，其特征在于：所述第一摄像头的一焦距在2到7毫米之间。
7.如权利要求1所述的移动电子装置，其特征在于：所述微距摄像头的一焦距在12到40毫米之间。
8.如权利要求1所述的移动电子装置，其特征在于：所述微距摄像头的一焦距在14到30毫米之间。
9.如权利要求1所述的移动电子装置，其特征在于：所述微距摄像头的一焦距在15到20毫米之间。
10.如权利要求1至9中任一项所述的移动电子装置，其特征在于：两个摄像头均可以对焦到小于20厘米的距离。
11.如权利要求1至9中任一项所述的移动电子装置，其特征在于：至少一摄像头可以对焦到5到10厘米之间的距离。
12.如权利要求1至9中任一项所述的移动电子装置，其特征在于：两个摄像头都可以对焦到10厘米或更小的距离。
13.如权利要求1至9中任一项所述的移动电子装置，其特征在于：至少一摄像头可以对焦到5厘米或更小的距离。
14.如权利要求1至9中任一项所述的移动电子装置，其特征在于：至少一摄像头可以对焦到3厘米或更小的距离。
15.如权利要求1所述的移动电子装置，其特征在于：所述第一摄像头是一超广角摄像头。
16.如权利要求1所述的移动电子装置，其特征在于：所述第一摄像头是一广角摄像头。
17.如权利要求1所述的移动电子装置，其特征在于：所述微距摄像头是一扫描式远摄摄像头。
18.如权利要求1所述的移动电子装置，其特征在于：所述微距摄像头是具有不同变焦状态的一远摄摄像头。
19.如权利要求1所述的移动电子装置，其特征在于：所述第一摄像头对焦到一第一距离，所述第一距离与所述微距摄像头对焦到的一第二距离不同。
20.如权利要求1所述的移动电子装置，其特征在于：当所述移动电子装置保持在一横向方向时，所述第一屏幕部分及所述第二屏幕部分被垂直分割，并且当所述移动电子装置保持在一纵向方向时，所述第一屏幕部分及所述第二屏幕部分被水平分割。
21.如权利要求1所述的移动电子装置，其特征在于：所述装置是一智能手机。
22.如权利要求5所述的移动电子装置，其特征在于：所述微距摄像头的状态为一变焦状态。
23.如权利要求5所述的移动电子装置，其特征在于：所述微距摄像头的状态为一对焦状态。
24.如权利要求17所述的移动电子装置，其特征在于：所述移动电子装置还包含一控制器，用于基于所述第一图像数据控制所述微距摄像头的一扫描状态的改变。
25.一种方法，其特征在于，所述方法包含：
提供一移动电子装置，包括一第一摄像头，具有第一视场；一第二微距摄像头，具有小于所述第一视场的一微距视场；以及一装置屏幕；
将所述第一摄像头与所述微距摄像头对焦到≤30厘米的距离；以及
在所述装置屏幕的一第一部分上显示来自所述第一摄像头的第一图像数据，并且在所述装置屏幕的一第二部分上显示来自所述第二摄像头的第二图像数据。
26.如权利要求25所述的方法，其特征在于：所述方法还包含在所述第一屏幕部分内显示及标记所述微距视场。
27.如权利要求25所述的方法，其特征在于：所述方法还包含在所述第一屏幕部分中包括一视觉指示，用于引导所述移动电子装置的一用户使用所述微距视场朝向一场景。
28.如权利要求25所述的方法，其特征在于：所述方法还包含在所述第二屏幕部分中显示所述第一图像数据。
29.如权利要求25所述的方法，其特征在于：所述第一摄像头的一焦距在2至7毫米之间。
30.如权利要求25所述的方法，其特征在于：所述微距摄像头的一焦距在12至40毫米之间。
31.如权利要求25所述的方法，其特征在于：将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将所述第一摄像头对焦到≤30厘米的一第一距离，以及将所述微距摄像头对焦到与所述第一距离不同的≤30厘米的距离。
32.如权利要求25所述的方法，其特征在于：将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将两个摄像头对焦到20厘米或更小的距离。
33.如权利要求25所述的方法，其特征在于：将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将两个摄像头对焦到10厘米或更小的距离。
34.如权利要求25所述的方法，其特征在于：将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将两个摄像头或其中一个摄像头对焦到5厘米或更小的距离。
35.如权利要求25所述的方法，其特征在于：将所述第一摄像头及所述微距摄像头对焦到≤30厘米的距离包括将两个摄像头或其中一个摄像头对焦到3厘米或更小的距离。
36.如权利要求25所述的方法，其特征在于：所述方法还包含基于所述第一图像数据控制所述微距摄像头的状态的改变。
37.如权利要求36所述的方法，其特征在于：控制所述微距摄像头的状态的改变包括控制选自于由所述微距摄像头的一扫描状态、一变焦状态及一对焦状态所组成的群组中的一状态的改变。
38.如权利要求36所述的方法，其特征在于：所述微距摄像头是一扫描式远摄摄像头，并且基于所述第一图像数据控制所述微距摄像头的状态的改变包括自动控制所述扫描式远摄摄像头的一扫描状态的改变。
39.如权利要求36所述的方法，其特征在于：所述微距摄像头是具有不同变焦状态的一远摄摄像头，并且控制所述微距摄像头的状态的改变包括自动控制所述远摄摄像头的一变焦状态的改变。
CN202180006265.0A 2020-02-22 2021-01-27 用于微距摄影的分屏特征 Pending CN114641805A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202062980184P 2020-02-22 2020-02-22
US62/980,184 2020-02-22
US202063032576P 2020-05-30 2020-05-30
US63/032,576 2020-05-30
US202063080047P 2020-09-18 2020-09-18
US63/080,047 2020-09-18
PCT/IB2021/050639 WO2021165764A1 (en) 2020-02-22 2021-01-27 Split screen feature for macro photography

Publications (1)

Publication Number Publication Date
CN114641805A true CN114641805A (zh) 2022-06-17

Family

ID=77391863

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180006265.0A Pending CN114641805A (zh) 2020-02-22 2021-01-27 用于微距摄影的分屏特征

Country Status (4)

Country Link
EP (1) EP4052176A4 (zh)
KR (1) KR20220053023A (zh)
CN (1) CN114641805A (zh)
WO (1) WO2021165764A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024076092A1 (ko) * 2022-10-04 2024-04-11 삼성전자 주식회사 카메라를 제어하기 위한 방법 및 이를 지원하는 전자 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4582152B2 (ja) * 2008-01-25 2010-11-17 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
CN102215373B (zh) * 2010-04-07 2014-12-24 苹果公司 会议中的显示调整
US10291842B2 (en) * 2015-06-23 2019-05-14 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of operating the same
US10382698B2 (en) * 2015-09-30 2019-08-13 Apple Inc. Mobile zoom using multiple optical image stabilization cameras
WO2018217951A1 (en) * 2017-05-24 2018-11-29 Camplex, Inc. Surgical visualization systems and displays
CN109729266A (zh) * 2018-12-25 2019-05-07 努比亚技术有限公司 一种图像拍摄方法、终端及计算机可读存储介质

Also Published As

Publication number Publication date
EP4052176A4 (en) 2023-01-04
US20220385831A1 (en) 2022-12-01
EP4052176A1 (en) 2022-09-07
KR20220053023A (ko) 2022-04-28
WO2021165764A1 (en) 2021-08-26

Similar Documents

Publication Publication Date Title
EP3328055B1 (en) Control method, control device and electronic device
KR102253997B1 (ko) 비디오 지원 및 스위칭/비스위칭 동적 제어 기능이 있는 듀얼-애퍼처 줌 카메라
CN102404505B (zh) 摄像设备及其控制方法
US11770618B2 (en) Systems and methods for obtaining a smart panoramic image
US11982925B2 (en) Folded zoom camera module with adaptive aperture
US11962901B2 (en) Systems and methods for obtaining a super macro image
CN114641805A (zh) 用于微距摄影的分屏特征
US20230388645A1 (en) Systems and methods for obtaining a smart panoramic image
US11140327B2 (en) Image-capturing device and method for operating image-capturing system of two cameras
US9955066B2 (en) Imaging apparatus and control method of imaging apparatus
US12007668B2 (en) Split screen feature for macro photography
US20200252548A1 (en) Method of generating a digital video image using a wide-angle field of view lens
KR102638173B1 (ko) 슈퍼-매크로 이미지의 초점면을 틸팅하기 위한 시스템 및 카메라
JP2024002631A (ja) 画像処理装置、撮像装置、画像処理方法、コンピュータのプログラムおよび記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination