CN105814880A - 具有自适应全景图像处理器的便携式设备 - Google Patents

具有自适应全景图像处理器的便携式设备 Download PDF

Info

Publication number
CN105814880A
CN105814880A CN201580002783.XA CN201580002783A CN105814880A CN 105814880 A CN105814880 A CN 105814880A CN 201580002783 A CN201580002783 A CN 201580002783A CN 105814880 A CN105814880 A CN 105814880A
Authority
CN
China
Prior art keywords
algorithm
image
portable set
panorama
self adaptation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580002783.XA
Other languages
English (en)
Inventor
刘子明
曾奎彰
朱启诚
王智鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN105814880A publication Critical patent/CN105814880A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

便携式设备包括自适应全景图像处理器。所述便携式设备还包括多个图像传感器和输入装置，所述多个图像传感器具有重叠的感测区域，所述输入装置接收触发信号，所述触发信号触发所述多个图像传感器来捕捉多个图像。所述便携式设备的所述自适应全景显示处理器基于关于所述便携式设备的侧面信息来处理所述多个图像以形成全景图。

Description

具有自适应全景图像处理器的便携式设备
相关申请的交叉引用
本申请要求2014年7月28日递交的申请号为62/029,657的美国临时案的优先权，在此合并参考该申请案的申请标的。
技术领域
本发明涉及一种通过自适应全景图像处理器生成全景照片/视频/音频文件的便携式设备。
背景技术
传统上，全景照片是通过反复地使用智能手机的单一的特定摄像头(例如，后置摄像头)捕捉的多幅照片来产生的。它可能需要较长的时间来由单一摄像头捕捉所有的照片，这是非常不方便。
因此需要一种便携式设备，可以通过一个触发信号生成全景照片、或全景视频，而不会使系统崩溃。
发明内容
根据本发明一实施例的一种便携式设备，包括具有重叠感测区域(overlappingsensingareas)的多个图像传感器、接收触发信号的输入装置以及自适应全景图像处理器，该触发信号触发该多个图像传感器以捕捉多个图像，该自适应全景图像处理器基于关于该便携式设备的侧面信息处理该多个图像以形成全景图。
该侧面信息可从组件带宽(例如，动态随机存取存储器带宽)、电池、面板、对象距离估计器(例如，接近传感器或图像传感器)、热传感器、加速度计或陀螺仪来收集。
在一些其他的实施例中，该侧面信息可显示该多个图像的图像信号处理特征。
该便携式设备还包括自适应全景显示处理器，输入装置可以时触摸面板。该自适应全景显示处理器基于用于权衡显示质量和系统资源负载的显示数据的内容分类，可驱动触摸面板用以全景显示。在另一实施例中，该自适应全景显示处理器可基于通过定位模块检测的位置和时间，驱动触摸面板用以全景显示。
下面的实施例中参考附图给出了详细的说明。
附图说明
通过阅读随后的详细描述与附图，可以更充分地理解本发明，其中：
图1为具有720°视场的便携式设备100(例如，智能手机)的示意图。
图2为由六个摄像头(T_C、B_C、L_C、Right_C、F_C和Rear_C)所捕捉的图像形成的720°全景图720_panorama的扩展视图的实施例。
图3为根据本发明另一实施例的如何在便携式设备300周围覆盖360°感测区域的示意图。
图4为详细描述便携式设备100的方框图。
图5A为根据本发明一实施例的自适应全景图像处理器106的操作流程图。
图5B为讨论步骤506的图像对准、图像合成和图像提取的实施例。
图6A为根据本发明一实施例的被带宽指示器150测量的DRAM152的带宽与阈值带宽THB1或THB2相比的示意图。
图6B为如何基于DRAM152的带宽选择应用于自适应全景图像处理器106的算法的流程图。
图7A为根据本发明一实施例的被电池指示器154测量的电池156的电池电量与阈值THP1或THP2相比的示意图。
图7B为如何基于电池电量选择应用于自适应全景图像处理器106的算法的流程图。
图8为根据本发明一实施例的如何基于图像信号处理器108提供的图像信号处理特征选择应用于自适应全景图像处理器106的算法的流程图。
图9为根据本发明一实施例的如何基于便携式设备100的面板(如，显示单元104)的面板类型选择应用于自适应全景图像处理器106的算法的流程图。
图10A为本发明一实施例的在显示单元104上的显示数据可具有不同的内容分类。
图10B为本发明一实施例的如何基于显示数据的内容分类选择应用于自适应全景显示处理器120的算法流程图。
具体实施方式
下面的描述为实施本发明的示范性实施例。以下实施例仅用来说明本发明的一般原理，并非用来限制本发明的范围。本发明的范围应以权利要求书所界定的为准。
根据本发明的示例性实施例，显示了能够生成全景照片或视频文件的便携式设备，其具有自适应全景处理算法，该便携式设备包括具有重叠的感测区域(overlappingsensingareas)的多个传感器、接收触发信号的输入装置、以及自适应全景图像处理器，其中该触发信号触发该多个图像传感器以捕捉多个图像，该自适应全景图像处理器基于用于权衡(tradeoff)全景图质量和系统资源负载的该便携式设备的侧面信息(sideinformation)，处理(如，标准化)该多个图像以形成全景图(panorama)。根据全景照片或视频文件建立的全景体验处于超过180度的视场(fieldofview)。在下面的示例性实施例中，讨论了720°的视场。然而，并非用于将全景体验限制到720°的视场。在其他实施例中，安装在便携式设备上用于生成全景照片或视频文件的图像传感器，可以覆盖除720°之外的全景视场。
图1为具有720°视场的便携式设备100(例如，智能手机)的示意图。720°的视场可通过平面来定义(例如，平面1、平面2、平面3或其他平面，或它们的组合)。在本实施例中，720°的场可参照2个360°的场，其中每一个360°的场对应于一个平面。假设便携式设备100处于三个平面的中心。可将多个图像传感器设置在便携式设备100上并对应于多个平面。
在一实施例中，可以包含位于便携式设备100顶部的顶部摄像头T_C、位于便携式设备100底部的底部摄像头B_C、位于便携式设备100左侧的左摄像头L_C、位于便携式设备100右侧的右摄像头Right_C、位于便携式设备100正面的前置摄像头F_C、以及位于便携式设备100后面的后置摄像头Rear_C中的至少一些。这些摄像头(T_C、B_C、L_C、Right_C、F_C和Rear_C)中的至少一些具有重叠的视场。例如，两个相邻的摄像头形成重叠的图像捕捉区域。便携式设备100可具有显示单元104。当用户操作触发功能(例如，通过对显示在触摸屏上的快门/触发图标的单一接触，或对快门/触发按钮的单一按压)，这六个摄像头(T_C、B_C、L_C、Right_C、F_C和Rear_C)中的至少一些可能被触发，从而在便携式设备100周围的全景视角(例如，720°视场或任何其他代表全景视角的视场)中捕捉图像或记录视频。因此，生成全景照片文件或全景视频文件。图2为由六个摄像头(T_C、B_C、L_C、Right_C、F_C和Rear_C)所捕捉的图像形成的720°全景图720_panorama的扩展视图的实施例。如图所示，720°全景图720_panorama可由多个图像形成，包括由前置摄像头F_C捕捉的正面的图像、由后置摄像头Rear_C捕捉的后面的图像(由720°全景图720_panorama的扩展视图的左侧和右侧来表示)、由左摄像头L_C捕捉的左侧的图像、由右摄像头Right_C捕捉的右侧的图像、由顶部摄像头T_C捕捉的顶部的图像以及由底部摄像头B_C捕捉的底部的图像。
在便携式设备上安装摄像头有多种方法。例如，图3为根据本发明另一实施例的如何在便携式设备300周围覆盖360°感测区域的示意图。在便携式设备300的正面，可将两个摄像头F_C1和F_C2组装在便携式设备100上，而不是单一的摄像头F_C。因此，正面的视场可以有效地扩展。同样的，在便携式设备300的后面也可以设置两个摄像头Rear_C1和Rear_C2，以及后面的视场可以有效地扩展。本发明并非将摄像头的排列限制为如图1和图3所示的方式。任何配有至少2个摄像头的便携式设备，其对应于重叠的图像捕捉区域，都适用于使用本发明所揭露的自适应全景图像处理器。
图4为详细描述便携式设备100的方框图。图4所示的块可以由便携式设备100中的微控制器102来控制。便携式设备100包括多个图像传感器IS1、IS2…ISN(如图1中的摄像头T_C、B_C、L_C、Right_C、F_C和Rear_C)。
如图所示，自适应全景图像处理器106耦接到图像传感器IS1-ISN的图像信号处理器108，以处理(如，标准化)N个图像，以形成全景图。例如，自适应全景图像处理器106可以标准化该N个图像的配置，以使该N个图像的配置相同，以及基于标准化的N个图像形成全景图。运动传感模块110可以耦接到全景图像处理器106。当图像被捕捉时，运动传感模块110可以收集有关便携式设备100的运动信息，例如，便携式设备100的姿势或移动，以进一步处理该N个图像。自适应全景图像处理器106可以通过便携式设备100的显示处理器116耦接到图像编码器112和视频编码器114。当图像传感器IS1-ISN被触发功能控制进行了一次拍摄(onephotoshoot)时，全景照片文件是由图像编码器112来产生的。当图像传感器IS1-ISN被触发以录制视频时，一系列的全景图可以被视频编码器114编码以作为全景视频文件。被便携式设备100的定位(positioning)模块118检测到的便携式设备100的位置和高度信息，可被封包至全景照片文件或全景视频文件中，这样，根据便携式设备100的位置和高度信息，全景照片/视频文件可被集成到由相邻的便携式设备所产生的另一全景照片/视频文件中。因此，可以形成具有更广的视场的全景照片/视频。该便携式设备100还包括自适应全景显示处理器120。自适应全景显示处理器120可提供全景图(或全景视频)至驱动集成电路122，这样驱动集成电路122可驱动显示单元104显示全景图(或全景视频)。
在一些实施例中，在显示单元104上显示的全景图或者全景视频可以从存储设备获得，而不是从图像传感器IS1-ISN直接传送。从存储设备得到的全景图和全景视频可以分别通过图像解码器124和视频解码器126进行解码，然后通过显示处理器116，自适应全景显示处理器120被操作以提供全景图或全景视频，使得驱动集成电路122驱动显示单元104来显示全景图或全景视频。全景图或全景视频的全景视窗(panoramicviewwindow)(用于选择显示单元104上的显示图像)，可以通过用户控制器128来调整。
自适应全景图像处理器106自适应于便携式设备100的侧面信息，以在全景图质量和系统资源(如系统负载或功率消耗)之间作出权衡。在图4中，便携式设备100还包括用于测量便携式设备100的DRAM152的带宽的带宽指示器(bandwidthmeter)150、用于测量便携式设备100的电池156的电池电量的电池指示器(batterymeter)154、用于感测便携式设备100和检测对象之间的距离的接近传感器(proximitysensor)158、热传感器160、或它们的组合。运动传感模块110可以包括加速度计或陀螺仪。用于决定适用于自适应全景图像处理器106的算法的侧面信息，可以由带宽指示器150、电池指示器154、接近传感器158、热传感器160、或运动传感模块110的加速度计和陀螺仪中的至少一个来提供。在其他示例性实施例中，通过图像传感器IS1-ISN捕捉的图像的图像信号处理特征(如，聚焦水平、曝光水平或ISO值)可以由图像信号处理器108来提供，并且提供给自适应全景图像处理器106作为侧面信息，以确定应用到自适应的全景图像处理器106的算法。在一个示范性实施例中，显示单元104的面板类型(例如，液晶显示器或发光二极管)或显示单元104的任何其他类型的信息都可以被视为决定所述算法的侧面信息，该算法具有适用于自适应全景图像处理器106的适当的复杂度。
此外，基于显示数据(例如，由图像解码器124/视频解码器126解码得到的数据)的内容分类，自适应全景显示处理器120可以将内容提供至显示单元104以用于全景显示，以及在显示质量和系统资源(如系统负载或功率消耗)之间作出权衡。内容分类决定应用于自适应全景显示处理器120的算法。在另一个示例性实施例中，基于定位模块118检测到的位置或时间，自适应全景显示处理器120可驱动显示单元104进行全景显示。
有几种不同复杂度的操作自适应全景图像处理器106的算法。越复杂的算法会得到越好的全景图质量，但需要更多的功率消耗。
图5A为根据本发明一实施例的自适应全景图像处理器106(但不限于)执行的产生全景照片/视频文件的操作流程图。在步骤502中，使图像传感器IS1-ISN的镜头之间的差异相关。在某些实施例中，可建立镜头相关的映射表。在步骤S504，执行图像校正处理，以校正由图像传感器IS1-ISN捕捉的照片/视频由于图像传感器IS1-ISN之间的不同配置而产生的影响。这些配置可包括：ISO值、分辨率、帧速率、可能会影响到由图像传感器IS1-ISN捕捉的照片/视频的其他配置、或它们的组合。在步骤S506中，可执行图像对准(imagealignment)、图像合成(imagecomposition)或图像提取(imageextraction)，以对准不同图像的方向、将多个图像组合成单一图像、或提取全景区域(panoramicregion)。在步骤508中，图像旋转处理可以根据来自运动传感模块110的运动传感器数据旋转全景图。图5B为讨论步骤506的图像对准、图像合成和图像提取的实施例。两个不同的摄像机捕捉的图像512和图像514具有重叠区域516。在步骤506的图像对准、图像合成和图像提取后，生成合成图像518(如全景图)。
从步骤502到步骤508的变化可能会导致算法具有不同的复杂度。例如，如表1所示，从A1到A5的五种算法，可提供等级依序递增的计算复杂度和功率消耗以及算法依序递减的全景图质量。
表1
在任何或步骤S502～S508的组合的更多的设计中(比如，用于自适应全景图像处理器106的更复杂的算法)，可能会消耗更多的功耗，但得到了更好的全景图质量。在一些其他的实施例中，可以在算法中提供不同等级的属性(例如复杂性、功率消耗、全景图质量、任何其他属性或其组合)的组合，本发明不限于所公开的实施例。
关于自适应全景显示处理器120，自适应全景显示处理器120的操作步骤的变化可能会导致算法具有不同的复杂度。例如，五种算法A1’～A5’可提供等级依序递增的计算复杂度和功率消耗以及算法依序递减的显示质量。自适应全景显示处理器120可以根据显示数据的内容分类选择适当的算法。在一些其他的实施例中，对于自适应全景显示处理器120，可以基于显示数据的内容分类，提供计算复杂度、功率消耗和显示质量的任意组合的算法，来选择一个适当的算法，本发明不限于所公开的实施例。
图6A为根据本发明一实施例的被带宽指示器150测量的DRAM152的带宽与阈值带宽THB1或THB2相比的示意图。图6B为如何基于DRAM152的带宽选择应用于自适应全景图像处理器106的算法的流程图。当步骤602确定DRAM152的带宽是全带宽(full)或步骤604确定DRAM152的带宽不是全带宽并不低于阈值带宽THB1时，执行步骤606以禁用全景图像处理器106的全景功能(panoramacapability)。当在步骤608中确定DRAM带宽低于阈值带宽THB1并且低于阈值带宽THB2时，执行步骤610以应用与算法A3相比更复杂的算法A1至自适应全景图像处理器106，在步骤612中，当DRAM带宽低于阈值带宽THB1但不低于阈值带宽THB2，应用算法A3。在这种方式下，当DRAM152的带宽低于阈值带宽时，自适应全景图像处理器106提供了改善的全景图质量(通过更复杂的算法)。在一些实施例中，步骤602-612的操作或顺序可能会有所调整，本发明不限于所公开的实施例。此外，便携式设备100的其他组件的带宽(不局限于DRAM152)可作为侧面信息，以用于选择应用于自适应全景图像处理器106的算法。为了更好的全景图质量，更广的可用带宽可对应更复杂的算法。
图7A为根据本发明一实施例的被电池指示器154测量的电池156的电池电量(batterylevel)与阈值THP1或THP2相比的示意图。图7B为如何基于电池电量选择应用于自适应全景图像处理器106的算法的流程图。当步骤702确定电池电量已满或步骤704确定电池电量不充分但高于阈值的THP1时，执行步骤706以应用算法A1至自适应全景图像处理器106。当在步骤708中确定电池电量不高于阈值THP1但高于阈值THP2时，执行步骤710以应用算法A3至自适应全景图像处理器106。当电池电量不高于阈值THP2时，执行步骤712以禁用自适应全景图像处理器106的全景功能。在这种方式中，当电池电路高于阈值时，自适应全景图像处理器106提供了改善的全景图质量(通过更复杂的算法)。在一些实施例中，步骤702-712的操作或顺序可以有所调整，本发明不限于所公开的实施例。
图8为根据本发明一实施例的如何基于图像信号处理器108提供的图像信号处理特征选择应用于自适应全景图像处理器106的算法的流程图。当在步骤802中确定被捕捉的图像的聚焦水平低于阈值聚焦水平THF(例如，可能会导致图像模糊)时，执行步骤804以应用算法A1至自适应全景图像处理器106。当在步骤806中确定图像(其具有适当的聚焦)对应的曝光水平高于阈值曝光水平THE1(例如，这可能会导致曝光过度)或低于阈值曝光水平THE2(例如，这可能会导致曝光不足)，执行步骤808以应用算法AX至自适应全景图像处理器106。当在步骤810中确定图像(其具有适当的聚焦和适当的曝光)对应的ISO值低于阈值ISO值THI，执行步骤812以应用算法A3至自适应全景图像处理器106。否则，执行步骤814以应用算法A4至自适应全景图像处理器106。对于全景视频文件中的每一帧都可以重复这些步骤。算法AX不同于步骤804中的算法A1，也不同于步骤812中的算法A3和步骤814中的算法A4。当图像的聚焦水平低于阈值聚焦水平时，自适应全景图像处理器106使用更复杂的算法来处理(例如，标准化)图像以形成全景图，更复杂的算法是与另一种算法相较而言的，当图像的聚焦水平处于阈值聚焦水平或大于阈值聚焦水平时，使用所述另一种算法来处理(例如，标准化)图像以形成全景图。当图像的曝光水平在适当的曝光范围之外时，自适应的全景图像处理器106使用算法AX(不同于A1、A3和A4)来处理(例如，标准化)图像以形成全景图。在一个示例性实施例中，与为适当的曝光图像提供的算法A3和A4相比较，该算法在色彩处理(对过曝/欠曝问题进行补偿)中具有更复杂的设计。为适当的曝光图像提供的算法A3和A4，在步骤506中的图像对准、合成和提取上具有更复杂的设计。当图像的感光度(ISO)值至低于阈值感光度值时，自适应全景图像处理器106使用更复杂的算法来处理(例如，标准化)图像以形成全景图，更复杂的算法是与另一种算法相比，当图像的感光度值等于阈值感光度值或大于阈值感光度值时，使用上述另一种算法来处理(例如标准化)图像以形成全景图。在一些实施例中，步骤802-814的操作或顺序可以有所调整，本发明不限于所公开的实施例。在其他一些实施例中，在步骤804、808、812、814中所应用的算法的复杂度也可以进行调整，本发明不限于所公开的实施例。
图9为根据本发明一实施例的如何基于便携式设备100的面板(panel)(如，显示单元104)的面板类型选择应用于自适应全景图像处理器106的算法的流程图。当在步骤902中确定面板是液晶(LCD)面板时，执行步骤904以应用算法A1至自适应全景图像处理器106。当在步骤902中确定该面板是发光二极管(LED)面板时，执行步骤906以禁用自适应全景图像处理器106的全景功能。当面板是液晶面板时，自适应全景图像处理器106可以使用比面板是发光二极管面板时使用的算法更复杂的算法，来处理(例如，标准化)图像以形成全景图。在一些实施例中，可能是因为发光二极管面板比液晶面板的亮度和对比度高。在一些实施例中，自适应全景图像处理器106可以使用更复杂的算法，与用于处理(例如，标准化)低分辨率的图像以形成全景图的算法相比，来处理(例如，标准化)具有高分辨率的图像以形成全景图。该在其他一些实施例中，自适应全景图像处理器106可以基于与显示单元104相关的任何其他类型的信息来应用不同复杂度的算法，本发明不限于所公开的实施例。
在本段中讨论适应于对象距离的自适应全景图像处理器。参考图4，接近传感器158检测便携式设备100和对象(例如，用户的脸或任何其他检测对象)之间的距离。当接近传感器158感测到的距离短于阈值距离时，自适应全景图像处理器106可以提供改善的全景图质量(例如，通过更复杂的算法)。更复杂的算法是与另一个算法相比，当接近传感器158感测到的距离等于阈值距离或长于阈值距离时，使用该另一种算法来处理(例如，标准化)图像以形成全景图。例如，对象距离越小，应用到自适应全景图像处理器106的图像对准引擎的算法越复杂。因此，全景图质量得以保证。对象距离越大，应用到自适应全景图像处理器106的图像对准引擎的算法越简单。因此，功率消耗可得到控制。在另一个实施例中，便携式设备100和检测对象之间的距离是从由图像传感器(IS1-ISN中的任何一个或多个)捕捉的图像估计得到的，而不是通过接近传感器158获得的。
在本段中讨论适应于设备温度的自适应全景图像处理器。参考图4，热传感器160测量设备温度。当温度传感器160测量的温度是低于阈值温度时，自适应全景图像处理器106可以提供改善的全景图质量(例如，通过更复杂的算法)。更复杂的算法是与另一种算法相比，当热传感器160测量的温度等于阈值温度或高于阈值温度时，使用该另一种算法来处理(例如，标准化)的图像以形成全景图。例如，设备温度越高，应用到自适应全景图像处理器106的算法越简单(或更低的功耗)。因此，设备的温度得以控制。设备温度越低，应用到自适应全景图像处理器106的算法越复杂。因此，全景图质量得以保证。
在本段中讨论适应于装置加速度的自适应全景图像处理器。参考图4，由运动传感模块110提供的加速度计，测量设备的加速度。当加速度计测量的加速度低于阈值加速度时，自适应全景图像处理器106可以提供改善的全景图质量(例如，通过更复杂的算法)。更复杂的算法是与另一个算法相比，当加速度计测量的加速度等于阈值加速度或高于阈值加速度时，使用该另一个算法来处理(例如，标准化)图像，以形成全景图。例如，当设备加速度高于阈值加速度时，全景结果可能很糟糕，自适应全景图像处理器106的全景功能可被禁用。设备加速度越低，应用于自适应全景图像处理器106中的算法越复杂。因此，全景图质量得以保证。在一些其他实施例中，当设备加速度高于上限阈值加速度(upperthresholdacceleration)时，由于用户可能在交通工具上，因此自适应全景图像处理器106可以应用适当的算法。
在本段中讨论适应于设备的方向(orientation)的自适应全景图像处理器。参考图4，运动传感模块110提供的陀螺仪，测量设备的方向。当便携式设备的方向大于阈值倾斜角度(thresholdtiltingangle)时，自适应全景图像处理器106使用更复杂的算法来处理(例如标准化)图像以形成全景图。更复杂的算法是与另一个算法相比，当便携式设备的方向等于阈值倾斜角度或小于阈值倾斜角度时，使用该另一个算法来标准化图像以形成全景图。例如，当陀螺仪检测到便携式设备100不倾斜时，自适应全景图像处理器106中的图像旋转引擎508被禁用以节省电力。在另一个示例性实施例中，应用于自适应全景显示处理器120的算法依赖于设备的方向。当陀螺仪检测到便携式设备100不倾斜时，自适应全景显示处理器120的图像跟踪引擎被禁用以节省电力。在另一个示例性实施例中，当便携式设备100不倾斜时，该全景功能被启用；当便携式设备100处于倾斜时，该全景功能将被禁用，本发明不限于所公开的实施例。
在本段中讨论适应于显示数据的内容分类的自适应全景显示处理器，用于在显示质量和系统资源负载之间作出权衡。图10A为本发明一实施例的在显示单元104上的显示数据可具有不同的内容分类。如图10A所示的将显示在显示单元104的图形场景(graphicscene)、网页浏览文本(web-browsingtext)和视频回放(videoplayback)，可以通过自适应全景显示处理器120分别处理。图10B为本发明一实施例的如何基于显示数据的内容分类选择应用于自适应全景显示处理器120的算法流程图。当在步骤1002中确定内容分类代表视频内容时，执行步骤1004以按照算法A1’操作全景显示处理器120。当在步骤1006中确定内容分类代表图像内容时，执行步骤1008以按照算法A2’操作全景显示处理器120。当在步骤1010中确定内容分类代表文本内容时，执行步骤1012以按照算法A3’操作全景显示处理器120。当在步骤1014中确定内容分类代表图形内容(例如，GUI)时，执行步骤1016以按照算法A4’操作全景显示处理器120。否则，执行步骤1018以按照算法A5’操作全景显示处理器120。作为摄像机预览中通常使用的画中画(picture-in-picture，PIP)显示模式，主要内容(maincontent)显示在大的显示区域，子内容(subcontent)显示在小的显示区域。大的显示区域上的感兴趣区域(regionofinterest，ROI)可与小的显示区域的感兴趣区域不同，与应用于小的显示区域上显示全景图的全景显示算法相比，应用于大的显示区域上显示全景图的全景显示算法更复杂。在一些其他的实施例中，基于用于不同目的(但不限于)的不同内容分类可以应用不同的算法，本发明不限于所公开的实施例。
在本段中讨论自适应于定位模块检测到的信息的自适应全景显示处理器。参考图4，定位模块118可检测设备位置或时间。基于定位模块118检测到的位置或时间，自适应全景显示处理器120驱动显示单元104以用于全景显示。例如，当检测到的位置或时间指示便携式设备100的用户在家时，自适应全景显示处理器120的全景功能可被启用。当检测到的位置或时间指示便携式设备100的用户在办公室时，自适应全景显示处理器120的全景功能可被禁用。应用于自适应全景显示处理器120的算法可以依赖于用户的行为。
此外，用于选择应用于自适应全景图像处理器106的算法的侧面信息，也可用于选择应用于自适应全景显示处理器120的算法。
基于便携式设备的侧面信息，可建立查找表，以选择应用于自适应全景图像处理器106的算法。基于上述内容分类，可建立另一个查找表，以选择应用于自适应全景显示处理器120的算法。在一些其他的实施例中，可以基于上述信息的组合，提供查找表，以选择应用于自适应全景图像处理器106的算法，本发明不限于所公开的实施例。
本发明虽以较佳实施例揭露如上，然其本非用以限制本发明的范围。本领域的技术人员，在不脱离本发明之精神和范围内，当可作出各种替换或改变。因此，本发明的范围应以权利要求书及其均等范围所界定为限。

Claims (24)

1.一种便携式设备，其特征在于，包括：
多个图像传感器，具有重叠的视场；
输入装置，接收触发信号，所述触发信号触发所述多个图像传感器以捕捉多个图像；以及
自适应全景图像处理器，基于所述便携式设备的侧面信息处理所述多个图像以形成全景图。
2.如权利要求1所述的便携式设备，其特征在于，
所述侧面信息包括关于所述便携式设备的带宽的信息；以及
当所述带宽低于阈值带宽时，所述自适应全景图像处理器提供改善的全景图质量。
3.如权利要求2所述的便携式设备，其特征在于，
当所述带宽低于所述阈值带宽时，所述自适应全景图像处理器使用更复杂的算法来处理所述多个图像以形成所述全景图；以及
所述更复杂的算法是与另一个算法相比，当所述带宽等于所述阈值带宽或大于所述阈值带宽时，使用所述另一个算法处理所述多个图像以形成所述全景图。
4.如权利要求1所述的便携式设备，其特征在于，还包括电池，
其中，所述侧面信息包括关于所述电池的电池电量的信息；以及
当所述电池的所述电池电量高于阈值时，所述自适应全景图像处理器提供改善的全景图质量。
5.如权利要求4所述的便携式设备，其特征在于，
当所述电池的所述电池电量高于所述阈值时，所述自适应全景图像处理器使用更复杂的算法来处理所述多个图像以形成所述全景图；以及
所述更复杂的算法是与另一个算法相比，当所述电池的所述电池电量等于所述阈值或低于所述阈值时，使用所述另一个算法来处理所述多个图像以形成所述全景图。
6.如权利要求1所述的便携式设备，其特征在于，
所述侧面信息包括关于所述多个图像的图像信号处理特征的信息；以及
根据所述图像信号处理特征，所述自适应全景图像处理器自适应调整。
7.如权利要求6所述的便携式设备，其特征在于，
所述侧面信息包括关于所述多个图像的聚焦水平的信息；以及
当所述多个图像的所述聚焦水平低于阈值聚焦水平时，所述自适应全景图像处理器使用第一算法来处理所述多个图像以形成所述全景图；以及
当所述多个图像的所述聚焦水平等于所述阈值聚焦水平或大于所述阈值聚焦水平时，所述自适应全景图像处理器使用第二算法来处理所述多个图像以形成所述全景图，所述第二算法不同于所述第一算法。
8.如权利要求6所述的便携式设备，其特征在于，
所述侧面信息包括关于所述多个图像的曝光水平的信息；以及
当所述多个图像的所述曝光水平在适当的曝光范围之外时，所述自适应全景图像处理器使用第一算法来处理所述多个图像以形成所述全景图；以及
当所述多个图像的所述曝光水平在所述适当的曝光范围内时，所述自适应全景图像处理器使用第二算法来处理所述多个图像以形成所述全景图，所述第二算法不同于所述第一算法。
9.如权利要求6所述的便携式设备，其特征在于，
所述侧面信息包括关于所述多个图像的感光度值的信息；以及
当所述多个图像的所述感光度值至低于阈值感光度值时，所述自适应全景图像处理器使用第一算法来处理所述多个图像以形成所述全景图；以及
当所述多个图像的所述感光度值等于所述阈值感光度值或大于所述阈值感光度值时，所述自适应全景图像处理器使用第二算法来处理所述多个图像以形成所述全景图。
10.如权利要求1所述的便携式设备，其特征在于，还包括：
面板，显示所述全景图；
其中，所述侧面信息包括关于所述面板的面板类型的信息；以及
根据所述所述面板的所述面板类型，所述自适应全景图像处理器自适应调整。
11.如权利要求1所述的便携式设备，其特征在于，还包括显示单元，
其中，所述侧面信息包括与所述显示单元相关的信息；
基于与所述显示单元相关的所述信息，所述自适应全景图像处理器应用具有适当的复杂度的算法来处理所述多个图像，以形成所述全景图。
12.如权利要求1所述的便携式设备，其特征在于，
所述侧面信息包括关于所述便携式设备与对象之间的距离的信息，所述便携式设备与所述对象之间的所述距离，是通过配置在所述便携式设备上的接近传感器来检测的，或通过所述多个图像传感器中的至少一个捕捉的至少一个图像来估计的；以及
当通过所述接近传感器检测的所述距离小于阈值距离时，所述自适应全景图像处理器提供改善的全景图质量。
13.如权利要求12所述的便携式设备，其特征在于，
当所述距离小于所述阈值距离时，所述自适应全景图像处理器使用更复杂的算法来处理所述多个图像以形成所述全景图；以及
所述更复杂的算法是与另一个算法相比，当所述距离等于所述阈值距离或大于所述阈值距离时，使用所述另一个算法来处理所述多个图像以形成所述全景图。
14.如权利要求1所述的便携式设备，其特征在于，还包括热传感器，
其中，所述侧面信息包括关于通过所述热传感器测量的温度的信息；以及
当通过所述热传感器测量的所述温度低于阈值温度时，所述自适应全景图像处理器提供改善的全景图质量。
15.如权利要求14所述的便携式设备，其特征在于，
当通过所述热传感器测量的所述温度低于所述阈值温度时，所述自适应全景图像处理器使用更复杂的算法来处理所述多个图像以形成所述全景图；以及
所述更复杂的算法是与另一个算法相比，当通过所述热传感器测量的所述温度等于所述阈值温度或大于所述阈值温度时，使用所述另一个算法来处理所述多个图像以形成所述全景图。
16.如权利要求1所述的便携式设备，其特征在于，还包括加速度计，
其中，所述侧面信息包括关于通过所述加速度计测量的加速度的信息；以及
当通过所述加速度计测量的所述加速度低于阈值加速度时，所述自适应全景图像处理器提供改善的全景图质量。
17.如权利要求16所述的便携式设备，其特征在于，
当通过所述加速度计测量的所述加速度低于所述阈值加速度时，所述自适应全景图像处理器使用更复杂的算法来处理所述多个图像以形成所述全景图；以及
所述更复杂的算法是与另一个算法相比，当通过所述加速度计测量的所述加速度等于所述阈值加速度或大于所述阈值加速度时，使用所述另一个算法来处理所述多个图像以形成所述全景图。
18.如权利要求1所述的便携式设备，其特征在于，还包括：
陀螺仪，测量所述便携式设备的方向；
其中，所述侧面信息包括关于所述便携式设备的所述方向的信息；
当所述便携式设备的所述方向大于阈值倾斜角度时，所述自适应全景图像处理器使用第一算法来处理所述多个图像以形成所述全景图；以及
当所述便携式设备的所述方向等于所述阈值倾斜角度或小于所述阈值倾斜角度时，所述自适应全景图像处理器使用第二算法来处理所述多个图像以形成所述全景图，所述第二算法不同于所述第一算法。
19.如权利要求1所述的便携式设备，其特征在于，还包括自适应全景显示处理器和显示单元；
其中，所述自适应全景显示处理器基于显示数据的内容分类，驱动所述显示单元以用于全景显示。
20.如权利要求19所述的便携式设备，其特征在于，
当所述内容分类代表视频内容时，所述自适应全景显示处理器使用第一算法来操作；
当所述内容分类代表图像内容时，所述自适应全景显示处理器使用第二算法来操作；以及
所述第一算法不同于所述第二算法。
21.如权利要求20所述的便携式设备，其特征在于，
当所述内容分类代表文本内容时，所述自适应全景显示处理器使用第三算法来操作；所述第三算法不同于所述第一算法或所述第二算法。
22.如权利要求21所述的便携式设备，其特征在于，
当所述内容分类代表图形内容时，所述自适应全景显示处理器使用第四算法来操作；所述第四算法不同于所述第一算法、所述第二算法或所述第三算法。
23.如权利要求1所述的便携式设备，其特征在于，还包括：
显示单元；
自适应全景显示处理器；以及
定位模块；
其中，所述自适应全景显示处理器基于通过所述定位模块检测的位置或时间，驱动所述显示单元以用于全景显示。
24.如权利要求23所述的便携式设备，其特征在于，
当通过所述定位模块检测的位置或时间指示所述便携式设备的用户位于家中时，所述全景显示处理器的全景图功能被启用；以及
当通过所述定位模块检测的位置或时间指示所述便携式设备的所述用户在工作时，所述全景显示处理器的全景图功能被禁用。
CN201580002783.XA 2014-07-28 2015-07-28 具有自适应全景图像处理器的便携式设备 Pending CN105814880A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462029657P 2014-07-28 2014-07-28
US62/029,657 2014-07-28
PCT/CN2015/085292 WO2016015623A1 (en) 2014-07-28 2015-07-28 Portable device with adaptive panoramic image processor

Publications (1)

Publication Number Publication Date
CN105814880A true CN105814880A (zh) 2016-07-27

Family

ID=55216770

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580002783.XA Pending CN105814880A (zh) 2014-07-28 2015-07-28 具有自适应全景图像处理器的便携式设备
CN201580002784.4A Pending CN105794197A (zh) 2014-07-28 2015-07-28 能够生成全景文件的便携式设备

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201580002784.4A Pending CN105794197A (zh) 2014-07-28 2015-07-28 能够生成全景文件的便携式设备

Country Status (3)

Country Link
US (2) US10187569B2 (zh)
CN (2) CN105814880A (zh)
WO (2) WO2016015624A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881731A (zh) * 2018-08-06 2018-11-23 Oppo广东移动通信有限公司 全景拍摄方法、装置和成像设备

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924668B2 (en) 2011-09-19 2021-02-16 Epilog Imaging Systems Method and apparatus for obtaining enhanced resolution images
WO2016015624A1 (en) * 2014-07-28 2016-02-04 Mediatek Inc. Portable device capable of generating panoramic file
US10523891B2 (en) * 2015-08-21 2019-12-31 Sony Corporation Projection system and apparatus unit to implement new use form of projector
KR102576908B1 (ko) * 2016-02-16 2023-09-12 삼성전자주식회사 동적 파노라마 기능을 제공하는 방법 및 장치
CN106060652A (zh) * 2016-06-08 2016-10-26 北京中星微电子有限公司 一种视频码流中全景信息的标识方法和标识装置
CN106162206A (zh) * 2016-08-03 2016-11-23 北京疯景科技有限公司 全景录制、播放方法及装置
EP3494692A1 (en) * 2016-08-04 2019-06-12 Epilog Imaging Systems Method and apparatus for obtaining enhanced resolution images
CN106296819A (zh) * 2016-08-12 2017-01-04 北京航空航天大学 一种基于智能机顶盒的全景视频播放器
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
CN106791437B (zh) * 2017-01-20 2020-02-14 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10805514B2 (en) * 2017-05-25 2020-10-13 Eys3D Microelectronics, Co. Image processor and related image system
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US10872581B2 (en) * 2017-07-27 2020-12-22 Apple Inc. Electronic devices with orientation compensation
US10599205B2 (en) * 2017-09-18 2020-03-24 Verizon Patent And Licensing Inc. Methods and systems for managing machine learning involving mobile devices
CN107846534A (zh) * 2017-09-18 2018-03-27 努比亚技术有限公司 一种摄像头和拍照方法
US10459622B1 (en) * 2017-11-02 2019-10-29 Gopro, Inc. Systems and methods for interacting with video content
US11032590B2 (en) 2018-08-31 2021-06-08 At&T Intellectual Property I, L.P. Methods, devices, and systems for providing panoramic video content to a mobile device from an edge server
CN109089083A (zh) * 2018-09-01 2018-12-25 哈尔滨工程大学 一种基于有限带宽的全景数据多模式处理方法
CN112422808B (zh) * 2019-08-23 2023-05-19 阿里巴巴集团控股有限公司 照片的获取、媒体对象的处理方法及装置、电子设备
CN113365013B (zh) * 2020-03-06 2025-06-17 华为技术有限公司 一种音频处理方法及设备
CN113365012B (zh) * 2020-03-06 2025-02-25 华为技术有限公司 一种音频处理方法及设备
US11249637B1 (en) * 2020-03-11 2022-02-15 Meta Platforms, Inc. User interface information enhancement based on user distance
US12069121B1 (en) * 2021-12-21 2024-08-20 Ringcentral, Inc. Adaptive video quality for large-scale video conferencing

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1848202A2 (en) * 2006-04-21 2007-10-24 Sony Corporation Light amount adjuster and imaging apparatus
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
CN101487838A (zh) * 2008-12-11 2009-07-22 东华大学 一种异形纤维的尺度形状特征的提取方法
US20100097443A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image
EP2242252A2 (en) * 2009-04-17 2010-10-20 Sony Corporation In-camera generation of high quality composite panoramic images
CN101872113A (zh) * 2010-06-07 2010-10-27 中兴通讯股份有限公司 一种全景照片的拍摄方法及设备
US20110110605A1 (en) * 2009-11-12 2011-05-12 Samsung Electronics Co. Ltd. Method for generating and referencing panoramic image and mobile terminal using the same
CN102124320A (zh) * 2008-06-18 2011-07-13 苏尔吉克斯有限公司 用于将多个图像拼接成全景图像的方法和系统
CN102521814A (zh) * 2011-10-20 2012-06-27 华南理工大学 基于多聚焦融合和图像拼接的无线传感网络图像融合方法
WO2013186804A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639596B1 (en) * 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US7010158B2 (en) * 2001-11-13 2006-03-07 Eastman Kodak Company Method and apparatus for three-dimensional scene modeling and reconstruction
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
CN101378559A (zh) 2007-08-30 2009-03-04 联想移动通信科技有限公司 采用摄像头组合全景拍的手机
US20090290033A1 (en) 2007-11-16 2009-11-26 Tenebraex Corporation Systems and methods of creating a virtual window
US8493408B2 (en) * 2008-11-19 2013-07-23 Apple Inc. Techniques for manipulating panoramas
WO2010075726A1 (zh) 2008-12-30 2010-07-08 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
CN101771830B (zh) * 2008-12-30 2012-09-19 华为终端有限公司 立体全景视频流生成方法、设备及视频会议方法和设备
JP5347716B2 (ja) * 2009-05-27 2013-11-20 ソニー株式会社 画像処理装置、情報処理方法およびプログラム
CN102263926A (zh) * 2010-05-31 2011-11-30 鸿富锦精密工业（深圳）有限公司 电子设备及其图像处理方法
WO2013162585A1 (en) * 2012-04-26 2013-10-31 Intel Corporation Multiple lenses in a mobile device
KR101389841B1 (ko) * 2012-05-16 2014-04-29 주식회사바텍 파노라마 영상 데이터 제공 방법 및 장치
JP2014115863A (ja) * 2012-12-11 2014-06-26 Sony Corp 情報処理装置、情報処理方法およびプログラム
US10021295B1 (en) * 2013-06-03 2018-07-10 Amazon Technologies, Inc. Visual cues for managing image capture
FR3006841B1 (fr) * 2013-06-07 2015-07-03 Kolor Fusion de plusieurs flux video
US20150085184A1 (en) * 2013-09-25 2015-03-26 Joel Vidal Smartphone and tablet having a side-panel camera
US9432720B2 (en) * 2013-12-09 2016-08-30 Empire Technology Development Llc Localized audio source extraction from video recordings
JP2015194587A (ja) * 2014-03-31 2015-11-05 ソニー株式会社 画像データ処理装置、画像データ処理方法、画像歪み対応処理装置、画像歪み対応処理方法
WO2016015624A1 (en) * 2014-07-28 2016-02-04 Mediatek Inc. Portable device capable of generating panoramic file
SE538494C2 (sv) * 2014-11-07 2016-08-02 BAE Systems Hägglunds AB Omvärldsuppfattningssystem och förfarande för omvärldsuppfattning i stridsfordon
US20170150212A1 (en) * 2015-11-23 2017-05-25 Le Holdings (Beijing) Co., Ltd. Method and electronic device for adjusting video

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1848202A2 (en) * 2006-04-21 2007-10-24 Sony Corporation Light amount adjuster and imaging apparatus
CN101252687A (zh) * 2008-03-20 2008-08-27 上海交通大学 实现多通道联合的感兴趣区域视频编码及传输的方法
CN102124320A (zh) * 2008-06-18 2011-07-13 苏尔吉克斯有限公司 用于将多个图像拼接成全景图像的方法和系统
US20100097443A1 (en) * 2008-10-16 2010-04-22 Peter Lablans Controller in a Camera for Creating a Panoramic Image
US8355042B2 (en) * 2008-10-16 2013-01-15 Spatial Cam Llc Controller in a camera for creating a panoramic image
CN101487838A (zh) * 2008-12-11 2009-07-22 东华大学 一种异形纤维的尺度形状特征的提取方法
EP2242252A2 (en) * 2009-04-17 2010-10-20 Sony Corporation In-camera generation of high quality composite panoramic images
US20110110605A1 (en) * 2009-11-12 2011-05-12 Samsung Electronics Co. Ltd. Method for generating and referencing panoramic image and mobile terminal using the same
CN101872113A (zh) * 2010-06-07 2010-10-27 中兴通讯股份有限公司 一种全景照片的拍摄方法及设备
CN102521814A (zh) * 2011-10-20 2012-06-27 华南理工大学 基于多聚焦融合和图像拼接的无线传感网络图像融合方法
WO2013186804A1 (ja) * 2012-06-11 2013-12-19 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108881731A (zh) * 2018-08-06 2018-11-23 Oppo广东移动通信有限公司 全景拍摄方法、装置和成像设备
CN108881731B (zh) * 2018-08-06 2021-07-02 Oppo广东移动通信有限公司 全景拍摄方法、装置和成像设备

Also Published As

Publication number Publication date
WO2016015624A1 (en) 2016-02-04
US10419668B2 (en) 2019-09-17
US20170272698A1 (en) 2017-09-21
WO2016015623A1 (en) 2016-02-04
US20170272649A1 (en) 2017-09-21
CN105794197A (zh) 2016-07-20
US10187569B2 (en) 2019-01-22

Similar Documents

Publication Publication Date Title
CN105814880A (zh) 具有自适应全景图像处理器的便携式设备
US10855912B2 (en) Capturing a stable image using an ambient light sensor-based trigger
US10057491B2 (en) Image-based motion sensor and related multi-purpose camera system
US10133349B2 (en) Display apparatus and method of controlling the same
KR102124604B1 (ko) 이미지 안정화 방법 그 전자 장치
US8396253B2 (en) Method and apparatus for recognizing location of user
US11736792B2 (en) Electronic device including plurality of cameras, and operation method therefor
CN108293123A (zh) 用于产生缩时图像的方法和设备
CN101577783A (zh) 图像画面的处理方法及其电子装置
US11606504B2 (en) Method and electronic device for capturing ROI
US20130120635A1 (en) Subject detecting method and apparatus, and digital photographing apparatus
US20160088228A1 (en) Photograph method and photograph device
US20220321808A1 (en) Exposure Truncation for Image Sensors
KR102272310B1 (ko) 영상 처리 방법, 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 전자 기기.
CN109313797B (zh) 一种图像显示方法及终端
KR102592745B1 (ko) 자세 추정 장치, 자세 추정 방법 및 기록 매체에 저장된 컴퓨터 프로그램
CN107560637A (zh) 头戴显示设备校准结果验证方法及头戴显示设备
CN104655638A (zh) 分析对比装置和分析对比方法
WO2011024363A1 (ja) 画像表示制御装置、画像表示制御方法及び集積回路
CN106982341B (zh) 产生缩时影片的方法及电子装置
CN106201190B (zh) 控制方法、控制装置及电子装置
JP4660323B2 (ja) 画像撮像装置、プログラムおよび記録媒体
US20100001947A1 (en) Images Display Method and Apparatus of Digital Photo Frame
CN102082898A (zh) 照相机及其拍照方法
JP2006135838A (ja) 動き検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160727

WD01 Invention patent application deemed withdrawn after publication