CN108141634B - 用于产生预览图像的方法和设备以及计算机可读存储介质 - Google Patents

用于产生预览图像的方法和设备以及计算机可读存储介质 Download PDF

Info

Publication number
CN108141634B
CN108141634B CN201580083180.7A CN201580083180A CN108141634B CN 108141634 B CN108141634 B CN 108141634B CN 201580083180 A CN201580083180 A CN 201580083180A CN 108141634 B CN108141634 B CN 108141634B
Authority
CN
China
Prior art keywords
image
images
copies
preview
preview image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580083180.7A
Other languages
English (en)
Other versions
CN108141634A (zh
Inventor
丁菁汀
凌璠
邹璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN108141634A publication Critical patent/CN108141634A/zh
Application granted granted Critical
Publication of CN108141634B publication Critical patent/CN108141634B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

一种电子装置在所述装置在图像预览模式下且在用户起始的图像捕获请求之前操作时，在不同时间接收多个图像，所述电子装置产生清晰预览图像，其将一或多个移动对象从所述预览图像排除。

Description

用于产生预览图像的方法和设备以及计算机可读存储介质
技术领域
本发明涉及用于用计算装置来渲染图像的技术。
背景技术
当拍摄在前景中具有不想要的对象(例如人、汽车和其它移动对象)的背景场景的图片时，图片拍摄者通常希望获得具有尽可能少的不想要的对象的背景场景的图片。当前存在用于拍摄时间上接近的多个图片并将所述多个图片合成到去除了不想要的对象的单个图片的解决方案。然而，这些现有解决方案在后处理中去除所述对象。一些现有解决方案准许用户手动识别已经捕获的图像中的对象，并去除那些对象。
发明内容
本发明描述用于在图像预览模式下产生排除不想要的对象的预览图像的方法和装置。因此，实施本发明的技术的装置的用户可在捕获最终图像(例如实时或近实时)之前，看到清晰的预览图像(即，去除了不想要的对象的图像)。在一些实例中，用户使用清晰的预览来产生对焦点、成帧、定向、变焦、照明以及任何其它此类参数的预捕获调整。在拍摄图片之后，相机可产生不具有不想要的对象的最终图像，所述最终图像大体类似于，且在某一分辨率下可能甚至与用户在图像预览模式下看到的去除了不想要的对象的预览图像不可区分。
根据本发明的一个方面，一种方法包含：在不同时间从图像传感器接收多个图像，其中接收所述多个图像是在图像预览模式下且在用户起始的图像捕获请求之前发生；将所述多个图像的第一组副本存储在缓冲器中，其中所述第一组副本处于第一分辨率；将所述第一组副本的每一图像的像素分类为移动对象像素或背景像素；以及使用来自所述第一组副本的两个或更多个图像的背景像素来产生预览图像，其中所述预览图像排除所述移动对象像素中的一或多者。
根据本发明的另一方面，一种电子装置包含存储器和一或多个处理器，其经配置以：在不同时间从图像传感器接收多个图像，其中当在图像预览模式下操作时，且在用户起始的图像捕获请求之前，所述一或多个处理器接收所述多个图像；将所述多个图像的第一组副本存储在所述存储器中，其中所述第一组副本处于第一分辨率；将所述第一组副本的每一图像的像素分类为移动对象像素或背景像素；以及使用来自所述第一组副本的两个或更多个图像的背景像素来产生预览图像，以供在显示器上输出，其中所述预览图像排除所述移动对象像素中的一或多者。
根据本发明的另一方面，一种设备包含：用于在不同时间从图像传感器接收多个图像的装置，其中接收所述多个图像是在图像预览模式下且在用户起始的图像捕获请求之前发生；用于存储所述多个图像的第一组副本的装置，其中所述第一组副本处于第一分辨率；用于将所述第一组副本的每一图像的像素分类为移动对象像素或背景像素的装置；以及用于使用来自第一组副本的两个或更多个图像的背景像素来产生预览图像的装置，其中所述预览图像排除所述移动对象像素中的一或多者。
根据本发明的另一方面，一种计算机可读存储介质存储指令，所述指令在由一或多个处理器执行时，致使所述一或多个处理器：在不同时间从图像传感器接收多个图像，其中接收所述多个图像是在图像预览模式下且在用户起始的图像捕获请求之前发生；将所述多个图像的第一组副本存储在缓冲器中，其中所述第一组副本处于第一分辨率；将所述第一组副本的每一图像的像素分类为移动对象像素或背景像素；以及使用来自所述第一组副本的两个或更多个图像的背景像素来产生预览图像，其中所述预览图像排除所述移动对象像素中的一或多者。
在附图和以下描述中陈述本发明的一或多个方面的细节。本发明中所描述的技术的其它特征、目标和优点将从描述和图式且所附权利要求书而显而易见。
附图说明
图1说明可实施本发明的技术的实例装置。
图2A示出可由图1中示出的装置捕获的多个图像的实例。
图2B示出根据本发明的技术的实例从在图2A中的所述多个图像产生的预览图像的实例。
图3是示出可经配置以实施本发明的技术的装置的实例的框图。
图4是示出用于根据本发明的技术的实例产生预览图像的技术的流程图。
图5是示出用于根据本发明的技术的实例产生预览图像的技术的流程图。
图6示出根据本发明的技术的实例的标记图的实例。
图7示出可用于根据本发明的技术的实例产生最终图像的经上取样的标记图的实例。
图8是示出用于根据本发明的技术的实例产生预览图像的技术的流程图。
具体实施方式
在用于将不想要的对象从图片去除的现有解决方案中，在捕获图片之前，图片拍摄者在预览窗口中并未实际看见去除了不想要的对象的图片，而是仅在捕获所述图片之后看到此图片。本发明描述用于在图像预览模式下产生排除不想要的对象的预览图像的方法和装置。因此，实施本发明的技术的装置的用户在捕获最终图像(例如实时或近实时)之前，可看到清晰的预览图像(即，去除了不想要的对象的图像，且可使用清晰预览来产生对焦点、成帧、定向、变焦、照明和任何其它此类参数的预捕获调整。
在拍摄图片之后，相机可产生不具有不想要的对象的最终图像，所述最终图像大体类似于，且在某一分辨率下可能甚至与用户在图像预览模式下看到的去除了不想要的对象的预览图像不可区分。然而，最终图像可能不等同于预览图像，因为最终图像可例如使用不同图像处理技术产生。为了促进清晰预览图像的实时或近实时产生，用以产生清晰预览图像的处理可例如比用以产生最终图像的处理简单且时间不集中。另外或替代地，清晰预览图像可为比最终图像空间分辨率低的图像。
如本发明中所使用，术语清晰预览图像和清晰最终图像通常指代从在不同时间捕获的多个图像合成的图像。所述图像可以存在于所述多个图像中的一或多个对象的至少一部分不存在于清晰预览图像或清晰最终图像中的方式合成。所述相机可基于一或多个对象可能是不想要的对象的确定来确定排除哪些对象。如将在下文更详细地描述，相机可从相机的图像传感器接收例如多个图像，并检测对象从一个图像到另一图像的移动，且基于所述对象的移动，识别不想要的对象，以将其从清晰预览图像或清晰最终图像排除。
图1说明可实施本发明的技术且经配置以产生清晰预览图像的实例装置。一般来说，可用具有至少一个图像传感器和图像处理器(其可经配置以用于高和/或低分辨率图片和/或视频)的装置来实施本发明的技术。举例来说，装置20包含前部图像传感器22、后部图像传感器24、显示器26和画中画(PIP)窗28。装置20还包含扬声器30、麦克风32和按钮34，且可包含图1的实例中未明确示出的大量其它组件。
装置20可包括各种装置中的任一者，包含例如电话手持机，例如所谓的“智能”电话、平板计算机、可穿戴计算装置(例如头戴式显示器和腕表)、相机、笔记本型(即，膝上型)计算机、数字媒体播放器、视频游戏控制台或手持型装置、视频流式传输装置或类似者。虽然装置20可为便携式装置，但本发明的技术并不限于此方式。举例来说，根据其它方面，所述技术可结合台式计算机、机顶盒、电视机、无人机或其它装置使用。
前部图像传感器22和后部图像传感器24可经配置以捕获图像。举例来说，前部图像传感器22和后部图像传感器24可包含用于将光学图像转换成电子信号的任何组件。实例图像传感器包含电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)、N型金属氧化物半导体(NMOS)等等。在一些例子中，如下文更详细地描述，前部图像传感器22和后部图像传感器24可包含于一或多个相机系统或子系统中。
显示器26可包含液晶显示器(LCD)、发光二极管(LED)、有机发光二极管(OLED)或可将产生输出给用户的任何其它类型的装置。在一些例子中，显示器26可配置为触敏和/或存在敏感显示器。
在图1中所示的实例中，装置20包含PIP窗28。在一些实例中，PIP窗口可提供独立于在显示器26处显示的其它内容而显示内容的区域。举例来说，装置20可经配置以在相机应用程序正执行时执行PIP图像预览。在此实例中，当PIP窗28显示一些其它信息时，装置20可在显示器26上预览图像以供前部图像传感器22或后部图像传感器24捕获。在其它实例中，当显示器26的其余部分显示一些其它信息时，装置20可在PIP窗28中预览图像以供前部图像传感器22或后部图像传感器24捕获。
装置20可经配置以在基本图像预览模式下操作，其中显示器26(即，显示器26的全部或仅PIP窗28)向用户呈现预览图像。一般来说，预览图像示出在任何特定时刻前部图像传感器22或后部图像传感器24的视野内有什么。预览图像可充分频繁地更新，随着前部图像传感器22或后部图像传感器24的FOV内的对象改变，显示器26上示出的预览图像的内容也改变，以便在用户看来为实时。响应于用户起始的图像捕获请求，例如触摸命令、话音命令、按钮的按压或其它此类动作，装置20可经配置以捕获大体类似于在接收到用户起始的图像捕获请求时显示的预览图像的最终图像。
装置20可进一步经配置以在启用清晰预览特征的情况下，在图像预览模式下操作。当装置20在启用清晰预览特征的情况下操作时，显示器26可向用户呈现预览图像，如上文所描述，但预览图像可排除一或多个不想要的对象。装置20可在不同时间经由前部图像传感器22或后部图像传感器24接收多个图像。装置20可存储所述多个图像的第一组副本。装置20可将第一组副本的每一图像的像素分类为移动对象像素或背景像素，且使用来自第一组副本的两个或更多个图像的背景像素产生预览图像。装置20可在显示器26上显示清晰预览图像。
当显示清晰预览图像时，装置20的用户可起始图像捕获请求。响应于用户起始的图像捕获请求，装置20可产生与在用户起始的图像捕获请求时显示的清晰预览图像大致相同的最终图像。装置20可连续更新清晰预览图像，使得清晰预览改变，以便在用户看起来为实时或近实时。然而，不同于在基本图像预览模式下，在启用清晰预览特征的情况下，显示器26上示出的预览可排除在前部图像传感器22或后部图像传感器24的视野内的某些对象。
图2A示出可经由前部图像传感器22或后部图像传感器24由装置20接收的图像的实例。在图2A的实例中，图像35A、35B和35C(共同称为“图像35”)是装置20在稍微不同的时间接收到的同一场景的图像。图像35可例如为在一秒的几十分之一内接收到的彼此分开的图像。装置20可将图像35的低分辨率副本存储在缓冲器中。举例来说，装置20可以较高分辨率(例如1080p)接收图像35，但将图像35的较低分辨率版本(例如四分之一视频图形阵列(QVGA)图像)存储在缓冲器中。
如在图2A的实例中可看出，图像35包含建筑物(标记为36B和36C)。图像35A中的建筑物未明确示出。图像35进一步包含汽车(标记为37A、37B和37C，共同称为“汽车37”)和摩托车38C。基于汽车37和摩托车38C在图像35中的移动，装置20可确定汽车37和摩托车38C是不想要的对象。利用将在下文更详细地描述的技术，装置20可从图像35产生清晰预览图像以供在显示器26上显示。
装置20可例如基于对象的特性(例如对象的运动)自动(例如无用户输入)确定对象是不想要的。另外或替代地，装置20可部分地基于用户输入来确定对象是不想要的对象。举例来说，用户可用触摸或某一其它命令来识别将从预览图像去除的对象。在其它实施方案中，用户可识别要在预览图像中保持的对象，且响应于此识别，装置20可从预览图像去除确定为不想要的对象，同时在预览中保持所识别的对象。
在一些使用情形中，视野中的多个对象可展现不想要的对象的特性，即使对象是用户希望在所述图像中保持的对象。作为一个例子，当拍摄英式足球比赛时，装置20的用户可希望将足球运动员包含在其图片中，同时排除可能进入到视野中的非运动员。随着运动员移动，他们可展现通常不想要的对象的特性(例如运动)，但基于用户输入，装置20可将运动员与不想要的对象区分开。
图2B示出从图2A的图像35产生的清晰预览图像39的实例。如在图像39中可看出，存在建筑物36，但将汽车37和摩托车38C从清晰预览图像39排除。清晰预览图像39是从图像35的两个或更多个图像合成的。换句话说，清晰预览图像39的第一部分可取自图像35A、35B的第二部分以及来自35C的第三部分，以形成合成图像。可进一步处理所述合成图像，例如在由显示器26显示之前滤波。
图3是示出可经配置以实施本发明的技术的装置40的一个实例的框图。在一些实例中，相对于装置40而示出和描述的一或多个组件可并入到装置20中。
在图3中所示的实例中，装置40包含一或多个处理器44、存储器48、显示处理器54、本地显示器56、音频处理器60、扬声器62、输送单元66、无线调制解调器68、输入装置72和相机系统76。其它实例可包含比图3中所示的那些实例更多或更少的组件。另外，虽然出于论述的目的而分别描述某些组件，但应理解，关于图3所示和描述的一些组件可经高度集成或组合以形成单个组件。
组件44、48、54、60、66、72和76中的每一者可(物理地、通信地和/或可操作地)互连以用于经由通信信道82的组件间通信。在一些实例中，通信信道82可包含系统总线、网络连接、进程间通信数据结构或用于传达数据的任何另一信道。
一或多个处理器44可能够处理被存储在存储装置存储器48中的指令。处理器44中的一或多者可形成装置40的中央处理单元(CPU)。处理器44可包含(例如)一或多个微处理器、DSP、ASIC、FPGA、离散逻辑或其任何组合。在一些实例中，处理器44可包含固定功能逻辑和/或可编程逻辑，且可执行软件和/或固件。当所述技术部分在软件中实施时，装置可将用于所述软件的指令存储于合适的非暂时性计算机可读介质中，并使用一或多个处理器来执行硬件中的指令以实施本发明的技术。
在一些实例中，处理器44可经配置以编码和/或解码A/V数据以供输送、存储和显示。举例来说，处理器44中的一或多者可作为视频编码器或视频解码器而操作，其中的任一者可集成为经组合的视频编码器/解码器(编解码器)的部分。在一些情况下，编解码器可根据视频压缩标准来操作，所述视频压缩标准例如ITU-TH.264标准(或者被称作MPEG-4第10部分，高级视频编码(AVC))或此类标准的扩展。视频压缩标准的其它实例包含MPEG-2和ITU-TH.263和ITU-TH.265，高效视频编码(HEVC)标准。
图3的存储器48可包括各种各样易失性或非易失性存储器中的任一者，包含(但不限于)随机存取存储器(RAM)(例如，同步动态随机存取存储器(SDRAM))、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、磁性随机存取存储器(MRAM)、快闪存储器等等。存储器48可包括用于存储音频/视频数据以及其它种类的数据的计算机可读存储介质。
在一些实例中，存储器48可存储应用程序50，其作为执行本发明中描述的各种技术的部分而由处理器44执行。举例来说，应用程序50可包含相机应用程序，其经配置以根据本发明的技术产生清晰预览图像。存储器48可进一步包含缓冲器52，其可为帧缓冲器或图像缓冲器中的一者或两者，如下文将更详细地阐述。本发明将通常使用术语图像缓冲器来指代存储接收到的图像的完整分辨率副本的缓冲器，且将使用术语帧缓冲器来指代存储接收到的图像的经下取样的版本的缓冲器。如将在下文更详细地阐释，存储在帧缓冲器中的帧可用于产生预览图像，而存储在图像缓冲器中的图像可用于产生最终图像。存储器48还可存储某些A/V数据以供由装置40呈现。举例来说，存储器48可存储整个A/V文件，或可包括较小缓冲器，其简单地存储例如从另一装置或来源流式传输的A/V文件的一部分。在任何情况下，在由装置40呈现数据之前，存储器48可缓冲A/V数据。
在一些实例中，装置40可在本地处理和显示A/V数据。明确地说，显示处理器54可形成用于处理将在本地显示器56上显示的视频数据的平台的一部分。在这点上，显示处理器54可包含编解码器(如上文关于处理器44所描述)。本地显示器56可包含液晶显示器(LCD)、发光二极管(LED)、有机发光二极管(OLED)或可向用户产生可懂的输出的任何其它类型的装置。另外，音频处理器60可处理音频数据以供在一或多个扬声器62上输出。
输送单元66可处理用于网络输送的经编码的A/V数据。举例来说，可由处理器44处理经编码的A/V数据，且由输送单元66将经编码的A/V数据包封到网络接入层(NAL)单元中以供跨越网络通信。可由调制解调器68经由网络连接将NAL单元发送到另一装置。在这点上，调制解调器68可根据任何数目的通信技术来操作，所述通信技术包含(例如)正交频分多路复用(OFDM)技术、时分多址(TDMA)、频分多址(FDMA)、码分多址(CDMA)或OFDM、FDMA、TDMA和/或CDMA的任何组合、WiFi、蓝牙、以太网、IEEE 802.11标准家族或任何另一无线或有线通信技术。在一些情况下，装置40的调制解调器68可接收经包封的数据包(例如，NAL单元)，且将经包封数据单元发送到输送单元66以供解包封。举例来说，输送单元66可从NAL单元提取数据包，且处理器44可分析数据包以提取用户输入命令。
一或多个输入装置72可经配置以通过触觉、音频或视频反馈从用户接收输入。输入装置42的实例包含触敏和/或存在敏感屏幕、鼠标、键盘、语音响应系统、麦克风或用于检测来自用户的命令的任何其它类型的装置。
图形处理单元(GPU)74表示用于执行图形操作的一或多个专用处理器。也就是说，例如，GPU 74可为专用硬件单元，其具有用于渲染图形且执行GPU应用程序的固定功能和可编程组件。GPU 74还可包含DSP、通用微处理器、ASIC、FPGA，或其它等效集成或离散逻辑电路。尽管在图3的实例中将GPU 74说明为单独单元，但在一些实例中，GPU 74可与一或多个其它处理器44(例如，CPU)一起集成为单个单元。
相机系统76可包含一或多个图像处理器、一或多个图像传感器(例如，CCD传感器、CMOS传感器、NMOS传感器等等)以及用于捕获图像的数个其它组件。相机系统76可包含用于所谓的相机电话或视频电话的一或多个组件。在一些实例中，相机系统76可支持多个图像传感器(例如相机电话或视频电话的前部图像传感器和后部图像传感器)。由相机系统76的此些图像传感器产生的图像流可由一或多个图像处理器处理。在一些情况下，相机系统76可与GPU 74组合操作以产生作为源视频或实况视频、存档视频和/或计算机所产生视频的组合的基于计算机图形的数据。所捕获、所预捕获或计算机产生的视频可由(上文所描述的)视频编码器来编码。
图4示出说明装置40的操作的方面的流程图。装置40可执行存储在存储器48的应用程序50中的相机应用程序。在执行相机应用程序后，装置40可接入相机系统76，且在时间t0从相机系统76接收图像输入，且对所述图像进行下取样以确定t0帧输入(102)。举例来说，相机系统76可以30帧每秒接收图像。在对所述图像进行下取样之后，装置40可确定帧缓冲器是否将更新(104)。如果帧缓冲器将更新(104，是)，那么装置40可将t0帧添加到帧缓冲器，且还可将较老的帧从帧缓冲器去除(106)。如果帧缓冲器将不更新(104，不)，那么装置40可不更新缓冲器(107)。举例来说，装置40可不将t0帧添加到帧缓冲器，且还可不将较老的帧从帧缓冲器去除。应理解，框204处不将帧添加到帧缓冲器的决策仅意味着不将帧添加到帧缓冲器以供未来用于产生预览帧，且不一定意味着不为了其它目的缓冲所述帧。
装置40可以比相机系统76接收图像的速率低的速率来更新帧缓冲器。举例来说，如果相机系统76以30fps接收图像，那么装置40可以3fps更新帧缓冲器。因此，在图4的框104处进行的是否更新帧缓冲器的确定可基于接收到图像的时间或与帧相关联的图片次序计数(POC)值或帧编号。可选择装置40更新帧缓冲器的速率，使得任何两个经缓冲帧之间出现充分长的足够时间周期。可选择所述时间周期，使得归因于不想要的对象的运动，所述不想要的对象在一个经缓冲帧中相对于第二经缓冲帧的充分不同的位置。使用上方介绍的30fps和3fps的实例，如果装置40用在时间t0接收到的图像的帧来更新帧缓冲器，那么装置40可不再次更新帧缓冲器，直到时间t10为止，意味着在时间t1到t9确定的帧不添加到帧缓冲器。
作为产生清晰预览的一部分，装置40可例如将t0帧输入与存储在帧缓冲器中的两个或更多个先前帧输入进行比较，以检测t0帧中的移动对象(108)。出于此实例的目的，可假定帧缓冲器已经存储t-10、t-20等的帧输入。装置40可通过将t0帧的像素的值与经缓冲帧中的对应位置处的像素的值进行比较来检测移动对象。如果帧中的某一像素位置处的像素值在所有帧(即t0帧和存储在帧缓冲器中的帧)上一致，那么像素值可能对应于背景像素。如果帧中的某一位置处的像素值在所有帧上不一致，那么所述帧中的至少一些帧的所述位置处的像素可能对应于移动对象像素。对于特定像素位置，为了为所述像素位置确定哪些帧包含背景像素且哪些帧包含移动对象像素，装置40可经配置以执行表决技术，其中假定最频繁出现的像素值对应于背景。对于t0帧，装置40可确定标记图。对于预览图像中的每一像素位置，标记图识别从中获得用于产生预览图像的像素值的帧。从其获得像素值的帧可为当前帧(即t0帧)或经缓冲帧中的一者(即t-10帧、t-20帧、t-30帧等)。
为了确定标记图，装置40可使用表决过程产生当前帧的背景概率图。作为表决过程的一部分，装置40可将两个或更多个经缓冲帧和当前帧的某一像素位置的像素值进行比较，以确定当前帧中的特定像素是不想要的对象像素还是背景像素。举例来说，装置40可产生每个位置的直方图，以确定最频繁出现的像素值，且选择对应于所述最频繁出现的像素值的经缓冲帧或当前帧，作为在产生预览图像时用于所述像素位置的帧。
装置40可在标记图的确定期间考虑邻域像素值相似性信息。如果邻近像素和当前像素在像素值中接近，那么其标记值趋向于相同。直观上，由于其像素值接近，因此这些像素可属于前景对象或背景对象的相同部分。装置40可为每个像素位置选择与最大概率值相关联的帧索引，作为将包含在标记图中的帧索引。
装置40可恢复清晰背景(110)。作为恢复清晰背景的一部分，装置40可用一个经缓冲帧输入的背景像素来替换t0帧输入的移动对象像素。为了恢复清晰背景，装置40可从存储在帧缓冲器中的一或多个图像合成一个图像。对于合成图像的每一像素位置，装置40可基于所述标记图，为存储在帧缓冲器中的图像中的一者中的对应位置处的背景像素确定像素值。因此，合成图像可包含在t0接收到的图像的背景像素、在t-10接收到的图像的背景像素、在t-20接收到的图像的背景像素以及潜在地存储在帧缓冲器中的其它图像的背景像素的像素值。举例来说，装置40可经由本地显示器56输出清晰预览图像(112)。
装置40可以实时或近实时方式更新在本地显示器56处显示的预览图像。举例来说，装置40可在t1接收新的帧输入，在此情况下，在t0接收到的图像现在存储在帧缓冲器中。如上文所阐释，缓冲器可仅以3fps更新，而相机系统76以30fps产生图像。因此，在框104处，t1的帧输入可不添加到帧缓冲器。然而，t1的帧输入仍用于产生清晰预览图像。因此，在框108和110处，用于检测移动对象且产生标记图的帧可包含t1的帧以及t0、t-10、t-20等的经缓冲帧。
图5示出说明装置40的操作的方面的流程图。装置40可执行存储在存储器48的应用程序50中的相机应用程序。在执行相机应用程序后，装置40可接入相机系统76。在时间t＝0，相机系统76可接收图像。装置40可对所述接收到的图像下取样到第一分辨率，以产生帧输入(202)。装置40还可确定是否应更新帧缓冲器(204)。响应于确定应更新帧缓冲器(204，是)，装置40可将输入帧的副本存储在帧缓冲器中(206)。响应于确定不应更新帧缓冲器(204，否)，装置40可不更新帧缓冲器(205)。装置40还可确定是否应更新图像缓冲器(208)。响应于确定应更新图像缓冲器(208，是)，装置40可将处于高于第一分辨率的第二分辨率的图像的副本存储在图像缓冲器中(210)。举例来说，第二分辨率可为相机系统76接收到的图像的原始分辨率。响应于确定应不更新图像缓冲器(208，否)，装置40可不更新图像缓冲器(209)。举例来说，装置40可不将图像的副本存储在图像缓冲器中。
如上文相对于图4所论述，是否更新帧缓冲器的决策可基于帧更新缓冲器速率，其可不同于相机系统76接收图像的速率。举例来说，如果相机系统76以15fps的速率接收图像，且装置40以5fps的速率更新帧缓冲器，那么可使用相机系统76接收到的每三个图像中的仅一个图像来更新帧缓冲器。类似地，装置40可基于图像缓冲器更新速率来更新图像缓冲器，其可为与相机系统76接收图像的速率相同的速率、与装置40更新帧缓冲器的速率相同的速率，或以不同速率。
作为产生清晰预览的一部分，装置40可例如将t0帧输入与存储在帧缓冲器中的两个或更多个先前帧输入进行比较，以检测t0帧中的移动对象(212)。出于此实例的目的，可假定帧缓冲器已经存储t-5、t-10等的帧输入。装置40可通过将t0帧的像素的值与经缓冲帧中的对应位置处的像素的值进行比较来检测移动对象。如果帧中的某一像素位置处的像素值在所有帧(即t0帧和存储在帧缓冲器中的帧)上一致，那么像素值可能对应于背景像素。如果帧中的某一位置处的像素值在所有帧上不一致，那么所述帧中的至少一些帧的所述位置处的像素可能对应于移动对象像素。对于特定像素位置，为了为所述像素位置确定哪些帧包含背景像素且哪些帧包含移动对象像素，装置40可经配置以执行表决技术，其中假定最频繁出现的像素值对应于背景。对于t0帧，装置40可确定标记图。对于预览图像中的每一像素位置，标记图识别从中获得用于产生预览图像的像素值的帧。从中获得像素值的帧可为当前帧(即t0帧)或经缓冲帧中的一者(即t-5帧、t-10帧、t-20帧等)。
装置40可恢复清晰背景(214)。作为恢复清晰背景的一部分，装置40可用一个经缓冲帧输入的背景像素来替换t0帧输入的移动对象像素。为了恢复清晰背景，装置40可从存储在帧缓冲器中的一或多个图像合成一个图像。对于合成图像的每一像素位置，装置40可基于标记图，为存储在帧缓冲器中的图像中的一者中的对应位置处的背景像素确定像素值。因此，合成图像可包含在t0接收到的图像的背景像素、在t-5接收到的图像的背景像素、在t-10接收到的图像的背景像素以及潜在地存储在帧缓冲器中的其它图像的背景像素的像素值。举例来说，装置40可经由本地显示器56输出清晰预览图像(216)。
装置40可以实时或近实时方式更新在本地显示器56处显示的预览图像。举例来说，装置40可在t1接收新的帧输入，在此情况下，在t0接收到的图像现在存储在帧缓冲器中。如上文所阐释，缓冲器可仅以5fps更新，而相机系统76以15fps产生图像。因此，在框204处，可不将t1的帧输入添加到帧缓冲器。然而，t1的帧输入仍用于产生清晰预览图像。因此，在框212和214处，用于检测移动对象且产生标记图的帧可包含t1的帧以及t0，t-5，t-10等的经缓冲帧。
举例来说，装置40可经由本地显示器56输出清晰帧，作为清晰预览的一部分(216)。当在装置40的本地显示器56上显示清晰预览图像时，装置40可经配置以接受捕获图像的用户起始的图像捕获请求(218)。当装置40并不接收用户起始的图像捕获请求，装置40可以实时或近实时方式更新在本地显示器56处显示的清晰预览图像。举例来说，装置40可在t1接收新的帧输入，在此情况下，在t0接收到的图像现在存储在帧缓冲器中。
装置40可产生清晰预览图像(例如框202、204、206、212和214)，作为启用清晰预览特征的情况下图像预览模式的一部分。当以图像预览模式操作时，装置40可经配置以检测用户起始的图像捕获请求，例如触摸命令、话音命令、按钮按压或某一其它此动作。当装置40并未检测到用户起始的图像捕获请求(218，否，在图5中未图示)时，接着装置40继续更新清晰预览图像。响应于接收到用户起始的图像捕获请求以捕获图像(218，是)，装置40基于存储在图像缓冲器中的图像输出清晰的最终图像(220)。在装置40接收到用户起始的图像捕获请求时在本地显示器56上显示的清晰预览图像可为最终图像的近似图像。然而，最终图像可不等同于清晰预览图像。在其它潜在差异之中，最终图像可为分辨率比清晰预览图像高的图像。
另外，为了产生最终图像，装置40可执行一或多个后处理操作，其不执行来产生清晰预览图像。此类后处理操作的实例包含亮度修改、降噪、白平衡调整、模糊减小、变焦修改、红眼去除、图像锐化和/或软化、特效滤波器的应用、字幕信息的添加等等。应理解，本发明的技术不排除也将这些后处理操作应用于预览图像，作为预览图像产生过程的一部分。实情为，仅应理解，在创建预览图像时利用的图像处理操作可不同于用于创建最终图像的图像处理操作，其中用于创建最终图像的图像处理操作通常在计算上比用于创建预览图像的图像处理操作更复杂且密集。
作为检测输入帧中的移动对象的一部分(例如图4的框108和图5的框212)，装置40可为当前输入帧确定标记图。对于预览图像的每一像素，所述标记图可识别当前输入帧或来自帧缓冲器的帧。举例来说，图6示出对应于预览图像的标记图。标记图中的一些像素位置与当前帧相关联，一些像素位置与经缓冲帧1相关联，一些像素位置与缓冲器帧2相关联，且一些像素位置与经缓冲帧3相关联。因此，为了基于图6的标记图产生预览图像，装置40产生合成图像，其包含来自与当前帧相关联的标记图的区中的当前帧的像素值、来自与经缓冲帧一相关联的标记图的区中的第一经缓冲帧的像素值、来自与经缓冲帧二相关联的标记图的区中的第二经缓冲帧的像素值，以及来自与经缓冲帧三相关联的标记图的区中的第三经缓冲帧的像素值。因此，装置40可产生预览图像，其为从当前帧、第一经缓冲帧、第二经缓冲帧和第三经缓冲帧合成的图像。通过使用来自当前帧和经缓冲帧的像素来产生预览图像，装置40可产生将不想要的对象从预览图像排除的预览。
图7示出经上取样的标记图的实例。装置40通过对图6的标记图进行上取样来产生图7的经上取样的标记图。如通过将图6的标记图与图7的经上取样的标记图进行比较可看出，所述两个标记图大致相同。然而，经上取样的标记图处于较高分辨率。以与装置40使用图6的标记图来识别用于产生合成预览图像的帧相同的方式，装置40可使用经上取样的标记图来产生最终图像。因此，装置40可产生最终图像，其为从当前图像、第一经缓冲图像、第二经缓冲图像和第三经缓冲图像合成的图像。通过使用来自当前图像和经缓冲图像的像素产生最终图像，装置40可产生将不想要的对象从最终图像排除的最终图像。使用用以产生预览图像的标记图的经上取样的版本产生最终图像可改进与产生最终图像相关联的处理时间。
图8示出说明本发明的技术的流程图。图8的技术将参考一般相机装置来描述。举例来说，一般相机装置可为相对于图1描述的装置20、相对于图3描述的装置40，或经配置以处理图像数据的某一其它装置。在图8的上下文中，相机装置还可指代一或多个相机组件，例如相机芯片组，其结合其它组件(例如图像传感器或显示器)工作，但实际上与那些其它组件分开。相机装置在不同时间获取多个图像(400)。举例来说，相机装置可从图像传感器接收此类图像。相机装置将所述多个图像的第一组副本存储在缓冲器中(402)。第一组副本可以第一像素(即，空间)分辨率存储。相机装置可将第一组副本的每一图像的像素分类为移动对象像素或背景像素(404)。相机装置可使用来自第一组副本的两个或更多个图像的背景像素产生清晰预览图像(406)。所述清晰预览图像可排除在所述多个图像中的图像中的一或多个中找到的移动对象像素中的一或多者。
举例来说，清晰预览图像可为从第一组副本的两个或更多个图像合成的图像，存在于第一组副本的一或多个图像中的至少一个对象不存在于清晰预览图像中。为了产生清晰预览图像，相机装置可从来自第一组副本的两个或更多个图像的被分类为背景像素的像素产生合成图像。
当相机装置在图像预览模式下操作时，且在用户起始的图像获取请求之前，相机装置可获取所述多个图像。相机装置可在相机装置的显示器上显示清晰的预览图像。当显示清晰的预览图像时，相机装置可接收用户起始的图像获取请求，且响应于所述用户起始的图像获取请求，产生最终图像。最终图像可具有高于第一分辨率的第二分辨率。
预览图像可为最终图像的近似图像。因此，从预览图像排除的不想要的对象像素中的一或多者也可从最终图像排除。所述一或多个不想要的对象像素可共同形成从预览图像和最终图像两者排除但存在于所述接收到的多个图像中的不想要的对象。
相机装置可经配置以产生标记图。所述标记图可为使清晰预览图像的每一像素与来自第一组副本的图像相关联的数据结构。为了产生清晰预览，相机装置可为清晰预览图像的像素位置从标记图确定为像素位置识别的图像，且在所识别的图像中确定与清晰预览图像的像素位置相同的位置的像素值。相机装置可基于所识别的图像的相同位置的像素值(例如RGB值，或YCBCR值)，确定清晰预览图像的像素位置的像素值。
相机装置可将所述多个图像的第二组副本存储在缓冲器中。所述多个图像的第二组副本可处于高于用于第一组副本的第一分辨率的第二分辨率。响应于用户起始的图像获取请求，相机装置可使用来自第二组副本的两个或更多个图像的背景像素产生最终图像。为了产生最终图像，相机装置可对标记图进行上取样，且对于最终图像的像素位置，从经上取样的标记图确定为最终图像的像素位置识别的图像。相机装置可在所识别的图像中确定与最终图像的像素位置相同的位置处的像素值。相机装置可基于所识别的图像的相同位置的像素值，确定最终图像的像素位置的像素值。
还应理解，取决于实例，本文中所描述的方法中的任一者的某些动作或事件可用不同序列来执行，可添加、合并或全部省略所述动作或事件(例如，实践所述方法未必需要所有所描述动作或事件)。此外，在某些实例中，可(例如)通过多线程处理、中断处理或多个处理器同时而非依序地执行动作或事件。
此外，在一或多个实例中，可在硬件、软件、固件或其任何组合中实施本文中所描述的功能。如果在软件中实施，那么所述功能可作为一或多个指令或代码在计算机可读介质上存储或传输，并且由基于硬件的处理单元执行。计算机可读介质可包含计算机可读存储介质，其对应于例如数据存储介质或通信介质等有形介质，通信介质(例如)根据通信协议包含促进将计算机程序从一处传送到另一处的任何介质。
以此方式，计算机可读介质通常可对应于(1)非暂时性的有形计算机可读存储介质，或(2)通信介质，例如，信号或载波。数据存储介质可为可由一或多个计算机或者一或多个处理器存取以检索用于实施本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可包含计算机可读介质。作为实例而非限制，此类计算机可读存储介质可包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储装置、磁盘存储装置或其它磁性存储装置、快闪存储器，或可用以存储呈指令或数据结构形式的所要程序代码且可由计算机存取的任何其它介质。
并且，适当地将任何连接称作计算机可读介质。举例来说，如果使用同轴电缆、光纤缆线、双绞线、数字订户线(DSL)或例如红外线、无线电和微波等无线技术从网站、服务器或其它远程源传输指令，那么同轴电缆、光纤缆线、双绞线、DSL或例如红外线、无线电和微波等无线技术包含在介质的定义中。
然而，应理解，有形计算机可读存储介质和数据存储介质并不包含连接、载波、信号或其它暂时性介质，而实际上是针对非暂时性有形存储介质。如本文中所使用，磁盘和光盘包含压缩光盘(CD)、激光光盘、光学光盘、数字多功能光盘(DVD)、软性磁盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘用激光以光学方式再现数据。以上各项的组合也应包含在计算机可读介质的范围内。
指令可由一或多个处理器执行，所述一或多个处理器例如一或多个DSP、通用微处理器、ASIC、FPGA或其它等效集成或离散逻辑电路。因此，如本文中所使用的术语“处理器”可指代上述结构或适用于实施本文中所描述的技术的任何其它结构中的任一者。另外，在一些方面中，本文中所描述的功能性可在经配置以用于编码和解码的专用硬件和/或软件模块内提供，或并入在组合编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。
本发明的技术可在各种各样装置或设备中实施，包含无线手持机、集成电路(IC)或一组IC(例如芯片组)。本发明中描述各种组件、模块或单元是为了强调经配置以执行所揭示的技术的装置的功能方面，但未必需要通过不同硬件单元实现。确切地，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中，或由互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一或多个处理器。
已经描述了本发明的各个方面。这些和其它方面在所附权利要求书的范围内。

Claims (24)

1.一种用于产生预览图像的方法，其包括：
在不同时间从图像传感器接收多个图像，其中接收所述多个图像是在图像预览模式下且在用户起始的图像捕获请求之前发生；
将所述多个图像的第一组副本存储在缓冲器中，其中所述第一组副本处于第一分辨率；
将所述第一组副本的每一图像的像素分类为移动对象像素或背景像素；
产生标记图，其中所述标记图为所述预览图像的每一像素识别来自所述第一组副本的图像，所述标记图中的第一像素位置与所述第一组副本中的第一图像相关联，所述标记图中的第二像素位置与所述第一组副本中的第二图像相关联；以及
使用来自所述第一组副本的两个或更多个图像的背景像素产生所述预览图像，其中所述预览图像排除所述移动对象像素中的一或多者，
其中产生所述预览图像包括：
对于所述预览图像的像素位置，从所述标记图确定为所述预览图像的所述像素位置所识别的图像；
在所述所识别的图像中，确定与所述预览图像的所述像素位置相同的位置的像素值；以及
基于所述所识别的图像的所述相同位置的所述像素值，确定所述预览图像的所述像素位置的像素值。
2.根据权利要求1所述的方法，其中所述预览图像包括从所述第一组副本的两个或更多个图像的若干部分合成的图像，其中存在于所述第一组副本的一或多个图像中的至少一个对象不存在于所述预览图像。
3.根据权利要求1所述的方法，其进一步包括：
在显示器上显示所述预览图像；
当显示所述预览图像时，接收用户起始的图像捕获请求；
响应于所述用户起始的图像捕获请求，产生最终图像，其中所述最终图像具有高于所述第一分辨率的第二分辨率。
4.根据权利要求3所述的方法，其中所述预览图像包括所述最终图像的近似图像，其中所述最终图像排除所述移动对象像素中的一或多者。
5.根据权利要求1所述的方法，其进一步包括：
将所述多个图像的第二组副本存储在所述缓冲器中，其中所述多个图像的所述第二组副本处于高于所述第一分辨率的第二分辨率；
响应于用户起始的图像捕获请求，使用来自所述第二组副本的两个或更多个图像的背景像素产生最终图像。
6.根据权利要求5所述的方法，其中产生所述最终图像包括：
对所述标记图进行上取样；
对于所述最终图像的像素位置，从所述经上取样的标记图确定为所述最终图像的所述像素位置识别的图像；
在所述所识别的图像中，确定与所述最终图像的所述像素位置相同的位置的像素值；
基于所述所识别的图像的所述相同位置的所述像素值，确定所述最终图像的所述像素位置的像素值。
7.根据权利要求6所述的方法，其中产生所述最终图像包括执行一或多个后处理操作，所述一或多个后处理操作不被执行来产生所述预览图像。
8.根据权利要求1所述的方法，其进一步包括：
以第一速率从所述图像传感器接收所述多个图像；以及
以第二速率更新存储在所述缓冲器中的所述多个图像的所述第一组副本，其中所述第二速率低于所述第一速率。
9.一种电子装置，其包括：
存储器；
一或多个处理器，其经配置以：
在不同时间从图像传感器接收多个图像，其中当在图像预览模式下操作时，且在用户起始的图像捕获请求之前，所述一或多个处理器接收所述多个图像；
将所述多个图像的第一组副本存储在所述存储器中，其中所述第一组副本处于第一分辨率；
将所述第一组副本的每一图像的像素分类为移动对象像素或背景像素；
产生标记图，其中所述标记图为预览图像的每一像素识别来自所述第一组副本的图像，所述标记图中的第一像素位置与所述第一组副本中的第一图像相关联，所述标记图中的第二像素位置与所述第一组副本中的第二图像相关联；以及
使用来自所述第一组副本的两个或更多个图像的背景像素产生所述预览图像，以供在显示器上输出，其中所述预览图像排除所述移动对象像素中的一或多者，其中为了产生所述预览图像，所述一或多个处理器进一步经配置以：
对于所述预览图像的像素位置，从所述标记图确定为所述预览图像的所述像素位置所识别的图像；
在所述所识别的图像中，确定与所述预览图像的所述像素位置相同的位置的像素值；以及
基于所述所识别的图像的所述相同位置的所述像素值，确定所述预览图像的所述像素位置的像素值。
10.根据权利要求9所述的电子装置，其中所述预览图像包括从所述第一组副本的两个或更多个图像的若干部分合成的图像，其中存在于所述第一组副本的一或多个图像中的至少一个对象不存在于所述预览图像中。
11.根据权利要求9所述的电子装置，其进一步包括：
显示器，其用以显示所述预览图像；
其中所述一或多个处理器进一步经配置以
当所述显示器显示所述预览图像时，接收用户起始的图像捕获请求；以及
响应于所述用户起始的图像捕获请求，产生最终图像，其中所述最终图像具有高于所述第一分辨率的第二分辨率。
12.根据权利要求11所述的电子装置，其中所述预览图像包括所述最终图像的近似图像，且其中所述最终图像排除所述移动对象像素中的一或多者。
13.根据权利要求9所述的电子装置，其中所述一或多个处理器进一步经配置以
将所述多个图像的第二组副本存储在所述存储器中，其中所述多个图像的所述第二组副本处于高于所述第一分辨率的第二分辨率；以及
响应于用户起始的图像捕获请求，使用来自所述第二组副本的两个或更多个图像的背景像素产生最终图像。
14.根据权利要求13所述的电子装置，其中为了产生所述最终图像，所述一或多个处理器进一步经配置以：
对所述标记图进行上取样；
对于所述最终图像的像素位置，从所述经上取样的标记图确定为所述最终图像的所述像素位置识别的图像；
在所述所识别的图像中，确定与所述最终图像的所述像素位置相同的位置的像素值；以及
基于所述所识别的图像的所述相同位置的所述像素值，确定所述最终图像的所述像素位置的像素值。
15.根据权利要求14所述的电子装置，其中为了产生所述最终图像，所述一或多个处理器进一步经配置以执行一或多个后处理操作，所述一或多个后处理操作不被执行来产生所述预览图像。
16.根据权利要求9所述的电子装置，其中所述一或多个处理器进一步经配置以
以第一速率从所述图像传感器接收所述多个图像；以及
以第二速率更新存储在所述存储器中的所述多个图像的所述第一组副本，其中所述第二速率低于所述第一速率。
17.根据权利要求9所述的电子装置，其中所述电子装置包括以下各项中的一或多者：
微处理器；
集成电路IC；或
无线通信装置，其包括所述图像传感器和显示器。
18.一种用于产生预览图像的设备，其包括：
用于在不同时间从图像传感器接收多个图像的装置，其中接收所述多个图像是在图像预览模式下且在用户起始的图像捕获请求之前发生；
用于存储所述多个图像的第一组副本的装置，其中所述第一组副本处于第一分辨率；
用于将所述第一组副本的每一图像的像素分类为移动对象像素或背景像素的装置；
用于产生标记图的装置，其中所述标记图为所述预览图像的每一像素识别来自所述第一组副本的图像，所述标记图中的第一像素位置与所述第一组副本中的第一图像相关联，所述标记图中的第二像素位置与所述第一组副本中的第二图像相关联；以及
用于使用来自所述第一组副本的两个或更多个图像的背景像素产生所述预览图像的装置，其中所述预览图像排除所述移动对象像素中的一或多者，
其中所述用于产生所述预览图像的装置包括：
对于所述预览图像的像素位置，用于从所述标记图确定为所述预览图像的所述像素位置所识别的图像的装置；
用于在所述所识别的图像中确定与所述预览图像的所述像素位置相同的位置的像素值的装置；以及
用于基于所述所识别的图像的所述相同位置的所述像素值确定所述预览图像的所述像素位置的像素值的装置。
19.根据权利要求18所述的设备，其进一步包括：
用于显示所述预览图像的装置；
用于在所述用于显示的装置显示所述预览图像时接收用户起始的图像捕获请求的装置；以及
用于响应于所述用户起始的图像捕获请求产生最终图像的装置，其中所述最终图像具有高于所述第一分辨率的第二分辨率。
20.根据权利要求18所述的设备，其进一步包括：
用于存储所述多个图像的第二组副本的装置，其中所述多个图像的所述第二组副本处于高于所述第一分辨率的第二分辨率；以及
用于响应于用户起始的图像捕获请求使用来自所述第二组副本的两个或更多个图像的背景像素产生最终图像的装置。
21.根据权利要求20所述的设备，其中所述用于产生所述最终图像的装置包括：
用于对所述标记图进行上取样的装置；
对于所述最终图像的像素位置，用于从所述经上取样的标记图确定为所述最终图像的所述像素位置识别的图像的装置；
用于在所述所识别的图像中确定与所述最终图像的所述像素位置相同的位置的像素值的装置；以及
用于基于所述所识别的图像的所述相同位置的所述像素值确定所述最终图像的所述像素位置的像素值的装置。
22.一种存储指令的计算机可读存储介质，所述指令在由一或多个处理器执行时，致使所述一或多个处理器：
在不同时间从图像传感器接收多个图像，其中接收所述多个图像是在图像预览模式下且在用户起始的图像捕获请求之前发生；
将所述多个图像的第一组副本存储在缓冲器中，其中所述第一组副本处于第一分辨率；
将所述第一组副本的每一图像的像素分类为移动对象像素或背景像素；
产生标记图，其中所述标记图为预览图像的每一像素识别来自所述第一组副本的图像，所述标记图中的第一像素位置与所述第一组副本中的第一图像相关联，所述标记图中的第二像素位置与所述第一组副本中的第二图像相关联；以及
使用来自所述第一组副本的两个或更多个图像的背景像素产生所述预览图像，其中所述预览图像排除所述移动对象像素中的一或多者，
其中，所述计算机可读存储介质存储产生所述预览图像的进一步指令，所述指令致使所述一或多个处理器：
对于所述预览图像的像素位置，从所述标记图确定为所述预览图像的所述像素位置所识别的图像；
在所述所识别的图像中，确定与所述预览图像的所述像素位置相同的位置的像素值；以及
基于所述所识别的图像的所述相同位置的所述像素值，确定所述预览图像的所述像素位置的像素值。
23.根据权利要求22所述的计算机可读存储介质，其存储进一步指令，所述指令在被执行时，致使所述一或多个处理器：
在显示器上显示所述预览图像；
当显示所述预览图像时，接收用户起始的图像捕获请求；以及
响应于所述用户起始的图像捕获请求，产生最终图像，其中所述最终图像具有高于所述第一分辨率的第二分辨率。
24.根据权利要求22所述的计算机可读存储介质，其存储产生所述预览图像的进一步指令，所述指令致使所述一或多个处理器：
将所述多个图像的第二组副本存储在所述缓冲器中，其中所述多个图像的所述第二组副本处于高于所述第一分辨率的第二分辨率；以及
响应于用户起始的图像捕获请求，使用来自所述第二组副本的两个或更多个图像的背景像素产生最终图像。
CN201580083180.7A 2015-09-21 2015-09-21 用于产生预览图像的方法和设备以及计算机可读存储介质 Active CN108141634B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/090123 WO2017049430A1 (en) 2015-09-21 2015-09-21 Camera preview

Publications (2)

Publication Number Publication Date
CN108141634A CN108141634A (zh) 2018-06-08
CN108141634B true CN108141634B (zh) 2021-03-16

Family

ID=58385500

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580083180.7A Active CN108141634B (zh) 2015-09-21 2015-09-21 用于产生预览图像的方法和设备以及计算机可读存储介质

Country Status (6)

Country Link
US (1) US10616502B2 (zh)
EP (1) EP3354037A4 (zh)
JP (1) JP2018535572A (zh)
KR (1) KR20180054794A (zh)
CN (1) CN108141634B (zh)
WO (1) WO2017049430A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160131720A (ko) * 2015-05-08 2016-11-16 엘지전자 주식회사 이동단말기 및 그 제어방법
CN109952758A (zh) * 2017-07-17 2019-06-28 华为技术有限公司 一种图像处理的方法及终端
CN109819178B (zh) * 2017-11-21 2022-07-08 虹软科技股份有限公司 一种用于帧处理的方法和装置
US10902626B2 (en) * 2018-04-11 2021-01-26 International Business Machines Corporation Preventing intrusion during video recording or streaming
EP4333449A4 (en) * 2021-09-27 2024-10-16 Samsung Electronics Co Ltd PORTABLE DEVICE WITH CAMERA AND CONTROL METHOD THEREFOR
US12112458B2 (en) * 2022-07-11 2024-10-08 Qualcomm Incorporated Removal of objects from images

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104822016A (zh) * 2014-01-31 2015-08-05 株式会社摩如富 图像处理装置及图像处理方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8396328B2 (en) * 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
JPH11225344A (ja) 1998-02-05 1999-08-17 Matsushita Electric Ind Co Ltd デジタルカメラ
US20050129324A1 (en) * 2003-12-02 2005-06-16 Lemke Alan P. Digital camera and method providing selective removal and addition of an imaged object
US20070177800A1 (en) * 2006-02-02 2007-08-02 International Business Machines Corporation Method and apparatus for maintaining a background image model in a background subtraction system using accumulated motion
JP4823179B2 (ja) * 2006-10-24 2011-11-24 三洋電機株式会社 撮像装置及び撮影制御方法
US7916971B2 (en) * 2007-05-24 2011-03-29 Tessera Technologies Ireland Limited Image processing method and apparatus
JP5115556B2 (ja) * 2007-07-05 2013-01-09 日本電気株式会社 物体領域検出装置、物体領域検出システム、物体領域検出方法及びプログラム
US8063942B2 (en) * 2007-10-19 2011-11-22 Qualcomm Incorporated Motion assisted image sensor configuration
JP5075054B2 (ja) * 2008-08-08 2012-11-14 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5457100B2 (ja) * 2009-08-04 2014-04-02 オリンパスイメージング株式会社 撮影装置及び撮影装置の制御方法
DE102009038364A1 (de) * 2009-08-23 2011-02-24 Friedrich-Alexander-Universität Erlangen-Nürnberg Verfahren und System zur automatischen Objekterkennung und anschließenden Objektverfolgung nach Maßgabe der Objektform
EP2494498B1 (en) * 2009-10-30 2018-05-23 QUALCOMM Incorporated Method and apparatus for image detection with undesired object removal
KR101105034B1 (ko) * 2010-02-09 2012-01-16 주식회사 팬택 촬영 기능을 보유한 단말기
US20120243802A1 (en) * 2011-03-25 2012-09-27 William Vernon Fintel Composite image formed from an image sequence
US8964025B2 (en) 2011-04-12 2015-02-24 International Business Machines Corporation Visual obstruction removal with image capture
JP5705027B2 (ja) 2011-05-26 2015-04-22 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム、並びに記録媒体
US9255813B2 (en) 2011-10-14 2016-02-09 Microsoft Technology Licensing, Llc User controlled real object disappearance in a mixed reality display
CN103905716B (zh) * 2012-12-27 2017-08-18 三星电子（中国）研发中心 拍摄照片时动态处理取景画面的照相设备及方法
KR101999140B1 (ko) * 2013-01-03 2019-07-11 삼성전자주식회사 카메라장치 및 카메라를 구비하는 휴대단말기의 이미지 촬영장치 및 방법
US8977060B2 (en) * 2013-05-16 2015-03-10 Microsoft Technology Licensing, Llc Motion stabilization and detection of articulated objects
KR102090105B1 (ko) * 2013-07-16 2020-03-17 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 처리장치 및 방법
JP6084552B2 (ja) 2013-11-06 2017-02-22 株式会社パスコ 路面オルソ画像の生成装置および生成方法
CN103561271B (zh) 2013-11-19 2016-08-17 福建师范大学 静止摄像头拍摄的运动目标被移除视频空域篡改检测方法
KR102161212B1 (ko) * 2013-11-25 2020-09-29 한화테크윈 주식회사 움직임 검출 시스템 및 방법
CN104735364A (zh) * 2013-12-19 2015-06-24 中兴通讯股份有限公司 一种照片拍摄处理方法和设备
CN104580882B (zh) 2014-11-03 2018-03-16 宇龙计算机通信科技(深圳)有限公司 拍照的方法及其装置
CN104486546B (zh) * 2014-12-19 2017-11-10 广东欧珀移动通信有限公司 拍照的方法、装置及移动终端
WO2016165967A1 (en) * 2015-04-14 2016-10-20 Fotonation Limited Image acquisition method and apparatus
KR102398027B1 (ko) * 2015-07-03 2022-05-17 삼성전자주식회사 전자 장치의 동적 프리뷰 디스플레이 방법 및 그 전자 장치
KR102292985B1 (ko) * 2015-08-10 2021-08-24 엘지전자 주식회사 이동 단말기 및 그 제어방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104822016A (zh) * 2014-01-31 2015-08-05 株式会社摩如富 图像处理装置及图像处理方法

Also Published As

Publication number Publication date
EP3354037A1 (en) 2018-08-01
KR20180054794A (ko) 2018-05-24
WO2017049430A1 (en) 2017-03-30
JP2018535572A (ja) 2018-11-29
EP3354037A4 (en) 2019-04-10
CN108141634A (zh) 2018-06-08
US20180249091A1 (en) 2018-08-30
US10616502B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
CN108141634B (zh) 用于产生预览图像的方法和设备以及计算机可读存储介质
US10580140B2 (en) Method and system of real-time image segmentation for image processing
KR101527672B1 (ko) 비디오 적응 및 재타겟팅을 위한 비디오 캡션 재-오버레이 시스템 및 방법
CN106331850B (zh) 浏览器直播客户端、浏览器直播系统及浏览器直播方法
US10728510B2 (en) Dynamic chroma key for video background replacement
US9860537B2 (en) Multi-focus image data compression
US8994792B2 (en) Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
US20160227228A1 (en) Video camera with layered encoding, video system and methods for use therewith
JP2018505571A (ja) 画像圧縮方法・装置及びサーバー
US9961297B2 (en) Method and system of rotation of video frames for displaying a video
WO2017176400A1 (en) Method and system of video coding using an image data correction mask
US20230067541A1 (en) Patch based video coding for machines
US9179091B2 (en) Avoiding flash-exposed frames during video recording
JP2011527841A (ja) 画像処理装置およびそれを用いた撮像装置
US9363526B2 (en) Video and image compression based on position of the image generating device
US20170104920A1 (en) Imaging apparatus and method for controlling the same
CN114640882B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
US20230206449A1 (en) Computer Software Module Arrangement, a Circuitry Arrangement, an Arrangement and a Method for Improved Image Processing
CN112911299A (zh) 一种视频码率控制方法、装置、电子设备和存储介质
KR101826463B1 (ko) 동영상의 시간 축을 동기화하기 위한 방법 및 장치
EP2485495A2 (en) Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information
JP2015041796A (ja) 画像処理方法、画像処理装置、画像処理プログラム、およびデータ構造
CN115147441A (zh) 基于数据分析的抠图特效处理系统
JP2004032496A (ja) 映像コマ数削減装置および映像コマ数削減方法
KR20120089603A (ko) 모노스코픽 2ｄ 비디오 및 대응하는 깊이 정보로부터 3ｄ 비디오를 생성하기 위한 방법 및 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant