CN113362222A - 缩放方法与相关装置 - Google Patents

缩放方法与相关装置 Download PDF

Info

Publication number
CN113362222A
CN113362222A CN202110241695.2A CN202110241695A CN113362222A CN 113362222 A CN113362222 A CN 113362222A CN 202110241695 A CN202110241695 A CN 202110241695A CN 113362222 A CN113362222 A CN 113362222A
Authority
CN
China
Prior art keywords
image data
image
pixel count
data
scaling
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110241695.2A
Other languages
English (en)
Inventor
张靖莹
曾缨喻
朱启诚
陈颖睿
吴东海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN113362222A publication Critical patent/CN113362222A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)

Abstract

本发明描述了与在图像处理中利用缩放器有关的各种示例。一个装置的处理器从影像传感器接收影像数据。处理器在产生预览或录像的影像的流水线处理中,影像数据会先被缩放,再进行进一步的图像处理。

Description

缩放方法与相关装置
技术领域
本公开总体上涉及图像处理,并且更具体地,涉及在图像处理中利用缩放器(resizer)。
背景技术
除非本文另外指出,否则本节中描述的方法不是下面列出的权利要求书的现有技术,并且不被包括在本节中而被承认为现有技术。
随着影像传感器的像素继续增加,需要提高影像信号处理器(ISP)模块的性能,以提供具有实时预览或影片录像的零快门延迟拍照功能。尽管有种简单的解决方案为直接使用功能更强大的处理单元,但这种方法将导致成本大量增加。另一种方法是缩小ISP中的预览和影片影像,以有效降低整体产出量需求,但是会对用户体验造成负面影响。
发明内容
以下发明内容仅是说明性的,而无意于以任何方式进行限制。即,提供以下概述以介绍本文描述的新颖和非显而易见的技术的概念、重点、益处和优点。挑选的实现方式将在下面详细描述。因此,以下发明内容既不旨在标识所要求保护的主题的必要特征,也不旨在用于确定所要求保护的主题的范围。
本公开的目的是提出用于利用前置缩放器(frontal resizer)对影像进行处理的方案、解决方案、概念、设计、方法和装置,该缩放器在进一步对影像数据执行处理(包括去马赛克)之前对接收到的影像数据进行尺寸调整或缩小。跟现有的方案相比,根据本公开的所提出的方案可以避免高成本并降低整体出产量需求。
在一个方面,一种方法可以包括从影像传感器接收拍摄的影像的影像数据。该方法还可以包括通过流水线处理影像数据,其中在产生预览或录像的影像的处理中,先调整影像数据的大小,再进行进一步的图像处理。
在另一方面,一种方法可以包括从影像传感器接收拍摄的影像的影像数据。该方法还可以包括通过缩放器来调整影像数据的大小,以提供重设大小的数据。该方法可以进一步包括在产生预览或录像的影像的处理中,先调整影像数据的大小,再通过去马赛克模块(DM)对重设大小后的数据进行去马赛克。
在另一方面,一种装置可以包括至少一个影像传感器,该影像传感器被配置为拍摄影像以提供影像数据。该装置还可以包括处理器,该处理器被耦合以从影像传感器接收影像数据。处理器可以包括影像信号处理(ISP)流水线,通过该流水线处理对影像数据进行处理,以提供预览或影片录像中使用的已处理影像的已处理数据,以便在ISP流水线中执行进一步处理以提供处理后的数据之前,调整影像数据的大小。
值得注意的是,尽管本文提供的描述可能是在诸如ISP中的缩放器之类的某些拓扑的上下文中,但是所提出的概念,方案及其任何变体/衍生物都可以在其中实现,将来要开发的其他图像处理技术以及由其开发的任何图像处理技术,以及本文未提及的任何其他图像处理技术,无论是隐式还是显式的。因此,本公开的范围不限于本文描述的示例。
附图说明
包括附图以提供对本公开的进一步理解,并且附图被并入本公开并构成本公开的一部分。附图示出了本公开的实施方式,并且与描述一起用于解释本公开的原理。可以理解的是,附图不一定按比例绘制,因为为了清楚地示出本公开的概念,一些组件可能被显示为与实际实现中的尺寸不成比例。
图1是根据本公开的实施方式的装置图标例。
图2是根据本公开的实施方式的装置图标例。
图3是根据本公开的实施方式的装置图标例。
图4是根据本公开的实施方式的流程图示例。
图5是根据本公开的实施方式的流程图示例。
具体实施方式
本文公开了要求保护的主题的详细实施例和实现。然而,应当理解,所公开的实施例和实施方式仅是可以以各种形式体现的所要求保护的主题的说明。然而,本公开可以以许多不同的形式来体现,并且不应被解释为限于在此阐述的示例性实施例和实施方式。相反,提供这些示例性实施例和实施方式是为了使本公开的描述透彻和完整,并将向本领域技术人员充分传达本公开的范围。在下面的描述中,可以省略众所周知的特征和技术的细节,以避免不必要地混淆所呈现的实施例和实现。
总览
图1示出了根据本公开的实施方式的示例装置100。如图1所示,装置100可以包括一个或多个影像传感器110,影像信号处理器(ISP)120,缩放器130和显示器140。一个或多个影像传感器110中的每个可以分别拍摄给定场景和/或目标。ISP 120可以从影像传感器110接收拍摄的影像的影像数据,以对影像数据执行某些图像处理,以将处理后的数据提供给缩放器(resizer)130。缩放器130可以在录像或显示之前调整处理后的数据的大小。即,缩放器130可以调整处理后的数据的大小,以将重设大小后的处理后的数据提供给显示器140,该显示器140可以用于提供预览和/或影片录像以供用户观看。影像传感器110的每个影像传感器的传感器像素计数可以表示为Ps。取决于实际的实施方式,显示器140的像素计数可以不同,并且可以表示为Pd,其可以取决于实际的实施方式,是任意的。例如,在显示器140由4K2K显示器实现的情况下,显示器140的像素计数可以是8兆像素(或Pd=8M)。替代地,在显示器140以全高清(FHD)显示器实现的情况下,显示器140的像素计数可以是2兆像素(或Pd=2M)。无论如何,影像传感器110的像素计数远大于显示器140的像素计数(例如,Ps>>Pd)。
在根据本公开的提议方案下,ISP 120可以被配置,设计或以其他方式构建有影像流水线处理,该影像流水线处理在执行进一步处理以提供处理后的影像的处理数据之前,缩小影像数据。在提出的方案下,在通过流水线处理影像数据时,ISP 120可以通过流水线处理影像数据,其中在由DM 124去马赛克之前,通过降尺度器(down-scaler)122执行降尺度以提供经处理的数据。例如,在通过流水线处理影像数据时,ISP 120可以依次通过降尺度器122,接着是DM 124,然后是缩放器(resizer)126依次处理影像数据。在某些情况下,降尺度器122可以按比例缩小影像数据,以提供像素计数小于来自影像传感器110的影像数据传感器像素计数的按比例缩小的数据。在所提出的方案下,影像传感器110的传感器像素计数可以高于影像数据的降尺度之后的像素计数,该降尺度之后的像素计数可能比处理后的数据的像素计数高。在这样的情况下,在显示器140包括4K2K显示器的情况下,处理后的数据的像素计数可以是8兆像素,或者在显示器140包括FHD显示器的情况下可以是2兆像素。
在提出的方案下,可以用像素合并模块(bin)(图2所示)或缩放器(图3所示)来实现降尺度器122。在降尺度器122由像素合并模块实现的情况下,像素合并模块可以是具有的固定尺寸的像素合并模块(binning module),例如固定的缩小比例为1/2,像素合并模块可以将影像数据缩小至25%。在降尺度器122用缩放器实现的情况下,该缩放器可以具有任意或其他可调节的缩放比例,其可以根据一个或多个因素来改变或调整,例如但不限于,根据像素计数,影像传感器110,显示器140上的预览的视场(FOV),ISP 120处理影像数据的能力以及系统(例如装置100)的电源能力来改变或调整。
图2示出了根据本公开的实施方式的示例装置200。参考图2,装置200可以包括一个或多个影像传感器110,ISP 220,缩放器130和显示器140。装置200与装置100的不同之处在于ISP 220包括固定大小的像素合并模块222(显示为“像素合并模块222”)代替ISP 120中的降尺度器122。装置200的其他组件可以与装置100的组件相同或在其他方面相似,因此,为了简洁起见,不提供装置200的详细描述。避免冗余。
在根据本公开的提出的方案下,ISP 220可以被配置,设计或以其他方式构建影像流水线处理(image processing pipeline),该影像流水线处理先缩小影像数据,再执行进一步处理以提供处理后的影像数据。在提出的方案下,在通过流水线处理影像数据时,ISP220可以通过流水线处理影像数据,其中,在由DM 224进行去马赛克以提供处理后的数据之前,通过固定尺寸的像素合并模块222执行缩小。例如,在通过流水线处理影像数据时,ISP220可以依次通过固定大小的像素合并模块222,DM 224和缩放器226处理影像数据。在某些情况下,固定大小的像素合并模块222可以以固定数值(例如75%或87.5%)减少影像数据的大小,以提供具有固定大小的、并且像素计数比来自影像传感器110的影像数据的像素计数低的缩小尺寸的数据。因此,影像传感器110的传感器像素计数可能会比缩小后的固定大小的影像数据的像素计数高,后者可能大于已处理数据的像素计数。在固定尺寸像素合并模块222的固定缩小比例分别为1/2或1/4的情况下,缩小尺寸的数据的像素计数可以表示为Pb,其中Pb=Ps/4或Ps/16,并且Pb>>Pd
然而,由于固定大小的像素合并模块222以固定的比例缩小影像数据,产生的预览或影片的影像质量可能无法达到终端使用者的期待。相对的,固定大小的像素合并模块222的使用可以适用于非视觉导向的设计和应用(例如,人工智能(AI)和计算器视觉(CV))。
图3示出了根据本公开的实施方式的示例装置300。参考图3,装置300可以包括一个或多个影像传感器110,ISP 320,缩放器130和显示器140。装置300与装置100的不同之处在于,ISP 320包括缩放器322以代替ISP 120中的降尺度器122。装置300的其他组件可以与装置100的对应部分相同或相似,因此,为了简洁起见,不提供装置300的详细描述以避免冗余。
在根据本公开的提议方案下,ISP 320可以被配置,设计或以其他方式构建影像流水线处理,在该影像流水线处理中,先调整影像数据的大小,再执行进一步处理以提供处理后的影像数据。在提出的方案下,在通过流水线处理影像数据时,ISP 320可以通过流水线处理影像数据,其中在由DM 324去马赛克以提供处理后的数据之前,执行由缩放器322进行的尺寸调整。例如,在通过流水线处理影像数据时,ISP 320可以依次通过缩放器322,DM324,然后缩放器326处理影像数据。在某些情况下,缩放器322可以调整影像数据的大小,以提供具有调整后的像素计数要低于来自影像传感器110的影像数据的传感器像素计数的数据。在建议的方案下,影像传感器110的传感器像素计数可能会大于在缩放器322重设大小之后的影像数据像素计数。缩放器322后的像素计数可能大于显示器140需求的像素计数。
由于缩放器322可以按任意比例、或可调整的比例缩小影像数据,因此最终的影像画质可能会更好。重设大小后的像素计数可以表示为Pr,其中Ps>>Pr>>Pd。通过在影像流水线处理中将缩放器322放置在DM 324之前,可以产生具有足够影像画质以进行预览和/或影片录像的结果影像。有利地,该设计可以节省DM 324之前的流水线中的计算资源。如图3所示,缩放器322可以接收任何尺寸的影像数据并将其重设大小,以将影像数据的像素计数按比例缩小至Pr,这对于DM 324而言足够。相反,通过使用固定大小的像素合并模块222而采用固定比例的影像缩小,所得影像的影像画质可能会更糟。
说明性过程
图4示出了根据本公开的实施方式的示例过程400。关于根据本公开的在图像处理中利用前置缩放器(frontal resizer),过程400可以是各种过程,场景,方案,解决方案,概念和技术或其组合的示例实现,无论是部分还是全部。过程400可以表示装置300的特征的实现的一个方面。过程400可以包括一个或多个操作,动作或功能,如框410和420中的一个或多个所示。尽管被表示为离散的框,但是过程400的各个框取决于期望的实现方式,可以将“对象”划分为附加的块,组合为更少的块或将其消除。此外,过程400的框可以以图4中所示的顺序执行,或以其他顺序排列。此外,过程400的一个或多个框可以重复一次或多次。过程400可以由装置100,装置200,装置300或其任何变体来实现。仅出于说明性目的而非限制,下面以装置300描述过程400。过程400可以从框410处开始。
在410,过程400可以包括装置300的ISP 320从影像传感器110接收拍摄的影像数据。过程400可以从410进行到420。
在420处,过程400可涉及ISP 320通过流水线处理对影像数据进行处理,在流水线处理中调整影像数据的大小(例如,通过缩放器322),然后再由ISP 320的其他模块执行进一步处理,以提供处理后的数据,用于在显示器140上预览或影片录像。
在一些实施方式中,在通过流水线处理影像数据中,过程400可以涉及ISP 320通过流水线处理影像数据,其中在由DM 324进行去马赛克之前,执行由缩放器322进行的尺寸调整。
在一些实施方式中,在通过流水线处理影像数据时,过程400可以涉及ISP 320依次通过作为第一缩放器的缩放器322,DM 324,然后作为第二缩放器的缩放器326来处理影像数据。在这种情况下,缩放器322可以调整影像数据的大小,以提供重设大小后的数据,该重设大小后的像素计数小于来自影像传感器110的影像数据的传感器像素计数。
在一些实施方式中,影像传感器110的传感器像素计数可以高于在重设大小之后影像数据的像素计数,该像素计数可以大于处理后的数据的像素计数。在这种情况下,处理后的数据的像素计数可以与显示器大小相同,例如但不限于4K2K显示器中的8兆像素(8M),FHD显示器中的2兆像素(2M),或不同分辨率取决于实际实现。
在一些实施方式中,影像传感器110可以包括多个影像传感器。在这样的情况下,在从一个或多个影像传感器110接收影像数据时,过程400可以包括ISP 320从多个具有各自像素计数的影像传感器之一接收各个影像的各个影像数据。此外,在通过流水线处理影像数据时,过程400可以包括缩放器322对相应影像数据进行缩放,其中缩放器322以与多个影像传感器中的一个的相应像素计数相对应的相应比率来对相应影像数据进行缩放。
在一些实施方式中,在具有调整影像数据大小的流水线处理的影像数据中,过程400可以包括缩放器322以基于以下中的一个或多个可变的比率来调整影像数据的大小:(a)影像传感器110的像素计数;(b)预览的视野(FOV);(c)ISP 320处理影像数据的能力;(d)该系统(例如,装置300)的电源容量。
图5示出了根据本公开的实施方式的示例过程500。过程500可以是根据本公开的关于在图像处理中利用前置缩放器的各种过程、场景、方案、解决方案、概念和技术或其组合的部分或全部的示例实现。过程500可以表示装置300的特征的一种实现方式。过程500可以包括一个或多个操作,动作或功能,如方框510、520和530中的一个或多个所示。尽管被示为离散的方框,但是方框500的各个方框。根据期望的实现,过程500可以被划分为附加的方框,被组合为更少的方框或被消除。此外,处理500的方框可以按照图5所示的顺序、或以其他顺序执行。此外,过程500的一个或多个框可以重复一次或多次。过程500可以由装置100,装置200,装置300或其任何变体来实现。仅出于说明性目的而非限制,下面以装置300描述过程500。过程500可以在框510处开始。
在510,过程500可以包括ISP 320从影像传感器110接收影像数据。过程500可以从510进行到520。
在520处,过程500可涉及缩放器322缩放影像数据的大小,以提供缩放大小的数据。处理500可以从520进行到530。
在530处,过程500可以包括,DM 324对缩放大小的数据进行去马赛克,再由ISP320的其他组件进行进一步处理,以提供在显示器140上预览或影片录像中使用。
在一些实现中,在缩放影像数据的大小时,过程500可以涉及缩放器322,来提供像素计数低于来自影像传感器110的影像数据的传感器像素计数的缩放大小的数据。
在一些实施方式中,影像传感器110的传感器像素计数可以高于缩放大小的数据的像素计数,该缩放大小的像素计数可以高于处理后的数据的像素计数。在这种情况下,处理后的影像的像素计数可以与显示器尺寸相同,例如但不限于4K2K显示器中的8M,FHD显示器中的2M或取决于实际实现的不同尺寸。
在一些实施方式中,影像传感器110可以包括多个影像传感器。在这样的情况下,在从影像传感器110接收影像数据时,过程500可以包括ISP 320从多个影像传感器中的一个具有各自像素计数的多个影像传感器之一,分别接收影像数据。此外,在通过流水线处理影像数据时,过程500可以包括缩放器322以与多个影像传感器中的一个的相应像素计数相对应的相应比例,来对相应影像数据进行缩放。
在一些实施方式中,在调整影像数据的大小中,过程500可以包括缩放器322以基于以下中的一个或多个可变的比率来调整影像数据的大小:(a)影像传感器110的像素计数;(b)预览的视野(FOV);(c)ISP320处理影像数据的能力;(d)该系统(例如,装置300)的电源容量。
补充
本文描述的主题有时示出了包含在不同的其他组件中或与不同的其他组件连接的不同组件。应当理解,这样描绘的架构仅是示例,并且实际上可以实现相同功能的许多其他架构。从概念上讲,有效实现“关联”组件以实现相同功能的任何方式,从而实现所需功能。因此,本文中组合以实现特定功能的任何两个组件可以被视为彼此“关联”,从而实现期望的功能,而与体系结构或中间组件无关。同样,如此关联的任何两个组件也可以被视为彼此“可操作地连接”或“可操作地耦合”以实现所需的功能,并且能够如此关联的任何两个组件也可以被视为“可操作地”。相互耦合”以实现所需的功能。可操作地耦合的具体示例包括但不限于物理上可配合和/或物理上相互作用的组件和/或无线上可相互作用和/或无线相互作用的组件和/或逻辑上可相互作用的和/或逻辑上可相互作用的组件。
此外,关于本文中基本上使用任何复数和/或单数术语,本领域技术人员可以根据情况适当地将复数转换为单数和/或将单数转换为复数。和/或应用程序。为了清楚起见,可以在本文中明确地阐述各种单数/复数置换。
此外,本领域具有通常知识者将理解,一般而言,本文中,尤其是在所附权利要求书中使用的术语,例如,所附权利要求书的主体,通常旨在作为“开放”术语,例如,术语“包含”应解释为“包括但不限于”,术语“具有”应解释为“至少具有”,术语“包含”应解释为“包含但不限于”,本领域具有通常知识者将进一步理解,如果打算引入特定数量的引入的权利要求书叙述,则将在权利要求中明确地陈述这种意图,并且在没有这种陈述的情况下,不存在这种意图。例如,为了帮助理解,以下所附权利要求书可以包含介绍性短语“至少一个”和“一个或多个”的使用以引入权利要求书的叙述。但是,此类短语的使用不应解释为暗示由不定冠词“一”或“一个”引入的请求保护范围将任何包含此类引入的权利要求书的特定权利要求书限制为仅包含一个此类权利要求书的实现,即使当同一权利要求包括介绍性短语“一个或多个”或“至少一个”以及不定冠词,例如“一个”或“一个”,例如“一个”和/或“一个”应被解释为表示“至少”。一个”或“一个或多个;”使用用于引入权利要求书陈述的定冠词也是如此。另外,即使明确叙述了具体数量的引入的权利要求书叙述,本领域具有通产知识者将认识到,这样的叙述应被解释为至少意味着所叙述的数目,例如,“两个叙述”的裸露叙述,而没有其他修饰语,是指至少两次背诵,或两次或更多次背诵。此外,在那些约定类似于“A,B和C等中的至少一个”的情况下通常使用这样的构造,其意图是在本领域技术人员会理解该约定的意义上,例如,“具有A,B和C中至少一个的系统”将包括但不限于以下系统:单独拥有一个,单独一个B,一个单独的C,一起A和B,一起A和C,一起B和C,和/或一起拥有A,B和C,等等。在这些情况下,类似于“至少一个A,B或C等。”通常使用这样的构造,其意图是在本领域具有通常知识者会理解该约定的意义上,例如,“具有A,B或C中的至少一个的系统”将包括但不限于以下系统:具有单独的A,单独的B,单独的C,一起的A和B,一起的A和C,一起的B和C和/或一起的A,B和C,等等。本领域技术人员将进一步理解无论在说明书,权利要求书还是在附图中,表示两个或多个替代术语的任何析取词和/或短语都应理解为考虑了包括一个或两个术语中的一个的可能性。例如,短语“A或B”将被理解为包括“A”或“B”或“A和B”的可能性。
根据前述内容,将理解的是,出于说明的目的,本文已经描述了本公开的各种实施方式,并且在不脱离本公开的范围和精神的情况下可以进行各种修改。因此,本文公开的各种实施方式并非旨在进行限制,真实的范围和精神由所附权利要求书指示。

Claims (17)

1.一种缩放方法,包括:
从影像传感器接收拍摄影像的影像数据;以及
在产生预览或录像的影像数据的流水线处理中,先缩放所述影像数据,再对缩放之后的影像数据进行进一步的图像处理。
2.根据权利要求1所述的缩放方法,其特征在于,所述流水线处理所述影像数据包括:通过所述流水线处理所述影像数据,其中,在由去马赛克模块(DM)去马赛克以提供处理后的数据之前,通过缩放器进行尺寸调整。
3.根据权利要求1所述的缩放方法,其特征在于,所述流水线处理对所述影像数据的处理包括:通过第一缩放器,去马赛克模块(DM)和第二缩放器顺序地处理所述影像数据,并且其中,所述第一缩放器调整所述影像数据的大小,以提供缩放后的像素计数小于来自影像传感器的影像数据的像素计数。
4.根据权利要求1所述的缩放方法,其特征在于,所述影像传感器的传感器像素计数高于在缩放之后的影像数据的像素计数,所述缩放之后的像素计数高于最终需求的处理后数据的像素计数。
5.根据权利要求1所述的缩放方法,其特征在于,从所述影像传感器接收所述影像数据包括:分别从具有各自的像素计数的多个影像传感器中接收各自拍摄影像的各自影像数据,并且其中,流水线处理影像数据的步骤包括,以与多个影像传感器中的一个的各自像素计数相对应的各自比例来调整各个影像数据的大小。
6.根据权利要求1所述的缩放方法,其特征在于,所述流水线处理影像数据包括使用缩放器,以基于以下一个或多个因素来缩放影像数据的大小:
影像传感器的像素计数;
预览的视野(FOV);
影像信号处理器(ISP)处理影像数据的能力;和
装置电源容量。
7.一种缩放方法,包括:
从影像传感器接收拍摄影像的影像数据;
通过缩放器调整影像数据的大小以提供缩放的数据;和
先通过去马赛克模块(DM)对已缩放的数据进行去马赛克,再进一步处理以提供数据,在预览或影片录像中使用。
8.根据权利要求7所述的缩放方法,其特征在于,缩放影像数据包括:向缩放后的数据提供调整后的像素计数,该像素计数小于来自影像传感器的影像数据的传感器像素计数。
9.根据权利要求7所述的缩放方法,其特征在于,所述影像传感器的传感器像素计数高于所述缩放后的数据的调整后的像素计数,该缩放后的像素计数高于所述最终需求的处理后的数据的像素计数。
10.根据权利要求7所述的缩放方法,其特征在于,从所述影像传感器接收所述影像数据包括:从具有相应像素计数的多个影像传感器之一接收相应拍摄影像的相应影像数据,并且其中,影像数据包括以与多个影像传感器中的一个的各个像素计数相对应的各个比率来缩放各个影像数据的大小。
11.根据权利要求7所述的缩放方法,其特征在于,缩放所述影像数据包括:通过基于以下的一个或多个因素来调整所述影像数据的大小:
影像传感器的像素计数;
预览的视野(FOV);
影像信号处理器(ISP)处理影像数据的能力;和
装置电源容量。
12.一种缩放装置,包括:
至少一个影像传感器,其被配置为拍摄影像以提供影像数据;和
耦合以从影像传感器接收影像数据的处理器,该处理器包括影像信号处理(ISP)流水线,通过该流水线处理影像数据,以提供在预览或影片录像中使用,从而影像数据在ISP流水线先缩放大小,再执行进一步处理,以提供最终需求的处理后的数据。
13.根据权利要求12所述的缩放装置,其特征在于,在通过所述ISP流水线处理所述影像数据时,所述处理器被配置为通过所述ISP流水线处理所述影像数据,其中,在由去马赛克模块(DM)去马赛克之前,通过缩放器进行尺寸调整,提供处理后的数据。
14.根据权利要求12所述的缩放装置,其特征在于,所述ISP流水线包括缩放器和去马赛克模块(DM),其中,所述缩放器缩放所述影像数据的大小以提供具有小于传感器像素计数的缩放的像素计数的数据,其中DM对缩放后的数据执行去马赛克。
15.根据权利要求12所述的缩放装置,其特征在于,所述影像传感器的传感器像素计数高于所述经缩放的数据的经缩放之后的像素计数,所述经缩放的像素计数高于所述最终需求的经处理的数据的像素计数。
16.根据权利要求12所述的缩放装置,其特征在于,所述至少一个影像传感器包括多个影像传感器,每个影像传感器具有各自的像素计数,并且被配置为拍摄各自的影像以提供各自的影像数据,并且其中,所述处理器的缩放器被配置为:以与多个影像传感器之一的相应像素计数相对应的相应缩放比率,来调整来自多个影像传感器之一的相应影像数据的像素计数。
17.根据权利要求12所述的缩放装置,其特征在于,所述处理器的缩放器经配置以可变的比率来调整所述影像数据的大小,所述可变的比率基于以下中的一个或多个因素决定:影像传感器的像素计数;预览的视野(FOV);影像信号处理器(ISP)处理影像数据的能力;和装置的电源容量。
CN202110241695.2A 2019-03-15 2021-03-04 缩放方法与相关装置 Pending CN113362222A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962818787P 2019-03-15 2019-03-15
US16/809,806 US20200294193A1 (en) 2019-03-15 2020-03-05 Resizer Method And Apparatus Thereof
US16/809,806 2020-03-05

Publications (1)

Publication Number Publication Date
CN113362222A true CN113362222A (zh) 2021-09-07

Family

ID=72423473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110241695.2A Pending CN113362222A (zh) 2019-03-15 2021-03-04 缩放方法与相关装置

Country Status (3)

Country Link
US (1) US20200294193A1 (zh)
CN (1) CN113362222A (zh)
TW (1) TW202134864A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228477A (zh) * 2005-07-28 2008-07-23 微软公司 全景图像的实时预览
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
US9210391B1 (en) * 2014-07-31 2015-12-08 Apple Inc. Sensor data rescaler with chroma reduction
US20160093018A1 (en) * 2014-09-25 2016-03-31 Sony Corporation Bayer-consistent raw scaling
US20160110843A1 (en) * 2014-07-31 2016-04-21 Apple Inc. Sensor data rescaler for image signal processing
CN107924554A (zh) * 2015-08-26 2018-04-17 苹果公司 图像处理流水线中对图像数据的多速率处理

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101228477A (zh) * 2005-07-28 2008-07-23 微软公司 全景图像的实时预览
CN104270597A (zh) * 2010-04-07 2015-01-07 苹果公司 在通话期间建立视频会议
US9210391B1 (en) * 2014-07-31 2015-12-08 Apple Inc. Sensor data rescaler with chroma reduction
US20160110843A1 (en) * 2014-07-31 2016-04-21 Apple Inc. Sensor data rescaler for image signal processing
US20160093018A1 (en) * 2014-09-25 2016-03-31 Sony Corporation Bayer-consistent raw scaling
CN107924554A (zh) * 2015-08-26 2018-04-17 苹果公司 图像处理流水线中对图像数据的多速率处理

Also Published As

Publication number Publication date
TW202134864A (zh) 2021-09-16
US20200294193A1 (en) 2020-09-17

Similar Documents

Publication Publication Date Title
US10855966B2 (en) View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning
US9066013B2 (en) Content-adaptive image resizing method and related apparatus thereof
KR101771408B1 (ko) 촬상 장치 및 그 제어 방법
US9619861B2 (en) Apparatus and method for improving quality of enlarged image
US8553109B2 (en) Concurrent image processing for generating an output image
US20130021504A1 (en) Multiple image processing
US10965932B2 (en) Multi-pass add-on tool for coherent and complete view synthesis
US8072511B2 (en) Noise reduction processing apparatus, noise reduction processing method, and image sensing apparatus
US10957027B2 (en) Virtual view interpolation between camera views for immersive visual experience
WO2019045872A1 (en) AUTOMATIC FOCUS CAMERA SENSOR DATA PROCESSING BY DOUBLE PHASE DETECTION
WO2021211884A1 (en) Patch based video coding for machines
CN105210366B (zh) 图像处理装置和图像处理方法
CN113362222A (zh) 缩放方法与相关装置
TWI673997B (zh) 雙通道影像縮放系統及其方法
JP6021573B2 (ja) 撮像装置
US11202019B2 (en) Display control apparatus with image resizing and method for controlling the same
JP2010004281A (ja) 電子的撮像装置
TWI424371B (zh) Video processing device and processing method thereof
US9225908B2 (en) Imaging apparatus
JP7244661B2 (ja) 撮像装置及び画像処理方法
CN105405178B (zh) 行车记录器及其操作方法
US11310442B2 (en) Display control apparatus for displaying image with/without a frame and control method thereof
US11470249B1 (en) Panoramic camera device
Komatsu et al. Milbeaut image signal processing LSI chip for mobile phones
JP2021118426A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination