CN117836810A - 图像处理和渲染的方法和系统 - Google Patents

Abstract

本文公开了图像处理的系统和方法，该方法包括：获取原始图像(OI)；生成图像深度图(IDM)；将IDM转换为灰度着色；锐化IDM的分辨率；将IDM色调分离为多个级别，其中，级别数量是最终图层数(Final Layer Count，FLC)；基于FLC分割IDM；基于分割的IDM，将OI剪切为多个图像片段；基于生成顺序中靠前的图像片段，在相邻的图像片段之间生成内填充/外填充；确定保留像素的数量；在介质上打印每个图像片段；按顺序组合图像片段。本文还公开了根据本文公开的方法生成的产品以及用于实施根据本文公开的方法的系统。

Description

图像处理和渲染的方法和系统

本申请要求于2021年7月29日提交的美国临时专利申请No.63/227,071和于2022年4月14日提交的美国临时专利申请No.63/330,951的优先权，这两项临时专利申请的内容在此通过引用完全并入本文。

技术领域

本公开涉及图像的数字处理，以及基于图像制作的渲染，包括但不限于提供或具有增强外观的分图层成品。

背景技术

随着高分辨率相机等设备的普及，数字图像捕获技术出现了爆炸式增长。这些相机不仅适用于专业摄影师，同样也适用于带有此类相机的手机的普通用户。在这两种情况下，均可以在令人难以置信和越来越生动的层面上提供图像。

此类图像被提供以创建超越传统二维印刷的渲染实施例。无论是在打印实施例中还是其他情况下，所提供的摄影图层的渲染均不常见。尽管在基本平行的多个表面上提供具有原图(例如，绘画的原图、蚀刻的原图等)的单层介质是已知的，但这将不同于(例如但不限于)具有和提供三维外观的多层渲染图。

基于二维图像创建三维渲染或成品的已知系统和方法主要是人工进行的，并且均不提供具有实质的三维外观的最终成品。已知的多层渲染图的每一图层必须被手动分离，且用户将必须(例如但不限于)手动绘制每一图层，或者，通过以下方式数字化分离图层：手动指示需要逐节点分离的内容，随后操作照片编辑或类似图形软件将该内容分离到单独的图层上。然后，手动或通过导入到三维软件来计算由使用的介质(例如，丙烯酸、玻璃、树脂)的深度所产生的视差，从而在物理创建成品之前提供成品的可视化。此种方法需要高水平的用户技能和实践，并且很耗时。

例如，手绘的实施例显然需要这种技能。此外，许多人无法准确地从二维图像文件中感知深度，使得这些人更难完成诸如上文讨论的背景技术中的处理过程。此外，许多图像处理软件成品要么很少有，要么涉及一个非常陡峭的学习曲线。这限制了用户编辑图像以及将图像分离为三维渲染所需的图层的能力。

即使图像上的图层被分离，也没有可靠的自动化或显著的电子辅助手段来布置图层，以便自动渲染以这些图层为特征的最终成品。

因此，需要能够消除和/或减轻上述一个或多个问题的系统、方法和/或与之相关的最终成品。

发明内容

本文公开了图像处理的方法，包括：获取原始图像(Original Image，OI)；生成图像深度图(Image Depth Map，IDM)，其中图像深度图未嵌入到OI中；将IDM转换为预定义的图层着色，例如灰度着色；锐化IDM的分辨率；将IDM色调分离为多个级别，其中，级别的数量是最终图层数(Final Layer Count，FLC)；基于FLC分割IDM；基于分割的IDM，将OI剪切为多个图像片段；基于生成顺序中靠前的图像片段，在相邻的图像片段之间生成内填充/外填充；在OI中检测一个或多个对象；在OI中检测一条或多条边缘；从OI中提取一个或多个对象；确定保留像素的数量；在介质上打印每个图像片段，其中图像片段之一包括多个对象中的一个对象；按顺序组合图像片段。

本文还公开了一些方法，其中，根据原始图像的一个或多个属性，可以按交替顺序进行一个或多个对象的检测以及一条或多条边缘的检测，或者可以省略两者中的一个或另一个。

本文还公开了一些方法，其中，所述顺序包括图像片段的全部或其子集。

本文还公开了一些方法，其中，所述获取包括来自用户的输入。

本文还公开了一些方法，其中，省略了生成图像深度图、对其进行锐化、分割和色调分离的步骤。

本文还公开了一些方法，其中，所述获取包括从电子存储介质进行检索。

本文还公开了一些方法，其中，所述获取包括通过图像捕获设备捕获OI。

本文还公开了一些方法，其中，图像捕获设备包括数码相机。

本文还公开了一些方法，其中，数码相机集成有处理设备。

本文还公开了一些方法，其中，OI和IDM的一个或多个维度是基本相等的。

本文还公开了一些方法，其中，所述生成包括通过处理设备进行提取；或者，使用人工智能(Artificial Intelligence，AI)系统来创建IDM。

本文还公开了一些方法，其中，FLC包括超过2图层。

本文还公开了一些方法，其中，FLC包括超过3图层。

本文还公开了一些方法，其中，FLC包括超过10图层。

本文还公开了一些方法，其中，FLC包括超过15图层。

这些方法适用于当最大图层数可能仅受IDM中像素色差数限制的情况。

本文还公开了一些方法，其中，所述生成是通过另一人工智能处理器执行的。

本文还公开了一些方法，其中，另一人工智能处理器包括人工智能处理器。

本文还公开了一些方法，其中，上述介质包括：纸、纸板、木材、金属、玻璃、硅树脂、丙烯酸中的一种或多种，和/或，易被激光切割的一种或多种材料。

本文还公开了根据本文公开的方法生成的产品。

本文还公开了用于实施根据本文公开的方法的系统。

附图说明

图1示意性描绘了原始图像与渲染物体的对比。

图2是现有技术成品和渲染物体的左侧视图。

图3A示意性描绘了不同的对象检测方法。

图3B描绘了原始图像中各种对象的边缘和其他检测。

图4示意性描绘了面部特征检测。

图5示意性和比较性地描绘了三种图像效果及其处理版本。

图6A描绘了在原始图像中检测到的各种特征。

图6B比较性地描绘了相较于现有技术的检测清晰度。

图6C进一步进行了比较性描绘。

图7示意性描述了从原始图像中分离出对象。

图8进一步描绘了图7的原始图像。

图9描绘了处理过的原始图像。

图10描绘了包括图9的处理图像的图层。

图11描绘了原始图像的分离图层。

图12是原始图像。

图13是图12的原始图像的深度图。

图14是图12的原始图像的分割图像深度图。

图15是图12的原始图像的分割图像深度图。

图16是图12的原始图像的进一步分割图像深度图。

图17是根据图12的原始图像构建的剪切的原始图像。

图18是根据图12的原始图像构建的剪切的原始图像的爆炸图。

图19是根据图12的原始图像构建的进一步剪切的原始图像。

图20是从图12的原始图像中剪切的图像的爆炸图。

图21是来自图12的原始图像的图像片段及其组合集合。

图22是以组合配置示出的来自图12的原始图像的图像片段。

图23简化描绘了图12的原始图像的解构。

图24是原始图像的两层分割图。

图25是原始图像的三层分割图。

图26是原始图像的五层分割图。

具体实施方式

图1示出了原始图像100与渲染物体200的对比。

图2是渲染物体300的左侧视图。

图3A示意性描绘了不同的对象检测方法(302、304、306)。

图3B描绘了原始图像(308、310、312)中各种对象的边缘和其他检测。

图4示意性描绘了面部特征检测，其中所示出的面部400被分解为多个部分402。

图5示意性和比较性地描绘了四种图像效果(500、502、504)及其处理版本。图像508明显地不包括502、504、506的模糊特征。

图6A描绘了在原始图像(602、604、606、608、610、612、614、616、618、620、622、624、626)中检测到的各种特征(601、603、605、607、609、611、613、615、617、619、621、623、625、627)，且突出描绘了此类原始图像中的深度。

图6B比较性地描绘了相较于现有技术的检测清晰度，且图6C进一步进行了此种比较性描绘。

图7示意性描绘了从另一原始图像700中分离出对象(702)以及其布局704。图8进一步描绘了图7中的原始图像700，其中，图层704彼此之间的附加的分离是明显的。

图9描绘了经处理的原始图像800，其中，中心对象802最为明显。图10描绘了包括图9的经处理的原始图像800的图层。

图11描绘了原始图像900的分离图层902。

图12是另一原始图像1000。

图13是示出了包括图12的原始图像1000的各种对象1002的深度图。

图14是原始图像1000的分割图像深度图，以分割方式描绘了对象1002。在图15中，已在图像图层1004中分离出对象1002。在图16中，已按顺序排列图层1004，以描绘每一图层在待构建的最终物体中的突出和相对位置。图17描绘了原始图像1000的进一步区分的和剪切的图层1004。图17中的描绘在图18中被示为爆炸图，以突出显示图层1004的相对位置。

图19是根据原始图像1000构建的进一步剪切的原始图像，且图20是所剪切的原始图像的爆炸图，示出了其图层1004。

图21以组合配置A示出了原始图像1000的图像片段1006，组合配置A描绘了图像片段1006的相对布置并提供了三维效果。图22是以组合配置A示出的来自图12的原始图像100的图像片段1006。

图23简化描绘了图12的原始图像1000的解构。

可以采用各种级别的分割，图24是原始图像1100的两层分割图。图25是原始图像1100的三层分割图。图26是原始图像的五层分割图。

本文公开的系统和方法使得用户能够拍摄照片/图像并将其分割成多个图层，以通过例如打印、压印或其他方式将该多个图层粘贴在物理介质上进行渲染。由此生成了具有分层/深度效果的最终成品，在一些实施例中，分层/深度效果包括多个图层上的高分辨率打印或图像渲染质量。可以使用磁铁/支架/框架将图层结合在一起或结合在固定位置，此类磁铁/支架/框架可以将图层夹紧在一起，或者使用其他固定或支撑手段实现期望的分层/深度效果或其他效果(例如，如果希望突出显示原始图像中特定对象的突出位置)。在一些实施例中，图层可以相对于多个图层中的一个或多个其他图层进行配置和定向，以提供渲染图像的动画外观。在一些此类实施例中，该成品可以提供每个图层相对于其上的一个或多个其他图层的选择性移动。

本公开的核心是增强和辅助深度感知，使得能够将二维图像细致入微地“分层”为三维渲染。图6A至图6C是图像的非限制性示例，已对其执行了深度分析以示出其元素的潜在分层。通过与现有设备和系统的比较，本领域技术人员将理解，现有设计没有表现出本文所公开的多层设备的景深。

在一些实施例中，可以通过基于手机或平板电脑的相机创建基本的或辅助的深度图。

一些实施例将提供基于图像的输入图像深度图的图层填充和最终成品制造。在此类情况下，系统可以在某些情况下增加或增强此种深度图，以促进更好地分布图层，并提升最终成品的质量。在下文中，可以通过使用立体照片(例如，已知位置的两个相机)来创建一些深度图。

所公开的系统、方法和装置以电子方式帮助用户确定要在哪些图层上分离哪些数据。下文中的特征可以独立工作，也可以相互配合使用。这些系统和方法结合深度感知可视化，并且使得能够检测图像中的对象。此种检测通过对象的相对定位来帮助感知图像内的深度(包括，例如但不限于，评估哪些对象和对象的哪些部分遮挡了其他部分)。

换言之，图像的不规则性可有助于确定图像的前景和背景中的内容。这有利于隔离单独的对象，并且基于一个对象的深度差异创建或填充其他对象。随后，可以将隔离的一个或多个对象与图像的剩余部分隔离(例如但不限于，将隔离的对象移动到前景图层，而图像的剩余部分作为背景图层)。作为进一步的非限制性示例，将图像中的天空检测为对象并且将其置为背景。此种相对定位的外推法也可以用于向图像添加风格化元素(例如，雨、鸟、其他空中物体)。此种外推法可以与深度图并行使用，或者，在一些实施例中代替深度图(例如示出所示物体相对于“相机”位置的相对定位)使用。这有利于进行有效的图像编辑，其中不要求对源图像细节的保真度。

图像分割的示例如图3A所示，其可以与图3B所示的边缘检测进行比较。

一些实施例中，作为对象检测的子集，人的面部特征的处理可能需要进行重新分割(例如，使用人类解析或面部识别软件)，以确定是否应该分割各个部分。换言之，在一些实施例中，图像(诸如图4)从正面示出了面部，并且可以确定其元素的相对位置和比例(例如，从头部看，鼻子比嘴唇更靠近观察者，嘴唇比眼睛更靠近观察者，眼睛比耳朵更靠近观察者等)。例如，面部识别方面可以与上述特征相结合以帮助确定待分离的图层，即，知道什么是眼睛，什么是鼻子，使得能够一开始就将眼睛放置在比鼻子更“靠后”的图层上。这有助于将图像分离到多个图层上进行输出。

本文还公开了一种选项，用于对切割到前图层的部分进行内绘-可能是用于填充图层的背侧。换言之，如果用户直接从人的正面拍摄照片，那么被摄者的头部后侧或例如是不可见的且将由系统填充。本领域技术人员将会理解，本文详述的各个特征在一些情况下可以各自单独提供，而在其他情况下可以分组提供。类似地，内绘可以解决以下情况，即：图像中所示的某一物体的一部分被图像中所示的另一物体(例如，建筑物前的人)遮挡且需要生成所遮挡的内容。

在一些实施例中提供了本文所公开的系统，以使得能够对图像进行手动校正和手动添加等。例如，这可允许在源图像中存在的图层之外进一步添加附加图层(例如，为艺术效果或其他目所添加的图像内容)。

一些公开的实施例为用户提供以较少步骤实现完整图层所需的输入图层布局(例如，此类用户更为熟练；其中，用户有权通过交互式视觉介质定制输出的视觉形象；这可以包括，例如但不限于，在用户能够进行操作的屏幕上的或其他可见的菜单，告知最终的成品布局和构成)。

本文所公开的实施例使得能够在产生最终成品之前以用户友好的方式显示图层，补偿任何潜在的视差视图(例如，经由三维模型)，包括取决于图层材料的厚度和图层之间的空间，向用户提供即将到来的最终成品的有意义的证明。

本文公开的系统和方法可以解决图像分解问题，以沿着Y轴创建具有多图层的深度(例如但不限于，相较于三维打印机，三维打印机只能在Z轴上进行分解和再现，其中，在三轴模型中，Y轴是从前向后，X轴是从右向左，Z轴是高度)，然后重新合成完整图像。

在一些实施例中，将捕获和分解的对象进行结合或非结合处理。

本文公开的实施例还可以结合组合物体的创建，包括但不限于：图层填充(使用介质，诸如但不限于，玻璃、丙烯酸或基本透明或半透明材料)，其中，图层将定位在最终成品中，并且在一些情况下，通过诸如对图层进行结合或以在创建过程中确定的固定距离保留显示图层等手段对图层进行固定。

本领域技术人员将会理解，虽然可以通过不同的顺序执行以下方法，但任何顺序都需要图像文件，而无需考虑其来源如何。此外，可以以不同的顺序和组合来执行本文所公开的流程的各种步骤，从而通过改变过程的顺序以及过程的迭代来实现稍微不同或稍微相似的效果。

例如，在寻求排除人工智能(Artificial Intelligence，AI)的实施例中，填充可以实现如图7所示的中空效果或者如图8所示的挤压效果。

在一些实施例中，通过对从最近图层到最远图层(即相对于观察者)进行处理，可以实现类似的效果，表现为例如由于填充在不同时间点的内容不同而产生的微小差异(参见例如图9)。

图10示出了在图像上和深度图上的内容感知填充的结果，以预测何时应该在给定的图层上打印内容。

图11A和图11B分别示出了完全概述的模型以及在深度图上进行内绘/填充的过程的示例。

使用本文所公开的系统和方法所创建的物体可以由诸如上文讨论的材料、光学晶体或其它基材来创建，这些材料可以是或不是基本透明的。在一些实施例中，可以采用云状或其他纹理化或风格化的基材。在使用了非透明基材的实施例中，可能需要例如经由激光设备进行切割。一些实施例可以包括对准辅助工具，用于在将相邻图层组合为最终物体的过程中使这些相邻图层对准。在一些此类实施例中，所组合的物体的外边缘将被覆盖和/或研磨/刮平，以移除或从视野中移除此类标记。在其他实施例中，可以提供间隔辅助工具以帮助将各个图层按照所需的距离彼此放置。

可以将基材粘附在一起，或放置在支架中，或以考虑图层之间的空间的方式结合在一起。在一些此类实施例中，可以提供安装在基材上的单独图层(包括通过紧固件、粘合剂的方式安装)。

打印材料也可以非常薄且被放置在放弃层上，然后附加的放弃层可以被注入具有图像深度的附加图层。

虽然根据本文公开的原理的各种实施例已在上文中有所描述，但应理解，这些实施例仅通过示例的方式提出，而非限制性的。因此，本发明的广度和范围不应受上述任何示例性实施例的限制，而应仅根据从本公开所附的权利要求及其等同物来定义。此外，在所描述的实施例中提供了上述优点和特征，但这些优点和特征不应将所附的权利要求的应用限制于实现任何或所有上述优点的过程和结构。

应当理解，本公开的主要特征可以在不脱离本公开的范围的情况下用于各种实施例中。本领域技术人员将认识到，或使用常规实验就能确定，与本文所述的具体程序等同的许多等同物。这种等同物被认为在本公开的范围内且被权利要求所涵盖。

另外，本文的章节标题是作为组织线索提供的。这些标题不应限制或表征本公开可能产生的任何权利要求中所阐述的发明。具体地，举例来说，尽管章节标题涉及“技术领域”，但权利要求不应受限于该标题下描述所谓技术领域的语言。此外，“背景技术”部分中对技术的描述不应被解释为承认该技术是本公开中任何发明的现有技术。而“发明内容”也不应被认为是所附权利要求中阐述的发明的特征。此外，本公开中提及的“发明”的单数形式不应用于论证本公开中只有单一的新颖性要点。可以根据从本公开所附的多项权利要求的限定来阐述多项发明，并且这些权利要求相应地定义了受其保护的发明及其等同物。在所有情况下，这些权利要求的范围应根据本公开本身的优点而加以考虑，但不应受到本文所述标题的限制。

在权利要求和/或说明书中，当与术语“包括”结合使用时，词语“一”或“一个”的使用可能指“一个”，但其也可能与“一个或多个”、“至少一个”以及“一个或一个以上”的含义一致。在权利要求中，除非明确指出仅指示替代方案或替代方案彼此间是相排斥的，术语“或”的使用用于表示“和/或”，尽管本公开支持仅指示替代方案和“和/或”的定义。在整个本申请中，术语“大约”用于表示一个值包括设备的固有误差变化、用于确定该值的方法或研究对象之间存在的差异。

如在本说明书和权利要求中所使用的，词语“包括”(以及任何形式的包括，例如“包括了”和“包括有”)、“具有”(以及任何形式的具有，例如“有”和“拥有”)、“包含”(以及任何形式的包含，例如“包含了”和“包含有”)或“含有”(以及任何形式的含有，例如“包含”和“包含有”)是包含性的或开放式的，并且不排除附加的、未列举的元素或方法步骤。

如本文所使用的，例如但不限于“大约”、“基本上”或“基本地”之类的近似词是指如下条件：当进行此类修饰时，该条件可以被理解为不一定是绝对的或完全的，但将可以被本领域普通技术人员认为是足够接近的，以保证指定该情况为存在的。描述的变化程度将取决于可以做出的变化有多大，并且仍然可以使得本领域普通技术人员认识到所修饰的特征仍然具有未修饰的特征所需的特征和能力。通常，但是根据前文的讨论，本文中由近似词(例如“大约”)修饰的数值可以与该值相差至少±1％、±2％、±3％、±4％、±5％、±6％、±7％、±10％、±12％或±15％。

本文所使用的术语“或其组合”是指该术语前面所列出的条目的所有排列和组合。例如，“A、B、C或其组合”旨在包括：A、B、C、AB、AC、BC或ABC中的至少一种，并且如果在特定上下文中顺序很重要，还包括BA、CA、CB、CBA、BCA、ACB、BAC或CAB。继续该示例，可以明确包括含有一个或多个条目或术语重复的组合，如BB、AAA、AB、BBC、AAABCCCC、CBBAAA、CABABB等。技术人员将理解，除非从上下文中另有明显的说明，否则通常对任何组合中的条目或术语的数量没有限制。

根据本公开，可以在没有进行过多的实验的情况下制备和执行在本文中所公开并要求的所有组合物和/或方法。虽然已经根据优选的实施例描述了本公开的组合物和方法，但对于本领域技术人员来说明显的是，在不偏离本公开的概念、精神和范围的情况下，可以将变型应用于本文所述的组合物和/或方法以及方法的步骤或步骤顺序中。对于本领域技术人员来说明显的是，所有这些类似的替代和修改都被认为是在所附权利要求书定义的本公开的精神、范围和概念之内。

Claims (25)

1.一种图像处理方法，所述方法包括：

a、获取原始图像(OI)；

b、获取图像深度图(IDM)；

c、将所述IDM色调分离为多个级别，其中，所述级别的数量是最终图层计数(FLC)；

d、基于所述FLC，分割所述IDM或对象检测图像；

e、基于分割的IDM或对象检测图像，将所述OI剪切为多个图像片段；

f、基于生成顺序中靠前的图像片段，在相邻的图像片段之间生成内填充/外填充；

g、确定保留像素的数量；

h、在介质上打印每个所述图像片段；

2.按顺序组合所述图像片段。根据权利要求1所述的方法，还包括将所述对象检测转换为系统比例。

3.根据权利要求2所述的方法，其中，所述对象检测包括：以第一颜色描绘所述图像中的人、以第二颜色描绘所述图像中的背景内容、和以第三颜色描绘所述图像中的前景内容。

4.根据权利要求1所述的方法，其中，获取所述图像深度图(IDM)包括：生成图像深度图(IDM)。

5.根据权利要求4所述的方法，还包括：将所述IDM转换为另一种着色方法，其中，该着色方法可用于通过所述比例一致地移动。

6.根据权利要求5所述的方法，其中，所述方法包括灰度处理。

7.根据权利要求1所述的方法，还包括：利用边缘检测，确定和/或隔离所述OI中的一个或多个对象的一个或多个边界。

8.根据权利要求1所述的方法，还包括：利用对象检测，确定和/或隔离所述OI中的一个或多个对象。

9.根据权利要求1所述的方法，还包括：锐化所述IDM的分辨率。

10.根据权利要求1所述的方法，其中，所述获取包括来自用户的输入。

11.根据权利要求1所述的方法，其中，所述获取包括从电子存储介质进行检索。

12.根据权利要求1所述的方法，其中，所述获取包括通过图像捕获设备捕获所述OI。

13.根据权利要求12所述的方法，其中，所述图像捕获设备包括数码相机。

14.根据权利要求13所述的方法，其中，所述数码相机集成有处理设备。

15.根据权利要求1所述的方法，其中，所述生成包括通过所述处理设备进行提取；或者，使用人工智能系统(AI)来创建所述IDM。

16.根据权利要求1所述的方法，其中，所述FLC包括超过10图层。

17.根据权利要求15所述的方法，其中，所述FLC包括超过15图层。

18.根据权利要求1所述的方法，其中，所述FLC包括4图层以上。

19.根据权利要求1所述的方法，其中，所述FLC包括2图层以上。

20.根据权利要求1所述的方法，其中，所述FLC包括2图层。

21.根据权利要求20所述的方法，其中，所述生成是通过另一人工智能处理器执行的。

22.根据权利要求17所述的方法，其中，所述另一人工智能处理器包括所述人工智能处理器。

23.根据权利要求1所述的方法，其中，所述介质包括：玻璃、帆布、硅胶、晶体中的一种或多种。

24.根据权利要求1所述的方法生成的产品。

25.用于实施根据权利要求1所述的方法的系统。