CN110225331B - 选择性地将色彩施加到图像 - Google Patents

选择性地将色彩施加到图像 Download PDF

Info

Publication number
CN110225331B
CN110225331B CN201910116036.9A CN201910116036A CN110225331B CN 110225331 B CN110225331 B CN 110225331B CN 201910116036 A CN201910116036 A CN 201910116036A CN 110225331 B CN110225331 B CN 110225331B
Authority
CN
China
Prior art keywords
color
image data
mask
color image
capture device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910116036.9A
Other languages
English (en)
Other versions
CN110225331A (zh
Inventor
朱泉
丹尼尔·M·布鲁姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Original Assignee
Motorola Mobility LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Mobility LLC filed Critical Motorola Mobility LLC
Publication of CN110225331A publication Critical patent/CN110225331A/zh
Application granted granted Critical
Publication of CN110225331B publication Critical patent/CN110225331B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/76—Circuits for processing colour signals for obtaining special effects for mixing of colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请涉及选择性地将色彩施加到图像。一种用于生成选择性彩色图像的方法、系统、以及计算机程序产品。该方法包括捕获当前场景内的彩色图像数据。该方法进一步包括从彩色图像数据中检索图像色彩值。该方法进一步包括接收对彩色图像数据内的至少一个位置的选择。该方法进一步包括生成色彩掩模并将该色彩掩模施加到彩色图像数据以生成色彩掩模图像数据。该方法进一步包括对色彩掩模图像数据与当前场景的单色图像数据进行组合以创建包括具有至少一个部分的单色图像数据的选择性彩色图像，并且然后该方法包括将选择性彩色图像提供给至少一个输出设备。

Description

选择性地将色彩施加到图像
技术领域
本公开总体涉及一种具有相机的图像捕获设备，并且具体地涉及一种用于增强由相机捕获的媒体的方法。
背景技术
诸如蜂窝电话这样的许多现代设备被配备有使得用户能够捕获场景中的图像的相机。附加地，在现代设备上提供了一些解决方案，这些解决方案使用户能够从捕获图像的部分中去除色彩以便创建具有彩色部分和单色部分的修改图像。然而，这些解决方案典型地需要高程度的用户输入以生成修改的图像。所捕获的图像中的不利条件可能导致所修改的图像不会准确地反映用户的期望的图像。例如，场景中的反映可能导致场景的一些部分在所修改的图像内以单色不正确地着色和/或呈现。
发明内容
本公开涉及一种用于增强由相机捕获的媒体的方法，包括：由图像捕获设备的第一相机捕获当前场景内的彩色图像数据；经由输入设备接收对所述彩色图像数据内的至少一个位置的选择；基于至少一个选择的位置来生成色彩掩模；将所述色彩掩模施加到所述彩色图像数据，以生成包括所述彩色图像数据的至少一个部分且略去了所述色彩掩模图像数据的剩余部分的色彩掩模图像数据；对所述色彩掩模图像数据与所述当前场景的单色图像数据进行组合，以创建包括具有所述至少一个部分的所述单色图像数据的选择性彩色图像；以及将所述选择性彩色图像提供给至少一个输出设备。
附图说明
将结合附图阅读对说明性实施例的描述。该专利或申请文件包含以彩色绘制的至少一个附图。具有彩色附图的本专利或专利申请公开的副本将由美国专利商标局根据请求和支付必要的费用来提供。应当显而易见的是，为了说明简单和清楚起见，图中图示的元件不一定是按比例绘制的。例如，这些元件中的一些的尺寸相对于其它元而被放大。参考这里所给出的附图示出并描述了包含本公开的教导的实施例，在附图中：
图1图示了根据一个或多个实施例的在其中能够实践本公开的某些方面的示例图像捕获设备；
图2图示了根据一个或多个实施例的用于捕获彩色图像数据并生成选择性彩色图像的示例图像捕获设备；
图3A是根据一个或多个实施例的用于描绘由图像捕获设备的相机捕获的彩色图像数据的照片；
图3B是根据一个或多个实施例的用于描绘由图像捕获设备生成的选择性彩色图像的照片；
图4A是根据一个或多个实施例的用于描绘由图像捕获设备的相机捕获的彩色图像数据的图示；
图4B是根据一个或多个实施例的用于描绘从图像捕获设备的多个相机生成的实时深度图的图示；
图4C是根据一个或多个实施例的用于描绘不具有形态重构且由图像捕获设备生成的选择性彩色图像的图示；
图4D是根据一个或多个实施例的用于描绘具有形态重构且由图像捕获设备生成的选择性彩色图像的另一图示；
图5A是根据一个或多个实施例的用于描绘不具有形态重构且由图像捕获设备生成的选择性彩色图像的图示；
图5B是根据一个或多个实施例的用于描绘具有形态重构成且由图像捕获设备生成的选择性彩色图像的下一图示；
图6是根据一个或多个实施例的图示用于生成选择性彩色图像的方法的流程图；
图7是根据一个或多个实施例的图示用于基于所捕获的彩色图像数据而生成色彩掩模的方法的流程图；
图8是根据一个或多个实施例的图示用于使用实时扫描数据以将未掩模区域添加到色彩掩模上的方法的流程图；以及
图9是根据一个或多个实施例的图示用于基于对彩色图像数据的分析将未掩模区域添加到色彩掩模的方法的流程图。
具体实施方式
说明性实施例提供了一种用于生成选择性彩色图像的方法、系统、以及计算机程序产品。该方法包括：由图像捕获设备的第一相机捕获当前场景内的彩色图像数据。该方法进一步包括：从彩色图像数据中检索图像色彩值。该方法进一步包括：经由输入设备接收对彩色图像数据内的至少一个位置的选择。该方法进一步包括：基于所述至少一个所选择位置生成色彩掩模并将该色彩掩模施加到彩色图像数据以生成包括彩色图像数据的至少一个部分且省略了彩色图像数据的剩余部分的色彩掩模图像数据。该方法进一步包括对色彩掩模图像数据与当前场景的单色图像数据进行组合以创建包括具有至少一个部分的单色图像数据的选择性彩色图像，并且然后该方法包括：将选择性彩色图像提供给至少一个输出设备。
以上包含对细节的简化、概括、以及省略，并且不旨在作为对所要求保护的主题的全面描述，而是旨在提供对与其相关联的功能中的一些的简要概述。在审查以下附图及其余详细的书面描述时，所要求保护的主题的其它系统、方法、功能、特征、以及优点对于本领域普通技术人员来说将是或将变得显而易见。在以下详细描述中，本公开的上述以及其它目的、特征、以及优点将变得显而易见。
在以下描述中，足够详细地描述了可以实践本公开的具体示例性实施例以使得本领域普通技术人员能够实施所公开的实施例。例如，这里已呈现了诸如具体方法顺序、结构、元件、以及连接这样的具体细节。然而，应当理解的是所呈现的具体细节不是必须用于实践本公开的实施例。还应理解的是可以使用其它实施例并且可以在不脱离本公开的一般范围的情况下进行逻辑、架构、程序、机械、电气、以及其它方面的改变。因此，以下详细描述不应被视为限制性的，并且本公开的范围是由所附权利要求及其等同物来限定的。
说明书内的对“一个实施例”、“实施例”、“多个实施例”、或者“一个或多个实施例”的引用旨在指示结合该实施例所描述的具体特征、结构、或特性被包含在本公开的至少一个实施例中。这些短语在说明书中的各个地方的出现不一定都指的是相同实施例，也不是与其它实施例互斥的单独实施例或替代实施例。此外，描述了可能被某些实施例展示出来而没有被其它实施例展示出来的各种特征。类似地，描述了各个方面，可能是某些实施例的方面而不是其它实施例的方面的各个方面。
这里所使用的术语仅用于描述具体实施例的目的，并不旨在限制本发明。如这里所使用的，除非上下文另有明确说明，单数形式“一(a)”、“一个(an)”、“该(the)”旨在还包括复数形式。将进一步理解的是术语“包括(comprises)”和/或“包括(comprising)”当在本说明书中使用时指定了存在所述特征、整数、步骤、操作、元件、和/或组件，但不排除存在或者增加其的一个或多个其它特征、整数、步骤、操作、元件、组件、和/或组。此外，术语第一、第二等的使用不表示任何顺序或重要性，而是术语第一、第二等用于将一个元件与另一元件区分开。
应当理解的是其的具体组件、设备、和/或参数名称和/或相对应的缩写词的使用(诸如这里所述的执行实用程序、逻辑、和/或固件)仅是示例的并不意味着暗示对所描述的实施例的任何限制。因此，可以用其使用以描述这里的组件、设备、参数、方法、和/或功能的不同命名和/或术语来描述实施例，但不局限于此。在对实施例的一个或多个元件、特征、或概念进行描述中对任何具体协议或专有名称的引用仅是作为一个实现方式的示例而提供的，并且这样的引用不是对所要求保护的实施例扩展到使用不同元件、特征、协议、或概念名称的实施例做出限制。因此，考虑到使用该术语的上下文，这里所使用的每个术语将被给予其最广泛的解释。
本领域普通技术人员将理解的是，可以变化在附图中所描绘的硬件组件和基本配置。例如，以下所述的图像捕获设备100(图1)内的说明性组件并非旨在是穷举的，而是代表性的，以突出能够用于实现本公开的组件。例如，除了或代替所描绘的硬件之外，可以使用其它设备/组件。所描绘的示例不意味着暗示对当前所述实施例和/或一般公开的架构限制或其它限制。
在对附图的不同视图的描述内，在不同附图中使用相同附图标记和/或符号指示相似或相同的项目，并且在整个附图中相似的名称和附图标记能够提供相似元件。分配给这些元件的具体标识符/名称和附图标记仅被提供以帮助描述，而不意味着暗示对所描述的实施例的任何限制(结构或功能或其它)。
现在转向图1，说明了能够实现本公开的各个实施例的所述特征中的一个或多个的示例图像捕获设备100。在一个实施例中，图像捕获设备100能够是被配备有至少一个相机和至少一个输入设备的任何电子设备。例如，图像捕获设备100能够包括但不局限于台式计算机、监视器、笔记本电脑、移动/蜂窝电话、移动/蜂窝电话附件、数码相机、视频记录器、或平板电脑。图像捕获设备100包括中央处理单元(CPU)104。CPU 104可以包含多个核，这些多个核中的每个能够独立处理。在另一实施例中，CPU 104包括多个CPU。在另一实施例中，CPU 104可以包括图形处理单元(GPU)、通用图形处理单元(GPGPU)、和/或数字信号处理器(DSP)。CPU 104与存储介质120和系统存储器110相耦合，在该存储介质120和系统存储器110中能够存储固件112、操作系统(OS)116、选择性色彩实用程序(SCU)117、以及应用118以供CPU 104执行。
如所示的，图像捕获设备100可以包括其使得用户能够与图像捕获设备100接口连接的输入设备和输出设备(I/O设备130)。在所图示的实施例中，图像捕获设备100包括麦克风108、硬件按钮106a-n、相机142a-n、以及扬声器147。图像捕获设备100可以可选地包括显示器145。麦克风108可以用于接收来自用户的语音输入/命令。在其它实施例中，麦克风108包括多个麦克风。硬件按钮106a-n是可选按钮，这些可选按钮用于接收来自用户的手动/触觉输入以对图像捕获设备100和/或在其上执行的应用的具体操作进行控制。在一个实施例中，硬件按钮106a-n还可以包括或可以连接到一个或多个传感器(例如指纹扫描仪)和/或可以是压力敏感的。硬件按钮106a-n还可以直接地与图形捕获设备100的图形用户界面(未示出)的一个或多个功能和/或OS、应用、或硬件的功能相关联。在一个实施例中，硬件按钮106a n可以包括键盘。扬声器147用于输出音频。在其它实施例中，扬声器147包括多个扬声器。
相机142a-n用于捕获图像捕获设备100的当前环境内的图像和/或视频。相机142a-n包括用于将当前场景中的光聚焦到图像传感器144上的透镜143，所述图像传感器144将所聚焦的光转换为数字表示(例如图像和/或视频)。在一个或多个实施例中，相机142a-n包括选择性地打开的快门(未示出)以便将光聚焦到图像传感器144。相机142a-n可以可选地包括闪光模块146，该闪光模块146用于在捕获图像和/或视频期间用光照射当前场景。在另一实施例中，闪光模块146可以是图像捕获设备100的独立组件。虽然图示了一个相机传感器，但是在其它实施例中，图像捕获设备100可以包括多个相机传感器。例如，相机142a-n可以包括至少一个彩色相机传感器(诸如红-绿-蓝(RGB)彩色传感器)以及至少一个单独单色相机传感器。图像捕获设备100还包括图像处理器160。图像处理器160包括曝光定时设置寄存器162，该曝光定时设置寄存器162用于控制相机142a-n的快门(未示出)的打开和关闭的定时，以便使图像传感器144曝光于期望量的光。快门时间可以是基于工厂设置而用户控制的和/或是基于图像捕获设备100的当前环境中的条件而动态调节的。相机142a-n和/或图像处理器160还可以包括图像压缩器(未示出)，该图像压缩器(未示出)对由相机142a-n捕获的图像和/或视频进行压缩、处理、和/或重新格式化成适合于在显示器145上观看的格式或者压缩、处理、和/或重新格式成由图像捕获设备100的一个或多个应用(例如IU119)所使用的格式。
CPU 104还与传感器122a-n和显示器145相耦合。传感器122a-n能够包括但不局限于包括以下中的至少一个：运动传感器和/或加速度计、接近传感器、和/或附加相机。显示器145能够显示文本、包括图像和视频的媒体内容、和/或与在图像捕获设备100上执行的固件和/或一个或多个应用相关联的或由在图像捕获设备100上执行的所述固件和/或一个或多个应用生成的图形用户界面(GUI)。在一个实施例中，显示器145包括图像捕获设备100的至少一个内部显示器/监视器。在另一实施例中，显示器145包括诸如远程连接的监视器这样的、经由有线和/或无线连接而与图像捕获设备100相连的至少一个外部显示器。在一个实施例中，GUI能够由CPU 104呈现以在显示器145上观看，或者在另一实施例中，GUI能够由图形处理单元(GPU)(未示出)呈现。在一个或多个实施例中，显示器145是触摸屏，该触摸屏诸如当用户与所显示的(或部分显示的)GUI相互作用时还能够接收来自图像捕获设备100的用户的触摸/触觉输入。在至少一个实施例中，图像捕获设备100能够包括除了硬件按钮106a-n之外或代替硬件按钮106a-n进行操作的多个虚拟按钮或功能可见性。例如，图像捕获设备100能够被配备有触摸屏界面并且经由GUI提供虚拟键盘或其它虚拟图标以供用户与其相互作用。
应用118包括用于在显示器145上呈现所捕获的媒体(例如图像和/或视频)的图像实用程序(IU)119。如以下更详细描述的，IU 119进一步使得能够经由输入设备(例如触摸屏显示器)在所捕获的媒体内选择与用于包含在选择性彩色图像(例如图2的选择性彩色图像240)中的主题色彩相对应的具体位置。根据一个方面，SCU 117和IU 119在图像捕获设备100内执行以执行这里所述的各种方法和功能。在一个或多个实施例中，SCU 117从IU 119接收对具体位置的选择并生成选择彩色图像，该选择彩色图像包括与具体位置相对应的且略去了彩色图像数据的剩余部分的彩色图像数据的至少一个部分。为简单起见，SCU 117被图示并被描述为独立的或单独的软件/固件/逻辑组件，其提供了以下所描述的具体功能和方法。然而，在至少一个实施例中，SCU 117可以是固件112或OS116中的组件，可以与固件112或OS116相组合，或者可以并入在固件112或OS116内，并且/或者在应用118中的一个或多个之内。例如，SCU 117可以是作为IU 119的扩展和/或在IU 119内所提供的附加实用程序。
图像捕获设备100还包括数据端口132(例如通用串行总线(USB)端口)、电池134、以及充电电路136。数据端口132能够作为充电端口进行操作，所述充电端口经由用于经由充电电路136对电池进行134充电的外部充电设备(未示出)接收电力。数据端口132能够作为用于向外部设备供电的充电端口进行操作，所述外部设备与用于经由充电电路136对外部设备的电池(未示出)进行充电的数据端口132相连接。电池134可以包括用于向图像捕获设备100的组件供电的单个电池或多个电池。在至少一个实施例中，电池134包括可由最终用户移除和/或更换的至少一个电池。在另一实施例中，电池134包括永久固定在图像捕获设备100之内/固定到图像捕获设备100的至少一个电池。数据端口132还可以用作输入端口、输出端口、以及组合输入/输出端口中的一个。
图像捕获设备100还可以包括全球定位卫星(GPS)接收器138和一个或多个无线电140a-n。GPS138可以与天线148a-n中的至少一个相耦合以使得图像捕获设备100能够确定其当前位置和/或行进的速率。无线电设备140a-n还可以与天线148a-n中的一个或多个相耦合，以使得图像捕获设备100能够无线连接到诸如设备152a-n和服务器154这样的一个或多个其它设备，以及将语音和/或数据通信发送到所述一个或多个其它设备并且从所述一个或多个其它设备接收语音和/或数据通信。作为无线设备，图像捕获设备100能够通过无线网络150(例如Wi-Fi网络、蜂窝网络、
Figure BDA0001970149820000091
网络(包括
Figure BDA0001970149820000092
低功耗(BLE)网络)、无线自组织网络(WANET)、个人区域网(PAN))来传送数据。在一个实施例中，图像捕获设备100可以进一步被配备有用于使用IR连接与其它设备进行通信的红外(IR)设备(未示出)。在另一个实施例中，无线无线电140a-n可以包括短程无线设备，其包括但不局限于近场通信(NFC)设备。在又一个实施例中，图像捕获设备100可以使用有线或无线USB连接与一个或多个其它设备进行通信。
图2是根据本公开的一个或多个实施例的图示示例图像捕获设备100内的附加功能组件的方框图。如图所示，图像捕获设备100包括执行SCU 117的CPU 104。图像捕获设备100还包括相机142a-n、显示器145、以及系统存储器110。在一个或多个实施例中，由CPU104使用相机142a-n以捕获当前场景206中的彩色图像数据204。应当注意的是，虽然在图2中图示了两个相机，但是在其它实施例中，图像捕获设备100可以被配置有附加的或较少的相机，包括单个相机。显示器145用于呈现彩色图像数据204以供图像捕获设备100的用户观看。根据一个或多个实施例，显示器145还能够被使用以显示所生成的选择性彩色图像240。在一个或多个实施例中，显示器145是能够接收来自用户的触摸输入的触摸屏显示器，所述触摸输入包括但不局限于对彩色图像数据204内的至少一个位置208的选择。
图像捕获设备100通过第一相机(例如相机142a)捕获彩色图像数据204。在一个或多个实施例中，CPU 104还可以经由第二相机(例如相机142n)同时捕获单色图像数据216。响应于捕获彩色图像数据204，CPU 104将彩色图像数据204提供给至少一个输出设备(例如显示器145)以供显示。CPU 104接收指定对位置208的选择的输入。位置208是向其施加选择性着色效果的彩色图像数据204的期望位置/区域。在一个实施例中，位置208是单个位置。在另一实施例中，位置208可以包括多个位置选择。应当注意的是，可以经由任何适当的输入设备来接收对位置208的选择，所述输入设备包括但不局限于触摸屏显示器、键盘、或者诸如鼠标或指示笔这样的指示设备。例如，当正在触摸屏显示器(例如显示器145)上观看彩色图像数据204时，图像捕获设备的用户可以触摸触摸屏显示器上的位置，并且CPU 104将彩色图像数据204内的相对应位置识别为位置208。在另一实施例中，位置208可以由用于识别当前场景206中的对象的图像捕获设备的软件程序自动地选择。
响应于接收到对位置208的选择，CPU 104基于位置208生成用于彩色图像数据204的色彩掩模212。色彩掩模212识别彩色图像数据204内的、将被包括作为选择性彩色图像240中的色彩区域的区域。如以下更详细地描述的，在色彩掩模212中未包含的彩色图像数据204的部分不被包含在选择性彩色图像240中。在生成色彩掩模212的过程中，CPU 104首先对彩色图像数据204进行分析以识别区域色彩值220。区域色彩值220是具有以位置208为中心的预定色彩区域的色彩。例如，区域色彩值220能够包括以位置208为中心的7×7像素区域内的所有色彩值。响应于识别出区域色彩值220，则CPU 104对区域色彩值220进行平均以确定平均色彩222。然后，CPU 104使用平均色彩222作为原点来计算用于彩色图像数据204中的每个像素的欧几里德(Euclidean)距离224。用于每个像素的欧几里德距离224识别该像素的色彩与平均色彩222的变化。具有与平均色彩222相似的色彩的像素将具有较小的欧几里德距离，而具有与平均色彩222更不同的色彩的像素将具有较大的欧几里德距离。响应于为彩色图像数据204中的每个像素计算欧几里德距离224a-n，CPU 104通过施加feather参数226对欧几里德距离224a-n进行归一化。然后，CPU 104能够将Sigmoid函数228施加到所归一化的欧几里德距离224a-n。Sigmoid函数228生成概率分布229，该概率分布229是[0，1]范围内的每个像素的归一化的欧几里德距离的映射。然后，CPU 104能够将阈值218施加到概率分布229以生成/估计色彩掩模212。然后，CPU 104生成其包围彩色图像数据204的所有像素和/或区域(包括位置208)的色彩掩模212，所述彩色图像数据204具有大于或等于阈值218的匹配于平均色彩222的概率。在一个实施例中，阈值218是预定制造商/工厂预设值。在另一实施例中，阈值218可以是在图像捕获设备100的设置中建立的并且可以由用户经由至少一个输入设备来调整。
响应于生成色彩掩模212，CPU 104将色彩掩模212施加到彩色图像数据204，以生成色彩掩模图像数据214。色彩掩模图像数据214仅包括在色彩掩模212中包含的彩色图像数据204的那些部分并略去了彩色图像数据204的所有其它剩余部分。因此，色彩掩模图像数据214仅包括彩色图像数据204的期望包含在选择性彩色图像240中的那些着色部分。CPU104对色彩掩模图像数据214与包括当前场景206的完全单色再现的单色图像数据216进行组合，以创建选择性彩色图像240。因此，彩色图像数据204的在色彩掩模图像数据214中包含的那些部分被包含在选择性彩色图像240色彩中，而选择性彩色图像240的其余部分包括单色图像数据216的单色部分。在一个实施例中，当由第一相机(例如相机142a)捕获了彩色图像数据204时，CPU 104同时经由第二相机(例如相机142n)捕获单色图像数据216。在另一实施例中，CPU 104生成彩色图像数据204的单色拷贝并将该单色拷贝作为单色图像数据216存储到系统存储器110。
响应于生成选择性彩色图像240，CPU 104将选择性彩色图像240提供给诸如显示器145的至少一个输出设备。在另一实施例中，响应于生成选择性彩色图像240，CPU 104将选择性彩色图像240存储到系统存储器110、存储介质120、和/或诸如基于服务器的存贮器或基于云的存贮器的远程存贮器。
应当注意的是，可以以原始格式或者以诸如RGB色彩空间这样的任何原始色彩空间捕获彩色图像数据204，该RGB色彩空间与相机142a和/或图像处理器160相关联。在一个或多个实施例中，CPU 104在接收到对位置208的选择并生成色彩掩模212之前将彩色图像数据204转换成亮度、蓝色差、以及红色差(YCbCr)色彩空间。如果需要，CPU 104可以生成适合于在显示器145上显示的色彩空间中的彩色图像数据204的复制拷贝。在另一实施例中，CPU 104可以生成原始色彩空间中的和/或适合于由图像捕获设备100的输出设备使用的任何色彩空间中的选择性彩色图像240。
在一个或多个实施例中，响应于生成色彩掩模212但在将色彩掩模212施加到彩色图像数据204之前，CPU 104可以执行至少一个形态重构过程，以通过将色彩掩模212内的未掩模区域234a-n添加到色彩掩模212作为掩模区域来改善生成的选择性彩色图像240的质量。通过执行形态重构，将从色彩掩模212无意略去的彩色图像数据204的区域添加到色彩掩模212，从而改善生成的选择性彩色图像240的质量。
在第一实施例中，CPU 104使用深度图来执行形态重构过程。在该实施例中，CPU104至少利用第一相机(例如相机142a)和第二相机(例如相机142n)来同时捕获当前场景206中的实时扫描数据230a-n。由第一相机捕获第一实时扫描数据(例如实时扫描数据230a)，以及由第二相机捕获第二实时扫描数据(例如实时扫描数据230n)。在一个或多个实施例中，实时扫描数据230a-n与捕获彩色图像数据204同时捕获。然后，CPU 104使用实时扫描数据230a-n、第一相机和第二相机的已知操作参数、以及第一相机和第二相机的透镜之间的已知距离来执行立体分析，以生成深度图232。深度图232识别当前场景206中的一个或多个对象的深度。响应于生成深度图232，CPU 104使用当前场景206中的对象的深度测量来分析色彩掩模212，以识别与色彩掩模图像数据的至少一个部分相邻且具有与色彩掩模图像数据的至少一个部分相似深度的任何未掩模区域234a-n。
图3A是用于描绘由图像捕获设备100的至少一个相机捕获的示例性彩色图像数据304的照片。CPU 104接收指定对彩色图像数据304内的位置208的选择的输入。图3B是描绘基于彩色图像数据304内的至少一个所选择位置的、由图像捕获设备100生成的示例性选择性彩色图像340的照片。如图3B所描绘的，选择性彩色图像340仅包含与位置208相对应的中心红色物体上的色彩。
现在参考图4A-图4D，存在图示示例性彩色图像数据、相对应深度图、不具有形态重构的选择性彩色图像、以及具有形态重构的选择性彩色图像的所描绘的图像。图4A描绘了由图像捕获设备100的相机(例如相机142a)捕获的彩色图像数据204。图4B描绘了与404的彩色图像数据相对应的并且从实时扫描数据230a-n生成的，并且由图像捕获设备100的多个相机(例如相机142a-n)捕获的深度图432。图4C是根据一个或多个实施例的不具有形态重构的选择性彩色图像(例如选择性彩色图像440a)。如图4C所示，蓝色球的标签部分442a不被包含在选择性彩色图像440a中的色彩中。在一个实施例中，球的主表面的色彩与标签442a的色彩之间的色彩距离太大而不能被包含在色彩掩模内。因此，球的标签部分442a除了被色彩掩模区域部分地包围且具有与相邻色彩掩模区域相似的深度(如深度图432所示)之外不存在于色彩掩模中。图4D是根据一个或多个实施例的描绘具有形态重构的选择性彩色图像(例如选择性彩色图像440n)的图示。使用形态重构，CPU 104将球的标签部分442n识别为与由CPU 104生成的色彩掩模图像数据的至少一个部分相邻并具有与其相似的深度。因此，将标签部分442n包含和/或添加到深度掩模，并且标签部分442n被包含在由CPU 104生成的选择性彩色图像440n中的色彩中，如图4D所示。
再次参考图2，在第二实施例中，CPU 104基于对所捕获的彩色图像数据204的分析来执行形态重构过程。在该实施例中，CPU 104对色彩掩模图像数据214进行分析，以确定是否存在被色彩掩模图像数据214的至少一个掩模区域完全环绕的未掩模区域234a-n(在色彩掩模图像数据214内)。例如，CPU 104可以对色彩掩模图像数据214进行分析并确定在被多个掩模区域完全包围的色彩掩模图像数据214内存在未掩模的孔。响应于识别出被至少一个掩模区域完全环绕的色彩掩模图像数据214内的至少一个未掩模区域，CPU 104将至少一个未掩模区域添加到色彩掩模212并使用所更新的色彩掩模212来重新计算色彩掩模图像数据214。
现在参考图5A-图5B，存在图示了所生成的具有和不具有形态重构的选择性彩色图像的所描绘的图像。图5A描绘了不具有形态重构的选择性彩色图像(例如选择性彩色图像540a)。如图5A所示，在被着色部分完全环绕的彩色的花之内存在包括区域502a的若干未着色部分。这些未着色部分尽管被色彩掩模区域包围但不存在于色彩掩模中。图5B描绘了具有形态重构的选择性彩色图像(例如选择性彩色图像540n)。在该示例中，CPU 104识别色彩掩模图像数据214内的、被色彩掩模图像数据214的至少一个掩模区域完全环绕的花的部分。然后CPU 104更新色彩掩模212以包括未掩模区域(例如区域502a)并使用更新的色彩掩模212来重新计算色彩掩模图像数据214。然后CPU 104基于重新计算的色彩掩模图像数据来生成选择性彩色图像540n。如所示的，图5A的花内的未着色部分被包含在图5B的选择性彩色图像540n中的色彩中。
现在参考图6-图9，参考图1-图2的组件描述了该方法的各方面。图6-图9中所提供的方法的若干个过程能够由执行图像捕获设备(例如图像捕获设备100)内的SCU 117的软件代码(即程序指令)的处理器(例如CPU 104)来实现。通常将图6-图9中所述的方法过程被描述为由图像捕获设备100的组件执行。
现在参考图6，描绘了根据本公开的一个或多个实施例的图示用于生成选择性彩色图像的方法的流程图。方法600在起始框601处开始，然后前进到框602。在框602处，图像捕获设备100经由至少一个相机(例如相机142a)捕获彩色图像数据(例如彩色图像数据204)。在一个或多个实施例中，响应于捕获彩色图像数据，CPU 104在图像捕获设备100的显示器(例如显示器145)上呈现彩色图像数据。在框604处，CPU 104经由至少一个输入设备接收对图像数据内的至少一个位置的选择。在框606处，CPU 104基于存在于至少一个所选择的位置内的色彩生成色彩掩模(例如色彩掩模212)用于彩色图像数据。在可选框608处，CPU104对色彩掩模执行形态重构过程以填充至少一个所选择位置内的至少一个未掩模区域。在一个实施例中，形态重构过程可以由图像捕获设备100的用户手动触发。在另一实施例中，图像捕获设备100的配置设置可以使得能够在生成所选彩色图像期间自动地执行形态重构过程。如果未执行形态重构过程，则基于用户请求或图像捕获设备100的设置，方法600直接地从框606前进到框610。
在框610处，CPU 104将色彩掩模施加到彩色图像数据，以生成包括彩色图像数据的与所述至少一个所选择位置相关联的着色部分的色彩掩模图像数据(例如色彩掩模图像数据214)，并且略去了彩色图像数据的与至少一个所选择位置不相关的和/或包含在色彩掩模中的剩余部分。在框612处，CPU 104对色彩掩模图像数据与单色图像数据(例如单色图像数据216)进行组合，以创建选择性彩色图像(例如选择性彩色图像240)。选择性彩色图像包括单色图像数据的单色部分以及在色彩掩模图像数据内包含的着色部分。在一个实施例中，单色图像数据由图像捕获设备100的至少一个第二相机(例如相机142n)同时捕获。在另一实施例中，CPU 104生成彩色图像数据的单色拷贝并将该单色拷贝作为单色图像数据存储到存储器。在框614处，CPU 104将所生成的选择性彩色图像提供给至少一个输出设备(例如显示器145)和/或将选择性彩色图像存储到存储器(系统存储器110)和/或存贮器(存储介质120)。然后，方法600在框616处结束。
现在参考图7，描绘了根据本公开的一个或多个实施例的图示用于生成色彩掩模的方法的流程图。在一个或多个实施例中，由方法700提供的特征和/或功能可以在方法600的步骤604-606处执行，并且还在以上图5中进行了描述。方法700在起始框701处开始，然后前进到框702。在框702处，CPU 104经由至少一个输入设备接收对图像数据内的至少一个位置的选择。在框704处，CPU 104开始计算彩色图像数据的每个像素相对于至少一个所选择位置的概率分布。在框706处，CPU 104识别以至少一个所选择位置为中心的色彩区域内的多个色彩值(例如区域色彩值220)。在一个实施例中，色彩区域是以至少一个所选择位置为中心的预定大小。在框708处，CPU 104通过将色彩区域内的多个色彩值的色彩值的平均来确定平均色彩值(例如平均色彩222)。
在框710处，CPU 104计算彩色图像数据的每个像素距至少一个所选择位置的欧几里德距离。在框712处，CPU 104通过将feather参数(例如feather参数226)施加到每个像素的欧几里德距离来使每个像素的欧几里德距离。在框714处，CPU 104将s形曲线(Sigmoid)函数施加到每个像素的归一化欧几里德距离。在框716处，CPU 104将Sigmoid函数的输出映射到[0，1]范围，以生成对至少一个所选择位置处的色彩与彩色图像数据的每个像素处的色彩之间的色彩距离进行量化的概率分布(例如概率分布229)。在框718处，CPU 104将阈值(例如阈值218)施加到概率分布以生成色彩掩模(例如色彩掩模212)。色彩掩模包括彩色图像数据的至少一个区域，所述至少一个区域具有比阈值更大的匹配于平均色彩的概率。应当注意的是，至少一个区域包括彩色图像数据内的至少一个所选择位置。然后，方法700在框720处结束。
现在参考图8，描绘了根据本公开的一个或多个实施例的图示用于使用实时扫描数据来将未掩模区域添加到色彩掩模的方法的流程图。在一个或多个实施例中，由方法800提供的特征和/或功能可以在方法600的可选步骤608处执行，并且还在以上图5中进行了描述。方法800在起始框801处开始，然后前进到框802。在框802处，图像捕获设备100通过第一相机(例如相机142a)和第二相机(例如相机142n)捕获当前场景中的实时扫描数据。在框804处，CPU 104对由第一相机和第二相机所捕获的实时扫描数据进行组合以创建深度图(例如深度图232)，该深度图识别至当前场景中的对象的深度。在框806处，CPU 104对深度图进行分析以识别深度图内的至少一个未掩模区域(例如未掩模区域234a-n)，所述至少一个未掩模区域不包含在色彩掩模(例如色彩掩模212)中并且与色彩掩模图像数据的至少一个部分相邻且具有与其相似的深度。在框808处，CPU 104将所识别出的未掩模区域添加到色彩掩模。然后，方法800在框810处终止。
现在参考图9，描绘了根据本公开的一个或多个实施例的图示用于基于对彩色图像数据的分析将未掩模区域添加到色彩掩模的方法的流程图。在一个或多个实施例中，由方法900提供的特征和/或功能可以在方法600的可选步骤608处执行(如在以上图5中所描述的)。方法900在起始框901处开始，然后前进到框902。在框902处，CPU 104对彩色图像数据(例如彩色图像数据204)进行分析以识别出至少一个未掩模区域(例如未掩模区域234a-n)，所述至少一个未掩模区域与色彩掩模图像数据(例如色彩掩模图像数据214)的区域相对应并且被掩模区域完全环绕。在框904处，CPU 104确定是否已识别出至少一个未掩模区域。响应于确定未识别出未掩模区域，方法900在框908处终止。在框906处，响应于确定已识别出至少一个未掩模区域，CPU 104将所识别出的至少一个未掩模区域添加到色彩掩模(例如色彩掩模212)。然后方法900在框908处终止。
在图6-图9的上述流程图中，该方法过程中的一个或多个可以被实施在包含计算机可读代码的计算机可读设备中，使得当计算机可读代码在计算设备上执行时执行一系列的步骤。在一些实现方式中，在不脱离本公开的精神和范围的情况下，方法的某些步骤被组合，同时执行或以不同顺序执行，或者被省略。因此，尽管以具体顺序对该方法步骤进行描述和说明，但具体顺序的步骤的使用并不意味着暗示对本公开的任何限制。在不脱离本公开的精神或范围的情况下，可以对步骤的顺序做出改变。因此，具体顺序的使用不应被视为具有限制意义，并且本公开的范围仅由所附权利要求来限定。
以上参考根据本公开实施例的方法、装置(系统)、以及计算机程序产品的流程图图示和/或方框图描述了本公开的方面。应当理解的是，流程图图示和/或方框图的每个框以及流程图图示和/或方框图中的框的组合能够由计算机程序指令来实现。可以以一种或多种编程语言的任何组合(其包括面向对象的编程语言但不局限于此)来编写用于执行本公开的方面的操作的计算机程序代码。可以将这些计算机程序指令提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器，以生产执行用于实现在流程图和/或方框图框中所指定的功能/动作的方法的机器。当经由计算机的处理器或其它可编程数据处理装置来执行指令时，实现这些方法。
如将进一步理解的是，可以使用软件、固件、或硬件的任何组合来实现本公开的实施例中的过程。因此，本公开的方面可以采取完全硬件实施例或者组合了软件(包括固件、常驻软件、微代码等)和硬件方面的实施例的形式，其在这里可以被统称为“电路”、“模块”、或“系统”。此外，本公开的方面可以采取在一个或多个计算机可读存储设备中实施的计算机程序产品的形式，所述计算机可读存储设备具有实施在其上的计算机可读程序代码。可以使用一个或多个计算机可读存储设备的任何组合。计算机可读存储设备可以是例如但不局限于电、磁、光、电磁、红外、或半导体系统、装置、或设备、或者前述的任何适当组合。计算机可读存储设备的更具体示例(非详尽列表)能够包括以下：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁存储设备、或前述的任何适当组合。在本文档的上下文中，计算机可读存储设备可以是任何有形介质，其能够包含或存储供指令执行系统、装置、或设备使用或与指令执行系统、装置、或设备结合在一起使用的程序。
在本文中使用的术语“有形”和“非暂时性”旨在描述除传播电磁信号之外的计算机可读存储介质(或“存储器”)；但是并不旨在以其它方式对短语“计算机可读介质”或存储器所涵盖的物理计算机可读存储设备的类型作出限制。例如，术语“非暂时性计算机可读介质”或“有形存储器”旨在涵盖不必永久地存储信息的存储设备的类型，其包括例如RAM。以非暂时形式存储在有形计算机可访问存储介质上的程序指令和数据可以通过传输介质或者诸如电信号、电磁信号、或数字信号这样的信号来传送，这些信号可以经由诸如网络和/或无线链接这样的通信介质传递。
尽管已经参考示例实施例描述了本公开，但是本领域普通技术人员将理解的是，在不脱离本公开的范围的情况下可以做出各种变化并且可对其元件进行等同物替换。另外，在不脱离其范围的情况下，可以做出许多修改以使具体系统、设备、或其组件适应本公开的教导。因此，意图是本公开不局限于所公开的用于执行本公开的具体实施例，而是本公开将包括落入到所附权利要求范围内的所有实施例。
已出于说明和描述的目的呈现出对本公开的描述，但是并不旨在是穷举的或以所公开形式限制公开内容。在不脱离本公开的范围的情况下，许多修改和变化对于本领域普通技术人员将是显而易见的。为了最好地说明本公开的原理及实际应用，并且使得本领域的其它普通技术人员能够理解具有如适合预期的特别使用的各种修改的各种实施例的公开，选择并说明了所描述的实施例。

Claims (16)

1.一种用于选择性地将色彩施加到图像的方法，包括：
由图像捕获设备的第一相机捕获当前场景内的彩色图像数据；
经由输入设备接收对所述彩色图像数据内的至少一个位置的选择；
基于至少一个选择的位置来生成色彩掩模；
检测所述彩色图像数据内的被所述至少一个部分当中的掩模区域完全环绕的至少一个未掩模区域；
将所述至少一个未掩模区域添加到所述色彩掩模；
将所述色彩掩模施加到所述彩色图像数据，以生成包括所述彩色图像数据的至少一个部分且略去了所述色彩掩模图像数据的剩余部分的色彩掩模图像数据；
对所述色彩掩模图像数据与所述当前场景的单色图像数据进行组合，以创建包括具有所述至少一个部分的所述单色图像数据的选择性彩色图像；以及
将所述选择性彩色图像提供给至少一个输出设备。
2.根据权利要求1所述的方法，进一步包括：
由所述图像捕获设备的第二相机同时捕获所述当前场景内的所述单色图像数据。
3.根据权利要求1所述的方法，进一步包括：
生成所述彩色图像数据的单色拷贝并存储所述单色拷贝作为所述单色图像数据。
4.根据权利要求1所述的方法，其中，生成所述色彩掩模进一步包括：
计算所述彩色图像数据的每个像素相对于所述至少一个选择的位置的概率分布；并且
将阈值施加到所述概率分布以生成所述色彩掩模，所述色彩掩模围绕所述彩色图像数据的至少一个区域，所述至少一个区域具有比所述阈值更大的匹配于平均色彩的概率，所述至少一个区域包括所述至少一个选择的位置。
5.根据权利要求4所述的方法，其中，计算所述概率分布进一步包括：
识别以所述至少一个选择的位置为中心的色彩区域内的多个色彩值；
平均所述多个色彩值以确定平均色彩；
计算所述彩色图像数据的每个像素距所述平均色彩的欧几里德距离；
通过施加feather参数来使每个像素的所述欧几里德距离归一化；
将Sigmoid函数施加到每个像素的归一化距离；并且
将所述Sigmoid函数的输出映射到预定范围，以生成所述彩色图像数据的每个像素的所述概率分布。
6.根据权利要求4所述的方法，进一步包括：
由所述图像捕获设备的所述第一相机和第二相机捕获实时扫描数据；
对由所述第一相机和所述第二相机捕获的所述实时扫描数据进行组合，以生成所述当前场景的深度图；
识别所述深度图内的至少一个未掩模区域，所述至少一个未掩模区域不被包含在所述色彩掩模中并且与所述至少一个部分相邻且具有与所述至少一个部分的深度相似的深度；并且
将所述至少一个未掩模区域添加到所述色彩掩模。
7.一种图像捕获设备， 包括：
存储器；
至少一个相机，所述至少一个相机捕获当前场景中的彩色图像数据；
至少一个输入设备，所述至少一个输入设备用于接收对所述彩色图像数据内的至少一个位置的选择；
至少一个处理器，所述至少一个处理器：
基于至少一个选择的位置来生成色彩掩模；
检测所述彩色图像数据内的被所述至少一个部分当中的掩模区域完全环绕的至少一个未掩模区域；
将所述至少一个未掩模区域添加到所述色彩掩模；
将所述色彩掩模施加到所述彩色图像数据，以生成包括所述彩色图像数据的至少一个部分且略去了所述色彩掩模图像数据的剩余部分的色彩掩模图像数据；
对所述色彩掩模图像数据与所述当前场景的单色图像数据进行组合，以创建包括具有所述至少一个部分的所述单色图像数据的选择性彩色图像；以及
将所述选择性彩色图像提供给至少一个输出设备。
8.根据权利要求7所述的图像捕获设备，进一步包括同时捕获所述当前场景内的所述单色图像数据的至少一个第二相机。
9.根据权利要求7所述的图像捕获设备，其中，所述至少一个处理器：
生成所述彩色图像数据的单色拷贝；并且
将所述单色拷贝作为所述单色图像数据存储到所述存储器。
10.根据权利要求7所述的图像捕获设备，其中，在生成所述色彩掩模中，所述至少一个处理器：
计算所述彩色图像数据的每个像素相对于所述至少一个选择的位置的概率分布；并且
将阈值施加到所述概率分布以生成所述色彩掩模，所述色彩掩模围绕所述彩色图像数据的至少一个区域，所述至少一个区域具有比所述阈值更大的匹配于平均色彩的概率，所述至少一个区域包括所述至少一个选择的位置。
11.根据权利要求10所述的图像捕获设备，其中，在计算所述概率分布中，所述至少一个处理器：
识别以所述至少一个选择的位置为中心的色彩区域内的多个色彩值；
平均所述多个色彩值以确定平均色彩；
计算所述彩色图像数据的每个像素距所述平均色彩的欧几里德距离；
通过施加feather参数来使每个像素的所述欧几里德距离归一化；
将Sigmoid函数施加到每个像素的归一化距离；并且
将所述Sigmoid函数的输出映射到预定范围，以生成所述彩色图像数据的每个像素的所述概率分布。
12.根据权利要求10所述的图像捕获设备，其中：
所述至少一个相机捕获所述当前场景内的实时扫描数据；
所述至少一个第二相机同时捕获所述当前场景内的实时扫描数据；以及
所述至少一个处理器：
对由所述至少一个相机和所述至少一个第二相机捕获的所述实时扫描数据进行组合，以生成所述当前场景的深度图；
识别所述深度图内的至少一个未掩模区域，所述至少一个未掩模区域不被包含在所述色彩掩模中并且与所述至少一个部分相邻且具有与所述至少一个部分的深度相似的深度；并且
将所述至少一个未掩模区域添加到所述色彩掩模。
13.一种计算机可读存储设备，其中所述计算机可读存储设备上的程序代码，当由与图像捕获设备相关联的处理器执行时，使得所述图像捕获设备能够提供以下功能：
由图像捕获设备的第一相机捕获当前场景内的彩色图像数据；
经由输入设备接收对所述彩色图像数据内的至少一个位置的选择；
基于至少一个选择的位置来生成色彩掩模；
检测所述彩色图像数据内的被所述至少一个部分当中的掩模区域完全环绕的至少一个未掩模区域；
将所述至少一个未掩模区域添加到所述色彩掩模；
将所述色彩掩模施加到所述彩色图像数据，以生成包括所述彩色图像数据的至少一个部分且略去了所述色彩掩模图像数据的剩余部分的色彩掩模图像数据；
对所述色彩掩模图像数据与所述当前场景的单色图像数据进行组合，以创建包括具有所述至少一个部分的所述单色图像数据的选择性彩色图像；以及
将所述选择性彩色图像提供给至少一个输出设备。
14.根据权利要求13所述的计算机可读存储设备，用于生成所述色彩掩模的所述程序代码进一步包括用于以下操作的代码：
计算所述彩色图像数据的每个像素相对于所述至少一个选择的位置的概率分布；并且
将阈值施加到所述概率分布以生成所述色彩掩模，所述色彩掩模围绕所述彩色图像数据的至少一个区域，所述至少一个区域具有比所述阈值更大的匹配于平均色彩的概率，所述至少一个区域包括所述至少一个选择的位置。
15.根据权利要求14所述的计算机可读存储设备，用于计算所述概率分布的所述程序代码进一步包括用于以下操作的代码：
识别以所述至少一个选择的位置为中心的色彩区域内的多个色彩值；
平均所述多个色彩值以确定平均色彩；
计算所述彩色图像数据的每个像素距所述平均色彩的欧几里德距离；
通过施加feather参数来使每个像素的所述欧几里德距离归一化；
将Sigmoid函数施加到每个像素的归一化距离；并且
将所述Sigmoid函数的输出映射到预定范围，以生成所述彩色图像数据的每个像素的所述概率分布。
16.根据权利要求13所述的计算机可读存储设备，所述程序代码进一步包括用于以下操作的代码：
由所述图像捕获设备的所述第一相机和第二相机捕获实时扫描数据；
对由所述第一相机和所述第二相机捕获的所述实时扫描数据进行组合，以生成所述当前场景的深度图；
识别所述深度图内的至少一个未掩模区域，所述至少一个未掩模区域不被包含在所述色彩掩模中并且与所述至少一个部分相邻且具有与所述至少一个部分的深度相似的深度；并且
将所述至少一个未掩模区域添加到所述色彩掩模。
CN201910116036.9A 2018-03-01 2019-02-15 选择性地将色彩施加到图像 Active CN110225331B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/909,353 2018-03-01
US15/909,353 US10645357B2 (en) 2018-03-01 2018-03-01 Selectively applying color to an image

Publications (2)

Publication Number Publication Date
CN110225331A CN110225331A (zh) 2019-09-10
CN110225331B true CN110225331B (zh) 2022-10-18

Family

ID=65528098

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910116036.9A Active CN110225331B (zh) 2018-03-01 2019-02-15 选择性地将色彩施加到图像

Country Status (4)

Country Link
US (2) US10645357B2 (zh)
CN (1) CN110225331B (zh)
DE (1) DE102019100512A1 (zh)
GB (1) GB2571618B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2952250T3 (es) * 2018-05-08 2023-10-30 Signify Holding Bv Método y dispositivo de control de iluminación para controlar una pluralidad de dispositivos de iluminación
CN114257707A (zh) * 2020-09-21 2022-03-29 安霸国际有限合伙企业 具有彩色夜间模式的智能ip摄像头
EP4155769A1 (de) 2021-09-23 2023-03-29 2pi-Labs GmbH Radarbasierte zielidentifikation, positionserkennung und/oder positionierung

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105940666A (zh) * 2014-01-31 2016-09-14 汤姆逊许可公司 将饱和图像变换成不饱和图像的方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5093717A (en) * 1987-08-03 1992-03-03 American Film Technologies, Inc. System and method for digitally coloring images
EP0949053A1 (en) * 1998-04-07 1999-10-13 COMMER S.p.A. Process and device for coinjection of multilayer products
US7417640B1 (en) * 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
US6785329B1 (en) * 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
US7266241B2 (en) * 2000-04-07 2007-09-04 Avid Technology, Inc. Secondary color modification of a digital image
JP3825740B2 (ja) * 2001-12-07 2006-09-27 株式会社リコー 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム
JP4309728B2 (ja) * 2003-09-17 2009-08-05 パナソニック株式会社 監視用ビデオカメラ
US20050231512A1 (en) * 2004-04-16 2005-10-20 Niles Gregory E Animation of an object using behaviors
US7502145B2 (en) * 2004-12-22 2009-03-10 Xerox Corporation Systems and methods for improved line edge quality
US7672509B2 (en) * 2005-05-02 2010-03-02 Regents Of The University Of Minnesota Fast image and video data propagation and blending using intrinsic distances
GB0616907D0 (en) * 2006-08-25 2006-10-04 Univ Bath Image construction
US7760937B2 (en) * 2007-03-29 2010-07-20 Xerox Corporation Automatic conversion of full color images to highlight color images
US8089485B2 (en) * 2007-07-17 2012-01-03 Prometech Software, Inc. Method for constructing data structure used for proximate particle search, program for the same, and storage medium for storing program
KR101271098B1 (ko) * 2008-09-24 2013-06-04 삼성테크윈 주식회사 디지털 촬영장치, 추적방법 및 추적방법을 실행시키기 위한프로그램을 저장한 기록매체
US20130121565A1 (en) * 2009-05-28 2013-05-16 Jue Wang Method and Apparatus for Local Region Selection
US8787663B2 (en) * 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8823726B2 (en) * 2011-02-16 2014-09-02 Apple Inc. Color balance
US8854370B2 (en) * 2011-02-16 2014-10-07 Apple Inc. Color waveform
GB2489675A (en) * 2011-03-29 2012-10-10 Sony Corp Generating and viewing video highlights with field of view (FOV) information
JP5806512B2 (ja) * 2011-05-31 2015-11-10 オリンパス株式会社 撮像装置、撮像方法および撮像プログラム
US9148637B2 (en) * 2011-11-04 2015-09-29 Microsoft Technology Licensing, Llc Face detection and tracking
US8971617B2 (en) * 2012-03-06 2015-03-03 Apple Inc. Method and interface for converting images to grayscale
US10424060B2 (en) * 2012-07-09 2019-09-24 Gauss Surgical, Inc. Method for estimating blood component quantities in surgical textiles
US9384585B2 (en) * 2012-10-23 2016-07-05 Electronics And Telecommunications Research Institute 3-dimensional shape reconstruction device using depth image and color image and the method
US10496658B2 (en) * 2013-03-14 2019-12-03 Adobe Inc. Method and system of visually depicting hierarchical data through selective colorization
US20150109323A1 (en) * 2013-10-18 2015-04-23 Apple Inc. Interactive black and white image editing
GB2519620B (en) * 2013-10-23 2015-12-30 Imagination Tech Ltd Skin colour probability map
US9251613B2 (en) * 2013-10-28 2016-02-02 Cyberlink Corp. Systems and methods for automatically applying effects based on media content characteristics
US9544649B2 (en) * 2013-12-03 2017-01-10 Aniya's Production Company Device and method for capturing video
RU2014110361A (ru) * 2014-03-18 2015-09-27 ЭлЭсАй Корпорейшн Процессор изображений, сконфигурированный для эффективной оценки и устранения информации переднего плана на изображениях
KR102207856B1 (ko) * 2014-05-14 2021-01-26 한국전자통신연구원 사용자의 손 영역을 검출하기 위한 사용자 손 검출 장치 및 그 동작 방법
US9736455B2 (en) * 2014-06-30 2017-08-15 Nokia Technologies Oy Method and apparatus for downscaling depth data for view plus depth data compression
US10547820B2 (en) * 2014-09-12 2020-01-28 Seek Thermal, Inc. Selective color display of a thermal image
EP3278204B1 (en) * 2015-03-31 2018-10-24 Philips Lighting Holding B.V. Color picker
CN105517677B (zh) * 2015-05-06 2018-10-12 北京大学深圳研究生院 深度图/视差图的后处理方法和装置
US9639945B2 (en) * 2015-08-27 2017-05-02 Lytro, Inc. Depth-based application of image effects
US10110880B2 (en) * 2015-09-25 2018-10-23 Amazon Technologies, Inc. Selective colorization using monochromic imagery
US9799106B2 (en) * 2015-12-16 2017-10-24 Dropbox, Inc. Enhancing a digital image
US10491895B2 (en) * 2016-05-23 2019-11-26 Intel Corporation Fast and robust human skin tone region detection for improved video coding
US10580140B2 (en) * 2016-05-23 2020-03-03 Intel Corporation Method and system of real-time image segmentation for image processing
US10475186B2 (en) 2016-06-23 2019-11-12 Intel Corportation Segmentation of objects in videos using color and depth information
KR102337931B1 (ko) * 2016-06-27 2021-12-13 로베르트 보쉬 게엠베하 동적 가림 핸들링을 위한 시스템들 및 방법들
US10341628B2 (en) * 2016-08-08 2019-07-02 Google Llc Monochrome-color mapping using a monochromatic imager and a color map sensor
US20180101939A1 (en) * 2016-10-07 2018-04-12 Microsoft Technology Licensing, Llc Control arrangements for digital image color enhancement
US10187637B2 (en) * 2017-03-07 2019-01-22 Filmic Inc. Inductive micro-contrast evaluation method
US10360732B2 (en) * 2017-03-23 2019-07-23 Intel Corporation Method and system of determining object positions for image processing using wireless network angle of transmission

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105940666A (zh) * 2014-01-31 2016-09-14 汤姆逊许可公司 将饱和图像变换成不饱和图像的方法

Also Published As

Publication number Publication date
US20190273901A1 (en) 2019-09-05
US11032529B2 (en) 2021-06-08
CN110225331A (zh) 2019-09-10
US10645357B2 (en) 2020-05-05
GB201900386D0 (en) 2019-02-27
DE102019100512A1 (de) 2019-09-05
US20200169709A1 (en) 2020-05-28
GB2571618A (en) 2019-09-04
GB2571618B (en) 2021-06-23

Similar Documents

Publication Publication Date Title
CN108594997B (zh) 手势骨架构建方法、装置、设备及存储介质
WO2019109801A1 (zh) 拍摄参数的调整方法、装置、存储介质及移动终端
WO2021008456A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN111179282B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN111179435B (zh) 增强现实处理方法及装置、系统、存储介质和电子设备
WO2017016030A1 (zh) 一种图像处理方法及终端
WO2018228168A1 (zh) 图像处理方法及相关产品
WO2019052329A1 (zh) 人脸识别方法及相关产品
CN112449120B (zh) 高动态范围视频生成方法及装置
US11032529B2 (en) Selectively applying color to an image
JP2016531362A (ja) 肌色調整方法、肌色調整装置、プログラム及び記録媒体
TW201903711A (zh) 影像處理方法及相關產品
US20230079582A1 (en) Image processing method and apparatus, terminal, and storage medium
CN109413399A (zh) 使用深度图合成对象的装置及其方法
CN111866483A (zh) 颜色还原方法及装置、计算机可读介质和电子设备
KR20200113522A (ko) 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
CN112967193A (zh) 图像校准方法及装置、计算机可读介质和电子设备
CN113570581A (zh) 图像处理方法及装置、电子设备和存储介质
KR102641738B1 (ko) 영상 처리 방법 및 이를 지원하는 전자 장치
CN109639981B (zh) 一种图像拍摄方法及移动终端
KR102609734B1 (ko) 전자 장치 및 이미지의 전송 상태에 기반하여 이미지를 보정하는 방법
CN109040729B (zh) 图像白平衡校正方法、装置、存储介质及终端
CN111050211B (zh) 视频处理方法、装置及存储介质
CN115330610A (zh) 图像处理方法、装置、电子设备以及存储介质
US10341531B2 (en) Applying a perceptually uniform color space for image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant