CN112183551A - 光照颜色预测方法、图像处理方法、装置及存储介质 - Google Patents

光照颜色预测方法、图像处理方法、装置及存储介质 Download PDF

Info

Publication number
CN112183551A
CN112183551A CN201910588967.9A CN201910588967A CN112183551A CN 112183551 A CN112183551 A CN 112183551A CN 201910588967 A CN201910588967 A CN 201910588967A CN 112183551 A CN112183551 A CN 112183551A
Authority
CN
China
Prior art keywords
image
illumination color
illumination
prediction
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910588967.9A
Other languages
English (en)
Inventor
王乔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to CN201910588967.9A priority Critical patent/CN112183551A/zh
Priority to US16/916,941 priority patent/US11488375B2/en
Publication of CN112183551A publication Critical patent/CN112183551A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种光照颜色预测方法、图像处理方法、装置及存储介质。本公开的方法同时考虑图像的语义特征和统计规律特征两者对图像的光照颜色预测的影响，因而，不论是对语义信息丰富的图像还是对语义信息缺乏的图像，都可准确地预测图像中的光照颜色。

Description

光照颜色预测方法、图像处理方法、装置及存储介质
技术领域
本公开涉及一种图像处理方法，尤其涉及一种对图像进行光照颜色预测的方法，以及基于光照颜色的预测结果对图像进行处理的方法。
背景技术
在计算机视觉领域中，颜色信息是静态图像和视频图像中的一项非常重要的属性信息。在对图像中的目标进行视觉识别时，被识别的目标的颜色与目标本身的颜色(即白光照射时目标表面光反射的颜色)和图像中的光照颜色都有关。以图1(a)和图1(b)所示的情况为例，假设图像中要被识别的目标是红色的苹果(这里，图1(a)和图1(b)是黑白图，用以例示，并不是实际颜色)。在白光照射苹果时(以图1(a)例示)，通过视觉识别，确定出的苹果的颜色是苹果本身的颜色(红色)，因此，可以正确地识别出图像中的目标是苹果。但是，在暗红色的光照射苹果时(以图1(b)例示)，苹果本身的颜色和光照的暗红色叠加，此时，通过视觉识别出的苹果的颜色并不是苹果真正的颜色(例如，棕色)，因此，可能会错误地将苹果识别为洋葱。
为了解决由于光照颜色影响所导致的视觉识别的误差，一种可行的做法是去除图像中的光照颜色(即去除图像中存在的光投射)，保留图像中目标本身的颜色(即白光照射时目标表面光反射的颜色)，从而在视觉识别中能够正确地识别出目标本身的颜色。
基于FC4的光照颜色预测方法(后续简称FC4方法)是一种已知的光照颜色的预测方法，通过从原图像中剥离出FC4方法所预测的光照颜色后，可得到白光场景下的图像，从而提高视觉识别的准确性。FC4方法是基于图像中的语义特征来预测图像的光照颜色的，但是，如果图像整体包含较少的语义特征，例如，图像中包含大面积的独色或是包含缺乏结构化信息的目标(如背景墙等)，则该方法所预测的光照颜色就不准确。
发明内容
现有技术中的FC4方法提出了一种基于置信度的全卷积网络模型。首先，将待处理的图像输入到全卷积网络模型中。然后，对输入的图像进行卷积运算、激活处理以及池化处理后，为图像的各区域设置置信度(权重)并生成与置信度无关的初级光照颜色预测。这里，为包含较多语义特征的区域设置高置信度，为包含较少语义特征的区域设置低置信度。基于设置的置信度以及初级光照颜色预测，生成最终的光照颜色预测。在利用FC4方法对图像进行光照颜色预测后，从原图像中去除预测的光照颜色，使原图像成为白光场景下的图像。之后，可对白光场景下的图像执行目标的视觉识别处理。
FC4方法假设的是包含不同语义特征的图像区域在光照颜色预测中的贡献度也不同，通过为图像中的各区域设置不同的置信度来反映不同区域对光照颜色预测的贡献度，从而以较高的准确性来预测光照颜色。正因如此，对于包含的语义特征多的图像而言，例如，图像中的目标是人或动物，或是有显著结构化信息的目标，如桌、椅等，利用FC4方法预测的光照颜色结果是值得信赖的。但是，对于包含较少语义特征的图像而言，例如，独色的背景墙，图像中的各区域的置信度基本相同，无法基于置信度来反映对光照颜色预测的贡献度，因此，FC4方法对这类图像的光照颜色预测是不准确的。从原图像中剥离出准确性不高的光照颜色后，得到的图像仍然受到明显的光照颜色影响，跟真实的白光照颜色射情况相比，视觉上能够直观地看出差异，这不利于视觉识别的结果。
本公开旨在提高对图像中的光照颜色预测的准确性。
根据本公开的一方面，提供一种对图像进行光照颜色预测的方法，所述方法包括：向神经网络模型输入图像；提取所述图像的基于语义的光照颜色特征以及图像的基于统计规律的光照颜色特征；根据所述基于语义的光照颜色特征和所述基于统计规律的光照颜色特征，预测所述图像的光照颜色。
根据本公开的另一方面，提供一种图像处理方法，所述图像处理方法包括：基于前述的对图像进行光照颜色预测的方法预测出图像的光照颜色；从图像中去除预测的光照颜色；
根据本公开的另一方面，提供一种图像处理方法，所述图像处理方法包括：基于前述的对图像进行光照颜色预测的方法预测出取景器中实时采集的图像的光照颜色；根据预测的光照颜色，自动调整拍摄的曝光量。
根据本公开的另一方面，提供一种图像处理方法，所述图像处理方法包括：基于前述的对图像进行光照颜色预测的方法预测出图像的光照颜色；将预测出的光照颜色改变为其他不同的光照颜色，得到光照颜色改变后的图像。
根据本公开的另一方面，提供一种对图像进行光照颜色预测的装置，所述装置包括：输入单元，其被构造为向神经网络模型输入图像；提取单元，其被构造为提取所述图像的基于语义的光照颜色特征以及图像的基于统计规律的光照颜色特征；预测单元，其被构造为根据所述基于语义的光照颜色特征和所述基于统计规律的光照颜色特征，预测所述图像的光照颜色。
根据本公开的另一方面，提供一种图像处理装置，所述装置包括：如前述的对图像进行光照颜色预测的装置；光照颜色去除单元，其被构造为从图像中去除所述对图像进行光照颜色预测的装置所预测的光照颜色；识别单元，其被构造为对去除了光照颜色的图像进行目标识别。
根据本公开的另一方面，提供一种图像处理装置，所述装置包括：如前述的对图像进行光照颜色预测的装置；曝光量调整单元，其被构造为根据所述对图像进行光照颜色预测的装置所预测的取景器中实时采集的图像的光照颜色，自动调整拍摄的曝光量。
根据本公开的另一方面，提供一种图像处理装置，所述装置包括：如前述的对图像进行光照颜色预测的装置；光照颜色改变单元，其被构造为将所述对图像进行光照颜色预测的装置所预测出的光照颜色改变为其他不同的光照颜色，得到光照颜色改变后的图像。
根据本公开的另一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使处理器执行前述对图像进行光照颜色预测的方法的步骤。
从以下参照附图对示例性实施例的描述，本公开的其它特征将变得清楚。
附图说明
下面结合具体的实施例，并参照附图，对本公开的实施方式的上述和其它目的和优点做进一步的描述。在附图中，相同的或对应的技术特征或部件将采用相同或对应的附图标记来表示。
图1(a)和图1(b)是光照颜色为白光和暗红色光的示例。
图2是运行本公开的光照颜色预测方法的硬件示意图。
图3是本公开第一示例性实施例的光照颜色预测方法步骤流程示意图。
图4是本公开第一示例性实施例的网络模型示例。
图5是本公开第五示例性实施例的装置结构示意图。
具体实施方式
在下文中将结合附图对本公开的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实施例的所有特征。然而，应该了解，在对实施例进行实施的过程中必须做出很多特定于实施方式的设置，以便实现开发人员的具体目标，例如，符合与设备及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还应当注意，为了避免因不必要的细节而模糊了本公开，在附图中仅仅示出了与至少根据本公开的方案密切相关的处理步骤和/或系统结构，而省略了与本公开关系不大的其他细节。
为了提高对图像中的光照颜色预测的准确性，本公开提出了一种优化的光照颜色预测方法，一方面，从图像中提取语义特征，另一方面，还从图像中提取统计规律特征，同时基于语义特征和统计规律特征两者来预测图像的光照颜色。利用本公开的光照颜色预测方法，既考虑到了包含较多语义特征的图像中的语义特征对光照颜色的影响，又兼顾了包含较少语义特征的图像中的统计规律，从而提高光照颜色预测结果的准确性。
本公开提出的光照颜色预测方法可应用在多层神经网络模型中，图2示出了运行该多层神经网络模型的硬件环境，其中包括：处理器单元10、内部存储器单元11、网络接口单元12、输入单元13、外部存储器14以及总线单元15。
所述处理器单元10可以是CPU或GPU。所述内部存储器单元11包括随机存取存储器(RAM)、只读存储器(ROM)。所述RAM可用作处理器单元10的主存储器、工作区域等。ROM可用于存储处理器单元10的控制程序，此外，还可以用于存储在运行控制程序时要使用的文件或其他数据。网络接口单元12可连接到网络并实施网络通信。输入单元13控制来自键盘、鼠标等设备的输入。外部存储器14存储启动程序以及各种应用等。总线单元15用于使各单元相连接。
图2所示的硬件结构仅仅是说明性的并且决不意图对本公开、其应用或用途进行任何限制。图2所示的硬件结构可以被实施于任何实施例，可作为独立计算机，或者也可作为设备中的处理系统，可以移除一个或更多个不必要的组件，也可以向其添加一个或更多个附加的组件。
下面，将参照附图对本公开的各实施例进行详细的描述。
<第一示例性实施例>
图3描述了本公开第一示例性实施例的光照颜色预测方法的步骤流程示意图。在本实施例一中，通过将RAM作为工作存储器，使CPU 10执行存储在ROM和/或外部存储器14中的光照颜色预测程序来实施图3所示的光照颜色预测处理流程。
步骤S100：向神经网络模型输入图像。
本公开各实施例中所述的图像(或图像数据)可以是静态图像，也可以是视频图像，本公开并不对被处理的图像的类型做限定。
本公开提出的光照颜色预测方法所应用的神经网络模型可以是卷积神经网络模型，本公开并不对神经网络模型的结构和类型做限定。
步骤S101：提取所述神经网络模型输出的所述图像的基于语义的光照颜色特征。
本公开各实施例中所述的光照颜色特征可以是基于RGB的三维颜色空间中的特征，但本公开也可针对其他的颜色空间提取相应的基于语义的光照颜色特征，本公开并不对此做限定。
本步骤S101中可采用FC4方法来提取基于语义的光照颜色特征，通过一系列的卷积运算、激活处理以及池化处理后，从图像中提出基于语义的光照颜色特征。以图4所示的神经网络模型为例，假设用于提取基于语义的光照颜色特征的卷积神经网络模型的参数如下：卷积核为3×3×64，步长为2×2，池化处理为3×3的最大值(最大池化)。经过图4所示的三组卷积模块组的运算后，输出基于语义的光照颜色特征。这里，为使运算简便，在以RGB图像空间为例的情况下，输出1×1×4的光照颜色特征，其中，除了分别针对RGB的三个通道外，还有针对FC4方法中设置的置信度的一个通道。
步骤S102：提取神经网络模型输出的图像的基于统计规律的光照颜色特征。
以下将描述实现本步骤S102的方式，需要说明的是，以下只是实现步骤S102的优选方法而非必选方法。
步骤S102-1：将图像进行卷积运算，得到像素级的多通道特征图。
为简化运算，在图4所示的神经网络模型中，将图像在卷积核为1×1×8的卷积层中进行卷积运算后，得到8通道的特征图。
步骤S102-2：将多通道的特征图整合为单通道的特征图。
在本步骤S102-2中，以特征图中的像素点为单位，将每个像素点对应的多个通道的最小像素值(或平均像素值)作为该像素点的值，得到单通道的特征图。
步骤S102-3：将步骤S102-2得到的特征图与原图像的特征图进行像素级的处理，得到像素级的特征图。
这里的像素级的处理可以是将步骤S102-2得到的特征图与原图像的特征图的像素进行逐位相加、相乘或取平均等处理。
以上步骤S102-2和步骤S102-3是实现本实施例一的优选步骤，本实施例一也可不执行步骤S102-2和步骤S102-3，而是基于步骤S102-1得到的特征图直接进入步骤S102-4。
步骤S102-4：从步骤S102-3中得到的特征图中划分出多个像素块，将划分出的像素块整合后输出基于统计规律的光照颜色特征。
这里，多个划分出的像素块可以以像素点为单位，将同一位置处的像素点的像素值相加(或相乘或取平均)后，得到整合后的像素块。再将整合后的像素块经过卷积运算得到基于统计规律的光照颜色特征。这里，为使运算简便，在以RGB图像空间为例的情况下，输出1×1×3的光照颜色特征。
在本步骤S102-4中，可采用随机的方式，以像素为单位划分像素块，并将划分出的像素块进行整合。这样做的目的是：对于包含较少语义信息的图像或是缺乏结构化信息的图像而言，采用诸如FC4方法来预测光照颜色的预测结果是不准确的，因此，采用随机方式，打破图像中相邻像素点(像素块)之间的空间关联，排除非主体颜色的干扰，基于统计规律确定出图像中的主体颜色，从而使图像的光照颜色的预测结果更准确。
需要说明的是，在本实施例一中，可以采用随机取块的方式来打破相邻像素点之间的空间关联，也可以按照预设的步长按位置顺序依次取块，划分出的像素块在整合时随机排列，也可达到打破相邻像素点之间的空间关联的目的。
本公开对于划分出的像素块的大小不做限定，例如，若要被划分的特征图是100×100(像素)，则划分出的像素块可以包括3×3像素块、1×1像素块以及10×10像素块等。当然，本公开也不限于使划分出的多个像素块的大小相同的情况。
本公开对于划分出的像素块的数量不做限定，当然，考虑到统计结果的准确性，可设定被划分到像素块中的像素点的数量与特征图中的全部像素点的数量之比不小于预定比值。进一步地，考虑到同一像素点可被重复划分到不同的像素块中，因此，可设定被划分到像素块中的、不重复的像素点的数量与特征图中的全部像素点的数量之比不小于预定比值。例如，被划分到像素块中的、不重复的像素点的数量与特征图中的全部像素点的数量之比不小于70％，换句话说，特征图中70％以上的像素点要被划分到用于整合的像素块中。以100×100像素点的特征图为例，可划分出900个3×3的像素块，这900个像素块之间彼此不重合；在另一个例子中，可划分出1000个3×3的像素块，这100个像素块中存在部分或全部重合的像素块。
在本实施例中，步骤S101和步骤S102的执行顺序不固定，即，可以先执行步骤S101提取出基于统计规律的光照颜色特征后，再执行步骤S102提取基于统计规律的光照颜色特征，也可以先执行提取基于统计规律的光照颜色特征的步骤，再执行提取基于统计规律的光照颜色特征的步骤，还可以并行执行步骤S101和步骤S102，同时提取基于统计规律的光照颜色特征和基于统计规律的光照颜色特征。
步骤S103：根据基于语义的光照颜色特征和基于统计规律的光照颜色特征，预测图像的光照颜色。
仍以图4所示的神经网络模型为例，从步骤S101的支路中输出1×1×4的基于语义的光照颜色特征，从步骤S102的支路中输出1×1×3的基于统计规律的光照颜色特征。将基于语义的光照颜色特征和基于统计规律的光照颜色特征进行整合，这里的整合可以是两个特征的直接整合，也可以是为不同的特征分配权重后，依权重的整合，本公开并不对特征的整合方法做限定。由于这两条支路的光照颜色特征的通道数不同，可以将两个支路的光照颜色特征的通道数都合并成单通道后再进行整合，也可以采用其他方式，如通道扩展(复制)等方式，使两个支路的光照颜色特征的通道相同后，再进行整合，得到光照颜色的预测结果。
基于本公开第一实施例的光照颜色的预测方法，不仅可以较为准确地预测包含较多语义特征的图像的光照颜色，还可以根据统计规律确定出的图像的主体颜色，对于包含较少语义特征的图像的光照颜色也可以准确地估计。进一步地，在提取基于统计规律的光照颜色特征时，打破了图像中相邻像素点(像素块)之间的空间关联，排除非主体颜色的干扰，从而确保预测的图像的光照颜色的准确性。
<第二示例性实施例>
本公开第二示例性实施例是自动白平衡(Automatic white balance，AWB)处理过程。将有色光照射的图像I经第一示例性实施例的方法预测出图像的光照颜色L后，从图像I中去除预测的光照颜色L，得到白平衡图像。这里，去除预测的光照颜色的方法可以采用业界已知的方法，本公开并不对去除预测的光照颜色的方法做限定。本实施例二旨在将有色光照射的图像校正为白光照射的图像，作为一种颜色校正的实施例，通过本实施例二的方法可以获得白平衡图像。之后，可以对白平衡图像执行目标识别等处理，从而可以提高目标识别的准确性。
<第三示例性实施例>
本公开第三示例性实施例是在第一示例性实施例的基础上，根据预测的光照颜色，执行适当的自动曝光(Automatic Exposure，AE)。在实施例三中，将相机的取景器中实时采集的图像作为第一示例性实施例中被处理的图像，得到该图像的光照颜色预测，作为当前取景器中的光照颜色。根据取景器当前的光照颜色，自动调整拍摄的曝光量，使得相机拍摄的图像的曝光结果适当。
<第四示例性实施例>
本公开第四示例性实施例是在第一示例性实施例的基础上，根据预测的光照颜色，根据需求改变光照颜色，得到光照颜色改变后的图像。将以第一光照颜色照射的图像经第一示例性实施例的方法预测出图像的第一光照颜色后，根据需求，将第一光照颜色改变为第二光照颜色，例如，将作为第一光照颜色的红光的RGB值改变为作为第二光照颜色的黄光的RGB值，从而实现图像的光照颜色的改变。本实施例四的一种应用场景为相机拍摄的滤镜改变。
<第五示例性实施例>
本公开第五示例性实施例公开了与第一示例性实施例属于同一发明构思的对图像进行光照颜色预测的装置，如图5所示，所述装置包括：输入单元21、提取单元22和预测单元23，其中，输入单元21向神经网络模型输入图像；提取单元22提取所述图像的基于语义的光照颜色特征以及图像的基于统计规律的光照颜色特征；预测单元23根据所述基于语义的光照颜色特征和所述基于统计规律的光照颜色特征，预测所述图像的光照颜色。
上述各单元同样能够执行本公开第一示例性实施例中的各步骤，此处不再赘述。
本公开还公开了与第二、第三、第四示例性实施例属于同一发明构思下的图像处理装置，此处不再赘述。
其他实施例
本发明的实施例还可以通过读出并执行记录在存储介质(也可以更完全地被称为“非暂时的计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行一个或多个上述实施例的功能并且/或者包括用于执行一个或多个上述实施例的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机来实现，并且通过由系统或装置的计算机执行的方法来实现，通过例如从存储介质读出并执行计算机可读指令以执行一个或多个上述实施例的功能并且/或者控制一个或多个电路以执行一个或多个上述实施例的功能。该计算机可以包括一个或多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括独立的计算机或独立的处理器的网络来读出并执行计算机可执行指令。该计算机可执行指令可以从例如网络或存储介质提供给计算机。该存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储、光盘(诸如压缩盘(CD)、数字通用盘(DVD)或蓝光盘(BD)(注册商标))、闪存设备、存储卡等中的一个或多个。
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参照示例性实施例对本发明进行了描述，但是应当理解，本发明不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有变型、等同结构和功能。

Claims (13)

1.一种对图像进行光照颜色预测的方法，其特征在于，所述方法包括：
向神经网络模型输入图像；
提取所述图像的基于语义的光照颜色特征以及图像的基于统计规律的光照颜色特征；
根据所述基于语义的光照颜色特征和所述基于统计规律的光照颜色特征，预测所述图像的光照颜色。
2.根据权利要求1所述的方法，其中，提取图像的基于统计规律的光照颜色特征，具体包括：
从所述图像的特征图随机划分出多个像素块；
将划分出的像素块整合后，得到图像的基于统计规律的光照颜色特征。
3.根据权利要求1所述的方法，其中，将划分出的像素块整合，具体包括：
将划分出的像素块在同一位置处的像素点的像素值相加、或相乘或取平均后，得到整合后的像素块。
4.根据权利要求2所述的方法，其中，被划分到像素块中的像素点的数量与所述图像的特征图中的全部像素点的数量之比不小于预定比值。
5.根据权利要求2所述的方法，其中，划分出的多个像素块之间像素点完全不重合，或存在部分或全部重合的像素块。
6.一种图像处理方法，其特征在于，所述图像处理方法包括：
基于权利要求1-5任一所述的权利要求预测出图像的光照颜色；
从图像中去除预测的光照颜色；
对去除了光照颜色的图像进行目标识别。
7.一种图像处理方法，其特征在于，所述图像处理方法包括：
基于权利要求1-5任一所述的权利要求预测出取景器中实时采集的图像的光照颜色；
根据预测的光照颜色，自动调整拍摄的曝光量。
8.一种图像处理方法，其特征在于，所述图像处理方法包括：
基于权利要求1-5任一所述的权利要求预测出图像的光照颜色；
将预测出的光照颜色改变为其他不同的光照颜色，得到光照颜色改变后的图像。
9.一种对图像进行光照颜色预测的装置，其特征在于，所述装置包括：
输入单元，其被构造为向神经网络模型输入图像；
提取单元，其被构造为提取所述图像的基于语义的光照颜色特征以及图像的基于统计规律的光照颜色特征；
预测单元，其被构造为根据所述基于语义的光照颜色特征和所述基于统计规律的光照颜色特征，预测所述图像的光照颜色。
10.一种图像处理装置，其特征在于，所述装置包括：
如权利要求9所述的对图像进行光照颜色预测的装置；
光照颜色去除单元，其被构造为从图像中去除所述对图像进行光照颜色预测的装置所预测的光照颜色；
识别单元，其被构造为对去除了光照颜色的图像进行目标识别。
11.一种图像处理装置，其特征在于，所述装置包括：
如权利要求9所述的对图像进行光照颜色预测的装置；
曝光量调整单元，其被构造为根据所述对图像进行光照颜色预测的装置所预测的取景器中实时采集的图像的光照颜色，自动调整拍摄的曝光量。
12.一种图像处理装置，其特征在于，所述装置包括：
如权利要求9所述的对图像进行光照颜色预测的装置；
光照颜色改变单元，其被构造为将所述对图像进行光照颜色预测的装置所预测出的光照颜色改变为其他不同的光照颜色，得到光照颜色改变后的图像。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使处理器执行根据权利要求1至5中任一项所述的方法的步骤。
CN201910588967.9A 2019-07-02 2019-07-02 光照颜色预测方法、图像处理方法、装置及存储介质 Pending CN112183551A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910588967.9A CN112183551A (zh) 2019-07-02 2019-07-02 光照颜色预测方法、图像处理方法、装置及存储介质
US16/916,941 US11488375B2 (en) 2019-07-02 2020-06-30 Illumination color prediction method, image processing method, apparatus and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910588967.9A CN112183551A (zh) 2019-07-02 2019-07-02 光照颜色预测方法、图像处理方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112183551A true CN112183551A (zh) 2021-01-05

Family

ID=73914950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910588967.9A Pending CN112183551A (zh) 2019-07-02 2019-07-02 光照颜色预测方法、图像处理方法、装置及存储介质

Country Status (2)

Country Link
US (1) US11488375B2 (zh)
CN (1) CN112183551A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599241A (zh) * 2014-12-05 2015-05-06 上海交通大学 全自动高效计算的颜色一致性方法
US20160358338A1 (en) * 2015-06-05 2016-12-08 Canon Kabushiki Kaisha Image recognition apparatus, image recognition method, and recording medium
CN106651795A (zh) * 2016-12-03 2017-05-10 北京联合大学 一种利用光照估计来校正图像颜色的方法
CN108388905A (zh) * 2018-03-21 2018-08-10 合肥工业大学 一种基于卷积神经网络和邻域上下文的光源估计方法
CN109618145A (zh) * 2018-12-13 2019-04-12 深圳美图创新科技有限公司 色彩恒常性校正方法、装置及图像处理设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4056968B2 (ja) * 2003-12-02 2008-03-05 ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー Ｘ線ｃｔ装置および画像処理方法
US8570396B2 (en) * 2009-04-23 2013-10-29 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8629919B2 (en) * 2010-08-18 2014-01-14 Canon Kabushiki Kaisha Image capture with identification of illuminant
KR101817650B1 (ko) * 2010-09-08 2018-01-11 삼성전자주식회사 초점 조절 장치
US8890923B2 (en) * 2012-09-04 2014-11-18 Cisco Technology, Inc. Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions
KR102477190B1 (ko) * 2015-08-10 2022-12-13 삼성전자주식회사 얼굴 인식 방법 및 장치
US10325351B2 (en) * 2016-03-11 2019-06-18 Qualcomm Technologies, Inc. Systems and methods for normalizing an image
US10430978B2 (en) * 2017-03-02 2019-10-01 Adobe Inc. Editing digital images utilizing a neural network with an in-network rendering layer
US10609286B2 (en) * 2017-06-13 2020-03-31 Adobe Inc. Extrapolating lighting conditions from a single digital image
US10475169B2 (en) * 2017-11-28 2019-11-12 Adobe Inc. High dynamic range illumination estimation
CN110533707B (zh) * 2018-05-24 2023-04-14 微软技术许可有限责任公司 照明估计
CN109191558B (zh) * 2018-07-27 2020-12-08 深圳市商汤科技有限公司 图像打光方法和装置
RU2697627C1 (ru) * 2018-08-01 2019-08-15 Самсунг Электроникс Ко., Лтд. Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ
JP7252970B2 (ja) * 2018-10-12 2023-04-05 富士フイルム株式会社 医用画像処理装置、内視鏡システム、及び医用画像処理装置の作動方法
JP6912788B2 (ja) * 2018-11-09 2021-08-04 ルニット・インコーポレイテッドＬｕｎｉｔ Ｉｎｃ． アノテーション作業の管理方法、それを支援する装置およびシステム
US10936909B2 (en) * 2018-11-12 2021-03-02 Adobe Inc. Learning to estimate high-dynamic range outdoor lighting parameters
EP3864838B1 (en) * 2018-11-16 2023-09-20 Huawei Technologies Co., Ltd. Meta-learning for camera adaptive color constancy
US10692277B1 (en) * 2019-03-21 2020-06-23 Adobe Inc. Dynamically estimating lighting parameters for positions within augmented-reality scenes using a neural network
US10665011B1 (en) * 2019-05-31 2020-05-26 Adobe Inc. Dynamically estimating lighting parameters for positions within augmented-reality scenes based on global and local features

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599241A (zh) * 2014-12-05 2015-05-06 上海交通大学 全自动高效计算的颜色一致性方法
US20160358338A1 (en) * 2015-06-05 2016-12-08 Canon Kabushiki Kaisha Image recognition apparatus, image recognition method, and recording medium
CN106651795A (zh) * 2016-12-03 2017-05-10 北京联合大学 一种利用光照估计来校正图像颜色的方法
CN108388905A (zh) * 2018-03-21 2018-08-10 合肥工业大学 一种基于卷积神经网络和邻域上下文的光源估计方法
CN109618145A (zh) * 2018-12-13 2019-04-12 深圳美图创新科技有限公司 色彩恒常性校正方法、装置及图像处理设备

Also Published As

Publication number Publication date
US20210004631A1 (en) 2021-01-07
US11488375B2 (en) 2022-11-01

Similar Documents

Publication Publication Date Title
EP3757890A1 (en) Method and device for image processing, method and device for training object detection model
CN111445418B (zh) 图像去雾处理方法、装置及计算机设备
US10621729B2 (en) Adaptive focus sweep techniques for foreground/background separation
US9390475B2 (en) Backlight detection method and device
US11080553B2 (en) Image search method and apparatus
EP3139343B1 (en) Image processing apparatus, image processing method, and a program
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
EP3226176B1 (en) Method for learning rejector by forming classification tree in use of training images and detecting object in test images, and rejector using the same
CN113239875B (zh) 人脸特征的获取方法、系统、装置及计算机可读存储介质
US20210358081A1 (en) Information processing apparatus, control method thereof, imaging device, and storage medium
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
KR20180109658A (ko) 영상 처리 방법과 장치
CN110348358B (zh) 一种肤色检测系统、方法、介质和计算设备
CN111127476A (zh) 一种图像处理方法、装置、设备及存储介质
US20200143582A1 (en) Image processing apparatus, image processing method, and storage medium
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
CN107343188A (zh) 图像处理方法、装置及终端
CN111373436A (zh) 图像处理方法、终端设备及存储介质
CN108764248B (zh) 图像特征点的提取方法和装置
CN112889061B (zh) 人脸图像质量评估方法、装置、设备及存储介质
KR101592087B1 (ko) 배경 영상의 위치를 이용한 관심맵 생성 방법 및 이를 기록한 기록 매체
CN109978863B (zh) 基于x射线图像的目标检测方法及计算机设备
CN112183551A (zh) 光照颜色预测方法、图像处理方法、装置及存储介质
CN114998172A (zh) 图像处理方法及相关系统
US9948912B2 (en) Method for performing depth information management in an electronic device, and associated apparatus and associated computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210105