CN113676639A - 图像处理方法、处理装置、电子设备及介质 - Google Patents

图像处理方法、处理装置、电子设备及介质 Download PDF

Info

Publication number
CN113676639A
CN113676639A CN202110941253.9A CN202110941253A CN113676639A CN 113676639 A CN113676639 A CN 113676639A CN 202110941253 A CN202110941253 A CN 202110941253A CN 113676639 A CN113676639 A CN 113676639A
Authority
CN
China
Prior art keywords
response curve
spectral response
preset
spectral
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110941253.9A
Other languages
English (en)
Other versions
CN113676639B (zh
Inventor
李小涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110941253.9A priority Critical patent/CN113676639B/zh
Publication of CN113676639A publication Critical patent/CN113676639A/zh
Application granted granted Critical
Publication of CN113676639B publication Critical patent/CN113676639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种图像处理方法、处理装置、电子设备及介质。多光谱相机模组包括对应不同第一光谱响应曲线的多个通道。图像处理方法包括：根据目标色彩校正矩阵对多光谱相机模组所拍摄的图像进行色彩还原处理，目标色彩校正矩阵为使得根据预设响应曲线确定的预设物体的目标颜色值与预设物体在预设光源下的校正颜色值的偏差达到最小时对应的色彩校正矩阵，校正颜色值根据处理第四光谱响应曲线得到的在预设光源下的第二光谱响应曲线、预设物体在预设光源下的第三光谱响应曲线和色彩校正矩阵确定，第四光谱响应曲线为根据预设响应曲线拟合第一光谱响应曲线得到的曲线。上述图像处理方法中能够提高多光谱相机模组的色彩还原的准确性。

Description

图像处理方法、处理装置、电子设备及介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、处理装置、电子设备及介质。
背景技术
通常情况下，考虑到光源和相机模组的性能对原始数据中物体颜色的影响，在通过相机模组获取到原始数据之后，需要对原始数据进行色彩还原处理，以保证输出图像中物体的颜色符合人眼观看到的物体的颜色。然而，在相关技术中，需要预先使用相机模组拍摄24色卡的原始图像来计算色彩校正矩阵(Color Correction Matrix，CCM)，然后仅仅针对相机模组获取到的RGB三通道的数据进行色彩还原处理，这种方法不适用于多光谱相机模组，无法对多光谱相机模组的多个通道的数据进行准确的色彩还原处理。
发明内容
本申请的实施方式提供了一种图像处理方法、处理装置、电子设备及介质。
本申请实施方式的图像处理方法用于多光谱相机模组。所述多光谱相机模组包括多个通道，一个所述通道对应一种第一光谱响应曲线。所述图像处理方法包括：根据目标色彩校正矩阵对所述多光谱相机模组所拍摄的图像进行色彩还原处理，所述目标色彩校正矩阵为使得预设物体的目标颜色值与所述预设物体在预设光源下的校正颜色值的偏差达到最小时对应的色彩校正矩阵，所述目标颜色值根据预设响应曲线确定，所述校正颜色值根据第二光谱响应曲线、所述预设物体在预设光源下的第三光谱响应曲线和所述色彩校正矩阵确定，所述第二光谱响应曲线为处理第四光谱响应曲线得到的在所述预设光源下的曲线，所述第四光谱响应曲线为根据预设响应曲线拟合所述第一光谱响应曲线得到的曲线，所述第四光谱响应曲线的数量少于所述第一光谱响应曲线的数量，所述第四光谱响应曲线的数量等于所述预设响应曲线的数量。
本申请实施方式的处理装置用于多光谱相机模组。所述多光谱相机模组包括多个通道，一个所述通道对应一种第一光谱响应曲线。所述处理装置包括色彩还原模块。色彩还原模块用于根据目标色彩校正矩阵对所述多光谱相机模组所拍摄的图像进行色彩还原处理，所述目标色彩校正矩阵为使得预设物体的目标颜色值与所述预设物体在预设光源下的校正颜色值的偏差达到最小时对应的色彩校正矩阵，所述目标颜色值根据预设响应曲线确定，所述校正颜色值根据第二光谱响应曲线、所述预设物体在预设光源下的第三光谱响应曲线和所述色彩校正矩阵确定，所述第二光谱响应曲线为处理第四光谱响应曲线得到的在所述预设光源下的曲线，所述第四光谱响应曲线为根据预设响应曲线拟合所述第一光谱响应曲线得到的曲线，所述第四光谱响应曲线的数量少于所述第一光谱响应曲线的数量，所述第四光谱响应曲线的数量等于所述预设响应曲线的数量。
本申请实施方式的电子设备包括一个或多个处理器和存储器。所述存储器存储有计算机程序。所述计算机程序被所述处理器执行的情况下，实现上述实施方式所述的图像处理方法的步骤。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现上述实施方式所述的图像处理方法的步骤。
上述图像处理方法、处理装置、电子设备及介质中，通过确定多光谱相机模组的目标色彩校正矩阵，能够提高多光谱相机模组的色彩还原的准确性。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的处理装置的示意图；
图2是本申请实施方式的电子设备的示意图；
图3是本申请实施方式的图像处理方法的第一光谱响应曲线的示意图；
图4是本申请实施方式的图像处理方法的滤光片单元的示意图；
图5是本申请实施方式的图像处理方法的预设响应曲线的示意图；
图6是本申请实施方式的图像处理方法的预设响应曲线与第四光谱响应曲线的比较示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
本申请实施方式的图像处理方法用于多光谱相机模组。多光谱相机模组包括多个通道，一个通道对应一种第一光谱响应曲线，图像处理方法包括：
011：根据目标色彩校正矩阵对所述多光谱相机模组所拍摄的图像进行色彩还原处理，所述目标色彩校正矩阵为使得预设物体的目标颜色值与所述预设物体在预设光源下的校正颜色值的偏差达到最小时对应的色彩校正矩阵，所述目标颜色值根据预设响应曲线确定，所述校正颜色值根据第二光谱响应曲线、所述预设物体在预设光源下的第三光谱响应曲线和所述色彩校正矩阵确定，所述第二光谱响应曲线为处理第四光谱响应曲线得到的在所述预设光源下的曲线，所述第四光谱响应曲线为根据预设响应曲线拟合所述第一光谱响应曲线得到的曲线，所述第四光谱响应曲线的数量少于所述第一光谱响应曲线的数量，所述第四光谱响应曲线的数量等于所述预设响应曲线的数量。
请结合图1，本申请实施方式的图像处理方法可由本申请实施方式的处理装置100实现。具体地，处理装置100包括色彩还原模块11。色彩还原模块11用于根据目标色彩校正矩阵对所述多光谱相机模组所拍摄的图像进行色彩还原处理，所述目标色彩校正矩阵为使得预设物体的目标颜色值与所述预设物体在预设光源下的校正颜色值的偏差达到最小时对应的色彩校正矩阵，所述目标颜色值根据预设响应曲线确定，所述校正颜色值根据第二光谱响应曲线、所述预设物体在预设光源下的第三光谱响应曲线和所述色彩校正矩阵确定，所述第二光谱响应曲线为处理第四光谱响应曲线得到的在所述预设光源下的曲线，所述第四光谱响应曲线为根据预设响应曲线拟合所述第一光谱响应曲线得到的曲线，所述第四光谱响应曲线的数量少于所述第一光谱响应曲线的数量，所述第四光谱响应曲线的数量等于所述预设响应曲线的数量。
请结合图2，本申请实施方式的图像处理方法可由本申请实施方式的电子设备200实现。具体地，电子设备200包括一个或多个处理器202和存储器204。存储器204存储有计算机程序。计算机程序被处理器202执行的情况下，实现本申请实施方式的图像处理方法的步骤。在某些实施方式中，电子设备200可包括本体和多光谱相机模组，多光谱相机模组与本体结合。电子设备可包括智能手机、平板电脑、笔记本电脑、柜员机、智能手表、智能手环、智能家电、游戏机、头显设备或者其他任意具有拍摄功能的装置。
上述图像处理方法、处理装置及电子设备中，通过确定多光谱相机模组的目标色彩校正矩阵，能够提高多光谱相机模组的色彩还原的准确性。
具体地，多个通道可以理解为大于3个通道，即多光谱相机模组可包括至少4个通道，例如，多光谱相机模组可包括6个通道，分别为红色(Red，R)通道、绿色(Green，G)通道、蓝色(Blued，B)通道、青色(Cyan，C)通道、品红色(Magenta，M)通道和黄色(Yellow，Y)通道，6个通道对应的6种第一光谱响应曲线分别为R曲线、G曲线、B曲线、C曲线、M曲线和Y曲线，如图3所示。多光谱相机模组也可包括8个通道、12个通道，在此不做限定。以下将以多光谱相机模组包括R、G、B、C、M、Y这6个通道为例对本申请实施方式的图像处理方法的技术方案和技术效果进行说明。
在某些实施方式中，多光谱相机模组包括滤光片阵列和像素阵列。滤光片阵列包括多个滤光片单元，每个滤光片单元呈4行4列排列，请结合图4，每个滤光片单元300包括第一滤光片组32、第二滤光片组34和第三滤光片组36，第一滤光片组32包括第一滤光片322和第二滤光片324，第二滤光片组34包括第三滤光片342和第四滤光片344，第三滤光片组36包括第五滤光片362和第六滤光片364。其中，第一滤光片组32呈2行2列排列，第一滤光片322沿第一对角线方向F1排列，第二滤光片324沿第二对角线方向F2排列；第二滤光片组34呈2行2列排列，第三滤光片342沿与第一对角线方向F1排列，第四滤光片344沿第二对角线方向F2排列；第三滤光片组36呈2行2列排列，第五滤光片362沿第一对角线方向F1排列，第六滤光片364沿第二对角线方向F2排列。在某些实施方式中，第一滤光片322为红色滤光片(R)，第二滤光片324为品红色滤光片(M)，第三滤光片342为绿色滤光片(G)，第四滤光片344为黄色滤光片(Y)，第五滤光片362为蓝色滤光片(B)，第六滤光片364为青色滤光片(C)。像素阵列包括多个像素单元，每个像素单元包括多个感光像素。一个滤光片覆盖一个感光像素，感光像素可以透过上方的滤光片获取外界光线并生成相应的电信号。可以理解，所有红色滤光片及其对应的感光像素生成的电信号组成R通道的数据，所有绿色滤光片及其对应的感光像素生成的电信号组成G通道的数据，所有蓝色滤光片及其对应的感光像素生成的电信号组成B通道的数据，所有青色滤光片及其对应的感光像素生成的电信号组成C通道的数据，所有品红色滤光片及其对应的感光像素生成的电信号组成M通道的数据，所有黄色滤光片及其对应的感光像素生成的电信号组成Y通道的数据。
在步骤011中，在某些实施方式中，预设响应曲线为人眼三刺激值响应曲线，人眼三刺激值响应曲线的数量为3条，分别为CIE-R曲线、CIE-G曲线和CIE-B曲线，如图5所示。拟合第一光谱响应曲线即通过算法将第一光谱响应曲线逼近预设响应曲线以得到第四光谱响应曲线。可以理解，对于具有RGBCMY6个通道的多光谱相机模组，其第一光谱响应曲线的数量为6条，相比于仅有RGB3个通道的传统相机模组，多光谱相机模组的第一光谱响应曲线额外增加了CMY3个通道对应的光谱响应曲线，从而能够更好地拟合到人眼三刺激值响应曲线。在根据人眼三刺激值响应曲线对第一光谱曲线进行拟合之后得到的第四光谱响应曲线的数量为3条，分别为RGBCMY-R曲线、RGBCMY-G曲线和RGBCMY-B曲线，第四光谱响应曲线与人眼三刺激值响应曲线的差异如图6所示。可以理解，将第一光谱响应曲线拟合到人眼三刺激值响应曲线之后，多通道的数据转换成三通道的数据，从而便于后续处理能够适配传统的白平衡算法和色彩调试等流程。
在某些实施方式中，根据预设光源对第四光谱响应曲线进行白平衡处理以得到第二光谱响应曲线，这样得到的第二光谱响应曲线更加接近预设光源下的真实曲线。可以理解，第二光谱响应曲线的数量与第四光谱响应曲线的数量相同。在某些实施方式中，预设光源可包括A光源、D50光源、D65光源、其他标准光源、标准光源的中间态或者其他具有典型光谱响应曲线形状的光源(如商场的典型光源)中的至少一种，可以理解，当预设光源仅为一种时，根据一种预设光源对第四光谱响应曲线进行白平衡处理以得到第二光谱响应曲线，且最后可得到一个对应该一种预设光源的目标色彩校正矩阵；当预设光源多于一种时，分别根据不同种预设光源对第四光谱响应曲线进行白平衡处理以得到第二光谱响应曲线，且最后可得到多个分别对应不同种预设光源的目标色彩校正矩阵。
预设物体可包括24色标准色卡、肤色、故宫红墙或绿植中的至少一个。预设物体的目标颜色值即与预设响应曲线的通道相对应的预设物体的颜色值，例如当预设响应曲线的通道为CIE-R、CIE-G和CIE-B3个通道时，预设物体的目标颜色值即预设物体在CIE-R、CIE-G和CIE-B3个通道下的颜色值。可以理解，当预设物体为24色标准色卡时，确定的预设物体的目标颜色值是一个24行3列的矩阵；当预设物体为24色标准色卡和一种肤色时，确定的预设物体的目标颜色值是一个25行3列的矩阵；当预设物体为24色标准色卡、一种肤色和故宫红墙时，确定的预设物体的目标颜色值是一个26行3列的矩阵。
预设物体的校正颜色值即预设物体在预设光源下的校正颜色值。
计算目标颜色值与校正颜色值的偏差，然后调整色彩校正矩阵改变校正颜色值，减小目标颜色值与校正颜色值的偏差，在目标颜色值与校正颜色值的偏差达到最小时，对应的色彩校正矩阵即目标色彩校正矩阵，进而使用目标色彩校正矩阵对多光谱相机模组所拍摄的图像进行色彩还原处理，能够提高多光谱相机模组的色彩还原的准确性。在某些实施方式中，可通过梯度下降法或者其他数值优化算法确定目标色彩校正矩阵。可以理解，目标色彩校正矩阵可通过多光谱相机模组确定，也可在实验室中借助标定设备预先确定，在此不做限定。
在某些实施方式中，所述第一光谱响应曲线根据预设图像中预设区域内每个所述通道的平均亮度确定，所述预设图像为采用预设波长的光照射所述多光谱相机模组获得的图像。
图像处理方法图像处理方法图像处理方法如此，能够快速获得多光谱相机模组对应的第一光谱响应曲线。
具体地，可利用分光设备采用预设波长的光照射多光谱相机模组以获得预设图像。预设波长可包括多个。在某些实施方式中，在380nm-780nm波长范围内，每隔5nm确定一个预设波长，从而可得到81个预设波长，分别为380nm、385nm、390nm、...、780nm。
预设区域可包括预设图像中心的100*100像素区域、预设图像中心的200*200像素区域或者预设图像中心的其他尺寸的像素区域。为了保证数据的准确性，预设区域的尺寸不应设置过大或过小。预设图像中预设区域内每个通道的平均亮度可通过以下方式获得：分别计算预设区域内每个通道的像素的总亮度，得到R通道的像素的总亮度、G通道的像素的总亮度、B通道的像素的总亮度、C通道的像素的总亮度、M通道的像素的总亮度和Y通道的像素的总亮度，然后将每个通道的像素的总亮度除以各自通道的像素的个数，即可得到每个通道的平均亮度。
第一光谱响应曲线的横坐标可表示每个预设波长，第一光谱响应曲线的纵坐标即多光谱相机模组对每个预设波长的响应值，可通过每个预设波长对应的每个通道的平均亮度表征该响应值。在某些实施方式中，可将每个预设波长对应的每个通道的平均亮度分别除以该通道的最大的平均亮度以对每个通道的平均亮度进行归一化处理，并将归一化的结果作为第一光谱响应曲线的纵坐标。
在某些实施方式中，所述第四光谱响应曲线为采用预设校正矩阵处理所述第一光谱响应曲线得到的曲线，所述预设校正矩阵根据所述预设响应曲线和所述第一光谱响应曲线确定。
图像处理方法图像处理方法
如此，第一光谱响应曲线能够拟合至预设响应曲线。
具体地，可以采用最小二乘法计算预设校正矩阵。当预设波长为81个、多光谱相机模组的通道数为6、预设响应曲线为人眼三刺激值响应曲线时，可得：QE_RGBCMY81*6*CCM_rgbcmy2rgb6*3≈CIE_RGB81*3公式(1)，对公式(1)进行变换，可得到：CCM_rgbcmy2rgb6*3＝((QE_RGBCMY81*6)T*QE_RGBCMY81*6)\((QE_RGBCMY81*6)T*CIE_RGB81*3)公式(2)，其中，CCM_rgbcmy2rgb6*3表示预设校正矩阵，QE_RGBCMY81*6表示第一光谱响应曲线中的所有响应值，CIE_RGB81*3表示预设响应曲线中的所有人眼三刺激值响应值，T表示对矩阵做转置操作，\表示右除。
进一步地，第四光谱响应曲线的对应81个预设波长的响应值RGBCMY_RGB81*3可由以下公式表示：RGBCMY_RGB81*3＝QE_RGBCMY81*6*CCM_rgbcmy2rgb6*3公式(3)。第四光谱响应曲线与人眼三刺激值响应曲线的差异如图6所示。
在某些实施方式中，所述第二光谱响应曲线为将白平衡增益作用于所述第四光谱响应曲线得到的曲线，所述白平衡增益根据所述第四光谱响应曲线和所述预设光源的光谱能量确定。图像处理方法图像处理方法
如此，根据预设光源对第四光谱响应曲线进行白平衡处理以得到第二光谱响应曲线。可以理解，由于多光谱相机模组的通道数大于3，而传统的白平衡处理仅适用于处理3通道数的数据，如果直接对第一光谱响应曲线进行白平衡处理，会导致白平衡方式较为复杂，因此，在第一光谱响应曲线拟合到人眼三刺激值响应曲线得到第四光谱响应曲线后，即通道数转换到跟人眼近似的三通道之后，再进行白平衡处理。
具体地，分别计算第四光谱响应曲线的RGBCMY-R通道、RGBCMY-G通道、RGBCMY-B通道与预设光源的光谱能量的积分结果，并根据积分结果确定第四光谱响应曲线的白平衡增益。以预设光源为A光源为例，第四光谱响应曲线的RGBCMY-R通道与A光源的光谱能量的积分结果RA可由以下公式表示：
Figure BDA0003215067710000071
第四光谱响应曲线的RGBCMY-G通道与A光源的光谱能量的积分结果GA可由以下公式表示：
Figure BDA0003215067710000072
第四光谱响应曲线的RGBCMY-B通道与A光源的光谱能量的积分结果BA可由以下公式表示：
Figure BDA0003215067710000073
Figure BDA0003215067710000074
其中RGBCMY_RGB(i,1)表示第四光谱响应曲线的RGBCMY-R通道中第i个预设波长对应的响应值，RGBCMY_RGB(i,2)表示第四光谱响应曲线的RGBCMY-G通道中第i个预设波长对应的响应值，RGBCMY_RGB(i,3)表示第四光谱响应曲线的RGBCMY-B通道中第i个预设波长对应的响应值，A(i)表示第i个预设波长对应的A光源的光谱能量。
进一步地，根据公式(4)、公式(5)和公式(6)可以计算出白平衡增益：R_gain_A＝GA/RA；B_gain_A＝GA/BA。将白平衡增益作用于第四光谱响应曲线的RGBCMY-R通道和RGBCMY-G通道对应每个预设波长的响应值以得到第二光谱响应曲线：RGBCMY_RGB_A(:,1)＝RGBCMY_RGB(:,1)*R_gain_A公式(7)，RGBCMY_RGB_A(:,3)＝RGBCMY_RGB(:,3)*B_gain_A公式(8)，其中，RGBCMY_RGB_A(:,1)表示第二光谱响应曲线的RGBCMY-R通道对应每个预设波长的响应值，RGBCMY_RGB_A(:,3)表示第二光谱响应曲线的RGBCMY-G通道对应每个预设波长的响应值，RGBCMY_RGB(:,1)表示第四光谱响应曲线的RGBCMY-R通道对应每个预设波长的响应值，RGBCMY_RGB(:,3)表示第四光谱响应曲线的RGBCMY-R通道对应每个预设波长的响应值。
在某些实施方式中，所述预设物体的所述目标颜色值根据所述预设响应曲线和所述预设物体在目标光源下的目标光谱响应曲线确定，所述目标光谱响应曲线根据所述预设物体的反射率和所述目标光源的光谱能量确定。图像处理方法图像处理方法
如此，可以计算出预设物体在目标光源下的目标颜色值，从而确定校正的目标。
具体地，以预设物体为24色标准色卡为例，在某些实施方式中，通过光谱测量仪测量24色标准色卡的反射率光谱曲线，再测量目标光源的光谱曲线，将反射率光谱响应曲线中的每个响应值除以目标光源的光谱曲线中对应的响应值，即可确定24色标准色卡的反射率(reflection81*24)，且不需要重复拍摄24色标准色卡。
目标光源可为D65光源、其他标准光源或者具有典型光谱响应曲线形状的光源。可以理解，通常情况下认为物体在D65光源下的色彩是最适宜人眼的观感的，因此，在某些实施方式中，采用D65光源作为目标光源来确定物体的目标颜色值。
进一步地，目标光谱响应曲线中的响应值Spec_D6581*24可由以下公式表示：Spec_D6581*24＝reflection81*24·*D65公式(9)，其中，D65表示从380nm到780nm每间隔5nm波长对应的D65光源的光谱能量，是一个一维向量；·*表示两个向量对应元素相乘，然后累加。
预设物体的目标颜色值Color24*3可由以下公式表示：Color24*3＝(Spec_D6581*24)T*CIE_RGB81*3公式(10)，其中，CIE_RGB81*3示预设响应曲线中的所有人眼三刺激值响应值。
在某些实施方式中，所述预设物体的所述校正颜色值根据所述第二光谱响应曲线和所述预设物体在所述预设光源下的所述第三光谱响应曲线的积分结果及所述色彩校正矩阵确定，所述第三光谱响应曲线根据所述预设物体的反射率和所述预设光源的光谱能量确定。图像处理方法图像处理方法
如此，可以计算出预设物体在预设光源下的校正颜色值。
具体地，以预设物体为24色标准色卡、预设光源为A光源为例，第三光谱响应曲线中的响应值Spec_A81*24可由以下公式表示：Spec_A81*24＝reflection81*24·*A公式(11)，其中，reflection81*24为24色标准色卡的反射率，A表示从380nm到780nm每间隔5nm波长对应的A光源的光谱能量，是一个一维向量。
第二光谱响应曲线和第三光谱响应曲线的积分结果RGBCMY_RGB_A_response24*3可由以下公式表示：RGBCMY_RGB_A_response24*3＝(Spec_A81*24)T*RGBCMY_RGB_A81*3公式(12)，其中，RGBCMY_RGB_A81*3表示第二光谱响应曲线的响应值。
24色标准色卡的校正颜色值RGBCMY_Calib_A24*3可由以下公式表示：RGBCMY_Calib_A24*3＝RGBCMY_RGB_A_response24*3*CCM_RGBCMY_RGB3*3公式(13)，其中，CCM_RGBCMY_RGB3*3为色彩校正矩阵，通过调整色彩校正矩阵的参数，可以改变校正颜色值。
在某些实施方式中，目标颜色值与校正颜色值的偏差可由以下公式表示：Z＝||Weightm×m*(RGBCMY_Calib_Am×3-Colorm×3)||，其中Z表示目标颜色值与校正颜色值的偏差，Weightm×m为预设物体的权重，Colorm×3表示目标颜色值，RGBCMY_Calib_Am×3表示校正颜色值，|| ||表示对向量求平方和。
如此，能够根据公式计算目标颜色值与校正颜色值的偏差。
具体地，m表示预设物体的颜色数量，当预设物体为24色标准色卡时，m＝24；当预设物体为24色标准色卡和一种肤色时，m＝25；当预设物体为24色标准色卡、一种肤色和故宫红墙时，m＝26。Weightm×m为对角矩阵，用于赋予预设物体的不同颜色以不同权重，比如特别关注肤色的色彩还原效果，则可以将Weightm×m中对应肤色的权重赋予更大的数值。
需要指出的是，上述所提到的具体数值只为了作为例子详细说明本申请的实施，而不应理解为对本申请的限制。在其他例子或实施方式或实施例中，可根据本申请来选择其他数值，在此不作具体限定。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，程序被处理器执行的情况下，实现上述任一实施方式的图像处理方法的步骤。
例如，程序被处理器执行的情况下，实现以下图像处理方法的步骤：
011：根据目标色彩校正矩阵对所述多光谱相机模组所拍摄的图像进行色彩还原处理，所述目标色彩校正矩阵为使得预设物体的目标颜色值与所述预设物体在预设光源下的校正颜色值的偏差达到最小时对应的色彩校正矩阵，所述目标颜色值根据预设响应曲线确定，所述校正颜色值根据第二光谱响应曲线、所述预设物体在预设光源下的第三光谱响应曲线和所述色彩校正矩阵确定，所述第二光谱响应曲线为处理第四光谱响应曲线得到的在所述预设光源下的曲线，所述第四光谱响应曲线为根据预设响应曲线拟合所述第一光谱响应曲线得到的曲线，所述第四光谱响应曲线的数量少于所述第一光谱响应曲线的数量，所述第四光谱响应曲线的数量等于所述预设响应曲线的数量。
可以理解，计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。处理器可以是中央处理器，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像处理方法，用于多光谱相机模组，其特征在于，所述多光谱相机模组包括多个通道，一个所述通道对应一种第一光谱响应曲线，所述图像处理方法包括：
根据目标色彩校正矩阵对所述多光谱相机模组所拍摄的图像进行色彩还原处理，所述目标色彩校正矩阵为使得预设物体的目标颜色值与所述预设物体在预设光源下的校正颜色值的偏差达到最小时对应的色彩校正矩阵，所述目标颜色值根据预设响应曲线确定，所述校正颜色值根据第二光谱响应曲线、所述预设物体在预设光源下的第三光谱响应曲线和所述色彩校正矩阵确定，所述第二光谱响应曲线为处理第四光谱响应曲线得到的在所述预设光源下的曲线，所述第四光谱响应曲线为根据预设响应曲线拟合所述第一光谱响应曲线得到的曲线，所述第四光谱响应曲线的数量少于所述第一光谱响应曲线的数量，所述第四光谱响应曲线的数量等于所述预设响应曲线的数量。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第一光谱响应曲线根据预设图像中预设区域内每个所述通道的平均亮度确定，所述预设图像为采用预设波长的光照射所述多光谱相机模组获得的图像图像处理方法。
3.根据权利要求1所述的图像处理方法，其特征在于，所述第四光谱响应曲线为采用预设校正矩阵处理所述第一光谱响应曲线得到的曲线，所述预设校正矩阵根据所述预设响应曲线和所述第一光谱响应曲线确定。
4.根据权利要求1所述的图像处理方法，其特征在于，所述第二光谱响应曲线为将白平衡增益作用于所述第四光谱响应曲线得到的曲线，所述白平衡增益根据所述第四光谱响应曲线和所述预设光源的光谱能量确定。
5.根据权利要求1所述的图像处理方法，其特征在于，所述预设物体的所述目标颜色值根据所述预设响应曲线和所述预设物体在目标光源下的目标光谱响应曲线确定，所述目标光谱响应曲线根据所述预设物体的反射率和所述目标光源的光谱能量确定。
6.根据权利要求1所述的图像处理方法，其特征在于，所述预设物体的所述校正颜色值根据所述第二光谱响应曲线和所述预设物体在所述预设光源下的所述第三光谱响应曲线的积分结果及所述色彩校正矩阵确定，所述第三光谱响应曲线根据所述预设物体的反射率和所述预设光源的光谱能量确定。
7.根据权利要求1所述的图像处理方法，其特征在于，所述目标颜色值与所述校正颜色值的偏差可由以下公式表示：Z＝||Weightm×m*(RGBCMY_Calib_Am×3-Colorm×3)||，其中Z表示所述目标颜色值与所述校正颜色值的偏差，Weightm×m为所述预设物体的权重，Colorm×3表示所述目标颜色值，RGBCMY_Calib_Am×3表示所述校正颜色值，|| ||表示对向量求平方和。
8.一种处理装置，用于多光谱相机模组，其特征在于，所述多光谱相机模组包括多个通道，一个所述通道对应一种第一光谱响应曲线，所述处理装置包括：
色彩还原模块，用于根据目标色彩校正矩阵对所述多光谱相机模组所拍摄的图像进行色彩还原处理，所述目标色彩校正矩阵为使得预设物体的目标颜色值与所述预设物体在预设光源下的校正颜色值的偏差达到最小时对应的色彩校正矩阵，所述目标颜色值根据预设响应曲线确定，所述校正颜色值根据第二光谱响应曲线、所述预设物体在预设光源下的第三光谱响应曲线和所述色彩校正矩阵确定，所述第二光谱响应曲线为处理第四光谱响应曲线得到的在所述预设光源下的曲线，所述第四光谱响应曲线为根据预设响应曲线拟合所述第一光谱响应曲线得到的曲线，所述第四光谱响应曲线的数量少于所述第一光谱响应曲线的数量，所述第四光谱响应曲线的数量等于所述预设响应曲线的数量。
9.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行的情况下，实现权利要求1-7任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现权利要求1-7任一项所述的图像处理方法的步骤。
CN202110941253.9A 2021-08-17 2021-08-17 图像处理方法、处理装置、电子设备及介质 Active CN113676639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110941253.9A CN113676639B (zh) 2021-08-17 2021-08-17 图像处理方法、处理装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110941253.9A CN113676639B (zh) 2021-08-17 2021-08-17 图像处理方法、处理装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113676639A true CN113676639A (zh) 2021-11-19
CN113676639B CN113676639B (zh) 2023-03-24

Family

ID=78543192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110941253.9A Active CN113676639B (zh) 2021-08-17 2021-08-17 图像处理方法、处理装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113676639B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174876A (zh) * 2022-04-12 2022-10-11 北京印刷学院 一种医用内窥镜成像颜色分析与校正用色标设计与制作方法
CN116029936A (zh) * 2023-01-31 2023-04-28 北京小米移动软件有限公司 图像的修正方法及装置、电子设备和存储介质
WO2023240650A1 (zh) * 2022-06-17 2023-12-21 北京小米移动软件有限公司 相机模组的色彩校正矩阵标定方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040119860A1 (en) * 2002-12-23 2004-06-24 Eastman Kodak Company Method of colorimetrically calibrating an image capturing device
CN102901516A (zh) * 2012-09-29 2013-01-30 航天恒星科技有限公司 一种基于绝对辐射定标的多光谱影像辐射校正方法
CN104217409A (zh) * 2014-09-30 2014-12-17 南京汇川工业视觉技术开发有限公司 一种基于模拟退火最优化算法的图像色彩校正方法
CN107958470A (zh) * 2017-12-18 2018-04-24 维沃移动通信有限公司 一种色彩校正方法、移动终端
CN110830778A (zh) * 2018-08-14 2020-02-21 杭州海康威视数字技术股份有限公司 成像设备色彩校正方法、装置、电子设备及存储介质
CN111064963A (zh) * 2019-11-11 2020-04-24 北京迈格威科技有限公司 图像数据解码方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040119860A1 (en) * 2002-12-23 2004-06-24 Eastman Kodak Company Method of colorimetrically calibrating an image capturing device
CN102901516A (zh) * 2012-09-29 2013-01-30 航天恒星科技有限公司 一种基于绝对辐射定标的多光谱影像辐射校正方法
CN104217409A (zh) * 2014-09-30 2014-12-17 南京汇川工业视觉技术开发有限公司 一种基于模拟退火最优化算法的图像色彩校正方法
CN107958470A (zh) * 2017-12-18 2018-04-24 维沃移动通信有限公司 一种色彩校正方法、移动终端
CN110830778A (zh) * 2018-08-14 2020-02-21 杭州海康威视数字技术股份有限公司 成像设备色彩校正方法、装置、电子设备及存储介质
CN111064963A (zh) * 2019-11-11 2020-04-24 北京迈格威科技有限公司 图像数据解码方法、装置、计算机设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115174876A (zh) * 2022-04-12 2022-10-11 北京印刷学院 一种医用内窥镜成像颜色分析与校正用色标设计与制作方法
CN115174876B (zh) * 2022-04-12 2023-08-11 北京印刷学院 一种医用内窥镜成像颜色分析与校正用色标设计与制作方法
WO2023240650A1 (zh) * 2022-06-17 2023-12-21 北京小米移动软件有限公司 相机模组的色彩校正矩阵标定方法及装置
CN116029936A (zh) * 2023-01-31 2023-04-28 北京小米移动软件有限公司 图像的修正方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN113676639B (zh) 2023-03-24

Similar Documents

Publication Publication Date Title
CN113676639B (zh) 图像处理方法、处理装置、电子设备及介质
US11622085B2 (en) Multispectral image decorrelation method and system
US9077942B2 (en) Spectral synthesis for image capture device processing
US9959604B2 (en) Dynamic global tone mapping with integrated 3D color look-up table
Wang et al. An optimized tongue image color correction scheme
EP3888345B1 (en) Method for generating image data for machine learning based imaging algorithms
US9961236B2 (en) 3D color mapping and tuning in an image processing pipeline
KR20100011772A (ko) 자동 화이트 밸런스 조정 방법
US20230199331A1 (en) White balance compensation method and apparatus and electronic device
US10224004B2 (en) Automatic white balance based on surface reflection decomposition
CN113628135A (zh) 图像颜色校正方法、装置、计算机装置及存储介质
US8149292B2 (en) Automatic white balance using non-uniform averaging
US20180176420A1 (en) Automatic white balance based on surface reflection decomposition and chromatic adaptation
US9036030B2 (en) Color calibration of an image capture device in a way that is adaptive to the scene to be captured
US20180176528A1 (en) Light locus generation for automatic white balance
CN115426487B (zh) 色彩校正矩阵调整方法、装置、电子设备及可读存储介质
US8284260B2 (en) Optimal raw RGB determination for color calibration
EP3993382B1 (en) Colour calibration of an imaging device
CN111896109B (zh) 一种基于数码相机原始响应值的光谱重建方法
US11058282B2 (en) Colour reference for calibrating a dental colour camera
Bae Image-quality metric system for color filter array evaluation
CN117768791B (zh) 一种基于神经网络的跨相机图像白平衡方法和系统
Li Consideration of human visual mechanism for image white balance
Haiting A new in-camera color imaging model for computer vision
Tajbakhsh CIE chromaticity, Planckian locus, and correlated color temperature estimation from raw image data using color checker training images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant