CN112804510B - 深水图像的色彩还真处理方法、装置、存储介质及相机 - Google Patents

深水图像的色彩还真处理方法、装置、存储介质及相机 Download PDF

Info

Publication number
CN112804510B
CN112804510B CN202110023138.3A CN202110023138A CN112804510B CN 112804510 B CN112804510 B CN 112804510B CN 202110023138 A CN202110023138 A CN 202110023138A CN 112804510 B CN112804510 B CN 112804510B
Authority
CN
China
Prior art keywords
color
parameter
parameters
color channel
attenuation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110023138.3A
Other languages
English (en)
Other versions
CN112804510A (zh
Inventor
吴钟解
李元超
陈石泉
沈捷
蔡泽富
贾舒雯
王�义
王道儒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HAINAN ACADEMY OF OCEAN AND FISHERIES SCIENCES
Original Assignee
HAINAN ACADEMY OF OCEAN AND FISHERIES SCIENCES
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HAINAN ACADEMY OF OCEAN AND FISHERIES SCIENCES filed Critical HAINAN ACADEMY OF OCEAN AND FISHERIES SCIENCES
Priority to CN202110023138.3A priority Critical patent/CN112804510B/zh
Publication of CN112804510A publication Critical patent/CN112804510A/zh
Application granted granted Critical
Publication of CN112804510B publication Critical patent/CN112804510B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/30Assessment of water resources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本申请提供一种深水图像的色彩还真处理方法、装置、存储介质及相机,方法包括:获取相机于水下拍摄的深水图像原始文件、目标水域中的水下悬浮物参数、深度参数;确定出深水图像的白平衡参数和色彩通道参数;根据深度参数和第一色彩衰减关系,确定出自然光中各波长段可见光的第一衰减参数;根据深度参数、水下悬浮物参数和色彩散射关系,确定出自然光中各波长段可见光的散射参数;将各波长段可见光的第一衰减参数和散射参数转换为色彩通道下的第一色彩通道衰减参数和色彩通道散射参数;根据白平衡参数、第一色彩通道衰减参数和色彩通道散射参数,对色彩通道参数进行色彩还真处理,得到色彩通道还真参数,以生成色彩还真处理后的深水图像。

Description

深水图像的色彩还真处理方法、装置、存储介质及相机
技术领域
本申请涉及图像处理技术领域,具体而言,涉及一种深水图像的色彩还真处理方法、装置、存储介质及相机。
背景技术
随着摄影行业和图像处理技术的发展,水下摄影渐渐走入人们的视线。由于光线在水中的衰减、散射等情况,导致对水下的物体拍摄的图像,颜色会失真。
如何才能使得水下拍摄的摄影图像能够很好地反映拍摄对象、背景等的真实色彩(即该对象、背景等在空气中的正常色彩),更好地满足人们的水下摄影需求,是一个难题。
现有的一些方式中,通过对水下图像进行色彩空间的转换,将图像拆分为单一色彩通道的多幅图像,而后根据单一色彩通道的多幅图像的值对水下图像进行分类,从而根据图像的类别(例如偏蓝图像、偏绿图像等)采取不同的参数调节方式(例如利用参数均值调节灰度距离)对水下图像进行调节,使得调节的图像能够还原水下图像的色彩。但这种方式还原的色彩,色彩还原的效果差强人意,难以细腻地还原水下图像中对象的真实色彩。
发明内容
本申请实施例的目的在于提供一种深水图像的色彩还真处理方法、装置、存储介质及相机,以细腻地还原深水图像中对象的真实色彩,更好地满足人们的水下摄影需求。
为了实现上述目的,本申请的实施例通过如下方式实现:
第一方面,本申请实施例提供一种深水图像的色彩还真处理方法,包括:获取相机于水下拍摄的深水图像原始文件,以及,获取所述相机拍摄深水图像时所处的目标水域中的水下悬浮物参数、所述相机位于水下的深度参数;根据所述深水图像原始文件,确定出所述深水图像的白平衡参数和色彩通道参数,其中,所述白平衡参数用于表征拍摄所述深水图像时的色调,所述色彩通道参数用于表征所述深水图像中的色彩分布情况;根据所述深度参数和预设的第一色彩衰减关系,确定出自然光中各波长段可见光的第一衰减参数,其中,所述第一色彩衰减关系用于表征所述各波长段可见光在水下不同深度的衰减情况;根据所述深度参数、所述水下悬浮物参数和预设的色彩散射关系,确定出自然光中各波长段可见光的散射参数,其中,所述色彩散射关系用于表征所述各波长段在不同悬浮物参数下的散射情况;将所述各波长段可见光的所述第一衰减参数转换为与所述色彩通道参数对应的色彩通道下的第一色彩通道衰减参数,以及,将所述各波长段可见光的所述散射参数转换为与所述色彩通道参数对应的色彩通道下的色彩通道散射参数;根据所述白平衡参数、所述第一色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理,得到色彩通道还真参数;根据所述色彩通道还真参数和所述深水图像原始文件,生成色彩还真处理后的深水图像。
在本申请实施例中,通过深水图像原始文件,可以确定出深水图像的白平衡参数(表征拍摄深水图像时的色调)和色彩通道参数(表征深水图像中的色彩分布情况,例如RGB色彩模式的红、绿、蓝三色通道)。通过预设的第一色彩衰减关系(表征各波长段可见光在水下不同深度的衰减情况)结合相机位于水下的深度参数,可以确定出自然光中各波长段可见光的第一衰减参数,进而转换为与色彩通道参数对应的色彩通道下的第一色彩通道衰减参数。这样可以考虑到自然光在水中不同深度的衰减情况,通过第一色彩通道衰减参数进行表示,以便基于此进行色彩还真处理。而通过预设的色彩散射关系(表征各波长段在不同悬浮物参数下的散射情况)、相机拍摄深水图像时所处的目标水域中的水下悬浮物参数,以及相机位于水下的深度参数,可以确定出自然光中各波长段可见光的散射参数,进而转换为与色彩通道参数对应的色彩通道下的色彩通道散射参数。这样能够考虑到水中的悬浮物参数对自然光在水中的散射的影响,且能够考虑到散射的影响范围,从而确定出准确的色彩通道散射参数,以便基于此进行色彩还真处理。通过结合白平衡参数、第一色彩通道衰减参数和色彩通道散射参数,可以考虑到多种因素对水下图像色彩的影响,基于这些因素的参数值精准地对色彩通道参数进行色彩还真处理,从而得到准确的色彩通道还真参数,进而将色彩通道还真参数结合深水图像原始文件生成色彩还真处理后的深水图像,以精准细腻地还原深水图像中对象和背景的色彩。
结合第一方面,在第一方面的第一种可能的实现方式中,所述方法还包括:获取所述相机拍摄所述深水图像时的定位参数;对应的,所述根据所述深度参数、所述水下悬浮物参数和预设的色彩散射关系,确定出自然光中各波长段可见光的散射参数,包括:根据所述定位参数和所述水下悬浮物参数,确定浮游植物是否为所述目标水域中的主要悬浮物类型之一;若浮游植物为所述目标水域中的主要悬浮物类型之一,根据所述深度参数、所述悬浮物参数和所述色彩散射关系中的第一散射关系,确定出所述各波长段可见光的所述散射参数;若浮游植物不为所述目标水域中的主要悬浮物类型之一,根据所述深度参数、所述悬浮物参数和所述色彩散射关系中的第二散射关系,确定出所述各波长段可见光的所述散射参数。
在该实现方式中,通过获取相机拍摄深水图像时的定位参数,结合水下悬浮物参数,可以通过定位参数确定相机拍摄深水图像的水域(例如该水域属于何处、何种类型的水域,是否为近海水域等),考虑到该水域的特点(例如该水域的水下悬浮物组成),从而结合水下悬浮物参数确定浮游植物是否为目标水域中的主要悬浮物类型之一。由于浮游植物中的叶绿素对蓝色光和紫色光的吸收效果强烈,而浮游植物群体又对光线具有较高的散射作用(散射绿色光),因此,由于浮游植物的吸收(蓝色光和紫色光)和散射(绿色光)作用,会极大地影响自然光中各波长段可见光在水下的散射情况。基于此,针对浮游植物是否为目标水域中的主要悬浮物类型之一,采用不同的散射关系进行散射参数的确定:浮游植物为目标水域中的主要悬浮物类型之一时,利用深度参数、悬浮物参数和色彩散射关系中的第一散射关系,确定出各波长段可见光的散射参数;浮游植物不为目标水域中的主要悬浮物类型之一时,利用深度参数、悬浮物参数和色彩散射关系中的第二散射关系,确定出各波长段可见光的散射参数。这样可以考虑到浮游植物对自然光中各波长段可见光在水下的散射情况的影响,从而确定出更加精准的散射参数,有利于深水图像的色彩还原。
结合第一方面,在第一方面的第二种可能的实现方式中,所述方法还包括:根据所述水下悬浮物参数,确定悬浮固体、生物物质、有机物质中至少一项是否为所述目标水域中的主要悬浮物类型之一;若是,根据深度参数、所述水下悬浮物参数和预设的第二色彩衰减关系,确定出所述各波长段可见光的第二衰减参数,其中,所述第二色彩衰减关系用于表征在所述主要悬浮物类型包含悬浮固体、生物物质、有机物质中至少一项时,所述各波长段可见光在水中不同传播距离的衰减情况;将所述各波长段可见光的所述第二衰减参数转换为与所述色彩通道参数对应的色彩通道下的第二色彩通道衰减参数;对应的,所述根据所述白平衡参数、所述第一色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理,包括:根据所述白平衡参数、所述第一色彩通道衰减参数、所述第二色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理。
在该实现方式中,由于水下悬浮物中的悬浮固体(例如颗粒物)、生物物质、有机物质,都能够对自然光中蓝色光部分在水下的衰减起到促进的作用,因此,基于水下悬浮物参数确定悬浮固体、生物物质、有机物质中至少一项是否为目标水域中的主要悬浮物类型之一,以此选取合适的色彩衰减关系来得到各波长段可见光的第二衰减参数。例如,在悬浮固体、生物物质、有机物质中至少一项为目标水域中的主要悬浮物类型之一时,可以根据深度参数、水下悬浮物参数和预设的第二色彩衰减关系(表征在主要悬浮物类型包含悬浮固体、生物物质、有机物质中至少一项时,各波长段可见光在水中不同传播距离的衰减情况),准确地确定出各波长段可见光的第二衰减参数,进一步将第二衰减参数转换为第二色彩通道衰减参数,从而更加准确地对色彩通道参数进行色彩还真处理,有利于提升深水图像的色彩还真处理的效果。
结合第一方面,在第一方面的第三种可能的实现方式中,所述相机包括补光光源,所述补光光源用于提供光源光,所述方法还包括:获取所述相机拍摄所述深水图像时的光源信息,其中,所述光源信息用于表征所述补光光源是否启动;根据所述光源信息,判断所述补光光源是否启动;若所述补光光源启动,所述方法还包括:获取所述深水图像的景深范围;根据所述景深范围、所述补光光源的光源光和预设的第三色彩衰减关系,确定出所述光源光中各波长段可见光的第三衰减参数,其中,所述第三色彩衰减关系用于表征所述光源光中各波长段可见光在水中不同传播距离的衰减情况;将所述光源光中各波长段可见光的所述第三衰减参数转换为与所述色彩通道参数对应的色彩通道下的第三色彩通道衰减参数;对应的,所述根据所述白平衡参数、所述第一色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理,包括:根据所述白平衡参数、所述第一色彩通道衰减参数、所述第三色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理。
在该实现方式中,由于水下拍摄深水图像时,还可能存在补光的情况,即,深水图像中对象和背景的光照来源除了经水衰减和散射后的自然光,还包括相机上补光光源发出的经过水衰减后的光源光。因此,为了尽可能准确细腻地还原深水图像中对象和背景的色彩,可以通过光源信息判断补光光源是否启动,从而针对补光光源启动的情况,通过对应的方式确定更加精确的衰减参数。由于补光光源未启动时,即可通过第一色彩衰减关系确定出对应的第一衰减参数;而补光光源启动时,可以获取深水图像的景深范围(用于判断光源光中各波长段可见光的衰减距离),进一步根据景深范围、补光光源的光源光和预设的第三色彩衰减关系(表征光源光中各波长段可见光在水中不同传播距离的衰减情况),确定出光源光中各波长段可见光的第三衰减参数。进一步将第三衰减参数转换为第三色彩通道衰减参数,从而在对色彩通道参数进行色彩还真处理时,还可以考虑到光源光的影响,以进一步提升深水图像色彩还真的精准性和细腻程度。
第二方面,本申请实施例提供一种深水图像的色彩还真处理装置,包括:获取单元,用于获取相机于水下拍摄的深水图像原始文件,以及,获取所述相机拍摄深水图像时所处的目标水域中的水下悬浮物参数、所述相机位于水下的深度参数;处理单元,用于根据所述深水图像原始文件,确定出所述深水图像的白平衡参数和色彩通道参数,其中,所述白平衡参数用于表征拍摄所述深水图像时的色调,所述色彩通道参数用于表征所述深水图像中的色彩分布情况;所述处理单元,具体用于根据所述深度参数和预设的第一色彩衰减关系,确定出自然光中各波长段可见光的第一衰减参数,其中,所述第一色彩衰减关系用于表征所述各波长段可见光在水下不同深度的衰减情况;所述处理单元,具体用于根据所述深度参数、所述水下悬浮物参数和预设的色彩散射关系,确定出自然光中各波长段可见光的散射参数,其中,所述色彩散射关系用于表征所述各波长段在不同悬浮物参数下的散射情况;所述处理单元,具体用于将所述各波长段可见光的所述第一衰减参数转换为与所述色彩通道参数对应的色彩通道下的第一色彩通道衰减参数,以及,将所述各波长段可见光的所述散射参数转换为与所述色彩通道参数对应的色彩通道下的色彩通道散射参数;所述处理单元,具体用于根据所述白平衡参数、所述第一色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理,得到色彩通道还真参数;所述处理单元,具体用于根据所述色彩通道还真参数和所述深水图像原始文件,生成色彩还真处理后的深水图像。
第三方面,本申请实施例提供一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如第一方面或第一方面的可能的实现方式中任一项所述的深水图像的色彩还真处理方法。
第四方面,本申请实施例提供一种水下图像色彩还真相机,包括:机身,用于在水下拍摄深水图像;悬浮物浓度测量装置,与所述机身连接,用于检测所述机身所处的目标水域中的水下悬浮物参数;定位装置,与所述机身连接,用于对所述机身进行定位,确定出定位参数;补光光源,用于提供光源光;水下深度测量装置,与所述机身连接,用于检测所述机身位于水下的深度参数;所述机身内包含DSP单元,用于执行第一方面或第一方面的可能的实现方式中任一项所述的深水图像的色彩还真处理方法,以输出色彩还真处理后的深水图像。
为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种水下图像色彩还真相机的结构示意图。
图2为本申请实施例提供的一种深水图像的色彩还真处理方法的流程图。
图3为本申请实施例提供的一种深水图像的色彩还真处理装置的结构框图。
图标:100-水下图像色彩还真相机;110-机身;120-悬浮物浓度测量装置;130-定位装置;140-补光光源;150-水下深度测量装置;160-DSP单元;200-深水图像的色彩还真处理装置;210-获取单元;220处理单元。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行描述。
请参阅图1,图1为本申请实施例提供的水下图像色彩还真相机的结构示意图。
在本实施例中,水下图像色彩还真相机100可以包括机身110(即相机的本体),用于在水下拍摄深水图像。机身110可以为防水机身,也可以为普通机身加上防水外罩,此处不作限定。
示例性的,水下图像色彩还真相机100可以包括悬浮物浓度测量装置120,悬浮物浓度测量装置120与机身110连接(例如通过连接线连接,无线连接,或者通过模块的方式集成到机身110上,此处不作限定),悬浮物浓度测量装置120(例如悬浮物浓度计)可以用于检测机身110所处的目标水域中的水下悬浮物参数,并可以将检测的水下悬浮物参数反馈给机身110。
示例性的,水下图像色彩还真相机100还可以包括定位装置130,定位装置130可以与机身110连接(例如通过连接线连接,无线连接,或者通过模块的方式集成到机身110上,此处不作限定),用于对机身110进行定位,确定出定位参数,并可以将定位参数反馈给机身110。
示例性的,水下图像色彩还真相机100还可以包括补光光源140,由于补光光源140的设置位置、光源发散角可以影响拍摄深水图像时的光照情况,因此,补光光源140可以采用一个具体型号的光源(可以通过型号确定补光光源140的功率、光线出射的角度、光线发散角、光源光的色调、色温等),而机身110内可以存储这些信息,以及补光光源140设置的位置信息等,从而保证色彩还真的效果。
示例性的,水下图像色彩还真相机100还可以包括水下深度测量装置150,水下深度测量装置150可以与机身110连接(例如通过连接线连接,无线连接,或者通过模块的方式集成到机身110上,此处不作限定),用于检测机身110位于水下的深度参数,并可以将深度参数反馈给机身110。
而机身110内还可以包括DSP(Digital Singnal Processor,数字信号处理器)单元160(或者其他的处理模块,用于执行深水图像的色彩还真处理方法),从而输出色彩还真处理后的深水图像。
需要说明的是,通过水下图像色彩还真相机100执行深水图像的色彩还真处理方法,实现对深水图像的色彩还真处理,仅仅是一种示例性的方式,这种方式可以相对实时地对深水图像进行还真,以便用户在水下拍摄深水图像时,可以尽快看到色彩还真处理的图像效果,以便用户拍摄出满意的深水图像。
在其他一些可能的实施例中,实现深水图像的色彩还真处理,还可以通过其他方式实现,例如,通过智能电子设备(例如个人电脑、笔记本电脑、智能手机等),通过获取相关信息(后文介绍)和深水图像,执行深水图像的色彩还真处理方法,以便实现对深水图像的色彩还真处理。此种方式相当于后期的深水图像色彩还原,在实时性上不如采用相机实现深水图像的色彩还真处理,但在处理的精细度、运行的效率上,智能电子设备具有更高的优势。特别是,还可以通过将相关信息和深水图像上传至服务器,服务器进行处理后传回色彩还真处理后的深水图像,从而实现深水图像的色彩还真。因此,本实施例中以相机、智能电子设备、服务器等多种主体中的任何一个作为深水图像的色彩还真处理方法的执行主体,均不应视为对本申请的限定。以下,本实施例中将以相机(即水下图像色彩还真相机100)为深水图像的色彩还真处理方法的执行主体为例进行说明,以便描述和对本方案的理解。
请参阅图2,图2为本申请实施例提供的一种深水图像的色彩还真处理方法的流程图。
在本实施例中,深水图像的色彩还真处理方法可以包括步骤S10、步骤S20、步骤S30、步骤S40、步骤S50、步骤S60和步骤S70。
示例性的,在用户在水下利用水下图像色彩还真相机(以下简称相机)拍摄深水图像后,水下图像色彩还真相机中的处理模块(例如DSP单元)可以执行步骤S10。
步骤S10:获取相机于水下拍摄的深水图像原始文件,以及,获取相机拍摄深水图像时所处的目标水域中的水下悬浮物参数、相机位于水下的深度参数。
在本实施例中,处理模块可以获取相机于水下拍摄的深水图像原始文件(例如原始图像文件RAW),以及,处理模块可以获取相机拍摄深水图像时所处的目标水域中的水下悬浮物参数(即悬浮物浓度测量装置检测的目标水域中的水下悬浮物参数)、相机位于水下的深度参数(即水下深度测量装置检测的深度参数)。
在获取水下悬浮物参数和深度参数后,处理模块可以执行步骤S20。
步骤S20:根据深水图像原始文件,确定出深水图像的白平衡参数和色彩通道参数,其中,白平衡参数用于表征拍摄深水图像时的色调,色彩通道参数用于表征深水图像中的色彩分布情况。
在本实施例中,处理模块可以根据深水图像原始文件,确定出深水图像的白平衡参数和色彩通道参数。需要说明的是,白平衡参数可以是相机中记录的拍摄该深水图像时的白平衡参数值,色彩通道参数也可以是相机记录的用于作用于深水图像原始文件的色彩通道参数(例如RGB模式下的R通道参数、G通道参数、B通道参数等),从而结合得到该深水图像原始文件对应的具有色彩的深水图像。
因此,根据深水图像原始文件,确定出深水图像的白平衡参数和色彩通道参数的方式,可以是获取该深水图像原始文件对应的参数(白平衡参数和色彩通道参数),也可以是其他方式,例如,通过提取深水图像原始文件(例如为具有色彩的深水图像)的中的图像色彩MAP图(颜色图,即将MAP指定为RGB三元组组成的三列矩阵,其中每行定义一种颜色的参数),从而得到深水图像的色彩通道参数。
在获取水下悬浮物参数和深度参数后,处理模块可以执行步骤S30。
步骤S30:根据深度参数和预设的第一色彩衰减关系,确定出自然光中各波长段可见光的第一衰减参数,其中,第一色彩衰减关系用于表征各波长段可见光在水下不同深度的衰减情况。
在介绍步骤S30之前,此处先对预设的第一色彩衰减关系进行介绍,以便理解。由于自然光在射入水中时,一部分自然光被水面反射,一部分自然光会射入水中,而射入水中的自然光,会随着入射的距离、深度等衰减,而不同波长段的可见光,衰减的程度也有所不同(例如,对于波长较长的红光部分衰减得快,而波长较短的蓝色光、紫色光部分衰减得相对较慢一些)。
为了尽可能得到各波长段可见光在水中较为准确的衰减关系,可以结合现有的一些研究结论,以及实际测试数据,建立模型拟合出色彩衰减关系,此处的实际测试数据,可以通过以下方式得到:利用同一相机对同一对象(为了便于数据的便捷性和准确性,对象可以包含红橙黄绿蓝靛紫七色,且每种色彩对应一个独立的图像区域)在空气中拍摄的图像、以及在同一目标水域的不同深度拍摄的图像(为了保证精度,可以以每0.1~1米深度拍摄一张图像,理论上拍摄图像的最大深度可以到400米,通常,在水中400米已无光线,各波长段可见光已接近完全衰减),并且,需要得到该目标水域的水下悬浮物参数(例如浮游植物、悬浮固体、生物物质、有机物质等),然后再通过控制变量法,针对浮游植物、悬浮固体、生物物质、有机物质等,选取不同的水域采用类似的方法获取图像集(例如,一水域中浮游植物、悬浮固体、生物物质、有机物质均不为主要悬浮物类型,另一水域,仅浮游植物为主要悬浮物类型,又一水域,仅有机物质为主要悬浮物类型,那么针对这种不同变量的图像集,可以利用控制变量法的思想进行对比测试,从而得到准确的拟合结果)。针对所有图像集中的每张图像,获取该图像的色彩通道参数(当然,还有其他影响参数,例如水域、深度、光强、水下悬浮物参数等),从而得到测试数据。需要说明的是,图像集越丰富,每个图像标注的参数越详细,拟合出的色彩衰减关系可信度越高。
需要说明的是,本方案中介绍的衰减关系(例如第一色彩衰减关系、第二色彩衰减关系、第三色彩衰减关系、色彩散射关系,即第一散射关系和第二散射关系等)的获取,均可以采用模型训练的方式得到。
示例性的,可以采用对抗神经网络进行,分别由两类生成器(生成器A和生成器B)与一类判别器构成。例如,生成器A用于构造真实的珊瑚颜色图像,生成器B用于构造不同深度场景(仅为举例,不应视为限定,例如还可以是同一深度不同距离的场景)下的珊瑚颜色图像;判别器用于判定珊瑚图像是否为真实珊瑚颜色。模型由生成器A与生成器B进行反复迭代,最终将任意深度珊瑚图像输入模型,返回真实颜色的珊瑚图像,由此得到构建的衰减关系和/或色彩散射关系。
此处,生成表示模型通过学习一些数据,然后生成类似的数据。例如,让机器看一些动物图片,然后自己来产生动物的图片,这就是生成。
现有的生成技术例如Auto-Encoder(自编码器),VAE(Variational Auto-encoder,变分编码器)等,有一个较为严重弊端:比如VAE,它生成的image(图像)是希望和input(输入)越相似越好,但是model(模型)是如何来衡量这个相似呢?model会计算一个loss值(损失值),采用的大多是MSE(Mean Square Error,均方误差),即每一个像素上的均方差。这样的方式并不能很好地分辨差异集中的图像。
因此,本方案中可以采用以GAN(Generative Adversarial Networks,生成式对抗网络)为基础建立的模型。首先,GAN有两个网络,一个是generator(生成器),一个是discriminator(鉴别器),从二者零和博弈中受启发,通过两个网络互相对抗来达到最好的生成效果。
GAN的机制:首先,有一个一代的generator,它能生成一些很差的图片,然后有一个一代的discriminator,它能准确的把生成的图片和真实的图片分类,简而言之,这个discriminator就是一个二分类器,对生成的图片输出0,对真实的图片输出1。接着,开始训练出二代的generator,它能生成稍好一点的图片,能够让一代的discriminator认为这些生成的图片是真实的图片。然后会训练出一个二代的discriminator,它能准确的识别出真实的图片,和二代generator生成的图片。以此类推,会有三代,四代···n代的generator和discriminator,最后discriminator无法分辨生成的图片和真实图片,这个网络就拟合了。
在实际的训练中,我们可能会遇到一些问题,例如:训练中参数的更新没有达到预期的效果(例如新的点D1*没有出现,此时更新其中的参数G就达不到效果,因此可以在更新G的时候,设置一个合适的限制范围,一次不更新太多),又或者,模型训练速度较慢的问题:在训练的初期训练速度很快,到后期速度减慢,此时,我们可以通过修改G的loss function(损失函数),将其修改为:
Figure BDA0002889289490000131
这样可以提高模型的训练速度。通过此种方式可以得到第一色彩衰减关系(用于表征各波长段可见光在水下不同深度的衰减情况,即主要悬浮物类型(即该类型的悬浮物的浓度达到一定值以上时,该类型的悬浮物可以视为主要悬浮物类型)不含悬浮固体、生物物质、有机物质中的任一项时的衰减情况,此处的主要悬浮物类型表示某个类型的悬浮物的浓度达到一定值以上时,该类型的悬浮物可以视为主要悬浮物类型)和第二色彩衰减关系(用于表征在主要悬浮物类型包含悬浮固体、生物物质、有机物质中至少一项时,各波长段可见光在水中不同传播距离的衰减情况)。
而得到的第一色彩衰减关系和第二色彩衰减关系,可以预设到相机的处理模块(或其他的存储模块)中,以便处理模块在执行深水图像的色彩还真处理方法时调用。
因此,处理模块可以根据深度参数和预设的第一色彩衰减关系,确定出自然光中各波长段可见光的第一衰减参数,例如,红色光的第一衰减参数、橙色光的第一衰减参数、黄色光的第一衰减参数、绿色光的第一衰减参数、蓝色光的第一衰减参数、靛色光的第一衰减参数、紫色光的第一衰减参数等。
以及,获取水下悬浮物参数和深度参数后,处理模块可以执行步骤S40。
步骤S40:根据深度参数、水下悬浮物参数和预设的色彩散射关系,确定出自然光中各波长段可见光的散射参数,其中,色彩散射关系用于表征各波长段在不同悬浮物参数下的散射情况。
在介绍步骤S40之前,此处先对色彩散射关系(表征各波长段在不同悬浮物参数下的散射情况)进行介绍。接前文描述,将主要悬浮物类型不含浮游植物、悬浮固体、生物物质、有机物质中任一项的图像集作为参照集,将主要悬浮物类型为浮游植物的图像集作为对比集,进行拟合和测试,可以得到准确的色彩散射关系。
示例性的,本实施例中针对主要悬浮物类型是否包含浮游植物的两种情况,建立两种不同的色彩散射关系:一种色彩散射关系是利用浮游植物为主要悬浮物类型的所有图像集为基础,通过拟合、测试得到的第一散射关系。另一种色彩散射关系,是利用浮游植物不为主要悬浮物类型的所有图像集为基础,通过拟合、测试得到的第二散射关系。
得到的色彩散射关系(即第一散射关系和第二散射关系),可以预设到相机的处理模块(或其他的存储模块)中,以便处理模块在执行深水图像的色彩还真处理方法时调用。
基于此,处理模块可以根据深度参数、水下悬浮物参数和预设的色彩散射关系,确定出自然光中各波长段可见光的散射参数,例如,红色光的散射参数、橙色光的散射参数、黄色光的散射参数、绿色光的散射参数、蓝色光的散射参数、靛色光的散射参数、紫色光的散射参数等。
为了确定出合适的色彩散射关系来进行各波长段可见光的散射参数的确定,以便得到准确的散射参数。示例性的,处理模块可以获取相机拍摄深水图像时的定位参数(即定位装置对相机进行定位的定位信息)。
处理模块可以通过定位参数和水下悬浮物参数,确定浮游植物是否为目标水域中的主要悬浮物类型之一。具体的,处理模块可以基于定位参数确定相机拍摄深水图像的水域属于何处、属于何种类型的水域,是否为近海水域等,以此作为理论上的判断依据。例如,近海水域中通常具有大量的浮游植物,而水下悬浮物参数中也表明浮游植物在水中的浓度超过了预设的浓度值,由此可以确定浮游植物为目标水域中的主要悬浮物类型之一。这样的方式可以增加判断浮游植物是否为目标水域中的主要悬浮物类型之一时的准确性。并且,针对不同的水域,可能会存在该水域特有的特色,例如,某水域中金属离子含量偏高,影响了水体的颜色,此时确定散射参数时,可以选取预设的对应该种情况的散射关系,此处不作限定。
通过获取相机拍摄深水图像时的定位参数,结合水下悬浮物参数,可以通过定位参数确定相机拍摄深水图像的水域(例如该水域属于何处、何种类型的水域,是否为近海水域等),考虑到该水域的特点(例如该水域的水下悬浮物组成),从而结合水下悬浮物参数确定浮游植物是否为目标水域中的主要悬浮物类型之一。由于浮游植物中的叶绿素对蓝色光和紫色光的吸收效果强烈,而浮游植物群体又对光线具有较高的散射作用(散射绿色光),因此,由于浮游植物的吸收(蓝色光和紫色光)和散射(绿色光)作用,会极大地影响自然光中各波长段可见光在水下的散射情况。基于此,针对浮游植物是否为目标水域中的主要悬浮物类型之一,采用不同的散射关系进行散射参数的确定:浮游植物为目标水域中的主要悬浮物类型之一时,利用深度参数、悬浮物参数和色彩散射关系中的第一散射关系,确定出各波长段可见光的散射参数;浮游植物不为目标水域中的主要悬浮物类型之一时,利用深度参数、悬浮物参数和色彩散射关系中的第二散射关系,确定出各波长段可见光的散射参数。这样可以考虑到浮游植物对自然光中各波长段可见光在水下的散射情况的影响,从而确定出更加精准的散射参数,有利于深水图像的色彩还原。
需要说明的是,上述步骤S20、步骤S30、步骤S40,执行顺序上并没有严格的限制,可以先后执行(例如步骤S20先执行,或者步骤S30先执行,步骤S40先执行等),也可以同时执行,此处不作限定。
另外,由于水下悬浮物中的悬浮固体(例如颗粒物)、生物物质、有机物质,都能够对自然光中蓝色光部分在水下的衰减起到促进的作用,为了得到准确的衰减参数,处理模块还可以根据水下悬浮物参数,确定悬浮固体、生物物质、有机物质中至少一项是否为目标水域中的主要悬浮物类型之一。
在确定悬浮固体、生物物质、有机物质中至少一项为目标水域中的主要悬浮物类型之一时,处理模块可以根据深度参数、水下悬浮物参数和预设的第二色彩衰减关系,确定出各波长段可见光的第二衰减参数,例如,红色光的第二衰减参数、橙色光的第二衰减参数、黄色光的第二衰减参数、绿色光的第二衰减参数、蓝色光的第二衰减参数、靛色光的第二衰减参数、紫色光的第二衰减参数等。
在处理模块确定出自然光中各波长段可见光的第一衰减参数或散射参数后,可以执行步骤S50。
步骤S50:将各波长段可见光的第一衰减参数转换为与色彩通道参数对应的色彩通道下的第一色彩通道衰减参数,以及,将各波长段可见光的散射参数转换为与色彩通道参数对应的色彩通道下的色彩通道散射参数。
在本实施例中,在处理模块确定出自然光中各波长段可见光的第一衰减参数后,可以将各波长段可见光的第一衰减参数转换为与色彩通道参数对应的色彩通道下的第一色彩通道衰减参数。例如,针对橙色光的第一衰减参数,可以得到其在R色彩通道、G色彩通道和B色彩通道下的第一色彩通道衰减参数R1、第一色彩通道衰减参数G1和第一色彩通道衰减参数B1。
在本实施例中,在处理模块确定出自然光中各波长段可见光的散射参数后,可以将各波长段可见光的散射参数转换为与色彩通道参数对应的色彩通道下的色彩通道散射参数。例如,针对绿色光的散射参数,可以得到其在R色彩通道、G色彩通道和B色彩通道下的色彩通道散射参数R`、色彩通道散射参数G`和色彩通道散射参数B`。
当然,在处理模块确定出自然光中各波长段可见光的第二衰减参数后,可以将各波长段可见光的第二衰减参数转换为与色彩通道参数对应的色彩通道下的第二色彩通道衰减参数。例如,针对蓝色光的第二衰减参数,可以得到其在R色彩通道、G色彩通道和B色彩通道下的第二色彩通道衰减参数R2、第二色彩通道衰减参数G2和第二色彩通道衰减参数B2。
在确定出白平衡参数、色彩通道参数、第一色彩通道衰减参数、色彩通道散射参数后,处理模块可以执行步骤S60。
步骤S60:根据白平衡参数、第一色彩通道衰减参数和色彩通道散射参数,对色彩通道参数进行色彩还真处理,得到色彩通道还真参数。
在本实施例中,在处理模块确定的参数中不包含第二色彩通道衰减参数时,可以基于白平衡参数、第一色彩通道衰减参数和色彩通道散射参数,对色彩通道参数进行色彩还真处理。
示例性的,由于散射可以在一定程度上延缓各波长段可见光的衰减程度,但这种作用区域有限,且随散射参数的变化而不同。基于此,可以通过各波长段可见光的散射参数确定出对应该波长段可见光的第一作用关系(用于表征散射参数与衰减参数之间的相互作用)。此处以绿色光为例,造成绿色光的散射参数显著提升的原因通常是由于主要悬浮物类型中包含浮游植物,那么,可以利用主要悬浮物类型中只含浮游植物的图像集,以及,主要悬浮物类型中不含浮游植物、悬浮固体、生物物质、有机物质的图像集为拟合与测试数据的来源。通过拟合(例如多项式拟合)与测试,得到其中的绿色光部分的衰减参数与散射参数之间的第一作用关系,从而将该第一作用关系预设到处理模块(或相机的其他存储模块中)。
因此,处理模块可以基于散射参数和其对应的第一作用关系,得到色彩通道衰减参数的色彩通道衰减差异量,然后结合第一色彩通道衰减参数,得到修正的色彩通道衰减参数。
当然,在处理模块确定的参数还包括第二色彩通道衰减参数时,处理模块可以根据白平衡参数、第一色彩通道衰减参数、第二色彩通道衰减参数和色彩通道散射参数,对色彩通道参数进行色彩还真处理。
而第二色彩通道衰减参数与第一色彩通道衰减参数之间,差异在于主要悬浮物类型中是否包含悬浮固体、生物物质、有机物质之一。而悬浮固体、生物物质、有机物质,能够加速蓝色光、靛色光的衰减,因此,此处以蓝色光(或靛色光)为例。那么,可以利用主要悬浮物类型中包含悬浮固体、生物物质、有机物质时的图像集,以及,主要悬浮物类型中不含浮游植物、悬浮固体、生物物质、有机物质的图像集为拟合与测试数据的来源。通过拟合(例如多项式拟合)与测试,得到其中的蓝色光(或靛色光)部分的第一衰减参数与第二衰减参数之间的第二作用关系,从而将该第二作用关系预设到处理模块(或相机的其他存储模块中)。
因此,处理模块可以通过第二衰减参数、第一衰减参数以及对应的第二作用关系,得到第一衰减参数和第二衰减参数之间的色彩通道衰减差异量,然后对色彩通道衰减参数(可以为经过基于散射参数和其对应的第一作用关系得到的色彩通道衰减差异量修正过的色彩通道衰减参数)进一步修正。
处理模块可以基于修正的色彩通道衰减参数,结合白平衡参数(白平衡参数是对应该色彩通道的参数,不必进行转换,当然,其他一些可能的实现方式中,涉及到色彩通道不同的,可以进行相应的转换,此处不作限定),对色彩通道参数进行色彩还真处理,得到色彩通道还真参数。
由于水下悬浮物中的悬浮固体(例如颗粒物)、生物物质、有机物质,都能够对自然光中蓝色光部分在水下的衰减起到促进的作用,因此,基于水下悬浮物参数确定悬浮固体、生物物质、有机物质中至少一项是否为目标水域中的主要悬浮物类型之一,以此选取合适的色彩衰减关系来得到各波长段可见光的第二衰减参数。例如,在悬浮固体、生物物质、有机物质中至少一项为目标水域中的主要悬浮物类型之一时,可以根据深度参数、水下悬浮物参数和预设的第二色彩衰减关系(表征在主要悬浮物类型包含悬浮固体、生物物质、有机物质中至少一项时,各波长段可见光在水中不同传播距离的衰减情况),准确地确定出各波长段可见光的第二衰减参数,进一步将第二衰减参数转换为第二色彩通道衰减参数,从而更加准确地对色彩通道参数进行色彩还真处理,有利于提升深水图像的色彩还真处理的效果。
在处理模块对色彩通道参数进行色彩还真处理,得到色彩通道还真参数后,可以执行步骤S70。
步骤S70:根据色彩通道还真参数和深水图像原始文件,生成色彩还真处理后的深水图像。
在本实施例中,处理模块可以根据色彩通道还真参数和深水图像原始文件,生成色彩还真处理后的深水图像。
因此,通过深水图像原始文件,可以确定出深水图像的白平衡参数(表征拍摄深水图像时的色调)和色彩通道参数(表征深水图像中的色彩分布情况,例如RGB色彩模式的红、绿、蓝三色通道)。通过预设的第一色彩衰减关系(表征各波长段可见光在水下不同深度的衰减情况)结合相机位于水下的深度参数,可以确定出自然光中各波长段可见光的第一衰减参数,进而转换为与色彩通道参数对应的色彩通道下的第一色彩通道衰减参数。这样可以考虑到自然光在水中不同深度的衰减情况,通过第一色彩通道衰减参数进行表示,以便基于此进行色彩还真处理。而通过预设的色彩散射关系(表征各波长段在不同悬浮物参数下的散射情况)、相机拍摄深水图像时所处的目标水域中的水下悬浮物参数,以及相机位于水下的深度参数,可以确定出自然光中各波长段可见光的散射参数,进而转换为与色彩通道参数对应的色彩通道下的色彩通道散射参数。这样能够考虑到水中的悬浮物参数对自然光在水中的散射的影响,且能够考虑到散射的影响范围,从而确定出准确的色彩通道散射参数,以便基于此进行色彩还真处理。通过结合白平衡参数、第一色彩通道衰减参数和色彩通道散射参数,可以考虑到多种因素对水下图像色彩的影响,基于这些因素的参数值精准地对色彩通道参数进行色彩还真处理,从而得到准确的色彩通道还真参数,进而将色彩通道还真参数结合深水图像原始文件生成色彩还真处理后的深水图像,以精准细腻地还原深水图像中对象和背景的色彩。
另外,针对相机包括补光光源(用于提供光源光)的情况,处理模块可以获取相机拍摄深水图像时的光源信息(表征补光光源是否启动),从而判断补光光源是否启动。
若补光光源未启动,则可以通过前面的方法还原深水图像中对象和背景的色彩。若补光光源启动,那么,为了保证对深水图像的色彩还真的效果,处理模块还可以获取深水图像的景深范围,然后根据景深范围、补光光源的光源光和预设的第三色彩衰减关系,确定出光源光中各波长段可见光的第三衰减参数,其中,第三色彩衰减关系用于表征光源光中各波长段可见光在水中不同传播距离的衰减情况。此处的第三色彩衰减关系同样可以通过图像集得到,但精度要求更高一些,可以通过在水域中开启补光光源对同一对象进行不同距离的拍摄,获得补光图像集,从而基于这些图像集中的色彩参数,拟合得到第三色彩衰减关系。
而后,处理模块可以将光源光中各波长段可见光的第三衰减参数转换为与色彩通道参数对应的色彩通道下的第三色彩通道衰减参数;对应的,处理模块还可以在对色彩通道参数进行色彩还真处理时,考虑到第三色彩通道衰减参数,由于自然光于光源光之间的光线属于叠加关系,因此,可以在上述确定出的色彩通道还真参数基础上,进一步叠加第三色彩通道衰减参数对应的修正量(例如,G色彩通道的参数衰减了20%,那么,修正量为255*20%=51),得到再次修正后的色彩通道还真参数。但此时的色彩通道还真参数,需要与预设的拟合系数(可以通过补光拍摄的图像集和未补光拍摄的图像集,确定出拟合系数)相乘,以还原对象和背景的色彩(因为对象同时接受自然光和光源光的照射,而针对自然光和光源光分别进行了修正,即基于自然光进行的修正和基于光源光进行的修正)。
由于水下拍摄深水图像时,还可能存在补光的情况,即,深水图像中对象和背景的光照来源除了经水衰减和散射后的自然光,还包括相机上补光光源发出的经过水衰减后的光源光。因此,为了尽可能准确细腻地还原深水图像中对象和背景的色彩,可以通过光源信息判断补光光源是否启动,从而针对补光光源启动的情况,通过对应的方式确定更加精确的衰减参数。由于补光光源未启动时,即可通过第一色彩衰减关系确定出对应的第一衰减参数;而补光光源启动时,可以获取深水图像的景深范围(用于判断光源光中各波长段可见光的衰减距离),进一步根据景深范围、补光光源的光源光和预设的第三色彩衰减关系(表征光源光中各波长段可见光在水中不同传播距离的衰减情况),确定出光源光中各波长段可见光的第三衰减参数。进一步将第三衰减参数转换为第三色彩通道衰减参数,从而在对色彩通道参数进行色彩还真处理时,还可以考虑到光源光的影响,以进一步提升深水图像色彩还真的精准性和细腻程度。
请参阅图3,基于同一发明构思,本申请实施例中还提供一种深水图像的色彩还真处理装置200,包括:
获取单元210,用于获取相机于水下拍摄的深水图像原始文件,以及,获取相机拍摄深水图像时所处的目标水域中的水下悬浮物参数、相机位于水下的深度参数。
处理单元220,用于根据深水图像原始文件,确定出深水图像的白平衡参数和色彩通道参数,其中,白平衡参数用于表征拍摄深水图像时的色调,色彩通道参数用于表征深水图像中的色彩分布情况。
处理单元220,具体用于根据深度参数和预设的第一色彩衰减关系,确定出自然光中各波长段可见光的第一衰减参数,其中,第一色彩衰减关系用于表征各波长段可见光在水下不同深度的衰减情况。
处理单元220,具体用于根据深度参数、水下悬浮物参数和预设的色彩散射关系,确定出自然光中各波长段可见光的散射参数,其中,色彩散射关系用于表征各波长段在不同悬浮物参数下的散射情况。
处理单元220,具体用于将各波长段可见光的第一衰减参数转换为与色彩通道参数对应的色彩通道下的第一色彩通道衰减参数,以及,将各波长段可见光的散射参数转换为与色彩通道参数对应的色彩通道下的色彩通道散射参数。
处理单元220,具体用于根据白平衡参数、第一色彩通道衰减参数和色彩通道散射参数,对色彩通道参数进行色彩还真处理,得到色彩通道还真参数。
处理单元220,具体用于根据色彩通道还真参数和深水图像原始文件,生成色彩还真处理后的深水图像。
由于深水图像的色彩还真处理装置200与深水图像的色彩还真处理方法对应,此处不再赘述。
本申请实施例还提供一种存储介质,存储介质存储有一个或者多个程序,一个或者多个程序可被一个或者多个处理器执行,以实现如本实施例中的深水图像的色彩还真处理方法。
综上所述,本申请实施例提供一种深水图像的色彩还真处理方法、装置、存储介质及相机,通过深水图像原始文件,可以确定出深水图像的白平衡参数(表征拍摄深水图像时的色调)和色彩通道参数(表征深水图像中的色彩分布情况,例如RGB色彩模式的红、绿、蓝三色通道)。通过预设的第一色彩衰减关系(表征各波长段可见光在水下不同深度的衰减情况)结合相机位于水下的深度参数,可以确定出自然光中各波长段可见光的第一衰减参数,进而转换为与色彩通道参数对应的色彩通道下的第一色彩通道衰减参数。这样可以考虑到自然光在水中不同深度的衰减情况,通过第一色彩通道衰减参数进行表示,以便基于此进行色彩还真处理。而通过预设的色彩散射关系(表征各波长段在不同悬浮物参数下的散射情况)、相机拍摄深水图像时所处的目标水域中的水下悬浮物参数,以及相机位于水下的深度参数,可以确定出自然光中各波长段可见光的散射参数,进而转换为与色彩通道参数对应的色彩通道下的色彩通道散射参数。这样能够考虑到水中的悬浮物参数对自然光在水中的散射的影响,且能够考虑到散射的影响范围,从而确定出准确的色彩通道散射参数,以便基于此进行色彩还真处理。通过结合白平衡参数、第一色彩通道衰减参数和色彩通道散射参数,可以考虑到多种因素对水下图像色彩的影响,基于这些因素的参数值精准地对色彩通道参数进行色彩还真处理,从而得到准确的色彩通道还真参数,进而将色彩通道还真参数结合深水图像原始文件生成色彩还真处理后的深水图像,以精准细腻地还原深水图像中对象和背景的色彩。
在本申请所提供的实施例中,应该理解到,所揭露装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。
在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上仅为本申请的实施例而已,并不用于限制本申请的保护范围,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (6)

1.一种深水图像的色彩还真处理方法,其特征在于,包括:
获取相机于水下拍摄的深水图像原始文件,以及,获取所述相机拍摄深水图像时所处的目标水域中的水下悬浮物参数、所述相机位于水下的深度参数;
根据所述深水图像原始文件,确定出所述深水图像的白平衡参数和色彩通道参数,其中,所述白平衡参数用于表征拍摄所述深水图像时的色调,所述色彩通道参数用于表征所述深水图像中的色彩分布情况;
根据所述深度参数和预设的第一色彩衰减关系,确定出自然光中各波长段可见光的第一衰减参数,其中,所述第一色彩衰减关系用于表征所述各波长段可见光在水下不同深度的衰减情况;
根据所述深度参数、所述水下悬浮物参数和预设的色彩散射关系,确定出自然光中各波长段可见光的散射参数,其中,所述色彩散射关系用于表征所述各波长段在不同悬浮物参数下的散射情况;
将所述各波长段可见光的所述第一衰减参数转换为与所述色彩通道参数对应的色彩通道下的第一色彩通道衰减参数,以及,将所述各波长段可见光的所述散射参数转换为与所述色彩通道参数对应的色彩通道下的色彩通道散射参数;
根据所述白平衡参数、所述第一色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理,得到色彩通道还真参数;
根据所述色彩通道还真参数和所述深水图像原始文件,生成色彩还真处理后的深水图像;
所述方法还包括:获取所述相机拍摄所述深水图像时的定位参数;
对应的,所述根据所述深度参数、所述水下悬浮物参数和预设的色彩散射关系,确定出自然光中各波长段可见光的散射参数,包括:
根据所述定位参数和所述水下悬浮物参数,确定浮游植物是否为所述目标水域中的主要悬浮物类型之一;若浮游植物为所述目标水域中的主要悬浮物类型之一,根据所述深度参数、所述悬浮物参数和所述色彩散射关系中的第一散射关系,确定出所述各波长段可见光的所述散射参数;若浮游植物不为所述目标水域中的主要悬浮物类型之一,根据所述深度参数、所述悬浮物参数和所述色彩散射关系中的第二散射关系,确定出所述各波长段可见光的所述散射参数。
2.根据权利要求1所述的深水图像的色彩还真处理方法,其特征在于,所述方法还包括:
根据所述水下悬浮物参数,确定悬浮固体、生物物质、有机物质中至少一项是否为所述目标水域中的主要悬浮物类型之一;
若是,根据深度参数、所述水下悬浮物参数和预设的第二色彩衰减关系,确定出所述各波长段可见光的第二衰减参数,其中,所述第二色彩衰减关系用于表征在所述主要悬浮物类型包含悬浮固体、生物物质、有机物质中至少一项时,所述各波长段可见光在水中不同传播距离的衰减情况;
将所述各波长段可见光的所述第二衰减参数转换为与所述色彩通道参数对应的色彩通道下的第二色彩通道衰减参数;
对应的,所述根据所述白平衡参数、所述第一色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理,包括:
根据所述白平衡参数、所述第一色彩通道衰减参数、所述第二色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理。
3.根据权利要求1所述的深水图像的色彩还真处理方法,其特征在于,所述相机包括补光光源,所述补光光源用于提供光源光,所述方法还包括:
获取所述相机拍摄所述深水图像时的光源信息,其中,所述光源信息用于表征所述补光光源是否启动;
根据所述光源信息,判断所述补光光源是否启动;
若所述补光光源启动,所述方法还包括:
获取所述深水图像的景深范围;
根据所述景深范围、所述补光光源的光源光和预设的第三色彩衰减关系,确定出所述光源光中各波长段可见光的第三衰减参数,其中,所述第三色彩衰减关系用于表征所述光源光中各波长段可见光在水中不同传播距离的衰减情况;
将所述光源光中各波长段可见光的所述第三衰减参数转换为与所述色彩通道参数对应的色彩通道下的第三色彩通道衰减参数;
对应的,所述根据所述白平衡参数、所述第一色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理,包括:
根据所述白平衡参数、所述第一色彩通道衰减参数、所述第三色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理。
4.一种深水图像的色彩还真处理装置,其特征在于,包括:
获取单元,用于获取相机于水下拍摄的深水图像原始文件,以及,获取所述相机拍摄深水图像时所处的目标水域中的水下悬浮物参数、所述相机位于水下的深度参数;
处理单元,用于根据所述深水图像原始文件,确定出所述深水图像的白平衡参数和色彩通道参数,其中,所述白平衡参数用于表征拍摄所述深水图像时的色调,所述色彩通道参数用于表征所述深水图像中的色彩分布情况;
所述处理单元,具体用于根据所述深度参数和预设的第一色彩衰减关系,确定出自然光中各波长段可见光的第一衰减参数,其中,所述第一色彩衰减关系用于表征所述各波长段可见光在水下不同深度的衰减情况;
所述处理单元,具体用于根据所述深度参数、所述水下悬浮物参数和预设的色彩散射关系,确定出自然光中各波长段可见光的散射参数,其中,所述色彩散射关系用于表征所述各波长段在不同悬浮物参数下的散射情况;
所述处理单元,具体用于将所述各波长段可见光的所述第一衰减参数转换为与所述色彩通道参数对应的色彩通道下的第一色彩通道衰减参数,以及,将所述各波长段可见光的所述散射参数转换为与所述色彩通道参数对应的色彩通道下的色彩通道散射参数;
所述处理单元,具体用于根据所述白平衡参数、所述第一色彩通道衰减参数和所述色彩通道散射参数,对所述色彩通道参数进行色彩还真处理,得到色彩通道还真参数;
所述处理单元,具体用于根据所述色彩通道还真参数和所述深水图像原始文件,生成色彩还真处理后的深水图像;
所述获取单元,还用于获取所述相机拍摄所述深水图像时的定位参数;
对应的,所述处理单元,具体用于根据所述定位参数和所述水下悬浮物参数,确定浮游植物是否为所述目标水域中的主要悬浮物类型之一;若浮游植物为所述目标水域中的主要悬浮物类型之一,根据所述深度参数、所述悬浮物参数和所述色彩散射关系中的第一散射关系,确定出所述各波长段可见光的所述散射参数;若浮游植物不为所述目标水域中的主要悬浮物类型之一,根据所述深度参数、所述悬浮物参数和所述色彩散射关系中的第二散射关系,确定出所述各波长段可见光的所述散射参数。
5.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1至3中任一项所述的深水图像的色彩还真处理方法。
6.一种水下图像色彩还真相机,其特征在于,包括:
机身,用于在水下拍摄深水图像;
悬浮物浓度测量装置,与所述机身连接,用于检测所述机身所处的目标水域中的水下悬浮物参数;
定位装置,与所述机身连接,用于对所述机身进行定位,确定出定位参数;
补光光源,用于提供光源光;
水下深度测量装置,与所述机身连接,用于检测所述机身位于水下的深度参数;
所述机身内包含DSP单元,用于执行权利要求1至3中任一项所述的深水图像的色彩还真处理方法,以输出色彩还真处理后的深水图像。
CN202110023138.3A 2021-01-08 2021-01-08 深水图像的色彩还真处理方法、装置、存储介质及相机 Active CN112804510B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110023138.3A CN112804510B (zh) 2021-01-08 2021-01-08 深水图像的色彩还真处理方法、装置、存储介质及相机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110023138.3A CN112804510B (zh) 2021-01-08 2021-01-08 深水图像的色彩还真处理方法、装置、存储介质及相机

Publications (2)

Publication Number Publication Date
CN112804510A CN112804510A (zh) 2021-05-14
CN112804510B true CN112804510B (zh) 2022-06-03

Family

ID=75809194

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110023138.3A Active CN112804510B (zh) 2021-01-08 2021-01-08 深水图像的色彩还真处理方法、装置、存储介质及相机

Country Status (1)

Country Link
CN (1) CN112804510B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115423751A (zh) * 2021-07-13 2022-12-02 深圳市中科微光医疗器械技术有限公司 图像处理的方法、装置、电子设备及存储介质
CN117082362B (zh) * 2023-08-25 2024-05-28 山东中清智能科技股份有限公司 一种水下成像方法和设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104020083A (zh) * 2014-06-13 2014-09-03 重庆大学 一种确定水中悬浮颗粒物散射特性的方法
CN109981929A (zh) * 2017-12-27 2019-07-05 中国科学院深圳先进技术研究院 水下浮游生物光学成像装置及方法
CN111366510A (zh) * 2020-03-02 2020-07-03 清华大学深圳国际研究生院 一种利用同步偏振及荧光的悬浮颗粒物通量测量装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106944B2 (en) * 2006-10-04 2012-01-31 Massachusetts Institute Of Technology Adaptive illumination for color-corrected underwater imaging
PT106279A (pt) * 2012-04-26 2013-10-28 Univ Aveiro Sensor e método para medida de turvação
CN102982514B (zh) * 2012-12-10 2016-03-02 河海大学常州校区 一种暗原色和白平衡相结合的水下彩色图像增强方法
WO2017175231A1 (en) * 2016-04-07 2017-10-12 Carmel Haifa University Economic Corporation Ltd. Image dehazing and restoration
EP3596696B1 (en) * 2017-03-13 2023-06-28 Carmel-Haifa University Economic Corporation Ltd. Target-less calibration of turbid media
CN109410180B (zh) * 2018-09-30 2021-09-21 清华-伯克利深圳学院筹备办公室 衰减系数的确定方法、装置、计算机设备和存储介质
CN111861896A (zh) * 2019-04-30 2020-10-30 陕西师范大学 一种面向uuv的水下图像色彩补偿与恢复方法
AU2020278256A1 (en) * 2019-05-21 2021-12-23 Carmel Haifa University Economic Corp. Ltd. Physics-based recovery of lost colors in underwater and atmospheric images under wavelength dependent absorption and scattering
CN110223251B (zh) * 2019-06-02 2023-03-24 西安电子科技大学 适用于人工与自然光源的卷积神经网络水下图像复原方法
CN111161170B (zh) * 2019-12-18 2023-04-28 江苏科技大学 一种用于目标识别的水下图像综合增强方法
CN111260584A (zh) * 2020-01-17 2020-06-09 北京工业大学 基于gan网络的水下退化图像增强的方法
CN112132925A (zh) * 2020-11-24 2020-12-25 上海彩虹鱼海洋科技股份有限公司 用于重建水下图像颜色的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104020083A (zh) * 2014-06-13 2014-09-03 重庆大学 一种确定水中悬浮颗粒物散射特性的方法
CN109981929A (zh) * 2017-12-27 2019-07-05 中国科学院深圳先进技术研究院 水下浮游生物光学成像装置及方法
CN111366510A (zh) * 2020-03-02 2020-07-03 清华大学深圳国际研究生院 一种利用同步偏振及荧光的悬浮颗粒物通量测量装置

Also Published As

Publication number Publication date
CN112804510A (zh) 2021-05-14

Similar Documents

Publication Publication Date Title
Akkaynak et al. A revised underwater image formation model
Li et al. An underwater image enhancement benchmark dataset and beyond
Bianco et al. A new color correction method for underwater imaging
Stumpfel et al. Direct HDR capture of the sun and sky
Rizzi et al. Color correction between gray world and white patch
CN100450188C (zh) 图像数据处理方法和图像数据处理装置
CN112804510B (zh) 深水图像的色彩还真处理方法、装置、存储介质及相机
CN102693538B (zh) 生成高动态范围图像的全局对准方法和装置
CN109005361A (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
US8787659B2 (en) Automatic adaptation to image processing pipeline
Gatta et al. Ace: An automatic color equalization algorithm
CN110033510B (zh) 建立颜色映射关系用于校正渲染图像颜色的方法及装置
CN107800966A (zh) 图像处理的方法、装置、计算机可读存储介质和电子设备
McCann et al. Camera and visual veiling glare in HDR images
CN108965729A (zh) 控制方法、装置、电子设备和计算机可读存储介质
CN108012135B (zh) 图像处理方法及装置、计算机可读存储介质和计算机设备
CN109478316A (zh) 实时自适应阴影和高光增强
CN103905738B (zh) 高动态范围图像生成系统及方法
JP2019145097A (ja) 設定装置及び方法、プログラム、記憶媒体
Vršnak et al. Framework for illumination estimation and segmentation in multi-illuminant scenes
CN117156289A (zh) 色彩风格校正方法、系统、电子设备、存储介质及芯片
US11979692B2 (en) Systems and methods for optimal color calibration for LED volume stages
Lin et al. On‐site example‐based material appearance acquisition
Blasinski et al. Computational multispectral flash
CN109903248A (zh) 一种生成自动白平衡模型的方法和图像处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant