CN112954224A - 拍摄方法及装置、电子设备、可读存储介质和芯片 - Google Patents

拍摄方法及装置、电子设备、可读存储介质和芯片 Download PDF

Info

Publication number
CN112954224A
CN112954224A CN202110327489.3A CN202110327489A CN112954224A CN 112954224 A CN112954224 A CN 112954224A CN 202110327489 A CN202110327489 A CN 202110327489A CN 112954224 A CN112954224 A CN 112954224A
Authority
CN
China
Prior art keywords
ultraviolet
image
scene
original image
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110327489.3A
Other languages
English (en)
Inventor
彭乾坤
陈权
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202110327489.3A priority Critical patent/CN112954224A/zh
Publication of CN112954224A publication Critical patent/CN112954224A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种拍摄方法及装置、电子设备、可读存储介质和芯片,属于摄像领域。拍摄方法包括获取镜头采集的原始图像;在原始图像的场景类型为目标场景类型的情况下,通过紫外线装置获取紫外场景图;基于原始图像和紫外场景图,生成增强图像,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像;基于增强图像,生成目标图像。本申请中生成的目标图像是基于原始图像和紫外场景图生成的,从而可以极大地提升处理速度,降低能耗,节省时间,获得清晰度高的目标图像。

Description

拍摄方法及装置、电子设备、可读存储介质和芯片
技术领域
本申请属于摄像技术领域,具体涉及一种拍摄方法及装置、电子设备、可读存储介质和芯片。
背景技术
随着相机技术的发展,手机使用者越来越希望自己所拍摄的相片是清晰的和准确的。然而,由于工业发展技术的快速发展,其所造成的污染也日趋严重,所带来的结果是雾霾天和阴霾天的增加。公园游玩观赏鱼的活动愈来愈受到人们的欢迎,拍摄过程中会遇到反光,水浑浊的情况。
也就是说,在这些场景中所得到的照片往往是模糊的,不清晰的,达不到手机使用者的要求。现有的技术方案几乎都属于相片后处理阶段,即对已输出和压缩后的JPG或者PNG格式图片进行处理。
现有的处理方式包括:第一种方式基于图像的统计信息使用滤波器,该种模式的缺陷在于图像成片质量不一,当场景中可视度很低,水很浑浊的情况,则会导致图像的统计信息失效进而得不到有效滤波器参数。第二种方式为使用最近新兴的深度学习方法,如端到端网络。然而,该种模式的缺陷在于鲁棒性不够,无法对所有不同场景进行最优化操作。
发明内容
本申请实施例的目的是提供一种拍摄方法及装置、电子设备、可读存储介质和芯片,能够解决相关技术中电子设备在极端环境下(如雾霾天、水下)拍摄不清晰的问题。
为了解决上述技术问题,本申请是这样实现的:
第一方面,本申请实施例提供了一种拍摄方法,该方法包括:
获取镜头采集的原始图像;
在原始图像的场景类型为目标场景类型的情况下,通过紫外线装置获取紫外场景图;
基于原始图像和紫外场景图,生成增强图像,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像;
基于增强图像,生成目标图像。
第二方面,本申请实施例提供了一种拍摄装置,包括:
获取模块,用于获取镜头采集的原始图像;
控制模块,用于在原始图像的场景类型为目标场景类型的情况下,通过紫外线装置获取紫外场景图;
基于原始图像和紫外场景图,生成增强图像,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像;
基于增强图像,生成目标图像。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序或指令,程序或指令被处理器执行时实现如第一方面所提供的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,可读存储介质上存储程序或指令,程序或指令被处理器执行时实现如第一方面所提供的方法的步骤。
第五方面,本申请实施例提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现如第一方面所提供的方法。
在本申请实施例中,拍摄方法包括获取镜头采集的原始图像,原始图像中包含至少一个拍摄对象的图像。然后根据原始图像以获得对应的场景类型,进而判断原始图像的场景类型是否为目标场景类型,从而确定是否需要通过紫外线装置获取紫外场景图。具体地,目标场景类型包括但不限于水面场景、水下场景或雾霾场景。当原始图像的场景类型为目标场景类型时,即表明拍摄对象所处场景包括水面、水下或雾霾天中的至少一种。接着通过紫外线装置获取紫外场景图,由于紫外线装置能够产生紫外线,由于紫外线具有穿透力强的特性,紫外线可以穿透被摄物体,从而获取相关技术中不能获得的雾后、水后的背景信息,然后再基于原始图像和紫外场景图,生成增强图像,其中,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像,然后再基于增强图像以生成目标图像。一方面,本申请中生成的目标图像是基于原始图像生成的,由于原始图像并未被压缩处理,未损失图像的细节信息,则可以极大地提升速度和原始无损信息处理,能够避免相关技术中对压缩处理的已损失细节信息的图像进行后处理而存在的局限性,另一方面,本申请中生成的目标图像还基于紫外场景图,利用紫外线穿透能力强而获得拍摄对象的更多背景信息,通过将原始图像和紫外成景图相结合进行底层处理,可以极大地提升处理速度,降低能耗,节省时间,获得清晰度高的目标图像。
附图说明
图1示出了根据本申请实施例的拍摄方法的流程图之一;
图2示出了根据本申请实施例的拍摄方法的流程图之二;
图3示出了根据本申请实施例的拍摄方法的流程图之三;
图4示出了根据本申请实施例的拍摄方法的流程图之四;
图5示出了根据本申请实施例的拍摄方法的流程图之五;
图6示出了根据本申请实施例的拍摄装置的结构框图;
图7示出了根据本申请实施例的电子设备的结构框图;
图8示出了本申请实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的拍摄对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,说明书以及权利要求中“和/或”表示所连接拍摄对象的至少其中之一,字符“/”,一般表示前后关联拍摄对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的拍摄方法及装置、电子设备、可读存储介质和芯片进行详细地说明。
在本申请的一些实施例中,图1示出了根据本申请实施例的拍摄方法的流程图之一,具体地,拍摄方法具体包括以下步骤:
步骤102,获取镜头采集的原始图像;
步骤104,在原始图像的场景类型为目标场景类型的情况下,通过紫外线装置获取紫外场景图;
步骤106,基于原始图像和紫外场景图,生成增强图像,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像;
步骤108,基于增强图像,生成目标图像。
在本申请实施例中,拍摄方法包括获取镜头采集的原始图像,原始图像中包含至少一个拍摄对象的图像。然后根据原始图像以获得对应的场景类型,进而判断原始图像的场景类型是否为目标场景类型,从而确定是否需要通过紫外线装置获取紫外场景图。具体地,目标场景类型包括但不限于水面场景、水下场景或雾霾场景。当原始图像的场景类型为目标场景类型时,即表明拍摄对象所处场景包括水面、水下或雾霾天中的至少一种。接着通过紫外线装置获取紫外场景图,由于紫外线装置能够产生紫外线,由于紫外线具有穿透力强的特性,紫外线可以穿透被摄物体,从而获取相关技术中不能获得的雾后、水后的背景信息,然后再基于原始图像和紫外场景图,生成增强图像,其中,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像,然后再基于增强图像以生成目标图像。一方面,本申请中生成的目标图像是基于原始图像生成的,由于原始图像并未被压缩处理,未损失图像的细节信息,则可以极大地提升速度和原始无损信息处理,能够避免相关技术中对压缩处理的已损失细节信息的图像进行后处理而存在的局限性,另一方面,本申请中生成的目标图像还基于紫外场景图,利用紫外线穿透能力强而获得拍摄对象的更多背景信息,通过将原始图像和紫外成景图相结合进行底层处理,可以极大地提升处理速度,降低能耗,节省时间,获得清晰度高的目标图像并提升用户拍摄体验。
进一步地,基于增强图像,生成目标图像的步骤,具体包括,对增强图像进行图像信号处理,从而生成目标图像,目标图像即为成片。图像信号处理(Image SignalProcessing,ISP),ISP一般用来处理Image Sensor(图像传感器)的输出数据,如做AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Lens Shading、Gamma校正、祛除坏点、Auto Black Level、Auto White Level等等功能的处理。
进一步地,若原始图像的场景类型不为目标场景类型时,即可进行正常的图像处理流程,无需通过紫外线装置获取紫外场景图。也就是说,当拍摄对象所处场景不是水面场景、水下场景或雾霾场景情况时,则可以直接采用普通的拍摄模式。也就是说,拍摄方法包括两种拍摄模式,当原始图像的场景类型不为目标场景类型启动第一种拍摄模式,无需获取紫外场景图。而当原始图像的场景类型为目标场景类型启动第二种拍摄模式,通过紫外线装置获取紫外场景图,利用紫外线的强穿透性获取到的紫外场景图和原始图像结合以形成轮廓增强的增强图像,进而基于增强图像来获得目标图像,降低能耗且能够实现清晰度的提升。
在本申请的一些实施例中,图2示出了根据本申请实施例的拍摄方法的流程图之二,具体地,拍摄方法具体包括以下步骤:
紫外线装置包括紫外线发射装置和紫外线接收装置;
通过紫外线装置获取紫外场景图,具体步骤包括:
步骤202,获取紫外线接收装置采集的第一紫外线图像,第一紫外线图像为外部环境中紫外线照射到拍摄对象得到的拍摄对象轮廓的图像;
步骤204,通过紫外线接收装置获取紫外线发送装置返回的第二紫外线图像,第二紫外线图像为紫外线发射装置产生的紫外线和外部环境中紫外线照射到拍摄对象得到的拍摄对象轮廓的图像;
步骤206,基于第一紫外线图像和第二紫外线图像,生成紫外场景图。
在本申请实施例中,紫外线装置包括紫外线发射装置和紫外线接收装置,其中,紫外线发射装置用于产生紫外线,紫外线接收装置用于接收拍摄对象所返回的紫外线,并生成紫外线图像。值得说明的是,紫外线图像包括第一紫外线图像和第二紫外线图像。其中,第一紫外线图像为外部环境紫外线照射到拍摄对象所得到的拍摄对象轮廓的图像,第二紫外线图像为外部环境紫外线和紫外线发生装置产生的紫外线同时照射到拍摄对象得到的拍摄对象的轮廓图像。基于第一紫外线图像和第二紫外线图像,从而可以生成去除外部环境紫外线干扰的紫外场景图,使得紫外场景图能够更加准确地反映拍摄对象的背景信息,避免由于外部环境紫外线干扰而导致紫外场景图的信息不准确,进而影响目标图像的清晰度。
其中,第一紫外线图像和第二紫外线图像可以包括以下至少一项:拍摄对象的轮廓的图像、包含拍摄对象的粒度分布图像。紫外线图像是可以反映拍摄对象对紫外线反射能力的图像。拍摄对象包括以下至少一项:人物、物体、水面、拍摄环境中的雾霾颗粒等。
在本申请的一些实施例中,图3示出了根据本申请实施例的拍摄方法的流程图之三,具体地,基于第一紫外线图像和第二紫外线图像,生成紫外场景图的步骤,具体包括:
步骤302,对齐第一紫外线图像和第二紫外线图像;
步骤304,对第一紫外线图像和第二紫外线图像进行减性融合处理,生成预处理紫外图像;
步骤306,基于预处理紫外图像,生成紫外场景图。
在本申请实施例中,对第一紫外线图像和第二紫外线图像进行对齐处理,对齐处理是基于特征的图像对齐。具体地,在第一紫外线图像中检测到一组特征点,并与第二紫外线图像中的特征点相匹配,然后根据这些匹配的特征点计算出一个转换规则,从而可以将第一紫外线图像和第二紫外线图像进行对齐。对齐后的第一紫外线图像和第二紫外线图像在同一位置处具有相对应的特征点,每个特征点具有对应的像素值,譬如,第一紫外线图像包括第一特征点,第一特征点具有第一像素值,第二紫外线图像上包括与第一特征点相对应的第二特征点,第二特征点具有第二像素值。然后,将对齐后的第一紫外线图像和第二紫外线图像进行减性融合处理,为第二紫外线图像上的第二特征点的第二像素值减去第一紫外线图像上的第一特征点的第一像素值,从而以获得去除外部环境紫外线干扰的预处理紫外图像,在预处理紫外图像的基础上,可以进行进一步的优化处理,消除预处理紫外图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性、最大限度地简化数据,从而改进特征提取、图像分割、匹配和识别的可靠性,从而使得紫外场景图能够更加准确地反映拍摄对象的背景信息。
在本申请的一些实施例中,图4示出了根据本申请实施例的拍摄方法的流程图之四,具体地,在对第一紫外线图像和第二紫外线图像进行减性融合处理,生成预处理紫外图像的步骤之后,拍摄方法还包括:
步骤402,对预处理紫外图像进行去噪处理。
在本申请实施例中,对齐第一紫外线图像和第二紫外线图像,并进行减性融合处理后生成预处理紫外图像,接着对预处理紫外图像进行去噪处理,从而可以去除预处理紫外图像在数字化和传输过程中,所受到的来自于电子设备与外部环境的噪声干扰,去除预处理紫外图像上多余的噪声点,得到轮廓清晰、噪音较少的图像。具体地,对预处理紫外图像可以进行保边去噪,保边去噪是为了解决压噪和保边之间的矛盾,在求平均值平滑滤波方法的基础上做了一个改动。保边去噪首先是寻找输入数据中每个样点附近的最相似的区块,并求得该区块的平均值,再用这个平均值代替该样点的原始值。具体地,可以采用双边滤波来实现保边去噪,双边滤波是一种非线性的滤波方法,是结合图像的空间邻近度和像素值相似度的一种折中处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的。具有简单、非迭代、局部的特点。双边滤波器的好处是可以做边缘保存,一般过去用的维纳滤波或者高斯滤波去降噪,都会较明显地模糊边缘,对于高频细节的保护效果并不明显。
在本申请的一些实施例中,图5示出了根据本申请实施例的拍摄方法的流程图之五,具体地,基于原始图像和紫外场景图,生成增强图像的步骤,具体包括:
步骤502,对原始图像和紫外场景图进行加性融合处理,生成增强图像。
在本申请实施例中,对原始图像和紫外场景图进行加性融合处理,生成增强图像。增强图像基于原始图像生成的,由于原始图像并未被压缩处理,未损失图像的细节信息,则可以极大地提升速度和原始无损信息处理,能够避免相关技术中对压缩处理的已损失细节信息的图像进行后处理而存在的局限性。增强图像还基于紫外场景图,利用紫外线穿透能力强而获得拍摄对象的更多背景信息,通过将原始图像和紫外成景图相结合进行底层处理,可以极大地提升处理速度,降低能耗,节省时间,获得清晰度高的目标图像。
具体地,原始图像和紫外场景图在同一位置处具有相对应的特征点,每个特征点具有相应的像素值,比如,原始图像包括第三特征点,第三特征点具有第三像素值,紫外场景图包括与第三特征点相对应的第四特征点,第四特征点具有第四像素值,原始图像和紫外场景图进行加性融合处理,则原始图像上的第三特征点的第三像素值和紫外场景图上第四特征点的第四像素值进行加和,从而获得增强图像一个特征点的像素值。进一步地,原始图像和紫外场景图的加性融合处理可以为加性权重融合处理,即对于原始图像和紫外场景图每一个特征点都可以赋予相应的权重系数,譬如,增强图像的一个特征点的像素值=x*紫外场景图上第四特征点的第四像素值+(1-x)*原始图像第三特征点的第三像素,其中,权重系数x的范围大于0,小于1。
需要说明的是,本申请实施例提供的拍摄方法,执行主体可以为拍摄装置,或者,或者该拍摄装置中的用于执行加载拍摄方法的控制模块。本申请实施例中以拍摄装置执行加载拍摄方法为例,说明本申请实施例提供的拍摄方法。
图6示出了根据申请实施例的拍摄装置的结构框图,具体地,拍摄装置600包括:
获取模块602,用于获取镜头采集的原始图像;
控制模块604,用于在原始图像的场景类型为目标场景类型的情况下,通过紫外线装置获取紫外场景图;
基于原始图像和紫外场景图,生成增强图像,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像;
基于增强图像,生成目标图像。
在本申请实施例中,拍摄方法包括获取镜头采集的原始图像,原始图像中包含至少一个拍摄对象的图像。然后根据原始图像以获得对应的场景类型,进而判断原始图像的场景类型是否为目标场景类型,从而确定是否需要通过紫外线装置获取紫外场景图。具体地,目标场景类型包括但不限于水面场景、水下场景或雾霾场景。当原始图像的场景类型为目标场景类型时,即表明拍摄对象所处场景包括水面、水下或雾霾天中的至少一种。接着通过紫外线装置获取紫外场景图,由于紫外线装置能够产生紫外线,由于紫外线具有穿透力强的特性,紫外线可以穿透被摄物体,从而获取相关技术中不能获得的雾后、水后的背景信息,然后再基于原始图像和紫外场景图,生成增强图像,其中,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像,然后再基于增强图像以生成目标图像。一方面,本申请中生成的目标图像是基于原始图像生成的,由于原始图像并未被压缩处理,未损失图像的细节信息,则可以极大地提升速度和原始无损信息处理,能够避免相关技术中对压缩处理的已损失细节信息的图像进行后处理而存在的局限性,另一方面,本申请中生成的目标图像还基于紫外场景图,利用紫外线穿透能力强而获得拍摄对象的更多背景信息,通过将原始图像和紫外成景图相结合进行底层处理,可以极大地提升处理速度,降低能耗,节省时间,获得清晰度高的目标图像。
进一步地,基于增强图像,生成目标图像的步骤,具体包括,对增强图像进行图像信号处理,从而生成目标图像,目标图像即为成片。图像信号处理(Image SignalProcessing,ISP),ISP一般用来处理Image Sensor(图像传感器)的输出数据,如做AEC(自动曝光控制)、AGC(自动增益控制)、AWB(自动白平衡)、色彩校正、Lens Shading、Gamma校正、祛除坏点、Auto Black Level、Auto White Level等等功能的处理。
进一步地,若原始图像的场景类型不为目标场景类型时,即可进行正常的图像处理流程,无需通过紫外线装置获取紫外场景图。也就是说,当拍摄对象所处场景不是水面场景、水下场景或雾霾场景情况时,则可以直接采用普通的拍摄模式。也就是说,拍摄方法包括两种拍摄模式,当原始图像的场景类型不为目标场景类型启动第一种拍摄模式,无需获取紫外场景图。而当原始图像的场景类型为目标场景类型启动第二种拍摄模式,通过紫外线装置获取紫外场景图,利用紫外线的强穿透性获取到的紫外场景图和原始图像结合以形成轮廓增强的增强图像,进而基于增强图像来获得目标图像,降低能耗且能够实现清晰度的提升。
在本申请的一些实施例中,紫外线装置包括紫外线发射装置和紫外线接收装置;控制模块604还用于:
获取紫外线接收装置采集的第一紫外线图像,第一紫外线图为外部环境中紫外线照射到拍摄对象得到的拍摄对象轮廓的图像;
通过紫外线接收装置获取紫外线发送装置返回的第二紫外线图像,第二紫外线图像为紫外线发射装置产生的紫外线和外部环境中紫外线照射到拍摄对象得到的拍摄对象轮廓的图像;
基于第一紫外线图像和第二紫外线图像,生成紫外场景图。
在本申请实施例中,紫外线装置包括紫外线发射装置和紫外线接收装置,其中,紫外线发射装置用于产生紫外线,紫外线接收装置用于接收拍摄对象所返回的紫外线,并生成紫外线图像。值得说明的是,紫外线图像包括第一紫外线图像和第二紫外线图像。其中,第一紫外线图像为外部环境紫外线照射到拍摄对象所得到的拍摄对象轮廓的图像,第二紫外线图像为外部环境紫外线和紫外线发生装置产生的紫外线同时照射到拍摄对象得到的拍摄对象的轮廓图像。基于第一紫外线图像和第二紫外线图像,从而可以生成去除外部环境紫外线干扰的紫外场景图,使得紫外场景图能够更加准确地反映拍摄对象的背景信息,避免由于外部环境紫外线干扰而导致紫外场景图的信息不准确,进而影响目标图像的清晰度。
其中,第一紫外线图像和第二紫外线图像可以包括以下至少一项:拍摄对象的轮廓的图像、包含拍摄对象的粒度分布图像。紫外线图像是可以反映拍摄对象对紫外线反射能力的图像。拍摄对象包括以下至少一项:人物、物体、水面、拍摄环境中的雾霾颗粒等。
在本申请的一些实施例中,如图6所示,控制模块604还用于:
对齐第一紫外线图像和第二紫外线图像;
对第一紫外线图像和第二紫外线图像进行减性融合处理,生成预处理紫外图像;
基于预处理紫外图像,生成紫外场景图。
在本申请实施例中,对第一紫外线图像和第二紫外线图像进行对齐处理,对齐处理是基于特征的图像对齐。具体地,在第一紫外线图像中检测到一组特征点,并与第二紫外线图像中的特征点相匹配,然后根据这些匹配的特征点计算出一个转换规则,从而可以将第一紫外线图像和第二紫外线图像进行对齐。对齐后的第一紫外线图像和第二紫外线图像在同一位置处具有相对应的特征点,每个特征点具有对应的像素值,譬如,第一紫外线图像包括第一特征点,第一特征点具有第一像素值,第二紫外线图像上包括与第一特征点相对应的第二特征点,第二特征点具有第二像素值。然后,将对齐后的第一紫外线图像和第二紫外线图像进行减性融合处理,为第二紫外线图像上的第二特征点的第二像素值减去第一紫外线图像上的第一特征点的第一像素值,从而以获得去除外部环境紫外线干扰的预处理紫外图像,在预处理紫外图像的基础上,可以进行进一步的优化处理,消除预处理紫外图像中无关的信息,恢复有用的真实信息,增强有关信息的可检测性、最大限度地简化数据,从而改进特征提取、图像分割、匹配和识别的可靠性,从而使得紫外场景图能够更加准确地反映拍摄对象的背景信息。
在本申请的一些实施例中,如图6所示,拍摄装置600还包括:
去噪模块606,用于对第一紫外线图像和第二紫外线图像进行减性融合处理,生成预处理紫外图像之后,对预处理紫外图像进行去噪处理。
在本申请实施例中,对齐第一紫外线图像和第二紫外线图像,并进行减性融合处理后生成预处理紫外图像,接着对预处理紫外图像进行去噪处理,从而可以去除预处理紫外图像在数字化和传输过程中,所受到的来自于电子设备与外部环境的噪声干扰,去除预处理紫外图像上多余的噪声点,得到轮廓清晰、噪音较少的图像。具体地,对预处理紫外图像可以进行保边去噪,保边去噪是为了解决压噪和保边之间的矛盾,在求平均值平滑滤波方法的基础上做了一个改动。保边去噪首先是寻找输入数据中每个样点附近的最相似的区块,并求得该区块的平均值,再用这个平均值代替该样点的原始值。具体地,可以采用双边滤波来实现保边去噪,双边滤波是一种非线性的滤波方法,是结合图像的空间邻近度和像素值相似度的一种折中处理,同时考虑空域信息和灰度相似性,达到保边去噪的目的。具有简单、非迭代、局部的特点。双边滤波器的好处是可以做边缘保存,一般过去用的维纳滤波或者高斯滤波去降噪,都会较明显地模糊边缘,对于高频细节的保护效果并不明显。
在本申请的一些实施例中,如图6所示,控制模块604还包括:
对原始图像和紫外场景图进行加性融合处理,生成增强图像。
在本申请实施例中,对原始图像和紫外场景图进行加性融合处理,生成增强图像。增强图像基于原始图像生成的,由于原始图像并未被压缩处理,未损失图像的细节信息,则可以极大地提升速度和原始无损信息处理,能够避免相关技术中对压缩处理的已损失细节信息的图像进行后处理而存在的局限性。增强图像还基于紫外场景图,利用紫外线穿透能力强而获得拍摄对象的更多背景信息,通过将原始图像和紫外成景图相结合进行底层处理,可以极大地提升处理速度,降低能耗,节省时间,获得清晰度高的目标图像。
具体地,原始图像和紫外场景图在同一位置处具有相对应的特征点,每个特征点具有相应的像素值,比如,原始图像包括第三特征点,第三特征点具有第三像素值,紫外场景图包括与第三特征点相对应的第四特征点,第四特征点具有第四像素值,原始图像和紫外场景图进行加性融合处理,则原始图像上的第三特征点的第三像素值和紫外场景图上第四特征点的第四像素值进行加和,从而获得增强图像一个特征点的像素值。进一步地,原始图像和紫外场景图的加性融合处理可以为加性权重融合处理,即对于原始图像和紫外场景图每一个特征点都可以赋予相应的权重系数,譬如,增强图像的一个特征点的像素值=x*紫外场景图上第四特征点的第四像素值+(1-x)*原始图像第三特征点的第三像素,其中,权重系数x的范围大于0,小于1。
本申请实施例中的拍摄装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的拍摄装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的拍摄装置能够实现图1至图5的方法实施例中拍摄装置实现的各个过程,为避免重复,这里不再赘述。
本申请实施例还提供一种电子设备700,如图7所示,包括处理器710,存储器709,存储在存储器709上并可在处理器710上运行的程序或指令,该程序或指令被处理器710执行时实现上述拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。
图8为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备800包括但不限于:射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。
本领域技术人员可以理解,电子设备800还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器810逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,输入单元804,在本申请实施例中为镜头,用于采集原始图像;
处理器810,用于在原始图像的场景类型为目标场景类型的情况下,通过紫外线装置获取紫外场景图;
基于原始图像和紫外场景图,生成增强图像,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像;
基于增强图像,生成目标图像。
在本申请实施例中,电子设备800通过输入单元804(镜头)采集的始图像,原始图像中包含至少一个拍摄对象的图像。然后根据原始图像以获得对应的场景类型,进而判断原始图像的场景类型是否为目标场景类型,从而确定是否需要通过紫外线装置获取紫外场景图。具体地,目标场景类型包括但不限于水面场景、水下场景或雾霾场景。处理器810用于当原始图像的场景类型为目标场景类型时,即表明拍摄对象所处场景包括水面、水下或雾霾天中的至少一种。接着通过紫外线装置获取紫外场景图,由于紫外线装置能够产生紫外线,由于紫外线具有穿透力强的特性,紫外线可以穿透被摄物体,从而获取相关技术中不能获得的雾后、水后的背景信息,然后再基于原始图像和紫外场景图,生成增强图像,其中,增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像,然后再基于增强图像以生成目标图像。一方面,本申请中生成的目标图像是基于原始图像生成的,由于原始图像并未被压缩处理,未损失图像的细节信息,则可以极大地提升速度和原始无损信息处理,能够避免相关技术中对压缩处理的已损失细节信息的图像进行后处理而存在的局限性,另一方面,本申请中生成的目标图像还基于紫外场景图,利用紫外线穿透能力强而获得拍摄对象的更多背景信息,通过将原始图像和紫外成景图相结合进行底层处理,可以极大地提升处理速度,降低能耗,节省时间,获得清晰度高的目标图像。
可选的,处理器810还用于获取紫外线接收装置采集的第一紫外线图像,第一紫外线图为外部环境中紫外线照射到拍摄对象得到的拍摄对象轮廓的图像。
通过紫外线接收装置获取紫外线发送装置返回的第二紫外线图像,第二紫外线图像为紫外线发射装置产生的紫外线和外部环境中紫外线照射到拍摄对象得到的拍摄对象轮廓的图像。
基于第一紫外线图像和第二紫外线图像,生成紫外场景图。
处理器810还用于对齐第一紫外线图像和第二紫外线图像,并进行减性融合处理生成预处理紫外图像,基于预处理紫外图像,生成紫外场景图。
处理器810还用于对原始图像和紫外场景图进行加性融合处理,生成增强图像。
本申请实施例还提供一种可读存储介质,可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,处理器为上述实施例中的电子设备中的处理器。可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、磁碟或者光盘等。
本申请实施例还提供了一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行程序或指令,实现上述拍摄方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所提供的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (13)

1.一种拍摄方法,其特征在于,包括:
获取镜头采集的原始图像;
在原始图像的场景类型为目标场景类型的情况下,通过紫外线装置获取紫外场景图;
基于所述原始图像和所述紫外场景图,生成增强图像,所述增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像;
基于所述增强图像,生成目标图像。
2.根据权利要求1所述的拍摄方法,其特征在于,所述紫外线装置包括紫外线发射装置和紫外线接收装置;
所述通过紫外线装置获取紫外场景图,包括:
获取紫外线接收装置采集的第一紫外线图像,所述第一紫外线图为外部环境中紫外线照射到拍摄对象得到的拍摄对象轮廓的图像;
通过紫外线接收装置获取紫外线发送装置返回的第二紫外线图像,所述第二紫外线图像为紫外线发射装置产生的紫外线和外部环境中紫外线照射到拍摄对象得到的拍摄对象轮廓的图像;
基于所述第一紫外线图像和所述第二紫外线图像,生成紫外场景图。
3.根据权利要求2所述的拍摄方法,其特征在于,所述基于所述第一紫外线图像和所述第二紫外线图像,生成紫外场景图,包括:
对齐所述第一紫外线图像和所述第二紫外线图像;
对所述第一紫外线图像和所述第二紫外线图像进行减性融合处理,生成预处理紫外图像;
基于所述预处理紫外图像,生成紫外场景图。
4.根据权利要求3所述的拍摄方法,其特征在于,所述对所述第一紫外线图像和所述第二紫外线图像进行减性融合处理,生成预处理紫外图像之后,还包括:
对所述预处理紫外图像进行去噪处理。
5.根据权利要求1所述的拍摄方法,其特征在于,所述基于所述原始图像和所述紫外场景图,生成增强图像,包括:
对所述原始图像和所述紫外场景图进行加性融合处理,生成增强图像。
6.一种拍摄装置,其特征在于,包括:
获取模块,用于获取镜头采集的原始图像;
控制模块,用于在原始图像的场景类型为目标场景类型的情况下,通过紫外线装置获取紫外场景图;
基于所述原始图像和所述紫外场景图,生成增强图像,所述增强图像为对原始图像中的至少一个拍摄对象进行轮廓增强后的图像;
基于所述增强图像,生成目标图像。
7.根据权利要求6所述的拍摄装置,其特征在于,所述紫外线装置包括紫外线发射装置和紫外线接收装置;
所述控制模块还用于:
获取紫外线接收装置采集的第一紫外线图像,所述第一紫外线图为外部环境中紫外线照射到拍摄对象得到的拍摄对象轮廓的图像;
通过紫外线接收装置获取紫外线发送装置返回的第二紫外线图像,所述第二紫外线图像为紫外线发射装置产生的紫外线和外部环境中紫外线照射到拍摄对象得到的轮廓的图像;
基于所述第一紫外线图像和所述第二紫外线图像,生成紫外场景图。
8.根据权利要求7所述的拍摄装置,其特征在于,所述控制模块还用于:
对齐所述第一紫外线图像和所述第二紫外线图像,并进行减性融合处理,生成紫外场景图。
9.根据权利要求8所述的拍摄装置,其特征在于,所述拍摄装置还包括:
去噪模块,用于对齐所述第一紫外线图像和所述第二紫外线图像,并进行减性融合处理之后,对预处理紫外图像进行去噪处理。
10.根据权利要求6所述的拍摄装置,其特征在于,所述控制模块还包括:
对所述原始图像和所述紫外场景图进行加性融合处理,生成增强图像。
11.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的拍摄方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述的拍摄方法的步骤。
13.一种芯片,其特征在于,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如权利要求1至5中任一项所述的拍摄方法的步骤。
CN202110327489.3A 2021-03-26 2021-03-26 拍摄方法及装置、电子设备、可读存储介质和芯片 Pending CN112954224A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110327489.3A CN112954224A (zh) 2021-03-26 2021-03-26 拍摄方法及装置、电子设备、可读存储介质和芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110327489.3A CN112954224A (zh) 2021-03-26 2021-03-26 拍摄方法及装置、电子设备、可读存储介质和芯片

Publications (1)

Publication Number Publication Date
CN112954224A true CN112954224A (zh) 2021-06-11

Family

ID=76226928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110327489.3A Pending CN112954224A (zh) 2021-03-26 2021-03-26 拍摄方法及装置、电子设备、可读存储介质和芯片

Country Status (1)

Country Link
CN (1) CN112954224A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931755A (zh) * 2010-07-06 2010-12-29 上海洪剑智能科技有限公司 一种人脸识别用的调制光滤光装置和滤光方法
CN207768362U (zh) * 2017-04-07 2018-08-28 展谱光电科技(上海)有限公司 多光谱投影装置及多光谱摄像装置
KR20180107821A (ko) * 2017-03-23 2018-10-04 이동익 피부 관리 기능을 구비한 스마트폰
CN111614894A (zh) * 2020-04-28 2020-09-01 深圳英飞拓智能技术有限公司 一种图像采集方法、装置及终端设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101931755A (zh) * 2010-07-06 2010-12-29 上海洪剑智能科技有限公司 一种人脸识别用的调制光滤光装置和滤光方法
KR20180107821A (ko) * 2017-03-23 2018-10-04 이동익 피부 관리 기능을 구비한 스마트폰
CN207768362U (zh) * 2017-04-07 2018-08-28 展谱光电科技(上海)有限公司 多光谱投影装置及多光谱摄像装置
CN111614894A (zh) * 2020-04-28 2020-09-01 深圳英飞拓智能技术有限公司 一种图像采集方法、装置及终端设备

Similar Documents

Publication Publication Date Title
CN109671106B (zh) 一种图像处理方法、装置与设备
KR102172234B1 (ko) 영상 처리 방법 및 장치, 및 전자 디바이스
Li et al. Single image de-hazing using globally guided image filtering
CN109636754B (zh) 基于生成对抗网络的极低照度图像增强方法
Ancuti et al. Single image dehazing by multi-scale fusion
CN110691193B (zh) 摄像头切换方法、装置、存储介质及电子设备
Guo et al. An efficient fusion-based defogging
Li et al. Single image dehazing using the change of detail prior
CN107424133B (zh) 图像去雾方法、装置、计算机可存储介质和移动终端
KR101662846B1 (ko) 아웃 포커싱 촬영에서 빛망울 효과를 생성하기 위한 장치 및 방법
CN110619593A (zh) 一种基于动态场景的双曝光视频成像系统
CN101742123A (zh) 图像处理设备和方法
CN110335216B (zh) 图像处理方法、图像处理装置、终端设备及可读存储介质
WO2020057248A1 (zh) 一种图像降噪的方法及装置、设备、存储介质
CN112272832A (zh) 用于基于dnn的成像的方法和系统
Barros et al. Single-shot underwater image restoration: A visual quality-aware method based on light propagation model
CN111968052B (zh) 图像处理方法、图像处理装置及存储介质
Ling et al. Perception oriented transmission estimation for high quality image dehazing
CN111192205A (zh) 一种图像去雾方法、系统和计算机可读存储介质
Chen et al. Weighted sparse representation and gradient domain guided filter pyramid image fusion based on low-light-level dual-channel camera
CN110415193A (zh) 煤矿低照度模糊图像的复原方法
Wu et al. Image haze removal: Status, challenges and prospects
CN107295261B (zh) 图像去雾处理方法、装置、存储介质和移动终端
CN113158773B (zh) 一种活体检测模型的训练方法及训练装置
CN114140481A (zh) 一种基于红外图像的边缘检测方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210611