CN112752011B - 图像处理方法、图像处理装置、电子装置和存储介质 - Google Patents

图像处理方法、图像处理装置、电子装置和存储介质 Download PDF

Info

Publication number
CN112752011B
CN112752011B CN201911039454.9A CN201911039454A CN112752011B CN 112752011 B CN112752011 B CN 112752011B CN 201911039454 A CN201911039454 A CN 201911039454A CN 112752011 B CN112752011 B CN 112752011B
Authority
CN
China
Prior art keywords
image
training
camera
model
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911039454.9A
Other languages
English (en)
Other versions
CN112752011A (zh
Inventor
王路
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911039454.9A priority Critical patent/CN112752011B/zh
Publication of CN112752011A publication Critical patent/CN112752011A/zh
Application granted granted Critical
Publication of CN112752011B publication Critical patent/CN112752011B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation

Abstract

本申请公开了一种图像处理方法、图像处理装置、电子装置和存储介质。图像处理方法适用于电子装置,电子装置包括遮挡罩和摄像头,遮挡罩遮挡摄像头,图像处理方法包括:获取摄像头透过遮挡罩拍摄的图像,将图像作为待处理图像;根据待处理图像,识别当前场景;根据当前场景,调整预设处理模型;利用调整后的预设处理模型处理待处理图像。如此,根据当前场景调整预设处理模型,利用调整后的预设处理模型处理待处理图像,可以降低遮挡罩对摄像头拍摄的待处理图像的影响,简单方便地提升待处理图像的品质。

Description

图像处理方法、图像处理装置、电子装置和存储介质
技术领域
本申请涉及影像处理技术领域,特别涉及一种图像处理方法、图像处理装置、电子装置和存储介质。
背景技术
相关技术的头戴式显示设备上设置有视觉显示单元,处理单元,摄像头成像单元等硬件电路和光学器件。为了保持外观的完整性和一致性,通常头戴式显示设备的外部会设置保护罩,并对保护罩进行镀膜处理,使得保护罩整体呈现深色,以将硬件电路和光学器件遮住。然而,这样会降低摄像头的进光量,进而影响摄像头采集的图像的品质。
发明内容
本申请提供了一种图像处理方法、图像处理装置、电子装置和存储介质。
本申请实施方式提供了一种图像处理方法,适用于电子装置,所述电子装置包括遮挡罩和摄像头,所述遮挡罩遮挡所述摄像头,所述图像处理方法包括:
获取所述摄像头透过所述遮挡罩拍摄的图像,将所述图像作为待处理图像;
根据所述待处理图像,识别当前场景;
根据所述当前场景,调整预设处理模型;
利用调整后的所述预设处理模型处理所述待处理图像。
本申请实施方式提供了一种图像处理装置,适用于电子装置,所述电子装置包括遮挡罩和摄像头,所述遮挡罩遮挡所述摄像头,所述图像处理装置包括获取模块、识别模块、调整模块和处理模块,所述获取模块用于获取所述摄像头透过所述遮挡罩拍摄的图像,将所述图像作为待处理图像;所述识别模块用于根据所述待处理图像,识别当前场景;所述调整模块用于根据所述当前场景,调整预设处理模型;所述处理模块用于利用调整后的所述预设处理模型处理所述待处理图像。
本申请实施方式的电子装置包括遮挡罩、摄像头和处理器,所述遮挡罩遮挡所述摄像头,所述处理器用于执行上述的图像处理方法。
一种包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行以上所述的图像处理方法。
本申请实施方式的图像处理方法、图像处理装置、电子装置和存储介质中,根据当前场景调整预设处理模型,利用调整后的预设处理模型处理待处理图像,可以降低遮挡罩对摄像头拍摄的待处理图像的影响,简单方便地提升待处理图像的品质。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本申请实施方式的图像处理方法的流程示意图;
图2是本申请实施方式的电子装置的结构示意图;
图3是本申请实施方式的图像处理装置的模块示意图;
图4是本申请实施方式的电子装置的模块示意图;
图5是相关技术的电子装置的平面示意图;
图6是相关技术的另一电子装置的平面示意图;
图7是本申请实施方式的图像处理方法的效果示意图;
图8是本申请实施方式的图像处理方法的效果示意图;
图9是本申请另一实施方式的图像处理方法的流程示意图;
图10是本申请另一实施方式的图像处理装置的模块示意图;
图11是本申请又一实施方式的图像处理方法的流程示意图;
图12是本申请再一实施方式的图像处理方法的流程示意图;
图13是本申请另一实施方式的图像处理方法的流程示意图;
图14是本申请又一实施方式的图像处理方法的流程示意图;
图15是本申请实施方式的图像处理方法的场景示意图;
图16是本申请实施方式的电子装置的模块示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本申请,而不能理解为对本申请的限制。
请参阅图1和图2,本申请实施方式提供了一种图像处理方法。图像处理方法适用于电子装置100。电子装置100包括遮挡罩110和摄像头120,遮挡罩110遮挡摄像头120。图像处理方法包括:
步骤S15:获取摄像头120透过遮挡罩110拍摄的图像,将图像作为待处理图像;
步骤S16:根据待处理图像,识别当前场景;
步骤S17:根据当前场景,调整预设处理模型;
步骤S18:利用调整后的预设处理模型处理待处理图像。
请参阅图3,本申请实施方式提供了一种图像处理装置10。图像处理装置10适用于电子装置100。电子装置100包括遮挡罩110和摄像头120,遮挡罩110遮挡摄像头120。图像处理装置10包括获取模块15、识别模块16、调整模块17和处理模块18,获取模块15用于获取摄像头120透过遮挡罩110拍摄的图像,将图像作为待处理图像;识别模块16用于根据待处理图像,识别当前场景;调整模块17用于根据当前场景,调整预设处理模型;处理模块18用于利用调整后的预设处理模型处理待处理图像。
请参阅图4,本申请实施方式提供了一种电子装置100。电子装置100包括遮挡罩110、摄像头120和处理器101,遮挡罩110遮挡摄像头120,处理器101用于获取摄像头120透过遮挡罩110拍摄的图像,将图像作为待处理图像;及用于根据待处理图像,识别当前场景;及用于根据当前场景,调整预设处理模型;以及用于利用调整后的预设处理模型处理待处理图像。
本申请实施方式的图像处理方法、图像处理装置10和电子装置100,根据当前场景调整预设处理模型,利用调整后的预设处理模型处理待处理图像,可以降低遮挡罩110对摄像头120拍摄的待处理图像的影响,简单方便地提升待处理图像的品质。
具体地,电子装置100例如为手机、平板电脑、可穿戴设备等移动终端。可穿戴设备例如为头戴式显示设备(Head Mount Display,HMD),头戴式显示设备通过计算系统与光学系统的配合,在用户在佩戴头戴式显示设备后,可向用户的眼睛发送光学信号,从而实现虚拟现实(Virtual Reality,VR)、增强现实(Augmented Reality,AR)和混合现实(MixedReality,MR)等不同效果。
为了方便理解,本申请实施方式的电子装置100以头戴式显示设备作为例子进行详细地描述。
请参阅图5,相关技术的头戴式显示设备200包括保护罩201、显示器202、跟踪摄像头203、深度摄像头204、彩色摄像头205。为了保持外观的完整性和一致性,保护罩201整体呈现深色,以将显示器202、跟踪摄像头203、深度摄像头204、彩色摄像头205等器件遮住。用户无法从头戴式显示设备200的外侧看到头戴式显示设备200全部的内部器件。由于深度摄像头204发射和接收的是近红外的不可见光,因此,保护罩201呈深色不会对其造成影响。然而,这样会降低彩色摄像头205的进光量,进而影响彩色摄像头205采集的图像的品质。
请参阅图6,相关技术的另一头戴式显示设备200包括保护罩201、显示器202、跟踪摄像头203、深度摄像头204、彩色摄像头205。保护罩201包括遮挡区2012和透光区2014。遮挡区2012用于遮挡显示器202、跟踪摄像头203、深度摄像头204等器件,使得用户无法从头戴式显示设备200的外侧看到头戴式显示设备200的上述内部器件。彩色摄像头205与透光区2014对应设置,彩色摄像头205用于透过透光区2014获取图像。这样,可以避免彩色摄像头205由于遮光区的遮挡而进光量低,从而保证彩色摄像头205采集的图像的品质。然而如此,不能保证头戴式显示设备200的外观的完整性和一致性。
综合以上,相关技术中,头戴式显示设备200的内部器件较多,导致头戴式显示设备200的外观不整齐。而通过整体呈深色的保护罩201,可以保证外观的完整性和一致性,却会降低彩色摄像头205的进光量,进而影响彩色摄像头205采集的图像的品质。如果在彩色摄像头205的对应位置设置透光区2014,又不能保证头戴式显示设备200的外观的完整性和一致性。也即是说,相关技术无法的头戴式显示设备200无法兼顾外观的一致性和摄像头采集的图像的品质。
而本申请实施方式的图像处理方法、图像处理装置10和电子装置100,根据当前场景调整预设处理模型,利用调整后的预设处理模型处理待处理图像,可以以软件算法的方式降低遮挡罩110对摄像头120拍摄的待处理图像的影响,在保证电子装置100外观的完整性和一致性的同时,可以简单方便地提升待处理图像的品质。
遮挡罩110的可见光透光率小于透光阈值。具体地,透光阈值的范围为10%-35%。例如为:10%、13%、15%、18%、21%、24%、29%、30%、32%、35%。如此,用户难以看到电子装置100的内部器件,可以保证电子装置100外观的完整性和一致性。
在本申请实施方式中,透光阈值为30%。也即是说,遮挡罩110的可见光透光率小于30%。
进一步地,可以对遮挡罩110进行镀膜处理,以使遮挡罩110整体呈现深颜色,从而使得遮挡罩110的可见光透光率小于透光阈值。
进一步地,可以在遮挡罩110贴装遮光片,以使遮挡罩110整体呈现深颜色,从而使得遮挡罩110的可见光透光率小于透光阈值。
在此不对使得遮挡罩110的可见光透光率小于透光阈值的具体方式进行限定。
另外,在本申请实施方式中,摄像头120包括彩色摄像头。当然,摄像头120也可包括跟踪摄像头、深度摄像头或其他摄像头。在此不对摄像头120的具体形式进行限定。除了摄像头120以外,遮挡罩110还可遮挡电子装置100的处理器、走线等其他内部器件。在此不对遮挡罩110遮挡的具体元件进行限定。
电子装置100还可包括壳体20、支撑部件30和显示器40。
壳体20为电子装置100的外部零部件,起到了保护和固定电子装置100的内部零部件的作用。通过壳体20可以将内部零部件包围起来,可以避免外界因素对这些内部零部件造成直接的损坏。
遮挡罩110可与壳体20可拆卸地连接。例如,壳体20形成有收容空间,遮挡罩110可与收容空间的开口卡合,以将电子装置100的器件封装在电子装置100的内部。当然,遮挡罩110也可与壳体20为一体。例如,将壳体20的镀遮光膜,以使壳体20具有遮挡罩的功能。在此不对遮挡罩110与壳体20的具体关系进行限定。
壳体20还包括壳体顶壁24、壳体底壁26和壳体侧壁28。壳体底壁26的中部朝向壳体顶壁24形成缺口262。或者说,壳体20大致呈“B”字型。在用户佩戴电子装置100时,电子装置100可通过缺口262架设在用户的鼻梁上,这样既可以保证电子装置100的稳定性,又可以保证用户佩戴的舒适性。
另外,壳体20可以通过计算机数控(Computerized Numerical Control,CNC)机床加工铝合金形成,也可以采用聚碳酸酯(Polycarbonate,PC)或者PC和丙烯腈-丁二烯-苯乙烯塑料(Acrylonitrile Butadiene Styrene plastic,ABS)注塑成型。在此不对壳体20的具体制造方式和具体材料进行限定。
支撑部件30用于支撑电子装置100。在用户佩戴电子装置100时,电子装置100可通过支撑部件30固定在用户的头部。在图1的示例中,支撑部件30包括第一支架32、第二支架34和弹性带36。
第一支架32和第二支架34关于缺口262对称设置。具体地,第一支架32和第二支架34可转动地设置在壳体20的边缘,在用户不需要使用电子装置100时,可将第一支架32和第二支架34贴近壳体20叠放,以便于收纳。在用户需要使用电子装置100时,可将第一支架32和第二支架34展开,以实现第一支架32和第二支架34支撑的功能。
第一支架32远离壳体20的一端形成有第一弯折部322,第一弯折部322朝向壳体底壁26弯折。这样,用户在佩戴电子装置100时,第一弯折部322可架设在用户的耳朵上,从而使电子装置100不易滑落。
类似地,第二支架34远离壳体20的一端形成有第二弯折部342。第二弯折部342的解释和说明可参照第一弯折部322,为避免冗余,在此不再赘述。
弹性带36可拆卸地连接第一支架32和第二支架34。如此,在用户佩戴电子装置100进行剧烈活动时,可以通过弹性带36进一步固定电子装置100,防止电子装置100在剧烈活动中松动甚至掉落。可以理解,在其他的示例中,弹性带36也可以省略。
在步骤S15中,“获取摄像头120透过遮挡罩110拍摄的图像”,是指摄像头120在遮挡罩110的一侧,拍摄在遮挡罩110的另一侧的被摄物体。
可以理解,通常情况下,用户在使用电子装置时,摄像头120所采集到的图像均是透过遮挡罩110拍摄的。本申请实施方式的图像处理方法,通过对摄像头120透过遮挡罩110拍摄的待处理图像进行处理,从而降低遮挡罩110对待处理图像的影响。
在步骤S16中,当前场景包括但不限于室内场景、室外场景、水下场景、夜店场景。“根据待处理图像识别当前场景”,可以包括:识别待处理图像的被摄物体,根据被摄物体确定当前场景。当然,“根据待处理图像识别当前场景”,也可以包括:根据待处理图像的亮度识别当前场景。在此不对识别当前场景的具体方式进行限定。
在步骤S17中,根据当前场景调整预设处理模型,包括:根据当前场景调整预设处理模型的处理参数。例如,在当前场景为室内场景的情况下,增强预设处理模型的处理强度;在当前场景为室外场景的情况下,减弱预设处理模型的处理强度。如此,可以在保证处理效果的同时,降低电子装置100的功耗。
可以理解,室内场景的光线较弱,摄像头120透过遮挡罩110拍摄的待处理图像品质较差。因此,可增强预设处理模型的处理强度,以保证处理后的图像的品质。而室外场景的光线较强,摄像头120透过遮挡罩110拍摄的待处理图像品质稍好。因此,可减弱预设处理模型的处理强度,以降低电子装置100的功耗。
当然,根据当前场景调整的预设处理模型的处理参数并不局限于处理强度。还可以根据当前场景调整预设处理模型的处理时长。另外,还可根据当前场景调整的预设处理模型的图像参数。在此不对根据当前场景调整预设处理模型的具体方式进行限定。
在步骤S18中,“利用调整后的预设处理模型处理待处理图像”,可包括对待处理图像进行去雾处理,也可包括对待处理图像进行降噪处理。在此不对处理待处理图像的具体方式进行限定。
可以理解,摄像头120透过遮挡罩110拍摄的图像,由于受到遮挡罩110的影响,通常会产生如下的问题:画面呈现雾状,朦胧状态;环境较暗时,画面细节处不清晰;画面的噪声较大。经过预设处理模型处理后,可以缓解甚至解决上述问题。
请参阅图7,预设处理模型对待处理图像进行去雾处理,降低了待处理图像的朦胧状态,提升了待处理图像的品质。请参阅图8,预设处理模型对待处理图像进行降噪处理,提升了待处理图像的清晰度。
请参阅图9,在某些实施方式中,预设处理模型根据以下步骤获得:
步骤S11:获取第一训练图像和第二训练图像,第一训练图像为摄像头120透过遮挡罩110拍摄的图像,第二训练图像为摄像头120未透过遮挡罩110拍摄的图像,第二训练图像与第一训练图像的被摄内容相同;
步骤S12:根据第一训练图像和第二训练图像的差异训练基础模型,得到预设处理模型。
请参阅图10,对应地,图像处理装置10包括训练模块11,训练模块11用于获取第一训练图像和第二训练图像,第一训练图像为摄像头120透过遮挡罩110拍摄的图像,第二训练图像为摄像头120未透过遮挡罩110拍摄的图像,第二训练图像与第一训练图像的被摄内容相同;以及用于根据第一训练图像和第二训练图像的差异训练基础模型,得到预设处理模型。
对应地,处理器101用于获取第一训练图像和第二训练图像,第一训练图像为摄像头120透过遮挡罩110拍摄的图像,第二训练图像为摄像头120未透过遮挡罩110拍摄的图像,第二训练图像与第一训练图像的被摄内容相同;以及用于根据第一训练图像和第二训练图像的差异训练基础模型,得到预设处理模型。
如此,可以获得预设处理模型。可以理解,在本实施方式中,第一训练图像和第二训练图像的被摄内容相同,第一训练图像和第二训练图像的差异仅在于是否透过遮挡罩110拍摄。因此,根据第一训练图像和第二训练图像的差异训练基础模型所得到的预设处理模型,具备将透过遮挡罩110拍摄的图像处理为未透过遮挡罩110拍摄的图像的能力。这样,则可以通过预设处理模型处理待处理图像,从而降低遮挡罩110对摄像头120拍摄的待处理图像的影响。
具体地,在步骤S11中,电子装置100可包括运动装置,运动装置用于控制遮挡罩110的位置。在拍摄第一训练图像的情况下,运动装置控制遮挡罩110遮挡摄像头120;在拍摄第二训练图像的情况下,运动装置控制遮挡罩110不遮挡摄像头120。这样,可以简单方便地实现第一训练图像和第二训练图像的获取。
另外,由于运动装置自动控制遮挡罩110的位置,无需用户手动调节。因此,可以避免用户手动调节所导致的摄像头120的位置偏移,以避免第一训练图像和第二训练图像的拍摄内容不同,从而避免拍摄内容的不同影响到对预设处理模型的训练,使得训练后的预设处理模型的处理能力发生偏差。这样,可以保证第一训练图像和第二训练图像的差异仅在于是否透过遮挡罩110拍摄,从而保证预设处理模型的处理能力和处理效果。
当然,也可不通过运动装置自动调节遮挡罩110的位置,可通过用户手动的方式或其他方式调节。例如,在获取第一训练图像时,用户手动将遮挡罩110与外壳20卡合;在获取第二训练图像时,用户手动将遮挡罩110从外壳20拆下。在此不对摄像头120拍摄第一训练图像和第二训练图像的具体方式进行限定。
此外,第一训练图像的数量可以为多个,第二训练图像的数量可以为多个,每个第一训练图像与一个第二训练图像对应。这样,可以使得预设处理模型对大量的第一训练图像和第二训练图像进行学习,从而提高预设处理模型的处理能力。
在步骤S12中,基础模型是指未进行训练的处理模型。可以理解,利用第一训练图像和第二训练图像对未进行训练的处理模型进行训练后,可得到具有处理待处理图像的能力的预设处理模型。
请参阅图11,在某些实施方式中,步骤S12包括:
步骤S122:根据第一训练图像和/或第二训练图像识别训练场景;
步骤S124:确定训练场景的模型训练参数;
步骤S126:根据模型训练参数、第一训练图像和第二训练图像训练基础模型,得到预设处理模型。
对应地,训练模块11用于根据第一训练图像和/或第二训练图像识别训练场景;及用于确定训练场景的模型训练参数;以及用于根据模型训练参数、第一训练图像和第二训练图像训练基础模型,得到预设处理模型。
对应地,处理器101用于根据第一训练图像和/或第二训练图像识别训练场景;及用于确定训练场景的模型训练参数;以及用于根据模型训练参数、第一训练图像和第二训练图像训练基础模型,得到预设处理模型。
如此,实现根据第一训练图像和第二训练图像的差异训练基础模型,得到预设处理模型。可以理解,由于模型训练参数根据训练场景确定,并参与到对预设处理模型的训练过程中。因此,训练好的预设处理模型具有针对待处理图像的拍摄场景对待处理图像进行处理的能力,使得经过预设处理模型处理后的图像质量更好。
具体地,在步骤S122中,可根据第一训练图像识别训练场景;可根据第二训练图像识别训练场景;也可根据第一训练图像和第二训练图像识别训练场景。在此不对根据第一训练图像和/或第二训练图像识别训练场景的具体方式进行限定。
进一步地,训练场景包括但不限于室内场景、室外场景、水下场景、夜店场景。“根据第一训练图像和/或第二训练图像识别训练场景”,可以包括:识别第一训练图像和/或第二训练图像的被摄物体,根据被摄物体确定训练场景。当然,“根据第一训练图像和/或第二训练图像识别训练场景”,也可以包括:根据第一训练图像和/或第二训练图像的亮度识别训练场景。在此不对识别训练场景的具体方式进行限定。
在步骤S124中,模型训练参数包括但不限于训练轮次、学习率、网络层数、向量维度等。在此不对模型训练参数的具体内容进行限定。
另外,可以根据场景与参数的对应关系确定训练场景的模型训练参数,也可以根据与训练场景相关的用户输入确定训练场景的模型训练参数。在此不对确定训练场景的模型训练参数的具体方式进行限定。
在步骤S126中,“根据模型训练参数、第一训练图像和第二训练图像训练基础模型”,可以是先根据模型训练参数配置基础模型,再根据第一训练图像和第二训练图像的差异训练基础模型。也可以是直接向基础模型输入模型训练参数、第一训练图像和第二训练图像。在此不对根据模型训练参数、第一训练图像和第二训练图像训练基础模型的具体方式进行限定。
请参阅图12,在某些实施方式中,预设处理模型根据以下步骤获得:
步骤S13:获取摄像头120根据多个曝光时长拍摄的多个图像,将根据多个曝光时长拍摄的多个图像作为多个第三训练图像,多个第三训练图像为摄像头120透过遮挡罩110拍摄的图像,多个第三训练图像的被摄内容相同;
步骤S14:根据多个第三训练图像训练基础模型,得到预设处理模型。
对应地,图像处理装置10包括训练模块11,训练模块11用于获取摄像头120根据多个曝光时长拍摄的多个图像,将根据多个曝光时长拍摄的多个图像作为多个第三训练图像,多个第三训练图像为摄像头120透过遮挡罩110拍摄的图像,多个第三训练图像的被摄内容相同;以及用于根据多个第三训练图像训练基础模型,得到预设处理模型。
对应地,处理器101用于获取摄像头120根据多个曝光时长拍摄的多个图像,将根据多个曝光时长拍摄的多个图像作为多个第三训练图像,多个第三训练图像为摄像头120透过遮挡罩110拍摄的图像,多个第三训练图像的被摄内容相同;以及用于根据多个第三训练图像训练基础模型,得到预设处理模型。
如此,可以获得预设处理模型。可以理解,曝光时长不同,图像的亮暗和清晰度也不同。具体地,曝光时间越长,图像越亮,在不过曝的情况下,清晰度也越高。因此,利用根据多个曝光时长拍摄的多个第三训练图像,对基础模型进行训练,可以使得训练后的预设处理模型,通过对比多个曝光时长不同的第三训练图像,学习到提升细节清晰度的能力。这样,则可以通过预设处理模型处理待处理图像,从而提升待处理图像的清晰度。
具体地,在步骤S13中,每个曝光时长小于过曝时长。如此,可以保证第三训练图像的品质,从而使得预设处理模型的效果更好。
另外,可以获取基准曝光时长,可根据基准时长和预设关系计算出多个曝光时长。基准曝光时长可以预先存储在电子装置100中,也可以由用户输入。在此不对基准曝光时长的具体来源进行限定。
在一个例子中,基准曝光时长为t,多个曝光时长分别为:t/10、t/20、t/30、t/40、t/50。上述曝光时长的单位为秒(s)。这样,通过调节基准曝光时长即可调节多个曝光时长,简单方便,可以提高调节多个曝光时长的效率。
当然,也可以直接获取多个曝光时长,并控制摄像头120根据多个曝光时长拍摄第三训练图像。类似地,多个曝光时长可以预先存储在电子装置100中,也可以由用户输入。在此不对多个曝光时长的具体来源进行限定。
在一个例子中,多个曝光时长为;0.5s、1.0s、1.2s、1.7s、2s。在另一个例子中,多个曝光时长为;0.1s、0.7s、1.2s、2.7s、4s。在又一个例子中,多个曝光时长为;0.05s、0.14s、0.85s、1.12s、1.5s。在此不对多个曝光时长的具体数值进行限定。
另外,多个曝光时长的数量可以为2个、3个、5个、10个或其他数量。在此不对多个曝光时长的具体数量进行限定。
此外,可以针对多种不同的拍摄内容,拍摄多组第三训练图像。这样,可以使得预设处理模型对大量的第三训练图像进行学习,从而提高预设处理模型的处理能力。
请参阅图13,在某些实施方式中,步骤S14包括:
步骤S142:根据第三训练图像识别训练场景;
步骤S144:确定训练场景的模型训练参数;
步骤S146:根据模型训练参数和第三训练图像训练基础模型,得到预设处理模型。
对应地,训练模块11用于根据第三训练图像识别训练场景;及用于确定训练场景的模型训练参数;以及用于根据模型训练参数和第三训练图像训练基础模型,得到预设处理模型。
对应地,处理器101用于根据第三训练图像识别训练场景;及用于确定训练场景的模型训练参数;以及用于根据模型训练参数和第三训练图像训练基础模型,得到预设处理模型。
如此,实现根据多个第三训练图像训练基础模型,得到预设处理模型。可以理解,由于模型训练参数根据训练场景确定,并参与到对预设处理模型的训练过程中。因此,训练好的预设处理模型具有针对待处理图像的拍摄场景对待处理图像进行处理的能力,使得经过预设处理模型处理后的图像质量更好。
对此部分的解释和说明,可以参照前文对步骤S122-步骤S126的解释和说明。为避免冗余,在此不再赘述。
请参阅图14和图15,在某些实施方式中,步骤S15包括:
步骤S152:获取摄像头120根据多个曝光时长拍摄的图像,将根据多个曝光时长拍摄的图像作为多个待处理图像,多个待处理图像的拍摄内容相同;
步骤S18包括:
步骤S182:利用调整后的预设处理模型处理多个待处理图像,得到多个待融合图像;
图像处理方法包括:
步骤S19:融合多个待融合图像。
对应地,获取模块15用于获取摄像头120根据多个曝光时长拍摄的图像,将根据多个曝光时长拍摄的图像作为多个待处理图像,多个待处理图像的拍摄内容相同;调整模块17用于利用调整后的预设处理模型处理多个待处理图像,得到多个待融合图像;处理模块18用于融合多个待融合图像。
对应地,处理器101用于获取摄像头120根据多个曝光时长拍摄的图像,将根据多个曝光时长拍摄的图像作为多个待处理图像,多个待处理图像的拍摄内容相同;及用于利用调整后的预设处理模型处理多个待处理图像,得到多个待融合图像;以及用于融合多个待融合图像。
如此,通过融合多个待融合图像,可以使得融合后的图像效果更好。可以理解,利用调整后的预设处理模型处理多个曝光时长不同的待处理图像,可以分别提升每个待处理图像的品质。另外,如前所述,曝光时长不同,图像的亮暗和清晰度也不同。具体地,曝光时间越长,图像越亮,在不过曝的情况下,清晰度也越高。因此,经预设处理模型处理后的多个待融合图像之间也存在着亮暗和清晰度的差异。而将多个待融合图像融合,可以使多个待融合图像的亮暗和清晰度相互补充,从而使得融合后的图像品质更好。
请注意,关于步骤S152的解释和说明,可以参照前文对步骤S13的解释和说明。为避免冗余,在此不再赘述。
在步骤S182中,可以将多个待处理图像同时输入至预设处理模型,以使预设处理模型处理多个待处理图像。也可以将多个待处理图像依次输入至预设处理模型,以使预设处理模型处理多个待处理图像。在此不对预设处理模型处理多个待处理图像的具体方式进行限定。
在步骤S19中,请注意,融合多个待融合图像,可以是仅融合每个待融合图像的一部分;也可以是融合每个待融合图像的全部。在此不对融合多个待融合图像的具体方式进行限定。
在一个例子中,融合多个待融合图像,包括:裁剪每个待融合图像,得到待融合子图像;拼接每个待融合子图像。具体地,待融合子图像可为待融合图像中品质较高的部分。如此,可以剔除待融合图像中品质较差的部分,利用品质较高的待融合子图像进行融合,从而进一步提高融合后的图像的质量。
在另一个例子中,融合多个待融合图像,包括:确定每个待融合图像的对应像素的平均值;将平均值作为融合后图像的对应像素的像素值。如此,可以充分利用每个待融合图像,广泛参照每个待融合图像,从而提高融合后的图像的质量。
在图15的示例中,摄像头120根据三个曝光时长拍摄了三个待处理图像,分别为:P1、P2、P3。利用调整后的预设处理模型处理这三个待处理图像后,得到三个待融合图像,分别为:P11、P21、P31。待处理图像经过预设处理模型处理后,降低了图像的噪音。然而由于曝光时长不同,三个待融合图像依然存在着清晰度的差异。接着,将三个待融合图像融合,得到融合后的图像P4。融合后的图像P4融合了每个待融合图像的清晰的细节,品质更高。
另外,摄像头120包括图像传感器,图像传感器的像素的尺寸大于1.3um。
如此,增大图像传感器的像素尺寸,可以提升摄像头120采集的图像的品质。可以理解,增大图像传感器的像素尺寸,可以使得每个像素的感光量增大。这样,可以改善由于光线不足而引起的图像品质较差的问题。
请注意,在像素呈正方形的情况下,像素的尺寸指正方形的边长;在像素呈长方形的情况下,像素的尺寸指长方形对角线的长度;在像素呈圆形的情况下,像素的尺寸指圆形的直径;在像素呈不规则多边形的情况下,像素的尺寸指不规则多边形外接圆的直径。
在本实施方式中,图像传感器的像素的尺寸大于1.5um。例如为1.51um、1.58um、1.6um、1.63um、1.68um、1.72um。当然,在其他的实施方式中,图像传感器的像素的尺寸也可以为1.31um、1.37um、1.4um、1.42um、1.48um、1.5um。在此不对图像传感器的像素的具体尺寸进行限定。
此外,摄像头120的光圈值的范围可为:1.5-2。如此,可以通过采用大光圈来提升摄像头的进光量,从而改善由于光线不足而引起的图像品质较差的问题。
在本实施方式中,摄像头120的光圈值的范围可为:1.7-1.8。例如为1.7、1.71、1.76、1.78、1.8。当然,在其他的实施方式中,摄像头120的光圈值也可为:1.5、1.51、1.61、1.68、1.81、1.92、2。在此不对摄像头120的光圈值的具体数值进行限定。
本申请实施方式的包含计算机可执行指令的非易失性计算机可读存储介质,当计算机可执行指令被一个或多个处理器101执行时,使得处理器101执行以上的图像处理方法。
例如执行:步骤S15:获取摄像头120透过遮挡罩110拍摄的图像,将图像作为待处理图像;步骤S16:根据待处理图像识别当前场景;步骤S17:根据当前场景调整预设处理模型;步骤S18:利用调整后的预设处理模型处理待处理图像。
本申请实施方式的存储介质,根据当前场景调整预设处理模型,利用调整后的预设处理模型处理待处理图像,可以降低遮挡罩110对摄像头120拍摄的待处理图像的影响,简单方便地提升待处理图像的品质。
图16为一个实施例中的电子装置100的内部模块示意图。电子装置100包括通过系统总线110连接的处理器101、存储器102(例如为非易失性存储介质)、内存储器103、显示装置104和输入装置105。其中,电子装置100的存储器102存储有操作系统和计算机可读指令。该计算机可读指令可被处理器101执行,以实现上述任意一项实施方式的图像处理方法。显示装置104可包括显示器40。
处理器101可用于提供计算和控制能力,支撑整个电子装置100的运行。电子装置100的内存储器103为存储器102中的计算机可读指令运行提供环境。输入装置105也可以是电子装置100外壳上设置的按键、轨迹球或触控板,也可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图中示出的结构,仅仅是与本申请方案相关的部分结构的示意图,并不构成对本申请方案所应用于其上的电子装置的限定,具体的电子装置可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一非易失性计算机可读存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(Read-nly Memry,RM)等。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,适用于电子装置,其特征在于,所述电子装置包括遮挡罩和摄像头,所述遮挡罩遮挡所述摄像头,所述图像处理方法包括:
获取所述摄像头透过所述遮挡罩拍摄的图像,将所述图像作为待处理图像;
根据所述待处理图像,识别当前场景;
根据所述当前场景,调整预设处理模型;
利用调整后的所述预设处理模型处理所述待处理图像;
所述预设处理模型根据以下步骤获得:
获取第一训练图像和第二训练图像,所述第一训练图像为所述摄像头透过所述遮挡罩拍摄的图像,所述第二训练图像为所述摄像头未透过所述遮挡罩拍摄的图像,所述第二训练图像与所述第一训练图像的被摄内容相同;
根据所述第一训练图像和所述第二训练图像的差异训练基础模型,得到所述预设处理模型。
2.根据权利要求1所述的图像处理方法,其特征在于,根据所述第一训练图像和所述第二训练图像训练基础模型,得到所述预设处理模型,包括:
根据所述第一训练图像和/或所述第二训练图像识别训练场景;
确定所述训练场景的模型训练参数;
根据所述模型训练参数、所述第一训练图像和所述第二训练图像训练所述基础模型,得到所述预设处理模型。
3.根据权利要求1所述的图像处理方法,其特征在于,所述预设处理模型根据以下步骤获得:
获取所述摄像头根据多个曝光时长拍摄的多个图像,将所述根据多个曝光时长拍摄的多个图像作为多个第三训练图像,所述多个第三训练图像为所述摄像头透过所述遮挡罩拍摄的图像,所述多个第三训练图像的被摄内容相同;
根据所述多个第三训练图像训练基础模型,得到所述预设处理模型。
4.根据权利要求3所述的图像处理方法,其特征在于,根据所述多个第三训练图像训练基础模型,得到所述预设处理模型,包括:
根据所述第三训练图像识别训练场景;
确定所述训练场景的模型训练参数;
根据所述模型训练参数和所述第三训练图像训练所述基础模型,得到所述预设处理模型。
5.根据权利要求1所述的图像处理方法,其特征在于,获取所述摄像头透过所述遮挡罩拍摄的图像,将所述图像作为待处理图像,包括:
获取所述摄像头根据多个曝光时长拍摄的图像,将所述根据多个曝光时长拍摄的图像作为多个所述待处理图像,多个所述待处理图像的拍摄内容相同;
利用调整后的所述预设处理模型处理所述待处理图像,包括:
利用调整后的所述预设处理模型处理多个所述待处理图像,得到多个待融合图像;
所述图像处理方法包括:
融合所述多个待融合图像。
6.一种图像处理装置,适用于电子装置,其特征在于,所述电子装置包括遮挡罩和摄像头,所述遮挡罩遮挡所述摄像头,所述图像处理装置包括获取模块、识别模块、调整模块和处理模块,所述获取模块用于获取所述摄像头透过所述遮挡罩拍摄的图像,将所述图像作为待处理图像;所述识别模块用于根据所述待处理图像,识别当前场景;所述调整模块用于根据所述当前场景,调整预设处理模型;所述处理模块用于利用调整后的所述预设处理模型处理所述待处理图像;
所述图像处理装置包括训练模块,所述训练模块用于获取第一训练图像和第二训练图像,所述第一训练图像为所述摄像头透过所述遮挡罩拍摄的图像,所述第二训练图像为所述摄像头未透过所述遮挡罩拍摄的图像,所述第二训练图像与所述第一训练图像的被摄内容相同;以及用于根据所述第一训练图像和所述第二训练图像的差异训练基础模型,得到所述预设处理模型。
7.一种电子装置,其特征在于,包括遮挡罩、摄像头和处理器,所述遮挡罩遮挡所述摄像头,所述处理器用于执行权利要求1至5任意一项所述的图像处理方法。
8.根据权利要求7所述的电子装置,其特征在于,所述摄像头包括图像传感器,所述图像传感器的像素的尺寸大于1.3um。
9.根据权利要求7所述的电子装置,其特征在于,所述摄像头的光圈值的范围为:1.5-2。
10.一种包含计算机可执行指令的非易失性计算机可读存储介质,其特征在于,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行权利要求1-5中任一项所述的图像处理方法。
CN201911039454.9A 2019-10-29 2019-10-29 图像处理方法、图像处理装置、电子装置和存储介质 Active CN112752011B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911039454.9A CN112752011B (zh) 2019-10-29 2019-10-29 图像处理方法、图像处理装置、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911039454.9A CN112752011B (zh) 2019-10-29 2019-10-29 图像处理方法、图像处理装置、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN112752011A CN112752011A (zh) 2021-05-04
CN112752011B true CN112752011B (zh) 2022-05-20

Family

ID=75640137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911039454.9A Active CN112752011B (zh) 2019-10-29 2019-10-29 图像处理方法、图像处理装置、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN112752011B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067661A (zh) * 2013-01-07 2013-04-24 华为终端有限公司 图像处理方法、装置和拍摄终端
CN108416744A (zh) * 2018-01-30 2018-08-17 百度在线网络技术(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN108513672A (zh) * 2017-07-27 2018-09-07 深圳市大疆创新科技有限公司 增强图像对比度的方法、设备及存储介质
CN109191403A (zh) * 2018-09-07 2019-01-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109685746A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 图像亮度调整方法、装置、存储介质及终端
WO2019182269A1 (ko) * 2018-03-19 2019-09-26 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103067661A (zh) * 2013-01-07 2013-04-24 华为终端有限公司 图像处理方法、装置和拍摄终端
CN108513672A (zh) * 2017-07-27 2018-09-07 深圳市大疆创新科技有限公司 增强图像对比度的方法、设备及存储介质
CN108416744A (zh) * 2018-01-30 2018-08-17 百度在线网络技术(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质
WO2019182269A1 (ko) * 2018-03-19 2019-09-26 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
CN109191403A (zh) * 2018-09-07 2019-01-11 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN109685746A (zh) * 2019-01-04 2019-04-26 Oppo广东移动通信有限公司 图像亮度调整方法、装置、存储介质及终端

Also Published As

Publication number Publication date
CN112752011A (zh) 2021-05-04

Similar Documents

Publication Publication Date Title
CN112639579B (zh) 用于增强现实装置的空间分辨的动态调暗
CN109348089B (zh) 夜景图像处理方法、装置、电子设备及存储介质
CN108900782B (zh) 曝光控制方法、装置以及电子设备
KR101916355B1 (ko) 듀얼-렌즈 장치의 촬영 방법, 및 듀얼-렌즈 장치
US10878539B2 (en) Image-processing method, apparatus and device
US20190236404A1 (en) Image processing apparatus image processing method and storage medium for lighting processing on image using model data
CN107959778B (zh) 基于双摄像头的成像方法和装置
JP2021530911A (ja) 夜景撮影方法、装置、電子機器および記憶媒体
CN107835372A (zh) 基于双摄像头的成像方法、装置、移动终端和存储介质
CN109040609A (zh) 曝光控制方法、装置和电子设备
CN111582005B (zh) 图像处理方法、装置、计算机可读介质及电子设备
CN108111731A (zh) 一种摄像头模组
EP3624438B1 (en) Exposure control method, and electronic device
CN109348088A (zh) 图像降噪方法、装置、电子设备及计算机可读存储介质
CN109089046A (zh) 图像降噪方法、装置、计算机可读存储介质及电子设备
CN109906599A (zh) 一种终端的拍照方法和终端
CN107846556A (zh) 成像方法、装置、移动终端和存储介质
KR20110007837A (ko) 피부색을 보정하는 영상 처리 방법, 장치, 디지털 촬영 장치, 및 컴퓨터 판독가능 저장매체
CN110198418A (zh) 图像处理方法、装置、存储介质及电子设备
CN107872631A (zh) 基于双摄像头的图像拍摄方法、装置及移动终端
CN110213462B (zh) 图像处理方法、装置、电子设备、图像处理电路及存储介质
US10607399B2 (en) Head-mounted display system, method for adaptively adjusting hidden area mask, and computer readable medium
CN108462831B (zh) 图像处理方法、装置、存储介质及电子设备
CN112752011B (zh) 图像处理方法、图像处理装置、电子装置和存储介质
CN110276730B (zh) 图像处理方法、装置、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant