CN117372280A - 图像处理方法、装置、电子设备和计算机可读存储介质 - Google Patents

图像处理方法、装置、电子设备和计算机可读存储介质 Download PDF

Info

Publication number
CN117372280A
CN117372280A CN202311139240.5A CN202311139240A CN117372280A CN 117372280 A CN117372280 A CN 117372280A CN 202311139240 A CN202311139240 A CN 202311139240A CN 117372280 A CN117372280 A CN 117372280A
Authority
CN
China
Prior art keywords
privacy
image
image information
information
camera application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311139240.5A
Other languages
English (en)
Inventor
李伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202311139240.5A priority Critical patent/CN117372280A/zh
Publication of CN117372280A publication Critical patent/CN117372280A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60Protecting data
    • G06F21/62Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
    • G06F21/6245Protecting personal data, e.g. for financial or medical purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/28Indexing scheme for image data processing or generation, in general involving image processing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Abstract

本申请涉及一种图像处理方法、装置、电子设备、存储介质和计算机程序产品。所述方法包括:在相机应用程序运行时,通过摄像模组获取第一图像信息;通过硬件抽象层对所述第一图像信息进行图像信号处理,得到第二图像信息,并将所述第二图像信息发送至所述相机应用程序;通过所述相机应用程序对所述第二图像信息中的隐私信息进行模糊处理,生成目标图像。采用本方法能够得到更加保真的目标图像,提高图像处理的准确性。

Description

图像处理方法、装置、电子设备和计算机可读存储介质
技术领域
本申请涉及影像技术领域,特别是涉及一种图像处理方法、装置、电子设备和计算机可读存储介质。
背景技术
随着人们对个人隐私信息越来越重视,通常会手动对图片或者视频中的隐私信息进行打码,如在图片或者视频中添加涂鸦或者马赛克,以覆盖住该隐私信息。
然而,传统的图像处理方法,往往对破坏图片或者视频的原图像的像素结构,存在处理后的图像失真的问题。
发明内容
本申请实施例提供了一种图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品,可以得到更加保真的目标图像,提高图像处理的准确性。
第一方面,本申请提供了一种图像处理方法。所述方法包括:
在相机应用程序运行时,通过摄像模组获取第一图像信息;
通过硬件抽象层对所述第一图像信息进行图像信号处理,得到第二图像信息,并将所述第二图像信息发送至所述相机应用程序;
通过所述相机应用程序对所述第二图像信息中的隐私信息进行模糊处理,生成目标图像。
第二方面,本申请还提供了一种图像处理装置。所述装置包括:
图像信息获取模块,用于在相机应用程序运行时,通过摄像模组获取第一图像信息;
图像信号处理模块,用于通过硬件抽象层对所述第一图像信息进行图像信号处理,得到第二图像信息,并将所述第二图像信息发送至所述相机应用程序;
隐私保护处理模块,用于通过所述相机应用程序对所述第二图像信息中的隐私信息进行模糊处理,生成目标图像。
第三方面,本申请还提供了一种电子设备。所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
在相机应用程序运行时,通过摄像模组获取第一图像信息;
通过硬件抽象层对所述第一图像信息进行图像信号处理,得到第二图像信息,并将所述第二图像信息发送至所述相机应用程序;
通过所述相机应用程序对所述第二图像信息中的隐私信息进行模糊处理,生成目标图像。
第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
在相机应用程序运行时,通过摄像模组获取第一图像信息;
通过硬件抽象层对所述第一图像信息进行图像信号处理,得到第二图像信息,并将所述第二图像信息发送至所述相机应用程序;
通过所述相机应用程序对所述第二图像信息中的隐私信息进行模糊处理,生成目标图像。
第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
在相机应用程序运行时,通过摄像模组获取第一图像信息;
通过硬件抽象层对所述第一图像信息进行图像信号处理,得到第二图像信息,并将所述第二图像信息发送至所述相机应用程序;
通过所述相机应用程序对所述第二图像信息中的隐私信息进行模糊处理,生成目标图像。
上述图像处理方法、装置、电子设备、计算机可读存储介质和计算机程序产品,在相机应用程序运行时,通过摄像模组获取第一图像信息;通过硬件抽象层对第一图像信息进行图像信号处理,得到第二图像信息,并将第二图像信息发送至相机应用程序;那么,通过相机应用程序对第二图像信息中的隐私信息进行模糊处理,生成目标图像,也即在生成目标图像之前的图像处理过程中对隐私信息进行模糊处理,可以避免对已经生成的图像进行打码而造成像素结构破坏的问题,从而使得生成的目标图像更加保真,图像质量更高,提高了图像处理的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像处理方法的流程图;
图2为一个实施例中隐私保护算法的流程图;
图3为一个实施例中电子设备的系统框架图;
图4为一个实施例中图像处理装置的结构框图;
图5为一个实施例中电子设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
在一个实施例中,如图1所示,提供了一种图像处理方法,本实施例以该方法应用于电子设备进行举例说明,该电子设备可以是终端或者服务器;可以理解的是,该方法也可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。其中,终端可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备、智能汽车等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本实施例中,该图像处理方法包括以下步骤:
步骤S102,在相机应用程序运行时,通过摄像模组获取第一图像信息。
其中,相机应用程序可以是电子设备的系统应用程序,也可以是第三方应用程序,不限于此。
示例性的,用户触发电子设备中的相机应用程序,该相机应用程序是系统应用程序,则电子设备响应于对相机应用程序的触发操作,运行相机应用程序,并在相机应用程序运行时,通过摄像模组获取第一图像信息。
示例性的,电子设备中的相机应用程序可以是美颜相机应用程序,该美颜相机应用程序是第三方应用程序,用户触发电子设备中的美颜相机应用程序,则电子设备响应于对美颜相机应用程序的触发操作,运行相机应用程序,并在相机应用程序运行时,通过摄像模组获取第一图像信息。
示例性的,用户在社交应用程序中,触发拍摄功能,则电子设备响应于对拍摄功能的触发拍摄,调用相机应用程序进行运行,并在相机应用程序运行时,通过摄像模组获取第一图像信息。
其中,摄像模组是用于拍摄的包含至少两个器件的模组。摄像模组可以包括摄像头传感器、镜头等,不限于此。
第一图像信息是摄像模组采集的图像信息。第一图像信息也即摄像模组采集的原始图像数据。
可选地,电子设备响应于对相机应用程序的触发操作,运行相机应用程序;在相机应用程序运行时,通过摄像模组获取第一图像信息。
可选地,在相机应用程序运行时,开启隐私保护功能,并在隐私保护功能的运行状态下,通过摄像模组获取第一图像信息。其中,隐私保护功能是相机应用程序中用于保护用户隐私信息的功能,避免在拍摄过程中泄露用户的隐私信息。
在相机应用程序运行时,隐私保护功能可以是相机应用程序内置的默认开启的功能,也可以是主动开启的功能或者被动开启的功能。
步骤S104,通过硬件抽象层对第一图像信息进行图像信号处理,得到第二图像信息,并将第二图像信息发送至相机应用程序。
可以理解的是,电子设备的系统框架包括应用层、框架层和硬件抽象层。其中,硬件抽象层(Hardware Abstract layer,HAL)是位于操作系统内核与硬件电路之间的接口层,其目的在于将硬件抽象化。它隐藏了特定平台的硬件接口细节,为操作系统提供虚拟硬件平台,使其具有硬件无关性,可在多种平台上进行移植。从软硬件测试的角度来看,软硬件的测试工作都可分别基于硬件抽象层来完成,使得软硬件测试工作的并行进行成为可能。第二图像信息是图像信号处理(Image Signal Process,ISP)得到的图像信息。
可选地,在硬件抽象层中包括图像信号处理模块,该图像信号处理模块用于对第一图像信息进行图像信号处理,得到第二图像信息。
其中,图像信号处理,包括:图像栅格化(Bayer)、黑电平补偿(blacklevelcompensation)、镜头矫正(lensshading correction)、坏像素矫正(badpixelcorrection)、颜色插值(demosaic)、Bayer噪声去除、自动白平衡(AWB)、色彩矫正(colorcorrection)、gamma矫正、色彩空间转换(RGB转换为YUV)、在YUV色彩空间上彩噪去除与边缘加强、色彩与对比度加强、输出YUV(或者RGB)格式的数据、通过I/O接口传输到CPU中处理等。
可以理解的是,硬件抽象层对第一图像信息进行图像信号处理,主要是做格式转换和保证基本图像质量等处理,以使得第二图像信息中没有畸变和噪点等。
可选地,电子设备通过摄像模组的摄像头传感器采集到第一图像信息,经过硬件抽象层的图像信号处理模块(ISP模块)对第一图像信息进行图像信号处理,得到第二图像信息,该第二图像信息即经过基础算法处理后的图像信息;硬件抽象层将第二图像信息经过框架层传递给应用层中相机应用程序。
步骤S106,通过相机应用程序对第二图像信息中的隐私信息进行模糊处理,生成目标图像。
其中,目标图像是经过图像处理流程后生成的图像。隐私信息是指公民个人生活中不愿为他人(一定范围以外的人)公开或知悉的秘密,且这一秘密与其他人及社会利益无关的信息。隐私信息如人体隐私部位、人脸、银行账号密码、证件信息等,不限于此。模糊处理包括高斯模糊处理、添加马赛克或者添加指定图案等,不限于此。
可选地,通过相机应用程序接收到硬件框架层发送的第二图像信息之后,调用隐私保护算法对第二图像信息中的隐私信息进行模糊处理,生成目标图像。
可以理解的是,第一图像信息是摄像模组采集图像信息后得到的第一图像,第二图像信息是硬件抽象层对第一图像进行图像信号处理后得到的第二图像,那么,通过相机应用程序接收到硬件框架层发送的第二图像之后,调用隐私保护算法对第二图像中的隐私区域进行模糊处理,生成目标图像;其中,隐私区域包括隐私信息。
可选地,通过相机应用程序对第二图像信息中的隐私信息进行模糊处理之后,目标应用程序还可以对模糊处理后的第二图像信息美颜处理等,生成处理后的目标图像。
可选地,在生成目标图像之后,目标应用程序对目标图像进行绘制(渲染),并在绘制(渲染)完成后显示该目标图像。
可选地,第一图像信息和第二图像信息均是YUV格式,通过相机应用程序对YUV(Y表示明亮度:Luminance或Luma,U和V表示色度:Chrominance或Chroma)格式的第二图像信息中的隐私信息进行模糊处理,生成YUV格式的目标图像,再将YUV格式的目标图像转换成RGB(R:Red,G:Green,B:Blue)格式的目标图像,显示该RGB格式的目标图像。
可选地,生成目标图像之后,还包括:显示作为照片的目标图像;或者,在预览画面中显示用于预览的目标图像;或者,在视频中显示作为视频帧的目标图像。
可选地,电子设备在屏幕的拍摄画面中显示作为照片的目标图像,并将目标图像存储至本地的相册中。
可选地,电子设备在预览画面中显示用于预览的目标图像,即目标图像作为预览画面中的预览图像帧。
可选地,电子设备在视频中显示作为视频帧的目标图像,即目标图像作为视频中视频图像帧,并在视频拍摄完成中将视频存储至本地的相册中。
可以理解的是,电子设备显示作为照片的目标图像,或者在预览画面中显示用于预览的目标图像,或者在视频中显示作为视频帧的目标图像,可以达到拍照、预览和拍摄视频时拍摄画面中均保护隐私信息的效果,提高了图像处理的准确性。
上述图像处理方法,在相机应用程序运行时,通过摄像模组获取第一图像信息;通过硬件抽象层对第一图像信息进行图像信号处理,得到第二图像信息,并将第二图像信息发送至相机应用程序;那么,通过相机应用程序对第二图像信息中的隐私信息进行模糊处理,生成目标图像,也即在生成目标图像之前的图像处理过程中对隐私信息进行模糊处理,可以避免对已经生成的图像进行后处理如打码而造成像素结构破坏的问题,从而使得生成的目标图像更加保真,图像质量更高,提高了图像处理的准确性。并且电子设备将隐私信息的保护融合到相机应用程序中,可以丰富相机应用程序的差异化功能,提升产品竞争力。
在一个实施例中,通过相机应用程序对第二图像信息中的隐私信息进行模糊处理,生成目标图像,包括:通过相机应用程序,调用训练完成的隐私检测模型,通过训练完成的隐私检测模型确定第二图像信息中的目标隐私区域;对目标隐私区域进行模糊处理,生成目标图像。
其中,隐私检测模型是用于对隐私信息进行检测的模型。目标隐私区域是第二图像信息中包含隐私信息的区域。其中,第一图像信息是摄像模组采集图像信息后得到的第一图像,第二图像信息是硬件抽象层对第一图像进行图像信号处理后得到的第二图像,目标隐私区域是第二图像中包含隐私信息的区域。
可选地,通过相机应用程序接收硬件抽象层发送的第二图像信息,并将第二图像信息输入调用的训练完成的隐私检测模型,通过该训练完成的隐私检测模型对第二图像信息进行隐私检测,得到第二图像信息中的目标隐私区域。
可选地,通过相机应用程序对目标隐私区域进行模糊处理之后,对目标隐私区域的边缘进行平滑处理,生成目标图像。通过相机应用程序对目标隐私区域的边缘进行平滑处理,可以使得目标隐私区域和其他区域的边缘部分更加平滑,得到更加自然和保真的目标图像。
可选地,电子设备通过该训练完成的隐私检测模型对第二图像信息进行人体检测,若确定第二图像信息中存在人体,则对人体区域进行隐私检测,得到第二图像信息中的目标隐私区域。
如图2所示,相机应用程序从图像缓冲器中获取第二图像信息,采用人体识别模型对第二图像信息进行人体识别,若第二图像信息中存在人体,则从第二图像信息中提取出人体区域,将人体区域输入隐私检测模型中,通过隐私检测模型对人体区域进行隐私检测,确定目标隐私区域;该目标隐私区域为隐私部位;目标应用程序对该目标隐私区域进行高斯模糊处理,得到高斯模糊处理后的目标隐私区域;将高斯模糊处理后的目标隐私区域和第二图像信息进行融合,生成目标图像。
其中,电子设备将高斯模糊处理后的目标隐私区域和第二图像信息进行融合,可以是覆盖第二图像信息中未高斯模糊处理的目标隐私区域,生成目标图像;也可以是先去除第二图像信息中的目标隐私区域,得到其他区域,再将高斯模糊处理后的目标隐私区域和其他区域组合,生成目标图像;还可以采用其他方式,在此不做限定。
在本实施例中,通过相机应用程序,调用训练完成的隐私检测模型,通过训练完成的隐私检测模型可以准确地确定第二图像信息中的目标隐私区域,从而准确地对该目标隐私区域进行模糊处理,避免在拍摄过程中导致人体隐私信息泄露,生成更加保真以及图像质量更高的目标图像,提高了图像处理的准确性。
在一个实施例中,电子设备对隐私检测模型进行训练,得到训练完成的隐私检测模型。训练完成的隐私检测模型的训练过程,包括:将训练图像集输入隐私检测模型中,通过隐私检测模型确定训练图像集的第一隐私区域;训练图像集包括标注的第二隐私区域;基于第一隐私区域和第二隐私区域,确定训练结果;若训练结果不满足训练截止条件,则调整隐私检测模型的参数,并通过调整后的隐私检测模型,返回执行确定训练图像集的第一隐私区域步骤,直到训练结果满足训练截止条件,得到训练完成的隐私检测模型。
其中,训练图像集是用于对隐私检测模型进行训练的图像集,包括至少两个训练图像。训练图像集包括标注的每个训练图像的第二隐私区域,即该第二隐私区域为训练图像的真实隐私区域。隐私检测模型可以是基于UNET神经网络搭建的AI(ArtificialIntelligence,人工智能)训练模型。
训练图像集可以包括不同性别人员的隐私区域的训练图像,如男性隐私区域的训练图像、女性隐私区域的训练图像等。
第一隐私区域是隐私检测模型在训练过程中检测到的隐私区域。训练截止条件可以根据需要进行设置,如训练截止条件可以是迭代训练次数达到目标次数,又如训练结果满足完成收敛等,在此不做限定。其中,目标次数可以根据需要进行设置。
可选地,电子设备将训练图像集输入隐私检测模型中,通过隐私检测模型对训练图像集进行隐私检测,确定训练图像集的第一隐私区域;将第一隐私区域和第二隐私区域进行对比,确定训练结果。
在本实施例中,电子设备对隐私检测模型进行训练,直到训练结果满足训练截止条件,可以得到更加准确的训练完成的隐私检测模型,从而可以通过该训练完成的隐私检测模型更准确地检测出目标隐私区域。
在一个实施例中,在相机应用程序运行时,通过摄像模组获取第一图像信息之前,还包括:在相机应用程序运行时,显示拍摄画面;若拍摄画面中存在开启隐私保护功能的指示信息,则开启隐私保护功能;在隐私保护功能的运行状态下,执行通过摄像模组获取第一图像信息的步骤。
其中,隐私保护功能是相机应用程序中用于保护隐私信息的功能。开启隐私保护功能的指示信息是用于指示相机应用程序开启隐私保护功能的信息。示例性的,开启隐私保护功能的指示信息可以是指定的手势、指定的姿势或者指定的语音等,不限于此。
可选地,在相机应用程序运行时,显示拍摄画面;对拍摄画面进行指示信息检测;若检测到拍摄画面中存在开启隐私保护功能的指示信息,则开启隐私保护功能;在隐私保护功能的运行状态下,通过摄像模组获取第一图像信息。
可选地,电子设备在开启隐私保护功能之后,还可以响应于关闭隐私保护功能的指示信息,关闭隐私保护功能。其中,关闭隐私保护功能的指示信息可以根据需要进行设置,如强制关闭隐私保护功能的指示信息等。
可选地,若拍摄画面中存在开启隐私保护功能的指示信息,则开启隐私保护功能,包括:对拍摄画面进行手势识别,确定拍摄画面中的手势;若拍摄画面中的手势与目标手势相匹配,则开启隐私保护功能。
其中,目标手势可以根据需要进行设置。示例性的,目标手势可以是拒绝拍照的手势或者暂停手势等,不限于此。
可选地,电子设备对拍摄画面进行手势识别,若识别到拍摄画面中的手势,则将该拍摄画面中的手势与目标手势进行匹配,根据匹配结果判断是否开启隐私保护功能;若拍摄画面中的手势与目标手势相匹配,则开启隐私保护功能;若拍摄画面中的手势与目标手势不匹配,则继续返回执行对拍摄画面进行手势识别的步骤。
如图3所示,电子设备系统框架包括应用层、框架层和硬件抽象层;在相机应用程序运行时,向硬件抽象层中的HAL进程下发图像请求;硬件抽象层中的HAL响应于图像请求,对拍摄画面进行手势识别;若识别到拍摄画面中存在拒绝拍摄手势,则开启隐私保护功能;在隐私保护功能的运行状态下,通过摄像模组获取第一图像信息;通过硬件抽象层对第一图像信息进行图像信号处理,得到第二图像信息,并将第二图像信息存储在图像缓冲器中;硬件抽象层的HAL进程可以从图像缓冲器中获取第二图像信息,并将第二图像信息经过框架层传递给应用层中相机应用程序;通过相机应用程序将第二图像信息发送至隐私保护处理模块,该隐私保护处理模块用于对第二图像信息中的隐私信息进行模糊处理,生成目标图像。
可选地,电子设备对拍摄画面进行语音识别,确定识别到的语音;若识别到的语音和目标语音相匹配,则开启隐私保护功能;若识别到的语音和目标语音不匹配,则继续返回执行对拍摄画面进行语音识别的步骤。
可选地,电子设备对拍摄画面进行人体姿势识别,确定拍摄画面中的姿势;若拍摄画面中的姿势与目标姿势相匹配,则开启隐私信息;若拍摄画面中的姿势与目标姿势不匹配,则继续返回执行对拍摄画面进行人体姿势识别的步骤。
在本实施例中,电子设备在相机应用程序运行时,显示拍摄画面,若拍摄画面中存在开启隐私保护功能的指示信息,则被动开启隐私保护功能,并在隐私保护功能的运行状态下,通过摄像模组获取第一图像信息,可防止恶意拍摄事件,从而可以在隐私保护功能的运行状态下更准确地保护拍摄画面中的隐私信息。
进一步地,电子设备可以对拍摄画面进行手势识别,从而准确地开启隐私保护功能。
在一个实施例中,在相机应用程序运行时,通过摄像模组获取第一图像信息,包括:在相机应用程序运行时,响应于对隐私保护功能的开启操作,开启隐私保护功能;在隐私保护功能的运行状态下,通过摄像模组获取第一图像信息。
其中,对隐私保护功能的开启操作可以是对隐私保护功能在拍摄画面中的显示元素进行触发的操作,也可以是对屏幕或者物理按键进行触发的操作等,不限于此。
可选地,在相机应用程序运行时,响应于对相机应用程序中的隐私保护功能的开启操作,开启隐私保护功能;在隐私保护功能的运行状态下,相机应用程序向硬件抽象层下发图像请求,通过硬件抽象层中的摄像模组获取第一图像信息。
在本实施例中,在相机应用程序运行时,响应于对隐私保护功能的开启操作,主动开启隐私保护功能;在隐私保护功能的运行状态下,通过摄像模组获取第一图像信息,可以达到预览、拍照和录像时拍摄画面中均保护隐私信息的效果,提高了图像处理的准确性。并且,相机应用程序主动配置保护他人隐私的功能点,提高产品口碑;主动隐私保护可避免拍摄作品中出现不合时宜的画面。
在一个实施例中,还提供了另一种图像处理方法,应用于电子设备,该图像处理方法包括以下步骤:
在相机应用程序运行时,电子设备执行步骤A1或者A2。
步骤A1,显示拍摄画面;对拍摄画面进行手势识别,确定拍摄画面中的手势;若拍摄画面中的手势与目标手势相匹配,则开启隐私保护功能;在隐私保护功能的运行状态下,通过摄像模组获取第一图像信息。
步骤A2,响应于对隐私保护功能的开启操作,开启隐私保护功能;在隐私保护功能的运行状态下,通过摄像模组获取第一图像信息。
电子设备在执行步骤A1或者A2之后,继续执行步骤A3至步骤A6。
步骤A3,通过硬件抽象层对第一图像信息进行图像信号处理,得到第二图像信息,并将第二图像信息发送至相机应用程序。
步骤A4,通过相机应用程序,调用训练完成的隐私检测模型,通过训练完成的隐私检测模型确定第二图像信息中的目标隐私区域;其中,隐私检测模型的训练过程,包括:将训练图像集输入隐私检测模型中,通过隐私检测模型确定训练图像集的第一隐私区域;训练图像集包括标注的第二隐私区域;基于第一隐私区域和第二隐私区域,确定训练结果;若训练结果不满足训练截止条件,则调整隐私检测模型的参数,并通过调整后的隐私检测模型,返回执行确定训练图像集的第一隐私区域步骤,直到训练结果满足训练截止条件,得到训练完成的隐私检测模型。
步骤A5,对目标隐私区域进行模糊处理,生成目标图像。
步骤A6,显示作为照片的目标图像;或者,在预览画面中显示用于预览的目标图像;或者,在视频中显示作为视频帧的目标图像。
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的图像处理方法的图像处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像处理装置实施例中的具体限定可以参见上文中对于图像处理方法的限定,在此不再赘述。
在一个实施例中,如图4所示,提供了一种图像处理装置,包括:图像信息获取模块402、图像信号处理模块404和隐私保护处理模块406,其中:
图像信息获取模块402,用于在相机应用程序运行时,通过摄像模组获取第一图像信息。
图像信号处理模块404,用于通过硬件抽象层对第一图像信息进行图像信号处理,得到第二图像信息,并将第二图像信息发送至相机应用程序。
隐私保护处理模块406,用于通过相机应用程序对第二图像信息中的隐私信息进行模糊处理,生成目标图像。
上述图像处理装置,在相机应用程序运行时,通过摄像模组获取第一图像信息;通过硬件抽象层对第一图像信息进行图像信号处理,得到第二图像信息,并将第二图像信息发送至相机应用程序;那么,通过相机应用程序对第二图像信息中的隐私信息进行模糊处理,生成目标图像,也即在生成目标图像之前的图像处理过程中对隐私信息进行模糊处理,可以避免对已经生成的图像进行打码而造成像素结构破坏的问题,从而使得生成的目标图像更加保真,图像质量更高,提高了图像处理的准确性。
在一个实施例中,上述隐私保护处理模块406还用于通过相机应用程序,调用训练完成的隐私检测模型,通过训练完成的隐私检测模型确定第二图像信息中的目标隐私区域;对目标隐私区域进行模糊处理,生成目标图像。
在一个实施例中,上述装置还包括模型训练模块;该模型训练用于将训练图像集输入隐私检测模型中,通过隐私检测模型确定训练图像集的第一隐私区域;训练图像集包括标注的第二隐私区域;基于第一隐私区域和第二隐私区域,确定训练结果;若训练结果不满足训练截止条件,则调整隐私检测模型的参数,并通过调整后的隐私检测模型,返回执行确定训练图像集的第一隐私区域步骤,直到训练结果满足训练截止条件,得到训练完成的隐私检测模型。
在一个实施例中,上述装置还包括显示模块和隐私保护功能开启模块;该显示模块用于在相机应用程序运行时,显示拍摄画面;该隐私保护功能开启模块用于若拍摄画面中存在开启隐私保护功能的指示信息,则开启隐私保护功能;上述图像信息获取模块402还用于在隐私保护功能的运行状态下,执行通过摄像模组获取第一图像信息的步骤。
在一个实施例中,上述隐私保护功能开启模块还用于对拍摄画面进行手势识别,确定拍摄画面中的手势;若拍摄画面中的手势与目标手势相匹配,则开启隐私保护功能。
在一个实施例中,上述隐私保护功能开启模块还用于在相机应用程序运行时,响应于对隐私保护功能的开启操作,开启隐私保护功能;上述图像信息获取模块402还用于在隐私保护功能的运行状态下,通过摄像模组获取第一图像信息。
在一个实施例中,上述显示模块还用于显示作为照片的目标图像;或者,在预览画面中显示用于预览的目标图像;或者,在视频中显示作为视频帧的目标图像。
上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中,也可以以软件形式存储于电子设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种电子设备,该电子设备可以是终端,其内部结构图可以如图5所示。该电子设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中,处理器、存储器和输入/输出接口通过系统总线连接,通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中,该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的输入/输出接口用于处理器与外部设备之间交换信息。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像处理方法。该电子设备的显示单元用于形成视觉可见的画面,可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是电子设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行图像处理方法的步骤。
本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像处理方法。
需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,且相关数据的收集、使用和处理需要符合相关规定。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
在相机应用程序运行时,通过摄像模组获取第一图像信息;
通过硬件抽象层对所述第一图像信息进行图像信号处理,得到第二图像信息,并将所述第二图像信息发送至所述相机应用程序;
通过所述相机应用程序对所述第二图像信息中的隐私信息进行模糊处理,生成目标图像。
2.根据权利要求1所述的方法,其特征在于,所述通过所述相机应用程序对所述第二图像信息中的隐私信息进行模糊处理,生成目标图像,包括:
通过所述相机应用程序,调用训练完成的隐私检测模型,通过所述训练完成的隐私检测模型确定所述第二图像信息中的目标隐私区域;
对所述目标隐私区域进行模糊处理,生成目标图像。
3.根据权利要求2所述的方法,其特征在于,所述训练完成的隐私检测模型的训练过程,包括:
将训练图像集输入隐私检测模型中,通过所述隐私检测模型确定所述训练图像集的第一隐私区域;所述训练图像集包括标注的第二隐私区域;
基于所述第一隐私区域和所述第二隐私区域,确定训练结果;
若所述训练结果不满足训练截止条件,则调整所述隐私检测模型的参数,并通过调整后的隐私检测模型,返回执行所述确定所述训练图像集的第一隐私区域步骤,直到所述训练结果满足训练截止条件,得到训练完成的隐私检测模型。
4.根据权利要求1所述的方法,其特征在于,所述在相机应用程序运行时,通过摄像模组获取第一图像信息之前,还包括:
在相机应用程序运行时,显示拍摄画面;
若所述拍摄画面中存在开启隐私保护功能的指示信息,则开启隐私保护功能;
在所述隐私保护功能的运行状态下,执行所述通过摄像模组获取第一图像信息的步骤。
5.根据权利要求4所述的方法,其特征在于,所述若所述拍摄画面中存在开启隐私保护功能的指示信息,则开启隐私保护功能,包括:
对所述拍摄画面进行手势识别,确定所述拍摄画面中的手势;
若所述拍摄画面中的手势与目标手势相匹配,则开启隐私保护功能。
6.根据权利要求1所述的方法,其特征在于,所述在相机应用程序运行时,通过摄像模组获取第一图像信息,包括:
在相机应用程序运行时,响应于对隐私保护功能的开启操作,开启所述隐私保护功能;
在所述隐私保护功能的运行状态下,通过摄像模组获取第一图像信息。
7.根据权利要求1至6任一项所述的方法,其特征在于,所述生成目标图像之后,还包括:
显示作为照片的目标图像;
或者,在预览画面中显示用于预览的目标图像;
或者,在视频中显示作为视频帧的目标图像。
8.一种图像处理装置,其特征在于,包括:
图像信息获取模块,用于在相机应用程序运行时,通过摄像模组获取第一图像信息;
图像信号处理模块,用于通过硬件抽象层对所述第一图像信息进行图像信号处理,得到第二图像信息,并将所述第二图像信息发送至所述相机应用程序;
隐私保护处理模块,用于通过所述相机应用程序对所述第二图像信息中的隐私信息进行模糊处理,生成目标图像。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像处理方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
CN202311139240.5A 2023-09-05 2023-09-05 图像处理方法、装置、电子设备和计算机可读存储介质 Pending CN117372280A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311139240.5A CN117372280A (zh) 2023-09-05 2023-09-05 图像处理方法、装置、电子设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311139240.5A CN117372280A (zh) 2023-09-05 2023-09-05 图像处理方法、装置、电子设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN117372280A true CN117372280A (zh) 2024-01-09

Family

ID=89390003

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311139240.5A Pending CN117372280A (zh) 2023-09-05 2023-09-05 图像处理方法、装置、电子设备和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN117372280A (zh)

Similar Documents

Publication Publication Date Title
US20200258197A1 (en) Method for generating high-resolution picture, computer device, and storage medium
WO2020093837A1 (zh) 人体骨骼关键点的检测方法、装置、电子设备及存储介质
Jiang et al. Unsupervised decomposition and correction network for low-light image enhancement
WO2018176925A1 (zh) Hdr图像的生成方法及装置
CN110633576A (zh) 数据处理
TW200903347A (en) Edge mapping using panchromatic pixels
US20200126193A1 (en) Method and device for video processing, electronic device, and storage medium
WO2021078001A1 (zh) 一种图像增强方法及装置
WO2023151511A1 (zh) 模型训练方法、图像去摩尔纹方法、装置及电子设备
CN111080571A (zh) 摄像头遮挡状态检测方法、装置、终端和存储介质
CN107564085B (zh) 图像扭曲处理方法、装置、计算设备及计算机存储介质
CN111429371A (zh) 图像处理方法、装置及终端设备
CN110288560A (zh) 一种图像模糊检测方法及装置
CN109726613B (zh) 一种用于检测的方法和装置
US20240013358A1 (en) Method and device for processing portrait image, electronic equipment, and storage medium
CN110473156B (zh) 图像信息的处理方法、装置、存储介质及电子设备
CN111968605A (zh) 曝光度调整方法及装置
US20090324127A1 (en) Method and System for Automatic Red-Eye Correction
CN117372280A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN117132515A (zh) 一种图像处理方法及电子设备
CN117135471A (zh) 一种图像处理方法和电子设备
WO2023273111A1 (zh) 一种图像处理方法、装置、计算机设备和存储介质
WO2022193573A1 (zh) 人脸融合方法及装置
CN112001285B (zh) 一种美颜图像的处理方法、装置、终端和介质
WO2017101570A1 (zh) 照片的处理方法及处理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination