CN113762055A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

图像处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113762055A
CN113762055A CN202110536411.2A CN202110536411A CN113762055A CN 113762055 A CN113762055 A CN 113762055A CN 202110536411 A CN202110536411 A CN 202110536411A CN 113762055 A CN113762055 A CN 113762055A
Authority
CN
China
Prior art keywords
image
sub
processed
classification result
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110536411.2A
Other languages
English (en)
Inventor
杨伟明
郭润增
王少鸣
唐惠忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110536411.2A priority Critical patent/CN113762055A/zh
Publication of CN113762055A publication Critical patent/CN113762055A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/382Payment protocols; Details thereof insuring higher security of transaction
    • G06Q20/3825Use of electronic signatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/382Payment protocols; Details thereof insuring higher security of transaction
    • G06Q20/3829Payment protocols; Details thereof insuring higher security of transaction involving key management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/38Payment protocols; Details thereof
    • G06Q20/40Authorisation, e.g. identification of payer or payee, verification of customer or shop credentials; Review and approval of payers, e.g. check credit lines or negative lists
    • G06Q20/401Transaction verification
    • G06Q20/4014Identity check for transactions
    • G06Q20/40145Biometric identity checks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32144Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title embedded in the image data, i.e. enclosed or integrated in the image, e.g. watermark, super-imposed logo or stamp
    • H04N1/32149Methods relating to embedding, encoding, decoding, detection or retrieval operations
    • H04N1/32267Methods relating to embedding, encoding, decoding, detection or retrieval operations combined with processing of the image
    • H04N1/32272Encryption or ciphering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备及可读存储介质,涉及人工智能、区块链以及图像处理技术领域。该方法包括:获取待处理图像,待处理图像为包含目标对象的图像;将待处理图像划分为至少两个子图像;提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果,分类结果表征了子图像中包括目标对象的概率;将各子图像对应的分类结果作为安全因子,对安全因子和待处理图像进行加密,得到待处理图像的加密结果。在本申请实施例中,可以将各子图像对应的分类结果作为安全因子与待处理图像进行一并加密,增加了加密结果的破解难度,进一步的提升了数据的安全性。

Description

图像处理方法、装置、电子设备及可读存储介质
技术领域
本申请涉及人工智能、区块链以及图像处理技术领域,具体而言,本申请涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
目前,在很多应用场景中,数据的安全性变得越来越重要。为了保证数据的安全性、防止数据被篡改,数据加密已经成为了日程生活中很常用的处理方式。比如,在数据传输应用中,数据发送端会采用与接收端约定好的加密算法(如对称加密算法或非对称加密算法),对待传输的数据进行加密后再发送到接收端,接收端采用相应的解密方式解密得到数据。
虽然通过现有的加密处理方式能够在一定程度上保证数据的安全,但是在安全性要求很高的应用场景中,而目前的加密处理方式并不能够很好满足安全需求。比如,在金融领域,会存在很多需要基于人脸图像进行安全验证的场景,如人脸支付场景,如何更好的防止人脸图像的被篡改,提升人脸图像的安全性一直是研究的重中之重。
发明内容
本申请提供一种图像处理方法、装置、电子设备及可读存储介质,特能够提升加密数据的安全性。
一方面,本申请实施例提供了一种图像处理方法,该方法包括:
获取待处理图像,待处理图像为包含目标对象的图像;
将待处理图像划分为至少两个子图像;
提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果,分类结果表征了子图像中包括目标对象的概率;
将各子图像对应的分类结果作为安全因子,对安全因子和待处理图像进行加密,得到待处理图像的加密结果。
另一方面,本申请实施例提供了一种图像处理方法,该方法包括:
获取待处理图像的加密结果,待处理图像为包含目标对象的图像,加密结果是采用前文提供的图像处理方法对待处理图像进行处理得到的;
对加密结果进行解密,得到待验证图像和安全因子;
将待验证图像划分为至少两个子图像;
提取待验证图像的各子图像的图像特征,并基于待验证图像的每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果;
基于待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定待处理图像是否被篡改。
又一方面,本申请实施例提供了一种图像处理装置,该装置包括:
图像获取模块,用于获取待处理图像,待处理图像为包含目标对象的图像;
图像划分模块,用于将待处理图像划分为至少两个子图像;
分类结果确定模块,用于提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果,分类结果表征了子图像中包括目标对象的概率;
图像加密模块,用于将各子图像对应的分类结果作为安全因子,对安全因子和待处理图像进行加密,得到待处理图像的加密结果。
可选的,分类结果确定模块在提取每个子图像的图像特征时,具体用于:
获取每个子图像的初始特征,初始特征包括子图像所包含的至少两个图像块的第一特征;
对于每个子图像,基于子图像的至少两个图像块的第一特征之间的关联性,确定至少两个图像块中每个图像块的权重,并基于子图像的各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,基于子图像的各图像块的第二特征,得到子图像的图像特征。
可选的,对于每个子图像,分类结果确定模块在基于子图像的各图像块的第二特征,得到子图像的图像特征时,具体用于:
通过包含至少两个级联的特征提取层的特征提取模块执行以下操作,得到子图像的图像特征:
基于子图像的各图像块的第二特征,通过特征提取模块的第一个特征提取层提取子图像的第三特征;
对于除第一个特征提取层之外的每个特征提取层,基于第一个特征提取层的输入特征和该特征提取层之前的各特征提取层的输出特征,提取得到子图像的第四特征;
将最后一个特征提取层的输出特征作为子图像的图像特征。
可选的,在分类结果确定模块获取每个子图像的初始特征时,具体用于:
对于每个子图像,确定子图像所包含的至少两个图像块的特征描述子,将每个图像块的特征描述子作为图像块的第一特征。
可选的,哎分类结果确定模块提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果时,是通过神经网络模型实现的,神经网络模型是通过以下方式训练得到的:
获取带有标注结果的各样本图像,对于一个样本图像,标注结果表征了样本图像中包含样本对象或者不包含样本对象,标注结果表征了样本图像的真实分类结果;
基于各训练样本图像对初始神经网络模型进行训练,直至模型对应的损失函数的值满足训练结束条件,得到神经网络模型;
其中,神经网络模型的输入为各样本图像,输出为各样本图像对应的预测分类结果,对于一个样本图像,预测分类结果表征了样本图像中包含样本对象的概率,损失函数的值表征了各样本图像的标注分类结果与预测分类结果之间的差异。
可选的,神经网络模型包括依次级联的注意力模块、特征提取模块和分类模块,分类结果确定模块在提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果时,具体用于:
对于每个子图像,提取子图像的初始特征,初始特征包括子图像所包含至少两个图像块的第一特征;
对于每个子图像,基于子图像的初始特征,通过注意力模块,确定子图像的各图像块的权重,并基于各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,通过特征提取模块对子图像的各图像块的第二特征进行特征提取,得到子图像的图像特征,基于子图像的图像特征,通过分类模块,确定子图像对应的分类结果。
可选的,图像加密模块在将各子图像对应的分类结果作为安全因子,对安全因子和待处理图像进行加密时,具体用于:
将各子图像对应的分类结果按照设定顺序进行拼接,得到拼接后的分类结果;
将拼接后的分类结果作为安全因子,对安全因子和待处理图像进行加密。
可选的,该装置还包括结果发送模块,用于:
将加密结果发送至待处理图像对应的接收端,以使接收端通过执行以下操作确定待处理图像是否被篡改:
对加密结果进行解密,得到待验证图像和安全因子;
将待验证图像划分为至少两个子图像;
提取待验证图像的各子图像的图像特征,并基于待验证图像的每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果;
基于待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定待处理图像是否被篡改。
再一方面,本申请实施例提供了一种图像处理装置,该装置包括:
加密结果获取模块,用于获取待处理图像的加密结果,待处理图像为包含目标对象的图像,加密结果是采用前文提供的图像处理方法对待处理图像进行处理得到的;
解密模块,用于对加密结果进行解密,得到待验证图像和安全因子;
图像划分模块,用于将待验证图像划分为至少两个子图像;
分类结果确定模块,用于提取待验证图像的各子图像的图像特征,并基于待验证图像的每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果;
验证模块,用于基于待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定待处理图像是否被篡改。
另一方面,本申请实施例提供了一种电子设备,包括处理器以及存储器:存储器被配置用于存储计算机程序,计算机程序在由处理器执行时,使得处理器执行图像处理方法。
又一方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质用于存储计算机程序,当计算机程序在计算机上运行时,使得计算机可以执行图像处理方法。
本申请实施例提供的技术方案带来的有益效果是:
在本申请实施例中,在获取到待处理图像后,可以将待处理图像划分为至少两个子图像,并确定每个子图像各自对应的分类结果,然后将各子图像对应的分类结果作为安全因子与待处理图像进行一并加密,得到待处理图像的加密结果,此时所得到的加密结果更加复杂,增加了加密结果的破解难度,从而可以有效的防止了加密结果在传输中被破解篡改,进一步的提升了数据的安全性。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1a为本申请实施例提供的一种系统架构的示意图;
图1b为本申请实施例提供的一种人脸图像的示意图;
图1c为本申请实施例提供的一种提示信息的示意图;
图1d为本申请实施例提供的一种图像处理方法的流程示意图;
图2为本申请实施例提供的另一种图像处理方法的流程示意图;
图3为本申请实施例提供的一种神经网络模型的结构示意图;
图4为本申请实施例提供的一种图像处理装置的结构示意图;
图5为本申请实施例提供的另一种图像处理装置的结构示意图;
图6为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本申请,而不能解释为对本申请的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解,当我们称元件被“连接”或“耦接”到另一元件时,它可以直接连接或耦接到其他元件,或者也可以存在中间元件。此外,这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
可选的,本申请实施例中所提供的图像加密方法涉及到人工智能软件技术中的计算机视觉技术以及机器学习/深度学习等几大方向。
其中,计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
可选的,本申请实施例中对于待处理图像包括的每一个子图像,可以基于通过神经网络模型提取该子图像的图像特征,并基于该子图像的图像特征,确定该子图像对应的特征值。其中,该神经网络模型可以通过机器学习(Machine Learning,ML)得到,而机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
可选的,本申请实施例中所涉及到的待处理图像可以为基于区块链存储的图像。其中,区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中,用户管理模块负责所有区块链参与者的身份信息管理,包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等,并且在授权的情况下,监管和审计某些真实身份的交易情况,提供风险控制的规则配置(风控审计);基础服务模块部署在所有区块链节点设备上,用来验证业务请求的有效性,并对有效请求完成共识后记录到存储上,对于一个新的业务请求,基础服务先对接口适配解析和鉴权处理(接口适配),然后通过共识算法将业务信息加密(共识管理),在加密之后完整一致的传输至共享账本上(网络通信),并进行记录存储;智能合约模块负责合约的注册发行以及合约触发和合约执行,开发人员可以通过某种编程语言定义合约逻辑,发布到区块链上(合约注册),根据合约条款的逻辑,调用密钥或者其它的事件触发执行,完成合约逻辑,同时还提供对合约升级注销的功能;运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出,例如:告警、监控网络情况、监控节点设备健康状态等。平台产品服务层提供典型应用的基本能力和实现框架,开发人员可以基于这些基本能力,叠加业务的特性,完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
可选的,在实际应用中,可以对加密后的数据(如本申请实施例中加密后的待处理图像)进行数据传输,此时则需要保证在数据传输过程中的安全,如保证数据的云安全。其中,云安全(Cloud Security)是指基于云计算商业模式应用的安全软件、硬件、用户、机构、安全云平台的总称。云安全融合了并行处理、网格计算、未知病毒行为判断等新兴技术和概念,通过网状的大量客户端对网络中软件行为的异常监测,获取互联网中木马、恶意程序的最新信息,并发送到服务端进行自动分析和处理,再把病毒和木马的解决方案分发到每一个客户端。
云安全主要研究方向包括:1.云计算安全,主要研究如何保障云自身及云上各种应用的安全,包括云计算机系统安全、用户数据的安全存储与隔离、用户接入认证、信息传输安全、网络攻击防护、合规审计等;2.安全基础设施的云化,主要研究如何采用云计算新建与整合安全基础设施资源,优化安全防护机制,包括通过云计算技术构建超大规模安全事件、信息采集与处理平台,实现对海量信息的采集与关联分析,提升全网安全事件把控能力及风险控制能力;3.云安全服务,主要研究各种基于云计算平台为用户提供的安全服务,如防病毒服务等。
为了更好的理解和说明本申请实施例提供的方案,下面首先对本申请实施例中所涉及的一些技术用语进行介绍和解释:
有监督学习:是从标签化训练数据集中推断出函数的机器学习任务,训练数据由一组训练实例(即训练样本数据)组成,在有监督学习中,每一个例子都是一对,其由一个输入对象(通常是一个向量)和一个期望的输出值组成。
深度学习:是一类模式分析方法的统称,就具体研究内容而言,主要涉及三类:(1)基于卷积运算的神经网络系统,即卷积神经网络(CNN,Convolutional Neural Networks);(2)基于多层神经元的自编码神经网络,主要包括自编码(Auto encoder)以及近年来受到广泛关注的稀疏编码(Sparse Coding)两类;(3)以多层自编码神经网络的方式进行预训练,进而结合鉴别信息进一步优化神经网络权值的深度置信网络(DBN,Deep BeliefNetworks)。
注意力机制(Attention Mechanism):该机制源于对人类视觉的研究,在认知科学中,由于信息处理的瓶颈,人类会选择性地关注所有信息的一部分,同时忽略其他可见的信息,该机制通常被称为注意力机制。人类视网膜不同的部位具有不同程度的信息处理能力,即敏锐度(Acuity),只有视网膜中央凹部位具有最强的敏锐度。为了合理利用有限的视觉信息处理资源,人类需要选择视觉区域中的特定部分,然后集中关注它。例如,人们在阅读时,通常只有少量要被读取的词会被关注和处理。因此,注意力机制主要有两个方面:决定需要关注输入的哪部分以及分配有限的信息处理资源给重要的部分。
下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本申请的实施例进行描述。
本申请实施例所提供的图像处理方法,可以适用于任何需要进行图像加解密处理的应用场景中,尤其是对安全性要求很高的应用场景。相比于现有的加密方式,基于本申请实施例所提供的方法,可以有效提升图像的安全性。
比如,本申请实施例所提供的方法可以适用于人脸支付场景中,待处理图像可以是具有人脸支付功能的终端设备所采集的人脸图像,此时人脸支付场景所适用的一种系统架构图可以如图1a所示,具体可以包括具有人脸支付功能的终端设备10和支付服务器20。相应的,当进行人脸支付时,终端设备10可以采集如图1b所示的人脸图像,然后可以通过执行本申请实施例所提供的方法,对采集的人脸图像进行加密处理,并将加密结果通过网络12发送至支付服务器20,比如,该终端设备10可以将待支付订单信息和人脸图像的加密结果通过订单信息对应的应用服务器发送给支付服务器20,由支付服务器20基于接收到的加密结果验证人脸图像是否被篡改,并基于验证结果执行后续的支付流程。可选的,当支付服务器20基于接收到的加密结果验证人脸图像是否被篡改的期间,终端设备10可以显示“正在处理”的提示信息,具体可以如图1c所示。
图1d示出了本申请实施例中所提供的一种图像处理方法的流程示意图,该方法可以由任一电子设备,如上述应用场景中的终端设备。如图1d所示,该方法包括:
步骤S101,获取待处理图像,待处理图像为包含目标对象的图像。
其中,待处理图像的获取来源本申请实施例不做限定,如可以是通过图像采集设备实时采集到的包含目标对象的图像。对于不同的应用场景,目标对象的类型可以不同。可选的,该目标对象可以是人、人的指定身体部位,如人脸,还可以是动物或其他等,本申请实施例对此不做限定。
步骤S102,将待处理图像划分为至少两个子图像。
步骤S103,提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果,该分类结果表征了子图像中包括目标对象的概率。
步骤S104,将各子图像对应的分类结果作为安全因子,对安全因子和待处理图像进行加密,得到待处理图像的加密结果。
在实际应用中,对于包含目标对象的待处理图像,目标对象在该图像中所占的区域通常只是其中的部分区域,对于目标对象而言,包含目标对象的图像区域和不包含目标对象的图像区域,两者的重要程度显然是不同的。基于该考虑,本申请所提供的方法,在对待处理图像进行处理时,首先对待处理图像进行了图像划分,将待处理图像划分为了至少两个子图像,并对每个子图像分别进行处理。其中,划分待处理图像的具体方式本申请实施例不限定,例如,可以按照设定尺寸,将待处理图像划分为若干个尺寸为设定尺寸的子图像,可选的,可以按照设定分辨率大小(如P1×P2,其中,P1表示水平方向上的像素点数量,P2表示纵向方向上的像素点数量)将待处理图像进行分块,得到各子图像。其中,在划分时,横向或纵向上相邻的子图像之间可以是具有部分重叠区域的,也可以是没有重叠的。
可选的,在将待处理图像划分为至少两个子图像之前,还可以对待处理进行预处理,之后再对预处理后的图像进行划分。其中,预处理如可以包括但不限于对待处理图像进行噪声抑制处理,比如可以对待处理图像进行中值滤波处理。
在得到划分后的若干个子图像之后,可以采用分类的方式确定出每个子图像的重要性,即每个子图像中是否包含目标对象。需要说明的是,子图像中包含目标对象指的是子图像中至少包含目标对象的部分组成部分。具体的,对于每个子图像,可以分别提取每个子图像的图像特征,并基于每个子图像的图像特征对各子图像分类判断(如可以通过图像分类模型),确定出每个子图像各自对应的分类结果,一个子图像对应的分类结果即表征了该子图像中包括目标对象的概率,也就是子图像中包含目标对象的可能性。
在得到各子图像对应的分类结果后,可以将各子图像对应的分类结果作为安全因子与待处理图像一并进行加密,得到该待处理图像的加密结果。可以理解的是,该安全因子是用于判断待处理图像是否被篡改的安全因子,后续在判断待处理图像是否被篡改时,可以首先对加密结果进行解密,得到其中所包含的图像和安全因子,并可以采用上述步骤S102和步骤S103的方式对解密得到的图像进行处理,得到该图像的各子图像对应的分类结果,基于该分类结果和解密得到的安全因子判断解密得到的图像是否为上述原来的待处理图像。
在本申请实施例中,在获取到待处理图像后,可以将待处理图像划分为至少两个子图像,并确定每个子图像各自对应的分类结果,然后将各子图像对应的分类结果作为安全因子与待处理图像进行一并加密,得到待处理图像的加密结果,此时所得到的加密结果更加复杂,增加了加密结果的破解难度,从而可以有效的防止了加密结果在传输中被破解篡改,进一步的提升了数据的安全性。
在本申请可选的实施例中,将各子图像对应的分类结果作为安全因子,对安全因子和待处理图像进行加密,包括:
将各子图像对应的分类结果按照设定顺序进行拼接,得到拼接后的分类结果;
将拼接后的分类结果作为安全因子,对安全因子和待处理图像进行加密。
可选的,待处理图像被划分为了各子图像,此时每个子图像会存在对应的分类结果,此时可以将各子图像对应的分类结果按照设定顺序进行拼接,并将拼接后的分类结果作为安全因子与待处理图像一并进行加密。例如,假设一待处理图像被依次划分为了3个子图像(即子图像1、子图像2和子图像3),则在得到3个子图像各自对应的分类结果后,可以将子图像1对应的分类结果、子图像2对应的分类结果和子图像3对应的分类结果进行拼接,将拼接后的分类结果作为安全因子,然后对安全因子和待处理图像进行加密。
可选的,为了进一步的增加加密结果的复杂性,进一步提升加密数据的安全性,在对待处理图像进行加密时,还可以获取待处理图像对应的其它信息,如可以获取该待处理图像对应的魔法数字(magic_num,如可以为0x5f3759df)、签名信息(sign_version)、计数器数值(counter,如为2)、随机生成该待处理图像对应的随机数(random,如可以为1)、表征当前时间的时间戳(timestamp)、以及获取待处理图像的设备信息(device_info,如人脸采集设备的设备标识),然后将获取到的待处理图像对应的其它信息、各子图像对应的分类结果得到的安全因子(可称之为注意力学习安全因子)以及待处理图像(即payload)进行加密,得到待处理图像的加密结果。例如,可以采用下列格式进行图像加密:
{magic_num}{device_info}{sign_version}{timestamp}{counter}{rando m}{注意力学习安全因子}{payload}
在本申请可选的实施例中,提取每个子图像的图像特征,包括:
获取每个子图像的初始特征,初始特征包括子图像所包含的至少两个图像块的第一特征;
对于每个子图像,基于子图像的至少两个图像块的第一特征之间的关联性,确定至少两个图像块中每个图像块的权重,并基于子图像的各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,基于子图像的各图像块的第二特征,得到子图像的图像特征。
其中,每个子图像中各图像块对于确定最终分类结果所起到的重要性是不同的,为了合理利用有限的视觉信息处理资源,可以选择子图像中各图像块中属于视觉区域中的特定部分,然后集中关注它并赋予相应的权重,然后基于子图像的各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征,相应的,在确定子图像的分类结果时,基于第二特征得到的图像特征可以更好的聚焦在相应的图像特征片段,提升分类结果的预测结果。
可选的,每个子图像包含有至少两个图像块,而在提取一个子图像的图像特征时,可以先提取该子图像包含的每个图像块的第一特征作为该子图像的初始特征;进一步的,可以确定该子图像的各图像块的第一特征之间的关联性,然后基于各图像块的第一特征之间的关联性,确定该子图像中的各图像块的权重(即每个图像块在确定该子图像对应的分类结果时的重要性);相应的,可以将基于各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征,然后基于该子图像包含的各图像块的第二特征,得到该子图像的图像特征。
在本申请可选的实施例中,获取每个子图像的初始特征,包括:
对于每个子图像,确定子图像所包含的至少两个图像块的特征描述子,每个图像块的第一特征包括图像块的特征描述子。
可选的,在提取每个子图像的初始特征时,可以确定该子图像中的每个图像块的特征描述子(即方向梯度直方图(Histogram Of Gradient)特征)作为每个图像块的第一特征。其中,确定每个图像块的方向梯度直方图特征可以通过下列公式来确定:
Figure BDA0003069998690000141
Figure BDA0003069998690000142
其中,Ix和Iy代表像素点在水平和垂直方向上的梯度值,M(x,y)代表图像块梯度的幅度值,θ(x,y)代表图像块梯度的方向。
在本申请可选的实施例中,对于每个子图像,基于子图像的各图像块的第二特征,得到子图像的图像特征,包括:
通过包含至少两个级联的特征提取层的特征提取模块执行以下操作,得到子图像的图像特征:
基于子图像的各图像块的第二特征,通过特征提取模块的第一个特征提取层提取子图像的第三特征;
对于除第一个特征提取层之外的每个特征提取层,基于第一个特征提取层的输入特征和该特征提取层之前的各特征提取层的输出特征,提取得到子图像的第四特征;
将最后一个特征提取层的输出特征作为子图像的图像特征。
可选的,在得到子图像的各图像块的第二特征后,可以对各图像块的第二特征进行进一步的特征提取,以提取得到更深度的、具有更好表达能力的子图像的图像特征。例如,可以通过包含至少两个级联的特征提取层的特征提取模块对各图像块的第二特征进行进一步的特征提取,此时对于除第一个特征提取层之外的特征提取层,可以基于第一个特征提取层的输入特征和该特征提取层之前的各特征提取层的输出特征,提取得到子图像的第四特征,然后将最后一个特征提取层的输出特征作为子图像的图像特征。在一示例中,假设特征提取模块包含三个级联的特征提取层,此时可以将子图像的各图像块的第二特征输入至特征提取模块的第一个特征提取层,得到该子图像的第三特征(即第一个特征提取层的输出特征),然后将子图像的第三特征输入至第二个特征提取层,得到第二个特征提取层的输出特征(即该子图像的第四特征),此时可以将该子图像的第三特征和第四特征进行拼接,并将拼接后的特征输入至第三个特征提取层,此时第三个特征提取层的输出特征即为该子图像的图像特征。
在本申请可选的实施例中,提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果是通过神经网络模型实现的,神经网络模型是通过以下方式训练得到的:
获取带有标注结果的各样本图像,对于一个样本图像,
标注结果表征了样本图像的真实分类结果;
基于各训练样本图像对初始神经网络模型进行训练,直至模型对应的损失函数的值满足训练结束条件,得到神经网络模型;
其中,神经网络模型的输入为各样本图像,输出为各样本图像对应的预测分类结果,对于一个样本图像,预测分类结果表征了样本图像中包含样本对象的概率,损失函数的值表征了各样本图像的标注分类结果与预测分类结果之间的差异。
可选的,在本申请实施例中,可以通过神经网络模型来实现提取每个子图像的图像特征,以及基于每个子图像的图像特征,确定每个子图像各自对应的分类结果。其中,该神经网络模型可以通过下列方式训练得到。
首先,可以获取带有标注结果的各样本图像,一个样本图像的标注结果表征了样本图像的真实分类结果,即该样本图像中包含样本对象或者不包含样本对象。其中,当一个样本图像包含样本对象时,该样本图像即可视为正训练样本,而当一个样本图像不包含样本对象时,该样本图像即可视为负训练样本。其中,为了提升模型训练的准确性,在获取到各样本图像时,还可以对获取到的各样本图像进行过滤重复值(即过滤掉重复的图像)、过滤缺失值(如过滤掉图像参数不满足要求的图像)、过滤异常值(如过滤掉过度曝光的图像)等处理,并基于处理后的各样本图像进行模型训练。
可选的,在获取样本图像时,可以将获取到的初始图像划分为多个子图,并将每个子图作为一个样本图像,从而增加样本的多样性;而在确定每个子图的标注结果时,若该子图包含了样本对象的部分(如仅包括样本对象的鼻子部分),则可视为该子图包含了样本对象。
相应的,可以将各样本图像输入初始神经网络模型,得到各样本图像的对应的预测结果,该预测结果表征了样本图像中包含样本对象的概率,然后基于各样本图像的对应的预测分类结果,确定初始神经网络模型对应的损失函数的值,若损失函数的值不满足训练结束条件,则调整初始神经网络模型的网络参数(如假设初始神经网络模型是选择TensorFlow(一种基于数据流编程的符号数学系统)框架作为训练框架,此时可以对预先设置好的网络参数,如batch(批处理数据)为128,epoch(训练代数,采用全部训练集中的全部数据对模型进行了一次训练,称为一代训练进行)为1000,learning rate(学习率)为0.0001进行调整),得到调整后的神经网络模型,并再次将各样本图像输入至调整后的神经网络模型,得到各样本图像对应的预测分类结果,然后基于各样本图像对应的预测分类结果,确定初始神经网络模型对应的损失函数的值,直至对应的损失函数的值满足训练结束条件,得到神经网络模型。其中,损失函数的值表征了各样本图像的标注结果与预测分类结果之间的差异,训练结束条件可以根据实际需求设置,如可以设置为损失函数的值小于预设值等。
在本申请可选的实施例中,神经网络模型包括依次级联的注意力模块、特征提取模块和分类模块,提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果,包括:
对于每个子图像,提取子图像的初始特征,初始特征包括子图像所包含至少两个图像块的第一特征;
对于每个子图像,基于子图像的初始特征,通过注意力模块,确定子图像的各图像块的权重,并基于各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,通过特征提取模块对子图像的各图像块的第二特征进行特征提取,得到子图像的图像特征,基于子图像的图像特征,通过分类模块,确定子图像对应的分类结果。
可选的,用于确定子图像对应的分类结果的神经网络模型可以包括依次级联的注意力模块、特征提取模块和分类模块,相应的,在确定每个子图像各自对应的分类结果时,对于一个子图像,可以先提取该子图像的初始特征并输入至注意力模块得到该子图中各图像块的权重,然后可以基于该子图像的各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征并输入至特征提取模块进行进一步的特征提取,从而得到该子图像的图像特征,然后将该子图像的图像特征输入至分类模块,得到该子图像对应的分类结果。可选的,神经网络模型的注意力模块、特征提取模块和分类模块的具体网络结构可以实际需求配置,本申请实施例不进行限定,如特征提取模块可以为包括含有残差网络结构以及含有BatchNormalization(批标准化)的网络模型,如可以是desnnet(稠密连接)网络模型,分类模块可以为二分类的网络模型等。
在本申请可选的实施例中,该方法还包括:
将加密结果发送至待处理图像对应的接收端,以使接收端通过执行以下操作确定待处理图像是否被篡改:
对加密结果进行解密,得到待验证图像和安全因子;
将待验证图像划分为至少两个子图像;
提取待验证图像的各子图像的图像特征,并基于待验证图像的每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果;
基于待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定待处理图像是否被篡改。
可选的,在得到待处理图像的加密结果后,可以将加密结果发送至待处理图像对应的接收端,接收端在接收到加密结果后可以验证待处理图像是否被篡改。如接收端可以对加密结果进行解密,得到待验证图像(即待处理图像)和安全因子,然后将待验证图像划分为至少两个子图像,其中,划分待验证图像得到的各子图像的格式与解密得到的待验证图像包括的各子图像的格式是一一对应的,例如,解密得到的待验证图像包括的各子图像是按照预设分辨率划分的,则在对待验证图像进行划分得到各子图像时也应是按照预设分辨率进行划分。
进一步的,可以提取待验证图像的各子图像的图像特征,然后基于待验证图像的每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果,并基于待验证图像的每个子图像各自对应的分类结果与解密得到的安全因子进行验证以确定待验证图像是否被篡改。
其中,解密得到的安全因子是基于待处理图像包含的各子图像对应的分类结果按照设定顺序依次拼接得到的,此时在确定待验证图像是否被篡改时,可以按照设定顺序将待验证图像包括的子图像所对应的分类结果与待处理图像中对应的子图像所对应的分类结果进行一一验证,若待验证图像的子图像的分类结果与待处理图像中对应的子图像所对应的分类结果相同,则可以确定待验证图像未被篡改,反之,若待验证图像包括的任一个子图像对应的分类结果与待处理图像中对应的子图像所对应的分类结果不相同,则可以确定待验证图像已被篡改。
例如,假设解密得到的安全因子是基于待处理图像包含的3个子图像(即子图像1、子图像2和子图像3)对应的分类结果,并按照子图像1对应的分类结果、子图像2对应的分类结果和子图像3对应的分类结果依次拼接得到的,此时待验证图像也按照同样的划分方式被划分为3个子图像(子图像1’、子图像2’和子图像3’),其中,子图像1’对应于子图像1,子图像2’对应于子图像2,子图像3’对应于子图像3;相应的,在确定该待验证图像是否被篡改时,可以确定子图像1对应的分类结果与子图像1’对应的分类结果是否相同、子图像2对应的分类结果与子图像2’对应的分类结果是否相同、以及子图像3对应的分类结果与子图像3’对应的分类结果是否相同,若每个子图像的比对结果均相同,则可以确定该待验证图像未被篡改若,反之,若任意一个子图像对应的分类结果对比结果不相同,则可以确定该待验证图像已被篡改。
可选的,若对加密结果进行解密还得到了待处理图像对应的其它信息,如随机数、计数器数值、魔法数字、时间戳、设备信息和签名信息等,此时也需要对随机数、计数器数值、魔法数字、时间戳、设备信息和签名信息等进行验证。如可以获取该待验证图像的随机数、计数器数值、魔法数字、设备信息和签名信息,并将获取到的随机数、计数器数值、魔法数字、设备信息和签名信息分别与解密得到的随机数、计数器数值、魔法数字、设备信息和签名信息一一进行比对,以及获取传输加密结果的时长和当前时间计算出发送加密结果的时间,若获取到的随机数、计数器数值、魔法数字、设备信息和签名信息与解密得到的随机数、计数器数值、魔法数字、设备信息和签名信息均相同、计算得到的发送加密结果的时间与解密得到的时间戳所表征的时间相同,且待验证图像的每个子图像对应的分类结果与解密得到的安全因子相同,则可以确定待验证图像未被篡改,反之,若获取到的随机数、计数器数值、魔法数字、设备信息和签名信息与解密得到的随机数、计数器数值、魔法数字、设备信息和签名信息中任一项不相同、或计算得到的发送加密结果的时间与解密得到的时间戳所表征的时间不相同,或待验证图像的任一个子图像对应的分类结果与解密得到的安全因子不相同,则可以确定待验证图像被篡改。
图2示出了本申请实施例中所提供的一种图像处理方法的流程示意图,该方法可以由图像的接收端执行,该接收端可以为任一电子设备,如可以为前文所描述的应用场景中的支付服务器等,本申请实施例不限定。如图2所示,该方法可以包括:
步骤S201,获取待处理图像的加密结果,待处理图像为包含目标对象的图像,加密结果是采用前文中所提供的图像处理方法对待处理图像进行处理得到的。
步骤S202,对加密结果进行解密,得到待验证图像和安全因子。
可选的,在图像加密端得到待处理图像的加密结果后,可以将加密结果发送至待处理图像对应的接收端,接收端在接收到加密结果后可以对加密结果进行解密,得到待验证图像和安全因子,以验证图像加密端所发送的待处理图像是否被篡改。
步骤S203,将待验证图像划分为至少两个子图像。
可选的,接收端可以将待验证图像划分为至少两个子图像,其中,划分待验证图像得到各子图像的格式与解密得到的待验证图像包括的各子图像的格式是一一对应的。
步骤S204,提取待验证图像的各子图像的图像特征,并基于待验证图像的每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果。
步骤S205,基于待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定待处理图像是否被篡改。
进一步的,接收端可以提取待验证图像的各子图像的图像特征,然后基于待验证图像的每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果,并基于待验证图像的每个子图像各自对应的分类结果与解密得到的安全因子进行验证,以确定待处理图像是否被篡改。
其中,在基于待验证图像的每个子图像各自对应的分类结果与解密得到的安全因子进行验证,以确定待处理图像是否被篡改时,若待验证图像的每个子图像对应的分类结果与解密得到的安全因子相同,则确定待处理图像未被篡改;反之,若待验证图像的每个子图像对应的分类结果与解密得到的安全因子不同,则确定待处理图像被篡改。
可选的,在确定待处理图像是否被篡改时,可以按照设定顺序将待验证图像包括的每个子图像对应的分类结果与待处理图像中对应的子图像所对应的分类结果进行一一验证,若待验证图像包括每个子图像对应的分类结果与待处理图像中对应的子图像所对应的分类结果相同,则可以确定待处理图像未被篡改,反之,若待验证图像包括的任一个子图像对应的分类结果与待处理图像中对应的子图像所对应的分类结果不相同,则可以确定待处理图像已被篡改。
可选的,若对加密结果进行解密还得到了待处理图像对应的其它信息,如随机数、计数器数值、魔法数字、时间戳、设备信息和签名信息等,此时也需要对随机数、计数器数值、魔法数字、时间戳、设备信息和签名信息等进行验证。如可以获取该待验证图像的随机数、计数器数值、魔法数字、设备信息和签名信息,并将获取到的随机数、计数器数值、魔法数字、设备信息和签名信息分别与解密得到的随机数、计数器数值、魔法数字、设备信息和签名信息一一进行比对,以及获取传输加密结果的时长和当前时间计算出发送加密结果的时间,若获取到的随机数、计数器数值、魔法数字、设备信息和签名信息与解密得到的随机数、计数器数值、魔法数字、设备信息和签名信息均相同、计算得到的发送加密结果的时间与解密得到的时间戳所表征的时间相同,且待验证图像的每个子图像对应的分类结果与解密得到的安全因子相同,则可以确定待处理图像未被篡改,反之,若获取到的随机数、计数器数值、魔法数字、设备信息和签名信息与解密得到的随机数、计数器数值、魔法数字、设备信息和签名信息中任一项不相同、或计算得到的发送加密结果的时间与解密得到的时间戳所表征的时间不相同,或待验证图像的任一个子图像对应的分类结果与解密得到的安全因子不相同,则可以确定待处理图像被篡改。
在本申请实施例中,在获取到待处理图像的加密结果后,可以对加密结果进行解密得到待验证图像和安全因子,然后待验证图像的每个子图像各自对应的分类结果得到与解密得到的安全因子验证待处理图像是否被篡改,由于在验证待处理图像是否被篡改时需要确定每个子图像的分类结果,增加了加密结果的破解难度,从而可以有效的防止了加密结果在传输中被破解篡改,进一步的提升了数据的安全性。
在本申请可选的实施例中,提取待验证图像的各子图像的图像特征,包括:
获取每个子图像的初始特征,初始特征包括子图像所包含的至少两个图像块的第一特征;
对于每个子图像,基于子图像的至少两个图像块的第一特征之间的关联性,确定至少两个图像块中每个图像块的权重,并基于子图像的各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,基于子图像的各图像块的第二特征,得到子图像的图像特征。
可选的,每个子图像包含有至少两个图像块,而在提取待验证图像的一个子图像的图像特征时,可以先提取该子图像包含的每个图像块的第一特征作为该子图像的初始特征;进一步的,可以确定该子图像的至少两个图像块的第一特征之间的关联性,然后基于各图像块的第一特征之间的关联性,确定该子图像中每个图像块的权重(即每个图像块在确定该子图像对应的分类结果时的重要性);相应的,可以基于各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征,然后基于该子图像包含的各图像块的第二特征,得到该子图像的图像特征。
在本申请可选的实施例中,获取待验证图像的各子图像的图像特征,包括:
对于每个子图像,确定子图像所包含的至少两个图像块的特征描述子,将每个图像块的特征描述子作为图像块的第一特征。
可选的,在获取待验证图像的每个子图像的初始特征时,可以确定该子图像中的每个图像块的特征描述子作为每个图像块的第一特征。其中,确定每个图像块的特征描述子可以通过前文中的公式来确定,在此就不再赘述。
在本申请可选的实施例中,对于每个子图像,基于子图像的各图像块的第二特征,得到子图像的图像特征,包括:
通过包含至少两个级联的特征提取层的特征提取模块执行以下操作,得到子图像的图像特征:
基于子图像的各图像块的第二特征,通过特征提取模块的第一个特征提取层提取子图像的第三特征;
对于除第一个特征提取层之外的每个特征提取层,基于第一个特征提取层的输入特征和该特征提取层之前的各特征提取层的输出特征,提取得到子图像的第四特征;
将最后一个特征提取层的输出特征作为子图像的图像特征。
可选的,在得到子图像的各图像块的第二特征后,可以对各图像块的第二特征进行进一步的特征提取,得到子图像的图像特征。例如,可以通过包含至少两个级联的特征提取层的特征提取模块对各图像块的第二特征进行进一步的特征提取,此时对于除第一个特征提取层之外的每个特征提取层,基于第一个特征提取层的输入特征和该特征提取层之前的各特征提取层的输出特征,提取得到子图像的第四特征,然后将最后一个特征提取层的输出特征作为子图像的图像特征。
在本申请可选的实施例中,提取待验证图像的各子图像的图像特征,并基于每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果是通过神经网络模型实现的,神经网络模型是通过以下方式训练得到的:
获取带有标注结果的各样本图像,对于一个样本图像,标注结果表征了样本图像中包含样本对象或者不包含样本对象,标注结果表征了样本图像的真实分类结果;
基于各训练样本图像对初始神经网络模型进行训练,直至模型对应的损失函数的值满足训练结束条件,得到神经网络模型;
其中,神经网络模型的输入为各样本图像,输出为各样本图像对应的预测分类结果,对于一个样本图像,预测分类结果表征了样本图像中包含样本对象的概率,损失函数的值表征了各样本图像的标注分类结果与预测分类结果之间的差异。
可选的,在本申请实施例中,可以通过神经网络模型来实现提取待验证图像的每个子图像的图像特征,以及基于每个子图像的图像特征,确定每个子图像各自对应的分类结果。其中,关于该神经网络模型的训练方式可参见前文描述,在此就不再赘述。
在本申请可选的实施例中,神经网络模型包括依次级联的注意力模块、特征提取模块和分类模块,提取待验证图像的各子图像的图像特征,并基于每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果,包括:
对于每个子图像,提取子图像的初始特征,初始特征包括子图像所包含至少两个图像块的第一特征;
对于每个子图像,基于子图像的初始特征,通过注意力模块,确定子图像的各图像块的权重,并基于各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,通过特征提取模块对子图像的各图像块的第二特征进行特征提取,得到子图像的图像特征,基于子图像的图像特征,通过分类模块,确定子图像对应的分类结果。
可选的,该神经网络模型可以包括依次级联的注意力模块、特征提取模块和分类模块,相应的,在确定待验证图像的每个子图像各自对应的分类结果时,对于一个子图像,可以先提取该子图像的初始特征并输入至注意力模块得到该子图像中各图像块的权重,然后可以基于该子图像的各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征并输入至特征提取模块进行进一步的特征提取,从而得到该子图像的图像特征,然后将该子图像的图像特征输入至分类模块,得到该子图像对应的分类结果。
在本申请可选的实施例中,目标对象为人脸,待处理图像为待支付订单所对应的人脸图像,该方法还包括:
若待处理图像未被篡改,则对待支付订单进行处理;
若待处理图像被篡改,则向加密结果的发送端发送相应的提示信息,以通过该发送端展示提示信息。
可选的,当待处理图像内包含的目标对象为人脸时,此时该待处理图像可以为待支付订单所对应的人脸图像,相应的,当得到该待处理图像的加密结果并发送至对应的接收端(如支付服务器)后,若接收端确定该待处理图像未被篡改,则对该待支付订单进行处理,如允许待处理图像中包含的人脸所对应的账户进行订单支付;反之,若确定待处理图像被篡改,则向加密结果的发送端(如支付终端设备)发送相应的提示信息,以通过发送端展示该提示信息,如展示当前采集的人脸图像存在安全隐患,请进一步验证的提示信息。
可选的,为了更好地理解本申请实施例所提供的方法,下面结合人脸支付的应用场景对本申请实施例所提供的方法进行详细说明。在本示例中,待处理图像可以为人脸支付设备采集到的人脸图像。进一步的,对于采集到的人脸图像可以获取人脸图像中的Pitch值(即最大的像素值),然后通过中值滤波处理,得到处理后的人脸图像,并可以按照预设的分辨率将处理后的人脸图像划分为若干个子图像。相应的,对于每个子图像,可以提取每个子图像包含的各图像块的方向梯度直方图特征(即第一特征)作为每个子图像的初始特征,然后通过如图3所示的神经网络模型,确定每个子图像各自对应的分类结果。
可选的,如图3所示,该神经网络模型包括依次级联的注意力模块、特征提取模块和分类模块。其中,注意力模块包括用于得到输入特征的查询向量和键向量的两个特征层;特征提取模块为稠密连接网络模型(desnnet网络模型),在本示例中该稠密连接网络包括3个稠密模块(dense block)和2个过渡模块(transition block)。其中,每个过渡模块由一个卷积层(convolution)一个池化层(poolling)组成,每个稠密模块内包括n个稠密连接层(即dense layer,图中以3个稠密连接层为例说明,每个圆圈代表一个稠密连接层),第一个稠密连接层的输入特征为所属的稠密模块的输入特征,除第一个稠密连接层之外的稠密连接层的输入特征为该稠密连接层之前的各稠密连接层的输出特征的拼接特征;而分类模块由依次级联的池化层(poolling)、线性层(liner)和预测层(prediction)组成,此时输入至分类模块的输入特征(即图像特征)经由池化层和线性层可以输出softmax的score(分数),然后经过预测层进行softmax分类得到最终的分类结果。
进一步的,对于每个子图像,可以将该子图像包含的各图像块的第一特征分别输入至注意力模块中的两个特征提取层,得到各图像块的查询向量和键向量,并基于每个图像块的查询向量和键向量之间的相似度,确定该子图像中各图像块的权重,然后可以基于该子图像的各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征并输入至特征提取模块,该特征提取模块可以对输入的第二特征进行进一步的特征提取,得到该子图像的图像特征并输入至分类模块,分类模块则可以根据该子图像的图像特征进行分类,得到该子图像的分类结果。同理,对于人脸图像中的其它子图像,可以基于同样的方式得到各自对应的分类结果,具体过程可见前文描述,在此就不再赘述。
进一步的,可以将该人脸图像划分得到的各子图像的分类结果按照设定顺序依次进行拼接,并将拼接后的分类结果作为安全因子和该人脸图像基于预设的加密格式进行加密,得到该人脸图像的加密结果。
其中,在得到该人脸图像的加密结果时,还可以获取该人脸图像对应的其信息,如随机数、计数器、魔法数字、时间戳、设备信息和签名信息等,然后将随机数、计数器、魔法数字、时间戳、设备信息和签名信息以及拼接后的分类结果和该人脸图像共同作为安全因子,并基于预设的加密格式进行加密,得到的该人脸图像的加密结果。
进一步的,可以将人脸图像加密结果传输至接收端(如人脸支付对应的服务器),接收端可以基于预设的加密格式对到的接收人脸图像的加密结果进行解密,得到待验证人脸图像和基于人脸图像包括的各子图像的分类结果拼接得到的安全因子,并对待验证人脸图像进行图像划分,得到各子图像。其中,划分待验证人脸图像得到各子图像的格式与解密得到的人脸图像包括的各子图像的格式是一一对应的,例如,解密得到的人脸图像包括的各子图像是对人脸图像是按照预设分辨率划分的,则在对待验证人脸图像进行划分得到各子图像时也是按照预设分辨率进行划分。
进一步的,对于划分得到的每个子图像,可以提取每个子图像的初始图像特征,然后可以将每个子图像的初始图像特征别输入至包括依次级联的注意力模块、特征提取模块和分类模块的神经网络模型,得到每个子图像的分类结果;相应的,可以按照设定顺序将待验证图像包括的子图像的对应的分类结果与解密得到的各子图像所对应的分类结果进行一一验证,若待验证图像包括的每个子图像对应的分类结果与所对应的解密得到的子图像的分类结果均相同,则可以确定待验证人脸图像未被篡改,此时可以允许基于该人脸图像对应的支付账号进行支付,反之,若待验证人脸图像包括的任一个子图像的对应的分类结果与所对应的解密得到的子图像的分类结果不相同,则可以确定待验证人脸图像已被篡改,此时可以视为校验失败,则可以向包含人脸支付设备的终端设备发送相应的提示信息,如展示当前采集的人脸图像存在安全隐患,请进一步验证的提示信息。
可选的,若对加密结果进行解密还得到了其它信息,如随机数、计数器数值、魔法数字、时间戳、设备信息和签名信息等,此时也需要对随机数、计数器数值、魔法数字、时间戳、设备信息和签名信息等进行验证。如可以获取该待验证人脸图像的随机数、计数器数值、魔法数字、设备信息和签名信息,并将获取到的随机数、计数器数值、魔法数字、设备信息和签名信息分别与解密得到的随机数、计数器数值、魔法数字、设备信息和签名信息一一进行比对,以及获取传输加密结果的时长和当前时间计算出发送加密结果的时间,若获取到的随机数、计数器数值、魔法数字、设备信息和签名信息与解密得到的随机数、计数器数值、魔法数字、设备信息和签名信息均相同、计算得到的发送加密结果的时间与解密得到的时间戳所表征的时间相同,且待验证人脸图像的每个子图像对应的分类结果与所对应的解密得到的子图像的分类结果均相同,则确定待验证人脸图像未被篡改。反之,若获取到的随机数、计数器数值、魔法数字、设备信息和签名信息与解密得到的随机数、计数器数值、魔法数字、设备信息和签名信息中任一项不相同、或计算得到的发送加密结果的时间与解密得到的时间戳所表征的时间不相同,或待验证人脸图像的任一个子图像对应的分类结果与解密得到的安全因子不相同,则可以确定待验证人脸图像被篡改。相应的,当确定待验证人脸图像未被篡改,此时可以允许基于该人脸图像对应的支付账号进行支付,反之,若确定待验证人脸图像已被篡改,此时可以视为校验失败,则可以向包含人脸支付设备的终端设备发送相应的提示信息,如展示当前采集的人脸图像存在安全隐患,请进一步验证的提示信息。
本申请实施例提供了一种图像处理装置,如图4所示,该图像处理装置60可以包括:图像获取模块601、图像划分模块602、分类结果确定模块603以及图像加密模块604,其中,
图像获取模块601,用于获取待处理图像,待处理图像为包含目标对象的图像;
图像划分模块602,用于将待处理图像划分为至少两个子图像;
分类结果确定模块603,用于提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果,分类结果表征了子图像中包括目标对象的概率;
图像加密模块604,用于将各子图像对应的分类结果作为安全因子,对安全因子和待处理图像进行加密,得到待处理图像的加密结果。
可选的,分类结果确定模块在提取每个子图像的图像特征时,具体用于:
获取每个子图像的初始特征,初始特征包括子图像所包含的至少两个图像块的第一特征;
对于每个子图像,基于子图像的至少两个图像块的第一特征之间的关联性,确定至少两个图像块中每个图像块的权重,并基于子图像的各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,基于子图像的各图像块的第二特征,得到子图像的图像特征。
可选的,对于每个子图像,分类结果确定模块在基于子图像的各图像块的第二特征,得到子图像的图像特征时,具体用于:
通过包含至少两个级联的特征提取层的特征提取模块执行以下操作,得到子图像的图像特征:
基于子图像的各图像块的第二特征,通过特征提取模块的第一个特征提取层提取子图像的第三特征;
对于除第一个特征提取层之外的每个特征提取层,基于第一个特征提取层的输入特征和该特征提取层之前的各特征提取层的输出特征,提取得到子图像的第四特征;
将最后一个特征提取层的输出特征作为子图像的图像特征。
可选的,在分类结果确定模块获取每个子图像的初始特征时,具体用于:
对于每个子图像,确定子图像所包含的至少两个图像块的特征描述子,将每个图像块的特征描述子作为图像块的第一特征。
可选的,哎分类结果确定模块提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果时,是通过神经网络模型实现的,神经网络模型是通过以下方式训练得到的:
获取带有标注结果的各样本图像,对于一个样本图像,标注结果表征了样本图像中包含样本对象或者不包含样本对象,标注结果表征了样本图像的真实分类结果;
基于各训练样本图像对初始神经网络模型进行训练,直至模型对应的损失函数的值满足训练结束条件,得到神经网络模型;
其中,神经网络模型的输入为各样本图像,输出为各样本图像对应的预测分类结果,对于一个样本图像,预测分类结果表征了样本图像中包含样本对象的概率,损失函数的值表征了各样本图像的标注分类结果与预测分类结果之间的差异。
可选的,神经网络模型包括依次级联的注意力模块、特征提取模块和分类模块,分类结果确定模块在提取每个子图像的图像特征,并基于每个子图像的图像特征,确定每个子图像各自对应的分类结果时,具体用于:
对于每个子图像,提取子图像的初始特征,初始特征包括子图像所包含至少两个图像块的第一特征;
对于每个子图像,基于子图像的初始特征,通过注意力模块,确定子图像的各图像块的权重,并基于各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,通过特征提取模块对子图像的各图像块的第二特征进行特征提取,得到子图像的图像特征,基于子图像的图像特征,通过分类模块,确定子图像对应的分类结果。
可选的,图像加密模块在将各子图像对应的分类结果作为安全因子,对安全因子和待处理图像进行加密时,具体用于:
将各子图像对应的分类结果按照设定顺序进行拼接,得到拼接后的分类结果;
将拼接后的分类结果作为安全因子,对安全因子和待处理图像进行加密。
可选的,该装置还包括结果发送模块,用于:
将加密结果发送至待处理图像对应的接收端,以使接收端通过执行以下操作确定待处理图像是否被篡改:
对加密结果进行解密,得到待验证图像和安全因子;
将待验证图像划分为至少两个子图像;
提取待验证图像的各子图像的图像特征,并基于待验证图像的每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果;
基于待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定待处理图像是否被篡改。
本申请实施例提供了一种图像处理装置,如图5所示,该图像处理装置70可以包括:加密结果获取模块701、解密模块702、图像划分模块703、分类结果确定模块704以及验证模块705,其中,
加密结果获取模块701,用于获取待处理图像的加密结果,待处理图像为包含目标对象的图像,加密结果是采用前文中的图像处理方法对待处理图像进行处理得到的;
解密模块702,用于对加密结果进行解密,得到待验证图像和安全因子;
图像划分模块703,用于将待验证图像划分为至少两个子图像;
分类结果确定模块704,用于提取待验证图像的各子图像的图像特征,并基于待验证图像的每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果;
验证模块705,用于基于待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定待处理图像是否被篡改。
可选的,分类结果确定模块在提取待验证图像的各子图像的图像特征时,具体用于:
获取每个子图像的初始特征,初始特征包括子图像所包含的至少两个图像块的第一特征;
对于每个子图像,基于子图像的至少两个图像块的第一特征之间的关联性,确定至少两个图像块中每个图像块的权重,并基于子图像的各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,基于子图像的各图像块的第二特征,得到子图像的图像特征。
可选的,分类结果确定模块在获取待验证图像的各子图像的图像特征时,具体用于:
对于每个子图像,确定子图像所包含的至少两个图像块的特征描述子,将每个图像块的特征描述子作为图像块的第一特征。
在本申请可选的实施例中,对于每个子图像,分类结果确定模块在基于子图像的各图像块的第二特征,得到子图像的图像特征时,具体用于:
通过包含至少两个级联的特征提取层的特征提取模块执行以下操作,得到子图像的图像特征:
基于子图像的各图像块的第二特征,通过特征提取模块的第一个特征提取层提取子图像的第三特征;
对于除第一个特征提取层之外的每个特征提取层,基于第一个特征提取层的输入特征和该特征提取层之前的各特征提取层的输出特征,提取得到子图像的第四特征;
将最后一个特征提取层的输出特征作为子图像的图像特征。
在本申请可选的实施例中,分类结果确定模块在提取待验证图像的各子图像的图像特征,并基于每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果时是通过神经网络模型实现的,神经网络模型是通过以下方式训练得到的:
获取带有标注结果的各样本图像,对于一个样本图像,标注结果表征了样本图像中包含样本对象或者不包含样本对象,标注结果表征了样本图像的真实分类结果;
基于各训练样本图像对初始神经网络模型进行训练,直至模型对应的损失函数的值满足训练结束条件,得到神经网络模型;
其中,神经网络模型的输入为各样本图像,输出为各样本图像对应的预测分类结果,对于一个样本图像,预测分类结果表征了样本图像中包含样本对象的概率,损失函数的值表征了各样本图像的标注分类结果与预测分类结果之间的差异。
可选的,神经网络模型包括依次级联的注意力模块、特征提取模块和分类模块,分类结果确定模块在在提取待验证图像的各子图像的图像特征,并基于每个子图像的图像特征,确定待验证图像的每个子图像各自对应的分类结果时,具体用于:
对于每个子图像,提取子图像的初始特征,初始特征包括子图像所包含至少两个图像块的第一特征;
对于每个子图像,基于子图像的初始特征,通过注意力模块,确定子图像的各图像块的权重,并基于各图像块的权重对各图像块的第一特征进行加权,得到各图像块的第二特征;
对于每个子图像,通过特征提取模块对子图像的各图像块的第二特征进行特征提取,得到子图像的图像特征,基于子图像的图像特征,通过分类模块,确定子图像对应的分类结果。
可选的,目标对象为人脸,待处理图像为待支付订单所对应的人脸图像,该装置还包括订单处理模块,用于:
在待处理图像未被篡改时,对待支付订单进行处理;
在待处理图像被篡改时,则向加密结果的发送端发送相应的提示信息,以通过该发送端展示提示信息。
本申请实施例的图像处理装置可执行本申请实施例提供的一种图像处理方法,其实现原理相类似,此处不再赘述。
图像处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如图像处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。
在一些实施例中,本申请实施例提供的图像处理装置可以采用软硬件结合的方式实现,作为示例,本申请实施例提供的图像处理装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的图像去扰处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
在一些实施例中,本申请实施例提供的图像处理装置可以采用软件方式实现,图4示出了图像处理装置60,其可以是程序和插件等形式的软件,并包括一系列的模块,包括图像获取模块601、图像划分模块602、分类结果确定模块603以及图像加密模块604;其中,第图像获取模块601、图像划分模块602、分类结果确定模块603以及图像加密模块604用于实现本申请实施例提供的图像处理方法。
在另一些实施例中,本申请实施例提供的图像处理装置可以采用软件方式实现,图5示出了图像处理装置70,其可以是程序和插件等形式的软件,并包括一系列的模块,包括加密结果获取模块701、解密模块702、图像划分模块703、分类结果确定模块704以及验证模块705;其中,加密结果获取模块701、解密模块702、图像划分模块703、分类结果确定模块704以及验证模块705用于实现本申请实施例提供的图像处理方法。
本申请实施例提供了一种电子设备,如图6所示,图6所示的电子设备2000包括:处理器2001和存储器2003。其中,处理器2001和存储器2003相连,如通过总线2002相连。可选地,电子设备2000还可以包括收发器2004。需要说明的是,实际应用中收发器2004不限于一个,该电子设备2000的结构并不构成对本申请实施例的限定。
其中,处理器2001应用于本申请实施例中,用于实现图4和图5所示的各模块的功能。
处理器2001可以是CPU,通用处理器,DSP,ASIC,FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。处理器2001也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等。
总线2002可包括一通路,在上述组件之间传送信息。总线2002可以是PCI总线或EISA总线等。总线2002可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
存储器2003可以是ROM或可存储静态信息和计算机程序的其他类型的静态存储设备,RAM或者可存储信息和计算机程序的其他类型的动态存储设备,也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储或以数据结构形式的期望的计算机程序并能够由计算机存取的任何其他介质,但不限于此。
存储器2003用于存储执行本申请方案的应用程序的计算机程序,并由处理器2001来控制执行。处理器2001用于执行存储器2003中存储的应用程序的计算机程序,以实现图4和图5所示实施例提供的图像处理装置的动作。
本申请实施例提供了一种电子设备,包括处理器以及存储器:存储器被配置用于存储计算机程序,计算机程序在由所述处理器执行时,使得所述处理器上述实施例中的任一项方法。
本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在计算机上运行时,使得计算机可以执行上述实施例中的任一项方法。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的方法。
本申请中的一种计算机可读存储介质所涉及的名词及实现原理具体可以参照本申请实施例中的一种图像处理方法,在此不再赘述。
应该理解的是,虽然附图的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,其可以以其他的顺序执行。而且,附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,其执行顺序也不必然是依次进行,而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
以上所述仅是本申请的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。

Claims (14)

1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像,所述待处理图像为包含目标对象的图像;
将所述待处理图像划分为至少两个子图像;
提取每个所述子图像的图像特征,并基于每个所述子图像的图像特征,确定每个所述子图像各自对应的分类结果,所述分类结果表征了所述子图像中包括所述目标对象的概率;
将各所述子图像对应的分类结果作为安全因子,对所述安全因子和所述待处理图像进行加密,得到所述待处理图像的加密结果。
2.根据权利要求1所述的方法,其特征在于,所述提取每个所述子图像的图像特征,包括:
获取每个所述子图像的初始特征,所述初始特征包括所述子图像所包含的至少两个图像块的第一特征;
对于每个所述子图像,基于所述子图像的至少两个图像块的第一特征之间的关联性,确定所述至少两个图像块中每个所述图像块的权重,并基于所述子图像的各所述图像块的权重对各所述图像块的第一特征进行加权,得到各所述图像块的第二特征;
对于每个所述子图像,基于所述子图像的各所述图像块的第二特征,得到所述子图像的图像特征。
3.根据权利要求2所述的方法,其特征在于,对于每个所述子图像,所述基于所述子图像的各所述图像块的第二特征,得到所述子图像的图像特征,包括:
通过包含至少两个级联的特征提取层的特征提取模块执行以下操作,得到所述子图像的图像特征:
基于所述子图像的各所述图像块的第二特征,通过所述特征提取模块的第一个特征提取层提取所述子图像的第三特征;
对于除所述第一个特征提取层之外的每个特征提取层,基于所述第一个特征提取层的输入特征和该特征提取层之前的各特征提取层的输出特征,提取得到所述子图像的第四特征;
将最后一个特征提取层的输出特征作为所述子图像的图像特征。
4.根据权利要求2所述的方法,其特征在于,所述获取每个所述子图像的初始特征,包括:
对于每个所述子图像,确定所述子图像所包含的所述至少两个图像块的特征描述子,将每个所述图像块的特征描述子作为所述图像块的第一特征。
5.根据权利要求1所述的方法,其特征在于,所述提取每个所述子图像的图像特征,并基于每个所述子图像的图像特征,确定每个所述子图像各自对应的分类结果,是通过神经网络模型实现的,所述神经网络模型是通过以下方式训练得到的:
获取带有标注结果的各样本图像,对于一个所述样本图像,所述标注结果表征了所述样本图像中包含样本对象或者不包含样本对象,所述标注结果表征了样本图像的真实分类结果;
基于各所述训练样本图像对初始神经网络模型进行训练,直至模型对应的损失函数的值满足训练结束条件,得到所述神经网络模型;
其中,所述神经网络模型的输入为各所述样本图像,输出为各所述样本图像对应的预测分类结果,对于一个所述样本图像,所述预测分类结果表征了所述样本图像中包含样本对象的概率,所述损失函数的值表征了各所述样本图像的标注分类结果与预测分类结果之间的差异。
6.根据权利要求5所述的方法,其特征在于,所述神经网络模型包括依次级联的注意力模块、特征提取模块和分类模块,所述提取每个所述子图像的图像特征,并基于每个所述子图像的图像特征,确定每个所述子图像各自对应的分类结果,包括:
对于每个所述子图像,提取所述子图像的初始特征,所述初始特征包括所述子图像所包含至少两个图像块的第一特征;
对于每个所述子图像,基于所述子图像的初始特征,通过所述注意力模块,确定所述子图像的各图像块的权重,并基于各所述图像块的权重对各所述图像块的第一特征进行加权,得到各所述图像块的第二特征;
对于每个所述子图像,通过所述特征提取模块对所述子图像的各图像块的第二特征进行特征提取,得到所述子图像的图像特征,基于所述子图像的图像特征,通过所述分类模块,确定所述子图像对应的分类结果。
7.根据权利要求1所述的方法,其特征在于,所述将各所述子图像对应的分类结果作为安全因子,对所述安全因子和所述待处理图像进行加密,包括:
将各所述子图像对应的分类结果按照设定顺序进行拼接,得到拼接后的分类结果;
将所述拼接后的分类结果作为所述安全因子,对所述安全因子和所述待处理图像进行加密。
8.根据权利要求1至7中任一项所述的方法,其特征在于,所述方法还包括:
将所述加密结果发送至所述待处理图像对应的接收端,以使所述接收端通过执行以下操作确定所述待处理图像是否被篡改:
对所述加密结果进行解密,得到待验证图像和安全因子;
将所述待验证图像划分为至少两个子图像;
提取所述待验证图像的各子图像的图像特征,并基于所述待验证图像的每个子图像的图像特征,确定所述待验证图像的每个子图像各自对应的分类结果;
基于所述待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定所述待处理图像是否被篡改。
9.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像的加密结果,所述待处理图像为包含目标对象的图像,所述加密结果是采用权利要求1-7中任一项所述的方法对所述待处理图像进行处理得到的;
对所述加密结果进行解密,得到待验证图像和安全因子;
将所述待验证图像划分为至少两个子图像;
提取所述待验证图像的各子图像的图像特征,并基于所述待验证图像的每个子图像的图像特征,确定所述待验证图像的每个子图像各自对应的分类结果;
基于所述待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定所述待处理图像是否被篡改。
10.根据权利要求9所述的方法,其特征在于,所述目标对象为人脸,所述待处理图像为待支付订单所对应的人脸图像,所述方法还包括:
若所述待处理图像未被篡改,则对所述待支付订单进行处理;
若所述待处理图像被篡改,则向所述加密结果的发送端发送相应的提示信息,以通过该所述发送端展示所述提示信息。
11.一种图像处理装置,其特征在于,包括:
图像获取模块,用于获取待处理图像,所述待处理图像为包含目标对象的图像;
图像划分模块,用于将所述待处理图像划分为至少两个子图像;
分类结果确定模块,用于提取每个所述子图像的图像特征,并基于每个所述子图像的图像特征,确定每个所述子图像各自对应的分类结果,所述分类结果表征了所述子图像中包括所述目标对象的概率;
图像加密模块,用于将各所述子图像对应的分类结果作为安全因子,对所述安全因子和所述待处理图像进行加密,得到所述待处理图像的加密结果。
12.一种图像处理装置,其特征在于,包括:
加密结果获取模块,用于获取待处理图像的加密结果,所述待处理图像为包含目标对象的图像,所述加密结果是采用权利要求1-7中任一项所述的方法对所述待处理图像进行处理得到的;
解密模块,用于对所述加密结果进行解密,得到所述待验证图像和安全因子;
图像划分模块,用于将所述待验证图像划分为至少两个子图像;
分类结果确定模块,用于提取所述待验证图像的各子图像的图像特征,并基于所述待验证图像的每个子图像的图像特征,确定所述待验证图像的每个子图像各自对应的分类结果;
验证模块,用于基于所述待验证图像的每个子图像对应的分类结果与解密得到的安全因子,确定所述待处理图像是否被篡改。
13.一种电子设备,其特征在于,包括处理器以及存储器:
所述存储器被配置用于存储计算机程序,所述计算机程序在由所述处理器执行时,使得所述处理器执行权利要求1-10任一项所述的方法。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储计算机程序,当所述计算机程序在计算机上运行时,使得计算机可以执行上述权利要求1-10中任一项所述的方法。
CN202110536411.2A 2021-05-17 2021-05-17 图像处理方法、装置、电子设备及可读存储介质 Pending CN113762055A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110536411.2A CN113762055A (zh) 2021-05-17 2021-05-17 图像处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110536411.2A CN113762055A (zh) 2021-05-17 2021-05-17 图像处理方法、装置、电子设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN113762055A true CN113762055A (zh) 2021-12-07

Family

ID=78787078

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110536411.2A Pending CN113762055A (zh) 2021-05-17 2021-05-17 图像处理方法、装置、电子设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN113762055A (zh)

Similar Documents

Publication Publication Date Title
Liu et al. Recent advances of image steganography with generative adversarial networks
Duan et al. Distributed artificial intelligence empowered by end-edge-cloud computing: A survey
Tariq et al. Gan is a friend or foe? a framework to detect various fake face images
CN111680672B (zh) 人脸活体检测方法、系统、装置、计算机设备和存储介质
Chan et al. Combating deepfakes: Multi-LSTM and blockchain as proof of authenticity for digital media
CN112801054B (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN113766085B (zh) 图像处理方法及相关装置
CN110929806B (zh) 基于人工智能的图片处理方法、装置及电子设备
Karthika et al. IoT using machine learning security enhancement in video steganography allocation for Raspberry Pi
CN113011387B (zh) 网络训练及人脸活体检测方法、装置、设备及存储介质
CN109344709A (zh) 一种人脸生成伪造图像的检测方法
Gong et al. Deepfake forensics, an ai-synthesized detection with deep convolutional generative adversarial networks
Shankar et al. Securing face recognition system using blockchain technology
CN107742141B (zh) 基于rfid技术的智能身份信息采集方法及系统
Jasmine et al. A privacy preserving based multi-biometric system for secure identification in cloud environment
CN113762034A (zh) 视频分类方法和装置、存储介质及电子设备
Chang et al. Cyber Vaccine for Deepfake Immunity
WO2023142453A1 (zh) 生物特征识别方法、服务器以及客户端
CN113762055A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112749686B (zh) 图像检测方法、装置、计算机设备及存储介质
CN113518061B (zh) 人脸识别中的数据传输方法、设备、装置、系统及介质
CN115708135A (zh) 人脸识别模型的处理方法、人脸识别方法及装置
CN113536870A (zh) 一种异常头像识别方法及装置
CN113572913B (zh) 图像加密方法、装置、介质及电子设备
CN115225869B (zh) 一种监控数据的定向处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination