CN113793252B - 图像处理方法、装置、芯片及其模组设备 - Google Patents

图像处理方法、装置、芯片及其模组设备 Download PDF

Info

Publication number
CN113793252B
CN113793252B CN202111000039.XA CN202111000039A CN113793252B CN 113793252 B CN113793252 B CN 113793252B CN 202111000039 A CN202111000039 A CN 202111000039A CN 113793252 B CN113793252 B CN 113793252B
Authority
CN
China
Prior art keywords
adjustment
image
target
user
adjustment parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111000039.XA
Other languages
English (en)
Other versions
CN113793252A (zh
Inventor
刘志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Tianjin Co Ltd
Original Assignee
Spreadtrum Communications Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Tianjin Co Ltd filed Critical Spreadtrum Communications Tianjin Co Ltd
Priority to CN202111000039.XA priority Critical patent/CN113793252B/zh
Publication of CN113793252A publication Critical patent/CN113793252A/zh
Application granted granted Critical
Publication of CN113793252B publication Critical patent/CN113793252B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、芯片及其模组设备。该图像处理方法包括:获取目标用户的用户图像,并根据用户图像提取目标用户的参考生物特征;获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中;获取待处理图像,并根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息;参考调整指示信息关联的参考生物特征与目标生物特征匹配;根据参考调整指示信息对待处理图像进行调整处理,得到调整处理后的目标图像。通过本申请,可以提高图像处理的效率。

Description

图像处理方法、装置、芯片及其模组设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、装置、芯片及其模组设备。
背景技术
随着人们日常生活的不断丰富,为满足人们的社交需求,模组设备中的各种应用功能层出不穷,例如智能手机中的美颜功能不断丰富。其中,美颜功能包括多个美颜维度下的美颜参数可以调整:如美白、磨皮、大眼、瘦脸、肤色、祛斑、红唇、牙齿美白等美颜维度。
基于每个美颜维度下的美颜参数可以对用户图像进行美颜处理,因此日常生活中人们对美颜功能的需求也日趋增大。目前,主要是基于人工手动调整每个美颜维度下的美颜参数,通过人工进行图像美颜的处理效率低。因此,如何提高图像处理的效率当前亟待解决的技术问题。
发明内容
本申请实施例提出了一种图像处理方法、装置、芯片、及其模组设备,可以针对特定的生物特征存储相应的调整指示信息,并在获取到相应的生物特征时,可以自动获取到与该生物特征匹配的调整指示信息,从而提高图像处理的效率。
第一方面,本申请实施例提供一种图像处理方法,该方法包括:
获取目标用户的用户图像,并根据所述用户图像提取目标用户的参考生物特征;
获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中;
获取待处理图像,并根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息;参考调整指示信息关联的参考生物特征与目标生物特征匹配;
根据参考调整指示信息对待处理图像进行调整处理,得到调整处理后的目标图像。
在一种可能的实现方式中,参考生物特征包括参考面部特征。获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中,包括:
显示参数设置界面以及用户图像;
在对参数设置界面中的一个或多个美颜维度中每个美颜维度下的调整参数进行调整的过程中,根据调整之后的各个调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
响应于在参数设置界面中检测到的调整确认操作,获取当前通过参数设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到的第一调整参数组;
将第一调整参数组与参考面部特征关联存储至调整参数数据库。
在一种可能的实现方式中,参考生物特征还包括参考辅助特征。获取针对用户图像设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中,还包括:
响应于在参数设置界面中检测到的调整确认操作,从参数设置界面切换至构图设置界面,构图设置界面中包括一个或多个构图选项,一个构图选项对应一个构图方式;
在构图设置界面中获取选择操作所选择的目标构图方式;
基于目标构图方式对每个美颜维度下的调整参数进行调整,得到每个美颜维度下调整后的调整参数;
根据每个美颜维度下调整后的调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
当在构图设置界面中检测到调整确认操作,获取当前通过构图设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到第二调整参数组;
将第二调整参数组与参考面部特征、参考辅助特征关联存储至调整参数数据库。
在一种可能的实现方式中,根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息,包括:
根据目标生物特征中的目标面部特征,从调整参数数据库中确定与目标面部特征匹配的参考面部特征;
判断调整参数数据库中与参考面部特征关联的调整参数组的数量;
若数量为一个,则将参考面部特征对应的调整参数组作为参考调整指示信息;
若数量为N个,则根据目标生物特征中的目标辅助特征从N个调整参数组中确定目标调整参数组,并将目标调整参数组作为参考调整指示信息;其中,调整参数数据库中目标调整参数组关联的参考辅助特征与目标辅助特征之间的相似度大于相似度阈值,N为大于1的正整数。
在一种可能的实现方式中,若从调整参数数据库中没有确定出与目标面部特征匹配的参考面部特征,则获取待处理图像中人脸图像的面部类型;
根据面部类型获取与面部类型匹配的标准调整参数组,并将标准调整参数组作为参考调整指示信息。
在一种可能的实现方式中,待处理图像包括第一用户的图像和第二用户的图像;根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息,包括:
根据待处理图像分别确定第一用户的第一生物特征和第二用户的第二生物特征;
从调整参数数据库中获取第一参考调整指示信息;第一参考调整指示信息关联的生物特征与第一生物特征匹配;
若调整参数数据库中不存在与第二生物特征匹配的生物特征,则确定第二用户的面部类型,并根据面部类型获取第二参考调整指示信息;
根据参考调整指示信息对待处理图像进行调整处理,包括:
基于第一参考调整指示信息对第一用户的图像进行调整处理,以及基于第二参考调整指示信息对第二用户的图像进行调整处理。
第二方面,本申请提供了一种图像处理装置,该图像处理装置用于实现上述第一方面及其任一种可能的实现方式中的方法的单元。
第三方面,本申请提供了一种图像处理装置,该图像处理装置包括处理器,上述处理器用于执行第一方面及其任一种可能的实现方式中的方法。
第四方面,本申请提供了一种图像处理装置,该图像处理装置包括处理器和存储器,上述存储器用于存储计算机执行指令;上述处理器用于从上述存储器调用程序代码执行第一方面及其任一种可能的实现方式中的方法。
第五方面,本申请提供了一种芯片,该芯片用于,确定接收增益;其中,若满足第一预设条件,则该接收增益由接收到的第一信号确定;若不满足第一预设条件,则该接收增益为历史接收增益;该芯片还用于,接收第二信号;该芯片还用于,根据上述接收增益对第二信号进行增益控制。
第六方面,本申请提供了一种模组设备,该模组设备包括通信模组、电源模组、存储模组以及芯片模组,其中:
该电源模组用于为该模组设备提供电能;
该存储模组用于存储数据和指令;
该通信模组用于进行模组设备内部通信,或者用于该模组设备与外部设备进行通信;
该芯片模组用于:获取目标用户的用户图像,并根据所述用户图像提取所述目标用户的参考生物特征;
获取针对所述目标用户设置的调整指示信息,并将获取到的所述调整指示信息与所述目标用户的参考生物特征关联存储至调整参数数据库中;
获取待处理图像,并根据所述待处理图像获取目标生物特征,从所述调整参数数据库中获取参考调整指示信息;所述参考调整指示信息关联的参考生物特征与所述目标生物特征匹配;
根据所述参考调整指示信息对所述待处理图像进行调整处理,得到调整处理后的目标图像。
本申请实施例中,针对不同的用户,可以预先将用户的生物特征与调整指示信息之间建立关联关系,并将用户的生物特征和相应的调整指示信息存储至调整参数数据库中。在实际使用应用过程中,获取到待处理图像时,则可以直接从调整参数数据库中获取与待处理图像的生物特征匹配的参考调整指示信息,并基于参考调整指示信息对待处理图想进行调整处理,得到调整后的目标图像。相比于针对不同用户的图像,均要由用户设置相应的调整指示信息而言,本申请可以直接利用生物特征之间的匹配关系,自动获取到调整参数数据库中预先已经存储好的调整指示信息,因此可以提高图像处理的效率。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种图像处理系统的结构示意图;
图2是本申请实施例提供的一种图像处理方法的流程示意图;
图3是本申请实施例提供的一种构建调整参数数据库的流程示意图;
图4a是本申请实施例提供的一种设置调整指示信息的场景示意图;
图4b是本申请实施例提供的另一种设置调整指示信息的场景示意图;
图4c是本申请实施例提供的另一种设置调整指示信息的场景示意图;
图5a是本申请实施例提供的一种调整参数数据库的结构示意图;
图5b是本申请实施例提供的另一种调整参数数据库的结构示意图;
图6是本申请实施例提供的一种应用美颜参数的流程示意图;
图7是本申请实施例提供的一种美颜处理的场景示意图;
图8是本申请实施例提供的一种图像处理装置的结构示意图;
图9是本申请实施例提供的另一种图像处理装置的结构示意图;
图10是本申请实施例提供的一种模组设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例提出一种图像处理方案,该图像处理方案可以包括:在参数设置阶段,用户可以实时采集用户图像,或者从手机相册中获取到用户图像,然后根据用户图像提取该用户的参考生物特征。接下来,用户可以针对性的根据需求设置调整指示信息,并将设置的调整指示信息与该用户的生物特征存储至调整参数数据库中。在用户使用阶段,可以获取待处理图像,然后根据待处理图像确定目标生物特征,并利用目标生物特征匹配调整参数数据库中的参考生物特征,所谓匹配可以是指目标生物特征与参考生物特征之间的相似度大于相似度阈值。然后,将调整参数数据库中与所匹配到的参考生物特征关联的调整指示信息作为当前待处理图像的参考调整指示信息。最后,可以基于参考调整指示信息自动对待处理图像进行调整处理,得到调整处理后的目标图像。
由此可见,本申请实施例中,针对不同的用户,可以预先将用户的生物特征与调整指示信息之间建立关联关系,并将用户的生物特征和相应的调整指示信息存储至调整参数数据库中。在实际应用过程中,获取到待处理图像时,则可以直接从调整参数数据库中获取与待处理图像的生物特征匹配的参考调整指示信息,并基于参考调整指示信息对待处理图想进行调整处理,得到调整后的目标图像。相比于针对不同用户的图像,均要由用户设置相应的调整指示信息而言,本申请可以直接利用生物特征之间的匹配关系,自动获取到调整参数数据库中预先已经存储好的调整指示信息,因此可以提高图像处理的效率。
下面对本申请实施例涉及的技术术语进行介绍:
一、人工智能:
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的方案属于人工智能领域下属的计算机视觉技术等,可以利用计算机视觉技术根据用户图像提取目标用户的参考生物特征,以及根据待处理图像获取目标生物特征等。
二、云技术:
云技术(Cloud technology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
目前,云技术主要分为云基础技术类以及云应用类;云基础技术类可以进一步细分为:云计算、云储存、数据库以及大数据等;云应用类可以进一步细分为:医疗云、云物联、云安全、云呼叫、私有云、公有云、混合云、云游戏、云教育、云会议、云社交以及人工智能云服务等。
从基础技术角度来说,本申请的图像处理方法涉及云技术下属的云计算;从应用角度来说,本申请的图像处理方法涉及云技术下属的人工智能云服务。
云计算(cloud computing)是一种计算模式,它将计算任务分布在大量计算机构成的资源池上,使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的,并且可以随时获取,按需使用,随时扩展,按使用付费。
所谓人工智能云服务,一般也被称作是AIaaS(AIas a Service,中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式,具体来说AIaaS平台会把几类常见的AI服务进行拆分,并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城:所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务,部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。
本申请提供的图像处理方案中涉及较大规模计算,需要较大的算力和存储空间,因此在本申请中的一种可行的实施方式中,可以由智能设备通过云计算技术获取足够算力和存储空间。
进一步地,可以将本申请涉及的图像处理方法封装为一个人工智能云服务,且对外暴露一个接口。当在某一业务场景下需要使用本申请所涉及的图像处理功能(例如图像美颜功能)时,通过调用该接口,即可完成对待处理图像的美颜处理,并得到美颜处理后的目标图像。
三、区块链:
区块链(Blockchain)是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
本申请提供的方案可与区块链技术相结合,例如在图像处理方案中,可以将用户图像、针对目标用户设置的调整指示信息,以及调整参数数据库等数据上传至区块链中进行保存,可以保证区块链上的数据不易被篡改。
请参考图1,图1是本申请实施例提供的一种图像处理系统的架构示意图。该图像处理系统的架构图可以包括:服务器140以及终端设备集群,其中,终端设备集群可以包括:终端设备110、终端设备120、终端设备130等等。终端设备集群与服务器140可以通过有线或无线通信方式进行直接或间接地连接,本申请在此不做限制。其中,终端设备集群包括多个终端设备用于举例,在具体实现中,服务器140可以与一个终端设备交互,以实现本申请提及的图像处理方法。
图1所示的服务器140可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
图1所示的终端设备110、终端设备120、终端设备130等可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID,mobile internet device)、车辆、车载设备、路边设备、飞行器、可穿戴设备、智能电视等,例如智能手表、智能手环、计步器等,等具有图像处理功能的设备。
在一种可能的实现方式中,以终端设备110为例,终端设备110在获取到目标用户的用户图像之后,可以根据用户图像提取目标用户的参考生物特征。然后,终端设备110获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中。然后,终端设备110可以将调整参数数据库发送至服务器140,服务器140将调整参数数据库存储起来。
进一步地,终端设备110可以获取待处理图像。然后,终端设备110根据待处理图像获取目标生物特征。终端设备110将目标生物特征发送至服务器140。服务器140从调整参数数据库中获取参考调整指示信息。其中,参考调整指示信息关联的参考生物特征与目标生物特征匹配。接下来,服务器140根据参考调整指示信息对待处理图像进行调整处理,得到调整处理后的目标图像。最后,服务器140将目标图像发送至终端设备110,终端设备110可以输出并显示目标图像,以供用户观看。
当然,根据参考调整指示信息对待处理图像进行调整处理,得到调整处理后的目标图像。不一定是由服务器140来执行,也可以由终端设备110或者终端设备集群中的其它任意终端设备来执行。另外,根据用户图像提取目标用户的参考生物特征,以及根据待处理图像获取目标生物特征。也不一定由终端设备110来执行,也可以由服务器140来执行。换言之,本申请实施例中提及的图像处理方法的执行主体可以为服务器,也可以为终端设备,本申请实施例对此不做具体限定。
在一种可能的实现方式中,可以将本申请实施例提供的图像处理系统部署在区块链的节点,例如可以将服务器140和终端设备集群中包括的每个终端设备均当成区块链的节点设备,共同构成区块链网络。因此本申请中得到目标图像所对应的图像处理流程可以在区块链上执行,这样既可以保证图像处理流程的公平公正化,同时可以使得图像处理流程具备可追溯性,从而提升图像处理流程的安全性。
可以理解的是,本申请实施例描述的系统架构示意图是为了更加清楚的说明本申请实施例的技术方案,并不构成对于本申请实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
基于以上分析,下面结合图2对本申请的图像处理方法进行描述。请参见图2,图2是本申请实施例提供的一种图像处理方法的流程示意图。该图像处理方法可以由智能设备执行,智能设备例如可以是车载设备、智能手机、平板电脑、智能可穿戴设备等等终端设备,智能设备还可以是服务器。如图2所示,该图像处理方法可包括步骤S201~S204。其中:
S201:获取目标用户的用户图像,并根据所述用户图像提取目标用户的参考生物特征。
本申请实施例中,用户图像可以是智能设备通过调用拍摄装置(例如手机摄像头)实时采集到的图像;用户图像也可以是智能设备从其它渠道获取到的图像,其它渠道可以包括但不限于:相册、第三方网站等等,例如用户图像可以是指手机相册中的图像,本申请实施例对用户图像的获取方式不做具体限定。
在一种可能的实现方式中,智能设备可以调用图像识别模型,识别用户图像从而提取目标用户的参考生物特征。其中,图像识别模型可以是指神经网络模型。例如,图像识别模型可以具体是RNN(循环神经网络,Recurrent Neural Network,RNN)模型,LSTM(长短期记忆网络,LSTM,Long Short-Term Memory),GRU(门控循环神经网络,Gated RecurrentNeural network)模型,或者神经网络模型也可以为其它类型的网络模型,例如递归神经网络模型等,本申请实施例对此不作限定。
其中,所谓参考生物特征可以是指利用图像识别模型对用户图像进行识别处理后得到的特征,参考生物体特征的数据格式可以为向量或者矩阵等格式。例如,参考生物特征可以包括:参考面部特征和参考辅助特征中的一种或多种,参考辅助特征例如可以包括腰部特征、腿部特征、手部特征以及背景特征中的一种或多种。背景特征可以用于指示用户图像所处的环境,例如环境为白天、黑夜、雨天、晴天等等,背景特征也可以用于指示用户图像所处的背景,例如背景包括花、草、树木、山川、河流等等。
S202:获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中。
本申请实施例中,调整指示信息用于对用户图像进行调整处理,若调整指示信息包括多个美颜维度下的调整参数,则调整处理可以包括美颜处理。具体来说,调整处理是指:通过调整指示信息包括的各个美颜维度下的调整参数,对用户图像进行美颜处理。
在一种可能的实现方式中,参考生物特征包括参考面部特征。智能设备获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中,可以包括:首先,显示参数设置界面以及用户图像。然后,在对参数设置界面中的一个或多个美颜维度中每个美颜维度下的调整参数进行调整的过程中,根据调整之后的各个调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像。接下来,响应于在参数设置界面中检测到的调整确认操作,获取当前通过参数设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到的第一调整参数组。最后,将第一调整参数组与参考面部特征关联存储至调整参数数据库。
具体实现时,请参见图3,图3是本申请实施例提供的一种构建调整参数数据库的流程示意图。如图3所示,首先,用户可以发起存储调整参数数据库的触发事件,然后可以调用智能设备的拍摄装置(例如手机摄像头)请求录入人脸,接下来用户针对录入的人脸针对性的设置一个或多个美颜维度中每个美颜维度下相应的调整参数(如美颜参数)。进一步地,用户可以选择不同的人像构图方式(例如面部特征、半身人像、全身人像等),在不同构图方式下,可以进一步调整一个或多个美颜维度中每个美颜维度下相应的调整参数。最后,在用户确认之后即代表完成此次调整参数的设置,然后将用户所设置的每个美颜维度下相应的调整参数组合为调整指示信息存储至调整参数数据库中。
举例来说,请参见图4a,图4a是本申请实施例提供的一种设置调整指示信息的场景示意图。如图4a所示,显示参数设置界面(S10),该参数设置界面中可以显示一个或多个美颜维度中每个美颜维度下的调整参数。例如,参数设置界面S10中显示有维度1、维度2、维度3、维度4、维度5这五个美颜维度,如维度1具体可以为美白维度,维度2具体可以为磨皮维度、维度3具体可以为瘦脸维度、维度4具体可以为大眼维度、以及维度5具体可以为嘴唇维度。然后,目标用户可以设置每个美颜维度下的调整参数,设置方式可以为推动调整参数条(S101),从而得到相应美颜维度下的美颜参数。例如,目标用户可以将美白维度下的调整参数设置为80,磨皮维度下的调整参数设置为60,瘦脸维度下的调整参数设置为50等等。另外,在设置相应美颜维度下的调整参数时,还可以显示美化处理后的用户图像(S20)。
进一步地,请参见图4b,图4b是本申请实施例提供的另一种设置调整指示信息的场景示意图。目标用户设置好每个美颜维度下的调整参数之后,可以在参数设置界面(S30)中显示用户所设置好的各个美颜维度下的参数,例如维度1下的调整参数为x1,维度2下的调整参数为x2,维度3下的调整参数为x3,维度4下的调整参数为x4,维度5下的调整参数为x5。在参数设置界面S30中还包括完成控件(S302)和取消控件(S301),若用户点击完成控件S302,则智能设备可以将所设置的一个或多个美颜维度中每个美颜维度下的调整参数,组合为第一调整参数组。然后将第一调整参数组与目标用户的参考面部特征之间建立关联关系,并将第一调整参数组与参考面部特征关联存储至调整参数数据库。
在另一种可能的实现方式中,参考生物特征还包括参考辅助特征。智能设备获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中,还可以包括:首先,响应于在参数设置界面中检测到的调整确认操作,(例如检测到用户点击完成控件S302(图4b所示的S30中))从参数设置界面切换至构图设置界面,构图设置界面中包括一个或多个构图选项,一个构图选项对应一个构图方式。然后,在构图设置界面中获取选择操作所选择的目标构图方式;基于目标构图方式对每个美颜维度下的调整参数进行调整,得到每个美颜维度下调整后的调整参数。接下来,根据每个美颜维度下调整后的调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像。进一步地,当在构图设置界面中检测到调整确认操作,获取当前通过构图设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,并将其组成为第二调整参数组。最后,将第二调整参数组与参考面部特征、参考辅助特征关联存储至调整参数数据库。
举例来说,如图4c所示,若用户在参数设置界面S30中点击完成控件(S302)时,则可以确定在参数设置界面中检测到调整确认操作,并从参数设置界面S30切换至构图设置界面S40。该构图设置界面S40中可以包括一个或多个构图选项,例如可以包括“自动识别”选项、“面部特写”选项、“半身人像”选项、“全身人像”选项以及“不匹配构图”选项。用户可以在该构图设置界面中,选择相应的构图方式,若选择“自动识别”选项,则智能设备可以根据用户图像自动识别目标用户,并根据前述所设置的每个美颜维度下的调整参数对用户图像进行美化处理。若选择“面部特写”选项,则智能设备可以根据前述所设置的每个美颜维度下的调整参数进一步对每个美颜维度下的调整参数进行调整处理。例如,针对面部特写构图而言,可以将美白维度下的调整参数、磨皮维度下的调整参数以及瘦脸维度下的调整参数可以向上调整,所谓向上调整是指增大调整参数的数值,如将50增大为80。又如,针对全身人像构图而言,由于更加关注整体的图像,因此可以将美白维度下的调整参数、磨皮维度下的调整参数以及瘦脸维度下的调整参数可以向下调整,所谓向下调整是指减小调整参数的数值,如将60减小为20;并将瘦腿维度下的调整参数向上调整。因此,基于用户所选择的目标构图方式(如自动识别)对每个美颜维度下的调整参数进行调整,得到每个美颜维度下调整后的调整参数。另外,构图设置界面S40中包括完成控件(S402)和取消控件(S401),若用户点击完成控件S402,则智能设备可以将当前通过构图设置界面S40所设置的一个或多个美颜维度中每个美颜维度下的调整参数,组合为第二调整参数组。最后,将第二调整参数组与参考面部特征、参考辅助特征关联存储至调整参数数据库。即参考面部特征和参考辅助特征这两个特征对应该第二调整参数组。
通过这种方式,用户可以针对不同的用户预先构建调整参数数据库,该调整参数数据库中存储有与目标用户的面部特征具有关联关系的第一调整参数组,该调整参数数据库中还可以存储有与目标用户的面部特征和辅助特征同时具有关联关系的第二调整参数组。需要说明的是,针对不同用户而言,可以在调整参数数据库中存储有一组关联的调整参数组,也可以存储有多组关联的调整参数组。例如,如图5a所示,图5a是本申请实施例提供的一种调整参数数据库的结构示意图。针对用户A,可以存储有与该用户A的面部特征、以及在面部特写方式下相关联的调整参数组1(包括参数1、参数2...参数N),以及存储有与该用户A的面部特征、以及在半身人像方式下相关联的调整参数组2(包括参数1、参数2...参数N),以及存储有与该用户A的面部特征、以及在全身人像方式下相关联的调整参数组3(包括参数1、参数2...参数N)等等。又如,如图5b所示,图5b是本申请实施例提供的另一种调整参数数据库的结构示意图。针对用户B,可以存储有一组与该用户B相关联的调整参数组1(包括参数1、参数2...参数N)。
需要说明的是,调整参数数据库中存储的生物特征均可称为参考生物特征,另外,当生物特征包括面部特征时,调整参数数据库中存储的生物特征具体可称为参考面部特征。并且,生物特征至少包括面部特征,可选的,生物特征还可以包括辅助特征。另外,调整参数数据库中存储的调整指示信息均可称为参考调整指示信息。
S203:获取待处理图像,并根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息;参考调整指示信息关联的参考生物特征与目标生物特征匹配。
本申请实施例中,待处理图像可以是智能设备通过调用拍摄装置(例如手机摄像头)实时采集到的图像;待处理图像也可以是智能设备从其它渠道获取到的图像,其它渠道可以包括但不限于:相册、第三方网站等等,例如用户图像可以是指手机相册中的图像,本申请实施例对待处理图像的获取方式同样不做具体限定。在构建好调整参数数据库之后,在智能设备获取到待处理图像时,则可以根据待处理图像提取目标生物特征。其中,智能设备可以调用图像识别模型,识别待处理图像从而提取目标生物特征。需要说明的是,针对图像识别模型的网络结构,本申请实施例对此并不做具体限定。
在一种可能的实现方式中,智能设备根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息,可以包括:首先,根据目标生物特征中的目标面部特征,从调整参数数据库中确定与目标面部特征匹配的参考面部特征;然后,判断调整参数数据库中与参考面部特征关联的调整参数组的数量。若数量为一个,则将参考面部特征对应的调整参数组作为参考调整指示信息;若数量为N个,则根据目标生物特征中的目标辅助特征从N个调整参数组中确定目标调整参数组,并将目标调整参数组作为参考调整指示信息。其中,调整参数数据库中目标调整参数组关联的参考辅助特征与目标辅助特征之间的相似度大于相似度阈值,N为大于1的正整数。
具体实现时,请参见图6,图6是本申请实施例提供的一种应用美颜参数的流程示意图。如图6所示,构建好调整参数数据库之后,在实际应用过程中,智能设备在采集到包括人脸的待处理图像之后,可以识别待处理图像中的目标生物特征,其中,目标生物特征可以包括目标面部特征,可选地包括目标辅助特征。然后基于识别得到的目标生物特征匹配调整参数数据库中的参考生物特征。可选的,进一步地可以判定是否指定构图方式,若是,则从调整参数数据库中获取指定构图方式下存储的调整参数组,并应用该获取到的调整参数组对待处理图像进行美颜处理。可选的,还可以在美颜处理界面中输出相应的提示,提示例如可以包括:显示美颜处理后的目标图像、或者提示当前图像所应用的各个调整参数等。若否,则直接根据通过目标面部特征匹配后得到的调整参数组对待处理图像进行美颜处理。同样的,也可以在美颜处理过程中输出相应的提示。
举例来说,若根据用户A的面部特征从调整参数数据库中确定与目标面部特征(即用户A的面部特征)匹配的参考面部特征,与参考面部特征关联的调整参数组的数量为3个。则根据用户A的辅助特征从3个调整参数组中确定出目标调整参数组,若用户A的辅助特征为包括腿部照片,则可以从3个调整参数组中确定出与腿部照片相关联的目标调整参数组,例如目标调整参数组为全身人像构图方式下所对应的调整参数组。其中,所谓目标面部特征与参考面部特征之间匹配可以是指:目标面部特征与参考面部特征之间的相似度大于相似度阈值。并且,可以通过相似度算法计算目标面部特征与参考面部特征之间的相似度,所谓相似度算法包括但不限于:余弦相似度算法、欧氏距离相似度算法等等,本申请实施例对此不做具体限定。
在另一种可能的实现方式中,若从调整参数数据库中没有确定出与目标面部特征匹配的参考面部特征(例如调整参数数据库不包括与目标面部特征匹配的参考面部特征),则智能设备获取待处理图像中人脸图像的面部类型。然后,智能设备获取与该面部类型匹配的标准调整参数组,并将标准调整参数组作为参考调整指示信息。
具体来说,所谓面部类型可以包括但不限于:鹅蛋脸型、瓜子脸型、圆脸型、长脸型、方脸型等等。然后,智能设备可以从预设数据库中获取与待处理图像中人脸图像的面部类型匹配的标准调整参数组。其中,预设数据库与前述所描述的调整参数数据库为同一数据库,或者为不同数据库。该预设数据库中存储有一个或多个面部类型,以及一个或多个标准调整参数组,其中,一个面部类型关联一个标准调整参数组。例如,面部类型为鹅蛋脸型,关联标准调整参数组1;面部类型为瓜子脸型,关联标准调整参数组2;面部类型为圆脸型,关联标准调整参数组3等等。若待处理图像中人脸图像的面部类型为鹅蛋脸型,则可以将标准调整参数组1作为参考调整指示信息。
S204:根据参考调整指示信息对待处理图像进行调整处理,得到调整处理后的目标图像。
本申请实施例中,调整处理具体可以为美颜处理。举例来说,请参见图7,图7是本申请实施例提供的一种美颜处理的场景示意图。如图7所示,用户通过智能设备实时采集到待处理图像之后,在图像录入界面S701中显示该用户的图像(S7011),然后,基本申请实施例上述描述的方法,即可在美颜处理界面S702中显示根据参考调整信息对待处理图像进行调整处理(如美颜处理)后的目标图像(S7021)。可选的,美颜处理界面S702中还可以显示提示消息,例如提示消息为:已应用人脸1美颜参数。其中,待处理图像中的用户的生物特征与人脸1所对应的用户的生物特征相匹配。通过这种方式,可以在获取到待处理图像时,自动获取对应的参考调整指示信息,并基于参考调整指示信息自动进行美颜处理。相比于需要用户手动调整每个美颜维度下的调整参数,本申请实施例可以针对性的根据用户预先设置的调整参数自动化进行美颜处理,从而可以提高图像处理时的效率,进一步地,针对同一用户而言,基于不同的构图方式,其对应的调整参数也可能不相同,因此,可以提高图像处理时的准确性。
在另一种可能的实现方式中,待处理图像包括第一用户的图像和第二用户的图像。智能设备根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息,包括:首先,根据待处理图像分别确定第一用户的第一生物特征和第二用户的第二生物特征;然后,从调整参数数据库中获取第一参考调整指示信息;第一参考调整指示信息关联的生物特征与第一生物特征匹配。若调整参数数据库中不存在与第二生物特征匹配的生物特征,则确定第二用户的面部类型,并根据面部类型获取第二参考调整指示信息。最后,智能设备基于第一参考调整指示信息对第一用户的图像进行调整处理,以及基于第二参考调整指示信息对第二用户的图像进行调整处理。
具体实现时,若待处理图像是一张包括用户A和用户B合照的图像。那么,基于不同的用户,其对应的调整指示信息可以相同,也可以不相同。举例来说,若可以从调整参数数据库中获取到与用户A关联的调整参数组,则将所获取到的调整参数组作为对前述合照中用户A的图像进行美颜处理的参考调整指示信息(如第一参考调整指示信息);可选的,若不能从调整参数数据库中获取到与用户B关联的调整参数组,则根据用户B的面部类型从预设数据库中获取标准的调整参数组(标准调整参数组)作为对前述合照中用户B的图像进行美颜处理的参考调整指示信息(如第二参考调整指示信息)。分别基于相应的参考调整指示信息对同一张图像中的不同用户的图像进行美颜处理,从而确定出美颜处理后的目标图像。通过这种方式,针对同一张图像包含的不同用户的图像,可以分别基于不同的调整参数针对性的进行美颜处理,从而可以较大程度上满足用户的自身需求。
本申请实施例中,针对不同的用户,可以预先将用户的生物特征与调整指示信息之间建立关联关系,并将用户的生物特征和相应的调整指示信息存储至调整参数数据库中。在实际使用应用过程中,获取到待处理图像时,则可以直接从调整参数数据库中获取与待处理图像的生物特征匹配的参考调整指示信息,并基于参考调整指示信息对待处理图像进行调整处理,得到调整后的目标图像。相比于针对不同用户的图像,均要由用户设置相应的调整指示信息而言,本申请可以直接利用生物特征之间的匹配关系,自动获取到调整参数数据库中预先已经存储好的调整指示信息,因此可以提高图像处理的效率。
请参见图8,图8是本申请实施例提供的一种图像处理装置的结构示意图。该图像处理装置800可应用于图2对应的方法实施例中的智能设备。图像处理装置800可以是运行于轻量节点中的一个计算机程序(包括程序代码),例如该图像处理装置800为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。该图像处理装置800可包括:
获取单元801,用于获取目标用户的用户图像;
处理单元802,用于根据所述用户图像提取目标用户的参考生物特征;
处理单元802,还用于获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中;
获取单元801,还用于获取待处理图像;
处理单元802,还用于根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息;参考调整指示信息关联的参考生物特征与目标生物特征匹配;
处理单元802,还用于根据参考调整指示信息对待处理图像进行调整处理,得到调整处理后的目标图像。
在一种可能的实现方式中,参考生物特征包括参考面部特征。处理单元802获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中,包括:
显示参数设置界面以及用户图像;
在对参数设置界面中的一个或多个美颜维度中每个美颜维度下的调整参数进行调整的过程中,根据调整之后的各个调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
响应于在参数设置界面中检测到的调整确认操作,获取当前通过参数设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到的第一调整参数组;
将第一调整参数组与参考面部特征关联存储至调整参数数据库。
在一种可能的实现方式中,参考生物特征还包括参考辅助特征。处理单元802获取针对用户图像设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中,还包括:
响应于在参数设置界面中检测到的调整确认操作,从参数设置界面切换至构图设置界面,构图设置界面中包括一个或多个构图选项,一个构图选项对应一个构图方式;
在构图设置界面中获取选择操作所选择的目标构图方式;
基于目标构图方式对每个美颜维度下的调整参数进行调整,得到每个美颜维度下调整后的调整参数;
根据每个美颜维度下调整后的调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
当在构图设置界面中检测到调整确认操作,获取当前通过构图设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到第二调整参数组;
将第二调整参数组与参考面部特征、参考辅助特征关联存储至调整参数数据库。
在一种可能的实现方式中,处理单元802根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息,包括:
根据目标生物特征中的目标面部特征,从调整参数数据库中确定与目标面部特征匹配的参考面部特征;
判断调整参数数据库中与参考面部特征关联的调整参数组的数量;
若数量为一个,则将参考面部特征对应的调整参数组作为参考调整指示信息;
若数量为N个,则根据目标生物特征中的目标辅助特征从N个调整参数组中确定目标调整参数组,并将目标调整参数组作为参考调整指示信息;其中,调整参数数据库中目标调整参数组关联的参考辅助特征与目标辅助特征之间的相似度大于相似度阈值,N为大于1的正整数。
在一种可能的实现方式中,若从调整参数数据库中没有确定出与目标面部特征匹配的参考面部特征,则处理单元802还用于执行以下操作:
获取待处理图像中人脸图像的面部类型;
根据面部类型获取与面部类型匹配的标准调整参数组,并将标准调整参数组作为参考调整指示信息。
在一种可能的实现方式中,待处理图像包括第一用户的图像和第二用户的图像;处理单元802根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息,包括:
根据待处理图像分别确定第一用户的第一生物特征和第二用户的第二生物特征;
从调整参数数据库中获取第一参考调整指示信息;第一参考调整指示信息关联的生物特征与第一生物特征匹配;
若调整参数数据库中不存在与第二生物特征匹配的生物特征,则确定第二用户的面部类型,并根据面部类型获取第二参考调整指示信息;
根据参考调整指示信息对待处理图像进行调整处理,包括:
基于第一参考调整指示信息对第一用户的图像进行调整处理,以及基于第二参考调整指示信息对第二用户的图像进行调整处理。
上述图像处理装置例如可以是:芯片、或者芯片模组。关于上述实施例中描述的各个装置、产品包含的各个模块,其可以是软件模块,也可以是硬件模块,或者也可以部分是软件模块,部分是硬件模块。例如,对于应用于或集成于芯片的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,不同的模块可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现;对于应用于或集成于终端的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,不同的模块可以位于终端内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于终端内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。
本申请实施例和前述方法的实施例基于同一构思,其带来的技术效果也相同,具体原理请参照前述实施例的描述,在此不赘述。
请参阅图9,图9为本申请实施例提供的一种图像处理装置900。如图6所示,该图像处理装置900可以包括处理器901和收发器902。可选的,该通信装置还可以包括存储器903。其中,处理器901、收发器902和存储器903可以通过总线904或其他方式连接。总线在图9中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。本申请实施例中不限定上述处理器901和存储器903之间的具体连接介质。
存储器903可以包括只读存储器和随机存取存储器,并向处理器901提供指令和数据。存储器903的一部分还可以包括非易失性随机存取存储器。
处理器901可以是中央处理单元(Central Processing Unit,CPU),该处理器901还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器,可选的,该处理器901也可以是任何常规的处理器等。其中:
存储器903,用于存储程序指令。
处理器901,用于调用存储器903中存储的程序指令,以用于:
获取目标用户的用户图像,并根据用户图像提取目标用户的参考生物特征;
获取针对目标用户设置的调整指示信息,并将获取到的所述调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中;
获取待处理图像,并根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息;参考调整指示信息关联的参考生物特征与目标生物特征匹配;
根据参考调整指示信息对待处理图像进行调整处理,得到调整处理后的目标图像。
在一种可能的实现方式中,参考生物特征包括参考面部特征。处理器901获取针对目标用户设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中,包括:
显示参数设置界面以及用户图像;
在对参数设置界面中的一个或多个美颜维度中每个美颜维度下的调整参数进行调整的过程中,根据调整之后的各个调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
响应于在参数设置界面中检测到的调整确认操作,获取当前通过参数设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到的第一调整参数组;
将第一调整参数组与参考面部特征关联存储至调整参数数据库。
在一种可能的实现方式中,参考生物特征还包括参考辅助特征。处理器901获取针对用户图像设置的调整指示信息,并将获取到的调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中,还包括:
响应于在参数设置界面中检测到的调整确认操作,从参数设置界面切换至构图设置界面,构图设置界面中包括一个或多个构图选项,一个构图选项对应一个构图方式;
在构图设置界面中获取选择操作所选择的目标构图方式;
基于目标构图方式对每个美颜维度下的调整参数进行调整,得到每个美颜维度下调整后的调整参数;
根据每个美颜维度下调整后的调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
当在构图设置界面中检测到调整确认操作,获取当前通过构图设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到第二调整参数组;
将第二调整参数组与参考面部特征、参考辅助特征关联存储至调整参数数据库。
在一种可能的实现方式中,处理器901根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息,包括:
根据目标生物特征中的目标面部特征,从调整参数数据库中确定与目标面部特征匹配的参考面部特征;
判断调整参数数据库中与参考面部特征关联的调整参数组的数量;
若数量为一个,则将参考面部特征对应的调整参数组作为参考调整指示信息;
若数量为N个,则根据目标生物特征中的目标辅助特征从N个调整参数组中确定目标调整参数组,并将目标调整参数组作为参考调整指示信息;其中,调整参数数据库中目标调整参数组关联的参考辅助特征与目标辅助特征之间的相似度大于相似度阈值,N为大于1的正整数。
在一种可能的实现方式中,若从调整参数数据库中没有确定出与目标面部特征匹配的参考面部特征,则处理器901还用于执行以下操作:
获取待处理图像中人脸图像的面部类型;
根据面部类型获取与面部类型匹配的标准调整参数组,并将标准调整参数组作为参考调整指示信息。
在一种可能的实现方式中,待处理图像包括第一用户的图像和第二用户的图像;处理器901根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息,包括:
根据待处理图像分别确定第一用户的第一生物特征和第二用户的第二生物特征;
从调整参数数据库中获取第一参考调整指示信息;第一参考调整指示信息关联的生物特征与第一生物特征匹配;
若调整参数数据库中不存在与第二生物特征匹配的生物特征,则确定第二用户的面部类型,并根据面部类型获取第二参考调整指示信息;
根据参考调整指示信息对待处理图像进行调整处理,包括:
基于第一参考调整指示信息对第一用户的图像进行调整处理,以及基于第二参考调整指示信息对第二用户的图像进行调整处理。
在本申请实施例中,可以通过在包括中央处理单元(CPU)、随机存取存储介质(RAM)、只读存储介质(ROM)等处理元件和存储元件的例如计算机的通用计算装置上运行能够执行如图2所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),以及来实现本申请实施例所提供的方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算装置中,并在其中运行。
基于同一发明构思,本申请实施例中提供的通信装置解决问题的原理与有益效果与本申请方法实施例中通信装置解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
本申请实施例还提供一种芯片,该芯片可以执行前述方法实施例中智能设备的相关步骤。该芯片用于:
获取目标用户的用户图像,并根据用户图像提取目标用户的参考生物特征;
获取针对目标用户设置的调整指示信息,并将获取到的所述调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中;
获取待处理图像,并根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息;参考调整指示信息关联的参考生物特征与目标生物特征匹配;
根据参考调整指示信息对待处理图像进行调整处理,得到调整处理后的目标图像。
在一种可能的实现方式中,参考生物特征包括参考面部特征。该芯片还用于:
显示参数设置界面以及用户图像;
在对参数设置界面中的一个或多个美颜维度中每个美颜维度下的调整参数进行调整的过程中,根据调整之后的各个调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
响应于在参数设置界面中检测到的调整确认操作,获取当前通过参数设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到的第一调整参数组;
将第一调整参数组与参考面部特征关联存储至调整参数数据库。
在一种可能的实现方式中,参考生物特征还包括参考辅助特征。该芯片还用于:
响应于在参数设置界面中检测到的调整确认操作,从参数设置界面切换至构图设置界面,构图设置界面中包括一个或多个构图选项,一个构图选项对应一个构图方式;
在构图设置界面中获取选择操作所选择的目标构图方式;
基于目标构图方式对每个美颜维度下的调整参数进行调整,得到每个美颜维度下调整后的调整参数;
根据每个美颜维度下调整后的调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
当在构图设置界面中检测到调整确认操作,获取当前通过构图设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到第二调整参数组;
将第二调整参数组与参考面部特征、参考辅助特征关联存储至调整参数数据库。
在一种可能的实现方式中,该芯片还用于:
根据目标生物特征中的目标面部特征,从调整参数数据库中确定与目标面部特征匹配的参考面部特征;
判断调整参数数据库中与参考面部特征关联的调整参数组的数量;
若数量为一个,则将参考面部特征对应的调整参数组作为参考调整指示信息;
若数量为N个,则根据目标生物特征中的目标辅助特征从N个调整参数组中确定目标调整参数组,并将目标调整参数组作为参考调整指示信息;其中,调整参数数据库中目标调整参数组关联的参考辅助特征与目标辅助特征之间的相似度大于相似度阈值,N为大于1的正整数。
在一种可能的实现方式中,若从调整参数数据库中没有确定出与目标面部特征匹配的参考面部特征,该芯片还用于:
获取待处理图像中人脸图像的面部类型;
根据面部类型获取与面部类型匹配的标准调整参数组,并将标准调整参数组作为参考调整指示信息。
在一种可能的实现方式中,待处理图像包括第一用户的图像和第二用户的图像;该芯片还用于:
根据待处理图像分别确定第一用户的第一生物特征和第二用户的第二生物特征;
从调整参数数据库中获取第一参考调整指示信息;第一参考调整指示信息关联的生物特征与第一生物特征匹配;
若调整参数数据库中不存在与第二生物特征匹配的生物特征,则确定第二用户的面部类型,并根据面部类型获取第二参考调整指示信息;
根据参考调整指示信息对待处理图像进行调整处理,包括:
基于第一参考调整指示信息对第一用户的图像进行调整处理,以及基于第二参考调整指示信息对第二用户的图像进行调整处理。
对于应用于或集成于芯片的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。
请参见图10,图10为本申请实施例提供的一种模组设备的结构示意图。该模组设备100可以执行前述方法实施例中智能设备的相关步骤,该模组设备100包括:通信模组1001、电源模组1002、存储模组1003以及芯片模组1004。
其中,上述电源模组1002用于为模组设备提供电能;上述存储模组1003用于存储数据和指令;上述通信模组1001用于进行模组设备内部通信,或者用于模组设备与外部设备进行通信;上述芯片模组1004用于:
获取目标用户的用户图像,并根据用户图像提取目标用户的参考生物特征;
获取针对目标用户设置的调整指示信息,并将获取到的所述调整指示信息与目标用户的参考生物特征关联存储至调整参数数据库中;
获取待处理图像,并根据待处理图像获取目标生物特征,从调整参数数据库中获取参考调整指示信息;参考调整指示信息关联的参考生物特征与目标生物特征匹配;
根据参考调整指示信息对待处理图像进行调整处理,得到调整处理后的目标图像。
在一种可能的实现方式中,参考生物特征包括参考面部特征。上述芯片模组1004用于:
显示参数设置界面以及用户图像;
在对参数设置界面中的一个或多个美颜维度中每个美颜维度下的调整参数进行调整的过程中,根据调整之后的各个调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
响应于在参数设置界面中检测到的调整确认操作,获取当前通过参数设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到的第一调整参数组;
将第一调整参数组与参考面部特征关联存储至调整参数数据库。
在一种可能的实现方式中,参考生物特征还包括参考辅助特征。上述芯片模组1004用于:
响应于在参数设置界面中检测到的调整确认操作,从参数设置界面切换至构图设置界面,构图设置界面中包括一个或多个构图选项,一个构图选项对应一个构图方式;
在构图设置界面中获取选择操作所选择的目标构图方式;
基于目标构图方式对每个美颜维度下的调整参数进行调整,得到每个美颜维度下调整后的调整参数;
根据每个美颜维度下调整后的调整参数对用户图像进行图像美化处理,并显示美化处理后的用户图像;
当在构图设置界面中检测到调整确认操作,获取当前通过构图设置界面所设置的一个或多个美颜维度中每个美颜维度下的调整参数,得到第二调整参数组;
将第二调整参数组与参考面部特征、参考辅助特征关联存储至调整参数数据库。
在一种可能的实现方式中,上述芯片模组1004用于:
根据目标生物特征中的目标面部特征,从调整参数数据库中确定与目标面部特征匹配的参考面部特征;
判断调整参数数据库中与参考面部特征关联的调整参数组的数量;
若数量为一个,则将参考面部特征对应的调整参数组作为参考调整指示信息;
若数量为N个,则根据目标生物特征中的目标辅助特征从N个调整参数组中确定目标调整参数组,并将目标调整参数组作为参考调整指示信息;其中,调整参数数据库中目标调整参数组关联的参考辅助特征与目标辅助特征之间的相似度大于相似度阈值,N为大于1的正整数。
在一种可能的实现方式中,若从调整参数数据库中没有确定出与目标面部特征匹配的参考面部特征,上述芯片模组1004用于:
获取待处理图像中人脸图像的面部类型;
根据面部类型获取与面部类型匹配的标准调整参数组,并将标准调整参数组作为参考调整指示信息。
在一种可能的实现方式中,待处理图像包括第一用户的图像和第二用户的图像;上述芯片模组1004用于:
根据待处理图像分别确定第一用户的第一生物特征和第二用户的第二生物特征;
从调整参数数据库中获取第一参考调整指示信息;第一参考调整指示信息关联的生物特征与第一生物特征匹配;
若调整参数数据库中不存在与第二生物特征匹配的生物特征,则确定第二用户的面部类型,并根据面部类型获取第二参考调整指示信息;
根据参考调整指示信息对待处理图像进行调整处理,包括:
基于第一参考调整指示信息对第一用户的图像进行调整处理,以及基于第二参考调整指示信息对第二用户的图像进行调整处理。
对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,不同的模块可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有一条或多条指令,一条或多条指令适于由处理器加载并执行上述方法实施例所提供的方法。
本申请实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法实施例所提供的方法。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,可读存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
以上所揭露的仅为本申请一种较佳实施例而已,仅仅是本发明一部分实施例,当然不能以此来限定本申请之权利范围。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

Claims (8)

1.一种图像处理方法,其特征在于,所述方法包括:
获取目标用户的用户图像,并根据所述用户图像提取所述目标用户的参考生物特征,所述参考生物特征包括参考面部特征和参考辅助特征;
显示参数设置界面以及所述用户图像;
响应于在所述参数设置界面中检测到的调整确认操作,从所述参数设置界面切换至构图设置界面,所述构图设置界面中包括一个或多个构图选项,一个构图选项对应一个构图方式;
在所述构图设置界面中获取选择操作所选择的目标构图方式;
基于所述目标构图方式对一个或多个美颜维度中每个美颜维度下的调整参数进行调整,得到每个美颜维度下调整后的调整参数;
根据所述每个美颜维度下调整之后的各个调整参数,对所述用户图像进行图像美化处理,并显示美化处理后的用户图像;
当在所述构图设置界面中检测到调整确认操作,获取当前通过构图设置界面所设置的每个美颜维度下的调整参数,得到第二调整参数组;
将所述第二调整参数组与所述参考面部特征、参考辅助特征关联存储至调整参数数据库;
获取待处理图像,并根据所述待处理图像获取目标生物特征,从所述调整参数数据库中获取参考调整指示信息;所述参考调整指示信息是基于所述第二调整参数组确定的,所述参考调整指示信息关联的参考生物特征与所述目标生物特征匹配;
根据所述参考调整指示信息对所述待处理图像进行调整处理,得到调整处理后的目标图像。
2.如权利要求1所述的方法,其特征在于,所述根据所述待处理图像获取目标生物特征,从所述调整参数数据库中获取参考调整指示信息,包括:
根据所述目标生物特征中的目标面部特征,从所述调整参数数据库中确定与所述目标面部特征匹配的参考面部特征;
判断所述调整参数数据库中与所述参考面部特征关联的第二调整参数组的数量;
若所述数量为一个,则将所述参考面部特征对应的第二调整参数组作为参考调整指示信息;
若所述数量为N个,则根据所述目标生物特征中的目标辅助特征从N个第二调整参数组中确定目标调整参数组,并将目标调整参数组作为参考调整指示信息;其中,所述调整参数数据库中所述目标调整参数组关联的参考辅助特征与所述目标辅助特征之间的相似度大于相似度阈值,N为大于1的正整数。
3.如权利要求2所述的方法,其特征在于,所述方法还包括:
若从所述调整参数数据库中没有确定出与所述目标面部特征匹配的参考面部特征,则获取所述待处理图像中人脸图像的面部类型;
从所述调整参数数据库中获取与所述面部类型匹配的第二调整参数组作为标准调整参数组,并将所述标准调整参数组作为参考调整指示信息。
4.如权利要求1所述的方法,其特征在于,所述待处理图像包括第一用户的图像和第二用户的图像;
所述根据所述待处理图像获取目标生物特征,从所述调整参数数据库中获取参考调整指示信息,包括:
根据所述待处理图像分别确定所述第一用户的第一生物特征和所述第二用户的第二生物特征;
从所述调整参数数据库中获取第一参考调整指示信息;所述第一参考调整指示信息关联的生物特征与所述第一生物特征匹配;
若所述调整参数数据库中不存在与所述第二生物特征匹配的生物特征,则确定所述第二用户的面部类型,并根据所述面部类型获取第二参考调整指示信息;
所述根据所述参考调整指示信息对所述待处理图像进行调整处理,包括:
基于所述第一参考调整指示信息对所述第一用户的图像进行调整处理,以及基于所述第二参考调整指示信息对所述第二用户的图像进行调整处理。
5.一种图像处理装置,其特征在于,包括用于执行如权利要求1~4中任一项所述的方法的单元。
6.一种图像处理装置,其特征在于,包括处理器;
所述处理器,用于执行如权利要求1~4中任一项所述的方法。
7.根据权利要求6所述的图像处理装置,其特征在于,所述图像处理装置还包括存储器:
所述存储器,用于存储计算机程序;
所述处理器,具体用于从所述存储器中调用所述计算机程序,执行如权利要求1~4中任一项所述的方法。
8.一种模组设备,其特征在于,所述模组设备包括通信模组、电源模组、存储模组以及芯片模组,其中:
所述电源模组用于为所述模组设备提供电能;
所述存储模组用于存储数据和指令;
所述通信模组用于进行模组设备内部通信,或者用于所述模组设备与外部设备进行通信;
所述芯片模组用于:
获取目标用户的用户图像,并根据所述用户图像提取所述目标用户的参考生物特征,所述参考生物特征包括参考面部特征和参考辅助特征;
显示参数设置界面以及所述用户图像;
响应于在所述参数设置界面中检测到的调整确认操作,从所述参数设置界面切换至构图设置界面,所述构图设置界面中包括一个或多个构图选项,一个构图选项对应一个构图方式;
在所述构图设置界面中获取选择操作所选择的目标构图方式;
基于所述目标构图方式对一个或多个美颜维度中每个美颜维度下的调整参数进行调整,得到每个美颜维度下调整后的调整参数;
根据所述每个美颜维度下调整之后的各个调整参数,对所述用户图像进行图像美化处理,并显示美化处理后的用户图像;
当在所述构图设置界面中检测到调整确认操作,获取当前通过构图设置界面所设置的每个美颜维度下的调整参数,得到第二调整参数组;
将所述第二调整参数组与所述参考面部特征、参考辅助特征关联存储至调整参数数据库;
获取待处理图像,并根据所述待处理图像获取目标生物特征,从所述调整参数数据库中获取参考调整指示信息;所述参考调整指示信息是基于所述第二调整参数组确定的,所述参考调整指示信息关联的参考生物特征与所述目标生物特征匹配;
根据所述参考调整指示信息对所述待处理图像进行调整处理,得到调整处理后的目标图像。
CN202111000039.XA 2021-08-26 2021-08-26 图像处理方法、装置、芯片及其模组设备 Active CN113793252B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111000039.XA CN113793252B (zh) 2021-08-26 2021-08-26 图像处理方法、装置、芯片及其模组设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111000039.XA CN113793252B (zh) 2021-08-26 2021-08-26 图像处理方法、装置、芯片及其模组设备

Publications (2)

Publication Number Publication Date
CN113793252A CN113793252A (zh) 2021-12-14
CN113793252B true CN113793252B (zh) 2023-07-18

Family

ID=79182391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111000039.XA Active CN113793252B (zh) 2021-08-26 2021-08-26 图像处理方法、装置、芯片及其模组设备

Country Status (1)

Country Link
CN (1) CN113793252B (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107730445B (zh) * 2017-10-31 2022-02-18 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质和电子设备
CN107995415A (zh) * 2017-11-09 2018-05-04 深圳市金立通信设备有限公司 一种图像处理方法、终端及计算机可读介质
CN107862653B (zh) * 2017-11-30 2021-08-17 Oppo广东移动通信有限公司 图像显示方法、装置、存储介质和电子设备
CN109584151B (zh) * 2018-11-30 2022-12-13 腾讯科技(深圳)有限公司 人脸美化方法、装置、终端及存储介质

Also Published As

Publication number Publication date
CN113793252A (zh) 2021-12-14

Similar Documents

Publication Publication Date Title
CN111444826B (zh) 视频检测方法、装置、存储介质及计算机设备
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
CN112287852B (zh) 人脸图像的处理方法、显示方法、装置及设备
CN112991494B (zh) 图像生成方法、装置、计算机设备及计算机可读存储介质
CN111489378A (zh) 视频帧特征提取方法、装置、计算机设备及存储介质
CN112989767B (zh) 医学词语标注方法、医学词语映射方法、装置及设备
US11210563B2 (en) Method and apparatus for processing image
CN112990053B (zh) 图像处理方法、装置、设备及存储介质
CN112532882B (zh) 图像显示方法和装置
CN112381707B (zh) 图像生成方法、装置、设备以及存储介质
CN114092678A (zh) 图像处理方法、装置、电子设备及存储介质
US11297225B2 (en) Video producing method, apparatus, storage medium, and electronic device
US20230410376A1 (en) Compressing image-to-image models with average smoothing
CN113705302A (zh) 图像生成模型的训练方法、装置、计算机设备及存储介质
CN114913061A (zh) 一种图像处理方法、装置、存储介质及电子设备
CN112037305B (zh) 对图像中的树状组织进行重建的方法、设备及存储介质
CN113822263A (zh) 图像标注方法、装置、计算机设备及存储介质
CN113793252B (zh) 图像处理方法、装置、芯片及其模组设备
CN113569822B (zh) 图像分割方法、装置、计算机设备及存储介质
CN112950641A (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
CN111583168A (zh) 图像合成方法、装置、计算机设备和存储介质
CN117014561B (zh) 信息融合方法、可学习变量的训练方法及电子设备
CN115357958A (zh) 基于图像的鞋体设计数据的匹配方法、装置、设备及介质
CN114996515A (zh) 视频特征提取模型的训练方法、文本生成方法及装置
CN114996514A (zh) 文本生成方法、装置、计算机设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant