CN113436280A - 一种基于信息采集的形象设计系统 - Google Patents
一种基于信息采集的形象设计系统 Download PDFInfo
- Publication number
- CN113436280A CN113436280A CN202110845822.XA CN202110845822A CN113436280A CN 113436280 A CN113436280 A CN 113436280A CN 202110845822 A CN202110845822 A CN 202110845822A CN 113436280 A CN113436280 A CN 113436280A
- Authority
- CN
- China
- Prior art keywords
- information
- image
- module
- image characteristic
- characteristic information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013461 design Methods 0.000 title claims abstract description 45
- 239000011159 matrix material Substances 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 23
- 238000013507 mapping Methods 0.000 claims abstract description 21
- 238000003860 storage Methods 0.000 claims abstract description 20
- 239000000284 extract Substances 0.000 claims abstract description 10
- 230000001815 facial effect Effects 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 13
- 210000000697 sensory organ Anatomy 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- 238000000605 extraction Methods 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 6
- 239000003623 enhancer Substances 0.000 claims description 3
- 230000010365 information processing Effects 0.000 claims description 3
- 210000000056 organ Anatomy 0.000 claims description 2
- 108091006146 Channels Proteins 0.000 description 16
- 238000010586 diagram Methods 0.000 description 8
- 238000005286 illumination Methods 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002310 reflectometry Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于信息采集的形象设计系统，其包括：标定模块，标定模块提取第一形象特征信息；分割模块，分割模块接收第一形象特征信息并进行信息分割得到第二形象特征信息，第一形象特征信息变换成第二形象特征信息的映射矩阵为E；存储模块，存储模块上预存有备用信息；处理模块，处理模块连接标定模块以及存储模块，处理模块将备用信息叠加或替换到第二形象特征信息上得到第三形象特征信息，第三形象特征信息经映射矩阵的逆矩阵E1变换还原输出形象设计图片方案，本发明利用摄像模块，通过一系列标定以及变换算法结合神经网络图片分割，通过对神经网络返回坐标的处理，实现用户个人的形象在线设计功能。
Description
技术领域
本发明智能设计系统技术领域，尤其涉及一种基于信息采集的形象设计系统。
背景技术
近年来人们生活水平的不断提高，人们对自己的形象关注程度逐渐增大，拥有良好的形象可以给人留下一个好而深刻的印象，同时，也使自己生活中表现的更为轻松和自行，形象设计已经逐渐成为人们生活审美中不可或缺的一部分。现有技术中，可以使用智能镜等产品对用户的形象进行辅助设计，通常情况下，可以针对五官结构的面部特征进行提取，通过预置算法对比当前用户人脸做匹配，生成辅助的形象设计方案。但是，面部特征在系统环境下所呈现的图像清晰度差，针对脸部的局部设计难以实现，在线预览功能不足，导致用户在按照生成的辅助的形象设计方案进行设计时，可能无法达到用户的预期效果，因此，现有技术中生成的辅助的形象设计方案可靠性较差。
发明内容
本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
鉴于上述现有存在的问题，提出了本发明。
因此，本发明解决的一个技术问题是提供一种基于信息采集的形象设计系统，能够基于用户脸部信息采集然后匹配在线脸部妆容优化或者替换，进行形象设计。
为解决上述技术问题，本发明提供如下技术方案：一种基于信息采集的形象设计系统，其特征在于：包括标定模块，所述标定模块提取第一形象特征信息并将其设置在预设位置上；分割模块，所述分割模块接收所述第一形象特征信息并进行信息分割得到第二形象特征信息，第一形象特征信息变换成第二形象特征信息的映射矩阵为；存储模块，所述存储模块上预存有备用信息；所述备用信息数据类型跟所述第二形象特征信息类型相同；处理模块，所述处理模块连接标定模块以及存储模块，所述处理模块将所述备用信息叠加替换到第二形象特征信息上得到第三形象特征信息，所述第三形象特征信息经映射矩阵E的逆矩阵E1变换还原输出形象设计图片方案。
作为本发明所述的基于信息采集的形象设计系统的一种优选方案，其中：定义所述映射矩阵E包括以下步骤，接收所述第一形象特征信息并建立坐标系，标定图像的特征点获取像素坐标；剪辑所述第一形象特征信息，识别出人脸区域像素坐标信息，剪辑出人脸轮廓；识别剪辑出来的人脸轮廓像素坐标，并进行人脸五官分割，将第一形象特征信息分割成有限个信息子集即为第二形象特征信息；记录上述所述第一形象特征信息的各像素点的坐标位置以及坐标系求出映射逆矩阵E1；定义所述第一形象特征信息与所述第二形象特征信息的变换关系为A1＝A·E；定义所述第二形象特征信息与所述第三形象特征信息的变换关系为A2＝A1·E1。
作为本发明所述的基于信息采集的形象设计系统的一种优选方案，其中：所述标定模块的硬件部分包括摄像模组、电源以及信息传输模组，用户唤醒所述标定模块，由摄像模组识别并获得用户个人脸部特征图像；信息传输模组将信息传输到其他模块。
作为本发明所述的基于信息采集的形象设计系统的一种优选方案，其中：所述存储模块包括主存以及外存，主存访问外存并读取数据；外存存储着所述备用信息，所述备用信息的数据类型为数组，其信息包括脸型、五官、妆容、发型。
作为本发明所述的基于信息采集的形象设计系统的一种优选方案，其中：定义所述映射矩阵E的步骤中，剪辑所述第一形象特征信息得出人脸轮廓，采用的剪辑函数为dlib，部分代码如下：
作为本发明所述的基于信息采集的形象设计系统的一种优选方案，其中：定义所述映射矩阵E的步骤中，识别剪辑出来的人脸轮廓像素坐标，并进行人脸五官分割，人脸五官分割的函数是基于BiSeNet，部分代码如下：
作为本发明所述的基于信息采集的形象设计系统的一种优选方案，其中：所述处理模块硬件部分包括编码器，编码器接收所述第二形象特征信息中各部分的特征，并将其映射到一个分离的样式潜在空间编码器；人脸五官编码器提取第二形象特征信息的五官特征；融合解码器将第二形象特征信息的五官特征与备用信息中的五官特征融合，生成新人脸五官特征结果。
作为本发明所述的基于信息采集的形象设计系统的一种优选方案，其中：还包括增强模块，所述增强模块连接在标定模块以及分割模块之间，所述增强模块接收所述第一形象特征信息并对其进行增强处理。
作为本发明所述的基于信息采集的形象设计系统的一种优选方案，其中：所述增强模块(500)包括特征提取子模块、增强子模块和融合子模块，特征提取子模块包括有限层卷积单流向网络；每层卷积单流向网络的输出都会被输入到对应的增强子模块中分别提取层次特征进行增强处理；增强后的层次特征输入到融合子模块拼接到一起并通过1x1卷积融合得到最终结果。
本发明的有益效果：本发明利用摄像模块，通过一系列标定以及变换算法，能够结合神经网络图片分割，通过对神经网络返回坐标的处理，实现用户个人的形象在线设计，具有设计快速、清晰度较高、支持在线妆容迁移或发型改变后的形象预览的功能。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
图1为第一个实施例中各模块连接图
图2为第一个实施例中坐标系示意图
图3为第二个实施例中各模块连接图
图4为第二个实施例中摄像模组畸变示意图
图5为第二个实施例中摄像模组畸变示意图
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1
参照图1～2的示意，本实施例中提供一种基于信息采集的形象设计系统，其包括：标定模块100，标定模块100提取第一形象特征信息A并将其设置在预设位置上；分割模块200，分割模块200接收第一形象特征信息A并进行信息分割得到第二形象特征信息A1，第一形象特征信息A变换成第二形象特征信息A1的映射矩阵为E；存储模块300，存储模块300上预存有备用信息B；备用信息B数据类型跟第二形象特征信息A1类型相同；处理模块400，处理模块400连接标定模块100以及存储模块200，处理模块400将备用信息B叠加或替换到第二形象特征信息A1上得到第三形象特征信息A2，第三形象特征信息A2经映射矩阵E的逆矩阵E1变换还原输出形象设计图片方案。具体的，包括以下，
标定模块100的硬件部分包括摄像模组、电源以及信息传输模组。用户唤醒标定模块100，标定模块100包含有能够进行拍摄图像的单目摄像模组或者照相机，利用摄像模组所拍摄到的图像来获取用户个人脸部特征，信息传输模组将信息传输到其他模块。标定模块100所拍摄到的第一形象特征信息A包含的物体之间存在一种线性关系。因而可以确定测量坐标系，其是一个二维直角坐标系，先设定坐标系原点，然后以其为基准可以描述物体之间的像素空间位置，测量坐标系的原点位置可以根据实际情况自由确定。分割模块200接收标定模块100传输过来的第一形象特征信息A，并完成上述坐标系的建立{设原点坐标为(uo，vo)}，标定第一形象特征信息A的图像特征点获取像素坐标；由于用户自拍的时候照片中往往掺杂着环境/背景等人脸之外的图片信息，因此为保证人脸轮廓形象设计的纯粹性，需要首先剪辑出人脸区域来针对性的优化，因此剪辑第一形象特征信息A，识别出人脸区域像素坐标信息，剪辑出人脸轮廓；采用的剪辑函数为dlib函数，部分代码如下：
经过上述代码识别剪辑出人脸轮廓得到像素坐标之后由于用户往往需要进行的是局部设计，例如改变单双眼皮或者把鼻子弄得正挺一点、改变头发留海发型等等，为了实现用户这种需求，因此需要进行人脸五官分割，将第一形象特征信息A分割成有限个信息子集(鼻子区域单独切割出来形成鼻子图像信息子集，其他区域类似)即为第二形象特征信息A1；人脸五官分割的函数是基于BiSeNet，部分代码如下：
由于第一形象特征信息A中建立了坐标系，因此可以记录原始图片中人脸五官等区域的像素坐标，在上述图像切割分部保存的过程中系统也保存着各个部分的原始图像像素坐标位置信息，上述步骤可以整体定义为映射矩阵E的变换过程。以便后续参照还原成跟第一形象特征信息A等位置比例的经过形象设计的照片即第三形象特征信息A2，参照变换映射矩阵E(依据各像素点的坐标位置以及坐标系)求出映射逆矩阵E1；即为第一形象特征信息A与第二形象特征信息A1的变换关系为A1＝A·E；定义第二形象特征信息A1与第三形象特征信息A2的变换关系为A2＝A1·E1。
存储模块300包括主存以及外存，其依托在整个计算机系统的服务器之上，主存访问外存并读取数据；外存存储着备用信息B，备用信息B的数据类型为数组，其信息包括脸型、五官、妆容、发型。以存储体(大量存储单元组成的阵列)为核心，构成存储器的存储元，存储元，它可存储一个二进制代码。由若干个存储元组成一个存储单元，然后再由许多存储单元组成一个存储器，加上必要的地址译码、读写控制电路，即为存储集成电路；再加上必要的I/O接口和一些额外的电路如存取策略管理，则形存储芯片，比如手机中常用的存储芯片。备用信息B为数据库的形式保存在存储模块300中，存储模块300具备读写功能，可以根据后期需要增加备用信息B的信息数量。
处理模块400，接收从分割模块200接收第二形象特征信息A1，然后调用存储模块300中的备用信息B，将备用信息B叠加到第二形象特征信息A1上或者用备用信息B里的信息替换掉第二形象特征信息A1中的部分信息来实现形象的设计。处理模块400的硬件部分包括编码器，编码器接收第二形象特征信息A1中各部分的特征，并将其各部分分别映射到各个分离的样式潜在空间编码器；例如人脸五官编码器提取第二形象特征信息A1的五官特征；然后融合解码器将第二形象特征信息A1的五官特征与备用信息B中的五官特征融合，生成新人脸五官特征结果，过程基于SCGAN函数来实现。处理模块400得到形象设计方案第三形象特征信息A2之后通过显示屏幕输出。
实施例2
参照图3～5的示意，本实施例中提供一种基于信息采集的形象设计系统，其包括：标定模块100，标定模块100提取第一形象特征信息A并将其设置在预设位置上；分割模块200，分割模块200接收第一形象特征信息A并进行信息分割得到第二形象特征信息A1，第一形象特征信息A变换成第二形象特征信息A1的映射矩阵为E；存储模块300，存储模块300上预存有备用信息B；备用信息B数据类型跟第二形象特征信息A1类型相同；处理模块400，处理模块400连接标定模块100以及存储模块200，处理模块400将备用信息B叠加或替换到第二形象特征信息A1上得到第三形象特征信息A2，第三形象特征信息A2经映射矩阵E的逆矩阵E1变换还原输出形象设计图片方案。该实施例不同于实施例1的地方在于：还包括增强模块500，增强模块500连接在标定模块100以及分割模块200之间，增强模块500接收第一形象特征信息A并对其进行增强处理。增强模块500包括特征提取子模块、增强子模块和融合子模块，特征提取子模块包括有限层卷积单流向网络；每层卷积单流向网络的输出都会被输入到对应的增强子模块中分别提取层次特征进行增强处理；增强后的层次特征输入到融合子模块拼接到一起并通过1x1卷积融合得到最终结果。
增强模块500基于CRNet主体网络结构实现，其由两个子网络结构组成，即分解网络和增强网路，上述中特征提取子模块属于分解网络，增强子模块和融合子模块属于增强网络。
增强模块500工作时，首先将第一形象特征信息A的失真问题分解为暗面图和光照图，对分解出的暗面图采用BM3D算法进行去噪处理。为了处理去噪后图像变得平滑、丢失图像细节这一现象，在去噪的同时使用MSDB算法对图像的细节进行增强。在增强网络中，将分解后的光照图输入增强网络中训练。增强网络部分采用了增加通道注意力网络层U-Net网络结构的设计，在对图像的上下采样中可以进行特征图的传递，使上采样网络能够根据传递的特征图判断丢失的像素，抑制模糊的出现，得到高质量的光照图。在网络中添加的通道注意力网络层通过学习的方式，得到需要注意的脸部信息，获得脸部轮廓图像通道之间的关系。BM3D和MSDB算法将脸部轮廓暗面图进行图像去噪和图像细节增强处理，重建图像时消除反射图噪声的影响并提高图像质量。最后，将处理后的暗面图和光照图进行相乘得到增强后的图像。通过增大有效通道权重，减少无效通道的权重。图像经过卷积层得到特征矩阵，通道注意力机制对每个通道进行过滤得到优化后的特征。本文在网络结构中添加通道注意力网络层，获取需要注意的信息以得到最好的效果。通道注意力机制将通道的空间信息转换为通道描述符，获取1×1×c的特征图，然后压缩成1×1×c/r的特征图后，再恢复回1×1×c，通过一个sigmoid激活函数获取1×1×c的表示每个通道的权值的描述符，最后各通道权重值分别和原特征图对应通道的二维矩阵相乘。c表示第c个特征，r为缩减倍数。
为了使图像细节得到保留，添加了一个图像梯度损失函数。一个图像x和y坐标轴方向的梯度是通过二维卷积计算的，假定一个彩色图像由光照分量I(x，y)和反射分量R(x，y)相乘构成：F(x，y)＝I(x，y)·R(x，y)，其中F(x，y)表示原图像，·表示相乘。即：
梯度方向为：I＝arctant(dy/dx)梯度强度为：I＝√(dx2+dy＾2)
梯度图像为：ΔI＝I·D
损失函数为：L1＝||ΔIinput-ΔIoutput||
其中：||为1范数，ΔIinput、ΔIoutput分别是输入和输出图像梯度。网络的分解和重构损失函数依据RetinexNet算法中的损失函数建立。假设Rlow和Rnormal都可以用对应的光照图重建图像，c(i，j)表示第c个特征在通道位置(i，j)处的值，S为信道统计量，因此重构损失Lre为：Lre＝∑i＝l，n
引入不变反射率损失Ld来约束反射率的一致性，控制暗面图与光照图的分解过程为：Ld＝||Rlow-Rnormal||总的损失函数为：L＝λ1L1+λ2Lre+λ3Ld其中λ1、λ2、λ3为相应的自适应权重系数，并设λ1＝1.5、λ2＝1.5、λ3＝1。
参照图3～4的示意，本实施例中增强模块500可根据需要还可以获得第一形象特征信息A的畸变参数，畸变是对直线投影的一种偏移，畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变，可能由于摄像机镜头的原因。畸变一般可以分为：径向畸变、切向畸变。径向畸变来自于透镜形状，切向畸变来自于整个摄像模组的组装过程，畸变还有其他类型的畸变，但是没有径向畸变、切向畸变显著。具体的，径向畸变系数k1、k2、k3，r为摄像模组自身参数，切向畸变系数p1、p2。假设像素坐标为(x，y)，那么径向畸变表示为：
xdistorted＝x(1+k1r+k2r+k3r)
ydistorted＝y(1+k1r+k2r+k3r)
切向畸变表示为
xdistorted＝x+[2p1xy+p2(r+2x2)]
ydistorted＝y+[p1(r+2y2)+2p2xy]
将像素坐标代入上述公式，可判断该位置的畸变程度。
应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。
Claims (9)
1.一种基于信息采集的形象设计系统，其特征在于：包括
标定模块(100)，所述标定模块(100)提取第一形象特征信息(A)并将其设置在预设位置上；
分割模块(200)，所述分割模块(200)接收所述第一形象特征信息(A)并进行信息分割得到第二形象特征信息(A1)，第一形象特征信息(A)变换成第二形象特征信息(A1)的映射矩阵为E；
存储模块(300)，所述存储模块(300)上预存有备用信息(B)；所述备用信息(B)数据类型跟所述第二形象特征信息(A1)类型相同；
处理模块(400)，所述处理模块(400)连接标定模块(100)以及存储模块(200)，所述处理模块(400)将所述备用信息(B)叠加替换到第二形象特征信息(A1)上得到第三形象特征信息(A2)，所述第三形象特征信息(A2)经映射矩阵E的逆矩阵E1变换还原输出形象设计图片方案。
2.如权利要求1所述的基于信息采集的形象设计系统，其特征在于：定义所述映射矩阵E包括以下步骤，
接收所述第一形象特征信息(A)并建立坐标系，标定图像的特征点获取像素坐标；
剪辑所述第一形象特征信息(A)，识别出人脸区域像素坐标信息，剪辑出人脸轮廓；
识别剪辑出来的人脸轮廓像素坐标，并进行人脸五官分割，将第一形象特征信息(A)分割成有限个信息子集即为第二形象特征信息(A1)；
记录上述所述第一形象特征信息(A)的各像素点的坐标位置以及坐标系求出映射逆矩阵E1；
定义所述第一形象特征信息(A)与所述第二形象特征信息(A1)的变换关系为A1＝A·E；定义所述第二形象特征信息(A1)与所述第三形象特征信息(A2)的变换关系为A2＝A1·E1。
3.如权利要求1所述的基于信息采集的形象设计系统，其特征在于：所述标定模块(100)的硬件部分包括摄像模组、电源以及信息传输模组，用户唤醒所述标定模块(100)，由摄像模组识别并获得用户个人脸部特征图像；信息传输模组将信息传输到其他模块。
4.如权利要求1所述的基于信息采集的形象设计系统，其特征在于：所述存储模块(300)包括主存以及外存，主存访问外存并读取数据；外存存储着所述备用信息(B)，所述备用信息(B)的数据类型为数组，其信息包括脸型、五官、妆容、发型。
5.如权利要求2所述的基于信息采集的形象设计系统，其特征在于：定义所述映射矩阵E的步骤中，剪辑所述第一形象特征信息(A)得出人脸轮廓，采用的剪辑函数为dlib，部分代码如下：
6.如权利要求2所述的基于信息采集的形象设计系统，其特征在于：定义所述映射矩阵E的步骤中，识别剪辑出来的人脸轮廓像素坐标，并进行人脸五官分割，人脸五官分割的函数是基于BiSeNet，部分代码如下：
7.如权利要求1的基于信息采集的形象设计系统，其特征在于：所述处理模块(400)硬件部分包括编码器，编码器接收所述第二形象特征信息(A1)中各部分的特征，并将其映射到一个分离的样式潜在空间编码器；人脸五官编码器提取第二形象特征信息(A1)的五官特征；融合解码器将第二形象特征信息(A1)的五官特征与备用信息(B)中的五官特征融合，生成新人脸五官特征结果。
8.如权利要求1～7所述的基于信息采集的形象设计系统，其特征在于：还包括增强模块(500)，所述增强模块(500)连接在标定模块(100)以及分割模块(200)之间，所述增强模块(500)接收所述第一形象特征信息(A)并对其进行增强处理。
9.如权利要求8所述的基于信息采集的形象设计系统，其特征在于：所述增强模块(500)包括特征提取子模块、增强子模块和融合子模块，特征提取子模块包括有限层卷积单流向网络；每层卷积单流向网络的输出都会被输入到对应的增强子模块中分别提取层次特征进行增强处理；增强后的层次特征输入到融合子模块拼接到一起并通过1x1卷积融合得到最终结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845822.XA CN113436280A (zh) | 2021-07-26 | 2021-07-26 | 一种基于信息采集的形象设计系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110845822.XA CN113436280A (zh) | 2021-07-26 | 2021-07-26 | 一种基于信息采集的形象设计系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113436280A true CN113436280A (zh) | 2021-09-24 |
Family
ID=77761790
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110845822.XA Pending CN113436280A (zh) | 2021-07-26 | 2021-07-26 | 一种基于信息采集的形象设计系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113436280A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115795634A (zh) * | 2023-02-08 | 2023-03-14 | 万得福实业集团有限公司 | 一种节能装饰吊顶的智能化制造方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159064A (zh) * | 2007-11-29 | 2008-04-09 | 腾讯科技（深圳）有限公司 | 画像生成系统以及按照图像生成画像的方法 |
| US20130058543A1 (en) * | 2011-09-06 | 2013-03-07 | The Proctor & Gamble Company | Systems, devices, and methods for image analysis |
| CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
| CN110517325A (zh) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 |
| CN112200717A (zh) * | 2020-10-26 | 2021-01-08 | 广州紫为云科技有限公司 | 基于神经网络的复杂服装虚拟试衣方法、装置及存储介质 |
| CN112541963A (zh) * | 2020-11-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
-
2021
- 2021-07-26 CN CN202110845822.XA patent/CN113436280A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101159064A (zh) * | 2007-11-29 | 2008-04-09 | 腾讯科技（深圳）有限公司 | 画像生成系统以及按照图像生成画像的方法 |
| US20130058543A1 (en) * | 2011-09-06 | 2013-03-07 | The Proctor & Gamble Company | Systems, devices, and methods for image analysis |
| CN109376582A (zh) * | 2018-09-04 | 2019-02-22 | 电子科技大学 | 一种基于生成对抗网络的交互式人脸卡通方法 |
| CN110517325A (zh) * | 2019-08-29 | 2019-11-29 | 的卢技术有限公司 | 一种坐标变换及坐标变换的车身周围物体定位方法和系统 |
| CN112200717A (zh) * | 2020-10-26 | 2021-01-08 | 广州紫为云科技有限公司 | 基于神经网络的复杂服装虚拟试衣方法、装置及存储介质 |
| CN112541963A (zh) * | 2020-11-09 | 2021-03-23 | 北京百度网讯科技有限公司 | 三维虚拟形象生成方法、装置、电子设备和存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115795634A (zh) * | 2023-02-08 | 2023-03-14 | 万得福实业集团有限公司 | 一种节能装饰吊顶的智能化制造方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Jung et al. | Unsupervised deep image fusion with structure tensor representations | |
| Chen et al. | Perceptual underwater image enhancement with deep learning and physical priors | |
| Li et al. | Single image de-hazing using globally guided image filtering | |
| CN109785258B (zh) | 一种基于多判别器生成对抗网络的人脸图像修复方法 | |
| CN111445582A (zh) | 一种基于光照先验的单张图像人脸三维重建方法 | |
| US7817161B2 (en) | Texture synthesis using dimensionality-reduced appearance space | |
| CN111507333B (zh) | 一种图像矫正方法、装置、电子设备和存储介质 | |
| CN111028142A (zh) | 图像处理方法、装置和存储介质 | |
| CN115358917B (zh) | 一种手绘风格非对齐人脸迁移方法、设备、介质和系统 | |
| CN110853119A (zh) | 一种鲁棒的基于参考图片的妆容迁移方法 | |
| CN113450288A (zh) | 基于深度卷积神经网络单图像去雨方法、系统和存储介质 | |
| Chen et al. | Modeling and optimizing of the multi-layer nearest neighbor network for face image super-resolution | |
| CN114648787A (zh) | 人脸图像的处理方法及相关设备 | |
| CN113436280A (zh) | 一种基于信息采集的形象设计系统 | |
| Shen et al. | AFFNet: attention mechanism network based on fusion feature for image cloud removal | |
| CN113724302B (zh) | 一种个性化眼镜定制方法及定制系统 | |
| CN113298704B (zh) | 一种广播电视新闻下利用图迁移的肤色分割及美化方法 | |
| Wang et al. | Face hallucination using multisource references and cross‐scale dual residual fusion mechanism | |
| CN112614063A (zh) | 用于楼宇内低照度环境的图像增强和噪声自适应去除方法 | |
| CN115115552B (zh) | 图像矫正模型训练及图像矫正方法、装置和计算机设备 | |
| CN114898244B (zh) | 一种信息处理方法、装置、计算机设备及存储介质 | |
| CN116452431A (zh) | 基于多分支渐进式深度网络的弱光图像增强方法 | |
| CN113469903A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
| Yang et al. | An end‐to‐end perceptual enhancement method for UHD portrait images | |
| Zhang et al. | Facial Image Shadow Removal via Graph‐based Feature Fusion |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210924 |