CN108076290B - 一种图像处理方法及移动终端 - Google Patents
一种图像处理方法及移动终端 Download PDFInfo
- Publication number
- CN108076290B CN108076290B CN201711384956.6A CN201711384956A CN108076290B CN 108076290 B CN108076290 B CN 108076290B CN 201711384956 A CN201711384956 A CN 201711384956A CN 108076290 B CN108076290 B CN 108076290B
- Authority
- CN
- China
- Prior art keywords
- image
- target object
- eliminated
- processing
- stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 66
- 239000011521 glass Substances 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000003379 elimination reaction Methods 0.000 claims description 33
- 210000001508 eye Anatomy 0.000 claims description 33
- 238000005457 optimization Methods 0.000 claims description 33
- 230000008030 elimination Effects 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 10
- 238000009499 grossing Methods 0.000 claims description 7
- 210000000720 eyelash Anatomy 0.000 claims description 6
- 238000011084 recovery Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 20
- 230000000694 effects Effects 0.000 abstract description 17
- 230000006870 function Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 235000002673 Dioscorea communis Nutrition 0.000 description 2
- 241000544230 Dioscorea communis Species 0.000 description 2
- 208000035753 Periorbital contusion Diseases 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G06T3/04—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
Abstract
本发明提供了一种图像处理方法及移动终端，涉及电子技术领域，解决现有技术中佩戴某些物品拍照影响成像效果的问题。方法包括：识别摄像头采集的图像中的至少一个目标对象；将图像中的至少一个目标对象进行消除处理，获得第一阶段图像；对第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，获得第二阶段图像；根据第二阶段图像，生成目标图像。本发明的方案自动消除照片中的目标对象，如眼镜等，保证了成像效果，提高了拍照质量，提升了用户拍照体验。
Description
技术领域
本发明涉及电子技术领域，尤其涉及一种图像处理方法及移动终端。
背景技术
随着电子技术的不断发展，手机拍照与摄像技术越来越成熟，能够处理拍照时遇到的大部分问题，如：补光、柔光、虚化等。但现有拍照技术对于某些特殊人群、特殊场景还是有所欠缺，如对于佩戴了眼镜、帽子等物品的人物拍照时，这些物体会影响美观和成像效果，但每次拍照都摘掉这些物品又太过于麻烦，特别是对于佩戴眼镜的人士，摘掉眼镜后的眼球变形、黑眼圈、视力不集中或者眼睛为了聚光不自觉的眯起等情况，更加影响拍照质量。
发明内容
本发明实施例提供一种图像处理方法及移动终端，以解决现有技术中佩戴某些物品拍照影响成像效果的问题。
为了解决上述技术问题，本发明是这样实现的：一种图像处理方法，包括：
识别摄像头采集的图像中的至少一个目标对象；
将所述图像中的至少一个目标对象进行消除处理，获得第一阶段图像；
对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，获得第二阶段图像；
根据所述第二阶段图像，生成目标图像。
第一方面，本发明的实施例还提供了一种移动终端，包括：
识别模块，用于识别摄像头采集的图像中的至少一个目标对象；
消除模块，用于将所述图像中的至少一个目标对象进行消除处理，获得第一阶段图像；
处理模块，用于对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，获得第二阶段图像；
生成模块，用于根据所述第二阶段图像，生成目标图像。
第二方面，本发明的实施例还提供了一种移动终端，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上任一项所述的图像处理方法的步骤。
第三方面，本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的图像处理方法的步骤。
在本发明实施例中，首先识别摄像头采集的图像中的至少一个目标对象；然后将图像中的至少一个目标对象进行消除处理，获得第一阶段图像；再对第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，获得第二阶段图像；最后根据第二阶段图像，生成目标图像。从而自动消除照片中的目标对象，如眼镜等，保证了成像效果，提高了拍照质量，提升了用户拍照体验。
附图说明
图1为本发明实施例提供的图像处理方法的流程图；
图2为本发明实施例提供的图像处理方法的另一流程图；
图3为本发明实施例提供的图像处理方法的另一流程图；
图4为本发明实施例提供的图像处理方法的另一流程图；
图5为本发明实施例提供的移动终端的结构示意图；
图6为本发明实施例提供的移动终端的另一结构示意图；
图7为本发明实施例提供的移动终端的另一结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的一些实施例中，提供了一种图像处理方法，参照图1所示，包括：
步骤101，识别摄像头采集的图像中的至少一个目标对象。
这里，通过识别摄像头采集的图像中的至少一个目标对象，以便于对目标对象进行消除。
其中，摄像头采集的图像可以是拍照过程中摄像头实时采集的图像，也可以是图库中保存的图像。
其中，目标对象如可以是眼镜或其他物品。
步骤102，将所述图像中的至少一个目标对象进行消除处理，获得第一阶段图像。
这里，图像中可能包含一个或多个目标对象，通过将图像中的至少一个目标对象进行消除处理，获得第一阶段图像，避免了目标对象对成像效果的影响。
步骤103，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，获得第二阶段图像。
这里，将图像中的目标对象消除后，被消除的目标对象所在的区域像素缺失，为了避免影响图像质量，本步骤通过对第一阶段图像中被消除的目标对象所在的区域进行像素填充，保证了图像质量。
步骤104，根据所述第二阶段图像，生成目标图像。
这里，根据第二阶段图像，生成目标图像，得到了消除目标对象、成像效果较好的照片。
本发明实施例的图像处理方法，自动消除照片中的目标对象，如眼镜等，保证了成像效果，提高了拍照质量，提升了用户拍照体验。
进一步的，上述步骤101可在检测到消除指令时，再识别摄像头采集的图像中的至少一个目标对象，以消除目标对象。
此时，用户可在需要时，通过输入消除指令的方式，启动消除目标对象的过程，以改善成像效果，得到消除目标对象、成像效果较好的照片。
具体的，可在相机应用中添加消除模式的按钮，当用户点击该按钮时，生成消除指令。
可选的，上述步骤101包括：
步骤1011，根据预先训练得到的识别模型，识别摄像头采集的图像中的至少一个目标对象。
这里，根据预先训练得到的识别模型，能够准确识别摄像头采集的图像中的目标对象。
其中，本发明对训练得到识别模型的具体方式不作限定，可采用任意一种公知方式。如可基于深度学习以及大规模图像训练建立识别模型，并在获得新的图像后，利用新的图像不断优化识别模型。
可选的，如图2所示，上述步骤102包括：
步骤1021，将所述图像分割为目标对象区域和非目标对象区域。
这里，识别图像中的至少一个目标对象后，可将图像分割为目标对象区域和非目标对象区域，即把目标对象划分出明确界限，以便于对目标对象进行消除。其中目标对象区域可能为多个。
例如，图像为包含人脸的图像，目标对象为人脸佩戴的眼镜，本步骤中，将图像分割为眼镜区域和非眼镜区域。
其中，可采用预设图像分割算法，将图像分割为目标对象区域和非目标对象区域。图像分割算法可采用任意一种公知的分割算法。
步骤1022，提取所述目标对象区域的轮廓信息。
这里，通过提取目标对象区域的轮廓信息，便于对目标对象进行消除处理。
例如，图像为包含人脸的图像，目标对象为人脸佩戴的眼镜，本步骤中，提取眼镜区域的轮廓信息。
步骤1023，根据所述目标对象区域的轮廓信息，将所述图像中的目标对象进行消除处理。
这里，根据目标对象区域的轮廓信息，能够准确地将图像中的目标对象进行消除，从而避免目标对象对成像效果的影响。
例如，图像为包含人脸的图像，目标对象为人脸佩戴的眼镜，本步骤中，根据眼镜区域的轮廓信息，将图像中的眼镜进行消除处理，其中，眼镜一般包括镜片和镜框，可分别将图像中的镜片和镜框消除。
可选的，上述步骤102包括：
根据预先设定的消除参数，将所述图像中的至少一个目标对象进行消除处理；所述消除参数包括需要消除的目标对象个数。
这里，根据预先设定的消除参数中指定的需要消除的目标对象个数，将图像中的至少一个目标对象进行消除处理，使用户可以通过设定消除参数，指定需要消除的目标对象个数，方便了用户的使用，提高了便利性。
或者根据用户对所述图像中的至少一个目标对象的选择操作，将所述选择操作对应的目标对象进行消除处理。
这里，可将图像显示给用户，并根据用户对图像中的至少一个目标对象的选择操作，将选择操作对应的目标对象进行消除处理，使得用户可根据自己的需求实时选择需要消除的目标对象，方便了用户的使用，提高了便利性。
其中，可通过检测用户对图像的预定手势操作，确定用户选择的目标对象。如可通过检测用户在图像上以画圈的方式的圈定的范围，将圈定范围内的目标对象作为用户选择的目标对象进行消除处理。
可选的，如图3所示，上述步骤103包括：
步骤1031，提取所述目标对象覆盖物体的像素信息。
这里，通过提取目标对象覆盖物体的像素信息，作为替换目标对象区域的像素源，能够保证填充后图像的一致性。
步骤1032，根据提取的像素信息，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。
这里，根据提取的像素信息，对第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，避免了图像的像素缺失，保证了图像的一致性，保证了图像质量。
其中，可采用预设图像恢复算法，根据提取的像素信息，对第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。图像恢复算法可采用任意一种公知的恢复算法。
可选的，上述步骤103包括：
步骤1033，获取所述目标对象覆盖物体的替换样本。
这里，可预先存储目标对象覆盖物体的替换样本，通过获取目标对象覆盖物体的替换样本，便于及时对被消除的目标对象所在的区域进行像素填充处理，且可提供多个替换样本供用户选择，丰富了成像类型，方便了用户使用。
步骤1034，根据所述替换样本，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。
这里，根据替换样本，对第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，避免了图像的像素缺失，保证了图像质量。
其中，可采用预设图像恢复算法，根据替换样本，对第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。图像恢复算法可采用任意一种公知的恢复算法。
例如，图像为包含人脸的图像，目标对象为人脸佩戴的眼镜，分别消除镜片和镜框后，对于镜片和镜框覆盖的人脸区域，可基于上述步骤1031和步骤1032，通过提取镜片和镜框覆盖的人脸的像素信息，对被消除的镜片和镜框所在的人脸区域进行像素填充处理，对于镜片覆盖的眼睛区域，可基于上述步骤1033和步骤1034，根据眼睛的替换样本，对被消除的镜片所在的眼睛区域进行像素填充处理。
其中，如果图像中人物佩戴的是平光镜，可以透视人眼原样，可在消除镜片后，保留原来镜片覆盖的眼部及眼部周围的像素，进行自然场景恢复。如果图像中人物佩戴的是太阳镜或者墨镜，由于无法透视人眼原样，在消除镜片后，可基于上述步骤1033和步骤1034对眼睛的像素进行填充，还可与人物脸部轮廓进行对照，勾勒并还原出人眼图像。
具体的，上述步骤1033包括：
步骤10331，将用户在预先建立的所述物体的材料库中选择的样本作为所述替换样本。
这里，提供了目标对象覆盖物体的材料库，用户可在材料库中选择任意样本作为替换样本填充到原来的图像中，丰富了成像类型，方便了用户使用。
例如，提供了眼睛的材料库，材料库中包括若干种眼型、眼睫毛等，用户可手动匹配和图像中人物相似的眼型、眼睫毛等，本步骤中将用户选择的眼型、眼睫毛作为替换样本，通过将替换样本填充到原来的图像中，实时还原了人物图像，保证了成像质量。
或者步骤10332，根据包含所述物体的历史图像，获取所述物体的替换样本。
这里，可根据包含目标对象覆盖物体的历史图像，对物体的图像特征进行学习，以获取到物体的替换样本，此时替换样本更接近原来图像中的物体，保证了图像还原的真实性。
例如，可根据包含眼镜覆盖的当前人物眼睛的历史图像，对眼睛的图像特征进行学习，获取眼睛的替换样本填充到原来的图像中，实时还原人物图像，保证成像质量。
其中，用户可在相册中选择当前人物的照片供系统学习，系统会自动分析人物脸部特征，实时匹配图像中人物的脸型和眼型，还原人物无眼镜图像，完成拍照。
可选的，上述步骤104包括：
步骤1041，按照预设算法对所述第二阶段图像进行平滑处理、图像增强处理和/或图像优化处理，生成目标图像。
此时，按照预设算法对第二阶段图像进行平滑处理、图像增强处理和/或图像优化处理，进一步改善了图像质量，获得了图像质量更好的目标图像。
具体的，可对第二阶段图像进行高斯平滑，以减少图像噪声以及降低细节层次，使图像融为一体。可按照预设图像增强算法对第二阶段图像进行图像增强处理，扩大图像中不同物体特征之间的差别，使之改善质量、丰富信息量，更加符合人物和自然场景。可按照预设图像优化算法，对第二阶段图像进行细节优化处理，如眼部细节优化(还原变形的眼球、去掉黑眼圈)、脸部细节优化、场景优化等。
其中，可在相机应用中增加优化按钮，当检测到用户点击优化按钮时，对当前图像进行细节优化处理，如眼部细节优化、脸部细节优化、场景优化等，且可输出多种优化结果供用户选择。
下面对本发明实施例的图像处理方法的一具体应用流程举例说明如下。
假设目标对象为眼镜，如图4所示，本发明实施例的图像处理方法，包括：
步骤401，检测到消除指令时，识别摄像头采集的图像中的至少一个眼镜。
这里，可在检测到用户打开相机应用，选择去眼镜模式时，生成消除指令。
步骤402，根据预先设定的消除参数，将图像分割为眼镜区域和非眼镜区域。消除参数包括需要消除的眼镜个数。
步骤403，提取眼镜区域的轮廓信息。
步骤404，根据眼镜区域的轮廓信息，将图像中的至少一个眼镜进行消除处理，获得第一阶段图像。
步骤405，提取眼镜覆盖物体的像素信息。
步骤406，获取眼镜覆盖物体的替换样本。
步骤407，根据提取的像素信息以及替换样本，对第一阶段图像中被消除的眼镜所在的区域进行像素填充处理，获得第二阶段图像。
步骤408，按照预设算法对第二阶段图像进行平滑处理、图像增强处理和图像优化处理，生成目标图像。
这里，当用户对焦人物之后，可以实时显示镜头中已经消除眼镜后的人物图像，若用户满意消除后的图像，可以直接按下拍照按钮，检测到用户按下拍照按钮时，保存最终的目标图像。若用户不满意，可点击优化按钮，对当前图像进行细节优化处理，如眼部细节优化、脸部细节优化、场景优化等，并输出多种优化结果供用户选择。若还是没有用户满意的图像，用户可在眼睛的材料库中选择其他眼型、眼睫毛等的替换样本，填充到原来的图像中。
本发明实施例的图像处理方法，在相机中添加去眼镜模式，在拍照时可以自动识别，也可以人工选择此模式。当对焦人物时，可以自动识别人物脸部的眼镜，并把眼镜进行消除，实时还原脸部原样，智能选择最优结果。若用户对智能选择的结果不满意，也可手工选择和目标人物最相似的成像，并进行拍照。从而通过自动消除眼镜，可以让带眼镜人士不用摘掉眼镜而随意拍照，提升了用户拍照体验。
本发明实施例的图像处理方法，自动消除照片中的目标对象，如眼镜等，保证了成像效果，提高了拍照质量，提升了用户拍照体验。
在本发明的一些实施例中，参照图5所示，还提供了一种移动终端500。移动终端500包括：
识别模块501，用于识别摄像头采集的图像中的至少一个目标对象；
消除模块502，用于将所述图像中的至少一个目标对象进行消除处理，获得第一阶段图像；
填充模块503，用于对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，获得第二阶段图像；
生成模块504，用于根据所述第二阶段图像，生成目标图像。
本发明实施例的移动终端500，自动消除照片中的目标对象，如眼镜等，保证了成像效果，提高了拍照质量，提升了用户拍照体验。
可选的，如图6所示，所述填充模块503包括：
提取子模块5031，用于提取所述目标对象覆盖物体的像素信息；
第一填充子模块5032，用于根据提取的像素信息，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。
可选的，所述填充模块503包括：
获取子模块，用于获取所述目标对象覆盖物体的替换样本；
第二填充子模块，用于根据所述替换样本，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。
可选的，所述获取子模块包括：
第一获取单元，用于将用户在预先建立的所述物体的材料库中选择的样本作为所述替换样本；或者
第二获取单元，用于根据包含所述物体的历史图像，获取所述物体的替换样本。
可选的，所述消除模块502包括：
分割子模块5021，用于将所述图像分割为目标对象区域和非目标对象区域；
提取子模块5022，用于提取所述目标对象区域的轮廓信息；
第一消除子模块5023，用于根据所述目标对象区域的轮廓信息，将所述图像中的目标对象进行消除处理。
可选的，所述消除模块502包括：
第二消除子模块，用于根据预先设定的消除参数，将所述图像中的至少一个目标对象进行消除处理；所述消除参数包括需要消除的目标对象个数；
或者
第三消除子模块，用于根据用户对所述图像中的至少一个目标对象的选择操作，将所述选择操作对应的目标对象进行消除处理。
可选的，所述生成模块504包括：
生成子模块5041，用于按照预设算法对所述第二阶段图像进行平滑处理、图像增强处理和/或图像优化处理，生成目标图像。
可选的，所述识别模块501包括：
识别子模块5011，用于根据预先训练得到的识别模型，识别摄像头采集的图像中的至少一个目标对象。
本发明实施例提供的移动终端能实现图1至图4的方法实施例中移动终端实现的各个过程，为避免重复，在此不再赘述。本发明实施例的移动终端500，自动消除照片中的目标对象，如眼镜等，保证了成像效果，提高了拍照质量，提升了用户拍照体验。
图7为实现本发明各个实施例的一种移动终端的硬件结构示意图。该移动终端700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、处理器710、以及电源711等部件。输入单元704包括摄像头。本领域技术人员可以理解，图7中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，移动终端包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，处理器710，用于识别摄像头采集的图像中的至少一个目标对像；将所述图像中的至少一个目标对像进行消除处理，获得第一阶段图像；对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，获得第二阶段图像；根据所述第二阶段图像，生成目标图像。
该移动终端700自动消除照片中的目标对象，如眼镜等，保证了成像效果，提高了拍照质量，提升了用户拍照体验。
可选的，处理器710还用于：提取所述目标对象覆盖物体的像素信息；根据提取的像素信息，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。
可选的，处理器710还用于：获取所述目标对象覆盖物体的替换样本；根据所述替换样本，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。
可选的，处理器710还用于：将用户在预先建立的所述物体的材料库中选择的样本作为所述替换样本；或者根据包含所述物体的历史图像，获取所述物体的替换样本。
可选的，处理器710还用于：将所述图像分割为目标对象区域和非目标对象区域；提取所述目标对象区域的轮廓信息；根据所述目标对象区域的轮廓信息，将所述图像中的目标对象进行消除处理。
可选的，处理器710还用于：根据预先设定的消除参数，将所述图像中的至少一个目标对象进行消除处理；所述消除参数包括需要消除的目标对象个数；或者根据用户对所述图像中的至少一个目标对象的选择操作，将所述选择操作对应的目标对象进行消除处理。
可选的，处理器710还用于：按照预设算法对所述第二阶段图像进行平滑处理、图像增强处理和/或图像优化处理，生成目标图像。
可选的，处理器710还用于：根据预先训练得到的识别模型，识别摄像头采集的图像中的至少一个目标对象。
应理解的是，本发明实施例中，射频单元701可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器710处理；另外，将上行的数据发送给基站。通常，射频单元701包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元701还可以通过无线通信系统与网络和其他设备通信。
移动终端通过网络模块702为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元703可以将射频单元701或网络模块702接收的或者在存储器709中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元703还可以提供与移动终端700执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元703包括扬声器、蜂鸣器以及受话器等。
输入单元704用于接收音频或视频信号。输入单元704可以包括图形处理器(Graphics Processing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元706上。经图形处理器7041处理后的图像帧可以存储在存储器709(或其它存储介质)中或者经由射频单元701或网络模块702进行发送。麦克风7042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元701发送到移动通信基站的格式输出。
移动终端700还包括至少一种传感器705，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板7061的亮度，接近传感器可在移动终端700移动到耳边时，关闭显示面板7061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器705还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元706用于显示由用户输入的信息或提供给用户的信息。显示单元706可包括显示面板7061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板7061。
用户输入单元707可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元707包括触控面板7071以及其他输入设备7072。触控面板7071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板7071上或在触控面板7071附近的操作)。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器710，接收处理器710发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板7071。除了触控面板7071，用户输入单元707还可以包括其他输入设备7072。具体地，其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板7071可覆盖在显示面板7061上，当触控面板7071检测到在其上或附近的触摸操作后，传送给处理器710以确定触摸事件的类型，随后处理器710根据触摸事件的类型在显示面板7061上提供相应的视觉输出。虽然在图7中，触控面板7071与显示面板7061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板7071与显示面板7061集成而实现移动终端的输入和输出功能，具体此处不做限定。
接口单元708为外部装置与移动终端700连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元708可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端700内的一个或多个元件或者可以用于在移动终端700和外部装置之间传输数据。
存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器709可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器710是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器709内的软件程序和/或模块，以及调用存储在存储器709内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器710可包括一个或多个处理单元；优选的，处理器710可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。
移动终端700还可以包括给各个部件供电的电源711(比如电池)，优选的，电源711可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，移动终端700包括一些未示出的功能模块，在此不再赘述。
优选的，本发明实施例还提供一种移动终端，包括处理器710，存储器709，存储在存储器709上并可在所述处理器710上运行的计算机程序，该计算机程序被处理器710执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。
Claims (9)
1.一种图像处理方法，其特征在于，包括：
在检测到用户点击相机应用中消除模式的按钮时，识别摄像头采集的图像中的至少一个目标对像；
将所述图像中的至少一个目标对像进行消除处理，获得第一阶段图像；对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，获得第二阶段图像；
根据所述第二阶段图像，生成目标图像；
所述采集的图像为包含人脸的图像，所述目标对象包括人脸佩戴的眼镜；
所述对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理的步骤包括：
获取所述目标对象覆盖物体的替换样本；
根据所述替换样本，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理；
所述获取所述目标对象覆盖物体的替换样本的步骤包括：
将用户在预先建立的所述物体的材料库中选择的样本作为所述替换样本；所述选择的样本包括眼型和眼睫毛；
所述根据所述第二阶段图像，生成目标图像的步骤包括：
按照预设算法对所述第二阶段图像进行平滑处理、图像增强处理和图像优化处理，生成目标图像；
所述图像优化处理包括眼部细节优化、脸部细节优化和场景优化；
其中，若图像中人物佩戴的是平光镜，则在消除镜片后，保留原来镜片覆盖的眼部及眼部周围的像素，进行自然场景恢复；若图像中人物佩戴的是太阳镜或者墨镜；则获取所述目标对象覆盖物体的替换样本；根据所述替换样本，对所述第一阶段图像中被消除的太阳镜或者墨镜所在的区域进行像素填充处理。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理的步骤还包括：
提取所述目标对象覆盖物体的像素信息；
根据提取的像素信息，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。
3.根据权利要求1所述的方法，其特征在于，所述将所述图像中的至少一个目标对像进行消除处理的步骤包括：
将所述图像分割为目标对象区域和非目标对象区域；
提取所述目标对象区域的轮廓信息；
根据所述目标对象区域的轮廓信息，将所述图像中的目标对象进行消除处理。
4.根据权利要求1所述的方法，其特征在于，所述将所述图像中的至少一个目标对像进行消除处理的步骤包括：
根据预先设定的消除参数，将所述图像中的至少一个目标对象进行消除处理；所述消除参数包括需要消除的目标对象个数；
或者
根据用户对所述图像中的至少一个目标对象的选择操作，将所述选择操作对应的目标对象进行消除处理。
5.一种移动终端，其特征在于，包括：
识别模块，在检测到用户点击相机应用中消除模式的按钮时，用于识别摄像头采集的图像中的至少一个目标对象；
消除模块，用于将所述图像中的至少一个目标对象进行消除处理，获得第一阶段图像；
填充模块，用于对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理，获得第二阶段图像；
生成模块，用于根据所述第二阶段图像，生成目标图像；
所述采集的图像为包含人脸的图像，所述目标对象包括人脸佩戴的眼镜；
所述填充模块包括：
获取子模块，用于获取所述目标对象覆盖物体的替换样本；
第二填充子模块，用于根据所述替换样本，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理；
所述获取子模块包括：
第一获取单元，用于将用户在预先建立的所述物体的材料库中选择的样本作为所述替换样本；所述选择的样本包括眼型和眼睫毛；
所述生成模块包括：
生成子模块，用于按照预设算法对所述第二阶段图像进行平滑处理、图像增强处理和图像优化处理，生成目标图像；
所述图像优化处理包括眼部细节优化、脸部细节优化和场景优化；
其中，若图像中人物佩戴的是平光镜，则在消除镜片后，保留原来镜片覆盖的眼部及眼部周围的像素，进行自然场景恢复；若图像中人物佩戴的是太阳镜或者墨镜；则获取所述目标对象覆盖物体的替换样本；根据所述替换样本，对所述第一阶段图像中被消除的太阳镜或者墨镜所在的区域进行像素填充处理。
6.根据权利要求5所述的移动终端，其特征在于，所述填充模块还包括：
提取子模块，用于提取所述目标对象覆盖物体的像素信息；
第一填充子模块，用于根据提取的像素信息，对所述第一阶段图像中被消除的目标对象所在的区域进行像素填充处理。
7.根据权利要求5所述的移动终端，其特征在于，所述消除模块包括：
分割子模块，用于将所述图像分割为目标对象区域和非目标对象区域；
提取子模块，用于提取所述目标对象区域的轮廓信息；
第一消除子模块，用于根据所述目标对象区域的轮廓信息，将所述图像中的目标对象进行消除处理。
8.根据权利要求5所述的移动终端，其特征在于，所述消除模块包括：
第二消除子模块，用于根据预先设定的消除参数，将所述图像中的至少一个目标对象进行消除处理；所述消除参数包括需要消除的目标对象个数；
或者
第三消除子模块，用于根据用户对所述图像中的至少一个目标对象的选择操作，将所述选择操作对应的目标对象进行消除处理。
9.一种移动终端，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至4中任一项所述的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711384956.6A CN108076290B (zh) | 2017-12-20 | 2017-12-20 | 一种图像处理方法及移动终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711384956.6A CN108076290B (zh) | 2017-12-20 | 2017-12-20 | 一种图像处理方法及移动终端 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108076290A CN108076290A (zh) | 2018-05-25 |
| CN108076290B true CN108076290B (zh) | 2021-01-22 |
Family
ID=62158663
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711384956.6A Active CN108076290B (zh) | 2017-12-20 | 2017-12-20 | 一种图像处理方法及移动终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108076290B (zh) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108924306A (zh) * | 2018-07-18 | 2018-11-30 | 苏州天为幕烟花科技有限公司 | 一种软件补偿式手机全面屏技术 |
| CN108600472A (zh) * | 2018-07-18 | 2018-09-28 | 苏州天为幕烟花科技有限公司 | 一种点阵互补式实现的手机全面屏技术 |
| CN108989497A (zh) * | 2018-07-18 | 2018-12-11 | 苏州天为幕烟花科技有限公司 | 一种变色背光板全面屏技术 |
| CN109040604B (zh) * | 2018-10-23 | 2020-09-15 | Oppo广东移动通信有限公司 | 拍摄图像的处理方法、装置、存储介质及移动终端 |
| CN112153272B (zh) * | 2019-06-28 | 2022-02-25 | 华为技术有限公司 | 一种图像拍摄方法与电子设备 |
| CN110661978B (zh) * | 2019-10-29 | 2021-03-23 | 维沃移动通信有限公司 | 一种拍照方法、电子设备 |
| CN110855897B (zh) * | 2019-12-20 | 2021-10-15 | 维沃移动通信有限公司 | 图像拍摄方法、装置、电子设备及存储介质 |
| CN112135041B (zh) * | 2020-09-18 | 2022-05-06 | 北京达佳互联信息技术有限公司 | 一种人脸特效的处理方法及装置、存储介质 |
| CN113744126A (zh) * | 2021-08-06 | 2021-12-03 | Oppo广东移动通信有限公司 | 图像处理方法及装置、计算机可读介质和电子设备 |
| CN116567410B (zh) * | 2023-07-10 | 2023-09-19 | 芯知科技(江苏)有限公司 | 基于场景识别的辅助拍照方法及系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104618627A (zh) * | 2014-12-31 | 2015-05-13 | 小米科技有限责任公司 | 视频处理方法和装置 |
| CN105704348A (zh) * | 2014-12-11 | 2016-06-22 | 索尼公司 | 利用深度恢复图像中的缺失信息的设备、系统和方法 |
| CN105763812A (zh) * | 2016-03-31 | 2016-07-13 | 北京小米移动软件有限公司 | 智能拍照方法及装置 |
| WO2016136462A1 (ja) * | 2015-02-25 | 2016-09-01 | 愼一 駒井 | カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置 |
| CN106791393A (zh) * | 2016-12-20 | 2017-05-31 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
| CN107203978A (zh) * | 2017-05-24 | 2017-09-26 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN107343149A (zh) * | 2017-07-31 | 2017-11-10 | 维沃移动通信有限公司 | 一种拍照方法和移动终端 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103020579B (zh) * | 2011-09-22 | 2015-11-25 | 上海银晨智能识别科技有限公司 | 人脸识别方法及系统、人脸图像的眼镜框去除方法与装置 |
| EP2946339A4 (en) * | 2013-01-17 | 2016-09-14 | Sionyx Llc | BIOMETRIC IMAGING DEVICES AND CORRESPONDING METHODS |
| CN104268523A (zh) * | 2014-09-24 | 2015-01-07 | 上海洪剑智能科技有限公司 | 基于小样本去除人脸图像中眼镜框的方法 |
| CN104408426B (zh) * | 2014-11-27 | 2018-07-24 | 小米科技有限责任公司 | 人脸图像眼镜去除方法及装置 |
| CN105046250B (zh) * | 2015-09-06 | 2018-04-20 | 广州广电运通金融电子股份有限公司 | 人脸识别的眼镜消除方法 |
| CN105139000B (zh) * | 2015-09-16 | 2019-03-12 | 浙江宇视科技有限公司 | 一种去除眼镜痕迹的人脸识别方法及装置 |
-
2017
- 2017-12-20 CN CN201711384956.6A patent/CN108076290B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105704348A (zh) * | 2014-12-11 | 2016-06-22 | 索尼公司 | 利用深度恢复图像中的缺失信息的设备、系统和方法 |
| CN104618627A (zh) * | 2014-12-31 | 2015-05-13 | 小米科技有限责任公司 | 视频处理方法和装置 |
| WO2016136462A1 (ja) * | 2015-02-25 | 2016-09-01 | 愼一 駒井 | カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置 |
| CN105763812A (zh) * | 2016-03-31 | 2016-07-13 | 北京小米移动软件有限公司 | 智能拍照方法及装置 |
| CN106791393A (zh) * | 2016-12-20 | 2017-05-31 | 维沃移动通信有限公司 | 一种拍摄方法及移动终端 |
| CN107203978A (zh) * | 2017-05-24 | 2017-09-26 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN107343149A (zh) * | 2017-07-31 | 2017-11-10 | 维沃移动通信有限公司 | 一种拍照方法和移动终端 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108076290A (zh) | 2018-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108076290B (zh) | 一种图像处理方法及移动终端 | |
| WO2020216054A1 (zh) | 视线追踪模型训练的方法、视线追踪的方法及装置 | |
| CN108712603B (zh) | 一种图像处理方法及移动终端 | |
| CN108491775B (zh) | 一种图像修正方法及移动终端 | |
| CN107767333B (zh) | 美颜拍照的方法、设备及计算机可存储介质 | |
| CN110706179B (zh) | 一种图像处理方法及电子设备 | |
| CN108259758B (zh) | 图像处理方法、装置、存储介质和电子设备 | |
| CN109544445B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN109448069B (zh) | 一种模板生成方法及移动终端 | |
| CN109272473B (zh) | 一种图像处理方法及移动终端 | |
| CN111080747B (zh) | 一种人脸图像处理方法及电子设备 | |
| CN110650367A (zh) | 视频处理方法、电子设备及介质 | |
| CN111432123A (zh) | 图像处理方法及装置 | |
| CN111432245B (zh) | 多媒体信息的播放控制方法、装置、设备及存储介质 | |
| CN107995417B (zh) | 一种拍照的方法和移动终端 | |
| CN109639981B (zh) | 一种图像拍摄方法及移动终端 | |
| CN110807769B (zh) | 图像显示控制方法及装置 | |
| CN113255396A (zh) | 图像处理模型的训练方法及装置、图像处理方法及装置 | |
| CN107563353B (zh) | 一种图像处理方法、装置及移动终端 | |
| CN107798662B (zh) | 一种图像处理方法及移动终端 | |
| CN109859115A (zh) | 一种图像处理方法、终端及计算机可读存储介质 | |
| CN111491124B (zh) | 视频处理方法、装置及电子设备 | |
| CN110443752B (zh) | 一种图像处理方法和移动终端 | |
| CN109819331B (zh) | 一种视频通话方法、装置、移动终端 | |
| CN108830901B (zh) | 一种图像处理方法和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |