CN108521547A - 图像处理方法、装置及设备 - Google Patents

图像处理方法、装置及设备 Download PDF

Info

Publication number
CN108521547A
CN108521547A CN201810372347.7A CN201810372347A CN108521547A CN 108521547 A CN108521547 A CN 108521547A CN 201810372347 A CN201810372347 A CN 201810372347A CN 108521547 A CN108521547 A CN 108521547A
Authority
CN
China
Prior art keywords
eye
image
group
eye profile
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810372347.7A
Other languages
English (en)
Inventor
曾起
马希通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810372347.7A priority Critical patent/CN108521547A/zh
Publication of CN108521547A publication Critical patent/CN108521547A/zh
Priority to US16/618,747 priority patent/US11158053B2/en
Priority to PCT/CN2019/082657 priority patent/WO2019205971A1/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明提供了一种图像处理方法、装置及设备，属于图像处理技术领域。其中，图像处理方法，包括：获取拍照设备连续拍摄的多张图像；对所述多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据；对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据；将获取的多个最佳眼部轮廓图像数据与所述多张图像中的主图像进行融合，得到目标图像。通过本发明的技术方案，能够对因眨眼动作造成的图像缺陷进行修复。

Description

图像处理方法、装置及设备
技术领域
本发明涉及图像处理技术领域，特别是指一种图像处理方法、装置及设备。
背景技术
在利用现有的拍照设备对人进行拍摄时，被拍摄者难免会出现眨眼动作，导致拍摄得到的图像存在缺陷，不尽如人意。
发明内容
本发明要解决的技术问题是提供一种图像处理方法、装置及设备，能够对因眨眼动作造成的图像缺陷进行修复。
为解决上述技术问题，本发明的实施例提供技术方案如下：
一方面，提供一种图像处理方法，包括：
获取拍照设备连续拍摄的多张图像；
对所述多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据；
对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据；
将获取的多个最佳眼部轮廓图像数据与所述多张图像中的主图像进行融合，得到目标图像。
进一步地，
连续拍摄的多张图像的数目等于人眼的眨眼周期乘以所述拍照设备每秒拍摄的图像数量，但不大于所述拍照设备的内存允许缓存的图像的最大数目。
进一步地，所述对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据包括：
统计每张图像包含的眼部轮廓个数，将所述多张图像分为至少一组，每组图像中的每一张图像包括的眼部轮廓个数均相同；
取眼部轮廓个数最多的一组图像，该组图像包括N张图像，每一张图像均包括m个眼部轮廓，N和m均为大于1的正整数；
对该组图像中每一张图像中每一个眼部轮廓图进行编号，其中第1张图像中的眼部轮廓图编号分别为1-1、…、1-m，…,第N张图像中的眼部轮廓图编号分别为N-1、…、N-m；
将编号为1-1、…、N-1的眼部轮廓图作为一组，…，将编号为1-m、…、N-m的眼部轮廓图作为一组，得到m组眼部轮廓图；
对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据，作为该组眼部轮廓图对应的第i个眼部轮廓的最佳眼部轮廓图像数据，i为不大于m的正整数。
进一步地，所述对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据包括：
计算每一组眼部轮廓图中每个眼部轮廓图的上下边缘的最大距离，选取其中的最大值对应的眼部轮廓数据作为所述最佳眼部轮廓图像数据。
进一步地，还包括：
统计所述N张图像中每一张图像包括的最佳眼部轮廓图像数据的个数；
取其中的最大值对应的图像作为所述主图像。
本发明实施例还提供了一种图像处理装置，包括：
图像输入模块，用于获取拍照设备连续拍摄的多张图像；
眼部轮廓提取模块，用于对所述多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据；
处理模块，用于对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据；
融合模块，用于将获取的多个最佳眼部轮廓图像数据与所述多张图像中的主图像进行融合，得到目标图像。
进一步地，所述处理模块包括：
第一分组单元，用于统计每张图像包含的眼部轮廓个数，将所述多张图像分为至少一组，每组图像中的每一张图像包括的眼部轮廓个数均相同；
第一计算单元，用于取眼部轮廓个数最多的一组图像，该组图像包括N张图像，每一张图像均包括m个眼部轮廓，N和m均为大于1的正整数；
编号单元，用于对该组图像中每一张图像中每一个眼部轮廓图进行编号，其中第1张图像中的眼部轮廓图编号分别为1-1、…、1-m，…,第N张图像中的眼部轮廓图编号分别为N-1、…、N-m；
第二分组单元，用于将编号为1-1、…、N-1的眼部轮廓图作为一组，…，将编号为1-m、…、N-m的眼部轮廓图作为一组，得到m组眼部轮廓图；
第二计算单元，用于对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据，作为该组眼部轮廓图对应的第i个眼部轮廓的最佳眼部轮廓图像数据，i为不大于m的正整数。
进一步地，所述第二计算单元具体用于计算每一组眼部轮廓图中每个眼部轮廓图的上下边缘的最大距离，选取其中的最大值对应的眼部轮廓数据作为所述最佳眼部轮廓图像数据。
本发明实施例还提供了一种图像处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现如上所述的图像处理方法。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的图像处理方法中的步骤。
本发明的实施例具有以下有益效果：
上述方案中，获取拍照设备连续拍摄的多张图像，对多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据，对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据，将获取的多个最佳眼部轮廓图像数据与其他部分进行合成，得到目标图像，通过本发明的技术方案，能够对因眨眼动作造成的图像缺陷进行修复，提高拍摄图像的质量。
附图说明
图1为本发明实施例图像处理方法的流程示意图；
图2为本发明实施例图像处理装置的结构示意图；
图3为本发明实施例处理模块的结构示意图。
图4为本发明实施例图像输入模块获取连续拍摄的多张图像的示意图；
图5为本发明实施例提取最佳眼部轮廓图像数据的示意图；
具体实施方式
为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明的实施例针对现有技术中被拍摄者出现眨眼动作，导致拍摄得到的图像存在缺陷的问题，提供一种图像处理方法、装置及设备，能够对因眨眼动作造成的图像缺陷进行修复。
本发明实施例提供了一种图像处理方法，如图1所示，包括：
步骤101：获取拍照设备连续拍摄的多张图像；
步骤102：对所述多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据；
步骤103：对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据；
步骤104：将获取的多个最佳眼部轮廓图像数据与所述多张图像中的主图像进行融合，得到目标图像。
本实施例中，获取拍照设备连续拍摄的多张图像，对多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据，对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据，将获取的多个最佳眼部轮廓图像数据与其他部分进行合成，得到目标图像，通过本发明的技术方案，能够对因眨眼动作造成的图像缺陷进行修复，提高拍摄图像的质量。
进一步地，连续拍摄的多张图像的数目等于人眼的眨眼周期乘以所述拍照设备每秒拍摄的图像数量，但不大于所述拍照设备的内存允许缓存的图像的最大数目。
进一步地，所述对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据包括：
统计每张图像包含的眼部轮廓个数，将所述多张图像分为至少一组，每组图像中的每一张图像包括的眼部轮廓个数均相同；
取眼部轮廓个数最多的一组图像，该组图像包括N张图像，每一张图像均包括m个眼部轮廓，N和m均为大于1的正整数；
对该组图像中每一张图像中每一个眼部轮廓图进行编号，其中第1张图像中的眼部轮廓图编号分别为1-1、…、1-m，…,第N张图像中的眼部轮廓图编号分别为N-1、…、N-m；
将编号为1-1、…、N-1的眼部轮廓图作为一组，…，将编号为1-m、…、N-m的眼部轮廓图作为一组，得到m组眼部轮廓图；
对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据，作为该组眼部轮廓图对应的第i个眼部轮廓的最佳眼部轮廓图像数据，i为不大于m的正整数。
进一步地，所述对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据包括：
计算每一组眼部轮廓图中每个眼部轮廓图的上下边缘的最大距离，选取其中的最大值对应的眼部轮廓数据作为所述最佳眼部轮廓图像数据。
进一步地，所述方法还包括：
统计所述N张图像中每一张图像包括的最佳眼部轮廓图像数据的个数；
取其中的最大值对应的图像作为所述主图像。
本发明实施例还提供了一种图像处理装置，如图2所示，包括：
图像输入模块21，用于获取拍照设备连续拍摄的多张图像；
眼部轮廓提取模块22，用于对所述多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据；
处理模块23，用于对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据；
融合模块24，用于将获取的多个最佳眼部轮廓图像数据与所述多张图像中的主图像进行融合，得到目标图像。
本实施例中，获取拍照设备连续拍摄的多张图像，对多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据，对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据，将获取的多个最佳眼部轮廓图像数据与其他部分进行合成，得到目标图像，通过本发明的技术方案，能够对因眨眼动作造成的图像缺陷进行修复，提高拍摄图像的质量。
进一步地，如图3所示，所述处理模块23包括：
第一分组单元231，用于统计每张图像包含的眼部轮廓个数，将所述多张图像分为至少一组，每组图像中的每一张图像包括的眼部轮廓个数均相同；
第一计算单元232，用于取眼部轮廓个数最多的一组图像，该组图像包括N张图像，每一张图像均包括m个眼部轮廓，N和m均为大于1的正整数；
编号单元233，用于对该组图像中每一张图像中每一个眼部轮廓图进行编号，其中第1张图像中的眼部轮廓图编号分别为1-1、…、1-m，…,第N张图像中的眼部轮廓图编号分别为N-1、…、N-m；
第二分组单元234，用于将编号为1-1、…、N-1的眼部轮廓图作为一组，…，将编号为1-m、…、N-m的眼部轮廓图作为一组，得到m组眼部轮廓图；
第二计算单元235，用于对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据，作为该组眼部轮廓图对应的第i个眼部轮廓的最佳眼部轮廓图像数据，i为不大于m的正整数。
进一步地，所述第二计算单元235具体用于计算每一组眼部轮廓图中每个眼部轮廓图的上下边缘的最大距离，选取其中的最大值对应的眼部轮廓数据作为所述最佳眼部轮廓图像数据。
下面结合具体的实施例对本发明的图像处理方法及图像处理装置进行具体说明：
本实施例的图像处理装置可以集成在拍照设备中，也可以与拍照设备分开设置，在图像处理装置与拍照设备分开设置时，图像处理装置能够与拍照设备之间建立通信，接收拍照设备发送的数据。
首先设定拍照设备处于连拍模式，连续拍摄多张图像，所述多张图像中可能包括有被拍摄者的眨眼图像，本实施例需要修改该缺陷。控制图像输入模块获取连续拍摄的多张图像，具体地，如图4所示，可以控制图像输入模块接收拍照设备传回的标准格式的图像数据，并对多张图像进行编号，比如是从1到N的N张图像。其中，N取决于快门速度，等于人眼的眨眼周期乘以拍照设备每秒拍摄的图像数量，但不大于拍照设备的内存允许缓存的图像的最大数目，具体地，正常人的眨眼周期可以为4秒。
在启动图像输入模块接收到N张图像后，可以根据编号将N张图像缓存到缓存中。
之后，眼部轮廓提取模块可以利用现有的数字图像处理技术对每张图像进行眼部轮廓提取处理，得到眼部轮廓图像数据，并对每个眼部轮廓图像数据进行编号，同时保存相应的原始眼部图，例如第一张图的第5个眼部轮廓数据编号为1-5，第二张图的第6个眼部轮廓数据编号为2-6，依次类推。
得到所有眼部轮廓图像数据之后，统计每张图像所包含的眼部轮廓个数，取相同数目最多的为标准个数m，并删除其余图像，则剩下的图像中，每张图像都包括有m个眼部轮廓图像数据。
依次将不同图像的同一序号的眼部轮廓图像数据发送给处理模块，等待处理模块返回每一眼部轮廓的最佳眼部轮廓图像数据。如图5所示，处理模块接收到第一张图像的m个眼部轮廓图像数据，编号分别为1-1、1-2、…、1-m；第二张图像的m个眼部轮廓图像数据，编号分别为2-1、2-2、…、2-m；…；第N张图像的m个眼部轮廓图像数据，编号分别为N-1、N-2、…、N-m，将每一眼部轮廓的多组眼部轮廓图像数据进行比对，比如将编号为1-1、2-1、…、N-1的眼部轮廓图像数据进行比对，得到其中的最佳眼部轮廓图像数据，比如为1-1，重复这一操作，进而得到每一眼部轮廓的最佳眼部轮廓图像数据，例如：[1-1,2-1,3-1,4-1,……]。
其中，在确定一组眼部轮廓图像数据中的最佳眼部轮廓图像数据时，计算每个眼部轮廓图的上下边缘的最大高度，选取最大值对应的眼部轮廓数据作为所述最佳眼部轮廓图像数据，并输出相应的数据序号，比如(k-1)。通过比较眼睛轮廓上下边缘最大值，选取出为睁眼情况的最佳眼部轮廓数据，能够去除眨眼的干扰数据。
统计N张图像中每一张图像包括的最佳眼部轮廓图像数据的个数，将包括最多最佳眼部轮廓图像数据的图像作为主图像，将提取出的所有最佳眼部轮廓图像数据与主图像进行融合，得到最终的目标图像，并输出呈现给用户，该目标图像可以消除因眨眼动作造成的图像缺陷。将包括最多最佳眼部轮廓图像数据的图像作为主图像，能够减少融合的复杂度。
输出目标图像后，将本地缓存清除，准备图像输入模块的下一次输入缓存操作。
通过本实施例的图像处理装置，在进行人脸拍照时，能够针对眨眼动作进行实时修复，给用户更换的体验。
本发明实施例还提供了一种图像处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述程序时实现如上所述的图像处理方法。
其中，所述处理器执行所述程序时具体执行以下步骤：
获取拍照设备连续拍摄的多张图像；
对所述多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据；
对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据；
将获取的多个最佳眼部轮廓图像数据与所述多张图像中的主图像进行融合，得到目标图像。
进一步地，连续拍摄的多张图像的数目等于人眼的眨眼周期乘以所述拍照设备每秒拍摄的图像数量，但不大于所述拍照设备的内存允许缓存的图像的最大数目。
进一步地，所述处理器执行所述程序时还用于执行以下步骤：
统计每张图像包含的眼部轮廓个数，将所述多张图像分为至少一组，每组图像中的每一张图像包括的眼部轮廓个数均相同；
取眼部轮廓个数最多的一组图像，该组图像包括N张图像，每一张图像均包括m个眼部轮廓，N和m均为大于1的正整数；
对该组图像中每一张图像中每一个眼部轮廓图进行编号，其中第1张图像中的眼部轮廓图编号分别为1-1、…、1-m，…,第N张图像中的眼部轮廓图编号分别为N-1、…、N-m；
将编号为1-1、…、N-1的眼部轮廓图作为一组，…，将编号为1-m、…、N-m的眼部轮廓图作为一组，得到m组眼部轮廓图；
对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据，作为该组眼部轮廓图对应的第i个眼部轮廓的最佳眼部轮廓图像数据，i为不大于m的正整数。
进一步地，所述处理器执行所述程序时还用于执行以下步骤：
计算每一组眼部轮廓图中每个眼部轮廓图的上下边缘的最大距离，选取其中的最大值对应的眼部轮廓数据作为所述最佳眼部轮廓图像数据。
进一步地，所述处理器执行所述程序时还用于执行以下步骤：
统计所述N张图像中每一张图像包括的最佳眼部轮廓图像数据的个数；
取其中的最大值对应的图像作为所述主图像。
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的图像处理方法中的步骤。
可以理解的是，本文描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(ApplicationSpecific Integrated Circuits，ASIC)、数字信号处理器(Digital Signal Processing，DSP)、数字信号处理设备(DSP Device，DSPD)、可编程逻辑设备(Programmable LogicDevice，PLD)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、通用处理器、控制器、微控制器、微处理器、用于执行本申请所述功能的其它电子单元或其组合中。
对于软件实现，可通过执行本文所述功能的模块(例如过程、函数等)来实现本文所述的技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。
还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上所述的是本发明的优选实施方式，应当指出对于本技术领域的普通人员来说，在不脱离本发明所述的原理前提下还可以作出若干改进和润饰，这些改进和润饰也在本发明的保护范围内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取拍照设备连续拍摄的多张图像；
对所述多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据；
对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据；
将获取的多个最佳眼部轮廓图像数据与所述多张图像中的主图像进行融合，得到目标图像。
2.根据权利要求1所述的图像处理方法，其特征在于，
连续拍摄的多张图像的数目等于人眼的眨眼周期乘以所述拍照设备每秒拍摄的图像数量，但不大于所述拍照设备的内存允许缓存的图像的最大数目。
3.根据权利要求1所述的图像处理方法，其特征在于，所述对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据包括：
统计每张图像包含的眼部轮廓个数，将所述多张图像分为至少一组，每组图像中的每一张图像包括的眼部轮廓个数均相同；
取眼部轮廓个数最多的一组图像，该组图像包括N张图像，每一张图像均包括m个眼部轮廓，N和m均为大于1的正整数；
对该组图像中每一张图像中每一个眼部轮廓图进行编号，其中第1张图像中的眼部轮廓图编号分别为1-1、…、1-m，…,第N张图像中的眼部轮廓图编号分别为N-1、…、N-m；
将编号为1-1、…、N-1的眼部轮廓图作为一组，…，将编号为1-m、…、N-m的眼部轮廓图作为一组，得到m组眼部轮廓图；
对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据，作为该组眼部轮廓图对应的第i个眼部轮廓的最佳眼部轮廓图像数据，i为不大于m的正整数。
4.根据权利要求3所述的图像处理方法，其特征在于，所述对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据包括：
计算每一组眼部轮廓图中每个眼部轮廓图的上下边缘的最大距离，选取其中的最大值对应的眼部轮廓数据作为所述最佳眼部轮廓图像数据。
5.根据权利要求3所述的图像处理方法，其特征在于，还包括：
统计所述N张图像中每一张图像包括的最佳眼部轮廓图像数据的个数；
取其中的最大值对应的图像作为所述主图像。
6.一种图像处理装置，其特征在于，包括：
图像输入模块，用于获取拍照设备连续拍摄的多张图像；
眼部轮廓提取模块，用于对所述多张图像中的每一张图像进行眼部轮廓提取，得到眼部轮廓图像数据；
处理模块，用于对同一眼部轮廓的多组眼部轮廓图像数据进行比对，获得每一眼部轮廓的最佳眼部轮廓图像数据；
融合模块，用于将获取的多个最佳眼部轮廓图像数据与所述多张图像中的主图像进行融合，得到目标图像。
7.根据权利要求6所述的图像处理装置，其特征在于，所述处理模块包括：
第一分组单元，用于统计每张图像包含的眼部轮廓个数，将所述多张图像分为至少一组，每组图像中的每一张图像包括的眼部轮廓个数均相同；
第一计算单元，用于取眼部轮廓个数最多的一组图像，该组图像包括N张图像，每一张图像均包括m个眼部轮廓，N和m均为大于1的正整数；
编号单元，用于对该组图像中每一张图像中每一个眼部轮廓图进行编号，其中第1张图像中的眼部轮廓图编号分别为1-1、…、1-m，…,第N张图像中的眼部轮廓图编号分别为N-1、…、N-m；
第二分组单元，用于将编号为1-1、…、N-1的眼部轮廓图作为一组，…，将编号为1-m、…、N-m的眼部轮廓图作为一组，得到m组眼部轮廓图；
第二计算单元，用于对每一组眼部轮廓图进行处理，获取每一组眼部轮廓图对应的最佳眼部轮廓图像数据，作为该组眼部轮廓图对应的第i个眼部轮廓的最佳眼部轮廓图像数据，i为不大于m的正整数。
8.根据权利要求7所述的图像处理装置，其特征在于，所述第二计算单元具体用于计算每一组眼部轮廓图中每个眼部轮廓图的上下边缘的最大距离，选取其中的最大值对应的眼部轮廓数据作为所述最佳眼部轮廓图像数据。
9.一种图像处理设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述程序时实现如权利要求1-5中任一项所述的图像处理方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一项所述的图像处理方法中的步骤。
CN201810372347.7A 2018-04-24 2018-04-24 图像处理方法、装置及设备 Pending CN108521547A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810372347.7A CN108521547A (zh) 2018-04-24 2018-04-24 图像处理方法、装置及设备
US16/618,747 US11158053B2 (en) 2018-04-24 2019-04-15 Image processing method, apparatus and device, and image display method
PCT/CN2019/082657 WO2019205971A1 (zh) 2018-04-24 2019-04-15 图像处理方法、装置及设备及图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810372347.7A CN108521547A (zh) 2018-04-24 2018-04-24 图像处理方法、装置及设备

Publications (1)

Publication Number Publication Date
CN108521547A true CN108521547A (zh) 2018-09-11

Family

ID=63429923

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810372347.7A Pending CN108521547A (zh) 2018-04-24 2018-04-24 图像处理方法、装置及设备

Country Status (3)

Country Link
US (1) US11158053B2 (zh)
CN (1) CN108521547A (zh)
WO (1) WO2019205971A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110012225A (zh) * 2019-03-27 2019-07-12 维沃移动通信有限公司 一种图像处理的方法、装置以及移动终端
CN110046596A (zh) * 2019-04-23 2019-07-23 王雪燕 一种图像模块化处理及多图像模块自定义组合的方法、移动终端与可读存储介质
CN110059643A (zh) * 2019-04-23 2019-07-26 王雪燕 一种多图像特征比对及择优融合的方法、移动终端与可读存储介质
CN110378840A (zh) * 2019-07-23 2019-10-25 厦门美图之家科技有限公司 图像处理方法及装置
WO2019205971A1 (zh) * 2018-04-24 2019-10-31 京东方科技集团股份有限公司 图像处理方法、装置及设备及图像显示方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112437231B (zh) * 2020-11-24 2023-11-14 维沃移动通信（杭州）有限公司 图像拍摄方法和装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120081560A1 (en) * 2010-10-01 2012-04-05 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of controlling the same
CN103248817A (zh) * 2012-02-13 2013-08-14 宏达国际电子股份有限公司 图像撷取方法与相关移动摄影装置
CN104408428A (zh) * 2014-11-28 2015-03-11 东莞宇龙通信科技有限公司 一种相同场景照片的处理方法及装置
CN107622483A (zh) * 2017-09-15 2018-01-23 深圳市金立通信设备有限公司 一种图像合成方法及终端
CN107734253A (zh) * 2017-10-13 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端和计算机可读存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529630B1 (en) * 1998-03-02 2003-03-04 Fuji Photo Film Co., Ltd. Method and device for extracting principal image subjects
US7092569B1 (en) * 1999-07-29 2006-08-15 Fuji Photo Film Co., Ltd. Method and device for extracting specified image subjects
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
US7792335B2 (en) * 2006-02-24 2010-09-07 Fotonation Vision Limited Method and apparatus for selective disqualification of digital images
JP2007289656A (ja) * 2006-03-28 2007-11-08 Fujifilm Corp 画像記録装置、画像記録方法、および画像記録プログラム
US7787664B2 (en) * 2006-03-29 2010-08-31 Eastman Kodak Company Recomposing photographs from multiple frames
JP4853320B2 (ja) * 2007-02-15 2012-01-11 ソニー株式会社 画像処理装置、画像処理方法
US8743269B2 (en) * 2009-06-15 2014-06-03 Olympus Imaging Corp. Photographing device, photographing method, and playback method
KR100954835B1 (ko) * 2009-08-04 2010-04-30 주식회사 크라스아이디 얼굴변화 검출 시스템 및 얼굴변화 감지에 따른 지능형 시스템
US20120300092A1 (en) * 2011-05-23 2012-11-29 Microsoft Corporation Automatically optimizing capture of images of one or more subjects
US9025835B2 (en) * 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
KR101909130B1 (ko) 2012-02-13 2018-12-18 삼성전자주식회사 디지털 촬영 장치 및 그의 제어 방법
JP6331515B2 (ja) * 2014-03-13 2018-05-30 パナソニックＩｐマネジメント株式会社 メイクアップ支援装置およびメイクアップ支援方法
CN105096377B (zh) * 2014-05-14 2019-03-19 华为技术有限公司 一种图像处理方法和装置
CN104243818B (zh) * 2014-08-29 2018-02-23 小米科技有限责任公司 图像处理方法、装置及设备
US20170032172A1 (en) * 2015-07-29 2017-02-02 Hon Hai Precision Industry Co., Ltd. Electronic device and method for splicing images of electronic device
CN105827969A (zh) 2016-03-29 2016-08-03 乐视控股（北京）有限公司 一种智能拍照的方法、装置及移动设备
KR102460665B1 (ko) * 2017-12-14 2022-10-31 삼성전자주식회사 응시 거리를 결정하는 방법 및 디바이스
CN109993716B (zh) * 2017-12-29 2023-04-14 微软技术许可有限责任公司 图像融合变换
JP7075237B2 (ja) * 2018-02-23 2022-05-25 ラピスセミコンダクタ株式会社 操作判定装置及び操作判定方法
CN110378994B (zh) * 2018-04-12 2021-05-28 Oppo广东移动通信有限公司 人脸建模方法及相关产品
CN108521547A (zh) 2018-04-24 2018-09-11 京东方科技集团股份有限公司 图像处理方法、装置及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120081560A1 (en) * 2010-10-01 2012-04-05 Samsung Electronics Co., Ltd. Digital photographing apparatus and method of controlling the same
CN103248817A (zh) * 2012-02-13 2013-08-14 宏达国际电子股份有限公司 图像撷取方法与相关移动摄影装置
CN104408428A (zh) * 2014-11-28 2015-03-11 东莞宇龙通信科技有限公司 一种相同场景照片的处理方法及装置
CN107622483A (zh) * 2017-09-15 2018-01-23 深圳市金立通信设备有限公司 一种图像合成方法及终端
CN107734253A (zh) * 2017-10-13 2018-02-23 广东欧珀移动通信有限公司 图像处理方法、装置、移动终端和计算机可读存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019205971A1 (zh) * 2018-04-24 2019-10-31 京东方科技集团股份有限公司 图像处理方法、装置及设备及图像显示方法
US11158053B2 (en) 2018-04-24 2021-10-26 Boe Technology Group Co., Ltd. Image processing method, apparatus and device, and image display method
CN110012225A (zh) * 2019-03-27 2019-07-12 维沃移动通信有限公司 一种图像处理的方法、装置以及移动终端
CN110012225B (zh) * 2019-03-27 2021-09-24 维沃移动通信有限公司 一种图像处理的方法、装置以及移动终端
CN110046596A (zh) * 2019-04-23 2019-07-23 王雪燕 一种图像模块化处理及多图像模块自定义组合的方法、移动终端与可读存储介质
CN110059643A (zh) * 2019-04-23 2019-07-26 王雪燕 一种多图像特征比对及择优融合的方法、移动终端与可读存储介质
CN110059643B (zh) * 2019-04-23 2021-06-15 王雪燕 一种多图像特征比对及择优融合的方法、移动终端与可读存储介质
CN110378840A (zh) * 2019-07-23 2019-10-25 厦门美图之家科技有限公司 图像处理方法及装置

Also Published As

Publication number Publication date
US20200160525A1 (en) 2020-05-21
WO2019205971A1 (zh) 2019-10-31
US11158053B2 (en) 2021-10-26

Similar Documents

Publication Publication Date Title
CN108521547A (zh) 图像处理方法、装置及设备
CN107220997A (zh) 一种立体匹配方法及系统
CN107391527A (zh) 一种基于区块链的数据处理方法及设备
CN108470364A (zh) 一种曲线拟合方法和装置
CN104394411B (zh) 中值滤波装置及方法
CN107481271A (zh) 一种立体匹配方法、系统及移动终端
CN110909794A (zh) 一种适用于嵌入式设备的目标检测系统
CN109657711A (zh) 一种图像分类方法、装置、设备及可读存储介质
CN109272044A (zh) 一种图像相似度确定方法、装置、设备及存储介质
CN110457524A (zh) 模型生成方法、视频分类方法及装置
CN106445418A (zh) 一种固态硬盘中读写服务自适应的方法和装置
CN110060264A (zh) 神经网络训练方法、视频帧处理方法、装置及系统
CN110175252A (zh) 一种图片显示的方法及装置
CN106157138A (zh) 一种银行交易数据所属群组确定方法及装置
CN107359868A (zh) 脉冲密度调制转换电路及方法
CN108829699A (zh) 一种热点事件的聚合方法和装置
CN108932703A (zh) 图片处理方法、图片处理装置及终端设备
CN105893578B (zh) 一种照片选择的方法及装置
CN109684496A (zh) 一种同款商品的图像匹配方法、装置、设备以及存储介质
CN107704624A (zh) 一种数据可视化方法及装置
CN109074054A (zh) 作业辅助装置、作业辅助方法以及作业辅助程序
CN109886963A (zh) 一种图像处理方法及系统
CN109753889A (zh) 服务评价方法、装置、计算机设备和存储介质
CN105608423A (zh) 一种视频匹配方法及装置
CN109543545A (zh) 快速人脸检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180911