CN109993115B - 图像处理方法、装置及可穿戴设备 - Google Patents

图像处理方法、装置及可穿戴设备 Download PDF

Info

Publication number
CN109993115B
CN109993115B CN201910251347.6A CN201910251347A CN109993115B CN 109993115 B CN109993115 B CN 109993115B CN 201910251347 A CN201910251347 A CN 201910251347A CN 109993115 B CN109993115 B CN 109993115B
Authority
CN
China
Prior art keywords
value
histogram
gray
initial image
cumulative histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910251347.6A
Other languages
English (en)
Other versions
CN109993115A (zh
Inventor
李纲
陈丽莉
孙建康
马福强
崔利阳
楚明磊
薛亚冲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Beijing BOE Optoelectronics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd, Beijing BOE Optoelectronics Technology Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910251347.6A priority Critical patent/CN109993115B/zh
Publication of CN109993115A publication Critical patent/CN109993115A/zh
Priority to US16/718,731 priority patent/US11379960B2/en
Application granted granted Critical
Publication of CN109993115B publication Critical patent/CN109993115B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种图像处理方法、装置及可穿戴设备，属于图像处理领域。所述方法包括：获取包含瞳孔的初始图像；基于所述初始图像，建立累加直方图；在所述累加直方图中确定与所述初始图像中瞳孔所对应的目标区域；基于所述目标区域对应的灰度值，确定用于对所述初始图像进行二值化处理的阈值；基于所述阈值对所述初始图像进行二值化处理。本发明能够解决瞳孔中心定位精确度较低的问题，用于眼球追踪。

Description

图像处理方法、装置及可穿戴设备
技术领域
本发明涉及图像处理领域，特别涉及一种图像处理方法、装置及可穿戴设备。
背景技术
眼球追踪技术(eye-tracking technology)是获取视觉感知的重要技术，其通过检测人眼瞳孔中心位置以及将此位置映射至人眼的注视物体上，来得到该注视物体上人眼的注视区域，从而获取人类的视觉注视信息。
主流的瞳孔中心位置提取方法包括阈值法和边缘法，其中，阈值法是依据人眼图像中人眼瞳孔与背景的灰度差异设定阈值，基于该阈值进行二值化处理，从而将瞳孔从人眼图像中分离出来，以作后续处理。
但当前的诸多阈值法是根据经验设置阈值，该阈值的准确性较低，导致瞳孔中心定位精确度较低。
发明内容
本发明实施例提供了一种图像处理方法、装置及可穿戴设备，能够解决瞳孔中心定位精确度较低的问题。所述技术方案如下：
一方面，提供了一种图像处理方法，包括：
获取包含瞳孔的初始图像；
基于所述初始图像，建立累加直方图；
在所述累加直方图中确定与所述初始图像中瞳孔所对应的目标区域；
基于所述目标区域对应的灰度值，确定用于对所述初始图像进行二值化处理的阈值；
基于所述阈值对所述初始图像进行二值化处理。
可选地，所述基于所述初始图像，建立累加直方图，包括：
基于所述初始图像，建立第一累加直方图；
对所述第一累加直方图进行边缘模糊处理，得到第二累加直方图；
所述在所述累加直方图中确定与所述初始图像中瞳孔所对应的目标区域，包括：
分别在所述第一累加直方图和第二累加直方图中确定与所述初始图像中瞳孔所对应的目标区域；
所述基于所述目标区域对应的灰度值，确定所述阈值，包括：
基于所述第一累加直方图的目标区域对应的灰度值和第二累加直方图目标区域对应的灰度值，确定所述阈值。
所述分别在所述第一累加直方图和第二累加直方图中确定与所述初始图像中瞳孔所对应的目标区域，包括：
对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，将距离所述累加直方图的灰度最小值的区域最近的平缓区域确定为所述目标区域，所述平缓区域的任意相邻两个累加值的差距小于指定差距阈值。
可选地，所述对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，将距离所述累加直方图的灰度最小值的区域最近的平缓区域确定为所述目标区域，包括：
对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，从所述累加直方图中第一个不为0的灰度值开始，以x个灰度值为步长，依次执行多次检测过程，所述检测过程包括：
检测第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值是否小于第一差值阈值，i为正整数，x为正整数；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值不小于第一差值阈值，将i+x确定为更新后的i，再次执行所述检测过程；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值，统计连续出现的目标绝对值的个数，所述目标绝对值为已经检测的小于第一差值阈值的差值的绝对值；
当连续出现的目标绝对值的个数大于第一个数阈值，确定所述第i个灰度值为所述目标区域对应的起始灰度值；
基于所述起始灰度值，确定所述目标区域。
可选地，所述基于所述初始图像，建立第一累加直方图，包括：
基于所述初始图像建立直方图，所述直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值；
基于所述直方图建立所述第一累加直方图，所述第一累加直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值的累加值。
可选地，所述基于所述第一累加直方图的目标区域对应的灰度值和第二累加直方图目标区域对应的灰度值，确定所述阈值，包括：
确定所述第一累加直方图的目标区域和第二累加直方图的目标区域中每个目标区域的阈值备选值；
将确定的目标区域的阈值备选值的平均值或加权平均值确定为所述阈值。
可选地，所述阈值备选值为所述目标区域对应的灰度值中的随机值、最大值、最小值、平均值、加权平均值或者最大值和最小值的平均值。
可选地，在所述基于所述阈值对所述初始图像进行二值化处理之后，所述方法还包括：
对二值化处理后的初始图像进行边缘检测和/或椭圆拟合，得到瞳孔定位图像。
另一方面，提供一种图像处理装置，包括：
获取模块，用于获取包含瞳孔的初始图像；
建立模块，用于基于所述初始图像，建立累加直方图；
区域确定模块，用于在所述累加直方图中确定与所述初始图像中瞳孔所对应的目标区域；
阈值确定模块，用于基于所述目标区域对应的灰度值，确定用于对所述初始图像进行二值化处理的阈值；
二值化处理模块，用于基于所述阈值对所述初始图像进行二值化处理。
可选地，所述建立模块，用于：基于所述初始图像，建立第一累加直方图；对所述第一累加直方图进行边缘模糊处理，得到第二累加直方图；
所述区域确定模块，用于：分别在所述第一累加直方图和第二累加直方图中确定与所述初始图像中瞳孔所对应的目标区域；
所述阈值确定模块，用于：基于所述第一累加直方图的目标区域对应的灰度值和第二累加直方图目标区域对应的灰度值，确定所述阈值。
可选地，所述区域确定模块，用于：
对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，将距离所述累加直方图的灰度最小值的区域最近的平缓区域确定为所述目标区域，所述平缓区域的任意相邻两个累加值的差距小于指定差距阈值。
可选地，所述区域确定模块，用于：
对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，从所述累加直方图中第一个不为0的灰度值开始，以x个灰度值为步长，依次执行多次检测过程，所述检测过程包括：
检测第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值是否小于第一差值阈值，i为正整数，x为正整数；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值不小于第一差值阈值，将i+x确定为更新后的i，再次执行所述检测过程；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值，统计连续出现的目标绝对值的个数，所述目标绝对值为已经检测的小于第一差值阈值的差值的绝对值；
当连续出现的目标绝对值的个数大于第一个数阈值，确定所述第i个灰度值为所述目标区域对应的起始灰度值；
基于所述起始灰度值，确定所述目标区域。
可选地，所述建立模块，用于：
基于所述初始图像建立直方图，所述直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值；
基于所述直方图建立所述第一累加直方图，所述第一累加直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值的累加值。
可选地，所述阈值确定模块，用于：
确定所述第一累加直方图的目标区域和第二累加直方图的目标区域中每个目标区域的阈值备选值；
将确定的目标区域的阈值备选值的平均值或加权平均值确定为所述阈值。
可选地，所述阈值备选值为所述目标区域对应的灰度值中的随机值、最大值、最小值、平均值、加权平均值或者最大值和最小值的平均值。
可选地，所述装置还包括：
定位模块，用于在所述基于所述阈值对所述初始图像进行二值化处理之后，对二值化处理后的初始图像进行边缘检测和/或椭圆拟合，得到瞳孔定位图像。
又一方面，提供一种图像处理装置，包括：
处理器；
用于存储所述处理器的可执行指令的存储器；
其中，所述处理器被配置为执行前述任一所述的图像处理方法。
再一方面，提供一种可穿戴设备，所述可穿戴设备包括前述任一所述的图像处理装置。
可选地，该可穿戴设备为增强现实AR装置或虚拟现实VR装置。
再一方面，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在处理组件上运行时，使得处理组件执行前述任一所述的图像处理方法。
本发明实施例提供的图像处理方法、装置及可穿戴设备，基于获取的初始图像，建立累加直方图，并基于该累加直方图中瞳孔所对应的目标区域对应的灰度值，确定用于进行二值化处理的阈值。由于该阈值是基于初始图像的直方图特性确定的，不存在牵强性的人为假设，故定位效果鲁棒性较高，瞳孔中心定位精确度较高。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理方法的流程图；
图2是本发明实施例提供的另一种图像处理方法的流程图；
图3是本发明实施例提供的一种初始图像的示意图；
图4是本发明实施例提供的基于图3的初始图像建立的直方图的示意图；
图5是本发明实施例提供的一种直方图的示意图；
图6是本发明实施例提供的基于图4的直方图建立的累加直方图的示意图；
图7是本发明实施例提供的基于图5的直方图建立的累加直方图的示意图；
图8是本发明实施例提供的基于图6建立的累加直方图得到的模糊处理后的累加直方图的示意图；
图9是本发明实施例提供的采用基于图8所示的累加直方图确定的阈值对前述图3所示的初始图像进行二值化处理后得到的二值化处理后的初始图像的示意图；
图10是本发明实施例提供的采用基于图6所示的累加直方图确定的阈值对前述图3所示的初始图像进行二值化处理后得到的二值化处理后的初始图像的示意图；
图11是本发明实施例提供的另一种图像处理方法的流程图；
图12是本发明实施例提供的一种图像处理装置的结构示意图；
图13是本发明实施例提供的另一种图像处理装置的结构示意图；
图14是本发明实施例提供的又一种图像处理装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
眼球追踪技术是获取视觉感知的重要技术，其广泛应用于虚拟现实(VirtualReality，VR)或增强现实(Augmented Reality，AR)场景中，当然，眼球追踪技术还可以应用在一些其他场景中，例如，智能家居环境中的视觉控制场景或者行车过程中的后视镜控制场景，本发明实施例对此不作限定。
眼球追踪技术需要进行瞳孔中心位置提取，目前可以采用阈值法来进行该瞳孔中心位置的提取，本发明实施例提供一种图像处理方法，可以准确地确定用于二值化处理的阈值，提高定位效果鲁棒性以及瞳孔中心定位精确度。如图1所示，该图像处理方法包括：
步骤101、获取包含瞳孔的初始图像。
步骤102、基于初始图像，建立累加直方图。
该累加直方图用于表征初始图像中具有不同灰度值的像素在初始图像的像素中的分布情况的累加情况。
步骤103、在累加直方图中确定与初始图像中瞳孔所对应的目标区域。
步骤104、基于目标区域对应的灰度值，确定用于对初始图像进行二值化处理的阈值。
步骤105、基于阈值对初始图像进行二值化处理。
综上所述，本发明实施例基于获取的初始图像，建立累加直方图，并基于该累加直方图中瞳孔所对应的目标区域对应的灰度值，确定用于进行二值化处理的阈值。由于该阈值是基于初始图像的直方图特性确定的，不存在牵强性的人为假设，故定位效果鲁棒性较高，瞳孔中心定位精确度较高。
本发明实施例提供一种图像处理方法，可以基于至少一个累加直方图确定阈值，由于用于确定阈值的累加直方图的个数不同，相应的图像处理方法也不同，本发明实施例以以下两方面为例对该图像处理方法进行说明，该方法应用于图像处理装置。
第一方面，用于确定阈值的累加直方图有一个，则如图2所示，该方法包括：
步骤201、获取包含瞳孔的初始图像。
在一种可选方式中，初始图像为图像处理装置直接获取的图像，也即是图像处理装置可以将直接获取的图像作为初始图像，该初始图像可以为图像处理装置连接或者具有的图像拍摄组件拍摄得到的，或者由其他装置传输至该图像处理装置的。该直接获取的图像可以为人脸图像(即至少包含人脸的图像)或人眼图像(即至少包含人眼的图像)。示例的，该图像处理装置可以为VR或AR装置，该初始图像为内嵌在VR或AR装置内的进行人眼拍摄的红外设备所输出的图像。
在另一种可选方式中，初始图像为对人眼图像经过预处理得到的图像，图像处理装置可以先将直接获取的图像作为人眼图像，该人眼图像可以为图像处理装置连接或者具有的图像拍摄组件拍摄得到的，或者由其他装置传输至该图像处理装置的；然后，图像处理装置可以对该人眼图像进行预处理，得到初始图像。
可选地，该预处理的过程包括：特征提取处理、光斑检测处理和修复处理中的至少一种。由于获取的人眼图像可能是通过视场很大的图像拍摄组件获取的，该人眼图像可能还包含了人脸区域的其他图像，比如眉毛、鼻子、额头甚至头发等，直接对此图像处理会面临着极大的干扰和不确定性，通过对人眼图像进行预处理，可以获取只包含人眼的全部或部分图像的初始图像，减少后续处理复杂度，降低后续瞳孔中心定位错误，提高定位精度。
为了便于读者理解，本发明实施例以以下几方面对前述预处理的过程进行说明：
第一、特征提取处理用于提取图像中的指定特征，由于本发明实施例需要获取的是包含瞳孔的初始图像，因此该指定特征为瞳孔特征。示例的，该特征提取处理可以为Harr(哈尔)类特征检测处理。
第二、光斑检测处理用于检测图像中是否存在光斑。在人眼图像拍摄过程中，若拍摄环境的环境光线较暗(如拍摄对象为AR或VR头盔内部的人眼，由于头盔的遮挡，头盔内部环境光线较暗，又如拍摄时段为夜晚，环境光线较暗)，图像拍摄组件需要对拍摄对象进行补光，但是这样可能导致拍摄对象出现反光现象，导致拍摄的人眼图像出现光斑，尤其在补光组件为红外补光组件时，该光斑即为红点，容易引起后续瞳孔中心定位错误，因此需要检测出来，以进行修复。
第三、修复处理用于修复图像中的异常区域，例如该异常区域为光斑所在区域或者图像中被遮挡区域。当图像中出现异常区域，通过对异常区域的修复，可以减少后续瞳孔中心定位错误。
步骤202、基于初始图像，建立直方图。
直方图(Histogram)，又称质量分布图或者统计直方图，其由一系列高度不等的纵向条纹或线段表示数据分布的情况。一般用横轴表示数据类型，纵轴表示分布情况。
在本发明实施例中，直方图是基于前述初始图像建立的，该直方图用于表征初始图像中具有不同灰度值的像素在初始图像的像素中的分布情况，该直方图是通过对初始图像进行直方图检测得到的，其灰度值范围覆盖了该初始图像的所有灰度值范围。示例的，任一灰度值的像素在初始图像的像素中的分布情况可以通过多种方式表征，例如该任一灰度值的像素在初始图像的像素中的分布情况可以通过该任一灰度值的像素的个数与初始图像的像素总数的比值表征，或者该任一灰度值的像素在初始图像的像素中的分布情况可以通过该任一灰度值的像素的个数表征。
本发明实施例假设该任一灰度值的像素在初始图像的像素中的分布情况可以通过该任一灰度值的像素的个数与初始图像的像素总数的比值表征。则如图3所示，图3为一初始图像的示意图。基于该初始图像，确定的直方图如图4所示，该直方图的横轴表示灰度值，其数值范围可以为0至255，纵轴表示初始图像中具有不同灰度值的像素的个数与初始图像的像素总数的比值，其数值范围可以为0至1。
直方图实际表示一个离散函数，其满足直方图公式：
Figure GDA0002838467980000091
其中，k代表灰度值，L-1是灰度值范围上限，示例的L-1＝255，nk是图像中具有灰度值为k的像素的个数，N是图像中像素总数，H(k)表示具有灰度值k的像素的个数与初始图像的像素总数的比值。示例的，灰度值为1的像素的个数为40，像素总数为100，则H(k)＝0.4。
以图5为例，图5示出了4个直方条，分别对应初始图像中的具有4种灰度值的像素的个数与初始图像的像素总数中的比值。其中，灰度值为0、1、2和3的直方条对应的比值分别为0.3、0.4、0.2和0.1。
当然，该直方图的横轴和纵轴也可以表示其他含义，例如纵轴表示灰度值，横轴表示初始图像中具有不同灰度值的像素的个数与初始图像的像素总数的比值。本发明实施例对此不作赘述。
步骤203、基于直方图的数据，确定累加直方图。
累加直方图也称累计直方图、统计直方图或者累积直方图，该累加直方图用于表征初始图像中具有不同灰度值的像素在初始图像的像素中的分布情况的累加情况。通常情况下，该累加情况通过累加值反映，当然，也可以通过累加值的变形来反映。
如步骤202所示，任一灰度值的像素在初始图像的像素中的分布情况可以通过多种方式表征，则相应的，该分布情况的累加值也可以有多种方式表征，例如该任一灰度值的像素在初始图像的像素中的分布值可以通过该任一灰度值的像素的个数与初始图像的像素总数的比值表征，则累加情况为比值的累加值，或者该任一灰度值的像素在初始图像的像素中的分布情况可以通过该任一灰度值的像素的个数表征，则累加值为个数的累加值。值得说明的是，该累加直方图是基于前述直方图，以灰度值为单位逐个累加得到的。实际实现时，也可以每隔d个灰度值进行累加，d为正整数，通常d越低，最终得到的累加直方图的精度越高。
本发明实施例假设该任一灰度值的像素在初始图像的像素中的分布情况可以通过该任一灰度值的像素的个数与初始图像的像素总数的比值表征，并且累加直方图用于表征初始图像中具有不同灰度值的像素在初始图像的像素中的分布数据的累加值。则如图6所示，图6为基于图4的直方图确定的累加直方图，该累加直方图的横轴表示灰度值，其数值范围可以为0至255，纵轴表示初始图像中具有不同灰度值的像素的个数与初始图像的像素总数的比值的累加值，其数值范围可以为0至1。由图6可知，每个灰度值对应的累加值为不大于该灰度值的所有灰度值对应的比值的总和，因而该累加直方图的边界是一条单调递增曲线。
累加直方图实际表示一个离散函数，其满足累加直方图公式：
Figure GDA0002838467980000101
其中，k代表灰度值，L-1是灰度值范围上限，示例的L-1＝255，nk是图像中具有灰度值为k的像素的个数，N是图像中像素总数，I(k)表示具有灰度值小于或等于k的像素的个数与初始图像的像素总数的比值的总和。示例的，灰度值为0的像素的个数为30，灰度值为1的像素的个数为40，像素总数为100，则I(1)＝0.3+0.4＝0.7。
以图7为例，图7示出了4个直方条，分别对应初始图像中的具有4种灰度值的像素的个数与初始图像的像素总数中的比值的累加值，其基于图5所示的直方图确定。其中，灰度值为0、1、2和3的直方条对应的比值分别为0.3、0.7、0.9和1。
当然，该累加直方图的横轴和纵轴也可以表示其他含义，例如纵轴表示灰度值，横轴表示初始图像中具有不同灰度值的像素的个数与初始图像的像素总数的比值的累加值。本发明实施例对此不作赘述。
值的说明的是，直方图和累加直方图的绘制方式有多种，图4和图6中每两个相邻的灰度值对应的直方条邻接，图5和图7中每两个相邻的灰度值对应的直方条间隔，图4至图7只是两种示意性绘制方式，本发明实施例对直方图和累加直方图的绘制方式不作限定。
步骤204、对累加直方图进行边缘模糊处理，得到更新的累加直方图。
该边缘模糊处理用于对累加直方图的边缘进行模糊处理，使得更新的累加直方图的边缘更加平滑。示例的，该边缘模糊处理可以为高斯模糊(Gaussian Blur)处理，高斯模糊处理也称高斯平滑处理，指的是对待模糊图像与正态分布做卷积，得到卷积后的图像的过程。其中，正态分布又称高斯分布。在进行高斯模糊处理时，所采用的高斯核可以为3×1的大小，也可以为5×1，由于通常高斯核越小，模糊处理效果越好，因此通常使用3×1的高斯核。示例的，基于图6建立的累加直方图，得到的模糊处理后的累加直方图可以参见图8。
对累加直方图进行高斯模糊处理，得到的更新的累加直方图可以称为累加高斯直方图，该更新的累加直方图中累加值的递增更为平滑，数据跳变更少，便于后续对目标区域的检测，在提高检测效率的基础上，还能提高检测精度。
步骤205、在累加直方图中确定与初始图像中瞳孔所对应的目标区域。
在本发明实施例中，进行二值化处理的阈值检测的原理来源于初始图像的直方图分布特性，如图4所示，可观测到在直方图灰度值较低的区域，存在着一个明显的峰值，此峰值后方为一段数值较小的区域R1。通过检测初始图像内的灰度值最低像素的位置，可以确定该直方图中最前方的峰值是由瞳孔内部的低灰度值像素所构成的(因为初始图像内的灰度值最低像素就位于瞳孔的黑色区域，即瞳孔所在区域的内部)，而此特性在累加直方图中则反应为在灰度值较低部分，有一段平滑、变化缓慢的累加区域，也即是初始图像中瞳孔所对应的目标区域R2，如图6所示。本发明实施例提供的图像处理方法的目的就是提取出累加直方图中的该目标区域R2中的灰度值作为阈值，以此阈值进行二值化处理。
示例的，若累加直方图经过前述步骤204的边缘模糊处理，则步骤205包括：在更新的累加直方图中确定与初始图像中瞳孔所对应的目标区域。
其中，目标区域为距离累加直方图的灰度最小值的区域最近的平缓区域，该平缓区域的任意相邻两个累加值的差距小于指定差距阈值。因此，可以将距离累加直方图的灰度最小值的区域最近的平缓区域确定为目标区域。示例的，该累加值可以为前述步骤203所述的累加值。
在累加直方图中确定与初始图像中瞳孔所对应的目标区域的方式可以有多种，本发明实施例以以下两种方式为例进行说明：
在第一种方式中，该确定目标区域的过程包括：
从累加直方图中第一个不为0的灰度值开始，以x个灰度值为步长(也即是沿横轴的正方向每隔x个灰度值检查一次)，依次执行多次检测过程，该检测过程包括：
步骤A1、检测第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值是否小于第一差值阈值，i为正整数，x为正整数。
示例的，1≤i≤255，x的数值越小，最终确定的目标区域的精度越高，示例的，1≤x≤5，例如，x＝1或2。
步骤A2、当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值不小于第一差值阈值，将i+x确定为更新后的i，再次执行检测过程。
例如，第一差值阈值为0.06，i＝4，x＝2，则当第4个灰度值对应的累加值为0.3，第6个灰度值所对应的累加值为0.5，两者的差值的绝对值不小于0.06，将6确定为更新后的i，也即是i＝6，再次执行检测过程。
步骤A3、当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值，统计连续出现的目标绝对值的个数，目标绝对值为已经检测的小于第一差值阈值的差值的绝对值。
例如，第一差值阈值为0.06，i＝20，x＝2，则当第20个灰度值对应的累加值为0.5，第22个灰度值所对应的累加值为0.5，两者的差值的绝对值小于0.06，统计连续出现的目标绝对值的个数。
步骤A4、当连续出现的目标绝对值的个数大于第一个数阈值，确定第i个灰度值为目标区域对应的起始灰度值。
例如，第一个数阈值为6，当连续出现的目标绝对值的个数大于6，则确定第i个灰度值为目标区域对应的起始灰度值。
示例的，当第8、10、12、14、16、18、20和22个灰度值中每两个相邻的灰度值所对应的累加值的差值的绝对值小于第一差值阈值时，在检测到第20个灰度值(即i＝20，i+x＝22)时，连续出现目标绝对值的个数达到了7次，大于6，因此，灰度值20为目标区域的起始灰度值。
步骤A5、基于起始灰度值，确定目标区域。
在一种可选的方式中，可以直接将起始灰度值所在区域确定为目标区域，也即是，该目标区域对应的灰度值仅起始灰度值一个。
在另一种可选的方式中，可以直接以将起始灰度值开始的p个灰度值所在区域确定为目标区域，p为预设个数，示例的，2≤p≤6。
在又一种可选的方式中，再次执行检测过程，以确定从起始灰度值开始，从末尾灰度值结束的目标区域，该末尾灰度值与起始灰度值的差值小于第二差值阈值，且末尾灰度值与起始灰度值之间的灰度值均满足前述目标绝对值的要求，也即是对于第i个灰度值，该第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值。示例的，该第二差值阈值为6。需要说明的是，将第二差值阈值设置为6，可以保证起始灰度值和末尾灰度值的差值较小，避免最终确定的目标区域范围过大，保证阈值的确定精度。
在该第一种方式中，检测到目标区域后，即可停止上述检测过程。
在第二种方式中，从累加直方图中第一个不为0的灰度值开始，以x个灰度值为步长(也即是沿横轴的正方向每隔x个灰度值检查一次)，依次执行多次检测过程直至所有灰度值检测完成，检测过程包括：
步骤B1、检测第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值是否小于第一差值阈值，i为正整数，x为正整数。
步骤B1可以参考前述步骤A1，本发明实施例对此不再赘述。
步骤B2、当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值不小于第一差值阈值，将i+x确定为更新后的i，再次执行检测过程；
步骤B2可以参考前述步骤A2，本发明实施例对此不再赘述。
步骤B3、当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值，统计连续出现的目标绝对值的个数，目标绝对值为已经检测的小于第一差值阈值的差值的绝对值；
步骤B3可以参考前述步骤A3，本发明实施例对此不再赘述。
步骤B4、当连续出现的目标绝对值的个数大于第一个数阈值，确定第i个灰度值为平缓区域对应的起始灰度值。
例如，第一个数阈值为6，当连续出现的目标绝对值的个数大于6，则确定连续出现的目标绝对值所对应的区域为平缓区域。在检测到目标区域后就可以停止前述检测过程。该平缓区域的检测过程可以参考上述步骤A4的检测过程。
步骤B5、基于起始灰度值，确定平缓区域。
在一种可选的方式中，可以直接将起始灰度值所在区域确定为平缓区域，也即是，该平缓区域对应的灰度值仅起始灰度值一个。
在另一种可选的方式中，可以直接以将起始灰度值开始的p个灰度值所在区域确定为平缓区域，p为预设个数，示例的，2≤p≤6。
在又一种可选的方式中，再次执行检测过程，以确定从起始灰度值开始，从末尾灰度值结束的平缓区域，该末尾灰度值与起始灰度值的差值小于第二差值阈值，且末尾灰度值与起始灰度值之间的灰度值均满足前述目标绝对值的要求，也即是对于第i个灰度值，该第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值。示例的，该第二差值阈值为6。需要说明的是，将第二差值阈值设置为6，可以保证起始灰度值和末尾灰度值的差值较小，避免最终确定的目标区域范围过大，保证阈值的确定精度。
所有灰度值检测完成后，可以在确定的多个平缓区域中，选择距离累加直方图的灰度最小值的区域最近的平缓区域作为目标区域。如图6所示，在所有灰度值均检测完成后，可以确定2个平缓区域，分别为平缓区域R2和平缓区域R3，可以选择距离累加直方图的灰度最小值的区域最近的平缓区域R2作为目标区域。
上述两种方式中只是示意性说明，实际实现时，还可以采用其他方式来确定目标区域，例如，检测可以从累加直方图中灰度值0开始，当然，前述两种方式中，从累加直方图中第一个不为0的灰度值开始检测，可以减少检测过程的执行次数，减少运算开销。进一步的，上述第一种方式相对于第二种方式，在检测到第一个平缓区域R2即停止检测过程，也减少了运算开销。
步骤206、基于目标区域对应的灰度值，确定阈值，该阈值为用于对初始图像进行二值化处理的阈值。
由于目标区域对应的灰度值差距不大，目标区域中对应的任一灰度值均在可接受范围内，因此该阈值可以为目标区域对应的灰度值中的随机值、最大值、最小值、平均值、加权平均值，或，最大值和最小值的平均值。本发明实施例对此不作限定。
需要说明的是，若将最小值，也即是目标区域的起始灰度值作为阈值，阈值可能偏小，在进行二值化处理时，可能会将瞳孔的部分区域也视为背景从初始图像中清除；基于前述平均值、加权平均值，或，最大值和最小值的平均值可以对阈值偏小的现象进行修正，保证最终获取的阈值的准确性，提高二值化处理精度。
步骤207、基于阈值对初始图像进行二值化处理，得到二值化处理后的初始图像。
二值化处理，是将图像上的像素点的灰度值设置为两个值，也就是将整个图像呈现出明显的只有两种颜色的视觉效果。该两个值通常为0和255，二值化后的图像呈现明显的只有黑色和白色的视觉效果。
本发明实施例中，可以将前述确定的阈值作为二值化处理的阈值，对初始图像进行处理，得到二值化处理后的初始图像。
示例的，对于该初始图像中的每个像素点，将该像素点的灰度值与阈值进行比较，当该灰度值小于阈值，将该灰度值更新为第一值，当该灰度值大于或等于阈值，将该灰度值更新为第二值；其中，第一值和第二值分别为指定的两个值中的一个，示例的，第一值和第二值分别为0和255中的一个，例如第一值为0，第二值为255。
采用前述阈值进行二值化处理后，前述的初始图像中瞳孔区域会被分离出来，得到二值化处理后的初始图像，则此时的二值化处理后的初始图像比初始图像所包含的像素数据更少，更能反映真实的瞳孔所在区域。示例的，假设第一值为0，第二值为255，采用基于图8所示的累加直方图确定的阈值对前述图3所示的初始图像进行二值化处理后得到的二值化处理后的初始图像如图9所示。
步骤208、对二值化处理后的初始图像进行边缘检测和/或椭圆拟合，得到瞳孔定位图像。
在得到前述二值化处理后的初始图像后，瞳孔区域会从背景中分离出来，此后为了定位瞳孔中心，可以使用边缘检测和椭圆拟合中的至少一种对二值化处理后的初始图像进行进一步处理，以得到瞳孔定位图像，基于该图像可以确定瞳孔的精确位置。
步骤209、对瞳孔定位图像进行中心定位处理，得到瞳孔的中心位置。
在第一种可选实现方式中，在得到前述二值化处理后的初始图像后，可以直接对该二值化处理后的初始图像进行中心定位处理，将定位得到的几何中心确定为瞳孔的中心位置。则无需执行上述步骤208。
在第二种可选方式中，若执行了上述步骤208，对步骤208得到的瞳孔定位图像进行中心定位处理，将定位得到的几何中心确定为瞳孔的中心位置。该定位得到的几何中心相对于前述第一种可选实现方式准确性更高。
值的说明的是，前述步骤202和203是以先建立直方图，再基于该直方图建立累加直方图为例进行说明的，本发明实施例在实际实现时，也可以基于初始图像直接建立累加直方图，本发明对此不再赘述。
进一步的，前述步骤204为可选步骤，也即是，图像处理装置可以直接基于步骤203获取的累加直方图，执行步骤205。但是由于经过基于边缘模糊处理得到的累计直方图，曲线变化更为平滑，数据跳变较少，基于此最终确定的二值化处理后的初始图像更为准确。如前述步骤207所示，假设第一值为0，第二值为255，采用基于图6所示的累加直方图确定的阈值对前述图3所示的初始图像进行二值化处理后得到的二值化处理后的初始图像如图10所示。显然图9所获取的二值化处理后的初始图像相较于图10所示的二值化处理后的初始图像边界更清晰，干扰更少。
第二方面，用于确定阈值的累加直方图有多个，假设该多个累加直方图包括第一累加直方图和第二累加直方图，则如图11所示，该方法包括：
步骤301、获取包含瞳孔的初始图像。
步骤301的过程可以参考前述步骤302，本发明实施例不再赘述。
步骤302、基于该初始图像，建立第一累加直方图和第二累加直方图。
示例的，步骤302包括：
步骤C1、基于初始图像，建立直方图。
该过程可以参考前述步骤202，本发明实施例不再赘述。
步骤C2、基于直方图的数据，确定第一累加直方图。
该过程可以参考前述步骤203，本发明实施例不再赘述。
步骤C3、对第一累加直方图进行边缘模糊处理，得到第二累加直方图。
该过程可以参考前述步骤204，其中，第一累加直方图相当于前述步骤203的累加直方图，第二累加直方图相当于前述步骤204中的更新的直方图，本发明实施例不再赘述。
步骤303、分别在该第一累加直方图和第二累加直方图的每个累加直方图中确定与该初始图像中瞳孔所对应的目标区域。
在每个累加直方图中确定与该初始图像中瞳孔所对应的目标区域的过程可以包括：对于第一累加直方图和第二累加直方图中每个累加直方图，将距离累加直方图的灰度最小值的区域最近的平缓区域确定为目标区域，平缓区域的任意相邻两个累加值的差距小于指定差距阈值，例如，包括：对于第一累加直方图和第二累加直方图中每个累加直方图，从累加直方图中第一个不为0的灰度值开始，以x个灰度值为步长，依次执行多次检测过程，检测过程包括：检测第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值是否小于第一差值阈值，i为正整数，x为正整数；当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值不小于第一差值阈值，将i+x确定为更新后的i，再次执行检测过程；当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值，统计连续出现的目标绝对值的个数，目标绝对值为已经检测的小于第一差值阈值的差值的绝对值；当连续出现的目标绝对值的个数大于第一个数阈值，确定第i个灰度值为目标区域对应的起始灰度值；基于起始灰度值，确定目标区域。
该步骤303中在每个累加直方图中确定目标区域的过程可以参考前述步骤205，本发明实施例不再赘述。
步骤304、基于该第一累加直方图的目标区域对应的灰度值和第二累加直方图目标区域对应的灰度值，确定该阈值。
示例的，步骤304包括：
步骤D1、确定该第一累加直方图的目标区域和第二累加直方图的目标区域中每个目标区域的阈值备选值。
确定每个目标区域的阈值备选值的过程可以参考前述步骤206确定阈值的过程，本发明实施例不再赘述。
步骤D2、将确定的目标区域的阈值备选值的平均值或加权平均值确定为该阈值。
将确定的目标区域的阈值备选值的平均值或加权平均值确定为该阈值，实现了第一累加直方图和第二累加直方图的阈值的融合，最终确定的阈值准确性较高。
步骤305、基于阈值对初始图像进行二值化处理，得到二值化处理后的初始图像。
步骤305的过程可以参考前述步骤207，本发明实施例不再赘述。
步骤306、对二值化处理后的初始图像进行边缘检测和/或椭圆拟合，得到瞳孔定位图像。
步骤306的过程可以参考前述步骤208，本发明实施例不再赘述。
步骤307、对瞳孔定位图像进行中心定位处理，得到瞳孔的中心位置。
步骤307的过程可以参考前述步骤209，本发明实施例不再赘述。
值得说明的是，前述第二累加直方图可以有多个，每个第二累加直方图是对第一累加直方图进行边缘模糊处理得到的，且多个第二累加直方图所采用的边缘模糊处理的算法不同，和/或，多个第二累加直方图所进行的边缘模糊处理的次数不同。相应的，步骤304可以替换为基于该第一累加直方图的目标区域对应的灰度值和多个第二累加直方图目标区域对应的灰度值，确定的阈值，由于阈值是基于多个备选阈值融合得到，因此更为准确。
需要说明的是，在前述步骤209或307确定了瞳孔的中心位置后，可以将此中心位置映射至人眼的注视物体上，得到该注视物体上人眼的注视区域，从而获取人类的视觉注视信息。并对该视觉注视信息进行相应的响应。例如，在VR或AR场景中，当确定人类注视某一物体时，通过相应的可穿戴设备显示该物体的VR或AR图像；在智能家居环境中的视觉控制场景中，当确定人类注视某一智能家居时，控制该智能家居开启或关闭；在行车过程中的后视镜控制场景中，当确定人类注视某一后视镜时，根据人类注视的角度，调整后视镜的角度。
前述第一方面和第二方面实际上可以视为基于第一累加直方图和/或第二累加直方图确定阈值的过程，前述两方面的对应过程可以相互参考或结合，本发明实施例不再赘述。
综上所述，本发明实施例基于获取的初始图像，建立累加直方图，并基于该累加直方图中瞳孔所对应的目标区域对应的灰度值，确定用于进行二值化处理的阈值。由于该阈值是基于初始图像的直方图特性确定的，不存在牵强性的人为假设，故定位效果鲁棒性较高，瞳孔中心定位精确度较高。
需要说明的是，本发明实施例提供的图像处理方法步骤的先后顺序可以进行适当调整，步骤也可以根据情况进行相应增减，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化的方法，都应涵盖在本发明的保护范围之内，因此不再赘述。
上述所有可选技术方案，可以采用任意结合形成本公开的可选实施例，在此不再一一赘述。
本发明实施例提供一种图像处理装置40，如图12所示，包括：
获取模块401，用于获取包含瞳孔的初始图像；
建立模块402，用于基于所述初始图像，建立累加直方图；
区域确定模块403，用于在所述累加直方图中确定与所述初始图像中瞳孔所对应的目标区域；
阈值确定模块404，用于基于所述目标区域对应的灰度值，确定用于对所述初始图像进行二值化处理的阈值；
二值化处理模块405，用于基于所述阈值对所述初始图像进行二值化处理。
综上所述，本发明实施例建立模块基于获取的初始图像，建立累加直方图，阈值确定模块基于该累加直方图中瞳孔所对应的目标区域对应的灰度值，确定用于进行二值化处理的阈值。由于该阈值是基于初始图像的直方图特性确定的，不存在牵强性的人为假设，故定位效果鲁棒性较高，瞳孔中心定位精确度较高。
可选地，所述建立模块402，用于：基于所述初始图像，建立第一累加直方图；对所述第一累加直方图进行边缘模糊处理，得到第二累加直方图；
所述区域确定模块403，用于：分别在所述第一累加直方图和第二累加直方图中确定与所述初始图像中瞳孔所对应的目标区域；
所述阈值确定模块404，用于：基于所述第一累加直方图的目标区域对应的灰度值和第二累加直方图目标区域对应的灰度值，确定所述阈值。
可选地，所述区域确定模块403，用于：
对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，将距离所述累加直方图的灰度最小值的区域最近的平缓区域确定为所述目标区域，所述平缓区域的任意相邻两个累加值的差距小于指定差距阈值。
可选地，所述区域确定模块403用于：
对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，从所述累加直方图中第一个不为0的灰度值开始，以x个灰度值为步长，依次执行多次检测过程，所述检测过程包括：
检测第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值是否小于第一差值阈值，i为正整数，x为正整数；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值不小于第一差值阈值，将i+x确定为更新后的i，再次执行所述检测过程；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值，统计连续出现的目标绝对值的个数，所述目标绝对值为已经检测的小于第一差值阈值的差值的绝对值；
当连续出现的目标绝对值的个数大于第一个数阈值，确定所述第i个灰度值为所述目标区域对应的起始灰度值；
基于所述起始灰度值，确定所述目标区域。
可选地，所述建立模块402，用于：
基于所述初始图像建立直方图，所述直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值；
基于所述直方图建立所述第一累加直方图，所述第一累加直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值的累加值。
可选地，所述阈值确定模块404，用于：
确定所述第一累加直方图的目标区域和第二累加直方图的目标区域中每个目标区域的阈值备选值；
将确定的目标区域的阈值备选值的平均值或加权平均值确定为所述阈值。
可选地，所述阈值备选值为所述目标区域对应的灰度值中的随机值、最大值、最小值、平均值、加权平均值或者最大值和最小值的平均值。
可选地，如图13所示，所述装置40还包括：
定位模块406，用于在所述基于所述阈值对所述初始图像进行二值化处理之后，对二值化处理后的初始图像进行边缘检测和/或椭圆拟合，得到瞳孔定位图像。
综上所述，本发明实施例建立模块基于获取的初始图像，建立累加直方图，阈值确定模块基于该累加直方图中瞳孔所对应的目标区域对应的灰度值，确定用于进行二值化处理的阈值。由于该阈值是基于初始图像的直方图特性确定的，不存在牵强性的人为假设，故定位效果鲁棒性较高，瞳孔中心定位精确度较高。
本发明实施例提供一种图像处理装置，包括：
处理器；
用于存储所述处理器的可执行指令的存储器；
其中，所述处理器被配置为以上实施例任一所述的图像处理方法。
可选地，本发明实施例提供一种可穿戴设备，该可穿戴设备包括上述实施例提供的任一所述图像处理装置，该可穿戴设备可以为AR装置或VR装置。
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在处理组件上运行时，使得处理组件执行前述实施例任一所述的图像处理方法。
图14示出了本发明一个示例性实施例提供的图像处理装置500的结构框图。该图像处理装置500可以是可穿戴设备，或者与可穿戴设备连接的控制设备。
通常，图像处理装置500包括有：处理器501和存储器502。
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本申请中方法实施例提供的图像处理方法。
进一步的，该图像处理装置500为可穿戴设备时，其可以包括可穿戴结构件，用于将可穿戴设备穿戴在人体上，例如该可穿戴结构件为头套、绑带或与头部形状适配的C形卡接件。
在一些实施例中，图像处理装置500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
外围设备接口503可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外围设备接口503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路504用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路504通过电磁信号与通信网络以及其他通信设备进行通信。射频电路504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路504包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路504还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏505用于显示UI(UserInterface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏505是触摸显示屏时，显示屏505还具有采集在显示屏505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器501进行处理。此时，显示屏505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏505可以为一个，设置图像处理装置500的前面板；在另一些实施例中，显示屏505可以为至少两个，分别设置在图像处理装置500的不同表面或呈折叠设计；在再一些实施例中，显示屏505可以是柔性显示屏，设置在图像处理装置500的弯曲表面上或折叠面上。甚至，显示屏505还可以设置成非矩形的不规则图形，也即异形屏。显示屏505可以为LCD(Liquid Crystal Display，液晶显示阵列)显示屏或OLED(OrganicLight-Emitting Diode,有机发光二极管)显示屏。
图像拍摄组件506用于采集图像或视频。可选地，图像拍摄组件506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，图像拍摄组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。进一步的，该图像拍摄组件可以包括红外设备，例如相机，该红外相机可以包括多个红外LED。该图像拍摄组件可以内嵌在可穿戴设备内部。
音频电路507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器501进行处理，或者输入至射频电路504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在图像处理装置500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器501或射频电路504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路507还可以包括耳机插孔。
定位组件508用于定位图像处理装置500的当前地理位置，以实现导航或LBS(Location Based Service，基于位置的服务)。定位组件508可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源509用于为图像处理装置500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，图像处理装置500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
加速度传感器511可以检测以图像处理装置500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制触摸显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器512可以检测图像处理装置500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对图像处理装置500的3D动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器513可以设置在图像处理装置500的侧边框和/或触摸显示屏505的下层。
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置图像处理装置500的正面、背面或侧面。当图像处理装置500上设置有物理按键或厂商Logo时，指纹传感器514可以与物理按键或厂商Logo集成在一起。
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制触摸显示屏505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏505的显示亮度；当环境光强度较低时，调低触摸显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整图像拍摄组件506的拍摄参数。
接近传感器516，也称距离传感器，通常设置在图像处理装置500的前面板。接近传感器516用于采集用户与图像处理装置500的正面之间的距离。
本领域技术人员可以理解，图14中示出的结构并不构成对图像处理装置500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
获取包含瞳孔的初始图像；
基于所述初始图像，建立第一累加直方图；
对所述第一累加直方图进行边缘模糊处理，得到第二累加直方图；
分别在所述第一累加直方图和所述第二累加直方图中确定与所述初始图像中瞳孔所对应的目标区域；
基于所述第一累加直方图的目标区域对应的灰度值和所述第二累加直方图的目标区域对应的灰度值，确定用于对所述初始图像进行二值化处理的阈值；
基于所述阈值对所述初始图像进行二值化处理。
2.根据权利要求1所述的方法，其特征在于，所述分别在所述第一累加直方图和所述第二累加直方图中确定与所述初始图像中瞳孔所对应的目标区域，包括：
对于所述第一累加直方图和所述第二累加直方图中的每个累加直方图，将距离所述累加直方图的灰度最小值的区域最近的平缓区域确定为所述目标区域，所述平缓区域的任意相邻两个累加值的差距小于指定差距阈值。
3.根据权利要求2所述的方法，其特征在于，所述对于所述第一累加直方图和所述第二累加直方图中的每个累加直方图，将距离所述累加直方图的灰度最小值的区域最近的平缓区域确定为所述目标区域，包括：
对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，从所述累加直方图中第一个不为0的灰度值开始，以x个灰度值为步长，依次执行多次检测过程，所述检测过程包括：
检测第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值是否小于第一差值阈值，i为正整数，x为正整数；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值不小于第一差值阈值，将i+x确定为更新后的i，再次执行所述检测过程；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值，统计连续出现的目标绝对值的个数，所述目标绝对值为已经检测的小于第一差值阈值的差值的绝对值；
当连续出现的目标绝对值的个数大于第一个数阈值，确定所述第i个灰度值为所述目标区域对应的起始灰度值；
基于所述起始灰度值，确定所述目标区域。
4.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述初始图像，建立第一累加直方图，包括：
基于所述初始图像建立直方图，所述直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值；
基于所述直方图建立所述第一累加直方图，所述第一累加直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值的累加值。
5.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述第一累加直方图的目标区域对应的灰度值和所述第二累加直方图的目标区域对应的灰度值，确定所述阈值，包括：
确定所述第一累加直方图的目标区域和第二累加直方图的目标区域中每个目标区域的阈值备选值；
将确定的目标区域的阈值备选值的平均值或加权平均值确定为所述阈值。
6.根据权利要求5所述的方法，其特征在于，所述阈值备选值为所述目标区域对应的灰度值中的随机值、最大值、最小值、平均值、加权平均值或者最大值和最小值的平均值。
7.根据权利要求1所述的方法，其特征在于，在所述基于所述阈值对所述初始图像进行二值化处理之后，所述方法还包括：
对二值化处理后的初始图像进行边缘检测和/或椭圆拟合，得到瞳孔定位图像。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取包含瞳孔的初始图像；
建立模块，用于基于所述初始图像，建立第一累加直方图；对所述第一累加直方图进行边缘模糊处理，得到第二累加直方图；
区域确定模块，用于分别在所述第一累加直方图和所述第二累加直方图中确定与所述初始图像中瞳孔所对应的目标区域；
阈值确定模块，用于基于所述第一累加直方图的目标区域对应的灰度值和所述第二累加直方图的目标区域对应的灰度值，确定用于对所述初始图像进行二值化处理的阈值；
二值化处理模块，用于基于所述阈值对所述初始图像进行二值化处理。
9.根据权利要求8所述的装置，其特征在于，所述区域确定模块，用于：
对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，将距离所述累加直方图的灰度最小值的区域最近的平缓区域确定为所述目标区域，所述平缓区域的任意相邻两个累加值的差距小于指定差距阈值。
10.根据权利要求9所述的装置，其特征在于，所述区域确定模块，用于：
对于所述第一累加直方图和所述第二累加直方图中每个累加直方图，从所述累加直方图中第一个不为0的灰度值开始，以x个灰度值为步长，依次执行多次检测过程，所述检测过程包括：
检测第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值是否小于第一差值阈值，i为正整数，x为正整数；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值不小于第一差值阈值，将i+x确定为更新后的i，再次执行所述检测过程；
当第i个灰度值和第i+x个灰度值所对应的累加值的差值的绝对值小于第一差值阈值，统计连续出现的目标绝对值的个数，所述目标绝对值为已经检测的小于第一差值阈值的差值的绝对值；
当连续出现的目标绝对值的个数大于第一个数阈值，确定所述第i个灰度值为所述目标区域对应的起始灰度值；
基于所述起始灰度值，确定所述目标区域。
11.根据权利要求8至10任一所述的装置，其特征在于，所述建立模块，用于：
基于所述初始图像建立直方图，所述直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值；
基于所述直方图建立所述第一累加直方图，所述第一累加直方图的横轴表示灰度值，纵轴表示所述初始图像中具有不同灰度值的像素的个数与所述初始图像的像素总数的比值的累加值。
12.根据权利要求8至10任一所述的装置，其特征在于，所述阈值确定模块，用于：
确定所述第一累加直方图的目标区域和第二累加直方图的目标区域中每个目标区域的阈值备选值；
将确定的目标区域的阈值备选值的平均值或加权平均值确定为所述阈值。
13.一种可穿戴设备，其特征在于，所述可穿戴设备包括权利要求8至12任一项所述的图像处理装置。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在处理组件上运行时，使得处理组件执行如权利要求1至7任一项所述的图像处理方法。
CN201910251347.6A 2019-03-29 2019-03-29 图像处理方法、装置及可穿戴设备 Active CN109993115B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910251347.6A CN109993115B (zh) 2019-03-29 2019-03-29 图像处理方法、装置及可穿戴设备
US16/718,731 US11379960B2 (en) 2019-03-29 2019-12-18 Image processing method, image processing apparatus, and wearable device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910251347.6A CN109993115B (zh) 2019-03-29 2019-03-29 图像处理方法、装置及可穿戴设备

Publications (2)

Publication Number Publication Date
CN109993115A CN109993115A (zh) 2019-07-09
CN109993115B true CN109993115B (zh) 2021-09-10

Family

ID=67131913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910251347.6A Active CN109993115B (zh) 2019-03-29 2019-03-29 图像处理方法、装置及可穿戴设备

Country Status (2)

Country Link
US (1) US11379960B2 (zh)
CN (1) CN109993115B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111429443A (zh) * 2020-03-31 2020-07-17 中国飞机强度研究所 一种红外热成像系统检测图像的缺陷定位方法及装置
CN112686845B (zh) * 2020-12-23 2022-04-15 合肥联宝信息技术有限公司 一种图像处理的方法、装置及计算机可读介质
CN112561905B (zh) * 2020-12-24 2023-11-14 上海精测半导体技术有限公司 有图形晶圆的图像优化方法、复检方法和复检设备
CN113052852B (zh) * 2021-01-12 2023-05-05 北京理工大学 一种基于可编程逻辑电路的图像分割方法
CN112911148B (zh) * 2021-01-28 2022-10-14 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN115083573A (zh) * 2021-03-11 2022-09-20 广州视源电子科技股份有限公司 体征数据处理方法、装置、设备和存储介质
CN113744170B (zh) * 2021-09-16 2023-07-25 北京航空航天大学 一种人眼图像增强方法
CN114627146B (zh) * 2022-03-15 2024-09-24 平安科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN115311176B (zh) * 2022-10-12 2023-03-07 江苏菲尔浦物联网有限公司 基于直方图均衡化的夜间图像增强方法
CN115330645B (zh) * 2022-10-17 2023-03-31 南通惠尔风机有限公司 一种焊接图像增强方法
US20240144722A1 (en) * 2022-11-01 2024-05-02 Calvin John RUBENS Methods and systems for adaptive binarization thresholding for pupil segmentation
CN115647696B (zh) * 2022-12-14 2023-03-21 中国华西企业股份有限公司 一种大型钢结构的自动化加工装置、加工方法及加工终端
CN118154578B (zh) * 2024-04-11 2024-09-24 四川省第六建筑有限公司 一种alc板面拼接完整性的检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281646A (zh) * 2008-05-09 2008-10-08 山东大学 基于视觉的驾驶员疲劳实时检测方法
CN101923645A (zh) * 2009-06-09 2010-12-22 黑龙江大学 适应复杂应用场景中低质量虹膜图像的虹膜分割方法
CN102750584A (zh) * 2012-04-18 2012-10-24 中国农业大学 玉米粒在穗计数方法
CN106022315A (zh) * 2016-06-17 2016-10-12 北京极创未来科技有限公司 一种用于虹膜识别的瞳孔中心定位方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7454040B2 (en) * 2003-08-29 2008-11-18 Hewlett-Packard Development Company, L.P. Systems and methods of detecting and correcting redeye in an image suitable for embedded applications
JP4498224B2 (ja) * 2005-06-14 2010-07-07 キヤノン株式会社 画像処理装置およびその方法
US7620216B2 (en) * 2006-06-14 2009-11-17 Delphi Technologies, Inc. Method of tracking a human eye in a video image
US8170293B2 (en) * 2006-09-15 2012-05-01 Identix Incorporated Multimodal ocular biometric system and methods
WO2010011785A1 (en) * 2008-07-23 2010-01-28 Indiana University Research & Technology Corporation System and method for a non-cooperative iris image acquisition system
JP5547730B2 (ja) * 2008-07-30 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 顔検知を用いた顔及び肌の自動美化
JP5555672B2 (ja) * 2011-07-14 2014-07-23 東芝テック株式会社 画像処理装置
CN103632136B (zh) * 2013-11-11 2017-03-29 北京天诚盛业科技有限公司 人眼定位方法和装置
JP6327071B2 (ja) * 2014-09-03 2018-05-23 オムロン株式会社 画像処理装置および画像処理方法
FR3043818B1 (fr) * 2015-11-16 2019-10-18 Synapsys Systeme d'elaboration, d'emission et d'interpretation d'un flux composite et procedes associes
KR101866867B1 (ko) * 2016-12-07 2018-06-14 주식회사 쓰리이 동공 중심 검출 방법
CN106919933A (zh) * 2017-03-13 2017-07-04 重庆贝奥新视野医疗设备有限公司 瞳孔定位的方法及装置
WO2020190648A1 (en) * 2019-03-15 2020-09-24 Biotrillion, Inc. Method and system for measuring pupillary light reflex with a mobile phone

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281646A (zh) * 2008-05-09 2008-10-08 山东大学 基于视觉的驾驶员疲劳实时检测方法
CN101923645A (zh) * 2009-06-09 2010-12-22 黑龙江大学 适应复杂应用场景中低质量虹膜图像的虹膜分割方法
CN102750584A (zh) * 2012-04-18 2012-10-24 中国农业大学 玉米粒在穗计数方法
CN106022315A (zh) * 2016-06-17 2016-10-12 北京极创未来科技有限公司 一种用于虹膜识别的瞳孔中心定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Fast and Accurate Pupil and Iris Localization Method Usable with a Regular Camera;Gheis Mohammadi et.al;《International Journal of Computer Science and Information Security》;20150531;第13卷(第5期);第74-77页 *
PupilNet, Measuring Task Evoked Pupillary Response using Commodity RGB Tablet Cameras: Comparison to Mobile, Infrared Gaze Trackers for Inferring Cognitive Load;CHATCHAI WANGWIWATTANA et.al;《Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies》;20171231;第1卷(第4期);第1-26页 *
利用霍夫变换机助提取重磁数据构造信息;王四龙 等;《煤炭学报》;19980831;第23卷(第4期);第342-346页 *

Also Published As

Publication number Publication date
US11379960B2 (en) 2022-07-05
CN109993115A (zh) 2019-07-09
US20200311888A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN109993115B (zh) 图像处理方法、装置及可穿戴设备
CN110929651B (zh) 图像处理方法、装置、电子设备及存储介质
CN108305236B (zh) 图像增强处理方法及装置
US9288388B2 (en) Method and portable terminal for correcting gaze direction of user in image
KR100556856B1 (ko) 이동통신 단말기에서 화면 제어 방법 및 장치
CN108399349B (zh) 图像识别方法及装置
CN108898546B (zh) 人脸图像处理方法、装置及设备、可读存储介质
CN110992327A (zh) 镜头脏污状态的检测方法、装置、终端及存储介质
CN109325924B (zh) 图像处理方法、装置、终端及存储介质
CN111028144B (zh) 视频换脸方法及装置、存储介质
CN109302632B (zh) 获取直播视频画面的方法、装置、终端及存储介质
CN110933452B (zh) 萌脸礼物显示方法、装置及存储介质
CN107690804B (zh) 一种图像处理方法及用户终端
CN111095364A (zh) 信息处理装置、信息处理方法和程序
KR102694171B1 (ko) 전자 장치 및 각막 이미지를 이용한 전자 장치의 기능 제공 방법
CN111723803A (zh) 图像处理方法、装置、设备及存储介质
CN107436681A (zh) 自动调节文字的显示大小的移动终端及其方法
EP4366289A1 (en) Photographing method and related apparatus
CN113038165A (zh) 确定编码参数组的方法、设备及存储介质
CN110533019B (zh) 车牌定位方法、装置及存储介质
CN112585673A (zh) 信息处理设备、信息处理方法及程序
CN114757866A (zh) 清晰度检测方法、装置及计算机存储介质
CN116109828B (zh) 图像处理方法和电子设备
CN112489006A (zh) 图像处理方法、装置、存储介质及终端
US11682368B1 (en) Method of operating a mobile device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant