CN113132643B - 图像处理方法及相关产品 - Google Patents

图像处理方法及相关产品 Download PDF

Info

Publication number
CN113132643B
CN113132643B CN201911398025.0A CN201911398025A CN113132643B CN 113132643 B CN113132643 B CN 113132643B CN 201911398025 A CN201911398025 A CN 201911398025A CN 113132643 B CN113132643 B CN 113132643B
Authority
CN
China
Prior art keywords
human eye
image
eye image
camera
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911398025.0A
Other languages
English (en)
Other versions
CN113132643A (zh
Inventor
杨平平
方攀
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911398025.0A priority Critical patent/CN113132643B/zh
Publication of CN113132643A publication Critical patent/CN113132643A/zh
Application granted granted Critical
Publication of CN113132643B publication Critical patent/CN113132643B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Abstract

本申请实施例公开了一种图像处理方法及相关产品,所述方法包括如下步骤:通过第一摄像头获取针对人眼的第一预览画面,并获取第一预览画面的灰度图像;根据灰度图像确定第二摄像头对应的第二预览画面中人眼的第一人眼位置;通过第二摄像头针对第一人眼位置进行拍摄,得到多张人眼图像,其中,多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;根据多张人眼图像合成高动态范围人眼图像,如此,可通过第一摄像头拍摄的灰度图像辅助第二摄像头准确地查找人眼位置,进而通过第二摄像头根据该人眼位置获取高动态范围人眼图像,从而能够提高暗环境下采集人眼图像的图像质量和人眼检测的准确性。

Description

图像处理方法及相关产品
技术领域
本申请涉及图像处理技术领域,具体涉及一种图像处理方法及相关产品。
背景技术
随着电子设备(如手机、平板电脑等等)的大量普及应用,电子设备能够支持的应用越来越多,功能越来越强大,电子设备向着多样化、个性化的方向发展,成为用户生活中不可缺少的电子用品。
电子设备可用于实现瞳孔检测的技术,并将瞳孔检测的技术应用到电子设备的实际交互场景,例如,可通过电子设备进行瞳孔检测,进而实现眼球追踪,确定用户关注电子设备的屏幕上的关注点,从而根据用户关注屏幕的关注点进行下一步的操作。在环境光较暗的情况下,例如,在夜景情况下,进行人眼追踪时获取的人眼图像可能会影响人眼追踪的效率,因此,如何提高暗环境下的人眼图像的图像质量的问题需要解决。
发明内容
本申请实施例提供了一种图像处理方法及相关产品,能够提高暗环境下采集人眼图像的图像质量和人眼检测的准确性。
第一方面,本申请实施例提供一种图像处理方法,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述方法包括:
通过所述第一摄像头获取针对人眼的第一预览画面,并获取所述第一预览画面的灰度图像;
根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置;
通过所述第二摄像头针对所述第一人眼位置进行拍摄,得到多张人眼图像,其中,所述多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;
根据所述多张人眼图像合成高动态范围人眼图像。
第二方面,本申请实施例提供一种图像处理装置,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述装置包括:
获取单元,用于通过所述第一摄像头获取针对人眼的第一预览画面,并获取所述第一预览画面的灰度图像;
确定单元,用于根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置;
拍摄单元,用于通过所述第二摄像头针对所述第一人眼位置进行拍摄,得到多张人眼图像,其中,所述多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;
处理单元,用于根据所述多张人眼图像合成高动态范围人眼图像。
第三方面,本申请实施例提供一种电子设备,包括第一摄像头、第二摄像头、处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面中的步骤的指令。
第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。
第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。
实施本申请实施例,具备如下有益效果:
可以看出,本申请实施例中提供的图像处理方法及相关产品,通过第一摄像头获取针对人眼的第一预览画面,并获取第一预览画面的灰度图像;根据灰度图像确定第二摄像头对应的第二预览画面中人眼的第一人眼位置;通过第二摄像头针对第一人眼位置进行拍摄,得到多张人眼图像,其中,多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;根据多张人眼图像合成高动态范围人眼图像,如此,可通过第一摄像头拍摄的灰度图像辅助第二摄像头准确地查找人眼位置,进而通过第二摄像头根据该人眼位置获取高动态范围人眼图像,从而能够提高暗环境下采集人眼图像的图像质量和人眼检测的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1A是本申请实施例提供的一种电子设备的结构示意图;
图1B是本申请实施例提供的一种图像处理方法的流程示意图;
图2是是本申请实施例提供的另一种图像处理方法的流程示意图;
图3是本申请实施例提供的一种眼球追踪场景下确定注视点的流程示意图;
图4是本申请实施例提供的一种电子设备的结构示意图;
图5是本申请实施例提供的一种图像处理装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本申请实施例所涉及到的电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(智能手表、智能手环、无线耳机、增强现实/虚拟现实设备、智能眼镜)、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(userequipment,UE),移动台(mobile station,MS),终端设备(terminal device)等等。为方便描述,上面提到的设备统称为电子设备。
下面对本申请实施例进行详细介绍。
请参阅图1A,图1A是本申请实施例公开的一种电子设备的结构示意图,电子设备100包括存储和处理电路110,以及与所述存储和处理电路110连接的传感器170,其中:
电子设备100可以包括控制电路,该控制电路可以包括存储和处理电路110。该存储和处理电路110可以包括存储器,例如硬盘驱动存储器,非易失性存储器(例如闪存或用于形成固态驱动器的其它电子可编程只读存储器等),易失性存储器(例如静态或动态随机存取存储器等)等,本申请实施例不作限制。存储和处理电路110中的处理电路可以用于控制电子设备100的运转。该处理电路可以基于一个或多个微处理器,微控制器,数字信号处理器,基带处理器,功率管理单元,音频编解码器芯片,专用集成电路,显示驱动器集成电路等来实现。
存储和处理电路110可用于运行电子设备100中的软件,例如互联网浏览应用程序,互联网协议语音(Voice over Internet Protocol,VOIP)电话呼叫应用程序,电子邮件应用程序,媒体播放应用程序,操作系统功能等。这些软件可以用于执行一些控制操作,例如,基于照相机的图像采集,基于环境光传感器的环境光测量,基于接近传感器的接近传感器测量,基于诸如发光二极管的状态指示灯等状态指示器实现的信息显示功能,基于触摸传感器的触摸事件检测,与在多个(例如分层的)显示屏上显示信息相关联的功能,与执行无线通信功能相关联的操作,与收集和产生音频信号相关联的操作,与收集和处理按钮按压事件数据相关联的控制操作,以及电子设备100中的其它功能等,本申请实施例不作限制。
电子设备100可以包括输入-输出电路150。输入-输出电路150可用于使电子设备100实现数据的输入和输出,即允许电子设备100从外部设备接收数据和也允许电子设备100将数据从电子设备100输出至外部设备。输入-输出电路150可以进一步包括传感器170。传感器170可以包括超声波指纹识别模组,还可以包括环境光传感器,基于光和电容的接近传感器,触摸传感器(例如,基于光触摸传感器和/或电容式触摸传感器,其中,触摸传感器可以是触控显示屏的一部分,也可以作为一个触摸传感器结构独立使用),加速度传感器,和其它传感器等,超声波指纹识别模组可以集成于屏幕下方,或者,超声波指纹识别模组可以设置于电子设备的侧面或者背面,在此不作限定,该超声波指纹识别模组可以用于采集指纹图像。
传感器170可以包括红外(Infrared Radiation,IR)摄像头和可见光摄像头,IR摄像头在拍摄时,瞳孔反射红外光,因此IR摄像头在拍摄瞳孔图像会比RGB相机更加准确;可见光摄像头需要进行更多的后续瞳孔检测,计算精度和准确性比IR摄像头要高,通用性比IR摄像头更好,但是计算量大。
输入-输出电路150还可以包括一个或多个显示屏,例如显示屏130。显示屏130可以包括液晶显示屏,有机发光二极管显示屏,电子墨水显示屏,等离子显示屏,使用其它显示技术的显示屏中一种或者几种的组合。显示屏130可以包括触摸传感器阵列(即,显示屏130可以是触控显示屏)。触摸传感器可以是由透明的触摸传感器电极(例如氧化铟锡(ITO)电极)阵列形成的电容式触摸传感器,或者可以是使用其它触摸技术形成的触摸传感器,例如音波触控,压敏触摸,电阻触摸,光学触摸等,本申请实施例不作限制。
电子设备100还可以包括音频组件140。音频组件140可以用于为电子设备100提供音频输入和输出功能。电子设备100中的音频组件140可以包括扬声器,麦克风,蜂鸣器,音调发生器以及其它用于产生和检测声音的组件。
通信电路120可以用于为电子设备100提供与外部设备通信的能力。通信电路120可以包括模拟和数字输入-输出接口电路,和基于射频信号和/或光信号的无线通信电路。通信电路120中的无线通信电路可以包括射频收发器电路、功率放大器电路、低噪声放大器、开关、滤波器和天线。举例来说,通信电路120中的无线通信电路可以包括用于通过发射和接收近场耦合电磁信号来支持近场通信(Near Field Communication,NFC)的电路。例如,通信电路120可以包括近场通信天线和近场通信收发器。通信电路120还可以包括蜂窝电话收发器和天线,无线局域网收发器电路和天线等。
电子设备100还可以进一步包括电池,电力管理电路和其它输入-输出单元160。输入-输出单元160可以包括按钮,操纵杆,点击轮,滚动轮,触摸板,小键盘,键盘,照相机,发光二极管和其它状态指示器等。
用户可以通过输入-输出电路150输入命令来控制电子设备100的操作,并且可以使用输入-输出电路150的输出数据以实现接收来自电子设备100的状态信息和其它输出。
请参阅图1B,图1B是本申请实施例提供的一种图像处理方法的流程示意图,应用于如图1A所示的电子设备,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,如图1B所示,本申请提供的图像处理方法包括:
101、通过第一摄像头获取针对人眼的第一预览画面,并获取所述第一预览画面的灰度图像。
其中,第一摄像头可以为红外摄像头或者可见光摄像头等等,此处不作限制,第一摄像头用于获取灰度图像。
具体实施中,电子设备可通过第一摄像头和第二摄像头协同进行拍摄,其中,在人眼拍摄场景,例如,电子设备运行人眼追踪的应用时,需要对人眼位置进行追踪,此种情况下,可通过第一摄像头获取人眼的第一预览画面,并获取第一预览画面的灰度图像。
102、根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置。
其中,上述第二摄像头可以为红外摄像头或者可见光摄像头,例如RGB摄像头等等,此处不作限制。
本申请实施例中,第二摄像头用于获取RGB图像,具体地,在人眼追踪场景下,尤其在暗环境下,若第一摄像头为红外摄像头,由于瞳孔反射红外光,根据红外摄像头拍摄的灰度图像可更准确地确定人眼位置,因此,可根据灰度图像确定第二摄像头对应的第二预览画面中所述人眼的第一人眼位置,从而,可更加准确地确定第二摄像头对应的第二预览画面中的第一人眼位置。
可选地,上述步骤102中,根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置,可包括以下步骤:
21、根据所述灰度图像确定所述第一预览画面中的第二人眼位置;
22、根据所述第二人眼位置确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置。
其中,可根据第一预设特征提取算法对所述灰度图像进行特征提取,得到第一人眼特征集,然后根据第一人眼特征集确定第一预览画面中的第二人眼位置,其中,第一预设特征提取算法可包括以下至少一种:方向梯度直方图(Histogram of OrientedGradients,HOG)算法、霍夫变换法或Haar特征级联分类器算法等等,此处不做限制。
可选地,在根据所述灰度图像确定所述第一预览画面中的第二人眼位置之前,还可对灰度图像进行人脸识别,若识别到人脸区域,可进一步根据所述灰度图像确定所述第一预览画面中的第二人眼位置,具体地,可根据第二预设特征提取算法对灰度图像进行特征提取,得到第一特征集,然后将第一特征集输入预设的人脸特征分类器,确定第一特征集中的多个第一特征属于预设人脸特征的多个第一概率,若多个第一概率大于预设概率阈值,确定识别到人脸区域,其中,第二预设特征提取算法可包括以下至少一种:方向梯度直方图(Histogram of Oriented Gradients,HOG)算法、霍夫变换法或Haar特征级联分类器算法等等,此处不做限制。
可选地,上述步骤22中,根据所述第二人眼位置确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置,可包括以下步骤:
2201、根据所述第一摄像头的第一参数将所述灰度图像从第一像素坐标系转换到世界坐标系,得到所述灰度图像中第二人眼位置的像素点在世界坐标系中的坐标;
2202、根据所述第二摄像头的第二参数将所述第二人眼位置的像素点在世界坐标系中的坐标转换到第二像素坐标系,得到所述第二预览画面中所述人眼的第一人眼位置。
本申请实施例中,可预先确定第一摄像头的第一参数,第一参数可包括以下至少一种:第一摄像头的焦距、第一摄像头的主轴与像平面的交点、第一坐标轴倾斜参数、第一畸变系数、第一旋转矩阵、第一平移向量等等,其中,第一摄像头的主轴为经过第一摄像头的光心并垂直于像平面的射线,畸变系数用于对灰度图像进行校正,具体地,可先根据第一摄像头的焦距、第一摄像头的主轴与像平面的交点、第一坐标轴倾斜参数、第一畸变系数等参数将灰度图像从第一像素坐标系转换到第一摄像头坐标系,然后根据第一旋转矩阵、第一平移向量等参数将灰度图像从第一摄像头坐标系转换到世界坐标系,得到灰度图像中第二人眼位置的像素点在世界坐标系中的坐标。还可预先确定第二摄像头的第二参数,第二参数可包括以下至少一种:第二摄像头的焦距、第二摄像头的主轴与像平面的交点、第二坐标轴倾斜参数、第二畸变系数、第二旋转矩阵、第二平移向量等等,从而,可根据第二旋转矩阵、第二平移向量等参数将第二人眼位置的像素点在世界坐标系中的坐标转换至第二摄像头坐标系,得到第二人眼位置的像素点在第二摄像头坐标系中的坐标最后,根据第二摄像头的焦距、第二摄像头的主轴与像平面的交点、第二坐标轴倾斜参数、第二畸变系数等参数将灰度图像从第二摄像头坐标系转换到第二像素坐标系,得到第二预览画面中人眼的第一人眼位置。
103、通过第二摄像头针对所述第一人眼位置进行拍摄,得到多张人眼图像,其中,所述多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集。
其中,在确定第二预览画面中的第一人眼位置后,可通过第二摄像头进行拍摄,得到多张人眼图像,具体地,可控制摄像头分别根据不同的曝光参数进行拍摄,曝光参数可以报一下至少一种:光圈、快门速度、感光度等等。上述正常曝光人眼图像集包括至少一张正常曝光人眼图像,过曝光人眼图像集包括至少一张过曝光人眼图像,欠曝光人眼图像集包括至少一张欠曝光人眼图像集。例如,电子设备可控制第二摄像头在曝光值(ExposureValue,EV)分别-aEV,0EV,+aEV的情况下拍摄三张人眼图像,a为正数,a例如可以为1、2或者3等等,此处不做限制,其中,-aEV对应的人眼图像为欠曝光人眼图像,0EV对应的人眼图像为正常曝光人眼图像,+aEV为过曝光人眼图像,曝光值代表能够给出同样曝光的所有相机光圈快门组合,曝光值0EV对应于曝光时间为1秒而光圈为f/1.0的组合或其等效组合。
104、根据所述多张人眼图像合成高动态范围人眼图像。
其中,正常曝光人眼图像是第二摄像头拍摄的常规图像,欠曝光人眼图像比正常曝光人眼图像更暗,可以拍摄非常明亮的图像部分,过曝光人眼图像比正常曝光人眼图像更亮,可以拍摄非常黑暗的图像部分,因此,可根据多张人眼图像合成高动态范围人眼图像,从而可以提供高动态范围人眼图像更多的动态范围和图像细节,可以增强高动态范围人眼图像中人眼区域的对比度,提供高质量图像数据,在较暗环境光场景下,可提亮人眼图像的效果,使得在较暗环境下能够更好地检测人眼,进行人眼追踪。
可选地,上述步骤104中,根据所述多张人眼图像合成高动态范围人眼图像,可包括以下步骤:
41、将所述多张人眼图像进行对齐,得到对齐后的多张人眼图像,所述多张人眼图像中任意两张人眼图像中的像素点一一对应;
42、将所述多张人眼图像进行分组,得到多个分组,其中,所述多个分组中包括以下至少一种分组:包括一个所述正常曝光人眼图像与一个所述过曝人眼图像的第一类分组,包括一个所述过曝人眼图像与一个所述欠曝人眼图像的第二类分组,包括一个所述正常曝光人眼图像与一个欠曝人眼图像的第三类分组,包括一个正常曝光人眼图像的第四类分组;
43、根据所述多个分组中不属于所述第四类分组的其他分组中每一分组的图像进行合成,得到多个中间图像,所述多个中间图像包括以下至少一种:第一中间图像、第二中间图像、第三中间图像,其中,若所述多个分组包括所述第一类分组,根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像;若所述多个分组包括所述第二类分组,根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到所述第二中间图像;若所述多个分组包括所述第三类分组,根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到所述第三中间图像;
44、若所述多个分组中不包括所述第四类分组,根据所述多个分组合成得到的多个中间图像进行合成,得到所述高动态范围人眼图像;若所述多个分组中包括所述第四类分组,根据得到的多个中间图像和属于所述第四类分组中的正常曝光人眼图像进行合成,得到所述高动态范围人眼图像。
其中,为了防止合成高动态范围人眼图像产生重影,可先将多张人眼图像进行对齐,得到对齐后的多张人眼图像。然后将多张人眼图像进行分组,例如,若多张人眼图像具体包括一个正常曝光人眼图像、一个过曝光人眼图像和一个欠曝光人眼图像,可将该过曝光人眼图像和该欠曝光人眼图像分为一组,将该正常曝光人眼图像分为一组。具体实施中,针对任一个分组i,若分组i包括两个图像,可先将该分组i的两个图像进行合成,得到中间图像,如此,可得到多个中间图像,多个中间图像可包括第一中间图像、第二中间图像、第三中间图像中的至少一种中间图像。进一步地,若多个分组中不包括所述第四类分组,可直接根据多个中间图像进行合成,得到高动态范围人眼图像,若多个分组中包括第四类分组,可根据得到的多个中间图像和属于第四类分组中的正常曝光人眼图像进行合成,得到高动态范围人眼图像,如此,可将多张人眼图像进行合成,得到高动态范围人眼图像。
可选地,上述步骤43中,根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像,包括:
4301、确定所述过曝人眼图像中像素值小于第一预设阈值的多个第一像素点;
4302、对所述多个第一像素点中每一第一像素点与所述正常曝光人眼图像中对应的第二像素点取像素平均值,得到多个第一像素平均值;
4303、保留所述多个第一像素平均值对应的多个第一目标像素点和所述正常曝光人眼图像中除了与所述多个第一像素点一一对应的多个所述第二像素点以外的其他像素点,得到所述第一中间图像,其中,所述多个第二像素点与所述多个第一像素点一一对应。
其中,可将过曝人眼图像中的像素值小于第一预设阈值的多个第一像素点与正常曝光人眼图像中的多个第二像素点进行合成,从而,可保留过曝人眼图像中较暗的图像部分,得到更加清晰、自然的第一中间图像。
可选地,上述步骤43中,根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到第二中间图像,包括:
4304、确定所述过曝人眼图像中像素值小于所述第一预设阈值的多个第三像素点;对所述多个第三像素点中每一第三像素点与所述欠曝人眼图像中对应的第四像素点取像素平均值,得到多个第二像素平均值;
4305、确定所述欠曝人眼图像中像素值大于第二预设阈值的多个第五像素点;对所述多个第五像素点中每一第五像素点与所述过曝人眼图像中对应的第六像素点取像素平均值,得到多个第三像素平均值;
4306、保留所述多个第二像素平均值对应的多个第二目标像素点和所述多个第三像素平均值对应的多个第三目标像素点,得到所述第二中间图像,其中,所述第一预设阈值小于或等于所述第二预设阈值。
其中,可将过曝人眼图像中的像素值小于第一预设阈值的多个第三像素点与欠曝人眼图像中的多个第四像素点进行合成,从而,可保留过曝人眼图像中较暗的图像部分,将得到更加清晰、自然的第一中间图像。
可选地,上述步骤43中,根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到第三中间图像,包括:
4307、确定所述欠曝人眼图像中像素值小于所述第二预设阈值的多个第七像素点;
4308、对所述多个第七像素点中每一第七像素点与所述正常曝光人眼图像中对应的第八像素点取像素平均值,得到多个第四像素平均值;
4309、保留所述多个第四像素平均值对应的多个第四目标像素点和所述正常曝光人眼图像中除了与多个所述第八像素点以外的其他像素点,得到所述第三中间图像,其中,所述多个第八像素点与所述多个第七像素点一一对应。
其中,可将过曝人眼图像中的像素值小于第一预设阈值的多个第一像素点与正常曝光人眼图像中的多个第二像素点进行合成,从而,可保留过曝人眼图像中较暗的图像部分,得到更加清晰、自然的第一中间图像。
可以看出,本申请实施例中通过第一摄像头获取针对人眼的第一预览画面,并获取第一预览画面的灰度图像;根据灰度图像确定第二摄像头对应的第二预览画面中人眼的第一人眼位置;通过第二摄像头针对第一人眼位置进行拍摄,得到多张人眼图像,其中,多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;根据多张人眼图像合成高动态范围人眼图像,如此,可通过第一摄像头拍摄的灰度图像辅助第二摄像头准确地查找人眼位置,进而通过第二摄像头根据该人眼位置获取高动态范围人眼图像,从而能够提高暗环境下采集人眼图像的图像质量和人眼检测的准确性。
请参阅图2,图2为本申请实施例提供的一种图像处理方法的流程示意图,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述方法包括:
201、通过第一摄像头获取针对人眼的第一预览画面,并获取所述第一预览画面的灰度图像。
202、根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置。
203、通过第二摄像头针对所述第一人眼位置进行拍摄,得到多张人眼图像,其中,所述多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集。
204、将所述多张人眼图像进行对齐,得到对齐后的多张人眼图像,所述多张人眼图像中任意两张人眼图像中的像素点一一对应。
205、将所述多张人眼图像进行分组,得到多个分组,其中,所述多个分组中包括以下至少一种分组:包括一个所述正常曝光人眼图像与一个所述过曝人眼图像的第一类分组,包括一个所述过曝人眼图像与一个所述欠曝人眼图像的第二类分组,包括一个所述正常曝光人眼图像与一个欠曝人眼图像的第三类分组,包括一个正常曝光人眼图像的第四类分组。
206、根据所述多个分组中不属于所述第四类分组的其他分组中每一分组的图像进行合成,得到多个中间图像,所述多个中间图像包括以下至少一种:第一中间图像、第二中间图像、第三中间图像,其中,若所述多个分组包括所述第一类分组,根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像;若所述多个分组包括所述第二类分组,根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到所述第二中间图像;若所述多个分组包括所述第三类分组,根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到所述第三中间图像。
207、若所述多个分组中不包括所述第四类分组,根据所述多个分组合成得到的多个中间图像进行合成,得到所述高动态范围人眼图像;若所述多个分组中包括所述第四类分组,根据得到的多个中间图像和属于所述第四类分组中的正常曝光人眼图像进行合成,得到所述高动态范围人眼图像。
其中,上述步骤201-207的具体实现过程可参照步骤101-步骤104中相应的描述,在此不再赘述。
可以看出,本申请实施例中通过第一摄像头获取针对人眼的第一预览画面,并获取第一预览画面的灰度图像;根据灰度图像确定第二摄像头对应的第二预览画面中人眼的第一人眼位置;通过第二摄像头针对第一人眼位置进行拍摄,得到多张人眼图像,其中,多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;根据多张人眼图像合成高动态范围人眼图像,如此,可以提供高动态范围人眼图像更多的动态范围和图像细节,增强高动态范围人眼图像中人眼区域的对比度,提供高质量图像数据,在较暗环境光场景下,可提亮人眼图像的效果,使得在较暗环境下能够更好地检测人眼,从而能够提高暗环境下采集人眼图像的图像质量和人眼检测的准确性。
与上述图1B一致的,请参阅图3,图3为本申请实施例提供的一种图像处理方法的流程示意图,所述方法包括:
在暗环境下进行眼球追踪的场景下,如图3所示,电子设备可开启第一摄像头和第二摄像头,第一摄像头为红外摄像头,第二摄像头为可见光摄像头,其中,可将第一摄像头设置为拍摄灰度图像的拍摄模式,通过第一摄像头获取灰度图像,根据灰度图像确定第一预览画面中是否存在人脸区域,若是,进一步确定是否存在人眼区域,若是,根据灰度图像确定第一预览画面中的第二人眼位置,根据第二人眼位置确定第二摄像头的第二预览画面中的第一人眼位置,调整第二摄像头的曝光参数,针对第一人眼位置拍摄多个人眼图像,根据多个人眼图像合成高动态范围人眼图像,如此,可以提供高动态范围人眼图像更多的动态范围和图像细节,增强高动态范围人眼图像中人眼区域的对比度,提供高质量图像数据,在较暗环境光场景下,可提亮人眼图像的效果,使得在较暗环境下能够更好地检测人眼,从而能够提高暗环境下采集人眼图像的图像质量和人眼检测的准确性。
可以看出,本申请实施例中通过第一摄像头拍摄的灰度图像辅助第二摄像头准确地查找人眼位置,进而通过第二摄像头根据该人眼位置获取高动态范围人眼图像,此外,可以提供高动态范围人眼图像更多的动态范围和图像细节,增强高动态范围人眼图像中人眼区域的对比度,提供高质量图像数据,在较暗环境光场景下,可提亮人眼图像的效果,使得在较暗环境下能够更好地检测人眼,从而能够提高暗环境下采集人眼图像的图像质量和人眼检测的准确性。
以下是实施上述图像处理方法的装置,具体如下:
与上述一致地,请参阅图4,图4是本申请实施例提供的一种电子设备的结构示意图,该电子设备包括:处理器410、通信接口430和存储器420;还包括第一摄像头440、第二摄像头450,以及一个或多个程序421,所述一个或多个程序421被存储在所述存储器420中,并且被配置成由所述处理器执行,所述程序421包括用于执行以下步骤的指令:
通过所述第一摄像头获取针对人眼的第一预览画面,并获取所述第一预览画面的灰度图像;
根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置;
通过所述第二摄像头针对所述第一人眼位置进行拍摄,得到多张人眼图像,其中,所述多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;
根据所述多张人眼图像合成高动态范围人眼图像。
在一个可能的示例中,在所述根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置方面,所述程序421包括用于执行以下步骤的指令:
根据所述灰度图像确定所述第一预览画面中的第二人眼位置;
根据所述第二人眼位置确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置。
在一个可能的示例中,在所述根据所述第二人眼位置确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置方面,所述程序421包括用于执行以下步骤的指令:
根据所述第一摄像头的第一参数将所述灰度图像从第一像素坐标系转换到世界坐标系,得到所述灰度图像中第二人眼位置的像素点在世界坐标系中的坐标;
根据所述第二摄像头的第二参数将所述第二人眼位置的像素点在世界坐标系中的坐标转换到第二像素坐标系,得到所述第二预览画面中所述人眼的第一人眼位置。
在一个可能的示例中,在所述根据所述多张人眼图像合成高动态范围人眼图像方面,所述程序421包括用于执行以下步骤的指令:
将所述多张人眼图像进行对齐,得到对齐后的多张人眼图像,所述多张人眼图像中任意两张人眼图像中的像素点一一对应;
将所述多张人眼图像进行分组,得到多个分组,其中,所述多个分组中包括以下至少一种分组:包括一个所述正常曝光人眼图像与一个所述过曝人眼图像的第一类分组,包括一个所述过曝人眼图像与一个所述欠曝人眼图像的第二类分组,包括一个所述正常曝光人眼图像与一个欠曝人眼图像的第三类分组,包括一个正常曝光人眼图像的第四类分组;
根据所述多个分组中不属于所述第四类分组的其他分组中每一分组的图像进行合成,得到多个中间图像,所述多个中间图像包括以下至少一种:第一中间图像、第二中间图像、第三中间图像,其中,若所述多个分组包括所述第一类分组,根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像;若所述多个分组包括所述第二类分组,根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到所述第二中间图像;若所述多个分组包括所述第三类分组,根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到所述第三中间图像;
若所述多个分组中不包括所述第四类分组,根据所述多个分组合成得到的多个中间图像进行合成,得到所述高动态范围人眼图像;若所述多个分组中包括所述第四类分组,根据得到的多个中间图像和属于所述第四类分组中的正常曝光人眼图像进行合成,得到所述高动态范围人眼图像。
在一个可能的示例中,在所述根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像方面,所述程序421包括用于执行以下步骤的指令:
确定所述过曝人眼图像中像素值小于第一预设阈值的多个第一像素点;
对所述多个第一像素点中每一第一像素点与所述正常曝光人眼图像中对应的第二像素点取像素平均值,得到多个第一像素平均值;
保留所述多个第一像素平均值对应的多个第一目标像素点和所述正常曝光人眼图像中除了与所述多个第一像素点一一对应的多个所述第二像素点以外的其他像素点,得到所述第一中间图像,其中,所述多个第二像素点与所述多个第一像素点一一对应。
在一个可能的示例中,在所述根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到第二中间图像方面,所述程序421包括用于执行以下步骤的指令:
确定所述过曝人眼图像中像素值小于所述第一预设阈值的多个第三像素点;对所述多个第三像素点中每一第三像素点与所述欠曝人眼图像中对应的第四像素点取像素平均值,得到多个第二像素平均值;
确定所述欠曝人眼图像中像素值大于第二预设阈值的多个第五像素点;对所述多个第五像素点中每一第五像素点与所述过曝人眼图像中对应的第六像素点取像素平均值,得到多个第三像素平均值;
保留所述多个第二像素平均值对应的多个第二目标像素点和所述多个第三像素平均值对应的多个第三目标像素点,得到所述第二中间图像,其中,所述第一预设阈值小于或等于所述第二预设阈值。
在一个可能的示例中,在所述根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到第三中间图像方面,所述程序421包括用于执行以下步骤的指令:
确定所述欠曝人眼图像中像素值小于所述第二预设阈值的多个第七像素点;
对所述多个第七像素点中每一第七像素点与所述正常曝光人眼图像中对应的第八像素点取像素平均值,得到多个第四像素平均值;
保留所述多个第四像素平均值对应的多个第四目标像素点和所述正常曝光人眼图像中除了与多个所述第八像素点以外的其他像素点,得到所述第三中间图像,其中,所述多个第八像素点与所述多个第七像素点一一对应。
请参阅图5,图5是本实施例提供的一种图像处理装置的结构示意图,所述图像处理装置500应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,该装置500包括获取单元501、确定单元502、拍摄单元503和处理单元504,其中,
所述获取单元501,用于通过所述第一摄像头获取针对人眼的第一预览画面,并获取所述第一预览画面的灰度图像;
所述确定单元502,用于根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置;
所述拍摄单元503,用于通过所述第二摄像头针对所述第一人眼位置进行拍摄,得到多张人眼图像,其中,所述多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;
所述处理单元504,用于根据所述多张人眼图像合成高动态范围人眼图像。
可选地,在所述根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置方面,所述确定单元502具体用于:
根据所述灰度图像确定所述第一预览画面中的第二人眼位置;
根据所述第二人眼位置确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置。
可选地,在所述根据所述第二人眼位置确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置方面,所述确定单元502具体用于:
根据所述第一摄像头的第一参数将所述灰度图像从第一像素坐标系转换到世界坐标系,得到所述灰度图像中第二人眼位置的像素点在世界坐标系中的坐标;
根据所述第二摄像头的第二参数将所述第二人眼位置的像素点在世界坐标系中的坐标转换到第二像素坐标系,得到所述第二预览画面中所述人眼的第一人眼位置。
可选地,在所述根据所述多张人眼图像合成高动态范围人眼图像方面,所述处理单元504具体用于:
将所述多张人眼图像进行对齐,得到对齐后的多张人眼图像,所述多张人眼图像中任意两张人眼图像中的像素点一一对应;
将所述多张人眼图像进行分组,得到多个分组,其中,所述多个分组中包括以下至少一种分组:包括一个所述正常曝光人眼图像与一个所述过曝人眼图像的第一类分组,包括一个所述过曝人眼图像与一个所述欠曝人眼图像的第二类分组,包括一个所述正常曝光人眼图像与一个欠曝人眼图像的第三类分组,包括一个正常曝光人眼图像的第四类分组;
根据所述多个分组中不属于所述第四类分组的其他分组中每一分组的图像进行合成,得到多个中间图像,所述多个中间图像包括以下至少一种:第一中间图像、第二中间图像、第三中间图像,其中,若所述多个分组包括所述第一类分组,根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像;若所述多个分组包括所述第二类分组,根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到所述第二中间图像;若所述多个分组包括所述第三类分组,根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到所述第三中间图像;
若所述多个分组中不包括所述第四类分组,根据所述多个分组合成得到的多个中间图像进行合成,得到所述高动态范围人眼图像;若所述多个分组中包括所述第四类分组,根据得到的多个中间图像和属于所述第四类分组中的正常曝光人眼图像进行合成,得到所述高动态范围人眼图像。
可选地,在所述根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像方面,所述处理单元504具体用于:
确定所述过曝人眼图像中像素值小于第一预设阈值的多个第一像素点;
对所述多个第一像素点中每一第一像素点与所述正常曝光人眼图像中对应的第二像素点取像素平均值,得到多个第一像素平均值;
保留所述多个第一像素平均值对应的多个第一目标像素点和所述正常曝光人眼图像中除了与所述多个第一像素点一一对应的多个所述第二像素点以外的其他像素点,得到所述第一中间图像,其中,所述多个第二像素点与所述多个第一像素点一一对应。
可选地,在所述根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到第二中间图像方面,所述处理单元504具体用于:
确定所述过曝人眼图像中像素值小于所述第一预设阈值的多个第三像素点;对所述多个第三像素点中每一第三像素点与所述欠曝人眼图像中对应的第四像素点取像素平均值,得到多个第二像素平均值;
确定所述欠曝人眼图像中像素值大于第二预设阈值的多个第五像素点;对所述多个第五像素点中每一第五像素点与所述过曝人眼图像中对应的第六像素点取像素平均值,得到多个第三像素平均值;
保留所述多个第二像素平均值对应的多个第二目标像素点和所述多个第三像素平均值对应的多个第三目标像素点,得到所述第二中间图像,其中,所述第一预设阈值小于或等于所述第二预设阈值。
可选地,在所述根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到第三中间图像方面,所述处理单元504具体用于:
确定所述欠曝人眼图像中像素值小于所述第二预设阈值的多个第七像素点;
对所述多个第七像素点中每一第七像素点与所述正常曝光人眼图像中对应的第八像素点取像素平均值,得到多个第四像素平均值;
保留所述多个第四像素平均值对应的多个第四目标像素点和所述正常曝光人眼图像中除了与多个所述第八像素点以外的其他像素点,得到所述第三中间图像,其中,所述多个第八像素点与所述多个第七像素点一一对应。
可以看出,本申请实施例中所描述的图像处理装置,通过第一摄像头获取针对人眼的第一预览画面,并获取第一预览画面的灰度图像;根据灰度图像确定第二摄像头对应的第二预览画面中人眼的第一人眼位置;通过第二摄像头针对第一人眼位置进行拍摄,得到多张人眼图像,其中,多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;根据多张人眼图像合成高动态范围人眼图像,如此,可通过第一摄像头拍摄的灰度图像辅助第二摄像头准确地查找人眼位置,进而通过第二摄像头根据该人眼位置获取高动态范围人眼图像,从而能够提高暗环境下采集人眼图像的图像质量和人眼检测的准确性。
可以理解的是,本实施例的图像处理装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。
以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种图像处理方法,其特征在于,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第一摄像头为红外摄像头,所述第二摄像头为可见光摄像头;所述方法包括:
在暗环境下,通过所述第一摄像头获取针对人眼的第一预览画面,并获取所述第一预览画面的灰度图像;
根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置;
通过所述第二摄像头针对所述第一人眼位置进行拍摄,得到多张人眼图像,其中,所述多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;
根据所述多张人眼图像合成高动态范围人眼图像;
其中,所述根据所述多张人眼图像合成高动态范围人眼图像,包括:
将所述多张人眼图像进行对齐,得到对齐后的多张人眼图像,所述多张人眼图像中任意两张人眼图像中的像素点一一对应;
将所述多张人眼图像进行分组,得到多个分组,其中,所述多个分组中包括以下至少一种分组:包括一个所述正常曝光人眼图像与一个所述过曝人眼图像的第一类分组,包括一个所述过曝人眼图像与一个所述欠曝人眼图像的第二类分组,包括一个所述正常曝光人眼图像与一个欠曝人眼图像的第三类分组,包括一个正常曝光人眼图像的第四类分组;
根据所述多个分组中不属于所述第四类分组的其他分组中每一分组的图像进行合成,得到多个中间图像,所述多个中间图像包括以下至少一种:第一中间图像、第二中间图像、第三中间图像,其中,若所述多个分组包括所述第一类分组,根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像;若所述多个分组包括所述第二类分组,根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到所述第二中间图像;若所述多个分组包括所述第三类分组,根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到所述第三中间图像;
若所述多个分组中不包括所述第四类分组,根据所述多个分组合成得到的多个中间图像进行合成,得到所述高动态范围人眼图像;若所述多个分组中包括所述第四类分组,根据得到的多个中间图像和属于所述第四类分组中的正常曝光人眼图像进行合成,得到所述高动态范围人眼图像;
其中,所述根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像,包括:
确定所述过曝人眼图像中像素值小于第一预设阈值的多个第一像素点;
对所述多个第一像素点中每一第一像素点与所述正常曝光人眼图像中对应的第二像素点取像素平均值,得到多个第一像素平均值;
保留所述多个第一像素平均值对应的多个第一目标像素点和所述正常曝光人眼图像中除了与所述多个第一像素点一一对应的多个所述第二像素点以外的其他像素点,得到所述第一中间图像,其中,所述多个第二像素点与所述多个第一像素点一一对应。
2.根据权利要求1所述的方法,其特征在于,所述根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置,包括:
根据所述灰度图像确定所述第一预览画面中的第二人眼位置;
根据所述第二人眼位置确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第二人眼位置确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置,包括:
根据所述第一摄像头的第一参数将所述灰度图像从第一像素坐标系转换到世界坐标系,得到所述灰度图像中第二人眼位置的像素点在世界坐标系中的坐标;
根据所述第二摄像头的第二参数将所述第二人眼位置的像素点在世界坐标系中的坐标转换到第二像素坐标系,得到所述第二预览画面中所述人眼的第一人眼位置。
4.根据权利要求1所述的方法,其特征在于,所述根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到第二中间图像,包括:
确定所述过曝人眼图像中像素值小于所述第一预设阈值的多个第三像素点;对所述多个第三像素点中每一第三像素点与所述欠曝人眼图像中对应的第四像素点取像素平均值,得到多个第二像素平均值;
确定所述欠曝人眼图像中像素值大于第二预设阈值的多个第五像素点;对所述多个第五像素点中每一第五像素点与所述过曝人眼图像中对应的第六像素点取像素平均值,得到多个第三像素平均值;
保留所述多个第二像素平均值对应的多个第二目标像素点和所述多个第三像素平均值对应的多个第三目标像素点,得到所述第二中间图像,其中,所述第一预设阈值小于或等于所述第二预设阈值。
5.根据权利要求4所述的方法,其特征在于,所述根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到第三中间图像,包括:
确定所述欠曝人眼图像中像素值小于所述第二预设阈值的多个第七像素点;
对所述多个第七像素点中每一第七像素点与所述正常曝光人眼图像中对应的第八像素点取像素平均值,得到多个第四像素平均值;
保留所述多个第四像素平均值对应的多个第四目标像素点和所述正常曝光人眼图像中除了与多个所述第八像素点以外的其他像素点,得到所述第三中间图像,其中,所述多个第八像素点与所述多个第七像素点一一对应。
6.一种图像处理装置,其特征在于,应用于电子设备,所述电子设备包括第一摄像头和第二摄像头,所述第一摄像头为红外摄像头,所述第二摄像头为可见光摄像头;所述装置包括:
获取单元,用于在暗环境下,通过所述第一摄像头获取针对人眼的第一预览画面,并获取所述第一预览画面的灰度图像;
确定单元,用于根据所述灰度图像确定所述第二摄像头对应的第二预览画面中所述人眼的第一人眼位置;
拍摄单元,用于通过所述第二摄像头针对所述第一人眼位置进行拍摄,得到多张人眼图像,其中,所述多张人眼图像包括正常曝光人眼图像集、过曝光人眼图像集和欠曝光人眼图像集;
处理单元,用于根据所述多张人眼图像合成高动态范围人眼图像;
其中,所述根据所述多张人眼图像合成高动态范围人眼图像,包括:
将所述多张人眼图像进行对齐,得到对齐后的多张人眼图像,所述多张人眼图像中任意两张人眼图像中的像素点一一对应;
将所述多张人眼图像进行分组,得到多个分组,其中,所述多个分组中包括以下至少一种分组:包括一个所述正常曝光人眼图像与一个所述过曝人眼图像的第一类分组,包括一个所述过曝人眼图像与一个所述欠曝人眼图像的第二类分组,包括一个所述正常曝光人眼图像与一个欠曝人眼图像的第三类分组,包括一个正常曝光人眼图像的第四类分组;
根据所述多个分组中不属于所述第四类分组的其他分组中每一分组的图像进行合成,得到多个中间图像,所述多个中间图像包括以下至少一种:第一中间图像、第二中间图像、第三中间图像,其中,若所述多个分组包括所述第一类分组,根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像;若所述多个分组包括所述第二类分组,根据所述一个过曝人眼图像与一个所述欠曝人眼图像合成得到所述第二中间图像;若所述多个分组包括所述第三类分组,根据一个所述正常曝光人眼图像与一个欠曝人眼图像合成得到所述第三中间图像;
若所述多个分组中不包括所述第四类分组,根据所述多个分组合成得到的多个中间图像进行合成,得到所述高动态范围人眼图像;若所述多个分组中包括所述第四类分组,根据得到的多个中间图像和属于所述第四类分组中的正常曝光人眼图像进行合成,得到所述高动态范围人眼图像;
其中,所述根据所述一个正常曝光人眼图像与所述一个过曝人眼图像合成得到所述第一中间图像,包括:
确定所述过曝人眼图像中像素值小于第一预设阈值的多个第一像素点;
对所述多个第一像素点中每一第一像素点与所述正常曝光人眼图像中对应的第二像素点取像素平均值,得到多个第一像素平均值;
保留所述多个第一像素平均值对应的多个第一目标像素点和所述正常曝光人眼图像中除了与所述多个第一像素点一一对应的多个所述第二像素点以外的其他像素点,得到所述第一中间图像,其中,所述多个第二像素点与所述多个第一像素点一一对应。
7.一种电子设备,其特征在于,包括处理器、存储器、通信接口,还包括第一摄像头、第二摄像头,以及一个或多个程序,所述存储器用于存储一个或多个程序,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。
8.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。
CN201911398025.0A 2019-12-30 2019-12-30 图像处理方法及相关产品 Active CN113132643B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911398025.0A CN113132643B (zh) 2019-12-30 2019-12-30 图像处理方法及相关产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911398025.0A CN113132643B (zh) 2019-12-30 2019-12-30 图像处理方法及相关产品

Publications (2)

Publication Number Publication Date
CN113132643A CN113132643A (zh) 2021-07-16
CN113132643B true CN113132643B (zh) 2023-02-07

Family

ID=76768957

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911398025.0A Active CN113132643B (zh) 2019-12-30 2019-12-30 图像处理方法及相关产品

Country Status (1)

Country Link
CN (1) CN113132643B (zh)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102022444B1 (ko) * 2013-02-21 2019-09-18 삼성전자주식회사 복수의 카메라를 구비한 휴대 단말에서 유효한 영상들을 합성하기 위한 방법 및 이를 위한 휴대 단말
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
CN104834908B (zh) * 2015-05-07 2018-09-07 惠州Tcl移动通信有限公司 一种移动终端基于眼纹识别的图像曝光方法及曝光系统
CN105827754B (zh) * 2016-03-24 2019-07-26 维沃移动通信有限公司 一种高动态范围图像的生成方法及移动终端
CN105872148B (zh) * 2016-06-21 2019-05-17 维沃移动通信有限公司 一种高动态范围图像的生成方法及移动终端
CN106934265A (zh) * 2017-03-13 2017-07-07 深圳市金立通信设备有限公司 一种穿戴式电子设备及身份认证系统
CN107197170A (zh) * 2017-07-14 2017-09-22 维沃移动通信有限公司 一种曝光控制方法及移动终端
CN107577988B (zh) * 2017-08-03 2020-05-26 东软集团股份有限公司 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN107613218A (zh) * 2017-09-15 2018-01-19 维沃移动通信有限公司 一种高动态范围图像的拍摄方法及移动终端
CN107679481B (zh) * 2017-09-27 2021-09-14 Oppo广东移动通信有限公司 解锁控制方法及相关产品
CN108337446B (zh) * 2018-04-12 2020-07-31 Oppo广东移动通信有限公司 基于双摄像头的高动态范围图像获取方法、装置及设备
CN110263657B (zh) * 2019-05-24 2023-04-18 亿信科技发展有限公司 一种人眼追踪方法、装置、系统、设备和存储介质
CN110414427A (zh) * 2019-07-26 2019-11-05 Oppo广东移动通信有限公司 基于眼球追踪的测光方法及相关产品
CN110427108A (zh) * 2019-07-26 2019-11-08 Oppo广东移动通信有限公司 基于眼球追踪的拍照方法及相关产品

Also Published As

Publication number Publication date
CN113132643A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
US20220201222A1 (en) Photographing Using Night Shot Mode Processing and User Interface
CN110139033B (zh) 拍照控制方法及相关产品
CN109547701B (zh) 图像拍摄方法、装置、存储介质及电子设备
CN110113515B (zh) 拍照控制方法及相关产品
CN107679482B (zh) 解锁控制方法及相关产品
CN107197146B (zh) 图像处理方法和装置、移动终端、计算机可读存储介质
CN109688322B (zh) 一种生成高动态范围图像的方法、装置及移动终端
CN110245607B (zh) 眼球追踪方法及相关产品
CN110930329B (zh) 星空图像处理方法及装置
CN107623818B (zh) 一种图像曝光方法和移动终端
CN110099219B (zh) 全景拍摄方法及相关产品
CN108833779B (zh) 拍摄控制方法及相关产品
CN111445413B (zh) 图像处理方法、装置、电子设备及存储介质
CN111614908A (zh) 图像处理方法、装置、电子设备及存储介质
CN111399658A (zh) 眼球注视点的校准方法、装置、电子设备及存储介质
CN110363702B (zh) 图像处理方法及相关产品
CN108650442A (zh) 图像处理方法和装置、存储介质、电子设备
CN110933312B (zh) 拍照控制方法及相关产品
CN110198421B (zh) 视频处理方法及相关产品
CN114302088A (zh) 帧率调整方法、装置、电子设备及存储介质
CN108650466A (zh) 一种强光或逆光拍摄人像时提升照片宽容度的方法及电子设备
CN108616687A (zh) 一种拍照方法、装置和移动终端
CN111416936B (zh) 图像处理方法、装置、电子设备及存储介质
CN115514876B (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN110807769A (zh) 图像显示控制方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant