CN113741681B - 一种图像校正方法与电子设备 - Google Patents

Abstract

本申请提供一种图像校正方法与电子设备。该方法包括：检测到第一操作，启动摄像头，控制摄像头采集第一图像，第一图像中包括用户人脸和眼镜；建立第一图像的人脸三维模型和眼镜三维模型，并将人脸三维模型和眼镜三维模型旋转预设角度；确定旋转之后的人脸三维模型和旋转之后的眼镜三维模型在第一平面上的投影图像，第一平面为与摄像头的视场角垂直的平面；显示投影图像。通过本申请提供的图像校正方法中，用户佩戴眼镜通过电子设备与联系人进行视频通话的场景中，在用户佩戴眼镜未正视摄像头的情况下，电子设备可以对采集的图像进行校正，得到用户佩戴眼镜且正视摄像头的图像，可以较好提高视频通话中双方的眼神交流。

Description

一种图像校正方法与电子设备

技术领域

本申请涉及终端技术领域，尤其涉及一种图像校正方法与电子设备。

背景技术

电子设备逐渐成为用户日常沟通交流的工具。比如，电子设备中可以安装各类通信应用，如微信、钉钉等，可以实现语音或视频通话。对于视频通话类应用，电子设备需要启动摄像头，将摄像头采集的图像实时的发送给对方设备。

目前电子设备(比如，笔记本电脑)上摄像头的设置位置需要考虑各方面的因素，比如为了方便拍摄用户脸部，摄像头设置在显示屏的上边缘位置，参见图1(a)所示。或者，为了扩大显示屏的占比，摄像头可以是设置在键盘处的升降式摄像头，参见图1(b)所示。这样设置摄像头会使得摄像头的拍摄角度与用户视线之间存在角度。请参见图2所示，视频通话过程中，键盘位置处的摄像头仰拍用户，采集的图像会出现朝天鼻、大下巴等现象，这样的图像发送到对方设备，非常影响美感；而且视频通话的过程中用户的眼睛通常是正视显示屏，所以摄像头采集的图像中用户眼睛不是正视摄像头，导致用户与对方设备的用户之间无法实现眼神交流，视频通话体验较差。

发明内容

本申请的目的在于提供了一种图像校正方法及电子设备，用以提升视频通话场景中视频双方的眼神交流，增强视频通话体验。

上述目标和其他目标将通过独立权利要求中的特征来达成。进一步的实现方式在从属权利要求、说明书和附图中体现。

第一方面，提供一种图像校正方法，该方法可以应用于带有摄像头和显示屏的电子设备，比如笔记本电脑。该方法包括：检测到第一操作，启动所述摄像头，控制所述摄像头采集第一图像，所述第一图像中包括用户人脸和眼镜；建立所述第一图像的人脸三维模型和眼镜三维模型，并将所述人脸三维模型和所述眼镜三维模型旋转预设角度；确定旋转之后的人脸三维模型和旋转之后的眼镜三维模型在第一平面上的投影图像，所述第一平面为与所述摄像头的视场角垂直的平面；在显示屏上显示所述投影图像。

也就是说，用户佩戴眼镜通过电子设备与联系人进行视频通话的场景中，用户可能并未正视摄像头，那么摄像头采集的图像是用户没有正视摄像头的图像。通过本申请提供的图像校正方法，电子设备对摄像头采集的图像进行校正，使得用户在佩戴眼镜非正视摄像头的情况下，将采集的图像校正为用户佩戴眼镜且正视摄像头的图像，可以提升视频双方的眼神交流，有助于增强视频通话体验。

在一种可能的设计中，电子设备还可以根据所述人脸三维模型上的特征点的三维坐标，调整所述眼镜三维模型的姿态和尺寸以适配所述人脸三维模型；其中，所述特征点可以但不限于包括所述人脸三维模型上眼睛区域和耳朵位置的特征点。

在本申请实施例中，眼镜三维模型可以是事先建立好的模型，所以电子设备可以调整眼镜三维模型以适配人脸三维模型，避免眼镜过大或过小，提升眼镜三维模型与人脸三维模型的匹配度。

在一种可能的设计中，电子设备还可以确定所述第一图像上的多个第一子区域，所述第一子区域可以包括镜片区域和镜腿区域；确定所述眼镜三维模型上的多个第二子区域，所述第二子区域相应可以包括镜片区域和镜腿区域；将所述第一子区域中的第三子区域内的纹理渲染到所述第二子区域中的第四子区域内，所述第四子区域与所述第三子区域在所述第一图像中的位置对应。

在本申请实施例中，眼镜三维模型可以是事先建立好的模型，电子设备可以使用采集的图像上的纹理渲染所述眼镜三维模型，这样渲染后的眼镜三维模型更符合用户真实眼镜，提升用户体验。

在一种可能的设计中，所述预设角度可以为使得所述人脸三维模型上人脸方向指向第一方向的角度，所述第一方向与所述摄像头的镜头所指方向相反；或者，所述预设角度还可以为使得所述眼镜三维模型的镜片法线方向指向第二方向的角度，所述第二方向与所述摄像头的镜头所指方向相反。

需要说明的是，上述仅是预设角度的两种示例，其它的角度也是可以的，本申请实施例不作限定。总之，在用户佩戴眼镜非正视摄像头的情况下，电子设备可以将采集的图像校正为用户佩戴眼镜且正视摄像头的图像，可以提升视频双方眼神交流，增强用户视频交互效果。

在一种可能的设计中，启动摄像头之前，电子设备还可以启动视频通话功能；相应的，电子设备还可以将所述投影图像发送给对方的电子设备进行显示。

因此，在本申请实施例中，用户佩戴眼镜通过电子设备与联系人进行视频通话的场景中，电子设备对摄像头采集的图像进行校正，使得用户在佩戴眼镜非正视摄像头的情况下，将采集的图像校正为用户佩戴眼镜且正视摄像头的图像，并将校正后的图像发送给联系人的设备，从而可以提升视频双方的眼神交流，增强用户视频交互效果。

第二方面，还提供一种电子设备，包括摄像头，用于采集图像；显示屏，用于信息显示；一个或多个处理器；一个或多个存储器；其中，所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述处理器执行如下步骤：

检测到第一操作，启动所述摄像头，控制所述摄像头采集第一图像，所述第一图像中包括用户人脸和眼镜；建立所述第一图像的人脸三维模型和眼镜三维模型，并将所述人脸三维模型和所述眼镜三维模型旋转预设角度；确定旋转之后的人脸三维模型和旋转之后的眼镜三维模型在第一平面上的投影图像，所述第一平面为与所述摄像头的视场角垂直的平面；在所述显示屏上显示所述投影图像。

在一种可能的设计中，当所述指令被所述一个或多个处理器执行时，使得所述处理器还可以执行如下步骤：根据所述人脸三维模型上的特征点的三维坐标，调整所述眼镜三维模型的姿态和尺寸以适配所述人脸三维模型；其中，所述特征点可包括所述人脸三维模型上眼睛区域和耳朵位置的特征点。

在一种可能的设计中，当所述指令被所述一个或多个处理器执行时，使得所述处理器还可以执行如下步骤：确定所述第一图像上的多个第一子区域，所述第一子区域可包括镜片区域和镜腿区域；确定所述眼镜三维模型上的多个第二子区域，所述第二子区域可包括镜片区域和镜腿区域；将所述第一子区域中的第三子区域内的纹理渲染到所述第二子区域中的第四子区域内，所述第四子区域与所述第三子区域在所述第一图像中的位置对应。

在一种可能的设计中，所述预设角度可以为使得所述人脸三维模型上人脸方向指向所述摄像头的角度；或者，所述预设角度还可以为使得所述眼镜三维模型的镜片法线方向指向所述摄像头的角度。

在一种可能的设计中，所述电子设备还可以包括通信单元，用于所述电子设备与其他电子设备通信，当所述指令被所述一个或多个处理器执行时，使得所述处理器还可以执行如下步骤：在启动摄像头之前，启动视频通话功能；在得到投影图像之后，通过所述通信单元将所述投影图像发送给对方的电子设备进行显示。

第三方面，还提供一种电子设备，包括：执行上述第一方面或第一方面的任意一种可能的设计的方法的模块/单元；这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。

第四方面，还提供一种芯片，所述芯片与电子设备中的存储器耦合，使得所述芯片在运行时调用所述存储器中存储的程序指令，以实现如上述第一方面提供的方法。

第五方面，还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备可以执行如上述第一方面提供的方法。

第六方面，还提供一种计算机程序产品，包括指令，当所述指令在计算机上运行时，使得所述计算机可以执行如上述第一方面提供的方法。

第七方面，还提供一种电子设备上的图形用户界面，所述电子设备具有一个或多个存储器、以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述一个或多个存储器中的一个或多个计算机程序，所述图形用户界面包括所述电子设备执行上述第一方面所述的方法时显示的图形用户界面。

以上第二方面到第七方面的有益效果，请参考上述第一方面的相应有益效果的描述，这里不再重复赘述。

附图说明

图1为笔记本电脑上摄像头的位置示意图；

图2为用户操作笔记本电脑时姿态的示意图；

图3为本申请一实施例提供的电子设备的结构示意图；

图4为本申请一实施例提供的电子设备的GUI的示意图；

图5为本申请一实施例提供的用户AR虚拟眼镜的示意图；

图6为本申请一实施例提供的一种图像校正方法的流程示意图；

图7为本申请一实施例提供的另一种图像校正方法的流程示意图；

图8为本申请一实施例提供的3D眼镜模型与3D人脸模型的示意图；

图9为本申请一实施例提供的3D眼镜模型与3D人脸模型上的子区域的示意图；

图10为本申请一实施例提供的3D眼镜模型与3D人脸模型旋转的示意图；

图11为本申请一实施例提供的电子设备的结构示意图。

具体实施方式

下面先介绍与本申请相关的背景技术。

如前文所述，目前，电子设备(比如，笔记本电脑)上的摄像头位置的局限性会导致拍摄的用户人脸图像美感不足，而且无法与视频通话的对方用户实现眼神交流。

为了解决这个问题，一种解决方案是，用户A使用第一设备与用户B的第二设备进行视频通话的场景中，第一设备采集用户A的第一图像，第一图像中包括用户A的人脸图像，该人脸图像中是非正视摄像头的图像，比如，仰拍或俯拍等。第一设备根据第一图像建立人脸3D模型，将人脸3D模型旋转一定角度，使得旋转之后的人脸3D模型的视线正视摄像头，旋转之后的人脸3D模型在摄像头拍摄范围内的投影图像即用户A正视摄像头的图像，第一设备将该图像发送给第二设备，那么第二设备显示屏显示该图像，该图像中用户A的眼睛正视摄像头，可以提升美感，且增强视频通话过程中的眼神交流，提升视频通话体验。

然而，上述方案中，没有考虑用户佩戴眼镜的情况。比如，用户A佩戴眼镜，按照上述解决方案，仅对用户A的人脸进行三维建模，将眼镜的二维纹理图像直接渲染在人脸三维模型上，由于未做眼镜的三维建模，所以眼镜与人脸的深度差异大，当旋转人脸3D模型后投影回图像后，眼镜纹理发生变形，整体效果较差。

鉴于此，本申请实施例提供的一种图像校正方法，该方法的中心思想是，第一设备采集用户的第一图像，第一图像中包括用户人脸和眼镜，其中人脸非正视摄像头，比如是仰拍或俯拍等。第一设备建立人脸三维模型和眼镜三维模型，由于用户非正视摄像头，所以建立的人脸三位模型和眼镜三位模型上的眼镜也是非正视摄像头的。第一设备将人脸三维模型和眼镜三维模型旋转一定的角度，使得旋转之后的人脸三维模型上的眼睛正视摄像头，旋转之后的人脸三维模型和旋转之后的眼镜三维模型在第一平面(垂直于摄像头视场角的平面)上的投影图像发送给第二设备，第二设备的显示屏上显示投影图像，所以用户B能够看到用户A(佩戴眼镜)正视摄像头的图像，实现眼神交流，以提升视频通话体验。

本申请实施例提供的图像校正方法可以应用于任何具有多摄像头的电子设备，诸如手机、平板电脑、可穿戴设备(例如，手表、手环、头盔、耳机、项链等)、车载设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personaldigital assistant，PDA)等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

示例性的，图3示出了电子设备100的结构示意图。电子设备100例如手机。如图3所示，电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。

处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。

USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。

电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。

移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。

无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。

在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。

显示屏194用于显示应用的显示界面，例如相机应用的取景界面等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。

电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。

摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。

在本申请实施例中，电子设备100可以包括N个摄像头193(例如阵列式摄像头)，N为大于或等于2的整数。

数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，以及至少一个应用程序(例如爱奇艺应用，微信应用等)的软件代码等。存储数据区可存储电子设备100使用过程中所产生的数据(例如拍摄的图像、录制的视频等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将图片，视频等文件保存在外部存储卡中。

电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。

其中，传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。

压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。陀螺仪传感器180B可以用于确定电子设备100的机身姿态。在一些实施例中，可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。

气压传感器180C用于测量气压。在一些实施例中，电子设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。磁传感器180D包括霍尔传感器。电子设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当电子设备100是翻盖机时，电子设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100姿态，应用于横竖屏切换，计步器等应用。

距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。

环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。指纹传感器180H用于采集指纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。

温度传感器180J用于检测温度。在一些实施例中，电子设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，电子设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，电子设备100对电池142加热，以避免低温导致电子设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，电子设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。

触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。

骨传导传感器180M可以获取振动信号。在一些实施例中，骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏，接收血压跳动信号。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现与电子设备100的接触和分离。

可以理解的是，图3所示的部件并不构成对电子设备100的具体限定，手机还可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。此外，图3中的部件之间的组合/连接关系也是可以调整修改的。

以上实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本申请实施例中，“一个或多个”是指一个、两个或两个以上；“和/或”，描述关联对象的关联关系，表示可以存在三种关系；例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

此外，下述实施例中所用，根据上下文，术语“当…时”或“当…后”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。另外，在上述实施例中，使用诸如第一、第二之类的关系术语来区份一个实体和另一个实体，而并不限制这些实体之间的任何实际的关系和顺序。

本申请实施例提供的图像校正方法可以适用于多种场景，下文举例介绍。

场景1：视频通话场景

用户A的第一设备中和用户B中的第二设备均安装第一应用，所述第一应用例如可以为微信、钉钉等通讯类应用。例如，用户A使用第一设备中的微信与第二设备中的微信进行视频通话。第一设备上的摄像头采集用户A(用户A佩戴眼镜)的第一图像，第一图像中包括用户A的人脸图像和眼镜图像。第一设备使用本申请提供的图像校正方法，根据第一图像上的人脸进行三维建模得到人脸三维模型，根据第一图像上的眼镜进行三维建模得到眼镜三维模型，然后将人脸三维模型旋转，旋转之后的人脸三维模型上的眼睛正视第一设备的摄像头，并且将眼镜3D模型作相同角度的旋转。这样的话，旋转之后的人脸3D模型和眼镜3D模型融合，融合得到的模型在第一平面(第一平面垂直于摄像头视场角)上的投影图像发送给第二设备，这样，用户B的第二设备接收到的图像是用户A正视摄像头的图像。同理，用户B的第二设备也可以采用同样的方式处理，这样，用户A的第一设备接收到的图像是用户B正视摄像头的图像，实现用户A和用户B的眼神交流，并且，用户A或用户B佩戴眼镜的话，通过本申请实施例提供的方案可以增强图像上眼镜的真实感。

场景2：相机应用

这里的相机应用可以是电子设备自带的相机应用，或者是电子设备从网络下载的第三方相机应用，例如可以是美颜类的相机应用，比如美颜app。电子设备打开美颜app，触发打开摄像头，采集用户的第一图像，第一图像中包括用户人脸图像和眼镜图像。电子设备使用本申请实施例提供的图像校正方法建立人脸三维模型和眼镜三维模型，然后将人脸三维模型和眼镜三维模型旋转，旋转之后的人脸三维模型和眼镜三维模型融合，融合模型在第一平面上的投影图像即美颜app的预览图像。

示例性的，图4中的(a)示出了手机的一种图形用户界面(graphical userinterface，GUI)，该GUI以手机的桌面301为例说明。当手机检测到用户点击桌面301上的相机应用的图标302的操作后，可以启动相机应用，显示如图4中的(b)所示的另一GUI，该GUI可以称为取景界面303。该取景界面303是拍照模式或录像模式下的取景界面。在一些实施例中，手机进入拍摄模式或录像模式后，可以自动进入图像校正模式，或者，用户可以指定进入图像校正模式。在图像校正模式下，手机可以启动本申请实施例提供的图像校正方法。

其中，用户指定进入图像校正模式的方式有多种，比如，电子设备检测到特定手势操作(比如，在取景界面303内的双击操作，或三手指的同时上滑操作等)时，进入图像校正模式；或者，以图4(b)为例，电子设备检测到针对区域304内的“更多”按钮时，显示图像校正模式的图标，当检测到针对该图标的操作时，进入图像校正模式。

场景3：增强现实(augment reality，AR)领域

所谓增强现实可以理解为在图像上添加虚拟信息，使得最终呈现出的图像是包括虚拟信息的图像。一种常见的应用是，在图像上添加表情、动图或文字等虚拟信息。比如，用户未佩戴眼镜等情况下，拍摄人脸图像，在拍摄的人脸图像上添加虚拟眼镜。然而，在用户佩戴眼镜的情况下，拍摄的人脸图像上包括眼镜，倘若使用AR技术在该人脸图像上添加虚拟眼镜，会出现双重眼镜的情况，请参见图5所示。这种情况下，通过本申请实施例提供的图像校正方法，可以准确的定位人脸图像上用户眼镜的位置，然后在该位置添加虚拟眼镜，以避免出现双重眼镜的现象。

需要说明的是，上述列举的是本申请的三种示例性的场景，本申请可以适用于任何需要摄像头采集图像的场景中，比如，表情包的制作(比如微信中表情包的制作)、抖音、微博、小红书等短视频的拍摄等等，在此不一一列举。

下面，以上述场景1为例，介绍本申请实施例提供的图像校正方法。

请参见图6所示，为本申请实施例提供的图像校正方法的流程示意图。该方法可以由第一设备执行，用户A通过第一设备与用户B的第二设备进行视频通话。如图6所示，该方法的流程包括：

S501，第一设备启动视频通话功能，打开摄像头。

作为一种示例，第一设备中安装有微信，第一设备检测到第一操作，该第一操作用于指示启动微信中与某个联系人的视频通话，第一设备响应于第一操作，启动微信中与某个联系人的视频通话功能，触发打开摄像头。

S502，第一设备控制摄像头采集第一图像，第一图像中包括用户的人脸，所述人脸上的眼睛视线可能不是正视摄像头。比如，以图1(b)为例，摄像头仰拍用户，而用户眼睛正视显示屏，所以摄像头拍摄的图像中用户眼睛不是正视摄像头。

S503，第一设备判断第一图像中是否包括眼镜，若是，执行分支1的处理流程，若否，执行分支2的处理流程。示例性的，第一设备可以使用预设的算法模型识别第一图像中是否包括眼镜。所述算法模型例如可以是分类算法、神经网络学习算法等等，本申请实施例不作限定。以一分类算法为例，第一设备将第一图像作为一分类算法的输入图像，运行一分类算法，得到输出结果，该输出结果用于描述第一图像中是否包括眼镜，比如输出结果为“是”，即第一图像中包括眼镜，或者输出结果为“否”，即第一图像中不包括眼镜。

下面先介绍分支1的处理流程。其中，分支1中包括两个处理过程，一个是3D眼镜模型的建立过程，一个是3D人脸模型的建立过程。

S504，第一设备根据第一图像中的人脸信息建立3D人脸模型。

S505，第一设备根据第一图像中的眼镜信息建立3D眼镜模型。

需要说明的是，步骤S504和步骤S505之间的执行顺序，本申请实施例不作限定。

S506，第一设备将3D人脸模型和3D眼镜模型融合，并将融合得到的模型进行视角转换，使得融合得到的模型上眼睛视线正视摄像头。

需要说明的是，第一设备可以先将3D人脸模型和3D眼镜模型融合，然后将融合得到的模型进行视角转换；或者，也可以先分别将3D人脸模型和3D眼镜模型进行视角转换，然后将视角转换之后的3D人脸模型和视角转换之后的3D眼镜模型进行融合，本申请实施例对此不作限定。

S507，第一设备将视角转换之后的模型在第一平面上的投影图像发送给第二设备，其中，第一平面与摄像头视场范围垂直的平面。

下面介绍分支2的处理流程。分支2包括：1、第一设备建立3D人脸模型。该过程与前文步骤S504类似。2、第一设备将3D人脸模型进行视角转换。该过程可以参见前文S506类似，区别在于不需要将3D人脸模型和3D眼镜模型融合，而是将3D人脸模型进行视角转换。3、第一设备将视角转换之后的3D人脸模型在第一平面上的投影图像发送给第二设备。该过程可以参见前文步骤S507的描述。

下面，重点介绍上述分支1中步骤S505-S507的实现过程。

示例性的，参见图7所示，S505-S506包括四个过程。第一个过程：3D眼镜模型建立。第二个过程，3D眼镜模型分割与纹理映射；第三个过程：视角转换。第四个过程：视角转换之后的眼镜模型和人脸模型融合。下面依次介绍这四个过程。

第一个过程；3D眼镜模型建立；具体而言，第一个过程可以包括如下3个步骤：

步骤A1，建立3D眼镜模型。为了方便使用，该3D眼镜模型可以是事先建立好、存储在第一设备中的模型，所以步骤A1可以是第一设备出厂之前执行的，在用户使用第一设备的过程中无需执行。为了节省成本，该3D眼镜模型可以是简易模型，例如，该3D眼镜模型可以是一段计算机程序指令，也可以是一个简易芯片，芯片上存储有3D眼镜模型的程序指令。示例性的，参见图8(a)所示，为3D眼镜模型的一种示意图，该3D眼镜模型可以存放在眼镜中的存储器中，或者为眼镜中的一个芯片。

步骤A2，根据建立的3D人脸模型(步骤S504)确定人脸上眼睛区域内的特征点的三维坐标。所述眼睛区域例如可以是眉毛以下鼻子以上的预设区域；和/或耳前方区域。特征点例如可以是眼球所在点、眼睛到耳朵之间的距离中点等等。示例性的，请参见图8(b)所示，为人脸3D模型上眼睛区域内的多个特征点的示意图。

步骤A3，根据眼睛区域的特征点的三维坐标，调整3D眼镜模型的尺寸和姿态以适配3D人脸模型。需要说明的是，事先建立好的3D眼镜模型的尺寸和姿态与人脸的尺寸、姿态不一定匹配，所以第一设备可以调整3D眼镜模型的尺寸和姿态以适配3D人脸模型。比如，第一设备可以缩放3D眼镜模型以适配3D人脸模型。3D眼镜模型的姿态调整过程为：参见图8(c)所示，坐标系O1(X1，Y1，Z1)是3D眼镜模型的坐标系，坐标系O2(X2，Y2，Z2)是3D人脸模型的坐标系。第一设备可以将O1坐标系和O2坐标系对齐，比如，将X1轴和X2轴指向同一方向，将Y1轴和Y2轴指向同一方向。

因此，上述第一个过程中，将3D人脸模型和3D眼镜模型进行了适配。需要说明的是，本申请实施例中，3D眼镜模型的建立无需对眼镜进行多视角拍摄，通过事先建立的简易3D眼镜模型即可实现，然后对该简易3D眼镜模型的姿态和尺寸进行调整以适配3D人脸模型，操作便捷。

第二个过程：3D眼镜模型分割与纹理映射；具体而言，第二个过程包括如下步骤：

步骤B1，将3D眼镜模型划分为多个子区域，比如，镜片区域、镜腿区域等。示例性的，参见图9(a)所示，为3D眼镜模型上三个子区域的示意图，其中包括镜面区域、左镜腿区域和右镜腿区域。

步骤B2，将人脸图像上的眼睛区域划分为多个子区域。比如，镜片区域、镜腿区域。示例性的，请参见图9(b)所示，为人脸图像上眼睛区域的各个子区域。

步骤B3，将人脸图像上眼镜区域的各个子区域的纹理对应的映射到3D眼镜模型上的各个子区域上。示例性的，请参见图9(a)和9(b)所示，人脸图像上眼睛区域的镜片区域的纹理映射到3D眼镜模型上的镜片区域，人脸图像上眼睛区域的镜腿区域的纹理映射到3D眼镜模型的镜腿区域，这样的话，得到经过纹理渲染后的3D眼镜模型更为真实。

需要说明的是，第二个过程是可选的，所以图7中第二个过程以虚线表示，即可以在执行完第一个过程之后，可以紧接着执行第三个过程。

第三个过程：视角转换过程；具体而言，第三个过程可以包括如下步骤：

步骤C1，将3D人脸模型旋转到眼睛正视摄像头，将3D眼镜模型旋转与3D人脸模型相同的角度或将3D眼镜模型旋转到眼镜镜面平行于摄像头的镜头平面。

步骤C1的一种可能的实现方式为：第一设备将3D人脸模型上人脸方向或眼球法线方向调整到对准(或指向)摄像头。例如，第一设备将3D人脸模型旋转第一预设角度，使得所述3D人脸模型上人脸方向指向第一方向，所述第一方向与所述摄像头的镜头所指方向相反。这里的镜头所指方向为摄像头镜头或镜片的法线(外法线)方向。示例性的，参见图10(a)所示，人脸模型旋转之前，人脸方向或眼球法线不指向摄像头，参见图10(b)所示，人脸模型旋转之后，人脸方向或眼球法线方向指向摄像头。对于3D眼镜模型，第一设备可以将3D眼镜模型旋转第二预设角度，使得所述3D眼镜模型的镜片法线方向指向第二方向，所述第二方向与所述摄像头的镜头所指方向相反。第一预设角度和第二预设角度可以相同或不同。

步骤C1的另一种可能的实现方式为：第一设备确定摄像头的视场角范围，比如，摄像头的视场角范围可以预存在第一设备中。示例性的，参见图10(a)所示，视场角范围可以是A。然后，第一设备确定与摄像头视场角范围垂直的第一平面。示例性的，继续以图10(a)为例，第一平面可以是平面B。第一设备将3D人脸模型旋转到与第一平面B平行，比如，3D人脸模型上人脸方向或眼球法线方向与第一平面垂直。第一设备将3D眼镜模型旋转到与第一平面B平行，比如，3D眼镜模型上镜片所在平面与第一平面平行。

需要说明的是，在前述第一个过程中，第一设备根据3D人脸模型调整了3D眼镜模型的尺寸和姿态，在上述第三个过程中，第一设备旋转3D人脸模型之后，可以将3D眼镜模型旋转同样的角度，这样，旋转后的3D眼镜模型与旋转后的3D人脸模型是对齐的。

因此，第三个过程中，第一设备将3D人脸模型和3D眼镜模型作了旋转，使得3D人脸模型的眼镜正视摄像头。

第四个过程：模型融合以及图像输出，具体包括如下步骤：

步骤D1，将旋转之后的3D人脸模型和旋转后的3D眼镜模型进行融合。融合方式有多种，比如像素插值融合，例如，为了使得融合模型效果更佳，第一设备可以将3D人脸模型上与3D眼镜模型融合的边缘进行像素插值。

步骤D2，将融合模型在第一平面上的投影图像输出。示例性的，以图10(b)为例，3D人脸模型在第一平面上的投影图像，即二维图像。

以上过程介绍分支1即第一图像中包括眼镜的处理过程。关于分支2即第一图像中不包括眼镜的处理过程，与分支1的处理过程类似，不同之处在于，分支2中仅对3D人脸模型旋转，旋转之后的3D人脸模型的投影图像发送给第二设备，不包括对眼镜的处理过程。

需要说明的是，摄像头是一帧一帧采集图像，第一设备可以将每帧图像均做本申请实施例提供的图像校正处理，或者从摄像头采集的N帧图像中抽出M帧，然后对M帧图像中的每帧作本申请实施例提供的图像校正处理。

上述本申请提供的实施例中，从电子设备(例如笔记本电脑)作为执行主体的角度对本申请实施例提供的方法进行了介绍。为了实现上述本申请实施例提供的方法中的各功能，终端设备可以包括硬件结构和/或软件模块，以硬件结构、软件模块、或硬件结构加软件模块的形式来实现上述各功能。上述各功能中的某个功能以硬件结构、软件模块、还是硬件结构加软件模块的方式来执行，取决于技术方案的特定应用和设计约束条件。

如图11所示，本申请另外一些实施例公开了一种电子设备，该电子设备比如为手机、ipad、笔记本电脑等该电子设备。电子设备可以包括：摄像头1101，显示屏1107；一个或多个处理器1102；多个应用程序1108；上述各器件可以通过一个或多个通信总线1105连接。摄像头1101用于采集图像，所述显示屏1107可以用于显示摄像头1101采集的图像或者其他电子设备发送来的图像等。

其中，所述一个或多个计算机程序1104被存储在上述存储器1103中并被配置为被该一个或多个处理器1102执行，该一个或多个计算机程序1104包括指令，上述指令可以用于执行如图4-图10及相应实施例中的各个步骤。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要指出的是，本专利申请文件的一部分包含受著作权保护的内容。除了对专利局的专利文件或记录的专利文档内容制作副本以外，著作权人保留著作权。

Claims (9)

1.一种图像校正方法，其特征在于，应用于带有摄像头的电子设备，包括：

检测到第一操作，启动所述摄像头，控制所述摄像头采集第一图像，所述第一图像中包括用户人脸和眼镜；

根据所述第一图像建立人脸三维模型；

获取预先存储的眼镜三维模型；

根据所述人脸三维模型中位于眼睛区域的特征点的三维坐标，调整所述眼镜三维模型的尺寸和姿态，以使所述眼镜三维模型的尺寸和姿态适配所述人脸三维模型；

将所述第一图像上的镜片区域内的纹理映射到所述眼镜三维模型的镜片区域内，并将所述第一图像上镜腿区域内的纹理映射到所述眼镜三维模型的镜腿区域内；

将所述人脸三维模型和所述眼镜三维模型旋转预设角度；

确定旋转之后的人脸三维模型和旋转之后的眼镜三维模型在第一平面上的投影图像，所述第一平面为与所述摄像头的视场角垂直的平面；

显示所述投影图像。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述人脸三维模型上的特征点的三维坐标，调整所述眼镜三维模型的姿态和尺寸以适配所述人脸三维模型；

其中，所述特征点包括所述人脸三维模型上眼睛区域和耳朵位置的特征点。

3.如权利要求1或2所述的方法，其特征在于，所述预设角度为使得所述人脸三维模型上人脸方向指向所述摄像头的角度；或者，所述预设角度为使得所述眼镜三维模型的镜片法线方向指向所述摄像头的角度。

4.如权利要求1-3任一所述的方法，其特征在于，启动摄像头之前，还包括启动视频通话功能；

所述方法还包括：将所述投影图像发送给对方的电子设备进行显示。

5.一种电子设备，其特征在于，包括：

摄像头，用于采集图像；

显示屏，用于信息显示；

一个或多个处理器；

一个或多个存储器；其中，所述一个或多个存储器存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令，当所述指令被所述一个或多个处理器执行时，使得所述处理器执行如下步骤：

检测到第一操作，启动所述摄像头，控制所述摄像头采集第一图像，所述第一图像中包括用户人脸和眼镜；

根据所述第一图像建立人脸三维模型；

建立眼镜三维模型，根据所述人脸三维模型中位于眼睛区域的特征点的三维坐标，调整所述眼镜三维模型的尺寸和姿态，以使所述眼镜三维模型的尺寸和姿态适配所述人脸三维模型；

将所述第一图像上的镜片区域内的纹理映射到所述眼镜三维模型的镜片区域内，并将所述第一图像上镜腿区域内的纹理映射到所述眼镜三维模型的镜腿区域内；

将所述人脸三维模型和所述眼镜三维模型旋转预设角度；

确定旋转之后的人脸三维模型和旋转之后的眼镜三维模型在第一平面上的投影图像，所述第一平面为与所述摄像头的视场角垂直的平面；

在所述显示屏上显示所述投影图像。

6.如权利要求5所述的电子设备，其特征在于，当所述指令被所述一个或多个处理器执行时，使得所述处理器还执行如下步骤：

根据所述人脸三维模型上的特征点的三维坐标，调整所述眼镜三维模型的姿态和尺寸以适配所述人脸三维模型；

其中，所述特征点包括所述人脸三维模型上眼睛区域和耳朵位置的特征点。

7.如权利要求5或6所述的电子设备，其特征在于，所述预设角度为使得所述人脸三维模型上人脸方向指向第一方向的角度，所述第一方向与所述摄像头的镜头所指方向相反；

或者，

所述预设角度为使得所述眼镜三维模型的镜片法线方向指向第二方向的角度，所述第二方向与所述摄像头的镜头所指方向相反。

8.如权利要求5-7任一所述的电子设备，其特征在于，还包括通信单元，用于所述电子设备与其他电子设备进行通信；

当所述指令被所述一个或多个处理器执行时，使得所述处理器还执行如下步骤：

在启动所述摄像头之前，启动视频通话功能；

在得到投影图像之后，将所述投影图像通过所述通信单元发送给对方的电子设备进行显示。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至4任一所述的方法。