CN107483811A

CN107483811A - 成像方法和电子装置

Info

Publication number: CN107483811A
Application number: CN201710632728.XA
Authority: CN
Inventors: 唐城
Original assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Current assignee: Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date: 2017-07-28
Filing date: 2017-07-28
Publication date: 2017-12-15

Abstract

本发明公开了一种成像方法和电子装置。成像方法包括以下步骤：在可见光摄像头获取自拍图像时判断环境亮度是否小于或等于第一预定阈值；在环境亮度小于或等于第一预定阈值时控制红外摄像头采集与自拍图像对应的红外图像；和处理红外图像和自拍图像以利用红外图像增加自拍图像与红外图像重叠部分的亮度信息。本发明实施方式的成像方法和电子装置，在暗光环境中进行自拍时，利用红外摄像头在红外波段成像，并与可见光摄像头的自拍图像进行合成提升了可将光摄像头在暗光环境下的拍摄效果。

Description

成像方法和电子装置

技术领域

本发明涉及成像技术，尤其涉及一种成像方法和电子装置。

背景技术

目前的暗光拍摄效果都比较差，具体的，假若提高增益提升亮度，则噪声明显，而不提高增益则场景的暗部细节丢失严重。

发明内容

本发明的实施方式提供一种成像方法和电子装置。

本发明实施方式的成像方法用于电子装置，所述成像方法包括以下步骤：

在可见光摄像头获取自拍图像时判断环境亮度是否小于或等于第一预定阈值；

在所述环境亮度小于或等于所述第一预定阈值时控制红外摄像头采集与所述自拍图像对应的红外图像；和

处理所述红外图像和所述自拍图像以利用所述红外图像增加所述自拍图像与所述红外图像重叠部分的亮度信息。

本发明实施方式的电子装置，包括处理器，所述处理器用于：

本发明实施方式的电子装置，包括壳体、处理器、存储器、电路板、电源电路、显示器、可见光摄像头、红外摄像头和红外光源，其特征在于，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述电子装置的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行所述的成像方法。

本发明实施方式的计算机可读存储介质，具有存储于其中的指令，当电子装置的处理器执行所述指令时，所述电子装置执行上述的成像方法。

本发明实施方式的成像方法和电子装置，在暗光环境中进行自拍时，利用红外摄像头在红外波段成像，并与可见光摄像头的自拍图像进行合成提升了可将光摄像头在暗光环境下的拍摄效果。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：

图1是本发明实施方式的成像方法的流程示意图。

图2是本发明实施方式的电子装置的结构示意图。

图3是本发明某些实施方式的成像方法的场景示意图。

图4是本发明某些实施方式的成像方法的流程示意图。

图5是本发明某些实施方式的成像方法的流程示意图。

具体实施方式

下面详细描述本发明的实施方式，所述实施方式的示例在附图中示出，其中相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明的实施方式，而不能理解为对本发明的实施方式的限制。

请参阅图1至图3，本发明实施方式的成像方法，包括以下步骤：

S10：在可见光摄像头获取自拍图像时判断环境亮度是否小于或等于第一预定阈值；

S20：在环境亮度小于或等于第一预定阈值时控制红外摄像头采集与自拍图像对应的红外图像；和

S30：处理红外图像和自拍图像以利用红外图像增加自拍图像与红外图像重叠部分的亮度信息。

本发明实施方式的电子装置1000，电子装置1000包括红外摄像头100、可见光摄像头200和处理器300。电子装置1000还包括红外光源110。红外摄像头100用于接收作为有效光源的红外光源110发射的红外光在被摄物的反射光线以形成红外图像。可见光摄像头200包括前置摄像头。作为例子，本发明实施方式的成像方法，可以由本发明实施方式的电子装置1000实现，并应用于电子装置1000。

其中步骤S10至S30可以由处理器300实现。也即是说，处理器300用于在可见光摄像头200获取自拍图像时判断环境亮度是否小于或等于第一预定阈值，在环境亮度小于或等于第一预定阈值时控制红外摄像头100采集与自拍图像对应的红外图像。处理红外图像和自拍图像以利用红外图像增加自拍图像与红外图像重叠部分的亮度信息。处理器300可以是电子装置的CPU、GPU以及独立的图像处理器的任意组合。

在暗光环境中，由于光线条件较差，使用电子装置1000进行成像时通常效果较差，若为了提高亮度，往往会产生较大的噪点，若希望画面纯净，则细节丢失较为严重。

而红外摄像头能够在红外波段成像，从而获得更好的进光量。

具体地，红外摄像头100通常还用于对当前使用电子装置1000的用户的进行虹膜识别，因此红外摄像头100通常前置，也即是设置在电子装置1000的前表面，例如设置于前表面顶端。可以理解地，红外摄像头100和可见光摄像头200设置在电子装置1000的壳体内并自前表面露出。前表面也即是电子装置1000用于显示的一侧表面，或者说，在使用中朝向用户的一侧表面。

红外摄像头100包括有红外滤光片，能够利用当前自然光或使红外光源照射被摄物后的反射透过并通过图像传感器成像，所成图像为灰度图像。

可见光摄像头200包括有RGB彩色滤光片，能够使可见光透过，通过相应的图像传感器成RGB彩色图像。具体地，红外摄像头100和可见光摄像头200均用于采集同一被摄物图像，可见光摄像头200的视场范围覆盖或至少部分覆盖红外光摄像头110的视场范围，也即是说，在对同一被摄物成像时，可见光摄像头200和红外摄像头100可同时采集到至少部分重叠的被摄物图像。红外光摄像头110所采集的灰度图像具有较好的亮度信息，可用于对与可见光摄像头200采集的彩色图像相重叠的部分进行融合，使得融合的彩色图像的亮度更佳，并通过显示器进行显示，为用户呈现更好的视觉体验。

具体地，红外摄像头100的视场和可见光摄像头200的视场至少部分重叠可以确保图像存在重叠区域，即被摄物在红外图像和彩色图像都能找到对应的部分，需要说明的是，红外摄像头100的视场和可见光摄像头200的视场重叠部分越多，红外图像和彩色图像的配合度越高，越有利于实现本发明实施方式的成像方法。为了增加红外摄像头100和可见光摄像头200的视场重叠部分，红外摄像头100和可见光摄像头200可以相邻设置。

可以理解，上述的成像方法，在环境光线较佳时，利用可见光摄像头200即可获得效果较佳的图像。因此，在开启红外摄像头100前，也即是利用可见光摄像头200成像的同时判断首先判断环境亮度，当低于第一预定阈值时，通过可见光摄像头200进行自拍时，拍摄的图像亮度较差，人脸部分会丢失较多细节，图像效果不佳。此时，可开启红外摄像头100拍摄相对应的红外图像，利用红外图像的亮度信息增强自拍图像的亮度，获得较佳的拍摄效果。

并且在第一预定阈值范围内时，红外摄像头100利用当前的自然光即可成像，此时无需开启红外光源。

综上所述，在环境亮度较暗的拍摄中，在暗光环境中进行自拍时，利用红外摄像头100在红外波段成像，并与可见光摄像头200的自拍图像进行合成提升了可将光摄像头200在暗光环境下的拍摄效果。

在某些实施方式中，电子装置1000包括手机、平板电脑、笔记本电脑以及能穿戴设备等。

请参阅图4，在某些实施方式中，步骤S10：

S11：控制可见光摄像头采集环境图像；和

S12：处理环境图像以得到所述环境亮度。

在某些实施方式中，步骤S11和步骤S12可以由处理器300实现。也即是说，处理器300用于控制可见光摄像头200采集环境图像，并处理环境图像以得到环境亮度。

具体地，为了获得良好的用户体验，可在用户利用可见光摄像头200预览被摄场景时在后台获取一张彩色图像，并利用该图像判断环境亮度，例如可图像中每个像素的亮度信息进行统计，也了对重点区域，如中心区域进行亮度信息统计。在一些光线多变的场景中，可连续获取多张图像并统计平均值从而提高环境亮度判断的准确性。

在一些示例中，获取环境亮度还可通过电子装置1000的光线传感器来实现。处理器300通过读取光线传感器的输出来判断当前光环境是否需要开启红外摄像头100辅助成像。

请请参阅5，在某些实施方式中，成像方法还包括以下步骤：

S40：判断环境亮度是否小于或等于第二预定阈值，第二预定阈值小于第一预定阈值；和

S50：在环境亮度小于或等于第二预定阈值时，启动红外光源。

在某些实施方式中，步骤S40和步骤S50可以由处理器300实现，或者说，处理器300用于判断环境亮度是否小于或等于第二预定阈值，并在在环境亮度小于或等于第二预定阈值时控制红外光源110启动。

具体地，第二预定阈值小于第一预定阈值，也即是说，当环境亮度小于第二预定阈值时，当前环境亮度低于第一预定阈值时的光线亮度，可以理解，当需要开启红外光源辅助红外摄像头100时，可认为当前环境处于极端暗环境，在这种条件下，红外光源110可在一定程度上提供有效光线进行补光使得红外摄像头100所成的红外图像仍能提供足够的亮度信息。

在某些实施方式中，成像方法还包括步骤：

识别自拍图像中和红外图像中的人脸区域；

提取红外图像中的人脸区域的亮度信息；

步骤S30包括步骤：

利用红外图像增加自拍图像的人脸区域的亮度信息。

在某些实施方中，识别自拍图像中和红外图像中的人脸区域、提取红外图像中的人脸区域的亮度信息和利用红外图像增加自拍图像的人脸区域的亮度信息的步骤可以由处理器300实现。或者说，处理器300用于识别自拍图像中和红外图像中的人脸区域，提取红外图像中的人脸区域的亮度信息，并利用红外图像增加自拍图像的人脸区域的亮度信息。

具体地，由于红外摄像头100在一定程度上需要红外光源辅助成像，并且考虑到电子装置的功耗、体积以及尺寸等问题，红外摄像头和红外光源通常设置于电子装置的前面板，并主要在一些场景中用于身份识别。因此，红外摄像头和红外光源的有效工作距离有一定的限制，可集中用于对人脸区域进行辅助处理。

在拍摄过程中，当满足光线条件时，控制可见光摄像头200和红外摄像头100启动并获取自拍图像。从自拍图像和红外图像中识别出人脸区域具体包括进行人脸检测、预处理和特征信息提取。其中，人脸检测是检测出人脸部分在人脸图像的位置，可以采用已训练好的人脸分类器进行检测。对图像进行光线补偿、灰度变换、直方图均衡化、归一化、几何校正、滤波以及锐化等处理，从而消除光照、噪声等的影响。特征信息提取指的对人脸进行特征建模的过程。人脸的特征信息提取通常包括基于知识的表征方法及基于代数特征或统计学习的表征方法两种提取方法。在本发明的具体实施例中，可采用基于知识的表征方法进行人脸特征信息提取。基于知识的特征表征方法主要是根据人脸器官的形状描述以及各器官之间的距离特性来获取有助于人脸分类的特征数据，其特征分量通常包括特征点间的欧氏距离、曲率和角度等。通过对人脸中眼睛、鼻子、嘴巴、下巴等器官的局部特征和各器官之间的结构关系的几何描述，即可提取到人脸特征信息，从而可以识别出相关图像中的人脸区域。

在另一些示例中，还可将自拍增加亮度固化为一种可选模式，用户可通过菜单等方式选择开启。

人脸区域的范围精度可稍差，保证红外图像中获取足够人脸区域的亮度信息即可，而自拍图像可依据视场关系确定重叠的区域即可。提取红外图像中相应区域的亮度信息并叠加至作为基础的自拍图像上，从而提高重叠区域的亮度，改善暗光条件下的自拍效果。

在某些示例中，可以理解，红外图像和自拍图像可能不是完全重叠的，会有一定的偏差，即人脸在红外图像中的成像位置和在自拍图像中的成像位置可能会不同，因此，在确定人脸在红外图像的位置后，需要利用相互标定关系确定人脸在自拍图像的对应位置。

本发明实施方式的电子装置包括壳体、处理器、存储器、电路板、电源电路、显示器、可见光摄像头、红外摄像头和红外光源。电路板安置在壳体围成的空间内部，处理器和存储器设置在电路板上。电源电路用于为电子装置的各个电路或器件供电。存储器用于存储可执行程序代码。处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序以实现上述的本发明任一实施方式的成像方法。在此过程中，处理器用于执行以下步骤：

在环境亮度小于或等于第一预定阈值时控制红外摄像头采集与自拍图像对应的红外图像；和

处理红外图像和自拍图像以利用红外图像增加自拍图像与红外图像重叠部分的亮度信息。

在某些实施方式中，处理器用于执行以下步骤：

控制可见光摄像头采集环境图像；

处理环境图像以得到环境亮度。

在某些实施方式中，处理器用于执行以下步骤：

判断环境亮度是否小于或等于第二预定阈值，第二预定阈值小于第一预定阈值；和

在环境亮度小于或等于第二预定阈值时，启动红外光源。

在某些实施方式中，处理器用于执行以下步骤：

识别自拍图像和所述红外图像中的人脸区域；

提取红外图像中的人脸区域的亮度信息；

所述处理红外图像和自拍图像以利用红外图像增加自拍图像与红外图像重叠部分的亮度信息的步骤包括：

利用红外图像增加自拍图像中的人脸区域的亮度信息。

需要说明的是，前述对成像方法和电子装置1000的解释说明也适用于本发明实施方式的电子装置，此处不再赘述。

本发明实施方式的计算机可读存储介质，具有存储于其中的指令，当电子装置的处理器执行指令时，电子装置执行本发明实施方式的成像方法，前述对成像方法和电子装置1000的解释说明也适用于本发明实施方式的计算机可读存储介质，此处不再赘述。

综上所述，本发明实施方式的电子装置和计算机可读存储介质，在暗光环境中进行自拍时，利用红外摄像头在红外波段成像，并与可见光摄像头的自拍图像进行合成提升了可将光摄像头在暗光环境下的拍摄效果。

在本发明的实施方式的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明的实施方式和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的实施方式的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本发明的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本发明的实施方式的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明的实施方式中的具体含义。

在本发明的实施方式中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。

上文的公开提供了许多不同的实施方式或例子用来实现本发明的实施方式的不同结构。为了简化本发明的实施方式的公开，上文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明的实施方式可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本发明的实施方式提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。

在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明的各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims

1.一种成像方法，用于电子装置，其特征在于，所述成像方法包括以下步骤：

2.如权利要求1所述的成像方法，其特征在于，所述判断环境亮度是否小于或等于第一预定阈值的步骤包括以下步骤：

控制所述可见光摄像头采集环境图像；

处理所述环境图像以得到所述环境亮度。

3.如权利要求1所述的成像方法，其特征在于，所述电子装置还包括用于辅助所述红外摄像头采集所述红外图像的红外光源，所述成像方法包括以下步骤：

判断所述环境亮度是否小于或等于第二预定阈值，所述第二预定阈值小于所述第一预定阈值；和

在所述环境亮度小于或等于第二预定阈值时，启动所述红外光源。

4.如权利要求1所述的成像方法，其特征在于，所述成像方法还包括：

识别所述自拍图像和所述红外图像中的人脸区域；

提取所述红外图像中的人脸区域的亮度信息；

所述处理所述红外图像和所述自拍图像以利用所述红外图像增加所述自拍图像与所述红外图像重叠部分的亮度信息的步骤包括：

利用所述红外图像增加所述自拍图像中的人脸区域的亮度信息。

5.一种电子装置，其特征在于，所述电子装置包括处理器，所述处理器用于：

6.如权利要求5所述的电子装置，其特征在于，所述电子装置包括外壳，所述外壳包括前表面，所述可见光摄像头和所述红外摄像头设置在所述外壳内并自所述前表面露出，所述红外摄像头与所述可见光摄像头至少部分视场重叠。

7.如权利要求5所述的电子装置，其特征在于，所述电子装置包括光线传感器，所述处理器用于读取所述光线传感器的输出以判断得到所述环境亮度。

8.如权利要求5所述的电子装置，其特征在于，所述可将光摄像头用于采集环境图像，所述处理器用于处理所述环境图像以得到所述环境亮度。

9.如权利要求5所述的电子装置，其特征在于，所述电子装置还包括用于辅助所述红外摄像头采集所述红外图像的红外光源，所述处理用于：

在所述环境亮度小于或等于第二预定阈值时控制所述红外光源启动。

10.如权利要求5所述的电子装置，其特征在于，所述处理器用于：

识别所述自拍图像和所述红外图像中的人脸区域；

提取所述红外图像中的人脸区域的亮度信息；和

11.一种电子装置，其特征在于，包括壳体、处理器、存储器、电路板、电源电路、显示器、可见光摄像头、红外摄像头和红外光源，其特征在于，所述电路板安置在所述壳体围成的空间内部，所述处理器和所述存储器设置在所述电路板上；所述电源电路，用于为所述电子装置的各个电路或器件供电；所述存储器用于存储可执行程序代码；所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1至4中任一项所述的成像方法。

12.一种计算机可读存储介质，具有存储于其中的指令，当电子装置的处理器执行所述指令时，所述电子装置执行权利要求1至4中任意一项所述的成像方法。