CN110798619A - 图像处理方法、装置和电子装置 - Google Patents

图像处理方法、装置和电子装置 Download PDF

Info

Publication number
CN110798619A
CN110798619A CN201911101745.6A CN201911101745A CN110798619A CN 110798619 A CN110798619 A CN 110798619A CN 201911101745 A CN201911101745 A CN 201911101745A CN 110798619 A CN110798619 A CN 110798619A
Authority
CN
China
Prior art keywords
image
light source
structured light
point set
source point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911101745.6A
Other languages
English (en)
Other versions
CN110798619B (zh
Inventor
吴安平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201911101745.6A priority Critical patent/CN110798619B/zh
Publication of CN110798619A publication Critical patent/CN110798619A/zh
Application granted granted Critical
Publication of CN110798619B publication Critical patent/CN110798619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/74Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/75Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种图像处理方法、装置和电子装置,该方法用于电子装置,所述电子装置包括结构光发射器和图像采集器,其中,方法包括:按照从第一区域向所述第一区域四周延伸的方向,连续从所述结构光发射器中的光源阵列中选取一个光源点集合;其中,所述第一区域位于所述光源阵列的中心位置;开启所述光源点集合;通过所述光源点集合向当前用户投射结构光并在投射完所述结构光之后关闭所述光源点集合;控制图像采集器拍摄每次经所述当前用户调制的结构光图像并进行图像叠加,得到目标图像。通过本方法,能够降低移动终端进行拍摄时的瞬时功耗,解决现有技术中瞬时功耗大的技术问题。

Description

图像处理方法、装置和电子装置
技术领域
本发明涉及移动终端技术领域,尤其涉及一种图像处理方法、装置和电子装置。
背景技术
随着移动终端技术的发展,结构光技术逐渐被应用于移动终端中。然而,现有的采用结构光技术进行拍照的移动终端,在进行拍照时,结构光的所有光源点被同时投射至拍摄对象上,导致移动终端的瞬时功耗较大,发热现象明显。
发明内容
本发明的实施例提供了一种图像处理方法、装置和电子装置,以降低移动终端进行拍摄时的瞬时功耗,解决现有技术中瞬时功耗大的技术问题。
本发明实施方式的图像处理方法用于电子装置,所述电子装置包括结构光发射器和图像采集器,所述图像处理方法包括:
按照从第一区域向所述第一区域四周延伸的方向,连续从所述结构光发射器中的光源阵列中选取一个光源点集合;其中,所述第一区域位于所述光源阵列的中心位置;
开启所述光源点集合;
通过所述光源点集合向当前用户投射结构光并在投射完所述结构光之后关闭所述光源点集合;
控制图像采集器拍摄每次经所述当前用户调制的结构光图像并进行图像叠加,得到目标图像。
本发明实施方式的图像处理装置,用于电子装置,所述图像处理装置包括:
结构光发射器,用于向当前用户发射结构光;
图像采集器,用于拍摄经所述当前用户调制的结构光图像;
处理器,所述处理器用于:
按照从第一区域向所述第一区域四周延伸的方向,连续从所述结构光发射器中的光源阵列中选取一个光源点集合;其中,所述第一区域位于所述光源阵列的中心位置;
开启所述光源点集合;
通过所述光源点集合向当前用户投射结构光并在投射完所述结构光之后关闭所述光源点集合;
控制图像采集器拍摄每次经所述当前用户调制的结构光图像并进行图像叠加,得到目标图像。
本发明实施方式的电子装置包括:一个或多个处理器、存储器和一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行上述实施方式所述的图像处理方法的指令。
本发明实施方式的计算机可读存储介质,包括与能够摄像的电子装置结合使用的计算机程序,所述计算机程序可被处理器执行以完成上述实施方式所述的图像处理方法。
本发明实施方式的图像处理方法、装置和电子装置,通过按照从第一区域向第一区域四周延伸的方向,连续从结构光发射器中的光源阵列中选取一个光源点集合,开启光源点集合,通过光源点集合向当前用户投射结构光并在投射完结构光之后关闭光源点集合,控制图像采集器拍摄每次经当前用户调制的结构光图像并进行图像叠加,得到目标图像。由于在拍摄过程中按照从中间向四周方向延伸的方式选取光源点集合并开启光源点进行拍摄,在拍摄时可以控制结构光发射器每次仅投射较少数量的结构光,并可以分为多次进行投射。由于每次仅投射较少数量的结构光能够有效降低拍摄时的瞬时功耗,有利于散热,避免移动终端出现明显的发热现象,解决现有技术中开启所有光源点投射结构光导致移动终端的瞬时功耗较大的技术问题。进一步地,由于通过多次投射的方式可以覆盖到所有光源点,能够使得拍摄对象的成像完整,保证成像质量。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明一实施例提出的图像处理方法的流程示意图;
图2为均匀排布的光源点阵组成的光源阵列示意图;
图3为本发明另一实施例提出的图像处理方法的流程示意图;
图4为本发明一实施例提出的图像处理装置的结构示意图;
图5为本发明一实施例提出的电子装置的结构示意图;以及
图6为本发明一实施例提出的终端中的图像处理电路的结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的图像处理方法、装置和电子装置。
图1为本发明一实施例提出的图像处理方法的流程示意图,该方法可以用于电子装置中,该电子装置可以是手机、平板电脑等移动终端。该电子装置包括结构光发射器和图像采集器,其中,结构光发射器用于向拍摄对象投射结构光,图像采集器用于拍摄经拍摄对象调制后的结构光图像。
如图1所示,该图像处理方法包括以下步骤:
步骤101,按照从第一区域向第一区域四周延伸的方向,连续从结构光发射器中的光源阵列中选取一个光源点集合。
其中,第一区域位于光源阵列的中心位置。
目前,随着移动终端技术的发展,移动终端的功能也越来越丰富,人脸识别功能逐渐成为移动终端的标准配置。比如,越来越多的移动终端支持人脸解锁、人脸支付等。当用户使用需要进行人脸识别的相关功能时,相关功能开启后,移动终端调用内置的摄像头进行图像采集,以获取包含人脸的图像。
在实际拍照时,用户通常喜欢将被拍摄对象的最关键部分显示在图像的中间位置,也就是说,在拍照时,摄像头的中间位置一般对准被拍摄对象的关键部分。比如,用户在自拍时,用户的人脸图像通常显示在移动终端的屏幕中间。因此,在拍摄照片时,尤其是在使用人脸解锁、人脸支付等功能采集当前用户的人脸图像时,可以控制摄像头优先采集被拍摄对象最关键部位的图像。
从而,本实施例中,可以将结构光发射器中光源阵列的中心位置所包含的光源点所在的区域设置为第一区域,进而从第一区域开始,按照从第一区域向第一区域四周延伸的方向,连续从结构光发射器中的光源阵列中选取一个光源点集合。
图2为均匀排布的光源点阵组成的光源阵列示意图,为便于理解,下面以如图2所示的光源阵列为例进行解释说明。图2中所示的光源阵列由8*8个光源点组成,假设该光源阵列中的每一列按照从左至右的顺序进行编号,依次为第1列、第2列、…,第8列;该光源阵列中的每一行按照从上到下的顺序进行编号,依次为第1行、第2行、…,第8行,如图2所示,并且假设图2中所示的区域21为第一区域,即第一区域包含4个光源点,分别为第4行中第4列、第5列的两个光源点,以及第5行中第4列、第5列的两个光源点。
应当理解的是,实际应用中,光源阵列可以由圆形斑纹、十字斑纹等类型的光源点组成,且光源阵列的大小要比图2中所示的光源阵列的大小大得多,图2所示的光源阵列仅作为示例,而不能作为对本发明的限制。
作为一种示例,在选取光源点集合时,每次选取的光源点集合均可以包含第一区域在内。以图2所示的光源阵列为例,第一次选取的光源点集合可以为第一区域所包含的光源点,即图2中区域21内的光源点;第二次选取的光源点集合包含第一次选取的光源点集合在内,比如第二次选取的光源点集合可以为图2中区域22内包含的光源点组成的集合;第三次选取的光源点集合包含第二次选取的光源点集合在内,比如第三次选取的光源点集合可以为图2中区域23内包含的光源点组成的集合;以此类推。
作为另一种示例,在选取光源点集合时,除第一次选取的光源点集合中包含第一区域之外,之后每次选取的光源点集合均不包含第一区域内的光源点。仍以图2所示的光源阵列为例,第一次选取的光源点集合可以为第一区域所包含的光源点,即图2中区域21内的光源点;第二次选取的光源点集合中不包含第一次选取的光源点集合中的光源点,比如,第二次选取的光源点集合可以为区域21与区域22之间的环形区域内的光源点组成的集合;第三次选取的光源点集合中不包含前两次选取的光源点集合中的光源点,比如,第三次选取的光源点集合可以为区域22与区域23之间的环形区域内的光源点组成的集合;以此类推。
此处需要说明的是,第一次选取的光源点集合可以不只包含第一区域内的光源点,还可以包含第一区域四周的光源点,比如,可以将图2中的区域22内包含的光源点组成第一次选取的光源点集合。上述举例仅作为示例,不能作为对本发明的限制。
步骤102,开启光源点集合。
本实施例中,从结构光发射器的光源阵列中选定光源点集合之后,可以控制结构光发射器开启所选定的光源点集合内的所有光源点。
步骤103,通过光源点集合向当前用户投射结构光并在投射完结构光之后关闭光源点集合。
针对每次开启的光源点集合,电子装置可以控制结构光发射器通过当前开启的光源点集合向当前用户投射结构光,并在结构光发射器投射完结构光之后,关闭当前开启的光源点集合内的光源点。
步骤104,控制图像采集器拍摄每次经当前用户调制的结构光图像并进行图像叠加,得到目标图像。
本实施例中,当前开启的光源点集合内的所有光源点向当前用户投射完结构光之后,结构光到达当前用户,并在到达当前用户后因当前用户的调制而发生变化,此时,电子装置控制图像采集器拍摄经当前用户调制的结构光图像。结构光发射器每次通过此次开启的光源点集合投射完结构光之后,图像采集器拍摄对应的结构光图像,并将所得的结构光图像进行图像叠加,得到目标图像。
本实施例的图像处理方法,通过按照从第一区域向第一区域四周延伸的方向,连续从结构光发射器中的光源阵列中选取一个光源点集合,开启光源点集合,通过光源点集合向当前用户投射结构光并在投射完结构光之后关闭光源点集合,控制图像采集器拍摄每次经当前用户调制的结构光图像并进行图像叠加,得到目标图像。由于在拍摄过程中按照从中间向四周方向延伸的方式选取光源点集合并开启光源点进行拍摄,在拍摄时可以控制结构光发射器每次仅投射较少数量的结构光,并可以分为多次进行投射。由于每次仅投射较少数量的结构光能够有效降低拍摄时的瞬时功耗,有利于散热,避免移动终端出现明显的发热现象,解决现有技术中开启所有光源点投射结构光导致移动终端的瞬时功耗较大的技术问题。进一步地,由于通过多次投射的方式可以覆盖到所有光源点,能够使得拍摄对象的成像完整,保证成像质量。
为了更加清楚地说明上一实施例,本发明实施例提出了另一种图像处理方法,图3为本发明另一实施例提出的图像处理方法的流程示意图。
如图3所示,该图像处理方法可以包括以下步骤:
步骤201,将第一区域内的光源点选取为光源点集合。
由于在拍摄时,摄像头的中间区域一般对准被拍摄对象的关键部分,因此在拍摄时,可以控制图像采集器先采集关键部分的图像。从而,本实施例中,在拍摄结构光图像时,可以先控制结构光发射器中光源阵列的中心位置的光源点向当前用户投射结构光,以优先获取关键部分的结构光图像。
本实施例中,可以预先设置光源阵列中心位置的光源点所在的区域作为第一区域,在拍摄时,可以将第一区域内的光源点选取为光源点集合。本发明对第一区域的大小不作限定,比如图2中所示的光源阵列中的区域21可以作为第一区域,区域22也可以作为第一区域。
步骤202,开启光源点集合。
步骤203,通过光源点集合向当前用户投射结构光并在投射完结构光之后关闭光源点集合。
本实施例中,每次选定了光源点集合之后,电子装置可以控制开启所选定的光源点集合中的光源点,并通过开启的光源点集合向当前用户投射结构光。在所开启的光源点集合内的所有光源点均投射完结构光之后,电子装置控制光源点集合内的光源点关闭。
步骤204,在第一区域对应的光源点集合投射完结构光之后,按照从第一区域向第一区域四周延伸的方向,从第一区域的边界开始,根据预设的距离间隔确定下一区域的边界。
针对第一次选取的光源点集合,在第一区域对应的光源点集合投射完结构光之后,在控制图像采集器拍摄经当前用户调制的结构光图像时,还可以按照从第一区域向第一区域四周延伸的方向,从第一区域的边界开始,根据预设的距离确定下一区域的边界。
其中,预设的距离可以是预定数量的光源点的间隔,比如以两个光源点之间的距离作为预设的距离,以两个光源点之间的距离作为预设的距离等。
以图2所示的光源阵列为例,第一次选取的光源点集合为第一区域,在第一区域(图2中的区域21)内的光源点投射完结构光之后,可以以同一行中两个相邻光源点之间的间隔作为预设的距离来确定下一区域的边界,此时,可以确定第一区域之后下一区域的边界为区域22的边界,再下一区域的边界为区域23的边界。或者,也可以以同一行中相邻三个光源点之间的间隔作为预设的距离来确定下一区域的边界,此时,可以确定第一区域之后下一区域的边界为区域23的边界。
步骤205,从第一次拍摄到结构光图像开始,将当前拍摄到的结构光图像与上一次得到的结构光图像进行图像叠加,得到第一图像。
当第一次选定并开启光源点集合时,在光源点集合内的所有光源点均投射完结构光之后,电子装置控制图像采集器进行拍摄,得到第一张结构光图像,由于当前拍摄为第一次拍摄,之前没有结构光图像能够与第一张结构光图像进行叠加,则第一张结构光图像即可作为第一次拍摄后所得的第一图像。
当第二次选定光源点集合并开启光源点集合内的所有光源点时,在光源点集合内的所有光源点均投射完结构光之后,电子装置控制图像采集器进行第二次拍摄,得到第二张结构光图像,并将第二张结构光图像与第一张结构光图像进行图像叠加,得到叠加后的结构光图像,并将叠加后的结构光图像作为第一图像。
当第三次选定光源点集合并开启光源点集合内的所有光源点时,在光源点集合内的所有光源点均投射完结构光之后,电子装置控制图像采集器进行第三次拍摄,得到第三张结构光图像,并将当前拍摄到的第三张结构光图像与第二次拍摄完成后所得的叠加后的结构光图像进行图像叠加,得到叠加后的结构光图像并作为第一图像。也就是说,在第三次拍摄完成后得到的第一图像中,包含了第一张结构光图像、第二张结构光图像和第三张结构光图像。
以此类推,直至拍摄结束。
概括地说,本实施例中,除了第一次拍摄所得的结构光图像外,后续拍摄过程中所得的第一图像中,包含了此次拍摄所得的结构光图像以及之前每次拍摄所得的结构光图像。
步骤206,判断从第一图像中是否可提取出完整的人脸图像。
本实施例中,针对每次开启光源点集合,并通过当前开启的光源点集合内的所有光源点向当前用户投射结构光,在完成当前拍摄并得到第一图像后,可以进一步判断是否能够从所得的第一图像中提取出完整的人脸图像。
具体地,在判断时,可以先从第一图像中提取出包括面部特征的第二图像,其中,面部特征可以包括眉毛、眼睛、鼻子、嘴巴和耳朵等。比如,可以采用相关的人脸识别技术,从第一图像中提取出第二图像。将所提取的第二图像与存储在电子装置上的授权人脸图像进行匹配,其中,授权人脸图像可以是一个或多个图像,可以是一个授权用户的多个不同的图像,也可以是多个不同的授权用户的多个图像,授权人脸图像可以预先存储于电子装置的存储器中。
在将所提取的第二图像与授权人脸图像进行匹配时,可以先从第二图像中提取出当前用户的面部器官的特征,进而将提取出的面部器官的特征与授权人脸图像中的面部器官的特征进行对比,当提取出的每个面部器官的特征与其中至少一个授权人脸图像中对应的面部器官的特征均一致时,则将其中至少一个授权人脸图像作为目标授权人脸图像。
当从电子装置中存储的授权人脸图像中匹配到目标授权人脸图像时,则判定从第一图像中提取出完整的人脸图像,进而执行步骤208;当从电子装置中存储的授权人脸图像中未匹配到目标授权人脸图像时,则判定不能从第一图像中提取出完整的人脸图像,则执行步骤207,继续选定光源点集合并拍摄新的结构光图像。
进一步地,在本发明实施例一种可能的实现方式中,当电子装置当前处于锁定状态时,在匹配到目标授权人脸图像之后,还可以解锁电子装置。
由于第二图像与授权人脸图像匹配识别时,存在第二图像不完整,以及第二图像完整但不是授权用户的人脸图像两种情况,从而,在本发明实施例一种可能的实现方式中,从第二图像中提取出面部器官的特征之后,可以先判断所提取的面部器官的特征是否完整,即从第二图像中提取出的面部器官的特征是否能够完整地表示当前用户的面部器官,若提取的面部器官的特征不完整,则执行步骤207;若提取的面部器官的特征完整,则进一步将所提取的面部器官的特征与存储在电子装置上的授权人脸图像中的面部器官的特征进行匹配,并在匹配通过后,执行步骤208;若匹配未通过,则执行步骤209并结束拍摄,此时,若电子装置处于锁定状态,则保持锁定状态,若电子装置的人脸支付功能被启用,则拒绝支付。
步骤207,逐步选取两个相邻区域的边界之间的光源点作为光源点集合。
比如,以图2为例,当以同一行中两个相邻光源点之间的间隔作为预设的距离来确定下一区域的边界时,可以选取区域21的边界和区域22的边界之间的光源点作为光源点集合,此时,该光源点集合中包含12个光源点;当以同一行中相邻三个光源点之间的间隔作为预设的距离来确定下一区域的边界时,可以选取区域21的边界和区域23的边界之间的光源点作为光源点集合,此时,该光源点集合中包含32个光源点。
选定了下一个光源点集合之后,可以返回执行步骤202,以开始该光源点集合,并通过该光源点集合中的光源点向当前用户投射结构光,以使图像采集器能够获得新的第一图像。
此处需要说明的是,在第二次及其之后每次选定光源点集合执行步骤202和203之后,仅执行步骤205及其后续步骤,而不在执行步骤204。
步骤208,将第一图像作为目标图像。
本实施例中,当匹配到目标授权人脸图像时,判定从第一图像中提取出完整的人脸图像,此时,将第一图像作为目标图像。
步骤209,控制结构光发射器停止结构光的发射。
为了进一步降低电子装置的功耗,本实施例中,在判定从第一图像中提取出完整的人脸图像之后,电子装置可以控制结构光发射器停止结构光的发射。
本实施例的图像处理方法,通过按照从中间向四周方向延伸的方式,从第一区域的边界开始,根据预设的距离间隔确定下一区域的边界,逐步选取两个相邻区域的边界之间的光源点作为光源点集合,在拍摄过程中,连续选取光源点集合并开启光源点进行拍摄,在拍摄时可以控制结构光发射器每次仅投射较少数量的结构光,并可以分为多次进行投射,能够有效降低拍摄时的瞬时功耗,有利于散热,避免移动终端出现明显的发热现象。通过对每次拍摄的图像进行叠加得到第一图像,并判断第一图像中是否可提取出完整的人脸图像,并在提取出完整的人脸图像时,将第一图像作为目标图像,并控制结构光发射器停止结构光的发射,从而能够减少结构光的投射数量,降低电子装置的功耗。
为了实现上述实施例,本发明还提出一种图像处理装置。
图4为本发明一实施例提出的图像处理装置的结构示意图,该图像处理装置用于电子装置中,该电子装置可以是手机、平板电脑等移动终端。
如图4所示,该图像处理装置40包括:结构光发射器410、图像采集器420,以及处理器430。其中,
结构光发射器410,用于向当前用户发射结构光。
图像采集器420,用于拍摄经当前用户调制的结构光图像。
处理器430,处理器430用于:
按照从第一区域向第一区域四周延伸的方向,连续从结构光发射器410中的光源阵列中选取一个光源点集合;其中,第一区域位于光源阵列的中心位置;
开启光源点集合;
通过光源点集合向当前用户投射结构光并在投射完结构光之后关闭光源点集合;
控制图像采集器420拍摄每次经当前用户调制的结构光图像并进行图像叠加,得到目标图像。
具体地,处理器430选取光源点集合的过程可以包括:将第一区域内的光源点选取为光源点集合;在第一区域对应的光源点集合投射完结构光之后,按照从第一区域向第一区域四周延伸的方向,从第一区域的边界开始,根据预设的距离间隔确定下一区域的边界;逐步选取两个相邻区域的边界之间的光源点作为光源点集合。
处理器430控制图像采集器420拍摄每次经当前用户调制的结构光图像并进行图像叠加,得到目标图像时,可以从第一次拍摄到结构光图像开始,将当前拍摄到的结构光图像与上一次得到的结构光图像进行图像叠加,得到第一图像,进而判断从第一图像中是否可提取出完整的人脸图像,并在能够提取出完整的人脸图像时,将第一图像作为目标图像。进一步地,在得到目标图像后,可以控制结构光发射器410停止结构光的发射。
具体地,处理器430判断从第一图像中是否可提取出完整的人脸图像的过程可以包括:从第一图像中提取包括面部特征的第二图像,将第二图像与存储在电子装置上的授权人脸图像进行匹配,如果匹配到目标授权人脸图像,则判定从第一图像中提取出完整的人脸图像。
进一步地,处理器430可以从第二图像中提取面部器官的特征;将提取出的面部器官的特征与授权人脸图像中的面部器官的特征进行对比;当提取出的每个面部器官的特征与其中一个授权人脸图像中对应的面部器官的特征均一致时,则将其中一个授权人脸图像作为目标授权人脸图像。
当电子装置当前处于锁定状态时,在匹配到目标授权人脸图像后,则解锁电子装置。
需要说明的是,前述对图像处理方法实施例的解释说明也适用于该实施例的图像处理装置,其实现原理类似,此处不再赘述。
本实施例的图像处理装置,通过按照从第一区域向第一区域四周延伸的方向,连续从结构光发射器中的光源阵列中选取一个光源点集合,开启光源点集合,通过光源点集合向当前用户投射结构光并在投射完结构光之后关闭光源点集合,控制图像采集器拍摄每次经当前用户调制的结构光图像并进行图像叠加,得到目标图像。由于在拍摄过程中按照从中间向四周方向延伸的方式选取光源点集合并开启光源点进行拍摄,在拍摄时可以控制结构光发射器每次仅投射较少数量的结构光,并可以分为多次进行投射。由于每次仅投射较少数量的结构光能够有效降低拍摄时的瞬时功耗,有利于散热,避免移动终端出现明显的发热现象,解决现有技术中开启所有光源点投射结构光导致移动终端的瞬时功耗较大的技术问题。进一步地,由于通过多次投射的方式可以覆盖到所有光源点,能够使得拍摄对象的成像完整,保证成像质量。
为了实现上述实施例,本发明还提出一种电子装置。
图5为本发明一实施例提出的电子装置的结构示意图。如图5所示,该电子装置50包括:一个或多个处理器501、存储器502和一个或多个程序503。其中,一个或多个程序503被存储在存储器502中,并且被配置成由一个或多个处理器501执行,程序503包括用于执行前述任一实施例所述的图像处理方法的指令。
本发明实施例还提出一种终端,包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义ISP(Image Signal Processing,图像信号处理)管线的各种处理单元。图6为本发明一实施例提出的终端中的图像处理电路的结构示意图。为便于说明,如图6所示,仅示出与本发明实施例相关的图像处理技术的各个方面。
如图6所示,图像处理电路110包括成像设备1110、ISP处理器1130和控制逻辑器1140。成像设备1110可包括具有一个或多个透镜1112、图像传感器1114的照相机和结构光发射器1116。结构光发射器1116将结构光投影至被测物。其中,该结构光图案可为激光条纹、格雷码、正弦条纹、或者,随机排列的散斑图案等。图像传感器1114捕捉投影至被测物形成的结构光图像,并将结构光图像发送至ISP处理器1130,由ISP处理器1130对结构光图像进行图像叠加得到目标图像。同时,图像传感器1114也可以捕捉被测物的色彩信息。当然,也可以由两个图像传感器1114分别捕捉被测物的结构光图像和色彩信息。
在ISP处理器1130接收到图像传感器1114捕捉到的被测物的色彩信息之后,可被测物的色彩信息对应的图像数据进行处理。ISP处理器1130对图像数据进行分析以获取可用于确定成像设备1110的一个或多个控制参数的图像统计信息。图像传感器1114可包括色彩滤镜阵列(如Bayer滤镜),图像传感器1114可获取用图像传感器1114的每个成像像素捕捉的光强度和波长信息,并提供可由ISP处理器1130处理的一组原始图像数据。
ISP处理器1130按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,ISP处理器1130可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的图像统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。
ISP处理器1130还可从图像存储器1120接收像素数据。图像存储器1120可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(DirectMemory Access,直接存储器存取)特征。
当接收到原始图像数据时,ISP处理器1130可进行一个或多个图像处理操作。
目标图像的图像数据可发送给图像存储器1120,以便在被显示之前进行另外的处理。ISP处理器1130从图像存储器1120接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。三维图像的图像数据可输出给显示器1160,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,ISP处理器1130的输出还可发送给图像存储器1120,且显示器1160可从图像存储器1120读取图像数据。在一个实施例中,图像存储器1120可被配置为实现一个或多个帧缓冲器。此外,ISP处理器1130的输出可发送给编码器/解码器1150,以便编码/解码图像数据。编码的图像数据可被保存,并在显示于显示器1160设备上之前解压缩。编码器/解码器1150可由CPU或GPU或协处理器实现。
ISP处理器1130确定的图像统计信息可发送给控制逻辑器1140单元。控制逻辑器1140可包括执行一个或多个例程(如固件)的处理器和/或微控制器,一个或多个例程可根据接收的图像统计信息,确定成像设备1110的控制参数。
运用图6中的图像处理技术,能够实现上述图像处理方法。
为了实现上述实施例,本发明还提出一种计算机可读存储介质,包括与能够摄像的电子装置50结合使用的计算机程序,所述计算机程序可被处理器501执行以完成前述任一实施例所述的图像处理方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (9)

1.一种图像处理方法,用于电子装置,其特征在于,所述电子装置包括结构光发射器和图像采集器,所述方法包括:
将所述结构光发射器中的光源阵列划分为多个区域;
从光源阵列的中心区域开始,连续地从所述多个区域中选取一个光源点集合,并开启所述光源点集合,其中,当前选取的光源点集合中不包含所述中心区域中的光源点;
通过所述光源点集合向当前用户投射结构光并在投射完所述结构光之后关闭所述光源点集合;
控制图像采集器拍摄每次经所述当前用户调制的结构光图像并进行图像叠加,得到目标图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述控制图像采集器拍摄每次经所述当前用户调制的结构光图像并进行图像叠加,得到目标图像,包括:
从第一次拍摄到结构光图像开始,将当前拍摄到的所述结构光图像与上一次得到的结构光图像进行图像叠加,得到第一图像;
判断从所述第一图像中是否可提取出完整的人脸图像;
如果提取出完整的所述人脸图像,则将所述第一图像作为所述目标图像。
3.根据权利要求2所述的图像处理方法,其特征在于,所述判断从所述第一图像中是否可提取出完整的人脸图像,包括:
从所述第一图像中提取包括面部特征的第二图像;
将所述第二图像与存储在所述电子装置上的授权人脸图像进行匹配;
如果匹配到目标授权人脸图像,则判定从所述第一图像中提取出完整的所述人脸图像。
4.根据权利要求3所述的图像处理方法,其特征在于,所述将所述第二图像与存储在所述电子装置上的授权人脸图像进行匹配,包括:
从所述第二图像中提取面部器官的特征;
将提取出的面部器官的特征与所述授权人脸图像中的面部器官的特征进行对比;
当所述提取出的每个面部器官的特征与其中一个所述授权人脸图像中对应的面部器官的特征均一致时,则将所述其中一个所述授权人脸图像作为所述目标授权人脸图像。
5.根据权利要求3或4所述的图像处理方法,其特征在于,还包括:
当所述电子装置当前处于锁定状态时,在匹配到所述目标授权人脸图像后,则解锁所述电子装置。
6.根据权利要求3或4所述的图像处理方法,其特征在于,所述如果提取出完整的所述人脸图像,则将所述第一图像作为所述目标图像之后,还包括:
控制所述结构光发射器停止所述结构光的发射。
7.一种图像处理装置,用于电子装置,其特征在于,包括:
结构光发射器,用于向当前用户发射结构光;
图像采集器,用于拍摄经所述当前用户调制的结构光图像;
处理器,所述处理器用于:
将所述结构光发射器中的光源阵列划分为多个区域;
从光源阵列的中心区域开始,连续地从所述多个区域中选取一个光源点集合,并开启所述光源点集合,其中,当前选取的光源点集合中不包含所述中心区域中的光源点;
通过所述光源点集合向当前用户投射结构光并在投射完所述结构光之后关闭所述光源点集合;
控制图像采集器拍摄每次经所述当前用户调制的结构光图像并进行图像叠加,得到目标图像。
8.一种电子装置,其特征在于,所述电子装置包括:
一个或多个处理器;
存储器;和
一个或多个程序,其中所述一个或多个程序被存储在所述存储器中,并且被配置成由所述一个或多个处理器执行,所述程序包括用于执行权利要求1至6任意一项所述的图像处理方法的指令。
9.一种计算机可读存储介质,其特征在于,包括与能够摄像的电子装置结合使用的计算机程序,所述计算机程序可被处理器执行以完成权利要求1至6任意一项所述的图像处理方法。
CN201911101745.6A 2017-10-27 2017-10-27 图像处理方法、装置和电子装置 Active CN110798619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911101745.6A CN110798619B (zh) 2017-10-27 2017-10-27 图像处理方法、装置和电子装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711021392.XA CN107800962B (zh) 2017-10-27 2017-10-27 图像处理方法、装置和电子装置
CN201911101745.6A CN110798619B (zh) 2017-10-27 2017-10-27 图像处理方法、装置和电子装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201711021392.XA Division CN107800962B (zh) 2017-10-27 2017-10-27 图像处理方法、装置和电子装置

Publications (2)

Publication Number Publication Date
CN110798619A true CN110798619A (zh) 2020-02-14
CN110798619B CN110798619B (zh) 2021-04-16

Family

ID=61547961

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911101745.6A Active CN110798619B (zh) 2017-10-27 2017-10-27 图像处理方法、装置和电子装置
CN201711021392.XA Expired - Fee Related CN107800962B (zh) 2017-10-27 2017-10-27 图像处理方法、装置和电子装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201711021392.XA Expired - Fee Related CN107800962B (zh) 2017-10-27 2017-10-27 图像处理方法、装置和电子装置

Country Status (1)

Country Link
CN (2) CN110798619B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327836A (zh) * 2020-03-20 2020-06-23 合肥埃科光电科技有限公司 一种相机曝光处理方法及系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019080934A1 (zh) * 2017-10-27 2019-05-02 Oppo广东移动通信有限公司 图像处理方法、装置和电子装置
CN109005370B (zh) * 2018-07-27 2020-07-03 Oppo广东移动通信有限公司 结构光投射器的控制系统和电子装置
WO2020019704A1 (zh) 2018-07-27 2020-01-30 Oppo广东移动通信有限公司 结构光投射器的控制系统和电子装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110122288A1 (en) * 2007-04-13 2011-05-26 Canon Kabushiki Kaisha Optical apparatus having control unit configured to reduce noise in captured image
CN102221553A (zh) * 2011-03-25 2011-10-19 上海交通大学 基于结构光的铁路扣件高速探测系统与方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102760234B (zh) * 2011-04-14 2014-08-20 财团法人工业技术研究院 深度图像采集装置、系统及其方法
CN102780845A (zh) * 2012-06-14 2012-11-14 清华大学 一种光源交替频闪同步摄像方法及视觉检测系统
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
JP6351302B2 (ja) * 2014-02-27 2018-07-04 キヤノン株式会社 撮像装置、撮像システム、発光装置及び焦点検出方法
CN106900039A (zh) * 2017-02-24 2017-06-27 惠州市友联兴电子科技有限公司 一种手机显示屏背光分区点亮方法及装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110122288A1 (en) * 2007-04-13 2011-05-26 Canon Kabushiki Kaisha Optical apparatus having control unit configured to reduce noise in captured image
CN102221553A (zh) * 2011-03-25 2011-10-19 上海交通大学 基于结构光的铁路扣件高速探测系统与方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111327836A (zh) * 2020-03-20 2020-06-23 合肥埃科光电科技有限公司 一种相机曝光处理方法及系统
CN111327836B (zh) * 2020-03-20 2021-06-25 合肥埃科光电科技有限公司 一种相机曝光处理方法及系统
US11917302B2 (en) 2020-03-20 2024-02-27 Hefei I-Tek Optoelectronics Co., Ltd. Camera exposure processing method and system

Also Published As

Publication number Publication date
CN110798619B (zh) 2021-04-16
CN107800962B (zh) 2019-12-10
CN107800962A (zh) 2018-03-13

Similar Documents

Publication Publication Date Title
US10997696B2 (en) Image processing method, apparatus and device
CN110798619B (zh) 图像处理方法、装置和电子装置
CN111161205B (zh) 一种图像处理和人脸图像识别方法、装置及设备
CN109376592B (zh) 活体检测方法、装置和计算机可读存储介质
CN107563304B (zh) 终端设备解锁方法及装置、终端设备
CN107370958B (zh) 图像虚化处理方法、装置及拍摄终端
WO2018201809A1 (zh) 基于双摄像头的图像处理装置及方法
CN107945135B (zh) 图像处理方法、装置、存储介质和电子设备
US11503228B2 (en) Image processing method, image processing apparatus and computer readable storage medium
CN107370951B (zh) 图像处理系统及方法
CN108111749B (zh) 图像处理方法和装置
CN107820005B (zh) 图像处理方法、装置和电子装置
CN109360254B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP2003083730A (ja) 3次元情報取得装置、3次元情報取得における投影パターン、及び、3次元情報取得方法
CN107864337A (zh) 素描图像处理方法、装置及设备
WO2016008356A1 (zh) 星轨拍摄的方法、物体运动轨迹的拍摄方法和移动终端
CN107480615B (zh) 美颜处理方法、装置及移动设备
WO2015196896A1 (zh) 对焦状态的提示方法和拍摄装置
CN108600740A (zh) 光学元件检测方法、装置、电子设备和存储介质
US10121067B2 (en) Image processing apparatus that determines processing target area of an image based on degree of saliency, image processing method, and storage medium
US11315268B2 (en) Image processing methods, image processing apparatuses and electronic devices
CN109325905B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
JP2007312206A (ja) 撮像装置及び、画像再生装置
CN107370952B (zh) 图像拍摄方法和装置
CN108760245A (zh) 光学元件检测方法和装置、电子设备、可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant