CN109639896A - 遮挡物检测方法、装置、存储介质及移动终端 - Google Patents

遮挡物检测方法、装置、存储介质及移动终端 Download PDF

Info

Publication number
CN109639896A
CN109639896A CN201811556947.5A CN201811556947A CN109639896A CN 109639896 A CN109639896 A CN 109639896A CN 201811556947 A CN201811556947 A CN 201811556947A CN 109639896 A CN109639896 A CN 109639896A
Authority
CN
China
Prior art keywords
depth
mobile terminal
view information
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811556947.5A
Other languages
English (en)
Inventor
李亚乾
刘耀勇
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811556947.5A priority Critical patent/CN109639896A/zh
Publication of CN109639896A publication Critical patent/CN109639896A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation

Abstract

本申请实施例公开了遮挡物检测方法、装置、存储介质及移动终端。该方法应用于配置有至少两个摄像头的移动终端中,至少两个摄像头位于移动终端的同侧,包括:在拍照预览模式下,通过至少两个摄像头获取深度图像,获取深度图像的景深信息,在景深信息满足预设要求时,确定存在遮挡物。本申请实施例通过采用上述技术方案,可以在配置有多摄像头的移动终端拍照过程中,利用深度图像的景深信息快速准确地判断是否存在遮挡物,以便移动终端采取相应的措施,有利于改善拍照效果。

Description

遮挡物检测方法、装置、存储介质及移动终端
技术领域
本申请实施例涉及移动终端技术领域,尤其涉及遮挡物检测方法、装置、存储介质及移动终端。
背景技术
目前,拍摄功能已成为多数移动终端的标准配置,终端用户可通过随身携带的移动终端随时记录身边的美好瞬间。
用户在使用移动终端进行拍照的过程中,手指等物体可能会对摄像头产生遮挡,若用户未能及时发现,就会影响照片拍摄效果。因此,现有的移动终端拍照方案需要改进。
发明内容
本申请实施例提供了遮挡物检测方法、装置、存储介质及移动终端,可以在移动终端拍照过程中实现遮挡物的检测。
第一方面,本申请实施例提供了一种遮挡物检测方法,应用于配置有至少两个摄像头的移动终端中,所述至少两个摄像头位于所述移动终端的同侧,所述方法包括:
在拍照预览模式下,通过所述至少两个摄像头获取深度图像;
获取所述深度图像的景深信息;
在所述景深信息满足预设要求时,确定存在遮挡物。
第二方面,本申请实施例提供了一种遮挡物检测装置,集成于配置有至少两个摄像头的移动终端中,所述至少两个摄像头位于所述移动终端的同侧,所述装置包括:
深度图像获取模块,用于在拍照预览模式下,通过所述至少两个摄像头获取深度图像;
景深信息获取模块,用于获取所述深度图像的景深信息;
遮挡物确定模块,用于在所述景深信息满足预设要求时,确定存在遮挡物。
第三方面,本申请实施例提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请实施例所述的遮挡物检测方法。
第四方面,本申请实施例提供了一种移动终端,包括至少两个摄像头,存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例所述的遮挡物检测方法,其中,所述至少两个摄像头位于所述移动终端的同侧。
本申请实施例中提供的遮挡物检测方案,在拍照预览模式下,通过位于移动终端同侧的至少两个摄像头获取深度图像,获取深度图像的景深信息,在景深信息满足预设要求时,确定存在遮挡物。通过采用上述技术方案,可以在配置有多摄像头的移动终端拍照过程中,利用深度图像的景深信息快速准确地判断是否存在遮挡物,以便移动终端采取相应的措施,有利于改善拍照效果。
附图说明
图1为本申请实施例提供的一种遮挡物检测方法的流程示意图;
图2为本申请实施例提供的另一种遮挡物检测方法的流程示意图;
图3为本申请实施例提供的又一种遮挡物检测方法的流程示意图;
图4为本申请实施例提供的一种遮挡物检测装置的结构框图;
图5为本申请实施例提供的一种移动终端的结构示意图;
图6为本申请实施例提供的又一种移动终端的结构示意图。
具体实施方式
下面结合附图并通过具体实施方式来进一步说明本申请的技术方案。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理,但是其中的许多步骤可以被并行地、并发地或者同时实施。此外,各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
图1为本申请实施例提供的一种遮挡物检测方法的流程示意图,该方法可以由遮挡物检测装置执行,其中该装置可由软件和/或硬件实现,一般可集成在移动终端中。如图1所示,该方法包括:
步骤101、在拍照预览模式下,通过所述至少两个摄像头获取深度图像。
示例性的,本申请实施例中的移动终端可包括手机、平板电脑以及照相机等具备拍照功能的移动设备。
随着移动终端技术的发展,移动终端的拍照功能也越来越强大。从移动终端的发展过程来看,此前关于摄像头的竞争主要在于提高像素方面,而近几年的发展趋势中,摄像头的数量也成为了重要竞争点之一。目前,很多移动终端都配置有双摄像头,有些移动终端会配置三个、四个甚至更多的摄像头。这里的多摄像头指的是位于移动终端同侧的摄像头,如位于移动终端背面的多个后置摄像头,当然也可以是位于移动终端正面的多个前置摄像头等。一般的,多摄像头之间的距离较小,以便于多摄像头之间的协同工作。多摄像头可以帮助移动终端进一步完善拍照功能,例如,可以提高成像质量、增强图像细节、实现更高倍的光学变焦、实现广角能力以及深度感知等等。本申请实施例中,发明人基于配置有至少两个同侧摄像头的移动终端,设计出了遮挡物检测方案。
用户在使用移动终端进行拍照的过程中,可能会存在一些遮挡物对摄像头产生遮挡,这样遮挡物就会出现在所拍摄的照片中,由于遮挡物距离摄像头一般较近,甚至附着在镜头的玻璃盖板上,成像模糊,严重影响照片的整体效果。对于一些拍摄场景来说,用户一般采用手持的方式进行拍摄,这样就容易出现一个问题,用户手指可能会对摄像头产生遮挡,此时手指就成为一种遮挡物,出现在照片的边缘或某个边角,影响照片质量。
相关技术中,在拍照过程中不会对遮挡物进行检测,若用户事后看到照片中出现遮挡物的影像,则需要运用软件等方式进行后期编辑,达到移除遮挡物的目的。然而,后期处理效果十分依赖于照片背景,如果背景色单一或有规律,则有可能通过修饰去除遮挡物,但如果背景复杂,则需要运用选取、复制、移动背景等复杂操作来去除遮挡物,对处理软件以及用户的操作能力要求都比较高,还需要用户付出较大耐心,十分不便。
本申请实施例中,在拍照预览模式下,实现对遮挡物的检测,以便移动终端及时采取相应的措施,可便于消除障碍物影响,提高拍照质量。
本步骤中,在拍照预览模式下,通过移动终端中的至少两个摄像头获取深度图像。一般的,对于多摄像头来说,每个摄像头分别进行图像获取,可以得到多个图像,移动终端对这多个图像进行处理,得到深度图像。本申请实施例中,所述至少两个摄像头可以是彩色摄像头,所获取的图像为RGB图像,其中,R代表红色Red,G代表绿色Green,B代表蓝色Blue。深度图像可以由至少两个RGB图像转化而成。
步骤102、获取所述深度图像的景深信息。
示例性的,景深(Depth of Field,DOF)一般指摄像头能够取得清晰图像的成像所测定的被摄物体前后距离范围,被摄物越近,景深越浅。本申请实施例中,深度图像的景深信息可包括深度图像中每个像素对应的景深。
步骤103、在所述景深信息满足预设要求时,确定存在遮挡物。
在拍照过程中,用户真正想要拍摄的物体一般与摄像头相距一定的距离,即使是微距拍摄场景下,一般移动终端微距功能也需要10cm以上。而对于遮挡物来说,一般距离摄像头较近,例如在5cm以内,有些场景下会在1cm以内。本申请实施例中,可利用上述的距离与景深之间的对应关系进行预设要求的设置,并借助景深信息来判断深度图像中是否存在与摄像头距离过近的物体,进而实现遮挡物的检测。
本申请实施例中提供的遮挡物检测方法,在拍照预览模式下,通过位于移动终端同侧的至少两个摄像头获取深度图像,获取深度图像的景深信息,在景深信息满足预设要求时,确定存在遮挡物。通过采用上述技术方案,可以在配置有多摄像头的移动终端拍照过程中,利用深度图像的景深信息快速准确地判断是否存在遮挡物,以便移动终端采取相应的措施,有利于改善拍照效果。
在一些实施例中,所述获取所述深度图像的景深信息,包括:获取所述深度图像中每个像素的景深。所述在所述景深信息满足预设要求时,确定存在遮挡物,包括:对于每个像素,判断当前像素的景深是否小于预设景深阈值,若小于,则将所述当前像素确定为目标像素;判断所述目标像素的分布规律是否满足预设条件,若满足,则确定存在遮挡物。这样设置的好处在于,能够快速准确地实现遮挡物的检测。其中,预设景深阈值可以根据实际情况进行设置,例如可以是5cm。示例性的,可对各种遮挡情况进行调研,分析遮挡物的各像素在图像中的成像规律,进而确定预设条件。
在一些实施例中,所述判断所述目标像素的分布规律是否满足预设条件,包括:判断所述目标像素是否形成连续的闭合区域,若是,则确定存在遮挡物。这样设置的好处在于,能够根据目标像素所形成的区域的形态快速实现遮挡物识别。一般的遮挡物,如手指,是具有一定的体积的,所以遮挡物对应的目标像素是存在多个的,且会形成一个连续的区域,可根据该规律进行判定。可选的,所述判断所述目标像素的分布规律是否满足预设条件,包括:判断所述目标像素是否形成连续的闭合区域,且所述闭合区域的面积处于预设面积范围内,若是,则确定存在遮挡物。这样设置的好处在于,增加了面积的判定,能够更准确地识别遮挡物,防止误判。对于一些摄像头来说,长期使用后,可能会存在积灰现象,在拍照时可能也会形成少量的目标像素,对拍照质量影响较小且短时间内无法清除,所以可以排除此类情况,加入关于闭合区域的面积的判定,以免影响拍照功能的正常使用。
在一些实施例中,所述移动终端配置有双摄像头;所述通过所述至少两个摄像头获取深度图像,包括:通过所述双摄像头获取两个图像;针对所述两个图像进行关键特征点匹配;根据匹配结果得到深度图像。这样设置的好处在于,能够准确地形成深度图像。示例性的,可对两个图像分别进行图像特征点提取以及特征构造,然后进行关键特征点匹配,根据匹配结果进行像素逐行扫描匹配,最后形成深度图像。可选的,可通过双摄像头同时获取同一场景的两个图像,通过立体匹配算法找到两个图像中对应的关键特征点,随后根据三角原理计算出视差信息,进而得到该场景的深度图像。另外,还可参考图像的光度特征、明暗特征等进行分析,以间接提高深度图像的准确度。
在一些实施例中,所述移动终端配置有至少三个摄像头。通过所述至少三个摄像头获取深度图像,包括:通过所述至少三个摄像头获取至少三个图像;针对所述至少三个图像中的每两个图像进行关键特征点匹配,并根据匹配结果得到至少三个子深度图像。所述获取所述深度图像的景深信息,包括:获取所述至少三个子深度图像的子景深信息;根据所述子景深信息得到平均景深信息。相应的,所述在所述景深信息满足预设要求时,确定存在遮挡物,包括:在所述平均景深信息满足预设要求时,确定存在遮挡物。这样设置的好处在于,能够更加精准地计算景深信息,进而提高遮挡物判定的准确度。一般的,通过两个摄像头即可获取到深度图像,而对于配置有三个以上摄像头的移动终端来说,可以对三个以上摄像头获取到的图像进行组合,得到多个深度图像(为了便于区分,本申请实施例中称为子深度图像),随后在获取景深信息时,综合多个子深度图像对应的子景深信息来计算平均景深信息,在计算时可以是绝对平均值,也可以是加权平均值,可根据每两个摄像头的具体相对位置关系进行设置。
在一些实施例中,在所述确定存在遮挡物之后,还包括:针对所述遮挡物进行相应的提醒操作和/或暂停响应拍照指令。这样设置的好处在于,在检测到遮挡物时,可以控制移动终端及时采取相应的措施,避免拍摄出效果不理想的照片。示例性的,针对遮挡物进行相应的提醒操作,可包括通过语音或文字等方式提醒用户存在遮挡物对摄像头进行遮挡,例如“请注意,当前摄像头被遮挡”等。示例性的,还可以控制移动终端进行振动提醒,当用户感知到振动后,意识到存在遮挡物挡住镜头,则会对遮挡物进行移除。示例性的,为了及时阻止用户拍摄照片,还可暂停响应拍照指令。一般的,用户通过点击拍照按钮进行拍照,移动终端检测到拍照按钮被点击后,则生成拍照指令,并响应该拍照指令。当存在遮挡物时,拍照效果不理想,可以不响应拍照指令,以节省功耗及内存空间,用户发现点击拍照按钮后没有反应,也会意识到存在遮挡物的情况,从而间接对用户进行了提示。可选的,同时进行提醒操作和暂停响应拍照指令,在阻止拍摄包含遮挡物的照片的同时,对用户进行及时有效的提醒,使用户意识到遮挡物的存在,并对遮挡物进行相应的处理。
可选的,在针对所述遮挡物进行相应的提醒操作和/或暂停响应拍照指令之后,还包括:返回执行通过所述至少两个摄像头获取深度图像的操作,若本次确定不存在遮挡物,则响应拍照指令。
在一些实施例中,在所述暂停响应拍照指令之后,还包括:在检测到拍照按键以预设方式被触发时,响应拍照指令。这样设置的好处在于,可允许用户在存在遮挡物的情况下进行拍照,尊重用户的意愿。在一些拍摄场景中,用户可能会追求一些特殊的拍照效果,而故意采用遮挡物对摄像头进行遮挡,此时,当用户以指定方式触发拍照按键时,移动终端可以忽略遮挡物,响应拍照指令。其中,预设方式例如可以是长按或双击等拍照按键的非常规触发方式,具体方式本申请实施例不做限定。
图2为本申请实施例提供的另一种遮挡物检测方法的流程示意图,以移动终端配置有双摄像头为例进行说明,如图2所示,该方法包括:
步骤201、在拍照预览模式下,通过双摄像头获取两个图像。
其中,双摄像头中的每个摄像头获取一个图像。
步骤202、针对两个图像进行关键特征点匹配,根据匹配结果得到深度图像。
示例性的,可对两个图像分别进行图像特征点提取以及特征构造,然后进行关键特征点匹配,根据匹配结果进行像素逐行扫描匹配,最后形成深度图像。
步骤203、计算深度图像中每个像素的景深。
步骤204、对于每个像素,判断当前像素的景深是否小于预设景深阈值,若小于,则将当前像素确定为目标像素。
步骤205、判断目标像素是否形成连续的闭合区域,且闭合区域的面积处于预设面积范围内,若是,则执行步骤206;否则,执行步骤209。
步骤206、确定存在遮挡物。
步骤207、针对遮挡物控制移动终端进行振动操作,并暂停响应接收到的拍照指令。
示例性的,在判断出存在遮挡物时,将判断结果输送给相机预览系统,暂停拍摄按钮的功能,达到阻止拍摄的目的。同时,移动终端的相机预览系统在收到判断结果时快速做出提示,控制移动终端振动,从而对用户进行及时有效的提醒。
步骤208、重新检测是否存在遮挡物,若是,则返回执行步骤207;否则,执行步骤209。
示例性的,用户在感知到移动终端的振动之后,可能会意识到存在手指等遮挡物挡住了镜头,对遮挡物进行移除后,重新检测时就不会再检测到遮挡物,可以恢复拍摄按钮的功能,即可正常响应拍照指令。而如果用户并未意识到遮挡物的存在,或虽然意识到,但未及时移除遮挡物,那么再次检测时,还会检测到遮挡物,那么可继续进行振动提醒以及暂停响应拍照指令的处理。可选的,在移动终端振动后,可相隔预设时长后再重新检测是否存在遮挡物,预设时长如3秒,给用户留出移除障碍物的时间,防止移动终端持续振动所增加的系统功耗,也可以避免持续振动对用户产生的困扰。
步骤209、对接收到的拍照指令进行响应。
示例性的,若首次检测时没有遮挡物,那么可在接收到拍照指令后进行响应。若再次检测时没有遮挡物,由于之前已经接收到拍照指令,那么可立即响应之前接收到的拍照指令,当然,也可在再次接收到拍照指令后进行响应。
本申请实施例提供的遮挡物检测方法,适用于集成双摄像头的移动终端,在拍照预览模式下,通过双摄像头获取深度图像,并计算深度图像中每个像素的景深,将景深小于预设景深阈值的像素确定为目标像素,当目标像素的分布规律满足遮挡物对应的预设条件时,认为检测到遮挡物,控制移动终端进行提醒操作并暂停响应拍照指令,及时提示用户移除遮挡物,并在检测到遮挡物已被移除后,恢复正常的拍照功能,保证拍照质量。
图3为本申请实施例提供的又一种遮挡物检测方法的流程示意图,以移动终端配置有至少三个摄像头为例进行说明,如图3所示,该方法包括:
步骤301、在拍照预览模式下,通过至少三个摄像头获取至少三个图像。
其中,至少三个摄像头中的每个摄像头获取一个图像,也就是说,所获取的图像的总数与摄像头的总数是一致的。
步骤302、针对至少三个图像中的每两个图像进行关键特征点匹配,并根据匹配结果得到至少三个子深度图像。
示例性的,可以对至少三个图像进行排列组合,每两个图像为一组。例如,对于三个图像a、b和c,则可分为三组,分别为a和b、b和c、以及a和c。对于四个图像a、b、c、d,则可分为六组,分别为a和b、a和c、a和d、b和c、b和d、以及c和d。对于每组图像,组内每两个图像分别进行图像特征点提取以及特征构造,然后进行关键特征点匹配,根据匹配结果进行像素逐行扫描匹配,最后形成该组图像对应的子深度图像。
步骤303、计算每个子深度图像中每个像素的景深。
步骤304、对于至少三个子深度图像中相互对应的每组像素,计算景深平均值。
示例性的,可采用关键特征点匹配的方式确定至少三个子深度图像中各像素的相互对应关系。例如,对于三个子深度图像,其中一个子深度图像中的一个像素,可以在另外两个子深度图像中各自找到一个对应的像素,这样三个像素构成相互对应的一组像素,由于一组像素对应的拍摄内容是一致的,也可以认为是一个像素。可选的,可将至少三个子深度图像进行整合,得到总深度图像。
步骤305、对于每个景深平均值,判断当前景深平均值是否小于预设景深阈值,若小于,则将当前景深平均值对应的像素确定为目标像素。
示例性的,当前景深平均值对应的像素可理解为上文中的一组像素,也可以理解为上文中总深度图像中的像素。
步骤306、判断目标像素是否形成连续的闭合区域,且闭合区域的面积处于预设面积范围内,若是,则执行步骤307;否则,执行步骤310。
步骤307、确定存在遮挡物。
步骤308、针对遮挡物控制移动终端进行振动操作,并暂停响应接收到的拍照指令。
步骤309、重新检测是否存在遮挡物,若是,则返回执行步骤308;否则,执行步骤310。
步骤310、对接收到的拍照指令进行响应。
本申请实施例提供的遮挡物检测方法,适用于集成至少三个摄像头的移动终端,在拍照预览模式下,通过至少三个摄像头获取至少三个子深度图像,并计算子深度图像中每组相互对应的像素的景深平均值,将景深平均值小于预设景深阈值的像素确定为目标像素,当目标像素的分布规律满足遮挡物对应的预设条件时,认为检测到遮挡物,控制移动终端进行提醒操作并暂停响应拍照指令,及时提示用户移除遮挡物,保证拍照质量。
图4为本申请实施例提供的遮挡物检测装置的结构框图,该装置可由软件和/或硬件实现,一般集成在集成于配置有至少两个摄像头的移动终端中,可通过执行遮挡物检测方法来进行遮挡物检测,其中,所述至少两个摄像头位于所述移动终端的同侧。如图4所示,该装置包括:
深度图像获取模块401,用于在拍照预览模式下,通过所述至少两个摄像头获取深度图像;
景深信息获取模块402,用于获取所述深度图像的景深信息;
遮挡物确定模块403,用于在所述景深信息满足预设要求时,确定存在遮挡物。
本申请实施例中提供的遮挡物检测装置,在拍照预览模式下,通过位于移动终端同侧的至少两个摄像头获取深度图像,获取深度图像的景深信息,在景深信息满足预设要求时,确定存在遮挡物。通过采用上述技术方案,可以在配置有多摄像头的移动终端拍照过程中,利用深度图像的景深信息快速准确地判断是否存在遮挡物,以便移动终端采取相应的措施,有利于改善拍照效果。
可选的,所述获取所述深度图像的景深信息,包括:
获取所述深度图像中每个像素的景深;
所述在所述景深信息满足预设要求时,确定存在遮挡物,包括:
对于每个像素,判断当前像素的景深是否小于预设景深阈值,若小于,则将所述当前像素确定为目标像素;
判断所述目标像素的分布规律是否满足预设条件,若满足,则确定存在遮挡物。
可选的,所述判断所述目标像素的分布规律是否满足预设条件,包括:
判断所述目标像素是否形成连续的闭合区域,且所述闭合区域的面积处于预设面积范围内,若是,则确定存在遮挡物。
可选的,所述移动终端配置有双摄像头;所述通过所述至少两个摄像头获取深度图像,包括:
通过所述双摄像头获取两个图像;
针对所述两个图像进行关键特征点匹配;
根据匹配结果得到深度图像。
可选的,所述移动终端配置有至少三个摄像头;
通过所述至少三个摄像头获取深度图像,包括:
通过所述至少三个摄像头获取至少三个图像;
针对所述至少三个图像中的每两个图像进行关键特征点匹配,并根据匹配结果得到至少三个子深度图像;
所述获取所述深度图像的景深信息,包括:
获取所述至少三个子深度图像的子景深信息;
根据所述子景深信息得到平均景深信息;
相应的,所述在所述景深信息满足预设要求时,确定存在遮挡物,包括:
在所述平均景深信息满足预设要求时,确定存在遮挡物。
可选的,该装置还包括:
第一控制模块,用于在所述确定存在遮挡物之后,针对所述遮挡物进行相应的提醒操作和/或暂停响应拍照指令。
可选的,该装置还包括:
第二控制模块,用于在所述暂停响应拍照指令之后,在检测到拍照按键以预设方式被触发时,响应拍照指令。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行遮挡物检测方法,该方法包括:
在拍照预览模式下,通过所述至少两个摄像头获取深度图像;
获取所述深度图像的景深信息;
在所述景深信息满足预设要求时,确定存在遮挡物。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDRRAM、SRAM、EDORAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的遮挡物检测操作,还可以执行本申请任意实施例所提供的遮挡物检测方法中的相关操作。
本申请实施例提供了一种移动终端,该移动终端中可集成本申请实施例提供的遮挡物检测装置。图5为本申请实施例提供的一种移动终端的结构示意图。移动终端500可以包括:至少两个摄像头501(图中仅示出一个作为示意性说明),存储器502,处理器503及存储在存储器502上并可在处理器运行的计算机程序,所述处理器503执行所述计算机程序时实现如本申请实施例所述的遮挡物检测方法。
本申请实施例提供的移动终端,在拍照预览模式下,通过位于移动终端同侧的至少两个摄像头获取深度图像,获取深度图像的景深信息,在景深信息满足预设要求时,确定存在遮挡物。通过采用上述技术方案,可以在配置有多摄像头的移动终端拍照过程中,利用深度图像的景深信息快速准确地判断是否存在遮挡物,以便移动终端采取相应的措施,有利于改善拍照效果。
图6为本申请实施例提供的另一种移动终端的结构示意图,该移动终端可以包括:壳体(图中未示出)、存储器601、中央处理器(central processing unit,CPU)602(又称处理器,以下简称CPU)、至少两个摄像头613(图中仅示出一个作为示意性说明)、电路板(图中未示出)和电源电路(图中未示出)。所述电路板安置在所述壳体围成的空间内部;所述CPU602和所述存储器601设置在所述电路板上;所述电源电路,用于为所述移动终端的各个电路或器件供电;所述存储器601,用于存储可执行程序代码;所述CPU602通过读取所述存储器601中存储的可执行程序代码来运行与所述可执行程序代码对应的计算机程序,以实现以下步骤:
在拍照预览模式下,通过所述至少两个摄像头获取深度图像;
获取所述深度图像的景深信息;
在所述景深信息满足预设要求时,确定存在遮挡物。
所述移动终端还包括:外设接口603、RF(Radio Frequency,射频)电路605、音频电路606、扬声器611、电源管理芯片608、输入/输出(I/O)子系统609、其他输入/控制设备610、触摸屏612、其他输入/控制设备610以及外部端口604,这些部件通过一个或多个通信总线或信号线607来通信。
应该理解的是,图示移动终端600仅仅是移动终端的一个范例,并且移动终端600可以具有比图中所示出的更多的或者更少的部件,可以组合两个或更多的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
下面就本实施例提供的用于遮挡物检测的移动终端进行详细的描述,该移动终端以手机为例。
存储器601,所述存储器601可以被CPU602、外设接口603等访问,所述存储器601可以包括高速随机存取存储器,还可以包括非易失性存储器,例如一个或多个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
外设接口603,所述外设接口603可以将设备的输入和输出外设连接到CPU602和存储器601。
I/O子系统609,所述I/O子系统609可以将设备上的输入输出外设,例如触摸屏612和其他输入/控制设备610,连接到外设接口603。I/O子系统609可以包括显示控制器6091和用于控制其他输入/控制设备610的一个或多个输入控制器6092。其中,一个或多个输入控制器6092从其他输入/控制设备610接收电信号或者向其他输入/控制设备610发送电信号,其他输入/控制设备610可以包括物理按钮(按压按钮、摇臂按钮等)、拨号盘、滑动开关、操纵杆、点击滚轮。值得说明的是,输入控制器6092可以与以下任一个连接:键盘、红外端口、USB接口以及诸如鼠标的指示设备。
触摸屏612,所述触摸屏612是用户移动终端与用户之间的输入接口和输出接口,将可视输出显示给用户,可视输出可以包括图形、文本、图标、视频等。
I/O子系统609中的显示控制器6091从触摸屏612接收电信号或者向触摸屏612发送电信号。触摸屏612检测触摸屏上的接触,显示控制器6091将检测到的接触转换为与显示在触摸屏612上的用户界面对象的交互,即实现人机交互,显示在触摸屏612上的用户界面对象可以是运行游戏的图标、联网到相应网络的图标等。值得说明的是,设备还可以包括光鼠,光鼠是不显示可视输出的触摸敏感表面,或者是由触摸屏形成的触摸敏感表面的延伸。
RF电路605,主要用于建立手机与无线网络(即网络侧)的通信,实现手机与无线网络的数据接收和发送。例如收发短信息、电子邮件等。具体地,RF电路605接收并发送RF信号,RF信号也称为电磁信号,RF电路605将电信号转换为电磁信号或将电磁信号转换为电信号,并且通过该电磁信号与通信网络以及其他设备进行通信。RF电路605可以包括用于执行这些功能的已知电路,其包括但不限于天线系统、RF收发机、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、CODEC(COder-DECoder,编译码器)芯片组、用户标识模块(Subscriber Identity Module,SIM)等等。
音频电路606,主要用于从外设接口603接收音频数据,将该音频数据转换为电信号,并且将该电信号发送给扬声器611。
扬声器611,用于将手机通过RF电路605从无线网络接收的语音信号,还原为声音并向用户播放该声音。
电源管理芯片608,用于为CPU602、I/O子系统及外设接口所连接的硬件进行供电及电源管理。
上述实施例中提供的遮挡物检测装置、存储介质及移动终端可执行本申请任意实施例所提供的遮挡物检测方法,具备执行该方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的遮挡物检测方法。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。

Claims (10)

1.一种遮挡物检测方法,其特征在于,应用于配置有至少两个摄像头的移动终端中,所述至少两个摄像头位于所述移动终端的同侧,所述方法包括:
在拍照预览模式下,通过所述至少两个摄像头获取深度图像;
获取所述深度图像的景深信息;
在所述景深信息满足预设要求时,确定存在遮挡物。
2.根据权利要求1所述的方法,其特征在于,
所述获取所述深度图像的景深信息,包括:
获取所述深度图像中每个像素的景深;
所述在所述景深信息满足预设要求时,确定存在遮挡物,包括:
对于每个像素,判断当前像素的景深是否小于预设景深阈值,若小于,则将所述当前像素确定为目标像素;
判断所述目标像素的分布规律是否满足预设条件,若满足,则确定存在遮挡物。
3.根据权利要求2所述的方法,其特征在于,所述判断所述目标像素的分布规律是否满足预设条件,包括:
判断所述目标像素是否形成连续的闭合区域,且所述闭合区域的面积处于预设面积范围内,若是,则确定存在遮挡物。
4.根据权利要求1所述的方法,其特征在于,所述移动终端配置有双摄像头;所述通过所述至少两个摄像头获取深度图像,包括:
通过所述双摄像头获取两个图像;
针对所述两个图像进行关键特征点匹配;
根据匹配结果得到深度图像。
5.根据权利要求1所述的方法,其特征在于,所述移动终端配置有至少三个摄像头;
通过所述至少三个摄像头获取深度图像,包括:
通过所述至少三个摄像头获取至少三个图像;
针对所述至少三个图像中的每两个图像进行关键特征点匹配,并根据匹配结果得到至少三个子深度图像;
所述获取所述深度图像的景深信息,包括:
获取所述至少三个子深度图像的子景深信息;
根据所述子景深信息得到平均景深信息;
相应的,所述在所述景深信息满足预设要求时,确定存在遮挡物,包括:
在所述平均景深信息满足预设要求时,确定存在遮挡物。
6.根据权利要求1-5任一所述的方法,其特征在于,在所述确定存在遮挡物之后,还包括:
针对所述遮挡物进行相应的提醒操作和/或暂停响应拍照指令。
7.根据权利要求6所述的方法,其特征在于,在所述暂停响应拍照指令之后,还包括:
在检测到拍照按键以预设方式被触发时,响应拍照指令。
8.一种遮挡物检测装置,其特征在于,集成于配置有至少两个摄像头的移动终端中,所述至少两个摄像头位于所述移动终端的同侧,所述装置包括:
深度图像获取模块,用于在拍照预览模式下,通过所述至少两个摄像头获取深度图像;
景深信息获取模块,用于获取所述深度图像的景深信息;
遮挡物确定模块,用于在所述景深信息满足预设要求时,确定存在遮挡物。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的遮挡物检测方法。
10.一种移动终端,其特征在于,包括至少两个摄像头,存储器,处理器及存储在存储器上并可在处理器运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7任一所述的遮挡物检测方法,其中,所述至少两个摄像头位于所述移动终端的同侧。
CN201811556947.5A 2018-12-19 2018-12-19 遮挡物检测方法、装置、存储介质及移动终端 Pending CN109639896A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811556947.5A CN109639896A (zh) 2018-12-19 2018-12-19 遮挡物检测方法、装置、存储介质及移动终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811556947.5A CN109639896A (zh) 2018-12-19 2018-12-19 遮挡物检测方法、装置、存储介质及移动终端

Publications (1)

Publication Number Publication Date
CN109639896A true CN109639896A (zh) 2019-04-16

Family

ID=66075440

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811556947.5A Pending CN109639896A (zh) 2018-12-19 2018-12-19 遮挡物检测方法、装置、存储介质及移动终端

Country Status (1)

Country Link
CN (1) CN109639896A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971785A (zh) * 2019-11-15 2020-04-07 北京迈格威科技有限公司 摄像头遮挡状态检测方法、装置、终端和存储介质
CN111447365A (zh) * 2020-04-16 2020-07-24 维沃移动通信有限公司 一种拍摄方法及电子设备
CN111885371A (zh) * 2020-06-01 2020-11-03 北京迈格威科技有限公司 图像遮挡检测方法、装置、电子设备和计算机可读介质
CN112053479A (zh) * 2019-11-26 2020-12-08 高艳云 基于目标状态数据分析的多功能电控平台及方法
CN112270303A (zh) * 2020-11-17 2021-01-26 北京百度网讯科技有限公司 图像识别方法、装置以及电子设备
CN112417967A (zh) * 2020-10-22 2021-02-26 腾讯科技(深圳)有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112561874A (zh) * 2020-12-11 2021-03-26 杭州海康威视数字技术股份有限公司 一种遮挡物检测方法、装置及监控摄像机
CN113630647A (zh) * 2020-05-07 2021-11-09 云米互联科技(广东)有限公司 电视机控制方法、系统、电视机及计算机可读存储介质
CN114079766A (zh) * 2020-08-10 2022-02-22 珠海格力电器股份有限公司 屏下摄像头遮挡提示方法、存储介质以及终端设备
CN114866699A (zh) * 2022-05-23 2022-08-05 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102878982A (zh) * 2011-07-11 2013-01-16 北京新岸线移动多媒体技术有限公司 一种获取场景三维信息的方法和系统
CN106454336A (zh) * 2016-11-23 2017-02-22 北京小米移动软件有限公司 检测终端摄像头被遮挡的方法及装置和终端
CN107347151A (zh) * 2016-05-04 2017-11-14 深圳众思科技有限公司 双目摄像头遮挡检测方法及装置
US20170366795A1 (en) * 2016-06-17 2017-12-21 Altek Semiconductor Corp. Stereo image generating method and electronic apparatus utilizing the method
CN108600643A (zh) * 2018-07-13 2018-09-28 广州三星通信技术研究有限公司 图像拍摄方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102878982A (zh) * 2011-07-11 2013-01-16 北京新岸线移动多媒体技术有限公司 一种获取场景三维信息的方法和系统
CN107347151A (zh) * 2016-05-04 2017-11-14 深圳众思科技有限公司 双目摄像头遮挡检测方法及装置
US20170366795A1 (en) * 2016-06-17 2017-12-21 Altek Semiconductor Corp. Stereo image generating method and electronic apparatus utilizing the method
CN106454336A (zh) * 2016-11-23 2017-02-22 北京小米移动软件有限公司 检测终端摄像头被遮挡的方法及装置和终端
CN108600643A (zh) * 2018-07-13 2018-09-28 广州三星通信技术研究有限公司 图像拍摄方法和装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110971785B (zh) * 2019-11-15 2022-04-29 北京迈格威科技有限公司 摄像头遮挡状态检测方法、装置、终端和存储介质
CN110971785A (zh) * 2019-11-15 2020-04-07 北京迈格威科技有限公司 摄像头遮挡状态检测方法、装置、终端和存储介质
CN112053479A (zh) * 2019-11-26 2020-12-08 高艳云 基于目标状态数据分析的多功能电控平台及方法
CN111447365A (zh) * 2020-04-16 2020-07-24 维沃移动通信有限公司 一种拍摄方法及电子设备
CN111447365B (zh) * 2020-04-16 2021-11-30 维沃移动通信有限公司 一种拍摄方法及电子设备
CN113630647B (zh) * 2020-05-07 2023-12-05 云米互联科技(广东)有限公司 电视机控制方法、系统、电视机及计算机可读存储介质
CN113630647A (zh) * 2020-05-07 2021-11-09 云米互联科技(广东)有限公司 电视机控制方法、系统、电视机及计算机可读存储介质
CN111885371A (zh) * 2020-06-01 2020-11-03 北京迈格威科技有限公司 图像遮挡检测方法、装置、电子设备和计算机可读介质
CN114079766A (zh) * 2020-08-10 2022-02-22 珠海格力电器股份有限公司 屏下摄像头遮挡提示方法、存储介质以及终端设备
CN114079766B (zh) * 2020-08-10 2023-08-11 珠海格力电器股份有限公司 屏下摄像头遮挡提示方法、存储介质以及终端设备
CN112417967B (zh) * 2020-10-22 2021-12-14 腾讯科技(深圳)有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112417967A (zh) * 2020-10-22 2021-02-26 腾讯科技(深圳)有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112270303A (zh) * 2020-11-17 2021-01-26 北京百度网讯科技有限公司 图像识别方法、装置以及电子设备
CN112561874A (zh) * 2020-12-11 2021-03-26 杭州海康威视数字技术股份有限公司 一种遮挡物检测方法、装置及监控摄像机
CN114866699A (zh) * 2022-05-23 2022-08-05 Oppo广东移动通信有限公司 图像处理方法及装置、计算机可读存储介质和电子设备

Similar Documents

Publication Publication Date Title
CN109639896A (zh) 遮挡物检测方法、装置、存储介质及移动终端
CN107172345B (zh) 一种图像处理方法及终端
CN108399349B (zh) 图像识别方法及装置
CN109167931B (zh) 图像处理方法、装置、存储介质及移动终端
US10558511B2 (en) Method and device for evaluating system fluency, and UE
CN109120863B (zh) 拍摄方法、装置、存储介质及移动终端
CN108566516A (zh) 图像处理方法、装置、存储介质及移动终端
CN109348135A (zh) 拍照方法、装置、存储介质及终端设备
CN110380904B (zh) 带宽分配方法、装置、电子设备及存储介质
CN112084811B (zh) 身份信息的确定方法、装置及存储介质
CN109741288A (zh) 图像处理方法、装置、存储介质及电子设备
CN109167893A (zh) 拍摄图像的处理方法、装置、存储介质及移动终端
CN111836069A (zh) 虚拟礼物赠送方法、装置、终端、服务器及存储介质
CN109218621B (zh) 图像处理方法、装置、存储介质及移动终端
CN108765380A (zh) 图像处理方法、装置、存储介质及移动终端
CN110677580B (zh) 拍摄方法、装置、存储介质及终端
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN108683845A (zh) 图像处理方法、装置、存储介质及移动终端
CN109618192B (zh) 播放视频的方法、装置、系统和存储介质
CN112950525A (zh) 图像检测方法、装置及电子设备
CN113866782A (zh) 图像处理方法、装置及电子设备
CN109218620B (zh) 基于环境亮度的拍照方法、装置、存储介质及移动终端
CN110163835B (zh) 检测截图的方法、装置、设备及计算机可读存储介质
CN111782950A (zh) 样本数据集获取方法、装置、设备及存储介质
CN111901679A (zh) 封面图像的确定方法、装置、计算机设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190416

RJ01 Rejection of invention patent application after publication