CN108777784A - 深度获取方法和装置、电子装置、计算机设备和存储介质 - Google Patents

深度获取方法和装置、电子装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN108777784A
CN108777784A CN201810574774.3A CN201810574774A CN108777784A CN 108777784 A CN108777784 A CN 108777784A CN 201810574774 A CN201810574774 A CN 201810574774A CN 108777784 A CN108777784 A CN 108777784A
Authority
CN
China
Prior art keywords
depth
depth information
region
information
coincidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810574774.3A
Other languages
English (en)
Other versions
CN108777784B (zh
Inventor
张学勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201810574774.3A priority Critical patent/CN108777784B/zh
Publication of CN108777784A publication Critical patent/CN108777784A/zh
Priority to PCT/CN2019/080517 priority patent/WO2019233169A1/zh
Priority to EP19814071.7A priority patent/EP3798968B1/en
Application granted granted Critical
Publication of CN108777784B publication Critical patent/CN108777784B/zh
Priority to US16/951,434 priority patent/US20210074010A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

本发明公开了一种深度获取方法。深度获取方法包括步骤:判断可见光图像中是否存在同时处于重合区域和非重合区域的物体;在可见光图像中存在同时处于重合区域和非重合区域的物体时,根据深度图像获取处于重合区域的物体的深度信息作为第一深度信息;根据第一深度信息和非重合区域的物体的色彩信息获取处于非重合区域的物体的深度信息作为第二深度信息;和根据第一深度信息和第二深度信息获取物体的综合深度信息。本发明还公开了一种深度获取装置、电子装置、计算机可读存储介质和计算机设备。深度获取方法可以获取非重合区域的该物体的第二深度信息,并进一步依据第一深度信息和第二深度信息得到该物体较完整的综合深度信息。

Description

深度获取方法和装置、电子装置、计算机设备和存储介质
技术领域
本发明涉及三维成像技术领域,特别涉及一种深度获取方法、深度获取装置、电子装置、计算机可读存储介质和计算机设备。
背景技术
在将深度图像与彩色图像合成三维图像时,由于深度图像与彩色图像可能是由具有不同视场范围的摄像头获取的,导致深度图像与彩色图像的视场并不能完全重合,部分彩色图像覆盖的区域缺少深度信息,导致不能合成该区域的三维图像。
发明内容
本发明的实施方式提供了一种深度获取方法、深度获取装置、电子装置、计算机可读存储介质和计算机设备。
本发明实施方式的深度获取方法用于电子装置,所述电子装置包括可见光摄像头和深度摄像头,所述可见光摄像头的视场范围与所述深度摄像头的视场范围部分重叠,所述可见光摄像头用于采集可见光图像,所述深度摄像头用于采集深度图像,所述可见光图像包括与所述深度图像重合的重合区域和与所述深度图像不重合的非重合区域,所述深度获取方法包括:
判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体;
在所述可见光图像中存在同时处于所述重合区域和所述非重合区域的物体时,根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息;
根据所述第一深度信息和所述非重合区域的所述物体的色彩信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息;和
根据所述第一深度信息和所述第二深度信息获取所述物体的综合深度信息。
本发明实施方式的深度获取装置用于电子装置,所述电子装置包括可见光摄像头和深度摄像头,所述可见光摄像头的视场范围与所述深度摄像头的视场范围部分重叠,所述可见光摄像头用于采集可见光图像,所述深度摄像头用于采集深度图像,所述可见光图像包括与所述深度图像重合的重合区域和与所述深度图像不重合的非重合区域,所述深度获取装置包括:
判断模块,用于判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体;
第一获取模块,用于在所述可见光图像中存在同时处于所述重合区域和所述非重合区域的物体时,根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息;
第二获取模块,用于根据所述第一深度信息和所述非重合区域的所述物体的色彩信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息;和
第三获取模块,用于根据所述第一深度信息和所述第二深度信息获取所述物体的综合深度信息。
本发明实施方式的电子装置包括可见光摄像头和深度摄像头,所述可见光摄像头的视场范围与所述深度摄像头的视场范围部分重叠,所述可见光摄像头用于采集可见光图像,所述深度摄像头用于采集深度图像,所述可见光图像包括与所述深度图像重合的重合区域和与所述深度图像不重合的非重合区域,所述电子装置还包括与所述可见光摄像头和所述深度摄像头均连接的处理器,所述处理器用于:
判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体;
在所述可见光图像中存在同时处于所述重合区域和所述非重合区域的物体时,根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息;
根据所述第一深度信息和所述非重合区域的所述物体的色彩信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息;和
根据所述第一深度信息和所述第二深度信息获取所述物体的综合深度信息。
本发明实施方式的计算机可读存储介质用于存储一个或多个计算机可执行指令,当所述一个或多个计算机可执行指令被一个或多个处理器执行时,使得所述一个或多个处理器执行上述的深度获取方法。
本发明实施方式的计算机设备包括存储器及处理器,所述存储器中储存有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行上述的深度获取方法。
本发明实施方式的深度获取方法、深度获取装置、电子装置、计算机可读存储介质和计算机设备中,依据重合区域的物体的第一深度信息和非重合区域的该物体的色彩信息,可以获取非重合区域的该物体的第二深度信息,并进一步依据第一深度信息和第二深度信息得到该物体较完整的综合深度信息,因此可以更全面地获取物体的深度信息。
本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1是本发明某些实施方式的深度获取方法的流程示意图;
图2是本发明某些实施方式的深度获取装置的模块示意图;
图3是本发明某些实施方式的电子装置的结构示意图;
图4是本发明某些实施方式的深度获取方法的流程示意图;
图5是本发明某些实施方式的深度获取装置的模块示意图;
图6是本发明某些实施方式的深度获取方法的流程示意图;
图7是本发明某些实施方式的深度获取装置的模块示意图;
图8是本发明某些实施方式的深度获取方法的流程示意图;
图9是本发明某些实施方式的深度获取装置的模块示意图;
图10是本发明某些实施方式的场景示意图;
图11是本发明某些实施方式的深度获取方法的流程示意图;
图12是本发明某些实施方式的深度获取装置的模块示意图;
图13是本发明某些实施方式的场景示意图;
图14是本发明某些实施方式的计算机中读存储介质的模块示意图;
图15是本发明某些实施方式的计算机设备的模块示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
请参阅图1至图3,本发明实施方式的深度获取方法用于电子装置100,电子装置100包括可见光摄像头10和深度摄像头20,可见光摄像头10的视场范围与深度摄像头20的视场范围部分重叠。可见光摄像头10用于采集可见光图像,深度摄像头20用于采集深度图像,可见光图像包括与深度图像重合的重合区域和与深度图像不重合的非重合区域。深度获取方法包括:
01:判断可见光图像中是否存在同时处于重合区域和非重合区域的物体;
02:在可见光图像中存在同时处于重合区域和非重合区域的物体时,根据深度图像获取处于重合区域的物体的深度信息作为第一深度信息;
03:根据第一深度信息和非重合区域的物体的色彩信息获取处于非重合区域的物体的深度信息作为第二深度信息;和
04:根据第一深度信息和第二深度信息获取物体的综合深度信息。
本发明实施方式的深度获取装置200可以用于电子装置100。电子装置100包括可见光摄像头10和深度摄像头20,可见光摄像头10的视场范围与深度摄像头20的视场范围部分重叠。可见光摄像头10用于采集可见光图像,深度摄像头20用于采集深度图像,可见光图像包括与深度图像重合的重合区域和与深度图像不重合的非重合区域。深度获取装置200包括判断模块201、第一获取模块202、第二获取模块203和第三获取模块204。
其中,判断模块201、第一获取模块202、第二获取模块203和第三获取模块204可分别用于实施步骤01、02、03和04。也就是说,判断模块201可用于判断可见光图像中是否存在同时处于重合区域和非重合区域的物体。第一获取模块202可用于在可见光图像中存在同时处于重合区域和非重合区域的物体时,根据深度图像获取处于重合区域的物体的深度信息作为第一深度信息。第二获取模块203可用于根据第一深度信息和非重合区域的物体的色彩信息获取处于非重合区域的物体的深度信息作为第二深度信息。第三获取模块204可用于根据第一深度信息和第二深度信息获取物体的综合深度信息。
本发明实施方式的电子装置100包括可见光摄像头10和深度摄像头20,可见光摄像头10的视场范围与深度摄像头20的视场范围部分重叠。可见光摄像头10用于采集可见光图像,深度摄像头20用于采集深度图像,可见光图像包括与深度图像重合的重合区域和与深度图像不重合的非重合区域。电子装置100还包括与可见光摄像头10和深度摄像头20均连接的处理器30,处理器30可用于实施步骤01、02、03和04。也就是说,处理器30可用于判断可见光图像中是否存在同时处于重合区域和非重合区域的物体;在可见光图像中存在同时处于重合区域和非重合区域的物体时,根据深度图像获取处于重合区域的物体的深度信息作为第一深度信息;根据第一深度信息和非重合区域的物体的色彩信息获取处于非重合区域的物体的深度信息作为第二深度信息;和根据第一深度信息和第二深度信息获取物体的综合深度信息。
本发明实施方式的深度获取方法、深度获取装置200和电子装置100依据重合区域的物体的第一深度信息和非重合区域的该物体的色彩信息,可以获取非重合区域的该物体的第二深度信息,并进一步依据第一深度信息和第二深度信息得到该物体较完整的综合深度信息,因此可以更全面地获取物体的深度信息。
具体地,电子装置100可以是相机、手机、平板电脑、手提电脑、游戏机、头显设备、门禁系统、柜员机等,在此不作限制。
可见光摄像头10可以是指用于接收可见光而形成可见光图像的摄像头。深度摄像头20可以是指用于形成深度图像的摄像头,其中,深度图像可以表征被摄物的深度信息。深度摄像头20可以包括结构光摄像头或飞行时间(time of flight,TOF)摄像头。
由于可见光摄像头10的视场范围与深度摄像头20的视场范围部分重叠,因此可见光摄像头10采集的可见光图像与深度摄像头20采集的深度图像部分重合。由于可见光图像的重合区域与深度图像重合,因此可以获得重合区域中的被摄物的深度信息,而可见光图像的非重合区域与深度图像不重合,因此非重合区域中的被摄物并不具备深度信息。当一个物体同时处于重合区域和非重合区域时,该物体处于重合区域的部分具备深度信息(即第一深度信息),该物体处于非重合区域的部分不具备深度信息,由于同一物体的深度是连续变化的,因此可以利用处于重合区域的该物体的第一深度信息,和非重合区域的该物体的色彩信息获取非重合区域的该物体的深度信息(即第二深度信息)。结合第一深度信息和第二深度信息则可以获取物体的综合深度信息,显然,综合深度信息较第一深度信息能够更全面地体现该物体的深度信息。
请参阅图4,在某些实施方式中,步骤01包括步骤:
011:提取可见光图像中所有被摄物的轮廓线;
012:根据可见光摄像头10的视场范围与深度摄像头20的视场范围的重叠关系提取重叠曲线;
013:判断重叠曲线是否穿过轮廓线;和
014:在重叠曲线穿过轮廓线时,标记被摄物为同时处于重合区域和非重合区域的物体。
请参阅图5,在某些实施方式中,判断模块201包括第一提取单元2011、第二提取单元2012、判断单元2013和标记单元2014。第一提取单元2011、第二提取单元2012、判断单元2013和标记单元2014可分别用于实施步骤011、012、013和014。也就是说,第一提取单元2011可用于提取可见光图像中所有被摄物的轮廓线。第二提取单元2012可用于根据可见光摄像头10的视场范围与深度摄像头20的视场范围的重叠关系提取重叠曲线。判断单元2013可用于判断重叠曲线是否穿过轮廓线。标记单元2014可用于在重叠曲线穿过轮廓线时,标记被摄物为同时处于重合区域和非重合区域的物体。
请参阅图3,在某些实施方式中,处理器30可用于实施步骤011、012、013和014。也就是说,处理器30可用于提取可见光图像中所有被摄物的轮廓线;根据可见光摄像头10的视场范围与深度摄像头20的视场范围的重叠关系提取重叠曲线;判断重叠曲线是否穿过轮廓线;和在重叠曲线穿过轮廓线时,标记被摄物为同时处于重合区域和非重合区域的物体。
如此,可以通过被摄物的轮廓线、可见光摄像头10的视场范围与深度摄像头20的视场范围的重叠关系确定同时处于重合区域和非重合区域的物体。
具体地,被摄物的轮廓线可以通过sobel算子、prewitt算子、canny算子等算法检测获得。根据可见光摄像头10的视场范围、深度摄像头20的视场范围,及可见光摄像头10和深度摄像头20的位置关系可以确定可见光摄像头10的视场范围与深度摄像头20的视场范围的重叠关系,根据该重叠关系可以确定可见光图像的重合区域和非重合区域,其中,分隔重合区域和非重合区域的曲线可称作重叠曲线,判断该重叠曲线是否穿过被摄物的轮廓线,在该重叠曲线穿过该被摄物的轮廓线时,说明该被摄物是同时处于重合区域和非重合区域的物体。
在某些实施方式中,可以通过提取可见光图像中所有被摄物的轮廓线以确定每个被摄物在可见光图像中的对应区域,并判断每个被摄物的对应区域是否部分具有深度信息且部分没有深度信息,若是,则判断该被摄物是同时处于重合区域和非重合区域的物体。
请参阅图6,在某些实施方式中,步骤02包括步骤:
021:根据可见光图像与深度图像的对应关系获取深度图像与重合区域的物体对应的深度数据作为第一深度信息。
请参阅图7,在某些实施方式中,第一获取模块202包括第一获取单元2021,第一获取单元2021可用于实施步骤031。也就是说,第一获取单元2021可用于根据可见光图像与深度图像的对应关系获取深度图像与重合区域的物体对应的深度数据作为第一深度信息。
请参阅图3,在某些实施方式中,处理器30可用于实施步骤021。也就是说,处理器30可用于根据可见光图像与深度图像的对应关系获取深度图像与重合区域的物体对应的深度数据作为第一深度信息。
具体地,由于重合区域为深度图像与可见光图像重合的区域,因此,可以根据可见光图像与深度图像的对应关系确定物体在深度图像中的位置,并提取深度图像中该位置的深度信息作为物体的第一深度信息。
请参阅图8,在某些实施方式中,步骤03包括步骤:
031:依据颜色将处于非重合区域的物体划分为多个第一子区域;
032:查找处于重合区域的物体中与第一子区域颜色相同的第二子区域;和
033:获取第二子区域的第一深度信息以作为第一子区域的第二深度信息。
请参阅图9,在某些实施方式中,第二获取模块203包括划分单元2031、查找单元2032和第二获取单元2033。划分单元2031、查找单元2032和第二获取单元2033可分别用于实施步骤031、032和033。也就是说,划分单元2031可用于依据颜色将处于非重合区域的物体划分为多个第一子区域。查找单元2032可用于查找处于重合区域的物体中与第一子区域颜色相同的第二子区域。第二获取单元2033可用于获取第二子区域的第一深度信息以作为第一子区域的第二深度信息。
请参阅图3,在某些实施方式中,处理器30可用于实施步骤031、032和033。也就是说,处理器30可用于依据颜色将处于非重合区域的物体划分为多个第一子区域;查找处于重合区域的物体中与第一子区域颜色相同的第二子区域;和获取第二子区域的第一深度信息以作为第一子区域的第二深度信息。
具体地,请结合图10,其中曲线L1的左侧为重合区域,右侧为非重合区域,人物1000的一部分位于重合区域,另一部分位于非重合区域。在本发明实施例中,依据颜色可将非重合区域的该人物1000划分为多个第一子区域,其中区域A1和A2为其中的两个第一子区域,在划分时,可将非重合区域中该人物的颜色相同的像素归入同一个第一子区域中,可以理解,每个第一子区域可能是连续的区域,也可以是由多个间隔的区域组成的区域。
在重合区域中,通过查找该人物1000的可见光图像,可以得到与第一子区域A1的颜色相同的第二子区域B1,与第一子区域A2的颜色相同的第二子区域B2。同时,由于重合区域内该人物1000的第一深度信息通过深度图像可以得到,也就是第二子区域B1和B2的深度信息均为已知,且同一个人物中颜色相同的区域的不同区域的深度有较大的可能是相同的,例如第一子区域A1和第二子区域B1同为该人物1000的脸颊,第一子区域A2和第二子区域B2同为该人物1000的手臂。
因此,可以认为第一子区域A1具有与第二子区域B1相同的深度信息,第一子区域A2具有与第二子区域B2相同的深度信息,也就是可以将第二子区域B1的第一深度信息作为第一子区域A1的第二深度信息,可以将第二子区域B2的第一深度信息作为第一子区域A2的第二深度信息。进一步地,只要能在重合区域的该人物1000的可见光图像中查到到与第一子区域颜色相同的第二子区域,则可以获取完整的该人物1000在非重合区域的第二深度信息。
当然,不同的物体可以分别利用上述步骤031、032和033得到较完整地深度信息,例如如图10所示,获取人物1000的综合深度信息的同时,还可以采用上述的方式获取灯2000的综合深度信息。
请参阅图11,在某些实施方式中,步骤03包括步骤:
034:根据第一深度信息获取物体的深度变化趋势;和
035:根据第一深度信息、深度变化趋势和物体的色彩信息获取所述第二深度信息。
请参阅图12,在某些实施方式中,第二获取模块203包括第三获取单元2034和第四获取单元2035。第三获取单元2034和第四获取单元2035可用于分别实施步骤034和035。也就是说,第三获取单元2034可用于根据第一深度信息获取物体的深度变化趋势。第四获取单元2035可用于根据第一深度信息、深度变化趋势和物体的色彩信息获取所述第二深度信息。
请参阅图3,在某些实施方式中,处理器30可用于实施步骤034和035。也就是说,处理器30可用于根据第一深度信息获取物体的深度变化趋势;和根据第一深度信息、深度变化趋势和物体的色彩信息获取所述第二深度信息。
具体地,请结合图13,其中曲线L2的左侧为重合区域,右侧为非重合区域,物体3000的一部分位于重合区域,另一部分位于非重合区域。以获取物体3000的一个表面3001的综合深度信息为例,在重合区域内,该表面3001的第一深度信息为曲线S1所示,由该曲线S1可知,该表面3001在不同的横向位置中,第一深度信息按照一定的深度变化趋势变化,例如按照一定的斜率变化。
由该表面3001的色彩信息可以得知该表面3001为连续的表面,该表面3001在非重合区域的第二深度信息的变化很可能依旧按照上述的变化趋势变化,因此,可以进一步结合上述的变化趋势和第一深度信息获取该表面3001在非重合区域的第二深度信息,也就是如图13中代表表面3001的第二深度信息的曲线S2所示。
当然,图13仅作为示例性说明,其中第一深度信息的变化趋势针对不同的物体可能有所不同。
请参阅图14,本发明实施方式还公开了一种计算机可读存储介质300。一个或多个计算机可读存储介质300用于存储一个或多个计算机可执行指令400。当一个或多个计算机可执行指令400被一个或多个处理器500执行时,一个或多个处理器500执行上述任一实施方式的深度获取方法。例如,当计算机可执行指令400被处理器500执行时,处理器500执行步骤:01:判断可见光图像中是否存在同时处于重合区域和非重合区域的物体;02:在可见光图像中存在同时处于重合区域和非重合区域的物体时,根据深度图像获取处于重合区域的物体的深度信息作为第一深度信息;03:根据第一深度信息和非重合区域的物体的色彩信息获取处于非重合区域的物体的深度信息作为第二深度信息;和04:根据第一深度信息和第二深度信息获取物体的综合深度信息。
请参阅图15,本发明实施方式提供一种计算机设备100。计算机设备100可以是手机、平板电脑、智能手表、智能手环、智能穿戴设备等,在本发明实施例中,以计算机设备100是手机为例进行说明,可以理解,计算机设备100的具体形式并不限于手机。计算机设备100包括可见光摄像头10、深度摄像头20、处理器30、结构光投射器40、红外补光灯50和存储器60。在如图15的所示的实施例中,深度摄像头20的具体形式为红外摄像头21,处理器30包括微处理器31和应用处理器(Application Processor,AP)32。
目标物体的可见光图像可以由可见光摄像头10采集,可见光摄像头10可通过集成电路(Inter-Integrated Circuit,I2C)总线70、移动产业处理器接口(Mobile IndustryProcessor Interface,MIPI)11与应用处理器32连接。应用处理器32可用于使能可见光摄像头10、关闭可见光摄像头10或重置可见光摄像头10。可见光摄像头10可用于采集彩色图像,应用处理器32通过移动产业处理器接口11从可见光摄像头10中获取彩色图像,并将该彩色图像存入非可信执行环境(Rich Execution Environment,REE)321中。
目标物体的红外图像可以由红外光摄像头21采集,红外光摄像头21可以与应用处理器32连接,应用处理器32可用于控制红外光摄像头21的电源启闭、关闭(pwdn)红外光摄像头21或重置(reset)红外光摄像头21;同时,红外光摄像头21还可以与微处理器31连接,微处理器31与红外光摄像头21可以通过集成电路总线70连接,微处理器31可以给红外光摄像头21提供采集红外图像的时钟信号,红外光摄像头21采集的红外图像可以通过移动产业处理器接口311传输到微处理器31中。红外补光灯50可用于向外发射红外光,红外光被用户反射后被红外光摄像头21接收,红外补光灯50与应用处理器32可以通过集成电路总线70连接,应用处理器32可用于使能红外补光灯50,红外补光灯50还可以与微处理器31连接,具体地,红外补光灯50可以连接在微处理器31的脉冲宽度调制接口(Pulse Width Modulation,PWM)312上。
结构光投射器40可向目标物体投射激光。结构光投射器40可以与应用处理器32连接,应用处理器32可用于使能结构光投射器40并通过集成电路总线70连接;结构光投射器40还可以与微处理器31连接,具体地,结构光投射器40可以连接在微处理器31的脉冲宽度调制接口312上。
微处理器31可以是处理芯片,微处理器31与应用处理器32连接,具体地,应用处理器32可用于重置微处理器31、唤醒(wake)微处理器31、纠错(debug)微处理器31等,微处理器31可通过移动产业处理器接口311与应用处理器32连接,具体地,微处理器31通过移动产业处理器接口311与应用处理器32的可信执行环境(Trusted Execution Environment,TEE)322连接,以将微处理器31中的数据直接传输到可信执行环境322中存储。其中,可信执行环境322中的代码和内存区域都是受访问控制单元控制的,不能被非可信执行环境321中的程序所访问,可信执行环境322和非可信执行环境321均可以形成在应用处理器32中。
微处理器31可以通过接收红外光摄像头21采集的红外图像以获取红外图像,微处理器31可将该红外图像通过移动产业处理器接口311传输至可信执行环境322中,从微处理器31中输出的红外图像不会进入到应用处理器32的非可信执行环境321中,而使得该红外图像不会被其他程序获取,提高计算机设备100的信息安全性。存储在可信执行环境322中的红外图像可作为红外模板。
微处理器31控制结构光投射器40向目标物体投射激光后,还可以控制红外光摄像头21采集由目标物体调制后的激光图案,微处理器31再通过移动产业处理器接口311获取该激光图案。微处理器31处理该激光图案以得利深度图像,具体地,微处理器31中可以存储有结构光投射器40投射的激光的标定信息,微处理器31通过处理激光图案与该标定信息得到目标物体不同位置的深度信息并形成深度图像。得到深度图像后,再通过移动产业处理器接口311传输至可信执行环境322中。存储在可信执行环境322中的深度图像可作为深度模板。
计算机设备100中,将获取得到的红外模板和深度模板均存储在可信执行环境322中,在可信执行环境322中的验证模板不易被篡改和盗用,计算机设备100内的信息的安全性较高。
存储器60与微处理器31和应用处理器32均连接。存储器60中储存有计算机可读指令61,计算机可读指令61被处理器30执行时,处理器30执行上述任一实施方式的深度获取方法。具体地,可以是微处理器31执行步骤01、02、03、04、05、06、07、08、09、011、012、013、014、021、031、032、033、034和035;可以是应用处理器32执行步骤01、02、03、04、05、06、07、08、09、011、012、013、014、021、031、032、033、034和035;也可以是微处理器31执行步骤01、02、03、04、05、06、07、08、09、011、012、013、014、021、031、032、033、034和035中的至少一个步骤,且应用处理器32执行步骤01、02、03、04、05、06、07、08、09、011、012、013、014、021、031、032、033、034和035中剩余的步骤。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (13)

1.一种深度获取方法,用于电子装置,所述电子装置包括可见光摄像头和深度摄像头,所述可见光摄像头的视场范围与所述深度摄像头的视场范围部分重叠,所述可见光摄像头用于采集可见光图像,所述深度摄像头用于采集深度图像,所述可见光图像包括与所述深度图像重合的重合区域和与所述深度图像不重合的非重合区域,其特征在于,所述深度获取方法包括:
判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体;
在所述可见光图像中存在同时处于所述重合区域和所述非重合区域的物体时,根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息;
根据所述第一深度信息和所述非重合区域的所述物体的色彩信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息;和
根据所述第一深度信息和所述第二深度信息获取所述物体的综合深度信息。
2.根据权利要求1所述的深度获取方法,其特征在于,所述判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体包括:
提取所述可见光图像中所有被摄物的轮廓线;
根据所述可见光摄像头的视场范围与所述深度摄像头的视场范围的重叠关系提取重叠曲线;
判断所述重叠曲线是否穿过所述轮廓线;和
在所述重叠曲线穿过所述轮廓线时,标记所述被摄物为同时处于所述重合区域和所述非重合区域的所述物体。
3.根据权利要求1所述的深度获取方法,其特征在于,所述根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息包括:
根据所述可见光图像与所述深度图像的对应关系获取所述深度图像与所述重合区域的所述物体对应的深度数据作为所述第一深度信息。
4.根据权利要求1所述的深度获取方法,其特征在于,所述根据所述第一深度信息和所述非重合区域的所述物体的色彩信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息包括:
依据颜色将处于所述非重合区域的所述物体划分为多个第一子区域;
查找处于所述重合区域的所述物体中与所述第一子区域颜色相同的第二子区域;和
获取所述第二子区域的所述第一深度信息以作为所述第一子区域的所述第二深度信息。
5.根据权利要求1所述的深度获取方法,其特征在于,所述根据所述第一深度信息和所述非重合区域的所述物体的色彩信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息包括:
根据所述第一深度信息获取所述物体的深度变化趋势;和
根据所述第一深度信息、所述深度变化趋势和所述物体的色彩信息获取所述第二深度信息。
6.一种深度获取装置,用于电子装置,所述电子装置包括可见光摄像头和深度摄像头,所述可见光摄像头的视场范围与所述深度摄像头的视场范围部分重叠,所述可见光摄像头用于采集可见光图像,所述深度摄像头用于采集深度图像,所述可见光图像包括与所述深度图像重合的重合区域和与所述深度图像不重合的非重合区域,其特征在于,所述深度获取装置包括:
判断模块,用于判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体;
第一获取模块,用于在所述可见光图像中存在同时处于所述重合区域和所述非重合区域的物体时,根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息;
第二获取模块,用于根据所述第一深度信息和所述非重合区域的所述物体的色彩信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息;和
第三获取模块,用于根据所述第一深度信息和所述第二深度信息获取所述物体的综合深度信息。
7.一种电子装置,包括可见光摄像头和深度摄像头,所述可见光摄像头的视场范围与所述深度摄像头的视场范围部分重叠,所述可见光摄像头用于采集可见光图像,所述深度摄像头用于采集深度图像,所述可见光图像包括与所述深度图像重合的重合区域和与所述深度图像不重合的非重合区域,其特征在于,所述电子装置还包括与所述可见光摄像头和所述深度摄像头均连接的处理器,所述处理器用于:
判断所述可见光图像中是否存在同时处于所述重合区域和所述非重合区域的物体;
在所述可见光图像中存在同时处于所述重合区域和所述非重合区域的物体时,根据所述深度图像获取处于所述重合区域的所述物体的深度信息作为第一深度信息;
根据所述第一深度信息和所述非重合区域的所述物体的色彩信息获取处于所述非重合区域的所述物体的深度信息作为第二深度信息;和
根据所述第一深度信息和所述第二深度信息获取所述物体的综合深度信息。
8.根据权利要求7所述的电子装置,其特征在于,所述处理器还用于:
提取所述可见光图像中所有被摄物的轮廓线;
根据所述可见光摄像头的视场范围与所述深度摄像头的视场范围的重叠关系提取重叠曲线;
判断所述重叠曲线是否穿过所述轮廓线;和
在所述重叠曲线穿过所述轮廓线时,标记所述被摄物为同时处于所述重合区域和所述非重合区域的所述物体。
9.根据权利要求7所述的电子装置,其特征在于,所述处理器还用于:
根据所述可见光图像与所述深度图像的对应关系获取所述深度图像与所述重合区域的所述物体对应的深度数据作为所述第一深度信息。
10.根据权利要求7所述的电子装置,其特征在于,所述处理器还用于:
依据颜色将处于所述非重合区域的所述物体划分为多个第一子区域;
查找处于所述重合区域的所述物体中与所述第一子区域颜色相同的第二子区域;和
获取所述第二子区域的所述第一深度信息以作为所述第一子区域的所述第二深度信息。
11.根据权利要求7所述的电子装置,其特征在于,所述处理器还用于:
根据所述第一深度信息获取所述物体的深度变化趋势;和
根据所述第一深度信息、所述深度变化趋势和所述物体的色彩信息获取所述第二深度信息。
12.一种计算机可读存储介质,用于存储一个或多个计算机可执行指令,当所述一个或多个计算机可执行指令被一个或多个处理器执行时,使得所述一个或多个处理器执行权利要求1至5中任一项所述的深度获取方法。
13.一种计算机设备,包括存储器及处理器,所述存储器中储存有计算机可读指令,所述计算机可读指令被所述处理器执行时,使得所述处理器执行权利要求1至5中任一项所述的深度获取方法。
CN201810574774.3A 2018-06-06 2018-06-06 深度获取方法和装置、电子装置、计算机设备和存储介质 Active CN108777784B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201810574774.3A CN108777784B (zh) 2018-06-06 2018-06-06 深度获取方法和装置、电子装置、计算机设备和存储介质
PCT/CN2019/080517 WO2019233169A1 (zh) 2018-06-06 2019-03-29 图像处理方法和装置、电子装置、计算机设备和存储介质
EP19814071.7A EP3798968B1 (en) 2018-06-06 2019-03-29 Image processing method and device, electronic device, computer apparatus, and storage medium
US16/951,434 US20210074010A1 (en) 2018-06-06 2020-11-18 Image-Processing Method and Electronic Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810574774.3A CN108777784B (zh) 2018-06-06 2018-06-06 深度获取方法和装置、电子装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN108777784A true CN108777784A (zh) 2018-11-09
CN108777784B CN108777784B (zh) 2019-09-06

Family

ID=64024589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810574774.3A Active CN108777784B (zh) 2018-06-06 2018-06-06 深度获取方法和装置、电子装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN108777784B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109544616A (zh) * 2018-12-11 2019-03-29 维沃移动通信有限公司 一种深度信息确定方法和终端
CN110335216A (zh) * 2019-07-09 2019-10-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
WO2019233169A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子装置、计算机设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923728A (zh) * 2009-06-16 2010-12-22 三星电子株式会社 将二维图像转换为三维图像的转换装置及方法
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
CN104346816A (zh) * 2014-10-11 2015-02-11 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统
US20170337703A1 (en) * 2016-05-17 2017-11-23 Wistron Corporation Method and system for generating depth information

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923728A (zh) * 2009-06-16 2010-12-22 三星电子株式会社 将二维图像转换为三维图像的转换装置及方法
CN102609941A (zh) * 2012-01-31 2012-07-25 北京航空航天大学 基于ToF深度相机的三维注册方法
CN105530503A (zh) * 2014-09-30 2016-04-27 光宝科技股份有限公司 深度图建立方法与多镜头相机系统
CN104346816A (zh) * 2014-10-11 2015-02-11 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
US20170337703A1 (en) * 2016-05-17 2017-11-23 Wistron Corporation Method and system for generating depth information
CN107396080A (zh) * 2016-05-17 2017-11-24 纬创资通股份有限公司 产生深度信息的方法及系统

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233169A1 (zh) * 2018-06-06 2019-12-12 Oppo广东移动通信有限公司 图像处理方法和装置、电子装置、计算机设备和存储介质
EP3798968B1 (en) * 2018-06-06 2024-07-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Image processing method and device, electronic device, computer apparatus, and storage medium
CN109544616A (zh) * 2018-12-11 2019-03-29 维沃移动通信有限公司 一种深度信息确定方法和终端
CN110335216A (zh) * 2019-07-09 2019-10-15 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质
CN110335216B (zh) * 2019-07-09 2021-11-30 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、终端设备及可读存储介质

Also Published As

Publication number Publication date
CN108777784B (zh) 2019-09-06

Similar Documents

Publication Publication Date Title
CN108769476B (zh) 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
US20190392640A1 (en) Presentation of augmented reality images at display locations that do not obstruct user's view
CN108769649B (zh) 深度处理器和三维图像设备
CN108777784B (zh) 深度获取方法和装置、电子装置、计算机设备和存储介质
CN108881691A (zh) 控制方法、微处理器、计算机可读存储介质及计算机设备
CN110168562B (zh) 基于深度的控制方法、基于深度的控制装置和电子装置
CN108961195A (zh) 图像处理方法及装置、图像采集装置、可读存储介质和计算机设备
CN108876708A (zh) 图像处理方法、装置、电子设备和存储介质
JP7480882B2 (ja) 情報処理装置、認識支援方法およびコンピュータプログラム
CN103544472B (zh) 一种基于手势图像的处理方法及处理装置
US8514240B2 (en) Authentication system, authentication program, and method of authentication
CN110049320A (zh) 摄像头遮挡检测方法、装置、电子设备及存储介质
CN102880876B (zh) 一种印章校验方法
CN106339694A (zh) 一种图像处理方法、装置及电子设备
CN106991378A (zh) 基于深度的人脸朝向检测方法、检测装置和电子装置
CN108830785A (zh) 背景虚化方法及装置、电子装置、计算机设备和存储介质
CN108965525A (zh) 检测方法和装置、终端、计算机设备和可读存储介质
CN113538321A (zh) 基于视觉的体积测量方法及终端设备
CN107368783A (zh) 活体虹膜检测方法、电子装置和计算机可读存储介质
CN106294678A (zh) 一种智能机器人的话题发起装置及方法
CN108833888A (zh) 深度处理器和三维图像设备
CN112153300A (zh) 多目摄像头曝光方法、装置、设备及介质
CN107301403A (zh) 控制方法、电子装置和计算机可读存储介质
CN108931202A (zh) 检测方法和装置、电子装置、计算机设备和可读存储介质
CN206077542U (zh) 获取场景三维信息的安防网络相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant