CN108711186B - 目标物体制图的方法与装置、身份识别装置和电子设备 - Google Patents

目标物体制图的方法与装置、身份识别装置和电子设备 Download PDF

Info

Publication number
CN108711186B
CN108711186B CN201810631291.2A CN201810631291A CN108711186B CN 108711186 B CN108711186 B CN 108711186B CN 201810631291 A CN201810631291 A CN 201810631291A CN 108711186 B CN108711186 B CN 108711186B
Authority
CN
China
Prior art keywords
dimensional image
target object
information
image
depth information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810631291.2A
Other languages
English (en)
Other versions
CN108711186A (zh
Inventor
田浦延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Fushi Technology Co Ltd
Original Assignee
Shenzhen Fushi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Fushi Technology Co Ltd filed Critical Shenzhen Fushi Technology Co Ltd
Priority to CN201810631291.2A priority Critical patent/CN108711186B/zh
Publication of CN108711186A publication Critical patent/CN108711186A/zh
Application granted granted Critical
Publication of CN108711186B publication Critical patent/CN108711186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/514Depth or shape recovery from specularities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/66Substation equipment, e.g. for use by subscribers with means for preventing unauthorised or fraudulent calling
    • H04M1/667Preventing unauthorised calls from a telephone set
    • H04M1/67Preventing unauthorised calls from a telephone set by electronic means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72463User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions to restrict the functionality of the device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/08Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image

Abstract

本申请公开了一种用于目标物体制图的装置、身份识别装置及电子设备。该装置包括:第一获取模块,用于获取该目标物体的二维图像;第二获取模块,用于获取该目标物体的第一三维图像;和处理模块,用于将该目标物体的二维图像和该第一三维图像进行重构,获得该目标物体的第二三维图像。由该装置获得的第二三维图像具有的信息量较多,因此,该第二三维图像能更真实地反应该目标物体的模样。该身份识别装置及该电子设备包括该用于目标物体制图的装置。

Description

目标物体制图的方法与装置、身份识别装置和电子设备
技术领域
本申请涉及一种图像传感技术领域,尤其涉及一种用于目标物体制图的方法与装置、身份识别装置及电子设备。
背景技术
目前,3D技术的应用场景逐渐增多,比如,物体识别,但是,由于现有图像感测过程中采用的是粗采样方式,导致获得的目标物体的3D图像的信息量相对较少,因此,该3D图像并不能较真实地反应该目标物体的模样,导致识别率降低。
发明内容
本申请实施方式旨在至少解决现有技术中存在的技术问题之一。为此,本申请实施方式需要提供一种用于目标物体制图的方法与装置、身份识别装置及电子设备。
首先,本申请提供一种用于目标物体制图的方法,包括:
步骤S1:获取该目标物体的二维图像;
步骤S2:获取该目标物体的第一三维图像;
步骤S3:将该二维图像与该第一三维图像进行重构,获得该目标物体的第二三维图像。
本申请的用于目标物体制图的方法通过将该目标物体的二维图像与第一三维图像进行重构,来获得该目标物体的第二三维图像。相应地,该第二三维图像的信息量较该第一三维图像的信息量增多,从而,该第二三维图像可以较真实地反应该目标物体的模样。
在某些实施方式中,该二维图像的分辨率大于该第一三维图像的分辨率,该第二三维图像的分辨率大于该第一三维图像的分辨率。
在某些实施方式中,该第二三维图像的分辨率与该二维图像的分辨率相同。
在某些实施方式中,该第二三维图像的深度信息多于该第一三维图像的深度信息。
在某些实施方式中,该二维图像为包括彩色或不包括彩色的灰度图像。
在某些实施方式中,当该二维图像为彩色图时,该第二三维图像包括该二维图像的彩色信息以及灰度信息,或者,当该二维图像为灰度图时,该第二三维图像包括该二维图像的灰度信息。
在某些实施方式中,步骤S1包括:通过投射红外泛光至该目标物体,并捕获由该目标物体反射回来的红外泛光,感测获得该目标物体的二维图像,或/和,利用RGB图像传感器感测获得该目标物体的二维图像。
在某些实施方式中,步骤S2包括:
子步骤S21:通过投射空间结构光至该目标物体,并捕获由该目标物体反射回来的空间结构光,根据捕获的空间结构光感测获得该目标物体的红外图像;和
子步骤S22:根据该红外图像构建出该目标物体的第一三维图像;或
步骤S2包括:
子步骤S21:通过投射时间结构光至该目标物体,并捕获由该目标物体反射回来的时间结构光,根据捕获的时间结构光感测获得该目标物体的红外图像;和
子步骤S22:根据该红外图像构建出该目标物体的第一三维图像;或
步骤S2包括:
子步骤S21:利用设置在不同位置的至少二摄像头分别获得该目标物体的二维图像;和
子步骤S22:根据该至少二摄像头获得的二维图像来构建出该目标物体的第一三维图像。
在某些实施方式中,当子步骤S21中是投射空间结构光至该目标物体时,在子步骤S22中,从该红外图像中提取出空间结构光的图案信息,并根据提取到的空间结构光的图案信息构建出该第一三维图像;或,当子步骤S21中是投射时间结构光至该目标物体时,在子步骤S22中,从该红外图像中提取出该目标物体被该时间结构光投射到的位置处的图案信息,并根据提取到的图案信息构建出该第一三维图像。
在某些实施方式中,在步骤S3中,通过映射的方式,将该第一三维图像与该二维图像转换为在同一坐标系下表征的图像信息,并根据该第一三维图像上已知的深度信息,通过插值运算得到新的深度信息。
在某些实施方式中,该二维图像的横纵坐标信息多于该第一三维图像的横纵坐标信息,经坐标系转换后,该第一三维图像上已知的深度信息分别对应一横纵坐标点,且根据该已知的深度信息,通过插值运算得到未带有已知深度信息的横纵坐标点所对应的深度信息。
在某些实施方式中,该第二三维图像包括该已知的深度信息、该新的深度信息、以及该二维图像上的灰度信息。
在某些实施方式中,当步骤S1中获得的该二维图像为灰度图时,在步骤S3中,根据该已知的深度信息、该新的深度信息、该二维图像上的灰度信息、以及横纵坐标信息重构出该第二三维图像;当步骤S1中获得的该二维图像为彩色图时,在步骤S3中,根据该已知的深度信息、该新的深度信息、该二维图像上的灰度信息和彩色信息、以及横纵坐标信息重构出该第二三维图像。
在某些实施方式中,在步骤S3中,将该第一三维图像向该二维图像所在的坐标系中进行映射,或,将该二维图像向该第一三维图像所在的坐标系中进行映射。
在某些实施方式中,在步骤S1中,当投射红外泛光至目标物体时,该红外泛光的波长范围为[925,955]纳米。
在某些实施方式中,该红外泛光的波长为940纳米。
在某些实施方式中,在子步骤S21中,当投射空间结构光或时间结构光至该目标物体时,该空间结构光或时间结构光的波长范围为[925,955]纳米。
在某些实施方式中,该空间结构光或时间结构光的波长为940纳米。
本申请还提供一种用于目标物体制图的装置,包括:
第一获取模块,用于获取该目标物体的二维图像;
第二获取模块,用于获取该目标物体的第一三维图像;和
处理模块,用于将该目标物体的二维图像和第一三维图像进行重构,获得该目标物体的第二三维图像。
本申请的用于目标物体制图的装置通过将该目标物体的二维图像与第一三维图像进行重构,来获得该目标物体的第二三维图像。相应地,该第二三维图像的信息量较该第一三维图像的信息量增多,从而,该第二三维图像可以较真实地反应该目标物体的模样。
在某些实施方式中,该二维图像的分辨率大于该第一三维图像的分辨率,该第二三维图像的分辨率大于该第一三维图像的分辨率。
在某些实施方式中,该第二三维图像的分辨率与该二维图像的分辨率相同。
在某些实施方式中,该第二三维图像的深度信息多于该第一三维图像的深度信息。
在某些实施方式中,该二维图像为包括颜色或不包括颜色的灰度图像。
在某些实施方式中,当该二维图像为彩色图时,该第二三维图像包括该二维图像的彩色信息以及灰度信息,或者,当该二维图像为灰度图时,该第二三维图像包括该二维图像的灰度信息。
在某些实施方式中,该第一获取模块包括第一投射器和红外图像传感器,该第一投射器用于投射红外泛光至该目标物体,该图像传感器用于捕获由该目标物体反射回来的红外泛光,感测获得该目标物体的二维图像;或者,该第一获取模块包括RGB图像传感器,用于感测获得该目标物体的二维图像。
在某些实施方式中,该第二获取模块包括第二投射器、红外图像传感器、和处理单元,该第二投射器用于投射空间结构光至该目标物体,该红外图像传感器用于捕获由该目标物体反射回来的空间结构光,感测获得该目标物体的红外图像,该处理单元根据该红外图像构建出该目标物体的第一三维图像,或者,该第二投射器用于发射时间结构光至该目标物体,该红外图像传感器用于捕获由该目标物体反射回来的时间结构光,感测获得该目标物体的红外图像,该处理单元根据该红外图像构建出该目标物体的第一三维图像,或者,该第二获取模块包括至少二摄像头,该至少二摄像头设置位置不同,用于分别获取该目标物的二维图像,该处理单元根据该至少二摄像头获得的二维图像来构建出该目标物体的第一三维图像。
在某些实施方式中,当该第二获取模块通过投射空间结构光至该目标物体时,该处理单元从该红外图像中提取出空间结构光的图案信息,并根据提取到的空间结构光的图案信息构建出该第一三维图像,或者,当该第二获取模块通过投射时间结构光至该目标物体时,该处理单元从该红外图像中提取出该目标物体被该时间结构光投射到的位置处的图案信息,并根据提取到的图案信息构建出该第一三维图像。
在某些实施方式中,通过映射的方式,该处理单元将该第一三维图像与该二维图像转换为在同一坐标系下表征的图像信息,并根据该第一三维图像上已知的深度信息,通过插值运算得到新的深度信息。
在某些实施方式中,该二维图像的横纵坐标信息多于该第一三维图像的横纵坐标信息,经坐标系转换后,该第一三维图像上已知的深度信息分别对应一横纵坐标点,且根据该已知的深度信息,该处理单元通过插值运算得到未带有已知深度信息的横纵坐标点所对应的深度信息。
在某些实施方式中,该第二三维图像包括该已知的深度信息、该新的深度信息、以及该二维图像上的灰度信息。
在某些实施方式中,当该第一获取模块获得的该二维图像为灰度图时,该处理单元根据该已知的深度信息、该新的深度信息、该二维图像上的灰度信息、以及横纵坐标信息重构出该第二三维图像;当该第一获取模块获得的该二维图像为彩色图时,该处理单元根据该已知的深度信息、该新的深度信息、该二维图像上的灰度信息和彩色信息、以及横纵坐标信息重构出该第二三维图像。
在某些实施方式中,该处理单元将该第一三维图像向该二维图像所在的坐标系中进行映射,或,该处理单元将该二维图像向该第一三维图像所在的坐标系中进行映射。
在某些实施方式中,当该第一获取模块投射红外泛光至该目标物体时,该红外泛光的波长范围为[925,955]纳米。
在某些实施方式中,该红外泛光的波长为940纳米。
在某些实施方式中,该第二投射器投射的空间结构光或时间结构光的的波长范围为[925,955]纳米。
在某些实施方式中,该空间结构光或时间结构光的波长为940纳米。
本申请还提供一种身份识别装置,其包括识别模块和上述任意一项所述的用于目标物体制图的装置,所述识别模块用于根据该用于目标物体制图的装置获得的第二三维图像对目标物体的身份进行识别。
在某些实施方式中,该身份识别装置包括脸部识别装置。
本申请还提供一种电子设备,包括上述中任意一项所述的用于目标物体制图的装置或者包括上述中任意一项所述的身份识别装置。
在某些实施方式中,当该电子设备包括该身份识别装置时,所述电子设备用于根据该身份识别装置的识别结果来对应控制是否执行相应的功能。
在某些实施方式中,所述相应的功能包括解锁、支付、启动预存的应用程序中的任意一种或几种。
由于该电子设备包括上述的用于目标物体制图的装置或身份识别装置,因此,该电子设备获得的第二三维图像能够较真实地反应该目标物体的模样。相应地,该电子设备的用户体验能够得到提升。
本申请实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请实施方式的实践了解到。
附图说明
本申请实施方式的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1为本申请的三维图像重构方法一实施方式的流程示意图。
图2为环境光的辐射强度与波长之间的关系示意图。
图3为第一三维图像与二维图像的示意图。
图4为图3所示一块最小单元区域的映射图,映射关系为从二维图像到第一三维图像进行映射。
图5为图3所示一块最小单元区域的映射图,映射关系为从第一三维图像到二维图像进行映射。
图6是本申请的三维图像重构装置第一实施方式的结构框图。
图7是本申请的三维图像重构装置第二实施方式的结构框图。
图8是本申请的三维图像重构装置第三实施方式的结构框图。
图9是本申请的身份识别装置一实施方式的结构框图。
图10是本申请的电子设备一实施方式的结构示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
在本申请的描述中,需要理解的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本申请的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通信;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开,下文中对特定例子的部件和设定进行描述。当然,它们仅仅为示例,并且目的不在于限制本申请。此外,本申请可以在不同例子中重复参考数字和/或参考字母,这种重复是为了简化和清楚的目的,其本身不指示所讨论各种实施方式和/或设定之间的关系。
进一步地,所描述的特征、结构可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本申请的实施方式的充分理解。然而,本领域技术人员应意识到,没有所述特定细节中的一个或更多,或者采用其它的结构、组元等,也可以实践本申请的技术方案。在其它情况下,不详细示出或描述公知结构或者操作以避免模糊本申请。
更进一步地,需要提前说明的是,本申请的说明书以及权利要求书中涉及的步骤编号S1、S2、S3、S21、及S22只是为了清楚区分各步骤,并不代表步骤执行的先后顺序。
请参阅图1,图1为本申请用于目标物体制图的方法的一实施方式的流程示意图。该用于目标物体制图的方法例如但不局限于应用在智能终端、医疗、模具、汽车、航天、机器人以及无人机等等领域。该方法包括:
步骤S1:获取目标物体的二维图像;
步骤S2:获取该目标物体的第一三维图像;
步骤S3:将该二维图像与该第一三维图像进行重构,获得该目标物体的第二三维图像。
本申请的用于目标物体制图的方法通过将该目标物体的二维图像与第一三维图像进行重构,来获得该目标物体的第二三维图像。相应地,该第二三维图像的信息量较该第一三维图像的信息量增多,从而,该第二三维图像可以较真实地反应该目标物体的模样。
该目标物体例如为人脸,当然,该目标物体也可为人体其它合适的部位或者其它合适的生物体或非生物体或其中任意几者的组合。
该二维图像的分辨率大于该第一三维图像的分辨率。例如,该二维图像的分辨率为100万,该第一三维图像的分辨率为1万。
相应地,在步骤S3中,通过将该二维图像与该第一三维图像进行重构获得该第二三维图像,该第二三维图像的分辨率能够对应得到提高,因此,该第二三维图像的分辨率大于该第一三维图像的分辨率。该第二三维图像的分辨率例如也可以达到100万。
术语“第一三维图像”,如在本专利申请文件中是指表示目标物体表面的3D坐标集。术语“第二三维图像”,如在本专利申请文件中可以是指表示目标物体表面的3D坐标集。其中,该第二三维图像中的坐标点的数量多于该第一三维图像中的坐标点的数量,每一坐标点包括横坐标(X)、纵坐标(Y)、和深度信息(Z)。因此,该第二三维图像的深度信息多于该第一三维图像的深度信息。
可选地,该第二三维图像除了包括表示目标物体表面的3D坐标集外,其例如还可以包括该二维图像的灰度信息。
进一步地,当该二维图像为彩色图时,该第二三维图像例如进一步包括该二维图像的彩色信息。
可见,经重构后的第二三维图像相比第一三维图像具有更多的信息,因此,该第二三维图像更能较真实地反应该目标物体的模样。
在步骤S1中,例如利用RGB图像传感器感测获得该目标物体的二维图像。又或者,例如利用红外泛光灯投射红外泛光至该目标物体,并利用红外图像传感器捕获由该目标物体反射回来的红外泛光,感测获得该目标物体的二维图像。又或者,将RGB图像传感的方式与投射红外泛光执行传感的方式进行结合,来执行对目标物体的二维图像感测。具体地,例如,在环境光线充足的情况下,采用RGB图像传感的方式进行感测,而在环境光线不足的情况下,采用投射红外泛光执行传感的方式进行感测。
其中,利用RGB图像传感器拍摄得到的二维图像一般被称为彩色图,而采用投射红外泛光、利用红外图像传感器拍摄得到的二维图像一般被称为灰度图。
所述彩色图一般包括目标物体表面的彩色信息,而所述灰度图并不具有彩色信息。
相应地,当该二维图像为彩色图时,该第二三维图像包括该二维图像的彩色信息以及灰度信息,而当该二维图像为灰度图时,该第二三维图像包括该二维图像的灰度信息。
在上述的步骤S1中,列举了二维图像获取的两种方式,但本申请并不以此为限,该步骤S1还可包括获取目标物体的二维图像的其它合适方式。
接下来,步骤S2包括:
子步骤S21:投射空间结构光至该目标物体,并感测获得该目标物体的红外图像;和
子步骤S22:根据该红外图像构建出该目标物体的第一三维图像。
在子步骤S21中,例如利用光源组件投射空间结构光至该目标物体,并利用红外图像传感器捕获由该目标物体反射回来的光线,感测获得该目标物体的红外图像。
所述光源组件投射的空间结构光例如呈网格式、散斑式、条纹式、编码式等图案。在本实施方式中,所述空间结构光为红外光。然,可变更地,在其它实施方式中,所述空间结构光例如也可为可见光或紫外光范围内的辐射带。
在子步骤S22中,处理单元例如通过计算能够从该红外图像中提取出相应的横纵坐标信息以及深度信息,从而能够构建得到该目标物体的第一三维图像。
例如,当投射散斑图案到目标物体上时,该红外图像传感器获得的目标物体的红外图像包括散斑图案的灰度图。在本实施方式中,该处理单元从该红外图像中提取出散斑图案的图像信息,并根据提取到的散斑图案的图像信息来构建出该第一三维图像。因此,该第一三维图像的分辨率为该散斑图案的个数。
一般地,投射到目标物体上散斑图案例如为1万至3万个点。相应地,该第一三维图像的分辨率为1万至3万。
可变更地,在另一实施方式中,该步骤S2包括:
子步骤S21:投射时间结构光至该目标物体,并感测获得该目标物体的红外图像;和
子步骤S22:根据该红外图像构建出该目标物体的第一三维图像。
在子步骤S21中,利用投射器件投射时间结构光至该目标物体,并利用红外图像传感器捕获由该目标物体反射回来的光线,根据飞时测距原理获得时间信息以及感测获得该目标物体的红外图像。
其中,所述投射器件投射的时间结构光例如呈方波、正弦波等形式。所述方波比如是高低变化的脉冲,其中,当有光脉冲发出时则为高电平,无光脉冲发出时则为低电平。在本实施方式中,所述时间结构光为红外光。然,可变更地,在其它实施方式中,所述时间结构光例如也可为可见光或紫外光范围内的辐射带。
在子步骤S22中,处理单元根据时间信息获得目标物体表面的深度信息,并结合获得的红外图像,从而构建出该目标物体的第一三维图像。
其中,所述投射组件投射的时间结构光的点数即为该第一三维图像的分辨率。
可变更地,在又一实施方式中,该步骤S2包括:
子步骤S21:利用设置在不同位置的至少二摄像头分别获得该目标物体的二维图像;和
子步骤S22:根据该至少二摄像头获得的二维图像来构建出该目标物体的第一三维图像。
在此实施方式中,通过双目或多目的感测原理来获得该目标物体的第一三维图像。
其中,双目是指利用设置在位置不同的二摄像头对该目标物体进行图像感测,通过在不同位置获得不同角度的二维图像,处理单元能够分析得到该目标物体表面的深度信息,从而构建成该目标物体的第一三维图像。
多目是指利用设置在位置不同的多个摄像头对该目标物体进行图像感测,通过在不同位置获得不同角度的二维图像,处理单元能够分析得到该目标物体表面的深度信息,从而构建成该目标物体的第一三维图像。
当步骤S1中是利用RGB图像传感器进行感测、而步骤S2中是投射红外光到目标物体时,则步骤S1和步骤S2可同时或分时进行。当步骤S1中是投射红外泛光至该目标物体、且步骤S2中是投射红外光到目标物体时,则步骤S1和步骤S2需分时进行,从而避免红外图像混叠。类似地,当步骤S1中是利用RGB图像传感器进行感测、步骤S2是利用双目或多目的感测原理进行感测时,则步骤S1与步骤S2分时进行。当步骤S1中是投射红外泛光至该目标物体、且步骤S2中是利用双目或多目的感测原理进行感测时,则步骤S1与步骤S2可同时或分时进行。
其中,当步骤S1与步骤S2分时进行时,步骤S1可位于步骤S2之前进行,也可位于步骤S2之后进行。
现有的,业界通常投射波长为850纳米的近红外光,来获得目标物体的红外图像。然而,本申请的发明人经过大量的创造性劳动,分析与研究发现:投射波长为940纳米的红外泛光、940纳米的红外结构光进行感测,可以获得较准确的感测效果。
请一并参阅图2,图2为环境光的辐射强度与波长之间的关系示意图。其中,波长用横轴表示,且被标示为字母λ,辐射强度用纵轴表示,且被标示为字母E。发明人通过理论研究、结合大量的实验测试、验证并反复进行分析与研究等,创造性地发现:环境光中波长范围为[920,960]纳米的近红外光易被大气吸收、强度衰减较大,当步骤S1投射波长范围为[920,960]纳米的红外泛光到目标物体,根据捕获的红外泛光获得该目标物体的二维图像时,能够少受环境光的干扰,从而提高图像的获取精度。类似地,当步骤S2投射波长范围为[920,960]纳米的空间结构光或时间结构光到目标物体,根据捕获的空间结构光或时间结构光获得该目标物体的红外图像时,能够少受环境光的干扰,从而提高图像的获取精度。
进一步地,在波长范围为[920,960]纳米的红外光中,波长为940纳米的近红外光更易被大气吸收、强度衰减最大,因此,在本申请的实施方式中,步骤S1投射的红外泛光的波长优选为940纳米,步骤S2投射的空间结构光或时间结构光的波长优选为940纳米。
然而,在实际应用中,步骤S1所投射的红外泛光的波长和步骤S2所投射的空间结构光或时间结构光的波长在940纳米的基础上会有一定的偏差,例如会有(+15)纳米或(-15)纳米左右的偏差。因此,步骤S1投射的红外泛光的波长范围例如为[925,955]纳米,步骤S2投射的红外结构光的波长范围例如为[925,955]纳米。可见,该波长范围[925,955]仍然落在波长范围[920,960]内。
需要说明的是,步骤S1所投射的红外泛光的波长和步骤S2所投射的空间结构光或时间结构光的波长为落在上述波长范围[920,960]纳米中的任意一数值。本申请为了叙述简洁清楚,在此处并未一一列举各具体数值,但落在这波长范围[920,960]纳米中的任意一数值都是可行的。
当然,可变更地,本申请的用于目标物体制图的方法的步骤S1和步骤S2也可采用波长为850纳米或者其它合适波长的红外泛光、红外结构光进行感测。
在步骤S3中,将该二维图像与该第一三维图像进行重构的方法包括:通过映射的方式,将该第一三维图像与该二维图像转换为在同一坐标系下表征的图像信息,并根据该第一三维图像上已知的深度信息,通过插值运算得到新的深度信息。
请一并参见图3,图3为第一三维图像与二维图像的示意图。无论采取何种投射方式得到的第一三维图像,其所包含的深度信息都需要被转换成可以与二维图像在相同坐标体系下进行表征的深度信息。在相同坐标体系X-Y-Z下,第一三维图像提供了目标物体的空间深度信息,二维图像例如提供了该目标物体的横纵坐标信息和灰度信息。其中,深度信息即为Z方向的尺寸大小。
需要注意的是,二维图像实际上至少包含了三个维度的信息:X坐标,Y坐标,以及被拍摄的目标物体的灰度信息。如果该二维图像为彩色图,该二维图像进一步包括彩色信息。
该二维图像的分辨率大于该第一三维图像的分辨率,相应地,该二维图像的横纵坐标信息多于该第一三维图像的横纵坐标信息,经坐标系转换后,该第一三维图像上已知的深度信息分别对应一横纵坐标点,且根据该已知的深度信息,通过插值运算得到未带有已知深度信息的横纵坐标点所对应的深度信息。
可见,经映射与插值运算后得到的深度信息增加。该深度信息的个数例如与二维图像的分辨率个数相同或相近。然,本申请并不限制该深度信息的个数与二维图像的分辨率的个数相同或相近,该深度信息的个数也可根据实际需要对应增加,例如,该深度信息的个数为二维图像的分辨率的一半等等都是可以的。
当步骤S1中获得的该二维图像为灰度图时,在步骤S3中,例如根据该已知的深度信息、该新的深度信息、该二维图像上的灰度信息、以及横纵坐标信息重构出该第二三维图像;当步骤S1中获得的该二维图像为彩色图时,在步骤S3中,例如根据该已知的深度信息、该新的深度信息、该二维图像上的灰度信息和彩色信息、以及横纵坐标信息重构出该第二三维图像。
可见,该第二三维图像的信息量较该第一三维图像的信息量大增,其更能真实地反应该目标物体的模样。
请参见图4,图4为图3所示的一块最小单元区域的映射图,映射关系为从二维图像到第一三维图像进行映射。首先,在二维图像上选取一块最小单元区域,四个顶点分别为(X,Y),(X,Y+1),(X+1,Y),(X+1,Y+1),然后在该第一三维图像上寻找与该最小单元区域相对应区域,该对应区域的四个顶点的横纵坐标信息分别是(X,Y),(X,Y+1),(X+1,Y),(X+1,Y+1)。其中,X、Y例如均为大于0的整数。在本申请中,顶点的坐标选取也可根据实际需要选择,并不限于整数,且也并不限于间隔为1的选择。当然,对于数字图像,X、Y通常为整数,且相邻坐标间隔一般选择为1。然,本申请并不对参数做特别的限制,厂商可根据实际需要进行相应参数的设置。上述寻找对应区域的方式是将该第一三维图像与该二维图像放在同一坐标系,然后通过映射的方式进行,但本申请并不对寻找的方式进行限制,也可为其它合适的寻找方式。
如果该对应区域的顶点的深度信息Z是已知的,则直接采用已知的深度信息Z。
如果该对应区域的顶点的深度信息Z是未知的,则通过插值运算,利用已知的深度信息Z计算获得新的深度信息Z’,比如,以该顶点周围的几个点的已知深度信息Z来进行运算。
在获得新深度信息Z’的过程中,除了插值运算,例如还可包括平滑滤波等信号处理。
需要说明的是,已知的深度信息Z就是在构建该第一三维图像时获得的各深度信息。
另外,需要说明的是,为了清楚明了,在从二维图像往第一三维图像上进行映射时,第一三维图像上的对应区域的顶点坐标被分别标示为与二维图像上的各顶点坐标对应相同。然而,在实际处理时,由于第一三维图像和二维图像的分辨率不同,因此,如果按照各自对X、Y坐标的划分,1万个像素区域的X、Y坐标的大小划分与100万个像素区域的X、Y坐标的大小划分是不同的,相应地,第一三维图像上的顶点与二维图像上相对应的顶点坐标较可能并不相同。
当坐标不同时,经坐标系转换后,例如选用二维图像的X、Y坐标进行统一标注。
如此,重复上述方式或步骤,对于该二维图像上的各最小单元区域,获得该第一三维图像上的各对应区域的顶点的深度信息Z或Z’。另外,结合二维图像的横纵坐标信息以及灰度信息等,重构出该第二三维图像。可见,该第二三维图像的分辨率以及信息量得到明显提升。因此,该第二三维图像能更准确地体现该目标物体的模样。
上述只是本申请的方法获得新深度信息的一种实施方式,当然,对于新深度信息的获取也可采用其它合适的转换方式,本申请对此并不做限制。
上面的实施例是从二维图像到第一三维图像的映射,然,可变更地,也可从第一三维图像到二维图像进行映射,例如参见图5,首先,在第一三维图像上选取一块最小单元区域,四个顶点分别为(X,Y),(X,Y+△),(X+△,Y),(X+△,Y+△),然后在该二维图像上寻找与该最小单元区域相对应区域,该对应区域的四个顶点的横纵坐标信息分别是(X,Y),(X,Y+△),(X+△,Y),(X+△,Y+△),其中,△为大于1的整数,在实施例中,以相邻坐标间隔为1来计算的话,△例如但并不局限于等于6。
由于第一三维图像的每个像素区域较大,而二维图像上的每个像素区域较小,因此,该二维图像上的每个对应区域会包含多个像素区域。图5中的二维图像上的每个小方格代表一个像素区域。
当第一三维图像的像素区域的顶点经投影与二维图像的像素区域的顶点重合时,则该二维图像上的该顶点的深度信息直接采用该第一三维图像上的顶点的已知深度信息Z,不需要再进行插值运算获得,否则,需要经过插值运算获得新深度信息Z’。
在获得新深度信息Z’的过程中,除了插值运算,例如还可包括平滑滤波等信号处理。
需要说明的是,已知的深度信息Z就是在构建该第一三维图像时获得的各深度信息。
另外,需要说明的是,为了清楚明了,在从第一三维图像往二维图像上进行映射时,二维图像上的对应区域的顶点坐标被分别标示为与第一三维图像上的各顶点坐标对应相同。然而,在实际处理时,由于二维图像和第一三维图像的分辨率不同,因此,如果按照各自对X、Y坐标的划分,100万个像素区域的X、Y坐标的大小划分与1万个像素区域的X、Y坐标的大小划分是不同的,相应地,二维图像上的顶点与第一三维图像上相对应的顶点坐标较可能并不相同。
当坐标不同时,经坐标系转换后,例如选用二维图像的X、Y坐标进行统一标注,或者是采用第一三维图像的横纵坐标,并结合新的横纵坐标进行统一标注等等也是可行的。
如此,重复上述方式或步骤,将该第一三维图像的深度信息转换成与该二维图像在相同坐标体系下进行表征的深度信息,并通过插值运算得到新的深度信息Z’。另外,结合二维图像的横纵坐标信息以及灰度信息等,重构出该第二三维图像。可见,该第二三维图像的分辨率以及信息量得到明显提升。因此,该第二三维图像能更准确地体现该目标物体的模样。
另外,基于插值运算得到后的三维坐标信息,可再进一步进行插值等运算处理,获得具有更高分辨率的第二三维图像。
请参阅图6,图6是本申请用于目标物体制图的装置的第一实施方式的结构框图。该用于目标物体制图的装置100包括第一获取模块10、第二获取模块12、和处理模块14。其中,该第一获取模块10用于获取目标物体的二维图像。该第二获取模块12用于获取该目标物体的第一三维图像。该处理模块14用于将该目标物体的二维图像和第一三维图像进行重构,获得该目标物体的第二三维图像。
本申请的用于目标物体制图的装置100通过将该目标物体的二维图像与第一三维图像进行重构,来获得该目标物体的第二三维图像。相应地,该第二三维图像的信息量较该第一三维图像的信息量增多,从而,该第二三维图像可以较真实地反应该目标物体的模样。
该用于目标物体制图的装置100可应用在智能终端、医疗、模具、汽车、航天、机器人以及无人机等等领域。
该目标物体例如为人脸,当然,该目标物体也可为人体其它合适的部位或者其它合适的生物体或非生物体或其中任意几者的组合。
该二维图像的分辨率大于该第一三维图像的分辨率。例如,该二维图像的分辨率为100万,该第一三维图像的分辨率为1万。
相应地,该处理模块14通过将该二维图像与该第一三维图像进行重构获得该第二三维图像,该第二三维图像的分辨率能够对应得到提高,因此,该第二三维图像的分辨率大于该第一三维图像的分辨率。该第二三维图像的分辨率例如也可以达到100万。
术语“第一三维图像”,如在本专利申请文件中是指表示目标物体表面的3D坐标集。术语“第二三维图像”,如在本专利申请文件中可以是指表示目标物体表面的3D坐标集。其中,该第二三维图像中的坐标点的数量多于该第一三维图像中的坐标点的数量,每一坐标点包括横坐标(X)、纵坐标(Y)、和深度信息(Z)。因此,该第二三维图像的深度信息多于该第一三维图像的深度信息。
可选地,该第二三维图像除了包括表示目标物体表面的3D坐标集外,其例如还可以包括该二维图像的灰度信息。
当该二维图像为彩色图时,该第二三维图像例如进一步包括该二维图像的彩色信息。
可见,经重构后的第二三维图像相比第一三维图像具有更多的信息,因此,该第二三维图像更能较真实地反应该目标物体的模样。
在第一实施方式中,该第一获取模块10包括第一投射器101和红外图像传感器103。该第一投射器101用于投射红外泛光至该目标物体。该红外图像传感器103用于捕获由该目标物体反射回来的红外泛光,并根据捕获的红外泛光感测获得该目标物体的二维图像。该第一投射器101例如但不局限于红外泛光灯。
所述二维图像为不具彩色信息的灰度图。
该第二获取模块12包括第二投射器121、红外图像传感器123、和处理单元125。该第二投射器121用于投射空间结构光至该目标物体。该红外图像传感器123用于捕获由该目标物体反射回来的光线,感测获得该目标物体的红外图像。该处理单元125根据该红外图像构建出该目标物体的第一三维图像。
该第二投射器121投射的空间结构光例如呈网格式、散斑式、条纹式、编码式等图案。在本实施方式中,所述空间结构光为红外光。然,可变更地,在其它实施方式中,所述空间结构光例如也可为可见光或紫外光范围内的辐射带。相应地,该红外图像传感器123也要做对应调整。
该第二投射器121例如包括光源、准直镜头以及光学衍射元件(DOE),其中光源用于产生一红外激光束;准直镜头将红外激光束进行校准,形成近似平行光;光学衍射元件对校准后的红外激光束进行调制,形成具有预设图案的红外结构光。
举例,当该第二投射器121投射散斑图案到目标物体上时,该红外图像传感器123获得的目标物体的红外图像为包括散斑图案的灰度图。在本实施方式中,该处理单元125从该红外图像中提取出散斑图案的图像信息,并根据提取到的散斑图案的图像信息来构建出该第一三维图像。因此,该第一三维图像的分辨率为该散斑图案的个数。
该处理单元125例如通过计算能够从该散斑图案的图像信息中提取出相应的横纵坐标信息以及深度信息,从而能够构建得到该目标物体的第一三维图像。
一般地,投射到目标物体上散斑图案例如为1万至3万个点。相应地,该第一三维图像的分辨率为1万至3万。
该处理单元125例如可以和该处理模块14进行集成,二者也可为分立的元件。又或者,该处理单元125例如为与红外图像传感器123进行集成。
在本实施方式中,该红外图像传感器103和该红外图像传感器123可以为两个独立的传感器,也可为同一红外图像传感器。当采用同一红外图像传感器时,产品成本可以降低。
为了避免图像混叠,第一投射器101和第二投射器121分时工作。
另外,当第一获取装置10和第二获取装置12分时工作时,该第一获取装置10可先于该第二获取装置12工作,或后于该第二获取装置12工作。
现有的,业界通常投射波长为850纳米的近红外光,来获得目标物体的红外图像。然而,本申请的发明人经过大量的创造性劳动,分析与研究发现:投射波长为940纳米的红外泛光、940纳米的红外结构光进行感测,可以获得较准确的感测效果。
请再参阅图2,发明人通过理论研究、结合大量的实验测试、验证并反复进行分析与研究等,创造性地发现:环境光中波长范围为[920,960]纳米的近红外光易被大气吸收、强度衰减较大,当该第一投射器101投射波长范围为[920,960]纳米的红外泛光到目标物体,根据捕获的红外泛光获得该目标物体的二维图像时,能够少受环境光的干扰,从而提高图像的获取精度。类似地,当该第二投射器121投射波长范围为[920,960]纳米的空间结构光到目标物体,根据捕获的空间结构光获得该目标物体的红外图像时,能够少受环境光的干扰,从而提高图像的获取精度。
进一步地,在波长范围为[920,960]纳米的红外光中,波长为940纳米的近红外光更易被大气吸收、强度衰减最大,因此,在本申请的实施方式中,该第一投射器101投射的红外泛光的波长优选为940纳米,该第二投射器121投射的空间结构光的波长优选为940纳米。
然而,在实际应用中,该第一投射器101所投射的红外泛光的波长和该第二投射器121所投射的空间结构光的波长在940纳米的基础上会有一定的偏差,例如会有(+15)纳米或(-15)纳米左右的偏差。因此,该第一投射器101投射的红外泛光的波长范围例如为[925,955]纳米,该第二投射器121投射的空间结构光的波长范围例如为[925,955]纳米。可见,该波长范围[925,955]仍然落在波长范围[920,960]内。
需要说明的是,该第一投射器101所投射的红外泛光的波长和该第二投射器121所投射的空间结构光的波长为落在上述波长范围[920,960]纳米中的任意一数值。本申请为了叙述简洁清楚,在此处并未一一列举各具体数值,但落在这波长范围[920,960]纳米中的任意一数值都是可行的。
当然,可变更地,本申请的装置100的第一投射器101和第二投射器121也可采用波长为850纳米或者其它合适波长的红外泛光、空间结构光进行感测。
该处理模块14将该二维图像与该第一三维图像进行重构的方法包括:通过映射的方式,将该第一三维图像与该二维图像转换为在同一坐标系下表征的图像信息,并根据该第一三维图像上已知的深度信息,通过插值运算得到新的深度信息。
在相同坐标体系X-Y-Z下,第一三维图像提供了目标物体的空间深度信息,二维图像提供了该目标物体的横纵坐标信息和灰度信息,如图3所示。其中,深度信息即为Z方向的尺寸大小。
需要注意的是,二维图像实际上至少包含了三个维度的信息:X坐标,Y坐标,以及被拍摄的目标物体的灰度信息。
该二维图像的分辨率大于该第一三维图像的分辨率,相应地,该二维图像的横纵坐标信息多于该第一三维图像的横纵坐标信息,经坐标系转换后,该第一三维图像上已知的深度信息分别对应一横纵坐标点,且根据该已知的深度信息,该处理模块14通过插值运算得到未带有已知深度信息的横纵坐标点所对应的深度信息。
可见,经映射与插值运算后得到的深度信息增加。该深度信息的个数例如与二维图像的分辨率个数相同或相近。然,本申请并不限制该深度信息的个数与二维图像的分辨率的个数相同或相近,该深度信息的个数也可实际需要对应增加,例如,为二维图像的分辨率的一半等等都是可以的。
请再参见图4,图4为图3所示的一块最小单元区域的映射图,映射关系为从二维图像到第一三维图像进行映射。首先,该处理模块14在二维图像上选取一块最小单元区域,四个顶点分别为(X,Y),(X,Y+1),(X+1,Y),(X+1,Y+1),然后在该第一三维图像上寻找与该最小单元区域相对应区域,该对应区域的四个顶点的横纵坐标信息分别是(X,Y),(X,Y+1),(X+1,Y),(X+1,Y+1)。其中,X、Y例如均为大于0的整数。在本申请中,顶点的坐标选取也可根据实际需要选择,并不限于整数,且也并不限于间隔为1的选择。当然,对于数字图像,X、Y通常为整数,且相邻坐标间隔一般选择为1。然,本申请并不对参数做特别的限制,厂商可根据实际需要进行相应参数的设置。厂商可根据需要进行相应参数的设置。上述寻找对应区域的方式是将该第一三维图像与该二维图像放在同一坐标系,然后通过映射的方式进行,但本申请并不对寻找的方式进行限制,也可为其它合适的寻找方式。
如果该对应区域的顶点的深度信息Z是已知的,则直接采用已知的深度信息Z。
如果该对应区域的顶点的深度信息Z是未知的,则通过插值运算,利用已知的深度信息Z计算获得新的深度信息Z’,比如,以该顶点周围的几个点的已知深度信息Z来进行运算。
在获得新深度信息Z’的过程中,除了插值运算,例如还可包括平滑滤波等信号处理。
需要说明的是,已知的深度信息Z就是在构建该第一三维图像时获得的各深度信息。
另外,需要说明的是,为了清楚明了,在从二维图像往第一三维图像上进行映射时,第一三维图像上的对应区域的顶点坐标被分别标示为与二维图像上的各顶点坐标对应相同。然而,在实际处理时,由于第一三维图像和二维图像的分辨率不同,因此,如果按照各自对X、Y坐标的划分,1万个像素区域的X、Y坐标的大小划分与100万个像素区域的X、Y坐标的大小划分是不同的,相应地,第一三维图像上的顶点与二维图像上相对应的顶点坐标可能并不相同。
当坐标不同时,经坐标系转换后,例如选用二维图像的X、Y坐标进行统一标注。
如此,重复上述方式或步骤,对于该二维图像上的各最小单元区域,获得该第一三维图像上的各对应区域的顶点的深度信息Z或Z’。另外,结合二维图像的横纵坐标信息以及灰度信息等,重构出该第二三维图像。可见,该第二三维图像的分辨率以及信息量得到明显提升。因此,该第二三维图像能更准确地体现该目标物体的模样。
上述只是本申请的装置100获得新深度信息的一种实施方式,当然,对于新深度信息的获取也可采用其它合适的转换方式,本申请对此并不做限制。
上面的实施例是从二维图像到第一三维图像的映射,然,可变更地,该处理模块14也可从第一三维图像到二维图像进行映射,例如参见图5,首先,在第一三维图像上选取一块最小单元区域,四个顶点分别为(X,Y),(X,Y+△),(X+△,Y),(X+△,Y+△),然后在该二维图像上寻找与该最小单元区域相对应区域,该对应区域的四个顶点的横纵坐标信息分别是(X,Y),(X,Y+△),(X+△,Y),(X+△,Y+△),其中,△为大于1的整数,在实施例中,以相邻坐标间隔为1来计算的话,△例如但并不局限于等于6。
由于第一三维图像的每个像素区域较大,而二维图像上的每个像素区域较小,因此,该二维图像上的每个对应区域会包含多个像素区域。图5中的二维图像上的每个小方格代表一个像素区域。
当第一三维图像的像素区域的顶点经投影与二维图像的像素区域的顶点重合时,则该二维图像上的该顶点的深度信息直接采用该第一三维图像上的顶点的已知深度信息Z,不需要再进行插值运算获得,否则,需要经过插值运算获得新深度信息Z’。
在获得新深度信息Z’的过程中,除了插值运算,例如还可包括平滑滤波等信号处理。
需要说明的是,已知的深度信息Z就是在构建该第一三维图像时获得的各深度信息。
另外,需要说明的是,为了清楚明了,在从第一三维图像往二维图像上进行映射时,二维图像上的对应区域的顶点坐标被分别标示为与第一三维图像上的各顶点坐标对应相同。然而,在实际处理时,由于二维图像和第一三维图像的分辨率不同,因此,如果按照各自对X、Y坐标的划分,100万个像素区域的X、Y坐标的大小划分与1万个像素区域的X、Y坐标的大小划分是不同的,相应地,二维图像上的顶点与第一三维图像上相对应的顶点坐标较可能并不相同。
当坐标不同时,经坐标系转换后,例如选用二维图像的X、Y坐标进行统一标注,或者是采用第一三维图像的横纵坐标,并结合新的横纵坐标进行统一标注等等也是可行的。
如此,重复上述方式或步骤,该处理模块14将该第一三维图像的深度信息转换成与该二维图像在相同坐标体系下进行表征的深度信息,并通过插值运算得到新的深度信息Z’。另外,结合二维图像的横纵坐标信息以及灰度信息等,该处理模块14重构出该第二三维图像。可见,该第二三维图像的分辨率以及信息量得到明显提升。因此,该第二三维图像能更准确地体现该目标物体的模样。
另外,基于插值运算得到后的三维坐标信息,该处理模块14可再进一步进行插值等运算处理,获得具有更高分辨率的第二三维图像。
可变更地,在其它实施方式中,该第二投射器121投射时间结构光至该目标物体,并利用红外图像传感器123捕获由该目标物体反射回来的时间结构光,根据飞时测距原理获得时间信息以及感测获得该目标物体的红外图像。
其中,该第二投射器121投射的时间结构光例如呈方波、正弦波等形式。所述方波比如是高低变化的脉冲,其中,当有光脉冲发出时则为高电平,无光脉冲发出时则为低电平。在本实施方式中,所述时间结构光为红外光。然,可变更地,在其它实施方式中,所述时间结构光例如也可为可见光或紫外光范围内的辐射带。相应地,该红外图像传感器123做对应地调整。
该处理单元125根据获得的时间信息,从而得到该目标物体表面的深度信息,并结合获得的红外图像,从而构建出该目标物体的第一三维图像。
其中,该第二投射器121投射的时间结构光的点数即为该第一三维图像的分辨率。
在该变更实施方式中,该红外图像传感器123和该红外图像传感器103为二不同的元件。
需要说明的,用于投射时间结构光的第二投射器121和用于投射空间结构光121的第二投射器121的结构和工作原理所有不同,用于接收时间结构光的红外图像传感器123和用于空间结构光的红外图像传感器123的结构和工作原理有所不同。
请参阅图7,图7为本申请用于目标物体制图的装置的第二实施方式的结构框图。该装置200与上述的装置100大致相同,二者主要区别在于:该装置200的第一获取模块20包括RGB图像传感器203。该RGB图像传感器203用于感测该目标物体的二维图像。
当该第二投射器201投射空间结构光至该目标物体时,该RGB图像传感器203可与该红外图像传感器223同时或分时工作。
另外,该第一获取模块20也可进一步包括第一投射器101和红外图像传感器103,当环境光较暗时,也可采用红外图像传感器103进行感测。此种情况下,RGB图像传感器203则例如停止工作。
由该RGB图像传感器203获得的该目标物体的二维图像为彩色图。相应地,该处理模块14根据该第一三维图像和该二维图像重构出的第二三维图像可进一步包含该二维图像的彩色信息,因此,该第二三维图像能更进一步反应该目标物体的真实模样。
请参阅图8,图8为本申请用于目标物体制图的装置的第三实施方式的结构框图。该装置300与上述的装置100大致相同,二者主要区别在于:该装置300的第二获取模块32包括摄像头321、摄像头323、和处理单元325。在本实施方式中,该摄像头321与摄像头323设置在不同的位置,从而分别从不同的角度获得该目标物体的二维图像。该处理单元325根据获得二维图像能够分析得到该目标物体表面的深度信息,从而构建出该目标物体的第一三维图像。
在本实施方式中,第二获取模块32是采用双目的感测原理来获得该目标物体的第一三维图像。可变更地,在其它实施方式中,该第二获取模块32也可包括多个摄像头,该多个摄像头对应该目标物体被分别设置在不同的位置。相应地,该第二获取模块32采用多目的感测原理来获得该目标物体的第一三维图像。
请参阅图9,图9为本申请的身份识别装置的一实施方式的结构框图。该身份识别装置400包括识别模块401和上述中任一实施方式所述的用于目标物体制图的装置。以装置100为例进行说明,该识别模块401用于根据该装置100获得的第二三维图像对目标物体的身份进行识别。
由于该身份识别装置400采用了该装置100,而该装置100获取的第二三维图像更能真实地反应目标物体的模样,因此,该身份识别装置400的识别准确率会得到提升。
该身份识别装置400例如但不局限于包括脸部识别装置。
请参阅图10,图10为本申请的电子设备的一实施方式的结构示意图。所述电子设备500例如但不局限于为消费性电子产品、家居式电子产品、车载式电子产品、金融终端产品等合适类型的电子产品。其中,消费性电子产品例如但不局限为手机、平板电脑、笔记本电脑、桌面显示器、电脑一体机等。家居式电子产品例如但不局限为智能门锁、电视、冰箱、穿戴式设备等。车载式电子产品例如但不局限为车载导航仪、车载DVD等。金融终端产品例如但不局限为ATM机、自助办理业务的终端等。所述电子设备500包括上述身份识别装置400。所述电子设备500根据所述身份识别装置400的身份鉴权结果来对应是否执行相应的功能。所述相应的功能例如但不局限于包括解锁、支付、启动预存的应用程序中的任意一种或几种。
在本实施方式中,以电子设备500为手机为例进行说明。所述手机例如为全面屏的手机,所述身份识别装置400例如设置在手机的正面顶端。当然,所述手机也并不限制于全面屏手机。
例如,当用户需要进行开机解锁时,抬起手机或触摸手机的屏幕都可以起到唤醒该身份识别装置400的作用。当该身份识别装置400被唤醒之后,识别该手机前方的用户是合法的用户时,则解锁屏幕。
可见,由于该电子设备500应用了该身份识别装置400,该电子设备500的用户体验较好。
在本说明书的描述中,参考术语“一个实施方式”、“某些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (17)

1.一种用于对目标物体制图的装置,包括:
第一获取模块,用于获取该目标物体的二维图像;该第一获取模块包括第一投射器和红外图像传感器,该第一投射器用于投射红外泛光至该目标物体,该红外图像传感器用于捕获由该目标物体反射回来的红外泛光,感测获得该目标物体的二维图像;和,该第一获取模块包括RGB图像传感器,用于感测获得该目标物体的二维图像;其中,在环境光线充足的情况下,采用RGB图像传感的方式进行感测,而在环境光线不足的情况下,采用投射红外泛光执行传感的方式进行感测;
第二获取模块,用于获取该目标物体的第一三维图像;该第二获取模块包括第二投射器、红外图像传感器、和处理单元;该第二投射器用于投射空间结构光至该目标物体,该红外图像传感器用于捕获由该目标物体反射回来的光线,感测获得该目标物体的红外图像,该处理单元根据该红外图像构建出该目标物体的第一三维图像;或者,该第二投射器用于投射时间结构光至该目标物体,该红外图像传感器用于捕获由该目标物体反射回来的光线,根据飞时测距原理获得时间信息以及感测获得该目标物体的红外图像,该处理单元根据获得的时间信息以及该红外图像构建出该目标物体的第一三维图像;当所述第一获取模块通过投射红外泛光来获得目标物体的二维图像时,所述第一投射器和所述第二投射器分时工作以对应同一红外图像传感器,从而分时获得目标物体的二维图像与第一三维图像;和
处理模块,用于将该目标物体的二维图像和该第一三维图像进行重构,获得该目标物体的第二三维图像;通过映射的方式,所述处理模块将该第一三维图像与该二维图像转换为在同一坐标系下表征的图像信息,并根据该第一三维图像上已知的深度信息,通过插值运算得到新的深度信息,具体包括:
所述处理模块在二维图像上选取一块最小单元区域,四个顶点分别为(X,Y),(X, Y+1),(X+1,Y),(X+1,Y+1),然后在该第一三维图像上寻找与该最小单元区域相对应区域,该对应区域的四个顶点的横纵坐标信息分别是(X,Y),(X, Y+1),(X+1,Y),(X+1,Y+1),其中,X、Y均为大于0的整数;
如果该对应区域的顶点的深度信息Z是已知的,则直接采用已知的深度信息Z,如果该对应区域的顶点的深度信息Z是未知的,则通过插值运算,利用已知的深度信息Z计算获得新的深度信息Z’;
如此,重复上述方式,对于该二维图像上的各最小单元区域,获得该第一三维图像上的各对应区域的顶点的深度信息Z或Z’,另外,结合二维图像的横纵坐标信息以及灰度信息,重构出该第二三维图像。
2.如权利要求1所述的装置,其特征在于:该二维图像的分辨率大于该第一三维图像的分辨率,该第二三维图像的分辨率大于该第一三维图像的分辨率。
3.如权利要求1所述的装置,其特征在于:该第二三维图像的深度信息多于该第一三维图像的深度信息。
4.如权利要求3所述的装置,其特征在于:该二维图像为彩色图或灰度图,当该二维图像为彩色图时,该第二三维图像包括该二维图像的彩色信息以及灰度信息,或者,当该二维图像为灰度图时,该第二三维图像包括该二维图像的灰度信息。
5.如权利要求1所述的装置,其特征在于:当该第二获取模块通过投射空间结构光至该目标物体时,该处理单元从该红外图像中提取出空间结构光的图案信息,并根据提取到的空间结构光的图案信息构建出该第一三维图像。
6.如权利要求1-5中任一项所述的装置,其特征在于:该二维图像的横纵坐标信息多于该第一三维图像的横纵坐标信息,经坐标系转换后,该第一三维图像上已知的深度信息分别对应一横纵坐标点,且根据该已知的深度信息,该处理单元通过插值运算得到未带有已知深度信息的横纵坐标点所对应的深度信息。
7.如权利要求6所述的装置,其特征在于:该第二三维图像包括该已知的深度信息、该新的深度信息、以及该二维图像上的灰度信息。
8.如权利要求6所述的装置,其特征在于:当该第一获取模块获得的该二维图像为灰度图时,该处理单元根据该已知的深度信息、该新的深度信息、该二维图像上的灰度信息、以及横纵坐标信息重构出该第二三维图像;当该第一获取模块获得的该二维图像为彩色图时,该处理单元根据该已知的深度信息、该新的深度信息、该二维图像上的灰度信息和彩色信息、以及横纵坐标信息重构出该第二三维图像。
9.如权利要求1-5中任一项所述的装置,其特征在于:该处理单元将该第一三维图像向该二维图像所在的坐标系中进行映射,或,该处理单元将该二维图像向该第一三维图像所在的坐标系中进行映射。
10.如权利要求1所述的装置,其特征在于:当该第一获取模块投射红外泛光至该目标物体时,该红外泛光的波长范围为[925, 955]纳米。
11.如权利要求10所述的装置,其特征在于:该红外泛光的波长为940纳米。
12.如权利要求1所述的装置,其特征在于:该第二投射器投射的空间结构光或时间结构光的的波长范围为[925, 955]纳米。
13.如权利要求12所述的装置,其特征在于:该空间结构光或时间结构光的波长为940纳米。
14.一种身份识别装置,其特征在于:包括识别模块和上述权利要求1-13中任意一项所述的用于对目标物体制图的装置,所述识别模块用于根据该用于对目标物体制图的装置所获得的第二三维图像对该目标物体的身份进行识别。
15.如权利要求14所述的身份识别装置,其特征在于:该身份识别装置包括脸部识别装置。
16.一种电子设备,包括权利要求1-13中任意一项所述的用于对目标物体制图的装置,或者包括权利要求14-15中任意一项所述的身份识别装置,其中,当该电子设备包括该身份识别装置时,所述电子设备用于根据该身份识别装置的识别结果来对应控制是否执行相应的功能。
17.如权利要求16所述的电子设备,其特征在于:所述相应的功能包括解锁、支付、启动预存的应用程序中的任意一种或几种。
CN201810631291.2A 2018-06-19 2018-06-19 目标物体制图的方法与装置、身份识别装置和电子设备 Active CN108711186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810631291.2A CN108711186B (zh) 2018-06-19 2018-06-19 目标物体制图的方法与装置、身份识别装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810631291.2A CN108711186B (zh) 2018-06-19 2018-06-19 目标物体制图的方法与装置、身份识别装置和电子设备

Publications (2)

Publication Number Publication Date
CN108711186A CN108711186A (zh) 2018-10-26
CN108711186B true CN108711186B (zh) 2023-09-12

Family

ID=63871805

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810631291.2A Active CN108711186B (zh) 2018-06-19 2018-06-19 目标物体制图的方法与装置、身份识别装置和电子设备

Country Status (1)

Country Link
CN (1) CN108711186B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886197A (zh) * 2019-02-21 2019-06-14 北京超维度计算科技有限公司 一种人脸识别双目三维相机
CN110532751B (zh) * 2019-09-02 2022-05-31 联想(北京)有限公司 信息处理方法、电子设备和可读存储介质
WO2021120217A1 (zh) * 2019-12-20 2021-06-24 深圳市汇顶科技股份有限公司 图像采集装置、图像采集方法及采集芯片

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279982A (zh) * 2013-05-24 2013-09-04 中国科学院自动化研究所 鲁棒的快速高深度分辨率的散斑三维重建方法
CN103337069A (zh) * 2013-06-05 2013-10-02 余洪山 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN104134188A (zh) * 2014-07-29 2014-11-05 湖南大学 一种基于二维和三维摄像机融合的三维视觉信息获取方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279982A (zh) * 2013-05-24 2013-09-04 中国科学院自动化研究所 鲁棒的快速高深度分辨率的散斑三维重建方法
CN103337069A (zh) * 2013-06-05 2013-10-02 余洪山 基于复合摄像机的高质量三维彩色图像获取方法及装置
CN104134188A (zh) * 2014-07-29 2014-11-05 湖南大学 一种基于二维和三维摄像机融合的三维视觉信息获取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾谊等.《人体运动学参数采集与测量方法》.科学技术文献出版社,2017,(第1版),6. *

Also Published As

Publication number Publication date
CN108711186A (zh) 2018-10-26

Similar Documents

Publication Publication Date Title
RU2521725C2 (ru) Система и способ трехмерного измерения формы материальных объектов
CN108711186B (zh) 目标物体制图的方法与装置、身份识别装置和电子设备
CN104506838B (zh) 一种符号阵列面结构光的深度感知方法、装置及系统
EP2531979B1 (en) Depth camera compatibility
US20190005668A1 (en) Imaging device, image processing device, storage medium, and imaging system
CN104427252B (zh) 用于合成图像的方法及其电子设备
US20160094830A1 (en) System and Methods for Shape Measurement Using Dual Frequency Fringe Patterns
CN105844633B (zh) 基于De序列和相位编码的单帧结构光深度获取方法
US10085012B2 (en) Single-view feature-less depth and texture calibration
WO2011097050A2 (en) Depth camera compatibility
US9354045B1 (en) Image based angle sensor
CN111047650B (zh) 一种用于飞行时间相机的参数标定方法
WO2017154707A1 (ja) 検出装置、検出システム、検出方法、及び検出プログラム
CN104583904A (zh) 用于输入对机动车部件的控制命令的方法
US9204130B2 (en) Method and system for creating a three dimensional representation of an object
CN112034485A (zh) 利用飞行时间相机的反射率感测
Hussmann et al. Three-dimensional TOF robot vision system
CN109063550B (zh) 目标物体制图的方法与装置、身份识别装置及电子设备
CN108513661A (zh) 身份鉴权方法、身份鉴权装置、和电子设备
CN108764214A (zh) 身份鉴权方法、身份鉴权装置及电子设备
CN115755072A (zh) 一种基于双目结构光相机的特殊场景定位的方法及系统
CN208781287U (zh) 用于目标物体制图的装置、身份识别装置和电子设备
Deglint et al. Auto‐calibration of a projector–camera stereo system for projection mapping
CN110910379B (zh) 一种残缺检测方法及装置
JP2015064755A (ja) 3次元形状計測システム、及び色情報貼付方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant