CN112995641A - 一种3d模组成像装置及方法、电子设备 - Google Patents

一种3d模组成像装置及方法、电子设备 Download PDF

Info

Publication number
CN112995641A
CN112995641A CN202110173503.9A CN202110173503A CN112995641A CN 112995641 A CN112995641 A CN 112995641A CN 202110173503 A CN202110173503 A CN 202110173503A CN 112995641 A CN112995641 A CN 112995641A
Authority
CN
China
Prior art keywords
identification area
image
color image
depth image
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110173503.9A
Other languages
English (en)
Other versions
CN112995641B (zh
Inventor
王兴
冯上栋
郑龙
黄泽洋
刘风雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dongguan Ekos Technology Co Ltd
Original Assignee
Dongguan Ekos Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dongguan Ekos Technology Co Ltd filed Critical Dongguan Ekos Technology Co Ltd
Priority to CN202110173503.9A priority Critical patent/CN112995641B/zh
Publication of CN112995641A publication Critical patent/CN112995641A/zh
Application granted granted Critical
Publication of CN112995641B publication Critical patent/CN112995641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本发明提供一种3D模组成像装置及方法、电子设备,涉及成像技术领域,包括:分别获取目标物的彩色图像和深度图像;根据彩色图像的识别信息和深度图像的识别信息确定修正参数;根据修正参数校正彩色图像和深度图像以使彩色图像具有第一识别区域和深度图像具有第二识别区域;根据第一识别区域和第二识别区域对目标物进行曝光成像。由此,则可以分别在第一识别区域和第二识别区域进行局部的准确曝光,从而提升目标物在彩色图像和深度图像中的清晰度,便于获取到更多的目标物细节,进而提高3D模组最终对目标物的成像质量。

Description

一种3D模组成像装置及方法、电子设备
技术领域
本发明涉及成像技术领域,具体而言,涉及一种3D模组成像装置及方法、电子设备。
背景技术
随着3D模组的应用,使用3D模组的情况越来越多。目前市场上对3D模组的图像质量要求越来越高,因此如何提升3D模组的图像质量是非常重要的。
现有3D模组通常包括深度摄像模组、彩色摄像模组和图像芯片处理器,在成像时,由于环境光等因素的影响,使得深度摄像模组或彩色摄像模组无法获取到人脸位置,导致3D模组最终的成像质量较差。
发明内容
本发明的目的在于,针对上述现有技术中的不足,提供一种3D模组成像装置及方法、电子设备,以解决现有3D模组在无法获取到人脸位置时成像质量较差的问题。
为实现上述目的,本发明实施例采用的技术方案如下:
本发明实施例的一方面,提供一种3D模组成像方法,方法包括:分别获取目标物的彩色图像和深度图像;根据彩色图像的识别信息和深度图像的识别信息确定修正参数;根据修正参数校正彩色图像和深度图像以使彩色图像具有第一识别区域和深度图像具有第二识别区域;根据第一识别区域和第二识别区域对目标物进行曝光成像。
可选的,根据彩色图像的识别信息和深度图像的识别信息确定修正参数包括:根据彩色图像的识别信息确定彩色图像是否具有识别区域;根据深度图像的识别信息确定深度图像是否具有识别区域;根据彩色图像是否具有识别区域和深度图像是否具有识别区域确定修正参数。
可选的,根据彩色图像是否具有识别区域和深度图像是否具有识别区域确定修正参数包括:若彩色图像具有识别区域、深度图像不具有识别区域,则确定修正参数为彩色图像至深度图像的第一转换参数;若彩色图像不具有识别区域、深度图像具有识别区域,则确定修正参数为深度图像至彩色图像的第二转换参数;若彩色图像不具有识别区域、深度图像不具有识别区域,则确定修正参数包括彩色图像的第一赋值参数和深度图像的第二赋值参数。
可选的,根据修正参数校正彩色图像和深度图像以使彩色图像具有第一识别区域和深度图像具有第二识别区域包括:若修正参数为第一转换参数,则将彩色图像的识别区域作为第一识别区域,根据第一转换参数将彩色图像的识别区域转换至深度图像作为第二识别区域;若修正参数为第二转换参数,则根据第二转换参数将深度图像的识别区域转换至彩色图像作为第一识别区域,将深度图像的识别区域作为第二识别区域;若修正参数包括第一赋值参数和第二赋值参数,则根据第一赋值参数将彩色图像的中心区域作为第一识别区域,根据第二赋值参数将深度图像的中心区域作为第二识别区域。
可选的,根据第一转换参数将彩色图像的识别区域转换至深度图像作为第二识别区域包括:将彩色图像的像素位置和深度图像的像素位置在同一坐标系中坐标化;根据第一转换参数将彩色图像的识别区域像素的坐标转换以形成转换识别区域;根据转换识别区域像素的坐标与深度图像像素的坐标的匹配关系在深度图像中选取匹配像素并形成匹配识别区域;将匹配识别区域作为第二识别区域。
可选的,根据第二转换参数将深度图像的识别区域转换至彩色图像作为第一识别区域包括:将彩色图像的像素位置和深度图像的像素位置在同一坐标系中坐标化;根据第二转换参数将深度图像的识别区域像素的坐标转换以形成转换识别区域;根据转换识别区域像素的坐标与彩色图像像素的坐标的匹配关系在彩色图像中选取匹配像素并形成匹配识别区域;将匹配识别区域作为第一识别区域。
可选的,第一转换参数为第一矩阵转换参数;第二转换参数为第二矩阵转换参数。
可选的,第一矩阵转换参数包括第一旋转矩阵转换参数和第一平移转换参数;第二矩阵转换参数包括第二旋转矩阵转换参数和第二平移转换参数。
本发明实施例的另一方面,提供一种3D模组成像装置,包括:获取模块,用于分别获取目标物的彩色图像和深度图像;确定模块,用于根据彩色图像的识别信息和深度图像的识别信息确定修正参数;校正模块,用于根据修正参数校正彩色图像和深度图像以使彩色图像具有第一识别区域和深度图像具有第二识别区域;成像模块,用于根据第一识别区域和第二识别区域对目标物进行曝光成像。
本发明实施例的再一方面,提供一种电子设备,包括上述的3D模组成像装置。
本发明的有益效果包括:
本发明提供了一种3D模组成像装置及方法、电子设备,包括:分别获取目标物的彩色图像和深度图像;根据彩色图像的识别信息和深度图像的识别信息确定修正参数;根据修正参数校正彩色图像和深度图像以使彩色图像具有第一识别区域和深度图像具有第二识别区域;根据第一识别区域和第二识别区域对目标物进行曝光成像。由此,则可以分别在第一识别区域和第二识别区域进行局部的准确曝光,从而提升目标物在彩色图像和深度图像中的清晰度,便于获取到更多的目标物细节,进而提高3D模组最终对目标物的成像质量。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1为本发明实施例提供的一种3D模组成像方法的流程示意图之一;
图2为本发明实施例提供的一种3D模组成像方法的流程示意图之二;
图3为本发明实施例提供的一种3D模组成像方法的流程示意图之三;
图4为本发明实施例提供的一种3D模组成像方法的流程示意图之四;
图5为本发明实施例提供的一种3D模组成像装置的结构示意图。
图标:500-3D模组成像装置;501-获取模块;502-确定模块;503-校正模块;504-成像模块。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。需要说明的是,在不冲突的情况下,本发明的实施例中的各个特征可以相互结合,结合后的实施例依然在本发明的保护范围内。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中,需要说明的是,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
本发明实施例的一方面,提供一种3D模组成像方法,3D模组可以包括有曝光模组、深度摄像模组、彩色摄像模组和图像芯片处理器,深度摄像模组可以采集深度图像,彩色摄像模组可以采集彩色图像,曝光模组、深度摄像模组和彩色摄像模组分别和图像芯片处理器电连接,从而使得图像芯片处理器则可以根据以下方法对应优化3D模组的成像质量,如图1所示,方法包括:
S100:分别获取目标物的彩色图像和深度图像。
在彩色摄像模组和深度摄像模组分别对目标物采集到彩色图像(RGB图像)和深度图像(IR图像)后,为了便于提高后续的曝光成像质量,因此,图像芯片处理器可以对应获取到RGB图像和IR图像,为后续的校正提供基础。
S200:根据彩色图像的识别信息和深度图像的识别信息确定修正参数。
图像芯片处理器对RGB图像和IR图像进行信息分析,明确RGB图像中的识别信息和IR图像中的识别信息,然后根据RGB图像中的识别信息和IR图像中的识别信息判断RGB图像和IR图像识别目标物的情况,根据对应的情况对应选择不同的修正参数,从而对应建立校正的关系。由于RGB图像和IR图像分别是由集成于3D模组内的彩色摄像模组和深度摄像模组采集的,因此,修正参数可以根据彩色摄像模组和深度摄像模组的实际设置位置差异、出光方向差异等等角度确定。
S300:根据修正参数校正彩色图像和深度图像以使彩色图像具有第一识别区域和深度图像具有第二识别区域。
在S200中根据RGB图像和IR图像识别目标物的情况选择确定与之匹配的修正参数后,根据选择的修正参数对需要校正的RGB图像和/或IR图像进行校正,使得校正后的RGB图像和IR图像均具有各自的识别区域,即,使RGB图像具有第一识别区域,使IR图像具有第二识别区域,从而实现即使在环境等因素的影响下彩色摄像模组和/或深度摄像模组未采集到目标物的情况下,依然能够使得RGB图像具有第一识别区域、IR图像具有第二识别区域。
S400:根据第一识别区域和第二识别区域对目标物进行曝光成像。
在S300对RGB图像和/或IR图像进行校正后,使得RGB图像中具有第一识别区域,IR图像中具有第二识别区域,由此,图像芯片处理器则可以对应控制曝光模组分别在第一识别区域和第二识别区域进行局部的准确曝光,从而提升目标物在RGB图像和IR图像中的清晰度,便于获取到更多的目标物细节,进而提高3D模组最终对目标物的成像质量。
识别区域可以是目标物在图像中的轮廓,也可以是轮廓和位于轮廓内的图像,例如以人脸识别为例,当目标物为人脸时,对应的识别区域可以是人脸框,也可以是人脸框和位于人脸框内的图像,为便于描述,以下均以人脸框为例进行示意性说明,因此,应当理解,第一识别区域即是在彩色图像中的人脸框,第二识别区域即是在深度图像中的人脸框。
可选的,如图2所示,根据彩色图像的识别信息和深度图像的识别信息确定修正参数时,可以是按照如下步骤进行:
S210:根据彩色图像的识别信息确定彩色图像是否具有识别区域,根据深度图像的识别信息确定深度图像是否具有识别区域。
在图像芯片处理器获取到RGB图像后,根据RGB图像内包含的识别信息确定RGB图像是否具有人脸框,同理,根据IR图像内包含的识别信息确定IR图像是否具有人脸框,从而作为选定修正参数的先决条件,为后续准确校正不具有识别区域的图像做基础。
S220:根据彩色图像是否具有识别区域和深度图像是否具有识别区域确定修正参数。
在明确RGB图像和IR图像是否具有各自的识别区域的情况下,对应确定所选用的修正参数,如此,能够使得在不同情况下选择对应的修正参数,有效的提高后续校正的效果,同时,更能提高最终3D模组成像的质量。
可选的,如图3所示,根据彩色图像是否具有识别区域和深度图像是否具有识别区域确定修正参数包括:
S221:若彩色图像具有识别区域、深度图像不具有识别区域,则确定修正参数为彩色图像至深度图像的第一转换参数。
在图像芯片处理器分别对RGB图像和IR图像进行分析后,当RGB图像中具有人脸框,而IR图像中不具有人脸框时,则将修正参数确定为RGB图像至IR图像的第一转换参数,即选用RGB图像向IR图像的转换关系在后续校正过程中校正。
S222:若彩色图像不具有识别区域、深度图像具有识别区域,则确定修正参数为深度图像至彩色图像的第二转换参数。
当RGB图像中不具有人脸框,而IR图像中具有人脸框时,则将修正参数确定为IR图像至RGB图像的第一转换参数,即选用IR图像向RGB图像的转换关系在后续校正过程中校正。
S223:若彩色图像不具有识别区域、深度图像不具有识别区域,则确定修正参数包括彩色图像的第一赋值参数和深度图像的第二赋值参数。
当RGB图像中不具有人脸框,IR图像中也不具有人脸框时,则将修正参数确定为RGB图像的第一赋值参数,IR图像的第二赋值参数,即选用预设第一人脸框作为第一赋值参数,以便于在后续根据预设第一人脸框确定RGB图像中的第一识别区域,选用预设第二人脸框作为第二赋值参数,以便于在后续根据预设第二人脸框确定IR图像中的第二识别区域。
可选的,如图4所示,根据修正参数校正彩色图像和深度图像以使彩色图像具有第一识别区域和深度图像具有第二识别区域包括:
S310:若修正参数为第一转换参数,则将彩色图像的识别区域作为第一识别区域,根据第一转换参数将彩色图像的识别区域转换至深度图像作为第二识别区域。
在S221中将修正参数确定为RGB图像至IR图像的第一转换参数,即选用RGB图像向IR图像的转换关系后,确定第一识别区域和第二识别区域。在确定第一识别区域时,由于RGB图像中具有人脸框,则对应直接将该人脸框作为RGB图像的第一识别区域;在确定第二识别区域时,根据RGB图像向IR图像的转换关系,将RGB图像中的人脸框转换至IR图像中,使得转换后的IR图像中具有了人脸框,此时,将IR图像中的人脸框作为第二识别区域,如此,可以对应的在RGB图像中具有人脸框,而IR图像中不具有人脸框的情况下,对应对IR图像进行校正,从而使得最终的RGB图像中具有第一识别区域、IR图像中具有第二识别区域。
S320:若修正参数为第二转换参数,则根据第二转换参数将深度图像的识别区域转换至彩色图像作为第一识别区域,将深度图像的识别区域作为第二识别区域。
在S222中将修正参数确定为IR图像至RGB图像的第二转换参数,即选用IR图像向RGB图像的转换关系后,确定第一识别区域和第二识别区域。在确定第一识别区域时,根据IR图像向RGB图像的转换关系,将IR图像中的人脸框转换至RGB图像中,使得转换后的RGB图像中具有了人脸框,此时,将RGB图像中的人脸框作为第一识别区域;在确定第二识别区域时,由于IR图像中具有人脸框,则对应直接将该人脸框作为IR图像的第二识别区域,如此,可以对应的在RGB图像中不具有人脸框,而IR图像中具有人脸框的情况下,对应对RGB图像进行校正,从而使得最终的RGB图像中具有第一识别区域、IR图像中具有第二识别区域。
S330:若修正参数包括第一赋值参数和第二赋值参数,则根据第一赋值参数将彩色图像的中心区域作为第一识别区域,根据第二赋值参数将深度图像的中心区域作为第二识别区域。
在S223中将修正参数确定为RGB图像的第一赋值参数,IR图像的第二赋值参数,即选用预设第一人脸框作为第一赋值参数,选用预设第二人脸框作为第二赋值参数,从而确定第一识别区域和第二识别区域。在确定第一识别区域时,根据预设第一人脸框,在RGB图像中划定与预设第一人脸框相匹配的区域,然后将该区域作为第一识别区域;在确定第二识别区域时,根据预设第二人脸框,在IR图像中划定与预设第二人脸框相匹配的区域,然后将该区域作为第二识别区域,如此,可以对应的在RGB图像中不具有人脸框,IR图像也不具有人脸框的情况下,对应对RGB图像进行校正,对IR图像也进行校正,从而使得最终的RGB图像中具有第一识别区域、IR图像中具有第二识别区域。
可选的,在S310中,根据第一转换参数将彩色图像的识别区域转换至深度图像作为第二识别区域可以从坐标的角度进行转换:
首先,可以将RGB图像中的像素位置和IR图像中的像素位置在同一坐标系中坐标化,即建立空间直角坐标系(在建立时,可以对两者分别建立不同的坐标系,此时,可以先转换坐标系,从而形成同坐标系;也可以是直接建立相同的坐标系,为便于描述,以下将以建立相同的坐标系为例进行说明),根据RGB图像中的像素在空间直角坐标系中的位置确定坐标,同理,对IR图像中的像素也确定对应的坐标。
然后根据第一转换参数,即选用RGB图像向IR图像的转换关系后,将RGB图像中的人脸框的像素的坐标转换,使得转换后的坐标区域形成转换识别区域,由于IR图像中具有深度信息,即转换识别区域为二维图像,IR图像为三维图像,因此,在根据转换识别区域像素的坐标与深度图像像素的坐标的匹配关系在深度图像中选取匹配像素并形成匹配识别区域的过程中,可以由以下两种方式进行:其中的一种,将IR图像中的像素坐标向转换识别区域的像素坐标进行投影,即将三维图像向二维图像进行投影,根据投影后的像素和转换识别区域的像素的重合度,建立IR图像中的匹配识别区域,然后将匹配识别区域作为第二识别区域;其中的另一种,直接根据转换识别区域和IR图像的对应关系,从而建立IR图像中的匹配识别区域,然后将匹配识别区域作为第二识别区域。
可选的,在S320中,根据第二转换参数将深度图像的识别区域转换至彩色图像作为第一识别区域可以从坐标的角度进行转换:
首先,可以将RGB图像中的像素位置和IR图像中的像素位置在同一坐标系中坐标化,即建立空间直角坐标系(在建立时,可以对两者分别建立不同的坐标系,此时,可以先转换坐标系,从而形成同坐标系;也可以是直接建立相同的坐标系,为便于描述,以下将以建立相同的坐标系为例进行说明),根据RGB图像中的像素在空间直角坐标系中的位置确定坐标,同理,对IR图像中的像素也确定对应的坐标。
然后根据第二转换参数,即选用IR图像向RGB图像的转换关系后,将IR图像中的人脸框的像素的坐标转换,使得转换后的坐标区域形成转换识别区域,由于IR图像中具有深度信息,即转换识别区域为三维图像,RGB图像为二维图像,因此,根据转换识别区域像素的坐标与RGB图像像素的坐标的匹配关系在RGB图像中选取匹配像素并形成匹配识别区域的过程中,可以由以下两种方式进行:其中的一种,将转换识别区域的像素坐标向RGB图像的像素坐标进行投影,即将三维图像向二维图像进行投影,根据投影后的像素和RGB图像的像素的重合度,建立RGB图像中的匹配识别区域,然后将匹配识别区域作为第一识别区域;其中的另一种,直接根据转换识别区域和RGB图像的对应关系,从而建立RGB图像中的匹配识别区域,然后将匹配识别区域作为第一识别区域。
可选的,第一转换参数为第一矩阵转换参数;第二转换参数为第二矩阵转换参数。
可选的,第一矩阵转换参数包括第一旋转矩阵转换参数和第一平移转换参数;第二矩阵转换参数包括第二旋转矩阵转换参数和第二平移转换参数。
即在转换过程中,可以通过矩阵的方式进行转换,例如:
在三维场景中,当一个点P(x,y,z)绕x轴旋转θ角得到点P’(x’,y’,z’)。由于是绕x轴进行的旋转,因此x坐标保持不变,y和z组成的yoz(o是坐标原点)平面上进行的是一个二维的旋转,可以参考(y轴类似于二维旋转中的x轴,z轴类似于二维旋转中的y轴),于是有:
x′=x
y′=ycosθ-zsinθ
z′=ysinθ+zcosθ
写成(4x4)矩阵的形式:
Figure BDA0002939288490000111
绕Y轴的旋转和绕X轴的旋转类似,Y坐标保持不变,除Y轴之外,ZOX组成的平面进行一次二维的旋转(Z轴类似于二维旋转的X轴,X轴类似于二维旋转中的Y轴,注意这里是ZOX,而不是XOZ,观察上图中右手系的图片可以很容易了解到这一点),同样有:
x′=zsinθ+xcosθ
y′=y
z′=zcosθ-xsinθ
写成(4x4)矩阵的形式:
Figure BDA0002939288490000112
与上面类似,绕Z轴旋转,Z坐标保持不变,xoy组成的平面内正好进行一次二维旋转(和上面讨论二维旋转的情况完全一样)
写成(4x4)矩阵的形式:
Figure BDA0002939288490000121
平移矩阵为:
Figure BDA0002939288490000122
本发明实施例的另一方面,提供一种3D模组成像装置500,如图5所示,包括:获取模块501,用于分别获取目标物的彩色图像和深度图像;确定模块502,用于根据彩色图像的识别信息和深度图像的识别信息确定修正参数;校正模块503,用于根据修正参数校正彩色图像和深度图像以使彩色图像具有第一识别区域和深度图像具有第二识别区域;成像模块504,用于根据第一识别区域和第二识别区域对目标物进行曝光成像。
可选的,确定模块502还可以具体用于根据彩色图像的识别信息确定彩色图像是否具有识别区域;根据深度图像的识别信息确定深度图像是否具有识别区域;根据彩色图像是否具有识别区域和深度图像是否具有识别区域确定修正参数。
可选的,确定模块502还可以具体用于若彩色图像具有识别区域、深度图像不具有识别区域,则确定修正参数为彩色图像至深度图像的第一转换参数;若彩色图像不具有识别区域、深度图像具有识别区域,则确定修正参数为深度图像至彩色图像的第二转换参数;若彩色图像不具有识别区域、深度图像不具有识别区域,则确定修正参数包括彩色图像的第一赋值参数和深度图像的第二赋值参数。
可选的,校正模块503还可以具体用于若修正参数为第一转换参数,则将彩色图像的识别区域作为第一识别区域,根据第一转换参数将彩色图像的识别区域转换至深度图像作为第二识别区域;若修正参数为第二转换参数,则根据第二转换参数将深度图像的识别区域转换至彩色图像作为第一识别区域,将深度图像的识别区域作为第二识别区域;若修正参数包括第一赋值参数和第二赋值参数,则根据第一赋值参数将彩色图像的中心区域作为第一识别区域,根据第二赋值参数将深度图像的中心区域作为第二识别区域。
可选的,校正模块503还可以具体用于将彩色图像的像素位置和深度图像的像素位置在同一坐标系中坐标化;根据第一转换参数将彩色图像的识别区域像素的坐标转换以形成转换识别区域;根据转换识别区域像素的坐标与深度图像像素的坐标的匹配关系在深度图像中选取匹配像素并形成匹配识别区域;将匹配识别区域作为第二识别区域。
可选的,校正模块503还可以具体用于将彩色图像的像素位置和深度图像的像素位置在同一坐标系中坐标化;根据第二转换参数将深度图像的识别区域像素的坐标转换以形成转换识别区域;根据转换识别区域像素的坐标与彩色图像像素的坐标的匹配关系在彩色图像中选取匹配像素并形成匹配识别区域;将匹配识别区域作为第一识别区域。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中方法的对应过程,本发明中不再赘述。
本发明实施例的再一方面,提供一种电子设备,包括上述的3D模组成像装置500。具体实现方式和技术效果类似,在此同样不再赘述。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种3D模组成像方法,其特征在于,所述方法包括:
分别获取目标物的彩色图像和深度图像;
根据所述彩色图像的识别信息和所述深度图像的识别信息确定修正参数;
根据所述修正参数校正所述彩色图像和所述深度图像以使所述彩色图像具有第一识别区域和所述深度图像具有第二识别区域;
根据所述第一识别区域和所述第二识别区域对所述目标物进行曝光成像。
2.如权利要求1所述的3D模组成像方法,其特征在于,所述根据所述彩色图像的识别信息和所述深度图像的识别信息确定修正参数包括:
根据所述彩色图像的识别信息确定所述彩色图像是否具有识别区域;
根据所述深度图像的识别信息确定所述深度图像是否具有识别区域;
根据所述彩色图像是否具有识别区域和所述深度图像是否具有识别区域确定所述修正参数。
3.如权利要求2所述的3D模组成像方法,其特征在于,所述根据所述彩色图像是否具有识别区域和所述深度图像是否具有识别区域确定所述修正参数包括:
若所述彩色图像具有识别区域、所述深度图像不具有识别区域,则确定所述修正参数为所述彩色图像至所述深度图像的第一转换参数;
若所述彩色图像不具有识别区域、所述深度图像具有识别区域,则确定所述修正参数为所述深度图像至所述彩色图像的第二转换参数;
若所述彩色图像不具有识别区域、所述深度图像不具有识别区域,则确定所述修正参数包括所述彩色图像的第一赋值参数和所述深度图像的第二赋值参数。
4.如权利要求3所述的3D模组成像方法,其特征在于,所述根据所述修正参数校正所述彩色图像和所述深度图像以使所述彩色图像具有第一识别区域和所述深度图像具有第二识别区域包括:
若所述修正参数为第一转换参数,则将所述彩色图像的识别区域作为第一识别区域,根据所述第一转换参数将所述彩色图像的识别区域转换至所述深度图像作为第二识别区域;
若所述修正参数为第二转换参数,则根据所述第二转换参数将所述深度图像的识别区域转换至所述彩色图像作为第一识别区域,将所述深度图像的识别区域作为第二识别区域;
若所述修正参数包括第一赋值参数和第二赋值参数,则根据所述第一赋值参数将所述彩色图像的中心区域作为第一识别区域,根据所述第二赋值参数将所述深度图像的中心区域作为第二识别区域。
5.如权利要求4所述的3D模组成像方法,其特征在于,所述根据所述第一转换参数将所述彩色图像的识别区域转换至所述深度图像作为第二识别区域包括:
将所述彩色图像的像素位置和所述深度图像的像素位置在同一坐标系中坐标化;
根据所述第一转换参数将所述彩色图像的识别区域像素的坐标转换以形成转换识别区域;
根据所述转换识别区域像素的坐标与所述深度图像像素的坐标的匹配关系在所述深度图像中选取匹配像素并形成匹配识别区域;
将所述匹配识别区域作为第二识别区域。
6.如权利要求4所述的3D模组成像方法,其特征在于,所述根据所述第二转换参数将所述深度图像的识别区域转换至所述彩色图像作为第一识别区域包括:
将所述彩色图像的像素位置和所述深度图像的像素位置在同一坐标系中坐标化;
根据所述第二转换参数将所述深度图像的识别区域像素的坐标转换以形成转换识别区域;
根据所述转换识别区域像素的坐标与所述彩色图像像素的坐标的匹配关系在所述彩色图像中选取匹配像素并形成匹配识别区域;
将所述匹配识别区域作为第一识别区域。
7.如权利要求3至6任一项所述的3D模组成像方法,其特征在于,所述第一转换参数为第一矩阵转换参数;所述第二转换参数为第二矩阵转换参数。
8.如权利要求7所述的3D模组成像方法,其特征在于,所述第一矩阵转换参数包括第一旋转矩阵转换参数和第一平移转换参数;所述第二矩阵转换参数包括第二旋转矩阵转换参数和第二平移转换参数。
9.一种3D模组成像装置,其特征在于,包括:
获取模块,用于分别获取目标物的彩色图像和深度图像;
确定模块,用于根据所述彩色图像的识别信息和所述深度图像的识别信息确定修正参数;
校正模块,用于根据所述修正参数校正所述彩色图像和所述深度图像以使所述彩色图像具有第一识别区域和所述深度图像具有第二识别区域;
成像模块,用于根据所述第一识别区域和所述第二识别区域对所述目标物进行曝光成像。
10.一种电子设备,其特征在于,包括如权利要求9所述的3D模组成像装置。
CN202110173503.9A 2021-02-08 2021-02-08 一种3d模组成像装置及方法、电子设备 Active CN112995641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110173503.9A CN112995641B (zh) 2021-02-08 2021-02-08 一种3d模组成像装置及方法、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110173503.9A CN112995641B (zh) 2021-02-08 2021-02-08 一种3d模组成像装置及方法、电子设备

Publications (2)

Publication Number Publication Date
CN112995641A true CN112995641A (zh) 2021-06-18
CN112995641B CN112995641B (zh) 2022-09-27

Family

ID=76347705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110173503.9A Active CN112995641B (zh) 2021-02-08 2021-02-08 一种3d模组成像装置及方法、电子设备

Country Status (1)

Country Link
CN (1) CN112995641B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024002396A3 (zh) * 2022-12-02 2024-02-22 浙江安吉智电控股有限公司 一种车辆充电口识别方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346816A (zh) * 2014-10-11 2015-02-11 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
US20170064280A1 (en) * 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
CN106774856A (zh) * 2016-08-01 2017-05-31 深圳奥比中光科技有限公司 基于唇语的交互方法以及交互装置
CN109241955A (zh) * 2018-11-08 2019-01-18 联想(北京)有限公司 识别方法和电子设备
CN110717937A (zh) * 2019-09-29 2020-01-21 深圳市图郅创新科技有限公司 一种图像矫正方法及其系统、电子设备与可储存媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104346816A (zh) * 2014-10-11 2015-02-11 京东方科技集团股份有限公司 一种深度确定方法、装置及电子设备
US20170064280A1 (en) * 2015-09-01 2017-03-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
CN106774856A (zh) * 2016-08-01 2017-05-31 深圳奥比中光科技有限公司 基于唇语的交互方法以及交互装置
CN109241955A (zh) * 2018-11-08 2019-01-18 联想(北京)有限公司 识别方法和电子设备
CN110717937A (zh) * 2019-09-29 2020-01-21 深圳市图郅创新科技有限公司 一种图像矫正方法及其系统、电子设备与可储存媒体

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024002396A3 (zh) * 2022-12-02 2024-02-22 浙江安吉智电控股有限公司 一种车辆充电口识别方法及相关设备

Also Published As

Publication number Publication date
CN112995641B (zh) 2022-09-27

Similar Documents

Publication Publication Date Title
CN111062873B (zh) 一种基于多对双目相机的视差图像拼接与可视化方法
CN109215063B (zh) 一种事件触发相机与三维激光雷达的配准方法
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN112837257B (zh) 一种基于机器视觉的曲面标签拼接检测方法
CN111028155B (zh) 一种基于多对双目相机的视差图像拼接方法
CN107155341B (zh) 三维扫描系统和框架
CN110033407B (zh) 一种盾构隧道表面图像标定方法、拼接方法及拼接系统
US20120147149A1 (en) System and method for training a model in a plurality of non-perspective cameras and determining 3d pose of an object at runtime with the same
JP2003130621A (ja) 3次元形状計測方法およびその装置
CN106625713A (zh) 提高涂胶工业机器人涂胶精度的方法
US20100053416A1 (en) Auto depth field capturing system and method thereof
CN111345029A (zh) 一种目标追踪方法、装置、可移动平台及存储介质
CN112734832B (zh) 一种即时获得线上物体实际尺寸测量方法
CN112307912A (zh) 一种基于摄像头确定人员轨迹的方法及系统
CN113313116B (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN114283079A (zh) 一种基于图卡拍摄校正的方法及设备
CN112995641B (zh) 一种3d模组成像装置及方法、电子设备
CN114998447A (zh) 多目视觉标定方法及系统
WO1992010810A1 (fr) Procede de correction de tache et dispositif a cet effet
JP7474137B2 (ja) 情報処理装置およびその制御方法
JPS63311485A (ja) 自動キャリブレ−ション装置
CN110909571A (zh) 一种高精度面部识别空间定位方法
CN116524022B (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
CN116597488A (zh) 一种基于Kinect数据库的人脸识别方法
CN112308933B (zh) 相机内参标定的方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant