CN108460368A - 三维图像合成方法、装置及计算机可读存储介质 - Google Patents

三维图像合成方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN108460368A
CN108460368A CN201810277820.3A CN201810277820A CN108460368A CN 108460368 A CN108460368 A CN 108460368A CN 201810277820 A CN201810277820 A CN 201810277820A CN 108460368 A CN108460368 A CN 108460368A
Authority
CN
China
Prior art keywords
camera
image
distance
shooting
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810277820.3A
Other languages
English (en)
Other versions
CN108460368B (zh
Inventor
周仁义
杨锐
崔磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201810277820.3A priority Critical patent/CN108460368B/zh
Publication of CN108460368A publication Critical patent/CN108460368A/zh
Application granted granted Critical
Publication of CN108460368B publication Critical patent/CN108460368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提出一种三维图像合成方法、装置及计算机可读存储介质。该装置包括:图像获取模块,用于分别获取三个相机拍摄的图像,三个相机中包括至少一个红外相机和至少一个彩色相机,三个相机中的一个红外相机与一个彩色相机之间的距离小于设定阈值,另一个相机与其相邻的相机之间的距离大于设定阈值;位置校正模块,用于采用相邻相机之间的距离校正各相机的位置参数;图像合成模块,根据校正后的位置参数和各相机拍摄的图像,合成得到深度图像以及深度图像的各像素点的RGB值。本发明实施例中,利用相机之间距离对相机的位置参数进行校正,利用相机的位置参数和彩色图像的RGB值得到深度图像的RGB值,能够获得更好的三维显示效果。

Description

三维图像合成方法、装置及计算机可读存储介质
技术领域
本发明涉及图像处理领域,尤其是一种三维图像合成方法、装置及计算机可读存储介质。
背景技术
人脸识别是目前应用最广泛的一种模式识别的视觉技术。人脸在视觉上的特点是:不同个体之间的区别不大,所有的人脸的结构都相似,甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸区分人类个体是不利的。另外,人脸的外形很不稳定,人可以通过脸部的变化产生很多表情,而在不同观察角度,人脸的视觉图像相差很大,此外,人脸识别还受光照条件(例如白天和夜晚,室内和室外等)、人脸的很多遮盖物(例如口罩、墨镜、头发、胡须等)、年龄、拍摄的姿态角度等多方面因素的影响。二维人脸识别是基于二维的人脸图像进行人脸识别。三维人脸识基于二维人脸图像构建三维人脸模型后再进行识别。
由于实际应用环境的复杂性,尤其在非理想光照条件下,大多数人脸识别系统识别性能下降。
发明内容
本发明实施例提供一种三维图像合成方法、装置及计算机可读存储介质,以解决现有技术中的以上技术问题中的至少一个。
第一方面,本发明实施例提供了一种三维图像合成装置,包括:
图像获取模块,用于分别获取三个相机拍摄的图像,三个相机中包括至少一个红外相机和至少一个彩色相机,其中,三个相机中的一个红外相机与一个彩色相机之间的距离小于设定阈值,另一个相机与其相邻的相机之间的距离大于设定阈值;
位置校正模块,用于采用相邻相机之间的距离校正各相机的位置参数;
图像合成模块,根据校正后的位置参数和各相机拍摄的图像,合成得到深度图像以及深度图像的各像素点的RGB值。
结合第一方面,本发明实施例在第一方面的第一种实现方式中,所述图像获取模块还用于分别获取两个红外相机拍摄的两张红外图像和一个彩色相机拍摄的一张彩色图像,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第一距离小于设定阈值,另一个红外相机其相邻的相机之间的第二距离大于设定阈值,且所述第二距离大于所述第一距离;
所述位置校正模块还用于采用所述第一距离和所述第二距离校正各相机的位置参数;
所述图像合成模块还用于根据校正后的位置参数、各相机拍摄的两张红外图像和一张彩色图像合成,得到深度图像以及深度图像的各像素点的RGB值。
结合第一方面,本发明实施例在第一方面的第二种实现方式中,所述图像获取模块还用于分别获取一个红外相机拍摄的一张红外图像和两个彩色相机拍摄的两张彩色图像,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第三距离小于设定阈值,另一个彩色相机其相邻的相机之间的第四距离大于设定阈值,且所述第四距离大于所述第三距离;
所述位置校正模块还用于采用所述第三距离和所述第四距离校正各相机的位置参数;
所述图像合成模块还用于根据校正后的位置参数、各相机拍摄的一张红外图像和两张彩色图像得到深度图像以及深度图像的各像素点的RGB值。
第二方面,本发明实施例提供了一种三维图像合成方法,包括:
分别获取三个相机拍摄的图像,三个相机中包括至少一个红外相机和至少一个彩色相机,其中,三个相机中的一个红外相机与一个彩色相机之间的距离小于设定阈值,另一个相机与其相邻的相机之间的距离大于设定阈值;
采用相邻相机之间的距离校正各相机的位置参数;
根据校正后的位置参数和各相机拍摄的图像得到深度图像以及深度图像的各像素点的RGB值。
结合第二方面,本发明实施例在第二方面的第一种实现方式中,
分别获取三个相机拍摄的图像,包括:分别获取两个红外相机拍摄的两张红外图像和一个彩色相机拍摄的一张彩色图像,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第一距离小于设定阈值,另一个红外相机其相邻的相机之间的第二距离大于设定阈值,且所述第二距离大于所述第一距离;
采用相邻相机之间的距离校正各相机的位置参数,包括:采用所述第一距离和所述第二距离校正各相机的位置参数;
根据校正后的位置参数和各相机拍摄的图像得到深度图像以及深度图像的各像素点的RGB值,包括:根据校正后的位置参数、各相机拍摄的两张红外图像和一张彩色图像得到深度图像以及深度图像的各像素点的RGB值。
结合第二方面,本发明实施例在第二方面的第二种实现方式中,
分别获取三个相机拍摄的图像,包括:分别获取一个红外相机拍摄的一张红外图像和两个彩色相机拍摄的两张彩色图像,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第三距离小于设定阈值,另一个彩色相机其相邻的相机之间的第四距离大于设定阈值,且所述第四距离大于所述第三距离;
采用相邻相机之间的距离校正各相机的位置参数,包括:采用所述第三距离和所述第四距离校正各相机的位置参数;
根据校正后的位置参数和各相机拍摄的图像得到深度图像以及深度图像的各像素点的RGB值,包括:根据校正后的位置参数、各相机拍摄的一张红外图像和两张彩色图像得到深度图像以及深度图像的各像素点的RGB值。
第三方面,本发明实施例提供了一种三维图像合成设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
摄像头,用于采集图像;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述的方法。
所述设备的功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。
在一个可能的设计中,三维图像合成设备的结构中包括处理器和存储器,所述存储器用于存储支持三维图像合成设备执行上述三维图像合成方法的程序,所述处理器被配置为用于执行所述存储器中存储的程序。所述三维图像合成设备还可以包括通信接口,用于与其他设备或通信网络通信。
第四方面,本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述的方法。
上述技术方案中的一个技术方案具有如下优点或有益效果:利用相机之间距离对相机的位置参数进行校正,可以利用相机的位置参数和彩色图像的RGB值得到深度图像的RGB值,能够获得更好的三维显示效果。
上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
附图说明
在附图中,除非另外规定,否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解,这些附图仅描绘了根据本发明公开的一些实施方式,而不应将其视为是对本发明范围的限制。
图1示出根据本发明一实施例的三维图像合成装置的结构框图。
图2示出根据本发明一实施例的三维图像合成装置的相机位置示意图。
图3示出根据本发明另一实施例的三维图像合成装置中相机位置的示意图。
图4示出根据本发明另一实施例的三维图像合成装置中相机位置的示意图。
图5示出根据本发明一实施例的三维图像合成方法的流程图。
图6示出根据本发明另一实施例的三维图像合成方法的流程图。
图7示出根据本发明另一实施例的三维图像合成方法的流程图。
图8示出根据本发明一实施例的三维图像合成设备的结构框图。
具体实施方式
在下文中,仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样,在不脱离本发明的精神或范围的情况下,可通过各种不同方式修改所描述的实施例。因此,附图和描述被认为本质上是示例性的而非限制性的。
图1示出根据本发明一实施例的三维图像合成装置的结构框图。如图1所示,该三维图像合成装置可以包括:
图像获取模块11,用于分别获取三个相机拍摄的图像,三个相机中包括至少一个红外相机和至少一个彩色相机,其中,三个相机中的一个红外相机与一个彩色相机之间的距离小于设定阈值,另一个相机与其相邻的相机之间的距离大于设定阈值;
位置校正模块13,用于采用相邻相机之间的距离校正各相机的位置参数;
图像合成模块15,根据校正后的位置参数和各相机拍摄的图像,合成得到深度图像以及深度图像的各像素点的RGB值。
例如,如图2所示,三个相机中可以包括红外相机IR1、红外相机IR2和彩色相机RGB3。这三个相机的位置关系可以为彩色相机RGB3在红外相机IR1、红外相机IR2中间;也可以为红外相机IR1和红外相机IR2相邻,而彩色相机RGB3与其中一个红外相机相邻。
一个红外相机与一个彩色相机之间的距离小于设定阈值Y1,设定阈值足够小,可以使得这两个相机的镜头尽可能靠近。将这两个相机看作一组,另一个相机与该组之间的距离大于设定阈值Y2。这两个阈值Y1和Y2,可以相同,也可以不同。Y2大于Y1,得到的深度图像效果更好。另一个相机与该组之间的距离也就是另一个相机与其相邻相机之间的距离,以这个距离为基准线可以得到深度图像。基准线的大小可以决定深度信息检测的范围。例如,基准线越小,深度检测的范围越近,深度图像近处效果越好,反之,深度检测越远,远处效果越好。
举例而言,如图2所示,如果相机的排布从左到右分别是红外相机IR1、彩色相机RGB3和红外相机IR2。红外相机IR1和彩色相机RGB3的拍摄中心的距离为L1,彩色相机RGB3和红外相机IR2的拍摄中心的距离为L2。L2可以大于L1,L2为基准线。控制三个相机同时拍摄目标对象例如人的脸部,得到两张红外人脸图像S1、S2和一张彩色人脸图像S3。根据距离L1、L2对相机的位置参数进行校正。然后根据校正后的位置参数和这三张图像S1、S2、S3,一起得到深度图像。其中,得到深度图像的算法可以选择多种,例如BM(Block Matching,模块匹配),SGBM(Semi Global Matching,半全局匹配)等算法。
在本发明实施例中,深度图像的每个像素点可以通常具有灰度值,该灰度值可以表征场景中某一点距离摄像机的远近。
在本发明实施例中,相机的位置参数可以包括内部参数和外部参数。外部参数例如相机之间的相对位置等,内部参数例如相机的镜头位置等。
在对相机的位置参数校正后,还可以利用校正后的位置参数以及彩色图像的RGB值得到深度图像的每个像素点的RGB值。
本发明实施例的三维图像合成装置,利用相机之间距离对相机的位置参数进行校正,可以利用相机的位置参数和彩色图像的RGB值得到深度图像的RGB值,能够获得更好的三维显示效果。
其中,一个红外相机与一个彩色相机之间的距离小于设定阈值,可以使得这两个相机的镜头尽可能靠近,便于后续对相机的位置参数进行校正;另一个相机与其相邻的相机之间的距离大于设定阈值,以这个距离为基准线可以得到合适的深度图像。例如,基准线越小,深度检测的范围越近,深度图像近处效果越好,反之,深度检测越远,远处效果越好。
进一步地,由于使用红外线相机,白天时,近红外成分可以增加纹理,有利于得到稠密的深度图像;黑夜时,也可以获取近处场景的深度图像。该方法在白天黑夜都可以获取可靠的深度图像,从而保证分块高度的准确性和辅助交互的体验效果。因此,本发明实施实例的三维图像合成装置具有白天黑夜适用性。
图3示出根据本发明另一实施例的三维图像合成装置中相机位置的示意图。在上述实施例的基础上,如图3所示,三个相机中可以包括两个红外相机IR1、IR2和一个彩色相机RGB3,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第一距离小于设定阈值,另一个红外相机其相邻的相机之间的第二距离大于设定阈值,且所述第二距离大于所述第一距离。
所述图像合成模块还用于分别获取两个红外相机拍摄的两张红外图像和一个彩色相机拍摄的一张彩色图像;
所述位置校正模块还用于采用所述第一距离和所述第二距离校正各相机的位置参数;
所述图像合成模块还用于根据校正后的位置参数、各相机拍摄的两张红外图像和一张彩色图像合成,得到深度图像以及深度图像的各像素点的RGB值。
例如,如图3所示,如果相机的排布从左到右分别是红外相机IR1、红外相机IR2和彩色相机RGB3。红外相机IR1和红外相机IR2的拍摄中心的距离为L3,L3大于设定阈值,L3为基准线。红外相机IR2和彩色相机RGB3的拍摄中心的距离为L4,L4小于设定阈值,使得IR2与RGB3尽量靠近。L3大于L4小于设定阈值,L3为基准线。然后,控制三个相机同时拍摄目标对象例如人的脸部,得到两张红外人脸图像S1、S2和一张彩色人脸图像S3。根据距离L3、L4对相机的位置参数进行校正。然后根据校正后的位置参数和这三张图像S1、S2、S3一起得到深度图像及其各像素点的RGB值。
图4示出根据本发明另一实施例的三维图像合成装置中相机位置的示意图。在上述实施例的基础上,如图4所示,三个相机中可以包括一个红外相机IR1和两个彩色相机RGB2、RGB3,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第三距离小于设定阈值,另一个彩色相机其相邻的相机之间的第四距离大于设定阈值,且所述第四距离大于所述第三距离;
所述图像获取模块还用于分别获取一个红外相机拍摄的一张红外图像和两个彩色相机拍摄的两张彩色图像;
所述位置校正模块还用于采用所述第三距离和所述第四距离校正各相机的位置参数;
所述图像合成模块还用于根据校正后的位置参数、各相机拍摄的一张红外图像和两张彩色图像得到深度图像以及深度图像的各像素点的RGB值。
例如,如果相机的排布从左到右分别是红外相机IR1、彩色相机RGB2和彩色相机RGB3。红外相机IR1和彩色相机RGB2的拍摄中心的距离为L5,L5小于设定阈值,使得IR1和RGB2尽量靠近。彩色相机RGB2和彩色相机RGB3的拍摄中心的距离为L6,L6大于设定阈值,L6为基准线。L5小于L6。然后,控制三个相机同时拍摄目标对象例如人的脸部,得到一张红外人脸图像S4和两张彩色人脸图像S5、S6。根据距离L5和L6对相机的位置参数进行校正。然后根据校正后的位置参数和这三张图像S4、S5、S6一起得到深度图像及其各像素点的RGB值。
图5示出根据本发明一实施例的三维图像合成方法的流程图。如图5所示,该三维图像合成方法可以包括以下步骤:
101、分别获取三个相机拍摄的图像,三个相机中包括至少一个红外相机和至少一个彩色相机,其中,三个相机中的一个红外相机与一个彩色相机之间的距离小于设定阈值,另一个相机与其相邻的相机之间的距离大于设定阈值。
102、采用相邻相机之间的距离校正各相机的位置参数。
103、根据校正后的位置参数和各相机拍摄的图像得到深度图像以及深度图像的各像素点的RGB值。
图6示出根据本发明另一实施例的三维图像合成方法的流程图。在上一实施例的基础上,本实施例的三个相机中包括两个红外相机和一个彩色相机,三个相机的拍摄中心处于同一直线,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第一距离小于设定阈值,另一个红外相机其相邻的相机之间的第二距离大于设定阈值,且所述第二距离大于所述第一距离,参见图3。
如图6所示,该三维图像合成方法中,步骤101可以包括:步骤201、分别获取两个红外相机拍摄的两张红外图像和一个彩色相机拍摄的一张彩色图像。
步骤102可以包括:步骤202、采用所述第一距离和所述第二距离校正各相机的位置参数。
步骤103可以包括:步骤203、根据校正后的位置参数、各相机拍摄的两张红外图像和一张彩色图像得到深度图像以及深度图像的各像素点的RGB值。
图7示出根据本发明另一实施例的三维图像合成方法的流程图。在上一实施例的基础上,本实施例的三个相机中包括一个红外相机和两个彩色相机,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第三距离小于设定阈值,另一个彩色相机其相邻的相机之间的第四距离大于设定阈值,且所述第四距离大于所述第三距离,参见图4。
如图7所示,该三维图像合成方法中,步骤101可以包括:步骤301、分别获取一个红外相机拍摄的一张红外图像和两个彩色相机拍摄的两张彩色图像;
步骤102可以包括:步骤302、采用所述第三距离和所述第四距离校正各相机的位置参数;
步骤103可以包括:步骤303、根据校正后的位置参数、各相机拍摄的一张红外图像和两张彩色图像得到深度图像以及深度图像的各像素点的RGB值。
本发明实施例中三维图像合成方法的原理可以参见三维图像合成装置实施例中的相关描述,在此不赘述。
图8示出根据本发明一实施例的三维图像合成设备的结构框图。如图8所示,该三维图像合成设备包括:存储器910和处理器920,存储器910内存储有可在处理器920上运行的计算机程序。所述处理器920执行所述计算机程序时实现上述实施例中的三维图像合成方法。所述存储器910和处理器920的数量可以为一个或多个。
该三维图像合成设备还包括:
摄像头,用于采集图像;
通信接口930,用于与外界设备进行通信,进行数据交互传输。
存储器910可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
如果存储器910、处理器920和通信接口930独立实现,则存储器910、处理器920和通信接口930可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA,Industry Standard Architecture)总线、外部设备互连(PCI,PeripheralComponent)总线或扩展工业标准体系结构(EISA,Extended Industry StandardComponent)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
可选的,在具体实现上,如果存储器910、处理器920及通信接口930集成在一块芯片上,则存储器910、处理器920及通信接口930可以通过内部接口完成相互间的通信。
本发明实施例提供了一种计算机可读存储介质,其存储有计算机程序,该程序被处理器执行时实现上述实施例中任一所述的方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器,磁盘或光盘等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到其各种变化或替换,这些都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。

Claims (8)

1.一种三维图像合成装置,其特征在于,包括:
图像获取模块,用于分别获取三个相机拍摄的图像,三个相机中包括至少一个红外相机和至少一个彩色相机,其中,三个相机中的一个红外相机与一个彩色相机之间的距离小于设定阈值,另一个相机与其相邻的相机之间的距离大于设定阈值;
位置校正模块,用于采用相邻相机之间的距离校正各相机的位置参数;
图像合成模块,根据校正后的位置参数和各相机拍摄的图像,合成得到深度图像以及深度图像的各像素点的RGB值。
2.根据权利要求1所述的装置,其特征在于,
所述图像获取模块还用于分别获取两个红外相机拍摄的两张红外图像和一个彩色相机拍摄的一张彩色图像,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第一距离小于设定阈值,另一个红外相机其相邻的相机之间的第二距离大于设定阈值,且所述第二距离大于所述第一距离;
所述位置校正模块还用于采用所述第一距离和所述第二距离校正各相机的位置参数;
所述图像合成模块还用于根据校正后的位置参数、各相机拍摄的两张红外图像和一张彩色图像合成,得到深度图像以及深度图像的各像素点的RGB值。
3.根据权利要求1所述的装置,其特征在于,
所述图像获取模块还用于分别获取一个红外相机拍摄的一张红外图像和两个彩色相机拍摄的两张彩色图像,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第三距离小于设定阈值,另一个彩色相机其相邻的相机之间的第四距离大于设定阈值,且所述第四距离大于所述第三距离;
所述位置校正模块还用于采用所述第三距离和所述第四距离校正各相机的位置参数;
所述图像合成模块还用于根据校正后的位置参数、各相机拍摄的一张红外图像和两张彩色图像得到深度图像以及深度图像的各像素点的RGB值。
4.一种三维图像合成方法,其特征在于,包括:
分别获取三个相机拍摄的图像,三个相机中包括至少一个红外相机和至少一个彩色相机,其中,三个相机中的一个红外相机与一个彩色相机之间的距离小于设定阈值,另一个相机与其相邻的相机之间的距离大于设定阈值;
采用相邻相机之间的距离校正各相机的位置参数;
根据校正后的位置参数和各相机拍摄的图像得到深度图像以及深度图像的各像素点的RGB值。
5.根据权利要求4所述的方法,其特征在于,
分别获取三个相机拍摄的图像,包括:分别获取两个红外相机拍摄的两张红外图像和一个彩色相机拍摄的一张彩色图像,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第一距离小于设定阈值,另一个红外相机其相邻的相机之间的第二距离大于设定阈值,且所述第二距离大于所述第一距离;
采用相邻相机之间的距离校正各相机的位置参数,包括:采用所述第一距离和所述第二距离校正各相机的位置参数;
根据校正后的位置参数和各相机拍摄的图像得到深度图像以及深度图像的各像素点的RGB值,包括:根据校正后的位置参数、各相机拍摄的两张红外图像和一张彩色图像得到深度图像以及深度图像的各像素点的RGB值。
6.根据权利要求4所述的方法,其特征在于,
分别获取三个相机拍摄的图像,包括:分别获取一个红外相机拍摄的一张红外图像和两个彩色相机拍摄的两张彩色图像,三个相机的拍摄中心处于同一直线,一个红外相机与一个彩色相机之间的第三距离小于设定阈值,另一个彩色相机其相邻的相机之间的第四距离大于设定阈值,且所述第四距离大于所述第三距离;
采用相邻相机之间的距离校正各相机的位置参数,包括:采用所述第三距离和所述第四距离校正各相机的位置参数;
根据校正后的位置参数和各相机拍摄的图像得到深度图像以及深度图像的各像素点的RGB值,包括:根据校正后的位置参数、各相机拍摄的一张红外图像和两张彩色图像得到深度图像以及深度图像的各像素点的RGB值。
7.一种三维图像合成设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
摄像头,用于采集图像;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求4至6中任一项所述的方法。
8.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求4至6中任一项所述的方法。
CN201810277820.3A 2018-03-30 2018-03-30 三维图像合成方法、装置及计算机可读存储介质 Active CN108460368B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810277820.3A CN108460368B (zh) 2018-03-30 2018-03-30 三维图像合成方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810277820.3A CN108460368B (zh) 2018-03-30 2018-03-30 三维图像合成方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN108460368A true CN108460368A (zh) 2018-08-28
CN108460368B CN108460368B (zh) 2021-07-09

Family

ID=63237828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810277820.3A Active CN108460368B (zh) 2018-03-30 2018-03-30 三维图像合成方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN108460368B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120861A (zh) * 2018-09-29 2019-01-01 成都臻识科技发展有限公司 一种极低照度下的高质量成像方法及系统
CN109831660A (zh) * 2019-02-18 2019-05-31 Oppo广东移动通信有限公司 深度图像获取方法、深度图像获取模组及电子设备
CN111353934A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种视频合成的方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1519779A (zh) * 2003-01-23 2004-08-11 财团法人工业技术研究院 三维影像接合处的色彩处理方法
CN103081484A (zh) * 2010-09-07 2013-05-01 英特尔公司 3-d摄像机
US20150009295A1 (en) * 2013-07-03 2015-01-08 Electronics And Telecommunications Research Institute Three-dimensional image acquisition apparatus and image processing method using the same
US20150139534A1 (en) * 2013-11-15 2015-05-21 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus and distance correction method
CN105023275A (zh) * 2015-07-14 2015-11-04 清华大学 超分辨率光场采集装置及其的三维重建方法
CN105160663A (zh) * 2015-08-24 2015-12-16 深圳奥比中光科技有限公司 获取深度图像的方法和系统
EP3070675A1 (en) * 2015-03-20 2016-09-21 Ricoh Company, Ltd. Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing
CN106170086A (zh) * 2016-08-19 2016-11-30 深圳奥比中光科技有限公司 绘制三维图像的方法及其装置、系统
CN106570852A (zh) * 2016-11-07 2017-04-19 中国航空无线电电子研究所 一种实时3d图像态势感知方法
CN106846350A (zh) * 2016-11-23 2017-06-13 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士障碍物预警系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1519779A (zh) * 2003-01-23 2004-08-11 财团法人工业技术研究院 三维影像接合处的色彩处理方法
CN103081484A (zh) * 2010-09-07 2013-05-01 英特尔公司 3-d摄像机
US20150009295A1 (en) * 2013-07-03 2015-01-08 Electronics And Telecommunications Research Institute Three-dimensional image acquisition apparatus and image processing method using the same
US20150139534A1 (en) * 2013-11-15 2015-05-21 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus and distance correction method
EP3070675A1 (en) * 2015-03-20 2016-09-21 Ricoh Company, Ltd. Image processor for correcting deviation of a coordinate in a photographed image at appropriate timing
CN105023275A (zh) * 2015-07-14 2015-11-04 清华大学 超分辨率光场采集装置及其的三维重建方法
CN105160663A (zh) * 2015-08-24 2015-12-16 深圳奥比中光科技有限公司 获取深度图像的方法和系统
CN106170086A (zh) * 2016-08-19 2016-11-30 深圳奥比中光科技有限公司 绘制三维图像的方法及其装置、系统
CN106570852A (zh) * 2016-11-07 2017-04-19 中国航空无线电电子研究所 一种实时3d图像态势感知方法
CN106846350A (zh) * 2016-11-23 2017-06-13 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士障碍物预警系统及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何晓昀: ""一种基于Kinect传感器的倒车影像系统"", 《科技传播》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109120861A (zh) * 2018-09-29 2019-01-01 成都臻识科技发展有限公司 一种极低照度下的高质量成像方法及系统
CN111353934A (zh) * 2018-12-24 2020-06-30 杭州海康威视数字技术股份有限公司 一种视频合成的方法及装置
CN111353934B (zh) * 2018-12-24 2023-05-16 杭州海康威视数字技术股份有限公司 一种视频合成的方法及装置
CN109831660A (zh) * 2019-02-18 2019-05-31 Oppo广东移动通信有限公司 深度图像获取方法、深度图像获取模组及电子设备

Also Published As

Publication number Publication date
CN108460368B (zh) 2021-07-09

Similar Documents

Publication Publication Date Title
US11693242B2 (en) Head-mounted display for virtual and mixed reality with inside-out positional, user body and environment tracking
ES2967691T3 (es) Ajuste de una representación digital de una región de cabeza
US9779512B2 (en) Automatic generation of virtual materials from real-world materials
CN112040834A (zh) 眼球跟踪方法及系统
CN108734087B (zh) 物体自动识别方法以及系统、购物设备和存储介质
JP2019510297A (ja) ユーザの真実の人体モデルへの仮想的な試着
CN109242961A (zh) 一种脸部建模方法、装置、电子设备和计算机可读介质
CN106991377A (zh) 结合深度信息的人脸识别方法、人脸识别装置和电子装置
CN108733280A (zh) 智能设备的焦点跟随方法、装置、智能设备及存储介质
US20120162384A1 (en) Three-Dimensional Collaboration
US10553014B2 (en) Image generating method, device and computer executable non-volatile storage medium
CN109559349A (zh) 一种用于标定的方法和装置
WO2016075263A1 (en) Image to item mapping
CN108460368A (zh) 三维图像合成方法、装置及计算机可读存储介质
US10915781B2 (en) Scene reconstructing system, scene reconstructing method and non-transitory computer-readable medium
US11900552B2 (en) System and method for generating virtual pseudo 3D outputs from images
CN111192223B (zh) 人脸纹理图像的处理方法、装置、设备及存储介质
CN108769649B (zh) 深度处理器和三维图像设备
CN109903321A (zh) 图像处理方法、图像处理装置及存储介质
CN106991378A (zh) 基于深度的人脸朝向检测方法、检测装置和电子装置
US20210056292A1 (en) Image location identification
CN110070481B (zh) 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质
CN107908278A (zh) 一种虚拟现实vr界面生成的方法和装置
CN108416312A (zh) 一种基于可见光拍照的生物特征3d数据识别方法及系统
CN108446597B (zh) 一种基于可见光相机的生物特征3d数据采集方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant