CN106709865A - 一种深度图像合成方法及装置 - Google Patents

一种深度图像合成方法及装置 Download PDF

Info

Publication number
CN106709865A
CN106709865A CN201510778905.6A CN201510778905A CN106709865A CN 106709865 A CN106709865 A CN 106709865A CN 201510778905 A CN201510778905 A CN 201510778905A CN 106709865 A CN106709865 A CN 106709865A
Authority
CN
China
Prior art keywords
camera
pixel
depth
depth camera
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510778905.6A
Other languages
English (en)
Other versions
CN106709865B (zh
Inventor
浦世亮
王靖雄
毛慧
沈林杰
俞海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201510778905.6A priority Critical patent/CN106709865B/zh
Priority to EP16863458.2A priority patent/EP3376762B1/en
Priority to US15/775,593 priority patent/US10447989B2/en
Priority to PCT/CN2016/096353 priority patent/WO2017080280A1/zh
Publication of CN106709865A publication Critical patent/CN106709865A/zh
Application granted granted Critical
Publication of CN106709865B publication Critical patent/CN106709865B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种深度图像合成方法及装置,涉及图像处理技术领域,包括:获得各个真实深度相机拍摄的待合成深度图像,各个真实深度相机对应相机坐标系的y轴相互平行;根据预先获得的像素点映射关系,计算各个待合成深度图像中每一像素点在虚拟深度相机对应的相机坐标系中的映射像素点,虚拟深度相机的相机参数为根据各个真实深度相机的相机参数确定的,虚拟深度相机对应相机坐标系的x轴与各个真实深度相机的镜头光心连线平行;根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像。应用本发明实施例提供的方案,能够合成得到具有大视场的深度图像。

Description

一种深度图像合成方法及装置
技术领域
本发明涉及图像处理技术领域,特别涉及一种深度图像合成方法及装置。
背景技术
由于深度相机具有所拍摄的图像能够为用户提供丰富的拍摄物与拍摄物之间的位置信息的特点,使得深度相机在机器视觉领域受到越来越广泛的关注,例如,应用于视频监控领域、应用于体感游戏领域等等。
实际应用中,深度相机不管是应用于视频监控领域,还是应用于体感游戏领域,均会涉及到目标人物的定位、识别、跟踪等方面,这些方面往往在大视场范围内能够得到较佳的效果。然而,对于现有的单个深度相机拍摄的深度图像而言,其视场范围一般较小,很难满足实际应用的要求,因此,有必要提供一种用于根据多个深度相机拍摄的深度图像合成一幅具有大视场的深度图像的方法。
发明内容
本发明实施例公开了一种深度图像合成方法,以能够根据多个深度相机拍摄的深度图像合成一幅具有大视场的深度图像。
为达到上述目的,本发明实施例公开了一种深度图像合成方法,所述方法包括:
获得各个真实深度相机拍摄的待合成深度图像,其中,各个真实深度相机在拍摄待合成深度图像时的位置关系为:各个真实深度相机对应相机坐标系的y轴相互平行;
根据预先获得的像素点映射关系,计算各个待合成深度图像中每一像素点在虚拟深度相机对应的相机坐标系中的映射像素点,其中,所述虚拟深度相机的相机参数为根据各个真实深度相机的相机参数确定的,所述虚拟深度相机的镜头光心位于各个真实深度相机的镜头光心连线上,所述虚拟深度相机对应相机坐标系的x轴与各个真实深度相机的镜头光心连线平行,所述预先获得的像素点映射关系为:预先根据各个真实深度相机的相机参数与所述虚拟深度相机的相机参数之间的几何关系获得的每个真实深度相机对应相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系;
根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像。
在本发明的一种具体实现方式中,通过以下方式预先获得像素点映射关系:
获得虚拟深度相机的镜头光心位置和所述虚拟深度相机的焦距;
根据所述虚拟深度相机的镜头光心位置和各个真实深度相机的镜头光心位置,计算各个真实深度相机相与所述虚拟深度相机之间的距离、各个真实深度相机成像面分别与所述虚拟深度相机成像面之间的夹角;
根据各个真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的相对位置关系、所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得每个真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系。
在本发明的一种具体实现方式中,各个待合成深度图像中每一个像素点的信息至少包括绝对距离深度分量;
所述根据各个真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的相对位置关系、所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得每个真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系,包括:
在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的左侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
x1、y1表示真实深度相机对应的相机坐标系中像素点的横坐标和纵坐标,x2、y2表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点在所述虚拟深度相机对应的相机坐标系中的映射像素点的横坐标和纵坐标,d1表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点的绝对距离深度分量值,d2表示所述虚拟深度相机对应的相机坐标系中坐标为(x2,y2)的像素点的绝对距离深度分量值,B表示真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离,f1表示真实深度相机的焦距,f2表示所述虚拟深度相机的焦距,θ表示真实深度相机成像面与所述虚拟深度相机成像面之间的夹角;
在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的右侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
在真实深度相机的镜头光心与所述虚拟深度相机的镜头光心重合的情况下,真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离为0,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
在本发明的一种具体实现方式中,所述根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像,包括:
获得计算得到的映射像素点中位于所述虚拟深度相机的视场范围内的像素点,其中,所述虚拟深度相机的视场范围为根据所述虚拟深度相机的镜头光心位置以及各个真实深度相机的视场范围确定的;
根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像。
在本发明的一种具体实现方式中,各个待合成深度图像中每一个像素点的信息还包括置信度分量;
所述根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像,包括:
按照保留映射至所述虚拟深度相机对应的相机坐标系中同一点的各个像素点中置信度最大的像素点的规则,对所获得的像素点中进行像素点保留处理;
根据经像素点保留处理后的像素点生成各个待合成深度图像对应的目标合成深度图像。
为达到上述目的,本发明实施例公开了一种深度图像合成装置,所述装置包括:
深度图像获得模块,用于获得各个真实深度相机拍摄的待合成深度图像,其中,各个真实深度相机在拍摄待合成深度图像时的位置关系为:各个真实深度相机对应相机坐标系的y轴相互平行;
映射像素点计算模块,用于根据预先获得的像素点映射关系,计算各个待合成深度图像中每一像素点在虚拟深度相机对应的相机坐标系中的映射像素点,其中,所述虚拟深度相机的相机参数为根据各个真实深度相机的相机参数确定的,所述虚拟深度相机的镜头光心位于各个真实深度相机的镜头光心连线上,所述虚拟深度相机对应相机坐标系的x轴与各个真实深度相机的镜头光心连线平行,所述预先获得的像素点映射关系为:预先根据各个真实深度相机的相机参数与所述虚拟深度相机的相机参数之间的几何关系获得的每个真实深度相机对应相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系;
合成深度图像生成模块,用于根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像。
在本发明的一种具体实现方式中,所述深度图像合成装置还包括:
映射关系获得模块,用于预先获得像素点映射关系;
其中,所述映射关系获得模块,包括:
镜头光心焦距获得子模块,用于获得虚拟深度相机的镜头光心位置和所述虚拟深度相机的焦距;
距离夹角计算子模块,用于根据所述虚拟深度相机的镜头光心位置和各个真实深度相机的镜头光心位置,计算各个真实深度相机相与所述虚拟深度相机之间的距离、各个真实深度相机成像面分别与所述虚拟深度相机成像面之间的夹角;
映射关系获得子模块,用于根据各个真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的相对位置关系、所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得每个真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系。
在本发明的一种具体实现方式中,各个待合成深度图像中每一个像素点的信息至少包括绝对距离深度分量;
所述映射关系获得子模块,具体用于在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的左侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
x1、y1表示真实深度相机对应的相机坐标系中像素点的横坐标和纵坐标,x2、y2表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点在所述虚拟深度相机对应的相机坐标系中的映射像素点的横坐标和纵坐标,d1表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点的绝对距离深度分量值,d2表示所述虚拟深度相机对应的相机坐标系中坐标为(x2,y2)的像素点的绝对距离深度分量值,B表示真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离,f1表示真实深度相机的焦距,f2表示所述虚拟深度相机的焦距,θ表示真实深度相机成像面与所述虚拟深度相机成像面之间的夹角;
用于在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的右侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
用于在真实深度相机的镜头光心与所述虚拟深度相机的镜头光心重合的情况下,真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离为0,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
在本发明的一种具体实现方式中,所述合成深度图像生成模块,包括:
像素点获得子模块,用于获得计算得到的映射像素点中位于所述虚拟深度相机的视场范围内的像素点,其中,所述虚拟深度相机的视场范围为根据所述虚拟深度相机的镜头光心位置以及各个真实深度相机的视场范围确定的;
合成深度图像获得子模块,用于根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像。
在本发明的一种具体实现方式中,各个待合成深度图像中每一个像素点的信息还包括置信度分量;
所述合成深度图像获得子模块,包括:
像素点保留处理单元,用于按照保留映射至所述虚拟深度相机对应的相机坐标系中同一点的各个像素点中置信度最大的像素点的规则,对所获得的像素点中进行像素点保留处理;
合成深度图像获得单元,用于根据经像素点保留处理后的像素点生成各个待合成深度图像对应的目标合成深度图像。
由以上可见,本发明实施例提供的方案中,获得各个真实深度相机拍摄的待合成图像后,将待合成图像中的像素点映射至虚拟深度相机对应的相机坐标系中,获得各个待合成图像中各个像素点在虚拟深度相机对应相机坐标系中的映射像素点,并根据所获得的映射像素点生成各个待合成深度图像对应的目标合成深度图像。这样合成得到的深度图像给人的直观感觉是由虚拟深度相机拍摄得到的,由于合成后的深度图像中包含了各个待合成深度图像中的信息,所以合成后的深度图的视场范围像比单独一个待合成深度图像的视场范围大。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种深度图像合成方法的流程示意图;
图2a为本发明实施例提供的一种真实深度相机与虚拟深度相机的分布示意图;
图2b为本发明实施例提供的另一种真实深度相机与虚拟深度相机的分布示意图;
图3a为本发明实施例提供的一种真实深度相机与虚拟深度相机之间的投影关系图;
图3b为本发明实施例提供的另一种真实深度相机与虚拟深度相机之间的投影关系图;
图4为本发明实施例提供的另一种深度图像合成方法的流程示意图;
图5a为本发明实施例提供的一种虚拟深度相机视场范围的示意图;
图5b为本发明实施例提供的另一种虚拟深度相机视场范围的示意图;
图6为本发明实施例提供的一种深度图像合成装置的结构示意图;
图7为本发明实施例提供的另一种深度图像合成装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
图1为本发明实施例提供的一种深度图像合成方法的流程示意图,该方法包括:
S101:获得各个真实深度相机拍摄的待合成深度图像。
深度相机与正常相机一样具有一定的分辨率,但其各个像素点存储的并不是该点对应的灰度和颜色信息,而是该像素点对应的物体与该深度相机之间的距离,这一距离可以称为“深度”。由上述描述可以得知,深度相机的输出是深度图像,深度图像上每一像素点的值均表示该像素点对应的物体到拍摄所用深度相机的距离。
需要说明的是,上述各个真实深度相机在拍摄待合成深度图像时,可以位于不同的位置,但是各个真实深度相机对应相机坐标系的y轴相互平行。
较佳的,为了能够合成具有较大视场范围的深度图像,各个真实深度相机的镜头光心除了可以位于同一直线上外,各个镜头光心的位置还可以位于该直线上的不同位置,不重合。
S102:根据预先获得的像素点映射关系,计算各个待合成深度图像中每一像素点在虚拟深度相机对应的相机坐标系中的映射像素点。
本实施例提供的方案中主要是通过多个真实深度相机拍摄的深度图像合成一幅深度图像的方式获得大视场的深度图像,本领域内的技术人员可以理解的,该具有大视场范围的深度图像可以想象成由一个具有大视场范围的真实深度相机拍摄得到的,为此,在获得上述大视场的深度图像时,可以构建一个虚拟深度相机,将上述大视场的深度图像理解为由该虚拟深度图像拍摄得到的。
鉴于上述描述,虚拟深度相机需满足以下条件:
虚拟深度相机的相机参数为根据各个真实深度相机的相机参数确定的,其中,相机参数可以包括相机的视场范围、镜头光心位置、焦距等等信息,本申请并不对此进行限定,虚拟深度相机的镜头光心位于各个真实深度相机的镜头光心连线上,且虚拟深度相机对应相机坐标系的x轴与各个真实深度相机的镜头光心连线平行。
另外,上述预先获得的像素点映射关系为:预先根据各个真实深度相机的相机参数与虚拟深度相机的相机参数之间的几何关系获得的每个真实深度相机对应相机坐标系中的像素点与虚拟深度相机对应相机坐标系中的像素点之间的映射关系。
各个真实深度相机在拍摄待合成图像时,一旦各个真实深度相机的相对位置以及虚拟深度相机的相机参数确定了,各个真实深度相机对应相机坐标系中的像素点与虚拟深度相机对应相机坐标系中的像素点之间的映射关系也就唯一确定了,所以,在上述各个真实深度相机的相对位置以及虚拟深度相机的相机参数不变的情况下,在开始合成第一帧深度图像之前,获得一次像素点映射关系即可。具体的,例如可以在初始化阶段根据各个真实深度相机的相机参数和虚拟深度相机的相机参数求解得到上述的像素点映射关系,并将该映射关系存储在一个数据表中,后期合成深度图像时,通过查表的方式即可获得,能够加快合成深度图像的速度。
具体的,可以通过以下方式预先获得像素点映射关系:
首先,获得虚拟深度相机的镜头光心位置和虚拟深度相机的焦距,然后,根据虚拟深度相机的镜头光心位置和各个真实深度相机的镜头光心位置,计算各个真实深度相机与虚拟深度相机之间的距离、各个真实深度相机成像面分别与虚拟深度相机成像面之间的夹角,最后,根据各个真实深度相机的镜头光心与虚拟深度相机的镜头光心之间的相对位置关系、虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得每个真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系。
由于虚拟深度相机的视场范围受各个真实深度相机的视场范围以及虚拟深度相机镜头光心位置的影响,而针对合成深度图像的视场范围的需求一般是确定的,所以,实际应用中可以根据各个真实深度相机的视场范围以及针对合成深度图像的视场范围的需求确定虚拟深度相机的镜头光心位置。可选的,还可以采用人为设定的方式,确定虚拟深度相机的镜头光心。
不管采用上述哪种方式确定虚拟深度相机的镜头光心,虚拟深度相机的镜头光心均需位于各个真实深度相机镜头光心的连线上。
本发明的一种具体实现方式中,可以预先设定虚拟深度相机的分辨率,在确定虚拟深度相机的视场范围之后,可以根据预设的相机模型,例如,针孔相机模型,结合虚拟深度相机的分辨率以及虚拟深度相机的视场范围,确定虚拟深度相机的焦距。
在本发明的另一种具体实现方式中,可以直接预先设定虚拟深度相机的焦距,而不预先设定虚拟深度相机的分辨率,与上述方法相类似,确定虚拟深度相机的视场范围之后,可以根据预设的相机模型,结合虚拟深度相机的焦距以及虚拟深度相机的视场范围,确定得到虚拟深度相机的分辨率,进而能够唯一确定虚拟深度相机。
参见图2a,提供了一种真实深度相机的分布示意图,该示意图中包括两个真实深度相机,其中,点OA、点OB为两个真实深度相机的镜头光心,点OC为虚拟深度相机的镜头光心,点OA与点OC之间的距离、点OB与点OC之间的距离分别为两个真实深度相机与虚拟深度相机之间的距离,该图中的夹角θ表示两个真实深度相机成像面分别与虚拟深度相机的成像面之间的夹角,该图中两个真实深度相机与虚拟深度相机之间的夹角相等。
参见图2b,提供了另一种真实深度相机的分布示意图,与图2a所示的分布示意图相似,该示意图中包括四个真实深度相机,其中,以虚线状态显示的深度相机为四个真实深度相机对应的虚拟深度相机,图中经过虚拟深度相机镜头光心且不经过真实深度相机镜头光心的两条虚线之间的区域为虚拟深度相机的视场范围。
需要说明的是,各个真实深度相机成像面与虚拟深度相机成像面之间的夹角可以相等,也可以不相等,该夹角的取值可以为0,可以为正值,也可以为负值,本申请并不对此进行限定。
S103:根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像。
下面通过具体实例说明如何获得像素点映射关系。
参见图3a,提供了一种真实深度相机与虚拟深度相机之间的投影关系图,该投影关系图是针对一个真实深度相机和一个虚拟深度相机的,且该真实深度相机的镜头光心位于虚拟深度相机镜头光心的左侧。
其中,Or为真实深度相机的镜头光心,Ov为虚拟深度相机的镜头光心,Or与Ov的连线与虚拟深度相机的成像平面平行,该连线记为LB,Or与Ov之间的距离为B。在Or处和Ov处分别按照相机成像的前投影模型建立直角坐标系,两坐标系的x轴共面,y轴互相平行,两坐标系x轴之间的夹角为θ,即真实深度相机的成像面与虚拟深度相机的成像面之间的夹角为θ。真实深度相机的焦距为f1,虚拟深度相机的焦距为f2。空间中某一点P,在真实深度相机对应的相机坐标系上的投影点为Pr,坐标为(x1,y1),对应的深度值为d1;在虚拟深度相机对应的相机坐标系上的投影点为Pv,坐标为(x2,y2),对应的深度值为d2,P点相对于两个坐标系的y轴向坐标相等,记为yp。空间点P在两坐标系x轴所在平面上的投影为Po,从Po分别到Or和Ov的连线距离记为dr和dv,Po到Or的连线与LB的夹角记为α,Po到Ov的连线与LB的夹角记为β。以上各参数中,B,θ,f1,f2在计算过程中为已知数。
点Pr在线段OrPo上的投影点为Pm,点Pv在线段OvPo上的投影点为Pn。
由于图3a中的直角三角形OrPoP与直角三角形OrPmPr相似,可以得出以下关系式:
根据上述关系式可以解出:
根据余弦定理有:
dv2=dr2+B2-2*B*dr*cosα
d22=dv2+yp2
可以解出:
可以看出,对于某一确定像素点位置(x1,y1),k1的值唯一确定。
再依据三角关系有:
令k2=f2*cotα,
则有:
可以看出,对于确定的像素点(x1,y1),k2和k3唯一确定。
再依据三角关系有:
可以看出,对于确定的像素点(x1,y1),k4唯一确定。
综上,可以总结如下:对于在真实深度相机对应相机坐标系下的一具有深度值d1的像素点(x1,y1),其在虚拟深度相机对应相机坐标系下的映射像素点为(x2,y2),深度值为d2。有如下关系:
其中,对于坐标为(x1,y1)的像素点,系数k1、k2、k3、k4可以唯一确定,如下式所示:
依据上述关系式推导过程,在本发明的一种具体实现方式中,各个待合成深度图像中每一个像素点的信息至少包括绝对距离深度分量,这种情况下,根据各个真实深度相机的镜头光心与虚拟深度相机的镜头光心之间的相对位置关系、虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得每个真实深度相机对应的相机坐标系中的像素点与虚拟深度相机对应相机坐标系中的像素点之间的映射关系,包括:
在真实深度相机的镜头光心位于虚拟深度相机的镜头光心的左侧的情况下,根据虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
x1、y1表示真实深度相机对应的相机坐标系中像素点的横坐标和纵坐标,x2、y2表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点在虚拟深度相机对应的相机坐标系中的映射像素点的横坐标和纵坐标,d1表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点的绝对距离深度分量值,d2表示虚拟深度相机对应的相机坐标系中坐标为(x2,y2)的像素点的绝对距离深度分量值,B表示真实深度相机的镜头光心与虚拟深度相机的镜头光心之间的距离,f1表示真实深度相机的焦距,f2表示虚拟深度相机的焦距,θ表示真实深度相机成像面与虚拟深度相机成像面之间的夹角,也就是真实深度相机对应的相机坐标系中x轴与虚拟深度相机对应的相机坐标系中x轴之间的夹角。
真实深度相机的镜头光心位于虚拟深度相机的镜头光心的右侧时,真实深度相机与虚拟深度相机之间的投影关系类似,参见图3b,提供了另一种真实深度相机与虚拟深度相机之间的映射关系,该投影关系图是针对一个真实深度相机和一个虚拟深度相机的,且该真实深度相机的镜头光心位于虚拟深度相机镜头光心的右侧。
具体的,参照依据图3a推导真实深度相机对应的相机坐标系中的像素点与虚拟深度相机对应相机坐标系中的像素点之间的映射关系的过程,可以推导真实深度相机镜头光心位于虚拟深度相机镜头光心右侧时,真实深度相机对应的相机坐标系中的像素点与虚拟深度相机对应相机坐标系中的像素点之间的映射关系,这里不再详述。
在真实深度相机的镜头光心位于虚拟深度相机的镜头光心的右侧的情况下,根据虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
除了前述的两种真实深度相机的镜头光心位于虚拟深度相机的镜头关心的左侧或者右侧的情况外,真实深度相机的镜头光心还有可能与虚拟深度相机的镜头光心重合,这种情况下,真实深度相机的镜头光心与虚拟深度相机的镜头光心之间的距离为0,根据虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
具体的,计算得到真实深度相机对应相机坐标系中的任一像素点(x1,y1)对应的系数k1、k2、k3、k4、α后,可以将这些系数存储在一个数据表中,合成深度图像时直接从该数据表中即可获得所需要的系数,无需重复上述推导关系式的过程,因此,能够大大提高合成深度图像的效率。
进一步的,由前面的关系式可以看出因此:
当B足够小时可以认为d2=d1,这样还可以进一步简化前述的所获得的映射关系。
在本发明的一种具体实现方式中,参见图4,提供了另一种深度图像合成方法的流程示意图,与前述实施例相比,本实施例中,根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像(S103)时,包括:
S103A:获得计算得到的映射像素点中位于虚拟深度相机的视场范围内的像素点。
虽然对各个待合成深度图像进行图像合成后,可以得到大视场的深度图像,但是合成后的深度图像的视场范围并不是各个待合成深度图像的视场范围的简单叠加。虚拟深度相机的视场范围为根据虚拟深度相机的镜头光心位置以及各个真实深度相机的视场范围确定的。
具体的,参见图5a,提供了一种虚拟深度相机视场范围的示意图,该图中虚拟深度相机镜头光心O3位于两个真是深度相机镜头光心O1和O2连线的中心处,其中,两个真实深度相机的视场范围分别是线段O1A1和线段O1A2形成的区域、线段O2B1和线段O2B2形成的区域,虚拟深度相机的视场范围为线段O3A1和线段O3B2形成的区域。
参见图5b,提供了另一种虚拟深度相机视场范围的示意图,该图中虚拟深度相机的镜头光心O6未位于两个真实深度相机镜头光心O4和O5连线的中心处,其中,两个真实深度相机的视场范围分别是线段O4D1和线段O4D2形成的区域、线段O5E1和线段O5E2形成的区域,由于线段O6D1与线段O6E2为非对称关系,虚拟深度相机的视场范围并非为线段O6D1和线段O6E2形成的区域,而是线段O6D1和线段O6F形成的区域,其中,线段O6D1和线段O6F成对称关系。
这样从上述两图中显然可以看出,虚拟深度相机的视场范围并非两个真是深度相机视场范围的叠加。
S103B:根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像。
在本发明的一种较佳实现方式中,各个待合成深度图像中每一个像素点的信息还可以包括置信度分量,其中,置信度分量用于表示深度相机输出的深度值与真实值之间存在误差,在一些深度相机中会使用置信度来表示深度值与真实值之间误差的大小,一般来说,置信度越大,误差越小。置信度值与深度值是一一对应的,即深度图像中的每一像素点都有对应的深度值,也有置信度值。典型的,会输出置信度的深度相机有ToF深度相机等。
可以理解的,所获得的像素点中可能会有一些像素点对应于虚拟深度相机对应相机坐标系中的同一点,这些对应于同一点的像素点中,各个像素点的绝对距离深度分量和置信度分量可能相同也可能不相同。
基于上述情况,根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像时,可以先按照保留映射至所述虚拟深度相机对应的相机坐标系中同一点的各个像素点中置信度最大的像素点的规则,对所获得的像素点中进行像素点保留处理,然后根据经像素点保留处理后的像素点生成各个待合成深度图像对应的目标合成深度图像。
应用上述方式获得目标合成深度图像时,由于考虑了像素点的置信度分量,所以得到的目标合成深度图像中各个像素点的分布情况更接近于真实情况。
需要说明的是,在对所获得的像素点进行像素点保留处理时,可以先对所有所获得的像素点进行像素点保留处理,然后再根据保留处理后的像素点生成各个待合成深度图像对应的目标合成深度图像,还可以以像素点为单位,对每个所获得的像素点进行以下操作:对一个像素点进行像素点保留处理,若保留,则将该保留的像素点存储至目标合成深度图像的相应位置,循环执行上述操作直至遍历所获得的每一个像素点。当然,这里只是对如何根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像的举例,并不对此进行限定。
由以上可见,上述各个实施例提供的方案中,获得各个真实深度相机拍摄的待合成图像后,将待合成图像中的像素点映射至虚拟深度相机对应的相机坐标系中,获得各个待合成图像中各个像素点在虚拟深度相机对应相机坐标系中的映射像素点,并根据所获得的映射像素点生成各个待合成深度图像对应的目标合成深度图像。这样合成得到的深度图像给人的直观感觉是由虚拟深度相机拍摄得到的,由于合成后的深度图像中包含了各个待合成深度图像中的信息,所以合成后的深度图的视场范围像比单独一个待合成深度图像的视场范围大。
与上述的深度图像合成方法相对应,本发明实施例还提供了一种深度图像合成装置。
图6为本发明实施例提供的一种深度图像合成装置的结构示意图,该装置包括:
深度图像获得模块601,用于获得各个真实深度相机拍摄的待合成深度图像,其中,各个真实深度相机在拍摄待合成深度图像时的位置关系为:各个真实深度相机对应相机坐标系的y轴相互平行;
映射像素点计算模块602,用于根据预先获得的像素点映射关系,计算各个待合成深度图像中每一像素点在虚拟深度相机对应的相机坐标系中的映射像素点,其中,所述虚拟深度相机的相机参数为根据各个真实深度相机的相机参数确定的,所述虚拟深度相机的镜头光心位于各个真实深度相机的镜头光心连线上,所述虚拟深度相机对应相机坐标系的x轴与各个真实深度相机的镜头光心连线平行,所述预先获得的像素点映射关系为:预先根据各个真实深度相机的相机参数与所述虚拟深度相机的相机参数之间的几何关系获得的每个真实深度相机对应相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系;
合成深度图像生成模块603,用于根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像。
具体的,所述深度图像合成装置还可以包括:
映射关系获得模块,用于预先获得像素点映射关系;
其中,所述映射关系获得模块,包括:
镜头光心焦距获得子模块,用于获得虚拟深度相机的镜头光心位置和所述虚拟深度相机的焦距;
距离夹角计算子模块,用于根据所述虚拟深度相机的镜头光心位置和各个真实深度相机的镜头光心位置,计算各个真实深度相机相与所述虚拟深度相机之间的距离、各个真实深度相机分别与所述虚拟深度相机夹角;
映射关系获得子模块,用于根据各个真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的相对位置关系、所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得每个真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系。
较佳的,各个待合成深度图像中每一个像素点的信息至少包括绝对距离深度分量;
所述映射关系获得子模块,具体用于在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的左侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
x1、y1表示真实深度相机对应的相机坐标系中像素点的横坐标和纵坐标,x2、y2表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点在所述虚拟深度相机对应的相机坐标系中的映射像素点的横坐标和纵坐标,d1表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点的绝对距离深度分量值,d2表示所述虚拟深度相机对应的相机坐标系中坐标为(x2,y2)的像素点的绝对距离深度分量值,B表示真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离,f1表示真实深度相机的焦距,f2表示所述虚拟深度相机的焦距,θ表示真实深度相机成像面与所述虚拟深度相机成像面之间的夹角;
用于在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的右侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
用于在真实深度相机的镜头光心与所述虚拟深度相机的镜头光心重合的情况下,真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离为0,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
其中,
在本发明的一种具体实现方式中,参见图7,提供了另一种深度图像合成装置的结构示意图,与前述实施例相比,本实施例中,
所述合成深度图像生成模块603,包括:
像素点获得子模块6031,用于获得计算得到的映射像素点中位于所述虚拟深度相机的视场范围内的像素点,其中,所述虚拟深度相机的视场范围为根据所述虚拟深度相机的镜头光心位置以及各个真实深度相机的视场范围确定的;
合成深度图像获得子模块6032,用于根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像。
较佳的,各个待合成深度图像中每一个像素点的信息还包括置信度分量;
所述合成深度图像获得子模块6032可以包括:
像素点保留处理单元,用于按照保留映射至所述虚拟深度相机对应的相机坐标系中同一点的各个像素点中置信度最大的像素点的规则,对所获得的像素点中进行像素点保留处理;
合成深度图像获得单元,用于根据经像素点保留处理后的像素点生成各个待合成深度图像对应的目标合成深度图像。
由以上可见,上述各个实施例提供的方案中,获得各个真实深度相机拍摄的待合成图像后,将待合成图像中的像素点映射至虚拟深度相机对应的相机坐标系中,获得各个待合成图像中各个像素点在虚拟深度相机对应相机坐标系中的映射像素点,并根据所获得的映射像素点生成各个待合成深度图像对应的目标合成深度图像。这样合成得到的深度图像给人的直观感觉是由虚拟深度相机拍摄得到的,由于合成后的深度图像中包含了各个待合成深度图像中的信息,所以合成后的深度图的视场范围像比单独一个待合成深度图像的视场范围大。
对于装置实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于计算机可读取存储介质中,这里所称得的存储介质,如:ROM/RAM、磁碟、光盘等。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

Claims (10)

1.一种深度图像合成方法,其特征在于,所述方法包括:
获得各个真实深度相机拍摄的待合成深度图像,其中,各个真实深度相机在拍摄待合成深度图像时的位置关系为:各个真实深度相机对应相机坐标系的y轴相互平行;
根据预先获得的像素点映射关系,计算各个待合成深度图像中每一像素点在虚拟深度相机对应的相机坐标系中的映射像素点,其中,所述虚拟深度相机的相机参数为根据各个真实深度相机的相机参数确定的,所述虚拟深度相机的镜头光心位于各个真实深度相机的镜头光心连线上,所述虚拟深度相机对应相机坐标系的x轴与各个真实深度相机的镜头光心连线平行,所述预先获得的像素点映射关系为:预先根据各个真实深度相机的相机参数与所述虚拟深度相机的相机参数之间的几何关系获得的每个真实深度相机对应相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系;
根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像。
2.根据权利要求1所述的方法,其特征在于,通过以下方式预先获得像素点映射关系:
获得虚拟深度相机的镜头光心位置和所述虚拟深度相机的焦距;
根据所述虚拟深度相机的镜头光心位置和各个真实深度相机的镜头光心位置,计算各个真实深度相机相与所述虚拟深度相机之间的距离、各个真实深度相机成像面分别与所述虚拟深度相机成像面之间的夹角;
根据各个真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的相对位置关系、所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得每个真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系。
3.根据权利要求2所述的方法,其特征在于,
各个待合成深度图像中每一个像素点的信息至少包括绝对距离深度分量;
所述根据各个真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的相对位置关系、所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得每个真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系,包括:
在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的左侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
d 2 = d 1 2 + B 2 - k 1 * B * d 1 x 2 = k 2 - k 3 d 1 y 2 = k 4 ,
其中,
x1、y1表示真实深度相机对应的相机坐标系中像素点的横坐标和纵坐标,x2、y2表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点在所述虚拟深度相机对应的相机坐标系中的映射像素点的横坐标和纵坐标,d1表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点的绝对距离深度分量值,d2表示所述虚拟深度相机对应的相机坐标系中坐标为(x2,y2)的像素点的绝对距离深度分量值,B表示真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离,f1表示真实深度相机的焦距,f2表示所述虚拟深度相机的焦距,θ表示真实深度相机成像面与所述虚拟深度相机成像面之间的夹角;
在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的右侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
{ d 2 = d 1 2 + B 2 - k 1 * B * d 1 x 2 = - k 2 + k 3 d 1 y 2 = k 4 ,
其中,
在真实深度相机的镜头光心与所述虚拟深度相机的镜头光心重合的情况下,真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离为0,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
d 2 = d 1 x 2 = k 2 y 2 = k 4 ,
其中,
4.根据权利要求1-3中任一项所述的方法,其特征在于,所述根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像,包括:
获得计算得到的映射像素点中位于所述虚拟深度相机的视场范围内的像素点,其中,所述虚拟深度相机的视场范围为根据所述虚拟深度相机的镜头光心位置以及各个真实深度相机的视场范围确定的;
根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像。
5.根据权利要求4所述的方法,其特征在于,
各个待合成深度图像中每一个像素点的信息还包括置信度分量;
所述根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像,包括:
按照保留映射至所述虚拟深度相机对应的相机坐标系中同一点的各个像素点中置信度最大的像素点的规则,对所获得的像素点中进行像素点保留处理;
根据经像素点保留处理后的像素点生成各个待合成深度图像对应的目标合成深度图像。
6.一种深度图像合成装置,其特征在于,所述装置包括:
深度图像获得模块,用于获得各个真实深度相机拍摄的待合成深度图像,其中,各个真实深度相机在拍摄待合成深度图像时的位置关系为:各个真实深度相机对应相机坐标系的y轴相互平行;
映射像素点计算模块,用于根据预先获得的像素点映射关系,计算各个待合成深度图像中每一像素点在虚拟深度相机对应的相机坐标系中的映射像素点,其中,所述虚拟深度相机的相机参数为根据各个真实深度相机的相机参数确定的,所述虚拟深度相机的镜头光心位于各个真实深度相机的镜头光心连线上,所述虚拟深度相机对应相机坐标系的x轴与各个真实深度相机的镜头光心连线平行,所述预先获得的像素点映射关系为:预先根据各个真实深度相机的相机参数与所述虚拟深度相机的相机参数之间的几何关系获得的每个真实深度相机对应相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系;
合成深度图像生成模块,用于根据计算得到的映射像素点,生成各个待合成深度图像对应的目标合成深度图像。
7.根据权利要求6所述的装置,其特征在于,所述装置还包括:
映射关系获得模块,用于预先获得像素点映射关系;
其中,所述映射关系获得模块,包括:
镜头光心焦距获得子模块,用于获得虚拟深度相机的镜头光心位置和所述虚拟深度相机的焦距;
距离夹角计算子模块,用于根据所述虚拟深度相机的镜头光心位置和各个真实深度相机的镜头光心位置,计算各个真实深度相机相与所述虚拟深度相机之间的距离、各个真实深度相机成像面分别与所述虚拟深度相机成像面之间的夹角;
映射关系获得子模块,用于根据各个真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的相对位置关系、所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得每个真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系。
8.根据权利要求7所述的装置,其特征在于,
各个待合成深度图像中每一个像素点的信息至少包括绝对距离深度分量;
所述映射关系获得子模块,具体用于在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的左侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
d 2 = d 1 2 + B 2 - k 1 * B * d 1 x 2 = k 2 - k 3 d 1 y 2 = k 4 ,
其中,
x1、y1表示真实深度相机对应的相机坐标系中像素点的横坐标和纵坐标,x2、y2表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点在所述虚拟深度相机对应的相机坐标系中的映射像素点的横坐标和纵坐标,d1表示真实深度相机对应的相机坐标系中坐标为(x1,y1)的像素点的绝对距离深度分量值,d2表示所述虚拟深度相机对应的相机坐标系中坐标为(x2,y2)的像素点的绝对距离深度分量值,B表示真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离,f1表示真实深度相机的焦距,f2表示所述虚拟深度相机的焦距,θ表示真实深度相机成像面与所述虚拟深度相机成像面之间的夹角;
用于在真实深度相机的镜头光心位于所述虚拟深度相机的镜头光心的右侧的情况下,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
d 2 = d 1 2 + B 2 - k 1 * B * d 1 x 2 = - k 2 + k 3 d 1 y 2 = k 4 ,
其中,
用于在真实深度相机的镜头光心与所述虚拟深度相机的镜头光心重合的情况下,真实深度相机的镜头光心与所述虚拟深度相机的镜头光心之间的距离为0,根据所述虚拟深度相机的焦距、各个真实深度相机的焦距以及计算得到的距离、夹角,利用几何关系获得的该真实深度相机对应的相机坐标系中的像素点与所述虚拟深度相机对应相机坐标系中的像素点之间的映射关系为:
d 2 = d 1 x 2 = k 2 y 2 = k 4 ,
其中,
9.根据权利要求6-8中任一项所述的装置,其特征在于,所述合成深度图像生成模块,包括:
像素点获得子模块,用于获得计算得到的映射像素点中位于所述虚拟深度相机的视场范围内的像素点,其中,所述虚拟深度相机的视场范围为根据所述虚拟深度相机的镜头光心位置以及各个真实深度相机的视场范围确定的;
合成深度图像获得子模块,用于根据所获得的像素点生成各个待合成深度图像对应的目标合成深度图像。
10.根据权利要求9所述的装置,其特征在于,
各个待合成深度图像中每一个像素点的信息还包括置信度分量;
所述合成深度图像获得子模块,包括:
像素点保留处理单元,用于按照保留映射至所述虚拟深度相机对应的相机坐标系中同一点的各个像素点中置信度最大的像素点的规则,对所获得的像素点中进行像素点保留处理;
合成深度图像获得单元,用于根据经像素点保留处理后的像素点生成各个待合成深度图像对应的目标合成深度图像。
CN201510778905.6A 2015-11-13 2015-11-13 一种深度图像合成方法及装置 Active CN106709865B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201510778905.6A CN106709865B (zh) 2015-11-13 2015-11-13 一种深度图像合成方法及装置
EP16863458.2A EP3376762B1 (en) 2015-11-13 2016-08-23 Depth image composition method and apparatus
US15/775,593 US10447989B2 (en) 2015-11-13 2016-08-23 Method and device for synthesizing depth images
PCT/CN2016/096353 WO2017080280A1 (zh) 2015-11-13 2016-08-23 一种深度图像合成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510778905.6A CN106709865B (zh) 2015-11-13 2015-11-13 一种深度图像合成方法及装置

Publications (2)

Publication Number Publication Date
CN106709865A true CN106709865A (zh) 2017-05-24
CN106709865B CN106709865B (zh) 2020-02-18

Family

ID=58694730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510778905.6A Active CN106709865B (zh) 2015-11-13 2015-11-13 一种深度图像合成方法及装置

Country Status (4)

Country Link
US (1) US10447989B2 (zh)
EP (1) EP3376762B1 (zh)
CN (1) CN106709865B (zh)
WO (1) WO2017080280A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107610170A (zh) * 2017-08-04 2018-01-19 中国科学院自动化研究所 多目图像重聚焦的深度获取方法及系统
CN109215030A (zh) * 2017-06-30 2019-01-15 深圳市特影信息技术有限责任公司 基于拍照工具的2d和3d自由点测绘方法、装置及系统
CN109325992A (zh) * 2018-10-19 2019-02-12 珠海金山网络游戏科技有限公司 图像绘制方法和装置、计算设备及存储介质
CN110798634A (zh) * 2019-11-28 2020-02-14 东北大学 图像自适应合成方法、装置及计算机可读存储介质

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6434947B2 (ja) * 2016-09-30 2018-12-05 キヤノン株式会社 撮像システム、画像処理装置、画像処理方法、及びプログラム
TWI660328B (zh) * 2017-02-23 2019-05-21 鈺立微電子股份有限公司 利用非平面投影影像產生深度圖的影像裝置及其相關方法
CN111489288B (zh) * 2019-01-28 2023-04-07 北京魔门塔科技有限公司 一种图像的拼接方法和装置
US20200288099A1 (en) * 2019-03-07 2020-09-10 Alibaba Group Holding Limited Video generating method, apparatus, medium, and terminal
CN112824955B (zh) * 2019-11-21 2022-06-28 江西欧迈斯微电子有限公司 结构光模组、成像装置及电子设备
CN112037316B (zh) * 2020-09-22 2024-04-16 阿波罗智联(北京)科技有限公司 映射的生成方法、装置和路侧设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120176481A1 (en) * 2008-02-29 2012-07-12 Disney Enterprises, Inc. Processing image data from multiple cameras for motion pictures
CN102763420A (zh) * 2010-02-02 2012-10-31 微软公司 深度相机兼容性
US20140293010A1 (en) * 2009-11-18 2014-10-02 Quang H. Nguyen System for executing 3d propagation for depth image-based rendering
CN104429079A (zh) * 2012-07-09 2015-03-18 三菱电机株式会社 利用运动矢量预测列表处理用于视图合成的多视图视频的方法和系统
CN104641633A (zh) * 2012-10-15 2015-05-20 英特尔公司 用于组合来自多个深度相机的数据的系统和方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1428291A4 (en) * 2001-08-31 2004-12-08 Univ Columbia SYSTEMS AND METHODS FOR PROVIDING AN OPTIMIZED PLATE ANTENNA EXCITATION TO PLATES COUPLED TO EACH OTHER
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치
US7006709B2 (en) * 2002-06-15 2006-02-28 Microsoft Corporation System and method deghosting mosaics using multiperspective plane sweep

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120176481A1 (en) * 2008-02-29 2012-07-12 Disney Enterprises, Inc. Processing image data from multiple cameras for motion pictures
US20140293010A1 (en) * 2009-11-18 2014-10-02 Quang H. Nguyen System for executing 3d propagation for depth image-based rendering
CN102763420A (zh) * 2010-02-02 2012-10-31 微软公司 深度相机兼容性
CN104429079A (zh) * 2012-07-09 2015-03-18 三菱电机株式会社 利用运动矢量预测列表处理用于视图合成的多视图视频的方法和系统
CN104641633A (zh) * 2012-10-15 2015-05-20 英特尔公司 用于组合来自多个深度相机的数据的系统和方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109215030A (zh) * 2017-06-30 2019-01-15 深圳市特影信息技术有限责任公司 基于拍照工具的2d和3d自由点测绘方法、装置及系统
CN107610170A (zh) * 2017-08-04 2018-01-19 中国科学院自动化研究所 多目图像重聚焦的深度获取方法及系统
CN109325992A (zh) * 2018-10-19 2019-02-12 珠海金山网络游戏科技有限公司 图像绘制方法和装置、计算设备及存储介质
CN109325992B (zh) * 2018-10-19 2023-07-04 珠海金山数字网络科技有限公司 图像绘制方法和装置、计算设备及存储介质
CN110798634A (zh) * 2019-11-28 2020-02-14 东北大学 图像自适应合成方法、装置及计算机可读存储介质
CN110798634B (zh) * 2019-11-28 2020-10-09 东北大学 图像自适应合成方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN106709865B (zh) 2020-02-18
WO2017080280A1 (zh) 2017-05-18
US10447989B2 (en) 2019-10-15
EP3376762A4 (en) 2019-07-31
EP3376762B1 (en) 2021-04-07
US20180338134A1 (en) 2018-11-22
EP3376762A1 (en) 2018-09-19

Similar Documents

Publication Publication Date Title
CN106709865A (zh) 一种深度图像合成方法及装置
CN109446892B (zh) 基于深度神经网络的人眼注意力定位方法及系统
CN110111262A (zh) 一种投影仪畸变校正方法、装置和投影仪
CN104519340B (zh) 基于多深度图像变换矩阵的全景视频拼接方法
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
CN106875339A (zh) 一种基于长条形标定板的鱼眼图像拼接方法
CN109919911B (zh) 基于多视角光度立体的移动三维重建方法
CN109087382A (zh) 一种三维重构方法及三维成像系统
CN106612387A (zh) 一种组合深度图获得方法及深度相机
CN106331527A (zh) 一种图像拼接方法及装置
CN108489454A (zh) 深度距离测量方法、装置、计算机可读存储介质及电子设备
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN110070598A (zh) 用于3d扫描重建的移动终端及其进行3d扫描重建方法
JP2009116532A (ja) 仮想視点画像生成方法および仮想視点画像生成装置
CN107633489A (zh) 鱼眼镜头圆心重提取映射法畸变矫正方法
WO2018032841A1 (zh) 绘制三维图像的方法及其设备、系统
CN109769109A (zh) 基于虚拟视点合成绘制三维物体的方法和系统
CN106534833A (zh) 一种联合空间时间轴的双视点立体视频稳定方法
JP2023505891A (ja) 環境のトポグラフィを測定するための方法
TWI820246B (zh) 具有像差估計之設備、估計來自廣角影像的像差之方法及電腦程式產品
CN110021035A (zh) Kinect深度相机的标记物及基于该标记物的虚拟标记物跟踪方法
JP2001016621A (ja) 多眼式データ入力装置
CN108765292A (zh) 基于空间三角面片拟合的图像拼接方法
Gava et al. Dense scene reconstruction from spherical light fields
CN107341764A (zh) 基于鱼眼镜头立体视觉的虚拟空间定位方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant