CN108470323B - 一种图像拼接方法、计算机设备及显示装置 - Google Patents

一种图像拼接方法、计算机设备及显示装置 Download PDF

Info

Publication number
CN108470323B
CN108470323B CN201810206982.8A CN201810206982A CN108470323B CN 108470323 B CN108470323 B CN 108470323B CN 201810206982 A CN201810206982 A CN 201810206982A CN 108470323 B CN108470323 B CN 108470323B
Authority
CN
China
Prior art keywords
depth
camera
image
depth image
point cloud
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810206982.8A
Other languages
English (en)
Other versions
CN108470323A (zh
Inventor
王鹏鹏
王海生
丁小梁
郑智仁
韩艳玲
张平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201810206982.8A priority Critical patent/CN108470323B/zh
Priority to US16/345,975 priority patent/US11308579B2/en
Priority to PCT/CN2018/091810 priority patent/WO2019174146A1/en
Publication of CN108470323A publication Critical patent/CN108470323A/zh
Application granted granted Critical
Publication of CN108470323B publication Critical patent/CN108470323B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种图像拼接方法、计算机设备及显示装置，涉及显示技术领域，用于解决采用微分算法进行图像拼接，导致拼接速度较慢的问题。该图像拼接方法包括：通过第一摄像头获取当前帧的第一深度图像；通过第二摄像头获取当前帧的第二深度图像；获取第一深度图像或第二深度图像的深度均值，并获取与深度均值相匹配的点云空间坐标转换矩阵；将第一深度图像转换到第一摄像头坐标系中，并在第一摄像头坐标系中成像，形成第一三维点云图；将第一三维点云图映射至与第二摄像头的坐标中，形成第二三维点云图；将第二三维点云图逆变为位于第二摄像头坐标系中的第三深度图像；将第二深度图像与第三深度图像进行拼接。

Description

一种图像拼接方法、计算机设备及显示装置
技术领域
本发明涉及显示技术领域，尤其涉及一种图像拼接方法、计算机设备及显示装置。
背景技术
目前，手势交互是利用计算机图形学等技术识别人的肢体语言，并将上述肢体语言转化为控制命令用于实现设备的操作。手势交互是继鼠标、键盘和触屏之后新的人机交互方式。
在手势交互的过程中，需要对用户的手势进行采集，比根据采集到的手势调用与该手势相匹配的控制命令。在对手势采集的过程中，为了避免采集盲区，通常会设置多个摄像头对手势进行此采集。在此情况下，需要对多个摄像头采集的图像进行拼接。然而，现有的拼接技术需要对待拼接的两个图像，通过微分算法找到图像重叠位置的特征匹配点，然后对上述两个图像进行拼接。由于微分算法过程计算量巨大，因此拼接速度较慢。
发明内容
本发明的实施例提供一种图像拼接方法、计算机设备及显示装置，用于解决采用微分算法进行图像拼接，导致拼接速度较慢的问题。
为达到上述目的，本发明的实施例采用如下技术方案：
本申请实施例的一方面，提供一种图像拼接方法，包括：通过第一摄像头获取当前帧的第一深度图像；通过第二摄像头获取所述当前帧的第二深度图像；所述第一深度图像和所述第二深度图像之间具有重叠区域；获取所述第一深度图像或所述第二深度图像的深度均值，并根据所述深度均值获取与所述深度均值相匹配的点云空间坐标转换矩阵；将所述第一深度图像转换到第一摄像头坐标系中，并在所述第一摄像头坐标系中成像，形成第一三维点云图；根据所述点云空间坐标转换矩阵以及所述第一摄像头与所述第二摄像头的坐标关系，将所述第一三维点云图映射至与所述第二摄像头的坐标中，形成第二三维点云图；将所述第二三维点云图逆变为位于所述第二摄像头坐标系中的第三深度图像；将所述第二深度图像与所述第三深度图像进行拼接。
可选的，在获取第一帧的所述第一深度图像和所述第二深度图像之前，所述方法包括：对所述第一摄像头和所述第二摄像头进行标定，分别获取所述第一摄像头和所述第二摄像头的外参数矩阵；根据所述第一摄像头和所述第二摄像头的外参数矩阵获得所述点云空间坐标转换矩阵以及所述第一摄像头与所述第二摄像头的坐标关系。
可选的，所述对所述第一摄像头和所述第二摄像头进行标定，获取所述第一摄像头和所述第二摄像头的外参数矩阵包括：将标定图像投影至一投影平面；所述第一摄像头和所述第二摄像头分别以至少一种角度或拍摄间距对所述标定图像进行拍摄；根据所述第一摄像头的至少一张拍摄图像计算所述第一摄像头的外参数矩阵；根据所述第二摄像头的至少一张拍摄图像计算所述第二摄像头的外参数矩阵。
可选的，在获取第一帧的所述第一深度图像或所述第二深度图像的深度均值包括：采用图像分割算法，计算所述第一深度图像或所述第二深度图像的深度均值，并将所述深度均值作为下一帧的初始值；获取与所述深度均值相匹配的点云空间坐标转换矩阵；其中，第一帧的所述初始值为零。
可选的，在获取第N帧的所述第一深度图像或所述第二深度图像的深度均值包括：预估算所述第一深度图像或所述第二深度图像的深度均值；其中，N≥2，N为正整数。
可选的，获取预估算的所述深度均值后，根据所述深度均值获取与所述深度均值相匹配的点云空间坐标转换矩阵包括：将预估算的深度均值与初始值进行比对，当所述预估算的深度均值与初始值的差值的绝对值小于预设阈值时，采用N-1帧获取的所述点云空间坐标转换矩阵；其中，第N帧的所述初始值为第N-1帧的深度均值。
可选的，获取预估算的所述深度均值后，根据所述深度均值获取与所述深度均值相匹配的点云空间坐标转换矩阵包括：将预估算的深度均值与初始值进行比对，当所述预估算的深度均值与初始值的差值的绝对值大于预设阈值时，采用图像分割算法，计算所述第一深度图像或所述第二深度图像的深度均值，并将所述深度均值作为第N+1帧的初始值；获取与所述深度均值相匹配的点云空间坐标转换矩阵；其中，第N帧的所述初始值为第N-1帧的深度均值。
可选的，所述将所述第二深度图像与所述第三深度图像进行拼接包括：获取所述第二深度图像和所述第三深度图像待拼接的图像的分辨率，并设定与该分辨率相匹配的拼接矩阵；根据所述第二深度图像中各个像素的像素坐标，将所述第二深度图像中各个像素的深度值填充于所述拼接矩阵中；对所述第三深度图像的各个像素的深度值逐个进行遍历；并根据所述第三深度图像中各个像素的像素坐标，在所述遍历的过程中，将所述第三深度图像的像素的深度值填充至所述拼接矩阵中的零位；在所述遍历的过程中，当所述拼接矩阵中具有非零数值时，将所述第三深度图像中与所述非零数值相对应的一像素的深度值和所述非零数值进行比对，并获取最小值填充于所述拼接矩阵中。
可选的，当所述第三深度图像的各个像素的深度值逐个遍历后，所述方法还包括：对所述第二深度图像与所述第三深度图像拼接后的图像进行滤波。
可选的，所述点云空间坐标转换矩阵包括旋转矩阵R和平移矩阵T；所述第一摄像头与所述第二摄像头的坐标关系为P2＝R*P1+T；其中，P1为所述第一三维点云图中一点的方向向量；P2为所述第二三维点云图中一点的方向向量。
本申请实施例的另一方面，提供一种计算机设备，包括存储器、处理器；所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的任意一种方法。
本申请实施例的又一方面，提供一种显示装置，包括如上所述的计算机设备；所述显示装置还包括显示面板以及设置于所述显示面板上的发射器和至少两个深度摄像头。
可选的，所述发射器包括阵列排布的红外发光二极管以及设置于所述红外发光二极管出光测的扩散板。
可选的，所述显示装置包括阵列基板以及制作于所述阵列基板上方的像素界定层；其中，所述像素界定层包括横纵交叉的挡墙，以及由挡墙围设成的凹槽；
在所述显示装置的显示区域，所述像素界定层的凹槽内设置有有机发光层；在所述显示装置的非显示区域，所述像素界定层具有阵列排布的凹槽，每个凹槽内设置有所述红外发光二极管中的红外发光层。
可选的，所述深度摄像头包括红外光电二极管；在所述显示装置的非显示区域，所述红外光电二极管设置于所述阵列基板上方。
可选的，所述显示装置还包括封装层；所述发射器和/或所述深度摄像头还包括多个光学膜片；所述光学膜片设置于所述封装层背离所述阵列基板的一侧。
由上述可知，本申请实施例提供的图像拼接方法中，先通过第一摄像头和第二摄像头分别获得第一深度图像和第二深度图像；然后将第一深度图像转换为该第一摄像头坐标系中的第一三维点云图；然后将第一三维点云图映射至第二摄像头坐标系中，形成第二三维点云图；接下来，将该第二三维点云图逆变为第三深度图像。由于该第三深度图像和第二深度图像均位于第二摄像头的坐标系下，因此可以直接将由第一深度图像通过一系列坐标变换得出的第三深度图像与第二深度图像直接进行拼接。由于上述拼接过程中无需采用微分算法获得两个深度图像在重叠区域的特征匹配点，因此能够避免微分算法过程计算量巨大的问题，使得拼接过程简单，拼接速度快。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图像拼接方法的流程图；
图2为本申请实施例提供的一种图像拼接示意图；
图3为具有不同纵向景深的深度摄像头的成像区域的示意图；
图4为图1中步骤S103中点云坐标转换矩阵的获取方法流程图；
图5为本申请实施例提供的一种图像拼接方法的其他步骤流程图；
图6为图5中标定图像的一种示意图；
图7为两个深度摄像头共用一个发射器的结构示意图；
图8为图5中步骤S302的标定过程示意图；
图9为本申请实施例提供的一种图像拼接过程的具体流程示意图；
图10为图1中步骤S107的具体拼接过程示意图；
图11为本申请实施例提供的两幅深度图像拼接成一幅图像的示意图；
图12为本申请实施例提供的一种显示装置的结构示意图；
图13为图12中发射器的具体结构示意图；
图14为本申请实施例提供的具有多个深度摄像头的显示装置的示意图；
图15为本申请实施例提供的一种集成有深度摄像头和发射器的显示装置的内部结构示意图。
附图标记：
10-深度摄像头；101-第一摄像头；102-第二摄像头；20-发射器；201-红外发光二极管；202-扩散板；30-显示面板；40-阵列基板；41-像素界定层；410-挡墙；411-凹槽；50-有机功能层；51-红外发光层；60-封装层；70-红外光电二极管。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请实施例提供一种图像拼接方法，如图1所示，包括：
S101、如图2所示，通过第一摄像头101获取当前帧的第一深度图像A。
S102、通过第二摄像头102获取当前帧的第二深度图像B。
由于，该第一深度图像A在第一摄像头101的拍摄范围内；第二深度图像B在第二摄像头102的拍摄范围内，如图2可知，第一摄像头101的拍摄范围与第二摄像头102的拍摄范围部分重叠，因此上述第一深度图像A和第二深度图像B之间具有重叠区域E。第一深度图像A和第二深度图像B需要在上述重叠区域E拼接。
需要说明的是，能够实现拼接的两个摄像头的纵向最大景深需要大致相同，才可以形成重叠的拍摄范围。例如，如图3所示，其中一组用于拼接的第一摄像头101和第二摄像头102的纵向最大景深可以均为H1，以在较远的景深进行清晰成像。另一组用于拼接的第一摄像头101和第二摄像头102的纵向最大景深可以均为H2，以在较近的景深进行清晰成像。
S103、获取上述第一深度图像A或第二深度图像B的深度均值
Figure GDA0002398775990000061
并根据该深度均值
Figure GDA0002398775990000062
获取与深度均值
Figure GDA0002398775990000063
相匹配的点云空间坐标转换矩阵。
其中，上述深度均值
Figure GDA0002398775990000064
为第一深度图像A或第二深度图像B中各个点所对应的深度值的平均值。同一帧的第一深度图像A和第二深度图像B的深度均值
Figure GDA0002398775990000065
差别较小，因此步骤S103中获取第一深度图像A或第二深度图像B中的任意一副深度图像的深度均值
Figure GDA0002398775990000066
即可。
此外，利用上述点云空间坐标转换矩阵，以及由该点云空间坐标转换矩阵构成的第一摄像头101与第二摄像头102的坐标关系，可以实现第一摄像头101坐标系到第二摄像头102坐标系的转换。
具体的，上述点云空间坐标转换矩阵包括旋转矩阵R和平移矩阵T。例如，旋转矩阵R为3*3的矩阵，平移矩阵T为1*3的列向量。
第一摄像头101与第二摄像头102的坐标关系为：
P2＝R*P1+T...........(1)。
其中，P1为第一摄像头101坐标系中的一三维点云图中一点的方向向量；具体的，P1为1*3的列向量，例如(X，Y，Z)。其中，X，Y分别为第一摄像头101坐标系中x方向和y方向的坐标，Z为P1所在的点在第一摄像头101坐标系中的深度值d。
P2为第二摄像头102坐标系中的一三维点云图中一点的方向向量。具体的，P2为1*3的列向量，例如(X’，Y’，Z’)。其中，X’，Y’分别为第二摄像头102坐标系中x方向和y方向的坐标，Z’为P2所在的点在第二摄像头102坐标系中的深度值d’。
S104、将第一深度图像A转换到第一摄像头101坐标系中，并在该第一摄像头101坐标系中成像，形成第一三维点云图C。
在此情况下，该第一三维点云图C即上述第一摄像头101坐标系中的一三维点云图，公式(1)中的P1为该第一三维点云图中一点的方向向量。
其中，第一深度图像A中的一点可以转换成第一三维点云图中的一点，例如上述P1。该P1在第一摄像头101坐标系中的坐标(X，Y，Z)可以分别通过以下公式获得：
Figure GDA0002398775990000071
Figure GDA0002398775990000072
Z＝d...........(4)
其中，上述公式中，Xres为摄像头坐标系中X方向的分辨率，Xres一个常数，例如320；
Yres为摄像头坐标系中Y方向的分辨率，Yres同样为常数，例如240。
d为深度图像中一点的深度值。
FOV(英文全称：Field of View，中文全称：视场角)。其中，FOVh为水平视场角，FOVv为垂直视场角，上述视场角均是摄像头的固定参数。
S105、根据上述点云空间坐标转换矩阵以及第一摄像头101与第二摄像头102的坐标关系，即上述公式(1)，将第一三维点云图C映射至与第二摄像头102的坐标中，形成第二三维点云图D。
在此情况下，第二三维点云图D即上述第二摄像头102坐标系中的一三维点云图，公式(1)中的P2为该第二三维点云图中一点的方向向量。
S106、采用同时(2)至公式(4)，将第二三维点云图D逆变为位于第二摄像头102坐标系中的第三深度图像B’。
S107、将第二深度图像B与第三深度图像B’进行拼接。
综上所述，本申请提供的图像拼接方法中，先通过第一摄像头101和第二摄像头102分别获得第一深度图像A和第二深度图像B；然后将第一深度图像A转换为该第一摄像头101坐标系中的第一三维点云图C；然后将第一三维点云图C映射至第二摄像头102坐标系中，形成第二三维点云图D；接下来，将该第二三维点云图D逆变为第三深度图像B’。由于该第三深度图像B’和第二深度图像B均位于第二摄像头102的坐标系下，因此可以直接将由第一深度图像A通过一系列坐标变换得出的第三深度图像B’与第二深度图像B直接进行拼接。由于上述拼接过程中无需采用微分算法获得两个深度图像在重叠区域的特征匹配点，因此能够避免微分算法过程计算量巨大的问题，使得拼接过程简单，拼接速度快。
此外，采用上述图像拼接方法时，在摄像机的纵向最大景深范围内，可以将该摄像机拍摄到的具有任何深度的深度图像转换成点云图，因此本申请在拼接过程中对深度图像的深度并不限定。
在此基础上，为了提高第一深度图像A在一系列坐标变换中的精度。可选的，在获取第一帧的第一深度图像A和第二深度图像B之前，如图4所示，上述方法包括：
S201，对上述第一摄像头101和第二摄像头102进行标定，分别获取第一摄像头101和第二摄像头102的外参数矩阵。
具体的，标定后，获得的第一摄像头101的外参数矩阵，例如可以为第一子旋转矩阵R1和第一子平移矩阵T1；获得的第二摄像头102的外参数矩阵，例如可以为第二子旋转矩阵R2和第一子平移矩阵T2。
在此情况下，空间坐标系中的一点Pw与第一摄像头101坐标系中的成像点P1之间满足以下公式：
P1＝R1*Pw+T1...........(5)；
空间坐标系中的一点Pw与第二摄像头102坐标系中的成像点P2之间满足以下公式：
P2＝R2*Pw+T2...........(6)；
由公式(5)可以得出Pw＝R1-1*(P1-T1)...........(7)；将该公式(7)带入公式(6)中，得到以下公式：
P2＝R2*(R1-1*(P1-T1))+T2＝R2*R1-1*P1+T2-R2*R1-1*T1.....(8)
S202，根据第一摄像头101和第二摄像头102的外参数矩阵获得点云空间坐标转换矩阵以及第一摄像头101与第二摄像头102的坐标关系，即获得上述公式(1)。
具体的，将公式(8)与公式(1)进行对比可以获得公式(1)中点云空间坐标转换矩阵中的旋转矩阵R和平移矩阵T，从而可以根据公式(1)实现第一摄像头101坐标系到第二摄像头102坐标系的转换。
R＝R2*R1-1...........(9)；
T＝T2-R2*R1-1...........(10)；
基于此，上述步骤S201，如图5所示，包括：
S301、将一标定图像投影至一投影平面。
其中，上述标定图像可以为任意一副用于对摄像头进行标定该的图案。例如，如图6所示的棋盘格图像。
此外，上述标定图像可以由发射器20发出。上述第一摄像头101和第二摄像头102可以如图7所示，共用同一个发射器20。
在此情况下，上述投影平面，可以为一白色投影幕布或者白色墙面。
S302、第一摄像头101和第二摄像头102分别以至少一种角度或拍摄间距对上述标定图像进行拍摄。
在此情况下，如图8所示，在同一个空间坐标系(坐标数值的单位为Cm)内，第一摄像头101和第二摄像头102执行上述步骤S302后可以获得多个棋盘格图像的拍摄图像。
S303、根据第一摄像头101的至少一张拍摄图像计算第一摄像头101的外参数矩阵，即第一子旋转矩阵R1和第一子平移矩阵T1。
S304、根据第二摄像头102的至少一张拍摄图像计算第二摄像头102的外参数矩阵，即第二子旋转矩阵R2和第二子平移矩阵T2。
由上述可知，在本申请实施例提供的方案中，可以通过发射器20投影出用于标定的标定图像，因此无需标定板。在此情况下，当上述摄像头随着环境的变化导致安装位置有所变化时，只需要对发射器20投影至投影平面的标定图像进行拍摄，便可以在对手势图像采集之前，实现摄像头的标定，从而提高手势采集以及手势拼接的精确度。
此外，本申请对标定过程的频率不做限定，可以在安装有发射器20和至少两个上述摄像头的人机交互设备开机时，对摄像头进行标定。或者，当开机时间较长时，可以在每次对一手势进行采集时，进行上述标定。又或者，还可以根据用户的需要自行设置。
需要说明的是，第一摄像头101与投影平面之间的拍摄间距变化较大时，获得的第一子旋转矩阵R1和第一子平移矩阵T1不同。同样，第二摄像头102与投影平面之间的拍摄间距变化较大时，获得的第二子旋转矩阵R2和第二子平移矩阵T2不同。此外，每次标定时，第一摄像头101和第二摄像头102的拍摄间距相同，所以同一帧的第一深度图像A和第二深度图像B的深度均值
Figure GDA0002398775990000101
差别较小。
在此情况下，通过公式(9)和(10)可知，由第一子旋转矩阵R1、第一子平移矩阵T1以及第二子旋转矩阵R2和第二子平移矩阵T2可以获得公式(1)中点云空间坐标转换矩阵中的旋转矩阵R和平移矩阵T。因此，该点云空间坐标转换矩阵中的旋转矩阵R和平移矩阵T与第一摄像头101和第二摄像头102在同一拍摄间距进行标定时的拍摄间距有关。即当第一摄像头101和第二摄像头102在标定过程中的拍摄间距变化较大时，获得的点云空间坐标转换矩阵中的旋转矩阵R和平移矩阵T不同。
以下，对经过上述标定过程后，本申请对两幅深度图像进行拼接的方法进行详细的说明。
具体的，如图9所示，上述方法包括：
S401、开始。
具体的，与上述拼接方法对应的拼接主程序开始执行。
S402、分别采集两个深度图像。
具体的，执行上述步骤S101和S102，以通过第一摄像头101和第二摄像头102分别获取当前帧的第一深度图像A和第二深度图像B。
S403、判断当前帧是否为第一帧。
其中，当当前帧为第一帧时，执行步骤S404-S406。当当前帧为第N帧时，执行步骤S407。N≥2，N为正整数。
S404、采用图像分割算法，计算第一深度图像A或第二深度图像B的深度均值
Figure GDA0002398775990000111
S405、将图像分割算法计算出的深度均值作为第N+1帧的初始值d0。
S406：获取与步骤S404得到的深度均值
Figure GDA0002398775990000112
相匹配的点云空间坐标转换矩阵。
具体的，可以将深度均值
Figure GDA0002398775990000113
与初始值d0(第一帧的初始值d0为零)的差值的绝对值进行比对，根据比对结果获取与该深度均值
Figure GDA0002398775990000114
相匹配的点云空间坐标转换矩阵。例如，深度均值
Figure GDA0002398775990000115
在数值50cm以内、50cm～1m内分别对应两种不同的点云空间坐标转换矩阵。设置上述预设阈值50cm。
以前帧为第一帧为例，执行上述步骤S404，计算出第一深度图像A或第二深度图像B的深度均值
Figure GDA0002398775990000121
时，
Figure GDA0002398775990000122
因此选择与50cm～1m内对应的点云空间坐标转换矩阵。
或者，执行上述步骤S404，计算出第一深度图像A或第二深度图像B的深度均值
Figure GDA0002398775990000123
时，
Figure GDA0002398775990000124
因此选择与50cm内对应的点云空间坐标转换矩阵。
由上述可知，在上述标定的过程中，当第一摄像头101和第二摄像头102在标定过程中的拍摄间距变化较大时，获得的点云空间坐标转换矩阵中的旋转矩阵R和平移矩阵T不同。且手势在执行过程中，用户每次执行的手势与第一摄像头101和第二摄像头102的距离也会发生变化，因此需要选取与手势距离相匹配的点云空间坐标转换矩阵。所以当S403的判断结果为当前帧为第N帧时，需要判断用户手势与摄像头的距离是否变化较大，如果变化较大，则需要更换上述点云空间坐标转换矩阵。
在此情况下，当S403的判断结果为当前帧为第N帧之后，执行步骤S407、预估算第一深度图像A或第二深度图像B的深度均值
Figure GDA0002398775990000125
S408、将预估算的深度均值
Figure GDA0002398775990000126
与初始值d0的差值的绝对值进行比对。
其中，当执行步骤S408后，预估算的深度均值
Figure GDA0002398775990000127
与初始值d0的差值的绝对值小于预设阈值时，执行步骤S409：采用N-1帧获取的上述点云空间坐标转换矩阵。
需要说明的是，当前帧非第一帧时，初始值d0为第N-1帧的深度均值。
例如，第N-1帧预估算的深度均值
Figure GDA0002398775990000128
此时，第N帧的d0＝20cm。如果第N帧与第N-1帧的手势与摄像头的距离未发生较大变化，此时，第N帧预估算的深度均值与第N-1帧相同，
Figure GDA0002398775990000129
在此情况下，
Figure GDA00023987759900001210
则采用50cm以内对应的转换矩阵。
或者，当执行步骤S408后，上述预估算的深度均值
Figure GDA00023987759900001211
与初始值d0的差值的绝对值大于预设阈值时，执行上述步骤S404，即采用图像分割算法，计算第一深度图像A或第二深度图像B的深度均值
Figure GDA0002398775990000131
然后，执行步骤S405、将上述图像分割算法计算得出的深度均值
Figure GDA0002398775990000132
作为第N+1帧的初始值d0。再执行步骤S406、获取与通过上述图像分割算法计算得出的深度均值
Figure GDA0002398775990000133
相匹配的点云空间坐标转换矩阵。
具体的，例如，第N-1帧预估算的深度均值
Figure GDA0002398775990000134
第N帧的d0＝20cm。而第N帧预估算的深度均值
Figure GDA0002398775990000135
此时，
Figure GDA0002398775990000136
因此，可以判断出第N帧与第N-1帧的手势与摄像头的距离发生了较大变化，需要采用图像分割算法精确确定手势的深度，以重新选取与通过上述图像分割算法计算得出的深度均值
Figure GDA0002398775990000137
相匹配的点云空间坐标转换矩阵。
接下来，分别执行上述步骤S104至S107，完成图像拼接。
由上述可知，当手势的变化不大时，可以采用上一帧获得的点云空间坐标转换矩阵，因此无需每次通过图像分割算法计算手势图像的深度，从而可以简化拼接过程，降低交互设备由于计算而引起的功耗。
接下来对上述步骤S107中，第二深度图像B与由第一深度图像A转换而成的第三深度图像B’进行拼接的过程进行详细的描述。
具体的，上述拼接过程如图10所示，包括：
S501、获取第二深度图像B和第三深度图像B’待拼接的图像的分辨率，并设定与该分辨率相匹配的拼接矩阵。
具体的，如图11所示，例如，第二深度图像B和第三深度图像B’的分辨率均为640×480(长×高)。在此情况下，如果第二深度图像B和第三深度图像B’沿长度方向进行拼接形成的待拼接的图像的分辨率为1024×480，该拼接矩阵包括1024×480的数值，每个数值为待拼接图案中与该数值位置相对应的像素的深度值。在此情况下，第二深度图像B和第三深度图像B’之间具有640×2-1024＝256列，即256×480个像素需要拼接。
S502、根据第二深度图像B中各个像素的像素坐标，将第二深度图像B中各个像素的深度值填充于上述拼接矩阵中。
例如，将第二深度图像B中各个像素的深度值填充于上述拼接矩阵的右半部分。
S503、对第三深度图像B’的各个像素的深度值逐个进行遍历；并根据第三深度图像B’中各个像素的像素坐标，在上述遍历的过程中，将第三深度图像B’的像素的深度值填充至拼接矩阵中的零位。
例如，将第三深度图像B’中各个像素的深度值，在遍历的过程中填充于上述拼接矩阵的左半部分。
S504、在上述遍历的过程中，当拼接矩阵中具有非零数值时，将第三深度图像B’中与非零数值相对应的一像素的深度值和非零数值进行比对，并获取最小值填充于拼接矩阵中。
由于拼接矩阵中各个数值为深度图像对应像素的深度值，因此拼接矩阵中的数值越大，该位置处的景深越大；反之，景深越小。在此情况下，对第三深度图像B’的各个像素的深度值逐个进行遍历的过程中，如果上述拼接矩阵中已经有数值，即已经填充有第二深度图像B中对应像素的深度值时，将第三深度图像B’中该位置处被遍历到的深度值与已经填充至该位置的深度值进行比对，将最小的数值填充于该位置，因为景深较大的图像会被景深较小的图像遮挡而无法看到。
此外，由于上述拼接过程中存在坐标转换，因此拼接过程会使得拼接位置处存在空洞。为了解决上述问题，该拼接方法还包括：
S505、对第二深度图像B与第三深度图像B’拼接后的图像进行滤波。例如采用中值滤波的方式对上述空洞进行模糊消除处理。
S506、结束，即拼接方法对应的程序结束。
本申请实施例提供一种计算机设备，包括存储器、处理器。该存储器上存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上所述的任意一种方法。该计算机设备具有与前述实施例提供的图像拼接方法相同的技术效果，此处不再赘述。
其中，上述存储器包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供一种显示装置，包括如上所述的计算机设备。此外，该显示装置如图12所示还包括显示面板30以及设置于显示面板的非显示区域的发射器20和至少两个深度摄像头10。其中，非显示区域设置于显示区域的周边。
其中，该发射器20，如图13所示，包括阵列排布的红外发光二极管(Laser Diode，LD)201以及设置于该红外发光二极管201出光测的扩散板202。在此情况下，可以通过控制阵列排布的红外发光二极管201中部分红外发光二极管201打开，部分红外发光二极管201关闭，从而可以使得发射器20发射出的光线在一投影平面形成如图6所示的标定图像。
在此基础上，上述扩散板202可以对红外发光二极管201发出的光线进行扩散，使得投影至投影平面的标定图像能够放大。其中，扩散板202的扩散角度可以根据构成该扩散板202的材料进行设定。
此外，多个深度摄像头10中，如图14所示，两两摄像头10的拍摄范围重叠，从而需要在重叠位置，进行深度图像的拼接。
本发明对上述深度摄像头10不做限定，可以为结构光(Structured Light)摄像、飞光(Time of flight，TOF)摄像头或者双目摄像头。上述摄像头需要具有红外功能，从而能够对发射器20中的红外发光二极管201发出的光线进行采集。
在此基础上，还可以将上述发射器20和深度摄像头10集成于显示装置内部。
具体的，如图15所示，该显示装置包括阵列基板40以及制作于所述阵列基板上方的像素界定层41。
其中，像素界定层41包括横纵交叉的挡墙410，以及由挡墙围设成的凹槽411。
在此情况下，在显示装置的显示区域，每个亚像素内设置有上述凹槽411，且在亚像素中除了凹槽411以外的部分，具有设置于阵列基板40内的像素电路。在亚像素内，上述像素界定层41的凹槽411内设置有有机功能层50，该有机功能层50包括空穴注入层、空穴传输层、有机发光层(或发光层(Emitting layer，EL))、电子传输层以及电子注入层等。在此情况下，上述显示装置为OLED(Organic Light Emitting Diode，有机发光二极管)显示装置。
基于此，为了在显示装置内部集成上述发射器20，可以在显示装置的非显示区域，上述像素界定层41的凹槽411内设置有红外发光二极管中的红外发光层51。在此情况下，为了形成发射器20中阵列排布的红外发光二极管，可以在上述非显示区域的像素界定层41上设置阵列排布的凹槽411，并在每个凹槽411内设置上述红外发光层51。
在此基础上，该显示装置还包括用于对上述设置于凹槽411内的各种发光层进行封装的封装层60，该封装层60可以包括阻水层和平坦层等。在此情况下，该发射器还包括多个光学膜片，该多个光学膜片可以为上述扩散片、准直器件或者DOE(Diffractive OpticalElements，衍射光学器件)。上述光学膜片可以通过UV胶设置于封装层60背离阵列基板40的一侧。
其中，不同的光学膜片之间可以设置绝缘层。
此外，为了在显示装置内部集成上述深度摄像头10，在该深度摄像头10包括红外光电二极管70，例如红外有机光电二极管(Organic Photo Diode，OPD)的情况下，可以在显示装置的非显示区域，将红外光电二极管70设置于阵列基板40上方。
其中，阵列基板40上方是指阵列基板40靠近封装层60的一侧。该红外光电二极管70可以固定于位于阵列基板40上方的像素界定层41的上表面。或者，将该像素界定层41的部分材料去除，如图15所示，直接将红外光电二极管70设置于阵列基板40的上表面。
在此基础上，上述深度摄像头10还包括一些光学膜片，例如棱镜(LENS)膜。在显示装置具有封装层60的情况下，深度摄像头10的光学膜片可以设置于封装层60背离阵列基板40的一侧。
需要说明的是，该显示装置可以为显示器、电视、数码相框、手机或平板电脑等任何具有显示功能的产品或者部件。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种图像拼接方法，其特征在于，包括：
通过第一摄像头获取当前帧的第一深度图像；
通过第二摄像头获取所述当前帧的第二深度图像；所述第一深度图像和所述第二深度图像之间具有重叠区域；
获取所述第一深度图像或所述第二深度图像的深度均值，并根据所述深度均值获取与所述深度均值相匹配的点云空间坐标转换矩阵；
将所述第一深度图像转换到第一摄像头坐标系中，并在所述第一摄像头坐标系中成像，形成第一三维点云图；
根据所述点云空间坐标转换矩阵以及所述第一摄像头与所述第二摄像头的坐标关系，将所述第一三维点云图映射至与所述第二摄像头的坐标中，形成第二三维点云图；
将所述第二三维点云图逆变为位于所述第二摄像头坐标系中的第三深度图像；
将所述第二深度图像与所述第三深度图像进行拼接。
2.根据权利要求1所述的图像拼接方法，其特征在于，在获取第一帧的所述第一深度图像和所述第二深度图像之前，所述方法包括：
对所述第一摄像头和所述第二摄像头进行标定，分别获取所述第一摄像头和所述第二摄像头的外参数矩阵；
根据所述第一摄像头和所述第二摄像头的外参数矩阵获得所述点云空间坐标转换矩阵以及所述第一摄像头与所述第二摄像头的坐标关系。
3.根据权利要求2所述的图像拼接方法，其特征在于，所述对所述第一摄像头和所述第二摄像头进行标定，获取所述第一摄像头和所述第二摄像头的外参数矩阵包括：
将标定图像投影至一投影平面；
所述第一摄像头和所述第二摄像头分别以至少一种角度或拍摄间距对所述标定图像进行拍摄；
根据所述第一摄像头的至少一张拍摄图像计算所述第一摄像头的外参数矩阵；
根据所述第二摄像头的至少一张拍摄图像计算所述第二摄像头的外参数矩阵。
4.根据权利要求1所述的图像拼接方法，其特征在于，在获取第一帧的所述第一深度图像或所述第二深度图像的深度均值包括：
采用图像分割算法，计算所述第一深度图像或所述第二深度图像的深度均值，并将所述深度均值作为下一帧的初始值；
获取与所述深度均值相匹配的点云空间坐标转换矩阵；
其中，第一帧的所述初始值为零。
5.根据权利要求4所述的图像拼接方法，其特征在于，在获取第N帧的所述第一深度图像或所述第二深度图像的深度均值包括：
预估算所述第一深度图像或所述第二深度图像的深度均值；其中，N≥2，N为正整数。
6.根据权利要求5所述的图像拼接方法，其特征在于，获取预估算的所述深度均值后，根据所述深度均值获取与所述深度均值相匹配的点云空间坐标转换矩阵包括：
将预估算的深度均值与初始值进行比对，当所述预估算的深度均值与初始值的差值的绝对值小于预设阈值时，采用N-1帧获取的所述点云空间坐标转换矩阵；
其中，第N帧的所述初始值为第N-1帧的深度均值。
7.根据权利要求5所述的图像拼接方法，其特征在于，获取预估算的所述深度均值后，根据所述深度均值获取与所述深度均值相匹配的点云空间坐标转换矩阵包括：
将预估算的深度均值与初始值进行比对，当所述预估算的深度均值与初始值的差值的绝对值大于预设阈值时，采用图像分割算法，计算所述第一深度图像或所述第二深度图像的深度均值，并将所述深度均值作为第N+1帧的初始值；
获取与所述深度均值相匹配的点云空间坐标转换矩阵；
其中，第N帧的所述初始值为第N-1帧的深度均值。
8.根据权利要求1-7任一项所述的图像拼接方法，其特征在于，所述将所述第二深度图像与所述第三深度图像进行拼接包括：
获取所述第二深度图像和所述第三深度图像待拼接的图像的分辨率，并设定与该分辨率相匹配的拼接矩阵；
根据所述第二深度图像中各个像素的像素坐标，将所述第二深度图像中各个像素的深度值填充于所述拼接矩阵中；
对所述第三深度图像的各个像素的深度值逐个进行遍历；并根据所述第三深度图像中各个像素的像素坐标，在所述遍历的过程中，将所述第三深度图像的像素的深度值填充至所述拼接矩阵中的零位；
在所述遍历的过程中，当所述拼接矩阵中具有非零数值时，将所述第三深度图像中与所述非零数值相对应的一像素的深度值和所述非零数值进行比对，并获取最小值填充于所述拼接矩阵中。
9.根据权利要求8所述的图像拼接方法，其特征在于，当所述第三深度图像的各个像素的深度值逐个遍历后，所述方法还包括：
对所述第二深度图像与所述第三深度图像拼接后的图像进行滤波。
10.根据权利要求1或2所述的图像拼接方法，其特征在于，所述点云空间坐标转换矩阵包括旋转矩阵R和平移矩阵T；
所述第一摄像头与所述第二摄像头的坐标关系为P2＝R*P1+T；
其中，P1为所述第一三维点云图中一点的方向向量；P2为所述第二三维点云图中一点的方向向量。
11.一种计算机设备，其特征在于，包括存储器、处理器；所述存储器上存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1-10任一项所述的方法。
12.一种显示装置，其特征在于，包括如权利要求11所述的计算机设备；
所述显示装置还包括显示面板以及设置于所述显示面板上的发射器和至少两个深度摄像头。
13.根据权利要求12所述的显示装置，其特征在于，所述发射器包括阵列排布的红外发光二极管以及设置于所述红外发光二极管出光测的扩散板。
14.根据权利要求13所述的显示装置，其特征在于，所述显示装置包括阵列基板以及制作于所述阵列基板上方的像素界定层；其中，所述像素界定层包括横纵交叉的挡墙，以及由挡墙围设成的凹槽；
在所述显示装置的显示区域，所述像素界定层的凹槽内设置有有机发光层；
在所述显示装置的非显示区域，所述像素界定层具有阵列排布的凹槽，每个凹槽内设置有所述红外发光二极管中的红外发光层。
15.根据权利要求14所述的显示装置，其特征在于，
所述深度摄像头包括红外光电二极管；在所述显示装置的非显示区域，所述红外光电二极管设置于所述阵列基板上方。
16.根据权利要求14所述的显示装置，其特征在于，
所述显示装置还包括封装层；
所述发射器和/或所述深度摄像头还包括多个光学膜片；
所述光学膜片设置于所述封装层背离所述阵列基板的一侧。
CN201810206982.8A 2018-03-13 2018-03-13 一种图像拼接方法、计算机设备及显示装置 Expired - Fee Related CN108470323B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201810206982.8A CN108470323B (zh) 2018-03-13 2018-03-13 一种图像拼接方法、计算机设备及显示装置
US16/345,975 US11308579B2 (en) 2018-03-13 2018-06-19 Image stitching method, image stitching apparatus, display apparatus, and computer product
PCT/CN2018/091810 WO2019174146A1 (en) 2018-03-13 2018-06-19 Image stitching method, image stitching apparatus, display apparatus, and computer product

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810206982.8A CN108470323B (zh) 2018-03-13 2018-03-13 一种图像拼接方法、计算机设备及显示装置

Publications (2)

Publication Number Publication Date
CN108470323A CN108470323A (zh) 2018-08-31
CN108470323B true CN108470323B (zh) 2020-07-31

Family

ID=63265323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810206982.8A Expired - Fee Related CN108470323B (zh) 2018-03-13 2018-03-13 一种图像拼接方法、计算机设备及显示装置

Country Status (3)

Country Link
US (1) US11308579B2 (zh)
CN (1) CN108470323B (zh)
WO (1) WO2019174146A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109410260B (zh) * 2018-09-27 2020-12-29 先临三维科技股份有限公司 点云数据网格化方法、装置、计算机设备和存储介质
CN109472741B (zh) * 2018-09-30 2023-05-30 先临三维科技股份有限公司 三维拼接方法及装置
CN111951201B (zh) * 2019-05-16 2024-01-23 杭州海康威视数字技术股份有限公司 一种无人机航拍图像拼接方法、装置和存储介质
CN110796596A (zh) * 2019-08-30 2020-02-14 深圳市德赛微电子技术有限公司 图像拼接方法、成像装置及全景成像系统
CN111028281B (zh) * 2019-10-22 2022-10-18 清华大学 基于光场双目系统的深度信息计算方法及装置
CN112770020A (zh) 2019-11-05 2021-05-07 北京小米移动软件有限公司 图像传感模组、方法、装置、电子设备及介质
CN111223053A (zh) * 2019-11-18 2020-06-02 北京邮电大学 基于深度图像的数据增强方法
CN110880161B (zh) * 2019-11-21 2023-05-09 大庆思特传媒科技有限公司 一种多主机多深度摄像头的深度图像拼接融合方法及系统
CN111738923B (zh) * 2020-06-19 2024-05-10 京东方科技集团股份有限公司 图像处理方法、设备及存储介质
CN111863893B (zh) * 2020-07-13 2022-04-05 武汉华星光电半导体显示技术有限公司 一种显示面板及其制备方法
CN112613355B (zh) * 2020-12-07 2022-07-26 北京理工大学 一种基于寻岛算法的手势分割方法
CN112802124B (zh) * 2021-01-29 2023-10-31 北京罗克维尔斯科技有限公司 多台立体相机的标定方法及装置、电子设备及存储介质
CN112907445B (zh) * 2021-02-08 2023-05-26 杭州海康威视数字技术股份有限公司 天空云图的拼接方法、装置及设备
US11430177B1 (en) * 2021-05-14 2022-08-30 Zoox, Inc. Mapping simulated sensors to simulated environment views
US11715257B2 (en) 2021-05-14 2023-08-01 Zoox, Inc. Simulation view generation based on simulated sensor operations
US11544896B2 (en) 2021-05-14 2023-01-03 Zoox, Inc. Spatial and temporal upsampling techniques for simulated sensor data
US11741661B2 (en) 2021-05-14 2023-08-29 Zoox, Inc. Sensor simulation with unified multi-sensor views
CN115222602B (zh) * 2022-08-15 2023-06-16 北京城市网邻信息技术有限公司 图像拼接方法、装置、设备及存储介质
CN116152474A (zh) * 2022-12-02 2023-05-23 先临三维科技股份有限公司 扫描数据的处理方法、装置、设备及介质
CN116503570B (zh) * 2023-06-29 2023-11-24 聚时科技(深圳)有限公司 图像的三维重建方法及相关装置
CN117934454A (zh) * 2024-03-18 2024-04-26 季华实验室 发光单元检测方法、装置、电子设备及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023588A (en) * 1998-09-28 2000-02-08 Eastman Kodak Company Method and apparatus for capturing panoramic images with range data
US6791598B1 (en) * 2000-03-17 2004-09-14 International Business Machines Corporation Methods and apparatus for information capture and steroscopic display of panoramic images
JP3889650B2 (ja) * 2002-03-28 2007-03-07 三洋電機株式会社 画像処理方法、画像処理装置、コンピュータプログラム、及び記録媒体
US7259784B2 (en) * 2002-06-21 2007-08-21 Microsoft Corporation System and method for camera color calibration and image stitching
CN101673395B (zh) * 2008-09-10 2012-09-05 华为终端有限公司 图像拼接方法及装置
US20110222757A1 (en) * 2010-03-10 2011-09-15 Gbo 3D Technology Pte. Ltd. Systems and methods for 2D image and spatial data capture for 3D stereo imaging
CN103649998B (zh) * 2010-12-21 2016-08-31 Metaio有限公司 确定为确定照相机的姿态和/或为确定至少一个真实对象的三维结构而设计的参数集的方法
US9122927B2 (en) * 2012-03-26 2015-09-01 Google Inc. Generating an image tour based on a set of images
CN104715469A (zh) * 2013-12-13 2015-06-17 联想(北京)有限公司 一种数据处理方法及电子设备
US10222824B2 (en) * 2014-05-12 2019-03-05 Intel Corporation Dual display system
WO2016012041A1 (en) * 2014-07-23 2016-01-28 Metaio Gmbh Method and system for presenting at least part of an image of a real object in a view of a real environment, and method and system for selecting a subset of a plurality of images
CN104519340B (zh) * 2014-12-30 2016-08-17 余俊池 基于多深度图像变换矩阵的全景视频拼接方法
US9844426B2 (en) * 2015-03-12 2017-12-19 Align Technology, Inc. Digital dental tray
CN106683071B (zh) * 2015-11-06 2020-10-30 杭州海康威视数字技术股份有限公司 图像的拼接方法和装置
US10861177B2 (en) * 2015-11-11 2020-12-08 Zhejiang Dahua Technology Co., Ltd. Methods and systems for binocular stereo vision
US10395340B2 (en) * 2016-03-10 2019-08-27 Dell Products, Lp System and method of generating 3D infrared camera stitching for a thermal mapping
US20170302910A1 (en) * 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for merging depth maps in a depth camera system
CN106780592B (zh) * 2016-06-30 2020-05-22 华南理工大学 基于相机运动和图像明暗的Kinect深度重建方法
CN106651752B (zh) * 2016-09-27 2020-01-21 深圳市速腾聚创科技有限公司 三维点云数据配准方法及拼接方法
CN106454116B (zh) * 2016-11-18 2019-06-28 成都微晶景泰科技有限公司 自动全焦成像方法及装置
CN106780618B (zh) * 2016-11-24 2020-11-03 周超艳 基于异构深度摄像机的三维信息获取方法及其装置
US10373362B2 (en) * 2017-07-06 2019-08-06 Humaneyes Technologies Ltd. Systems and methods for adaptive stitching of digital images
GB2564642A (en) * 2017-07-10 2019-01-23 Nokia Technologies Oy Methods and apparatuses for panoramic image processing
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene
AU2017225023A1 (en) * 2017-09-05 2019-03-21 Canon Kabushiki Kaisha System and method for determining a camera pose
CN107767442B (zh) * 2017-10-16 2020-12-25 浙江工业大学 一种基于Kinect和双目视觉的脚型三维重建与测量方法
US10979633B1 (en) * 2019-12-17 2021-04-13 Suometry, Inc. Wide view registered image and depth information acquisition

Also Published As

Publication number Publication date
US20210327024A1 (en) 2021-10-21
CN108470323A (zh) 2018-08-31
US11308579B2 (en) 2022-04-19
WO2019174146A1 (en) 2019-09-19

Similar Documents

Publication Publication Date Title
CN108470323B (zh) 一种图像拼接方法、计算机设备及显示装置
US11082605B2 (en) Method of photography processing for camera module, terminal, using same and storage medium implementing same
CN107885325B (zh) 一种基于人眼跟踪的裸眼3d显示方法及控制系统
KR101903619B1 (ko) 구조화된 스테레오
CN110300292B (zh) 投影畸变校正方法、装置、系统及存储介质
CN110390719B (zh) 基于飞行时间点云重建设备
WO2020011249A1 (zh) 拼接屏的图像处理方法及装置、拼接屏
US20160269620A1 (en) Phase detection autofocus using subaperture images
US9977981B2 (en) Method and apparatus for calibrating a three-dimensional (3D) image in a tiled display
US9398278B2 (en) Graphical display system with adaptive keystone mechanism and method of operation thereof
EP2475010A1 (en) Organic light emitting diode (OLED) display apparatus having light sensing function
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
EP3136377A1 (en) Information processing device, information processing method, program, adjustment device, and image display system
CN105403146A (zh) 一种测量物体尺寸的方法、系统及智能终端
US9996960B2 (en) Augmented reality system and method
US20190079158A1 (en) 4d camera tracking and optical stabilization
US11403745B2 (en) Method, apparatus and measurement device for measuring distortion parameters of a display device, and computer-readable medium
US11494925B2 (en) Method for depth image acquisition, electronic device, and storage medium
CN105678736A (zh) 具有孔径改变深度估计的图像处理系统及其操作方法
US20220358679A1 (en) Parameter Calibration Method and Apparatus
CN109661815A (zh) 存在相机阵列的显著强度变化的情况下的鲁棒视差估计
Wilm et al. Accurate and simple calibration of DLP projector systems
KR101929003B1 (ko) 광 감지 기능을 구비한 o l e d 디스플레이 장치
CN103020950B (zh) 亮度函数获取方法以及相关装置
CN112752088A (zh) 深度图像生成方法及装置、参考图像生成方法、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200731