CN108961427A - 矫正原始立体扫描结果的错误法向量的装置及其相关方法 - Google Patents

矫正原始立体扫描结果的错误法向量的装置及其相关方法 Download PDF

Info

Publication number
CN108961427A
CN108961427A CN201710447081.3A CN201710447081A CN108961427A CN 108961427 A CN108961427 A CN 108961427A CN 201710447081 A CN201710447081 A CN 201710447081A CN 108961427 A CN108961427 A CN 108961427A
Authority
CN
China
Prior art keywords
normal vector
scanning result
original stereo
bit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201710447081.3A
Other languages
English (en)
Inventor
陈子鸿
黄于恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
eYs3D Microelectronics Co
Original Assignee
eYs3D Microelectronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by eYs3D Microelectronics Co filed Critical eYs3D Microelectronics Co
Publication of CN108961427A publication Critical patent/CN108961427A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

本发明公开了一种矫正原始立体扫描结果的错误法向量的装置及其相关方法。所述装置包含一法向量产生单元和一矫正单元，其中所述原始立体扫描结果对应于一对象。所述法向量产生单元是用于根据所述原始立体扫描结果上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量。所述矫正单元耦接于所述法向量产生单元，用于决定所述原始立体扫描结果的内部区域，以及当对应所述原始立体扫描结果上的一点的法向量朝向所述内部区域时，反向对应所述点的法向量。因为所述矫正单元可矫正所述原始立体扫描结果的错误法向量，所以相较于现有技术，本发明可使所述矫正后的立体扫描结果正确地产生相对应的反射光而呈现其相对应的颜色。

Description

矫正原始立体扫描结果的错误法向量的装置及其相关方法
技术领域
本发明涉及一种矫正原始立体扫描结果的错误法向量的装置及其相关方法，尤其涉及一种当对应原始立体扫描结果上的一点的法向量朝向原始立体扫描结果的内部区域时，可反向对应所述点的法向量的装置及其相关方法。
背景技术
立体扫描仪利用一可见光在扫描一对象(例如一猫头鹰玩具)产生对应所述对象的立体扫描结果SR后，立体扫描仪可根据立体扫描结果SR上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量(如图1所示，其中图1仅显示出对应立体扫描结果SR的部份横截面SSR上的每一点的法向量)，其中如图1所示的部份横截面SSR上的每一点的法向量都朝向立体扫描结果SR的外部区域OSR，且立体扫描结果SR是根据所述对象的表面所产生的反射光(对应所述可见光)而产生。因此，因为部份横截面SSR上的每一点的法向量都朝向立体扫描结果SR的外部区域OSR而可正确地产生相对应的反射光，所以部份横截面SSR上的每一点将会呈现其相对应的颜色。然而因为立体扫描仪是根据立体扫描结果SR上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量，所以立体扫描结果SR的另一部份横截面ASSR上的部分点的法向量可能朝向立体扫描结果SR的内部区域ISR(例如，如图2所示，圆圈A内的每一点的法向量朝向立体扫描结果SR的内部区域ISR)，所以部份横截面ASSR上的部分点(圆圈A内的每一点)将不会产生相对应的反射光，导致部份横截面ASSR上的部分点(圆圈A内的每一点)呈现不正常颜色。例如，如图3所示，当对应猫头鹰玩具的立体扫描结果SR的区域HA的每一点的法向量朝向立体扫描结果SR的内部区域ISR时，区域HA将呈现黑色。因此，如何矫正立体扫描结果SR的错误法向量将成为立体扫描仪的设计者的一项重要课题。
发明内容
本发明的一实施例公开一种可矫正原始立体扫描结果的错误法向量的装置，其中所述原始立体扫描结果对应于一对象。所述装置包含一法向量产生单元和一矫正单元。所述法向量产生单元是用于根据所述原始立体扫描结果上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量。所述矫正单元耦接于所述法向量产生单元，用于决定所述原始立体扫描结果的内部区域，以及当对应所述原始立体扫描结果上的一点的法向量朝向所述内部区域时，反向对应所述点的法向量。
本发明的另一实施例公开一种矫正原始立体扫描结果的错误法向量的方法，其中应用于所述方法的装置包含一法向量产生单元和一矫正单元。所述方法包含所述法向量产生单元根据所述原始立体扫描结果上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量；所述矫正单元决定所述原始立体扫描结果的内部区域；当对应所述原始立体扫描结果上的一点的法向量朝向所述内部区域时，所述矫正单元反向对应所述点的法向量；于将所述原始立体扫描结果上的法向量朝向所述内部区域的所有点，进行法向量反向后，所述矫正单元产生和输出一矫正后的立体扫描结果。
本发明公开一种矫正原始立体扫描结果的错误法向量的装置及其相关方法。所述装置和所述方法是在一图像处理单元产生对应一对象的原始立体扫描结果后，利用一法向量产生单元根据所述原始立体扫描结果上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量，以及当对应所述原始立体扫描结果上的一点的法向量朝向所述原始立体扫描结果的内部区域时，利用一矫正单元反向对应所述点的法向量。因此，在所述矫正单元矫正所述原始立体扫描结果的错误法向量后，所述矫正单元即可产生和输出一矫正后的立体扫描结果。因为所述矫正单元可矫正所述原始立体扫描结果的错误法向量，所以相较于现有技术，本发明可使所述矫正后的立体扫描结果正确地产生相对应的反射光而呈现其相对应的颜色。
附图说明
图1是说明立体扫描结果的部份横切面上的每一点的法向量的示意图。
图2是说明立体扫描结果的另一部份横切面上的部分点的法向量朝向立体扫描结果的内部区域的示意图。
图3是说明当对应猫头鹰玩具的立体扫描结果的区域的每一点的法向量朝向立体扫描结果的内部区域时，区域将呈现黑色的示意图。
图4是本发明的第一实施例所公开的一种可矫正原始立体扫描结果的错误法向量的装置的示意图。
图5是说明可矫正原始立体扫描结果的错误法向量的装置扫描对象的示意图。
图6是说明当第一图像传感单元和对象之间的对应距离随对象的移动或转动而改变时，第一图像传感单元和第二图像传感单元可摆动以使对象总是位于第一图像传感单元的中心和对象决定的直线与第二图像传感单元的中心和对象决定的一直线的交点上的示意图。
图7是本发明的另一实施例所公开的第一图像传感单元和第二图像传感单元之间的基线可随第一图像传感单元和对象间的对应距离改变的示意图。
图8是说明对应原始立体扫描结果的部份上的每一点的法向量的示意图。
图9是说明原始立体扫描结果上的一点、对应该点的切平面和切平面的法向量的示意图。
图10是说明立体扫描结果的内部区域的一点、原始立体扫描结果上的一点、对应该点的向量、对应该点的法向量和与对应该点的法向量反向的法向量的示意图。
图11是说明矫正后的立体扫描结果的示意图。
图12是本发明的第二实施例所公开的一种矫正原始立体扫描结果的错误法向量的方法的流程图。
其中，附图标记说明如下：
100 装置
101 立体摄像机
102 第一图像传感单元
104 第二图像传感单元
106 深度图产生单元
108 图像处理单元
110 法向量产生单元
112 矫正单元
114 对象
A 圆圈
B1、B2、B3 对应基线
DP1、DP2、DP3 深度图
D1、D2、D3 对应距离
FL1、SL1、FL2、SL2、FL3、SL3 直线
HA 区域
ISR、ITSR 内部区域
L1、L2、L3 第一图像
NTPL、NNP1、NP1 法向量
OSR 外部区域
P、P1、CP 点
R1、R2、R3 第二图像
RTSR 矫正后的立体扫描结果
SSR、ASSR 部份横截面
TPL 切平面
TSR、SR 立体扫描结果
VP 向量
θ1、θ2、θ3、θ 对应夹角
1200-1216 步骤
具体实施方式
请参照图4，图4是本发明的第一实施例所公开的一种可矫正原始立体扫描结果的错误法向量的装置100的示意图。如图4所示，装置100包含一第一图像传感单元102、一第二图像传感单元104、一深度图产生单元106、一图像处理单元108、一法向量产生单元110及一矫正单元112，其中二图像传感单元102、104可选择性地包含在一立体摄像机101内，深度图产生单元106和图像处理单元108耦接第一图像传感单元102和第二图像传感单元104，以及法向量产生单元110耦接于图像处理单元108和矫正单元112之间。另外，本发明并不受限于装置100仅包含第一图像传感单元102和第二图像传感单元104，也就是说装置100可包含至少二图像传感单元。当装置100扫描一对象114时(如图5所示，其中对象114为一猫头鹰玩具)，第一图像传感单元102获取包含对象114的多个第一图像L1、L2、L3、…，以及第二图像传感单元104获取包含对象114的多个第二图像R1、R2、R3、…，其中多个第一图像L1、L2、L3、…中每一第一图像(例如第一图像L1)对应多个第二图像R1、R2、R3、…中一第二图像(例如第二图像R1)，装置100并不受限于图5所示的外型，多个第一图像L1、L2、L3、…与多个第二图像R1、R2、R3、…是RGB图像或YUV图像，且多个第一图像L1、L2、L3、…是左眼图像和多个第二图像R1、R2、R3、…是右眼图像。但本发明并不受限于多个第一图像L1、L2、L3、…与多个第二图像R1、R2、R3、…是RGB图像或YUV图像，也就是说多个第一图像L1、L2、L3、…与多个第二图像R1、R2、R3、…可以是其他色彩图像。如图4所示，在深度图产生单元106接收多个第一图像L1、L2、L3、…和多个第二图像R1、R2、R3、…后，深度图产生单元106可一起处理第一图像L1和与第一图像L1对应的第二图像R1以产生一对应的深度图DP1。如此，深度图产生单元106可根据多个第一图像L1、L2、L3、…和多个第二图像R1、R2、R3、…，产生多个深度图DP1、DP2、DP3、…。如图5所示，由于装置100是扫描对象114，所以多个深度图DP1、DP2、DP3、…可对应不同的视角。如图4所示，图像处理单元108是用于根据多个第一图像L1、L2、L3、…、多个第二图像R1、R2、R3、…和多个深度图DP1、DP2、DP3、…，产生对应对象114的一彩色的原始立体扫描结果TSR。但在本发明的另一实施例中，图像处理单元108是实时根据多个第一图像L1、L2、L3、…中每一第一图像(例如第一图像L1)、多个第二图像R1、R2、R3、…中一对应的第二图像(例如第二图像R1)的和一对应的深度图(例如深度图DP1)，产生对应对象114的原始立体扫描结果TSR的部份。
请参照图6，图6是说明当第一图像传感单元102和对象114之间的对应距离随对象114的移动或转动而改变时，第一图像传感单元102和第二图像传感单元104可摆动以使对象114总是位于第一图像传感单元102的中心和对象114决定的直线与第二图像传感单元104的中心和对象114决定的一直线的交点上的示意图。如图6所示，当装置100和对象114间具有一对应距离D1时，第一图像传感单元102的中心和对象114所决定的一直线FL1与第二图像传感单元104的中心和对象114间所决定的一直线SL1之间具有一对应夹角θ1；当装置100和对象114间具有一对应距离D2时，第一图像传感单元102的中心和对象114所决定的一直线FL2与第二图像传感单元104的中心和对象114间所决定的一直线SL2之间具有一对应夹角θ2；当装置100和对象114间具有一对应距离D3时，第一图像传感单元102的中心和对象114所决定的一直线FL3与第二图像传感单元104的中心和对象114间所决定的一直线SL3之间具有一对应夹角θ3。因为当装置100扫描对象114时，对象114可任意地移动或转动，所以装置100和对象114之间的一对应距离会随对象114的移动或转动而改变。也就是说当装置100和对象114之间的一对应距离随对象114的移动或转动而改变时，第一图像传感单元102和第二图像传感单元104可摆动以使对象114总是位于第一图像传感单元102的中心和对象114决定的一直线与第二图像传感单元104的中心和对象114决定的一直线的交点上。因为第一图像传感单元102和第二图像传感单元104可摆动，所以不管对象114如何移动或转动，装置100总是可以使对象114位于第一图像传感单元102的中心和对象114所决定的一直线与第二图像传感单元104的中心和对象114间所决定的一直线的交点上。另外，因为第一图像传感单元102和第二图像传感单元104可摆动，所以相较于现有技术对象114的尺寸可更有弹性。
请参照图7，图7是本发明的另一实施例所公开的装置100和第二图像传感单元104之间的基线可随第一图像传感单元102和对象114间的对应距离改变的示意图。如图7所示，当装置100和对象114间具有对应距离D1时，第一图像传感单元102和第二图像传感单元104间具有一对应基线B1；当装置100和对象114间具有一对应距离D2时，第一图像传感单元102和第二图像传感单元104间具有一对应基线B2；当装置100和对象114间具有一对应距离D3时，第一图像传感单元102和第二图像传感单元104间具有一对应基线B3。如图7所示，由于第一图像传感单元102和第二图像传感单元104之间的基线可随装置100和对象114间的对应距离改变，所以不管对象114如何移动或转动，装置100总是可以使对象114位于第一图像传感单元102的中心和对象114所决定的一直线与第二图像传感单元104的中心和对象114间所决定的一直线的交点上。另外，因为第一图像传感单元102和第二图像传感单元104之间的基线可随装置100和对象114间的对应距离改变，所以相较于现有技术对象114的尺寸可更有弹性。
另外，在本发明的另一实施例中，第一图像传感单元102和第二图像传感单元104之间的基线可随装置100和对象114间的对应距离改变，以及第一图像传感单元102和第二图像传感单元104也可随装置100第一图像传感单元102和对象114间的对应距离摆动。
如图4所示，法向量产生单元110耦接于图像处理单元108，用于根据原始立体扫描结果TSR上的每一点、邻近所述每一点的多个预定点以及现有技术所公开的主成分分析(Principal Component Analysis,PCA)方法，产生对应所述每一点的法向量(如图8所示，其中图8仅显示出对应原始立体扫描结果TSR的部份上的每一点的法向量)，其中原始立体扫描结果TSR上的所述多个预定点是位于距离所述每一点一预定半径的区间内。也就是说法向量产生单元110可利用所述每一点、邻近所述每一点的多个预定点和主成分分析方法决定对应所述每一点的切平面，其中所述切平面的法向量即为对应所述每一点的法向量。例如，如图9所示，法向量产生单元110可利用原始立体扫描结果TSR上的一点P、邻近点P的多个预定点以及主成分分析方法，决定对应点P的切平面TPL，其中切平面TPL的法向量NTPL即为对应点P的法向量，且邻近点P的多个预定点是位于距离点P一预定半径R(未绘示于图9)的区间内。然而，虽然所述每一点和邻近所述每一点的多个预定点是用于决定对应所述每一点的切平面，但邻近所述每一点的多个预定点并非都位于对应所述每一点的切平面上。另外，主成分分析方法可详见于Badu Bogdan Rusu的博士论文「Semantic 3D ObjectMaps for Everyday Manipulation in Human Living Environments」的第45-46页，在此不再赘述。另外，本发明并不受限于法向量产生单元110利用上述现有技术所公开的方式，产生对应所述每一点的法向量。
如图4所示，矫正单元112耦接于法向量产生单元110和图像处理单元108，用于根据原始立体扫描结果TSR上的深度信息，决定原始立体扫描结果TSR的内部区域ITSR(例如因为如图5所示，装置100是环绕对象114以扫描对象114，所以原始立体扫描结果TSR是对应对象114的表面，也就是说原始立体扫描结果TSR上的每一点的深度信息是对应对象114的表面。于一实施例中因为原始立体扫描结果TSR上的每一点的深度信息是对应对象114的表面，所以矫正单元112即可根据原始立体扫描结果TSR上的每一点的深度信息，决定原始立体扫描结果TSR的内部区域ITSR)，以及在法向量产生单元110产生对应原始立体扫描结果TSR上的每一点的法向量后，当对应原始立体扫描结果TSR的一点的法向量朝向内部区域ITSR时，反向对应所述点的法向量。例如，如图10所示，矫正单元112可先根据立体扫描结果TSR的内部区域ITSR的一点CP(例如内部区域ITSR的中心点)和原始立体扫描结果TSR上的一点P1，产生一对应点P1的向量VP，其中向量VP的方向是从点CP朝向点P1。当向量VP与对应点P1的法向量NP1的夹角θ大于90o时，矫正单元112判断对应点P1的法向量NP1朝向内部区域ITSR，所以矫正单元112即可反向对应点P1的法向量NP1为法向量NNP1。如此，点P1将会正确地产生相对应的反射光而呈现其相对应的颜色。另外，本发明并不受限于上述矫正单元112判断对应点P1的法向量NP1朝向内部区域ITSR的方法。另外，在矫正单元112矫正原始立体扫描结果TSR的错误法向量后，矫正单元112即可产生和输出一矫正后的立体扫描结果RTSR(如图11所示)。例如于将原始立体扫描结果TSR上的法向量朝向内部区域ITSR的所有点，进行法向量反向后，矫正单元112即可产生矫正后的立体扫描结果RTSR。
另外，在本发明的另一实施例中，第一图像传感单元102、第二图像传感单元104、深度图产生单元106、图像处理单元108、法向量产生单元110及矫正单元112是整合成一单芯片。
另外，在本发明的另一实施例中，装置100并不包含第一图像传感单元102、第二图像传感单元104、深度图产生单元106和图像处理单元108(也就是说第一图像传感单元102、第二图像传感单元104、深度图产生单元106和图像处理单元108是包含在一扫描仪，而装置100耦接于所述扫瞄器)，所以由深度图产生单元106根据多个第一图像L1、L2、L3、…和多个第二图像R1、R2、R3、…所产生的多个深度图DP1、DP2、DP3、…，和多个第一图像L1、L2、L3、…和多个第二图像R1、R2、R3、…是通过一移动行业处理器接口(mobile-industry-processor-interface,MIPI)或一通用串行总线(universal serial bus,USB)的有线通信接口，或一无线保真(Wireless Fidelity,WiFi)、一无线区域网络(wireless LAN,WLAN)、一紫蜂短距无线传输标准(IEEE 802.15.4,Zigbee)、一蓝牙(Bluetooth)、一无线广域网(Wireless Wide Area Network,WWAN)、一全球移动通信系统(Global System for MobileCommunications,GSM)、一通用封包无线服务技术(General Packet Radio Service,GPRS)、一第三代移动通信技术(third generation,3G)、一第四代移动通信技术(fourthgeneration,4G)、一第五代移动通信技术(fifth generation,5G)或一移动者网络理论+(actor network theory+,Ant+)技术的无线通信接口传送至装置100。因此，装置100即可根据对应对象114的原始立体扫描结果TSR，产生和输出矫正后的立体扫描结果RTSR。
请参照图4-11和图12，图12是本发明的第二实施例所公开的一种矫正原始立体扫描结果的错误法向量的方法的流程图。图12的方法是利用图1的装置100说明，详细步骤如下：
步骤1200：开始；
步骤1202：当装置100扫描对象114时，第一图像传感单元102获取包含对象114的多个第一图像L1、L2、L3、…，以及第二图像传感单元104获取包含对象114的多个第二图像R1、R2、R3、…；
步骤1204：深度图产生单元106根据多个第一图像L1、L2、L3、…中的每一第一图像和多个第二图像R1、R2、R3、…中的一对应的第二图像，产生一对应的深度图；
步骤1206：图像处理单元108根据深度图产生单元106所产生的多个深度图DP1、DP2、DP3、…、多个第一图像L1、L2、L3、…和多个第二图像R1、R2、R3、…，产生对应对象114的原始立体扫描结果TSR；
步骤1208：法向量产生单元110根据原始立体扫描结果TSR上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量；
步骤1210：矫正单元112根据原始立体扫描结果TSR上的每一点的深度信息，决定原始立体扫描结果TSR的内部区域ITSR；
步骤1212：当对应原始立体扫描结果TSR上的一点的法向量朝向内部区域ITSR时，矫正单元112反向对应所述点的法向量；
步骤1214：矫正单元112产生和输出矫正后的立体扫描结果RTSR；
步骤1216：结束。
在步骤1202中，当装置100扫描对象114时(如图5所示，其中对象114为所述猫头鹰玩具)，第一图像传感单元102获取包含对象114的多个第一图像L1、L2、L3、…，以及第二图像传感单元104获取包含对象114的多个第二图像R1、R2、R3、…，其中多个第一图像L1、L2、L3、…中每一第一图像(例如第一图像L1)对应多个第二图像R1、R2、R3、…中一第二图像(例如第二图像R1)，多个第一图像L1、L2、L3、…与多个第二图像R1、R2、R3、…是RGB图像或YUV图像，且多个第一图像L1、L2、L3、…是左眼图像和多个第二图像R1、R2、R3、…是右眼图像。但本发明并不受限于多个第一图像L1、L2、L3、…与多个第二图像R1、R2、R3、…是RGB图像或YUV图像，也就是说多个第一图像L1、L2、L3、…与多个第二图像R1、R2、R3、…可以是其他色彩图像。
在步骤1204中，如图1所示，在深度图产生单元106接收多个第一图像L1、L2、L3、…和多个第二图像R1、R2、R3、…后，深度图产生单元106可一起处理第一图像L1和与第一图像L1对应的第二图像R1以产生对应的深度图DP1。如此，深度图产生单元106即可根据多个第一图像L1、L2、L3、…和多个第二图像R1、R2、R3、…，产生多个深度图DP1、DP2、DP3、…。如图5所示，由于装置100是扫描对象114扫描，所以多个深度图DP1、DP2、DP3、…可对应不同的视角。
在步骤1206中，如图4所示，图像处理单元108可根据多个第一图像L1、L2、L3、…、多个第二图像R1、R2、R3、…和多个深度图DP1、DP2、DP3、…，产生对应对象114的原始立体扫描结果TSR。但在本发明的另一实施例中，图像处理单元108是实时根据多个第一图像L1、L2、L3、…中每一第一图像(例如第一图像L1)、多个第二图像R1、R2、R3、…中一对应的第二图像(例如第二图像R1)的和一对应的深度图(例如深度图DP1)，产生对应对象114的原始立体扫描结果TSR的部份。
另外，如图6所示，因为当装置100扫描对象114时，对象114可任意地移动或转动，所以装置100和对象114之间的一对应距离会随对象114的移动或转动而改变。也就是说当装置100和对象114之间的一对应距离随对象114的移动或转动而改变时，第一图像传感单元102和第二图像传感单元104可摆动以使对象114总是位于第一图像传感单元102的中心和对象114决定的一直线与第二图像传感单元104的中心和对象114决定的一直线的交点上，所以相较于现有技术对象114的尺寸可更有弹性。
另外，在本发明的另一实施例中，如图7所示，由于第一图像传感单元102和第二图像传感单元104之间的基线可随装置100和对象114间的对应距离改变，所以不管对象114如何移动或转动，装置100总是可以使对象114位于第一图像传感单元102的中心和对象114所决定的一直线与第二图像传感单元104的中心和对象114间所决定的一直线的交点上，所以相较于现有技术对象114的尺寸可更有弹性。
另外，在本发明的另一实施例中，第一图像传感单元102和第二图像传感单元104之间的基线可随装置100和对象114间的对应距离改变，以及第一图像传感单元102和第二图像传感单元104也可随装置100第一图像传感单元102和对象114间的对应距离摆动。
在步骤1208中，如图4所示，法向量产生单元110可根据原始立体扫描结果TSR上的每一点、邻近所述每一点的多个预定点，产生对应所述每一点的法向量(如图8所示，其中图8仅显示出对应原始立体扫描结果TSR的部份上的每一点的法向量)，其中原始立体扫描结果TSR上的所述多个预定点是位于距离所述每一点一预定半径的区间内。于一实施例中，法向量产生单元110可根据原始立体扫描结果TSR上的每一点、邻近所述每一点的多个预定点以及主成分分析方法，产生对应所述每一点的法向量。例如，如图9所示，法向量产生单元110可利用原始立体扫描结果TSR上的一点P、邻近点P的多个预定点以及主成分分析方法，决定对应点P的切平面TPL，其中切平面TPL的法向量NTPL即为对应点P的法向量，且邻近点P的多个预定点是位于距离点P一预定半径R(未绘示于图9)的区间内。
在步骤1212中，在法向量产生单元110产生对应原始立体扫描结果TSR上的每一点的法向量后，当对应原始立体扫描结果TSR的一点的法向量朝向内部区域ITSR时，反向对应所述点的法向量。例如，如图10所示，矫正单元112可先根据立体扫描结果TSR的内部区域ITSR的点CP(例如内部区域ITSR的中心点)和原始立体扫描结果TSR的点P1，产生对应点P1的向量VP，其中向量VP的方向是从点CP朝向点P1。当向量VP与对应点P1的法向量NP1的夹角θ大于90o时，矫正单元112判断对应点P1的法向量NP1朝向内部区域ITSR，所以矫正单元112即可反向对应点P1的法向量NP1为法向量NNP1。如此，点P1将会正确地产生相对应的反射光而呈现其相对应的颜色。另外，本发明并不受限于上述矫正单元112判断对应点P1的法向量NP1朝向内部区域ITSR的方法。另外，在步骤1214中，在矫正单元112矫正原始立体扫描结果TSR的错误法向量后，矫正单元112即可产生和输出矫正后的立体扫描结果RTSR(如图11所示)。
综上所述，本发明所公开的矫正原始立体扫描结果的错误法向量的装置及其相关方法是在图像处理单元产生对应对象的原始立体扫描结果后，利用法向量产生单元根据原始立体扫描结果上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量，以及当对应原始立体扫描结果上的一点的法向量朝向原始立体扫描结果的内部区域时，利用矫正单元反向对应所述点的法向量。因此，在矫正单元矫正原始立体扫描结果的错误法向量后，矫正单元即可产生和输出矫正后的立体扫描结果。因为矫正单元可矫正原始立体扫描结果的错误法向量，所以相较于现有技术，本发明可使矫正后的立体扫描结果正确地产生相对应的反射光而呈现其相对应的颜色。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种可矫正原始立体扫描结果的错误法向量的装置，其中所述原始立体扫描结果对应于一对象，其特征在于包含：
一法向量产生单元，用于根据所述原始立体扫描结果上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量；及
一矫正单元，耦接于所述法向量产生单元，用于决定所述原始立体扫描结果的内部区域，以及当对应所述原始立体扫描结果上的一点的法向量朝向所述内部区域时，反向对应所述点的法向量。
2.如权利要求1所述的装置，其特征在于：所述多个预定点是位于距离所述每一点一预定半径的区间内，所述多个预定点和所述每一点是用于决定对应所述每一点的切平面，且所述切平面的法向量是对应所述每一点的法向量。
3.如权利要求2所述的装置，其特征在于：所述法向量产生单元根据所述每一点、所述多个预定点以及一主成分分析方法，产生对应所述每一点的法向量。
4.如权利要求1所述的装置，其特征在于另包含：
至少二图像传感单元，其中当所述扫描仪扫描所述对象时，所述至少二图像传感单元中的一第一图像传感单元获取包含所述对象的多个第一图像，以及所述至少二图像传感单元中的一第二图像传感单元获取包含所述对象的多个第二图像，其中所述多个第一图像中的每一第一图像对应所述多个第二图像中的一第二图像；
一深度图产生单元，耦接于所述至少二图像传感单元，用于根据所述每一第一图像和所述第二图像，产生一对应的深度图，其中所述深度图产生单元根据所述多个第一图像和所述多个第二图像所产生的多个深度图；及
一图像处理单元，耦接于所述至少二图像传感单元和所述深度图产生单元，用于根据所述多个第一图像、所述多个第二图像和所述多个深度图，产生所述原始立体扫描结果。
5.如权利要求1所述的装置，其特征在于：所述矫正单元根据所述原始立体扫描结果的深度信息，决定所述原始立体扫描结果的内部区域。
6.如权利要求1所述的装置，其特征在于：于将所述原始立体扫描结果上的法向量朝向所述内部区域的所有点，进行法向量反向后，所述矫正单元产生和输出一矫正后的立体扫描结果。
7.如权利要求1所述的装置，其特征在于：所述矫正单元根据所述内部区域的一点和所述原始立体扫描结果上的一点，产生一对应所述原始立体扫描结果上的所述点的向量，以及当所述向量与对应所述原始立体扫描结果上的所述点的法向量的夹角大于90°时，所述矫正单元判断对应所述原始立体扫描结果上的所述点的法向量朝向所述内部区域。
8.一种矫正原始立体扫描结果的错误法向量的方法，其中应用于所述方法的装置包含一法向量产生单元和一矫正单元，其特征在于包含：
所述法向量产生单元根据所述原始立体扫描结果上的每一点与邻近所述每一点的多个预定点，产生对应所述每一点的法向量；
所述矫正单元决定所述原始立体扫描结果的内部区域；
当对应所述原始立体扫描结果上的一点的法向量朝向所述内部区域时，所述矫正单元反向对应所述点的法向量；及
于将所述原始立体扫描结果上的法向量朝向所述内部区域的所有点，进行法向量反向后，所述矫正单元产生和输出一矫正后的立体扫描结果。
9.如权利要求8所述的方法，其特征在于：所述多个预定点是位于距离所述每一点一预定半径的区间内，所述多个预定点和所述每一点是用于决定对应所述每一点的切平面，且所述切平面的法向量是对应所述每一点的法向量。
10.如权利要求9所述的方法，其特征在于：所述法向量产生单元根据所述每一点、所述多个预定点以及一主成分分析方法，产生对应所述每一点的法向量。
11.如权利要求8所述的方法，其特征在于：所述矫正单元根据所述内部区域的一点和所述原始立体扫描结果上的一点，产生一对应所述原始立体扫描结果上的所述点的向量，以及当所述向量与对应所述原始立体扫描结果上的所述点的法向量的夹角大于90°时，所述矫正单元判断对应所述原始立体扫描结果上的所述点的法向量朝向所述内部区域。
12.如权利要求8所述的方法，其特征在于：所述矫正单元根据所述原始立体扫描结果的深度信息，决定所述原始立体扫描结果的内部区域。
CN201710447081.3A 2017-05-24 2017-06-14 矫正原始立体扫描结果的错误法向量的装置及其相关方法 Withdrawn CN108961427A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106117268 2017-05-24
TW106117268A TWI657691B (zh) 2017-05-24 2017-05-24 矯正原始立體掃描結果的錯誤法向量的裝置及其相關方法

Publications (1)

Publication Number Publication Date
CN108961427A true CN108961427A (zh) 2018-12-07

Family

ID=64401290

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710447081.3A Withdrawn CN108961427A (zh) 2017-05-24 2017-06-14 矫正原始立体扫描结果的错误法向量的装置及其相关方法

Country Status (3)

Country Link
US (1) US10573016B2 (zh)
CN (1) CN108961427A (zh)
TW (1) TWI657691B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113678168B (zh) * 2019-01-28 2023-12-15 弗劳恩霍夫应用研究促进协会 空间中的元素定位

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268631A (zh) * 2013-05-23 2013-08-28 中国科学院深圳先进技术研究院 点云骨架提取方法及装置
CN105261047A (zh) * 2015-09-08 2016-01-20 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN105391910A (zh) * 2014-08-27 2016-03-09 莱卡地球系统公开股份有限公司 多摄像机激光扫描仪
US20170061701A1 (en) * 2015-08-26 2017-03-02 Adobe Systems Incorporated Color-based depth smoothing of scanned 3d model to enhance geometry in 3d printing
CN106600694A (zh) * 2016-12-20 2017-04-26 中国地质大学（武汉） 一种地形数据的平滑处理方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10134208A (ja) * 1996-10-31 1998-05-22 Sony Corp 形状データの近似化方法及び描画装置
US6337684B1 (en) * 1998-05-29 2002-01-08 Hewlett-Packard Company Surface normal compression/decompression storing two vector components
US7737973B2 (en) * 2005-10-31 2010-06-15 Leica Geosystems Ag Determining appearance of points in point cloud based on normal vectors of points
JP4116648B2 (ja) * 2006-05-22 2008-07-09 株式会社ソニー・コンピュータエンタテインメント オクルージョンカリング方法および描画処理装置
US7639253B2 (en) * 2006-07-13 2009-12-29 Inus Technology, Inc. System and method for automatic 3D scan data alignment
CN104809258B (zh) * 2014-01-23 2018-01-05 南京理工大学 电磁散射仿真建模中面片法向量自适应修改方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103268631A (zh) * 2013-05-23 2013-08-28 中国科学院深圳先进技术研究院 点云骨架提取方法及装置
CN105391910A (zh) * 2014-08-27 2016-03-09 莱卡地球系统公开股份有限公司 多摄像机激光扫描仪
US20170061701A1 (en) * 2015-08-26 2017-03-02 Adobe Systems Incorporated Color-based depth smoothing of scanned 3d model to enhance geometry in 3d printing
CN105261047A (zh) * 2015-09-08 2016-01-20 北京控制工程研究所 一种基于近距离短弧段图像的对接环圆心提取方法
CN106600694A (zh) * 2016-12-20 2017-04-26 中国地质大学（武汉） 一种地形数据的平滑处理方法及装置

Also Published As

Publication number Publication date
TW201902211A (zh) 2019-01-01
US20180342076A1 (en) 2018-11-29
TWI657691B (zh) 2019-04-21
US10573016B2 (en) 2020-02-25

Similar Documents

Publication Publication Date Title
CN101667303B (zh) 一种基于编码结构光的三维重建方法
US10176564B1 (en) Collaborative disparity decomposition
US20160029009A1 (en) Attachable three-dimensional scan module
CN101394573B (zh) 一种基于特征匹配的全景图生成方法及系统
CN101976455A (zh) 一种基于立体匹配的彩色图像三维重建方法
CN105025193B (zh) 手提式立体扫描仪和产生对应对象的立体扫描结果的方法
CN108122191A (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN107925711A (zh) 色相改变色域映射
WO2022179623A1 (zh) 手持扫描仪及其扫描方法
CN104008542A (zh) 一种针对特定平面图形的快速角点匹配方法
CN106251376B (zh) 一种面向彩色结构光编码与边缘提取方法
JP2008113176A (ja) 映像表示システムの調整システム
CN108961427A (zh) 矫正原始立体扫描结果的错误法向量的装置及其相关方法
Gravesen The metric of colour space
US20150356751A1 (en) Display evaluation device, display evaluation method, and non-transitory computer readable medium
Finlayson et al. A theory of selection for gamut mapping colour constancy
CN106157301A (zh) 一种用于图像边缘检测的阈值自确定方法及装置
Hussain et al. Color constancy adjustment using sub-blocks of the image
CN104601859A (zh) 颜色转换装置和颜色转换方法
CN110400333A (zh) 教练式双目立体视觉装置及高精度立体视觉图像获取方法
Restrepo Tetrachromatic colour space
CN106559581B (zh) 一种提高摄像头拍摄图形码通信时的通信速度的方法
Cassinis et al. Using colour information in an omnidirectional perception system for autonomous robot localization
JP3823559B2 (ja) 三次元距離データを変換する方法
Ukida et al. 3D shape reconstruction using three light sources in image scanner

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20181207