CN108510576A - 多镜头影像深度的3d空间绘制系统 - Google Patents

多镜头影像深度的3d空间绘制系统 Download PDF

Info

Publication number
CN108510576A
CN108510576A CN201711002300.3A CN201711002300A CN108510576A CN 108510576 A CN108510576 A CN 108510576A CN 201711002300 A CN201711002300 A CN 201711002300A CN 108510576 A CN108510576 A CN 108510576A
Authority
CN
China
Prior art keywords
image
instant
taking device
universe
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711002300.3A
Other languages
English (en)
Inventor
余业纬
陈护木
吴立青
孙庆成
杨宗勋
张介
张一介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Central University
Original Assignee
National Central University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Central University filed Critical National Central University
Publication of CN108510576A publication Critical patent/CN108510576A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/04—Supports for telephone transmitters or receivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Abstract

本发明提供一种多镜头影像深度的3D空间绘制系统，其包括：头戴装置，其包括本体，又本体形成有第一支撑部及第二支撑部；以及3D软件，电讯连接于第一取像装置及第二取像装置。借由本发明的实施，可以在最经济的情况下，让更多的使用者，能快速的完成3D模型的建立。

Description

多镜头影像深度的3D空间绘制系统
技术领域
本发明为一种多镜头影像深度的3D(three-dimensional)空间绘制系统，特别为一种使用双智慧型手机进行取像，然后快速建立3D模型的多镜头影像深度的3D空间绘制系统。
背景技术
3D的空间信息分析技术，相对于平面的呈现方式，通过立体视角，弥补了2D(two-dimensional)空间的不足。3D外观看到的物件在视觉上可以更加的直观。例如3D室内空间、3D街景、及3D防灾地图…等。
未来数位城市模型的建置技术，数位城市信息的建构，将区分为有形的建物建模技术及无形的建物属性资料。有形的信息通过向量图资、数位影像、光达(LiDAR)点云等技术，可以产生模型。
建物或物件形成后，除了直接以彩色照片形成3D模型外，亦可利用纹理贴图方法将建物拟真化，以提升美观性与辨识度。完成3D模型后，使用者可以期望有效的应用，并根据不同的需求以及成本考量，决定系统建置的程度。
发明内容
本发明为一种多镜头影像深度的3D空间绘制系统，其主要是解决3D空间模型建立，因为设备昂贵所以无法普及及快速建立的问题。
本发明提供一种多镜头影像深度的3D空间绘制系统，其包括：头戴装置，其包括本体，又本体形成有第一支撑部及第二支撑部；以及3D软件，电讯连接于第一取像装置及第二取像装置。
上述的多镜头影像深度的3D空间绘制系统，其中该头戴装置是纸质或塑胶质的材料所制成。
上述的多镜头影像深度的3D空间绘制系统，其中该本体上进一步设置有固定件。
上述的多镜头影像深度的3D空间绘制系统，其中该第一支撑部形成于该本体的一侧，又该第一支撑部具有第一容置空间。
上述的多镜头影像深度的3D空间绘制系统，其中该第二支撑部形成于该本体的另一侧，并于该第一支撑部对称设置，又该第二支撑部具有第二容置空间。
上述的多镜头影像深度的3D空间绘制系统，其中该头戴装置进一步具有微调机构。
上述的多镜头影像深度的3D空间绘制系统，其中该头戴装置可进一步具有弹性机构。
上述的多镜头影像深度的3D空间绘制系统，其中该第一取像装置及该第二取像装置在置放时，可以使彼此交叠放置。
上述的多镜头影像深度的3D空间绘制系统，其中该头戴装置进一步具有投射光源，其投射出已知的特定图形或线条。
上述的多镜头影像深度的3D空间绘制系统，其中该3D软件执行的操作流程，包括：
初始化，其在T0时点，至少使第一取像装置的T0第一图像及第二取像装置的T0第二图像的图像坐标完成同步，并形成T0即时图像坐标及T0全域坐标；以及
产生全域图像，其在T1至Tn间的每一时间点，执行一次下列步骤；
撷取Tn图像，其是使用该第一取像装置及该第二取像装置，于Tn时点分别撷取Tn第一图像及Tn第二图像；
进行特征点分析，读取该Tn第一图像及该Tn第二图，并对应的分别产生多个Tn第一特征点信息及多个Tn第二特征点信息；
比对最小距离特征，其是对该些Tn第一特征点信息及该些Tn第二特征点信息进行最小距离特征比对，并产生多个Tn即时共同特征点及Tn即时图像坐标；
绘制即时3D图像，其是使用该些Tn即时共同特征点及该Tn即时图像坐标，形成Tn即时3D图像；
产生Tn全域坐标，其是将Tn时点取像装置的Tn即时装置位置信息与Tn-1时点的全域坐标汇整，以产生Tn全域坐标；以及
产生Tn全域图像，其是将该些Tn即时共同特征点及该Tn即时3D图像汇入该Tn全域坐标，以产生Tn全域图像。
上述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该初始化步骤是在时间点T0时，执行下列步骤：
取得设备资料，其是取得该第一取像装置及该第二取像装置的设备资料；
同步时间轴，其是将该第一取像装置及该第二取像装置的系统时间轴进行同步；
执行特征点分析，其是读取该第一取像装置的T0第一图像及该第二取像装置的T0第二图像并分别进行特征点分析，并对应的分别产生多个T0第一特征点信息及多个T0第二特征点信息；
比对最小距离特征，其是对任意两个该些T0第一特征点信息及该些T0第二特征点信息进行最小距离特征比对，并产生多个T0即时共同特征点及该T0即时图像坐标；
绘制即时3D图像，其是使用该些T0即时共同特征点及该T0即时图像坐标，形成T0即时3D图像；
产生T0全域坐标，其是将T0时点取像装置的T0即时3D位置信息，产生T0全域坐标及其全域基准点及全域基准方向；以及
产生T0全域图像，其是将该些T0即时共同特征点及该T0即时3D图像汇入该T0全域坐标，以产生T0时点全域图像。
上述的多镜头影像深度的3D空间绘制系统，其中该取得设备资料为手机设备资料，是从预先建立的各品牌及各型号手机信息的资料库中，取得每一支手机的参数，又该参数至少包括手机厂牌、手机型号、镜头尺寸、壳体尺寸，镜头至壳体之间。
上述的多镜头影像深度的3D空间绘制系统，其进一步具有第一取像装置，其是结合于该第一支撑部，又进一步具有第二取像装置，其是结合于该第二支撑部。
借由本发明之实施，至少可以达成下列的进步功效：
一、可以在最经济的情况下建立3D模型。以及
二、可以快速的完成3D模型的建立。
附图说明
图1：为本发明的一种系统架构实施例图；
图2：为本发明的一种头戴装置分解实施例图；
图3：为本发明的一种头戴装置正面立体透视实施例图；
图4：为本发明的一种头戴装置背面立体透视实施例图；
图5A：为本发明的一种具有微调机构的头戴装置实施例图一；
图5B：为本发明的一种具有微调机构的头戴装置实施例图二；
图5C：为本发明的一种具有弹性机构的头戴装置实施例图；
图6A：为本发明的一种具有隔板的头戴装置实施例图一；
图6B：为第6A图的一种剖视实施例图；
图6C：为本发明的一种具有隔板的头戴装置实施例图二；
图6D：为第6C图的一种剖视实施例图；
图7A：为本发明的一种具有投射光源的头戴装置实施图；
图7B：为第7A图的一种剖视实施例图；
图8：为本发明的一种3D软件操作流程实施例图；
图9：为本发明一种3D软件的操作流程说明实施例图一；以及
图10：为本发明一种3D软件的操作流程说明实施例图二。
【主要元件符号说明】
100：多镜头影像深度的3D空间绘制系统
10：头戴装置 11：纸板
12：头带 110：本体
111：固定件 120：第一支撑部
121：第一容置空间 122：第一视窗开口
130：第二支撑部 131：第二容置空间
132：第二视窗开口 20：3D软件
31：第一取像装置 32：第二取像装置
311,321：镜头 410：微调机构
510：隔板 610：投射光源
620：转轴 630：重垂
70：重叠部位 T0-Tn：时间轴
Imag1：第一图像 Imag2：第二图像
3D软件的操作流程：S100 S510：初始化
S111：取得设备资料 S112：同步时间轴：
S120：执行特征撷取分析 S130：比对最小距离特征
S140：绘制即时3D图像 S113：产生T0全域坐标
S114：产生T0全域图像 S610：产生全域图像
S110：撷取Tn图像 S150：产生Tn全域坐标
S160：产生Tn全域图像 Img1T0：T0第一图像
Img2T0：T0第二图像 CodeT0：T0即时图像坐标
FCodeT0：T0全域坐标
Img1P(1-X)T0：T0第一图像的多个T0第一特征点
Img2P(1-X)T0：T0第二图像的多个T0第二特征点
CP(1-X)T0：多个T0即时共同特征点
3DT0：T0即时3D图像
FImagT0：T0全域图像
Img1Tn：Tn第一图像
Img2Tn：Tn第二图像
Img1P(1-X)Tn：多个Tn第一图像的Tn第一特征点
Img2P(1-X)Tn：多个Tn第二图像的Tn第二特征点
CP(1-X)Tn：多个Tn即时共同特征点
CodeTn：Tn即时图像坐标
3DTn：Tn即时3D图像
FCodeTn-1：Tn-1时点的全域坐标汇整
FCodeTn：Tn全域坐标
FImagTn：Tn全域图像
Img1Tn-1：Tn-1第一图像
Img2Tn-1：Tn-1第二图像
CP(1-X)Tn-1：Tn-1即时共同特征点
3DTn-1：Tn-1即时3D图像
具体实施方式
如图1所示，本实施例为一种多镜头影像深度的3D空间绘制系统100，其包括：头戴装置10；及3D软件20。又头戴装置10，其包括：本体110；第一支撑部120；及第二支撑部130。
如图2所示，头戴装置10可以由具有足够支撑力的材质，例如纸质或塑胶质的材料所制成。当头戴装置10以纸质材质制作时，可以由纸板11折叠形成，然后再结合头带12即可完成，不但成本低、方便制作也方便携带。
如图3至图4所示，本体110是头戴装置10的主要支架，本体110用以支撑第一支撑部120及第二支撑部130，又本体110上设置有固定件111，固定件111可以为头带12，用以使头戴装置10能稳固的穿戴于使用者的头部。
第一支撑部120，形成于本体110的一侧，第一支撑部120具有第一容置空间121或第一视窗开口122，第一容置空间121可用以容纳第一取像装置31，又第一视窗开口122可以让第一取像装置31的镜头通过第一视窗开口122进行取像；
第二支撑部130，形成于本体110的另一侧，并于第一支撑部120对称设置，第二支撑部130具有第二容置空间131或第二视窗开口132，第二容置空间131可用以容纳第二取像装置32，又第二视窗开口132可以让第二取像装置32的镜头通过第二视窗开口132进行取像。
第一取像装置31及第二取像装置32可以分别为具有摄影功能的手机，又该些手机又可以具有无线传输的功能。
第一支撑部120及第二支撑部130，除了分别支撑第一取像装置31及第二取像装置32，更可以使第一取像装置31的镜头及第二取像装置32的镜头，彼此间的距离与方向固定，借由将第一取像装置31及第二取像装置32其镜头间的距离与方向固定，可以定义出第一取像装置31及第二取像装置32间的重要参数，接着后续3D软件20运算时，即可作为第一取像装置31及第二取像装置32间运算的基础。
如图5A至图5B所示，为了能让第一取像装置31及第二取像装置32的镜头311,321，其相互间的距离与方向固定，头戴装置10可进一步具有微调机构410，微调机构410可用以将第一取像装置31及第二取像装置32的水平高度调整成彼此相同。
如图5C所示，头戴装置10可进一步具有弹性机构320，用于使每支手机紧迫贴合第一支撑部120及第二支撑部130。
如图6A至图6D所示，当第一支撑部120及第二支撑部130相互连通时，又借由隔板510的设置，可以使第一取像装置31及第二取像装置32可以彼此交叠放置，借此可以使第一取像装置31及第二取像装置32取向的角度更为弹性。
如图7A及图7B所示，头戴装置10可以具备眼镜的外型，以方便使用者挂载于脸上；头戴装置10上更可存在一个投射光源610，其投射出已知的特定图形或线条的结构光，又投射光源610更借由转轴620与头戴装置10相连，投射光源更连结重垂630，使投射影像可传达出水平信息。
如图8至图10所示，本实施例应用于3D空间绘制时，是将第一取像装置31置入第一支撑部120，又将第二取像装置32置入第二支撑部130，然后再配戴于使用者头部，接着不断变化取像标的，并随时间轴T0-Tn的进行，不断的使用第一取像装置31及第二取像装置32同步的对取像标的进行影像撷取，所以可以得到多组第一取像装置31影像Imag1及第二取像装置32影像Imag2。
3D软件20，主要是借由与第一取像装置31及第二取像装置32进行电讯连结，然后控制第一取像装置31及第二取像装置32并读取第一取像装置31及第二取像装置32的信息。
3D软件20可以借由蓝芽、WiFi或NFC与第一取像装置31及第二取像装置32电讯连结。3D软件20除了读取第一取像装置31及第二取像装置32的影像信息外，亦可读取第一取像装置31及第二取像装置32的重力加速器资料，以便用于空间计算、可读取GPS资料，以便用于空间与位置计算、以及读取陀螺仪侦测器的信息，以掌握第一取像装置31及第二取像装置32的水平信息。
为了能提高运算的精度，有关时间轴相互对应的误差可以控制在小于或等于50为秒(ms)；又3D软件20对第一取像装置31及第二取像装置32的影像进行同步，其同步方式为计算第一取像装置31及第二取像装置32时钟时间差，回朔第一取像装置31及第二取像装置32内的影像时间。所有信息的运算，均可于雾端运算系统进行，如此能够更迅速的算出3D信息。
有关3D软件的操作流程S100，可以包括：初始化S510；以及产生全域图像S610两大步骤。
初始化S510，其是于T0时点所进行的步骤，其至少使第一取像装置31的T0第一图像Img1T0及第二取像装置32的T0第二图像Img2T0的图像坐标完成同步，并形成T0即时图像坐标CodeT0及T0全域坐标FCodeT0，初始化S510步骤又包括：取得设备资料S111；同步时间轴S112；执行特征撷取分析S120；比对最小距离特征S130；绘制即时3D图像S140；产生全域坐标S113；以及产生全域图像S114。
取得设备资料S111，其是取得第一取像装置31及第二取像装置32的设备资料；又设备资料可以是手机设备资料，其是从预先建立的各品牌及各型号手机信息的资料库中，取得每一支手机的重要参数，以便后续的运算，又设备资料可以例如是，手机厂牌、手机型号、镜头尺寸、壳体尺寸，镜头至壳体之间具…等信息。
同步时间轴S112，其是对第一取像装置31及第二取像装置32的系统时间轴进行同步时间轴S112，以便后续进行影像运作时，能建立共同的影像基础。
执行特征撷取分析S120，其是读取第一取像装置31的T0第一图像Img1T0及第二取像装置32的T0第二图像Img2T0，并分别进行特征点分析，例如极值点分析(Scale-InvariantFeature Transform,SIFT)，并对应的分别产生位于T0第一图像的多个T0第一特征点Img1P(1-X)T0信息及位于T0第二图像的多个T0第二特征点Img2P(1-X)T0信息。
比对最小距离特征S130，其是对该些T0第一特征点Img1P(1-X)T0信息及该些T0第二特征点Img2P(1-X)T0信息进行最小距离特征比对，如果任意两个T0第一特征点Img1PXT0及T0第二特征点Img2PXT0为最小距离，则认定该T0第一特征点Img1PXT0及该T0第二特征点Img2PXT0为同一特征点也就是为T0即时共同特征点CPXT0，经过持续的比对将可产生多个T0即时共同特征点CP(1-X)T0，又可依照该些T0即时共同特征点CP(1-X)T0即可建立T0即时图像坐标CodeT0。
比对最小距离特征S130，其可以利用最小距离方法(Nearest Neighbor)做特征点匹配，并可使用RANSAC算法去除错误匹配点，因而可以找出同一时间点，第一取像装置31及第二取像装置32分别取得影像中的共同物件，也就是上述的即时共同特征点CP(1-X)T0。
在取得T0即时共同特征点CP(1-X)T0后，可再以计算距离信息方式，计算相对应特征点，以计算其距离信息，如此可以得到多个物件的深度信息，以作为后续绘图的参数。
绘制即时3D图像S140，其是使用该些T0即时共同特征点CP(1-X)T0及T0即时图像坐标CodeT0，形成T0即时3D图像3DT0。
产生T0全域坐标S113，其是将T0时点的第一取像装置31或第一取像装置32其中之一作为T0即时3D位置信息，也就是取像当时第一取像装置31或第一取像装置32其中之一位置，设为全域坐标原点(0,0,0)，然后将全域坐标原点与T0即时共同特征点CP(1-X)T0及T0即时图像坐标CodeT0参照，如此就可以产生T0全域坐标FCodeT0及其全域基准点及全域基准方向。
产生T0全域图像S114，其是将该些T0即时共同特征点CP(1-X)T0及T0即时3D图像3DT0汇入T0全域坐标FCodeT0，以产生T0全域图像FImagT0。
有关产生全域图像S610步骤，其是于T1至Tn间的每一时间点，执行一次下列步骤：撷取Tn图像S110；进行特征点分析S120；比对最小距离特征S130；绘制即时3D图像S140；产生Tn全域坐标S150；以及产生Tn全域图像S160。
撷取Tn图像S110，其是使用第一取像装置31及第二取像装置32，于Tn时点分别撷取第一取像装置31的Tn第一图像Img1Tn及第一取像装置32的Tn第二图像Img2Tn。
进行特征点分析S120，其是读取Tn第一图像Img1Tn及Tn第二图像Img2Tn，并对应的分别产生多个Tn第一图像的Tn第一特征点Img1P(1-X)Tn信息及多个Tn第二图像的Tn第二特征点Img2P(1-X)Tn信息。
比对最小距离特征S130，其是对该些Tn第一特征点Img1P(1-X)Tn信息及该些Tn第二特征点Img2P(1-X)Tn信息进行最小距离特征比对，将最小距离又有相同特征者，判定为同一特征点，因此经过持续的最小距离特征比对，将可产生多个Tn即时共同特征点CP(1-X)Tn及Tn即时图像坐标CodeTn。
绘制即时3D图像S140，其是使用该些Tn即时共同特征点CP(1-X)Tn及该Tn即时图像坐标CodeTn，以形成Tn即时3D图像3DTn。绘制即时3D图像S140，其可以利用扩充卡尔曼滤波EKF(Extended Kalman Filter)，以更新取像装置的位置及方向，并进行图形的绘制，又相关图形可以是地图或特定空间的透视图…等。
产生Tn全域坐标S150，由于第一取像装置31及第二取像装置32在取像时，会使Tn第一图像Img1Tn与Tn-1第一图像Img1Tn-1产生重叠部位70，又会使Tn第二图像Img2Tn与Tn-1第二图像Img2Tn-1产生重叠部位70，因此Tn即时共同特征点CP(1-X)Tn与Tn-1即时共同特征点CP(1-X)Tn-1会有重叠部位70，而Tn即时3D图像3DTn与Tn-1即时3D图像3D Tn-1也会有重叠部位70。
借由上述之重叠特性，就可以将Tn时点取像装置的Tn装置即时位置信息与Tn即时共同特征点CP(1-X)Tn及Tn即时图像坐标CodeTn进行参照，并借此与Tn-1时点之全域坐标汇整FCodeTn-1，以产生Tn全域坐标FCodeTn。
产生Tn全域图像S160，其是将该些Tn即时共同特征点CP(1-X)Tn及Tn即时3D图像3DTn汇入Tn全域坐标FCodeTn，如此就可以产生Tn全域图像FImagTn。
以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明,任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容作出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (13)

1.一种多镜头影像深度的3D空间绘制系统，其特征在于，其包括：
头戴装置，其包括本体，又该本体形成有第一支撑部及第二支撑部；以及
3D软件，电讯连接于该第一取像装置及该第二取像装置。
2.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该头戴装置是纸质或塑胶质的材料所制成。
3.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该本体上进一步设置有固定件。
4.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该第一支撑部形成于该本体的一侧，又该第一支撑部具有第一容置空间。
5.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该第二支撑部形成于该本体的另一侧，并于该第一支撑部对称设置，又该第二支撑部具有第二容置空间。
6.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该头戴装置进一步具有微调机构。
7.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该头戴装置可进一步具有弹性机构。
8.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该第一取像装置及该第二取像装置在置放时，可以使彼此交叠放置。
9.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该头戴装置进一步具有投射光源，其投射出已知的特定图形或线条。
10.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该3D软件执行的操作流程，包括：
初始化，其在T0时点，至少使第一取像装置的T0第一图像及第二取像装置的T0第二图像的图像坐标完成同步，并形成T0即时图像坐标及T0全域坐标；以及
产生全域图像，其在T1至Tn间的每一时间点，执行一次下列步骤；
撷取Tn图像，其是使用该第一取像装置及该第二取像装置，于Tn时点分别撷取Tn第一图像及Tn第二图像；
进行特征点分析，读取该Tn第一图像及该Tn第二图，并对应的分别产生多个Tn第一特征点信息及多个Tn第二特征点信息；
比对最小距离特征，其是对该些Tn第一特征点信息及该些Tn第二特征点信息进行最小距离特征比对，并产生多个Tn即时共同特征点及Tn即时图像坐标；
绘制即时3D图像，其是使用该些Tn即时共同特征点及该Tn即时图像坐标，形成Tn即时3D图像；
产生Tn全域坐标，其是将Tn时点取像装置的Tn即时装置位置信息与Tn-1时点的全域坐标汇整，以产生Tn全域坐标；以及
产生Tn全域图像，其是将该些Tn即时共同特征点及该Tn即时3D图像汇入该Tn全域坐标，以产生Tn全域图像。
11.如权利要求10所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该初始化步骤是在时间点T0时，执行下列步骤：
取得设备资料，其是取得该第一取像装置及该第二取像装置的设备资料；
同步时间轴，其是将该第一取像装置及该第二取像装置的系统时间轴进行同步；
执行特征点分析，其是读取该第一取像装置的T0第一图像及该第二取像装置的T0第二图像并分别进行特征点分析，并对应的分别产生多个T0第一特征点信息及多个T0第二特征点信息；
比对最小距离特征，其是对任意两个该些T0第一特征点信息及该些T0第二特征点信息进行最小距离特征比对，并产生多个T0即时共同特征点及该T0即时图像坐标；
绘制即时3D图像，其是使用该些T0即时共同特征点及该T0即时图像坐标，形成T0即时3D图像；
产生T0全域坐标，其是将T0时点取像装置的T0即时3D位置信息，产生T0全域坐标及其全域基准点及全域基准方向；以及
产生T0全域图像，其是将该些T0即时共同特征点及该T0即时3D图像汇入该T0全域坐标，以产生T0时点全域图像。
12.如权利要求11所述的多镜头影像深度的3D空间绘制系统，其特征在于，其中该取得设备资料为手机设备资料，是从预先建立的各品牌及各型号手机信息的资料库中，取得每一支手机的参数，又该参数至少包括手机厂牌、手机型号、镜头尺寸、壳体尺寸，镜头至壳体之间。
13.如权利要求1所述的多镜头影像深度的3D空间绘制系统，其特征在于，其进一步具有第一取像装置，其是结合于该第一支撑部，又进一步具有第二取像装置，其是结合于该第二支撑部。
CN201711002300.3A 2017-02-23 2017-10-24 多镜头影像深度的3d空间绘制系统 Pending CN108510576A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762462547P 2017-02-23 2017-02-23
US62/462,547 2017-02-23

Publications (1)

Publication Number Publication Date
CN108510576A true CN108510576A (zh) 2018-09-07

Family

ID=63167564

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711002300.3A Pending CN108510576A (zh) 2017-02-23 2017-10-24 多镜头影像深度的3d空间绘制系统

Country Status (3)

Country Link
US (1) US20180241916A1 (zh)
CN (1) CN108510576A (zh)
TW (1) TWI659393B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10542245B2 (en) * 2017-05-24 2020-01-21 Lg Electronics Inc. Mobile terminal and method for controlling the same

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376101A (zh) * 2010-08-11 2012-03-14 Lg电子株式会社 用于编辑三维图像的方法和利用该方法的移动终端
TW201308972A (zh) * 2011-08-09 2013-02-16 Hon Hai Prec Ind Co Ltd 具有三維拍照功能之行動電話
US20130329014A1 (en) * 2011-02-24 2013-12-12 Kyocera Corporation Electronic device, image display method, and image display program
US20140160250A1 (en) * 2012-12-06 2014-06-12 Sandisk Technologies Inc. Head mountable camera system
CN103901626A (zh) * 2014-03-20 2014-07-02 成都理想境界科技有限公司 一种头戴立体观影设备
US20150145985A1 (en) * 2013-11-26 2015-05-28 Michael Jason Gourlay Large-Scale Surface Reconstruction That Is Robust Against Tracking And Mapping Errors
CN205103761U (zh) * 2015-08-03 2016-03-23 众景视界（北京）科技有限公司 头戴式智能设备
CN105659592A (zh) * 2014-09-22 2016-06-08 三星电子株式会社 用于三维视频的相机系统
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
CN106447713A (zh) * 2016-08-31 2017-02-22 北京维盛视通科技有限公司 基于点云人体模型的自动测量方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11327302B2 (en) * 2013-09-18 2022-05-10 Beth Holst Secure capture and transfer of image and audio data
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
CN204300649U (zh) * 2014-11-17 2015-04-29 联想(北京)有限公司 一种头戴显示架
KR20170035237A (ko) * 2015-09-22 2017-03-30 엘지전자 주식회사 이동 단말기 및 그 제어방법
JP6673459B2 (ja) * 2016-02-24 2020-03-25 株式会社リコー 画像処理装置、画像処理システム及びプログラム
CN105589562A (zh) * 2016-03-22 2016-05-18 京东方科技集团股份有限公司 一种虚拟现实设备和虚拟现实系统
CN106020753B (zh) * 2016-05-06 2019-03-29 联想(北京)有限公司 控制方法及电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102376101A (zh) * 2010-08-11 2012-03-14 Lg电子株式会社 用于编辑三维图像的方法和利用该方法的移动终端
US20130329014A1 (en) * 2011-02-24 2013-12-12 Kyocera Corporation Electronic device, image display method, and image display program
TW201308972A (zh) * 2011-08-09 2013-02-16 Hon Hai Prec Ind Co Ltd 具有三維拍照功能之行動電話
US20140160250A1 (en) * 2012-12-06 2014-06-12 Sandisk Technologies Inc. Head mountable camera system
US20150145985A1 (en) * 2013-11-26 2015-05-28 Michael Jason Gourlay Large-Scale Surface Reconstruction That Is Robust Against Tracking And Mapping Errors
CN103901626A (zh) * 2014-03-20 2014-07-02 成都理想境界科技有限公司 一种头戴立体观影设备
CN105659592A (zh) * 2014-09-22 2016-06-08 三星电子株式会社 用于三维视频的相机系统
US20160378176A1 (en) * 2015-06-24 2016-12-29 Mediatek Inc. Hand And Body Tracking With Mobile Device-Based Virtual Reality Head-Mounted Display
CN205103761U (zh) * 2015-08-03 2016-03-23 众景视界（北京）科技有限公司 头戴式智能设备
CN106447713A (zh) * 2016-08-31 2017-02-22 北京维盛视通科技有限公司 基于点云人体模型的自动测量方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ALARIC HAMACHER,SOON-CHUL KWON,TAEG-KEUN WHANGBO,SEUNG-HYUN LEE: "STUDY ON MAKING OMNISTEREO IMAGES FOR HMD USING LONGER FOCAL LENGTH", 《 2015 INTERNATIONAL CONFERENCE ON 3D IMAGING (IC3D)》 *
杨帆，宋辉，姜忠鼎: "面向头盔显示的加密全景视频播放系统", 《微型电脑应用》 *

Also Published As

Publication number Publication date
TW201841140A (zh) 2018-11-16
US20180241916A1 (en) 2018-08-23
TWI659393B (zh) 2019-05-11

Similar Documents

Publication Publication Date Title
CN102281455B (zh) 图像显示系统、装置以及方法
US9778464B2 (en) Shape recognition device, shape recognition program, and shape recognition method
CN106875493B (zh) Ar眼镜中虚拟目标物的叠加方法
CN105027175B (zh) 基于各设备之间的距离修改功能的方法和设备
CN104881114B (zh) 一种基于3d眼镜试戴的角度转动实时匹配方法
KR20160130217A (ko) 희소 및 조밀 맵핑 정보를 포함하는 맵을 생성하기 위한 방법들 및 시스템들
CN105659592A (zh) 用于三维视频的相机系统
US10579138B2 (en) Head-mounted sensor system
CN107888769A (zh) 场景模式启动方法、装置及终端
WO2020215858A1 (zh) 基于虚拟环境的物体构建方法、装置、计算机设备及可读存储介质
US11740313B2 (en) Augmented reality precision tracking and display
WO2021068356A1 (zh) 一种基于用户-展品距离的增强现实博物馆协作交互方法与系统
CN109934065A (zh) 一种用于手势识别的方法和装置
US10948994B2 (en) Gesture control method for wearable system and wearable system
CN112581571B (zh) 虚拟形象模型的控制方法、装置、电子设备及存储介质
US10089784B2 (en) Head-mounted mapping methods
CN109358754A (zh) 一种混合现实头戴显示系统
CN112150560A (zh) 确定消失点的方法、装置及计算机存储介质
US20210390780A1 (en) Augmented reality environment enhancement
CN109445596A (zh) 一种一体式混合现实头戴显示系统
WO2015126901A1 (en) System and method for information enhancement in a mobile environment
CN108510576A (zh) 多镜头影像深度的3d空间绘制系统
US20230258756A1 (en) Augmented reality precision tracking and display
JP6168597B2 (ja) 情報端末装置
JPWO2020044949A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180907

WD01 Invention patent application deemed withdrawn after publication