CN110225238A - 场景重建系统、方法以及非暂态电脑可读取媒体 - Google Patents
场景重建系统、方法以及非暂态电脑可读取媒体 Download PDFInfo
- Publication number
- CN110225238A CN110225238A CN201910147328.9A CN201910147328A CN110225238A CN 110225238 A CN110225238 A CN 110225238A CN 201910147328 A CN201910147328 A CN 201910147328A CN 110225238 A CN110225238 A CN 110225238A
- Authority
- CN
- China
- Prior art keywords
- map
- electronic device
- image
- physical environment
- confidence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00249—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a photographic apparatus, e.g. a photographic printer or a projector
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Architecture (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种场景重建系统、场景重建方法以及非暂态电脑可读取媒体,场景重建系统包含第一电子装置以及第二电子装置。第一电子装置包含第一相机单元、第一处理器以及第一通信单元,第一处理器用以从第一影像中识别至少一第一物体以建立第一地图。第二电子装置包含第二相机单元、第二处理器以及第二通信单元。第二处理器用以从第二影像中识别至少一第二物体以建立的第二地图,并计算对应于第二地图的多个信心值。第二通信单元用以根据多个信心值传送位置信息至第一通信单元。因此,头戴式显示装置能够根据物理环境的更完整的信息重建地图的技术效果。
Description
技术领域
本公开涉及一种系统、方法以及非暂态电脑可读取媒体,且特别涉及一种用于在混合实境系统中重建场景的系统、方法以及非暂态电脑可读取媒体。
背景技术
场景重建在增强现实(augmented reality,AR)以及混合实境(mixed reality,MR)系统中是个重要的议题,然而,场景重建通常仰赖使用者手动扫描或是安装多个固定式的感测器。在场景更新时,手动扫描的方式就会发生问题。由于视线死角的问题,安装多个固定式的感测器的方式在重建场景时,将只能更新部分的区域。因此,本领域中需要一种利用移动传感式感测器来支援混合实境中的场景重建系统。
发明内容
依据本公开文件的第一实施方式,其公开一种场景重建系统,场景重建系统包含第一电子装置以及第二电子装置。第一电子装置位于物理环境,其包含第一相机单元、第一处理器以及第一通信单元。第一处理器与第一相机单元以及第一通信单元电性耦接。第一相机单元用以拍摄物理环境的第一影像,第一处理器用以从第一影像中识别至少一第一物体以建立物理环境的第一地图。第二电子装置位于物理环境,其包含第二相机单元、第二处理器以及第二通信单元。第二处理器与第二相机单元以及第二通信单元电性耦接。第二相机单元用以获取物理环境的第二影像。第二处理器用以从第二影像中识别至少一第二物体以建立物理环境的第二地图,并计算对应于第二地图的多个信心值。第二通信单元用以根据多个信心值传送位置信息至第一电子装置,其中,第一相机单元用以拍摄与物理环境的位置信息对应的第三影像,以及第一通信单元更用以传送第三影像至第二通信单元。第二处理器用以从第三影像识别至少一第三物体,并根据至少一第三物体重建第二地图。
根据本公开一实施例,该第二处理器更用以执行以下步骤:匹配从该第一影像提取的多个第一特征点与从该第二影像提取的多个第二特征点;以及如果该多个第二特征点的部分与该多个第一特征点的部分匹配,将该第一地图的第一坐标系统转换至该第二地图的第二坐标系统。
根据本公开一实施例,该位置信息包含由该多个信心值组成的一信心地图,以及该信心地图的每一像素对应于该第二地图的每一像素。
根据本公开一实施例,该第一处理器更用以执行以下步骤:判断该信心地图的每一像素是否小于一门限值;如果该信心地图的一区域小于该门限值,识别该第一地图中与该信心地图的该区域对应的该物体;以及移动至该物理环境中该物体的位置,并拍摄该第三影像。
根据本公开一实施例,该位置信息包含该物理环境中的至少一位置。
根据本公开一实施例,该第二处理器更用以执行以下步骤:判断一信心地图的每一像素是否小于一门限值,其中该信心地图是由该多个信心值组成;如果该信心地图的一区域小于该门限值,识别该第二地图中与该信心地图的该区域对应的该物体;以及传送该物理环境中该物体的该至少一位置至该第一电子装置。
根据本公开一实施例,该第一处理器更用以执行以下步骤:移动至该物理环境中该物体的该至少一位置,并拍摄该第三影像。
根据本公开一实施例,通过该多个第二特征点的数量来计算该多个信心值。
依据本公开文件的第二实施方式,其公开一种场景重建方法,场景重建方法包含:通过第一电子装置拍摄物理环境的第一影像,通过第二电子装置拍摄物理环境的第二影像;通过第一电子装置从第一影像中识别至少一第一物体以建立物理环境的第一地图;通过第二电子装置从第二影像中识别至少一第二物体以建立物理环境的第二地图,并计算对应于第二地图的多个信心值;通过第二电子装置根据多个信心值传送位置信息至第一电子装置,并通过第一电子装置拍摄与物理环境的位置信息对应的第三影像;通过第一电子装置传送第三影像至第二通信单元,以及通过第二电子装置从第三影像识别至少一第三物体;以及通过第二电子装置根据至少一第三物体重建第二地图。
根据本公开一实施例,还包含:匹配从该第一影像提取的多个第一特征点与从该第二影像提取的多个第二特征点;以及如果该多个第二特征点的部分与该多个第一特征点的部分匹配,将该第一地图的第一坐标系统转换至该第二地图的第二坐标系统。
根据本公开一实施例,该位置信息包含由该多个信心值组成的一信心地图,以及该信心地图的每一像素对应于该第二地图的每一像素。
根据本公开一实施例,还包含:通过该第一电子装置判断该信心地图的每一像素是否小于一门限值;如果该信心地图的一区域小于该门限值,通过该第一电子装置识别该第一地图中与该信心地图的该区域对应的该物体;以及通过该第一电子装置移动至该物理环境中该物体的位置,并拍摄该第三影像。
根据本公开一实施例,该位置信息包含该物理环境中的至少一位置。
根据本公开一实施例,还包含:通过该第二电子装置判断一信心地图的每一像素是否小于一门限值,其中该信心地图是由该多个信心值组成;如果该信心地图的一区域小于该门限值,通过该第二电子装置识别该第二地图中与该信心地图的该区域对应的该物体;通过该第二电子装置传送该物理环境中该物体的该至少一位置至该第一电子装置;以及通过该第一电子装置移动至该物理环境中该物体的该至少一位置,并拍摄该第三影像。
根据本公开一实施例,通过该多个第二特征点的数量来计算该多个信心值。
依据本公开文件的第三实施方式,其公开一种非暂态电脑可读取媒体,非暂态电脑可读取媒体包含至少一指令程序,由第一处理器以及第二处理器执行至少一指令程序以实行场景重建方法,其包含:通过第一电子装置拍摄物理环境的第一影像,通过第二电子装置拍摄物理环境的第二影像;通过第一电子装置从第一影像中识别至少一第一物体以建立物理环境的第一地图;通过第二电子装置从第二影像中识别至少一第二物体以建立物理环境的第二地图,并计算对应于第二地图的多个信心值;通过第二电子装置根据多个信心值传送位置信息至第一电子装置,并通过第一电子装置拍摄与物理环境的位置信息对应的第三影像;通过第一电子装置传送第三影像至第二通信单元,以及通过第二电子装置从第三影像识别至少一第三物体;以及通过第二电子装置根据至少一第三物体重建第二地图。
附图说明
为让本发明的上述和其他目的、特征、优点与实施例能更明显易懂,说明书附图的说明如下:
图1是根据本公开的一些实施例所示出的场景重建系统的方框图;
图2是根据本公开的一些实施例所示出的场景重建方法的流程图;
图3A是根据本公开的一些实施例所示出的物理环境的示意图;
图3B是根据本公开的一些实施例所示出的影像的示意图;
图3C是根据本公开的一些实施例所示出的影像的示意图;
图4A是根据本公开的一些实施例所示出的影像的特征点的示意图;
图4B是根据本公开的一些实施例所示出的地图的示意图;
图5A是根据本公开的一些实施例所示出的影像的特征点的示意图;
图5B是根据本公开的一些实施例所示出的地图的示意图;
图6是根据本公开的一些实施例所示出的步骤S250的流程图;
图7是根据本公开的一些实施例所示出的影像的示意图;
图8是根据本公开的一些实施例所示出的步骤S250的流程图;
图9A是根据本公开的一些实施例所示出的影像的特征点的示意图;以及
图9B是根据本公开的一些实施例所示出的地图的示意图。
附图标记列表
100:场景重建系统
110、120:电子装置
111、121:相机单元
112、122:处理器
113、123:通信单元
200:场景重建方法
F1、F2、F3:影像
PE:物理环境
O1、O2、O3、O4:物体
M1、M2:地图
F1P1~F1P9、F2P1~F2P11、F3P1~F3P6:特征点
S210~S270、S251~S253、S251~S254:步骤
具体实施方式
以下公开提供许多不同实施例或例证用以实施本发明的不同特征。特殊例证中的元件及配置在以下讨论中被用来简化本公开。所讨论的任何例证只用来作解说的用途,并不会以任何方式限制本发明或其例证的范围和意义。此外,本公开在不同例证中可能重复引用数字符号且/或字母,这些重复皆为了简化及阐述,其本身并未指定以下讨论中不同实施例且/或配置之间的关系。
请参阅图1。图1是根据本公开的一些实施例所示出的场景重建系统100的方框图。如图1所示出,场景重建系统100电子装置110及120。电子装置110及120位于物理环境中,并且电子装置110及120与彼此通信。于一实施例中,电子装置110可以是装载增强现实(AR)系统的一装置、具有内向外相机的虚拟现实(VR)系统或混合实境(MR)系统的一装置,例如头戴式装置(head-mounted device,HMD)或穿戴式装置。电子装置120可以实作为与电子装置110进行通信的固定式感测器、移动式感测器、智能手机或头戴式装置。
电子装置110包含相机单元111、处理器112以及通信单元113,处理器112电性连接至相机单元111以及通信单元113。电子装置120包含相机单元121、处理器122以及通信单元123,处理器122电性连接至相机单元121以及通信单元123。处理器112及122可以实施为中央处理单元、控制电路及/或图形处理单元。于一些实施例中,处理器112及122可以实施为云端服务器,相机单元111可包含位于头戴式装置前侧的一相机元件,相机单元121可包含位于移动装置或头戴式装置上的一相机元件。于一些实施例中,相机单元111及121可包含一双摄相机模块及/或一深度相机。于一些实施例中,通信单元113及123可包含一WiFi收发信机、WiFi-Direct收发信机、蓝牙收发信机、BLE收发信机、Zigbee收发信机、及/或任何适用的无线通信收发信机。
于一实施例中,电子装置110还包含显示器(未示于图1),当使用者穿戴电子装置110时,显示器将会覆盖使用者的视域,并且显示器用于向使用者显示混合实境场景或增强现实场景。
请参阅图2。图2是根据本公开的一些实施例所示出的场景重建方法200的流程图。于一实施例中,场景重建方法200可用以产生物理环境的三维地图,并利用从另一电子装置接收的额外信息来重建三维地图。在本公开中,电子装置120可用来协助电子装置110重建场景。
请一并参考图1及图2,如图2所示的实施例,场景重建方法200首先执行步骤S210通过相机单元111拍摄物理环境的影像F1,通过相机单元121拍摄物理环境的影像F2。请参阅图3A,图3A是根据本公开的一些实施例所示出的物理环境PE的示意图。于此实施例中,物理环境PE包含物体O1(例如,桌子)、物体O2(例如,椅子)、物体O3(例如,花瓶)以及物体O4(例如,橱柜)。
请参阅图3B,图3B是根据本公开的一些实施例所示出的影像F1的示意图。于此实施例中,相机单元111用以拍摄物理环境PE的影像F1,并且影像F1包含物体O1、物体O2的部分以及物体O3。请参阅图3C,图3C是根据本公开的一些实施例所示出的影像F2的示意图。于此实施例中,相机单元121用以拍摄物理环境PE的影像F2,并且影像F2包含物体O1、物体O3以及物体O4。值得注意的是,相机单元111用以随时间拍摄物理环境的影像,为了简洁起见,图3B仅示出一张影像。出于相似的原因,相机单元121用以随时间拍摄物理环境的影像,为了简洁起见,图3C仅示出一张影像。
接着,场景重建方法200执行步骤S220通过处理器112从影像F1中识别至少一第一物体以建立物理环境PE的地图M1,并计算对应于地图M1的多个信心值。在此情况中,地图M1是物理环境PE的三维地图,在建立地图M1之前,处理器112用以识别影像F1。举例而言,处理器112可以利用深度类神经网络演算法(Deep Neural Network,DNN)识别影像F1中的物体或支持向量机(Support Vector Machines,SVM)分类影像F1的影像数据。于另一实施例中,处理器112可以利用同步定位与地图构建(Simultaneous Localization and Mapping,SLAM)技术来建立物理环境的地图。
以SLAM技术为例,处理器112用以从影像F1提取出特征点。请参阅图4A,图4A是根据本公开的一些实施例所示出的影像F1的特征点的示意图。于前述实施例中,处理器112用以根据由相机单元111拍摄的影像F1提取出物体O1的特征点F1P1、F1P2、F1P3及F1P4、物体O3的特征点F1P5、F1P6及F1P7、以及物体O2的特征点F1P8及F1P9。特征点F1P1~F1P9皆包含描述符以及特征点F1P1~F1P9在影像F1中的二维(2D)坐标。一般而言,特征点的描述符可以表示为例如角落、斑点、边缘、直线、纹理、颜色等特征,然而本公开不限于此。
请参阅图4B,图4B是根据本公开的一些实施例所示出的地图M1的示意图。于一实施例中,处理器112用以根据特征点F1P1~F1P9建立地图M1(z轴的坐标可以通过多视角感测器或深度感测器获得)。如图4B所示,特征点F1P1~F1P4可以被识别为物体O1,并且当物体O1被识别出时,处理器112用以在地图M1上渲染物体O1的模型(例如,桌子的模型)。特征点F1P5~F1P7可以被识别为物体O3,并且当物体O3被识别出时,处理器112用以在地图M1上渲染物体O3的模型(例如,花瓶的模型)。然而,特征点F1P8及F1P9无法被识别为物体O2,由于特征点的数量或影像F2中物体O2的视野不足,使得处理器112无法在地图M1上渲染物体O2的模型。因此,地图M1包含物体O1及O3。
于另一实施例中,如果利用类神经网络演算法或支持向量机识别影像F1,物体O2也无法被识别为椅子。因为物体O2没有完全出现在影像F1中(影像F1仅提供缺乏区别特征点的物体O2的角度),或物体O2和相机单元111之间的距离太远(由于物体O2的区域在影像F1中太小,导致物体O2无法被识别),因此仅使用影像F1谈以将物体O2识别为椅子。
接着,处理器112用以计算与地图M1对应的多个信心值。根据前述的实施例,如果识别方法利用SLAM技术,通过特征点的数量可以获得信心值。如果识别方法利用类神经网络演算法或支持向量机,通过分类(例如,桌子、椅子、窗户、花瓶、橱柜、瓶子等)的几率可以获得信心值。于此情况中,每个信心值对应至地图M1的每个像素,并且物体O2的区域将是具有较低信心值的区域。
接着,场景重建方法200执行步骤S230通过处理器122从影像F2中识别至少一第二物体以建立物理环境PE的地图M2。在此情况中,地图M2是物理环境PE的三维地图,在建立地图M2之前,处理器122用以识别影像F2。识别方法与前述实施例相似,以SLAM技术为例,处理器122用以从影像F2提取出特征点。请参阅图5A,图5A是根据本公开的一些实施例所示出的影像F2的特征点的示意图。于前述实施例中,处理器122用以根据由相机单元121拍摄的影像F2提取出物体O1的特征点F2P1、F2P2、F2P3及F2P4、物体O3的特征点F2P5、F2P6及F2P7、以及物体O4的特征点F2P8、F2P9、F2P10及F2P11。
请参阅图5B,图5B是根据本公开的一些实施例所示出的地图M2的示意图。出于相似的原因,处理器112用以根据特征点F2P1~F2P11建立地图M21。如图5B所示,特征点F2P1~F2P4可以被识别为物体O1,特征点F2P5~F2P7可以被识别为物体O3,以及特征点F2P8~F2P11可以被识别为物体O4。
接着,场景重建方法200执行步骤S230通过处理器112匹配地图M1及地图M2以对准地图M1的坐标系统以及地图M2的坐标系统。于一实施例中,处理器112用以匹配特征点F1P1~F1P9以及特征点F2P1~F2P11,如果特征点F2P1~F2P11的部分与特征点F1P1~F1P9的部分匹配,将地图M2的坐标系统转换至地图M1的坐标系统。
接着,在此情况中,特征点F1P1~F1P7与特征点F2P1~F2P7匹配,因此电子装置120的坐标系统被映射至电子装置110的坐标系统。在步骤S240执行之后,电子装置110及120可以利用已匹配的特征点(例如,特征点F1P1~F1P7及F2P1~F2P7)来描述物体在物理环境PE中的相对位置。举例而言,物体O2在地图M2中并未存在,然而,当电子装置110的坐标系统与电子装置120的坐标系统匹配后,如果电子装置110传送物体O2的相对位置至电子装置120,电子装置120可以根据地图M2的坐标系统计算物体O2的位置。
接着,值得注意的是,物体O4在地图M1中并未存在,电子装置120并部会传送物体O4的信息至电子装置110。因此,电子装置110并不会在地图M1上渲染物体O4的模型(例如,橱柜的模型),电子装置110的信息不需要完全与电子装置120分享,反的亦然。
接着,场景重建方法200执行步骤S250通过电子装置110根据多个信心值传送位置信息至电子装置120,并通过电子装置120拍摄与物理环境PE的位置信息对应的影像F3。于一实施例中,位置信息包含由多个信心值组成的信心地图,以及该心地图的每一像素对应于地图M1的每一像素。步骤S250还包含步骤S251~S253,请一并参考图6,图6是根据本公开的一些实施例所示出的步骤S250的流程图。如图6所示的实施例,场景重建方法200进一步执行步骤S251通过电子装置120判断信心地图的每一像素是否小于门限值。于一实施例中,信心地图被传送至电子装置120并且电子装置120用以判断信心地图的信心值小于门限值的区域。
接着,场景重建方法200进一步执行步骤S252如果信心地图的区域小于门限值,通过电子装置120识别地图M2中与信心地图的区域对应的物体。如图4B所示,物体O2无法被识别,因此物体O2的区域将是具有较低信心值的区域。当电子装置120用以判断信心值是否小于门限值时,对应于物体O2的区域的信心值将被判定为小于门限值。
接着,场景重建方法200进一步执行步骤S253通过电子装置120移动至物理环境PE中物体的位置,并拍摄影像F3。请参考图7,图7是根据本公开的一些实施例所示出的影像F3的示意图。如图7所示,电子装置120用以移动至物体O2的附近,并且用以在移动地同时以不同角度拍摄包含物体O2的影像F3。值得注意的是,相机单元123用以随时间拍摄物理环境PE的影像,然而,图7仅示出影像F3的一个视野,并且电子装置120用以拍摄物体O2的多个影像以获得物体O2更详细的信息。
于另一实施例中,位置信息包含物理环境PE中的至少一位置。步骤S250还包含步骤S251~S254,请一并参考图8,图8是根据本公开的一些实施例所示出的步骤S250的流程图。如图8所示的实施例,场景重建方法200进一步执行步骤S251通过电子装置110判断信心地图的每一像素是否小于门限值。在此情况中,信心地图被传送至电子装置120并且电子装置120用以判断信心地图的信心值小于门限值的区域。
接着,场景重建方法200进一步执行步骤S252如果信心地图的区域小于门限值,通过电子装置110识别地图M1中与信心地图的区域对应的物体。如图4B所示,物体O2无法被识别,因此物体O2的区域将是具有较低信心值的区域。当电子装置110用以判断信心值是否小于门限值时,对应于物体O2的区域的信心值将被判定为小于门限值。
接着,场景重建方法200进一步执行步骤S253通过电子装置110传送物理环境PE中物体的至少一位置至电子装置120,以及步骤S254通过电子装置120移动至物理环境PE中物体的位置,并拍摄影像F3。于此实施例中,通过电子装置110计算物体O2的至少一位置,电子装置120用以移动至物体O2的附近,并且如图7所示,用以在移动地同时以不同角度拍摄包含物体O2的影像F3。值得注意的是,物体O2的至少一位置可以理解为物体O2的坐标或对应于物体O2的区域的坐标。
接着,场景重建方法200执行步骤S260通过电子装置120传送影像F3至电子装置110,以及通过电子装置110从影像F3识别至少一第三物体,以及步骤S270通过电子装置110根据至少一第三物体重建地图M1。请参考图9A,图9A是根据本公开的一些实施例所示出的影像F3的特征点的示意图。于前述实施例中,处理器112用以根据由相机单元111拍摄的影像F3提取出物体O2的特征点F3P1、F3P2、F3P3、F3P4、F3P5及F3P6。
请参阅图9B,图9B是根据本公开的一些实施例所示出的地图M1的示意图。于一实施例中,处理器112用以根据特征点F3P1~F3P6重建地图M1,并识别物体O2的区域。因此,地图M1包含物体O1、物体O2以及物体O3。于另一实施例中,如果利用类神经网络演算法或支持向量机识别影像F3,也可以识别出物体O2。因为通过电子装置120获得物体O2的完整信息,类神经网络演算法或支持向量机的判断也可以更准确。
接于另一实施例中,电子装置110可以被实施为联网汽车,电子装置110可以被实施为车辆外部的其他电子装置或联网汽车。如果用户在路上驾驶汽车,在某些情况下驾驶员视线的部分将会被遮挡。在此情况下,车辆的中央处理单元(例如,处理器112)可以建立车辆周围的物理环境的地图。如果,驾驶员视线的部分被遮挡,盲区被指称为信心度低的区域。在此情况下,车辆的中央处理单元(例如,处理器112)可以传送位置信息(包含信心图或盲区的位置)至其他的联网汽车或物联网(IoT)装置(例如,监视器)。因此,其他的联网汽车或其他的物联网装置可以提供盲区的视野来支援驾驶员,然而本公开并不限于此。
另一实施例公开一种非暂态电脑可读取媒体,非暂态电脑可读取媒体存储指令程序以执行如图2所示的场景重建方法200。
根据前述的实施例,场景重建系统、场景重建方法以及非暂态电脑可读取媒体能够计算对应于地图的多个信心值,传送位置信息至其他装置,由其他装置拍摄对应于物理幻境的位置信息的第三影像,并根据第三影像重建地图。于一些实施方式中,头戴式显示装置能够根据物理环境的更完整的信息重建地图。
另外,上述例示包含按序的示范步骤,但该些步骤不必依所显示的顺序被执行。以不同顺序执行该些步骤皆在本公开内容的考量范围内。在本公开内容的实施例的构思与范围内,可视情况增加、取代、变更顺序及/或省略该些步骤。
虽然本公开已以实施方式公开如上,然其并非用以限定本公开,任何本领域技术人员,在不脱离本公开的构思和范围内,当可作各种的变动与润饰,因此本公开的保护范围当视权利要求所界定者为准。
Claims (16)
1.一种场景重建系统,其特征在于,包含:
一第一电子装置,位于一物理环境,该第一电子装置包含:
一第一相机单元,用以拍摄该物理环境的一第一影像;
一第一处理器,与该第一相机单元耦接,并用以从该第一影像中识别至少一第一物体以建立该物理环境的一第一地图;以及
一第一通信单元,与该第一处理器耦接;以及
一第二电子装置,位于该物理环境,该第二电子装置包含:
一第二相机单元,用以拍摄该物理环境的一第二影像;
一第二处理器,与该第二相机单元耦接,用以从该第二影像中识别至少一第二物体以建立该物理环境的一第二地图,并计算对应于该第二地图的多个信心值;以及
一第二通信单元,与该第二处理器耦接,用以根据该多个信心值传送一位置信息至该第一电子装置;
其中,该第一相机单元用以拍摄与该物理环境的该位置信息对应的一第三影像,以及该第一通信单元更用以传送该第三影像至该第二通信单元;第二处理器用以从该第三影像识别至少一第三物体,并根据该至少一第三物体重建该第二地图。
2.如权利要求1所述的场景重建系统,其特征在于,该第二处理器还用以执行以下步骤:
匹配从该第一影像提取的多个第一特征点与从该第二影像提取的多个第二特征点;以及
如果该多个第二特征点的部分与该多个第一特征点的部分匹配,将该第一地图的第一坐标系统转换至该第二地图的第二坐标系统。
3.如权利要求1所述的场景重建系统,其特征在于,该位置信息包含由该多个信心值组成的一信心地图,以及该信心地图的每一像素对应于该第二地图的每一像素。
4.如权利要求3所述的场景重建系统,其特征在于,该第一处理器还用以执行以下步骤:
判断该信心地图的每一像素是否小于一门限值;
如果该信心地图的一区域小于该门限值,识别该第一地图中与该信心地图的该区域对应的该物体;以及
移动至该物理环境中该物体的位置,并拍摄该第三影像。
5.如权利要求1所述的场景重建系统,其特征在于,该位置信息包含该物理环境中的至少一位置。
6.如权利要求5所述的场景重建系统,其特征在于,该第二处理器还用以执行以下步骤:
判断一信心地图的每一像素是否小于一门限值,其中该信心地图是由该多个信心值组成;
如果该信心地图的一区域小于该门限值,识别该第二地图中与该信心地图的该区域对应的该物体;以及
传送该物理环境中该物体的该至少一位置至该第一电子装置。
7.如权利要求5所述的场景重建系统,其特征在于,该第一处理器还用以执行以下步骤:
移动至该物理环境中该物体的该至少一位置,并拍摄该第三影像。
8.如权利要求2所述的场景重建系统,其中,通过该多个第二特征点的数量来计算该多个信心值。
9.一种场景重建方法,其特征在于,包含:
通过一第一电子装置拍摄该物理环境的一第一影像,通过一第二电子装置拍摄该物理环境的一第二影像;
通过该第一电子装置从该第一影像中识别至少一第一物体以建立该物理环境的一第一地图;
通过该第二电子装置从该第二影像中识别至少一第二物体以建立该物理环境的一第二地图,并计算对应于该第二地图的多个信心值;
通过该第二电子装置根据该多个信心值传送一位置信息至该第一电子装置,并通过该第一电子装置拍摄与该物理环境的该位置信息对应的一第三影像;
通过该第一电子装置传送该第三影像至该第二通信单元,以及通过该第二电子装置从该第三影像识别至少一第三物体;以及
通过该第二电子装置根据该至少一第三物体重建该第二地图。
10.如权利要求9所述的场景重建方法,其特征在于,还包含:
匹配从该第一影像提取的多个第一特征点与从该第二影像提取的多个第二特征点;以及
如果该多个第二特征点的部分与该多个第一特征点的部分匹配,将该第一地图的第一坐标系统转换至该第二地图的第二坐标系统。
11.如权利要求9所述的场景重建方法,其特征在于,该位置信息包含由该多个信心值组成的一信心地图,以及该信心地图的每一像素对应于该第二地图的每一像素。
12.如权利要求11所述的场景重建方法,其特征在于,还包含:
通过该第一电子装置判断该信心地图的每一像素是否小于一门限值;
如果该信心地图的一区域小于该门限值,通过该第一电子装置识别该第一地图中与该信心地图的该区域对应的该物体;以及
通过该第一电子装置移动至该物理环境中该物体的位置,并拍摄该第三影像。
13.如权利要求9所述的场景重建方法,其特征在于,该位置信息包含该物理环境中的至少一位置。
14.如权利要求13所述的场景重建方法,其特征在于,还包含:
通过该第二电子装置判断一信心地图的每一像素是否小于一门限值,其中该信心地图是由该多个信心值组成;
如果该信心地图的一区域小于该门限值,通过该第二电子装置识别该第二地图中与该信心地图的该区域对应的该物体;
通过该第二电子装置传送该物理环境中该物体的该至少一位置至该第一电子装置;以及
通过该第一电子装置移动至该物理环境中该物体的该至少一位置,并拍摄该第三影像。
15.如权利要求10所述的场景重建方法,其特征在于,通过该多个第二特征点的数量来计算该多个信心值。
16.一种非暂态电脑可读取媒体,包含至少一指令程序,由一第一处理器以及一第二处理器执行该至少一指令程序以实行一种场景重建方法,其特征在于,包含:
通过一第一电子装置拍摄该物理环境的一第一影像,通过一第二电子装置拍摄该物理环境的一第二影像;
通过该第一电子装置从该第一影像中识别至少一第一物体以建立该物理环境的一第一地图;
通过该第二电子装置从该第二影像中识别至少一第二物体以建立该物理环境的一第二地图,并计算对应于该第二地图的多个信心值;
通过该第二电子装置根据该多个信心值传送一位置信息至该第一电子装置,并通过该第一电子装置拍摄与该物理环境的该位置信息对应的一第三影像;
通过该第一电子装置传送该第三影像至该第二通信单元,以及通过该第二电子装置从该第三影像识别至少一第三物体;以及
通过该第二电子装置根据该至少一第三物体重建该第二地图。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862636859P | 2018-03-01 | 2018-03-01 | |
US62/636,859 | 2018-03-01 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110225238A true CN110225238A (zh) | 2019-09-10 |
CN110225238B CN110225238B (zh) | 2021-06-01 |
Family
ID=67822359
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910147328.9A Active CN110225238B (zh) | 2018-03-01 | 2019-02-27 | 场景重建系统、方法以及非暂态电脑可读取媒介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10915781B2 (zh) |
CN (1) | CN110225238B (zh) |
TW (1) | TWI744610B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11367174B2 (en) * | 2019-07-31 | 2022-06-21 | Fanuc Corporation | Transfer system for transferring imaging and detection data |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111193918B (zh) * | 2018-11-14 | 2021-12-28 | 宏达国际电子股份有限公司 | 影像处理系统及影像处理方法 |
GB2592040B (en) * | 2020-02-13 | 2022-10-12 | Advanced Risc Mach Ltd | Method and System for Providing Augmented Reality Displays |
US11514790B2 (en) * | 2020-03-26 | 2022-11-29 | Gm Cruise Holdings Llc | Collaborative perception for autonomous vehicles |
CN112683262A (zh) * | 2020-11-30 | 2021-04-20 | 浙江商汤科技开发有限公司 | 定位方法及装置、电子设备和存储介质 |
US11651557B2 (en) * | 2021-01-12 | 2023-05-16 | Ford Global Technologies, Llc | Systems and methods of using mixed reality for interacting with a display system |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102419631A (zh) * | 2010-10-15 | 2012-04-18 | 微软公司 | 虚拟内容到现实内容中的融合 |
KR20130058414A (ko) * | 2011-11-25 | 2013-06-04 | 주식회사 미르기술 | 적외선패턴조사부를 구비하는 비전검사장치 |
CN103139480A (zh) * | 2013-02-28 | 2013-06-05 | 华为终端有限公司 | 一种图像采集方法及装置 |
US20150356738A1 (en) * | 2014-06-09 | 2015-12-10 | Samsung Electronics Co., Ltd. | Method and apparatus for generating images |
WO2016051366A2 (en) * | 2013-10-03 | 2016-04-07 | Compedia - Software And Hardware Development Limited | Switching between the real world and virtual reality |
WO2017120660A1 (en) * | 2016-01-12 | 2017-07-20 | Esight Corp. | Language element vision augmentation methods and devices |
US20170213387A1 (en) * | 2016-01-21 | 2017-07-27 | International Business Machines Corporation | Augmented reality overlays based on an optically zoomed input |
WO2017132506A1 (en) * | 2016-01-29 | 2017-08-03 | Jia Li | Local augmented reality persistent sticker objects |
CN107360364A (zh) * | 2017-06-28 | 2017-11-17 | 维沃移动通信有限公司 | 一种图像拍摄方法及主移动终端 |
CN107463180A (zh) * | 2016-06-02 | 2017-12-12 | 三星电子株式会社 | 电子设备及其操作方法 |
CN107678535A (zh) * | 2016-08-01 | 2018-02-09 | 三星电子株式会社 | 用于图像显示的方法和支持该方法的电子设备 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101171660B1 (ko) * | 2010-03-01 | 2012-08-09 | 이문기 | 증강현실의 포인팅 장치 |
US9324190B2 (en) * | 2012-02-24 | 2016-04-26 | Matterport, Inc. | Capturing and aligning three-dimensional scenes |
US20140323148A1 (en) * | 2013-04-30 | 2014-10-30 | Qualcomm Incorporated | Wide area localization from slam maps |
US20150193982A1 (en) * | 2014-01-03 | 2015-07-09 | Google Inc. | Augmented reality overlays using position and orientation to facilitate interactions between electronic devices |
CN107025662B (zh) * | 2016-01-29 | 2020-06-09 | 成都理想境界科技有限公司 | 一种实现增强现实的方法、服务器、终端及系统 |
US20180189955A1 (en) * | 2017-01-02 | 2018-07-05 | Eyal Moshe | Augumented reality (ar) method and system enhanced through efficient edge detection of image objects |
US10038894B1 (en) * | 2017-01-17 | 2018-07-31 | Facebook, Inc. | Three-dimensional scene reconstruction from set of two dimensional images for consumption in virtual reality |
CN110249291A (zh) * | 2017-02-01 | 2019-09-17 | Pcms控股公司 | 用于在预捕获环境中的增强现实内容递送的系统和方法 |
US10785443B2 (en) * | 2017-12-18 | 2020-09-22 | Streem, Inc. | Augmented reality video stream synchronization across a network |
US10482674B1 (en) * | 2018-06-27 | 2019-11-19 | Beijing Jingdong Shangke Information Technology Co., Ltd. | System and method for mobile augmented reality |
-
2019
- 2019-02-27 CN CN201910147328.9A patent/CN110225238B/zh active Active
- 2019-02-27 US US16/286,599 patent/US10915781B2/en active Active
- 2019-02-27 TW TW108106880A patent/TWI744610B/zh active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102419631A (zh) * | 2010-10-15 | 2012-04-18 | 微软公司 | 虚拟内容到现实内容中的融合 |
KR20130058414A (ko) * | 2011-11-25 | 2013-06-04 | 주식회사 미르기술 | 적외선패턴조사부를 구비하는 비전검사장치 |
CN103139480A (zh) * | 2013-02-28 | 2013-06-05 | 华为终端有限公司 | 一种图像采集方法及装置 |
WO2016051366A2 (en) * | 2013-10-03 | 2016-04-07 | Compedia - Software And Hardware Development Limited | Switching between the real world and virtual reality |
US20150356738A1 (en) * | 2014-06-09 | 2015-12-10 | Samsung Electronics Co., Ltd. | Method and apparatus for generating images |
WO2017120660A1 (en) * | 2016-01-12 | 2017-07-20 | Esight Corp. | Language element vision augmentation methods and devices |
US20170213387A1 (en) * | 2016-01-21 | 2017-07-27 | International Business Machines Corporation | Augmented reality overlays based on an optically zoomed input |
WO2017132506A1 (en) * | 2016-01-29 | 2017-08-03 | Jia Li | Local augmented reality persistent sticker objects |
CN107463180A (zh) * | 2016-06-02 | 2017-12-12 | 三星电子株式会社 | 电子设备及其操作方法 |
CN107678535A (zh) * | 2016-08-01 | 2018-02-09 | 三星电子株式会社 | 用于图像显示的方法和支持该方法的电子设备 |
CN107360364A (zh) * | 2017-06-28 | 2017-11-17 | 维沃移动通信有限公司 | 一种图像拍摄方法及主移动终端 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11367174B2 (en) * | 2019-07-31 | 2022-06-21 | Fanuc Corporation | Transfer system for transferring imaging and detection data |
Also Published As
Publication number | Publication date |
---|---|
US10915781B2 (en) | 2021-02-09 |
TW201937922A (zh) | 2019-09-16 |
CN110225238B (zh) | 2021-06-01 |
US20190325251A1 (en) | 2019-10-24 |
TWI744610B (zh) | 2021-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110225238A (zh) | 场景重建系统、方法以及非暂态电脑可读取媒体 | |
CN104504671B (zh) | 一种用于立体显示的虚实融合图像生成方法 | |
US20230209036A1 (en) | Active stereo depth prediction based on coarse matching | |
Yang | Dealing with textureless regions and specular highlights-a progressive space carving scheme using a novel photo-consistency measure | |
US10846844B1 (en) | Collaborative disparity decomposition | |
CN105300401B (zh) | 电子装置及其控制方法 | |
CN104809638A (zh) | 一种基于移动终端的眼镜虚拟试戴方法和系统 | |
CN108027877A (zh) | 用于非障碍区检测的系统和方法 | |
CN108520536A (zh) | 一种视差图的生成方法、装置及终端 | |
CN103957397B (zh) | 一种基于图像特征的低分辨率深度图像上采样方法 | |
CN106651853B (zh) | 基于先验知识和深度权重的3d显著性模型的建立方法 | |
CN112509117A (zh) | 手部三维模型的重建方法、装置、电子设备及存储介质 | |
WO2020231666A1 (en) | Virtual models for communications between autonomous vehicles and external observers | |
CN109961501A (zh) | 用于建立三维立体模型的方法和装置 | |
US10391937B2 (en) | Method and apparatus for detecting a pedestrian by a vehicle during night driving | |
AU2018205168A1 (en) | Method and system for providing position or movement information for controlling at least one function of a vehicle | |
CN108495113A (zh) | 用于双目视觉系统的控制方法和装置 | |
US10580214B2 (en) | Imaging device and imaging method for augmented reality apparatus | |
CN107356916B (zh) | 车距检测方法及装置、电子设备、计算机可读存储介质 | |
CN108229424A (zh) | 一种基于霍夫投票的增强现实系统物体识别算法 | |
CN114730482A (zh) | 关联多人增强现实系统中的设备坐标系 | |
CN109816726A (zh) | 一种基于深度滤波器的视觉里程计地图更新方法和系统 | |
CN109961503A (zh) | 一种图像处理方法及装置、终端及计算机可读存储介质 | |
CN112926498A (zh) | 基于多通道融合和深度信息局部动态生成的活体检测方法 | |
CN108305269B (zh) | 一种双目图像的图像分割方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |