CN117437348A - 计算装置及模型生成方法 - Google Patents
计算装置及模型生成方法 Download PDFInfo
- Publication number
- CN117437348A CN117437348A CN202310888124.7A CN202310888124A CN117437348A CN 117437348 A CN117437348 A CN 117437348A CN 202310888124 A CN202310888124 A CN 202310888124A CN 117437348 A CN117437348 A CN 117437348A
- Authority
- CN
- China
- Prior art keywords
- point
- correlation
- time
- sensing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000005259 measurement Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 230000000007 visual effect Effects 0.000 claims abstract description 8
- 230000001360 synchronised effect Effects 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 16
- 230000033001 locomotion Effects 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 10
- 230000005484 gravity Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 description 14
- 230000008878 coupling Effects 0.000 description 4
- 238000010168 coupling process Methods 0.000 description 4
- 238000005859 coupling reaction Methods 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/20—Instruments for performing navigational calculations
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Monitoring And Testing Of Nuclear Reactors (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Feedback Control In General (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Separation Using Semi-Permeable Membranes (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种计算装置及模型生成方法。在方法中，融合多个感测数据以确定多个感测点的深度信息，根据图像数据及惯性测量数据通过视觉惯性测程算法追踪图像数据中的一个或更多个像素的移动轨迹，并根据深度信息及移动轨迹通过同步定位与映像算法将那些感测点映射到坐标系，以生成三维环境模型。根据设置操作在三维环境模型中设置对象，并提供对象的购物信息。
Description
技术领域
本发明涉及一种空间建模技术，尤其是，还涉及一种计算装置及模型生成方法。
背景技术
为了模拟真实环境，可以对真实环境的空间进行扫描以生成看起来像真实环境的模拟环境。模拟环境可实现在诸如游戏、家居布置、机器人移动等应用。值得注意的是，扫描空间所得到的感测数据可能有误差，进而造成模拟环境的失真。
发明内容
本发明是针对一种计算装置及模型生成方法，可补偿误差，进而提升模拟环境的拟真度。
根据本发明的实施例，模型生成方法包括：融合那些感测数据，以确定多个感测点的深度信息。这些感测数据报括图像数据及惯性(Inertial)测量数据。根据图像数据及惯性测量数据通过视觉惯性测程(Visual Inertial Odometry，VIO)算法追踪图像数据中的一个或更多个像素的移动轨迹。根据深度信息及移动轨迹通过同步定位与映射(Simultaneous Localization And Mapping，SLAM)算法将那些感测点映射到坐标系，以生成三维环境模型。三维环境模型中的位置由坐标系所定义。
根据本发明的实施例，计算装置包括存储器及处理器。存储器用以存储程序代码。处理器耦接存储器。处理器加载程序代码以执行计算装置经配置用以融合多个感测数据以确定多个感测点的深度信息，根据图像数据及惯性测量数据通过视觉惯性测程算法追踪图像数据中的一个或更多个像素的移动轨迹，并根据深度信息及移动轨迹通过同步定位与映像算法将那些感测点映射到坐标系以生成三维环境模型。感测数据报括图像数据及惯性测量数据。三维环境模型中的位置由坐标系所定义。
基于上述，本发明的计算装置及模型生成方法利用VIO及SLAM算法估测环境中的感测点的位置，并据以建立三维环境模型。藉此，可提升位置估测的准确度及三维模型的拟真度。
附图说明
包含附图以便进一步理解本发明，且附图并入本说明书中并构成本说明书的一部分。附图说明本发明的实施例，并与描述一起用于解释本发明的原理。
图1是根据本发明的实施例的模型生成系统的示意图；
图2是根据本发明的实施例的模型生成方法的流程图；
图3是根据本发明的实施例的惯性导航的示意图。
附图标号说明
1:模型生成系统；
10:移动装置；
11:传感器；
30:计算装置；
31:存储器；
32:处理器；
S210～S230:步骤；
T1、T2:时间点；
111:IMU；
112:图像捕获设备；
L:地标；
WC:世界坐标系。
具体实施方式
现将详细地参考本发明的示范性实施例，示范性实施例的实例说明于附图中。只要有可能，相同组件符号在附图和描述中用来表示相同或相似部分。
图1是根据本发明的实施例的模型生成系统1的示意图。请参照图1，模型生成系统1包括(但不仅限于)移动装置10及计算装置30。
移动装置10可以是手机、平板计算机、扫描仪、机器人、穿戴式装置、自走车或车载系统。移动装置10包括(但不仅限于)多台传感器11。
传感器11可以是图像捕获设备、光达(LiDAR)、飞行时间(Time-of-Flight，ToF)检测器、惯性测量单元(Inertial Measurement Unit，IMU)、加速度计、陀螺仪或电子罗盘。在一实施例中，传感器11用以取得感测数据。感测数据报括图像数据及惯性感测数据。图像数据可以是一张或更多张图像及其像素的感测强度。惯性感测数据可以是姿态、三轴的加速度、角速度或位移。
计算装置30可以是手机、平板计算机、桌面计算机、笔记本电脑、服务器或智能助理装置。计算装置30通讯连接移动装置10。例如，通过Wi-Fi、蓝牙、红外线或其他无线传输技术，或通过电路内部线路、以太网络、光纤网络、通用串行总线(Universal Serial Bus，USB)或其他有线传输技术传送或接收数据，并可能有额外的通讯收发器(图未示)实现。计算装置30包括(但不仅限于)存储器31及处理器32。
存储器31可以是任何型态的固定或可移动随机存取存储器(Radom AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、快闪存储器(flash memory)、传统硬盘(Hard Disk Drive，HDD)、固态硬盘(Solid-State Drive，SSD)或类似组件。在一实施例中，存储器31用以存储程序代码、软件模块、数据(例如，感测数据、或三维模型)或文件，其详细内容待后续实施例详述。
处理器32耦接及存储器31。处理器32可以是中央处理单元(Central ProcessingUnit，CPU)，或是其他可程序化的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(Digital Signal Processor，DSP)、可程序化控制器、特殊应用集成电路(Application-Specific Integrated Circuit，ASIC)或其他类似组件或上述组件的组合。在一实施例中，处理器32用以执行计算装置30的所有或部份作业，且可加载并执行存储器31所存储的程序代码、软件模块、文件和/或数据。在一实施例中，处理器32执行本发明实施例的所有或部分操作。在一些实施例中，存储器31所记录的那些软件模块或程序代码也可能是实体电路所实现。
在一些实施例中，移动装置10与计算装置30可整合成独立装置。
下文中，将搭配模型生成系统1中的各项装置及组件说明本发明实施例所述的方法。本方法的各个流程可依照实施情形而调整，且并不仅限于此。
图2是根据本发明的实施例的模型生成方法的流程图。请参照图2，计算装置30的处理器32融合多个感测数据，以确定多个感测点的深度信息(步骤S210)。具体而言，通过传感器11扫描所处环境，可形成多个感测点。感测点的深度信息可以是传感器11与感测点之间的距离。在一实施例中，处理器32可将图像数据中的图像匹配成多个图像区块。例如，处理器32可通过图像特征比对或深度学习模型识别图像中的物体(例如，墙、天花板、地板或柜架)，并根据物体所在的区域的轮廓分割成图像区块。接着，处理器32可确定那些图像区块对应的深度信息。例如，处理器32可通过深度学习模型获取特征并据以预测图像区块或所属物体的深度信息。深度学习模型/算法可分析训练样本以自中获得规律，从而通过规律对未知数据预测。一般而言，深度信息通常相关于对象在场景中的大小比例及姿态。而深度学习模型即是经学习后所建构出的机器学习模型，并据以对待评估数据(例如，图像区域)推论。又例如，处理器32可比对图像区域与存储器31所存储位于不同位置的物体的特征信息。处理器32可基于相似程度高于对应阈值的位置确定深度信息。
在另一实施例中，传感器11为深度传感器或距离传感器。处理器32可根据深度传感器或距离传感器的感测数据确定环境中的多个感测点的深度信息。
处理器32根据图像数据及惯性测量数据通过视觉惯性测程(Visual InertialOdometry，VIO)算法追踪图像数据中的一个或更多个像素的移动轨迹(步骤S220)。具体而言，VIO是使用一个或多个图像捕获设备及一个或多个IMU进行状态测量的技术。前述状态是指传感器11的载体(例如，移动装置10)在特定自由度下的姿态、速度或其他物理量。由于图像捕获设备可在一定的曝光时间内捕获光子以取得到一张二维(2D)的图像，在低速运动时，图像捕获设备所得到的图像数据记录相当丰富的环境信息。然而，同时图像数据容易受到环境的影响，且有尺寸上的模棱两可的问题。相比下，IMU是用于感测自身角加速度及加速度。虽然惯性测量数据较为单一且累积误差很大，但其不受环境的影响。此外，惯性测量数据还具有确切尺度单位的特性，正好弥补图像数据的短缺。通过整合图像数据及惯性测量数据两者，可得到较为准确的惯性导航。
图3是根据本发明的实施例的惯性导航的示意图。请参照图3，处理器32可确定图像数据中的物体在时间点T1与时间点T2之间的位置差异。时间点T1早于时间点T2。物体在图像中占据部分像素。处理器32可识别物体，确定物体在图像中的图像位置，并定义为地标(landmark)L。处理器32可比较两个不同时间点T1、T2在图像捕获设备112所获取到相同物体的位置差异。
接着，处理器32可根据时间点T1的初始位置及位置差异确定时间点T1至时间点T2的移动轨迹。初始位置是根据时间点T1的惯性测量数据(通过IMU 111取得)所确定。例如，对IMU 111的惯性积分可得出初始位置。处理器32可进一步将地标L的位置自感测坐标系转换到世界坐标系WC。而VIO的数据融合方法有很多。例如，松耦合(loosely coupled)与紧耦合(tightly coupled)。松耦合算法分别根据图像数据与惯性测量数据进行位姿估测，再对其位姿估测结果进行融合。而紧耦合算法直接融合图像数据与惯性测量数据，根据融合数据建构运动与观测方程式，并据以进行状态估测。
请参照图2，处理器32根据深度信息及移动轨迹通过同步定位与映射(Simultaneous Localization And Mapping，SLAM)算法将那些感测点映射到坐标系，以生成三维(3D)环境模型(步骤S230)。具体而言，SLAM算法可通过坐标转换将环境中的感测点处于不同时刻不同位置的深度信息，转换到同一个坐标系下，从而生成对于环境的完整三维环境模型。而三维环境模型中的位置由这坐标系所定义。
然而，无偏差/误差且高准确度的环境三维环境模型需要倚赖无偏差的移动轨迹以及深度信息。然而，由于各种传感器11通常会存在不同程度上的误差。此外，噪声通常会存在于真实环境中，因此SLAM算法要考虑的不只是数学上的唯一解，还包括与那些和结果相关的物理概念的相互作用。值得注意的是，在三维模型构建的下一个叠代步骤中，测得的距离和方向/姿态有可预知的系列误差。这些误差通常由传感器11的有限准确度、以及来自环境中的其他噪声所引起，并反映在三维环境模型上的点、或是特征的误差。随着时间的推移和运动的变化，定位和地图构建的误差累计增加，进而影响地图本身的精度。
在一实施例中，处理器32可匹配第一时间点的第一关联性及第二时间点的第二关联性。第一时间点早于该第二时间点。第一关联性是第一时间点的那些感测数据与该三维环境模型中的对应位置之间的关联性，且第二关联性是第二时间点的那些感测数据与该三维环境模型中的对应位置之间的关联性。也就是，在特定时间点的感测数据与所对应的地标。SLAM演算架构是通过一个叠代数学问题，来解决各种感测数据的偏差。数学问题例如是基于感测数据(作为状态)形成运动方程式及观测方程式。
处理器32可根据第一关联性及第二关联性之间的匹配结果修正那些感测点在坐标系上的位置。为了补偿这些误差，处理器32可将当前的三维环境模型与先前的三维环境模型进行匹配。例如，通过可知已走过三维环境模型中重复地点的环路闭合(LoopClosure)算法。或者，用于SLAM机率学相关的算法。例如，卡尔曼滤波、粒子滤波(某一种蒙特卡罗方法)以及扫描匹配的数据范围。通过这些算法，处理器32可通过比对当前(例如，第二时间点)以及过去(例如，第一时间点)的感测数据，来逐步优化过去及现在的轨迹位置以及深度信息。通过递归式的优化，可得到对环境中各个点的精准估测。由上述说明可知，本发明实施例的算法能够形成一个死循环，也才能够随着轨迹的推移，累积出完整且精准的三维环境模型。相反而言，若未形成死循环，则误差可能会持续累积并且放大，最终导致前后数据不连贯，进而产出无用的三维环境模型。
在一实施例中，处理器32可根据第一关联性及第二关联性通过优化算法最小化那些感测点在坐标系上的位置的误差，并根据第二关联性通过滤波算法估测那些感测点在坐标系上的位置。优化算法是将SLAM的状态估测转换成误差项，并最小化误差项。例如，牛顿法、高斯-牛顿法或Levenberg-Marquardt方法。滤波算法例如是卡尔曼滤波、扩展卡尔曼滤波、粒子滤波。优化算法可参酌不同时间点的感测数据，而滤波算法是对当前感测数据引入噪声。
与现有技术不同处在于，相较于现有技术仅单一采用优化算法或滤波算法，本发明实施例结合两种算法。而优化算法与滤波算法的比重相关于计算装置30的软硬件资源及预测位置的准确度。例如，若软硬件资源或准确度要求较低，则滤波算法的比重高于优化算法。而若软硬件资源或准确度要求较高，则优化算法的比重高于滤波算法。
在一实施例中，处理器32可接收设置操作。设置操作可通过诸如触控面板、鼠标、键盘或其他输入设备取得。例如，滑动、按压或点击操作。处理器32可根据这设置操作在三维环境模型中设置对象。根据不同应用情境，对象例如是家具、画框或家电。处理器32可根据设置操作移动对象，并将对象放置于三围环境模型中的指定位置。接着，处理器32可通过显示器(图未示)提供这对象的购物信息。例如，对象名称、金额、运送方式、支付选择等选项。处理器32还可通过通讯收发器(图未示)连结到店商服务器，并据以完成购物流程。
在一应用情境中，移动装置10可快速扫瞄空间并感知空间内的所有尺寸信息，让用户不再需要任何手动丈量，即能直接轻松在三维环境模型中布置家具。本发明实施例还可提供软件即服务(Software as a Service，SaaS)系统，让用户可参考实际空间搭配呈现或调整摆放位置，且计算装置30所装载的购物程序可将商品加入购物车以直接购物。除此以外，云端串连的方式还能够让使用者互助远程搭配空间，进而成为在线最大家居社群。然而，不限于家具布置，本发明实施例的快速建模特性还能导入其他应用。
综上所述，在本发明的计算装置及模型生成方法中，对手机或其他可携式移动装置的LiDAR、相机、IMU等传感器的数据进行数据融合以取得具有深度信息，再通过VIO算法来追踪相机上不同像素的移动轨迹，利用深度信息及移动的轨迹再搭配上SLAM算法框架进行优化，以得到对环境中各感测点的准确估测。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (10)
1.一种模型生成方法，其特征在于，包括：
融合多个感测数据，以确定多个感测点的深度信息，其中所述感测数据报括图像数据及惯性测量数据；
根据所述图像数据及所述惯性测量数据通过视觉惯性测程算法追踪所述图像数据中的至少一像素的移动轨迹；以及
根据所述深度信息及所述移动轨迹通过同步定位与映像算法将所述感测点映射到坐标系，以生成三维环境模型，其中所述三维环境模型中的位置由所述坐标系所定义。
2.根据权利要求1所述的模型生成方法，其特征在于，将所述感测点映射到所述坐标系的步骤包括：
匹配第一时间点的第一关联性及第二时间点的第二关联性，其中所述第一时间点早于所述第二时间点，所述第一关联性是所述第一时间点的所述感测数据与所述三维环境模型中的对应位置之间的关联性，且所述第二关联性是所述第二时间点的所述感测数据与所述三维环境模型中的对应位置之间的关联性；以及
根据所述第一关联性及所述第二关联性之间的匹配结果修正所述感测点在所述坐标系上的位置。
3.根据权利要求2所述的模型生成方法，其特征在于，根据所述第一关联性及所述第二关联性之间的匹配结果修正所述感测点在所述坐标系上的位置的步骤包括：
根据所述第一关联性及所述第二关联性通过优化算法最小化所述感测点在所述坐标系上的位置的误差；以及
根据所述第二关联性通过滤波算法估测所述感测点在所述坐标系上的位置，其中所述优化算法与所述滤波算法的比重相关于计算装置的资源及预测位置的准确度。
4.根据权利要求1所述的模型生成方法，其特征在于，融合所述感测数据的步骤包括：
将所述图像数据分割成多个图像区块；
确定所述图像区块对应的深度信息，且追踪所述图像数据中的所述像素的所述移动轨迹的步骤包括：
确定所述图像数据中的物体在第三时间点与第四时间点之间的位置差异，其中所述第三时间点早于所述第四时间点；以及
根据所述第三时间点的初始位置及所述位置差异确定所述第三时间点至所述第四时间点的移动轨迹，其中所述初始位置是根据所述第三时间点的所述惯性测量数据所确定。
5.根据权利要求1所述的模型生成方法，其特征在于，所述的模型生成方法还包括：
接收设置操作；
根据所述设置操作在所述三维环境模型中设置对象；以及
提供所述对象的购物信息。
6.一种计算装置，其特征在于，包括：
存储器，用以存储程序代码；以及
处理器，耦接所述存储器，经配置用以加载所述程序代码以执行：
融合多个感测数据，以确定多个感测点的深度信息，其中所述感测数据报括图像数据及惯性测量数据；
根据所述图像数据及所述惯性测量数据通过视觉惯性测程算法追踪所述图像数据中的至少一像素的移动轨迹；以及
根据所述深度信息及所述移动轨迹通过同步定位与映射将所述感测点映射到坐标系，以生成三维环境模型，其中所述三维环境模型中的位置由所述坐标系所定义。
7.根据权利要求6所述的计算装置，其特征在于，所述处理器还用以执行：
匹配第一时间点的第一关联性及第二时间点的第二关联性，其中所述第一时间点早于所述第二时间点，所述第一关联性是所述第一时间点的所述感测数据与对应的深度信息及对应的移动轨迹之间的关联性，且所述第二关联性是所述第二时间点的所述感测数据与对应的深度信息及对应的移动轨迹之间的关联性；以及
根据所述第一关联性及所述第二关联性之间的匹配结果修正所述感测点在所述坐标系上的位置。
8.根据权利要求7所述的计算装置，其特征在于，所述处理器还用以执行：
根据所述第一关联性及所述第二关联性通过优化算法最小化所述感测点在所述坐标系上的位置的误差；以及
根据所述第二关联性通过滤波算法估测所述感测点在所述坐标系上的位置，其中所述优化算法与所述滤波算法的比重相关于所述计算装置的资源及预测位置的准确度。
9.根据权利要求6所述的计算装置，其特征在于，所述处理器还用以执行：
将所述图像数据分割成多个图像区块；
确定所述图像区块对应的深度信息；
确定所述图像数据中的物体在第三时间点与第四时间点之间的位置差异，其中所述第三时间点早于所述第四时间点；以及
根据所述第三时间点的初始位置及所述位置差异确定所述第三时间点至所述第四时间点的移动轨迹，其中所述初始位置是根据所述第三时间点的所述惯性测量数据所确定。
10.根据权利要求6所述的计算装置，其特征在于，所述处理器还用以执行：
接收设置操作；
根据所述设置操作在所述三维环境模型中设置对象；以及
提供所述对象的购物信息。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202263391333P | 2022-07-22 | 2022-07-22 | |
| US63/391,333 | 2022-07-22 | ||
| TW111140954 | 2022-10-27 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117437348A true CN117437348A (zh) | 2024-01-23 |
Family
ID=86689530
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310888124.7A Pending CN117437348A (zh) | 2022-07-22 | 2023-07-19 | 计算装置及模型生成方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN117437348A (zh) |
| TW (2) | TWI822423B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI822423B (zh) * | 2022-07-22 | 2023-11-11 | 杜宇威 | 運算裝置及模型產生方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109556611B (zh) * | 2018-11-30 | 2020-11-10 | 广州高新兴机器人有限公司 | 一种基于图优化和粒子滤波的融合定位方法 |
| US20220137223A1 (en) * | 2020-10-30 | 2022-05-05 | Faro Technologies, Inc. | Simultaneous localization and mapping algorithms using three-dimensional registration |
| TWI768776B (zh) * | 2021-03-19 | 2022-06-21 | 國立臺灣大學 | 室內定位系統及室內定位方法 |
| CN114608554B (zh) * | 2022-02-22 | 2024-05-03 | 北京理工大学 | 一种手持slam设备以及机器人即时定位与建图方法 |
| TWI822423B (zh) * | 2022-07-22 | 2023-11-11 | 杜宇威 | 運算裝置及模型產生方法 |
-
2022
- 2022-10-27 TW TW111140954A patent/TWI822423B/zh active
- 2022-10-27 TW TW111211774U patent/TWM637241U/zh unknown
-
2023
- 2023-07-19 CN CN202310888124.7A patent/CN117437348A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| TW202405757A (zh) | 2024-02-01 |
| TWM637241U (zh) | 2023-02-01 |
| TWI822423B (zh) | 2023-11-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11140379B2 (en) | Mapping and tracking system with features in three-dimensional space | |
| CN109084732B (zh) | 定位与导航方法、装置及处理设备 | |
| US11295472B2 (en) | Positioning method, positioning apparatus, positioning system, storage medium, and method for constructing offline map database | |
| CN109084746B (zh) | 用于具有辅助传感器的自主平台引导系统的单目模式 | |
| US20210190497A1 (en) | Simultaneous location and mapping (slam) using dual event cameras | |
| Lu et al. | Visual navigation using heterogeneous landmarks and unsupervised geometric constraints | |
| CN102622762B (zh) | 使用深度图的实时相机跟踪 | |
| US8976172B2 (en) | Three-dimensional scanning using existing sensors on portable electronic devices | |
| JP7236565B2 (ja) | 位置姿勢決定方法、装置、電子機器、記憶媒体及びコンピュータプログラム | |
| Panahandeh et al. | Vision-aided inertial navigation based on ground plane feature detection | |
| Sola et al. | Fusing monocular information in multicamera SLAM | |
| US10157478B2 (en) | Enabling use of three-dimensional locations of features with two-dimensional images | |
| CN107748569B (zh) | 用于无人机的运动控制方法、装置及无人机系统 | |
| US20210183100A1 (en) | Data processing method and apparatus | |
| CN113048980B (zh) | 位姿优化方法、装置、电子设备及存储介质 | |
| Vidas et al. | Real-time mobile 3D temperature mapping | |
| CN117437348A (zh) | 计算装置及模型生成方法 | |
| CN104848861A (zh) | 一种基于图像消失点识别技术的移动设备姿态测量方法 | |
| Mehralian et al. | EKFPnP: extended Kalman filter for camera pose estimation in a sequence of images | |
| Bao et al. | Robust tightly-coupled visual-inertial odometry with pre-built maps in high latency situations | |
| CN113495281B (zh) | 可移动平台的实时定位方法及装置 | |
| US20240029350A1 (en) | Computing apparatus and model generation method | |
| Arnaud et al. | On the fly plane detection and time consistency for indoor building wall recognition using a tablet equipped with a depth sensor | |
| Girão et al. | Real-time multi-view grid map-based spatial representation for mixed reality applications | |
| Singhirunnusorn et al. | Single‐camera pose estimation using mirage |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20240314 Address after: Floor 2, No. 310, Section 2, Zhongshan Road, Bali District, Xinbei City, Taiwan, China, China Applicant after: Du Yuwei Country or region after: Taiwan, China Applicant after: Ruidi International Technology Co.,Ltd. Address before: Floor 2, No. 310, Section 2, Zhongshan Road, Bali District, Xinbei City, Taiwan, China, China Applicant before: Du Yuwei Country or region before: Taiwan, China |
|
| TA01 | Transfer of patent application right |