CN112215940B - 场景模型的建构系统及其建构方法 - Google Patents

场景模型的建构系统及其建构方法 Download PDF

Info

Publication number
CN112215940B
CN112215940B CN201910664639.2A CN201910664639A CN112215940B CN 112215940 B CN112215940 B CN 112215940B CN 201910664639 A CN201910664639 A CN 201910664639A CN 112215940 B CN112215940 B CN 112215940B
Authority
CN
China
Prior art keywords
similar image
data
dimensional structure
sub
image sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910664639.2A
Other languages
English (en)
Other versions
CN112215940A (zh
Inventor
陈冠文
李佳旻
陈昱达
黄翊庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Delta Electronics Inc
Original Assignee
Delta Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Delta Electronics Inc filed Critical Delta Electronics Inc
Priority to CN201910664639.2A priority Critical patent/CN112215940B/zh
Priority to US16/718,112 priority patent/US11127199B2/en
Publication of CN112215940A publication Critical patent/CN112215940A/zh
Application granted granted Critical
Publication of CN112215940B publication Critical patent/CN112215940B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/61—Scene description

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种场景模型的建构系统及其建构方法，其中场景模型的建构方法包含下列步骤：根据多个场景数据中的位置参数，将场景数据分类至多个位置分群。根据场景数据彼此间的场景相似度，将场景数据再分类于多个第一相似影像子分群及多个第二相似影像子分群中。分别根据第一相似影像子分群及第二相似影像子分群，建立第一相似影像子模型及第二相似影像子模型。将第一相似影像子模型整合为第一位置模型，且将第二相似影像子模型整合为第二位置模型。最后，将第一位置模型及第二相似影像子模型整合为场景模型。

Description

场景模型的建构系统及其建构方法
技术领域
本公开内容涉及一种场景模型的建构系统及其建构方法，特别是能对多张场景模型分类，进而建立出立体模型的技术。
背景技术
目前已有许多建构立体场景模型的方法，但都需要对大量数据进行运算，对于软件设备的要求皆极高，而很难普及到一般的使用者。此外，在搜集大量的场景数据(如：影像)，以建构立体场景的方式中，每个场景数据之间亦可能因为使用的坐标参数不同，而存在有误差，难以加以整合。因此，需要一种较为有效率且可提升整合精确性的建构技术。
发明内容
本公开内容的一实施方式为一种场景模型的建构方法，包含下列步骤：根据多个场景数据的多个位置参数，将场景数据分类于多个位置分群。位置分群中的第一位置分群所包含的场景数据作为第一分群数据。位置分群中的第二位置分群所包含的场景数据作为多个第二分群数据。基于第一分群数据彼此间的场景相似度，将第一分群数据分类于多个第一相似影像子分群中，以作为多个第一子分群数据。基于第二位置分群数据彼此间的场景相似度，将第二分群数据分类于多个第二相似影像子分群中，以作为多个第二子分群数据。根据第一相似影像子分群建立多个第一相似影像子模型，且根据第二相似子影像分群建立多个第二相似影像子模型。将第一相似影像子模型整合为第一位置模型，且将第二相似影像子模型整合为第二位置模型。将第一位置模型及第二位置模型整合为场景模型。
本公开内容的另一实施方式为一种场景模型的建构系统，包含多个终端装置及处理器。终端装置用以传送多个帧数据。处理器用以自终端装置接收帧数据，以取得多个场景数据。处理器用以根据场景数据中的多个位置参数，将场景数据分类于多个位置分群，再根据场景数据间的多个场景相似度，将位置分群分类为多个相似影像子分群。处理器还用以根据相似影像子分群建立多个相似影像子模型，再将相似影像子模型整合为多个位置模型，且将位置模型整合为场景模型。
据此，由于本公开内容利用了双层架构依序分类场景数据(位置、相似度)，因此能有效缩减运算时间。同时，通过双层架构依序整合出立体模型时，亦能改善模型整合时可能产生的误差。
附图说明
图1为根据本公开内容的部分实施例所示出的建构系统的示意图。
图2为根据本公开内容的部分实施例所示出的场景数据的示意图。
图3为根据本公开内容的部分实施例所示出的建构方法的运行方式示意图。
图4为根据本公开内容的部分实施例所示出的建构系统方法的流程图。
图5为本公开内容的部分实施例中取得特征向量的示意图。
图6为本公开内容的部分实施例中的索引结构树示意图。
图7为本公开内容的部分实施例中的多个索引结构树的相对关系示意图。
图8A～图8B为本公开内容的部分实施例中位置模型的点云结构示意图。
图9A～图9C为本公开内容的部分实施例中相似影像子模型的点云结构示意图。
附图标记说明：
100 建构系统
110 服务器
111 处理器
112 存储单元
113 传输单元
120 终端装置
Din 场景数据
Din1 帧数据
Din2 帧数据
Din3 帧数据
D1 第一分群数据
D2 第二分群数据
D1A 第一子分群数据
D1B 第一子分群数据
D2A 第二子分群数据
D2B 第二子分群数据
GL1 第一位置分群
GL2 第二位置分群
G1A 第一相似影像子分群
G1B 第一相似影像子分群
G2A 第二相似影像子分群
G2B 第二相似影像子分群
M1A 第一相似影像子模型
M1B 第一相似影像子模型
M2A 第二相似影像子模型
M2B 第二相似影像子模型
ML1 第一位置子模型
ML2 第二位置子模型
Mout 场景模型
S401～S407 步骤
D1X 特征点数据
D1Y 特征向量数据
51 索引结构树
511～513 二维结构点
61 索引结构树
61A～61C 二维结构点
611～615 二维结构点
62 索引结构树
62A～62C 二维结构点
621～624 二维结构点
71～73 第一三维结构点
74～76 第二三维结构点
81～86 三维结构点
R 调整角度
N 网际网络
具体实施方式
以下将以附图公开本公开的多个实施方式，为明确说明起见，许多实务上的细节将在以下叙述中一并说明。然而，应了解到，这些实务上的细节不应用以限制本公开。也就是说，在本公开内容部分实施方式中，这些实务上的细节是非必要的。此外，为简化附图起见，一些现有惯用的结构与元件在附图中将以简单示意的方式示出。
于本文中，当一元件被称为“连接”或“耦接”时，可指“电性连接”或“电性耦接”。“连接”或“耦接”亦可用以表示二或多个元件间相互搭配操作或互动。此外，虽然本文中使用“第一”、“第二”、……等用语描述不同元件，该用语仅是用以区别以相同技术用语描述的元件或操作。除非上下文清楚指明，否则该用语并非特别指称或暗示次序或顺位，亦非用以限定本发明。
请参阅图1及图2所示，图1为根据本公开内容的部分实施例所示出的建构系统100的示意图。图2则为建构系统100所执行的建构方法的示意图。建构系统100用以接收场景数据，并建立对应的立体场景模型。
在部分实施例中，建构系统100包含服务器110及多个终端装置120。服务器110通过网际网络N与终端装置120相连线。请参阅图3所示，终端装置120可为智能手机、网络设备、个人电脑等具有网络连线能力的装置，用以将多张帧数据Din1、Din2、Din3上传网际网络N，并通过网际网络，将帧数据Din1、Din2、Din3传送至服务器110。帧数据Din1、Din2、Din3可分别为不同的静态影像(如：照片)，也可为包含多张画面的一个动态影像(如：影片)。
服务器110中包含处理器111，用以自终端装置120接收帧数据Din1、Din2、Din3，并由帧数据Din1、Din2、Din3中取得多个场景数据Din。请参阅图2所示，在部分实施例中，服务器110的处理器111接收到帧数据Din1、Din2、Din3后，将比对帧数据Din1、Din2、Din3中两相邻的帧数据，以产生多个变化量(即，Din1、Din2之间的变化量，或Din2、Din3之间的变化量)。服务器110的处理器111根据变化量产生场景数据。举例而言，帧数据Din1、Din2之间的变化极小，而帧数据Din2、Din3之间则有明显变化，则服务器110的处理器111判断变化量大于门槛值(门限值)的情况下，将会保留帧数据Din2、Din3作为场景数据Din。至于帧数据Din1，因为与帧数据Din2相似，故可省略。据此，将能减少服务器110在后续处理时的运算负荷。
每一个场景数据Din中皆包含一个位置参数，位置参数可为根据全球定位系统(Global Positioning System，GPS)的坐标或者经纬度数据，用以代表场景数据Din所呈现的内容所对应的位置。服务器110的处理器111根据位置参数，将场景数据Din分类于多个位置分群G1、G2(Location Clustering)，再根据场景数据Din间的场景相似度，将位置分群G1、G2分类为多个相似影像子分群G1A、G1B、G2A、G2B。服务器110的处理器111还用以根据相似影像子分群G1A、G1B、G2A、G2B建立相似影像子模型M1A、M1B、M2A、M2B，再将相似影像子模型M1A、M1B、M2A、M2B整合为位置模型ML1、ML2。最后，服务器110的处理器111即可将位置模型ML1、ML2整合为场景模型Mout。
如图2所示，服务器110是先根据位置参数，对场景数据Din进行第一层的分群，接着，再根据已分群的场景数据Din间的相似度，进行第二层的分群。通过前述“双层分群”的技术概念，将场景数据Din依序细分为多个影像子分群，能更精确且有效率地整合信息，并减少运算的时间。同时，在整合出立体模型时，同样是根据双层分群的概念依序整合，先整合出小型的相似影像子模型，在整合出中型的位置模型，最后整合产生场景模型Mout。据此，场景模型Mout的建构方法将更有效率、且大幅降低运算的负荷。
此外，前述建构方法不仅能改善处理器111所需的运算量，同时，使用者亦可通过终端装置120，任意拍摄各场景的影片，作为场景数据Din上传到服务器110，让一般的使用者亦可利用网际网络N，连上服务器110，建构出场景模型Mout。
为便于说明本公开内容的实施细节，如图2所示，在部分实施例中，位置分群的第一位置分群GL1所包含的场景数据Din是作为第一分群数据D1。位置分群中的第二位置分群GL2所包含的场景数据Din作为第二分群数据D2。此外，相似影像子分群包含第一相似影像子分群G1A、G1B及第二相似影像子分群G2A、G2B。第一相似影像子分群G1A、G1B用以建立第一相似影像子模型M1A、M1B。第二相似影像子分群G2A、G2B用以建立第二相似影像子模型M2A、M2B。位置模型包含第一位置模型ML1及第二位置模型ML2。
承上，服务器110的处理器111根据第一分群数据D1间的场景相似度(similarity)，将第一分群数据D1分类于第一相似影像子分群G1A、G2B中，以作为第一子分群数据D1A、D1B。同理，处理器111还用以根据第二位置分群数据D2彼此间的场景相似度，将第二分群数据D2分类于第二相似影像子分群G2A、G2B中，以作为第二子分群数据D2A、D2B。第一子分群数据D1A、D1B及第二子分群数据D2A、D2B与场景数据Din相同，皆为帧数据，但被分类于不同的集合中。为便于说明本公开内容的各流程，在此以不同名称称呼之。
请参阅图4所示，为根据本公开内容的部分实施例所示出的建构方法的流程图。在此说明本公开内容的建构方法的各项步骤。在步骤S401中，服务器110接收终端装置120传来的多个场景数据Din。在部分实施例中，场景数据Din可由不同终端装置120于不同时间传送至服务器110。
在步骤S402中，服务器110根据场景数据Din的位置参数，将场景数据Din分类于多个位置分群中。请参阅图1所示，在部分实施例中，服务器110包含处理器111、存储单元112及传输单元113。存储单元112用以存储有多个区域数据，每个区域数据用以代表一个预设区域的位置参数(如：“A街区”，或可由GPS坐标划分)，且每个区域数据对应于一个位置分群。在传输单元113将接收到场景数据Din传给处理器111后，处理器111将场景数据Din中的位置参数与区域数据内的位置参数相比对，以将场景数据Din分类至对应的位置分群。在图3所示的实施例中，位置分群包含第一位置分群GL1、第二位置分群GL2，但在其他部分实施例中，位置分群的数量可任意调整。如前所述，第一位置分群GL1所包含的场景数据Din作为第一分群数据D1，第二位置分群GL2所包含的场景数据Din作为第二分群数据D2。
在步骤S403中，处理器111计算第一分群数据D1间的场景相似度。举例而言，若两个第一分群数据D1呈现的画面都是“学校”，且画面中有70％相同，则场景相似度即为70％。场景相似度的计算方式将于后续段落中详述。
在步骤S404中，处理器111根据第一分群数据D1之间的场景相似度，进一步将第一分群数据D1分类到第一相似影像子分群G1A、G1B中，并作为第一子分群数据D1A、D1B。举例而言，第一相似影像子分群G1A为“学校正门”、第一相似影像子分群G1B为“学校围墙”。在部分实施例中，若处理器111是将场景相似度大于门槛值(如：70％)的第一分群数据D1分类至同一个相似影像子分群。同理，处理器111根据第二分群数据D2之间的场景相似度，进一步将第二分群数据D2分类到第二相似影像子分群G2A、G2B中，并作为第二子分群数据D2A、D2B。
在步骤S405中，在分类出第一相似影像子分群G1A、G1B及第二相似影像子分群G2A、G2B后，处理器111根据第一相似影像子分群G1A、G1B建立第一相似影像子模型M1A、M1B，且根据第二相似子影像分群G2A、G2B建立第二相似影像子模型M2A、M2B。
在步骤S406中，处理器111将第一相似影像子模型M1A、M1B整合(combine)为第一位置模型ML1，且将第二相似影像子模型M2A、M2B整合为第二位置模型ML2。最后，在步骤S407中，处理器111将第一位置模型ML1及第二位置模型ML2整合为场景模型Mout。
在部分实施例中，服务器111将产生的场景模型Mout存储于存储单元112中，用以提供云端服务(例如：地图实景、虚拟影像引擎等)。场景模型Mout可为三维的空间地图信息，当在终端装置120传送一个定位请求信息至服务器110时，服务器111会根据定位请求信息中的一个当前帧数据(如：终端装置120获取到的影像)与场景模型Mout进行比对，以取得一个空间坐标信息。例如：判断出当前帧数据是对应于位置分群G1或位置分群G2，再根据比对到的对应场景数据，取得位置参数。服务器111将空间坐标信息传送给终端装置120。据此，使用者即可快速且准确地利用服务器110中的场景模型Mout，判断出当前位置。此外，终端装置120亦可定期传送定位请求信息至服务器110，使服务器110得以追踪终端装置120的移动轨迹，实现定位追踪服务。
在其他实施例中，在终端装置120传送一个浏览请求信息(如：要求浏览线上地图实景、或要求启动线上虚拟影像引擎等)至服务器110时，处理器111亦可将针对要求信息，根据场景模型Mout产生对应的一笔立体影像数据，并将立体影像数据传送至终端装置120，以提供对应的云端服务。
在部分实施例中，处理器111是根据光流法(optical flow)，计算多张帧数据(如：prune image frames)Din1、Din2、Din3中两相邻的帧数据间的变化量。处理器111将选择帧数据Din1、Din2、Din3中变化量大于门槛值的帧数据Din1、Din2、Din3，以作为场景数据Din，或称关键帧(Key frame)。同样地，处理器111亦能通过光流法，计算第一分群数据D1或第二分群数据D2之间的场景相似度。
此外，处理器111亦能利用特征向量，计算场景相似度。以第一位置分群GL1中的第一分群数据D1为例，处理器111分别获取每个第一分群数据D1中的多个特征点，所述多个特征点对应至多个特征向量。请参阅图5所示，处理器111能通过特征信息演算法(如：SURF、SIFT、ORB)，由第一分群数据D1中分别获取多个局部区域作为特征点，产生特征点数据D1X，接着，再将每个特征点解析为特征向量(如：包含64或128个维度的数值集合)，以取得特征向量数据D1Y。特征点、特征向量可视为每个第一分群数据D1的关键特征，因此，处理器111比对每个第一分群数据间相对应的特征点及特征向量，即可取得所述多个第一分群数据彼此间的场景相似度。
在此说明将相似影像子模型整合成位置模型的方式。以第一相似子模型M1A、M1B为例，处理器111会判断第一相似子模型M1A、M1B所对应的第一相似影像子模型G1A、G1B，再从第一相似影像子模型G1A、G1B中找出相似部位，作为连接点，合并第一相似子模型M1A、M1B。具体来说，在部分实施例中，若处理器111要合并第一相似子模型M1A、M1B，则处理器111先比对对应的第一子分群数据D1A、D1B，判断第一子分群数据D1A及第一子分群数据D1B之间的多个特征相似度。特征相似度大于预定值者，即可视为第一子分群数据D1A及第一子分群数据D1B间的连接部位(例如：第一子分群数据D1A及第一子分群数据D1B间都具有相同影像“学校的围墙”)。处理器111将特征相似度大于预定值的那些第一子分群数据D1A、D1B设定为“二维连接点”，并通过二维连接点，将第一相似子模型M1A、M1B整合为第一位置模型ML1。同样地，处理器111能以相同方式将第二相似子模型M2A、M2B整合为第二位置模型ML2。
请参阅图3所示，在部分实施例中，在处理器111计算出第一分群数据D1彼此间的场景相似度后，还会根据第一分群数据D1彼此间的场景相似度，排列第一分群数据D1，以根据被分类到第一相似影像子分群G1A中的所有第一子分群数据D1A建立出一个索引结构树(Vocabulary Tree，亦即，每个相似影像子分群都能被整理为一个索引结构树)。如图6所示，为索引结构树51的示意图。在索引结构树51中，越相似的第一子分群数据D1的分配位置将会越近，且每个第一子分群数据D1A是作为索引结构树51中的一个二维结构点511～513。例如：二维结构点511、512较为接近，代表其对应的第一子分群数据D1相似度较高。同样地，分类到第一相似影像子分群G1B中的所有第一子分群数据D1B能被建立为另一个索引结构树。索引结构树用以索引第一相似影像子分群G1A、G1B中的各个第一子分群数据D1A、D1B。
承上，处理器111可利用索引结构树，找出第一相似影像子分群G1A与第一相似影像子分群G1B的连接点，以合并第一相似子模型M1A、M1B。请参阅图7所示，是两个索引结构树61、62的示意图。其中，索引结构树61对应于第一相似影像子分群G1A，索引结构树62对应于第一相似影像子分群G1B。索引结构树61包含多个二维结构点61A～61C及611～615。索引结构树62亦包含多个二维结构点62A～62C及621～624。如前所述，每个二维结构点分别对应于图3所示的第一子分群数据D1A、D1B。当建立第一相似影像子模型M1A、M1B后，处理器111会比对不同索引结构树61、62间的所有二维结构点，以取得二维结构点彼此间的特征相似度。举例而言，处理器111会判断索引结构树61中的二维结构点611和索引结构树62中的所有二维结构点62A～62C及621～624的特征相似度，若特征相似度大于预定值(如：80％)，代表两者可被视为相同，可被设定为“二维连接点”。如图6所示，二维结构点614、622间的特征相似度大于预定值，处理器111即可将二维结构点614、622设定为二维连接点，用以合并第一相似子模型M1A、M1B。
如图7所示，若处理器111比对所有的二维连接点后，发现二维连接点614、622之间的相似度最高，且相似度大于预定值“80％”，则处理器111将设定二维连接点614、622为二维连接点。在找出索引结构树61、62中的二维连接点后，即可根据二维连接点，推算出第一相似影像子模型M1A、M 2A之间相同的立体区域(如：特定的坐标位置)，以将第一相似影像子模型M1A、M2A整合为该第一位置模型ML1。
在前述实施例中，处理器111是比对索引结构树61、62中所有二维结构点，以计算出特征相似度。在其他部分实施例中，处理器111亦可仅针对索引结构树61、62中位于最末端的二维结构点(leaf)，比对彼此间的特征相似度。亦即，处理器111将无须比对二维结构点61A～61C及62A～62C与其他二维结构点的相似度。由于索引结构树61、62中位于最末端的二维结构点，即代表第一相似影像子模型M1A中位于立体模型外围的区域，因此此一方式将能降低处理器111所需的运算量。
在部分实施例中，第一相似影像子模型M1A、M1B、第二相似影像子模型M2A、M2B、第一位置模型ML1、第二位置模型ML2皆为由多个坐标点构成的立体模型，又称“点云”。处理器111可通过运动回复结构(Structure from Motion，SFM)演算法，根据相似影像子分群G1A、G1B、G2A、G2B中的子分群数据D1A、D1B、D2A、D2B建立为立体的点云模型，即，相似影像子模型M1A、M1B、M2A、M2B。在点云模型中，每个坐标点可视为一个三维结构点。请参阅图8A及图8B所示，为第一位置模型ML1、第二位置模型ML2的“点云”局部示意图。第一位置模型ML1包含多个第一三维结构点71～73。第二位置模型ML2包含多个第二三维结构点74～76。
在部分实施例中，当处理器合并为第一位置模型ML1、第二位置模型ML2时，会先取得第一位置模型ML1、第二位置模型ML2中的多个第一三维结构点71～73及多个第二三维结构点74～76。接着，比对第一三维结构点71～73及第二三维结构点74～76，以取得第一三维结构点71～73及第二三维结构点74～76间的第一空间相似度。举例而言，处理器111判断第一三维结构点71与第二三维结构点73的第一空间相似度，若第一空间相似度大于预定值(如：85％)，则将第一三维结构点71与第二三维结构点73设定为三维连接点。当找出第一位置模型ML1、第二位置模型ML2间的三维连接点后，处理器111即可将第一位置模型ML1、第二位置模型ML2整合为场景模型Mout。
在部分实施例中，处理器111在整合第一位置模型ML1、第二位置模型ML2时，可仅选择位于第一位置模型ML1、第二位置模型ML2最外围的三维结构点来进行比对，因为第一位置模型ML1、第二位置模型ML2的合并位置通常是出现在外围区域。亦即，处理器111比对的第一三维结构点位于第一位置模型ML1的最外围、第二三维结构点位于第二位置模型ML2的最外围。
此外，当处理器根据三维连接点，整合第一位置模型ML1、第二位置模型ML2时，由于第一位置模型ML1、第二位置模型ML2间的距离、比例及方向上都可能存在差异，即便将第一位置模型ML1、第二位置模型ML2中相对应的三维连接点合并在一起，整合出的立体模型亦可能有误差。因此，在部分实施例中，处理器111还能根据相似影像子模型，对场景模型Mout进行调校。
请参阅图9A～图9C所示，为第一相似影像子模型M1A及第二相似影像子模型M2A的示意图。第一相似影像子模型M1A包含多个三维结构点81～83，第二相似影像子模型M2A亦包含多个三维结构点84～86。
在处理器111将第一相似影像子模型M1A、M1B整合为第一位置模型ML1、将第二相似影像子模型M2A、M2B整合为第二位置模型ML2，且根据前述方式，根据三维连接点整合第一位置模型ML1及第二位置模型ML2时，处理器111还用以取得第一相似影像子模型M1A、M1B与第二相似影像子模型M2A、M2B中实质上相同的多个三维结构点。“实质上相同的三维结构点”的判断方式如前述，可选择彼此之间空间相似度高的三维结构点。例如：图9A及图9B所示的三维结构点81～83及84～86。
承上，根据挑选出的相同的三维结构点81～83及84～86，处理器111调整第一位置模型ML1及第二位置模型ML2于空间中的配置(如：调整坐标方向、改变空间结构的比例等)，使得第一位置模型ML1于空间中的三维结构点81～83与第二位置模型ML2于空间中的三维结构点84～86的位置能相互对应。如图9C所示，若三维结构点81实质上与三维结构点84相同，则处理器111能通过演算法(如：Iterative Closest Point演算法)，计算出拼接方式(如：将第一位置模型ML1转动一个调整角度R)，以使对应的三维结构点81、84重合，据此，即可让第一位置模型ML1及第二位置模型ML2准确地合并为场景模型Mout。
亦即，在根据第一位置模型ML1及第二位置模型ML2间的三维连接点进行整合时，第一位置模型ML1及第二位置模型ML2间可能会因为坐标参数的不同，而有距离、方向上的误差。因此，通过进一步比对相似影像子模型，并根据相似影像子模型间实质相同的三维连接点做调整，即可校正误差，以正确地产生场景模型Mout。
前述各实施例中的各项元件、方法步骤或技术特征，可相互结合，而不以本公开内容中的文字描述顺序或附图呈现顺序为限。
虽然本公开内容已以实施方式公开如上，然其并非用以限定本发明内容，任何本领域技术人员，在不脱离本发明内容的构思和范围内，当可作各种变动与润饰，因此本发明内容的保护范围当视权利要求所界定者为准。

Claims (20)

1.一种场景模型的建构方法，包含：
根据多个场景数据的多个位置参数，将所述多个场景数据分类于多个位置分群；其中所述多个位置分群中的一第一位置分群所包含的所述多个场景数据作为多个第一分群数据，所述多个位置分群中的一第二位置分群所包含的所述多个场景数据作为多个第二分群数据；
基于所述多个第一分群数据彼此间的场景相似度将所述多个第一分群数据分类于多个第一相似影像子分群中，以作为多个第一子分群数据；基于所述多个第二分群数据彼此间的场景相似度将所述多个第二分群数据分类于多个第二相似影像子分群中，以作为多个第二子分群数据；
根据所述多个第一相似影像子分群建立多个第一相似影像子模型，且根据所述多个第二相似影像子分群建立多个第二相似影像子模型；
将所述多个第一相似影像子模型整合为一第一位置模型，且将所述多个第二相似影像子模型整合为一第二位置模型；以及
将该第一位置模型及该第二位置模型整合为一场景模型。
2.如权利要求1所述的建构方法，还包含：
比对多个帧数据中两相邻的帧数据，以产生多个变化量；以及
选择所述多个帧数据中具有变化量大于一门槛值的数个帧数据，以作为所述多个场景数据。
3.如权利要求1所述的建构方法，还包含：
获取所述多个第一分群数据中每一个第一分群数据的多个特征点，其中所述多个特征点对应多个特征向量；以及
比对所述多个第一分群数据所对应的所述多个特征向量，以取得所述多个第一分群数据彼此间的场景相似度。
4.如权利要求1所述的建构方法，还包含：
比对所述多个第一子分群数据，以取得所述多个第一子分群数据彼此间的多个特征相似度；
将所述多个特征相似度大于一预定值的所述多个第一子分群数据设定为不同第一相似影像子模型的多个二维连接点；以及
根据所述多个二维连接点，将所述多个第一相似影像子模型整合为该第一位置模型。
5.如权利要求1所述的建构方法，还包含：
根据所述多个第一分群数据彼此间的场景相似度排列所述多个第一分群数据，以建立多个索引结构树，其中所述多个索引结构树用以索引所述多个第一相似影像子分群中的所述多个第一子分群数据。
6.如权利要求5所述的建构方法，其中所述多个索引结构树中包含多个二维结构点，所述多个二维结构点对应于所述多个第一子分群数据，其中将所述多个第一相似影像子模型整合为该第一位置模型的步骤包含：
比对不同的所述多个索引结构树之间的所述多个二维结构点，以取得所述多个二维结构点彼此间的多个特征相似度；
将具有所述多个特征相似度大于一预定值的所述多个二维结构点设定为用以连接不同第一相似影像子模型的多个二维连接点；以及
根据所述多个二维连接点，将所述多个第一相似影像子模型整合为该第一位置模型。
7.如权利要求5所述的建构方法，其中所述多个索引结构树中包含多个二维结构点，所述多个二维结构点对应于所述多个第一子分群数据，该建构方法还包含：
比对不同的所述多个索引结构树之间最末端的所述多个二维结构点，以取得所述多个二维结构点彼此间的多个特征相似度；
将具有所述多个特征相似度大于一预定值的所述多个二维结构点设定为用以连接不同第一相似影像子模型的多个二维连接点；以及
根据所述多个二维连接点，将所述多个第一相似影像子模型整合为该第一位置模型。
8.如权利要求1所述的建构方法，还包含：
取得该第一位置模型中的多个第一三维结构点以及该第二位置模型中的多个第二三维结构点；
比较所述多个第一三维结构点及所述多个第二三维结构点，以取得所述多个第一三维结构点及所述多个第二三维结构点间的多个第一空间相似度；
将多个空间相似度中大于一预定值的所述多个第一三维结构点及所述多个第二三维结构点设定为多个三维连接点；以及
根据所述多个三维连接点，将该第一位置模型及该第二位置模型整合为该场景模型。
9.如权利要求8所述的建构方法，其中所述多个第一三维结构点位于该第一位置模型中的最外围、所述多个第二三维结构点位于该第二位置模型中的最外围。
10.如权利要求1所述的建构方法，还包含：
在将所述多个第一相似影像子模型整合为该第一位置模型且将所述多个第二相似影像子模型整合为该第二位置模型之后，取得所述多个第一相似影像子模型与所述多个第二相似影像子模型中实质上相同的多个三维结构点；以及
调整该第一位置模型及该第二位置模型于空间中的配置，使得该第一位置模型于空间中的所述多个三维结构点与该第二位置模型于空间中的所述多个三维结构点的位置相互对应。
11.一种场景模型的建构系统，包含：
多个终端装置，用以传送多个帧数据；以及
一处理器，用以自所述多个终端装置接收所述多个帧数据，以取得多个场景数据；其中该处理器用以根据所述多个场景数据中的多个位置参数，将所述多个场景数据分类于多个位置分群，再根据所述多个场景数据间的多个场景相似度，将所述多个位置分群分类为多个相似影像子分群；该处理器还用以根据所述多个相似影像子分群建立多个相似影像子模型，再将所述多个相似影像子模型整合为多个位置模型，且将所述多个位置模型整合为一场景模型。
12.如权利要求11所述的建构系统，其中该处理器还用以比对所述多个帧数据中两相邻的所述多个帧数据，以产生多个变化量，并根据所述多个变化量产生所述多个场景数据。
13.如权利要求11所述的建构系统，其中所述多个位置分群中的一第一位置分群所包含的所述多个场景数据作为多个第一分群数据，所述多个位置分群中的一第二位置分群所包含的所述多个场景数据作为多个第二分群数据；所述多个相似影像子分群包含多个第一相似影像子分群及多个第二相似影像子分群，所述多个第一相似影像子分群用以建立多个第一相似影像子模型；所述多个第二相似影像子分群用以建立多个第二相似影像子模型；所述多个位置模型包含一第一位置模型及一第二位置模型；该处理器用以根据所述多个第一分群数据间的所述多个场景相似度，将所述多个第一分群数据分类于所述多个第一相似影像子分群中，以作为多个第一子分群数据；该处理器还用以根据所述多个第二分群数据彼此间的场景相似度将所述多个第二分群数据分类于所述多个第二相似影像子分群中，以作为多个第二子分群数据。
14.如权利要求13所述的建构系统，其中该处理器还用以在所述多个第一分群数据中获取多个特征点及对应的多个特征向量，并比对所述多个特征向量，以取得所述多个第一分群数据间的所述多个场景相似度。
15.如权利要求13所述的建构系统，其中该处理器还用以比对所述多个第一子分群数据，以取得所述多个第一子分群数据彼此间的多个特征相似度；该处理器还用以将具有所述多个特征相似度大于一预定值的所述多个第一子分群数据设定为用以连接不同第一相似影像子模型的多个二维连接点，使得该处理器根据所述多个二维连接点，将所述多个第一相似影像子模型整合为该第一位置模型。
16.如权利要求13所述的建构系统，其中该处理器还用以根据所述多个场景相似度排列所述多个第一分群数据，以建立多个索引结构树，所述多个索引结构树用以索引所述多个第一相似影像子分群中的所述多个第一子分群数据。
17.如权利要求16所述的建构系统，其中所述多个索引结构树中包含多个二维结构点，所述多个二维结构点对应于所述多个第一子分群数据，该处理器还用以比对不同的所述多个索引结构树之间的所述多个二维结构点，以取得所述多个二维结构点彼此间的多个特征相似度，且将具有所述多个特征相似度大于一预定值的所述多个二维结构点设定为用以连接不同第一相似影像子模型的多个二维连接点，使得该处理器根据所述多个二维连接点，将所述多个第一相似影像子模型整合为该第一位置模型。
18.如权利要求16所述的建构系统，其中所述多个索引结构树中包含多个二维结构点，所述多个二维结构点对应于所述多个第一子分群数据，该处理器还用以比对不同的所述多个索引结构树最末端的所述多个二维结构点，以取得所述多个二维结构点彼此间的多个特征相似度，且将具有所述多个特征相似度大于一预定值的所述多个二维结构点设定为用以连接不同第一相似影像子模型的多个二维连接点，使得该处理器根据所述多个二维连接点，将所述多个第一相似影像子模型整合为该第一位置模型。
19.如权利要求13所述的建构系统，其中该处理器还用以取得该第一位置模型中的多个第一三维结构点以及该第二位置模型中的多个第二三维结构点，并比较所述多个第一三维结构点及所述多个第二三维结构点，以取得所述多个第一三维结构点及所述多个第二三维结构点间的多个第一空间相似度，使得该处理器将多个空间相似度中大于一预定值的所述多个第一三维结构点及所述多个第二三维结构点设定为多个三维连接点，并根据所述多个三维连接点，将该第一位置模型及该第二位置模型整合为该场景模型；其中所述多个第一三维结构点位于该第一位置模型中的最外围、所述多个第二三维结构点位于该第二位置模型中的最外围。
20.如权利要求13所述的建构系统，其中在该处理器还用以取得所述多个第一相似影像子模型与所述多个第二相似影像子模型中实质上相同的多个三维结构点，再调整该第一位置模型及该第二位置模型于空间中的配置，使得该第一位置模型于空间中的所述多个三维结构点与该第二位置模型于空间中的所述多个三维结构点的位置相互对应。
CN201910664639.2A 2019-07-11 2019-07-11 场景模型的建构系统及其建构方法 Active CN112215940B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910664639.2A CN112215940B (zh) 2019-07-11 2019-07-11 场景模型的建构系统及其建构方法
US16/718,112 US11127199B2 (en) 2019-07-11 2019-12-17 Scene model construction system and scene model constructing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910664639.2A CN112215940B (zh) 2019-07-11 2019-07-11 场景模型的建构系统及其建构方法

Publications (2)

Publication Number Publication Date
CN112215940A CN112215940A (zh) 2021-01-12
CN112215940B true CN112215940B (zh) 2024-01-19

Family

ID=74047299

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910664639.2A Active CN112215940B (zh) 2019-07-11 2019-07-11 场景模型的建构系统及其建构方法

Country Status (2)

Country Link
US (1) US11127199B2 (zh)
CN (1) CN112215940B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113192189B (zh) * 2021-05-21 2023-10-27 广联达科技股份有限公司 一种修正连接关系的方法、装置、设备及可读存储介质
WO2023220987A1 (zh) * 2022-05-18 2023-11-23 北京小米移动软件有限公司 目标点确定方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427293A (zh) * 2015-11-11 2016-03-23 中国科学院深圳先进技术研究院 室内场景扫描重建的方法及装置
CN109410321A (zh) * 2018-10-17 2019-03-01 大连理工大学 基于卷积神经网络的三维重建方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法
WO2019082797A1 (ja) * 2017-10-23 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再構成方法および再構成装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007063635A1 (de) * 2007-03-22 2009-04-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zur zeitlichen Segmentierung eines Videos in Videobildfolgen und zur Auswahl von Keyframes für das Auffinden von Bildinhalten unter Einbeziehung einer Subshot-Detektion
US20120230398A1 (en) 2011-03-10 2012-09-13 Christopher Andrew Segall Video decoder parallelization including slices
US8724906B2 (en) * 2011-11-18 2014-05-13 Microsoft Corporation Computing pose and/or shape of modifiable entities
CN104376003B (zh) 2013-08-13 2019-07-05 深圳市腾讯计算机系统有限公司 一种视频检索方法及装置
JP6200306B2 (ja) 2013-12-09 2017-09-20 株式会社日立製作所 映像検索装置、映像検索方法、および記憶媒体
CN104376596B (zh) 2014-11-28 2017-05-31 北京航空航天大学 一种基于单幅图像的三维场景结构建模与注册方法
TWI630132B (zh) 2015-06-04 2018-07-21 國立虎尾科技大學 3D animation car accident scene reconstruction method
CN105046227B (zh) 2015-07-24 2018-07-31 上海依图网络科技有限公司 一种针对人像视频系统的关键帧获取方法
EP3379830B1 (en) 2017-03-24 2020-05-13 Axis AB A method, a video encoder, and a video camera for encoding a video stream
US10511842B2 (en) 2017-10-06 2019-12-17 Qualcomm Incorporated System and method for foveated compression of image frames in a system on a chip
CN107832681B (zh) 2017-10-16 2021-05-18 福州大学 联合LiDAR点云和同步遥感影像的森林单木树高估算方法
US10719744B2 (en) * 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes
US11227435B2 (en) * 2018-08-13 2022-01-18 Magic Leap, Inc. Cross reality system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427293A (zh) * 2015-11-11 2016-03-23 中国科学院深圳先进技术研究院 室内场景扫描重建的方法及装置
WO2019082797A1 (ja) * 2017-10-23 2019-05-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再構成方法および再構成装置
CN109410321A (zh) * 2018-10-17 2019-03-01 大连理工大学 基于卷积神经网络的三维重建方法
CN109658449A (zh) * 2018-12-03 2019-04-19 华中科技大学 一种基于rgb-d图像的室内场景三维重建方法

Also Published As

Publication number Publication date
US11127199B2 (en) 2021-09-21
CN112215940A (zh) 2021-01-12
US20210012564A1 (en) 2021-01-14

Similar Documents

Publication Publication Date Title
Chen et al. Federated learning based mobile edge computing for augmented reality applications
EP3937124A1 (en) Image processing method, device and apparatus, and storage medium
US11055570B2 (en) Image processing method and apparatus for implementing image recognition, and electronic device
CN112215940B (zh) 场景模型的建构系统及其建构方法
CN110910493B (zh) 三维重建方法、装置及电子设备
US20090123088A1 (en) Tiled projections for planar processing of round earth data
KR20140043393A (ko) 위치 기반 인식 기법
US9036044B1 (en) Adjusting camera parameters associated with a plurality of images
US20240112398A1 (en) Plant model generation method and apparatus, computer device and storage medium
EP4053739A1 (en) Neural network model for image segmentation and image segmentation method therefor
US20220207327A1 (en) Method for dividing processing capabilities of artificial intelligence between devices and servers in network environment
CN109885635B (zh) 地图关联方法、装置、存储介质及计算机设备
CN112733901B (zh) 基于联邦学习和区块链的结构化动作分类方法与装置
TW202109357A (zh) 視覺定位方法、電子設備及電腦可讀儲存介質
US10810458B2 (en) Incremental automatic update of ranked neighbor lists based on k-th nearest neighbors
CN114239668A (zh) 模型更新的方法、终端和服务器
CN113177999B (zh) 视觉三维重建方法、系统、电子装置和存储介质
TWI699661B (zh) 場景模型之建構系統及其建構方法
CN112948345A (zh) 一种基于云计算平台的大数据聚类方法
CN114781300B (zh) 可编辑逻辑阵列布线方法、装置、设备和存储介质
CN107766881B (zh) 一种基于基础分类器的寻路方法、设备及存储设备
CN115987806A (zh) 一种基于模型驱动的云边协同沉浸式内容复现方法与装置
CN113920353B (zh) 一种无监督的人脸图像二次聚类方法、装置、介质
CN114912627A (zh) 推荐模型训练方法、系统、计算机设备及存储介质
CN114943766A (zh) 重定位方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant