CN111860226A - 用于图像处理的方法、装置、设备以及存储介质 - Google Patents
用于图像处理的方法、装置、设备以及存储介质 Download PDFInfo
- Publication number
- CN111860226A CN111860226A CN202010623701.6A CN202010623701A CN111860226A CN 111860226 A CN111860226 A CN 111860226A CN 202010623701 A CN202010623701 A CN 202010623701A CN 111860226 A CN111860226 A CN 111860226A
- Authority
- CN
- China
- Prior art keywords
- image
- image sequence
- sequences
- sequence
- image sequences
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000011524 similarity measure Methods 0.000 claims abstract description 28
- 239000013598 vector Substances 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 238000000638 solvent extraction Methods 0.000 claims description 9
- 238000005192 partition Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 abstract description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了用于图像处理的方法、装置、设备以及存储介质,涉及计算机视觉、三维图像重建领域。具体实现方案为:提供了一种图像处理的方法,包括:获取图像序列集合,该图像序列集合包括多个图像序列;确定图像序列集合中的图像序列之间的第一相似度度量;基于第一相似度度量,将图像序列集合划分成一个或多个图像序列子集;以及在每个图像序列子集中,确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。通过本公开的实施例,能够减少三维图像重建中的计算量,提高计算效率,适用于自动驾驶领域。
Description
技术领域
本公开总体上涉及计算机视觉技术,并且更具体地涉及三维图像重建中的图像处理技术。
背景技术
三维图像的精确重建在诸多领域中发挥着重要的作用。为了从大量二维图像中准确重建出三维图像,需要对大量的二维图像进行特征匹配计算。特征匹配计算需要对不同图像之间的像素进行匹配,因此是一项计算量很大的、极为耗时和耗资源的过程。
发明内容
本公开提供了一种用于图像处理的方法、装置、设备以及存储介质。
根据本公开的一方面,提供了一种图像处理的方法,包括:获取图像序列集合,该图像序列集合包括多个图像序列;确定图像序列集合中的图像序列之间的第一相似度度量;基于第一相似度度量,将图像序列集合划分成一个或多个图像序列子集;以及在每个图像序列子集中,确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。
根据本公开的另一方面,提供了一种图像处理的装置,包括:图像序列集合获取模块,被配置为获取图像序列集合,该图像序列集合包括多个图像序列;相似度度量确定模块,被配置为确定图像序列集合中的图像序列之间的第一相似度度量;图像序列集合划分模块,被配置为基于第一相似度度量,将图像序列集合划分成一个或多个图像序列子集;以及图像关联度确定模块,被配置为在每个图像序列子集中,确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。
根据本公开的又一方面,提供了一种电子设备,其特征在于,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,该指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开的一方面的方法。
根据本公开的又一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,该计算机指令用于使计算机执行根据本公开的一方面的方法。
根据本申请的技术减少了三维图像重建中的计算量,提高了计算效率。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是本申请实施例能够在其中实现的示例环境的示意图;
图2是根据本申请实施例的图像处理的方法的示意图;
图3A是根据本申请实施例的图像序列集合的示意图;
图3B是根据本申请实施例的多个图像序列子集的示意图;
图4是根据本申请实施例的图像序列子集中的两个图像序列的示意图;
图5是根据本申请实施例的将图像序列集合划分成一个或多个图像序列子集的方法的示意图;
图6A是根据本申请实施例的图像序列集合的示意图;
图6B是根据本申请实施例的图像序列集合的示意图;
图7是根据本公开实施例的图像处理的装置的示意性框图;
图8是用来实现本申请实施例的图像处理的方法的电子设备的框图;
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
三维图像的精确重建在诸多领域中发挥着重要的作用。例如,在自动驾驶领域,所重建的高精度三维地图可以有助于自动驾驶车辆的计算平台做出正确的驾驶决策、路线规划等。然而,为了实现从大量图像中准确重建出高精度的三维地图,需要对大量的图像进行特征匹配计算。特征匹配计算需要对不同图像之间的像素进行匹配,因此是一项计算量很大的、极为耗时和耗资源的过程。
在进行特征匹配计算之前,确定图像之间的关联度可以有助于减少特征匹配的计算量,提高计算效率,因为可以只对关联的图像进行特征匹配。
目前,在进行三维图像重建中的特征匹配之前,仅仅是根据采集的图像序列或视频的位置信息和采集时间对图像序列集合进行聚类,然后对聚类内的视频图像进行特征匹配计算。然而,通过这样的方式,所需的特征匹配的计算量仍然很大。
根据本公开的实施例,提出了一种图像处理的方案。在该方案中,根据图像序列之间的相似度将包括图像序列集合的图像序列集合划分成一个或多个图像序列子集,然后在每个图像序列子集中确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。通过这种方式,可以有效地确定具有高关联度的图像,使得可以仅针对所确定的高关联度的图像进行后续的耗时耗资源的特征匹配计算,从而减少计算量、提高计算效率。
图1是本申请实施例能够在其中实现的示例环境100的示意图。如图1所示,示例环境100包括图像处理设备110和图像获取设备120-1至120-3(统称为图像获取设备120)。图像获取设备120能够获取图像序列130-1至130-3(统称为图像序列130)并将图像序列130传输给图像处理设备110。图像处理设备110能够从图像序列130中确定图像之间的关联度。在一些实施例中,图像处理设备110可以是计算机、虚拟机、服务器等。图像获取设备120可以是相机、摄像机等。图像处理设备110和图像获取设备120之间可以通过网络彼此通信。网络可以是互联网、内联网等。
应当理解,仅出于示例性的目的描述了示例环境100,而不暗示对于本公开的范围的任何限制。例如,本公开的实施例还可以被应用到与示例环境100不同的环境中。应当理解,上述各设备的具体数目仅出于说明性目的给出,而不暗示对本公开范围的任何限制。例如,本公开的实施例还可以被应用于更多的图像处理设备110、更多或更少的图像获取设备120。或者,本公开的实施例还可以将图像处理设备110和图像获取设备120集成在相同的设备中。
图2是根据本申请实施例的图像处理的方法200的示意图。在一些实施例中,方法200可以在图1示出的图像处理设备110中实现。为了便于理解,在下文描述中提及的具体数据均是示例性的,并不用于限定本公开的保护范围。
在S201,图像处理设备110可以获取图像序列集合,该图像序列集合包括多个图像序列。
在一些实施例中,图像处理设备110可以从不同的图像获取设备120中获取图像序列集合。附加地或备选地,在另一些实施例中,图像处理设备110可以从相同的图像获取设备120中获取图像序列集合。附加地,在一些实施例中,图像获取设备120可以是车辆中的视觉信息采集设备,车辆的计算平台可以通过获取车辆的总线控制系统中的信息,控制车辆的视觉信息采集设备采集图像,并将经处理的图像序列传输给图像处理设备110。例如,车辆的计算平台可以通过获取车轮的转速信息,控制车辆的视频信息采集设备在车轮每转0.33圈时采集一幅图像,并将按时间顺序排列的图像序列传输给图像处理设备110。
在一些实施例中,图像获取设备120可以在采集图像的同时记录图像被采集的地理位置信息,例如GPS信息,以及图像被采集的时间信息。因此,在一些实施例中,图像序列集合可以是在邻近的地理位置处被采集的图像序列集合。例如,在相同路段、相邻路段等处被采集的图像序列集合。附加地或备选地,图像序列集合可以是在相同的时间段内被采集的图像序列集合。例如,在相同的季节、相同的月份、相同的星期等被采集的图像序列集合。
在S202,图像处理设备110可以确定图像序列集合中的图像序列之间的第一相似度度量。
在一些实施例中,图像处理设备110可以首先确定与图像序列集合中的每个图像相对应的特征向量,然后根据图像的特征向量来确定图像序列之间的相似度。例如,对于具有1000个图像的图像序列1,图像处理设备110可以确定分别与这1000个图像相对应的1000个特征向量。类似地,对于具有2000个图像的图像序列2,图像处理设备110可以确定分别与这2000个图像相对应的2000个特征向量。然后,图像处理设备110可以计算与图像序列1相对应的1000个特征向量和与图像序列2相对应的2000个特征向量之间的向量距离,例如,欧式距离、曼哈顿距离、切比雪夫距离、夹角余弦距离等,以表征图像序列1与图像序列2之间的相似度。
应当理解,仅以示例性的方式示出了图像序列中图像的数目、表征相似度的向量距离等,而不暗示对于本公开的限制。例如,可以采用各种方法来计算图像的特征向量;还可以采用其他向量距离来表征图像序列之间的相似度。本公开在这些方面不受限制。
在S203,图像处理设备110可以根据第一相似度度量将图像序列集合划分成一个或多个图像序列子集。
下面参考图3来描述图2。图3A是根据本申请实施例的图像序列集合的示意图301。图3B是根据本申请实施例的多个图像序列子集的示意图302。如图3A所示,所获取的7个图像序列分别用编号1至7表示。每个图像序列中的图像的数目可以相同,也可以不同。在传统的三维图像重建方案中,每两个图像序列中的图像之间都要进行特征匹配计算。如图3B所示,这7个图像序列被划分为3个图像序列子集,其中,图像序列1、2和4为一个图像序列子集,图像序列1、3和6为一个图像序列子集,图像序列1、5和7为一个图像序列子集。关于如何将图像序列集合划分成一个或多个图像序列子集的细节,将在下文参考图5来详细描述。
现在返回图2。在S204,图像处理设备110可以在每个图像序列子集中确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。
例如,在一些实施例中,图像处理设备110可以通过确定各个图像的特征向量,然后计算特征向量之间的向量距离来确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。例如,仍然参考图3B,针对图像序列1、2和4组成的图像序列子集,图像处理设备110可以确定图像序列1中的图像与图像序列2或图像序列4中的图像的关联度。
附加地,在一些实施例中,图像处理设备110可以根据图像的关联度确定每个图像序列子集中的关联的图像,并且计算关联的图像的特征匹配,以用于三维图像重建。附加地,在一些实施例中,图像处理设备110可以根据所确定的关联的图像来构建图像的关联图谱,以指示来自不同图像序列的哪些图像之间具有较高的关联度。图4是根据本申请实施例的图像序列子集中的两个图像序列的示意图400。如图4所示,图像处理设备110可以确定上方的图像序列中的第4幅图像与下方的图像序列中的第1幅图像的关联度较高,上方的图像序列中的第5幅图像与下方的图像序列中的第2幅图像的关联度较高,以此类推。这样,在本申请的方案中,只需对每个图像序列子集中的关联的图像之间进行特征匹配计算。
在上述示例性实施例中,通过根据图像序列之间的相似度将包括图像序列集合的图像序列集合划分成一个或多个图像序列子集,然后在每个图像序列子集中确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度,可以有效地确定具有高关联度的图像,使得能够仅针对所确定的高关联度的图像进行后续的耗时耗资源的特征匹配计算,从而减少计算量、提高计算效率。
此外,在上述示例性实施例中,由于图像序列集合被划分成一个或多个图像序列子集,因此不同的图像序列子集可以被分配到不同的计算设备上,以执行并行的特征匹配计算。通过这种方式,可以充分利用计算资源,进一步减少计算时间,提高计算效率。
图5是根据本申请实施例的将图像序列集合划分成一个或多个图像序列子集的方法500的示意图。在一些实施例中,方法500可以在图1示出的图像处理设备110中实现。为了便于理解,在下文描述中提及的具体数据均是示例性的,并不用于限定本公开的保护范围。
在S501,图像处理设备110可以从图像序列集合中确定基础图像序列,其中与基础图像序列相对应的第二相似度度量高于等于与图像序列集合中其他图像序列相对应的第二相似度度量,其中第二相似度度量是基于第一相似度度量确定的。
例如,在一些实施例中,图像处理设备110可以首先根据每个图像序列与其他图像序列之间的各个第一相似度度量来计算第一相似度度量的总和,作为第二相似度度量。然后,图像处理设备110可以将具有最高的第二相似度度量的图像序列确定为基础图像序列。备选地,在另一些实施例中,如果有多于一个的图像序列具有最高的第二相似度度量,则从这多于一个的图像序列中选择一个图像序列作为基础图像序列。应当理解,仅出于示例性目的示出了从第一相似度度量确定第二相似度度量的方法。还可以使用其他方式来确定第二相似度度量,本公开在此方面不受限制。
在S502,图像处理设备110可以将图像序列集合划分成一个或多个图像序列子集,以使每个图像序列子集包括基础图像序列和至少一个其他图像序列。优选地,基础图像序列和至少一个其他图像序列之间的第一相似度度量高于一阈值相似度度量。
在一些实施例中,图像处理设备110可以首先根据一阈值相似度度量来确定与基础图像序列的相似度高于阈值相似度度量的图像序列。附加地,图像处理设备110可以确定彼此之间的相似度高于阈值相似度度量的图像序列。在一些实施例中,该阈值相似度度量可以是预先确定的。备选地,在另一些实施例中,该阈值相似度度量可以是根据与每个图像序列相对应的各个第一相似度度量来确定的。例如,图像处理设备110可以对与每个图像序列相对应的各个第一相似度度量进行排序,然后将排名为第N的相似度确定为阈值相似度度量。
现在参考图6来描述图5。图6A和图6B是根据本申请实施例的图像序列集合的示意图。在图6A中,图像序列1被确定为基础图像序列。实线表示图像序列之间的相似度高于阈值相似度度量,虚线表示图像序列之间的相似度低于或等于阈值相似度度量。如图6A所示,图像处理设备110可以将彼此之间用实线相连的图像序列划分在一个图像序列子集中且每个图像序列子集包括基础图像序列1。例如,图像处理设备110可以将图像序列1、3和6划分在一个图像序列子集中,将图像序列1、6和7划分在一个图像序列子集中,将图像序列1和2划分在一个图像序列子集中等等。
附加地,在一些实施例中,图像处理设备110可以调整所划分的一个或多个图像序列子集。
例如,在一些实施例中,图像处理设备110可以根据以下准则来调整一个或多个图像序列子集:每个图像序列子集包括预定数目的图像序列。在一些实施例中,如果图像序列子集中的图像序列的数目少于预定数目,则从其他图像序列中选择一个图像序列添加到该图像子集中。如图6B所示,如果准则为每个图像序列子集包括3个图像序列,而图像处理设备110划分的一个图像序列子集中仅包括图像序列1和2,则图像处理设备110可以根据第一相似度度量将图像序列4添加到该图像序列子集中。在该实施例中,图像序列2与图像序列4之间的相似度低于阈值相似度度量(在图6A中用虚线表示),但是高于或等于图像序列2与除了基础图像序列1之外的其他图像序列之间的相似度。因此,在上述准则下,图像序列4可以被调整为包括在图像序列1和2所组成的图像序列子集中(用粗实线表示)。
附加地或备选地,在一些实施例中,图像处理设备110可以根据以下准则来调整一个或多个图像序列子集:每个图像序列仅属于一个图像序列子集。在一些实施例中,如果一个图像序列可以被划分到多个图像序列子集中,则图像处理设备110可以从该多个图像序列子集中选择一个图像序列子集来划分该图像序列。仍然参考图6B,例如,图像序列6可以被划分到图像序列子集1、3和6以及图像序列子集1、6和7(在图6A中均用实线表示)中,则图像处理设备110可以选择将图像序列6划分在图像序列子集1、3和6中,因此,在图6B中,图像序列6和7之间改为用虚线表示。
在上述示例性实施例中,通过确定与图像序列集合中的其他图像序列都具有较高相似度的基础图像序列,并且将图像序列集合划分成包括基础图像序列和至少一个其他图像序列的一个或多个图像序列子集,可以高效地确定具有高关联度的图像。
此外,在上述示例性实施例中,由于各个图像序列子集可以被分配到不同的计算设备来进行特征匹配计算,因此,通过各种准则来调整所划分的一个或多个图像序列子集,可以充分且均衡地利用计算资源。
图7是根据本公开实施例的图像处理的装置700的示意性框图。如图7所示,装置700可以包括:图像序列集合获取模块701,被配置为获取图像序列集合,该图像序列集合包括多个图像序列;相似度度量确定模块702,被配置为确定图像序列集合中的图像序列之间的第一相似度度量;图像序列集合划分模块703,被配置为基于第一相似度度量,将图像序列集合划分成一个或多个图像序列子集;以及图像关联度确定模块704,被配置为在每个图像序列子集中,确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度。
在某些实施例中,相似度度量确定模块702包括:特征向量确定模块(未示出),被配置为确定与图像序列集合中的每个图像相对应的特征向量;以及第一相似度度量确定模块(未示出),被配置为基于特征向量,确定图像序列集合中的图像序列之间的第一相似度度量。
在某些实施例中,图像序列集合划分模块703包括:基础图像序列确定模块(未示出),被配置为从图像序列集合中确定基础图像序列,其中与基础图像序列相对应的第二相似度度量高于等于与图像序列集合中其他图像序列相对应的第二相似度度量,其中第二相似度度量是基于第一相似度度量确定的;以及第一图像序列集合划分模块(未示出),被配置为将图像序列集合划分成一个或多个图像序列子集,以使每个图像序列子集包括基础图像序列和至少一个其他图像序列,其中基础图像序列和至少一个其他图像序列之间的第一相似度度量高于一阈值相似度度量。
在某些实施例中,第一图像序列集合划分模块(未示出)包括:图像序列子集调整模块(未示出),被配置为调整一个或多个图像序列,其中调整基于以下准则中的至少一项:每个图像序列子集包括预定数目的图像序列;以及每个图像序列仅属于一个图像序列子集。
在某些实施例中,装置700还包括:关联图像确定模块(未示出),被配置为基于关联度,确定每个图像序列子集中的关联的图像;以及图像重建模块(未示出),被配置为计算关联的图像的特征匹配,以用于三维图像重建。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图8所示,是根据本申请实施例的图像处理的方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示,该电子设备包括:一个或多个处理器801、存储器802,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的图像处理的方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的图像处理的方法。
存储器802作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的图像处理的方法对应的程序指令/模块(例如,附图7所示的图像序列集合获取模块701、相似度度量确定模块702、图像序列集合划分模块703和图像关联度确定模块704)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的图像处理的方法。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据图像处理的电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至图像处理的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
图像处理的方法的电子设备还可以包括:输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接,图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息,以及产生与图像处理的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
根据本申请实施例的技术方案,通过根据图像序列之间的相似度将包括图像序列集合的图像序列集合划分成一个或多个图像序列子集,然后在每个图像序列子集中确定一个图像序列中的图像与图像序列子集中其他图像序列中的图像的关联度,可以有效地确定具有高关联度的图像,使得能够仅针对所确定的高关联度的图像进行后续的耗时耗资源的特征匹配计算,从而减少计算量、提高计算效率。此外,由于图像序列集合被划分成一个或多个图像序列子集,因此不同的图像序列子集可以被分配到不同的计算设备上,以执行并行的特征匹配计算。通过这种方式,可以充分利用计算资源,进一步减少计算时间,提高计算效率。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
Claims (12)
1.一种图像处理的方法,包括:
获取图像序列集合,所述图像序列集合包括多个图像序列;
确定所述图像序列集合中的图像序列之间的第一相似度度量;
基于所述第一相似度度量,将所述图像序列集合划分成一个或多个图像序列子集;以及
在每个所述图像序列子集中,确定一个图像序列中的图像与所述图像序列子集中其他图像序列中的图像的关联度。
2.根据权利要求1所述的方法,其中,确定所述图像序列集合中的图像序列之间的所述第一相似度度量包括:
确定与所述图像序列集合中的每个图像相对应的特征向量;以及
基于所述特征向量,确定所述图像序列集合中的图像序列之间的所述第一相似度度量。
3.根据权利要求1所述的方法,其中,基于所述第一相似度度量将所述图像序列集合划分成所述一个或多个图像序列子集包括:
从所述图像序列集合中确定基础图像序列,其中与所述基础图像序列相对应的第二相似度度量高于等于与所述图像序列集合中其他图像序列相对应的第二相似度度量,其中所述第二相似度度量是基于所述第一相似度度量确定的;以及
将所述图像序列集合划分成所述一个或多个图像序列子集,以使每个所述图像序列子集包括所述基础图像序列和至少一个其他图像序列,其中所述基础图像序列和所述至少一个其他图像序列之间的所述第一相似度度量高于一阈值相似度度量。
4.根据权利要求3所述的方法,其中,将所述图像序列集合划分成所述一个或多个图像序列子集以使每个所述图像序列子集包括所述基础图像序列和至少一个其他图像序列包括:
调整所述一个或多个图像序列子集,其中所述调整基于以下准则中的至少一项:
每个所述图像序列子集包括预定数目的图像序列;以及
每个所述图像序列仅属于一个所述图像序列子集。
5.根据权利要求1所述的方法,还包括:
基于所述关联度,确定每个所述图像序列子集中的关联的图像;以及
计算所述关联的图像的特征匹配,以用于三维图像重建。
6.一种图像处理的装置,包括:
图像序列集合获取模块,被配置为获取图像序列集合,所述图像序列集合包括多个图像序列;
相似度度量确定模块,被配置为确定所述图像序列集合中的图像序列之间的第一相似度度量;
图像序列集合划分模块,被配置为基于所述第一相似度度量,将所述图像序列集合划分成一个或多个图像序列子集;以及
图像关联度确定模块,被配置为在每个所述图像序列子集中,确定一个图像序列中的图像与所述图像序列子集中其他图像序列中的图像的关联度。
7.根据权利要求6所述的装置,其中,所述相似度度量确定模块包括:
特征向量确定模块,被配置为确定与所述图像序列集合中的每个图像相对应的特征向量;以及
第一相似度度量确定模块,被配置为基于所述特征向量,确定所述图像序列集合中的图像序列之间的所述第一相似度度量。
8.根据权利要求6所述的装置,其中,所述图像序列集合划分模块包括:
基础图像序列确定模块,被配置为从所述图像序列集合中确定基础图像序列,其中与所述基础图像序列相对应的第二相似度度量高于等于与所述图像序列集合中其他图像序列相对应的第二相似度度量,其中所述第二相似度度量是基于所述第一相似度度量确定的;以及
第一图像序列集合划分模块,被配置为将所述图像序列集合划分成所述一个或多个图像序列子集,以使每个所述图像序列子集包括所述基础图像序列和至少一个其他图像序列,其中所述基础图像序列和所述至少一个其他图像序列之间的所述第一相似度度量高于一阈值相似度度量。
9.根据权利要求8所述的装置,其中,所述第一图像序列集合划分模块包括:
图像序列子集调整模块,被配置为调整所述一个或多个图像序列子集,其中所述调整基于以下准则中的至少一项:
每个所述图像序列子集包括预定数目的图像序列;以及
每个所述图像序列仅属于一个所述图像序列子集。
10.根据权利要求6所述的装置,还包括:
关联图像确定模块,被配置为基于所述关联度,确定每个所述图像序列子集中的关联的图像;以及
图像重建模块,被配置为计算所述关联的图像的特征匹配,以用于三维图像重建。
11.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法。
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010623701.6A CN111860226B (zh) | 2020-06-30 | 2020-06-30 | 用于图像处理的方法、装置、设备以及存储介质 |
KR1020210025905A KR102571513B1 (ko) | 2020-06-30 | 2021-02-25 | 이미지를 처리하는 방법, 장치, 기기, 저장 매체 및 프로그램 |
US17/213,764 US11704896B2 (en) | 2020-06-30 | 2021-03-26 | Method, apparatus, device and storage medium for image processing |
EP21165537.8A EP3872698B1 (en) | 2020-06-30 | 2021-03-29 | Method, apparatus, device, storage medium and program for image processing |
JP2021057206A JP7246427B2 (ja) | 2020-06-30 | 2021-03-30 | 画像を処理するための方法と装置、電子機器、コンピュータ可読記憶媒体及びコンピュータープログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010623701.6A CN111860226B (zh) | 2020-06-30 | 2020-06-30 | 用于图像处理的方法、装置、设备以及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111860226A true CN111860226A (zh) | 2020-10-30 |
CN111860226B CN111860226B (zh) | 2024-06-25 |
Family
ID=72988943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010623701.6A Active CN111860226B (zh) | 2020-06-30 | 2020-06-30 | 用于图像处理的方法、装置、设备以及存储介质 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11704896B2 (zh) |
EP (1) | EP3872698B1 (zh) |
JP (1) | JP7246427B2 (zh) |
KR (1) | KR102571513B1 (zh) |
CN (1) | CN111860226B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113642961B (zh) * | 2021-08-13 | 2024-04-16 | 京东科技信息技术有限公司 | 货物搬运过程中的监控方法及装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1124201A1 (en) * | 2000-02-11 | 2001-08-16 | BTG INTERNATIONAL LIMITED (Company No. 2664412) | Method for 3D/2D registration using multiple views and a surface model of an object |
CN104463219A (zh) * | 2014-12-17 | 2015-03-25 | 西安电子科技大学 | 一种基于特征向量度量谱聚类的极化sar图像分类方法 |
CN105631039A (zh) * | 2016-01-15 | 2016-06-01 | 北京邮电大学 | 一种图片浏览方法 |
CN106156347A (zh) * | 2016-07-21 | 2016-11-23 | 北京奇虎科技有限公司 | 云相册分类展示方法、装置及服务器 |
CN110543779A (zh) * | 2019-09-05 | 2019-12-06 | 国网山西省电力公司阳泉供电公司 | 数据处理方法及装置 |
US20200160554A1 (en) * | 2018-11-20 | 2020-05-21 | International Business Machines Corporation | Creating a three-dimensional model from a sequence of images |
CN111862305A (zh) * | 2020-06-30 | 2020-10-30 | 北京百度网讯科技有限公司 | 处理图像的方法、装置和计算机存储介质 |
US20220036612A1 (en) * | 2020-07-30 | 2022-02-03 | International Business Machines Corporation | Systems and methods for generating summary medical images |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7042525B1 (en) * | 2000-07-06 | 2006-05-09 | Matsushita Electric Industrial Co., Ltd. | Video indexing and image retrieval system |
JP6562197B2 (ja) | 2014-06-20 | 2019-08-21 | パナソニックIpマネジメント株式会社 | 画像処理方法および画像処理システム |
JP6754992B2 (ja) | 2016-04-22 | 2020-09-16 | パナソニックIpマネジメント株式会社 | 三次元再構成方法 |
KR102700131B1 (ko) * | 2016-07-29 | 2024-08-29 | 삼성전자주식회사 | 이미지의 유사도에 기초하여 이미지들을 연속적으로 표시하는 방법 및 장치 |
KR101910609B1 (ko) * | 2017-07-24 | 2018-10-23 | 건국대학교 산학협력단 | 사용자 선택형 영상 제공 시스템 및 방법 |
WO2019058487A1 (ja) | 2017-09-21 | 2019-03-28 | オリンパス株式会社 | 3次元復元画像処理装置、3次元復元画像処理方法及び3次元復元画像処理プログラムを記憶したコンピュータ読み取り可能な記憶媒体 |
-
2020
- 2020-06-30 CN CN202010623701.6A patent/CN111860226B/zh active Active
-
2021
- 2021-02-25 KR KR1020210025905A patent/KR102571513B1/ko active IP Right Grant
- 2021-03-26 US US17/213,764 patent/US11704896B2/en active Active
- 2021-03-29 EP EP21165537.8A patent/EP3872698B1/en active Active
- 2021-03-30 JP JP2021057206A patent/JP7246427B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1124201A1 (en) * | 2000-02-11 | 2001-08-16 | BTG INTERNATIONAL LIMITED (Company No. 2664412) | Method for 3D/2D registration using multiple views and a surface model of an object |
CN104463219A (zh) * | 2014-12-17 | 2015-03-25 | 西安电子科技大学 | 一种基于特征向量度量谱聚类的极化sar图像分类方法 |
CN105631039A (zh) * | 2016-01-15 | 2016-06-01 | 北京邮电大学 | 一种图片浏览方法 |
CN106156347A (zh) * | 2016-07-21 | 2016-11-23 | 北京奇虎科技有限公司 | 云相册分类展示方法、装置及服务器 |
US20200160554A1 (en) * | 2018-11-20 | 2020-05-21 | International Business Machines Corporation | Creating a three-dimensional model from a sequence of images |
CN110543779A (zh) * | 2019-09-05 | 2019-12-06 | 国网山西省电力公司阳泉供电公司 | 数据处理方法及装置 |
CN111862305A (zh) * | 2020-06-30 | 2020-10-30 | 北京百度网讯科技有限公司 | 处理图像的方法、装置和计算机存储介质 |
US20220036612A1 (en) * | 2020-07-30 | 2022-02-03 | International Business Machines Corporation | Systems and methods for generating summary medical images |
Non-Patent Citations (1)
Title |
---|
张晶;: "基于结构相似度衡量的图像超分辨率重建", 哈尔滨商业大学学报(自然科学版), no. 04, 15 August 2016 (2016-08-15), pages 96 - 98 * |
Also Published As
Publication number | Publication date |
---|---|
CN111860226B (zh) | 2024-06-25 |
KR102571513B1 (ko) | 2023-08-29 |
JP7246427B2 (ja) | 2023-03-27 |
US11704896B2 (en) | 2023-07-18 |
EP3872698B1 (en) | 2023-11-15 |
EP3872698A2 (en) | 2021-09-01 |
US20210216811A1 (en) | 2021-07-15 |
JP2021192226A (ja) | 2021-12-16 |
KR20220002064A (ko) | 2022-01-06 |
EP3872698A3 (en) | 2021-10-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163903B (zh) | 三维图像的获取及图像定位方法、装置、设备和存储介质 | |
CN111753961A (zh) | 模型训练方法和装置、预测方法和装置 | |
CN111709973A (zh) | 目标跟踪方法、装置、设备及存储介质 | |
US11501099B2 (en) | Clustering method and device | |
CN111553844A (zh) | 用于更新点云的方法及装置 | |
CN111275827B (zh) | 基于边缘的增强现实三维跟踪注册方法、装置和电子设备 | |
CN111507806A (zh) | 虚拟试鞋方法、装置、设备以及存储介质 | |
US20220027705A1 (en) | Building positioning method, electronic device, storage medium and terminal device | |
CN112527932B (zh) | 道路数据处理的方法、装置、设备及存储介质 | |
CN112101209A (zh) | 用于路侧计算设备的确定世界坐标点云的方法和装置 | |
CN111462174A (zh) | 多目标跟踪方法、装置以及电子设备 | |
CN111695519A (zh) | 关键点定位方法、装置、设备以及存储介质 | |
CN110852780A (zh) | 数据分析方法、装置、设备和计算机存储介质 | |
CN112241716A (zh) | 训练样本的生成方法和装置 | |
CN112541513B (zh) | 一种模型训练方法、装置、设备及存储介质 | |
CN110427574B (zh) | 路线相似度确定方法、装置、设备和介质 | |
CN111753964A (zh) | 神经网络的训练方法和装置 | |
CN111860226B (zh) | 用于图像处理的方法、装置、设备以及存储介质 | |
CN114674328B (zh) | 地图生成方法、装置、电子设备、存储介质、及车辆 | |
CN111767990A (zh) | 神经网络的处理方法和装置 | |
CN111488972A (zh) | 数据迁移方法、装置、电子设备和存储介质 | |
CN111177479A (zh) | 获取关系网络图中节点的特征向量的方法以及装置 | |
CN111522837B (zh) | 用于确定深度神经网络的耗时的方法和装置 | |
CN112541934A (zh) | 一种图像处理方法及装置 | |
CN111292223A (zh) | 图计算的处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
TA01 | Transfer of patent application right | ||
TA01 | Transfer of patent application right |
Effective date of registration: 20211014 Address after: 105 / F, building 1, No. 10, Shangdi 10th Street, Haidian District, Beijing 100085 Applicant after: Apollo Intelligent Technology (Beijing) Co.,Ltd. Address before: 2 / F, baidu building, 10 Shangdi 10th Street, Haidian District, Beijing 100094 Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd. |
|
GR01 | Patent grant | ||
GR01 | Patent grant |