CN112313706A - 用于计算感兴趣区域的空间坐标点的方法和系统,以及非暂时性计算机可读记录介质 - Google Patents
用于计算感兴趣区域的空间坐标点的方法和系统,以及非暂时性计算机可读记录介质 Download PDFInfo
- Publication number
- CN112313706A CN112313706A CN201880094998.2A CN201880094998A CN112313706A CN 112313706 A CN112313706 A CN 112313706A CN 201880094998 A CN201880094998 A CN 201880094998A CN 112313706 A CN112313706 A CN 112313706A
- Authority
- CN
- China
- Prior art keywords
- image
- interest
- image module
- target region
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000004364 calculation method Methods 0.000 claims description 55
- 239000013598 vector Substances 0.000 claims description 39
- 238000004590 computer program Methods 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000004891 communication Methods 0.000 description 27
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000009545 invasion Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/759—Region-based matching
Abstract
根据本发明的一个方面,提供了一种用于计算感兴趣区域的空间坐标点的方法,所述方法包括以下步骤:获取关于在分别由多个图像模块拍摄的多个图像中的每个图像中包含的感兴趣区域的图像内坐标点的信息;参考关于多个图像模块中的至少一个图像模块被安装的位置的信息以及关于在由至少一个图像模块拍摄的图像中包含的目标感兴趣区域的图像内坐标点的信息,指定包含目标感兴趣区域在参考空间中所处的位置的候选图形;以及参考目标感兴趣区域的与第一图像模块相对应的第一候选图形和目标感兴趣区域的与第二图像模块相对应的第二候选图形之间的位置关系,指定目标感兴趣区域在参考空间中所处的位置。
Description
技术领域
本发明涉及一种用于计算感兴趣区域的空间坐标点的方法、系统和非暂时性计算机可读记录介质。
背景技术
近年来,随着人们对增强现实(AR)或虚拟现实(VR)的兴趣不断增加,并积极进行了相关技术领域的研究和开发,已引入了多种用于获取物体的空间坐标点的技术。
作为传统技术的一个示例,已经引入了一种用于使用飞行时间(TOF)技术测量用户身体的三维坐标点的三维坐标测量设备。
然而,根据迄今为止引入的技术以及上述传统技术,存在获取物体的空间坐标点时需要过多的资源和大量的时间的问题,因为(1)当使用单个三维相机时,取决于物体的位置或方向,可能存在被相机遮挡的区域;(2)当使用两个或更多个三维相机时,可以仅在不仅从多个相机的每个相机接收到期望区域的坐标点而且还接收到包含期望区域及其周围区域的所有图像(或与其对应的整体坐标点)、然后对接收到的图像进行积分之后才对期望区域的空间坐标点进行计算,以计算所有区域的空间坐标点。
关于这一点,(一个或多个)发明人提出了一种技术,该技术能够接收关于由多个图像模块拍摄的图像中包含的感兴趣区域的图像内坐标点的信息,并且使用接收到的信息仅选择性地计算感兴趣区域的空间坐标点。
发明内容
发明目的
本发明的一个目的是解决现有技术中的所有上述问题。
本发明的另一个目的是通过不获取由多个图像模块拍摄的图像而是仅获取关于图像中包含的感兴趣区域的图像内坐标点的信息,计算感兴趣区域在参考空间中的坐标点。
本发明的又一个目的是通过不获取由多个图像模块拍摄的图像而是选择性地仅收集关于图像中包含的感兴趣区域的图像内坐标点的信息,防止由于黑客入侵等引起的隐私侵犯问题。
本发明的再一个目的是使用较少的资源计算感兴趣区域在参考空间中的坐标点。
技术方案
以下描述实现上述目的的本发明的代表性配置。
根据本发明的一个方面,提供了一种用于计算感兴趣区域的空间坐标点的方法,方法包括以下步骤:获取关于分别由多个图像模块拍摄的多个图像中的每个图像中包含的感兴趣区域的图像内坐标点的信息;参考关于安装多个图像模块中的至少一个图像模块的位置的信息以及关于由至少一个图像模块拍摄的图像中包含的目标感兴趣区域的图像内坐标点的信息,指定包含目标感兴趣区域在参考空间中所处的位置的候选图形;以及参考目标感兴趣区域与第一图像模块相对应的第一候选图形与目标感兴趣区域与第二图像模块相对应的第二候选图形之间的位置关系,指定目标感兴趣区域在参考空间中所处的位置。
根据本发明的另一方面,提供了一种用于计算感兴趣区域的空间坐标点的系统,系统包括:信息获取单元,被配置为获取关于分别由多个图像模块拍摄的多个图像中的每个图像中包含的感兴趣区域的图像内坐标点的信息;以及空间坐标计算单元,被配置为参考关于安装多个图像模块中的至少一个图像模块的位置的信息以及关于由至少一个图像模块拍摄的图像中包含的目标感兴趣区域的图像内坐标点的信息,指定包含目标感兴趣区域在参考空间中所处的位置的候选图形,以及参考目标感兴趣区域与第一图像模块相对应的第一候选图形与目标感兴趣区域与第二图像模块相对应的第二候选图形之间的位置关系,指定目标感兴趣区域在参考空间中所处的位置。
另外,还提供了用于实现本发明的其他方法和系统,以及在其上存储有用于执行该方法的计算机程序的非暂时性计算机可读记录介质。
有益效果
根据本发明,可以通过不获取由多个图像模块拍摄的图像而是仅获取关于在图像中包含的感兴趣区域的图像内坐标点的信息,计算感兴趣区域在参考空间中的坐标点。
根据本发明,可以通过不获取由多个图像模块拍摄的图像而是仅选择性地收集关于在图像中包含的感兴趣区域的图像内坐标点的信息,防止由于黑客入侵等引起的隐私侵犯问题。
根据本发明,可以使用较少的资源计算感兴趣区域在参考空间中的坐标点。
附图说明
图1示意性示出根据本发明的一个实施例的用于计算感兴趣区域的空间坐标点的整体系统的配置。
图2具体示出根据本发明的一个实施例的位置计算系统的内部配置。
图3示意性示出根据本发明的一个实施例的如何指定目标感兴趣区域在参考空间中的位置。
图4示意性示出根据本发明的一个实施例的如何考虑图像模块的分辨率以指定目标感兴趣区域在参考空间中的位置。
图5至图9示意性示出根据本发明的一个实施例的如何指定候选图形之间的匹配关系。
图10示意性示出根据本发明的一个实施例的如何指定多个图像模块之间的位置关系。
图11示意性示出根据本发明的一个实施例的位置计算系统如何计算感兴趣区域的空间坐标点。
图12示意性示出根据本发明的一个实施例的如何使用关于物体的物理值的信息指定多个图像模块的位置。
<附图标记>
100:通信网络
200:位置计算系统
210:信息获取单元
220:空间坐标计算单元
230:通信单元
240:控制单元
300:图像模块
具体实施方式
在本发明的以下详细描述中,参考附图以图示方式示出可以实践本发明的具体实施例。对这些实施例进行足够详细的描述,以使本领域技术人员能够实践本发明。应当理解,本发明的各个实施例尽管彼此不同,但是不必相互排斥。例如,在不脱离本发明的精神和范围的情形中,可以将本文描述的具体形状、结构和特性实施为从一个实施例修改为另一实施例。此外,应当理解,在不脱离本发明的精神和范围的情形中,也可以修改多个实施例中的每个实施例内的各个元件的位置或布置。因此,以下详细描述不应被视为具有限制意义,并且本发明的范围应被认为包含所附权利要求及其所有等同形式的范围。在附图中,贯穿几个视图,相似的附图标记指代相同或相似的元件。
在下文中,将参考附图详细描述本发明的各个优选实施例,以使本领域技术人员能够容易地实施本发明。
整体系统的配置
图1示意性示出根据本发明的一个实施例的用于计算感兴趣区域的空间坐标点的整体系统的配置。
如图1所示,根据本发明的一个实施例的整体系统可以包括通信网络100、位置计算系统200和多个图像模块300。
首先,根据本发明的一个实施例的通信网络100可以不考虑诸如有线和无线通信的通信模式而实施,并且可以由各种通信网络构造,诸如局域网(local area network,LAN)、城域网(metropolitan area network,MAN)和广域网(wide area network,WAN)。优选地,本文描述的通信网络100可以是因特网或万维网(WWW)。然而,通信网络100不必限于此,并且可以至少部分地包括已知的有线/无线数据通信网络,已知的电话网络或已知的有线/无线电视通信网络。
例如,通信网络100可以是无线数据通信网络,其至少一部分可以利用诸如无线电频率(radio frequency,RF)通信、WiFi通信、蜂窝通信(例如,长期演进(LTE)通信)、蓝牙通信(更具体地说是蓝牙低能耗(Bluetooth Low Energy,BLE)通信)、红外通信和超声通信。
接下来,根据本发明的一个实施例的位置计算系统200可以是具有存储装置和用于计算能力的微处理器的数字设备。位置计算系统200可以是服务器系统。
根据本发明的一个实施例,位置计算系统200可以用于:获取关于在分别由多个图像模块300拍摄的多个图像中的每个图像中包含的感兴趣区域的图像内坐标点的信息(将在以下描述);参考关于多个图像模块300中的至少一个图像模块被安装的位置的信息以及关于由至少一个图像模块拍摄的图像中包含的目标感兴趣区域的图像内坐标点的信息,指定包含目标感兴趣区域在参考空间中所处的位置的候选图形;以及参考目标感兴趣区域的与第一图像模块310相对应的第一候选图形和目标感兴趣区域的与第二图像模块320相对应的第二候选图形之间的位置关系,指定目标感兴趣区域在参考空间中所处的位置。
根据本发明的一个实施例的参考空间可以包括在坐标系中定义的空间,根据本发明的位置计算系统200相对于该空间计算感兴趣区域的空间坐标点。
以下将更详细地讨论根据本发明的位置计算系统200的配置和功能。同时,尽管已经如上描述了位置计算系统200,但是以上描述是说明性的,并且对于本领域技术人员而言显而易见的是,位置计算系统200所需要的功能或组件中的至少一部分可以根据需要实施或包含在外部系统(未显示)中。
接下来,根据本发明一个实施例的多个图像模块300可以经由通信网络100连接到位置计算系统200,并且可以用于指定分别由多个图像模块300拍摄的多个图像中包含的至少一个感兴趣区域,并提取关于指定的感兴趣区域的图像内坐标点的信息。
例如,根据本发明的一个实施例的多个图像模块300可以包括相机模块(例如二维、三维等)、图像或视频传感器等。
位置计算系统的配置
在下文中,将讨论对于实施本发明至关重要的位置计算系统200的内部配置及其各个组件的功能。
图2具体示出根据本发明的一个实施例的位置计算系统200的内部配置。
如图2所示,根据本发明的一个实施例的位置计算系统200可以包括信息获取单元210、空间坐标计算单元220、通信单元230和控制单元240。根据本发明的一个实施例,信息获取单元210、空间坐标计算单元220、通信单元230和控制单元240中的至少一些可以是与外部系统通信的程序模块。程序模块可以以操作系统、应用程序模块和其他程序模块的形式包括在位置计算系统200中,同时它们可以被物理地存储在各种公知的存储设备中。此外,程序模块也可以存储在可以与位置计算系统200通信的远程存储设备中。同时,这样的程序模块可以包括但不限于例程、子例程、程序、对象、组件、数据结构、用于执行特定任务或执行特定抽象数据类型的命令等,将在以下根据本发明进行描述。
首先,根据本发明的一个实施例的信息获取单元210可以用于获取关于在分别由多个图像模块300拍摄的多个图像中的每个图像中包含的感兴趣区域的图像内坐标点的信息。
具体地,根据本发明的一个实施例的多个图像模块300可以指定多个图像中的与感兴趣区域相对应的图像,并且提取关于所指定的感兴趣区域的图像内坐标点的信息。信息获取单元210可以从多个图像模块300中的每个图像模块获取关于感兴趣区域的图像内坐标点的提取信息。
例如,根据本发明的一个实施例,在分别由多个相机300拍摄的用户的身体的多个图像中,用户的预定身体部位(例如手、指尖、眼睛等)的图像可以被指定为感兴趣区域的图像。此外,根据本发明的一个实施例,多个相机300中的每个相机可以提取关于所指定感兴趣区域的二维或三维图像内坐标点的信息,并且信息获取单元210可以从多个相机300中的每个相机获取关于二维或三维坐标点的提取信息。根据本发明的一个实施例,关于感兴趣区域的二维或三维图像内坐标点的信息可以是从关于感兴趣区域的图像内像素或体素(voxel)的信息中获取。
接下来,根据本发明的一个实施例的空间坐标计算单元220可以用于参考关于多个图像模块300中的至少一个图像模块被安装的位置的信息以及关于由至少一个图像模块拍摄的图像中包含的目标感兴趣区域的图像内坐标点的信息,指定包含目标感兴趣区域在参考空间中所处的位置的候选图形。根据本发明的一个实施例的目标感兴趣区域可以指的是由多个图像模块300中的每个图像模块指定的多个感兴趣区域中的至少一个,或者可以包含在由多个图像模块300指定的多个感兴趣区域中由多个图像模块300的至少一些图像模块指定的感兴趣区域。此外,根据本发明的一个实施例的候选图形可以指点、线(其可以包括矢量)、表面、主体或其集合。
具体地,根据本发明的一个实施例的空间坐标计算单元220可以指定包含相对于在参考空间中至少一个图像模块被安装的位置目标感兴趣区域在参考空间中的位置的候选图形。
更具体地,当多个图像模块300中的第一图像模块310和第二图像模块320是二维图像模块时,根据本发明一个实施例的空间坐标计算单元220可以将与第一图像模块310和第二图像模块320的每个图像模块相对应的、包含目标感兴趣区域在参考空间中所处的位置的候选图形指定作为矢量。在这种情形中,根据本发明的一个实施例,可以建立矢量(vector),使得其初始点(或终点)位于相对应的图像模块被安装的位置在参考空间中的坐标点处,以及其终点(或初始点)位于相对于所述图像模块被安装的位置在参考空间中的坐标点从与所述图像模块相对应的目标感兴趣区域的图像内坐标点转换而来的坐标点。此外,当多个图像模块300中的第一图像模块310和第二图像模块320是三维图像模块时,根据本发明的一个实施例的空间坐标计算单元220可以将与第一图像模块310和第二图像模块320中的每个图像模块相对应的、包含目标感兴趣区域在参考空间中的位置的候选图形指定作为空间图形(例如立方体、长方体、球体等)。此外,当多个图像模块300中的第一图像模块310和第二图像模块320分别是三维图像模块和二维图像模块时,根据本发明的一个实施例的空间坐标计算单元220可以分别将与第一图像模块310和第二图像模块320相对应的、包含目标感兴趣区域在参考空间中所处的位置的候选图形指定作为空间图形和矢量。
此外,根据本发明的一个实施例的空间坐标计算单元220可以进一步参考关于多个图像模块300中的至少一个图像模块的性质的信息指定候选图形。根据本发明的一个实施例,至少一个图像模块的性质可以包括关于图像模块的分辨率、视角、焦距、对三维的支持等信息。
例如,根据本发明的一个实施例的空间坐标计算单元220可以参考关于多个图像模块300中的至少一个图像模块的视角、焦距等的信息,以确定关于转换角度(例如,旋转角度)、转换位置和转换形状(例如,当图像模块300是三维图像模块时的空间图形、或者当图像模块300是二维图像模块时的矢量)中的至少一个的信息,用于相对于至少一个图像模块被安装的位置在参考空间中的坐标点将目标感兴趣区域的与至少一个图像模块相对应的图像内坐标点转换为参考空间中的坐标点,从而指定与至少一个图像模块相对应的目标感兴趣区域在参考空间中所处的位置和包含该位置的候选图形。
同时,当确定多个图像模块300中的一些(例如,第三图像模块)难以获取关于目标感兴趣区域的图像内坐标点的信息时(例如,当感兴趣区域被用户遮挡且不可见时),根据本发明的一个实施例的空间坐标计算单元220可以参考关于多个图像模块300中除第三图像模块之外的图像模块被安装的位置的信息,以及关于由多个图像模块300中的除第三图像模块之外的图像模块拍摄的图像中包含的目标感兴趣区域的图像内坐标点的信息。
此外,根据本发明的一个实施例的空间坐标计算单元220可以用于参考目标感兴趣区域的与第一图像模块310相对应的第一候选图形和目标感兴趣区域的与第二图像模块320相对应的第二候选图形之间的位置关系,指定目标感兴趣区域在参考空间中所处的位置
例如,根据本发明的一个实施例,当第一图像模块310和第二图像模块320是二维图像模块时,可以将第一图像模块310和第二图像模块320的候选图形指定作为矢量,以及空间坐标计算单元220可以将目标感兴趣区域的与第一图像模块310相对应的第一矢量和目标感兴趣区域的与第二图像模块320相对应的第二矢量之间的相交点指定为目标感兴趣区域在参考空间中所处的位置。同时,根据本发明的一个实施例,当第一矢量和第二矢量不相交时,连接第一矢量和第二矢量的最短线的中点可以被指定为目标感兴趣区域在参考空间中所处的位置。
作为另一示例,根据本发明的一个实施例,当第一图像模块310和第二图像模块320是三维图像模块时,可以将第一图像模块310和第二图像模块320的候选图形指定作为空间图形,并且空间坐标计算单元220可以将目标感兴趣区域在参考空间中所处的位置指定作为目标感兴趣区域的与第一图像模块310相对应的第一空间图形和目标感兴趣区域的与第二图像模块320相对应的第二空间图形的相交区域。更具体地,根据本发明的一个实施例,当第一空间图形和第二空间图形彼此完全相交(即,重叠)时,第一空间图形或第二空间图形的平均坐标点可以被指定为目标感兴趣区域在参考空间中所处的位置。当第一空间图形和第二空间图形仅彼此部分相交时,连接第一空间图形和第二空间图形的平均坐标点的线的中点可以被指定为目标感兴趣区域在参考空间中所处的位置。
作为又一示例,参考图3,根据本发明的一个实施例,当第一图像模块310和第二图像模块320分别是三维图像模块和二维图像模块时,可以分别作为空间图形和矢量来指定第一图像模块310和第二图像模块320的候选图形,并且空间坐标计算单元220可以将目标感兴趣区域的与第一图像模块310相对应的第三空间图形331、332、333和目标感兴趣区域的与第二图像模块320相对应的第三矢量341、342、343之间的相交点指定为目标感兴趣区域在参考空间中所处的位置。更具体地,根据本发明的一个实施例,可以将连接第三矢量341和第三空间图形331的平均坐标点的最短线的中点指定为目标感兴趣区域在参考空间中所处的位置。
同时,根据本发明的一个实施例的空间坐标计算单元220可以进一步参考在关于图像模块性质的信息之中的分辨率信息,指定目标感兴趣区域在参考空间中所处的点。
具体地,根据本发明的一个实施例的空间坐标计算单元220可以根据图像模块的分辨率自适应地确定指示目标感兴趣区域在参考空间中所处的位置的候选图形的面积或体积。
例如,参考图4,根据本发明的一个实施例的空间坐标计算单元220可以参考关于第一图像模块310(其是三维图像模块)的分辨率的信息,以在参考空间中分别建立第一立方体401、第二立方体402和第三立方体403,对应于第一图像模块310的多个目标感兴趣区域的图像内坐标点,并且可以在第一图像模块310的分辨率较低时确定以上立方体(即第一立方体401、第二立方体402和第三立方体403)的体积较大。
作为另一示例,根据本发明的一个实施例的空间坐标计算单元220可以参考关于第二图像模块320(其是二维图像模块)的分辨率的信息,以在参考空间中分别建立第一四边形411、第二四边形421和第三四边形431,对应于第二图像模块320的多个目标感兴趣区域的图像内坐标点,并且可以在第二图像模块320的分辨率较低时确定以上四边形的面积较大。此外,在这种情形中,根据本发明的一个实施例,空间坐标计算单元220可以不使用以上描述的与第二图像模块320相对应的目标感兴趣区域的矢量,而代之以使用将在参考空间中第二模块320被安装的位置、与在参考空间中与目标感兴趣区域的图像内坐标点相对应的四边形相连接的四角锥(即第一四角锥、第二四角锥和第三四角锥),来指定目标感兴趣区域在参考空间中所处的位置。
同时,根据本发明可以在参考空间中对应于目标感兴趣区域的图像内坐标点而建立的表面的形状不限于如上描述的四边形,而是可以改变为圆形、三角形、五边形等,只要可以实现本发明的目的。根据本发明可以在参考空间中对应于目标感兴趣区域的图像内坐标点而建立的固体的形状不限于如上描述的立方体,而是可以改变为长方体、球体、椭圆体等。
此外,根据本发明的一个实施例的空间坐标计算单元220可以在第二图像模块320(或第一图像模块310)的至少一个候选图形之中,指定其位置关系将与第一图像模块310(或第二图像模块320)的第一候选图形相匹配的候选图形。
例如,参考图5,根据本发明的一个实施例的多个图像模块300中的至少一个图像模块可以基于帧彼此同步,并且空间坐标计算单元220可以基于第一图像模块310和第二图像模块320之间同步的每个帧,在第二图像模块320(或第一图像模块310)的至少一个候选图形521、522、523之中,指定其位置关系将与第一图像模块310(或第二图像模块320)的第一候选图形511相匹配的候选图形521。
作为另一示例,参考图6,由根据本发明的一个实施例的信息获取单元210获取的关于感兴趣区域的图像内坐标点的信息可以包括可以在图像模块或目标感兴趣区域之间进行区分的标识信息601、602、603、604、605、611、612、613、614、615。空间坐标计算单元220可以参考标识信息601、602、603、604、605、611、612、613、614、615,在第二图像模块320(或第一图像模块310)的至少一个候选图形611、612、613、614、615之中,指定其位置关系将与第一图像模块310(或第二图像模块320)的第一候选图形601相匹配的候选图形611。此外,根据本发明的一个实施例的标识信息可以包括关于在感兴趣区域的图像中指定的形状、颜色、温度、图案和标记(例如,表情符号(emoji)、QR码等)中的至少一个的信息。
作为又一示例,根据本发明的一个实施例,当第一图像模块310和第二图像模块320的候选图形不是一对一匹配时(例如,当第一图像模块的候选图形的数量不同于第二图像模块320的候选图形的数量时,或者当存在多对多关系时),空间坐标计算单元220可以通过指定第一图像模块310和第二图像模块320的候选图形之中的可以被分组的候选图形,在第二图像模块320(或第一图像模块310)的至少一个候选图形之中,指定将与第一图像模块310(或第二图像模块320)的第一候选图形相匹配的候选图形。
例如,参考图7至图9,当第一图像模块310和第二图像模块320的候选图形之间的匹配关系(在这种情形中为矢量或空间图形)不是一对一的关系时,根据本发明的一个实施例的空间坐标计算单元220可以对在与没有一对一匹配的矢量或空间图形的预定距离内的矢量或空间图形进行分组和匹配。
此外,根据本发明的一个实施例的空间坐标计算单元220可以参考与至少三个目标感兴趣区域相对应的坐标点,指定关于多个图像模块300的位置关系的信息。根据本发明的一个实施例,关于位置关系的信息可以包括关于在多个图像模块300之间形成的角度、在参考空间中多个图像模块300倾斜的角度以及多个图像模块300的拍摄方向的信息。
具体地,当从多个图像模块300中的每个图像模块获取关于至少三个目标感兴趣区域的图像内坐标点的信息时,根据本发明的一个实施例的空间坐标计算单元220可以参考与多个图像模块300相对应的目标感兴趣区域的候选图形之间的至少三个相交点(或相交区域),指定关于多个图像模块30的位置关系的信息。
例如,参考图10,根据本发明的一个实施例,当三个目标感兴趣区域的图像内坐标点分别是第一图像模块310中的第一至第三坐标点1001、1002、1003以及第二图像模块320中的第四至第六坐标点1004、1005、1006(第一图像模块和第二图像模块是二维图像模块)时,可以指定参考空间中的三个点,其中目标感兴趣区域的与第一图像模块310相对应的第一矢量1011、第二矢量1012和第三矢量1013相交于目标感兴趣区域的与第二图像模块320相对应的第四矢量1021、第五矢量1022和第六矢量1023,使得可以基于这三点指定第一图像模块310与第二图像模块310之间的位置关系。
作为另一示例,根据本发明的一个实施例,当三个目标感兴趣区域的图像内坐标点分别是第一图像模块310中的第七至第九坐标点以及第二图像模块320中的第十至第十二坐标点(第一图像模块和第二图像模块是三维图像模块)时,可以指定参考空间中的三个区域,其中目标感兴趣区域的与第一图像模块310相对应的第一空间图形、第二空间图形和第三空间图形相交于目标感兴趣区域的与第二图像模块320相对应的第四空间图、第五空间图和第六空间图,使得可以基于这三个区域指定在第一图像模块310和第二图像模块320之间的位置关系。
作为又一示例,根据本发明的一个实施例,当三个目标感兴趣区域的图像内坐标点分别是第一图像模块310中的第十三至第十五坐标点以及第二图像模块320中的第十六至第十八坐标点(第一图像模块和第二图像模块是二维和三维图像模块)时,可以指定参考空间中的三个点,其中目标感兴趣区域的与第一图像模块310相对应的第七矢量、第八矢量和第九矢量相交于目标感兴趣区域的与第二图像模块320相对应的第七空间图形、第八空间图形和第九空间图形,使得可以基于这三个点指定在第一图像模块310和第二图像模块320之间的位置关系。
接下来,根据本发明一个实施例的通信单元230可以用于使得能够从信息获取单元210和空间坐标计算单元220接收数据/向信息获取单元210和空间坐标计算单元220发送数据。
最后,根据本发明的一个实施例的控制单元240可以用于控制信息获取单元210、空间坐标计算单元220和通信单元230中的数据流。即根据本发明的控制单元240可以控制数据流入/流出位置计算系统200或在位置计算系统200的各个组件之间的数据流,使得信息获取单元210、空间坐标计算单元220和通信单元230可以分别执行它们具体的功能。
图11示意性示出根据本发明的一个实施例的位置计算系统200如何计算感兴趣区域的空间坐标点。
根据本发明的一个实施例,可以假设感兴趣区域的空间坐标点是由作为二维图像模块的第一图像模块310和第二图像模块320计算的。此外,在这种情形中,根据本发明的一个实施例的感兴趣区域可以是用户的手指枪的点1130。
首先,根据本发明的一个实施例,可以获取关于分别由第一图像模块310和第二图像模块320拍摄的多个图像中包含的感兴趣区域1130的图像内坐标点1110和1120的信息。即根据本发明的一个实施例,位置计算系统200不获取由第一图像模块310和第二图像模块320拍摄的图像,而是获取关于这些图像中包含的感兴趣区域的图像内坐标点的信息。
接下来,根据本发明的一个实施例,可以基于关于第一图像模块310和第二图像模块320被安装的位置的信息、以及关于由第一图像模块310和第二图像模块320拍摄的图像中包含的目标感兴趣区域1130的图像内坐标点1110和1120的信息,指定包含在参考空间中目标感兴趣区域1130所处的位置的矢量1140和1150。即根据本发明的一个实施例,可以分别指定在参考空间中目标感兴趣区域1130与第一图像模块310相对应的第一矢量1140和在参考空间中目标感兴趣区域1130与第二图像模块320相对应的第二矢量1150。
接下来,根据本发明的一个实施例,可以将第一矢量1140和第二矢量1150之间的相交点1160指定为目标感兴趣区域1130在参考空间中所处的位置。
接下来,根据本发明的一个实施例,位置计算系统200可以计算与参考空间中的指定位置相对应的坐标点1160,作为根据本发明的感兴趣区域1130的空间坐标点。
图12示意性示出根据本发明的一个实施例的如何使用关于物体的物理值的信息指定多个图像模块300的位置。
根据本发明的一个实施例的位置计算系统200可以参考关于物体在真实世界中的物理值的信息(例如物体的长度、大小、面积和体积),指定在参考空间中安装多个图像模块300的位置的坐标点。
例如,参考图12,当物体1250为四边形时,根据本发明的一个实施例的位置计算系统200可以通过将物体1250的每个角点确定为目标感兴趣区域以获取关于目标感兴趣区域的图像内坐标点1201、1202、1203、1204、1205、1206、1207和1208的信息,并且比较和分析所获取到的关于坐标点1201、1202、1203、1204、1205、1206、1207和1208的信息以及关于物体1250在真实世界中的物理值(例如宽度、深度、高度和角度)的信息,以指定在参考空间中第一图像模块310和第二图像模块320被安装的位置的坐标点。同时,根据本发明的一个实施例,位置计算系统200可以进一步参考关于物体1250的每个角点在参考空间中的坐标点的信息,指定在参考空间中第一图像模块310和第二图像模块320被安装的位置的坐标点。
如上描述的根据本发明的实施例可以程序指令的形式进行实施,该程序指令可以由各种计算机组件执行的并且可以被存储在计算机可读记录介质上。计算机可读记录介质可以单独地或组合地包括程序指令、数据文件和数据结构。存储在计算机可读记录介质上的程序指令可以针对本发明进行专门设计和配置,或者对于计算机软件领域的技术人员来说也是已知的和可用的。计算机可读记录介质的示例包括以下:诸如硬盘、软盘和磁带的磁性介质;诸如光盘只读存储器(CD-ROM)和数字通用磁盘(DVD)的光学介质;诸如软盘(floptical disk)的磁光介质(magneto-optical media);以及专门配置用于存储和执行程序指令的硬件设备,诸如只读存储器(ROM)、随机存取存储器(RAM)和闪存。程序指令的示例不仅包括由编译器创建的机器语言代码,而且包括可以由计算机使用解释器执行的高级语言代码。可以将以上硬件设备改变为一个或多个软件模块以执行本发明的处理,反之亦然。
尽管以上已经根据诸如详细元件以及受限制的实施例和附图的特定项描述了本发明,但是提供它们仅是为了帮助对本发明有更一般的理解,并且本发明不限于以上实施例。与本发明有关的本领域技术人员将理解的是,可以根据以上描述进行各种修改和改变。
因此,本发明的精神不限于以上描述的实施例,并且所附权利要求及其等同物的整体范围将落入本发明的范围和精神内。
Claims (14)
1.一种用于计算感兴趣区域的空间坐标点的方法,所述方法包括以下步骤:
获取关于在分别由多个图像模块拍摄的多个图像中的每个图像中包含的感兴趣区域的图像内坐标点的信息;
参考关于所述多个图像模块中的至少一个图像模块被安装的位置的信息以及关于在由所述至少一个图像模块拍摄的图像中包含的目标感兴趣区域的图像内坐标点的信息,指定包含所述目标感兴趣区域在参考空间中所处的位置的候选图形;以及
参考所述目标感兴趣区域的与第一图像模块相对应的第一候选图形和所述目标感兴趣区域的与第二图像模块相对应的第二候选图形之间的位置关系,指定所述目标感兴趣区域在所述参考空间中所处的所述位置。
2.根据权利要求1所述的方法,其中,在指定所述候选图形的步骤中,进一步参考所述至少一个图像模块的性质指定所述候选图形。
3.根据权利要求1所述的方法,其中,当所述第一图像模块和所述第二图像模块是二维图像模块时,将所述第一候选图形和第二候选图形指定作为矢量。
4.根据权利要求3所述的方法,其中,将所述目标感兴趣区域所处的所述位置指定作为所述目标感兴趣区域的与所述第一图像模块相对应的第一矢量和所述目标区域的与所述第二图像模块相对应的第二矢量之间的相交点。
5.根据权利要求1所述的方法,其中,当所述第一图像模块和所述第二图像模块是三维图像模块时,将所述第一候选图形和第二候选图形指定作为空间图形。
6.根据权利要求5所述的方法,其中,所述目标感兴趣区域所处的所述位置指定作为所述目标感兴趣区域的与所述第一图像模块相对应的第一空间图形和所述目标感兴趣区域的与所述第二图像模块相对应的第二空间图形之间的相交区域。
7.根据权利要求1所述的方法,其中,当所述第一图像模块和所述第二图像模块分别是三维图像模块和二维图像模块时,所述第一候选图形和第二候选图形分别指定作为空间图形和矢量。
8.根据权利要求7所述的方法,其中,将所述目标感兴趣区域所处的所述位置指定作为所述目标感兴趣区域的与所述第一图像模块相对应的空间图形和所述目标感兴趣区域的与所述第二图像模块相对应的矢量之间的相交点。
9.根据权利要求1所述的方法,其中,参考关于至少三个目标感兴趣区域的图像内坐标点的信息,指定关于所述多个图像模块之间的位置关系的信息。
10.根据权利要求1所述的方法,其中,基于在所述第一图像模块和所述第二图像模块之间同步的每个帧,将所述第一图像模块的所述第一候选图形和所述第二图像模块的所述第二候选图形彼此匹配。
11.根据权利要求1所述的方法,其中,关于所述目标感兴趣区域的所述图像内坐标点的所述信息包括在多个目标感兴趣区域之间可区分的标识信息,以及基于所述标识信息将所述第一图像模块的所述第一候选图形和所述第二图像模块的所述第二候选图形彼此匹配。
12.根据权利要求1所述的方法,其中,当所述第一图像模块的所述第一候选图形和所述第二图像模块的所述第二候选图形不是一对一匹配时,指定所述第一图像模块的所述第一候选图形和所述第二图像模块的所述第二候选图形之中的能够被分组的候选图形,并将所述候选图形彼此匹配。
13.一种非暂时性计算机可读记录介质,在所述非暂时性计算机可读记录介质上存储有用于执行权利要求1的方法的计算机程序。
14.一种用于计算感兴趣区域的空间坐标点的系统,所述系统包括:
信息获取单元,被配置为获取关于在分别由多个图像模块拍摄的多个图像中的每个图像中包含的感兴趣区域的图像内坐标点的信息;以及
空间坐标计算单元,被配置为参考关于所述多个图像模块中的至少一个图像模块被安装的位置的信息以及关于在由所述至少一个图像模块拍摄的图像中包含的目标感兴趣区域的图像内坐标点的信息,指定包含所述目标感兴趣区域在参考空间中所处的位置的候选图形,以及参考所述目标感兴趣区域的与第一图像模块相对应的第一候选图形和所述目标感兴趣区域的与第二图像模块相对应的第二候选图形之间的位置关系,指定所述目标感兴趣区域在所述参考空间中所处的所述位置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2018-0056039 | 2018-05-16 | ||
KR1020180056039A KR102072796B1 (ko) | 2018-05-16 | 2018-05-16 | 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
PCT/KR2018/010711 WO2019221340A1 (ko) | 2018-05-16 | 2018-09-12 | 관심 영역의 공간 좌표를 산출하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112313706A true CN112313706A (zh) | 2021-02-02 |
Family
ID=68540534
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880094998.2A Pending CN112313706A (zh) | 2018-05-16 | 2018-09-12 | 用于计算感兴趣区域的空间坐标点的方法和系统,以及非暂时性计算机可读记录介质 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11321867B2 (zh) |
EP (1) | EP3796258A4 (zh) |
JP (1) | JP7161550B2 (zh) |
KR (1) | KR102072796B1 (zh) |
CN (1) | CN112313706A (zh) |
WO (1) | WO2019221340A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591852A (zh) * | 2021-08-09 | 2021-11-02 | 数坤(北京)网络科技股份有限公司 | 感兴趣区域标记的方法和装置 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102409398B1 (ko) | 2020-09-15 | 2022-06-15 | 김학민 | 입체도형을 이용한 삼차원 공간 위치 좌표화 방법 |
CN113947758B (zh) * | 2021-12-16 | 2022-04-29 | 北京凯泰铭科技文化发展有限公司 | 一种基于景区棋盘划分的海绵体系的大数据方法和系统 |
CN114677429B (zh) * | 2022-05-27 | 2022-08-30 | 深圳广成创新技术有限公司 | 一种机械手的定位方法、装置、计算机设备和存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100836740B1 (ko) * | 2006-08-28 | 2008-06-10 | 계명대학교 산학협력단 | 영상 데이터 처리 방법 및 그에 따른 시스템 |
KR101285360B1 (ko) * | 2007-01-25 | 2013-07-11 | 삼성전자주식회사 | 증강현실을 이용한 관심 지점 표시 장치 및 방법 |
KR101681538B1 (ko) * | 2010-10-20 | 2016-12-01 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US9188973B2 (en) * | 2011-07-08 | 2015-11-17 | Restoration Robotics, Inc. | Calibration and transformation of a camera system's coordinate system |
KR101533319B1 (ko) * | 2014-02-22 | 2015-07-03 | 주식회사 브이터치 | 카메라 중심의 가상터치를 이용한 원격 조작 장치 및 방법 |
KR101712925B1 (ko) * | 2015-04-09 | 2017-03-07 | 한국항공대학교산학협력단 | 영상과 위치정보를 연계한 데이터베이스를 구축하는 방법, 상기 데이터베이스를 활용하여 측위하는 방법, 및 상기 방법들을 수행하는 전자 장치 |
KR20180016889A (ko) * | 2016-08-08 | 2018-02-20 | 한화테크윈 주식회사 | 영상 처리 장치 및 영상 처리 방법 |
-
2018
- 2018-05-16 KR KR1020180056039A patent/KR102072796B1/ko active IP Right Grant
- 2018-09-12 JP JP2020564363A patent/JP7161550B2/ja active Active
- 2018-09-12 CN CN201880094998.2A patent/CN112313706A/zh active Pending
- 2018-09-12 WO PCT/KR2018/010711 patent/WO2019221340A1/ko unknown
- 2018-09-12 EP EP18919225.5A patent/EP3796258A4/en active Pending
-
2020
- 2020-11-13 US US17/097,300 patent/US11321867B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113591852A (zh) * | 2021-08-09 | 2021-11-02 | 数坤(北京)网络科技股份有限公司 | 感兴趣区域标记的方法和装置 |
CN113591852B (zh) * | 2021-08-09 | 2022-08-23 | 数坤(北京)网络科技股份有限公司 | 感兴趣区域标记的方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
US11321867B2 (en) | 2022-05-03 |
EP3796258A4 (en) | 2022-02-23 |
US20210065397A1 (en) | 2021-03-04 |
KR102072796B1 (ko) | 2020-02-03 |
KR20190131320A (ko) | 2019-11-26 |
WO2019221340A1 (ko) | 2019-11-21 |
JP2021523488A (ja) | 2021-09-02 |
JP7161550B2 (ja) | 2022-10-26 |
KR102072796B9 (ko) | 2021-10-27 |
EP3796258A1 (en) | 2021-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11321867B2 (en) | Method and system for calculating spatial coordinates of region of interest, and non-transitory computer-readable recording medium | |
US9558557B2 (en) | Online reference generation and tracking for multi-user augmented reality | |
EP3251090B1 (en) | Occlusion handling for computer vision | |
US20150248584A1 (en) | Determination of position from images and associated camera positions | |
GB2520338A (en) | Automatic scene parsing | |
JP6609640B2 (ja) | 電子デバイス上における環境マッピング用のフィーチャ・データの管理 | |
CN109357679B (zh) | 一种基于显著性特征识别的室内定位方法 | |
CN107977977A (zh) | 一种vr游戏的室内定位方法、装置以及存储介质 | |
CN108668069B (zh) | 一种图像背景虚化方法及装置 | |
CN106033601A (zh) | 检测异常情形的方法和装置 | |
CN112348887A (zh) | 终端位姿确定方法以及相关装置 | |
Yeh et al. | 3D reconstruction and visual SLAM of indoor scenes for augmented reality application | |
CN111539990A (zh) | 运动物体位置检测方法、装置、设备及介质 | |
Poostchi et al. | Spatial pyramid context-aware moving vehicle detection and tracking in urban aerial imagery | |
US11080884B2 (en) | Point tracking using a trained network | |
CN109242900B (zh) | 焦平面定位方法、处理装置、焦平面定位系统及存储介质 | |
CN113409358A (zh) | 图像跟踪方法、装置、存储介质及电子设备 | |
CN113570535A (zh) | 视觉定位方法及相关装置、设备 | |
Xiong et al. | Depth space partitioning for omni-stereo object tracking | |
CN109272041B (zh) | 特征点的选取方法及装置 | |
KR102407802B1 (ko) | 인공신경망 학습 기반의 실내외 3차원 좌표 및 방위 추정 장치 | |
CN109727269A (zh) | 一种基于单目视觉和道路地图的匹配定位方法 | |
Li | A new efficient pose estimation and tracking method for personal devices: application to interaction in smart spaces | |
Zhang | 3D Pedestrian Tracking and Virtual Reconstruction of Ceramic Vessels Using Geometric and Color Cues | |
CN117057086A (zh) | 基于目标识别与模型匹配的三维重建方法、装置及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |