CN113658251A - 测距方法、装置、电子设备、存储介质及系统 - Google Patents
测距方法、装置、电子设备、存储介质及系统 Download PDFInfo
- Publication number
- CN113658251A CN113658251A CN202110984297.XA CN202110984297A CN113658251A CN 113658251 A CN113658251 A CN 113658251A CN 202110984297 A CN202110984297 A CN 202110984297A CN 113658251 A CN113658251 A CN 113658251A
- Authority
- CN
- China
- Prior art keywords
- distance
- target object
- mode
- ranging
- monocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000005259 measurement Methods 0.000 claims abstract description 154
- 230000000007 visual effect Effects 0.000 claims description 90
- 238000001514 detection method Methods 0.000 claims description 28
- 238000004891 communication Methods 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000011109 contamination Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 230000033001 locomotion Effects 0.000 description 5
- 238000005265 energy consumption Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 2
- 238000005034 decoration Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
本公开实施例提供一种测距方法、装置、电子设备、存储介质及系统。该方法包括:先采用单目测距方式对目标对象进行测距,得到目标对象的第一距离,再基于第一距离确定是否需要将当前采用的单目测距方式切换为双目测距方式来对目标对象进行测距。由于单目测距方式的测距稳定性较高,双目测距方式的测距准确度较高,上述测距方式能够在不同的距离范围内适应性地采取不同的测距方式对目标对象进行测距,同时兼顾了单目测距方式和双目测距方式的优点,提高了测距稳定性和测距准确度。
Description
技术领域
本公开涉及计算机视觉技术领域,尤其涉及一种测距方法、装置、电子设备、存储介质及系统。
背景技术
在日常生活中,常常需要对目标对象进行测距。传统的测距方式包括单目测距方式和双目测距方式,单目测距方式虽然能够获取较稳定的测距结果,但是测试准确度较低;双目测距方式虽然测距准确度高,但是测距结果稳定性较低。可见,传统的测距方式无法兼顾测距稳定性和测距准确性。
发明内容
本公开提供一种测距方法、装置、电子设备、存储介质及系统,能够解决传统的测距方式无法兼顾测距稳定性和测距准确性的技术问题。
第一方面,本公开实施例提供一种测距方法,应用于包括第一视觉传感器和第二视觉传感器的测距系统,所述第一视觉传感器的视野范围和所述第二视觉传感器的视野范围至少部分重叠;所述方法包括:采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离;基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式;采用确定后的测距方式对所述目标对象进行测距。
在一些实施例中,所述采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离,包括:在所述第一视觉传感器采集的图像中搜索所述目标对象,并对搜索到的目标对象进行跟踪;在跟踪过程中,采用单目测距方式对所述目标对象进行测距,并持续更新所述目标对象的距离和位置;所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:在所述目标对象的位置处于所述视野重叠范围内的情况下,基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述在所述第一视觉传感器采集的图像中搜索所述目标对象,并对搜索到的目标对象进行跟踪,包括:对所述目标对象进行头肩检测,获取头肩检测结果,所述头肩检测结果包括所述目标对象的头部关键点的位置和所述目标对象的肩部关键点的位置;基于所述头肩检测结果确定所述目标对象与所述第一视觉传感器之间的相对角度;基于所述相对角度,并采用头肩跟踪模型跟踪所述目标对象,并为所述目标对象分配唯一标识。
在一些实施例中,所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:在所述第一距离大于或等于预设距离阈值的情况下,继续采用单目测距方式对所述目标对象进行测距;在所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述测距系统安装于电子设备上;所述在所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式,包括:在所述第一距离小于预设距离阈值,且满足预设条件的情况下,将所述单目测距方式切换为双目测距方式;在所述第一距离小于预设距离阈值,且不满足所述预设条件的情况下,继续采用单目测距方式对所述目标对象进行测距;所述预设条件包括:所述电子设备的剩余电量大于或等于预设电量阈值,和/或所述目标对象的移动速度大于或等于预设速度阈值。
在一些实施例中,所述目标对象在所述视野重叠范围内的任意位置处的距离均小于预设距离阈值;所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:响应于所述目标对象进入所述视野重叠范围内,将所述测距方式切换为双目测距方式;和/或响应于所述目标对象离开所述视野重叠范围内,将所述测距方式切换为单目测距方式。
在一些实施例中,所述测距系统安装于电子设备上;所述采用确定后的测距方式对所述目标对象进行测距,包括:在所述目标对象的移动方向为朝向所述电子设备的情况下,每隔第一时间间隔采用确定后的测距方式对所述目标对象进行测距;在所述目标对象的移动方向为背离所述电子设备的情况下,每隔第二时间间隔采用确定后的测距方式对所述目标对象进行测距;所述第二时间间隔小于所述第一时间间隔。
在一些实施例中,所述方法还包括:从所述第一视觉传感器采集的第一图像中确定候选对象,并检测所述候选对象的人脸朝向;在所述人脸朝向与所述目标对象指向所述第一视觉传感器的方向之间的夹角小于预设角度阈值的情况下,将所述候选对象确定为所述目标对象。
在一些实施例中,所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:将多个目标对象中距离大于或等于预设距离阈值的第一目标对象的测距方式切换为双目测距方式;将所述多个目标对象中距离小于预设距离阈值的第二目标对象的测距方式保持为单目测距方式。
在一些实施例中,所述方法还包括:获取所述第一视觉传感器在第一视野范围下采集的第一图像;获取用户基于所述第一图像发送的调整指令;基于所述调整指令调整所述第一视觉传感器的第一视野范围。
在一些实施例中,所述采用确定后的测距方式对所述目标对象进行测距,包括:基于目标对象的移动速度预测将对目标对象的当前测距方式进行切换的目标时刻;在所述目标时刻对目标对象的测距方式进行切换。
在一些实施例中,所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:获取所述单目测距方式的置信度,所述置信度与第一视觉传感器的镜头脏污程度、环境亮度、第一视觉传感器中目标对象被遮挡的程度中至少一项因素相关;基于所述置信度和所述第一距离确定是否将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述基于所述置信度和所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:在所述置信度大于或等于预设置信度阈值,且所述第一距离大于或等于预设距离阈值的情况下,继续采用单目测距方式对所述目标对象进行测距;在所述置信度小于预设置信度阈值,或者所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述测距系统应用于可移动设备;在采用确定后的测距方式对所述目标对象进行测距之后,所述方法还包括:基于测距结果调整所述可移动设备的移动速度和/或对所述可移动设备的行驶轨迹进行规划。
第二方面,本公开实施例提供一种测距装置,应用于包括第一视觉传感器和第二视觉传感器的测距系统,所述第一视觉传感器的视野范围和所述第二视觉传感器的视野范围至少部分重叠;所述装置包括:第一测距模块,用于采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离;确定模块,用于基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式;第二测距模块,用于采用确定后的测距方式对所述目标对象进行测距。
在一些实施例中,所述第一测距模块包括:跟踪单元,用于在所述第一视觉传感器采集的图像中搜索所述目标对象,并对搜索到的目标对象进行跟踪;更新单元,用于在跟踪过程中,采用单目测距方式对所述目标对象进行测距,并持续更新所述目标对象的距离和位置;所述确定模块用于:在所述目标对象的位置处于所述视野重叠范围内的情况下,基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述跟踪单元用于:对所述目标对象进行头肩检测,获取头肩检测结果,所述头肩检测结果包括所述目标对象的头部关键点的位置和所述目标对象的肩部关键点的位置;基于所述头肩检测结果确定所述目标对象与所述第一视觉传感器之间的相对角度;基于所述相对角度,并采用头肩跟踪模型跟踪所述目标对象,并为所述目标对象分配唯一标识。
在一些实施例中,所述确定模块用于:在所述第一距离大于或等于预设距离阈值的情况下,继续采用单目测距方式对所述目标对象进行测距;在所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述确定模块用于:在所述第一距离小于预设距离阈值,且满足预设条件的情况下,将所述单目测距方式切换为双目测距方式;在所述第一距离小于预设距离阈值,且不满足所述预设条件的情况下,继续采用单目测距方式对所述目标对象进行测距;所述预设条件包括:所述电子设备的剩余电量大于或等于预设电量阈值,和/或所述目标对象的移动速度大于或等于预设速度阈值。
在一些实施例中,所述目标对象在所述视野重叠范围内的任意位置处的距离均小于预设距离阈值;所述确定模块用于:响应于所述目标对象进入所述视野重叠范围内,将所述测距方式切换为双目测距方式;和/或响应于所述目标对象离开所述视野重叠范围内,将所述测距方式切换为单目测距方式。
在一些实施例中,所述测距系统安装于电子设备上;所述第二测距模块用于:在所述目标对象的移动方向为朝向所述电子设备的情况下,每隔第一时间间隔采用确定后的测距方式对所述目标对象进行测距;在所述目标对象的移动方向为背离所述电子设备的情况下,每隔第二时间间隔采用确定后的测距方式对所述目标对象进行测距;所述第二时间间隔小于所述第一时间间隔。
在一些实施例中,所述装置还包括:人脸朝向检测模块,用于从所述第一视觉传感器采集的第一图像中确定候选对象,并检测所述候选对象的人脸朝向;目标对象确定模块,用于在所述人脸朝向与所述目标对象指向所述第一视觉传感器的方向之间的夹角小于预设角度阈值的情况下,将所述候选对象确定为所述目标对象。
在一些实施例中,所述确定模块用于:将多个目标对象中距离大于或等于预设距离阈值的第一目标对象的测距方式切换为双目测距方式;将所述多个目标对象中距离小于预设距离阈值的第二目标对象的测距方式保持为单目测距方式。
在一些实施例中,所述装置还包括:第一获取模块,用于获取所述第一视觉传感器在第一视野范围下采集的第一图像;第二获取模块,用于获取用户基于所述第一图像发送的调整指令;视野调整模块,用于基于所述调整指令调整所述第一视觉传感器的第一视野范围。
在一些实施例中,所述第二测距模块用于:基于目标对象的移动速度预测将对目标对象的当前测距方式进行切换的目标时刻;在所述目标时刻对目标对象的测距方式进行切换。
在一些实施例中,所述确定模块用于:获取所述单目测距方式的置信度,所述置信度与第一视觉传感器的镜头脏污程度、环境亮度、第一视觉传感器中目标对象被遮挡的程度中至少一项因素相关;基于所述置信度和所述第一距离确定是否将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述确定模块用于:在所述置信度大于或等于预设置信度阈值,且所述第一距离大于或等于预设距离阈值的情况下,继续采用单目测距方式对所述目标对象进行测距;在所述置信度小于预设置信度阈值,或者所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述测距系统应用于可移动设备;所述装置还包括:
速度调整模块,用于基于测距结果调整所述可移动设备的移动速度和/或轨迹规划模块,用于对所述可移动设备的行驶轨迹进行规划。
第三方面,本公开实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现任一实施例所述的方法。
第四方面,本公开实施例提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现任一实施例所述的方法。
第五方面,本公开实施例提供一种测距系统,所述系统包括:视野范围至少部分重叠的第一视觉传感器和第二视觉传感器,分别用于采集目标对象的图像;以及分别与所述第一视觉传感器和所述第二视觉传感器通信连接的处理器,用于:采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离;基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式;采用确定后的测距方式对所述目标对象进行测距;其中,所述处理器基于所述第一视觉传感器采集的图像进行单目测距,并基于所述第一视觉传感器采集的图像和所述第二视觉传感器采集的图像进行双目测距。
本公开实施例先采用单目测距方式对目标对象进行测距,得到目标对象的第一距离,再基于第一距离确定是否需要将当前采用的单目测距方式切换为双目测距方式来对目标对象进行测距。由于单目测距方式的测距稳定性较高,双目测距方式的测距准确度较高,上述测距方式能够在不同的距离范围内适应性地采取不同的测距方式对目标对象进行测距,同时兼顾了单目测距方式和双目测距方式的优点,提高了测距稳定性和测距准确度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1是本公开实施例的测距方法的流程图。
图2是本公开实施例的视觉传感器的视野范围的示意图。
图3是本公开实施例的根据人脸朝向确定目标对象的示意图。
图4是本公开实施例的不同目标对象的测距方式的示意图。
图5是本公开实施例的测距时间间隔的示意图。
图6是本公开实施例的动态切换过程的示意图。
图7A和图7B分别是本公开实施例的应用场景的示意图。
图8是本公开实施例的测距装置的框图。
图9是本公开实施例的计算机设备的结构示意图。
图10是本公开实施例的测距系统的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使本技术领域的人员更好的理解本公开实施例中的技术方案,并使本公开实施例的上述目的、特征和优点能够更加明显易懂,下面结合附图对本公开实施例中的技术方案作进一步详细的说明。
传统的测距方式包括单目测距方式和双目测距方式。单目测距方式基于单个视觉传感器采集的图像进行测距,测量得到的目标对象的距离d可记为:
其中,f为视觉传感器的焦距,w为目标对象的实际宽度,w′为目标对象在视觉传感器所采集的图像中的像素宽度。单目测距方式测距范围较大,在超过一定测距范围的情况下,测距准确度不会显著下降,测距结果稳定,但是测试准确度较低。
双目测距方式基于两个视觉传感器采集的图像进行测距,测量得到的目标对象的距离d可记为:
其中,b为两个视觉传感器的基线长度,dis为两个视觉传感器的视差。双目测距方式测距准确度高,但是测距范围小。这里的测距范围小是指在超过一定测距范围的情况下,双目测距的误差增大,测距结果不稳定,因此,双目测距方式通常被用于对一定距离范围以内的对象进行测距。
相关技术中,一般是固定地采用单目测距方式或者双目测距方式,并依据所采用的测距方式来进行硬件部署,即,在采用单目测距方式的设备上部署单个视觉传感器,在采用双目测距方式的设备上部署两个视觉传感器,硬件部署方式和硬件成本固定。在部署完成后,测距准确度和测距稳定性也相对固定。在部署单目视觉传感器的设备上,难以获得较高的测距准确度;而在部署双目视觉传感器的设备上,难以获得较大的测距稳定性。综上所述,相关技术中的测距方式无法兼顾测距稳定性和测距准确性。
基于此,本公开实施例提供一种测距方法,所述方法应用于包括第一视觉传感器和第二视觉传感器的测距系统,所述第一视觉传感器的视野范围和所述第二视觉传感器的视野范围至少部分重叠。参见图1,所述方法包括:
步骤101:采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离;
步骤102:基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式;
步骤103:采用确定后的测距方式对所述目标对象进行测距。
本公开实施例的方法应用于包括两个视觉传感器的测距系统,参见图2,所述两个视觉传感器包括第一视觉传感器C1和第二视觉传感器C2,其中,第一视觉传感器C1可以是测距系统中的任意一个视觉传感器,第二视觉传感器C2是测距系统中除第一视觉传感器C1以外的另一个视觉传感器。在一些场景下,可将C1或C2作为单目视觉传感器独立使用;在另一些场景下,也可以将C1和C2作为双目视觉传感器共同使用。C1的视野范围为直线A1C1与直线A2C1之间的区域R1,C2的视野范围为直线B1C2与直线B2C2之间的区域R2,且R1和R2至少部分重叠,重叠部分(称为视野重叠范围)如图中灰色区域R3所示。在一些实施例中,R1和R2也可以完全重叠,即,两个视觉传感器的视野范围完全相同。在R1中除R3以外的区域以及R2中除R3以外的区域内,该测距系统可以通过单目测距方式进行测距。在R3区域内,该测距系统可以根据不同的条件选用单目测距方式或者双目测距方式。下面重点对R3区域内的目标对象的测距方式进行说明。
在一些实施例中,第一视觉传感器C1的第一视野范围R1和第二视觉传感器C2的第二视野范围R2中的至少一者可调。由于R1和R2的调整方式相同,此处以R1为例进行说明,R2的调整方式可参照R1,此处不再赘述。
例如,可以直接接收调整指令,并基于调整指令调整第一视觉传感器的第一视野范围。所述调整指令中可以包括第一视觉传感器的视场角(Flight of Sight,FOV)、焦距和/或位姿的调整量,或者包括第一视觉传感器调整后的视场角、焦距和/或位姿。
在接收调整指令前,还可以采集并展示所述第一视觉传感器在第一视野范围下采集的第一图像,从而使用户能够直观地观察到第一视觉传感器当前的第一视野范围,以便于对第一视野范围进行调整。然后,可以接收用户基于所述第一图像发送的调整指令,并基于调整指令调整第一视觉传感器的第一视野范围。
通过调整第一视野范围,可以使预设区域落入调整后的第一视野范围内,所述预设区域可以是需要监控的重点区域,或者是其他的区域。通过调整第一视野范围,也可以获取大小适宜的第一视野范围。例如,在当前的第一视野范围过小的情况下,可以增大第一视野范围;在当前的第一视野范围过大的情况下,可以减小第一视野范围。
在步骤101中,先采用单目测距方式对目标对象进行测距,能够以较低的能耗和较大的测距范围大致对目标对象的第一距离进行估计。可以使用头肩检测模型,当目标对象进入到第一视觉传感器的视野范围内后,先采用单目测距方法,在第一视觉传感器的视野范围内搜索目标对象的位置,并锁定第一视觉传感器的视野范围内的所有目标对象,为每个目标对象输出标识信息及距离信息。采用头肩检测模型的优点是,在存在肢体大面积遮挡的情况下依然可以较为准确地找到目标对象,减少漏检情况。头肩检测模型可以输出头肩检测结果,包括目标对象的头部关键点以及肩部关键点的位置。还可以基于所述头肩检测结果确定所述目标对象与所述第一视觉传感器之间的相对角度,通过所述相对角度来表征位置。其中,通过头部关键点的位置可以计算出目标对象与第一视觉传感器之间的相对角度(目标对象与第一视觉传感器所在直线与第一视觉传感器的光轴之间的偏移角度)。在目标对象移动的过程中,可以基于所述相对角度,并采用头肩跟踪模型跟踪所述目标对象,并为所述目标对象分配唯一标识(ID)。
对于某一类别的目标对象(例如,人),在该目标对象的距离为一定值时,该目标对象在第一图像中所占的像素点的数量一般是相对固定的,而该目标对象的距离越远,在第一图像中所占的像素点的数量越少。因此,可以基于目标对象在第一视觉传感器采集的第一图像中所占的像素点的数量来确定所述第一距离。在所占的像素点的数量超过一定数量阈值的情况下,确定所述第一距离小于预设距离阈值;在所占的像素点的数量未超过一定数量阈值的情况下,确定所述第一距离大于或等于预设距离阈值。
目标对象可以包括但不限于人、动物、车辆等可以自主或者在外力作用下移动的对象。目标对象的数量可以是1,也可以大于1。在目标对象的数量大于1的情况下,可以采用不同的测距方式对不同的目标对象进行测距。在视野重叠范围内包括一个以上对象(例如,人)的情况下,可以仅将其中的部分对象作为目标对象,也可以将所有对象均作为目标对象。
在一些实施例中,可以基于视野重叠范围内各对象的特征,从各对象中确定目标对象。所述特征包括但不限于颜色、尺寸、移动速度、形状等中的至少一种特征。通过这种方式,可以对具有特定特征的目标对象进行测距。例如,可以获取第一视觉传感器采集的第一图像,检测第一图像中各候选对象的特征,将与特定特征相似度大于预设相似度阈值的特征对应的候选对象确定为目标对象。
在一些实施例中,可以基于视野重叠范围内各对象的类别,从各对象中确定目标对象。所述类别包括但不限于人、交通工具、随身物品等,其中,各类别的对象又可以进一步细分为多个子类。例如,类别为人的对象可以进一步划分为男人、女人、老人、小孩等子类;类别为交通工具的对象可以进一步划分为轿车、电动车、货车、公交车等子类;类别为随身物品的对象可以进一步划分为行李箱、钱包、手机等子类。例如,可以获取第一视觉传感器采集的第一图像,识别第一图像中各候选对象的类别,将指定类别的候选对象确定为目标对象。
在一些实施例中,可以基于视野重叠范围内各对象的移动方向,从各对象中确定目标对象。例如,将朝向安装有测距系统的电子设备移动的对象确定为目标对象,将未朝向电子设备移动的对象确定为除目标对象以外的对象。
在目标对象为人的情况下,可以从所述第一视觉传感器采集的第一图像中确定候选对象,并检测所述候选对象的人脸朝向。在所述人脸朝向与所述目标对象指向所述第一视觉传感器的方向之间的夹角小于预设角度阈值的情况下,说明候选对象朝向电子设备移动,从而将所述候选对象确定为所述目标对象。在所述人脸朝向与所述目标对象指向所述第一视觉传感器的方向之间的夹角大于或等于预设角度阈值的情况下,说明候选对象背离电子设备移动,或者朝向电子设备所在方向以外的其他方向移动,从而将所述候选对象确定为所述目标对象以外的对象。其中,可以预先定义人脸朝向与所述目标对象指向所述第一视觉传感器的方向之间的夹角的取值范围在0到180度之间。
如图3所示,假设所述目标对象指向所述第一视觉传感器C1的方向如虚线箭头所示。各个目标对象M1、M2和M3的人脸朝向如实线箭头所示,所述预设角度阈值可以设置为45°。可以看出,M1的人脸朝向与所述目标对象指向所述第一视觉传感器C1的方向之间的夹角θ1小于45°,M2的人脸朝向与所述目标对象指向所述第一视觉传感器C1的方向之间的夹角θ2以及M3的人脸朝向与所述目标对象指向所述第一视觉传感器C1的方向之间的夹角θ3均大于45°,因此,可以确定M1朝向电子设备移动,M2和M3未朝向电子设备移动,从而将M1确定为目标对象。
可以通过人体关键点检测确定候选对象的人脸朝向。例如,可以对人脸关键点(例如,左眼关键点、右眼关键点、鼻子关键点、嘴唇关键点等)进行检测,并基于检测到的人脸关键点确定人脸朝向。例如,在检测到的左眼关键点且检测到右眼关键点的情况下(例如图3中的目标对象M1),确定人脸朝向为面向电子设备;在仅检测到左眼关键点或者仅检测到右眼关键点的情况下(例如图3中的目标对象M2),确定人脸朝向为侧面朝向电子设备;在未检测到左眼关键点且未检测到右眼关键点的情况下(例如图3中的目标对象M3),确定人脸朝向为背向电子设备。除了根据眼部关键点确定人脸朝向之外,还可以基于人脸的其他关键点,或者基于眼部关键点与其他关键点的组合来确定人脸朝向。还可以采用除人体关键点检测之外的其他方式确定人脸朝向,本公开对此不做限制。
通过上述实施例,可以根据实际需要有针对性地选取部分对象作为目标对象进行测距,从而降低了测距过程中的资源消耗。
在步骤102中,可以单独基于上一步获取的第一距离确定是否切换测距方式,或者结合第一距离以及其他条件共同确定是否切换测距方式。
在单独基于第一距离确定是否切换测距方式的实施例中,由于双目测距方式在一定距离范围内(例如,3米)的测距准确度高于单目测距,因此,可以在所述第一距离大于或等于预设距离阈值的情况下,继续采用单目测距方式对所述目标对象进行测距;而在所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式。这样,既能够在目标对象距离较远时获得较高的测距稳定性,又能够在目标对象距离较近时获得较高的测距准确性。
如果所述视野重叠范围内的任意物点的距离小于预设距离阈值,则说明只要目标对象进入所述视野重叠范围内,即可将所述单目测距方式切换为双目测距方式来对目标对象进行测距。只要目标对象离开所述视野重叠范围,即可通过单目测距方式对所述目标对象进行测距。这样,无需对目标对象进行测距,只需要检测目标对象的位置即可确定对目标对象采用的测距方式。可以通过调整第一视觉传感器和/或第二视觉传感器的位姿、焦距等参数,使所述视野重叠范围内的任意物点的距离小于所述预设距离阈值。
在结合第一距离以及其他条件共同确定是否切换测距方式的实施例中,所述其他条件可包括但不限于安装有测距系统的电子设备的剩余电量、视野重叠范围内各子区域所需的目标测距准确度、目标对象的移动速度、单目测距方式的置信度等条件中的至少一者。
在所述其他条件包括电子设备的剩余电量的情况下,由于双目测距方式的能耗一般高于单目测距方式的能耗,因此,为了降低能耗,提高电子设备的续航能力,即便所述第一距离小于预设距离阈值,只要所述电子设备的剩余电量小于预设电量阈值,就继续采用单目测距方式对所述目标对象进行测距,只有在电子设备的剩余电量大于或等于预设电量阈值以及第一距离小于预设距离阈值这两个条件同时满足的情况下,才将所述单目测距方式切换为双目测距方式,从而提高测距准确度。
在所述其他条件包括目标对象的移动速度的情况下,对于高速移动的目标对象,往往要求较高的测距准确度。例如,在自动驾驶场景下,需要对周围高速行驶的车辆进行准确测距,以在路径规划过程中有效避开这些高速行驶的车辆,避免车辆相撞,从而提高自动驾驶的安全性。因此,即便所述第一距离小于预设距离阈值,只要所述目标对象的移动速度小于预设速度阈值,就继续采用单目测距方式对所述目标对象进行测距,只有在所述第一距离小于预设距离阈值以及所述目标对象的移动速度大于或等于预设速度阈值这两个条件同时满足的情况下,才将所述单目测距方式切换为双目测距方式。
在一些实施例中,每次测距时可以通过相应的视觉传感器连续采集多张图像,基于多张图像的采集时间间隔以及目标对象在多张图像中的位移确定目标对象的移动速度。
在所述其他条件包括单目测距方式的置信度的情况下,即便所述第一距离大于或等于预设距离阈值,只要单目测距方式的置信度小于预设置信度阈值,就将所述单目测距方式切换为双目测距方式。只有在所述第一距离小于预设距离阈值以及单目测距方式的置信度大于或等于预设置信度阈值这两个条件同时满足的情况下,才继续采用单目测距方式对所述目标对象进行测距。
其中,置信度用于表示单目测距方式得到的单目测距结果的可信程度。置信度与第一视觉传感器的镜头脏污程度、环境亮度、第一视觉传感器中目标对象被遮挡的程度等因素相关。置信度与镜头脏污程度反相关,且与第一视觉传感器中目标对象被遮挡的程度反相关。在环境亮度小于预设亮度值的情况下,置信度与环境亮度正相关,在环境亮度大于或等于预设亮度值的情况下,置信度与环境亮度反相关。本实施例在单目测距置信度较低时切换到双目测距方式,能够在单目测距的可信度较低时,通过双目测距提高测距的可信度,减少镜头脏污等情况对测距结果的影响,从而提高测距稳定性。
本公开实施例还可以同时基于两种以上的条件以及第一距离确定是否将单目测距方式切换为双目测距方式,例如,在第一距离小于预设距离阈值,电子设备的剩余电量大于或等于预设电量阈值,以及目标对象的移动速度大于或等于预设速度阈值这三个条件同时满足的情况下,才将所述单目测距方式切换为双目测距方式,如果上述三个条件中的任意一个条件不满足,则继续采用单目测距方式对所述目标对象进行测距。
在步骤103中,在目标对象数量大于1的情况下,可以分别为各个目标对象确定测距方式。例如,将多个目标对象中距离大于或等于预设距离阈值的第一目标对象的测距方式切换为双目测距方式;将所述多个目标对象中距离小于预设距离阈值的第二目标对象的测距方式保持为单目测距方式。参见图4,目标对象M1的距离d1小于预设距离阈值,因此对M1采用双目测距方式进行测距;目标对象M2的距离d2大于预设距离阈值,因此对M2采用单目测距方式进行测距。这样,使得测距方式与各个目标对象的属性相匹配,提高了目标对象的测距准确性。所述属性除了目标对象的距离之外,还可包括前述实施例中的目标对象的移动速度、单目测距的置信度等,此处不再展开说明。
在一些实施例中,还可以基于目标对象的移动速度预测将对目标对象的当前测距方式进行切换的目标时刻,在所述目标时刻对目标对象的测距方式进行切换。具体地,包括预测将对目标对象的测距方式从单目测距方式切换为双目测距方式的第一时刻,并在第一时刻将对目标对象的测距方式从单目测距方式切换为双目测距方式。还包括将对目标对象的测距方式从双目测距方式切换为单目测距方式的第二时刻,并在第二时刻将对目标对象的测距方式从双目测距方式切换为单目测距方式。
例如,在目标对象朝向视觉传感器移动,且目标对象的当前距离大于或等于预设距离阈值的情况下,可以基于所述目标对象的移动速度预测所述目标对象的距离小于预设距离阈值的目标时刻;在所述目标时刻切换到双目测距方式对所述目标对象进行测距。在目标对象背离视觉传感器移动,且目标对象的当前距离小于预设距离阈值的情况下,可以基于所述目标对象的移动速度预测所述目标对象的距离大于或等于预设距离阈值的目标时刻;在所述目标时刻切换到单目测距方式对所述目标对象进行测距。在目标对象的移动速度比较稳定(例如,匀速运动、匀加速运动)的情况下,通过本实施例的方案,只需要对目标对象进行较少次数的速度检测,即可预测出需要切换测距方式的时刻,无需以较高频率保持对目标对象的跟踪,从而降低了测距过程中的资源消耗。
在一些实施例中,可以每隔预设时间间隔对所述目标对象进行一次测距。所述时间间隔可以是固定时间间隔,例如,每隔10帧对所述目标对象进行一次测距。也可以根据不同的情况动态地设置不同的时间间隔。例如,在所述目标对象的移动方向为朝向所述电子设备的情况下,每隔第一时间间隔采用确定后的测距方式对所述目标对象进行测距;在所述目标对象的移动方向为背离所述电子设备的情况下,每隔第二时间间隔采用确定后的测距方式对所述目标对象进行测距;所述第二时间间隔小于所述第一时间间隔。
参见图5,箭头方向表示目标对象的移动方向。在t1时刻对目标对象M1进行一次测距,由于在t1时刻目标对象M1的移动方向朝向电子设备,即目标对象M1在t1时刻正在靠近部署了测距系统的电子设备,因此,可以采用第一时间间隔对M1进行测距。假设在t2时刻对目标对象M1进行下一次测距,则t2与t1之间的时间差为第一时间间隔(t2时刻后目标对象M1可继续靠近电子设备或改变移动方向)。
在t3时刻对目标对象M2进行一次测距,由于在t3时刻目标对象M2的移动方向背离电子设备,即目标对象M2在t3时刻正在远离部署了测距系统的电子设备,因此,可以采用第二时间间隔对M2进行测距。假设在t4时刻对目标对象M2进行下一次测距,则t3与t4之间的时间差为第二时间间隔(t4时刻后目标对象M2可继续远离电子设备或改变移动方向)。
在电子设备为商业机器人等应用场景下,由于商业机器人关注的主要是与之存在交互需求(例如,问路、查询店铺信息)的用户,而对于不存在交互需求的用户关注度较低,而朝向商业机器人移动的目标对象与商业机器人之间存在交互需求的概率往往高于背离商业机器人移动的目标对象,因此,对朝向商业机器人移动的目标对象以较高的测距时间间隔进行测距,能够对这部分目标对象获取稳定可靠的测距结果。对背离商业机器人移动的目标对象以较低的测距时间间隔进行测距,能够减少测距过程中的资源消耗。
下面对测距过程中的动态切换过程进行说明。测距过程中,首先在所述第一视觉传感器采集的图像中搜索所述目标对象,并对搜索到的目标对象进行跟踪(例如,采用头肩跟踪模型进行跟踪)。在跟踪过程中,先采用单目测距方式,并基于头肩模型对所述目标对象进行测距,并持续更新所述目标对象的距离和位置。在所述目标对象的位置处于所述视野重叠范围内的情况下,基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式。在切换到双目测距方式的情况下,仍然采用头肩模型进行距离计算,以减少漏检,并降低干扰影响。
参见图6,在首次采集到包括目标对象M的图像(即目标对象M处于P1)时,开始对目标对象进行跟踪,并以一定的时间间隔对目标对象M进行测距。假设跟踪过程中在目标对象处于位置P1、P2、P3和P4时分别进行了测距。其中,当目标对象M处于位置P1或P4时,由于不在双目视觉传感器的视野重叠范围内,因此采用单目测距方式。在目标对象M处于视野重叠范围内的位置P2或P3时,可以采用单目测距方式或者双目测距方式。具体来说,在目标对象M处于P2时,可以先采用单目测距方式进行测距,并确定单目测距结果是否大于或等于预设距离阈值。如果小于预设距离阈值,则切换到双目测距方式,否则继续采用单目测距。
假设位置P2处的距离小于预设距离阈值,则在切换到双目测距方式。同理,在目标对象M处于位置P3时,通过双目测距方式进行测距,并确定单目测距结果是否大于或等于预设距离阈值。如果小于预设距离阈值,则继续采用双目,否则切换到单目测距。当目标对象M到达位置P4时,无论位置P4对应的距离(即位置P4与部署了测距系统的电子设备之间的距离)是否小于预设距离阈值,均采用单目测距方式进行测距。
在确定需要切换测距方式的情况下,可以响应于切换成功,立即通过切换后的测距方式进行一次测距,也可以在切换成功之后,在当前时间与上一次进行测距的时间之间的时间间隔达到预设时间间隔的情况下,才通过切换后的测距方式进行测距。
如图7A和图7B所示,是本公开实施例的两种应用场景的示意图。在图7A所示的应用场景中,第一视觉传感器C1和第二视觉传感器C2可以安装在商业机器人701上,目标对象为商场中的行人。行人可以移动至商业机器人701前方,与商业机器人701进行交流,或者通过商业机器人701查询所需的信息。商业机器人701在行人移动至交互距离d之内的情况下,可以主动向行人打招呼。在行人移动过程中,商业机器人701可以通过前述任一实施例中所述的方法对行人进行测距。
在图7B所示的应用场景中,第一视觉传感器C1和第二视觉传感器C2(图中未示出)可以安装在自动驾驶车辆702上,目标对象为道路上的其他车辆。在自动驾驶车辆702行驶过程中,可以通过前述任一实施例中所述的方法对道路上的其他车辆进行测距,得到的测距结果可用于对自动驾驶车辆702进行路径规划,以及控制自动驾驶车辆702的行驶状态。
本领域技术人员可以理解,上述应用场景仅为示例性说明,并非用于限制本公开,本公开实施例的测距方法还可以用于其他应用场景下,此处不再一一说明。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
如图8所示,本公开实施例还提供一种测距装置,应用于包括第一视觉传感器和第二视觉传感器的测距系统,所述第一视觉传感器的视野范围和所述第二视觉传感器的视野范围至少部分重叠。所述装置包括:
第一测距模块801,用于采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离;
确定模块802,用于基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式;
第二测距模块803,用于采用确定后的测距方式对所述目标对象进行测距。
在一些实施例中,所述第一测距模块包括:跟踪单元,用于在所述第一视觉传感器采集的图像中搜索所述目标对象,并对搜索到的目标对象进行跟踪;更新单元,用于在跟踪过程中,采用单目测距方式对所述目标对象进行测距,并持续更新所述目标对象的距离和位置;所述确定模块用于:在所述目标对象的位置处于所述视野重叠范围内的情况下,基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述跟踪单元用于:对所述目标对象进行头肩检测,获取头肩检测结果,所述头肩检测结果包括所述目标对象的头部关键点的位置和所述目标对象的肩部关键点的位置;基于所述头肩检测结果确定所述目标对象与所述第一视觉传感器之间的相对角度;基于所述相对角度,并采用头肩跟踪模型跟踪所述目标对象,并为所述目标对象分配唯一标识。
在一些实施例中,所述确定模块用于:在所述第一距离大于或等于预设距离阈值的情况下,继续采用单目测距方式对所述目标对象进行测距;在所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述确定模块用于:在所述第一距离小于预设距离阈值,且满足预设条件的情况下,将所述单目测距方式切换为双目测距方式;在所述第一距离小于预设距离阈值,且不满足所述预设条件的情况下,继续采用单目测距方式对所述目标对象进行测距;所述预设条件包括:所述电子设备的剩余电量大于或等于预设电量阈值,和/或所述目标对象的移动速度大于或等于预设速度阈值。
在一些实施例中,所述目标对象在所述视野重叠范围内的任意位置处的距离均小于预设距离阈值;所述确定模块用于:响应于所述目标对象进入所述视野重叠范围内,将所述测距方式切换为双目测距方式;和/或响应于所述目标对象离开所述视野重叠范围内,将所述测距方式切换为单目测距方式。
在一些实施例中,所述测距系统安装于电子设备上;所述第二测距模块用于:在所述目标对象的移动方向为朝向所述电子设备的情况下,每隔第一时间间隔采用确定后的测距方式对所述目标对象进行测距;在所述目标对象的移动方向为背离所述电子设备的情况下,每隔第二时间间隔采用确定后的测距方式对所述目标对象进行测距;所述第二时间间隔小于所述第一时间间隔。
在一些实施例中,所述装置还包括:人脸朝向检测模块,用于从所述第一视觉传感器采集的第一图像中确定候选对象,并检测所述候选对象的人脸朝向;目标对象确定模块,用于在所述人脸朝向与所述目标对象指向所述第一视觉传感器的方向之间的夹角小于预设角度阈值的情况下,将所述候选对象确定为所述目标对象。
在一些实施例中,所述确定模块用于:将多个目标对象中距离大于或等于预设距离阈值的第一目标对象的测距方式切换为双目测距方式;将所述多个目标对象中距离小于预设距离阈值的第二目标对象的测距方式保持为单目测距方式。
在一些实施例中,所述装置还包括:第一获取模块,用于获取所述第一视觉传感器在第一视野范围下采集的第一图像;第二获取模块,用于获取用户基于所述第一图像发送的调整指令;视野调整模块,用于基于所述调整指令调整所述第一视觉传感器的第一视野范围。
在一些实施例中,所述第二测距模块用于:基于目标对象的移动速度预测将对目标对象的当前测距方式进行切换的目标时刻;在所述目标时刻对目标对象的测距方式进行切换。
在一些实施例中,所述确定模块用于:获取所述单目测距方式的置信度,所述置信度与第一视觉传感器的镜头脏污程度、环境亮度、第一视觉传感器中目标对象被遮挡的程度中至少一项因素相关;基于所述置信度和所述第一距离确定是否将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述确定模块用于:在所述置信度大于或等于预设置信度阈值,且所述第一距离大于或等于预设距离阈值的情况下,继续采用单目测距方式对所述目标对象进行测距;在所述置信度小于预设置信度阈值,或者所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式。
在一些实施例中,所述测距系统应用于可移动设备;所述装置还包括:
速度调整模块,用于基于测距结果调整所述可移动设备的移动速度和/或轨迹规划模块,用于对所述可移动设备的行驶轨迹进行规划。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
本说明书实施例还提供一种计算机设备,其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行所述程序时实现前述任一实施例所述的方法。
图9示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图,该设备可以包括:处理器901、存储器902、输入/输出接口903、通信接口904和总线905。其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
处理器901可以采用通用的中央处理器(Central Processing Unit,CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。处理器901还可以包括显卡,所述显卡可以是Nvidia titan X显卡或者1080Ti显卡等。
存储器902可以采用只读存储器(Read Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、静态存储设备,动态存储设备等形式实现。存储器902可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器902中,并由处理器901来调用执行。
输入/输出接口903用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口904用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线905包括一通路,在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器901、存储器902、输入/输出接口903、通信接口904以及总线905,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
如图10所示,本公开实施例还提供一种测距系统,所述系统包括:
视野范围至少部分重叠的第一视觉传感器1001和第二视觉传感器1002,分别用于采集目标对象的图像;以及
分别与所述第一视觉传感器1001和所述第二视觉传感器1002通信连接的处理器1003,用于:
采用单目测距方式对所述第一视觉传感器1001和所述第二视觉传感器1002的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离;
基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式;
采用确定后的测距方式对所述目标对象进行测距;
其中,所述处理器基于所述第一视觉传感器1001采集的图像进行单目测距,并基于所述第一视觉传感器1001采集的图像和所述第二视觉传感器1002采集的图像进行双目测距。
本公开实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一实施例所述的方法。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例而言,由于其基本相似于方法实施例,所以描述得比较简单,相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上所述仅是本说明书实施例的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本说明书实施例原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本说明书实施例的保护范围。
Claims (18)
1.一种测距方法,其特征在于,应用于包括第一视觉传感器和第二视觉传感器的测距系统,所述第一视觉传感器的视野范围和所述第二视觉传感器的视野范围至少部分重叠;所述方法包括:
采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离;
基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式;
采用确定后的测距方式对所述目标对象进行测距。
2.根据权利要求1所述的方法,其特征在于,所述采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离,包括:
在所述第一视觉传感器采集的图像中搜索所述目标对象,并对搜索到的目标对象进行跟踪;
在跟踪过程中,采用单目测距方式对所述目标对象进行测距,并持续更新所述目标对象的距离和位置;
所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:
在所述目标对象的位置处于所述视野重叠范围内的情况下,基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式。
3.根据权利要求2所述的方法,其特征在于,所述在所述第一视觉传感器采集的图像中搜索所述目标对象,并对搜索到的目标对象进行跟踪,包括:
对所述目标对象进行头肩检测,获取头肩检测结果,所述头肩检测结果包括所述目标对象的头部关键点的位置和所述目标对象的肩部关键点的位置;
基于所述头肩检测结果确定所述目标对象与所述第一视觉传感器之间的相对角度;
基于所述相对角度,并采用头肩跟踪模型跟踪所述目标对象,并为所述目标对象分配唯一标识。
4.根据权利要求1-3任一所述的方法,其特征在于,所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:
在所述第一距离大于或等于预设距离阈值的情况下,继续采用单目测距方式对所述目标对象进行测距;
在所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式。
5.根据权利要求4所述的方法,其特征在于,所述测距系统安装于电子设备上;所述在所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式,包括:
在所述第一距离小于预设距离阈值,且满足预设条件的情况下,将所述单目测距方式切换为双目测距方式;
在所述第一距离小于预设距离阈值,且不满足所述预设条件的情况下,继续采用单目测距方式对所述目标对象进行测距;
所述预设条件包括:
所述电子设备的剩余电量大于或等于预设电量阈值,和/或
所述目标对象的移动速度大于或等于预设速度阈值。
6.根据权利要求1-5任一或所述的方法,其特征在于,所述目标对象在所述视野重叠范围内的任意位置处的距离均小于预设距离阈值;所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:
响应于所述目标对象进入所述视野重叠范围内,将所述测距方式切换为双目测距方式;和/或
响应于所述目标对象离开所述视野重叠范围内,将所述测距方式切换为单目测距方式。
7.根据权利要求1-6任一所述的方法,其特征在于,所述测距系统安装于电子设备上;所述采用确定后的测距方式对所述目标对象进行测距,包括:
在所述目标对象的移动方向为朝向所述电子设备的情况下,每隔第一时间间隔采用确定后的测距方式对所述目标对象进行测距;
在所述目标对象的移动方向为背离所述电子设备的情况下,每隔第二时间间隔采用确定后的测距方式对所述目标对象进行测距;
所述第二时间间隔小于所述第一时间间隔。
8.根据权利要求1-7任一所述的方法,其特征在于,所述方法还包括:
从所述第一视觉传感器采集的第一图像中确定候选对象,并检测所述候选对象的人脸朝向;
在所述人脸朝向与所述目标对象指向所述第一视觉传感器的方向之间的夹角小于预设角度阈值的情况下,将所述候选对象确定为所述目标对象。
9.根据权利要求1-8任一所述的方法,其特征在于,所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:
将多个目标对象中距离大于或等于预设距离阈值的第一目标对象的测距方式切换为双目测距方式;
将所述多个目标对象中距离小于预设距离阈值的第二目标对象的测距方式保持为单目测距方式。
10.根据权利要求1-9任一所述的方法,其特征在于,所述方法还包括:
获取所述第一视觉传感器在第一视野范围下采集的第一图像;
获取用户基于所述第一图像发送的调整指令;
基于所述调整指令调整所述第一视觉传感器的第一视野范围。
11.根据权利要求1-10任一所述的方法,其特征在于,所述采用确定后的测距方式对所述目标对象进行测距,包括:
基于目标对象的移动速度预测将对目标对象的当前测距方式进行切换的目标时刻;
在所述目标时刻对目标对象的测距方式进行切换。
12.根据权利要求1-11任一所述的方法,其特征在于,所述基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:
获取所述单目测距方式的置信度,所述置信度与第一视觉传感器的镜头脏污程度、环境亮度、第一视觉传感器中目标对象被遮挡的程度中至少一项因素相关;
基于所述置信度和所述第一距离确定是否将所述单目测距方式切换为双目测距方式。
13.根据权利要求12所述的方法,其特征在于,所述基于所述置信度和所述第一距离确定是否将所述单目测距方式切换为双目测距方式,包括:
在所述置信度大于或等于预设置信度阈值,且所述第一距离大于或等于预设距离阈值的情况下,继续采用单目测距方式对所述目标对象进行测距;
在所述置信度小于预设置信度阈值,或者所述第一距离小于预设距离阈值的情况下,将所述单目测距方式切换为双目测距方式。
14.根据权利要求1-13任一所述的方法,其特征在于,所述测距系统应用于可移动设备;在采用确定后的测距方式对所述目标对象进行测距之后,所述方法还包括:
基于测距结果调整所述可移动设备的移动速度和/或对所述可移动设备的行驶轨迹进行规划。
15.一种测距装置,其特征在于,应用于包括第一视觉传感器和第二视觉传感器的测距系统,所述第一视觉传感器的视野范围和所述第二视觉传感器的视野范围至少部分重叠;所述装置包括:
第一测距模块,用于采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离;
确定模块,用于基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式;
第二测距模块,用于采用确定后的测距方式对所述目标对象进行测距。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至14任意一项所述的方法。
17.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至14任意一项所述的方法。
18.一种测距系统,其特征在于,所述系统包括:
视野范围至少部分重叠的第一视觉传感器和第二视觉传感器,分别用于采集目标对象的图像;以及
分别与所述第一视觉传感器和所述第二视觉传感器通信连接的处理器,用于:
采用单目测距方式对所述第一视觉传感器和所述第二视觉传感器的视野重叠范围内的目标对象进行测距,得到所述目标对象的第一距离;
基于所述第一距离确定是否将所述单目测距方式切换为双目测距方式;
采用确定后的测距方式对所述目标对象进行测距;
其中,所述处理器基于所述第一视觉传感器采集的图像进行单目测距,并基于所述第一视觉传感器采集的图像和所述第二视觉传感器采集的图像进行双目测距。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110984297.XA CN113658251A (zh) | 2021-08-25 | 2021-08-25 | 测距方法、装置、电子设备、存储介质及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110984297.XA CN113658251A (zh) | 2021-08-25 | 2021-08-25 | 测距方法、装置、电子设备、存储介质及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113658251A true CN113658251A (zh) | 2021-11-16 |
Family
ID=78482013
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110984297.XA Pending CN113658251A (zh) | 2021-08-25 | 2021-08-25 | 测距方法、装置、电子设备、存储介质及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113658251A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117259238A (zh) * | 2023-08-23 | 2023-12-22 | 深圳市大德激光技术有限公司 | 一种全自动钮扣电池壳体检测设备控制系统 |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104880154A (zh) * | 2015-06-03 | 2015-09-02 | 西安交通大学 | 一种物联网双目视觉变焦动态目标跟踪试验系统平台与测距方法 |
CN105806316A (zh) * | 2014-12-31 | 2016-07-27 | 上海新跃仪表厂 | 用于微纳卫星的三目视觉敏感器及其测量方法 |
CN107117099A (zh) * | 2017-03-29 | 2017-09-01 | 深圳市元征科技股份有限公司 | 一种车辆碰撞提示方法及车辆 |
WO2017161523A1 (zh) * | 2016-03-23 | 2017-09-28 | 华为技术有限公司 | 一种终端的拍照对焦方法、装置及设备 |
CN107486863A (zh) * | 2017-08-18 | 2017-12-19 | 南京阿凡达机器人科技有限公司 | 一种基于感知的机器人主动交互方法 |
CN108733208A (zh) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | 智能设备的交互目标确定方法和装置 |
CN108764660A (zh) * | 2018-05-11 | 2018-11-06 | 广东富利盛仿生机器人股份有限公司 | 机器人分配方法、装置及系统 |
CN109074476A (zh) * | 2016-08-01 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于障碍物规避的系统以及方法 |
CN109741631A (zh) * | 2019-02-01 | 2019-05-10 | 南京沃旭通讯科技有限公司 | 一种相对位置检测设备及其工作方法 |
CN110070016A (zh) * | 2019-04-12 | 2019-07-30 | 北京猎户星空科技有限公司 | 一种机器人控制方法、装置及存储介质 |
CN209388495U (zh) * | 2019-02-01 | 2019-09-13 | 南京沃旭通讯科技有限公司 | 一种相对位置检测设备 |
CN110543868A (zh) * | 2019-09-09 | 2019-12-06 | 福建省趋普物联科技有限公司 | 一种基于人脸识别和头肩检测的监控方法及系统 |
CN110995989A (zh) * | 2019-11-25 | 2020-04-10 | 陈颖 | 一种基于人体特征定位的镜头捕捉方法 |
CN111309012A (zh) * | 2020-02-24 | 2020-06-19 | 深圳市优必选科技股份有限公司 | 机器人及其移动控制方法和装置 |
CN112965599A (zh) * | 2021-03-08 | 2021-06-15 | 深圳市优必选科技股份有限公司 | 一种机器人与终端的交互方法、装置及机器人 |
CN112989895A (zh) * | 2019-12-17 | 2021-06-18 | 科沃斯商用机器人有限公司 | 人机交互方法、系统及自移动设备 |
-
2021
- 2021-08-25 CN CN202110984297.XA patent/CN113658251A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105806316A (zh) * | 2014-12-31 | 2016-07-27 | 上海新跃仪表厂 | 用于微纳卫星的三目视觉敏感器及其测量方法 |
CN104880154A (zh) * | 2015-06-03 | 2015-09-02 | 西安交通大学 | 一种物联网双目视觉变焦动态目标跟踪试验系统平台与测距方法 |
WO2017161523A1 (zh) * | 2016-03-23 | 2017-09-28 | 华为技术有限公司 | 一种终端的拍照对焦方法、装置及设备 |
CN109074476A (zh) * | 2016-08-01 | 2018-12-21 | 深圳市大疆创新科技有限公司 | 用于障碍物规避的系统以及方法 |
CN107117099A (zh) * | 2017-03-29 | 2017-09-01 | 深圳市元征科技股份有限公司 | 一种车辆碰撞提示方法及车辆 |
CN107486863A (zh) * | 2017-08-18 | 2017-12-19 | 南京阿凡达机器人科技有限公司 | 一种基于感知的机器人主动交互方法 |
CN108733208A (zh) * | 2018-03-21 | 2018-11-02 | 北京猎户星空科技有限公司 | 智能设备的交互目标确定方法和装置 |
CN108764660A (zh) * | 2018-05-11 | 2018-11-06 | 广东富利盛仿生机器人股份有限公司 | 机器人分配方法、装置及系统 |
CN109741631A (zh) * | 2019-02-01 | 2019-05-10 | 南京沃旭通讯科技有限公司 | 一种相对位置检测设备及其工作方法 |
CN209388495U (zh) * | 2019-02-01 | 2019-09-13 | 南京沃旭通讯科技有限公司 | 一种相对位置检测设备 |
CN110070016A (zh) * | 2019-04-12 | 2019-07-30 | 北京猎户星空科技有限公司 | 一种机器人控制方法、装置及存储介质 |
CN110543868A (zh) * | 2019-09-09 | 2019-12-06 | 福建省趋普物联科技有限公司 | 一种基于人脸识别和头肩检测的监控方法及系统 |
CN110995989A (zh) * | 2019-11-25 | 2020-04-10 | 陈颖 | 一种基于人体特征定位的镜头捕捉方法 |
CN112989895A (zh) * | 2019-12-17 | 2021-06-18 | 科沃斯商用机器人有限公司 | 人机交互方法、系统及自移动设备 |
CN111309012A (zh) * | 2020-02-24 | 2020-06-19 | 深圳市优必选科技股份有限公司 | 机器人及其移动控制方法和装置 |
CN112965599A (zh) * | 2021-03-08 | 2021-06-15 | 深圳市优必选科技股份有限公司 | 一种机器人与终端的交互方法、装置及机器人 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117259238A (zh) * | 2023-08-23 | 2023-12-22 | 深圳市大德激光技术有限公司 | 一种全自动钮扣电池壳体检测设备控制系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113554698B (zh) | 车辆位姿信息生成方法、装置及电子设备、存储介质 | |
US11587248B2 (en) | Method and system for multiple stereo based depth estimation and collision warning/avoidance utilizing the same | |
CN110795523B (zh) | 车辆定位方法、装置以及智能车辆 | |
JP6473571B2 (ja) | Ttc計測装置およびttc計測プログラム | |
JP5939357B2 (ja) | 移動軌跡予測装置及び移動軌跡予測方法 | |
US9576375B1 (en) | Methods and systems for detecting moving objects in a sequence of image frames produced by sensors with inconsistent gain, offset, and dead pixels | |
JP6444835B2 (ja) | 画像処理装置、画像処理プログラムおよび画像処理システム | |
JP2021509515A (ja) | 測距方法、知能制御方法及び装置、電子機器ならびに記憶媒体 | |
JP2018508078A (ja) | オブジェクト追跡のためのシステムおよび方法 | |
JP2014222429A (ja) | 画像処理装置、距離測定装置、移動体機器制御システム、移動体及び画像処理用プログラム | |
CN105718888A (zh) | 障碍物预警方法和障碍物预警装置 | |
TWI595450B (zh) | 物件偵測系統 | |
EP2924655B1 (en) | Disparity value deriving device, equipment control system, movable apparatus, robot, disparity value deriving method, and computer-readable storage medium | |
CN104519239A (zh) | 用于视频防抖的方法和装置 | |
US20230236038A1 (en) | Position estimation method, position estimation device, and position estimation program | |
JP2016181072A (ja) | 物体認識装置 | |
JP2006318062A (ja) | 画像処理装置、画像処理方法、および画像処理用プログラム | |
Singh et al. | SideEye: Mobile assistant for blind spot monitoring | |
CN113658251A (zh) | 测距方法、装置、电子设备、存储介质及系统 | |
JP2017052498A (ja) | 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム | |
CN113486775A (zh) | 一种目标追踪方法、系统、电子设备及存储介质 | |
CN113362370B (zh) | 目标对象的运动信息确定方法、装置、介质及终端 | |
CN113167578B (zh) | 测距方法及装置 | |
Wada et al. | Real-time detection system for smartphone zombie based on machine learning | |
CN113281770A (zh) | 坐标系关系获取方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |