CN116934575A - 信息处理方法、装置、电子设备及存储介质 - Google Patents
信息处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116934575A CN116934575A CN202210344348.7A CN202210344348A CN116934575A CN 116934575 A CN116934575 A CN 116934575A CN 202210344348 A CN202210344348 A CN 202210344348A CN 116934575 A CN116934575 A CN 116934575A
- Authority
- CN
- China
- Prior art keywords
- image
- acquisition module
- image acquisition
- determining
- reference object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 19
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 238000000034 method Methods 0.000 claims description 50
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 15
- 230000003287 optical effect Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011549 displacement method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本公开是关于一种信息处理方法、装置、电子设备和存储介质,包括:采集第一图像和第二图像,其中,所述第一图像包括第一参照物,第二图像包括第二参照物;所述第一参照物为棋盘格,第一参照物不同于第二参照物;根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数;其中,所述参数包括第一参数和第二参数,所述第一图像用于确定所述第一参数,所述第二图像用于确定所述第二参数;根据第一图像采集模组和第二图像采集模组的参数,确定待测物体的位置。
Description
技术领域
本公开涉及信息处理领域,尤其涉及一种信息处理方法、装置、电子设备及存储介质。
背景技术
计算机视觉的主要研究对象包括映射到图像中的三维场景,而图像中的内容是该研究的重点。现实的世界以三维立体的形式存在,目前通常采用的是二维平面的方式展示,随着科技进步与社会的发展,此种平面显示方式已经不能满足人们的需求,需要一种能够真实反映与还原三维物体的方法。因此,三维显示技术应运而生,更能满足显示需求和提高显示效果,成为当今显示领域的研究热点。三维立体显示技术的关键就在于获取三维物体与图像采集设备之间的距离信息。
发明内容
本公开提供一种信息处理方法、装置、电子设备及存储介质。
本公开实施例的第一方面,提供一种信息处理方法,包括:采集第一图像和第二图像,其中,所述第一图像包括第一参照物,所述第二图像包括第二参照物;所述第一参照物为棋盘格,所述第一参照物不同于所述第二参照物;根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数;其中,所述参数包括第一参数和第二参数,所述第一图像用于确定所述第一参数,所述第二图像用于确定所述第二参数;根据所述第一图像采集模组和所述第二图像采集模组的所述参数,确定待测物体的位置。
在一个实施例中,所述根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数,包括:根据所述第一图像,确定所述第一图像采集模组和所述第二图像采集模组的第一参数;在不同预设距离时,确定所述第二参照物在所述第一图像采集模组采集的所述第二图像和所述第二图像采集模组采集的所述第二图像中的参考视差;其中,所述预设距离为:所述第二参照物与所述参考图像采集模组在参考方向上的距离,所述参考图像采集模组为第一图像采集模组或所述第二图像采集模组,所述参考方向为垂直于所述参考图像采集模组成像平面的方向;根据所述预设距离、所述第一参数和所述参考视差,确定所述第一图像采集模组和所述第二图像采集模组的第二参数。
在一个实施例中,所述确定所述第二参照物在所述第一图像采集模组采集的所述第二图像和所述第二图像采集模组采集的所述第二图像中的参考视差,包括:提取所述第二参照物在所述第一图像采集模组采集的所述第二图像中的第一特征;提取所述第二参照物在所述第二图像采集模组采集的所述第二图像中的第二特征;根据所述第一特征在所述第一图像采集模组采集的所述第二图像中的第一位置和所述第二特征在所述第二图像采集模组采集的所述第二图像中的第二位置,确定所述参考视差。
在一个实施例中,所述根据所述第一图像采集模组和所述第二图像采集模组的参数,确定待测物体的位置,包括:通过所述第一图像采集模组采集待测物体的第三图像;通过所述第二图像采集模组采集待测物体的第四图像;确定所述待测物体在所述第三图像和所述第四图像的目标视差;根据所述目标视差和所述参数确定所述待测物体的位置。
在一个实施例中,所述第一图像采集模组和所述第二图像采集模组都为红外图像采集模组,所述第二参照物为能够发射红外光的参照物。
在一个实施例中,在采集所述第一图像时,所述棋盘格处于被红外光照射的状态下,所述棋盘格能够反射红外光。
在一个实施例中,所述第一参照物和所述第二参照物位于预设环境中,在所述预设环境中采集所述第一图像和所述第二图像;其中,所述预设环境为照度低于照度阈值的环境,和/或,自然光中红外光的强度低于预设强度的环境。
本公开实施例的第二方面,提供一种信息处理装置,包括:图像采集模块,包括采集第一图像和第二图像,其中,所述第一图像包括第一参照物,所述第二图像包括第二参照物;所述第一参照物为棋盘格,所述第一参照物不同于所述第二参照物;参数确定模块,用于根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数;其中,所述参数包括第一参数和第二参数,所述第一图像用于确定所述第一参数,所述第二图像用于确定所述第二参数;位置确定模块,用于根据所述第一图像采集模组和所述第二图像采集模组的参数,确定待测物体的位置。
本公开实施例的第三方面,提供一种电子设备,包括:
处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:处理器用于运行所述可执行指令时,所述可执行指令执行上述任一实施例所述的方法。
本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述任一实施例所述的方法。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例采集包括第一参照物的第一图像和包括第二参照物的第二图像,第一参照物为棋盘格,第一参照物不同于第二参照物;根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数;参数包括第一参数和第二参数,第一图像用于确定第一参数,第二图像用于确定第二参数;再根据第一图像采集模组和第二图像采集模组的参数,确定待测物体的位置。
第一图像采集模组和第二图像采集模组(两个图像采集模组组成双目相机)通过采集第一参照物的图像得到第一图像,然后通过采集第二参照物的图像得到第二图像,由于通过棋盘格的特征提取过程比较繁琐,计算量较大,所以通过棋盘格的第一图像确定第一参数。然后利用第二参照物的第二图像确定第二参数,由于第二参照物不同于棋盘格,对第二参照物的特征提取的过程相对简单,计算量少,所以可以更容易提取到第二参照物的特征,从而可以减少确定参数整个过程的计算量。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种信息处理方法的流程示意图;
图2是根据一示例性实施例示出的一种确定参数的示意图;
图3是根据一示例性实施例示出的一种双目相机的模型示意图;
图4是根据一示例性实施例示出的一种信息处理装置的示意图;
图5是根据一示例性实施例示出的一种采集的图像示意图;
图6是根据一示例性实施例示出的一种信息处理装置的结构示意图;
图7是根据一示例性实施例示出的另一种信息处理的示意图;
图8是根据一示例性实施例示出的一种终端设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置的例子。
通常情况下,被动测距技术是应用最为广泛的一种距离感知手段,也是研究最多的一种测距技术。该项技术一般采用光照下目标物的二维图像来重建并恢复目标物的三维信息,具有适应性强,灵活度高等优点。被动立体视觉测距技术按照其视觉过程中运用的传感器的数量来进行分类,主要分为三大类:单目视觉,双目视觉以及多目视觉。
单目视觉,指的是在机器视觉应用过程中采用单个图像传感器来采集图像进行相关的测量工作,优点在于结构简单,相机标定容易,由于只用到一台相机,所以避免了立体视觉小视场问题及匹配困难的问题。是几年来研究较为活跃的一种计算视觉类型,其视觉方法可分为聚焦法和离焦法两大类。
聚焦法的特征在于被测点是处于相机的聚焦位置之上,其相对于相机的距离是根据透镜成像公式来计算求得的,该方法的主要误差为相机偏离聚焦位置带来的误差。
离焦法则不需要被测点处于聚焦位置,它的距离信息是根据标定出的离焦模型确定的,其优点在于避免了对于聚焦位置的精确定位导致的效率低的问题,该方法的主要难点在于离焦模型的准确标定。
双目立体视觉,指的是采用两个图像传感器或者采用单个图像传感装置经过位移的方法,来对同一场景进行成像分析,常用的方法为三角测量原理,即分析目标物体在不同成像设备上成像位置的差异,通过成像原理以及成像过程中的几何关系来确定目标位置的关系式。
参考图1,为本公开技术方案提供的一种信息处理方法的流程示意图。该方法为双目立体视觉技术确定待测物体位置的方法,该方法包括以下步骤:
步骤S100,采集第一图像和第二图像,其中,所述第一图像包括第一参照物,所述第二图像包括第二参照物;所述第一参照物为棋盘格,所述第一参照物不同于所述第二参照物。
步骤S200,根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数;所述参数包括第一参数和第二参数,所述第一图像用于确定所述第一参数,所述第二图像用于确定所述第二参数。
步骤S300,根据所述第一图像采集模组和所述第二图像采集模组的参数,确定待测物体的位置。
在该实施例中,第一图像采集模组和第二图像采集模组都可以是摄像头等可以采集图像的组件,第一图像采集模组和第二图像采集模组组成“双目相机”,该方法的执行主体可以是“双目相机”。通过第一图像采集模组和第二图像采集模组分别对第一参照物进行图像采集,得到第一图像采集模组采集的第一图像和第二图像采集模组采集的第一图像。通过第一图像采集模组和第二图像采集模组分别对第二参照物进行图像采集,得到第一图像采集模组采集的第二图像和第二图像采集模组采集的第二图像,第一图像中包括第一参照物,第二图像中包括第二参照物。即第一图像为包括第一参照物的图像,第二图像为包括第二参照物的图像。第一参照物不同于第二参照物。
在第一图像采集模组采集到第一图像和第二图像采集模组采集到第一图像后,根据第一图像采集模组采集到第一图像,可以确定出第一图像采集模组的部分参数。根据第二图像采集模组采集到第一图像,可以确定出第二图像采集模组的部分参数。参数可以包括第一参数和第二参数,第一图像用于确定第一图像采集模组和第二图像采集模组的第一参数,第二图像用于确定第一图像采集模组和第二图像采集模组第二参数。
例如,第一参照物可以是棋盘格,在第一图像采集模组采集到棋盘格的第一图像后,根据采集到的棋盘格的第一图像,可以确定出第一图像采集模组的第一参数。在第二图像采集模组采集到棋盘格的第一图像后,根据采集到的棋盘格的第一图像,可以确定出第二图像采集模组的第一参数。也可以根据第一图像采集模组采集的棋盘格的第一图像和第二图像采集模组采集到棋盘格的第一图像,共同确定出第一图像采集模组的第一参数和第二图像采集模组的第一参数。具体的确定过程并不在这里限定,可以通过棋盘格标定算法确定,具体可以是张正友棋盘格标定法等能够根据棋盘格的图像确定出第一图像采集模组的第一参数和第二图像采集模组的第一参数的方法。
第一参数可以包括焦距,具体可以是有效焦距等,这样可以确定出第一图像采集模组的有效焦距fl和第二图像采集模组的有效焦距fr。
在确定第一图像采集模组和第二图像采集模组的参数时,第一图像采集模组和第二图像采集模组采集的第一图像的数量可以根据实际的需求确定,并不限定数量。
通过第二图像中第二参照物的信息和根据第一图像确定的两个图像采集模组的第一参数可以确定出两个图像采集模组的第二参数,第二参数可以是除了第一参数之外的能够根据第一参数确定出来的参数,通过该第二参数和第一参数可以确定出待确定物体的位置。
第一图像采集模组和第二图像采集模组(双目相机)通过采集第一参照物的图像得到第一图像,然后通过采集第二参照物的图像得到第二图像,由于通过棋盘格的特征提取过程比较繁琐,计算量较大,所以通过棋盘格的第一图像确定第一参数。然后利用第二参照物的第二图像确定第二参数,由于第二参照物不同于棋盘格,对第二参照物的特征提取的过程相对简单,计算量少,所以可以更容易提取到第二参照物的特征,可以根据第二参照物的特征确定图像采集模组的参数,有利于减少计算量,降低了单独根据包括第一参照物的第一图像确定图像采集模组的参数导致的计算量较大的问题。
在一个实施例中,第二参照物可以红外灯。
在一个实施例中,参考图2,为一种确定参数的示意图。步骤S200,根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数,包括:
步骤S201,根据第一图像,确定第一图像采集模组和第二图像采集模组的第一参数。
步骤S202,在不同预设距离时,确定第二参照物在第一图像采集模组采集的第二图像和第二图像采集模组采集的第二图像中的参考视差;其中,预设距离为:第二参照物与参考图像采集模组在参考方向上的距离,参考图像采集模组为第一图像采集模组或第二图像采集模组,参考方向为垂直于参考图像采集模组成像平面的方向。
步骤S203,根据预设距离、第一参数和参考视差,确定第一图像采集模组和第二图像采集模组的第二参数。
对于步骤S201,在第一图像采集模组和第二图像采集模组分别采集到包括第一参照物的第一图像后,可以根据第一图像采集模组采集的第一图像确定第一图像采集模组的第一参数,根据第二图像采集模组采集的第一图像确定第二图像采集模组的第一参数。或者,根据第一图像采集模组采集的第一图像和第二图像采集模组采集的第一图像,确定第一图像采集模组的第一参数和第二图像采集模组的第一参数。
第一参数可以包括焦距,确定第一参数的具体过程并不进行限定,可以是棋盘格标定法等能够根据棋盘格的图像确定出第一图像采集模组的焦距的方法。参考图3,第一图像采集模组的焦距可以用fl表示,第二图像采集模组的焦距可以用fr表示。fl和fr可以是相同的,也可以根据实际的使用需求确定。
对于步骤S202,在确定出第一参数后,在不同的预设距离下,确定出第二参照物在第一图像采集模组采集的第二图像和第二图像采集模组采集的第二图像中的视差,将该视差记为参考视差。预设距离为:第二参照物与参考图像采集模组在参考方向上的距离,参考图像采集模组为第一图像采集模组或第二图像采集模组,参考方向为垂直于参考图像采集模组成像平面的方向。
例如,在参考图像采集模组为第一图像采集模组时,参考方向为垂直于第一图像采集模组的成像平面的方向。参考图3,为一种双目相机的模型示意图,左侧相机为第一图像采集模组,右侧相机为第二图像采集模组。Ol'为第一图像采集模组的成像平面的中心,Ol为第一图像采集模组的光心。在第一图像此采集模组为参考图像采集模组时,参考方向为垂直于第一图像采集模组的成像平面的方向,预设距离Z为在垂直于第一图像采集模组的成像平面的方向,第二参照物与第一图像采集模组的距离。Or'为第二图像采集模组的成像平面Cl的中心,Or为第二图像采集模组的光心。右相机的成像平面Cr与左相机的成像平面Cl的夹角为θ,即左右相机光轴夹角为θ。左右相机的焦距相同,成像平面与透镜的距离分别为fl和fr,光心OlOr=B。物距OOl为Bl,左右光心在成像面上的投影点分别为Ol和Or,左右摄像机的光心连线与参考相机(左侧相机)成像平面的夹角为α。所以成像方式假设基于小孔成像模式,同时假设每各相机的透镜与成像平面平行,图中的物点P在左右摄像机的像点分别是Xl和Xr。
同理,在第二图像采集模组为参考图像采集模组时,参考方向为垂直于第二图像采集模组的成像平面的方向。
在预设距离不同时,分别确定出第二参照物在第一图像采集模组采集的第二图像和第二参照物在第二图像采集模组采集的第二图像中的参考视差。例如,在预设距离为Z1时,分别确定出第二参照物在第一图像采集模组采集的第二图像和第二参照物在第二图像采集模组采集的第二图像中的第一参考视差。在预设距离为Z2时,分别确定出第二参照物在第一图像采集模组采集的第二图像和第二参照物在第二图像采集模组采集的第二图像中的第二参考视差。在预设距离为Z3时,分别确定出第二参照物在第一图像采集模组采集的第二图像和第二参照物在第二图像采集模组采集的第二图像中的第三参考视差。
对于步骤S203,在确定出多个参考视差后,可以根据预设距离、第一参数和多个参考视差,确定第一图像采集模组和第二图像采集模组的第二参数。具体可以根据第一参数、多个参考视差和多个预设距离,确定出视差和预设距离之间的关联关系。
在一个实施例中,根据图3中双目相机成像模型中各个参数,可以确定出预设距离和视差之间的关联关系,该关联关系可以通过函数关系式的形式表示,具体的推导过程并不进行限定。根据第一参数、多个参考视差和多个预设距离,可以确定出距离和视差在关联关系中的系数,进而可以确定具体的关联关系,关联关系中的系数可以作为第二参数,第二参数用于结合视差和第一参数确定距离。
在另一实施例中,步骤S202,确定第二参照物在第一图像采集模组采集的第二图像和第二图像采集模组采集的第二图像中的参考视差,包括:
提取第二参照物在第一图像采集模组采集的第二图像中的第一特征,提取第二参照物在第二图像采集模组采集的第二图像中的第二特征,根据第一特征在第一图像采集模组采集的第二图像中的第一位置和第二特征在第二图像采集模组采集的第二图像中的第二位置,确定参考视差。
在第一图像采集模组采集到第二参照物的第二图像后,提取第二参照物在第一图像采集模组采集的第二图像中的第一特征。在在第二图像采集模组采集到第二参照物的第二图像后,提取第二参照物在第二图像采集模组采集的第二图像中的第二特征。具体可以通过特征提取算法进行提取。在提取到第一特征和第二特征之后,即可根据第一特征在第一图像采集模组采集的第二图像中的第一位置和第二特征在第二图像采集模组采集的第二图像中的第二位置,确定参考视差。
在另一实施例中,在提取第一特征和第二特征之前,还可以包括:
对第二图像的预处理的过程,例如二值化处理。例如,在提取第一特征之前,对第一图像采集模组采集到第二参照物的第二图像进行二值化处理,在提取第二特征之前,对第二图像采集模组采集到第二参照物的第二图像进行二值化处理。
在对第一图像采集模组采集到第二参照物的第二图像进行二值化处理后,提取经过二值化处理后的图像中第二参照物的特征,得到第一特征。在对第二图像采集模组采集到第二参照物的第二图像进行二值化处理后,提取经过二值化处理后的图像中第二参照物的特征,得到第二特征。
在另一实施例中,提取第一特征和第二特征,还可以包括:
对提取到的经过二值化处理后的图像中第二参照物的特征进行连通域分析,确定提取到的经过二值化处理后的图像中第二参照物的特征的连通域,根据连通域确定第一特征和第二特征。例如,对第一图像采集模组采集到的第二参照物的第二图像而言,对提取到的经过二值化处理后的图像中第二参照物的特征进行连通域分析,根据连通域确定第一特征。对第二图像采集模组采集到的第二参照物的第二图像而言,对提取到的经过二值化处理后的图像中第二参照物的特征进行连通域分析,根据连通域确定第二特征。
通过连通域分析,可以过滤掉无效区域,更精确地确定出第二参照物的特征。
在另一实施例中,在提取到第一特征和第二特征后,还可以对第一特征和第二特征进行矫正,修复畸变。利用矫正后的第一特征和第二特征确定参考视差,从而可以得到更准确的参考视差。
在另一实施例中,参考图4,为一种确定待测物体位置的示意图,步骤S300,根据第一图像采集模组和第二图像采集模组的参数,确定待测物体的位置,包括:
步骤S301,通过第一图像采集模组采集待测物体的第三图像;
步骤S302,通过第二图像采集模组采集待测物体的第四图像;
步骤S303,确定待测物体在第三图像和第四图像的目标视差;
步骤S304,根据目标视差和参数确定待测物体的位置。
在确定出第一图像采集模组和第二图像采集模组的参数后,可以利用第一图像采集模组和第二图像采集模组采集待测物体的第二图像,根据第一图像采集模组和第二图像采集模组的参数,确定出待测物体的位置。步骤S301和步骤S302没有必然的先后顺序关系。
具体可以包括,通过第一图像采集模组采集待测物体的第三图像,通过第二图像采集模组采集待测物体的第四图像,第三图像和第四图像都是包括待测物体的图像,将第一图像采集模组采集的待测物体的图像记为第三图像,将第二图像采集模组采集的待测物体的图像记为第四图像。在采集到第三图像和第四图像后,确定待测物体在第三图像和第四图像之间的视差,将该视差作为目标视差。确定目标视差的过程可以参考确定参考视差的过程,可以通过确定的第一图像采集模组和第二图像采集模组的参数确定目标视差。提取待测物体在第三图像中的目标特征和在第四图像中的目标特征,将目标特征在第三图像和第四图像中进行方位匹配,即可确定出目标视差。
在另一实施例中,还可以对第三图像和第四图像进行预处理,如二值化处理,然后再提取目标特征。
在确定目标视差后,可以根据目标视差确定出待测物体与参考图像采集模组在参考方向上的距离,根据小孔成像原理,可以确定出待测物体的空间坐标,得到待测物体的位置。
待测物体可以根据实际的需求确定的物体。
在一些实施例中,第一图像采集模组和第二图像采集模组都为红外图像采集模组,第二参照物为能够发射红外光的参照物。
在第一图像采集模组和第二图像采集模组都为红外图像采集模组,第二参照物为能够发射红外光的参照物时,由于红外图像采集模组可以采集包括红外光的图像,不能采集反射或者发射其他光谱的物体的图像,同时第二参照物为能够发射红外光的参照物,所以这样通过第一图像采集模组和第二图像采集模组可以采集单纯包括第二参照物的图像,减少了第二图像中包括其他信息带来的干扰,从而减少了对第二图像进行去干扰的过程,减小的计算量。同时提高了提取第二图像中第二参照物的特征的准确性,更有利于确定出准确的参考视差。能够发射红外光的参照物可以包括红外灯。
在一些实施例中,在采集第一图像时,棋盘格处于被红外光照射的状态下,棋盘格能够反射红外光。
由于第一图像采集模组和第二图像采集模组都为红外图像采集模组,所以在通过第一图像采集模组和第二图像采集模组采集棋盘格的第一图像时,需要红外光照射棋盘格,棋盘格反射红外光后,第一图像采集模组和第二图像采集模组则可以分别采集棋盘格的第一图像。
在一些实施例中,第一参照物和第二参照物位于预设环境中,在预设环境中采集第一图像和第二图像;其中,预设环境为照度低于照度阈值和/或自然光中红外光的强度低于预设强度的环境。
由于第一图像采集模组和第二图像采集模组为红外图像采集模组,并且自然光中存在红外光,所以第一参照物和第二参照物在预设环境中可以减少外界环境中的红外光对采集第一图像和第二图像的干扰,提高采集到的第一图像和第二图像的质量,有利于更准确的确定出第一参数和第二参数。
参考图5,图5的(a)部分为第一图像采集模组采集的待测物体的图像示意图,图5的(b)部分为第二图像采集模组采集的待测物体的图像示意图。图5的(a)部分还可以是第一图像采集模组采集的第二参照物的图像示意图,图5的(b)部分为第二图像采集模组采集的第二参照物的图像示意图。这里的第二参照物为红外灯,如图5的(a)部分和(b)部分中所示的三个白色区域,第一图像采集模组和第二图像采集模组均为红外图像采集模组。
参考表1,为通过上述方法确定的待测物体在参考方向上与参考图像采集模组的距离与实际距离的对比表。
表1:
实际距离(cm) | 计算距离(cm) | 误差 | 视差 |
50 | 50 | 0 | 142 |
60 | 57.8974 | -3.51% | 130 |
70 | 68.75 | -1.7857% | 118 |
90 | 89.796 | -0.2267% | 103 |
100 | 100 | 0 | 98 |
110 | 110 | 0 | 94 |
120 | 118.9189 | -0.9009% | 91 |
130 | 129.42276 | -0.4525% | 88 |
140 | 137.5 | -1.7857% | 86 |
150 | 146.667 | -2.22% | 84 |
根据表1中的数据可知,通过上述实施例确定的待测物体在参考方向上与参考图像采集模组的距离与实际距离的误差很小,计算量也小,从而降低了确定目标视差的误差,进一步降低了确定待测物体的位置的误差,提高了确定待测物体的位置的准确度。
在另一实施例中,参考图6,为一种信息处理装置的结构示意图,该装置包括:
图像采集模块1,包括采集第一图像和第二图像,其中,所述第一图像包括第一参照物,所述第二图像包括第二参照物;所述第一参照物为棋盘格,所述第一参照物不同于所述第二参照物;
参数确定模块2,用于根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数;所述参数包括第一参数和第二参数,所述第一图像用于确定所述第一参数,所述第二图像用于确定所述第二参数;
位置确定模块3,用于根据所述第一图像采集模组和所述第二图像采集模组的参数,确定待测物体的位置。
在另一实施例中,所述参数确定模块,包括:
第一参数确定单元,用于根据所述第一图像,确定所述第一图像采集模组和所述第二图像采集模组的第一参数;
参考视差确定单元,用于在不同预设距离时,确定所述第二参照物在所述第一图像采集模组采集的所述第二图像和所述第二图像采集模组采集的所述第二图像中的参考视差;其中,所述预设距离为:所述第二参照物与所述第一图像采集模组在垂直于基线方向上的距离,所述基线为所述第一图像采集模组和所述第二图像采集模组之间的连线;
参数确定单元,用于根据所述预设距离、所述第一参数和所述参考视差,确定所述参数。
在另一实施例中,所述参考视差确定单元,包括:
第一特征提取子单元,用于提取所述第二参照物在所述第一图像采集模组采集的所述第二图像中的第一特征;
第二特征提取子单元,用于提取所述第二参照物在所述第二图像采集模组采集的所述第二图像中的第二特征;
参考视差确定子单元,用于根据所述第一特征在所述第一图像采集模组采集的所述第二图像中的第一位置和所述第二特征在所述第二图像采集模组采集的所述第二图像中的第二位置,确定所述参考视差。
在另一实施例中,所述位置确定模块,包括:
第三图像采集单元,用于通过所述第一图像采集模组采集待测物体的第三图像;
第四图像采集单元,用于通过所述第二图像采集模组采集待测物体的第四图像;
目标视差确定单元,用于确定所述待测物体在所述第三图像和所述第四图像的目标视差;
位置确定单元,用于根据所述目标视差和所述参数确定所述待测物体的位置。
在另一实施例中,所述第一图像采集模组和所述第二图像采集模组都为红外图像采集模组,所述第二参照物为能够发射红外光的参照物。
在另一实施例中,在采集所述第一图像时,所述棋盘格处于被红外光照射的状态下,所述棋盘格能够反射红外光。
在另一实施例中,所述第一参照物和所述第二参照物位于预设环境中,在所述预设环境中采集所述第一图像和所述第二图像;其中,所述预设环境为照度低于照度阈值和/或自然光中红外光的强度低于预设强度的环境。
在另一实施例中,还提供了一种电子设备,包括:
处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:
处理器用于运行所述可执行指令时,所述可执行指令执行上述任一实施例所述的方法。
在另一实施例中,还提供了一种非临时性计算机可读存储介质,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述任一实施例所述的方法。
需要说明的是,本公开实施例中的“第一”和“第二”仅为表述和区分方便,并无其他特指含义。
参考图7,为另一种信息处理的示意图。
图3,为双目相机的模型,左右两个相机水平高度仙相同,场景目标P距离左相机的距离即为Z,在左右摄像机上的成像位置分别是(xl,yl),(xr,yr),f为像距。当Z远大于B时,由于该系统处于固定状态,假设以左相机为参考,右相机的成像平面与左相机的成像平面的夹角为θ,即左右相机光轴夹角为θ。左右相机的焦距相同,成像平面与透镜的距离分别为fl和fr,光心OlOr=B。物距OOl为Bl,左右光心在成像面上的投影点分别为Ol和Or,左右摄像机的光心连线与参考相机成像平面的夹角为α。所以成像方式假设基于小孔成像模式,同时假设两相机的透镜与成像平面平行,图中的物点P在左右摄像机的像点分别是xl和xr,左右相机的每个像素实际宽度为dxl和dxr。
步骤一,1)相机焦距标定标定,通过拍摄棋盘格,获取两个相机的有效焦距fl和fr。2)在两个或多个不同距离(垂直距离)采集第二参照物的第二图像,如红外灯的图像,不同距离可以是Z1和Z2等。根据图3中的双目模型,可以推导出距离与角度及视差的关系,根据类似图5中的不同位置的采集结果可以标定出所需要的参数,例如视差和距离等。
步骤二,计算位置,通过两个图像采集模组,即两个相机拍摄实际场景中待测物体的图像,如图5所示。可以根据需求调整红外灯的排列方式及个数,比如三角形,或只用1个灯。图中的红外等特征明显,在采集到红外灯的图像后,可以对图像进行预处理,如二值化处理,然后提取红外灯的特征。为了进一步精确定位,还可以提取图中的连通域,计算通过圆形拟合进一步去除非有效区域,并对目标进行排序(分方向角度分别排序),同时进行畸变矫正,进行方位匹配,确定出左右视图中的视差结果。然后根据两个相机的标定参数确定出相机距离待测物体的距离。根据小孔成像原理,设定参考坐标系,得到待测物体的空间坐标(X,Y,Z)。
图8是根据一示例性实施例示出的一种终端设备的框图。例如,终端设备可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图8,终端设备可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制终端设备的整体操作,诸如与展示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在终端设备的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为终端设备的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为终端设备生成、管理和分配电力相关联的组件。
多媒体组件808包括在终端设备和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶展示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当终端设备处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当终端设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为终端设备提供各个方面的状态评估。例如,传感器组件814可以检测到终端设备的打开/关闭状态,组件的相对定位,例如组件为终端设备的展示器和小键盘,传感器组件814还可以检测终端设备或终端设备一个组件的位置改变,用户与终端设备接触的存在或不存在,终端设备方位或加速/减速和终端设备的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于终端设备和其他设备之间有线或无线方式的通信。终端设备可以接入基于通信标准的无线网络,如WiFi,4G或5G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于发频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端设备可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种信息处理方法,其特征在于,包括:
采集第一图像和第二图像,其中,所述第一图像包括第一参照物,所述第二图像包括第二参照物;所述第一参照物为棋盘格,所述第一参照物不同于所述第二参照物;
根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数;其中,所述参数包括第一参数和第二参数,所述第一图像用于确定所述第一参数,所述第二图像用于确定所述第二参数;
根据所述第一图像采集模组和所述第二图像采集模组的所述参数,确定待测物体的位置。
2.根据权利要求1所述的方法,其特征在于,所述根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数,包括:
根据所述第一图像,确定所述第一图像采集模组和所述第二图像采集模组的第一参数;
在不同预设距离时,确定所述第二参照物在所述第一图像采集模组采集的所述第二图像和所述第二图像采集模组采集的所述第二图像中的参考视差;其中,所述预设距离为:所述第二参照物与所述参考图像采集模组在参考方向上的距离,所述参考图像采集模组为第一图像采集模组或所述第二图像采集模组,所述参考方向为垂直于所述参考图像采集模组成像平面的方向;
根据所述预设距离、所述第一参数和所述参考视差,确定所述第一图像采集模组和所述第二图像采集模组的第二参数。
3.根据权利要求2所述的方法,其特征在于,所述确定所述第二参照物在所述第一图像采集模组采集的所述第二图像和所述第二图像采集模组采集的所述第二图像中的参考视差,包括:
提取所述第二参照物在所述第一图像采集模组采集的所述第二图像中的第一特征;
提取所述第二参照物在所述第二图像采集模组采集的所述第二图像中的第二特征;
根据所述第一特征在所述第一图像采集模组采集的所述第二图像中的第一位置和所述第二特征在所述第二图像采集模组采集的所述第二图像中的第二位置,确定所述参考视差。
4.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像采集模组和所述第二图像采集模组的参数,确定待测物体的位置,包括:
通过所述第一图像采集模组采集待测物体的第三图像;
通过所述第二图像采集模组采集待测物体的第四图像;
确定所述待测物体在所述第三图像和所述第四图像的目标视差;
根据所述目标视差和所述参数确定所述待测物体的位置。
5.根据权利要求1所述的方法,其特征在于,所述第一图像采集模组和所述第二图像采集模组都为红外图像采集模组,所述第二参照物为能够发射红外光的参照物。
6.根据权利要求5所述的方法,其特征在于,在采集所述第一图像时,所述棋盘格处于被红外光照射的状态下,所述棋盘格能够反射红外光。
7.根据权利要求5所述的方法,其特征在于,所述第一参照物和所述第二参照物位于预设环境中,在所述预设环境中采集所述第一图像和所述第二图像;
其中,所述预设环境为照度低于照度阈值的环境,和/或,自然光中红外光的强度低于预设强度的环境。
8.一种信息处理装置,其特征在于,包括:
图像采集模块,包括采集第一图像和第二图像,其中,所述第一图像包括第一参照物,所述第二图像包括第二参照物;所述第一参照物为棋盘格,所述第一参照物不同于所述第二参照物;
参数确定模块,用于根据第一图像和第二图像,确定第一图像采集模组和第二图像采集模组的参数;其中,所述参数包括第一参数和第二参数,所述第一图像用于确定所述第一参数,所述第二图像用于确定所述第二参数;
位置确定模块,用于根据所述第一图像采集模组和所述第二图像采集模组的所述参数,确定待测物体的位置。
9.一种电子设备,其特征在于,包括:
处理器和用于存储能够在所述处理器上运行的可执行指令的存储器,其中:
处理器用于运行所述可执行指令时,所述可执行指令执行上述权利要求1至7任一项所述的方法。
10.一种非临时性计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述权利要求1至7任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210344348.7A CN116934575A (zh) | 2022-03-31 | 2022-03-31 | 信息处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210344348.7A CN116934575A (zh) | 2022-03-31 | 2022-03-31 | 信息处理方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116934575A true CN116934575A (zh) | 2023-10-24 |
Family
ID=88376038
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210344348.7A Pending CN116934575A (zh) | 2022-03-31 | 2022-03-31 | 信息处理方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116934575A (zh) |
-
2022
- 2022-03-31 CN CN202210344348.7A patent/CN116934575A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10242454B2 (en) | System for depth data filtering based on amplitude energy values | |
WO2013146269A1 (ja) | 画像撮像装置、画像処理方法およびプログラム | |
JP6348611B2 (ja) | 自動ピント合わせ方法、装置、プログラム及び記録媒体 | |
WO2017215224A1 (zh) | 指纹录入提示方法和装置 | |
CN110035218B (zh) | 一种图像处理方法、图像处理装置及拍照设备 | |
WO2017049776A1 (zh) | 一种可透视型智能眼镜及其透视方法 | |
JP6016226B2 (ja) | 測長装置、測長方法、プログラム | |
CN106557759B (zh) | 一种标志牌信息获取方法及装置 | |
CN107958223B (zh) | 人脸识别方法及装置、移动设备、计算机可读存储介质 | |
CN108124102B (zh) | 图像处理方法、装置及计算机可读存储介质 | |
KR101703013B1 (ko) | 3차원 스캐너 및 스캐닝 방법 | |
CN113052919A (zh) | 一种视觉传感器的标定方法及装置、电子设备和存储介质 | |
WO2023273499A1 (zh) | 深度检测方法及装置、电子设备和存储介质 | |
WO2023273498A1 (zh) | 深度检测方法及装置、电子设备和存储介质 | |
CN110458870B (zh) | 一种图像配准、融合、遮挡检测方法、装置和电子设备 | |
CN111340691A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN109218709B (zh) | 全息内容的调整方法及装置和计算机可读存储介质 | |
CN113870213A (zh) | 图像显示方法、装置、存储介质以及电子设备 | |
CN115861741B (zh) | 目标标定方法、装置、电子设备、存储介质及车辆 | |
CN116993835A (zh) | 相机标定方法及相机标定装置、电子设备、存储介质 | |
CN116934575A (zh) | 信息处理方法、装置、电子设备及存储介质 | |
WO2019218878A1 (zh) | 拍照修复方法以及装置、存储介质及终端设备 | |
US11283970B2 (en) | Image processing method, image processing apparatus, electronic device, and computer readable storage medium | |
CN113066084A (zh) | 身体状况检测方法及装置、电子设备和存储介质 | |
CN114390189A (zh) | 图像处理方法、装置、存储介质及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |