CN105701811B - 一种基于rgb‐ir相机的声音编码交互方法 - Google Patents
一种基于rgb‐ir相机的声音编码交互方法 Download PDFInfo
- Publication number
- CN105701811B CN105701811B CN201610018446.6A CN201610018446A CN105701811B CN 105701811 B CN105701811 B CN 105701811B CN 201610018446 A CN201610018446 A CN 201610018446A CN 105701811 B CN105701811 B CN 105701811B
- Authority
- CN
- China
- Prior art keywords
- depth
- rgb
- width
- infrared
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000001514 detection method Methods 0.000 claims description 12
- HUTDUHSNJYTCAR-UHFFFAOYSA-N ancymidol Chemical compound C1=CC(OC)=CC=C1C(O)(C=1C=NC=NC=1)C1CC1 HUTDUHSNJYTCAR-UHFFFAOYSA-N 0.000 claims description 7
- 230000003993 interaction Effects 0.000 claims description 6
- 238000013459 approach Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 claims description 5
- 239000007787 solid Substances 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 206010047571 Visual impairment Diseases 0.000 abstract description 15
- 230000004438 eyesight Effects 0.000 abstract description 11
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 230000008447 perception Effects 0.000 abstract description 2
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000004888 barrier function Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 201000004569 Blindness Diseases 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011664 nicotinic acid Substances 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 201000007737 Retinal degeneration Diseases 0.000 description 1
- 206010064930 age-related macular degeneration Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明以辅助视觉障碍人士对外界场景的理解为目的,提供一种基于RGB‐IR相机的声音编码交互方法,该方法通过实时获取两台RGB‐IR相机的RGB彩色图像和IR红外图像,在传统双目视觉的基础上结合红外激光笔,实时获得三维深度信息,再将三维图像转化为声音编码,通过耳机传输给使用者,使视觉障碍人士可以通过听觉感受到场景中的物体分布和方位。
Description
技术领域
本发明属于三维场景检测、双目视觉、视觉障碍人群辅助技术、声音编码技术、人机交互领域。本发明涉及一种利用RGB‐IR相机采集视频图像,转化为声音编码的交互方法。
背景技术
视觉是人类最重要的感觉,人类有60%‐80%的信息来自视觉。视觉在人类的所有感觉中占据支配地位,是思维的一种最基本的工具。损失正常视觉的视觉障碍人士,对于形状、色彩、运动的理解都很困难,因此他们的生活在起居、出行等方面都受到巨大的影响。
对于缺损视觉感知的视觉障碍人群,简单的盲杖只能提供单一的辅助功能,探测距离有限,无法提供充分的辅助。导盲犬和仿生眼可为视觉缺损的人群提供帮助,但导盲犬的训练和养护费用普通家庭难以承担;仿生眼的植入需要进行手术,造价昂贵,且只能针对视网膜色素变性或老年性黄斑变性导致失明的人群。
传统电子式的视障辅助工具主要包括超声波辅助技术、激光测距辅助、双目视觉辅助技术、主动光深度相机辅助技术。
基于超声波和激光测距的辅助技术的测距范围有限,只能实现单点测距,探测的三维信息有限,只具有报警功能,并且容易误判、漏判。
基于传统双目视觉的辅助技术可以提供范围更大的三维信息,但也存在一些不足。传统双目视觉的三维信息获取的核心技术在于对两幅RGB图像进行图像匹配,局部匹配的方法只能获得纹理显著、特征明显处的深度,因此只能获取稀疏的三维信息,不充分的深度信息容易造成三维探测时的误检测和漏检测,使得后续辅助算法并不鲁棒和可靠;全局匹配的方法可以获得深度稠密但并不完全精确的三维图像,匹配算法复杂,计算量大,算法难以实时化,容易造成辅助时的延时。
基于主动光深度相机的辅助技术可以实时的获取稠密、精确的深度图像,但在室外受日光影响不能正常工作,使得辅助技术只能局限于室内。并且主动光的深度相机存在最远距离,超过最远距离的路况无法探测。
传统视觉障碍人士辅助技术的人机交互方式主要有语音提示、触觉震动的方法。语音提示通常播报障碍物的距离和方向,由于语音提示需要时间,会产生延时,造成事故。触觉震动通常以震动腰带或者震动背心为实现硬件,以震动来提示障碍物的方位,震动装置虽然可以免除延时的问题,但给视觉障碍人士带来负担,不同人的穿戴感受有差别。
最近RGB‐IR的CCD/CMOS芯片和声音编码技术的发展,为视觉障碍人群的辅助技术提供了新思路。RGB‐IR相机可同时获得一副RGB彩色图像和IR红外图像。采用两个RGB‐IR相机,和一支红外激光笔,在双目立体视觉的基础上,可获取实时、可靠、全面的深度图像。结合RGB彩色信息、IR红外信息和深度三维信息,可以对整个视场的场景进行充分的识别和解析。视觉障碍人士可以利用红外激光笔,对感兴趣区域的深度加以确认,增加了视觉障碍人士和视觉辅助装置的交互,提高了使用体验。利用声音编码技术的交互方式可为视觉障碍人士提供及时、快速、完整的场景信息,能够将充足的深度信息转化为声音编码传递给使用者,信息损失少,可以很好满足视觉障碍人士对辅助工具的要求。
发明内容
本发明的目的在于针对现有技术的不足,提供了一种基于RGB‐IR相机的声音编码交互方法。
本发明的目的是通过以下技术方案实现的:一种基于RGB‐IR相机的声音编码交互方法,所述方法在声音编码交互系统上实现,所述系统包括两个RGB‐IR相机、深度获取模块、声音编码模块、声音输出模块;两个RGB‐IR相机分别与深度获取模块相连,深度获取模块通过声音编码模块与声音输出模块相连;所述两个RGB‐IR相机光轴方向平行,竖直高度一致,水平间距为B(如图1所示);声音编码交互方法包括以下步骤:
(1)两个RGB‐IR相机均采集RGB彩色视频流和IR红外视频流,获得两幅 RGB彩色视频流和两幅IR红外视频流;
(2)深度获取模块获取两幅RGB彩色视频流和两幅IR红外视频流,对两幅 RGB彩色视频流进行双目立体匹配,即可获取初始的稀疏深度图。对两幅IR红外视频流进行特征点匹配(特征点匹配为本领域公知常识),即可获取这些区域特征点的置信度高的精确深度图。
(3)利用精确深度图,配合IR红外视频流和RGB彩色视频流,在初始稀的疏深度图中进行扩展,可获取更为稠密、精确的深度图像。
(4)根据RGB‐IR相机的内参数,将步骤3获得的深度图像进行三维转换,使之与RGB‐IR相机的三维坐标一致,获得三维点云;
(5)将步骤4获得的三维点云的立方区域进行分块,获得N个长方体区块,使得与RGB‐IR相机光轴垂直的面分成N个长方形区域。分块方式见图4。
(6)从点云分块结果最上一层开始,对每层中的各个长方体区块进行扫描。计算每个长方体区块的平均坐标根据这一层中各个长方体区块的平均坐标同时输出各个立体声模拟信号,其中,立体声模拟信号的声场水平距离通过表示;立体声模拟信号的频率与成线性关系;
(7)声音输出模块根据立体声模拟信号,依次输出每一层声音信号,完成交互。
进一步地,所述步骤(2)中,对两幅RGB彩色视频流进行双目立体匹配,获取初始的稀疏深度图的方法如下:
a、构造一个窗口,类似于卷积核;
b、用窗口覆盖其中一幅RGB彩色视频流中的一个区域I,获得窗口覆盖区域内的所有像素点(u,v);
c、用窗口覆盖另一幅RGB彩色视频流中的一个区域II,筛选出窗口覆盖区域的像素点(u',v'),使得该区域的SAD值最小;所述SAD值通过以下方式计算:
SAD(u,v)=Sum{|I(u,v)-II(u',v')|},Sum表示该窗口块中的所有灰度绝对值差的累积。
d、计算各个对应点的视差d=|u'-u|,由深度计算公式,可得该点的深度为 z=f×B/d,即该点到相机主平面的距离,其中f为焦距,B为两相机的水平间距。
e、对整幅图像进行一次循环遍历,计算每一像素点的视差值d和深度z,即可获知当前的初始深度图。
进一步地,所述步骤(3)中,利用精确深度图,配合IR红外视频流和RGB 彩色视频流,在初始稀的疏深度图中进行扩展,可获取更为稠密、精确的深度图像。具体为:
a、以最小的圆形框,框住两幅IR红外视频流的特征点区域;
b、对圆形框的区域进行遍历,计算一个非特征点上下左右四个方向到最近的三个的特征点的距离,以这三个特征点的深度对该非特征点的深度进行加权插值。插值的权值与它们之间的颜色与距离差别有关系。插值的权值为
其中(x-x0)2+(y-y0)2为该非特征点到一个特征点的距离平方,对应的 (r-r0)2+(g-g0)2+(b-b0)2为该非特征点与一个特征点的颜色分量的差别的平方,σd与σc分别为距离项和颜色项的权值;
c、对超过搜索距离h的点,则跳出,不对该点进行深度修正;
d、对圆形框的区域遍历执行b、c两步后,对深度图像进行一次斑点滤波,完成当前场景区域的深度扩展,即获得更为稠密、精确的深度图像。
进一步地,所述步骤4中的三维点云通过以下方法得到:
首先对两个RGB‐IR相机进行相机标定,获得相机的内参数,包括在x,y两个轴上的焦距fx,fy和相机的光圈中心cx,cy。
像素点(u,v)在其中一个相机获得的深度图像中的深度为z,则可由
x=(u-cx)×z/fx
y=(v-cy)×z/fy
求得该像素点在该相机坐标系下的三维坐标(x,y,z)。结合该相机采集的彩色图像,可得该像素的点云坐标(x,y,z,r,g,b)。
然后对整幅深度图像进行一次循环遍历,便可得到当前场景的三维点云。
进一步地,所述步骤2中,对两幅IR红外视频流进行特征点匹配的方法如下:
a.对两幅IR红外视频流分别提取图像特征关键点(如尺度不变特征点),提取训练图像描述符;
b.创建快速最近邻逼近搜索的描述符匹配对象;
c.通过快速最近邻逼近搜索,对两幅IR红外视频流中的特征关键点进行匹配;
d.计算两幅IR红外视频流中的每一对特征关键点的匹配距离L;
e.在匹配好的特征关键点中,剔除匹配距离L超出阈值L0的错误匹配点;
f.完成两幅红外图像的特征点匹配。
本发明的有益效果在于:
a、速度快:由于不需要采用全局匹配算法获取稠密的深度信息,只需要进行一次简单的局部块匹配先获取一张稀疏的初始深度图,再在红外激光笔的帮助下,将深度信息延拓,获取更稠密、准确的深度图。
b、深度准确:采用红外激光笔,使用者用红外激光笔在场景中进行涂画,可RGB‐IR相机的中的IR红外分量部分捕捉到使用者感兴趣的区域,通过特征点匹配即可计算出感兴趣区域的精确深度。利用彩色图像,将感兴趣区域的精确深度进行延展,可获得相比传统双目视觉更精确的深度图像。
c、算法容易实现:由于不需要根据深度图进行障碍物和地面检测,而是直接将深度图转化为三维点云,进而通过声音编码传递给使用者。因此无需进行复杂、稳健的障碍物、地面检测算法的设计,相当于直接让使用者听到丰富的场景信息。
整个方法中只有一个简单的块匹配算法,一个深度扩展算法和一个声音编码方法,易于实现。
d、使用者可以和设备进行交互:使用者可以利用红外激光笔,对自己感兴趣区域进行选择,从而增加该区域深度信息的置信度。而传统的辅助设备,使用者得到的是整个视场的处理结果,没有自己选择特定区域的可能。
e、信息损失少:本方法直接将获取的深度信息转化为声音编码传送给使用者,让使用者自己通过声音来理解场景和判别路况,信息损失少。而传统辅助方法先通过障碍物或地面的检测算法,再将识别结果通过声音提示或震动传递给使用者,往往浪费了很多信息。
f、成本低:本方法只需两个常规的RGB‐IR相机和一只没有安全隐患的常规红外激光笔,和一台便携的支持RGB‐IR相机的处理器即可。硬件系统的各个部分可以实现通用化和自主组合,因此成本低廉。
g、使用感受逐渐提升:使用者在使用本方法所述的交互方式一段时间后,对不同场景对应的声音会逐渐形成记忆,听到一种声音就要能对应到一种特殊场景。这些储存的知识帮助使用者在此后交互的时候形成条件反射的效果,因此使用者对音频的反应加快,从而可以提高音频的播放速度,进而在交互的相同的时间内可以获取更多的信息,提升使用感受。
附图说明
图1两个RGB‐IR相机及其位置关系示意图;
图2流程图;
图3模块连接示意图;
图4点云分块图。
- 具体实施方式
本发明以辅助视觉障碍人士对外界场景的理解为目的,通过实时获取两台 RGB‐IR相机的RGB彩色图像和IR红外图像,在传统双目视觉的基础上结合红外激光笔,实时获得三维深度信息,再将三维图像转化为声音编码,通过耳机传输给使用者,使视觉障碍人士可以通过听觉感受到场景中的物体分布和方位。具体包括以下步骤:
1.视觉障碍人士使用一支红外激光笔,对环境中的感兴趣区域进行涂画,给三维环境中增加红外特征点(如图3所示)。
2.两个RGB‐IR相机均采集RGB彩色视频流和IR红外视频流,获得两幅RGB彩色视频流和两幅IR红外视频流。
3.深度获取模块获取两幅RGB彩色视频流和两幅IR红外视频流,对两幅RGB 彩色视频流进行双目立体匹配,即可获取初始的稀疏深度图。具体为:
a、构造一个窗口,类似于卷积核;
b、用窗口覆盖其中一幅RGB彩色视频流中的一个区域I,获得窗口覆盖区域内的所有像素点(u,v);
c、用窗口覆盖另一幅RGB彩色视频流中的一个区域II,筛选出窗口覆盖区域的像素点(u',v'),使得该区域的SAD值最小;所述SAD值通过以下方式计算: SAD(u,v)=Sum{|I(u,v)-II(u',v')|},Sum表示该窗口块中的所有灰度绝对值差的累积。
d、计算各个对应点的视差d=|u'-u|,由深度计算公式,可得该点的深度为 z=f×B/d,即该点到相机主平面的距离,其中f为焦距,B为两相机的水平间距。
e、对整幅图像进行一次循环遍历,计算每一像素点的视差值d和深度z,即可获知当前的初始深度图。
4.深度获取模块对两幅IR红外视频流进行特征点匹配,即可获取这些区域特征点的置信度高的精确深度图,(特征点匹配为本领域公知常识,可参见快速最近邻逼近搜索函数库,http://www.cs.ubc.ca/research/flann/,SIFT特征”Object recognition fromlocal scale‐invariant features”。),具体如下:
对两幅IR红外视频流进行特征点匹配的方法如下:
a.对两幅IR红外视频流分别提取图像特征关键点(如尺度不变特征点),提取训练图像描述符;
b.创建快速最近邻逼近搜索的描述符匹配对象;
c.通过快速最近邻逼近搜索,对两幅IR红外视频流中的特征关键点进行匹配;
d.计算两幅IR红外视频流中的每一对特征关键点的匹配距离L;
e.在匹配好的特征关键点中,剔除匹配距离L超出阈值L0的错误匹配点;其中,L0一般是最小匹配距离Lmin的5‐10倍
f.完成两幅红外图像的特征点匹配。
5.深度获取模块利用精确深度图,配合IR红外视频流和RGB彩色视频流,在初始稀的疏深度图中进行扩展,可获取更为稠密、精确的深度图像。具体为:
a、以最小的圆形框,框住两幅IR红外视频流的特征点区域;
b、对圆形框的区域进行遍历,计算一个非特征点上下左右四个方向到最近的三个的特征点的距离,以这三个特征点的深度对该非特征点的深度进行加权插值。插值的权值与它们之间的颜色与距离差别有关系。插值的权值为
其中(x-x0)2+(y-y0)2为该非特征点到一个特征点的距离平方,对应的 (r-r0)2+(g-g0)2+(b-b0)2为该非特征点与一个特征点的颜色分量的差别的平方,σd与σc分别为距离项和颜色项的权值;
c、对超过搜索距离h(一般为5‐20像素)的点,则跳出,不对该点进行深度修正;
d、对圆形框的区域遍历执行b、c两步后,对深度图像进行一次斑点滤波,完成当前场景区域的深度扩展,即获得更为稠密、精确的深度图像。
6.根据RGB‐IR相机的内参数,将步骤5获得的深度图像进行三维转换,使之与RGB‐IR相机的三维坐标一致,获得三维点云,具体为:
首先对两个RGB‐IR相机进行相机标定,获得相机的内参数,包括在x,y两个轴上的焦距fx,fy和相机的光圈中心cx,cy。
像素点(u,v)在其中一个相机获得的深度图像中的深度为z,则可由
x=(u-cx)×z/fx
y=(v-cy)×z/fy
求得该像素点在该相机坐标系下的三维坐标(x,y,z)。结合该相机采集的彩色图像,可得该像素的点云坐标(x,y,z,r,g,b)。
对整幅深度图像进行一次循环遍历,便可得到当前场景的三维点云。
7.将步骤6获得的三维点云的立方区域进行分块,获得N个长方体区块,使得与RGB‐IR相机光轴垂直的面分成N个长方形区域。分块方式见图4。
8.从点云分块结果最上一层开始,对每层中的各个长方体区块进行扫描。计算每个长方体区块的平均坐标根据这一层中各个长方体区块的平均坐标同时输出各个立体声模拟信号,其中,立体声模拟信号的声场水平距离通过表示;立体声模拟信号的频率与成线性关系;
9.声音输出模块根据立体声模拟信号,依次输出每一层声音信号。
10.耳机将声音信号传输给视觉障碍人士,视觉障碍人士根据声音信号认知三维环境,完成一次交互。
Claims (5)
1.一种基于RGB-IR相机的声音编码交互方法,其特征在于,所述方法在声音编码交互系统上实现,所述系统包括两个RGB-IR相机、深度获取模块、声音编码模块、声音输出模块;两个RGB-IR相机分别与深度获取模块相连,深度获取模块通过声音编码模块与声音输出模块相连;所述两个RGB-IR相机光轴方向平行,竖直高度一致,水平间距为B;声音编码交互方法包括以下步骤:
(1)两个RGB-IR相机均采集RGB彩色视频流和IR红外视频流,获得两幅RGB彩色视频流和两幅IR红外视频流;
(2)深度获取模块获取两幅RGB彩色视频流和两幅IR红外视频流,对两幅RGB彩色视频流进行双目立体匹配,即可获取初始的稀疏深度图;对两幅IR红外视频流进行特征点匹配,即可获取这些区域特征点的置信度高的精确深度图;
(3)利用精确深度图,配合IR红外视频流和RGB彩色视频流,在初始的稀疏深度图中进行扩展,可获取更为稠密、精确的深度图像;
(4)根据RGB-IR相机的内参数,将步骤( 3) 获得的深度图像进行三维转换,使之与RGB-IR相机的三维坐标一致,获得三维点云;
(5)将步骤( 4) 获得的三维点云的立方区域进行分块,获得N个长方体区块,使得与RGB-IR相机光轴垂直的面分成N个长方形区域;
(6)从点云分块结果最上一层开始,对每层中的各个长方体区块进行扫描;计算每个长方体区块的平均坐标根据这一层中各个长方体区块的平均坐标同时输出各个立体声模拟信号,其中,立体声模拟信号的声场水平距离通过表示;立体声模拟信号的频率与成线性关系;
(7)声音输出模块根据立体声模拟信号,依次输出每一层声音信号,完成交互。
2.根据权利要求1所述的方法,其特征在于,所述步骤(2)中,对两幅RGB彩色视频流进行双目立体匹配,获取初始的稀疏深度图的方法如下:
a、构造一个窗口,类似于卷积核;
b、用窗口覆盖其中一幅RGB彩色视频流中的一个区域I,获得窗口覆盖区域内的所有像素点(u,v);
c、用窗口覆盖另一幅RGB彩色视频流中的一个区域II,筛选出窗口覆盖区域的像素点(u',v'),使得该区域的SAD值最小;所述SAD值通过以下方式计算:
SAD(u,v)=Sum{|I(u,v)-II(u',v')|},Sum表示该窗口块中的所有灰度绝对值差的累积;
d、计算各个对应点的视差d=|u'-u|,由深度计算公式,可得该点的深度为z=f×B/d,即该点到相机主平面的距离,其中f为焦距,B为两相机的水平间距;
e、对整幅图像进行一次循环遍历,计算每一像素点的视差值d和深度z,即可获知当前的初始的稀疏深度图。
3.根据权利要求1所述的方法,其特征在于,所述步骤(3)中,利用精确深度图,配合IR红外视频流和RGB彩色视频流,在初始的稀疏深度图中进行扩展,可获取更为稠密、精确的深度图像;具体为:
a、以最小的圆形框,框住两幅IR红外视频流的特征点区域;
b、对圆形框的区域进行遍历,计算一个非特征点上下左右四个方向到最近的三个的特征点的距离,以这三个特征点的深度对该非特征点的深度进行加权插值;插值的权值与它们之间的颜色与距离差别有关系;插值的权值为
其中(x-x0)2+(y-y0)2为该非特征点到一个特征点的距离平方,对应的(r-r0)2+(g-g0)2+(b-b0)2为该非特征点与一个特征点的颜色分量的差别的平方,σd与σc分别为距离项和颜色项的权值;
c、对超过搜索距离h的点,则跳出,不对该点进行深度修正;
d、对圆形框的区域遍历执行b、c两步后,对深度图像进行一次斑点滤波,完成当前场景区域的深度扩展,即获得更为稠密、精确的深度图像。
4.根据权利要求1所述的方法,其特征在于,所述步骤- ( 4) 中的三维点云通过以下方法得到:
首先对两个RGB-IR相机进行相机标定,获得相机的内参数,包括在x,y两个轴上的焦距fx,fy和相机的光圈中心cx,cy;
像素点(u,v)在其中一个相机获得的深度图像中的深度为z,则可由
x=(u-cx)×z/fx
y=(v-cy)×z/fy
求得该像素点在该相机坐标系下的三维坐标(x,y,z);结合该相机采集的彩色图像,可得该像素的点云坐标(x,y,z,r,g,b);
然后对整幅深度图像进行一次循环遍历,便可得到当前场景的三维点云。
5.根据权利要求1所述的方法,其特征在于,所述步骤( 2) 中,对两幅IR红外视频流进行特征点匹配的方法如下:
a.对两幅IR红外视频流分别提取图像特征关键点,提取训练图像描述符;
b.创建快速最近邻逼近搜索的描述符匹配对象;
c.通过快速最近邻逼近搜索,对两幅IR红外视频流中的特征关键点进行匹配;
d.计算两幅IR红外视频流中的每一对特征关键点的匹配距离L;
e.在匹配好的特征关键点中,剔除匹配距离L超出阈值L0的错误匹配点;
f.完成两幅红外图像的特征点匹配。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610018446.6A CN105701811B (zh) | 2016-01-12 | 2016-01-12 | 一种基于rgb‐ir相机的声音编码交互方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610018446.6A CN105701811B (zh) | 2016-01-12 | 2016-01-12 | 一种基于rgb‐ir相机的声音编码交互方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105701811A CN105701811A (zh) | 2016-06-22 |
CN105701811B true CN105701811B (zh) | 2018-05-22 |
Family
ID=56226253
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610018446.6A Active CN105701811B (zh) | 2016-01-12 | 2016-01-12 | 一种基于rgb‐ir相机的声音编码交互方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105701811B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106203390B (zh) * | 2016-07-22 | 2019-09-24 | 杭州视氪科技有限公司 | 一种智能盲人辅助系统 |
CN107958489B (zh) * | 2016-10-17 | 2021-04-02 | 杭州海康威视数字技术股份有限公司 | 一种曲面重建方法及装置 |
CN107341789B (zh) * | 2016-11-23 | 2019-12-17 | 杭州视氪科技有限公司 | 一种基于rgb-d相机和立体声的视障人士通路预知系统和方法 |
CN106846350B (zh) * | 2016-11-23 | 2019-09-24 | 杭州视氪科技有限公司 | 一种基于rgb-d相机和立体声的视障人士障碍物预警系统及方法 |
CN109819229B (zh) * | 2019-01-22 | 2021-02-26 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104639923A (zh) * | 2015-02-04 | 2015-05-20 | 华为技术有限公司 | 一种对图像数据进行处理的方法、装置和终端 |
CN103247075B (zh) * | 2013-05-13 | 2015-08-19 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
CN104899869A (zh) * | 2015-05-14 | 2015-09-09 | 浙江大学 | 基于rgb-d相机和姿态传感器的平面和障碍检测方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130250078A1 (en) * | 2012-03-26 | 2013-09-26 | Technology Dynamics Inc. | Visual aid |
-
2016
- 2016-01-12 CN CN201610018446.6A patent/CN105701811B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103247075B (zh) * | 2013-05-13 | 2015-08-19 | 北京工业大学 | 基于变分机制的室内环境三维重建方法 |
CN104639923A (zh) * | 2015-02-04 | 2015-05-20 | 华为技术有限公司 | 一种对图像数据进行处理的方法、装置和终端 |
CN104899869A (zh) * | 2015-05-14 | 2015-09-09 | 浙江大学 | 基于rgb-d相机和姿态传感器的平面和障碍检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105701811A (zh) | 2016-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105686936B (zh) | 一种基于rgb‐ir相机的声音编码交互系统 | |
CN105701811B (zh) | 一种基于rgb‐ir相机的声音编码交互方法 | |
CN106203390B (zh) | 一种智能盲人辅助系统 | |
CN106389078A (zh) | 一种智能导盲眼镜系统及其导盲方法 | |
CN108245385B (zh) | 一种帮助视障人士出行的装置 | |
CN105631861B (zh) | 结合高度图从无标记单目图像中恢复三维人体姿态的方法 | |
Steffen et al. | Neuromorphic stereo vision: A survey of bio-inspired sensors and algorithms | |
CN105651384B (zh) | 一种全光信息采集系统 | |
WO2020042970A1 (zh) | 一种三维建模的方法及其装置 | |
CN204744865U (zh) | 基于听觉的为视觉障碍人士传达周围环境信息的装置 | |
WO2017092196A1 (zh) | 三维动画生成的方法和装置 | |
CN106214437A (zh) | 一种智能盲人辅助眼镜 | |
JP6771548B2 (ja) | 盲人又は視覚障害者が音声や触覚によって周囲環境を解釈することを可能にするポータブルシステム | |
CN107392965A (zh) | 一种基于深度学习和双目立体视觉相结合的测距方法 | |
RU2744699C1 (ru) | Устройство формирования, способ формирования и программа для трехмерной модели | |
CN107341789B (zh) | 一种基于rgb-d相机和立体声的视障人士通路预知系统和方法 | |
JP2019009752A (ja) | 画像処理装置 | |
CN106846350A (zh) | 一种基于rgb‑d相机和立体声的视障人士障碍物预警系统及方法 | |
US11652978B2 (en) | Depth map generation device | |
CN106471523A (zh) | 使用红外成像的颜色标识 | |
CN109274883A (zh) | 姿态矫正方法、装置、终端及存储介质 | |
CN105761235A (zh) | 一种将视觉信息转换成听觉信息的视觉辅助方法 | |
CN106504283A (zh) | 信息播放方法、装置及系统 | |
Chen et al. | Camera networks for healthcare, teleimmersion, and surveillance | |
CN114373225A (zh) | 一种基于人体骨架的行为识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |