CN106327465B - 物体位置确定方法及装置 - Google Patents
物体位置确定方法及装置 Download PDFInfo
- Publication number
- CN106327465B CN106327465B CN201510342157.7A CN201510342157A CN106327465B CN 106327465 B CN106327465 B CN 106327465B CN 201510342157 A CN201510342157 A CN 201510342157A CN 106327465 B CN106327465 B CN 106327465B
- Authority
- CN
- China
- Prior art keywords
- image sequence
- image
- pixel
- gray value
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000010354 integration Effects 0.000 claims description 9
- 241000239290 Araneae Species 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000004888 barrier function Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000012800 visualization Methods 0.000 description 5
- 210000003128 head Anatomy 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- XEEYBQQBJWHFJM-UHFFFAOYSA-N Iron Chemical compound [Fe] XEEYBQQBJWHFJM-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052742 iron Inorganic materials 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
一种物体位置确定方法及装置、倒车显示系统,该方法包括:装置计算获取到的图像的深度图,该图像是由深度摄像头拍摄的,按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列,遍历第二图像序列,根据预先设置的像素点绘制方法及第二图像序列中的每一个像素点的灰度值计算得到深度图的第三图像序列,对该第三图像序列进行拉伸处理,得到第四图像序列,该第四图像序列即为图像中的物体位置的分布图,通过上述处理,能够有效确定图像中的物体与深度摄像头之间的距离。
Description
技术领域
本发明涉及倒车影像技术领域,尤其涉及物体位置确定方法及系统。
背景技术
随着汽车电子市场的快速繁荣发展,传统的倒车雷达辅助系统已经被可视化倒车辅助系统所代替,可视化倒车辅助系统能够为驾驶者提供车后的图像及车后障碍物的报警距离。
目前市场上的可视化倒车辅助系统主要是由超声波测距系统和后视摄像头组成,超声波测距系统测量车后障碍物的距离,当障碍物与车后的距离小于报警距离时则报警,后视摄像头则通过叠加在图像上的标尺用户界面(UI,UserInterface)来提示驾驶者哪个区域是安全的。
然而,目前市场上的可视化倒车辅助系统存在一些盲区,请参阅图1a及图1b,其中,图1a为车辆与障碍物相对关系的侧视图,图1b为车辆与障碍物相对关系的俯视图,从图1a和图1b可以看出,在倒车的时候,车后有一根被掩埋了半身的消防栓,位置偏向车的侧边,超声波雷达的窄发射角度导致很难检测到这种高度的障碍物,此外,后视摄像头因为图像畸变很容易让驾驶者错误的估计消防栓的高度,因此,从上述的举例可以看出,可视化倒车辅助系统存在超声波的发射区域不能被障碍物反射的问题及后视摄像头因为使用广角镜头导致图像畸变而产生和正常视觉不同的透视关系的问题,将使得驾驶者难以判断障碍物在某一高度上与车的实际距离,导致容易发生碰撞。
发明内容
有鉴于此,本发明提供一种物体位置确定方法及装置,倒车显示系统,用于解决现有技术中驾驶者难以判断障碍物在某一高度上与车的实际距离,导致容易发生碰撞的问题。
在第一方面,本发明实施例提供了一种物体位置确定方法,包括:
计算获取到的图像的深度图,所述图像由深度摄像头拍摄;
按照灰度值的最大范围,对所述深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到所述深度图的第二图像序列;
遍历所述第二图像序列,根据预先设置的像素点绘制方法及所述第二图像序列中的每一个像素点的灰度值计算得到所述深度图的第三图像序列;
对所述第三图像序列进行拉伸处理,得到第四图像序列,所述第四图像序列即为所述图像中的物体位置的分布图。
在第二方面,本发明实施例提供了一种物体位置确定装置,包括:
深度计算模块,用于计算获取到的图像的深度图,所述图像由深度摄像头拍摄;
归一化模块,用于按照灰度值的最大范围,对所述深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到所述深度图的第二图像序列;
遍历模块,用于遍历所述第二图像序列,按照预先设置的像素点绘制方法及所述第二图像序列中的每一个像素点的灰度值计算得到所述深度图的第三图像序列;
拉伸模块,用于对所述第三图像序列进行拉伸处理,得到第四图像序列,所述第四图像序列即为所述图像中的物体位置的分布图。
第三方面,本发明提供一种倒车显示系统,包括:
包括深度摄像头、高速存储装置、显示控制装置、界面整合模块、显示器、及上述的物体位置确定装置;
其中,所述深度摄像头用于拍摄图像;
所述高速存储装置用于存储所述深度摄像头拍摄的图像;
所述物体位置确定装置用于从所述高速存储装置中获取所述图像,并确定所述图像中的物体位置分布图;
所述显示控制装置用于从所述高速存储装置中获取所述图像,并对所述图像进行控制及处理;
所述界面整合模块用于将所述物体位置确定装置确定的所述位置分布图与所述显示控制装置控制及处理的图像进行整合;
所述显示器用于显示所述界面整合模块整合后的图像。
从以上技术方案可以看出,本发明实施例具有以下优点:
装置计算获取到的图像的深度图,该图像是由深度摄像头拍摄的,按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列,遍历第二图像序列,根据预先设置的像素点绘制方法及第二图像序列中的每一个像素点的灰度值计算得到深度图的第三图像序列,对该第三图像序列进行拉伸处理,得到第四图像序列,该第四图像序列即为图像中的物体位置的分布图,通过上述处理,能够有效确定图像中的物体与深度摄像头之间的距离。
为让本发明的上述和其他目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附图式,作详细说明如下。
附图说明
图1a为车辆与障碍物相对关系的侧视图;
图1b为车辆与障碍物相对关系的俯视图;
图1c为本发明实施例中一种物体位置确定方法的流程的示意图;
图2为本发明实施例中同一物体的视差图;
图3至图5为本发明实施例中透视模型的示意图;
图6为本发明实施例中一种物体位置确定方法的流程的示意图;
图7a为本发明实施例中拉伸梯度的示意图;
图7b为本发明实施例中深度摄像头拍摄的图像的示意图;
图8为图7中的图像的深度图;
图9为图7中的图像内的物体位置的分布图;
图10为图7及图9在倒车显示系统的人机界面上显示的示意图;
图11为本发明实施例中物体位置确定装置的结构的示意图;
图12为本发明实施例中物体位置确定装置的结构的示意图;
图13为本发明实施例中倒车显示系统的结构的示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细说明。
需要说明的是,如果不冲突,本发明实施例以及实施例中的各个特征可以互相结合,均在本发明的保护范围之内。另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以不同于装置中的模块划分,或流程图中的顺序执行所示出或描述的步骤。
为更进一步阐述本发明为实现预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明的具体实施方式、结构、特征及其功效,详细说明如后。
请参阅图1C,为本发明实施例中一种物体位置确定方法的实施例,包括:
101、计算获取到的图像的深度图,图像由深度摄像头拍摄;
在本发明实施例中,深度摄像头可以获取所拍摄的视界范围里的景物的图像,物体位置确定装置(以下简称装置)能够利用该深度摄像头拍摄的图像得到该图像的深度图。其中,深度图是指即拍摄的图像中的景物与深度摄像头之间的距离的分布图,且深度摄像头拍摄的图像一般以灰阶来表示景物到该摄像头的镜头的距离。
在本发明实施例中,深度摄像头可以但不限于是:微软的kinect体感传感器、Leapmotion的手势识别相机、英特尔的RealSense 3D深度摄像头等。
在本发明实施例中,装置在确定物体位置分布时使用的时双目深度摄像头,即两个深度摄像头处于同一水平面,且两个深度摄像头之间相距预置距离。装置将获取到该双目摄像头拍摄的图像,并计算获取到的图像的深度图。
其中,处于水平通告位置的两个深度摄像头在同时拍摄一幅画面时,画面内相同的内容在图像中会形成一个视差,装置可基于该视差及三角测距原理得到图像的深度图。
为了更好的理解本发明实施例中的技术方案,下面将具体的介绍视差及三角测距原理。
请参阅图2,为本发明实施例中同一物体的视差图,其中,笑脸图形即为双目深度摄像头拍摄的物体,C1表示一个深度摄像头,C2表示另一个双目摄像头,两条虚线表示的是C1和C2拍摄同一场景时,图像内的笑脸图形之间的视差。
请参阅图3至图5的透视模型的示意图,其中,C1和C2为两个深度摄像头的成像传感器所在的位置,它们之间的光轴距离为D。P点为物体的所在位置。当P点出现于两个深度摄像头的公共视野内,P点在2个深度摄像头内所生成的图像就会产生视差,标定像素差和两个深度摄像头的光轴距离D的数值关系,然后根据使用的深度摄像头的透视模型,可以很容易的通过三角测量法推算出P点相对于深度摄像头平面的空间位置。
如图4所示,C1和C2是两个摄像头的镜头位置,设C1的主光轴与C1的镜头交点为零点(0,0,0),则P点P(x,y,z)在C1内成像的位置为(0,y,-p),在C2内成像的位置为(D,y,-p),其中D是两个深度摄像头之间的水平距离,p为摄像头自身的光路结构参数决定的。P(x,y,z)在水平方向与C1和C2的主光轴交点分别为(0,y,z)和(D,y,z)。P点在C1和C2的成像位置分别为(x1,y,0)和(x2,y,0),x1和x2可以由拍摄到的图像中P点的二维坐标(x,y)获得。可以根据图5中的三角形得出以下关系:
(z+p)/x=p/x1
(z+p)/x2=p/(d-x)
其中p可以通过实际测量已知坐标确定位置的点,将坐标代入以上关系标定得出,这个参数和选用的摄像头光学设计有关,因此不同的光学设计下的摄像头该参数需要在定位前进行标定。通过上述的关系式可以解出P点的z坐标和x坐标。由于双目摄像头水平放置的位置是一致的。因此只需要解出一个y即可获得y坐标。再通过图5的y方向视图可以得到如下关系
(z+p)/y=p/y
由此可以解出P点的y坐标。
根据这些参数和视差图建立三角测量模型就可以很容易的计算图像的深度图,且是目前较为成熟的现有技术。
102、按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列;
在本发明实施例中,装置在计算得到图像的深度图之后,将按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到该深度图的第二图像序列。
其中,灰度值的最大范围是指0 ̄255。
在本发明实施例中,归一化处理具体包括:若第一图像序列中灰度值的最大值为200,最小值为30,则第一图像序列中的灰度值的范围为30 ̄200,确定上述最大范围0 ̄255与该灰度值范围30 ̄200之间的比例,将第一图像序列中每一个像素点的灰度值都乘以该比例,则可得到归一化处理后的第二图像序列。
103、遍历第二图像序列,根据预先设置的像素点绘制方法及第二图像序列中的每一个像素点的灰度值计算得到深度图的第三图像序列;
104、对第三图像序列进行拉伸处理,得到第四图像序列,第四图像序列即为图像中的物体位置的分布图。
在本发明实施例中,装置将按照预先设置的像素点绘制方法遍历第二图像序列,并利用第二图像序列中的每一个像素点的灰度值进行绘制,得到深度图的第三图像序列,并对第三图像序列进行拉伸处理,得到第四图像序列,该第四图像序列即为图像中的物体位置的分布图。
其中,预先设置的像素点绘制方法为:Dmax/Yd*Ds;
上述方法中,Dmax为深度摄像头拍摄的场景的实际深度,Yd为像素点在第二图像序列中的位置,Ds为像素点在第二图像序列中的灰度值。
在本发明实施例中,装置计算获取到的图像的深度图,该图像是由深度摄像头拍摄的,按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列,遍历第二图像序列,根据预先设置的像素点绘制方法及第二图像序列中的每一个像素点的灰度值计算得到深度图的第三图像序列,对该第三图像序列进行拉伸处理,得到第四图像序列,该第四图像序列即为图像中的物体位置的分布图,通过上述处理,能够有效确定图像中的物体与深度摄像头之间的距离。
为了更好的理解本发明中的技术方案,请参阅图6,为本发明实施例中物体位置确定方法的实施例,包括:
601、计算获取到的图像的深度图,图像由深度摄像头拍摄;
602、按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列;
步骤601与步骤602分别与图1所示实施例中描述的步骤101和步骤102相似,此处不做赘述。
603、生成与第二图像序列具有相同分辨率的第三图像序列;
604、按照从第0列开始遍历到最后一列,且对每一列遍历时,从第0行遍历到最后一行的方式对第二图像序列的像素点进行遍历,读取遍历到的像素点的灰度值;
605、根据预先设置的像素点绘制方法及遍历到的像素点的灰度值计算得到第一灰度值;
606、按照像素点在第二图像序列中的位置确定第一灰度值在第三图像序列中对应的位置,将位置上的像素点的灰度值修改为第一灰度值;
在本发明实施例中,装置在得到深度图的第二图像序列之后,将生成与第二图像序列具有相同分辨率的第三图像序列,该第三图像序列的像素点的灰度值相同,例如,灰度值可以是0或者是255。
在本发明实施例中,装置将按照从第0列开始遍历到最后一列,且对每一列遍历时,从第0行遍历到最后一行的方式对第二图像序列的像素点进行遍历,读取遍历到的像素点的灰度值。
其中,装置按照上述的规则进行遍历,且每遍历到一个像素点,则按照预先设置的像素点绘制方法及遍历到的像素点的灰度值计算该遍历到第一灰度值。
其中,预先设置的像素点绘制方法为:Dmax/Yd*Ds;
上述方法中,Dmax为深度摄像头拍摄的场景的实际深度,Yd为像素点在第二图像序列中的位置,Ds为像素点在第二图像序列中的灰度值。
在本发明实施例中,装置在得到遍历到的像素点的第一灰度值之后,将按照像素点在第二图像序列中的位置确定该第一灰度值在第三图像序列中对应的位置,将对应的位置上的像素点的灰度值修改为计算得到的第一灰度值,例如:若第二图像序列中的像素点A的位置为第5列第5行,按照预先设置的像素点绘制方法及像素点A在第二图像序列中的灰度值计算灰度值,并按照计算得到的灰度值修改第三图像序列中第5列第5行的位置的像素点的灰度值。
需要说明的是,生成第三图像序列的目的是为了生成一个缓存,能够在后续中保存遍历第二图像序列时确定的灰度值,在实际应用中,该缓存不限定于是图像序列的形式,还可以是缓存空间等等,此处不做限定。
607、获取深度摄像头的梯度拉伸参数;
608、按照梯度拉伸参数对第三图像序列进行拉伸处理,得到第四图像序列。
在本发明实施例中,深度摄像头不能获取物体被遮挡部分的深度信息,装置得到的第三图像序列并不是场景内物体轮廓的顶视图,但是却可以表征物体的大小和位置。且由于深度摄像头拍摄的照片有透视关系,此时得到的图形是近大远小的,为了能真实反映正确的大小关系,第三图像序列还需要根据透视关系进行梯度拉伸,即越远处的物体需要在水平方向进行更大程度的拉伸,根据距离变化而形成一个拉伸的梯度,即梯度拉伸参数,如图7a所示。该梯度拉伸参数由于不同深度摄像头的光学参数不同需要实际测定。
在本发明实施例中,装置中已经预先设置了拍摄图像的深度摄像头的梯度拉伸参数,装置在得到第三图像序列之后,将获取拍摄图像的深度摄像头的梯度拉伸参数。
在本发明实施例中,装置将获取深度摄像头的梯度拉伸参数,按照该梯度拉伸参数对第三图像序列进行拉伸处理,得到第四图像序列,该第四图像序列即为图像中的物体的位置分布图,利用该第四图像序列就可以确定图像中的物体与深度摄像头之间的距离。
在本发明实施例中,装置将计算获取到的图像的深度图,并按照灰度值的最大范围,对该深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列,生成与第二图像序列具有相同分辨率的第三图像序列,该第三图像序列的像素点的灰度值相同,按照从0列开始遍历到最后一列,且对每一列遍历时,从第0行遍历到最后一行的方式对第二图像序列的像素点进行遍历,读取遍历到的像素点的灰度值,根据预先设置的像素点绘制方法及遍历到的像素点的灰度值计算第一灰度值,并按照像素点在第二图像序列中的位置确定第一灰度值在第三图像序列中对应的位置,将该对应的位置上的像素点的灰度值改为计算得到的第一灰度值,且为了具有更好的显示效果,装置还将获取深度摄像头的梯度拉伸参数,按照该梯度拉伸参数对第三图像序列进行拉伸处理,得到第四图像序列,即物体位置分布图,使得得到的物体位置分布图能够更好的反映物体真实的大小关系。
通过将上述方法应用在倒车系统中,能够得到反映车后物体真实的大小关系的物体位置分布图,便于驾驶者判断障碍物在某一高度上与车的实际距离。
为了更好的理解本发明实施例中的技术方案,下面将介绍具体的应用场景。
请参阅图7b,图7为深度摄像头拍摄的图像,该图像是倒车过程中车后的常见情景,可以看到车后有一辆皮卡车,皮卡车的右后方有离车较近的铁桩,而皮卡车的右前方有一个站立的人,这三个“障碍物”都是倒车过程中需要重点关注的。
其中,装置获取到图7b中的图像之后,将计算该图像的深度图,请参阅图8,为图7中的图像的深度图,对该图像的深度图的第一图像序列进行归一化处理得到第二图像序列,对该第二图像序列进行遍历并计算像素点的灰度值得到深度图的第三图像序列,及对该第二图像序列进行拉伸处理得到第四图像序列后,该第四图像序列即为图像中的物体位置的分布图,请参阅图9,为图7中图像内的物体位置的分布图。
请参阅图10,为本发明实施例中的图7及图9在倒车显示系统的人机界面上显示的示意图,其中,左侧显示实际拍摄的立体图像,用户可以用过观看具有视差的立体图形直观的感受到车后方的物体的三维关系。同时用户界面的右侧将车后的分布图和车身的长度进行1:1的等比转换后进行显示,驾驶者可以一眼看明白车后的物体分布关系。其中,实际图像中离车最近的物体因为进入了报警距离而被标注了叹号以示警告。
请参阅图11,为本发明实施例中物体位置确定装置的结构的示意图,包括:
深度计算模块1101,用于计算获取到的图像的深度图,图像由深度摄像头拍摄;
归一化模块1102,用于按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列;
遍历模块1103,用于遍历第二图像序列,根据预先设置的像素点绘制方法及第二图像序列中的每一个像素点的灰度值计算得到深度图的第三图像序列;
拉伸模块1104,用于对第三图像序列进行拉伸处理,得到第四图像序列,第四图像序列即为图像中的物体位置的分布图。
在本发明实施例中,装置中的深度计算模块1101计算获取到的图像的深度图,图像由深度摄像头拍摄,接着装置中的归一化模块1102按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列,接着遍历模块1103遍历第二图像序列,根据预先设置的像素点绘制方法及第二图像序列中的每一个像素点的灰度值计算得到深度图的第三图像序列,并由拉伸模块1104对第三图像序列进行拉伸处理,得到第四图像序列,该第四图像序列即为图像中的物体位置的分布图。
在本发明实施例中,装置计算获取到的图像的深度图,该图像是由深度摄像头拍摄的,按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列,遍历第二图像序列,根据预先设置的像素点绘制方法及第二图像序列中的每一个像素点的灰度值计算得到深度图的第三图像序列,对该第三图像序列进行拉伸处理,得到第四图像序列,该第四图像序列即为图像中的物体位置的分布图,通过上述处理,能够有效确定图像中的物体与深度摄像头之间的距离。
请参阅图12,为本发明实施例中物体位置确定装置的结构的示意图,包括如图11所示实施例中描述的深度计算模块1101,归一化模块1102,遍历模块1103及拉伸模块1104,且与图11所示实施例中描述的内容相似,此处不做赘述。
在本发明实施例中,预先设置的像素点绘制方法为:
Dmax/Yd*Ds;
其中,Dmax为深度摄像头拍摄的场景的实际深度,Yd为像素点在第二图像序列中的位置,Ds为像素点在第二图像序列中的灰度值。
在本发明实施例中,遍历模块1103,具体包括:
生成模块1201,用于生成与第二图像序列具有相同分辨率的第三图像序列;
遍历读取模块1202,用于按照从第0列开始遍历到最后一列,且对每一列遍历时,从第0行遍历到最后一行的方式对第二图像序列的像素点进行遍历,读取遍历到的像素点的灰度值;
灰度计算模块1203,用于按照预先设置的像素点绘制方法计算遍历到的像素点的灰度值;
确定及修改模块1204,用于按照像素点在第二图像序列中的位置确定像素点在第三图像序列中对应的位置,将对应的位置上的像素点的灰度值修改为计算得到的灰度值。
在本发明实施例中,拉伸模块1104,具体包括:
获取模块1205,用于获取深度摄像头的梯度拉伸参数;
拉伸处理模块1206,用于按照梯度拉伸参数对第三图像序列进行拉伸处理,得到第四图像序列。
在本发明实施例中,深度摄像头为双目深度摄像头。
在本发明实施例中,装置中的深度计算模块1101计算获取到的图像的深度图,图像由深度摄像头拍摄,接着装置中的归一化模块1102按照灰度值的最大范围,对深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列,接着遍历模块1103遍历第二图像序列,根据预先设置的像素点绘制方法及第二图像序列中的每一个像素点的灰度值计算得到深度图的第三图像序列,具体的:遍历模块1103中的生成模块1201生成与第二图像序列具有相同分辨率的第三图像序列,接着由遍历模块1103中的遍历读取模块1202按照从第0列开始遍历到最后一列,且对每一列遍历时,从第0行遍历到最后一行的方式对第二图像序列的像素点进行遍历,读取遍历到的像素点的灰度值,接着由灰度计算模块1203按照预先设置的像素点绘制方法计算遍历到的像素点的灰度值,最后由确定及修改模块1204按照像素点在第二图像序列中的位置确定像素点在第三图像序列中对应的位置,将对应的位置上的像素点的灰度值修改为计算得到的灰度值。
在本发明实施例中,为了得到更好的显示效果,装置中的拉伸模块1104还将对第三图像序列进行拉伸处理,得到第四图像序列,该第四图像序列即为图像中的物体位置的分布图。具体的:拉伸模块1104中的获取模块1205获取深度摄像头的梯度拉伸参数;及由拉伸处理模块1206按照梯度拉伸参数对第三图像序列进行拉伸处理,得到第四图像序列。
在本发明实施例中,装置将计算获取到的图像的深度图,并按照灰度值的最大范围,对该深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到深度图的第二图像序列,生成与第二图像序列具有相同分辨率的第三图像序列,该第三图像序列的像素点的灰度值相同,按照从0列开始遍历到最后一列,且对每一列遍历时,从第0行遍历到最后一行的方式对第二图像序列的像素点进行遍历,读取遍历到的像素点的灰度值,根据预先设置的像素点绘制方法及遍历到的像素点的灰度值计算第一灰度值,并按照像素点在第二图像序列中的位置确定第一灰度值在第三图像序列中对应的位置,将该对应的位置上的像素点的灰度值改为计算得到的第一灰度值,且为了具有更好的显示效果,装置还将获取深度摄像头的梯度拉伸参数,按照该梯度拉伸参数对第三图像序列进行拉伸处理,得到第四图像序列,即物体位置分布图,使得得到的物体位置分布图能够更好的反映物体真实的大小关系。
通过将上述装置应用在倒车系统中,能够得到反映车后物体真实的大小关系的物体位置分布图,便于驾驶者判断障碍物在某一高度上与车的实际距离。为了更好的理解,请参阅图13,为本发明实施例中倒车显示系统的结构的示意图,包括:
深度摄像头1301、高速存储装置1302、显示控制装置1303、界面整合模块1304、显示器1305、及图12或13任意一项的物体位置确定装置1306;
其中,深度摄像头1301用于拍摄图像;
高速存储装置1302用于存储深度摄像头拍摄的图像;
物体位置确定装置1306用于从所述高速存储装置中获取所述图像,并确定所述图像的位置分布图;
显示控制装置1303用于从所述高速存储装置中获取所述图像,并对所述图像进行控制及处理;
界面整合模块1304用于将所述物体位置确定装置确定的所述位置分布图与所述显示控制装置控制及处理的图像进行整合;
显示器1305用于显示界面整合模块1304整合后的图像。
在本发明实施例中,显示器1305为立体显示器,深度摄像头1301为双目深度摄像头。
其中高速存储装置1302优选的选择是高速RAM,例如DDRSDRAM。高速存储装置1302提供了视频流的缓存,可以给图像处理留出内存空间和处理时间。
在本发明实施例中,显示控制装置1303使用的是立体显示技术,立体显示技术基本都是依靠各种方式将两幅有视差的图像输送给观看者,其区别在于用何种光学手段来实现两幅图像到两个眼睛的输送。显示控制装置1303主要是用于协调视频流的格式,例如左右格式或者上下格式等;同时还控制显示器前的液晶调制面板。特别的,针对追踪人眼位置的裸眼3D技术,显示控制装置1303的作用还包括追踪人眼位置。在3D显示领域标准化越来越清晰的背景下,立体显示器将渐渐地变成和当前的各种显示器一样,只需要给显示控制装置1303提供符合标准具有视差的图像流数据就可以工作,此处不做赘述。
在本发明实施例中,高速存储装置1302、显示控制装置1303、界面整合模块1304、显示器1305、及物体位置确定装置1306可以集成为一个装置,例如可以是由FPGA、ASIC(专用集成电路)或者是由CPU构成的微型计算机和软件共同工作的系统。特别的,视构成这部分的硬件性能的不同,两个部分可以在同一硬件模块内一起完成,并不严格限制于本说明的模块组合,在这里只是针对完成所有基本工作所需的部分进行一个模块化的说明。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
Claims (12)
1.一种物体位置确定方法,其特征在于,包括:
计算获取到的图像的深度图,所述图像由深度摄像头拍摄;
按照灰度值的最大范围,对所述深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到所述深度图的第二图像序列;
遍历所述第二图像序列,根据预先设置的像素点绘制方法及所述第二图像序列中的每一个像素点的灰度值计算得到所述深度图的第三图像序列;
对所述第三图像序列进行拉伸处理,得到第四图像序列,所述第四图像序列即为所述图像中的物体位置的分布图。
2.根据权利要求1所述的方法,其特征在于,所述预先设置的像素点绘制方法为:
Dmax/Yd*Ds;
其中,所述Dmax为所述深度摄像头拍摄的场景的实际深度,所述Yd为像素点在所述第二图像序列中的位置,所述Ds为所述像素点在所述第二图像序列中的灰度值。
3.根据权利要求2所述的方法,其特征在于,所述遍历所述第二图像序列,根据预先设置的像素点绘制方法及所述第二图像序列中的每一个像素点的灰度值计算得到所述深度图的第三图像序列,具体包括:
生成与所述第二图像序列具有相同分辨率的第三图像序列;
按照从第0列开始遍历到最后一列,且对每一列遍历时,从第0行遍历到最后一行的方式对所述第二图像序列的像素点进行遍历,读取遍历到的像素点的灰度值;
根据所述预先设置的像素点绘制方法及遍历到的像素点的灰度值计算得到第一灰度值;
按照所述像素点在所述第二图像序列中的位置确定所述第一灰度值在所述第三图像序列中对应的位置,将所述位置上的像素点的灰度值修改为所述第一灰度值。
4.根据权利要求1至3任意一项所述的方法,其特征在于,对所述第三图像序列进行拉伸处理,得到第四图像序列,具体包括:
获取所述深度摄像头的梯度拉伸参数;
按照所述梯度拉伸参数对所述第三图像序列进行拉伸处理,得到所述第四图像序列。
5.根据权利要求1所述的方法,其特征在于,所述深度摄像头为双目深度摄像头。
6.一种物体位置确定装置,其特征在于,包括:
深度计算模块,用于计算获取到的图像的深度图,所述图像由深度摄像头拍摄;
归一化模块,用于按照灰度值的最大范围,对所述深度图的第一图像序列中的像素点的灰度值进行归一化处理,得到所述深度图的第二图像序列;
遍历模块,用于遍历所述第二图像序列,按照预先设置的像素点绘制方法及所述第二图像序列中的每一个像素点的灰度值计算得到所述深度图的第三图像序列;
拉伸模块,用于对所述第三图像序列进行拉伸处理,得到第四图像序列,所述第四图像序列即为所述图像中的物体位置的分布图。
7.根据权利要求6所述的装置,其特征在于,所述预先设置的像素点绘制方法为:
Dmax/Yd*Ds;
其中,所述Dmax为所述深度摄像头拍摄的场景的实际深度,所述Yd为像素点在所述第二图像序列中的位置,所述Ds为所述像素点在所述第二图像序列中的灰度值。
8.根据权利要求7所述的装置,其特征在于,所述遍历模块,具体包括:
生成模块,用于生成与所述第二图像序列具有相同分辨率的第三图像序列;
遍历读取模块,用于按照从第0列开始遍历到最后一列,且对每一列遍历时,从第0行遍历到最后一行的方式对所述第二图像序列的像素点进行遍历,读取遍历到的像素点的灰度值;
灰度计算模块,用于根据所述预先设置的像素点绘制方法及遍历到的像素点的灰度值计算得到第一灰度值;
确定及修改模块,用于按照所述像素点在所述第二图像序列中的位置确定所述第一灰度值在所述第三图像序列中对应的位置,将所述位置上的像素点的灰度值修改为所述第一灰度值。
9.根据权利要求6至8任意一项所述的装置,其特征在于,所述拉伸模块,具体包括:
获取模块,用于获取所述深度摄像头的梯度拉伸参数;
拉伸处理模块,用于按照所述梯度拉伸参数对所述第三图像序列进行拉伸处理,得到所述第四图像序列。
10.根据权利要求9所述的装置,其特征在于,所述深度摄像头为双目深度摄像头。
11.一种倒车显示系统,其特征在于,包括深度摄像头、高速存储装置、显示控制装置、界面整合模块、显示器、及如权利要求6至10任意一项所述的物体位置确定装置;
其中,所述深度摄像头用于拍摄图像;
所述高速存储装置用于存储所述深度摄像头拍摄的图像;
所述物体位置确定装置用于从所述高速存储装置中获取所述图像,并确定所述图像中的物体位置分布图;
所述显示控制装置用于从所述高速存储装置中获取所述图像,并对所述图像进行控制及处理;
所述界面整合模块用于将所述物体位置确定装置确定的所述位置分布图与所述显示控制装置控制及处理的图像进行整合;
所述显示器用于显示所述界面整合模块整合后的图像。
12.根据权利要求11所述的系统,其特征在于,所述显示器为立体显示器,所述深度摄像头为双目深度摄像头。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510342157.7A CN106327465B (zh) | 2015-06-18 | 2015-06-18 | 物体位置确定方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510342157.7A CN106327465B (zh) | 2015-06-18 | 2015-06-18 | 物体位置确定方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106327465A CN106327465A (zh) | 2017-01-11 |
CN106327465B true CN106327465B (zh) | 2019-08-06 |
Family
ID=57732702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510342157.7A Expired - Fee Related CN106327465B (zh) | 2015-06-18 | 2015-06-18 | 物体位置确定方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106327465B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108036730B (zh) * | 2017-12-22 | 2019-12-10 | 福建和盛高科技产业有限公司 | 一种基于热成像的火点测距方法 |
CN111284490B (zh) * | 2018-12-06 | 2021-06-04 | 海信集团有限公司 | 车载双目相机检测前车溜车的方法及车载双目相机 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679707A (zh) * | 2013-11-26 | 2014-03-26 | 西安交通大学 | 基于双目相机视差图的道路障碍物检测系统及检测方法 |
CN103903246A (zh) * | 2012-12-26 | 2014-07-02 | 株式会社理光 | 物体检测方法和装置 |
CN104021388A (zh) * | 2014-05-14 | 2014-09-03 | 西安理工大学 | 基于双目视觉的倒车障碍物自动检测及预警方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7929017B2 (en) * | 2004-07-28 | 2011-04-19 | Sri International | Method and apparatus for stereo, multi-camera tracking and RF and video track fusion |
US7623676B2 (en) * | 2004-12-21 | 2009-11-24 | Sarnoff Corporation | Method and apparatus for tracking objects over a wide area using a network of stereo sensors |
-
2015
- 2015-06-18 CN CN201510342157.7A patent/CN106327465B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103903246A (zh) * | 2012-12-26 | 2014-07-02 | 株式会社理光 | 物体检测方法和装置 |
CN103679707A (zh) * | 2013-11-26 | 2014-03-26 | 西安交通大学 | 基于双目相机视差图的道路障碍物检测系统及检测方法 |
CN104021388A (zh) * | 2014-05-14 | 2014-09-03 | 西安理工大学 | 基于双目视觉的倒车障碍物自动检测及预警方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106327465A (zh) | 2017-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3579162B2 (ja) | 立体cg画像生成装置 | |
US10560683B2 (en) | System, method and software for producing three-dimensional images that appear to project forward of or vertically above a display medium using a virtual 3D model made from the simultaneous localization and depth-mapping of the physical features of real objects | |
RU2519518C2 (ru) | Устройство генерирования стереоскопического изображения, способ генерирования стереоскопического изображения и программа | |
CN109446892B (zh) | 基于深度神经网络的人眼注意力定位方法及系统 | |
KR20120015564A (ko) | 하이브리드 사용자 추적 센서를 이용한 디스플레이 시스템 및 방법 | |
EP0707287B1 (en) | Image processing apparatus and method | |
CN105611278A (zh) | 防裸眼3d观看眩晕感的图像处理方法及系统和显示设备 | |
JP2013168063A (ja) | 画像処理装置、画像表示システム及び画像処理方法 | |
TW201408041A (zh) | 將二維影像轉換爲三維影像的方法與系統及電腦可讀媒體 | |
JP5007863B2 (ja) | 3次元物体位置計測装置 | |
KR20150121127A (ko) | 양안 응시 이미징 방법 및 장치 | |
CN102891985A (zh) | 用于增强的深度视频感的系统和方法 | |
CN106170086B (zh) | 绘制三维图像的方法及其装置、系统 | |
WO2019047982A1 (zh) | 图像处理方法、装置、电子装置和计算机可读存储介质 | |
CN104134235A (zh) | 真实空间和虚拟空间的融合方法和融合系统 | |
CN110458104B (zh) | 人眼视线检测系统的人眼视线方向确定方法和系统 | |
JP2010287029A (ja) | 周辺表示装置 | |
Mahdy et al. | Projector calibration using passive stereo and triangulation | |
CN106878697A (zh) | 一种拍摄方法及其成像方法、装置和设备 | |
CN106327465B (zh) | 物体位置确定方法及装置 | |
JP2019102936A (ja) | 表示装置、電子ミラー、表示装置の制御方法、および表示制御プログラム | |
US20190141314A1 (en) | Stereoscopic image display system and method for displaying stereoscopic images | |
JP2849313B2 (ja) | 画像記録再生装置 | |
CN107483915B (zh) | 三维图像的控制方法及装置 | |
JP4931078B2 (ja) | 観者の視点移動に対応した立体オブジェクトの擬似3次元画像を表示する方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190806 |