CN103454288B - 用于识别对象材料的方法和设备 - Google Patents

Abstract

提供一种用于识别对象材料的方法和设备。所述设备包括：成像相机单元，用于捕捉包括空间中的各种对象的空间图像；探测雷达单元，用于将入射波发送到对象，并接收包括来自每个对象的表面的表面反射波和来自每个对象的内部的内部反射波的空间雷达信息；信息存储单元，用于存储与每个对象的材料相应的参考物理性质信息；材料识别处理器，用于通过使用存储在信息存储单元中的参考物理性质信息、由成像相机单元提供的空间图像和由探测雷达单元提供的空间雷达信息来识别每个对象的材料信息。

Description

用于识别对象材料的方法和设备

本申请要求于2012年5月31日提交到韩国知识产权局的第10-2012-0058816号韩国专利申请以及于2012年11月9日提交到韩国知识产权局的第10-2012-0126947号韩国专利申请的利益，所述申请的公开通过引用全部合并于此。

技术领域

本发明涉及一种用于提供关于相机场景中的对象的信息的技术，更具体地讲，涉及一种用于提供关于相机照片中的对象的材料的信息的技术。

背景技术

近年来，已经开发出比捕捉二维照片的传统相机高级的各种类型的相机。正在开发用于捕捉三维信息并将所述信息应用于游戏的技术，或用于捕捉照片来产生具有不同焦点的图像的技术。另外，IT（信息技术）技术产生了将真实世界转换为数字数据的镜像世界或虚拟现实空间来向用户显示逼真的图像，诸如，微软公司的照片旅游以及谷歌公司的草图大师和谷歌地球。为了以高分辨率产生与现实世界接近的三维镜像世界，各种相机系统（诸如，卫星相机、深度或范围相机和相机阵列）正被使用。

然而，由这样的相机获得的信息仅是从场景中的对象反射的光的二维或三维的颜色强度。关于捕捉的照片中的对象的物理性质（密度、介电常数等）、材料、厚度的信息可能不能被当前的相机技术识别。

发明内容

本发明提供一种用于基于由相机和雷达单元获得的信息的组合分析，通过提取相机照片中的对象的物理性质来识别对象的材料的方法和设备。

根据本发明的一方面，提供一种用于识别对象材料的设备，所述设备包括：成像相机单元，用于捕捉包括空间中的各种对象的空间图像；探测雷达单元，用于将入射波发送到对象，并接收包括来自每个对象的表面的表面反射波和来自每个对象的内部的内部反射波的空间雷达信息；信息存储单元，用于存储与每个对象的材料相应的参考物理性质信息；材料识别处理器，用于通过使用存储在信息存储单元中的参考物理性质信息、由成像相机单元提供的空间图像和由探测雷达单元提供的空间雷达信息来识别每个对象的材料信息。

入射波是电子波和声波中的一个。

匹配处理器将空间图像和空间雷达信息之间彼此相应的空间区域进行匹配。

对象设置单元设置空间图像中的对象之中的特定对象的区域。

材料识别处理器从空间图像检测每个对象的包括外观、颜色、亮度和反射率的材料信息。

材料识别处理器通过使用从入射波到表面反射波的第一延迟时间来计算关于距每个对象的距离的信息。

材料识别处理器通过使用表面反射波和内部反射波之间的第二延迟时间来计算关于每个对象的厚度的信息。

材料识别处理器通过使用入射波和表面反射波的振幅和极性的变化来检测每个对象的物理性质信息，并通过将检测的物理性质信息与参考物理性质信息进行比较来识别每个对象的材料信息。

根据本发明的另一方面，提供一种识别对象的材料的方法，所述方法包括：通过使用成像相机单元来捕捉包括空间中的各种对象的空间图像，并且通过使用探测雷达单元来将入射波发送到对象并接收包括来自每个对象的表面的表面反射波和来自每个对象的内部的内部反射波的空间雷达信息；通过使用与每个对象的材料相应的参考物理性质信息、由成像相机单元提供的空间图像和由探测雷达单元提供的空间雷达信息来识别每个对象的材料信息。

所述方法还包括：在捕捉空间图像的步骤和接收空间雷达信息的步骤之后，通过匹配处理来将空间图像和空间雷达信息之间彼此相应的空间区域进行匹配。

所述方法还包括：在捕捉空间图像的步骤和接收空间雷达信息的步骤之后，通过使用对象设置单元来设置空间图像中的对象之中的特定对象的区域。

识别每个对象的材料信息的步骤包括：从空间图像检测每个对象的包括外观、颜色、亮度和反射率的材料信息。

识别每个对象的材料信息的步骤包括：通过使用从入射波到表面反射波的第一延迟时间来计算关于距每个对象的距离的信息。

识别每个对象的材料信息的步骤包括：通过使用表面反射波和内部反射波之间的第二延迟时间来计算关于每个对象的厚度的信息。

识别每个对象的材料信息的步骤包括：通过使用入射波和表面反射波的振幅和极性的变化来检测每个对象的物理性质信息，通过将检测的物理性质信息与参考物理性质信息进行比较来识别每个对象的材料信息。

附图说明

通过参照附图对本发明的示例性实施例进行的详细描述，本发明的上述以及其它特征和优点将会变得更清楚，其中：

图1是根据本发明实施例的用于识别对象材料的设备的框图；

图2是用于示出通过使用图1的成像相机单元和探测雷达单元来获得关于对象的信息的处理的参考示图；

图3是用于示出将入射波辐射到对象并从所述对象接收表面反射波和内部反射波的处理的参考示图；

图4是用于示出根据本发明另一示例的将入射波辐射到对象并从所述对象接收表面反射波和内部反射波的处理的参考示图；

图5是用于示出空间图像和空间雷达信息彼此不一致的参考示图；

图6是示出设置与图2中示出的空间图像中的“大理石”相应的特定对象的区域的示例的参考示图；

图7是示出根据本发明实施例的识别对象材料的方法的流程图。

具体实施方式

在下文中，将参照附图详细描述根据本发明实施例的用于识别对象的材料的设备。

图1是根据本发明实施例的用于识别对象材料的设备的框图。所述用于识别对象的材料的设备包括：成像相机单元100、探测雷达单元110、匹配处理器120、对象设置单元130、信息存储单元140和材料识别处理器150。图2是用于示出通过使用成像相机单元100和探测雷达单元110来获得关于对象的信息的处理的示例性参考示图。

成像相机单元100捕捉包括空间中的各种对象的空间图像。如图2中所示，成像相机单元100捕捉包括各种材料（诸如，塑料、橡胶、混凝土、大理石、木头、玻璃等）的各种对象的空间的图像。成像相机单元100执行传统的一般相机的功能，这里不提供关于所述功能的详细描述。

探测雷达单元110将入射波辐射到对象，并接收包括来自每个对象的表面反射波和从对象的内部返回的内部反射波的空间雷达信息。探测雷达单元110将电子波或声波作为入射波发送到对象。另外，探测雷达单元110包括用于发送所述电子波或声波的发送器和天线，并包括用于接收反射波的接收器和天线。

图3是用于示出在将入射波发送到对象之后从所述对象接收表面反射波和内部反射波的处理的参考示图。图3示出当对象具有比背景介质的物理性质更高的物理性质时探测雷达单元110的操作原理。例如，背景介质是空气（大气），对象可以是大理石、木头和橡胶。

（1）当从探测雷达单元110的发送器112产生的入射波脉冲信号经由发送天线被入射到对象时，具有高物理性质的对象将具有比入射波的振幅更小的振幅和与入射波的相位相同的相位的表面反射波反射到探测雷达单元110。也就是说，表面反射波与具有与入射波的极性相同的极性（即，正极性）的反射波相应，并且具有与入射波的相位相同的相位的表面反射波被反射到探测雷达单元110。

（2）此外，入射波之中透入对象的波从对象的内部被反射，并且从对象的内部反射的内部反射波被转换为具有与入射波的极性相反的负极性的波，并被反射到探测雷达单元110。

因此，当对象具有比背景介质的物理性质更高的物理性质时，探测雷达单元110接收与入射波相比具有更小的振幅和相同的极性的表面反射波，并且还接收与入射波相比具有更小的振幅和相反的极性的内部反射波。

图4是示出根据另一示例的在将入射波发送到对象之后接收表面反射波和内部反射波的处理的参考示图。图4示出当对象具有比背景介质的物理性质更低的物理性质时，探测雷达单元110的操作原理。

（1）当由探测雷达单元110的发送器112产生的入射波的脉冲信号经由发送天线被入射到对象时，其中，具有较低物理性质的对象将具有比入射波的振幅更小的振幅和与入射波的极性相反的极性的表面反射波反射到探测雷达单元110。也就是说，在这种情况下的表面反射波是具有与入射波的极性相反的负极性的反射波并被反射到探测雷达单元110。

（2）此外，入射波之中的透入对象的波从对象的内部被反射，这时，从对象的内部反射的内部反射波被转换为具有与表面反射波相反的正极性的反射波，并被反射到探测雷达单元110。

因此，当对象具有比背景介质的物理性质更低的物理性质时，探测雷达单元110接收具有较小振幅和与入射波相反的极性的表面反射波，并接收具有较小振幅和与入射波相同的极性的内部反射波。

匹配处理器120将由成像相机单元100捕捉的空间图像与由探测雷达单元110接收的空间雷达信息之间的空间区域进行匹配。即使成像相机单元100对对象进行拍摄并且探测雷达单元110在将入射波发送到同一对象之后接收反射信号，但是由于成像相机单元100和探测雷达单元110在空间上彼此分离，因此成像相机单元100和探测雷达单元110可能不在相同位置操作。因此，由成像相机单元100捕捉的空间图像的区域和由探测雷达单元110接收的空间雷达信息的区域彼此不完全一致。

图5是用于示出空间图像和空间雷达信息彼此不一致的参考示图。如图5中所示，由对角线表示的区域表示空间图像和空间雷达信息彼此匹配的区域。因此，匹配处理器120将空间图像和空间雷达信息之间的公共空间的坐标进行彼此匹配，使得针对包括在公共空间中的对象，空间图像和空间雷达信息彼此相应。

对象设置单元130设置包括在空间图像中的对象之中的特定对象的区域。为了设置特定对象的区域，对象设置单元130控制两种方法：基于对象分割技术（诸如，GrabCut）的自动边界检测和用户控制的边界检测。

图6是示出设置与在图2中示出的空间图像中的“大理石”相应的特定对象的区域的示例的参考示图。如图6中所示，对象设置单元130仅设置与大理石相应的区域，其它区域被处理为黑色。

信息存储单元140存储与对象的材料相应的参考物理性质信息。下面的表1是关于与对象的材料相应的参考物理性质的信息的示例。

[表1]

	EM波的介电常数	表面声波速度(阻抗)	声波速度(m/s)
				木头	1.4	未找到数据	3300-3600

橡胶	2.15	1.74	40-150
				塑料	2.3	2.94	未找到数据
玻璃	5	14.5	3962
				大理石	6.25	12.4	3200-3600
铝	9-10	43.1	6420
				水	76.7	未找到数据	1433

如表1中所示，对象在EM波的介电常数、表面声波速度（阻抗）、声波速度（m/s）方面具有可区分的物理性质。

这里，介电常数是表示电荷之间的介质对电场的影响的物理单位，也就是说，介电常数是对当在介质中形成电场时遇到的电阻的测量。另外，表面声波速度表示声波沿着具有弹性的对象的表面传播的速度。另外，声波速度表示声波的前进速度。

材料识别处理器150通过使用存储在信息存储单元140中的参考物理性质信息、由成像相机单元100提供的对象的空间图像和由探测雷达单元110提供的空间雷达信息来识别每个对象的材料信息。

材料识别处理器150从由成像相机单元100捕捉的空间图像检测对象的材料信息，其中，所述材料信息包括外观、颜色、亮度和反射率。捕捉的空间图像包括每个对象的颜色信息、亮度信息和反射率信息，这是用于确定对象的材料的重要信息。

此外，材料识别处理器150从表面反射波相对于入射波第一延迟时间来计算距对象的距离信息。例如，如果对象设置单元130将大理石设置为目标对象，则材料识别处理器130识别探测雷达单元110向大理石辐射入射波的时间，计算表面反射波从大理石的表面到达探测雷达单元110的时间，并且随后，通过从表面反射波到达探测雷达单元110的时间减去入射波被辐射的时间来计算第一延迟时间。之后，材料识别处理器150可通过使用入射波的速度和第一延迟时间来计算距大理石的距离。

此外，材料识别处理器150通过使用表面反射波和内部反射波之间的第二延迟时间来计算每个对象的厚度信息。例如，如果对象设置单元130将大理石设置为目标对象，则材料识别处理器150识别探测雷达单元110向大理石辐射入射波的时间，计算从大理石的内部反射的内部反射波到达探测雷达单元110的时间，并通过从内部反射波到达探测雷达单元110的时间减去入射波被辐射的时间来计算时间。材料识别处理器150从通过减法获得的上述时间减去先前计算的第一延迟时间来计算表面反射波和内部反射波之间的第二延迟时间。之后，材料识别处理器150可通过使用入射波速度和第二延迟时间来计算大理石的厚度。

此外，材料识别处理器150可从入射波和表面反射波之间的振幅和极性的变化来检测对象的物理性质信息，并通过将检测的物理性质信息与参考物理性质信息彼此进行比较来识别每个对象的材料信息。如图3中所示，当由探测雷达单元110的发送器112产生的入射波被入射到对象时，具有更高物理性质的对象将具有比入射波的振幅更小的振幅并且具有与入射波的相位相同的相位的表面反射波反射到探测雷达单元110。当探测雷达单元110接收具有比入射波的振幅更小的振幅和与入射波的相位相同的相位的表面反射波时，材料识别处理器150可检测表示接收的表面反射波的振幅和相位是否随着对象的物理性质信息而改变的信息。材料识别处理器150将对象的检测的物理性质信息和存储在信息存储单元140中的与每个对象的材料相应的参考物理性质信息进行比较，从而检测与相应对象的接收的物理性质信息相应的参考物理性质信息。因此，材料识别处理器150检测与和相应对象的物理性质信息一致的参考物理性质信息相应的对象，从而识别所述对象。

根据本实施例的用于识别对象的材料的设备，可获得对象的某点处的关于对象的材料和厚度的信息。因此，当在沿着水平方向和垂直方向布置或移动所述设备的同时重复执行相同的测量操作时，关于对象的材料和厚度的精确信息可被获得。

在下文中，将参照图7描述根据本发明实施例的识别对象材料的方法。

图7是示出根据本发明实施例的识别对象材料的方法的流程图。

成像相机单元110捕捉包括空间中的各种对象的空间图像，探测雷达单元110将入射波发送到对象，并接收包括来自每个对象的表面反射波和从对象的内部返回的内部反射波的空间雷达信息（操作200）。

如图2中所示，成像相机单元100可对在其中存在各种对象（诸如，塑料、橡胶、混凝土、大理石、木头和玻璃）的空间进行拍照。

如图3中所示，如果对象的物理性质比背景介质的物理性质高，则当探测雷达单元110将入射波发送到所述对象时，具有更高物理性质的对象将具有比入射波的振幅更小的振幅和与入射波的相位相同的相位的表面反射波反射到探测雷达单元110，并且探测雷达单元110从所述对象接收表面反射波。此外，从所述对象的内部反射透入对象的波，这时，从对象的内部反射的内部反射波被转换为具有与入射波的极性相反的负极性的反射波，并返回探测雷达单元110，探测雷达单元110从对象的内部接收内部反射波。

如图4中所示，否则，如果对象的物理性质比背景介质的物理性质低，则当探测雷达单元110将入射波发送到对象时，具有较低物理性质的对象将具有比入射波的振幅更小的振幅和与入射波的极性相反的极性的表面反射波反射到探测雷达单元110，探测雷达单元110从对象接收所述表面反射波。此外，从对象的内部反射透入对象的波，这时，从对象的内部反射的内部反射波被转换为具有与表面反射波的极性相反的正极性的反射波，并返回到探测雷达单元110，探测雷达单元110从对象的内部接收内部反射波。

在操作200之后，匹配处理器120将空间图像和空间雷达信息之间的空间区域进行匹配（操作202）。如图5中所示，由于由成像相机单元100捕捉的空间图像的区域与由探测雷达单元110接收的空间雷达信息的区域彼此不完全一致，因此匹配处理器120将空间图像和空间雷达信息之间的公共空间的坐标彼此进行匹配，使得针对被包括在公共空间中的对象，空间图像和空间雷达信息彼此相应。

在操作202之后，对象设置单元130设置空间图像中的对象之中的特定对象的区域（操作204）。对象设置单元130控制用于设置所述区域的块形成光标、块尺寸调整光标和所述光标的移动。如图6中所示，对象设置单元130仅设置与大理石相应的区域，其它的区域被处理为黑色。

在操作204之后，材料识别处理器150通过使用每个对象的与存储在信息存储单元140中的对象的材料相应的参考物理性质信息、由成像相机单元100提供的空间图像和由探测雷达单元110提供的空间雷达信息来识别每个对象的材料信息（操作206）。

材料识别处理器150从由成像相机单元100捕捉的空间图像检测对象的包括外观、颜色、亮度和反射率的材料信息。这样的信息是用于确定对象的材料的原理图像信息。

此外，材料识别处理器150从表面反射波相对于入射波的第一延迟时间来计算距对象的距离信息。材料识别处理器150识别探测雷达单元110向对象辐射入射波的时间，计算表面反射波从对象的表面到达探测雷达单元110的时间，并且随后，通过从表面反射波到达探测雷达单元110的时间减去入射波被辐射的时间来计算第一延迟时间。之后，材料识别处理器150可通过使用入射波的速度和第一延迟时间来计算距对象的距离。

此外，材料识别处理器150通过使用表面反射波和内部反射波之间的第二延迟时间来计算每个对象的厚度信息。材料识别处理器150识别探测雷达单元110向对象辐射入射波的时间，计算从对象的内部反射的内部反射波到达探测雷达单元110的时间，并通过从内部反射波到达探测雷达单元110的时间减去入射波被辐射的时间来计算时间。材料识别处理器150从通过减法获得的上述时间减去先前计算的第一延迟时间来计算表面反射波和内部反射波之间的第二延迟时间。之后，材料识别处理器150可通过使用入射波速度和第二延迟时间来计算对象的厚度。

此外，材料识别处理器150可从入射波和表面反射波之间的振幅和极性的变化来检测对象的物理性质信息，并通过将检测的物理性质信息和参考物理性质信息彼此进行比较来识别每个对象的材料信息。如图3中所示，当探测雷达单元110接收具有较小的振幅和与入射波的相位相同的相位的表面反射波时，材料识别处理器150可检测表示接收的表面反射波的振幅和相位是否随着对象的物理性质信息而改变的信息。材料识别处理器150将对象的检测的物理性质信息和存储在信息存储单元140中的与每个对象的材料相应的参考物理性质信息进行比较，从而检测与相应对象的接收的物理性质信息相应的参考物理性质信息。因此，材料识别处理器150检测与和相应对象的物理性质信息一致的参考物理性质信息相应的对象，从而识别所述对象。

根据本发明，关于被包括在由相机捕捉的图像中的对象的物理性质、材料和厚度的信息可被一起获得。因此，通过获得对象的材料信息，所述信息可被基本用于使用户的化身在镜像世界或虚拟现实空间中积极地交互。例如，为了在化身对镜像世界中的对象施加力时逼真地描述对象的转换，关于对象的材料、物理性质和厚度的信息是必须的，因此本发明提供使得虚拟现实更加逼真的材料信息。

本发明还可被实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质可以是可存储其后可被计算机系统读取的数据的任何数据存储装置。所述计算机可读记录介质的示例包括：只读存储器（ROM）、随机存取存储器（RAM）、CD-ROM、磁带、软盘和光学数据存储装置。

虽然已经参照本发明的示例性实施例具体地示出和描述了本发明，但是本领域的普通技术人员将理解，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种用于识别对象材料的设备，所述设备包括：

成像相机单元，用于捕捉包括空间中各种对象的空间图像；

探测雷达单元，用于将入射波发送到对象，并接收包括来自每个对象的表面的表面反射波和来自每个对象的内部的内部反射波的空间雷达信息；

信息存储单元，用于存储与每个对象的材料相应的参考物理性质信息；

材料识别处理器，用于通过使用存储在信息存储单元中的参考物理性质信息、由成像相机单元提供的空间图像和由探测雷达单元提供的空间雷达信息来识别每个对象的材料信息。

2.如权利要求1所述的设备，其中，入射波是电子波和声波中的一个。

3.如权利要求1所述的设备，还包括：匹配处理器，用于将空间图像和空间雷达信息之间彼此相应的空间区域进行匹配。

4.如权利要求1所述的设备，还包括：对象设置单元，用于设置空间图像中的对象之中的特定对象的区域。

5.如权利要求1所述的设备，其中，材料识别处理器从空间图像检测每个对象的包括外观、颜色、亮度和反射率的材料信息。

6.如权利要求1所述的设备，其中，材料识别处理器通过使用从入射波到表面反射波的第一延迟时间来计算关于距每个对象的距离的信息。

7.如权利要求1所述的设备，其中，材料识别处理器通过使用表面反射波和内部反射波之间的第二延迟时间来计算关于每个对象的厚度的信息。

8.如权利要求1所述的设备，其中，材料识别处理器通过使用入射波和表面反射波的振幅和极性的变化来检测每个对象的物理性质信息，并通过将检测的物理性质信息与参考物理性质信息进行比较来识别每个对象的材料信息。

9.一种识别对象材料的方法，所述方法包括：

通过使用成像相机单元来捕捉包括空间中的各种对象的空间图像，并且通过使用探测雷达单元来将入射波发送到对象并接收包括来自每个对象的表面的表面反射波和来自每个对象的内部的内部反射波的空间雷达信息；

通过使用与每个对象的材料相应的参考物理性质信息、由成像相机单元提供的空间图像和由探测雷达单元提供的空间雷达信息来识别每个对象的材料信息。

10.如权利要求9所述的方法，还包括：在捕捉空间图像的步骤和接收空间雷达信息的步骤之后，通过匹配处理来将空间图像和空间雷达信息之间彼此相应的空间区域进行匹配。

11.如权利要求9所述的方法，还包括：在捕捉空间图像的步骤和接收空间雷达信息的步骤之后，通过使用对象设置单元来设置空间图像中的对象之中的特定对象的区域。

12.如权利要求9所述的方法，其中，识别每个对象的材料信息的步骤包括：从空间图像检测每个对象的包括外观、颜色、亮度和反射率的材料信息。

13.如权利要求9所述的方法，其中，识别每个对象的材料信息的步骤包括：通过使用从入射波到表面反射波的第一延迟时间来计算关于距每个对象的距离的信息。

14.如权利要求9所述的方法，其中，识别每个对象的材料信息的步骤包括：通过使用表面反射波和内部反射波之间的第二延迟时间来计算关于每个对象的厚度的信息。

15.如权利要求9所述的方法，其中，识别每个对象的材料信息的步骤包括：通过使用入射波和表面反射波的振幅和极性的变化来检测每个对象的物理性质信息，通过将检测的物理性质信息与参考物理性质信息进行比较来识别每个对象的材料信息。