CN104025154B - 使用汽车方向盘的手势识别装置以及手识别方法 - Google Patents

Abstract

提供一种手势识别装置，无论光从哪个方向照射手，都能够从二值图像中识别出手。二值化处理部(12)利用规定的方法对从摄像机(1)到手识别部(10)的输入图像进行二值化处理，生成第1二值图像，再次二值化处理部(13)仅对输入图像的规定的区域进行再次二值化，生成第2二值图像，收缩处理部(14)对第2二值图像进行收缩处理。通过进行再次二值化，能够将在第1二值图像中被分类为黑的手的部分分类为白，能够提高识别出手的可能性。在能够在第1二值图像与第2二值图像的任意一方或者双方中识别出手的情况下，判定为能够识别出手。

Description

使用汽车方向盘的手势识别装置以及手识别方法

技术领域

本发明涉及这样的手势识别装置：对于使用汽车方向盘的手势(操作)，利用设置在车内的摄像设备对方向盘进行摄像，根据图像数据，识别人的手在方向盘中位置。

背景技术

以往，已知有这样的手势遥控式操作装置：利用摄像机读取使用汽车方向盘的手势、即驾驶员的手在方向盘上的位置，进行基于读取到的手的位置和运动的操作处理。在手势遥控式装置中使用的手势识别装置利用摄像机对驾驶员的手在方向盘上的位置进行摄像，对该图像数据进行处理，来识别手。

例如，在专利文献1中，记载了如下技术：根据操作者的手势、即手的位置和手的运动，输出对车载设备的操作命令。

此外，在专利文献2中，记载了如下技术：对背景存在浓淡不均的图像进行二值化，从二值图像中提取出更鲜明的检测对象物。

现有技术文献

专利文献

专利文献1：日本特许第3941786号公报

专利文献2：日本特开2007-122274号公报

发明内容

发明要解决的问题

但是，专利文献1所述的技术难以正确地读取操作者的手的位置和运动，例如，不能明确地识别出由操作者的差异引起的手势的微妙差异。

此外，专利文献2所述的技术从背景存在浓淡不均的图像中检测对象物，因此在应用于汽车的情况下，在作为背景的方向盘中没有浓淡不均，很难从在太阳光照射的环境下拍摄的图像数据中检测作为对象物的手的位置。

在对利用摄像机拍摄方向盘上的手而得到的图像数据进行二值化、并从二值图像中识别手的情况下，当太阳光从手的前方照射时，以光照射的部分为白、光未照射的部分为黑的方式进行二值化，在二值图像上，手是分离的。此外，当光从手的右侧后方照射时，在手上出现光照射的部分以及光未照射而成为阴影的部分，在二值图像上，手是分离的。这样，在手是分离的情况下，有时不能识别为手。

因此，本发明的目的在于提供一种手势识别装置，无论光从哪个方向照射，都能够从二值图像中识别出手。

用于解决问题的技术方案

为了解决所述问题而提出的本发明的手势识别装置具有摄像单元和识别单元，所述摄像单元设置在能够对方向盘进行摄像的位置，所述识别单元根据从摄像单元输出的摄像数据，识别人的手在方向盘的位置，在使用汽车方向盘的手势识别装置中，识别单元具有：二值化处理单元，其利用规定的方法对从摄像单元输出的摄像数据进行二值化处理，生成第1二值图像；再次二值化处理单元，其在摄像数据中确定手势时可能拍摄到手的第1区域和做手势时也可能拍摄到背景的第2区域，将第1区域和第2区域作为1个图像，利用规定的方法确定新的阈值，对摄像数据的规定的区域进行再次二值化，生成第2二值图像；以及判定单元，其在能够在第1二值图像与第2二值图像中的任意一方或者双方中识别出手的情况下，判定为能够识别出手。

此外，本发明的使用汽车方向盘的手势识别装置还具有能够对第2二值图像进行收缩处理的收缩处理单元。

此处，二值化处理单元中的规定的方法优选为判别分析法或者自适应二值化处理。此外，再次二值化处理单元中的规定的方法优选为判别分析法。

在本发明的手识别方法中，在做出使用汽车方向盘的手势时，根据从设置在能够对方向盘进行摄像的位置的摄像单元输出的摄像数据，识别人的手在方向盘上的位置，所述手识别方法包括如下步骤：利用规定的方法对从摄像单元输出的摄像数据进行二值化处理，生成第1二值图像的步骤；在摄像数据中确定做手势时可能拍摄到手的第1区域和做手势时也可能拍摄到背景的第2区域，将第1区域和第2区域作为1个图像，利用规定的方法确定新的阈值，对摄像数据的规定的区域进行再次二值化，生成第2二值图像；以及在能够在第1二值图像与第2二值图像中的任意一方或者双方中识别出手的情况下，判定为能够识别出手。

此外，还可以包括对第2二值图像进行收缩处理的步骤。

此处，生成第1二值图像的步骤中的规定的方法优选为判别分析法或者自适应二值化处理。此外，生成第2二值图像的步骤中的规定的方法优选为判别分析法。

本发明的程序是使计算机执行上述手识别方法的程序。

发明效果

根据本发明的使用汽车方向盘的手势识别装置，仅在规定的区域利用不同的阈值进一步对进行摄像数据的二值化而得到的二值图像进行再次二值化，因此，将在最初的二值图像中因光的照射情况而使得手背和手指的一部分分类为黑的部分分类为白，从而能够在二值图像中使手背与手指结合。由此，能够在二值图像中识别出手。

此外，在本发明中，对再次二值化后的二值图像进行收缩处理。在再次二值化时，背景的一部分有时被分类为白，背景与手背以及手指可能结合，不过，通过进行收缩处理，能够降低结合的可能性。

此外，在本发明中，不是将图像整体作为进行再次二值化的区域，而仅将规定的区域作为进行再次二值化的区域，因此，能够降低装置的处理负担。

根据本发明的识别人的手在方向盘上的位置的手识别方法，仅在规定的区域利用不同的阈值进一步对进行摄像数据的二值化而得到的二值图像进行再次二值化，因此，将在最初的二值图像中因光的照射情况而使得手背和手指的一部分分类为黑的部分分类为白，从而能够在二值图像中使手背与手指结合。由此，能够在二值图像中识别出手。

附图说明

图1是示出本发明的使用汽车方向盘的手势识别装置的一个实施方式的汽车的车室内部的概略图。

图2是从驾驶者侧观察仪表板附近的主视图。

图3是示出手势识别装置的手识别部的结构的框图。

图4是示出手的识别处理方法的流程图。

图5是示出手的识别处理中的图像处理的一例的图。

图6是示出手的识别处理中的图像处理的一例的图。

图7是示出手的识别处理中的图像处理的一例的图。

具体实施方式

本发明的使用汽车方向盘的手势识别装置是如下装置：利用摄像机等摄像单元对车的方向盘进行摄像，对摄像数据进行二值化，从二值图像中识别方向盘上的驾驶员的手。以下，参照附图，对本发明的使用汽车方向盘的手势识别装置的操作装置的实施方式进行详细说明。

图1及图2示出了安装有本发明的使用汽车方向盘的手势识别装置的汽车的车室内部。如图1、图2所示，作为摄像设备的摄像机1以能够对方向盘S进行摄像的方式设置在驾驶者的斜后方的顶部。此外，在摄像机1的附近设置有红外线照射单元UR，该红外线照射单元UR在车内较暗的情况下对方向盘S周边进行照射。

被用作摄像单元的摄像机是能够拍摄可见光的图像和红外线的图像的摄像机，摄像机的设置位置不限于图1的例子，只要是能够对车室内的方向盘S进行摄像的位置即可。

作为摄像对象的方向盘S具有与转向轴(未图示)连结的中央轮毂部Sa、圆环状地包围该中央轮毂部Sa的轮缘Sm、以及连结在该轮缘Sm和中央轮毂部Sa之间的3根辐条部Sb1～Sb3。在中央轮毂部Sa的外表面，以可拆装的方式覆盖了喇叭罩(horncover)2，在该喇叭罩2的中央外表面，安装有经过设计处理的H字状的标志M1。此外，在辐条部Sb1～Sb3上以可拆装的方式安装有辐条罩3，该辐条罩3外观良好地覆盖这些辐条部的外表面。

在方向盘S处于竖直的位置时，在辐条部Sb1和Sb3上左右对称地设置有L字状标志的基准标志Ms，在辐条部Sb1设置有标志M2～M4，在辐条部Sb3设置有标志M5～M7。在本实施方式中，根据基准标志Ms的位置，确定用于求出对来自摄像机的输入图像进行二值化处理的阈值的图像区域。

此外，本发明的申请人已经对这样的车载设备操作装置进行了专利申请(未公开)：设置基准标志和标志，根据摄像装置的摄像数据，识别基准标志的位置，根据基准标志的位置，确定标志的位置。

确定用于求出阈值的图像区域的方法不限于利用基准标志的方法，也可以基于其它能够进行识别的方式，或者可以预先确定用于求出阈值的图像区域。

接下来，对手识别部进行说明，该手识别部对由摄像机1拍摄到的图像数据进行二值化，从二值图像中识别手。图3示出手势识别装置的手识别部10。如图3所示，具有：图像接收部11，其接收由摄像机1拍摄到的图像数据；二值化处理部12，其利用规定的方法对从图像接收部11接收到的输入图像进行二值化处理，生成第1二值图像；再次二值化处理部13，其利用其它阈值对输入图像的规定区域进行再次二值化，生成第2二值图像；收缩处理部14，其对由再次二值化处理部13生成的第2二值图像进行收缩处理；以及判定部15，其判定在第1二值图像和收缩处理后的第2二值图像中是否能够识别出手。

图像接收部11具有从摄像机1接收图像数据的功能。具体而言，接收摄像机所生成的规定形式的图像数据，将接收到的输入图像发送到二值化处理部12。

二值化处理部12具有将从图像接收部11发送的输入图像转换为二值图像的功能。在本实施方式中，使用判别分析法作为确定用于对图像进行二值化的阈值的方法。关于判别分析法，由于是公知的技术，因而省略详细说明，作为判别分析法的文献，有「大津展之：“判別および最小2乗基準に基づく自動しきい値選定法，”電子通信学会論文誌D，J-63，4，p.349，1980」。

二值化处理部12根据基准标志Ms，从输入图像中确定用于求出阈值的区域，将进行判别分析后的结果作为阈值，进行输入图像的二值化处理，生成第1二值图像。通过该输入图像的二值化处理，在第1二值图像中，能够将方向盘与手分离。针对所生成的第1二值图像，判定部15判定是否能够识别出手。

接下来，再次二值化处理部13确定仅对从图像接收部11发送的输入图像的规定的区域进行二值化的其它阈值，对由二值化处理部12生成的二值图像的规定区域进行再次二值化，生成第2二值图像。此处，进行再次二值化的目的是，虽然在二值化处理部12的二值图像中分离了方向盘与手，但是根据光照射的方式的不同，有时手的各手指也会与手背分离，出于使手背与手的各手指结合的目的，进行再次二值化处理。

在再次二值化处理部13中的其它阈值的确定方法中，根据基准标志Ms，从输入图像中确定在做手势(操作)时手可能进入的区域和做手势(操作)时也可能拍摄到背景的区域。并且，将这些区域作为1个图像，利用判别分析法确定阈值。

此外，进行再次二值化的规定区域优选是进行再次二值化的所需最低限度的区域，其确定方法可以根据基准标志Ms从输入图像中确定。例如，用于确定其它阈值的上述区域可推测为拍摄到手与背景的分界的区域，因此，仅对这些区域进行再次二值化，则将手背与手的各手指结合起来的可能性较高。通过仅对所需最低限度的区域进行再次二值化，能够降低处理负担。

收缩处理部14对由再次二值化处理部13生成的第2二值图像进行收缩处理。之所以对再次二值化后的二值图像进行收缩处理是因为，在再次二值化时，容易与作为背景的方向盘结合，因此，需要缓解结合。此外，作为收缩处理的一例，在日本特许第3025365号公报的0014段中有记载。

判定处理部15判定在第1二值图像和由收缩处理部14收缩后的第2二值图像中是否能够识别出手，在任何一方或者其双方中识别出手的情况下，判定为能够识别出手。

接下来，说明手势识别装置的手的识别处理方法。图4示出手的识别处理方法的流程图。手的识别处理方法是如下方法：利用判别分析法对输入图像进行二值化处理，生成第1二值图像，接下来，仅对规定区域进行再次二值化，生成第2二值图像。

首先，生成第1二值图像。确定利用判别分析法对由摄像机拍摄到的输入图像进行二值化处理的阈值(S100)。

图5示出了生成第1二值图像的图像处理的一例。在图5中，(a)是摄像机输入图像，(b)是进行二值化的阈值确定的块，(c)是二值化处理后的二值图像。如图5(b)所示，将摄像机输入图像分割为任意尺寸的块，按照每一块，利用判别分析法进行分析，确定阈值。

接下来，利用确定出的阈值对输入图像进行二值化，生成二值图像(S101)。在图5的例子中，对(a)的输入图像进行二值化的结果是(c)的二值图像。在图5(c)所示的二值图像中，手背为黑，被分类为背景。

接下来，生成第2二值图像。针对生成第1二值图像时的输入图像，确定一处在做手势(操作)时手可能进入的区域以及两处在做手势(操作)时也可能拍摄到背景的区域(S102)。这3处区域可以以图2的基准标志Ms为基准来确定。在本实施方式中，确定了一处手可能进入的区域和两处可能拍摄到背景的区域，不过，这些区域使用几处均可，可以适当确定。

图6示出进行再次二值化处理而形成第2二值图像的图像处理的一例。在图6中，图6(a)是摄像机输入图像，图6(b)是进行再次二值化的阈值确定的块，图6(c)是将阈值确定的块的图像设为1个图像的情况，图6(d)是二值化处理后的二值图像。如图6(b)所示，在确定出的3处区域中，将手可能进入(拍摄到)的区域设为中央轮毂部Sa的中心的块，在进行操作时也可能拍摄到背景的区域设为中央轮毂部Sa的基准标志Ms的附近的块。

如图6(c)所示，将3处的块的图像作为1个图像，进行判别分析法，确定新的阈值(S103)。然后，利用新的阈值，对输入图像的规定区域进行再次二值化处理，生成第2二值图像(S104)。如图6(d)所示，在再次二值化后的第2二值图像中，手背被分类为白。接下来，对第2二值图像进行收缩处理(S105)。再接下来，判定在第1二值图像和收缩处理后的第2二值图像中是否能够识别出手(S106)。在能够在第1二值图像和第2二值图像的任意一个图像中识别出手的情况下，判定为能够识别出手(S107)。

在图5(c)的第1二值图像中，手背为黑而判定为不能识别出手，而在图6(d)的再次二值化后的图像的例子中，由于手被分类为白，因而被识别为手。因此，由于能够在一方中识别出手，因此判定为能够识别出手。

图7示出手的识别处理中的图像处理的另一例。图7(a)是来自摄像机的输入图像，且光从手的右侧后方照射。图7(b)是基于判别分析法的第1二值图像，图7(c)是对所需最低限的区域进行再次二值化并进行收缩处理后的第2二值图像。

如图7(b)所示，手被分类为白，方向盘S的部分被分类为黑。即，判断为在图7(b)的第1二值图像中能够识别出手。另一方面，在图7(c)的第2二值图像中，通过再次二值化处理，喇叭部2被分类为白，手指与气囊面结合，通过进行收缩处理，食指变细，能够消除人的食指与喇叭部2的结合。

在上述的实施方式中，二值化的阈值确定方法使用了判别分析法，不过，也可以使用其它确定二值化的阈值的方法，按照相同的处理顺序，生成二值图像，进行手的识别。此外，进行最初的二值化的阈值和进行再次二值化的阈值均是利用判别分析法来确定的，不过也可以分别利用不同的方法来确定阈值。例如，利用自适应二值化处理(adaptivethreshold：自适应阈值)确定最初的阈值，利用判别分析法确定进行再次二值化的阈值，按照与上述的实施方式相同的处理顺序，也能够得到相同的效果。此外，作为自适应二值化处理的一例，在日本特许第4405942号公报的0037段中有记载。

以上，使用附图所示的实施方式对本发明进行了说明，但这些仅为示例，本技术领域的技术人员应当理解，在不脱离本发明的范围及主旨的范围内，能够进行各种变更及变形。因此，本发明的范围不限定于所说明的实施方式，而必须由权利要求所记载的技术主旨来限定。

标号说明

1摄像机

10手识别部

11图像接收部

12二值化处理部

13再次二值化处理部

14收缩处理部

15判定部

Claims (8)

1.一种使用汽车方向盘的手势识别装置，其具有摄像单元和识别单元，该摄像单元设置在能够对方向盘进行摄像的位置，该识别单元根据从所述摄像单元输出的摄像数据，识别人的手在所述方向盘上的位置，其特征在于，

所述识别单元具有：

二值化处理单元，其利用规定的方法对从所述摄像单元输出的摄像数据进行二值化处理，生成第1二值图像；

再次二值化处理单元，其在所述摄像数据中，确定做手势时可能拍摄到手的第1区域和做手势时也可能拍摄到背景的第2区域，将第1区域和第2区域作为1个图像，利用规定的方法确定新的阈值，对所述摄像数据的规定的区域进行再次二值化，生成第2二值图像；以及

判定单元，其在能够在所述第1二值图像与所述第2二值图像的任意一方或者双方中识别出手的情况下，判定为能够识别出手。

2.根据权利要求1所述的使用汽车方向盘的手势识别装置，其特征在于，

所述手势识别装置还具有对所述第2二值图像进行收缩处理的收缩处理单元。

3.根据权利要求1或2所述的使用汽车方向盘的手势识别装置，其特征在于，

所述二值化处理单元中的规定的方法是判别分析法或者自适应二值化处理。

4.根据权利要求1或2所述的使用汽车方向盘的手势识别装置，其特征在于，

所述再次二值化处理单元中的规定的方法是利用判别分析法确定的。

5.一种手识别方法，在做出使用汽车方向盘的手势时，根据从设置在能够对所述方向盘进行摄像的位置的摄像单元输出的摄像数据，识别人的手在所述方向盘上的位置，其特征在于，所述手识别方法包括如下步骤：

利用规定的方法对从所述摄像单元输出的摄像数据进行二值化处理，生成第1二值图像；

在所述摄像数据中，确定做手势时可能拍摄到手的第1区域和做手势时也可能拍摄到背景的第2区域，将第1区域和第2区域作为1个图像，利用规定的方法确定新的阈值，对所述摄像数据的规定的区域进行再次二值化，生成第2二值图像；以及

在能够在所述第1二值图像与所述第2二值图像中的任意一方或者双方中识别出手的情况下，判定为能够识别出手。

6.根据权利要求5所述的手识别方法，其特征在于，

所述手识别方法还包括对所述第2二值图像进行收缩处理的步骤。

7.根据权利要求5或6所述的手识别方法，其特征在于，

生成所述第1二值图像的步骤中的规定的方法是利用判别分析法或者自适应二值化处理确定的。

8.根据权利要求5或6所述的手识别方法，其特征在于，

生成所述第2二值图像的步骤中的规定的方法是判别分析法。