CN103530597B - 操作对象辨识和操作对象深度信息建立方法及电子装置 - Google Patents

Abstract

一种操作对象辨识和操作对象深度信息建立方法及电子装置。操作对象辨识方法利用一电子装置执行，该方法包括：（A）读取二分别来自两相间隔的摄像机在同一时间撷取的原始图像，该二原始图像的拍摄范围至少部分重叠，且各该原始图像的重叠部分的内容包括一伸出的操作对象；（B）将该二原始图像分别降低其分辨率，产生二降阶图像；（C）根据该二降阶图像计算其中多个具有相似特征的像素的位移量，得出一低阶深度图，其中位移量越大表示深度越浅；（D）根据该低阶深度图决定出一操作对象范围；（E）根据该操作对象范围自其一原始图像中找出对应的一局部高阶图像，藉此从该原始图像中辨识出该操作对象。本发明可维持精确度且大幅降低运算量。

Description

操作对象辨识和操作对象深度信息建立方法及电子装置

技术领域

本发明是有关于一种辨识方法，特别是指一种操作对象（operating object）辨识和操作对象深度信息建立方法及电子装置。

背景技术

目前电子装置的输入装置中，较普遍的有鼠标、键盘，以及也作为输出界面的触控式屏幕。为了使人机互动可以更加不受限制，于是有了依据声音、图像等辨识结果作为输入指令的技术。而以图像辨识肢体动作或手势来进行操作的方法也被不断地改良、加速演算，这方面技术从需要穿戴可供辨识的衣服或手套，演变成直接从图像中就能找出人体或手部的位置，进而辨识肢体动作或手势。

现有一种技术是根据深度图产生立体像素，如此就能找出人体并将人体后方的背景移除，再进一步辨识人的肢体骨架，并依据一连串肢体图像辨识肢体动作而作为输入指令。

现有一种产生深度图的方法，是使用一部传统的摄像机搭配一部深度摄像机拍摄。

所述深度摄像机是使用Time of flight（光线飞行时间，ToF）的原理，藉由计算打出的红外光打中物体反射后的时间，计算物体与摄像机的距离。

另有一种深度摄像机，例如微软公司的游戏控制器所使用，是利用光编码（LightCoding）技术。光编码技术理论是利用连续光（近红外线）对测量空间进行编码，经感应器读取编码的光线，交由芯片运算进行译码后，产生成一张具有深度的图像。光编码技术的关键是激光散斑，当激光照射到粗糙物体、或者是穿透毛玻璃后，会形成随机的反射斑点，称之为散斑。散斑具有高度随机性，也会随着距离而变换图案，空间中任何两处的散斑都会是不同的图案，等于是将整个空间加上了标记，所以任何物体进入该空间、以及移动时，都可确切记录物体的位置。光编码技术发出激光对测量空间进行编码，就是指产生散斑。

然而目前深度摄像机尚未能普及，而且取得的深度图不够精细，仅适合用于辨识肢体，如果想要运用前述的深度图以辨识手势，距离稍远，就无法辨识出各只手指，因此也难为手部辨识提供一个好的解决方案。

因此，需要提供一种操作对象辨识和操作对象深度信息建立方法及电子装置以解决上述问题。

发明内容

因此，本发明的目的，即在于提供一种维持精确度且大幅降低运算量的操作对象辨识方法。

于是，本发明操作对象辨识方法，利用一电子装置执行，该方法包括：（A）读取二分别来自两相间隔的摄像机在同一时间撷取的原始图像，该二原始图像的拍摄范围至少部分重叠，且各该原始图像的重叠部分的内容包括一伸出的操作对象；（B）将该二原始图像分别降低其分辨率，产生二降阶图像；（C）根据该二降阶图像计算其中多个具有相似特征的像素的位移量，得出一低阶深度图，其中位移量越大表示深度越浅；（D）根据该低阶深度图决定出一操作对象范围；以及（E）根据该操作对象范围自其一原始图像中找出对应的一局部高阶图像，藉此从该原始图像辨识出该操作对象。

较佳地，步骤（B）后还包含：

（B1）根据其一降阶图像与一预设的载有脸部特征的脸部模板进行比对，辨识出一脸部范围；且

步骤（D）是根据该辨识出的脸部范围计算出与该脸部范围邻近的该操作对象范围。

较佳地，步骤（D）中若辨识出多个脸部范围，是寻找该深度最浅的脸部范围附近，深度与该脸部范围相近且较浅的范围视为该操作对象范围。

较佳地，该操作对象为一手部，该操作对象范围为一手部范围。

本发明的另一目的，在于提供一种维持精确度且大幅降低运算量的操作对象深度信息建立方法。

于是，本发明操作对象深度信息建立方法，利用一电子装置执行，该方法包括：（a）读取二分别来自两相间隔的摄像机在同一时间撷取的原始图像，该二原始图像的拍摄范围至少部分重叠，且各该原始图像的重叠部分的内容包括一伸出的操作对象；（b）将该二原始图像分别降低其分辨率，产生二降阶图像；（c）根据该二降阶图像计算其中多个具有相似特征的像素的位移量，得出一低阶深度图，其中位移量越大表示深度越浅；（d）根据该低阶深度图决定出一操作对象范围；（e）根据该操作对象范围自该二原始图像中找出对应的二局部高阶图像；以及（f）根据该二局部高阶图像计算其中多个具有相似特征的像素的位移量，得出一局部高阶深度图，其中位移量越大表示深度越浅，藉此从该等原始图像建立出操作对象深度信息。

较佳地，步骤（b）后还包含：

（b1）根据其一降阶图像与一预设的载有脸部特征的脸部模板进行比对，辨识出一脸部范围。

步骤（d）是根据该辨识出的脸部范围计算出与该脸部范围邻近的该操作对象范围。

较佳地，步骤（d）中若辨识出多个脸部范围，是寻找该深度最浅的脸部范围附近，深度与该脸部范围相近且较浅的范围视为该操作对象范围。

较佳地，该操作对象为一手部，该操作对象范围为一手部范围。

本发明的再一目的，是在于提供一种执行前述方法的电子装置，包括一输入单元、一储存单元以及一处理器；该输入单元与两相间隔的摄像机连接；该储存单元储存一与操作对象辨识方法、操作对象深度信息建立方法相关的程序代码；该处理器与该输入单元及该储存单元连接，读取该与操作对象辨识方法、操作对象深度信息建立方法相关的程序代码并执行以下步骤：（i）经由该输入单元读取二分别来自该二摄像机在同一时间撷取的原始图像，该二原始图像的拍摄范围至少部分重叠，且各该原始图像的重叠部分的内容包括一伸出的操作对象；（ii）将该二原始图像分别降低其分辨率，产生二降阶图像；（iii）根据该二降阶图像计算其中多个具有相似特征的像素的位移量，得出一低阶深度图，其中位移量越大表示深度越浅；（iv）根据该低阶深度图决定出一操作对象范围；以及（v）根据该操作对象范围自其一原始图像中找出对应的一局部高阶图像，并储存于该储存单元，藉此从该原始图像辨识出该操作对象。

较佳地，步骤（v）还根据该操作对象范围自另一原始图像中找出对应的另一局部高阶图像，并储存于该储存单元；该处理器还执行步骤（vi），根据该二局部高阶图像计算其中多个具有相似特征的像素的位移量，得出一局部高阶深度图，并储存于该储存单元，其中位移量越大表示深度越浅，藉此从该等原始图像建立出操作对象深度信息。

较佳地，步骤（ii）后还包含：

（ii-1）根据其一降阶图像与一预设的载有脸部特征的脸部模板进行比对，辨识出一脸部范围。

步骤（iv）还根据该辨识出的脸部范围计算出与该脸部范围邻近的该操作对象范围。

较佳地，步骤（iv）中若辨识出多个脸部范围，是寻找该深度最浅的脸部范围附近，深度与该脸部范围相近且较浅的范围视为该操作对象范围。

较佳地，该操作对象为一手部，该操作对象范围为一手部范围。

本发明的功效在于：通过先将该二原始图像降低其分辨率再找出操作对象范围及对应的其一局部高阶图像，与直接使用该二原始图像找出操作对象相比能节省大量时间，该局部高阶图像可供后续辨识该操作对象姿态时使用，整体而言节省时间又不失精确。

附图说明

图1是一方框图，说明本发明操作对象辨识方法、操作对象深度信息建立方法及电子装置的实施例；

图2是一流程图，说明该实施例；

图3是二降阶图像；

图4是其一降阶图像，说明一脸部范围的辨识；

图5是一低阶深度图；以及

图6是该低阶深度图，说明一操作对象范围的辨识。

主要组件符号说明：

1电子装置 2摄像机

11处理器 31脸部范围

12输入单元 32操作对象范围

13储存单元 S1至S7步骤

具体实施方式

有关本发明的前述及其他技术内容、特点与功效，在以下配合参考附图的实施例的详细说明中，将可清楚地呈现。

参阅图1与图2，本发明操作对象辨识方法、操作对象深度信息建立方法及电子装置的实施例，可供结合应用于一利用一操作对象姿态控制的游戏机，但本发明不以此为限。该操作对象可以是使用者的一手部，该操作对象姿态可以是该手部的一手势，也可以是其他欲用来被辨识其轮廓的对象的姿态。该操作对象辨识方法、操作对象深度信息建立方法利用一电子装置1执行，该电子装置1具有相连接的一处理器11、一输入单元12及一储存单元13。该输入单元12是一组与一数组式摄像单元连接的传输端口。本实施例中，数组式摄像单元包括二左右间隔设置的摄像机2。储存单元13是一储存一与操作对象辨识方法、操作对象深度信息建立方法相关的程序代码以及计算结果的存储器或缓存器。

处理器11读取该与操作对象辨识方法、操作对象深度信息建立方法相关的程序代码并执行以下步骤：

步骤S1—经由该输入单元12读取二分别来自该二摄像机2在同一时间撷取的原始图像，该二原始图像的拍摄范围至少部分重叠，且各该原始图像的重叠部分的内容包括一伸出的操作对象。

本实施例中该伸出的操作对象是使用者所伸出的手部，且是预设图像中的使用者是将操作对象（例如手部）自然地朝前伸出，而非放在背后或头上等等位置。

步骤S2—将该二原始图像分别降低其分辨率，产生二降阶图像（如图3）。其中降低分辨率的方法很多，例如将各该原始图像中每两个相邻像素取出一个，即可合成1/2*1/2倍像素的降阶图像，或者是根据所需的倍率分配降阶后像素的位置，而对原始图像重新取样。

步骤S3—根据其一降阶图像与一预设的载有脸部特征的脸部模板进行比对，辨识出一脸部范围31（如图4）。在本实例中是使用该左方摄像机的降阶图像，但不以此为限，也可以用该右方摄像机的降阶图像。

步骤S4—根据该二降阶图像计算其中多个具有相似特征的像素的位移量，得出一低阶深度图（如图5），其中位移量越大表示深度越浅。

比较相似特征的方法是，将其一降阶图像（例如左边的降阶图像）切割成多个区块（本实施例是使用大小相等的区块），并将左图的各该区块与另一降阶图像（例如右边的降阶图像）比较。比较时，对该另一降阶图像的每一像素定义出以该像素为左上角且尺寸与该区块相同的区域，并找出各该区域中图像差异最小的一对应的区域，则各该区块及各该区块所对应的各该区域即为所谓的“相似特征”。

而关于图像差异大小的比较，举例来说，欲比较一第一区块与一第一区域的图像差异大小，是将该第一区块的各像素的像素值分别与该第一区域中一相对位置相同（例如，都是第一列、第一行）的像素的像素值相减所得的各像素的差值相加，得到一差值总和，该差值总和大小越小，表示图像差异越小。因此如果是灰阶图像，可得一灰阶值的差值总和，如果是彩色图像，则是先对每一彩色频道（color channel）（如红、绿、蓝三个彩色频道）计算该单一彩色频道的差值总和，再全部相加，得到全部彩色频道的差值总和，即可比较大小，决定出图像差异大小。

本步骤中，因为是使用该二降阶图像来进行初步的深度图计算，而非使用该二原始图像计算，如此可大幅减少深度图的计算时间。

步骤S5根据该低阶深度图决定出一操作对象范围32（如图6）。决定的方法是根据步骤S3中该辨识出的脸部范围31在该低阶深度图中计算出该脸部范围31（如图6左边的方框所标示）附近，深度与该脸部范围31相近且较浅的范围视为该操作对象范围32（如图6右边的方框所标示）。若步骤S3中辨识出多个脸部范围，本步骤则是寻找该深度最浅的脸部范围再据以进行操作对象范围的计算。在本实施例中，该操作对象范围即是一手部范围。

步骤S6—根据该操作对象范围32自该二原始图像中找出对应的二局部高阶图像，并储存于储存单元13。在本步骤中，已可借着从其一原始图像所找出的其一局部高阶图像，辨识出该操作对象。辨识出该操作对象后，即可依据轮廓进一步进行操作对象姿态辨识，也可在后续步骤中得到操作对象深度信息之后，整体进行较精细的操作对象姿态辨识。

步骤S7—根据该二局部高阶图像计算其中多个具有相似特征的像素的位移量，得出一局部高阶深度图，并储存于储存单元13，其中位移量越大表示深度越浅，藉此从该等原始图像建立出操作对象深度信息。在本步骤中，因为是根据局部高阶图像来进行局部的深度图计算，可在大幅减少深度图的计算时间的同时，兼顾了操作对象深度信息的分辨率。

本步骤对该二局部高阶图像中再计算该局部高阶深度图的理由是，若要供进一步做操作对象姿态辨识时，在该低阶深度图中，由于分辨率不足，无法用来辨识操作对象中相邻近的细微结构（例如手指），而在该局部高阶深度图中则可以辨识较微小的间距。当深度图中能辨识出微小的间距，便能辨识深度图中的操作对象姿态等特征，进而根据操作对象姿态执行不同动作。

综上所述，通过先将该二原始图像降低其分辨率再找出操作对象范围32及对应的该二局部高阶图像，与直接使用该二原始图像找出操作对象相比能节省大量时间，接着产生局部高阶深度图而建立出高阶的操作对象深度信息，以供后续辨识该操作对象姿态时使用，整体而言节省时间又不失精确，故确实能达到本发明的目的。

惟以上所述者，仅为本发明的实施例而已，应当不能以此限定本发明实施的范围，即凡是根据本发明权利要求书的范围及发明说明书内容所作的简单的等同变化与修饰，皆仍属本发明专利涵盖的范围内。

Claims (13)

1.一种操作对象辨识方法，利用一电子装置执行，该方法包括：

(A)读取二分别来自两相间隔的摄像机在同一时间撷取的原始图像，该二原始图像的拍摄范围至少部分重叠，且各该原始图像的重叠部分的内容包括一伸出的操作对象；

(B)将该二原始图像分别降低其分辨率，产生二降阶图像；

(C)比较该二降阶图像，计算其中多个具有相似特征的像素的位移量，得出一低阶深度图，其中位移量越大表示深度越浅；

(D)根据该低阶深度图决定出一操作对象范围；以及

(E)根据该操作对象范围自其一原始图像中找出对应的一局部高阶图像，藉此从该原始图像辨识出该操作对象。

2.根据权利要求1所述操作对象辨识方法，其中，步骤(B)后还包括：

(B1)根据其一降阶图像与一预设的载有脸部特征的脸部模板进行比对，辨识出一脸部范围；且

步骤(D)是根据该辨识出的脸部范围计算出与该脸部范围邻近的该操作对象范围。

3.根据权利要求2所述操作对象辨识方法，其中，步骤(D)中若辨识出多个脸部范围，是寻找该深度最浅的脸部范围附近，深度与该脸部范围相近且较浅的范围视为该操作对象范围。

4.根据权利要求1所述操作对象辨识方法，其中，该操作对象为一手部，该操作对象范围为一手部范围。

5.一种操作对象深度信息建立方法，利用一电子装置执行，该方法包括：

(a)读取二分别来自两相间隔的摄像机在同一时间撷取的原始图像，该二原始图像的拍摄范围至少部分重叠，且各该原始图像的重叠部分的内容包括一伸出的操作对象；

(b)将该二原始图像分别降低其分辨率，产生二降阶图像；

(c)比较该二降阶图像，计算其中多个具有相似特征的像素的位移量，得出一低阶深度图，其中位移量越大表示深度越浅；

(d)根据该低阶深度图决定出一操作对象范围；

(e)根据该操作对象范围自该二原始图像中找出对应的二局部高阶图像；以及

(f)根据该二局部高阶图像计算其中多个具有相似特征的像素的位移量，得出一局部高阶深度图，其中位移量越大表示深度越浅，藉此从该二原始图像建立出操作对象深度信息。

6.根据权利要求5所述操作对象深度信息建立方法，其中，步骤(b)后还包括：

(b1)根据其一降阶图像与一预设的载有脸部特征的脸部模板进行比对，辨识出一脸部范围；且

步骤(d)是根据该辨识出的脸部范围计算出与该脸部范围邻近的该操作对象范围。

7.根据权利要求6所述操作对象深度信息建立方法，其中，步骤(d)中若辨识出多个脸部范围，是寻找该深度最浅的脸部范围附近，深度与该脸部范围相近且较浅的范围视为该操作对象范围。

8.根据权利要求5所述操作对象深度信息建立方法，其中，该操作对象为一手部，该操作对象范围为一手部范围。

9.一种电子装置，该电子装置包括：

一输入单元，该输入单元与两相间隔的摄像机连接；

一储存单元，该储存单元储存一与操作对象辨识方法、操作对象深度信息建立方法相关的程序代码；以及

一处理器，该处理器与该输入单元及该储存单元连接，读取该与操作对象辨识方法、操作对象深度信息建立方法相关的程序代码并执行以下步骤：

(i)经由该输入单元读取二分别来自该二摄像机在同一时间撷取的原始图像，该二原始图像的拍摄范围至少部分重叠，且各该原始图像的重叠部分的内容包括一伸出的操作对象；

(ii)将该二原始图像分别降低其分辨率，产生二降阶图像；

(iii)比较该二降阶图像，计算其中多个具有相似特征的像素的位移量，得出一低阶深度图，其中位移量越大表示深度越浅；

(iv)根据该低阶深度图决定出一操作对象范围；以及

(v)根据该操作对象范围自其一原始图像中找出对应的一局部高阶图像，并储存于该储存单元，藉此从该原始图像辨识出该操作对象。

10.根据权利要求9所述电子装置，其中，步骤(v)还根据该操作对象范围自另一原始图像中找出对应的另一局部高阶图像，并储存于该储存单元；该处理器还执行步骤(vi)，根据该二局部高阶图像计算其中多个具有相似特征的像素的位移量，得出一局部高阶深度图，并储存于该储存单元，其中位移量越大表示深度越浅，藉此从该二原始图像建立出操作对象深度信息。

11.根据权利要求9所述电子装置，其中，步骤(ii)后还包括：

(ii-1)根据其一降阶图像与一预设的载有脸部特征的脸部模板进行比对，辨识出一脸部范围；且

步骤(iv)是根据该辨识出的脸部范围计算出与该脸部范围邻近的该操作对象范围。

12.根据权利要求11所述电子装置，其中，步骤(iv)中若辨识出多个脸部范围，是寻找该深度最浅的脸部范围附近，深度与该脸部范围相近且较浅的范围视为该操作对象范围。

13.根据权利要求9所述电子装置，其中，该操作对象为一手部，该操作对象范围为一手部范围。