CN101013472A

CN101013472A - 一种动态图像辨识方法及使用该方法的系统

Info

Publication number: CN101013472A
Application number: CN 200610003512
Authority: CN
Inventors: 陈美如; 赵子毅; 李宜方
Original assignee: Pixart Imaging Inc
Current assignee: Pixart Imaging Inc
Priority date: 2006-02-05
Filing date: 2006-02-05
Publication date: 2007-08-08
Anticipated expiration: 2026-02-05
Also published as: CN100468446C

Abstract

一种利用对象特征相异性进行多个对象的动态图像辨识方法，配合图像传感器及缓存器，用以对图像中的至少一个对象实时辨识，图像传感器具有多个感应像素该方法包含下述步骤：(A)设定图像的灰阶阈值；(B)依序撷取图像中每列的像素值；(C)利用该灰阶阈值判断背景区域及识别出各对象的图像区段；(D)利用相邻两列中图像区段的空间相关性分辨未知对象的图像区段属于何对象；(E)汇集该等图像区段所累计的信息至其所属的对象；(F)依据判断法则区分该对象的特征属性；及(G)撷取完图像所有的像素值后，即辨识出图像中的各对象为实心、空心、长形及短形其中任一种特征属性。

Description

一种动态图像辨识方法及使用该方法的系统

技术领域

本发明是有关于一种图像辨识方法，特别是指一种利用对象特征相异性(Identification by Objects’characteristics)进行多个对象的动态图像辨识方法及使用该方法的系统。

背景技术

目前电视游戏(TV game)或计算机游戏(PC game)已是常见的休闲娱乐方式，以一般计算机游戏为例，多是在计算机装置上安装游戏软件，再搭配计算机装置的屏幕及例如键盘、鼠标或游戏杆等输入接口对游戏软件进行控制；然而也有搭配厂商销售的游戏软件的交互式道具，为方便说明起见，以美国专利公开号2004006348号所揭示的一种交互式游戏装置为例来说明其构件及作用原理。

如图1所示，交互式游戏装置700具有两个哑铃状的指示道具71及72、踏步台720、屏幕装置730、视频摄影机750、游戏盒760及主机装置770。其中，主机装置770安装有游戏软件；指示道具71、72分别由玩家705的左右手握持，且指示道具71、72上分别在其端部附有发光对象(Lightsource)711、712及721、722；屏幕装置730可显示游戏软件中例如虚拟的舞者731在跳舞的图像；主机装置770可以是计算机装置或游戏机台；屏幕装置730与游戏盒760系分别连接在主机装置770上。

使用上述的交互式游戏装置700进行跳舞游戏时，玩家705需开启(Turnon)指示道具71、72的电源以使发光对象711、712及721、722得以发光，让视频摄影机750可检测发光对象711、712及721、722的图像，进而由游戏盒760计算该发光对象711、712及721、722的位置等参数，最后将其输入到主机装置770来完成玩家705手持指示道具71、72的发光对象711、712及721、722位置的追踪，并显示于屏幕装置730的画面上。

然而，假设玩家705在任意挥动现有道具71、72时，由于发光对象711、712及721、722的特征相同(例如均是等面积的圆形)，因此任二发光对象711、712及721、722在游戏盒760所判读的图像同为饼图案，则若有任两个饼图案轨迹重叠后分离瞬间，视频摄影机750读取图像后在游戏盒760进行图像处理时，不易分辨出二者的差异而造成移动位置或移动轨迹的误判。

发明内容

因此，本发明的目的，即在提供一种利用对象特征相异性进行多个对象的动态图像辨识方法及使用该方法的系统，由于是以各对象为实心、空心、长形及短形其中任一种特征属性来区分，因此不会因为不易分辨出二者的差异而造成误判。

于是，本发明利用对象特征相异性进行多个对象的动态图像辨识方法，该方法配合图像传感器及缓存器的使用，用以对于图像之中具有的至少一个对象实时地进行辨识，图像传感器具有多个行列式感应像素，且该图像传感器以该等感应像素感测该对象而形成多个图像区段，该方法包含下述步骤：(A)设定该图像的灰阶阈值；(B)依序撷取该图像中每列的像素值；(C)利用该灰阶阈值判断背景区域及识别出该对象具有的图像区段；(D)利用相邻两列中图像区段的空间相关性分辨未知对象的图像区段属于何对象；(E)汇集该等图像区段所累计的信息至其所属的对象；(F)依据判断法则区分该对象的特征属性；及(G)撷取完该图像所有的像素值后，即辨识出该图像中的该对象的特征属性。

本发明图像辨识系统利用对象图像特征相异性对于图像之中具有的至少一个对象实时地进行辨识，该图像辨识系统包含图像传感器、模拟数字转换器、图像处理单元及缓存器，该图像传感器具有多个行列式感应像素，且该图像传感器以该等感应像素感测该对象而形成多个图像区段；该模拟数字转换器连接该图像传感器，用以转换感应该图像的模拟信号为数字信号；该图像处理单元连接该模拟数字转换器，该图像处理单元逐列读取该等感应像素，并设定有该图像的灰阶阈值及用以区分该对象的特征属性的判断法则；该缓存器连接该图像处理单元，用以暂存该图像处理单元累计的该等对象的图像信息。

这样，该图像处理单元可利用该灰阶阈值判断背景区域并识别出该对象具有的图像区段，利用相邻两列中图像区段的空间相关性分辨未知对象的图像区段属于何对象，再汇集该等图像区段所累计的信息至其所属的对象，并依据该判断法则区分该对象的特征属性，而于撷取完该图像所有的像素值后，该图像处理单元即辨识出该图像中的该对象的特征属性。

附图说明

图1是说明一种公知的交互式游戏装置的示意图；

图2是说明使用本发明的动态图像辨识方法的图像辨识系统，用以将辨识后的特征属性相关信息输出至现有的个人计算机主机具有的传输接口的电路方块图；

图3是说明本发明利用对象特征相异性进行多个对象的动态图像辨识方法的第一优选实施例，可辨识出图像中的两个对象是属于实心或空心对象的示意图；

图4是说明使用本发明利用对象特征相异性进行多个对象的动态图像辨识方法的第二实施例，如何在辨识的初始阶段利用各图像区段的识别来判断其所属对象的流程图；

图5是说明该第一优选实施例如何辨识出图像中的两个对象是属于实心或空心对象的流程图；

图6是本发明利用对象特征相异性进行多个对象的动态图像辨识方法的第二优选实施例，如何辨识出图像中的两个对象是属于长形或短形对象的流程图；及

图7是说明该第二优选实施例可辨识出图像中的两个对象是属于长形或短形对象的示意图。

主要组件符号说明

1、2图像 32 模拟数字转换器

11、12、21、22 对象图像 33 图像处理单元

111、121图像区段 34 缓存器

111’、121’ 图像区段的起始点 35 接口模块

111”、121”图像区段的终点 4个人计算机

101～107、110～114、120～125步骤 41主机

3图像处理系统 411 传输接口

31 图像传感器 42 显示器

311 像素

具体实施方式

有关本发明的前述及其它技术内容、特点与功效，在以下配合参考图式的两个优选实施例的详细说明中，将可清楚的呈现。

在本发明被详细描述的前，要注意的是，在以下的说明内容中，类似的组件以相同的编号来表示。此外，必须说明的是，由于第一优选实施例是用以区分实心、空心的特征属性，而第二优选实施例是用以区分长形、短形的特征属性，但是在其它实施例中，或可将上述实心、空心、长形及短形的特征属性加以混合使用及识别，因此只要有上述特征属性的应用，均应属于本发明概念欲保护的范畴。

图2所示，本发明利用对象特征相异性进行多个对象的动态图像辨识方法的两个优选实施例中，其所使用的系统系图像处理系统3，该图像处理系统3具有图像传感器(Image sensor)31、模拟数字转换器(A/D Converter)32、图像处理单元(Image processor)33、缓存器(Register)34及接口模块35。

其中，图像传感器31是CCD或CMOS组件制成，具有多个行列式感应像素，用以感应拍摄物(图未示)反射的光线而成图像，且该图像传感器31以该等感应像素感测该对象而形成多个图像区段(作用容后再述)，并转换为模拟信号；接着，输出至连接图像传感器31的模拟数字转换器32转换为数字信号，由图像处理单元33负责大部分信号的计算处理；图像处理单元33连接模拟数字转换器32，逐列地读取该等感应像素感应的信号并加以运算，并设定有图像的灰阶阈值及用以区分对象的特征属性的判断法则；缓存器34连接图像处理单元33，用以暂存图像处理单元33累计的该等对象的图像信息。

这样，图像处理单元33可利用灰阶阈值判断背景区域并识别出对象的图像区段，利用相邻两列中图像区段的空间相关性分辨未知对象的图像区段属于何对象，再汇集该等图像区段所累计的信息至其所属的对象，并依据判断法则区分对象的特征属性，而于撷取完该图像所有的像素值后，图像处理单元33即辨识出图像中的对象的特征属性。

图像处理系统3的接口模块35连接该图像处理单元33，用以将辨识后的特征属性相关信息输出为符合计算机的周边协议数据格式，例如转换为符合USB格式的信号后，输出至个人计算机4的主机41具有的传输接口411，由个人计算机4的主机41接收并加以运算后，即可在个人计算机4的显示器42上显示出该对象图像。

必须说明的是，图像处理系统3可用于摄录像等取像装置的辨识功能，或是以安装在计算机的辨识软件的方式执行辨识功能；另外，由于图像传感器31、模拟数字转换器32、图像处理单元33及其它相关组件的构造原理为公知技术，且本发明的主要概念是以图像处理单元33配合缓存器34执行图像的辨识功能，因此以下将仅就相关于本发明原理的部分作介绍。

配合图2、3所示，说明本发明利用对象特征相异性进行多个对象的动态图像辨识方法的第一优选实施例。必须说明的是，在本优选实施例中，由于图像传感器31具有多个行列式感应像素(Pixel)311，且该等像素311以逐列的方式感应各对象11、12，因此，将图像传感器31所感应到的对象在每一列中所得到的部分图像称为图像区段(Image Segment)，各图像区段的识别法，为逐列记录各列中各图像区段的起始点并储存至缓存器34；接着自该图像区段的起始点逐点累计该图像区段的信息并储存至该缓存器34；及判断各列中各图像区段的终点并储存至缓存器34。

例如：图像处理系统3会先由图像传感器31依序撷取图像1中每列像素311感应到的像素值经模拟数字转换器32转换为数字信号输入至图像处理单元33，读取的方式是自第一列开始，从左到右读取该列中的每个像素值，每读完一列再由上而下读取每列的各像素值，而判断是否有对象的图像信息的出现，检测是否有大于系统预设阈值的像素值出现。

在读取的同时，即可一并判断各列中该等对象11、12的图像区段起始点及终点在何处，如此便可接着利用相邻两列中图像区段的空间相关性(容后再述)分辨未知对象的图像区段属于何对象。例如：自图像1中的第4列起始有对象的图像信息，且该等图像信息分属于两个对象11、12，因此从左而右，记录先出现的图像区段111的起始点111’并储存至缓存器34，再逐点累计图像区段111的信息并储存至缓存器34，接着判断该列中具有该图像区段111的终点111”并储存至缓存器34后，再记录对象12在该列的图像区段121的起始点121’与终点121”及其逐点累计的信息于缓存器34后，再进行下一列的判断，依此类推。

而分辨该等图像区段分别属于何对象11、12的方式，即利用相邻两列中图像区段的空间相关性分辨未知对象的图像区段属于何对象，判断如符合下述公式1，则可判定未知对象图像区段属于该对象i：

Seg-L≤Preline-Obj i-R；且

Seg-R≥Preline-Obji-L；公式1

其中，公式1是表示例如在读取至图像中的第Y列数据时；Seg-L表示读取第Y列出现的该未知对象图像区段的左方起始点X坐标值；Seg-R表示读取第Y列出现的该未知对象图像区段的右方终点X坐标值；而Preline-Obji-R表示第Y列的上一列，亦即第Y-1列出现的各该对象i的图像区段的右方终点X坐标值；Preline-Obji-L表示第Y-1列出现的各该对象i的图像区段的左方起始点X坐标值，若是符合Seg-L≤Preline-Obji-R且Seg-R≥Preline-Obji-L的判断式，即表示该未知对象图像区段与第Y-1列出现的该对象i的图像区段属于同一对象i。

如图4所示，说明本发明利用对象特征相异性进行多个对象的动态图像辨识方法的两个优选实施例在初始时如何判断图像区段属于何对象，其具有的步骤及作用原理详述如下：

首先需设定该图像的灰阶阈值(步骤101)；接着依序撷取该图像中每列的像素值(步骤102)；利用该灰阶阈值判断背景区域(步骤103)；识别出该对象的图像区段(步骤104)，其子步骤包括记录此列中该未知对象的图像区段的起始点并储存至缓存器(104a)；接着自该图像区段的起始点逐点累计该图像区段的信息并储存至缓存器(104b)；及判断此列中该未知对象的图像区段终点并储存至缓存器(104c)；利用相邻两列中图像区段的空间相关性分辨该未知对象的图像区段属于何对象(步骤105)；汇集该图像区段所累计的信息至其所属的对象(步骤106)；同理，进行此列下一图像区段的判断(步骤107)。

配合图4、5所示，说明本发明利用对象特征相异性进行多个对象的动态图像辨识方法的第一优选实施例中，是如何辨识出实心或空心对象，该方法具有的步骤及作用原理详述如下：

首先使用步骤101～107来判断各图像区段属于何对象，接着需依据判断法则区分该等对象的实心或空心特征属性，本实施例的判断法则分为二部分，一是判断包围有背景区域的各该图像区段是否属于同一对象？(步骤110)若是，将该背景区域判断为归属于该对象的空心区域，并进行步骤111，若否，则进行步骤112；另一步骤111是累计(该对象的空心区域面积/整体面积)的值是否大于一阈值？若不大于该阈值，则进行步骤112，若大于该阈值，则进行步骤113；必须说明的是，整体面积系将该空心区域及该空心区域外围的该对象所有的图像区段均列入计算，而经过实验后得到优选的该阈值约为0.05～0.08之间；步骤113是归类该对象的特征属性为空心对象；及步骤112是归类该对象的特征属性为实心对象，如此便完成了对象的实心、空心的特征属性辨识功能(步骤114)。

再如图3所示，使用本发明利用对象特征相异性进行多个对象的动态图像辨识方法的第一优选实施例，可辨识出图像1中的两个对象11、12是属于实心或空心对象，例如图中的对象11经辨识后即判断属于实心对象，而图中的对象12经辨识后即判断属于空心对象。

配合图4、6所示，说明本发明利用对象特征相异性进行多个对象的动态图像辨识方法的第二优选实施例中，是如何辨识出长形或短形对象，该方法具有的步骤及作用原理详述如下：

首先亦使用步骤101～107来判断各图像区段属于何对象，接着需依据另一判断法则区分该等对象的长形或短形的特征属性，本实施例的判断法则先判断并撷取该对象适用的四端点坐标(步骤120)；接着计算该对象的长边、短边向量(步骤121)；再计算(该对象的长边长度平方/该对象的面积)是否大于一阈值？(步骤122)若大于该阈值，则进行步骤123，若不大于该阈值，则进行步骤124；步骤123是判断该对象的特征属性为长形对象；而步骤124是判断该对象的特征属性为短形对象，如此便完成了对象的长形、短形的特征属性辨识功能(步骤125)；优选地，(该对象的长边长度平方/该对象的面积)的值经过实验后，得到的该阈值约为2～3之间。

如图7所示，使用本发明利用对象特征相异性进行多个对象的动态图像辨识方法，可辨识出图像2中的两个对象21、22是属于长型或短形对象，例如图中的圆形对象21经辨识后即判断属于短形对象，而图中的长方形对象22经辨识后即判断属于长形对象。

归纳上述，由于目前对于欲判读的图像若有任两个图形轨迹重叠后分离瞬间，则进行图像处理时，将不易分辨出二者的差异而造成移动位置或移动轨迹的误判，因此，本发明利用对象特征相异性进行多个对象的动态图像辨识方法及使用该方法的系统，由于是利用灰阶阈值判断背景区域并识别出对象图像区段，及利用相邻两列中图像区段的空间相关性分辨未知对象的图像区段属于何对象，并以特定的判断法则判断各对象为实心、空心、长形及短形其中任一种特征属性，因此除可实时进行辨识功能外，也不会因为不易分辨出二者的差异而造成误判。

以上所述者，仅为本发明的优选实施例，当不能以此限定本发明实施的范围，即大凡依本发明权利要求及发明说明内容所作的简单的等效变化与修饰，皆属本发明专利涵盖的范围内。

Claims

1.一种利用对象特征相异性进行多个对象的动态图像辨识的方法，该方法配合图像传感器及缓存器的使用，用以对于图像之中具有的至少一个对象实时地进行辨识，该图像传感器具有多个行列式感应像素，且该图像传感器以该等感应像素感测该对象而形成多个图像区段，该方法包含下述步骤：

(A)设定该图像的灰阶阈值；

(B)依序撷取该图像中每列的像素值；

(C)利用该灰阶阈值判断背景区域及识别出该对象的图像区段；

(D)利用相邻两列中图像区段的空间相关性分辨未知对象的图像区段属于何对象；

(E)汇集该等图像区段所累计的信息至其所属的对象；

(F)依据判断法则区分该对象的特征属性；及

(G)撷取完该图像所有的像素值后，即辨识出该图像中的该对象的特征属性。

2.根据权利要求1所述的利用对象特征相异性进行多个对象的动态图像辨识的方法，其中，步骤(F)的该判断法则具有下述步骤：

(H-1)判断包围有背景区域的各该图像区段是否属于同一对象？若是，则进行步骤(H-2)，若否，则进行步骤(H-5)；

(H-2)将该背景区域判断为归属于该对象的空心区域；

(H-3)累计(该对象的空心区域面积/整体面积)的值是否大于一阈值？若大于该阈值，则进行步骤(H-4)，若不大于该阈值，则进行步骤(H-5)；

(H-4)判断该对象的特征属性为空心对象；及

(H-5)判断该对象的特征属性为实心对象。

3.根据权利要求1所述的利用对象特征相异性进行多个对象的动态图像辨识的方法，其中，步骤(F)的该判断法则具有下述步骤：

(I-1)判断并撷取该对象适用的四端点坐标；

(I-2)计算该对象的长边、短边向量；

(I-3)计算(该对象的长边长度平方/该对象的面积)是否大于一阈值？若大于该阈值，则进行步骤(I-4)，若不大于该阈值，则进行步骤(I-5)；

(I-4)判断该对象的特征属性为长形对象；及

(I-5)判断该对象的特征属性为短形对象。

4.根据权利要求1所述的利用对象特征相异性进行多个对象的动态图像辨识的方法，其中，识别各该图像区段包括下述步骤：

(C-1)记录此列中该图像区段起始点并储存至该缓存器；

(C-2)自该图像区段的起始点逐点累计该图像区段的信息并储存至该缓存器；

(C-3)判断此列中该图像区段终点并储存至该缓存器；及

(C-4)同理，进行此列中下一图像区段的判断。

5.根据权利要求1所述的利用对象特征相异性进行多个对象的动态图像辨识的方法，其中，步骤(D)中，分辨该等图像区段分别属于何对象的方式，判断如符合下述公式，则可判定未知对象图像区段属于该对象i：

Seg-L≤Preline-Obji-R；且

Seg-R≥Preline-Obji-L；

其中，此公式是表示在读取至图像中的第Y列数据时，Seg-L表示读取第Y列出现的该未知对象图像区段的左方起始点X坐标值；Seg-R表示读取第Y列出现的该未知对象图像区段的右方终点X坐标值；Preline-Obji-R表示第Y-1列出现的各该对象i的图像区段的右方终点X坐标值；Preline-Obji-L表示第Y-1列出现的各该对象i的图像区段的左方起始点X坐标值。

6.一种图像辨识系统，利用对象图像特征相异性对于图像之中具有的至少一个对象实时地进行辨识，该图像辨识系统包含：

图像传感器，具有多个行列式感应像素，用以感应该图像，且该图像传感器以该等感应像素感测该对象而形成多个图像区段；

模拟数字转换器，连接该图像传感器，用以转换感应该图像的模拟信号为数字信号；

图像处理单元，连接该模拟数字转换器，该图像处理单元逐列读取该等感应像素，并设定有该图像的灰阶阈值及用以区分该对象的特征属性的判断法则；及

缓存器，连接该图像处理单元，用以暂存该图像处理单元累计的该等对象的图像信息；

这样，该图像处理单元可利用该灰阶阈值判断背景区域并识别出该等对象的图像区段，利用相邻两列中图像区段的空间相关性分辨该未知对象的图像区段属于何对象，再汇集该等图像区段所累计的信息至其所属的对象，并依据该判断法则区分该对象的特征属性，而于撷取完该图像所有的像素值后，该图像处理单元即辨识出该图像中的该对象的特征属性。

7.根据权利要求6所述的图像辨识系统，其中，该图像处理单元设定的判断法则判断出包括实心、空心、长形及短形其中任一种特征属性。

8.根据权利要求6所述的图像辨识系统，其中，还包含接口模块，该接口模块连接该图像处理单元，用以将辨识后的图像信号输出为符合计算机的周边协议数据格式以输出至该计算机的主机的传输接口，由该计算机的主机接收并加以运算后，可在该计算机的显示器上显示出该对象图像。