CN103076873A - 一种计算机视觉控制窗口的自适应系统及方法 - Google Patents

Abstract

本发明公开了一种计算机视觉控制窗口的自适应系统及方法，该系统包含用于拍摄的视觉设备，感兴趣对象，其特征在于，所述系统包含设置于终端上的：识别算法处理模块，用于确定感兴趣对象的目标位置及轨迹；映射模块，用于确定终端视野与外部视野之间的初始的映射区域和映射关系，并为自适应模块提供前一时刻的映射区域和映射关系信息；和自适应处理模块，用于根据感兴趣对象的位置和轨迹变化动态地调整终端视野与外设视野的映射关系，以得到包含感兴趣对象的终端视野；其中，所述外部视野为用于拍摄的视觉设备所能观测到的视野范围；所述终端视野为终端关注和显示的视野范围。本发明满足计算机视觉中根据对象运动自动调节视野的需求。

Description

一种计算机视觉控制窗口的自适应系统及方法

技术领域

本发明涉及模式识别技术，智能终端输入技术，主要实现视觉输入过程中，对象在视野活动范围与终端上对应活动范围之间的映射关系自适应，即本发明提供一种计算机视觉控制窗口的自适应系统及方法。

背景技术

目前各种智能终端如雨后春笋般不断涌现，飞速发展，终端用户体验日益成为发展终端技术焦点，在这一过程中，新的输入输出方式、设备不断被提出、应用。

近年来输入技术方面的发展，逐渐呈现了融合、体感、人性的趋势。一方面原本通常用在不同智能终端的输入方式互相交叉、融合、移植，键盘、触摸屏、遥控器、鼠标器均在不同的智能终端上得到广泛应用，甚至融合成如“鼠标遥控器”之类的复杂输入设备；另一方面，结合体感设备和模式识别技术，更加人性化的终端输入方式也受到越来越广泛的关注，已经成为整个行业竞争的热点。

这方面美国微软公司和日本的任天堂公司都于近期推出了非常典型的产品。微软的xbox系统侧重于利用复杂的摄像头综合技术，人体建模的技术，实现智能终端对人体活动的“识别”，日本任天堂的产品则更强调利用接触式的传感设备实现人体与设备之间的感知、力的作用等互动效果。据悉，联想也即将推出xbox的同类产品ebox。

计算机视觉输入，通常是利用不同的算法分析摄像头视频流，提取终端识别的信号并以各种形式呈现给用户。我们实现的“基于计算机视觉的体感输入(CVII)原型系统”就是利用跟踪算法在确定对象位置、轨迹，从而实现仅用手势完成类鼠标操作的一个原型系统。但由于人与摄像头位置、手势幅度因人因时而异，摄像头视野中的手势活动范围与屏幕区域之间的对应关系需要适时调整，否则在输入指令时用户及其手势需要保持在指定位置，或者定向移动，非常不人性化，是的这类输入技术的实用价值大打折扣。因此，需要对计算机视觉设备输入的视野进行处理，从摄像头视野中确定对象活动区域，映射到终端的整个视野上，并实现动态的自适应。计算机视觉输入时需要一种方法，实现对象在摄像头视野中活动范围与终端上对应活动范围之间的映射关系自适应。

发明内容

本发明的目的在于，为了克服现有技术的计算机视觉输入时，对象在摄像头视野中活动范围与终端上对应活动范围之间的映射关系不能自适应的问题，从而提供一种计算机视觉控制窗口的自适应系统及方法。

为实现上述目的，本发明提供一种计算机视觉控制窗口的自适应系统，该系统使对象在摄像头视野中活动范围与终端上对应活动范围之间的映射关系自适应，包含，用于拍摄的视觉设备，感兴趣对象，其特征在于，所述系统还包含设置于终端上的：

识别算法处理模块，用于确定感兴趣对象的目标位置及轨迹。

映射模块，用于确定终端视野与外部视野之间的初始的映射区域和映射关系，并为自适应模块提供前一时刻的映射区域和映射关系信息；和

自适应处理模块，用于根据感兴趣对象的位置和轨迹变化动态地调整终端视野与外设视野的映射关系，以得到包含感兴趣对象的终端视野。

其中，所述外部视野为用于拍摄的视觉设备所能观测到的视野范围；所述终端视野为终端关注和显示的视野范围，所述终端视野为所述外部视野显示的部分或全部内容。

可选的，所述识别算法采用TLD算法。

所述自适应处理模块还进一步包含如下子模块：

比较判决子模块，用于将感兴趣对象的位置和轨迹和终端视野显示的当前映射区域进行比较，并依据策略生成调整子模块可识别的判决命令。

调整子模块，用于执行判决命令，依据新的映射区域调整终端视野。

其中，所述策略为：当感兴趣对象的位置和轨迹信息与终端当前的终端视野窗口的内容比较时，若感兴趣对象在一设置的时间段内在某一方向上不触界，则做出在该方向向内收缩终端视野窗口的判决命令；如果有触界的动作发生，则进一步判断是否频繁越界，如果是则沿该方向扩展终端视野窗口；如果不是频繁越界，则保持终端视野窗口大小不变；所述的界为映射区域的边界。所述终端视野窗口的调整范围不超过外设视野的范围。

基于上述系统，本发明还提供一种计算机视觉控制窗口的自适应方法，该方法将感兴趣对象在摄像头视野中活动范围与终端上对应活动范围之间的映射关系进行自适应，所述方法包含：

步骤1，感兴趣对象位置和轨迹的识别提取。

步骤2，确定外设视野到终端视野之间的初始映射区域。

步骤3，基于初始映射区域，自适应调整外设视野到终端视野之间的映射关系。

其中，所述调整包含：扩大、收缩或保持；所述外部视野为用于拍摄的视觉设备所能观测到的视野范围；所述终端视野为终端关注和显示的视野范围，所述终端视野为所述外部视野显示的部分或全部内容。

可选的，所述终端视野窗口初始化的步骤具体为：选定外设视野中任意一个指定区域作为初始映射区域，映射到终端作为终端视野，这一映射关系作为初始的映射关系。

所述终端视野窗口自适应调整步骤为：

如果外设视野中的感兴趣对象频繁跃出当前的映射区域，则映射区域在对应方向上延伸扩大；如果一段时间内从未从某一方向跃出映射区域，则映射区域在对应方向上收缩减小。所述扩大操作的最大值为：外设视野；所述收缩最小值为：初始映射区域大小。

本发明提供一种计算机视觉控制窗口的自适应方法，实现对象在摄像头视野中活动范围与终端上对应活动范围之间的映射关系自适应，使得：一方面终端处理的视野始终聚焦于跟踪对象；另一方面，用于输入控制信号的对象始终能够在终端关注范围的整个范围里活动。如：利用摄像头读取手势信号，控制鼠标光标时，不论手势在多大范围内活动，鼠标光标都可以在整个屏幕范围内运动。运用这种方法，基于计算机视觉的输入将会更加智能、人性化，明显提升其实际应用价值。

附图说明

图1-a为本发明的自适应调整系统的位于终端上的核心单元的组成框图；

图1-b本发明提供的自适应系统的流程示意图；

图2本发明提供的方法的应用举例示意图；

图3为图2的映射关系和映射区域模块在外设视野中确定映射区域的示意图；

图4本发明提供的自适应调整时的终端视野变化过程示意图；

图5本发明的自适应映射的初始化流程图；

图6本发明的自适应调整终端视野的映射区域的流程图。

具体实施方式

下面结合附图及具体实施例对本发明作进一步的描述。

本发明定义了外部设备视野、终端视野。外设视野指诸如摄像头的计算机视觉设备所能观测到的视野范围，抑或摄像头直接取得的原始视频所包含的视野；终端视野指原始视频经过算法处理，进而确定的终端需要关注、显示的视野范围，它只是原始视频所包含视野的一个局部，最大不超过原始视频视野本身。本发明实现了在外部设备视野中寻找目标，确定需要作为终端视野的局部区域，即映射区域，并根据需要动态地调整这一映射关系。

在动态调整映射关系时，首先需要知道当前的终端视野是对应外设视野中的哪一片区域(即映射区域)，通过确定目标是否在区域内，统计目标接触，越出映射区域边界的情况，来确定如何改变映射区域的大小和位置，从而实现映射关系的动态调整。

终端视野的内容实际根据映射区域确定，只是映射区域是外设视野的一个局部，而终端视野已经从外设视野里剥离出来。终端视野一般默认等于映射区域，特殊情况下可以在映射区域基础上适当扩展。

本发明提供的方法包含以下内容：1)对象位置和轨迹的识别；2)外设视野到智能终端视野之间的映射；3)外设视野到智能终端视野之间映射的自适应。

在步骤1)中，利用外设获取监测视野内的数据，用算法确定并输出对象的位置或轨迹。

用以监测视野的外设包括各种计算机视觉设备，如可见光摄像头，红外摄像头等。

供识别的对象包括手势，人体，以及其它用于输入信号而被指定的对象，或智能终端关注、跟踪的对象。

在步骤2)中，终端视野指，由用于监测视野的外设输送给终端的，关于视野的数据。这些数据包括由终端存储、处理的数据和输出到其它外设的数据，如终端处理的数据所代表的视野以及对象在其中的位置轨迹等相关数据，或者显示器屏幕所代表的视野以及其中与对象位置、轨迹等相关的数据。

选定外设视野中一个指定区域作为默认的映射区域，映射到终端作为视野，这一映射关系作为默认的映射关系。

映射区域映射到终端，但终端视野不总是等于该区域，可以以该区域为基础，适当向边沿扩展。

在步骤3)中，如果外设视野里对象频繁跃出映射区域，则映射区域在对应方向上延伸扩大，如果一段时间内未从某一方向跃出映射区域，则映射区域在对应方向上收缩减小。但是，其向外延伸扩大不得超过外设视野，向内收缩减小不得超过默认映射区域。

如图1-a所示，该图为本发明提供的系统包含的核心单元的组成框图。即在需要自适应调整的终端上设置如下模块：

识别算法处理模块101，用于确定感兴趣对象的目标位置及轨迹；

映射模块102，用于确定终端视野与外部视野之间的初始的映射区域和映射关系，并为自适应模块提供前一时刻的映射区域和映射关系信息；和

自适应处理模块103，用于根据感兴趣对象的位置和轨迹变化动态地调整终端视野与外设视野的映射关系，以得到包含感兴趣对象的终端视野；

其中，所述外部视野为用于拍摄的视觉设备所能观测到的视野范围；所述终端视野为终端关注和显示的视野范围，所述终端视野为所述外部视野显示的部分或全部内容。

上述技术方案，所述识别算法处理模块101可以采用：TLD等。

上述技术方案，所述自适应处理模块进一步包含如下子模块：

比较判决子模块，用于将感兴趣对象的目标位置和轨迹和终端当前映射区域进行比较，并依据策略生成调整子模块可识别的判决命令。

调整子模块，用于执行判决命令，依据映射区域调整终端视野窗口(位置和)大小。

其中，所述策略为：当感兴趣目标的位置和轨迹信息与终端当前的终端视野窗口的内容比较时，若感兴趣目标在一设置的时间段内不触界，则做出收缩终端视野窗口的判决命令；如果有触界的动作发生，则进一步判断是否频繁越界，如果是则扩展终端视野窗口；如果不是频繁越界，则保持终端视野窗口不变。

所述的界为：映射区域的边界，由映射关系决定。

上述技术方案中，所述映射关系的为：终端视野与外设视野、外设视野中相应映射区域之间的对应关系

所述映射区域为：外设视野中的一个局部区域，用来作为产生终端视野的依据，终端视野范围一般默认等于映射区域，也可以根据需要在映射区域的基础上适当扩展。

该映射区域与终端视野和外设视野之间的关系为：外设视野为计算机视觉外部设备所能取景的整个视野范围，抑或外部设备所摄取的原始数据；根据当前的映射关系，从外设视野中确定一片区域，作为产生终端视野的依据，该区域即为映射区域，它是外设视野的一个局部；终端视野已经从外设视野中剥离出来，形成独立的画面或视频流等呈现一定视野的信息，他的范围一般默认等于映射区域，也可以根据需要在映射区域的基础上适当扩展。

本方法所解决的问题可用图1-b所示的情景描述。如图1-b所示，摄像头取景范围或其摄取视频的内容范围定义为该场景的外设视野。

外设视野的视频数据经过算法处理，输出对象在外设视野中的位置或轨迹，通过自适应模块根据对象位置、轨迹，在外设视野中确定映射区域，映射到终端视野。

终端视野包括存储于终端的相关数据(如终端视野1)以及已经输出到外设的相关数据(如终端视野2)

在实际应用时，本方法能够自适应地将终端视野聚焦到外设视野中对象活动的主要范围，解决了如何从外设取得的原始数据中剥离出最受关注的目标及其附近的信息。如图2所示，自适应的需求主要包括两种情形，一方面可以使终端视野始终关注对象及其附近视野，自适应地调整视野；另一方面如果是利用计算机视觉技术输入控制信号，则不论控制动作发生在外设视野的哪一片区域，控制信号都可以到达整个终端视野。例如，用手势控制鼠标光标，不论手势的幅度，用户的位置，均可实现鼠标光标全屏操作。

如图3，本方法首先根据对象所在位置及轨迹，按照默认映射区域的标准生成最初的映射区域，该区域规定了最小的区域，在后续的自适应中，映射区域不会小于该最小值。

在垂直坐标下一种可行的确定最小区域的办法是，限定上下边界间距离、左右边界间距离的最小值。

如图4，本方法统计对象在外设视野中跃出映射区域的情况。如果对象在某方向上频繁跃出映射区域，则映射区域在方向上延伸；如果对象在该方向上长时间未触及边界，则在该方向上收缩。

在对象出现时，方法首先利用输入信息及相应算法完成映射关系及终端视野的初始化过程生成最初的映射关系和终端视野，其原理如图5.

如图6，在完成初始化后，方法根据对象触界和越界的统计情况，判断应该在个方向上扩张、保持、还是收缩，进而生成新的当前映射关系，从而实现映射关系的自适应。

实施例

cvii系统是本发明的一个应用实施例。在该系统中，通过摄像头取景，获得人物手势的视频流，该视频流代表的视野即外部设备视野。该视频流被送给终端之后，经过TLD识别算法处理，识别出手掌位置和运动轨迹，交给自适应模块处理。自适应模块对比手掌的位置、轨迹和由映射模块提供的当前映射区域之间的关系，自适应地选取手掌经常活动的区域映射到整个屏幕上。映射模块负责向自适应模块提供当前映射关系和映射区域信息，同时根据映射区域提供确定的终端视野信息，可能是视频流，也可能是在受限区域内的坐标信息。根据手掌在视野中的的位置确定终端鼠标在屏幕上的位置。

cvii系统中，得到的终端视野就没有必要保留完整的视野视频流，只需要保留手掌在终端视野中的相对位置信息即可。由于采用了这种自适应方法，避免了当用户离摄像头距离不同时，手势活动范围大小不同时，鼠标活动也被不同程度地限定在屏幕上一个局部区域。因为产生的终端视野紧紧锁定手势活动的范围，所以手掌总是能到达终端视野的每一个位置，对应的，鼠标也就能移动在屏幕的任意位置。

需要说明的是，以上介绍的本发明的实施方案而并非限制。本领域的技术人员应当理解，任何对本发明技术方案的修改或者等同替代都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围内。

Claims (8)

1.一种计算机视觉控制窗口的自适应系统，该系统使对象在摄像头视野中活动范围与终端上对应活动范围之间的映射关系自适应，包含，用于拍摄的视觉设备，感兴趣对象，其特征在于，所述系统包含设置于终端上的：

识别算法处理模块，用于确定感兴趣对象的目标位置及轨迹；

映射模块，用于确定终端视野与外部视野之间的初始的映射区域和映射关系，并为自适应模块提供前一时刻的映射区域和映射关系信息；和

自适应处理模块，用于根据感兴趣对象的位置和轨迹变化动态地调整终端视野与外设视野的映射关系，以得到包含感兴趣对象的终端视野；

其中，所述外部视野为用于拍摄的视觉设备所能观测到的视野范围；所述终端视野为终端关注和显示的视野范围，所述终端视野为所述外部视野显示的部分或全部内容。

2.根据权利要求1所述的计算机视觉控制窗口的自适应系统，其特征在于，所述识别算法采用TLD算法。

3.根据权利要求1或2所述的计算机视觉控制窗口的自适应系统，其特征在于，所述自适应处理模块还进一步包含如下子模块：

比较判决子模块，用于将感兴趣对象的位置和轨迹和终端视野显示的当前映射区域进行比较，并依据策略生成调整子模块可识别的判决命令；

调整子模块，用于执行判决命令，依据新的映射区域调整终端视野；

其中，所述策略为：当感兴趣对象的位置和轨迹信息与终端当前的终端视野窗口的内容比较时，若感兴趣对象在一设置的时间段内在某一方向上不触界，则做出在该方向向内收缩终端视野窗口的判决命令；如果有触界的动作发生，则进一步判断是否频繁越界，如果是则沿该方向扩展终端视野窗口；如果不是频繁越界，则保持终端视野窗口大小不变；

所述的界为映射区域的边界。

4.根据权利要求3所述的计算机视觉控制窗口的自适应系统，其特征在于，所述终端视野窗口的调整范围不超过外设视野的范围。

5.一种计算机视觉控制窗口的自适应方法，该方法将感兴趣对象在摄像头视野中活动范围与终端上对应活动范围之间的映射关系进行自适应，所述方法包含：

步骤1，感兴趣对象位置和轨迹的识别提取；

步骤2，确定外设视野到终端视野之间的初始映射区域；

步骤3，基于初始映射区域，自适应调整外设视野到终端视野之间的映射关系；

其中，所述调整包含：扩大、收缩或保持；所述外部视野为拍摄的视觉设备所能观测到的视野范围；所述终端视野为终端关注和显示的视野范围，所述终端视野为所述外部视野显示的部分或全部内容。

6.根据权利要求5所述的计算机视觉控制窗口的自适应方法，其特征在于，所述初始映射区域为：选定外设视野中的某一区域作为初始映射区域，映射到终端作为终端视野，这一映射关系作为初始的映射关系。

7.根据权利要求6所述的计算机视觉控制窗口的自适应方法，其特征在于，所述终端视野窗口自适应调整步骤为：

如果外设视野中的感兴趣对象频繁跃出当前的映射区域，则映射区域在对应方向上延伸扩大；如果一段时间内从未从某一方向跃出映射区域，则映射区域在对应方向上收缩减小。

8.根据权利要求7所述的计算机视觉控制窗口的自适应方法，其特征在于，所述扩大操作的最大值为：外设视野；所述收缩操作的最小值为初始映射区域大小。

Images