CN106981070B - 一种大屏系统交互行为状态的判断方法 - Google Patents
一种大屏系统交互行为状态的判断方法 Download PDFInfo
- Publication number
- CN106981070B CN106981070B CN201710075805.6A CN201710075805A CN106981070B CN 106981070 B CN106981070 B CN 106981070B CN 201710075805 A CN201710075805 A CN 201710075805A CN 106981070 B CN106981070 B CN 106981070B
- Authority
- CN
- China
- Prior art keywords
- frame
- point
- labeled
- state
- test point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种大屏系统交互行为状态的判断方法，包括：将所拍摄图像映射到和该图像的大小和位置相对应的屏幕上；用有物体运动时的图减去背景图获得用于处理的图像；进而提取轮廓检测出手指或者书写笔所在的位置；将前一帧图像的跟踪结果与本帧图像的检测点进行匹配；判断前一帧图像中出现的检测点是否为空，若为空则给予该轨迹id标注，轨迹状态为按下；否则前一帧的点与本帧的点距离最近并小于一定匹配阈值，则前一帧的点与本帧的点匹配并存入匹配列表，前一帧中所有的点减去已匹配的点，则为松开状态，并存入松开状态列表，本帧的所有点减去未匹配点则为新点；对上面检测出的运动轨迹进行标注；判断运动轨迹的长按、画线、单击和双击行为。
Description
技术领域
本发明属于图像识别处理的技术领域，尤其是指一种大屏系统交互行为状态的判断方法。
背景技术
现有的对大屏系统交互行为状态的判断只是利用到了所采集到图像的这一帧和前一帧的数据，并没有对图像的历史运动轨迹信息进行充分利用，因此导致不能对交互行为状态进行很好的区分和判断，比如说对画线和双击的操作不能很准确的识别，因此亟待一种可以准确判断大屏系统交互行为状态的方法。
发明内容
本发明提供了一种大屏系统交互行为状态的判断方法，用跟踪的方法将离散的数字化的轨迹点通过匹配跟踪后，形成连续的更能代表实际情况的运动轨迹，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。
本发明提供了一种大屏系统交互行为状态的判断方法，包括如下步骤：
S10、将摄像头所拍的图像映射到和该图像的大小和位置相对应的屏幕上；
S11、用有物体运动时候的图减去背景图后，得到用于处理的图像；再通过提取轮廓检测出手指或者书写笔所在的位置，所述手指或书写笔所在的位置称为检测点；
S12、对前一帧图像中的检测点进行跟踪，获得前一帧图像中的检测点的跟踪结果，将前一帧图像中的检测点的跟踪结果与本帧图像中的检测点进行匹配；判断前一帧图像中出现的检测点是否为空；若为空，则给予该检测点id标注，轨迹状态标注为按下，在轨迹历史点存储列表中动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表的每帧初始坐标值置为(-1，-1)，行为状态标注为单击状态，并记录下当前的帧数；
否则通过本帧的检测点与前一帧的点进行匹配计算出距离矩阵，当前一帧的点与本帧的点距离最近并小于一定匹配阈值，则认为前一帧的点与本帧的点匹配，存入匹配列表，前一帧中所有的检测点减去已匹配的检测点，则标注为松开状态，并存入松开状态列表，本帧的所有检测点减去未匹配点，则为新点；
S13、对上面检测出各个交互行为状态的检测点的运动轨迹进行标注；
S14、判读出手指或者书写笔进行的是长按、画线、单击还是双击行为。
优选的，所述的步骤S10之前还包括初始化系统的步骤，具体包括如下：
将轨迹状态标注为按下或松开，行为状态标注为未知、画线、长按、单击、双击五种状态之一，自大屏系统启动时开始对摄像头所拍图像进行帧数标记记录。
优选的，所述的步骤S12中对于匹配上的点，进行如下处理：
将本帧该检测点id标注为与之匹配的前一帧的检测点的id，该检测点状态标记为按下状态，本帧前的第八帧坐标值赋值为第七帧坐标值，本帧前的第七帧坐标值赋值为第六帧坐标值，即本帧前每一帧坐标值赋值为为所述每一帧的前一帧坐标值，在之后的每一帧出现时都如此更新此历史点存储列表，当某一轨迹的历史点存储列表存满8帧时，用第8帧与本帧的距离差进行判断，当距离差大于移动阈值时即将该轨迹标注为画线状态，小于移动阈值时则此轨迹标注为长按状态，记录下当前匹配时候的帧数。
优选的，所述的步骤S12中，对于前一帧匹配后没有匹配到的检测点都标记为松开状态，并将该轨迹的行为状态标注为未知状态，记录当前匹配时的帧数。
优选的，所述的步骤S12中对于新点进行如下的处理：
在所有的新点中，在单击列表中寻找相距在一定距离阈值内的点，若存在，则标记为双击，如果不存在，则将此点加入单击列表，轨迹历史点存储列表动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表每帧初始坐标值置为(-1，-1)。
优选的，所述的步骤S12和步骤S13之间还包括：
将标记为按下状态的检测点存入跟踪结果列表，记录下双击操作所需要的帧数间隔，在跟踪结束后将单击列表中超过双击所需帧数间隔的检测点进行删除。
优选的，所述的步骤S12中的匹配阈值的大小取决于大屏的实际情况，通过调试获得。
由上面的技术方案可知，本发明提供的大屏系统交互行为状态的判断方法是对各个交互行为状态进行轨迹跟踪，并用一定的跟踪标注方法对每个轨迹进行跟踪标注，可以正确判断出手指或者书写笔是在进行画线、长按、单击或者双击操作，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。
附图说明
图1为本发明实施例提供的一种大屏系统交互行为状态的判断方法的流程图；
图2为本发明实施例提供的一种大屏系统交互行为状态的判断方法中运动轨迹标注的流程图。
具体实施方式
以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
本发明实施例提供了一种大屏系统交互行为状态的判断方法，如图1所示，包括如下步骤：
S10、将所拍的图像映射到和该图像的大小和位置相对应的屏幕上；
S11、用有物体运动时候的图减去背景图后，得到用于处理的图像；再通过提取轮廓检测出手指或者书写笔所在的位置，所述手指或书写笔所在的位置称为检测点；
S12、对前一帧图像中的检测点进行跟踪，获得前一帧图像中的检测点的跟踪结果，将前一帧图像中的检测点的跟踪结果与本帧图像中的检测点进行匹配；判断前一帧图像中出现的检测点是否为空；若为空，则给予该检测点id标注，轨迹状态标注为按下，在轨迹历史点存储列表中动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表的每帧初始坐标值置为(-1，-1)，行为状态标注为单击状态，并记录下当前的帧数；
否则通过本帧的检测点与前一帧的点进行匹配计算出距离矩阵，当前一帧的点与本帧的点距离最近并小于一定匹配阈值，则认为前一帧的点与本帧的点匹配，存入匹配列表，前一帧中所有的检测点减去已匹配的检测点，则标注为松开状态，并存入松开状态列表，本帧的所有检测点减去未匹配点，则为新点；
S13、对上面检测出各个交互行为状态的检测点的运动轨迹进行标注；
S14、判读出手指或者书写笔进行的是长按、画线、单击还是双击行为。
优选的，所述的步骤S10之前还包括初始化系统的步骤，具体包括如下：
将图像的轨迹状态标注为按下或松开，行为状态标注为未知、画线、长按、单击、双击五种状态之一，自大屏系统启动时开始对摄像头所拍图像进行帧数标记记录。
优选的，所述的步骤S12中对于匹配上的点，进行如下处理：
将本帧该检测点id标注为与之匹配的前一帧的检测点的id，该检测点状态标记为按下状态，本帧前的第八帧坐标值赋值为第七帧坐标值，本帧前的第七帧坐标值赋值为第六帧坐标值，即本帧前每一帧坐标值赋值为所述每一帧的前一帧坐标值，在之后的每一帧出现时都如此更新此历史点存储列表，当某一轨迹的历史点存储列表存满8帧时，用第8帧与本帧的距离差进行判断，当距离差大于移动阈值时即将该轨迹标注为画线状态，小于移动阈值时则此轨迹标注为长按状态，记录下当前匹配时候的帧数。
优选的，所述的步骤S12中，对于前一帧匹配后没有匹配到的检测点都标记为松开状态，并将该轨迹的行为状态标注为未知状态，记录当前匹配时的帧数。
优选的，所述的步骤S12中对于新点进行如下的处理：
在所有的新点中，在单击列表中寻找相距在一定距离阈值内的点，若存在，则标记为双击，如果不存在，则将此点加入单击列表，轨迹历史点存储列表动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表每帧初始坐标值置为(-1，-1)。
优选的，所述的步骤S12和步骤S13之间还包括：
将标记为按下状态的检测点存入跟踪结果列表，记录下双击操作所需要的帧数间隔，在跟踪结束后将单击列表中超过双击所需帧数间隔的检测点进行删除。
优选的，所述的步骤S12中的匹配阈值的大小取决于大屏的实际情况，通过调试获得。
由上面的技术方案可知，本发明提供的大屏系统交互行为状态的判断方法，对各个交互行为状态进行轨迹跟踪，并用一定的跟踪标注方法对每个轨迹进行跟踪标注，可以正确判断出手指或者书写笔是在进行画线、长按、单击或者双击操作，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。
综上所述，本发明提供的大屏系统交互行为状态的判断方法，用跟踪的方法将离散的数字化的轨迹点通过匹配跟踪后，形成连续的更能代表实际情况的运动轨迹，尤其是对双击这种操作在大屏上不连续的操作也进行了轨迹标注，进而形成连续性的操作。
以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。
Claims (7)
1.一种大屏系统交互行为状态的判断方法，其特征在于，包括如下步骤：
S10、将摄像头所拍的图像映射到和该图像的大小和位置相对应的屏幕上；
S11、用有物体运动时候的图减去背景图后，得到用于处理的图像；再通过提取轮廓检测出手指或者书写笔所在的位置，所述手指或书写笔所在的位置称为检测点；
S12、对前一帧图像中的检测点进行跟踪，获得前一帧图像中的检测点的跟踪结果，将前一帧图像中的检测点的跟踪结果与本帧图像中的检测点进行匹配；判断前一帧图像中出现的检测点是否为空；若为空，则给予该检测点id标注，轨迹状态标注为按下，在轨迹历史点存储列表中动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表的每帧初始坐标值置为(-1，-1)，行为状态标注为单击状态，并记录下当前的帧数；
否则通过本帧的检测点与前一帧的点进行匹配计算出距离矩阵，当前一帧的点与本帧的点距离最近并小于一定匹配阈值，则认为前一帧的点与本帧的点匹配，存入匹配列表，前一帧中所有的检测点减去已匹配的检测点，则标注为松开状态，并存入松开状态列表，本帧的所有检测点减去未匹配点，则为新点；
S13、对上面检测出各个交互行为状态的检测点的运动轨迹进行标注；
S14、判读出手指或者书写笔进行的是长按、画线、单击还是双击行为。
2.根据权利要求1所述的判断方法，其特征在于，所述的步骤S10之前还包括初始化系统的步骤，具体包括如下：
将轨迹状态标注为按下或松开，行为状态标注为未知、画线、长按、单击、双击五种状态之一，自大屏系统启动时开始对摄像头所拍图像进行帧数标记记录。
3.根据权利要求1所述的判断方法，其特征在于，所述的步骤S12中对于匹配上的点，进行如下处理：
将本帧该检测点id标注为与之匹配的前一帧的检测点的id，该检测点状态标记为按下状态，本帧前的第八帧坐标值赋值为第七帧坐标值，本帧前的第七帧坐标值赋值为第六帧坐标值，即本帧前每一帧坐标值赋值为所述每一帧的前一帧坐标值，在之后的每一帧出现时都如此更新此历史点存储列表，当某一轨迹的历史点存储列表存满8帧时，用第8帧与本帧的距离差进行判断，当距离差大于移动阈值时即将该轨迹标注为画线状态，小于移动阈值时则此轨迹标注为长按状态，记录下当前匹配时候的帧数。
4.根据权利要求1所述的判断方法，其特征在于，所述的步骤S12中，对于前一帧匹配后没有匹配到的检测点都标记为松开状态，并将该轨迹的行为状态标注为未知状态，记录当前匹配时的帧数。
5.根据权利要求1所述的判断方法，其特征在于，所述的步骤S12中对于新点进行如下的处理：
在所有的新点中，在单击列表中寻找相距在一定距离阈值内的点，若存在，则标记为双击，如果不存在，则将此点加入单击列表，轨迹历史点存储列表动态存入本帧及前八帧图像数据，并将该轨迹历史点存储列表每帧初始坐标值置为(-1，-1)。
6.根据权利要求1所述的判断方法，其特征在于，所述的步骤S12和步骤S13之间还包括：
将标记为按下状态的检测点存入跟踪结果列表，记录下双击操作所需要的帧数间隔，在跟踪结束后将单击列表中超过双击所需帧数间隔的检测点进行删除。
7.根据权利要求1所述的判断方法，其特征在于，所述的步骤S12中的匹配阈值的大小取决于大屏的实际情况，通过调试获得。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710075805.6A CN106981070B (zh) | 2017-02-13 | 2017-02-13 | 一种大屏系统交互行为状态的判断方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710075805.6A CN106981070B (zh) | 2017-02-13 | 2017-02-13 | 一种大屏系统交互行为状态的判断方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106981070A CN106981070A (zh) | 2017-07-25 |
| CN106981070B true CN106981070B (zh) | 2018-05-11 |
Family
ID=59338467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710075805.6A Active CN106981070B (zh) | 2017-02-13 | 2017-02-13 | 一种大屏系统交互行为状态的判断方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106981070B (zh) |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102200849A (zh) * | 2010-03-23 | 2011-09-28 | 谭登峰 | 无线定位式触摸屏的双模式控制方法 |
| CN102201053B (zh) * | 2010-12-10 | 2013-07-24 | 上海合合信息科技发展有限公司 | 一种文本图像的切边方法 |
-
2017
- 2017-02-13 CN CN201710075805.6A patent/CN106981070B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN106981070A (zh) | 2017-07-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490125B (zh) | 一种基于手势自动检测的加油区服务质量检测系统 | |
| CN108664841A (zh) | 一种基于激光点云的动静态目标物识别方法及装置 | |
| CN110363798B (zh) | 一种遥感影像解译样本集的生成方法 | |
| CN104991687A (zh) | 一种获取触屏设备曲线操作轨迹的方法及系统 | |
| CN108181638A (zh) | 电子地图精准展现定位点和轨迹数据的解决设备及方法 | |
| CN102073870A (zh) | 一种触摸屏汉字笔迹识别方法 | |
| CN103674968A (zh) | 材料外观腐蚀形貌特征机器视觉原值检测评价方法及装置 | |
| CN106780538B (zh) | 一种解决图像跟踪过程中误匹配的方法 | |
| CN111640135A (zh) | 一种基于硬件前端的tof摄像头行人计数方法 | |
| CN106650446A (zh) | 基于系统调用的恶意程序行为识别方法和系统 | |
| CN110910414B (zh) | 图像轮廓生成方法、图像标注方法、电子装置及存储介质 | |
| CN106981070B (zh) | 一种大屏系统交互行为状态的判断方法 | |
| CN106446133A (zh) | 同时对接两个数据库的方法及装置 | |
| CN105404682A (zh) | 一种基于数字图像内容的图书检索方法 | |
| CN113239842A (zh) | 一种基于图像识别的天鹅检测方法及装置 | |
| CN104932742A (zh) | 一种触屏设备获取多点操作轨迹的方法及系统 | |
| CN110390224A (zh) | 一种交通指示牌的识别方法及装置 | |
| CN105551027B (zh) | 一种边界跟踪方法及装置 | |
| CN106950527A (zh) | 一种多基线干涉仪测向体制下的脉冲信号分选方法 | |
| CN104158696A (zh) | 一种测量操作延时的确定方法、装置及终端 | |
| CN114240928B (zh) | 板卡质量的分区检测方法、装置、设备及可读存储介质 | |
| CN113420839B (zh) | 用于堆叠平面目标物体的半自动标注方法及分割定位系统 | |
| CN105930813B (zh) | 一种在任意自然场景下检测行文本的方法 | |
| CN104777944A (zh) | 一种基于笔影检测模拟手绘板的方法 | |
| CN114187658A (zh) | 一种输入操作的识别方法及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Large screen system interaction behavior state determination method Effective date of registration: 20200623 Granted publication date: 20180511 Pledgee: Beijing technology intellectual property financing Company limited by guarantee Pledgor: BEIJING ZEN-AI TECHNOLOGY Co.,Ltd. Registration number: Y2020990000648 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PC01 | Cancellation of the registration of the contract for pledge of patent right |
Date of cancellation: 20221108 Granted publication date: 20180511 Pledgee: Beijing technology intellectual property financing Company limited by guarantee Pledgor: BEIJING ZEN-AI TECHNOLOGY Co.,Ltd. Registration number: Y2020990000648 |
|
| PC01 | Cancellation of the registration of the contract for pledge of patent right |