CN115268757A - 一种基于触摸屏的画面系统上的手势交互识别系统 - Google Patents

一种基于触摸屏的画面系统上的手势交互识别系统 Download PDF

Info

Publication number
CN115268757A
CN115268757A CN202210845959.XA CN202210845959A CN115268757A CN 115268757 A CN115268757 A CN 115268757A CN 202210845959 A CN202210845959 A CN 202210845959A CN 115268757 A CN115268757 A CN 115268757A
Authority
CN
China
Prior art keywords
module
gesture
action
screen
automobile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210845959.XA
Other languages
English (en)
Inventor
李诒雯
王伟
范桂香
何标
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Clarion Kotei Software Technology Co ltd
Original Assignee
Wuhan Clarion Kotei Software Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Clarion Kotei Software Technology Co ltd filed Critical Wuhan Clarion Kotei Software Technology Co ltd
Priority to CN202210845959.XA priority Critical patent/CN115268757A/zh
Publication of CN115268757A publication Critical patent/CN115268757A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Abstract

本发明公开了一种基于触摸屏的画面系统上的手势交互识别系统，包括：人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块；所述人机交互显示模块，渲染车机三维空间元素和二维空间元素；所述参数获取模块，获取json配置文件中的画面布局和对应坐标区域；所述动作检测模块，检测手势信息；所述动作识别模块，根据手势信息，识别对应的交互动作；所述控制响应模块，根据交互动作，调用不同的预设脚本，在人机交互显示模块上完成动作响应。本发明有益效果是：实现检测触摸屏被按下，并根据当前屏幕显示的内容，以及触控区域，执行包括三维、二维不同控制类型的精准功能控制。

Description

一种基于触摸屏的画面系统上的手势交互识别系统
技术领域
本发明涉及车机交互领域，尤其涉及一种基于触摸屏的画面系统上的手势交互识别系统。
背景技术
目前量产的车型上，主要是二维空间的画面，不存在空间的叠加。二维空间能够展示的信息非常有限。随着芯片技术的发展，车载芯片的算力越来越强大，比如高通8155的芯片，使得我们可以在车载芯片上，实现更酷炫的三维空间叠加二维空间的人机交互画面。但是在三维空间叠加二维空间时，存在用户点击屏幕时，无法区分点击的是三维空间的元素，还是二维空间的元素的问题。
同时，目前车载电脑上的画面视觉设计越来越复杂，很难在项目前期一次性定义好画面的视觉设计。每次视觉设计变更时，软件部分都需要进行大量的代码修改。所以需要软件开发人员在设计程序的初期，就考虑到这个问题，设计出能够适应界面视觉设计变化的程序，当视觉设计变化时，不需要变更软件代码。
发明内容
本发明主要是为了解决用户点击屏幕时，无法区分点击的是三维空间的元素，还是二维空间的元素，且画面的视觉设计变更时，代码变更量大的技术问题。
本发明提供了一种基于触摸屏的画面系统上的手势交互识别系统，包括：
人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块；
所述人机交互显示模块，渲染车机三维空间元素和二维空间元素；
所述参数获取模块，获取json配置文件中的画面布局和对应坐标区域；
所述动作检测模块，检测手势信息；
所述动作识别模块，根据手势信息，识别对应的交互动作；
所述控制响应模块，根据交互动作，调用不同的预设脚本，在人机交互显示模块上完成动作响应。
本发明提供的有益效果是：实现检测触摸屏被按下，并根据当前屏幕显示的内容，以及触控区域，执行包括三维、二维不同控制类型的精准功能控制。
附图说明
图1是本发明系统结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。
请参考图1，图1是本发明系统结构示意图；一种基于触摸屏的画面系统上的手势交互识别系统，包括以下：
人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块；
所述人机交互显示模块，渲染车机三维空间元素和二维空间元素；
所述参数获取模块，获取json配置文件中的画面布局和对应坐标区域；
所述动作检测模块，检测手势信息；
所述动作识别模块，根据手势信息，识别对应的交互动作；
所述控制响应模块，根据交互动作，调用不同的预设脚本，在人机交互显示模块上完成动作响应。
所述画面布局和对应坐标区域包括：汽车模型的屏幕坐标范围、汽车设置弹窗的屏幕坐标范围、场景标题栏屏幕坐标范围、场景底栏屏幕坐标范围和设置按钮的屏幕坐标范围。
需要说明的是，在不同的工程项目中，画面的布局不同，画面坐标是不同的。
本申请为了提高程序的可复用性，将画面布局信息写到Json配置文件中，而不是在程序中固定。可以实现画面设计变更后，只需要根据设计信息修改Json配置文件，而不需要修改程序。
在解决三维汽车模型这个场景的版本中，人机交互显示模块的画面上的区域划分为以下5种，对应的坐标范围存储在Json配置文件中。
(1)汽车模型的屏幕坐标范围；
(2)汽车设置弹窗的屏幕坐标范围；
(3)场景中屏幕上方的标题栏的屏幕坐标范围；
(4)场景中底部状态栏的屏幕坐标范围；
(5)设置按钮的坐标范围；
所述手势信息包括：手势类型和角度坐标信息angle；手势类型包括单击、左滑、右滑；
所述控制响应模块，包括多种不同控制类型，控制类型包括：顺时针旋转汽车、逆时针旋转汽车、切换上一场景、切换下一场景、弹出汽车设置窗口、隐藏汽车设置窗口；
需要说明的是，本申请中，从Json配置文件中，读取手势类型与角度坐标的对应关系。
手势类型与angle的对照关系，与屏幕上采用的坐标系有关。将对照关系写到Json文件中，而不是在程序中固定，可以实现更换坐标系之后，只需要修改此配置文件，不需要修改程序。提高程序的可复用性。
当前版本中，手势类型与angle的对照关系如下：
(1)单击Click<--->angle为0；
(2)屏幕左滑SlideLeft<------>angle为负数；
(3)屏幕右滑SlideRight<---->angle为正数；
整个过程如下：
S101、检测手指按下的动作
S102、记录手指按下屏幕的坐标PrePoint
S103、持续检测手指与屏幕接触点的坐标CurrentPoint
S104、angle＝CurrentPoint–PrePoint
S105、根据angle，计算出手势滑动类型
(1)单击Click
(2)屏幕左滑SlideLeft
(3)屏幕右滑SlideRight
S106、根据CurrentPoint和PrePoint，识别出当前操作所在的区域
S107、根据Touch区域及手势类型，计算出控制类型；
当前版本中，控制类型有6种：
(1)顺时针旋转汽车模型；
(2)逆时针旋转汽车模型；
(3)切换到下一个场景；
(4)切换到上一个场景；
(5)弹出设置汽车参数的弹窗；
(6)隐藏设置汽车参数的弹窗；
不同控制类型通过调用Lua脚本进行直接响应处理。
需要说明的是，根据控制类型，调用Lua脚本中，不同控制类型对应的处理脚本。
将控制类型，与类型执行的控制内容的关系写在Lua脚本中，是为了实现程序的热更新。
比如，当想要把控制类型1与控制类型2的执行的动作互换时，只需要修改Lua脚本中的映射关系。不需要重新编译程序，就能使修改生效，开发人员不需要重新发布程序。用户根本不需要花费大流量去升级巨大的程序安装包，只需要花费少量的流量，升级一个Lua脚本文件就行了。
根据Lua脚本中的处理脚本，渲染画面。最终渲染画面元素，通过人机交互显示模块显示至用户端。
下面本申请对6中不同控制类型的识别详细流程阐述如下。
1、顺时针旋转汽车模型
S201、检测手指按下动作；
S202、记录手指按下屏幕的坐标PrePoint，同时检测手指松开动作；
S203、读取当前显示的场景ID；
S204、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景ID进行)；若是，进入步骤S205；否则，表明不在汽车场景，不需要区分Touch区域，流程结束；
S205、读取汽车模型的屏幕坐标范围1；
S206、判断Touch区域是否在屏幕坐标范围1内，若是，进入步骤S207；否则流程结束；
S207、计算Touch的屏幕区域；
S208、根据Touch的屏幕坐标计算Touch方向；
S209、检测Touch方向否为手势类型2(屏幕左滑)，若是，则进入步骤S210；否则流程结束；
S210、识别出当前的控制类型为顺时针旋转汽车类型；
S211、人机交互界面显示控制汽车模型顺时针旋转。
2、逆时针旋转汽车模型
S301、检测手指按下动作；
S302、记录手指按下屏幕的坐标PrePoint，同时检测手指松开动作；
S303、读取当前显示的场景ID；
S304、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景ID进行)；若是，进入步骤S305；否则，表明不再汽车场景，不需要区分Touch区域，流程结束；
S305、读取汽车模型的屏幕坐标范围1；
S306、判断Touch区域是否在屏幕坐标范围1内，若是，进入步骤S307；否则流程结束；
S307、计算Touch的屏幕区域；
S308、根据Touch的屏幕坐标计算Touch方向；
S309、检测Touch方向是否为手势类型3(屏幕右滑)，若是，则进入步骤S310；否则流程结束；
S310、识别出当前的控制类型为逆时针旋转汽车类型；
S311、人机交互界面显示控制汽车模型逆时针旋转。
3、切换到下一场景
S401、检测手指按下动作；
S402、记录手指按下屏幕的坐标PrePoint，同时检测手指松开动作；
S403、读取当前显示的场景ID；
S404、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景ID进行)；若是，进入步骤S405；否则，表明不再汽车场景，不需要区分Touch区域，流程结束；
S405、读取汽车模型的屏幕坐标范围3；
S406、判断Touch区域是否在屏幕坐标范围3内，若是，进入步骤S407；否则流程结束；
S407、计算Touch的屏幕区域；
S408、根据Touch的屏幕坐标计算Touch方向；
S409、检测Touch方向是否为手势类型2(屏幕左滑)，若是，则进入步骤S410；否则流程结束；
S410、识别出当前的控制类型为切换到下一场景；
S411、人机交互界面显示控制画面切换到下一场景。
4、切换到上一场景
S501、检测手指按下动作；
S502、记录手指按下屏幕的坐标PrePoint，同时检测手指松开动作；
S503、读取当前显示的场景ID；
S504、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景ID进行)；若是，进入步骤S405；否则，表明不再汽车场景，不需要区分Touch区域，流程结束；
S505、读取汽车模型的屏幕坐标范围3；
S506、判断Touch区域是否在屏幕坐标范围3内，若是，进入步骤S507；否则流程结束；
S507、计算Touch的屏幕区域；
S508、根据Touch的屏幕坐标计算Touch方向；
S509、检测Touch方向是否为手势类型3(屏幕右滑)，若是，则进入步骤S510；否则流程结束；
S510、识别出当前的控制类型为切换到上一场景；
S511、人机交互界面显示控制画面切换到上一场景。
5、弹出设置汽车参数的弹窗
S601、检测手指按下动作；
S602、判断汽车设置按钮是否被按下(通过按钮点击事件进行)，若是，则进入步骤S603；否则流程结束；
S603、识别出当前的控制类型为弹出设置汽车参数的弹窗；
S604、人机交互界面显示控制设置汽车参数弹窗。
6、隐藏设置汽车参数的弹窗
S701、检测手指按下动作；
S702、记录手指按下屏幕的坐标PrePoint；
S703：持续检测手指与屏幕接触点的坐标CurrentPoint；
S704：计算出Touch的屏幕区域；
S705、读取当前显示的场景ID；
S706、判断当前是否为汽车三维模型显示场景(实际使用过程中还可包括其它场景，如音乐播放场景、导航场景等，判断方式可以通过场景ID进行)；若是，进入步骤S707；否则，表明不再汽车场景，不需要区分Touch区域，流程结束；
S707、判断汽车设置是否正在弹窗显示；若是，进入步骤S708；否则流程结束；
S708、读取汽车模型的屏幕坐标范围1；
S709、读取汽车设置弹窗的屏幕坐标范围2；
S710、读取场景屏幕上方标题栏的屏幕坐标范围3；
S711、读取场景中底部状态栏的屏幕坐标范围4；
S712：判断Touch区域是否在上述1，2，3，4范围内；若是则进入步骤S713；否则，流程结束；
S713：识别当前控制类型为隐藏设置汽车参数弹窗；
S714、人机交互界面显示控制隐藏汽车参数弹窗。
本发明的有益效果是：实现检测触摸屏被按下，并根据当前屏幕显示的内容，以及触控区域，执行包括三维、二维不同控制类型的精准功能控制。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：包括：
人机交互显示模块、参数获取模块、动作检测模块、动作识别模块和控制响应模块；
所述人机交互显示模块，渲染车机三维空间元素和二维空间元素；
所述参数获取模块，获取json配置文件中的画面布局和对应坐标区域；
所述动作检测模块，检测手势信息；
所述动作识别模块，根据手势信息，识别对应的交互动作；
所述控制响应模块，根据交互动作，调用不同的预设脚本，在人机交互显示模块上完成动作响应。
2.如权利要求1所述的一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：所述画面布局和对应坐标区域包括：汽车模型的屏幕坐标范围、汽车设置弹窗的屏幕坐标范围、场景标题栏屏幕坐标范围、场景底栏屏幕坐标范围和设置按钮的屏幕坐标范围。
3.如权利要求1所述的一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：所述手势信息包括：手势类型和角度坐标信息angle；手势类型包括单击、左滑、右滑。
4.如权利要求2所述的一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：所述控制响应模块，包括多种不同控制类型，控制类型包括：顺时针旋转汽车、逆时针旋转汽车、切换上一场景、切换下一场景、弹出汽车设置窗口、隐藏汽车设置窗口。
5.如权利要求4所述的一种基于触摸屏的画面系统上的手势交互识别系统，其特征在于：不同控制类型通过调用Lua脚本进行直接响应处理。
CN202210845959.XA 2022-07-19 2022-07-19 一种基于触摸屏的画面系统上的手势交互识别系统 Pending CN115268757A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210845959.XA CN115268757A (zh) 2022-07-19 2022-07-19 一种基于触摸屏的画面系统上的手势交互识别系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210845959.XA CN115268757A (zh) 2022-07-19 2022-07-19 一种基于触摸屏的画面系统上的手势交互识别系统

Publications (1)

Publication Number Publication Date
CN115268757A true CN115268757A (zh) 2022-11-01

Family

ID=83767816

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210845959.XA Pending CN115268757A (zh) 2022-07-19 2022-07-19 一种基于触摸屏的画面系统上的手势交互识别系统

Country Status (1)

Country Link
CN (1) CN115268757A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534674A (zh) * 2011-02-08 2014-01-22 海沃氏公司 多模态触摸屏交互装置、方法和系统
CN105446596A (zh) * 2015-11-26 2016-03-30 四川长虹电器股份有限公司 基于深度的交互式3d界面显示系统与方法
US20160313966A1 (en) * 2013-12-30 2016-10-27 Samsung Electronics Co., Ltd. User terminal device providing user interaction and method therefor
CN108762482A (zh) * 2018-04-16 2018-11-06 北京大学 一种大屏幕和增强现实眼镜间数据交互方法和系统
WO2019000438A1 (zh) * 2017-06-30 2019-01-03 华为技术有限公司 显示图形用户界面的方法及电子设备
CN110515473A (zh) * 2019-07-19 2019-11-29 沈阳美行科技有限公司 一种基于触摸板的手势识别方法、装置及相关系统
CN112673400A (zh) * 2018-07-04 2021-04-16 网络助手有限责任公司 化身动画

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103534674A (zh) * 2011-02-08 2014-01-22 海沃氏公司 多模态触摸屏交互装置、方法和系统
US20160313966A1 (en) * 2013-12-30 2016-10-27 Samsung Electronics Co., Ltd. User terminal device providing user interaction and method therefor
CN105446596A (zh) * 2015-11-26 2016-03-30 四川长虹电器股份有限公司 基于深度的交互式3d界面显示系统与方法
WO2019000438A1 (zh) * 2017-06-30 2019-01-03 华为技术有限公司 显示图形用户界面的方法及电子设备
CN108762482A (zh) * 2018-04-16 2018-11-06 北京大学 一种大屏幕和增强现实眼镜间数据交互方法和系统
CN112673400A (zh) * 2018-07-04 2021-04-16 网络助手有限责任公司 化身动画
CN110515473A (zh) * 2019-07-19 2019-11-29 沈阳美行科技有限公司 一种基于触摸板的手势识别方法、装置及相关系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"手势交互在汽车领域的应用", HTTPS://MP.WEIXIN.QQ.COM/S/PWBMZQWTOD5UUSIMNQYG8G, 18 August 2018 (2018-08-18), pages 1 - 9 *
百度智能云: "手势识别", HTTPS://CLOUD.BAIDU.COM/DOC/AR/S/BK3H7LOGR, 27 May 2021 (2021-05-27), pages 1 - 3 *

Similar Documents

Publication Publication Date Title
AU2014208041B2 (en) Portable terminal and method for providing haptic effect to input unit
CN110413357B (zh) 用于同步两个或更多个显示器的设备、方法和图形用户界面
CN102902480B (zh) 用于触摸屏的控制区域
US5500937A (en) Method and apparatus for editing an inked object while simultaneously displaying its recognized object
US10817170B2 (en) Apparatus and method for operating touch control based steering wheel
CN102662555B (zh) 一种终端复选操作方法和终端
CN104011629A (zh) 用于能够进行基于触摸的输入的用户界面的经增强的目标选择
KR20110081040A (ko) 투명 디스플레이를 구비한 휴대단말에서 컨텐츠 운용 방법 및 장치
CN102576268A (zh) 利用多种输入检测技术的交互表面
CN102681760A (zh) 信息处理设备、信息处理方法和计算机程序
US11112889B2 (en) Electronic device and method for mapping function of electronic device to operation of stylus pen
JP5849778B2 (ja) 手書き入力装置およびプログラム
CN114374751A (zh) 包括柔性显示器的电子装置和操作电子装置的屏幕的方法
US10409478B2 (en) Method, apparatus, and recording medium for scrapping content
CN103984433A (zh) 用于控制触摸键操作的方法和设备
US20240045587A1 (en) Electronic device and method for processing handwriting input thereof
CN115023683A (zh) 触控笔、终端及其控制方法和计算机可读存储介质
CN110427139B (zh) 文本处理方法及装置、计算机存储介质、电子设备
CN108492349A (zh) 书写笔画的处理方法、装置、设备和存储介质
CN103631434A (zh) 具有使用多点触摸的手写功能的移动设备及其控制方法
JP2000267808A (ja) タッチパネル入力装置と表示装置とを連携させた入力方法
JP3075882B2 (ja) 文書作成編集装置
KR20150007577A (ko) 데이터 병합을 제어하는 휴대 단말 및 방법
CN112639696A (zh) 手写板、手写板装置及书写控制方法
CN115268757A (zh) 一种基于触摸屏的画面系统上的手势交互识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination