CN105159537A - 基于多屏的实时独立交互系统 - Google Patents

基于多屏的实时独立交互系统 Download PDF

Info

Publication number
CN105159537A
CN105159537A CN201510569008.4A CN201510569008A CN105159537A CN 105159537 A CN105159537 A CN 105159537A CN 201510569008 A CN201510569008 A CN 201510569008A CN 105159537 A CN105159537 A CN 105159537A
Authority
CN
China
Prior art keywords
operating system
window
main
mouse
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510569008.4A
Other languages
English (en)
Inventor
唐明
张自力
邹显春
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest University
Original Assignee
Southwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest University filed Critical Southwest University
Priority to CN201510569008.4A priority Critical patent/CN105159537A/zh
Publication of CN105159537A publication Critical patent/CN105159537A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本发明申请公开了一种基于多屏的实时独立交互系统,以实现通过多个交互输入装置实时控制一个操作系统中的多个窗口。包括用于运行操作系统的主机,操作系统中包括主窗口和副窗口,主机上联接有主输入装置和主显示终端,主显示终端用于显示主窗口的信息,主机内设有相联接的:输入装置信息模拟模块,用于将输入装置送来的输入指令模拟为操作系统中的输入装置信息,并应用于操作系统中的副窗口;扩展显示模块,用于输出操作系统中的副窗口的视频信号;输入装置信息模拟模块联接有副输入装置。可以通过多个交互输入装置实时控制一个操作系统中的多个窗口,在同一个操作系统中实现了多屏的实时独立操作。

Description

基于多屏的实时独立交互系统
技术领域
本发明涉及一种基于多屏的实时独立交互技术。
背景技术
随着多终端设备的普及,人们在使用业务时,常常不再满足于使用单一终端处理业务,而是要求利用多个终端进行多屏交互操作,从而方便用户操作,提升用户体验。
尤其是在一些人流量巨大的服务窗口中,业务的执行是由服务人员和用户共同操作进行的,服务人员往往需要位于服务窗口内,而用户处于服务窗口外,有时候服务人员和用户需要在业务的处理过程中观看不同的画面和独立进行操作,在现有技术中服务人员和用户不能实时的独立的对同一操作系统不同进程进行独立交互控制,举例来说,意即服务人员和用户不能使用主机外接的两个鼠标对主机运行的操作系统进行实时的独立的控制,只能是在一时间由一个鼠标对系统进行控制,在同一操作系统的界面中可能存在多个不同的窗口,但是多个的活动窗口不能同时被鼠标所操作。影响了在单一操作系统中服务的开展效率。
整个说明书对背景技术的任何讨论,并不代表该背景技术一定是所属领域技术人员所知晓的现有技术;整个说明书中的对现有技术的任何讨论并不代表认为该现有技术一定是广泛公知的或一定构成本领域的公知常识。
发明内容
本发明意在提供一种基于多屏的实时独立交互系统,以实现通过多个交互输入装置实时控制一个操作系统中的多个窗口。
本方案中的基于多屏的实时独立交互系统,包括用于运行操作系统的主机,操作系统中包括主窗口和副窗口,主机上联接有主输入装置和主显示终端,主显示终端用于显示主窗口的信息,主机内设有相联接的:
输入装置信息模拟模块,用于将输入装置送来的输入指令模拟为操作系统中的输入装置信息,并应用于操作系统中的副窗口;
扩展显示模块,用于输出操作系统中的副窗口的视频信号;
输入装置信息模拟模块联接有副输入装置;
扩展显示模块联接有副显示终端,其用于显示扩展显示模块输出的视频信号。
交互输入装置可以是键盘、鼠标等各种操作输入装置,操作系统可为图形界面操作系统,通常的操作系统只把键盘消息发送到当前具有输入焦点的窗口。鼠标消息则不同:当鼠标经过窗口或在窗口内被单击,则即使窗口是非活动窗口或不带输入焦点,窗口过程还是会收到鼠标消息。但是部分种类的鼠标消息与客户区无关,称为“非客户区消息”,现有技术中无法通过多个鼠标来控制同一操作系统中的不同窗口。
主机中可设置显示模块来将主窗口显示在主显示终端上。同时,本方案通过设置输入装置信息模拟模块,来将副输入装置的指令模拟输入装置信息,并用之来对操作系统中的副窗口进行控制。然后,扩展显示模块将副窗口呈现在副显示终端上。在整个过程中,主、副输入装置和主、副显示终端的输入和显示互不干涉,可以通过多个交互输入装置实时控制一个操作系统中的多个窗口,在同一个操作系统中实现了多屏的实时独立操作。
进一步,输入装置是鼠标。鼠标是非常典型的装置,运用相当成熟,方案更易实现。
进一步,处理器可以通过检测鼠标的特定输入轨迹,来实现该鼠标对应显示终端的切换。特定输入轨迹应当是一个预设的参数,例如设置特定输入轨迹为鼠标在按下右键的同时以U形轨迹移动,常态下主鼠标控制主显示终端中的主窗口,当处理器检测到鼠标的U形特定输入轨迹后,即将主鼠标的控制对象变更为副窗口,并在主显示终端中显示副窗口,同时断开副鼠标对副窗口的控制。本方案便于在实际应用中工作人员对用户的操作进行指导和修改。
附图说明
图1为本发明实施例的模块示意图。
具体实施方式
下面通过具体实施方式对本发明作进一步详细的说明:
实施例基本如附图1所示:包括一台计算机主机,其分别联接成对的主鼠标和主显示器,主鼠标和主显示器设置于服务窗口外,供办理业务的用户操作使用。主机还联接成对的副鼠标和副显示器,副鼠标和副显示器设置于服务窗口内,供服务窗口的工作人员操作使用。
主鼠标联接至主机内的处理器,处理器通过联接的显卡向主显示器输入显示信号。
同时处理器还通过鼠标信息模拟器联接有副鼠标,鼠标信息模拟器可以是固化有相应程序的芯片,其可以将副鼠标的输入指令模拟为操作系统中的鼠标信息机制,并将所述的鼠标信息作用在操作系统中的副窗口上,从而实现了副鼠标对副窗口的控制,在整个过程中不干涉主鼠标对操作系统主窗口的控制。
最后,与处理器联接的扩展显卡(也可与显卡进行联接)将操作系统中副窗口的信息扩展显示在副显示器上,将副鼠标对副窗口的操作进行动态的显示。
在本方案中,办理业务的用户和服务窗口的工作人员可以分别在不同的鼠标和显示器上进行不同的操作,而实际上他们的操作界面均为同一操作系统中的不同窗口,操作系统可以根据两人的操作完成相关业务的处理。
处理器还联接有电子签字终端,电子签字终端的硬件包括签字台,签字台的内部安装有计算机主机,主机内置有存储器、授时模块、GPS模块、3G模块,主机接入了互联网以进行信息的网络交互,授时模块接收国家授时中心发出的绝对时间(即国家标准时间),3G模块用于与外界进行无线数据通信。控制器中固化有打印信号的侦听和接收程序。
与主机通过线缆联接的有书写屏、书写笔、摄像头、虹膜识别仪。书写屏、书写笔、摄像头、虹膜识别仪均按典型的安装方式设在签字台上。虹膜识别仪属于选用设备,可以在需要时按照公知的典型方式采集签字人的虹膜信息。
书写屏为512级或者以上压感等级,书写笔上拇指通常所处的位置安装有指纹识别器,书写笔上还安装有汗液传感器,主机可以根据需要随时采集签字人的汗液成分。
在线签字的记录方法按照以下步骤进行,步骤之间的顺序可以根据需要作调整:
默认状态主机以5毫秒时间间隔的采样频率采集各种签字参数,即每个采样周期之间间隔5毫秒。采样频率的时间间隔可以根据实际的需要进行调整,比如改为1毫秒、10毫秒、100毫秒等,采样频率的时间间隔越短则记录越详细,但同时数据量的增大给计算机在运算和存储的方面带来的压力越大;
需要签字人通过本系统签字时,只需手握住书写笔,然后用拇指按压在指纹识别器上,主机检测到签字人的指纹后即进入工作状态(需提前告知签字人采集指纹的步骤),此时摄像头开始采集签字人的外貌和周边环境图像;
在每个采样周期时,主机将以下签字参数进行储存:要储存的场景数据包括六维向量X,Y,Z,T,A和F,其中X,Y为签字的坐标信息即轮廓,Z为签字压感,T为签字时的相对时间和绝对时间,A为附属信息,F为签字终端采样频率,在储存的同时进行加密处理;
根据笔画各步的绝对时间以及笔迹的位移,计算出每个笔画及笔画间所用的相对时间,同时亦计算出每个笔画书写过程中的速度及加速度变化状态,将上述计算结果加密储存。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上所述的仅是本发明的实施例,方案中公知的具体结构和/或特性等常识在此未作过多描述,所属领域普通技术人员知晓申请日或者优先权日之前发明所属技术领域所有的普通技术知识,能够获知该领域中所有的现有技术,并且具有应用该日期之前常规实验手段的能力,所属领域普通技术人员可以在本申请给出的启示下,结合自身能力完善并实施本方案,一些典型的公知结构或者公知方法不应当成为所属领域普通技术人员实施本申请的障碍。应当指出,对于本领域的技术人员来说,在不脱离本发明结构的前提下,还可以作出若干变形和改进,这些也应该视为本发明的保护范围,这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准,说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (3)

1.基于多屏的实时独立交互系统,其特征在于包括:
用于运行操作系统的主机,操作系统中包括主窗口和副窗口,主机上联接有主输入装置和主显示终端,主显示终端用于显示主窗口的信息,主机内设有相联接的:
输入装置信息模拟模块,用于将输入装置送来的输入指令模拟为操作系统中的输入装置信息,并应用于操作系统中的副窗口;
扩展显示模块,用于输出操作系统中的副窗口的视频信号;
输入装置信息模拟模块联接有副输入装置;
扩展显示模块联接有副显示终端,其用于显示扩展显示模块输出的视频信号。
2.根据权利要求1所述的基于多屏的实时独立交互系统,其特征在于:输入装置是鼠标。
3.根据权利要求2所述的基于多屏的实时独立交互系统,其特征在于:处理器通过检测鼠标的特定输入轨迹,来实现该鼠标对应显示终端的切换。
CN201510569008.4A 2015-09-09 2015-09-09 基于多屏的实时独立交互系统 Pending CN105159537A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510569008.4A CN105159537A (zh) 2015-09-09 2015-09-09 基于多屏的实时独立交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510569008.4A CN105159537A (zh) 2015-09-09 2015-09-09 基于多屏的实时独立交互系统

Publications (1)

Publication Number Publication Date
CN105159537A true CN105159537A (zh) 2015-12-16

Family

ID=54800413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510569008.4A Pending CN105159537A (zh) 2015-09-09 2015-09-09 基于多屏的实时独立交互系统

Country Status (1)

Country Link
CN (1) CN105159537A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843471A (zh) * 2016-03-21 2016-08-10 联想(北京)有限公司 信息处理方法及电子设备
CN107728980A (zh) * 2017-09-30 2018-02-23 广州广电银通金融电子科技有限公司 单板双屏智能终端控制方法与装置、智能错峰交接柜系统
CN110147256A (zh) * 2019-04-03 2019-08-20 珠海全志科技股份有限公司 一种多屏交互方法及装置
CN110515580A (zh) * 2019-09-02 2019-11-29 联想(北京)有限公司 一种显示控制方法、装置及终端
CN111352539A (zh) * 2018-12-24 2020-06-30 中移(杭州)信息技术有限公司 一种终端进行互动的方法及装置
CN112579024A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的显示方法、系统、设备和存储介质
CN112764563A (zh) * 2020-12-31 2021-05-07 北京科银京成技术有限公司 多屏控制方法、装置、系统、电子设备、及存储介质
WO2022095696A1 (en) * 2020-11-03 2022-05-12 International Business Machines Corporation Determining peripheral device position relative to a primary display

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893991A (zh) * 2010-07-08 2010-11-24 上海唯道网络信息技术有限公司 多屏交互自助系统及方法
CN102761495A (zh) * 2011-04-29 2012-10-31 周佳 一种基于手写原笔迹的即时通信方法、通信终端和系统
CN102802048A (zh) * 2012-08-24 2012-11-28 乐视网信息技术(北京)股份有限公司 一种多屏互动系统和方法
CN103218624A (zh) * 2013-04-25 2013-07-24 华东理工大学 基于生物特征的识别方法及装置
US20140184470A1 (en) * 2011-01-05 2014-07-03 Thomson Licensing Multi-screen interactions
CN104540027A (zh) * 2014-12-19 2015-04-22 北京正文科技有限公司 一种多屏幕环境下的多媒体展示交互控制系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101893991A (zh) * 2010-07-08 2010-11-24 上海唯道网络信息技术有限公司 多屏交互自助系统及方法
US20140184470A1 (en) * 2011-01-05 2014-07-03 Thomson Licensing Multi-screen interactions
CN102761495A (zh) * 2011-04-29 2012-10-31 周佳 一种基于手写原笔迹的即时通信方法、通信终端和系统
CN102802048A (zh) * 2012-08-24 2012-11-28 乐视网信息技术(北京)股份有限公司 一种多屏互动系统和方法
CN103218624A (zh) * 2013-04-25 2013-07-24 华东理工大学 基于生物特征的识别方法及装置
CN104540027A (zh) * 2014-12-19 2015-04-22 北京正文科技有限公司 一种多屏幕环境下的多媒体展示交互控制系统

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105843471B (zh) * 2016-03-21 2019-03-29 联想(北京)有限公司 信息处理方法及电子设备
CN105843471A (zh) * 2016-03-21 2016-08-10 联想(北京)有限公司 信息处理方法及电子设备
CN107728980A (zh) * 2017-09-30 2018-02-23 广州广电银通金融电子科技有限公司 单板双屏智能终端控制方法与装置、智能错峰交接柜系统
CN111352539A (zh) * 2018-12-24 2020-06-30 中移(杭州)信息技术有限公司 一种终端进行互动的方法及装置
CN110147256B (zh) * 2019-04-03 2022-04-29 珠海全志科技股份有限公司 一种多屏交互方法及装置
CN110147256A (zh) * 2019-04-03 2019-08-20 珠海全志科技股份有限公司 一种多屏交互方法及装置
CN110515580A (zh) * 2019-09-02 2019-11-29 联想(北京)有限公司 一种显示控制方法、装置及终端
CN110515580B (zh) * 2019-09-02 2022-08-19 联想(北京)有限公司 一种显示控制方法、装置及终端
CN112579024A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的显示方法、系统、设备和存储介质
CN112579024B (zh) * 2019-09-30 2024-04-02 广州视源电子科技股份有限公司 一种课件的显示方法、系统、设备和存储介质
WO2022095696A1 (en) * 2020-11-03 2022-05-12 International Business Machines Corporation Determining peripheral device position relative to a primary display
US11564196B2 (en) 2020-11-03 2023-01-24 International Business Machines Corporation Determining peripheral device position relative to a primary display
CN116438511A (zh) * 2020-11-03 2023-07-14 国际商业机器公司 确定相对于主显示器的外围设备位置
GB2615017A (en) * 2020-11-03 2023-07-26 Ibm Determining peripheral device position relative to a primary display
CN112764563A (zh) * 2020-12-31 2021-05-07 北京科银京成技术有限公司 多屏控制方法、装置、系统、电子设备、及存储介质

Similar Documents

Publication Publication Date Title
CN105159537A (zh) 基于多屏的实时独立交互系统
US12118683B2 (en) Content creation in augmented reality environment
US9195345B2 (en) Position aware gestures with visual feedback as input method
CN108459836A (zh) 批注显示方法、装置、设备及存储介质
CN107666987A (zh) 机器人过程自动化
CN110568929B (zh) 一种基于虚拟键盘的虚拟场景交互方法、装置和电子设备
US20150241984A1 (en) Methods and Devices for Natural Human Interfaces and for Man Machine and Machine to Machine Activities
CN111432265A (zh) 一种处理视频画面的方法、相关装置及存储介质
US12044837B2 (en) Virtual slide stage (VSS) method for viewing whole slide images
CN102208102A (zh) 图像处理装置以及图像处理方法
CN111045511A (zh) 基于手势的操控方法及终端设备
CN112312217A (zh) 一种图像编辑方法、装置、计算机设备和存储介质
CN111402367A (zh) 一种图像处理方法和电子设备
US10861169B2 (en) Method, storage medium and electronic device for generating environment model
CN113852757B (zh) 视频处理方法、装置、设备和存储介质
US20130024775A1 (en) Information processing apparatus, information processing method, and program
CN115480639A (zh) 人机交互系统、人机交互方法、可穿戴设备及头显设备
CN104123070A (zh) 一种信息处理方法及电子设备
CN104158696B (zh) 一种测量操作延时的确定方法、装置及终端
WO2023232014A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN115291778B (zh) 显示控制方法、装置、电子设备及可读存储介质
CN106648432A (zh) 用于大屏显示设备的控制方法和控制装置
CN112612358A (zh) 基于视觉识别和语音识别的人与大屏多模态自然交互方法
CN103853470A (zh) 数据处理和显示方法、装置及系统
CN115167742A (zh) 弹幕显示方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151216

RJ01 Rejection of invention patent application after publication