CN111176524A - 一种多屏显示系统及其鼠标切换控制方法 - Google Patents

一种多屏显示系统及其鼠标切换控制方法 Download PDF

Info

Publication number
CN111176524A
CN111176524A CN201911356809.7A CN201911356809A CN111176524A CN 111176524 A CN111176524 A CN 111176524A CN 201911356809 A CN201911356809 A CN 201911356809A CN 111176524 A CN111176524 A CN 111176524A
Authority
CN
China
Prior art keywords
screen
user
neural network
network model
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911356809.7A
Other languages
English (en)
Other versions
CN111176524B (zh
Inventor
邹李兵
张一凡
张富强
王学强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to CN201911356809.7A priority Critical patent/CN111176524B/zh
Publication of CN111176524A publication Critical patent/CN111176524A/zh
Priority to PCT/CN2020/125256 priority patent/WO2021129144A1/zh
Priority to US17/594,145 priority patent/US11740780B2/en
Application granted granted Critical
Publication of CN111176524B publication Critical patent/CN111176524B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/0227—Cooperation and interconnection of the input arrangement with other functional units of a computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • G06F3/0237—Character input methods using prediction or retrieval techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0382—Plural input, i.e. interface arrangements in which a plurality of input device of the same type are in communication with a PC
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请公开了一种多屏显示系统及鼠标切换控制方法，鼠标切换控制方法应用于包括主显示屏和至少一个扩展显示屏的多屏显示系统中，包括：获取各摄像头采集的用户图像；所述各摄像头分别安装在所述主显示屏与所述扩展显示屏上；将各所述用户图像输入到神经网络模型中，利用所述神经网络模型预测用户当前关注的屏幕，得到预测结果；根据所述预测结果，控制切换鼠标到用户当前关注的屏幕。本申请实施例的多屏显示系统及鼠标切换控制方法，基于视觉注意力自学习，通过分析当前用户的视觉注意力指向，预测当前用户操作屏幕，自动切换鼠标到相应的屏幕位置，提升了用户的体验。

Description

一种多屏显示系统及其鼠标切换控制方法
技术领域
本申请涉及设备控制技术领域，具体涉及一种多屏显示系统及其鼠标切换控制方法。
背景技术
多屏显示系统通过外接显示方式来扩展主屏幕的显示范围，多屏显示不仅能扩大视野，并有一定的隐私保护作用(比如在扩展屏上只投放公开的文档)，因而在工作生活中受到越来越多的人的喜爱。在实际使用过程中，多屏扩展显示也带来一定的不便，如在不同屏切换操作时，用户不知道当前鼠标在哪个显示屏，进而不知如何滑动鼠标到当前屏幕；此外，由于不同人的鼠标使用习惯不同，导致扩展屏与主屏的相对位置也对用户的操作体验造成一定影响。总之，现有的多屏显示系统中，鼠标切换控制体验不佳。
发明内容
鉴于上述问题，提出了本申请以便提供一种克服上述问题或者至少部分地解决上述问题的多屏显示系统及其鼠标切换控制方法。
根据本申请的一个方面，提供了一种鼠标切换控制方法，应用于包括主显示屏和至少一个扩展显示屏的多屏显示系统中，该鼠标切换控制方法包括：
获取各摄像头采集的用户图像；各摄像头分别安装在主显示屏与扩展显示屏上；
将各用户图像输入到神经网络模型中，利用神经网络模型预测用户当前关注的屏幕，得到预测结果；
根据预测结果，控制切换鼠标到用户当前关注的屏幕。
根据本申请的另一个方面，提供了一种多屏显示系统，包括主显示屏和至少一个扩展显示屏，还包括主机；
主显示屏和扩展显示屏上均安装有摄像头，摄像头用于采集用户图像；
主机，用于获取各摄像头采集的用户图像；将各用户图像输入到神经网络模型中，利用神经网络模型预测用户当前关注的屏幕，得到预测结果；根据预测结果，控制切换鼠标到用户当前关注的屏幕。
根据本申请的又一个方面，提供了一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序当被处理器执行时，实现如本申请一个方面的方法。
由上可知，本申请实施例的鼠标自动切换控制技术方案，基于视觉注意力机制，通过深度学习神经网络来分析用户当前的视觉注意力指向屏幕，进而自动切换鼠标到相应的屏幕位置，由此本实施例的鼠标切换方法能快速响应用户的操作，提升用户的体验。并且，对光照、噪声等环境要求低，鲁棒性好，此外，本实施例的使用场景广泛存在于工作、家庭、学习场所，具有较大的市场价值。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了根据本申请一个实施例鼠标切换控制方法的流程示意图；
图2示出了根据本申请另一个实施例鼠标切换控制方法的示意图；
图3示出了根据本申请一个实施例多屏显示系统的框图；
图4示出了根据本申请一个实施例计算机存储介质的示意图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施例。虽然附图中显示了本申请的示例性实施例，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
目前，多屏鼠标切换控制主要有传统的滑动方式和键盘快捷键方式，传统滑动方式需要首先确定当前鼠标所在屏及其在该屏中的位置，且还需知道主屏和扩展屏的位置组合方式，只有这样才能手眼配合完成鼠标滑动操作。键盘快捷键方式不需要考虑如何滑动，但需要注意主屏与扩展屏的位置组合关系及其切换顺序。综合来看，上述两种切换方式不够方便，使用体验不好。
相比较传统的多屏间鼠标方法，本申请实施例即是基于视觉注意力自学习机制的多屏鼠标切换方法，本实施例的方案能快速响应用户的操作，提升用户的体验。本申请的设计构思整体上是通过安装在主屏和扩展屏上的摄像头采集数据，再通过神经网络对视觉进行实时分析，计算用户对每个屏的凝视度，最后输出凝视度最大的屏幕为当前用户关注的屏幕。该方案鲁棒性好，识别精度高。
图1示出了根据本申请一个实施例鼠标切换控制方法的流程示意图，参见图1，本实施例的鼠标切换控制方法应用于包括主显示屏和至少一个扩展显示屏的多屏显示系统中，包括下列步骤：
步骤S101，获取各摄像头采集的用户图像；各摄像头分别安装在主显示屏与扩展显示屏上；
步骤S102，将各用户图像输入到神经网络模型中，利用神经网络模型预测用户当前关注的屏幕，得到预测结果；
步骤S103，根据预测结果，控制切换鼠标到用户当前关注的屏幕。
由图1所示可知，本实施例的鼠标切换控制方法，获取各摄像头采集的用户图像，将用户图像输入到神经网络模型中，得到用户当前关注的屏幕的预测结果，进而根据预测结果，控制切换鼠标到用户当前关注的屏幕。本实施例基于深度学习的神经网络模型预测用户当前关注的屏幕，对光照、距离、像素的因素影响小，因而鲁棒性好，识别精度更高。而且，通过预测用户当前关注的屏幕，自动将鼠标切换到用户关注的屏幕上，能快速响应用户操作，提高了用户体验。
一个实施例中，将各用户图像输入到神经网络模型中，利用神经网络模型预测用户当前关注的屏幕，得到预测结果包括：将用户图像中的脸部数据以及眼部数据输入到神经网络模型，得到与各用户图像分别对应的关注度得分；当与各用户图像分别对应的关注度得分大于第一阈值时，对大于第一阈值的关注度得分按照从大到小的顺序排序，将排在第一位的关注度得分所对应的屏幕作为用户当前关注的屏幕，并确定预测结果的值为用户当前关注的屏幕的标识；当所有关注度得分均不大于第一阈值时，确定预测结果的值为空。
也就是说，根据各显示屏上的摄像头采集用户的图像，利用神经网络模型获得与各图像对应的关注度得分，关注度得分高表明该屏幕是用户当前关注屏幕的概率较大。所以，本实施例中，在各用户图像分别对应的关注度得分大于第一阈值时，对大于第一阈值的关注度得分按照从大到小的顺序排序，将排在第一位的关注度得分所对应的屏幕作为用户当前关注的屏幕，并确定预测结果的值为用户当前关注的屏幕的标识，保证了识别精度。这里的屏幕标识比如是1，2等这样的数字标识。在获得用户当前关注的屏幕的标识之后，即可根据该标识控制鼠标调整切换。
实际使用中，考虑到摄像头采集的图像中可能并没有包含用户的脸部以及眼部图像，比如，用户的脸部或眼部被物体短暂遮挡时采集的图像，这种情况下，所有关注度得分可能均不大于第一阈值时，那么，此时，神经网络模型确定出的预测结果的值即为空。
鼠标切换控制的具体实现由操作系统完成，比如本实施例中，当神经网络模型的模型精度大于第二阈值时，将神经网络模型输出的用户当前关注的屏幕的标识输出到操作系统，以使得操作系统将鼠标切换到用户当前关注的屏幕。即，若神经网络模型的总体精度高于阈值，则将结果输出到操作系统，并由操作系统调整鼠标当前位置到评分最高的屏幕。如果神经网络模型的总体精度不高于阈值，那么表明此时的预测结果的误差较大，不适合用于切换鼠标，相应的，则不输出结果到操作系统，继续保持当前鼠标位置不变。
因此，基于用户图像的视觉注意力检测，通过神经网络获取视觉特征，鲁棒性较好，识别精度更好，但是神经网络模型的精度受限于样本数量和规模，样本越丰富，相应的精度也越高，所以这种方法需要大量的样本数据支持模型训练。为此，本实施例的鼠标切换方法在通过神经网络获取用户视觉特征的基础上，加入自动化样本在线学习，从而实现神经网络模型的自动提升和改进，不断提高预测精度。
图2示出了根据本申请另一个实施例鼠标切换控制方法的示意图，下面结合图2对本实施的鼠标切换控制方法的具体流程进行说明如下：
步骤S201，数据预处理。
本步骤中根据各摄像头的内外参数对摄像头采集的图像数据进行校正，这里的摄像头数量与显示屏的数量一致并且各摄像头分别安装在多屏显示屏系统中的主屏以及扩展屏上。同时，在本步骤中对检测获得的鼠标、键盘操作状态数据进行记录，以获得鼠标键盘操作状态及位置。注：一个实施例中，图像数据和鼠标键盘操作状态数据的采集时间同步。
步骤S202，脸部和眼部检测。
将校正后的图像输入到人脸和人眼检测器检测，若未检测人脸，则预测流程结束，否则转到步骤S203。脸部和眼部检测可采用现有技术实现，非本实施例的重点，这里不做过多说明。
步骤S203，神经网络模型预测。
将上一步骤中检测到的脸部及眼部数据输入到神经网络网络模型中，预测用户当前对各个屏幕的关注度，获得对应的得分。比如，将每个摄像头采集的脸部数据和眼部数据，输入到神经网络Yn＝sigmod(f(In,En,θ))，其中，θ为模型参数，n为屏幕标识序号，f()为神经网络非线性函数，从而获得预测结果分值Yn，即，神经网络模型预测出的用户当前对屏幕n的关注度的得分。
步骤S204，预测结果过滤。
本步骤中对神经网络模型得到的预测结果进行过滤，比如，对所有的预测结果分值Yn，执行Yn是否大于第一阈值THRr(THRr为预设阈值)的判断，将大于第一阈值THRr的Yn加入到集合φ中，若预测结果分值低于第一阈值THRr，则丢弃。
步骤S205，预测结果排序。
当集合φ中有值时，对集合φ中的数据进行排序，比如，对大于第一阈值的关注度得分按照从大到小的顺序排序，分值最高的屏幕确定为神经网络模型预测的注意力指向屏幕N。需要说明的是，N可为空，比如，当集合φ中没有值时，那么注意力指向屏幕的预测结果N(即，用户当前关注的屏幕的标识的预测结果)为空(NULL)。
步骤S206，预测结果输出。
在对高于第一阈值THRr的预测结果排序后输出得分高的预测结果之前，执行对是否满足输出条件的判断步骤，比如，只有当神经网络模型的精度高于第二阈值时，才将结果(即，用户当前关注的屏幕的标识)输出到操作系统，并由操作系统调整鼠标当前位置到评分最高的屏幕。需要说明的是，神经网络模型的精度的计算和获得为现有技术，有关模型精度的计算细节可参见现有技术的说明，这里不再赘述。如果神经网络模型精度不高于第二阈值，表示本次预测误差较大，所以不输出预测结果到操作系统。
步骤S207，预测效果评估。
如前述，本实施例的创新点之一是样本在线生成。通过样本在线生成以用于神经网络模型训练，不断更新和提高神经网络模型的预测精度。样本生成的前提是对预测结果进行效果评估，因此，本实施例中增加预测效果评估，即，对神经网络模型一次输出的预测结果的效果进行评估，当效果达到条件时，利用这一次预测过程中获取的数据生成样本，当效果未达到条件时，不利用本次预测过程中获取的数据生成样本。
具体的，本实施例根据当前用户的鼠标键盘状态，与预测结果评估当前预测效果。即，根据预测结果以及用户当前操作鼠标和/或键盘的数据，对预测结果进行评估，并根据评估结果对神经网络模型进行在线更新。这里的根据预测结果以及用户当前操作鼠标和/或键盘的数据，对预测结果进行评估包括：当操作注意力预测值与预测结果的值均不为空时(即，注意力指向屏幕的预测结果N非NULL且操作注意力预测值L非NULL时进行预测效果评估)，比较操作注意力预测值与预测结果的值是否相等(即，N是否等于L)；是则(即，神经网络模型的预测值与实际检测值一致)，将评估结果值确定为第一数值，比如评估结果Result＝1，否则，将评估结果值确定为第二数值，比如将评估结果Result＝-1；其中操作注意力预测值由用户当前操作鼠标和/或键盘的数据所指向的屏幕确定。当操作注意力预测值与预测结果的值至少一个为空时，结束评估步骤，比如，注意力指向屏幕的预测结果N为NULL或操作注意力预测值L为NULL，或者两者均为空值，则不执行评估，而转向下一次模型预测流程。
这里的，操作注意力预测值是指根据用户键盘操作数据和/或鼠标操作数据预测的用户注意力集中的屏幕。操作注意力预测值的确定分为下列四种情况，具体的，操作注意力预测值通过下列方式确定。第一种情况：当检测出用户的操作对象仅包括鼠标时，将用户当前操作鼠标的数据所指向的屏幕的标识确定为操作注意力预测值；第二种情况：当检测出用户的操作对象仅包括键盘时，将用户当前操作键盘的数据所指向的屏幕的标识确定为操作注意力预测值；第三种情况：当检测出用户的操作对象既包括鼠标又包括键盘时，将用户当前操作键盘的数据所指向的屏幕的标识确定为操作注意力预测值；第四种情况：当检测出用户当前既没有操作鼠标也没有操作键盘时，确定操作注意力预测值为空。
举例来说，本实施例中对用户操作鼠标键盘的数据进行检测，若用户操作鼠标位置发生变化且在采样周期T内均在同一屏幕m内变化，则操作注意力预测值L的值等于m。若用户的键盘操作在屏幕k内，则操作注意力预测值L的值等于k。若当前既存在鼠标操作又存在键盘操作，则以键盘操作注意力指向为最终的操作注意力指向屏幕L的值。也就是说，本实施例的预测结果的评估以用户人为操作指向屏幕为标准，这是因为用户操作鼠标和键盘指向的屏幕代表了用户的意思表示，所以此时，应当以用户主动发出的操作指示为准，即，神经网络模型的预测值应尽可能的接近操作注意力预测值。当没有用户操作鼠标键盘的状态数据时，操作注意力预测结果L为空(值等于NULL)。
在得到评估结果之后，一个实施例中，根据评估结果对神经网络模型进行在线更新，具体包括：根据评估结果的不同，将各摄像头采集的用户图像划分为不同的样本图像，从不同的样本图像提取脸部数据以及眼部数据分别构成正样本与负样本；将正样本与负样本添加到神经网络模型的样本库中，得到新样本库；利用新样本库，对神经网络模型进行在线更新。
步骤S208，生成样本加入样本库。
本步骤中根据评估生成正负样本，并将样本加入到样本库中。比如，当评估结果值为第一数值时，从第一样本图像中提取脸部数据以及眼部数据并标记为正样本，并从第二样本图像中提取脸部数据以及眼部数据标记为负样本；其中，第一样本图像来自于用户当前关注的屏幕上的摄像头，第二样本图像来自于用户当前关注的屏幕之外的屏幕上的摄像头。当评估结果值为第二数值时，从第三样本图像中提取脸部数据以及眼部数据并标记为正样本，并从第四样本图像中提取脸部数据以及眼部数据标记为负样本；其中，第三样本图像来自于操作注意力预测值指示的屏幕上的摄像头，第四样本图像来自于操作注意力预测值指示的屏幕之外的屏幕上的摄像头。
在得到正负样本之后，利用新样本库，对神经网络模型进行在线更新包括：当新样本库的正样本更新率大于第三阈值且负样本更新率大于第四阈值时，利用正样本与负样本，训练神经网络模型，并获得训练后神经网络模型的精度提升量；其中，正样本更新率基于新添加的正样本数以及样本库中已有正样本数确定，负样本更新率基于新添加的负样本数以及样本库中已有负样本数确定；当精度提升量大于第五阈值时，在线更新神经网络模型的参数，得到新的神经网络模型。
也就是说，在线样本生成及模型更新根据预测效果的评估值Result实现，接上例，若Result＝1，则将注意力指向屏幕的预测结果N所采集获得的脸部和眼部数据标记为正样本，并将来自其他屏幕上的摄像头采集到的脸部和眼部数据标记为负样本。若Result＝-1，则将来自操作注意力预测值L上的摄像头采集的数据为正样本，并将来自其他屏幕上的摄像头采集到的脸部和眼部数据标记为负样本，利用生成的样本更新样本库。
举例来说，多屏显示系统共包括四个屏幕，其中屏幕1为主屏，屏幕2，3，4为扩展屏，屏幕1上安装摄像头1，屏幕2上安装摄像头2，以此类推。
如果神经网络模型输出的注意力指向屏幕的预测结果N等于2号屏幕，用户操作鼠标和/或键盘数据指示的屏幕L等于4号屏幕，那么在评估过程中经过比较，N不等于L，则评估结果值Result＝-1，本实施例中将4号屏幕上摄像头4采集的图像作为正样本图像，将正样本图像中的脸部以及眼部数据作为正样本，将屏幕1，2，3上各自的摄像头1，2，3采集的图像作为负样本图像，将负样本图像中的脸部以及眼部数据作为负样本，而后，将正样本与负样本一并存储到样本库中。
此外，为提高效率并保证神经网络模型的精度，本实施例中在将新生成的样本存储到样本库之后，分别计算样本库中正负样本更新率，计算公式分别如下：
Figure BDA0002336159570000091
其中，Pnew为新增正样本数，Ptotal为正样本总数，Nnew为新增负样本数，Ntotal为负样本总数。
如果正样本更新率f+大于第三阈值TX且负样本更新率f-大于第四阈值TY，则开始模型训练。其中TX、TY均为相应的阈值，是超参数，可根据经验或实际需求设置。
步骤S209，神经网络模型训练。
本步骤中，按照一定的比例从前述样本库中随机抽出正负样本形成新的训练集，验证集及测试集。本实施例的神经网络模型的主干网络可基于Inception V3、Vgg19、ResNet等网络构建，损失函数比如是sigmod交叉熵损失函数。具体训练过程为现有技术，这里不再展开说明。
步骤S210，评估模型是否提升，是则执行步骤S211，否则执行步骤S212。
本步骤中在测试集上测试新得到模型的精度，如果模型精度有提升，比如精度提升率大于第五阈值ThrY(阈值ThrY可以采用超参数)，则用新模型更新用于线上预测的神经网络模型，反之放弃。这里的精度提升率是根据模型在线训练前后的精度确定的，比如，训练前模型精度(可理解为模型预测值与实际值的比值)为70％，训练后模型的精度变为80％，那么，模型的精度提升率即为10％。
步骤S211，更新神经网络模型。
更新步骤是对神经网络模型参数进行更新，以得到更新后的神经网络模型，具体更新神经网络模型的细节为现有技术，这里不再赘述。
步骤S212，放弃更新。
也就是说，如果模型精度未有提升，比如精度提升率小于第五阈值ThrY(阈值ThrY为超参数)，则放弃更新，保持神经网络模型参数不变。
由上可知，本实施例的鼠标切换控制方法，不仅通过神经网络获取视觉特征进行用户关注屏幕的预测，因而鲁棒性较好，识别精度更高，而且，提供了在线样本生成及模型更新过程，得到性能更优异的神经网络模型，避免了样本固定不变或样本数量不足导致的神经网络模型性能不佳的技术问题。
另外，本申请实施例还提供了一种多屏显示系统，图3示出了根据本申请一个实施例多屏显示系统的框图，参见图3，本实施例的多屏显示系统300，包括主显示屏301和至少一个扩展显示屏303，还包括主机302；注：图3仅示意了两个扩展显示屏，实际应用中，扩展显示屏数量不限于此。
主显示屏301和扩展显示屏303上均安装有摄像头，摄像头用于采集用户图像；
主机302，用于获取各摄像头采集的用户图像；将各用户图像输入到神经网络模型中，利用神经网络模型预测用户当前关注的屏幕，得到预测结果；根据预测结果，控制切换鼠标到用户当前关注的屏幕。
在本申请的一个实施例中，主机302，具体用于将用户图像中的脸部数据以及眼部数据输入到神经网络模型，得到与各用户图像分别对应的关注度得分；当与各用户图像分别对应的关注度得分大于第一阈值时，对大于第一阈值的关注度得分按照从大到小的顺序排序，将排在第一位的关注度得分所对应的屏幕作为用户当前关注的屏幕，并确定预测结果的值为用户当前关注的屏幕的标识；当所有关注度得分均不大于第一阈值时，确定预测结果的值为空。
在本申请的一个实施例中，主机302，具体用于当神经网络模型的模型精度大于第二阈值时，将神经网络模型输出的用户当前关注的屏幕的标识输出到操作系统，以使得操作系统将鼠标切换到用户当前关注的屏幕。
在本申请的一个实施例中，主机302，还用于根据预测结果以及用户当前操作鼠标和/或键盘的数据，对预测结果进行评估，并根据评估结果对神经网络模型进行在线更新。
在本申请的一个实施例中，主机302，用于根据评估结果的不同，将各摄像头采集的用户图像划分为不同的样本图像，从不同的样本图像提取脸部数据以及眼部数据分别构成正样本与负样本；将正样本与负样本添加到神经网络模型的样本库中，得到新样本库；利用新样本库，对神经网络模型进行在线更新。
在本申请的一个实施例中，主机302，具体用于当操作注意力预测值与预测结果的值均不为空时，比较操作注意力预测值与预测结果的值是否相等；是则，将评估结果值确定为第一数值，否则，将评估结果值确定为第二数值；其中操作注意力预测值由用户当前操作鼠标和/或键盘的数据所指向的屏幕确定；当操作注意力预测值与预测结果的值至少一个为空时，结束评估步骤。
在本申请的一个实施例中，操作注意力预测值通过下列方式确定：当检测出用户的操作对象仅包括鼠标时，将用户当前操作鼠标的数据所指向的屏幕的标识确定为操作注意力预测值；当检测出用户的操作对象仅包括键盘时，将用户当前操作键盘的数据所指向的屏幕的标识确定为操作注意力预测值；当检测出用户的操作对象既包括鼠标又包括键盘时，将用户当前操作键盘的数据所指向的屏幕的标识确定为操作注意力预测值；当检测出用户当前既没有操作鼠标也没有操作键盘时，确定操作注意力预测值为空。
在本申请的一个实施例中，主机302，具体用于当评估结果值为第一数值时，从第一样本图像中提取脸部数据以及眼部数据并标记为正样本，并从第二样本图像中提取脸部数据以及眼部数据标记为负样本；其中，第一样本图像来自于用户当前关注的屏幕上的摄像头，第二样本图像来自于用户当前关注的屏幕之外的屏幕上的摄像头；当评估结果值为第二数值时，从第三样本图像中提取脸部数据以及眼部数据并标记为正样本，并从第四样本图像中提取脸部数据以及眼部数据标记为负样本；其中，第三样本图像来自于操作注意力预测值指示的屏幕上的摄像头，第四样本图像来自于操作注意力预测值指示的屏幕之外的屏幕上的摄像头。
在本申请的一个实施例中，主机302，具体用于当新样本库的正样本更新率大于第三阈值且负样本更新率大于第四阈值时，利用正样本与负样本，训练神经网络模型，并获得训练后神经网络模型的精度提升量；其中，正样本更新率基于新添加的正样本数以及样本库中正样本总数确定，负样本更新率基于新添加的负样本数以及样本库中负样本总数确定；当精度提升量大于第五阈值时，在线更新神经网络模型的参数，得到新的神经网络模型。
需要说明的是，上述系统实施例中主机的具体功能实现方式可以参照前述鼠标切换控制方法实施例的具体实施方式进行，在此不再赘述。
本申请一个实施例提供了一种计算机存储介质，图4示出了根据本申请一个实施例计算机存储介质的示意图，参见图4，计算机可读存储介质400，计算机可读存储介质400存储一个或多个程序，即，存储有用于执行根据本发明的方法步骤的程序代码，一个或多个程序当被处理器执行时，实现如前述实施例中的鼠标切换控制方法。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图的一个流程或多个流程和/或方框图的一个方框或多个方框中指定的功能的装置。
需要说明的是术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本发明的说明书中，说明了大量具体细节。然而能够理解的是，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术。类似地，应当理解，为了精简本发明公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，正如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围以权利要求的保护范围为准。

Claims (10)

1.一种鼠标切换控制方法，应用于包括主显示屏和至少一个扩展显示屏的多屏显示系统中，其特征在于，该鼠标切换控制方法包括：
获取各摄像头采集的用户图像；所述各摄像头分别安装在所述主显示屏与所述扩展显示屏上；
将各所述用户图像输入到神经网络模型中，利用所述神经网络模型预测用户当前关注的屏幕，得到预测结果；
根据所述预测结果，控制切换鼠标到用户当前关注的屏幕。
2.如权利要求1所述的方法，其特征在于，所述将各所述用户图像输入到神经网络模型中，利用所述神经网络模型预测用户当前关注的屏幕，得到预测结果包括：
将所述用户图像中的脸部数据以及眼部数据输入到所述神经网络模型，得到与各所述用户图像分别对应的关注度得分；
当与各所述用户图像分别对应的关注度得分大于第一阈值时，对大于所述第一阈值的关注度得分按照从大到小的顺序排序，将排在第一位的关注度得分所对应的屏幕作为用户当前关注的屏幕，并确定所述预测结果的值为用户当前关注的屏幕的标识；
当所有所述关注度得分均不大于所述第一阈值时，确定所述预测结果的值为空。
3.如权利要求1或2所述的方法，其特征在于，所述根据所述预测结果，控制切换鼠标到用户当前关注的屏幕包括：
当所述神经网络模型的模型精度大于第二阈值时，将所述神经网络模型输出的用户当前关注的屏幕的标识输出到操作系统，以使得所述操作系统将鼠标切换到用户当前关注的屏幕。
4.如权利要求1所述的方法，其特征在于，该方法还包括：
根据所述预测结果以及用户当前操作鼠标和/或键盘的数据，对所述预测结果进行评估，并根据评估结果对所述神经网络模型进行在线更新。
5.如权利要求4所述的方法，其特征在于，所述根据评估结果对所述神经网络模型进行在线更新包括：
根据评估结果的不同，将各摄像头采集的用户图像划分为不同的样本图像，从不同的样本图像提取脸部数据以及眼部数据分别构成正样本与负样本；
将所述正样本与所述负样本添加到所述神经网络模型的样本库中，得到新样本库；
利用新样本库，对所述神经网络模型进行在线更新。
6.如权利要求5所述的方法，其特征在于，所述根据所述预测结果以及用户当前操作鼠标和/或键盘的数据，对所述预测结果进行评估包括：
当操作注意力预测值与所述预测结果的值均不为空时，比较所述操作注意力预测值与所述预测结果的值是否相等；
是则，将评估结果值确定为第一数值，否则，将评估结果值确定为第二数值；其中所述操作注意力预测值由用户当前操作鼠标和/或键盘的数据所指向的屏幕确定；
当所述操作注意力预测值与所述预测结果的值至少一个为空时，结束评估步骤。
7.如权利要求6所述的方法，其特征在于，所述操作注意力预测值通过下列方式确定：
当检测出用户的操作对象仅包括鼠标时，将用户当前操作鼠标的数据所指向的屏幕的标识确定为所述操作注意力预测值；
当检测出用户的操作对象仅包括键盘时，将用户当前操作键盘的数据所指向的屏幕的标识确定为所述操作注意力预测值；
当检测出用户的操作对象既包括鼠标又包括键盘时，将用户当前操作键盘的数据所指向的屏幕的标识确定为所述操作注意力预测值；
当检测出用户当前既没有操作鼠标也没有操作键盘时，确定所述操作注意力预测值为空。
8.如权利要求6所述的方法，其特征在于，所述根据评估结果的不同，将各摄像头采集的用户图像划分为不同的样本图像，从不同的样本图像提取脸部数据以及眼部数据分别构成正样本与负样本包括：
当所述评估结果值为第一数值时，从第一样本图像中提取脸部数据以及眼部数据并标记为正样本，并从第二样本图像中提取脸部数据以及眼部数据标记为负样本；其中，所述第一样本图像来自于用户当前关注的屏幕上的摄像头，所述第二样本图像来自于用户当前关注的屏幕之外的屏幕上的摄像头；
当所述评估结果值为第二数值时，从第三样本图像中提取脸部数据以及眼部数据并标记为正样本，并从第四样本图像中提取脸部数据以及眼部数据标记为负样本；其中，所述第三样本图像来自于操作注意力预测值指示的屏幕上的摄像头，所述第四样本图像来自于操作注意力预测值指示的屏幕之外的屏幕上的摄像头。
9.如权利要求5-8中任一项所述的方法，其特征在于，所述利用新样本库，对所述神经网络模型进行在线更新包括：
当所述新样本库的正样本更新率大于第三阈值且负样本更新率大于第四阈值时，利用所述正样本与所述负样本，训练所述神经网络模型，并获得训练后所述神经网络模型的精度提升量；其中，正样本更新率基于新添加的正样本数以及样本库中正样本总数确定，负样本更新率基于新添加的负样本数以及样本库中负样本总数确定；
当所述精度提升量大于第五阈值时，在线更新所述神经网络模型的参数，得到新的所述神经网络模型。
10.一种多屏显示系统，包括主显示屏和至少一个扩展显示屏，其特征在于，还包括主机；
所述主显示屏和所述扩展显示屏上均安装有摄像头，所述摄像头用于采集用户图像；
所述主机，用于获取各摄像头采集的用户图像；将各所述用户图像输入到神经网络模型中，利用所述神经网络模型预测用户当前关注的屏幕，得到预测结果；根据所述预测结果，控制切换鼠标到用户当前关注的屏幕。
CN201911356809.7A 2019-12-25 2019-12-25 一种多屏显示系统及其鼠标切换控制方法 Active CN111176524B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201911356809.7A CN111176524B (zh) 2019-12-25 2019-12-25 一种多屏显示系统及其鼠标切换控制方法
PCT/CN2020/125256 WO2021129144A1 (zh) 2019-12-25 2020-10-30 一种多屏显示系统及其鼠标切换控制方法
US17/594,145 US11740780B2 (en) 2019-12-25 2020-10-30 Multi-screen display system and mouse switching control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911356809.7A CN111176524B (zh) 2019-12-25 2019-12-25 一种多屏显示系统及其鼠标切换控制方法

Publications (2)

Publication Number Publication Date
CN111176524A true CN111176524A (zh) 2020-05-19
CN111176524B CN111176524B (zh) 2021-05-28

Family

ID=70650467

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911356809.7A Active CN111176524B (zh) 2019-12-25 2019-12-25 一种多屏显示系统及其鼠标切换控制方法

Country Status (3)

Country Link
US (1) US11740780B2 (zh)
CN (1) CN111176524B (zh)
WO (1) WO2021129144A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463097A (zh) * 2020-12-11 2021-03-09 杭州拼便宜网络科技有限公司 信息显示方法及其系统
CN112558850A (zh) * 2020-12-16 2021-03-26 深圳市巨烽显示科技有限公司 多显示器鼠标无缝移动方法、装置、计算机设备及介质
CN112817550A (zh) * 2021-02-07 2021-05-18 联想(北京)有限公司 一种数据处理方法及装置
CN112966872A (zh) * 2021-03-17 2021-06-15 京诚数字科技(江苏)有限公司 一种基于摄像头的关注度预测分析方法、装置及终端
WO2021129144A1 (zh) * 2019-12-25 2021-07-01 歌尔股份有限公司 一种多屏显示系统及其鼠标切换控制方法
CN113729967A (zh) * 2021-09-16 2021-12-03 上海微创医疗机器人（集团）股份有限公司 医生控制台的控制方法、医生控制台、机器人系统和介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230359330A1 (en) * 2022-05-03 2023-11-09 Mimecast Services Ltd. Systems and methods for analysis of visually-selected information resources
CN114740919B (zh) * 2022-06-13 2022-09-20 济宁海富光学科技有限公司 一种贴片式屏幕温度控制方法和系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011035454A (ja) * 2009-07-29 2011-02-17 Toshiba Corp 入力切替画面制御装置及び入力切替画面制御方法
CN103440038A (zh) * 2013-08-28 2013-12-11 中国人民大学 一种基于眼部识别的信息采集系统及其应用
CN104932707A (zh) * 2014-03-18 2015-09-23 联想(北京)有限公司 一种键盘切换方法及电子设备
CN104951084A (zh) * 2015-07-30 2015-09-30 京东方科技集团股份有限公司 视线追踪方法及装置
CN105446673A (zh) * 2014-07-28 2016-03-30 华为技术有限公司 屏幕显示的方法及终端设备
CN107193366A (zh) * 2017-04-01 2017-09-22 邓伟娜 一种键盘/鼠标自动切换方法和装置、一种计算机系统
CN107515669A (zh) * 2016-06-17 2017-12-26 北京小米移动软件有限公司 显示方法及装置
CN108919982A (zh) * 2018-06-14 2018-11-30 北京理工大学 一种基于人脸朝向识别的自动键鼠切换方法
CN110231960A (zh) * 2018-03-06 2019-09-13 中兴通讯股份有限公司 一种目标屏幕确定方法、装置及存储介质
CN110516677A (zh) * 2019-08-23 2019-11-29 上海云绅智能科技有限公司 一种神经网络识别模型、目标识别方法及系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060192775A1 (en) * 2005-02-25 2006-08-31 Microsoft Corporation Using detected visual cues to change computer system operating states
US20080024433A1 (en) * 2006-07-26 2008-01-31 International Business Machines Corporation Method and system for automatically switching keyboard/mouse between computers by user line of sight
US10976810B2 (en) * 2011-07-11 2021-04-13 Texas Instruments Incorporated Sharing input and output devices in networked systems
US9477993B2 (en) * 2012-10-14 2016-10-25 Ari M Frank Training a predictor of emotional response based on explicit voting on content and eye tracking to verify attention
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US20140152538A1 (en) * 2012-11-30 2014-06-05 Plantronics, Inc. View Detection Based Device Operation
US20150153827A1 (en) * 2013-12-04 2015-06-04 Qualcomm Incorporated Controlling connection of input device to electronic devices
US10832031B2 (en) * 2016-08-15 2020-11-10 Apple Inc. Command processing using multimodal signal analysis
US9866916B1 (en) 2016-08-17 2018-01-09 International Business Machines Corporation Audio content delivery from multi-display device ecosystem
EP3776347A1 (en) * 2019-06-17 2021-02-17 Google LLC Vehicle occupant engagement using three-dimensional eye gaze vectors
CN111176524B (zh) 2019-12-25 2021-05-28 歌尔股份有限公司 一种多屏显示系统及其鼠标切换控制方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011035454A (ja) * 2009-07-29 2011-02-17 Toshiba Corp 入力切替画面制御装置及び入力切替画面制御方法
CN103440038A (zh) * 2013-08-28 2013-12-11 中国人民大学 一种基于眼部识别的信息采集系统及其应用
CN104932707A (zh) * 2014-03-18 2015-09-23 联想(北京)有限公司 一种键盘切换方法及电子设备
CN105446673A (zh) * 2014-07-28 2016-03-30 华为技术有限公司 屏幕显示的方法及终端设备
CN104951084A (zh) * 2015-07-30 2015-09-30 京东方科技集团股份有限公司 视线追踪方法及装置
CN107515669A (zh) * 2016-06-17 2017-12-26 北京小米移动软件有限公司 显示方法及装置
CN107193366A (zh) * 2017-04-01 2017-09-22 邓伟娜 一种键盘/鼠标自动切换方法和装置、一种计算机系统
CN110231960A (zh) * 2018-03-06 2019-09-13 中兴通讯股份有限公司 一种目标屏幕确定方法、装置及存储介质
CN108919982A (zh) * 2018-06-14 2018-11-30 北京理工大学 一种基于人脸朝向识别的自动键鼠切换方法
CN110516677A (zh) * 2019-08-23 2019-11-29 上海云绅智能科技有限公司 一种神经网络识别模型、目标识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
程时伟等: ""移动设备交互环境下的注视点感知计算方法"", 《计算机辅助设计与图形学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021129144A1 (zh) * 2019-12-25 2021-07-01 歌尔股份有限公司 一种多屏显示系统及其鼠标切换控制方法
US11740780B2 (en) 2019-12-25 2023-08-29 Goertek Inc. Multi-screen display system and mouse switching control method thereof
CN112463097A (zh) * 2020-12-11 2021-03-09 杭州拼便宜网络科技有限公司 信息显示方法及其系统
CN112558850A (zh) * 2020-12-16 2021-03-26 深圳市巨烽显示科技有限公司 多显示器鼠标无缝移动方法、装置、计算机设备及介质
CN112558850B (zh) * 2020-12-16 2022-04-26 深圳市巨烽显示科技有限公司 多显示器鼠标无缝移动方法、装置、计算机设备及介质
CN112817550A (zh) * 2021-02-07 2021-05-18 联想(北京)有限公司 一种数据处理方法及装置
CN112817550B (zh) * 2021-02-07 2023-08-22 联想(北京)有限公司 一种数据处理方法及装置
CN112966872A (zh) * 2021-03-17 2021-06-15 京诚数字科技(江苏)有限公司 一种基于摄像头的关注度预测分析方法、装置及终端
CN113729967A (zh) * 2021-09-16 2021-12-03 上海微创医疗机器人（集团）股份有限公司 医生控制台的控制方法、医生控制台、机器人系统和介质
CN113729967B (zh) * 2021-09-16 2023-09-19 上海微创医疗机器人（集团）股份有限公司 医生控制台的控制方法、医生控制台、机器人系统和介质

Also Published As

Publication number Publication date
CN111176524B (zh) 2021-05-28
US20220171512A1 (en) 2022-06-02
WO2021129144A1 (zh) 2021-07-01
US11740780B2 (en) 2023-08-29

Similar Documents

Publication Publication Date Title
CN111176524B (zh) 一种多屏显示系统及其鼠标切换控制方法
US11714861B2 (en) Query selection method and system
JP6446971B2 (ja) データ処理装置、データ処理方法、及び、コンピュータ・プログラム
CN113065474B (zh) 行为识别方法、装置及计算机设备
CN111428589B (zh) 一种渐变转场的识别方法及系统
CN105224947B (zh) 分类器训练方法和系统
CN110971659A (zh) 推荐消息的推送方法、装置及存储介质
EP3343376B1 (en) Disk capacity prediction method, device and apparatus
CN104572958A (zh) 一种基于事件抽取的敏感信息监控方法
CN112235327A (zh) 异常日志检测方法、装置、设备和计算机可读存储介质
CN104598535A (zh) 一种基于最大熵的事件抽取方法
CN111160959B (zh) 一种用户点击转化预估方法及装置
JP5061382B2 (ja) 時系列データの識別装置および動画像への人物メタ情報付与装置
WO2021256171A1 (ja) モデル運用支援システム及び方法
KR20170097535A (ko) 비관심 아이템을 활용한 아이템 추천 방법 및 장치
CN112115131A (zh) 数据去噪方法、装置、设备及计算机可读存储介质
CN110210694A (zh) 空间管理方法、装置、存储介质和计算机设备
KR20220150614A (ko) 화재 감지 서버, 방법 및 컴퓨터 프로그램
JP6453502B1 (ja) 特許調査支援方法
CN111385659A (zh) 一种视频推荐方法、装置、设备及存储介质
CN109711450A (zh) 一种电网预想故障集预测方法、装置、电子设备及存储介质
JP2019215728A (ja) 情報処理装置、情報処理方法及びプログラム
CN111797258A (zh) 基于美感评价的图像推送方法、系统、设备及存储介质
CN108763242B (zh) 标签生成方法及装置
Valldor et al. Firearm detection in social media images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant