CN111176425A - 多屏幕操作方法与使用此方法的电子系统 - Google Patents

多屏幕操作方法与使用此方法的电子系统 Download PDF

Info

Publication number
CN111176425A
CN111176425A CN201811338032.7A CN201811338032A CN111176425A CN 111176425 A CN111176425 A CN 111176425A CN 201811338032 A CN201811338032 A CN 201811338032A CN 111176425 A CN111176425 A CN 111176425A
Authority
CN
China
Prior art keywords
screen
current
screens
image
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811338032.7A
Other languages
English (en)
Inventor
邱圣霖
杨朝光
李安正
洪英士
吴政泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acer Inc
Original Assignee
Acer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acer Inc filed Critical Acer Inc
Priority to CN201811338032.7A priority Critical patent/CN111176425A/zh
Publication of CN111176425A publication Critical patent/CN111176425A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提出适用于包括多个屏幕的电子系统的多屏幕操作方法与使用此方法的电子系统。所述多屏幕操作方法包括利用摄影机拍摄包括使用者的当前图像，根据当前图像计算使用者的当前视线方向，以根据使用者的当前视线方向来决定目标屏幕。在决定了目标屏幕后，所述多屏幕操作方法还包括将物件移动至目标屏幕的显示区域。

Description

多屏幕操作方法与使用此方法的电子系统
技术领域
本发明涉及一种多屏幕操作方法与使用此方法的电子系统。
背景技术
在使用电脑时，多个屏幕可以增加工作空间达到多工作业的环境，当使用者切换焦点于不同的屏幕时，必须手动地在多个屏幕之间移动鼠标光标或是程序视窗。然而，现今的屏幕尺寸以及解析度都日渐提升，导致使用者多个屏幕间进行操作时会遇到许多麻烦。举例来说，在屏幕尺寸提升的情况下，在多个屏幕中找到相对小的鼠标光标相当困难，且当在多个屏幕之间拖曳视窗时鼠标需要移动相当长的距离。
发明内容
有鉴于此，本发明的实施例提供一种多屏幕操作方法与使用此方法的电子系统，使用者只需要看向目标屏幕就能够将物件移动到目标屏幕的显示区域中，具有良好的使用者体验。
本发明一实施例提出的多屏幕操作方法适用于包括多个屏幕以及摄影机的电子系统。所述多屏幕操作方法包括以下步骤：取得多个屏幕的校准数据，其中校准数据包括各个屏幕被观看的视线范围；根据摄影机所拍摄的当前图像，计算当前视线方向；根据校准数据以及当前视线方向，选择多个屏幕中的目标屏幕，其中目标屏幕被观看的视线范围包括当前视线方向；以及移动物件至目标屏幕的显示区域。
本发明一实施例提出的电子系统包括多个屏幕、存储装置、摄影机以及处理器。存储装置用以记录多个屏幕的校准数据，其中校准数据包括各个屏幕被观看的视线范围。摄影机用以拍摄当前图像。处理器耦接于多个屏幕、存储装置以及摄影机，并且用以执行以下步骤：根据当前图像，计算当前视线方向；根据校准数据以及当前视线方向，选择多个屏幕中的目标屏幕，其中目标屏幕被观看的视线范围包括当前视线方向；以及移动物件至目标屏幕的显示区域。
本发明另一实施例提出的多屏幕操作方法适用于包括多个屏幕以及多个摄影机的电子系统，其中每个屏幕对应于其中一个摄影机。所述多屏幕操作方法包括以下步骤：利用多个摄影机分别拍摄多张当前图像；根据多张当前图像计算当前视线方向与多个摄影机的镜头方向之间的多个夹角；根据所述多个夹角选择多个屏幕中的目标屏幕，其中目标屏幕对应的摄影机的镜头方向与当前视线方向之间的夹角为所述多个夹角中的最小夹角；以及移动物件至目标屏幕的显示区域。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1示出本发明一实施例的电子系统的示意图；
图2示出本发明一实施例的多屏幕操作方法的流程图；
图3示出本发明一实施例的取得多个屏幕的校准数据的流程图；
图4示出本发明一实施例的提示信息的示意图；
图5A至图5C示出本发明一实施例的视线范围的示意图；
图6示出本发明一实施例的头部摆动角度的示意图；
图7A与图7B示出本发明一实施例的多使用者判断机制的示意图；
图8示出本发明一实施例的移动物件至目标屏幕的显示区域的示意图；
图9示出本发明一实施例的电子系统的示意图；
图10示出本发明一实施例的多屏幕操作方法的流程图；
图11示出本发明一实施例的多屏幕操作方法的示意图。
具体实施方式
图1示出本发明一实施例的电子系统的示意图。
请参照图1，本发明一实施例的电子系统100包括多个屏幕110-1、110-2、110-3、摄影机120-1、处理器130以及存储装置140，其中多个屏幕110-1、110-2、110-3、摄影机120-1以及存储装置140皆耦接于处理器130。在本实施例中，摄影机120-1会拍摄使用者USR的图像，而处理器130会根据摄影机120-1所拍摄的使用者USR的图像来计算出使用者USR的视线方向，进而判断使用者USR要操作的目标屏幕，最后将使用者USR操作的物件(例如，光标、文件、数据夹或视窗等等)移动至目标屏幕。值得一提的是，在本实施例中是以三个屏幕作为110-1、110-2、110-3例子来进行说明，但本发明并不在此限制屏幕的具体数量。在其他实施例中，电子系统100也可以包括两个、四个或是更多个屏幕。
图2示出本发明一实施例的多屏幕操作方法的流程图。
请参照图2，首先，电子系统100的处理器130会取得多个屏幕110-1、110-2、110-3的校准数据(步骤S120)。具体来说，校准数据是用以记录使用者USR在观看各个屏幕110-1、110-2、110-3时的视线范围。取得多个屏幕110-1、110-2、110-3的校准数据的详细方式以实施例说明如下。
图3示出本发明一实施例的取得多个屏幕的校准数据的流程图。请参照图3，在取得校准数据时，处理器130首先会发出观看其中一个屏幕的多个角落的提示信息，并且对应提示信息利用摄影机120-1拍摄多张校准图像(步骤S121)。在本实施例中，提示信息会提示使用者USR观看各个矩形屏幕110-1、110-2、110-3的四个顶点的角落，然后摄影机120-1会将使用者USR观看各个屏幕的每一个角落的图像拍摄下来，作为校准图像。
图4示出本发明一实施例的提示信息的示意图。请参照图4，以屏幕110-1为例，处理器130例如会在屏幕110-1的显示区域的一个角落C1显示出提示标记，然后利用摄影机120-1来对应的拍摄使用者USR观看屏幕110-1的角落C1时的图像作为一张校准图像；在屏幕110-1的显示区域的一个角落C2显示出提示标记，然后利用摄影机120-1来对应的拍摄使用者USR观看屏幕110-1的角落C2时的图像作为一张校准图像；在屏幕110-1的显示区域的一个角落C3显示出提示标记，然后利用摄影机120-1来对应的拍摄使用者USR观看屏幕110-1的角落C3时的图像作为一张校准图像；在屏幕110-1的显示区域的一个角落C4显示出提示标记，然后利用摄影机120-1来对应的拍摄使用者USR观看屏幕110-1的角落C4时的图像作为一张校准图像。然而，提示标记可以是以任意的方式来呈现，本发明并不在此限制。
请回到图3，处理器130会根据多张校准图像计算对应多个角落的多个视线方向(步骤S123)。具体来说，对应其中一个屏幕的每一张校准图像都是使用者USR在观看此屏幕的其中一个角落的图像，而处理器130会对多张校准图像进行图像分析，以计算出使用者USR在观看此屏幕的每一个角落时的视线方向。
随后，处理器130可以根据所计算出来的多个视线方向来计算此屏幕被观看的视线范围(步骤S125)。具体来说，多边形表面的所有顶点可以定义出此表面的面积区域，而一个屏幕被观看的视线范围可以由观看屏幕的每一个角落的视线方向来定义。
图5A至图5C示出本发明一实施例的视线范围的示意图。请先参照图5A，对应于屏幕110-1，处理器130例如是对角落C1的校准图像进行图像分析，以计算出角落C1被观看的视线方向D1；对角落C2的校准图像进行图像分析，以计算出角落C2被观看的视线方向D2；对角落C3的校准图像进行图像分析，以计算出角落C3被观看的视线方向D3；对角落C4的校准图像进行图像分析，以计算出角落C4被观看的视线方向D4。如此一来，处理器130便能够根据视线方向D1、D2、D3、D4计算出屏幕110-1被观看的视线范围R1为视线方向D1、D2、D3、D4所围绕而形成的四角锥形区域。换句话说，只要使用者USR的视线方向落在D1、D2、D3、D4所围绕而形成的四角锥形区域内，则使用者USR的视线方向落入视线范围R1当中，表示使用者USR正在观看屏幕110-1。
请参照图5B与图5C，利用类似于计算屏幕110-1被观看的视线范围R1的方法，屏幕110-2被观看的视线范围R2以及屏幕110-3被观看的视线范围R3都能够计算出来。在一些实施例中，多个屏幕110-1、110-2、110-3的多个视线范围R1、R2、R3不会互相重叠。然而，在一些实施例中，由于多个屏幕110-1、110-2、110-3的大小或设置位置的影响，多个视线范围R1、R2、R3也可能会有重叠的区域。当多个视线范围R1、R2、R3具有重叠区域时，处理器130可例如给定各个视线范围R1、R2、R3一个优先级，以表示各个视线范围R1、R2、R3的适用优先程度。
在本实施例中，处理器130在计算图像中的使用者USR的视线方向时是利用机器学习模型(例如，OpenFace)来计算使用者USR的头部摆动角度，并且以头部摆动角度来代表使用者USR的视线方向。举例来说，将图像输入经训练的机器学习模型后，机器学习模型会识别图像中的使用者USR的头部图像的多个特征点，并且将这些特征点拟合到立体头部模型上。
图6示出本发明一实施例的头部摆动角度的示意图。如图6所示，在将特征点拟合到立体头部模型后，处理器130便能够得知图像中的使用者USR的头部的偏摆角(yaw)、翻滚角(roll)以及俯仰角(pitch)等。在本实施例中，头部摆动角度仅以偏摆角和俯仰角来表示，以加快运算速度并节省记忆体空间。
值得一提的是，本发明并不在此限制处理器130分析图像以计算使用者USR的视线方向的具体方式。所属领域具备通常知识者当可根据处理器130的计算能力或其他需求来实作之。
在本实施例中，处理器130会将所计算的每个屏幕110-1、110-2、110-3被观看的视线范围R1、R2、R3记录于存储装置140中。
请回到图2，使用者USR实际使用电子系统100的过程中，摄影机120-1会拍摄使用者USR的图像。处理器130会根据摄影机120-1所拍摄的当前图像，计算当前视线方向(步骤S140)。具体来说，当前图像是摄影机120-1所拍摄的使用者USR当下的图像，其中包括使用者USR的头部图像。在本实施例中，如前段落所述，处理器130例如会将包括头部图像的当前图像输入机器学习模型，而机器学习模型会识别出头部图像的多个特征点，以计算出使用者USR的头部摆动角度。处理器130会将此头部摆动角度作为使用者USR的当前视线方向。
在一些实施例中，当前图像中会包括多于一个头部图像，而处理器130会基于多使用者判断机制来选择其中一个头部图像以作为后续判断的基础。举例来说，当多个使用者同时位于摄影机120-1前方时，摄影机120-1就可能会拍摄到包括多于一个头部图像的当前图像，而处理器130需要决定其中一个使用者为主要使用者，并且根据此主要使用者的头部摆动角度作为当前视线方向以进行后续判断。
图7A与图7B示出本发明一实施例的多使用者判断机制的示意图。
在一些实施例中，多使用者判断机制会选择头部图像距离当前图像的中垂线较近的使用者来作为主要使用者，以决定当前视线方向。请参照图7A，摄影机120-1所拍摄的当前图像中例如包括第一使用者USR1的头部图像与第二使用者USR2的头部图像。处理器130例如会先定义头部图像的判断点(例如，鼻子)，然后根据判断点取得第一使用者USR1的头部图像到当前图像的中垂线的距离X1，以及第二使用者USR2的头部图像到当前图像的中垂线的距离X2。由于距离X1小于距离X2，因此处理器130会选择第一使用者USR1为主要使用者，也就是以第一使用者USR1的视线方向或头部摆动角度作为当前视线方向。
在一些实施例中，机器学习模型的输出包括图像中每个使用者距离摄影机120-1的距离，而多使用者判断机制会选择头部图像距离摄影机120-1较近的使用者来作为主要使用者，以决定当前视线方向。请参照图7B，摄影机120-1所拍摄的当前图像中例如包括第一使用者USR1的头部图像与第二使用者USR2的头部图像。机器学习模型例如计算出第一使用者USR1的头部图像与摄影机120-1之间的距离Z1以及第二使用者USR2的头部图像与摄影机120-1之间的距离Z2。由于距离Z2小于距离Z1，因此处理器130会选择第二使用者USR2为主要使用者，也就是以第二使用者USR2的视线方向或头部摆动角度作为当前视线方向。
在本实施例中，处理器130会先选择头部图像距离当前图像的中垂线较近的使用者，当所有使用者的头部图像与当前图像的中垂线之间的距离皆相同时，才选择头部图像距离摄影机120-1较近的使用者来作为主要使用者，以决定当前视线方向。
在一些实施例中，处理器130更可以结合脸部识别技术来选择主要使用者。举例来说，使用者可以使用预先注册的方式将自己的脸部数据记录在数据库(例如，存储装置140)当中。当处理器130取得了包括多于一个头部图像的当前图像后，先利用脸部识别技术以及根据数据库中的脸部数据来筛选出合格的使用者。若合格的使用者只有一个，则将其作为主要使用者；而若合格的使用者多于一个，才继续使用前述段落所介绍的方式来基于多使用者判断机制来决定主要使用者。
请回到图2，在计算出当前视线方向后，处理器130会根据校准数据以及当前视线方向，选择多个屏幕110-1、110-2、110-3中的目标屏幕，其中目标屏幕被观看的视线范围包括当前视线方向(步骤S160)。具体来说，处理器130会判断当前视线方向是否落入多个屏幕110-1、110-2、110-3的视线范围R1、R2、R3的其中之一，并且决定视线范围包括当前视线方向的屏幕作为目标屏幕。请参考图5A、图5B与图5C，若当前视线方向落入视线范围R1，则处理器130会选择屏幕110-1作为目标屏幕；若当前视线方向落入视线范围R2，则处理器130会选择屏幕110-2作为目标屏幕；若当前视线方向落入视线范围R3，则处理器130会选择屏幕110-3作为目标屏幕。
随后，处理器130会移动物件至目标屏幕的显示区域(步骤S180)。具体来说，当使用者USR从操作中的屏幕转为看向目标屏幕时，处理器130会将物件移动至目标屏幕的显示区域中，所移动的物件可以是光标、文件、数据夹以及视窗的其中之一或其组合。在一些实施例中，当使用者USR从操作中的屏幕转头看向目标屏幕时，处理器130会将光标移至目标屏幕的显示区域的中心位置。
图8示出本发明一实施例的移动物件至目标屏幕的显示区域的示意图。请参照图8，在一些实施例中，使用者USR例如是在屏幕110-1的显示区域中对光标以及视窗进行操作。当使用者USR从屏幕110-1转头看向屏幕110-2时，处理器130会判断目标屏幕切换为屏幕110-2，并且例如是将光标以及视窗自动移到屏幕110-2的显示区域中。
在一些实施例中，使用者USR例如可自行设定要随着视线方向移动的物件。在一些实施例中，使用者USR例如可通过选单等方式来设定物件的移动方式。举例来说，使用者USR例如可通过选单来选择视窗的移动方式为“移动”，则当使用者USR从操作视窗的屏幕转为看向目标屏幕时，处理器130会将视窗移动至目标屏幕的显示区域后释放控制权，如此一来若使用者USR继续看向另一个屏幕，处理器130便不会对应地继续移动视窗。举另一例来说，使用者USR例如可通过选单来选择视窗的移动方式为“拖曳”，则当使用者USR从操作视窗的屏幕转为看向目标屏幕时，处理器130会将视窗移动至目标屏幕的显示区域并且维持控制权，如此一来若使用者USR继续看向另一个屏幕，处理器130会继续对应地移动视窗到另一个屏幕的显示区域中。
根据上述的多屏幕操作方法，使用者USR只需要看向目标屏幕就能够将光标、文件、数据夹或视窗等物件移动到目标屏幕的显示区域中，节省在多个屏幕110-1、110-2、110-3中寻找光标的时间，也能够避免手动移动物件时鼠标的实际移动距离过长。
图9示出本发明一实施例的电子系统的示意图。本实施例与图1实施例使用相同的标号来表示相同或类似的元件。
请参照图9，本发明另一实施例的电子系统100’包括多个屏幕110-1、110-2、110-3、多个摄影机120-1、120-2、120-3以及处理器130，其中多个屏幕110-1、110-2、110-3以及多个摄影机120-1、120-2、120-3皆耦接于处理器130。在本实施例中，多个屏幕110-1、110-2、110-3与多个摄影机120-1、120-2、120-3是对应设置。举例而言，如图9所示，摄影机120-1设置于屏幕110-1上缘的中心处；摄影机120-2设置于屏幕110-2上缘的中心处；摄影机120-3设置于屏幕110-3上缘的中心处。值得一提的是，在本实施例中是以三个屏幕作为110-1、110-2、110-3例子来进行说明，但本发明并不在此限制屏幕的具体数量。在其他实施例中，电子系统100’也可以包括两个、四个或是更多个屏幕。
图10示出本发明一实施例的多屏幕操作方法的流程图。
请参照图10，首先，电子系统100’的处理器130会利用多台摄影机120-1、120-2、120-3分别拍摄多张当前图像(步骤S220)。具体来说，摄影机120-1会从第一角度拍摄包括使用者USR的头部图像的第一当前图像；摄影机120-2会从第二角度拍摄包括使用者USR的头部图像的第二当前图像；而摄影机120-3会从第三角度拍摄包括使用者USR的头部图像的第三当前图像。
取得多张当前图像后，处理器130会根据多张当前图像计算当前视线方向与多个摄影机120-1、120-2、120-3的镜头方向之间的多个夹角(步骤S240)。具体来说，从当前图像的图像平面可以得知摄影机的镜头方向。此外，处理器130会对每一台摄影机120-1、120-2、120-3所拍摄的当前图像进行图像分析，以计算出当前视线方向。如此一来，便能够得到当前视线方向与每一台摄影机120-1、120-2、120-3的镜头方向之间的夹角。计算当前视线方向的方式已于前述实施例中详细说明，故在此不再赘述。
接着，处理器130会根据多个夹角选择多个屏幕110-1、110-2、110-3中的目标屏幕，其中目标屏幕对应的摄影机的镜头方向与当前视线方向之间的夹角为所述多个夹角中的最小夹角(步骤S260)。具体来说，摄影机的镜头方向与当前视线方向的夹角越小，表示使用者USR所观看的地方与摄影机越相近。在本实施例中，由于摄影机120-1、120-2、120-3分别是设置于屏幕110-1、110-2、110-3上缘的中心处，因此处理器130会选择镜头方向与当前视线方向之间的夹角为最小的摄影机所对应的屏幕作为目标屏幕。
最后，处理器130会移动物件至目标屏幕的显示区域(步骤S280)。步骤S280是类似于前述实施例中的步骤S180，相关的细节可参考以上步骤S180的说明，在此不再赘述。
在一些实施例中，当处理器130决定屏幕110-1、110-2、110-3的其中之一为目标屏幕后，若使用者USR改变视线方向，处理器130无须经由步骤S220至S280来重新决定目标屏幕，而可以直接根据当前的目标屏幕所对应的摄影机所取得的当前图像，搭配已知的多个屏幕110-1、110-2、110-3之间的位置关系，来决定新的目标屏幕，以下将搭配图11来举例说明之。
图11示出本发明一实施例的多屏幕操作方法的示意图。
请参照图11，处理器130在步骤S260中是决定屏幕110-1为目标屏幕。随后，处理器130会持续对屏幕110-1对应的摄影机120-1所取得的当前图像(第一当前图像)进行分析，以判断当前视线方向与摄影机120-1的镜头方向之间的夹角是否超过夹角阀值θ。在本实施例中，以摄影机120-1的镜头方向作为基准，处理器130可以判断使用者USR的头部摆动角度中的偏摆角大小是否大于夹角阀值θ，若是，表示目标屏幕需要被切换到其他屏幕，反之则表示目标屏幕未改变而维持在屏幕110-1。其中，夹角阀值θ是根据下列公式决定：
Figure BDA0001861727560000091
其中W为屏幕110-1的宽度，Z为当前图像中头部图像与摄影机120-1之间的距离。
此外，处理器130更根据使用者USR的头部摆动方向与多个屏幕110-1、110-2、110-3之间的位置关系，决定新的目标屏幕。使用者USR的头部摆动角度的值可以表示头部摆动方向。举例来说，若处理器130根据头部摆动角度判断使用者USR是向右摆头，且偏摆角大小大于夹角阀值θ，则处理器130会根据多个屏幕110-1、110-2、110-3之间的位置关系(如图9所示)来判断新的目标屏幕为屏幕110-3；若处理器130根据头部摆动角度判断使用者USR是向左摆头，且偏摆角大小大于夹角阀值θ，则处理器130会根据多个屏幕110-1、110-2、110-3之间的位置关系(如图9所示)来判断新的目标屏幕为屏幕110-2。
在其他实施例中，多个屏幕除了水平排列放置之外，也可以例如是以阵列式的上下放置。据此，处理器130除了考虑偏摆角是否大于夹角阀值θ，以决定是否要将目标屏幕切换至位于当前的目标屏幕左右的屏幕之外，还需要考虑俯仰角以决定是否要将目标屏幕切换至当前的目标屏幕上下的屏幕。
据此，处理器130在决定一次目标屏幕后，就能够根据目标屏幕对应的摄影机所取得的当前图像，来判断后续目标屏幕的切换方式，提升了运算速度也降低系统的负担。
综上所述，本发明实施例所提出的多屏幕操作方法与电子系统，利用摄影机来拍摄包括使用者的当前图像，对当前图像进行分析以计算使用者的当前视线方向，以根据当前视线方向来判断出使用者所观看的目标屏幕。这样的多屏幕操作方法与电子系统能够根据使用者的视线方向来协助使用者移动物件至目标屏幕的显示区域中，大幅提升操作便利性，具有良好的使用者体验。
虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域中技术人员，在不脱离本发明的精神和范围内，当可作些许的更改与润饰，故本发明的保护范围当视权利要求所界定的为准。

Claims (10)

1.一种多屏幕操作方法，适用于包括多个屏幕以及摄影机的电子系统，所述多屏幕操作方法包括：
取得所述多个屏幕的校准数据，其中所述校准数据包括各屏幕被观看的视线范围；
根据所述摄影机所拍摄的当前图像，计算当前视线方向；
根据所述校准数据以及所述当前视线方向，选择所述多个屏幕中的目标屏幕，其中所述目标屏幕被观看的所述视线范围包括所述当前视线方向；以及
移动物件至所述目标屏幕的显示区域。
2.根据权利要求1所述的多屏幕操作方法，其中取得所述多个屏幕的所述校准数据的步骤包括：
发出观看所述多个屏幕的其中之一的多个角落的提示信息，并且对应所述提示信息利用所述摄影机拍摄多张校准图像；
根据所述多个校准图像计算对应所述多个角落的多个视线方向；以及
根据所述多个视线方向计算所述多个屏幕的所述其中之一被观看的所述视线范围。
3.根据权利要求1所述的多屏幕操作方法，其中所述当前图像包括头部图像，其中根据所述摄影机所拍摄的所述当前图像，计算所述当前视线方向的步骤包括：
将所述当前图像输入机器学习模型，以识别所述头部图像的多个特征点并且计算头部摆动角度；以及
根据所述头部摆动角度判断所述当前视线方向。
4.根据权利要求1所述的多屏幕操作方法，其中各屏幕被观看的所述视线范围不互相重叠。
5.根据权利要求1所述的多屏幕操作方法，其中所述物件包括光标、文件、数据夹以及视窗的其中之一或其组合。
6.一种电子系统，包括：
多个屏幕；
存储装置，用以记录所述多个屏幕的校准数据，其中所述校准数据包括各屏幕被观看的视线范围；
摄影机，用以拍摄当前图像；以及
处理器，耦接于所述多个屏幕、所述存储装置以及所述摄影机，并且用以：
根据所述当前图像，计算当前视线方向；
根据所述校准数据以及所述当前视线方向，选择所述多个屏幕中的目标屏幕，其中所述目标屏幕被观看的所述视线范围包括所述当前视线方向；以及
移动物件至所述目标屏幕的显示区域。
7.根据权利要求6所述的电子系统，其中所述处理器还用以取得所述校准数据，其中所述处理器取得所述校准数据时，还用以：
发出观看所述多个屏幕的其中之一的多个角落的提示信息，并且对应所述提示信息通过所述摄影机取得多张校准图像；
根据所述多个校准图像计算对应所述多个角落的多个视线方向；以及
根据所述多个视线方向计算所述多个屏幕的所述其中之一被观看的所述视线范围。
8.根据权利要求6所述的电子系统，其中所述当前图像包括头部图像，其中所述处理器根据所述当前图像，计算所述当前视线方向时，还用以：
将所述当前图像输入机器学习模型，以识别所述头部图像的多个特征点并且计算头部摆动角度；以及
根据所述头部摆动角度判断所述当前视线方向。
9.根据权利要求6所述的电子系统，其中所述物件包括光标、文件、数据夹以及视窗的其中之一或其组合。
10.一种多屏幕操作方法，适用于包括多个屏幕以及多个摄影机的电子系统，其中所述多个屏幕对应于所述多个摄影机，所述多屏幕操作方法包括：
利用所述多个摄影机分别拍摄多张当前图像；
根据所述多个当前图像计算当前视线方向与所述多个摄影机的镜头方向之间的多个夹角；
根据所述多个夹角选择所述多个屏幕中的目标屏幕，其中所述目标屏幕对应的所述摄影机的所述镜头方向与所述当前视线方向之间的夹角为所述多个夹角中的最小夹角；以及
移动物件至所述目标屏幕的显示区域。
CN201811338032.7A 2018-11-12 2018-11-12 多屏幕操作方法与使用此方法的电子系统 Pending CN111176425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811338032.7A CN111176425A (zh) 2018-11-12 2018-11-12 多屏幕操作方法与使用此方法的电子系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811338032.7A CN111176425A (zh) 2018-11-12 2018-11-12 多屏幕操作方法与使用此方法的电子系统

Publications (1)

Publication Number Publication Date
CN111176425A true CN111176425A (zh) 2020-05-19

Family

ID=70648114

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811338032.7A Pending CN111176425A (zh) 2018-11-12 2018-11-12 多屏幕操作方法与使用此方法的电子系统

Country Status (1)

Country Link
CN (1) CN111176425A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463097A (zh) * 2020-12-11 2021-03-09 杭州拼便宜网络科技有限公司 信息显示方法及其系统
CN113655886A (zh) * 2021-08-18 2021-11-16 统信软件技术有限公司 一种输入方法、输入系统、计算设备及存储介质
CN113729967A (zh) * 2021-09-16 2021-12-03 上海微创医疗机器人（集团）股份有限公司 医生控制台的控制方法、医生控制台、机器人系统和介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
US20120326945A1 (en) * 2011-06-27 2012-12-27 International Business Machines Corporation System for switching displays based on the viewing direction of a user
CN103518172A (zh) * 2011-04-21 2014-01-15 索尼计算机娱乐公司 凝视辅助的计算机界面
CN106469038A (zh) * 2016-09-26 2017-03-01 南京酷派软件技术有限公司 基于多屏终端的显示屏切换方法及装置
US20170097677A1 (en) * 2015-10-05 2017-04-06 International Business Machines Corporation Gaze-aware control of multi-screen experience

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1700242A (zh) * 2005-06-15 2005-11-23 北京中星微电子有限公司 一种判别视线方向的方法和装置
CN103518172A (zh) * 2011-04-21 2014-01-15 索尼计算机娱乐公司 凝视辅助的计算机界面
US20120326945A1 (en) * 2011-06-27 2012-12-27 International Business Machines Corporation System for switching displays based on the viewing direction of a user
US20170097677A1 (en) * 2015-10-05 2017-04-06 International Business Machines Corporation Gaze-aware control of multi-screen experience
CN106469038A (zh) * 2016-09-26 2017-03-01 南京酷派软件技术有限公司 基于多屏终端的显示屏切换方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112463097A (zh) * 2020-12-11 2021-03-09 杭州拼便宜网络科技有限公司 信息显示方法及其系统
CN113655886A (zh) * 2021-08-18 2021-11-16 统信软件技术有限公司 一种输入方法、输入系统、计算设备及存储介质
CN113729967A (zh) * 2021-09-16 2021-12-03 上海微创医疗机器人（集团）股份有限公司 医生控制台的控制方法、医生控制台、机器人系统和介质
CN113729967B (zh) * 2021-09-16 2023-09-19 上海微创医疗机器人（集团）股份有限公司 医生控制台的控制方法、医生控制台、机器人系统和介质

Similar Documents

Publication Publication Date Title
US9865062B2 (en) Systems and methods for determining a region in an image
CN114245905A (zh) 深度感知照片编辑
JP6525611B2 (ja) 画像処理装置およびその制御方法
US8094204B2 (en) Image movement based device control method, program, and apparatus
CN111935393A (zh) 拍摄方法、装置、电子设备和存储介质
WO2021097600A1 (zh) 一种隔空交互方法、装置和设备
JP2021520577A (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
CN111176425A (zh) 多屏幕操作方法与使用此方法的电子系统
JP2012238293A (ja) 入力装置
TWI726252B (zh) 多螢幕操作方法與使用此方法的電子系統
EP3062506B1 (en) Image switching method and apparatus
CN115562490B (zh) 一种基于深度学习的飞机驾驶舱跨屏眼动交互方法及系统
US11609638B2 (en) Recognizing and tracking gestures
WO2011096571A1 (ja) 入力装置
EP3962062A1 (en) Photographing method and apparatus, electronic device, and storage medium
CN113286085B (zh) 显示控制方法、装置和电子设备
CN114529589B (zh) 全景视频浏览交互方法
CN114241127A (zh) 全景图像生成方法、装置、电子设备和介质
JP2019087136A (ja) 画面表示制御方法および画面表示制御システム
CN112954197A (zh) 拍摄方法、装置、电子设备及可读存储介质
JP2021005168A (ja) 画像処理装置、撮像装置、画像処理装置の制御方法、及びプログラム
CN104156138A (zh) 拍摄控制方法及拍摄控制装置
CN115348438B (zh) 三维显示设备控制方法及相关装置
US20220408069A1 (en) Information processing apparatus, information processing method, and storage medium
US20230269483A1 (en) Electronic device and electronic device control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200519