CN109765990B - 画面显示控制方法及画面显示控制系统 - Google Patents

画面显示控制方法及画面显示控制系统 Download PDF

Info

Publication number
CN109765990B
CN109765990B CN201811218016.4A CN201811218016A CN109765990B CN 109765990 B CN109765990 B CN 109765990B CN 201811218016 A CN201811218016 A CN 201811218016A CN 109765990 B CN109765990 B CN 109765990B
Authority
CN
China
Prior art keywords
operator
display
hand
image
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811218016.4A
Other languages
English (en)
Other versions
CN109765990A (zh
Inventor
村上义则
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN109765990A publication Critical patent/CN109765990A/zh
Application granted granted Critical
Publication of CN109765990B publication Critical patent/CN109765990B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供位于与显示器分离的场所的操作者能够在所述场所操作指示器的方法。本发明的画面显示控制方法是使用佩戴在操作者的头部对图像进行摄影的可穿戴式终端，对操作者指示所述显示器的手的部分连同具有矩形状的框及显示区域的所述显示器一起进行摄影；使用计算机，提取可穿戴式终端的摄影图像中的矩形框的顶点的位置及手的部分所指示的位置，基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的显示区域内的位置，如果有，则使指示器显示于所述位置。

Description

画面显示控制方法及画面显示控制系统
技术领域
本发明涉及一种画面显示控制方法及画面显示控制系统，更详细来说涉及一种操作者佩戴可穿戴式终端，不与显示器接触地远距离操作指示器(pointer)的技术。
背景技术
已知如下技术，即，使用安装于头部的传感器及相机图像，根据相机图像算出手指或标记等在相机内的坐标位置，基于所算出的坐标位置来识别形状或动作。
例如，非专利文献1中，以如下系统为目标，该系统使用安装于头部的传感器及相机图像追踪指尖的位置，通过将所获得的指尖的轨迹重叠显示于头戴式显示器(HMD，Helmet Mounted Display)而实现指尖轨迹的空中描绘。
其中，为了求出头部的姿势的变化经修正后的指尖的轨迹，使用相机图像来进行空间位置对准的处理。针对相机图像提取局部特征点(具体来说作为SURF(Speeded UpRobust Features，稳定特征加速算法)被知晓的特征点)，在相机图像的帧间进行局部特征点的相关联，根据从传感器信息中去除了已明确的错误对应的对应点算出投影变换矩阵。
而且，已知如下电子设备，其虽不是可穿戴式终端，但根据从装入的相机获得的输入图像检测使用者的手，生成将检测到的手缩小而成的图像并重叠显示于触摸面板的操作画面，执行与触摸面板内的手图像的位置处的触摸操作相应的命令(例如参照专利文献1)。
现有技术文献
[专利文献]
[专利文献1]日本特开2015-230496号公报
[非专利文献]
[非专利文献1]田中雄规等“来自相机图像与传感器的利用头部位置·姿势追踪的指尖轨迹的空中描绘系统”，信息处理学会研究报告，2015年3月31日，Vol.2015-HCI-62No.7
发明内容
本发明所要解决的技术问题
然而，非专利文献1的方法中，除相机以外还使用传感器，且，对多个局部特征量进行处理，因而计算量大而耗费处理时间。
而且，专利文献1中，在物件密集显示的情况下，使用比手指直接操作触摸面板小的尺寸的手图像进行操作，由此减轻误操作，就该点而言，目的及构成不同于在与显示器分离的场所操作指示器的本发明。
本发明考虑以上情况而完成，提供位于与显示器分离的场所的操作者能够在该场所操作指示器的方法。此外还提供如下的方法：操作者的视点与佩戴于操作者的头部的可穿戴式终端所摄影的视点之间的偏移，少于例如可穿戴式终端佩戴于操作者的胸部或手臂的情况或代替可穿戴式终端的相机设置于显示器或房间的墙壁等的情况，能够以少的计算量对操作者而言无不适感的方式，决定应与操作者指示的位置对应地显示于显示器的指示器的位置。
解决问题的手段
(1)本发明提供一种画面显示控制方法，使用佩戴在操作者的头部对图像进行摄影的可穿戴式终端，对所述操作者指示显示器的手的部分连同具有矩形状的框及显示区域的该显示器一起进行摄影；使用计算机，提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置；基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；如果有所述位置，则使指示器显示于该位置。
(2)而且，从不同的观点考虑，本发明提供一种画面显示控制程序，其使计算机执行下述处理：从佩戴于操作者的头部的可穿戴式终端，获取对所述操作者指示显示器的手的部分连同具有矩形状的框及显示区域的该显示器一起进行摄影所得的图像；提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置；基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；以及如果有所述位置，则使指示器显示于该位置。
(3)进而，从不同的观点考虑，本发明提供一种画面显示控制系统，包括：显示器，具有矩形状的框及显示区域；可穿戴式终端，佩戴于操作者的头部，且对所述操作者指示所述显示器的手的部分连同该显示器一起进行摄影；指示器处理部，提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置，基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；以及显示处理电路，如果有所述位置，则使指示器显示于该位置。
发明效果
本发明的所述(1)的画面显示控制方法使用佩戴于操作者的头部的可穿戴式终端，对所述操作者指示的手的部分连同显示器一起进行摄影，使用计算机，根据显示器的矩形框的顶点的位置及所指示的位置在摄影图像中的位置关系，决定是否有与所述手的部分对应的所述显示区域内的位置，因而位于与显示器分离的场所的操作者能够在该场所操作指示器。此外，即便操作者的视点与可穿戴式终端所摄影的视点之间有偏移，也能够以少的计算量对操作者而言无不适感的方式，决定应与操作者指示的位置对应地显示于显示器的指示器的位置。
也就是，操作者的视点与佩戴于所述操作者的头部的可穿戴式终端的摄影的视点离得近，并且，操作者的眼睛的方向与佩戴于头部的可穿戴式终端的摄影方向与姿势无关而处于固定的关系。而且，如果有与操作者利用手的部分所指示的位置对应的显示区域内的位置，则能够基于矩形框的顶点的位置精度佳地决定。
所述(2)及(3)也实现相同的作用效果。
附图说明
图1是表示本实施方式中的画面显示控制系统的构成的框图。
图2是表示本实施方式中的可穿戴式终端的一例的说明图。
图3是表示本实施方式中的画面显示控制的处理的流程的流程图。
图4是表示图3中算出显示区域的四顶点的坐标值的处理的详情的流程图。
图5是表示本实施方式中规定显示区域的四条线段的检测例的说明图。
图6A是用于说明本实施方式中两边的交点坐标的算出顺序的曲线图。
图6B是表示与图6A不同的形态的两边的曲线图。
图7是表示本实施方式中的摄影图像上的位置与显示器的显示区域上的位置的对应的说明图。
图8是表示本实施方式中提取手的部分的处理的流程图。
图9是表示本实施方式中所提取的肤色区域的一例的说明图。
图10是表示本实施方式中提取指尖的位置的情况的说明图。
图11是表示本实施方式中包含规定显示区域的四条边全部无法检测到的情况下的处理的流程图。
图12是表示本实施方式中算出显示区域的顶点的位置的处理的流程图。
具体实施方式
以下，使用附图对本发明进行更详细叙述。另外，以下的说明中，所有方面均为例示，不应解释为对本发明进行限定。
(第一实施方式)
《系统的构成》
图1是表示作为本发明的实施的一形态的画面显示控制系统的构成的框图。图1所示的画面显示控制系统包含显示器11、计算机13、可穿戴式终端15、键盘17及鼠标19而构成。可穿戴式终端15具有相机15c。
显示器11具有矩形状的显示区域，也就是画面的区域。而且，从计算机13接收图像显示信号，基于所接收到的图像显示信号进行图像的显示。
键盘17及鼠标19将与操作者的操作相应的信号发送到计算机13。
会议等中，存在如下情形：多个人观看大型显示器，发言时想要以指示器指示显示器的想要说明的部分。本实施方式中，参加会议的发言人如图2那样，在操作者头部21的眼睛附近的位置佩戴可穿戴式终端15。而且，发言人成为使用可穿戴式终端15操作指示器的操作者。可穿戴式终端15具有相机15c，相机15c将对视频进行拍摄而摄影所得的图像(视频数据)发送到计算机13。本实施方式中，视频数据是包含随时间的经过而依次摄影所得的动态图像，也就是，与多个时间点对应的一连串的帧图像的视频数据。该说明书中，将各帧图像也称作摄影图像。
关于从可穿戴式终端15向计算机13发送视频数据的方式，可以是利用有线的通信，理想的是红外线通信或Bluetooth(注册商标)等利用无线的通信。可穿戴式终端15可与眼镜一体化，还可以是如图2所示的挂在耳朵上的耳钩型，理想的是靠近操作者的眼睛且拍摄方向离操作者的视线近的类型。
计算机13以CPU为中心，具备存储器或输入输出电路、通信接口电路作为硬件资源，通过执行保存在存储器的程序(软件)，使硬件与软件协动地执行处理。
计算机13从键盘17及鼠标19接收输入信号，基于所接收到的输入信号进行预先规定的处理。而且，计算机13根据从键盘17及鼠标19接收到的输入信号或者根据基于该输入信号执行的处理的结果，向显示器11发送图像显示信号。
此外，计算机13接收来自可穿戴式终端15的视频数据，基于所接收到的视频数据的与各帧图像对应的数据，也就是各摄影图像，生成指示器输入信号。此处，关于指示器输入信号，计算机13提取映在各摄影图像中的发言人的手的部分。然后，在判断所提取的手的部分指示了与鼠标19的操作对应的某一操作的情况下，计算机13生成与来自鼠标19的输入信号对应的信号。该信号是指示器输入信号。
另外，已对如下进行了叙述，即，可穿戴式终端15将由相机15c摄影所得的视频数据发送到计算机13，计算机13进行视频数据的处理而生成指示器输入信号，但也可在可穿戴式终端15一侧进行该处理的一部分或全部。也就是，可穿戴式终端15可具备计算机，且与计算机13协动地进行处理。这种形态也包含在本发明的范围内。
计算机13基于所生成的指示器输入信号进行预先规定的处理。而且，计算机13与从鼠标19接收到输入信号的情况同样地，根据指示器输入信号或者根据基于该指示器输入信号执行的处理的结果，向显示器11发送图像显示信号。
《基于摄影图像更新指示器的显示的处理的概要》
然后，对根据视频数据的各摄影图像算出指示器输入信号的处理进行详细叙述。
图3是表示本实施方式中基于与各帧对应的摄影图像算出指示器输入信号的处理的流程的流程图。如图3所示，计算机13接收与从可穿戴式终端15发送来的视频数据的一帧对应的摄影图像并保存在存储器中(步骤S11)。一旦读取了摄影图像(步骤S13的是)，计算机13便对是否有基于经前一次处理的帧图像算出的指示器位置进行调查，如果有所算出的指示器则将其保存在存储器(步骤S15)。保存基于前一帧图像的指示器位置的原因在于，存在即便对所述步骤S11中保存在存储器的帧图像应用后述处理也无法提取显示器区域的四边、或无法提取摄影图像中的指尖位置的情况。而且，其原因还在于：不仅能够使指示器移动，还能够应对进行与指示器的轨迹对应的描绘的操作。详情将于以后叙述。
然后，计算机13对所述步骤S11中保存在存储器的摄影图像进行噪声去除处理(步骤S17)。
另外，计算机13可针对从可穿戴式终端15发送来的视频数据的每一帧进行图3所示的1循环的处理而更新指示器的显示，但处理负荷大则难以对每一帧进行循环处理。该情况下，可针对图像数据的多帧进行图3所示的1循环的处理。处理负荷的大小依赖于视频数据的帧率(时间间隔)、各帧图像的像素数、可穿戴式终端15与计算机13之间的通信速度、计算机13的处理能力等。
然后，计算机13算出映在摄影图像中的规定显示器11的显示区域的四顶点的坐标(步骤S19)。
关于映在摄影图像中的四顶点的位置，如果操作者偏离正对显示器11的位置，则变得不是矩形，而成为例如梯形状或非梯形的四边形状。在操作者利用手指等指示自己的眼睛所看到的位置的情况下，为了正确地求出所指示的位置，而需要以操作者的视点摄影所得的图像。本实施方式中可穿戴式终端15因佩戴在操作者的头部，所以由相机15c摄影所得的图像虽与操作者的视点不完全一致，但接近操作者的视点。
因此，计算机13将相机15c的摄影图像视作从操作者的视点观看到的图像，进行利用摄影图像算出操作者指示显示器11的显示区域的位置的处理。
然而，如果如所述那样摄影图像不处于正对显示器11的位置，则显示区域的四顶点不是矩形，因而无法使用正交坐标正确地表现出所指示的位置。
因此，以四顶点是矩形作为前提进行投影变换，求出与所指示的位置的矩形状的显示区域对应的坐标。
为此，首先，计算机13算出用于接受投影变换而将变形的摄影图像上的四顶点的位置变换为矩形的投影变换矩阵(步骤S21)。
然后，在摄影图像上提取所指示的位置(步骤S23)。本实施方式中，将手的部分中的指尖的位置(指尖位置)视作所指示的位置。
然后，对所述步骤S23中求出的摄影图像上所指示的位置，应用所述步骤S21中算出的投影变换矩阵并使用投影变换，算出与矩形状的显示区域对应的指尖位置(步骤S25)。也就是，算出正交坐标系中表现显示区域的坐标的情况下的指尖位置的坐标。
如果所算出的指尖位置处于显示区域内，则将显示于显示区域的指示器的位置更新为所算出的位置(步骤S27)。
然后，计算机13对是否从可穿戴式终端15发送接下来应处理的帧图像进行调查(步骤S29)。
如果未发送接下来应处理的帧图像(步骤S29的是)则结束处理。另一方面，如果发送接下来应处理的帧图像(步骤S29的否)，则例程回到所述步骤S11，读取下一帧图像并重复相同的处理。
以上为图3所示的处理的流程。
《从摄影图像提取显示器的四顶点的处理》
本实施方式中，各摄影图像是由RGB(此处表示R：红、G：绿、B：蓝)的各颜色成分构成的图像数据。本实施方式的相机15c具备影像传感器。一般来说，影像传感器将所摄影到的图像以RGB的各颜色成分的信号的形式输出，因此计算机13从可穿戴式终端15接收到的各摄影图像由RGB的各颜色成分构成。
当电源接通而可穿戴式终端15开始动作时，相机15c开始动态图像摄影。然后，可穿戴式终端15将所摄影到的视频数据依次发送到计算机13。计算机13接收从可穿戴式终端15发送而来的帧图像。
如后述那样，计算机13根据所接收到的摄影图像来决定是否有应与该帧对应地显示的指示器的位置，在有的情况下决定其位置。当接收到下一帧的摄影图像时，决定是否有应与该帧对应地显示的指示器的位置，在有的情况下决定其位置。此时，保存基于前一帧图像决定的指示器的位置。
另外，在相机图像中噪声成分多的情况下，可应用中值滤波器或平均滤波器等对所摄影到的帧图像进行去除噪声的处理。
本实施方式中，当已将可穿戴式终端15佩戴于头部的操作者观看显示器11时，显示器11映在相机15c中。也就是，当在已佩戴在操作者的头部的状态下该操作者观看前方时，相机15c对映在操作者的眼睛的前方的一定范围进行摄影。
计算机13算出已映在相机15c中的显示器11的四顶点的摄影图像上的坐标。是与图3的步骤S19对应的处理。
图4是表示该处理的详细流程的流程图。如图4所示，计算机13将由RGB的各颜色成分构成的摄影图像变换为灰色图像(步骤S31)。
本实施方式中，利用以下的式(1)将RGB的3色的信号(亮度的信号)变换为灰色的亮度信号Gray。
Gray＝0.299×R+0.587×G+0.114×B (1)
(1)式作为算出RGB信号的亮度的式而为人所知。
另外，在摄影图像包含大量噪声的情况下，可对RGB图像或者变换后的灰色图像进行噪声去除处理。
计算机13对所变换的灰色图像进行边缘检测(步骤S33)。例如，利用被称作Canny法的方法检测灰色图像的边缘(步骤S33)。由此，相当于显示器11的框(显示器框)的部分也作为边缘被检测出。框的内周部分相当于显示区域的边界。另外，可预先决定所使用的显示器11的种类，该显示器框的颜色如果是黑色或白色，则可在利用2值化处理提取相当于框的颜色的部分后，利用拉普拉斯滤波器来检测边缘。
对已变换为边缘检测图像用的图像进行概率Hough(霍夫)变换，由此进行线段检测(步骤S35)。线段检测是从摄影图像中对作为具有单点的线段的线进行检测的处理。所检测到的线段由始点及终点表示，能够获取各自的坐标。
图5是表示本实施方式中根据映有显示器11及操作者的手的部分的摄影图像并按照所述顺序检测出线段的例子的说明图。
图5中，分别利用白线来表示显示器11的规定显示区域11d的四边，换句话说，与显示器框11f的内周对应的四边。也就是，利用白线来表示显示区域下边11B、显示区域左边11L、显示区域右边11R及显示区域上边11T。从摄影图像中提取的线段并不止这些。利用灰色来表示除所述四边外被提取到的线段。将显示器框11f的外周、放置显示器11的桌子的边缘、及摄影图像的边缘作为线段而提取。
计算机13在所提取到的线段中决定显示器11的规定显示区域11d的四边(步骤S37)。
本实施方式中，决定四边的顺序为以下所示。
计算机13在所检测到的线段中斜率为大致水平(例如规定(纵成分的长度/横成分的长度)的绝对值小于0.5)且比预先规定的长度长的线段中，将比摄影图像的图像中心靠上侧且离图像中心最近的线段设为显示区域上边11T。另一方面，将比图像中心靠下侧且离图像中心最近的线段设为显示区域下边11B。
此处，比图像中心靠上侧且离图像中心最近的线段是如下线段，即，与通过图像中心且在铅垂方向(Y方向)上延伸的铅垂线(与Y坐标轴平行的线)相交的线段或者线段的延长线的位置位于离所述铅垂线上的图像中心最近的上方的线段。
另一方面，比图像中心靠下侧且离图像中心最近的线段是如下线段，即，与通过图像中心且在铅垂方向(Y方向)上延伸的铅垂线(与Y坐标轴平行的线)相交的线段或者线段的延长线的位置位于离所述铅垂线上的图像中心最近的下方的线段。
此外，计算机13在所检测到的线段中斜率大致铅垂(例如规定(纵成分的长度/横成分的长度)的绝对值大于5)且比预先规定的长度(可以是与所述显示区域上边11T及显示区域下边11B的长度不同的长度)长的线段中，将比摄影图像的图像中心靠左侧且离图像中心最近的线段设为显示区域左边11L。另一方面，将比图像中心靠右侧且离图像中心最近的线段设为显示区域右边11R。
此处，比图像中心靠左侧且离图像中心最近的线段是如下线段，即，与通过图像中心且在水平方向(X方向)上延伸的水平线(与X坐标轴平行的线)相交的线段或者线段的延长线的位置位于离所述水平线上的图像中心最近的左方的线段。
比图像中心靠右侧且离图像中心最近的线段是如下线段，即，与通过图像中心且在水平方向(X方向)上延伸的水平线(与X坐标轴平行的线)相交的线段或者线段的延长线的位置位于离所述水平线上的图像中心最近的右方的线段。
图5所示的线段中由白色表示的线段是相当于规定显示区域11d的四边的线段。
本实施方式中，设想显示器11的四顶点基于显示器11的显示区域11d而算出。是因为显示区域11d是由液晶、有机EL等显示面板及包围其的框架构件(框11f)的边界来规定，认为能够稳定且精度良好地提取该边界。
但不仅限于此，例如可基于包围所述显示区域11d的显示器框11f的外周，或者显示器的外缘(也就是显示器的装置整体的轮廓)来算出四顶点。近年来，显示器框11f的外周多数情况下是显示器的外缘，但有时也会例如在显示器框11f的下侧或左右两侧配置扬声器。一般来说，多数情况下框架构件的外周或显示器的外缘也是矩形状。
计算机13从相当于规定显示区域11d的四边的四条线段中，将相当于相邻的两边的线段或者其延长线的交点作为四顶点而算出(步骤S39)。也就是，算出相当于显示区域上边11T及显示区域左边11L的线段或者其延长线的交点。同样地，算出相当于显示区域左边11L及显示区域下边11B的线段或者其延长线的交点。而且，算出相当于显示区域下边11B及显示区域右边11R的线段或者其延长线的交点。此外，算出相当于显示区域右边11R及显示区域上边11T的线段或者其延长线的交点。由此，求出摄影图像中的显示器11的四顶点的坐标。
此处，对求出摄影图像上相邻的两边的交点的顺序进行叙述。
图6A是用于说明本实施方式中两条直线的交点坐标的算出顺序的曲线图。如图6A所示，两边中的一条直线的直线斜率大致水平，将两端的点的坐标值分别设为(p1x,p1y)及(p2x,p2y)。直线由下式表示：
y＝m1·x+n1 (2)。
两边中的另一条直线与y轴平行地在铅垂方向上延伸。将两端的点的坐标分别设为(p3x,p3y)及(p4x,p4y)。
而且，两条直线相交的交点的坐标值设为(p5x,p5y)。
在两条直线端点的坐标(p1x,p1y)、(p2x,p2y)、(p3x,p3y)及(p4x,p4y)改变的情况下，交点的坐标值(p5x,p5y)能够以如以下方式算出。
因两条直线的端点的坐标值已规定，所以向(2)式中代入端点的值，
p1y＝m1·p1x+n1(2－1)
p2y＝m1·p2x+n1(2－2)
在取(2－2)式与(2－1)式的差量而消去n1并对m1进行整理时，成为
m1＝(p2y－p1y)/(p2x－p1x)
另一方面，因为了从两式中消去m1而对(2－1)式乘以p2x，所以当取对(2－2)式乘以p1x所得式的差量并对n1进行整理时，成为
n1＝(p2x×p1y－p1x×p2y)/(p2x－p1x)
以上求出了系数、m1及n1。将所求出的m1及n1代入(2)式而能够表现大致水平的直线。
另一方面，关于与y轴平行的直线，由于p3x＝p4x，所以交点的x坐标值由
p5x＝p3x
而求出。
而且，交点的y坐标值由
p5y＝m1×p3x+n1
而求出。
图6B是表示与图6A不同的形态的两边的曲线图。大致水平的直线与图6A相同。另一方面，代替图6A的在铅垂方向上延伸的直线，而成为图6B中大致铅垂方向的直线。大致铅垂方向的直线由下式
y＝m2·x+n2 (3)
表示。
由(2)及(3)式表示的两条直线的各自的端点的坐标值(p1x,p1y)、(p2x,p2y)、(p3x,p3y)及(p4x,p4y)发生改变。
由此，与图6A同样地，根据(2-2)式与(2-1)式求出系数、m1及n1。将所求出的m1及n1代入(2)式而能够表现大致水平的直线。
关于由(3)式表示的直线，也按照与(2)式的直线相同的顺序求出系数、m2及n2。
m2＝(p4y－p3y)/(p4x－p3x)
n2＝(p4x×p3y－p3x×p4y)/(p4x－p3x)
将所求出的m2及n2代入到(3)式中而能够表现大致铅垂方向的直线。
在大致水平方向的直线与大致铅垂方向的直线相交的交点，成为
p5y＝m1·p5x+n1 (4)
p5y＝m2·p5x+n2 (5)。
根据(4)及(5)式，交点的坐标值由
p5x＝(n1－n2)/(m2－m1)
p5y＝(m2×n1－m1×n2)/(m2－m1)
而求出。
按照所述顺序，能够分别计算摄影图像上相邻的两边的交点的坐标值，并求出摄影图像上显示器11的四顶点的坐标。
另外，也考虑相机15c的方向与操作者的视线的方向不同而显示器11未映在摄影图像中的情况。或者，也考虑在显示器11的近前有障碍物，显示器11被隐藏而仅映出其一部分的情况。于是，存在如下情况：无法适当提取相当于显示器框11f的四条线段，从而无法算出显示器11的四顶点的坐标。关于该情况下的处理，将在第二实施方式中进行叙述。
《四顶点的变形修正－求出投影变换矩阵H的处理》
关于映在摄影图像中的显示器11，只要相机15c不处于正对显示器11的位置，则会变形地映出。关于操作者所指示的显示区域11d内的位置，也会受到变形的影响。
因此，使用显示器11的四顶点的坐标值来修正摄影图像中的指尖位置的坐标值以减轻变形的影响。关于变形，能够由作为几何学变换的一种的投影变换来进行修正。因此，算出用于将摄影图像上的指尖位置变换为矩形的显示区域的正交坐标值的投影变换矩阵H。
图7是表示本实施方式中的摄影图像上的位置与显示器11的显示区域11d上的位置的对应的说明图。如图7所示，摄影图像上的位置使用摄影图像面的正交坐标来表示。摄影图像面的正交坐标是相机15c的视点中的正交坐标(图7中表示X、Y、Z的坐标轴)。这是因为，摄影图像是从相机15c的视点观看显示器11的情况下的映入了显示区域11d的四顶点的图像。
已叙述使用图6A、图6B对算出映在摄影图像中的显示器11的四顶点的坐标值的顺序，这些坐标值为以X、Y坐标为基础。
如图7所示，将摄影图像上的显示器11的四顶点的坐标值设为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)。如图7所示，由于视点不处于正对显示器11的位置，且包含X、Y坐标轴的平面不与显示器11的显示面平行，所以摄影图像上的四顶点会变形地映出。
另一方面，本实施方式中矩形的显示区域11d的四顶点使用显示区域11d上的正交坐标(图7中表示U、V、W的坐标轴)，由以像素为单位的坐标值表现。
显示区域11d设为例如水平方向(U轴方向或者横向)上由1920像素构成，铅垂方向(V轴方向或者纵向)上由1200像素构成。该情况下，显示区域11d的四顶点的坐标值(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)是(0,0)、(0,1199)、(1919,1199)、(1919,0)。
以下，对将摄影图像上的四顶点的坐标值设为(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，求出与和这些四顶点对应的矩形的显示区域11d的四顶点相关联的投影变换矩阵的顺序进行叙述。将显示区域11d的四顶点的坐标值设为(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)。
表示摄影图像上的位置的正交坐标系中四顶点的坐标值(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)与矩形的显示区域11d的四顶点的坐标值(u1,v1)、(u2,v2)、(u3,v3)、(u4,v4)的各点的对应关系，使用投影变换矩阵H并按照以下的四个式表示。
[数式1]
Figure BDA0001834052610000161
不限于四顶点，摄影图像上的点(x,y)与对应的显示区域11d上的点(u,v)由下述表示：
[数式2]
Figure BDA0001834052610000162
其中，任一数式中投影变换矩阵H均由
[数式3]
Figure BDA0001834052610000163
表示，系数、h11～h32的值在任一式中均相同。另外，λ是以(7)式的投影变换矩阵H的第三行第三列的常数的要素为“1”的方式规定的系数，该值在任一式中均相同。
投影变换矩阵H的8个系数、h11～h32能够基于对应的四顶点的坐标值即u1～u4、x1～x4、v1～v4、y1～y4分别为已知而算出。
如果求出投影变换矩阵H的系数、h11～h32，则与摄影图像上的任意的点(x,y)对应的显示区域11d上的点(u,v)能够使用(6)式来决定。
因此，关于映在摄影图像上的指尖位置，对应的显示区域11d上的位置也能够使用(6)式决定。
《提取摄影图像上的指尖位置的处理》
然后，对检测映在摄影图像中的操作者的指尖位置并求出指尖位置的坐标值(图7中由P(x,y)表示)的顺序进行叙述。
当操作者手指指向显示器11时，手指会映在相机15c的摄影图像中。进行以下处理而提取该手指所指的摄影图像上的位置(指尖位置)。
图8是表示本实施方式中提取手的部分的处理的流程图。按照图8来说明处理的流程。
计算机13从可穿戴式终端15接收摄影图像。摄影图像是由RGB的各颜色成分构成的图像数据。计算机对该图像数据应用下述运算，而变换为HSV数据(步骤S41)。这是为了适当地判定出各像素是否为肤色区域。此处，HSV中分别表示H：色调，S：彩度，V：明度，根据R、G、B的各颜色成分的亮度并按照以下方式算出。
首先，明度V为
V＝max(R,G,B)
此处，R、G、B是构成摄影图像的各像素的R、G、B的各颜色成分的明亮度，这些之中最亮的颜色成分的值是明度V。
彩度S使用上式算出的明度，设为
S＝(V－min(R,G,B))/V
而算出。
而且，色调H在
V＝R的情况下(也就是，R、G、B中最亮的是R的情况下)，设为
H＝60×(G－B)/S
在V＝G的情况下，设为
H＝120+60×(B－R)/S
在V＝B的情况下，设为
H＝180+60×(R－G)/S
而算出。其中，为了将所述H的值设为正的数值，在上式的算出结果为负值的情况下，对该算出结果加上360。而且，在以8比特的值进行处理的情况下，设为进而除以2所得的值。
基于这样算出的HSV数据的值，计算机13基于各像素是否为肤色的判定进行2值化(步骤S43)。
作为2值化的判定条件的例子，如果H≧2且H≦28且S≧46且V≧26，则判定为肤色像素，并设定H、S、V的阈值。对摄影图像的各像素进行判定，肤色像素变换为1(白)，如果不是这样，则作为肤色以外像素变换为0(黑)。
用于判定是否为肤色的阈值可根据操作者的肤色进行修正。修正可在肤色校准用的模式下，使用相机15c对操作者的手的部分进行摄影，并基于该摄影图像决定修正值。
而且，在代替操作者的指尖而例如使用特定的笔指示位置的情况下，可在肤色校准用的模式下，利用相机15c对操作者握住该笔的图像进行摄影，并基于该摄影图像提取笔尖。在该情况下，成为将实施方式记载的“指尖”改称为“笔尖”的处理的流程。
图9是表示基于所述判定进行了2值化的摄影图像的一例的说明图。如图9所示手的部分23作为肤色区域而被提取。
此外，计算机13在经2值化所得的肤色像素区域中去除噪声或并非手的部分(步骤S45)。例如，进行接下来要叙述的处理。对经2值化的图像，以目标像素为中心的7×7像素的合计值如果为已定值以上则变换为1(白)，如果小于已定值则变换为0(黑)。然后，进一步将图像进行白黑反转，以目标像素为中心的7×7像素的合计值如果为已定值以上则变换为1(白)，如果小于已定值则变换为0(黑)。然后，再次进行白黑反转。
利用该一连串的处理，将噪声或手以外的较小的肤色像素修正为肤色以外像素。相反地，根据噪声或光的具体状况将由肤色区域包围的肤色以外像素修正为肤色像素。当然7×7像素只不过是一例，也可以是不进行所述处理的形态或者仅进行一部分的形态。
此外，进行标记处理。进行标记处理，将小于已定像素数的肤色区域的像素变换为0。由此，仅包含相当于手的部分的已定像素以上的肤色区域为1，其以外的部分为0。
除此以外，也可将手指的粗细或形状等预先作为手指形状进行登记，除去所提取的肤色区域中的不与所登记的手指形状类似的手指形状。
然后，计算机13从所获得的肤色像素区域提取手的指尖位置(步骤S47)。本实施方式中，指尖位置的提取按照以下方式来进行。
摄影图像上的显示区域11d内，从图像的上侧开始依次调查是否为肤色像素(1)，将最初的肤色像素设为手的指尖位置。
图10是表示所述处理的结果提取到的指尖位置的说明图。肤色区域的最上的像素作为指尖位置23T而被提取。或者，可将色像素中最亮的像素设为指尖位置。这是因为，对于手指的指甲的一部分而言，多数情况下在整个手中以最亮的像素存在。
《决定与摄影图像上的指尖位置对应的显示区域上的位置的处理》
一旦如所述那样求出摄影图像上的指尖位置(图7所示的P(x,y))，计算机13便对摄影图像上的指尖位置应用投影变换矩阵H，变换为显示区域11d上的对应的位置(图7由Q(u,v)表示)。
如图7所示，Q(u,v)的坐标值使用摄影图像上的指尖位置的坐标值(x,y)并按照以下的式求出。
[数式4]
Figure BDA0001834052610000191
如果这样算出的Q(u,v)的显示区域面上的坐标值位于显示区域11d的内部，则计算机13使指示器显示于所算出的位置。
《位置偏移的修正》
所述处理中提取的指尖位置可能会与人想要使光标对准的位置之间产生数个像素的偏移。此外，操作者的视点与相机15c的视点之间也存在若干偏移。由此，操作者指示显示器11的位置与使用摄影图像求出的显示区域上的对应位置之间存在若干偏移。在该情况下，为了导出更适当的指尖位置的坐标，可对所提取的指尖位置的坐标加上预先规定的修正值。
修正值可由操作者直接输入数值，也能够例如按照如下方式决定修正值。
在位置偏移修正用的校准模式下，操作者指示显示器11的已定的位置，例如图像中心，并利用相机15c对其进行摄影。此时，可使操作者应指示的位置显示于显示区域11d。
对摄影图像进行与图3的步骤S17～S27相同的处理，求出与操作者指示的位置对应的指示器位置。
将所求出的指示器位置与操作者应指示的位置(例如图像中心)的位置偏移量作为修正值进行保存。
(第二实施方式)
第一实施方式中，对根据可穿戴式终端15的相机15c摄影所得的图像来决定显示器的四顶点的处理进行了叙述。而且，对求出修正四顶点的变形的投影变换矩阵H的处理进行了叙述。此外，还对提取摄影图像上的指尖位置的处理进行了叙述。而且，对应用投影变换矩阵H求出与指尖位置对应的显示区域11d上的位置的处理进行了叙述。这些处理的概要示于图3的流程图中。
然而，存在如下情况：无法检测规定显示区域的四边，因而无法求出四顶点的坐标值的一部分或全部。而且，存在无法检测指尖位置的情况。
本实施方式将对包含这种情况的处理的流程进行叙述。
在操作者斜视观看显示器11的情况下、显示于显示区域11d的内容(颜色)接近显示器框11f(的颜色)的情况下，无法检测出规定显示区域的四边(四条线段)的一部分或全部。
例如，在规定显示区域的四条线段完全无法检测到的情况下，或者，在仅能够检测出四条线段中的一条的情况下，计算机13设想操作者的视线朝向相机15c的摄影图像外，不进行指尖位置的检测，且不进行显示区域的指示器的移动。
而且，在检测到被判断为规定显示区域的四条线段中的两条或者三条线段的情况下，相机15c虽朝向显示器11的方向，但由于显示于显示器11的内容类似于显示器框11f的颜色，所以判断为无法检测到表示显示区域11d的边界的线段。在该情况下，计算机13设想显示器11的位置与来自相机15c的视频数据中的前一帧所对应的摄影图像相比无变化。可基于该设想，使用利用前一帧的摄影图像所算出的投影变换矩阵继续进行处理。
而且，在操作者指尖未朝向显示器11的方向的情况下，无法根据摄影图像检测到指尖位置。计算机13在该情况下，基于前一帧的摄影图像算出显示区域11d上的位置，且以使显示于该位置的指示器不移动的方式控制显示。
或者在该情况下，计算机13可基于前一帧的摄影图像算出显示区域11d上的位置，且以消除所显示的指示器的方式控制显示。
图11及图12是本实施方式的流程图。图11与第一实施方式中的图3对应，图12与第一实施方式中的图4对应。
图11中，对与图3相同的处理附上与图3相同的符号。以与图3不同的部分为中心叙述图11所示的处理的流程。
图11中，计算机13接收与从可穿戴式终端15发送来的视频数据的一帧对应的摄影图像(步骤S11)，去除噪声(步骤S17)，为了算出规定显示区域的四顶点进行提取四边的处理(步骤S19)。
其结果，对是否能够提取全部四边进行调查(步骤S53)。在能够提取全部四边的情况下(步骤S53的是)，计算机13与图3同样地进入到之前的处理中，进行投影变换矩阵的算出(步骤S21)、指尖位置的提取(步骤S23)的处理。
另一方面，在仅能够提取四边的一部分的情况下，或者在无法全部提取的情况下(步骤S53的否)，计算机13继续对是否能够提取四边中的两边或三边进行调查(步骤S55)。
在判断为能够提取两边或三边的情况下(步骤S55的是)，显示器11映在摄影图像中，设想仅某一边未能检测到。而且，设想显示器11的位置与来自相机15c的视频数据中前一帧的摄影图像相比无变化，对这一帧也采用前一帧图像中所采用的投影变换矩阵H。也就是，设为与前一帧相同的变形的状态并应用与前一帧相同的投影变换矩阵H(步骤S57)。然后，例程进入到步骤S23，进行指尖位置的提取处理。
另一方面，所述步骤S55中，在仅能够提取一边的情况下或无法提取全部线段的情况下，例程进入到步骤S59，计算机13使显示于显示区域的指示器的位置不移动(步骤S59)。在未显示指示器的情况下，使不显示的状态继续。而且，例程进入到步骤S29。
对继所述步骤S23的处理后的流程进行说明。
步骤S23中计算机13提取摄影图像中的指尖位置。对该处理的结果是否为能够提取指尖位置进行调查(步骤S61)。在能够提取指尖位置的情况下(步骤S61的是)，与图3同样地应用投影变换矩阵H算出对应的显示区域上的位置(步骤S25)，将所显示的指示器的位置更新为所算出的位置(步骤S27)。另外，在显示区域11d中不显示指示器的情况下，使指示器显示于所算出的位置。
然后，对是否有下一帧图像进行调查(步骤S29)，如果有下一帧图像(步骤S29的否)则回到开头的步骤S11，如果没有下一帧图像(步骤S29的是)则结束处理。
所述步骤S61中，在无法提取指尖位置的情况下(步骤S61的否)，例程进入到步骤S59，使显示于显示区域的指示器的位置不移动(步骤S59)。在不显示指示器的情况下，使不显示的状态继续。然后，例程进入到步骤S29，进行结束判定。
图12是表示图11所示的步骤S19的处理的详情的流程图。图12中对与图4相同的处理附上与图4相同的符号。以与图4不同的部分为中心叙述图11所示的处理的流程。
计算机13将由RGB的各颜色成分构成的摄影图像变换为灰色图像(步骤S31)，进行边缘检测处理(步骤S33)，并检测线段(步骤S35)。进行从检测到的线段中提取规定显示区域的四条线段的处理(步骤S37)。也就是，将如下线段决定为四边，该线段在大致水平或大致铅垂方向上延伸且比预先规定的长度长，且，相对于摄影图像的图像中心位于上下左右的各个方向上且靠近图像中心。
然后，对符合所述条件的线段是否能够在上下左右的各个方向上提取进行调查(步骤S71)。
在能够提取符合条件的合计四条线段的情况下(步骤S71的是)，与图4同样地，针对四顶点分别算出相邻的两边的交点的坐标值，并决定各顶点的位置(步骤S39)。
另一方面，在无法提取符合条件的线段的情况下(步骤S71的否)，不算出交点的坐标值便结束处理。
根据本实施方式，在计算机13无法提取指尖位置的情况下，指示器在至此显示的位置处静止或者指示器的显示消失。
因此，当操作者停止指示显示区域11d而放下手时，指示器在至此显示的位置处静止或者指示器的显示消失。当操作者再次指示显示区域11d的某一位置时，指示器从静止显示的位置向指示的位置移动。或者，已消失的指示器显示于所指示的位置。
而且，在朝向显示器11的方向的操作者朝向另一方向而显示器11不再映在摄影图像中的情况下，指示器也在至此显示的位置处静止或者指示器的显示消失。当操作者再次朝向显示器11的方向而指示显示区域11d的某一位置时，指示器从静止显示的位置向指示的位置移动。或者，已消失的指示器显示于所指示的位置。
(第三实施方式)
第一、第二实施方式中，设想佩戴着可穿戴式终端15的操作者为一人的情况来叙述处理的流程。然而，也考虑如下形态，即，多个操作者分别佩戴可穿戴式终端15且使用共同的显示器11进行会议，各操作者使用指示器来表示显示器11中显示的资料的特定位置。所述形态是各操作者佩戴可穿戴式终端以代替持有雷射指示器而更安全地操作指示器的形态。
本实施方式中，对如所述会议那样存在分别佩戴着可穿戴式终端15的多个操作者的情况进行叙述。
计算机13可对各操作者的可穿戴式终端15分别执行第一或第二实施方式中所述的处理，来控制与各操作者对应的个别的指示器的显示。
在该情况下，计算机13与各操作者佩戴的可穿戴式终端对应地使多个指示器显示于一个显示区域11d。为了能够识别多个指示器中的哪个指示器与该操作者(可穿戴式终端)对应，可将各个指示器以能够与其他指示器加以识别的形态来显示。
例如，能够以与操作者A对应的指示器为红色、与操作者B对应的指示器为绿色、与操作者C对应的指示器为蓝色的方式，各指示器以能够根据颜色识别的方式显示。
或者，也可对各指示器分配个别的形状，各指示器以能够根据形状识别的方式显示。例如，可以是如圆形、四边形、星形这样的变化的形状。
也考虑与所述情况不同地多个操作者操作唯一一个指示器的形态。
在该情况下，当某一操作者指示显示区域11d时，指示器向该位置移动。在多个操作者同时指示显示区域11d的情况下，先进行操作者优先，当该操作者放下手而手的部分从摄影图像中消失时，指示器可向后面的操作者所指示的位置移动。
作为存在多个操作者的情况下的一例，已叙述会议中显示与多个操作者对应的多个指示器的形态，但指示器的功能不限定于表示显示位置的功能。该方面对于第一、第二实施方式而言也相同。
也能够如通常的计算机的画面中显示的鼠标指示器这样，对与如点击、拖拽开始/拖拽结束等操作相关联显示的物件进行操作。
在鼠标的情况下，通过对鼠标的按钮或拨盘进行操作，而能够使指示器与点击、拖拽、其他操作相关联。在使用了可穿戴式终端的指示器操作的情况下，根据手的部分的动作(包含静止状态)、手指的形状、指尖的方向等预先规定与点击、拖拽、其他操作对应的手势即可。
或者，本实施方式的指示器操作可应对针对通常的触摸显示器的触摸操作。如果将与作标记、拖拽开始/拖拽结束等操作对应的手的部分的动作或手指的形状、指尖的方向等预先作为手势加以规定，则能够进行与触摸操作相同的操作。
或者，可应对使用了电子笔的操作。如果预先规定与电子笔的操作对应的手势，则能够代替电子笔而在显示器11上进行描绘。例如，能够将简易的追记重叠在显示于显示器11的演讲资料。
如以上所述，
(i)本发明的画面显示控制方法的特征在于：使用佩戴在操作者的头部对图像进行摄影的可穿戴式终端，对所述操作者指示显示器的手的部分连同具有矩形状的框及显示区域的该显示器一起进行摄影；使用计算机，提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置；基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；如果有所述位置，则使指示器显示于该位置。
该说明书中，头部是操作者摇头时方向改变的部位且是操作者的脖子以上的部分。
而且，可穿戴式终端能够佩戴在头部的任一位置。作为其具体形态，例如，能够列举挂在耳朵上进行佩戴者、如所谓的智能眼镜这样的眼镜型终端等，但不限定于此。该说明书中，可穿戴式终端具有摄影图像的影像传感器。
此外，显示器是具有矩形的画面，也就是显示区域的显示装置。作为其具体形态，例如可列举使用液晶、有机EL的显示装置，但不限定于这些。
矩形是对向的两边平行且相邻的两边为直角的四边形，包含正方形。
而且，显示区域是显示器中能够显示的区域。一般来说，是由框架包围周围的区域。
此外，手的部分是至少包含操作者的一根手指的部分，典型来说是手腕到指尖的部分。
所谓连同显示器一起进行摄影，是指以显示器的全部或一部分为背景，将操作者的手的部分作为图像捕捉。
而且，计算机是以CPU或者MPU为中心构成且能够执行程序的硬件。其具体形态不作限定，例如可以装入到设备，可以是可携式、可搬式或者固定式信息处理设备。
此外，摄影图像是由可穿戴式终端所具有的影像传感器提取的图像。
显示区域的顶点的位置是矩形的显示区域的四个顶点的位置。
而且，指示器显示于显示器的显示区域内并指向显示于特定的位置或者显示区域内的特定的对象。作为其具体形态，例如，相当于显示于普通的个人计算机的画面且表示鼠标或触摸板的操作对象或操作位置者，但不限定于此。
此外，对本发明的优选的形态进行说明。
(ii)可使用所述计算机识别映在所述摄影图像中的所述操作者的手势，进而对所述指示器的位置进行与所识别的手势相应的操作。
据此，通过位于与显示器分离的位置的操作者做手势，能够与对普通的计算机的鼠标操作或触摸板操作或者对智能手机的触摸操作同样地，进行针对指示器的位置的操作。
(iii)关于所述顶点的位置，可对映在所述摄影图像中的表示所述显示器的显示区域的四边进行检测，根据各边或者将各边延长所得的直线的交点的位置而求出。
据此，即便在仅有表示显示区域的四边的一部分映在摄影图像中的情况下，也能够正确地求出显示区域的顶点的位置。
(iv)所述指示的位置可以是所述摄影图像中的肤色区域的像素内位于最上部的像素的位置。
据此，能够将映在摄影图像数据中的肤色区域的最上部的像素设想为指尖的位置而检测出所指示的位置。
(v)或者，所述指示的位置可以是所述摄影图像中的肤色区域的像素内最亮的像素的位置。
通常指尖的指甲的部分呈手的部分中最亮的颜色，据此，能够将映在摄影图像中的相当于手指的指甲的位置的像素设想为指尖的位置而检测出所指示的位置。
(vi)所述显示区域中的肤色区域可基于各像素是否属于肤色的判定来提取，是否属于肤色的判定中使用的阈值可根据显示于所述显示区域的内容中所含的颜色成分的构成进行变更。
据此，能够防止将所显示的部分误检测为操作者的手的部分。例如，在映在所述摄影图像中的所述显示区域的显示内容中包含大量接近肤色的颜色的情况下，以判定为属于肤色的范围减小的方式变更判定相关的阈值，在几乎不包含接近肤色的颜色的情况下，以判定为属于肤色的范围增大的方式变更判定相关的阈值即可。
(vii)所述显示区域中的肤色区域可基于各像素是否属于肤色的判定来提取，将相邻的像素属于肤色的区域中的最大区域设为所述肤色区域。
据此，即便在所述显示区域内提取了多个肤色区域，通过将最大的区域设想为手的部分而能够防止误检测。
(viii)在与所述指示的位置对应地决定的位置位于所述显示区域之外的情况下，使显示的指示器不移动或移去所显示的指示器。
据此，在与由手的部分所指示的位置对应地决定的指示器的位置处于显示区域外的情况下，判断该情况下的手的部分并未指示所述显示区域内的位置，由此能够防止不必要的指示器的移动或者显示。
(ix)与所述指示的位置对应的指示器的位置可以是以所述顶点的位置呈矩形的方式将投影变换应用于所述摄影图像中的所述顶点的位置及所指示的位置，并决定为指尖投影到所述显示区域的位置。
据此，即便操作者不处于正对显示器的位置，也能够使指示器显示于操作者想要的位置。
(ix)所述计算机可从分别佩戴在多个操作者的头部的多个可穿戴式终端，获取对各个操作者的手的部分连同所述显示器一起进行摄影所得的摄影图像，分别提取来自各可穿戴式终端的摄影图像中的所述显示器的矩形框的顶点的位置及各操作者的手的部分所指示的位置，基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与各操作者的所述手的部分对应的所述显示区域内的位置，如果有所述位置，则使所述指示器显示于所述位置，由此各操作者能够操作一个指示器。
据此，例如通过在会议中多个参加者个别地佩戴可穿戴式终端，即便参加者间不更换可穿戴式终端也能够操作指示器。
(xi)所述计算机可从分别佩戴在多个操作者的头部的多个可穿戴式终端，获取对各个操作者的手的部分连同所述显示器一起进行摄影所得的摄影图像，分别提取来自各可穿戴式终端的摄影图像中的所述显示器的矩形框的顶点的位置及各操作者的手的部分所指示的位置，基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与各操作者的所述手的部分对应的所述显示区域内的位置，如果有所述位置，则使与各操作者对应的指示器以能够识别出与各操作者的对应的方式显示于该位置。
据此，例如通过在会议中多个参加者个别地佩戴可穿戴式终端，而能够操作与各参加者对应的指示器。
(xii)而且，本发明的画面显示控制程序的特征在于使计算机执行下述处理：从佩戴于操作者的头部的可穿戴式终端，获取对所述操作者指示显示器的手的部分连同具有矩形状的框及显示区域的该显示器一起进行摄影所得的图像；提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置；基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；以及如果有所述位置，则使指示器显示于该位置。
根据本发明，位于与显示器分离的场所的操作者能够在该场所操作指示器。此外，即便操作者的视点与佩戴于操作者的头部的可穿戴式终端所摄影的视点之间有偏移，也能够以少的计算量对操作者而言无不适感的方式，决定应与操作者指示的位置对应地显示于显示器的指示器的位置。
(xiii)可进而执行：识别映在所述摄影图像中的所述操作者的手势的处理；以及对所述指示器的位置进行与所识别的手势相应的操作的处理。
据此，通过位于与显示器分离的位置的操作者做手势，能够与对普通的计算机的鼠标操作或触摸板操作或者对智能手机的触摸操作同样地，进行针对指示器的位置的操作。
(xiv)而且，本发明的画面显示控制系统的特征在于包括：显示器，具有矩形状的框及显示区域；可穿戴式终端，佩戴于操作者的头部，且对所述操作者指示所述显示器的手的部分连同该显示器一起进行摄影；指示器处理部，提取所述可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及所述手的部分所指示的位置，基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与所述手的部分对应的所述显示区域内的位置；以及显示处理电路，如果有所述位置，则使指示器显示于该位置。
根据本发明，位于与显示器分离的场所的操作者能够在该场所操作指示器。此外，即便操作者的视点与佩戴于操作者的头部的可穿戴式终端所摄影的视点之间有偏移，也能够以少的计算量对操作者而言无不适感的方式，决定应与操作者指示的位置对应地显示于显示器的指示器的位置。
(xv)所述画面显示控制系统还具备：手势识别部，识别映在所述摄影图像中的所述操作者的手势；以及显示处理部，对所述指示器的位置进行与所识别的手势相应的操作。
据此，通过位于与显示器分离的位置的操作者做手势，能够与对普通的计算机的鼠标操作或触摸板操作或者对智能手机的触摸操作同样地，进行针对指示器的位置的操作。
本发明的优选的形态中也包含组合了所述多个优选的形态中的任一个者。
除所述实施方式之外，本发明可以有各种变形例。这些变形例不应解释为不属于本发明的范围。本发明中应包含与权利要求的范围均等的含义及所述范围内的所有变形。
符号说明
11：显示器
11d：显示区域
11f：显示器框
11B：显示区域下边
11L：显示区域左边
11R：显示区域右边
11T：显示区域上边
13：计算机
15：可穿戴式终端
15c：相机
17：键盘
19：鼠标
21：操作者头部
23：手的部分
23T：指尖位置

Claims (14)

1.一种画面显示控制方法，其特征在于，
使用佩戴在同时观察具有矩形框以及显示区域的显示器的多个操作者的各自的头部对图像进行摄影的可穿戴式终端，通过各操作者佩戴的可穿戴式终端对各操作者指示该显示器的手的部分连同所述显示器一起进行摄影；
使用计算机，提取各可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及佩戴所述可穿戴式终端的各操作者的手所指示的位置；
基于所提取的顶点的位置及所指示的位置的位置关系，来决定与佩戴可穿戴式终端的各操作者的手对应的位置是否有在所述显示区域内的位置；
如果有所述位置，则在所述显示区域的与第一操作者的手对应的所述位置显示第一指示器，所述第一操作者是所述多个操作者中最早进行操作的人，
当所述第一操作者通过放下手而该手从摄影图像消失时，则移去所述第一指示器，在从所述第一操作者之后指示所述显示器的第二操作者所佩戴的第二可穿戴式终端的摄影图像中，如果第二操作者的手的位置位于所述显示区域内,则在该位置显示第二指示器。
2.根据权利要求1所述的画面显示控制方法，其特征在于，
使用所述计算机识别映在所述摄影图像中的所述操作者的手势，对所述指示器的位置进而进行与所识别的手势相应的操作。
3.根据权利要求1或2所述的画面显示控制方法，其特征在于，所述顶点的位置是对映在所述摄影图像中的表示所述显示器的显示区域的四边进行检测，根据各边或者将各边延长所得的直线的交点的位置而求出。
4.根据权利要求1或2所述的画面显示控制方法，其特征在于，所述指示的位置设为所述摄影图像中的肤色区域的像素内位于最上部的像素的位置。
5.根据权利要求1或2所述的画面显示控制方法，其特征在于，所述指示的位置设为所述摄影图像中的肤色区域的像素内最亮的像素的位置。
6.根据权利要求4所述的画面显示控制方法，其特征在于，所述显示区域中的肤色区域基于各像素是否属于肤色的判定来提取，是否属于肤色的判定中使用的阈值根据显示于所述显示区域的内容中所含的颜色成分的构成进行变更。
7.根据权利要求4所述的画面显示控制方法，其特征在于，所述显示区域中的肤色区域基于各像素是否属于肤色的判定来提取，将相邻的像素属于肤色的区域中的最大区域设为所述肤色区域。
8.根据权利要求1或2所述的画面显示控制方法，其特征在于，在与所述指示的位置对应地决定的位置位于所述显示区域之外的情况下，使显示的指示器不移动或移去所显示的指示器。
9.根据权利要求1或2所述的画面显示控制方法，其特征在于，与所述指示的位置对应的指示器的位置是以所述顶点的位置呈矩形的方式将投影变换应用于所述摄影图像中的所述顶点的位置及所指示的位置，而决定为指尖投影到所述显示区域的位置。
10.根据权利要求1或2所述的画面显示控制方法，其特征在于，所述计算机从分别佩戴在多个操作者的头部的多个可穿戴式终端，获取对各个操作者的手的部分连同所述显示器一起进行摄影所得的摄影图像，
分别提取来自各可穿戴式终端的摄影图像中的所述显示器的矩形框的顶点的位置及各操作者的手的部分所指示的位置，
基于所提取的顶点的位置及所指示的位置的位置关系，来决定是否有与各操作者的所述手的部分对应的所述显示区域内的位置，
如果有所述位置，则使所述指示器显示于所述位置，由此各操作者能够操作一个指示器。
11.一种存储有画面显示控制程序的计算机可读取的存储介质，其特征在于，所述画面显示控制程序使计算机执行下述处理：
从佩戴于同时观察具有矩形框以及显示区域的显示器的多个操作者的各自的头部的可穿戴式终端，获取各操作者佩戴的可穿戴式终端对各操作者指示该显示器的手的部分连同所述显示器一起进行摄影所得的图像；
提取各可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及佩戴所述可穿戴式终端的操作者的手所指示的位置；
基于所提取的顶点的位置及所指示的位置的位置关系，来决定与佩戴可穿戴式终端的各操作者的手对应的位置是否有在所述显示区域内的位置；以及
如果有所述位置则在所述显示区域的与第一操作者的手对应的所述位置显示第一指示器，所述第一操作者是所述多个操作者中最早进行操作的人；
当所述第一操作者通过放下手而该手从摄影图像消失时，则移去所述第一指示器，在从所述第一操作者之后指示所述显示器的第二操作者所佩戴的第二可穿戴式终端的摄影图像中，如果第二操作者的手的位置位于所述显示区域内,则在该位置显示第二指示器。
12.根据权利要求11所述存储介质，其特征在于，所述画面显示控制程序进而执行：识别映在所述摄影图像中的所述操作者的手势的处理；以及
对所述指示器的位置进行与所识别的手势相应的操作的处理。
13.一种画面显示控制系统，其特征在于，包括：
显示器，具有矩形框及显示区域；
多个可穿戴式终端，佩戴于同时观察所述显示器的多个操作者的各自的头部，且对各操作者指示所述显示器的手的部分连同所述显示器一起进行摄影；
指示器处理部，提取各可穿戴式终端的摄影图像中的所述矩形框的顶点的位置及佩戴所述可穿戴式终端的各操作者手所指示的位置，基于所提取的顶点的位置及所指示的位置的位置关系，来决定与佩戴可穿戴式终端的各操作者的手对应的位置是否有在所述显示区域内的位置；以及
显示处理电路，如果有所述位置则在所述显示区域的与第一操作者的手对应的所述位置显示第一指示器，所述第一操作者是所述多个操作者中最早进行操作的人，
所述指示器处理部在所述第一操作者通过放下手而该手从摄影图像消失时，则移去所述第一指示器，在从所述第一操作者之后指示所述显示器的第二操作者所佩戴的第二可穿戴式终端的摄影图像中，如果第二操作者的手的位置位于所述显示区域内,则在该位置显示第二指示器。
14.根据权利要求13所述的画面显示控制系统，其特征在于，还具备：
手势识别部，识别映在所述摄影图像中的所述操作者的手势；以及
显示处理部，对所述指示器的位置进行与所识别的手势相应的操作。
CN201811218016.4A 2017-11-09 2018-10-18 画面显示控制方法及画面显示控制系统 Active CN109765990B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017216380A JP6971788B2 (ja) 2017-11-09 2017-11-09 画面表示制御方法および画面表示制御システム
JP2017-216380 2017-11-09

Publications (2)

Publication Number Publication Date
CN109765990A CN109765990A (zh) 2019-05-17
CN109765990B true CN109765990B (zh) 2022-08-23

Family

ID=66327097

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811218016.4A Active CN109765990B (zh) 2017-11-09 2018-10-18 画面显示控制方法及画面显示控制系统

Country Status (3)

Country Link
US (1) US10824237B2 (zh)
JP (1) JP6971788B2 (zh)
CN (1) CN109765990B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019113825A1 (en) * 2017-12-13 2019-06-20 SZ DJI Technology Co., Ltd. Depth information based pose determination for mobile platforms, and associated systems and methods
KR20230100472A (ko) * 2021-12-28 2023-07-05 삼성전자주식회사 손의 관절에 관한 위치 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306243A (ja) * 2000-04-21 2001-11-02 Sony Corp 情報処理装置、認識可能動作通知方法及びプログラム格納媒体
CN104067605A (zh) * 2012-01-17 2014-09-24 夏普株式会社 拍摄装置、拍摄图像处理系统、程序以及记录介质
CN104199548A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
CN104317398A (zh) * 2014-10-15 2015-01-28 天津三星电子有限公司 一种手势控制方法、穿戴式设备及电子设备
CN104410883A (zh) * 2014-11-29 2015-03-11 华南理工大学 一种移动可穿戴非接触式交互系统与方法
CN104423046A (zh) * 2013-08-29 2015-03-18 精工爱普生株式会社 图像处理装置及具有其的头部安装型显示装置
EP3082017A1 (en) * 2015-04-15 2016-10-19 Thomson Licensing Method and system for displaying additional information associated with a content via an optical head mounted display device
CN107004279A (zh) * 2014-12-10 2017-08-01 微软技术许可有限责任公司 自然用户界面相机校准

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241280A (ja) * 1995-03-01 1996-09-17 Oki Electric Ind Co Ltd アプリケーション操作権の制御方法
JP2002209082A (ja) * 2001-01-12 2002-07-26 Minolta Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体
TW200601063A (en) * 2004-06-17 2006-01-01 Mitac Technology Corp Interactive access right control system of computer device and its method
JP2008033389A (ja) * 2006-07-26 2008-02-14 Fuji Xerox Co Ltd 機能指示システム、機能指示装置、機能指示解析システム、プレゼンテーションシステムおよび機能指示解析プログラム。
JP5004181B2 (ja) * 2008-01-11 2012-08-22 Ｋｄｄｉ株式会社 領域識別装置およびコンテンツ識別装置
JP5077956B2 (ja) * 2008-04-23 2012-11-21 Ｋｄｄｉ株式会社 情報端末装置
JP5151868B2 (ja) * 2008-09-30 2013-02-27 ブラザー工業株式会社 表示制御装置及びテレビ会議システム。
WO2012144145A1 (ja) * 2011-04-22 2012-10-26 パナソニック株式会社 ポインティング制御装置とその集積回路、およびポインティング制御方法
JP2016167311A (ja) * 2012-01-17 2016-09-15 シャープ株式会社 画像処理装置および画像処理方法
JP2015230496A (ja) 2014-06-03 2015-12-21 シャープ株式会社 電子機器
US10409443B2 (en) * 2015-06-24 2019-09-10 Microsoft Technology Licensing, Llc Contextual cursor display based on hand tracking
US20170293363A1 (en) * 2016-04-07 2017-10-12 Jeffrey Shawn McLaughlin System And Methods For Eye Gaze Triggered Control Of Appliance By Hand Gesture

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306243A (ja) * 2000-04-21 2001-11-02 Sony Corp 情報処理装置、認識可能動作通知方法及びプログラム格納媒体
CN104067605A (zh) * 2012-01-17 2014-09-24 夏普株式会社 拍摄装置、拍摄图像处理系统、程序以及记录介质
CN104423046A (zh) * 2013-08-29 2015-03-18 精工爱普生株式会社 图像处理装置及具有其的头部安装型显示装置
CN104199548A (zh) * 2014-08-29 2014-12-10 福州瑞芯微电子有限公司 人机交互式虚拟触控装置、系统及方法
CN104317398A (zh) * 2014-10-15 2015-01-28 天津三星电子有限公司 一种手势控制方法、穿戴式设备及电子设备
CN104410883A (zh) * 2014-11-29 2015-03-11 华南理工大学 一种移动可穿戴非接触式交互系统与方法
CN107004279A (zh) * 2014-12-10 2017-08-01 微软技术许可有限责任公司 自然用户界面相机校准
EP3082017A1 (en) * 2015-04-15 2016-10-19 Thomson Licensing Method and system for displaying additional information associated with a content via an optical head mounted display device

Also Published As

Publication number Publication date
US10824237B2 (en) 2020-11-03
CN109765990A (zh) 2019-05-17
JP2019087136A (ja) 2019-06-06
US20190138106A1 (en) 2019-05-09
JP6971788B2 (ja) 2021-11-24

Similar Documents

Publication Publication Date Title
US10198870B2 (en) Information processing apparatus, information processing system, and information processing method
EP2634727B1 (en) Method and portable terminal for correcting gaze direction of user in image
US20140254939A1 (en) Apparatus and method for outputting information on facial expression
US20180150186A1 (en) Interface control system, interface control apparatus, interface control method, and program
US20170147866A1 (en) Image processing device and image display device
WO2016129156A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US10168773B2 (en) Position locating method and apparatus
CN108830186B (zh) 文本图像的内容提取方法、装置、设备及存储介质
KR20140010541A (ko) 이미지 내 사용자의 시선 보정 방법, 기계로 읽을 수 있는 저장 매체 및 통신 단말
US20120219177A1 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
WO2008012905A1 (fr) Dispositif d'authentification et procédé d'affichage d'une image à authentifier
US20120236180A1 (en) Image adjustment method and electronics system using the same
CN111527468A (zh) 一种隔空交互方法、装置和设备
CN109765990B (zh) 画面显示控制方法及画面显示控制系统
US20120219178A1 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
CN106909871A (zh) 手势指令识别方法
EP3779660A1 (en) Apparatus and method for displaying graphic elements according to object
JP2014029656A (ja) 画像処理装置および画像処理方法
WO2015104919A1 (ja) ジェスチャー認識装置、操作入力装置およびジェスチャー認識方法
US9323981B2 (en) Face component extraction apparatus, face component extraction method and recording medium in which program for face component extraction method is stored
JP2017191426A (ja) 入力装置、入力制御方法、コンピュータプログラム、及び記憶媒体
CN114201028B (zh) 扩增实境系统与其锚定显示虚拟对象的方法
CN114527865B (zh) 基于注意力方向的装置互动方法
JP6789377B2 (ja) 画像表示システム
US20210383098A1 (en) Feature point extraction device, feature point extraction method, and program storage medium

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant