实施例1
图1示出了用设置在桌上的投影型显示装置201对于观看不同方向的多名用户向桌上投射旋转角度不同的2个影像202、203的例子。其中,在以下说明中以对“桌子”的影像投射为例进行说明,但该“桌子”是影像投射面的一例。因此,本实施例也可以将其他影像投射面(也可以是其他结构物的面或地面)作为对象。通过将投影型显示装置201设置在桌上,而基本上不需要在移动桌子时调整投影型显示装置201的位置。
在图1中,用虚线示出了投影型显示装置205能够光学投射图像的最大范围210。最大投射范围210在以下附图中也被示出。作为一个例子,投影型显示装置205在最大投射范围210中例如投射两个显示画面202和203。显示画面202和203对应于后述的OSD(屏幕显示)的画面。即,显示画面202、203中显示的图像是最大投射范围210中的部分图像。
例如,可以考虑对于桌子周围的人,将装置的设计图显示在最大投射范围210的整体中,在显示画面202、203中显示设计图的解说资料这样的使用方式。
图2中表示出了在这样的例子中,用户用手势输入控制显示画面的带有操作检测功能的投影型显示装置205的结构图的一例。带有操作检测功能的投影型显示装置205,包括摄像机100、2个照明101和102、阴影区域提取部104、特征点检测部105、接近度检测部106、接触点检测部107、轮廓检测部108、方向检测部109、控制部110、显示控制部111、驱动电路部112、输入端子部113、输入信号处理部114和投射部115。控制部110生成由各检测部检测出的相对于操作面的手指的接近度、接触点坐标、指点方向等操作状态的检测结果数据。
另外,显示控制部111基于检测结果生成操作模式、指针显示位置、指针显示方向等显示控制数据,对于经过输入端子113和输入信号处理部114的影像信号,进行基于显示控制数据的处理。由驱动电路部112对于处理后的影像信号进行投射所需的处理,从投射部115对投射物投射。其中,图2省略了缓存和存储器等的记载,但只要适当搭载需要的缓存和存储器等即可。
图3是表示用户3对带有操作检测功能的投影型显示装置205的显示画面203进行操作的状态的一例的图。用户3使作为操作部的手指30接近投射物204的显示画面203、或者接触某个位置来进行要求的操作。即,例如在桌面即投射部204中,显示画面203也是用于用户3对投影型显示装置205进行操作的操作面。关于由用户3进行的操作,在后文中详细叙述。
带有操作检测功能的投影型显示装置205具备2个照明101和102、摄像机100。2个照明101和102照射用户3的手指30,摄像机100拍摄手指30及其附近。手指30接近或接触投射物204时手指30的阴影的形状变化,所以投影型显示装置205分析摄像机100的图像,检测手指的接近度、接触点、指点方向。
其中,通过将带有操作检测功能的投影型显示装置205设置在桌上,能够减少在照明101和102照射手指30时光被遮挡的机会。
接着,说明图2所示的带有操作检测功能的投影型显示装置205的各部的动作的一例。摄像机100由图像传感器、透镜等构成,拍摄包括用户3的作为操作部的手指30的图像。2个照明101和102由发光二极管、电路基板、透镜等构成,对投射物204和用户3的手指30照射照明光,在用摄像机100拍摄的图像内投影出手指30的阴影。
其中,也可以使照明101和102为红外光照明,摄像机100由红外光摄像机构成。由此,能够与从带有操作检测功能的投影型显示装置205投影的影像信号的影像即可见光影像分离地取得用摄像机100拍摄的红外光图像。其中,照明光、拍摄光只要是能够与投影型显示装置205的投影影像分离的可见光外的光线即可,所以不仅可以使用红外光,也可以使用紫外光。
阴影区域提取部104从用摄像机100得到的图像中提取阴影区域生成阴影图像。例如,从操作检测时的拍摄图像减去预先拍摄的投射物204的背景图像生成差分图像,对于差分图像的亮度用规定的阈值Lth二值化,将阈值以下的区域作为阴影区域即可。进而,对于所提取出的阴影进行将相互不连接的阴影的区域分别区分为另外的阴影的所谓标记(labeling)处理。通过标记处理,对于所提取出的多个阴影能够识别对应于哪个手指、即能够识别与1个手指对应的成对的2个阴影。
特征点检测部105检测由阴影区域提取部104提取出的阴影图像内的特定位置(以下称为特征点)。例如检测阴影图像内的前端位置(对应于指尖位置)作为特征点。为了检测特征点使用各种方法,但前端位置的情况下,能够根据构成该阴影图像的像素的坐标数据检测出来,或者也能够通过图像识别等检测出与特征点所具有的特有形状一致的部分。因为特征点从1个阴影检测出1处,所以对于1个手指(2个阴影)检测出2处。
接近度检测部106测定由特征点检测部105检测出的2个特征点之间的距离d,基于距离d检测手指与操作面的间隙s(接近度A)。由此,判定手指正在接触操作面、还是未接触操作面。
接触点检测部107在由接近度检测部106判定为手指正在接触操作面的情况下,基于其特征点的位置,检测手指对操作面的接触点,计算其坐标。
轮廓检测部108从由阴影区域提取部104提取出的阴影图像中提取阴影区域的轮廓。例如,对阴影图像内在一定方向上扫描来决定轮廓追踪的开始像素,逆时针地追踪开始像素的近邻像素来得到轮廓。
方向检测部109从由轮廓检测部108检测出的轮廓线中提取大致直线状的线段。然后,基于提取出的轮廓线的方向,检测操作面上的手指的指点方向。
其中,上述各检测部的处理不限于上述方法,也可以使用其他图像处理的算法。另外,上述各检测部不仅能够用电路基板构成的硬件,也可以用软件构成。
控制部110控制装置整体的动作,生成用各检测部检测出的相对于操作面的手指的接近度、接触点坐标、指点方向等的检测结果数据。
显示控制部111基于由控制部110生成的手指的接近度、接触点坐标、指点方向等的检测结果数据,生成操作模式、指针位置、指针方向等显示控制数据,对于经过输入端子113和输入信号处理部114的影像信号,进行基于显示控制数据的处理。
驱动电路部112对处理后的影像信号进行为了使其作为显示影像投射的处理。显示图像从投射部115被投射到投射物。
对以上各部配备于一个带有操作检测功能的投影型显示装置205的例子进行了说明,但也可以是其中一部分构成为另外的单元,通过传输线连接的结构。
图4A和图4B是表示用2个照明生成的用户的手指的阴影的形状的图。图4A是手指30与投射物204未接触的状态,图4B是正在接触的状态。
如图4A所示,手指30未接触投射物204的状态(间隙s)下,来自2个照明101、102的光被手指30遮挡,分别形成阴影401、402(用斜线表示)。在摄像机图像中,2个阴影401、402在手指30的两侧相互分离地存在。
另一方面,如图4B所示,手指30的指尖正在接触投射物204的状态(间隙s=0)下,2个阴影401、402在手指30的指尖的位置接近地存在。其中,阴影401、402的一部分区域被隐藏在手指30的背后(背光处),但该隐藏的部分不包括在阴影区域中。本实施例中,利用手指30接近投射物204时阴影401与阴影402的间隔(特别是特征点之间的距离)接近的性质,判定为手指30与操作面204的接触。
图5是表示用户的操作位置对阴影的形状的影响的图。此处,对于用户的操作位置从投射物204的中央向左侧偏离的情况(用户位置3)、和向右侧偏离的情况(用户位置3')的摄像机图像进行比较。此时,从摄像机100观察的用户的操作位置变化,但在其的摄像机图像中,相对于手指30(30')的阴影401(401')、402(402')的位置关系不变。即,与用户操作位置无关地,总是在手指30(30')的两侧存在阴影401(401')和402(402')。这是因为它由摄像机100与照明101、102的位置关系唯一决定。因此,无论用户在哪个位置对投射物204进行操作都能够检测出2个阴影401、402,本实施例的操作检测方法能够有效地应用。
图6是表示手指与操作面的间隙和阴影的形状的关系的图。在手指30的两侧形成的2个阴影401、402的间隔,因手指30与投射物204的间隙s而变化。为了定义2个阴影401、402的间隔,在各阴影401、402的内部设定特征点601、602(用×记号表示),测定特征点之间的距离d。此处将特征点设定为阴影的前端位置(指尖位置)。手指30与投射物204的间隙s较大的情况下,2个阴影401、402的间隔较大,2个特征点601、602的距离d也较大。随着手指30接近投射物204,特征点601、602的距离d变小,手指30接触投射物204时(间隙s=0),特征点601、602的距离d成为最小值。
图7是说明接近度检测部106中的接近度的判定的图。此处,基于特征点之间的距离d进行手指的接近度A的判定。为了判定手指的接近度A,而规定对于特征点之间的距离d的4个阈值d1、d2、d3、d4(其中,d1<d2<d3<d4)。由此,将接近度A分类为5级(级别1~5),级别值越大,手指30与投射物204的间隙s越小。首先,规定用于识别手指30接触了投射物204的状态(间隙s=0)的阈值d1,在距离d<d1的情况下,判定为接近度A是最大级别5(接触状态)。对于除此以外的非接触状态,使用阈值d2~d4将接近度A分类为4级(级别4~1)。其中,d>d4的情况下,判定接近度A是最小级别1。本例中用4个阈值将接近度分类为5级,但接近度的分类数不限于此,与控制内容对应地适当设定即可。
图8是说明接触点检测部107中的接触点的决定的图。表示出了手指30接触了投射物204的状态下的阴影401、402的形状,此处将特征点601、602设定为各阴影401、402的前端位置。该情况下,因为2个特征点601、602与作为接触点的指尖位置近,所以能够将2个特征点601、602的中点P视为手指30与投射物204的接触点,计算其坐标。
上述例子中,将特征点601、602设定为各阴影401、402的前端位置,使用该方法易于设定特征点,并且因为接触点P的位置也存在于其附近而能够容易地决定。
图9是表示将特征点设定为其他位置的情况的图。图8中将特征点601、602设定为阴影401、402的前端位置,与此不同,图9中将特征点601'、602'设定为各阴影的长度方向中间位置。该情况下,特征点601'、602'之间的距离d'随着阴影401、402的间隔的变化而变化,所以能够进行手指30与投射物204的接近度A的判定。其中,该情况下的接触点P'在长度方向上与特征点601'、602'的位置偏离,所以通过预先求出从特征点601'、602'到预想的接触点P'的距离(修正量)、以此进行修正而能够求出接触点P'。同样,也能够将特征点设定为阴影401、402中的除此以外的位置。
图10是表示用多个手指操作的情况下的阴影的形状的图。在张开手的状态下使多个手指31、32……接触操作面时,对于各手指形成左侧的阴影411、421……和右侧阴影412、422……。然后,对于各阴影设定特征点。此处,表示出了与阴影411、412对应的特征点611、612,和与阴影421、422对应的特征点621、622。通过测定对应的特征点611、612、或者特征点621、622之间的距离d,能够求出各手指31、32的接近度和接触点。由此,根据本实施例,即使在张开手的状态下也能够对多个手指的接触进行独立地检测,所以能够应用于多点触控操作。
图11A~图11C是说明方向检测部109中的指点方向的决定的图。表示出了使手指30的方向(指点方向)倾斜时的阴影401、402的形状,阴影401、402的方向也随着指点方向的变化而变化。为了检测指点方向,首先用轮廓检测部108检测与阴影401、402对应的轮廓线501、502。其中,在轮廓线的检测中,除去指尖等的曲线部分,检测由大致直线状的线段构成的轮廓线。之后,方向检测部109用以下方法决定指点方向。
图11A中,使用与阴影401、402对应的内侧的轮廓线501、502。然后,将内侧的轮廓线501、502的倾斜方向701、702中的任一者决定为指点方向。
图11B中,使用与阴影401、402对应的外侧的轮廓线501'、502'。然后,将外侧的轮廓线501'、502'的倾斜方向701'、702'中的任一者决定为指点方向。
图11C中,使用与阴影401、402对应的内侧的轮廓线501、502。然后,将内侧的轮廓线501、502的中线的倾斜方向703决定为指点方向。该情况下,因为是根据2个轮廓线501、502的平均方向求出,所以精度更高。此外,也可以将外侧的轮廓线501'、502'的中线方向作为指点方向。
图12A和图12B是表示实施例1中的操作检测方法的处理流程的图。图12A是接近度和接触点检测的流程,图12B是指点方向检测的流程。
首先,从图11A的接近度和接触点的检测方法开始说明。
在S1001中,阴影区域提取部104从用摄像机100拍摄的图像减去背景求出差分图像,将亮度在阈值Lth以下的部分提取为阴影区域。此时,对于提取出的阴影进行将相互不连接的阴影的区域分别区分为另外的阴影的所谓标记处理。
在S1002中,特征点检测部105对于标记处理后的各阴影检测特征点。例如,如图6所示,检测出各阴影401、402的前端位置作为特征点601、602。
在S1003中,测定检测出的2个特征点601、602之间的距离d。
在S1004中,接近度检测部106基于距离d判定手指30与投射物204的接近度A。在判定中,例如使用图7对距离d与阈值d1~d4进行比较,将接近度A分类为级别1~5。然后,在d<d1的情况下,判定为接近度A=5(接触状态)。
在S1005中,判定所判定出的接近度A是否是接触时的级别(=5)。如果判定结果是接近度A=5则前进至S1006,除此以外(非接触状态)的情况下结束。
在S1006中,接触点检测部107检测手指30与投射物204的接触点。例如,如图8所示,将2个特征点601、602的中点P作为接触点,计算其坐标。特征点的设定方法与上述(前端位置)不同的情况下,根据该设定方法修正接触点位置即可。
其中,在操作状态下反复执行以上处理流程,进行追踪操作状态的变化的操作检测。
接着,说明图12B的指点方向的检测方法。
在S1011中,阴影区域提取部104从由摄像机100拍摄的图像减去背景求出差分图像,将亮度在阈值Lth以下的部分提取作为阴影区域。这与上述S1001相同。
在S1012中,轮廓检测部108对于标记处理后的各阴影检测轮廓线(大致直线部)。例如,如图11C所示,检测阴影401、402的内侧的轮廓线501、502。此时,除去这些轮廓线中的指尖等的曲线部分,检测出大致直线状的线段。
在S1013中,方向检测部109将各轮廓线501、502的中线的倾斜方向703判定为指点方向。其中,指点方向的判定也可以是图11A或图11B所示的方法。
其中,在操作状态下反复执行以上处理流程,进行追踪操作状态的变化的操作检测。
另外,图12A的接近度和接触点的检测处理和图12B的指点方向的检测处理能够并行地进行。
图13是表示显示控制部121中的与手指的接近度相应的控制的一例的图。
表示出了与手指30和投射物204的接近度A相应地切换操作模式和指针显示。
关于操作模式,在接近度A为最高的级别5(接触状态)时设为接触操作模式。在除此以外的非接触状态下在接近度A为比较高的级别4、3时切换为空中操作模式,在接近度A为比较低的级别2、1时切换为操作停止模式。通过这样的控制,在用户3使手指30接触投射物204的状态之外,在从投射物204悬浮的状态下也能够进行操作对象装置的操作。另外,手指30离开投射物204一定距离以上的情况下,切换为操作停止模式,能够防止用户不想要的操作。
另外,关于指针显示,以在接近度A为比较高的级别5、4时显示指针、在接近度A为比较低的3、2、1时不显示指针的方式进行切换。通过这样的控制,用户3能够在使手指30接触投射物204之前的阶段确认指针,易于在接触时对准指针的位置。通过以上控制,提高了操作对象装置的操作性。
图14A~图14C是表示显示控制部121的与指点方向相应的控制的一例的图。
图14A是与指点方向700相应地修正指针800的显示位置的情况。显示指针800时,在与接触点检测部107中检测出的接触点P完全相同的位置显示时,指针800被手指30遮挡而难以被用户3看见。于是,沿着由方向检测部109检测出的指点方向700向指尖前方偏移规定量地显示指针800。由此,指针800易于被用户3看见。
另外,除以上之外,也可以与手指30的接近度A相应地变更指针800的显示位置的偏移量(修正量)。例如在接近度A较低时增大修正量,在接近度A较高时减小修正量。由此,指针800的位置随着用户3的手指30接近投射物204而接近指尖,使用户3能够以指针800的显示位置为定位标识地进行精度良好的操作。
图14B是与指点方向700相应地修正指针800的显示方向的情况。显示箭头形状的指针800时,例如如图14A所示与指点方向700无关地总是在一定方向上显示时,指针800的显示方向与指点方向700不一致,会对用户3造成不协调感。因此,要使指针800的显示方向与方向检测部109中检测出的指点方向700一致地进行显示。由此,与指点方向700的不一致消除,能够消除对于用户3的不协调感。
图14C是与指点方向700相应地修正接触点的位置的情况。接触点检测部107中检测出的接触点P由特征点的位置决定,所以实际上有时会偏离与投射物204接触的位置。例如,将特征点设为阴影的前端位置的情况下,与实际的接触位置(大多是指腹的部分)相比向手指的前端侧(指尖)的位置偏移。于是。沿着方向检测部109检测出的指点方向700,将接触点位置向指根侧修正规定量(P→P”)。由此,能够更加正确地取得手指30与投射物204的接触点。
以上是带有操作检测功能的投影型显示装置205中的基于指点检测等的用户3的操作内容的检测方法。以上说明的方式的基于指点手势的接触点和指点方向的检测方式中,只要是包括手指的细长物体就能够操作。这与从笔尖发出规定的光进行识别处理的发光笔方式相比,不需要确保专用的发光笔等,在这一点上易用性大幅改善。
接着,说明用户3使用如以上说明的指点等操作实现的画面操作。
操作前的显示画面数、显示的方向、显示的位置、显示的大小等按以下所示的例子等的方法决定。
例如,带有操作检测功能的投影型显示装置205中可以是缺省设定的显示画面的设定。
另外,用户也可以进行条件设定来手动决定显示画面数、显示的方向、显示的大小等。
另外,也可以通过上述指点检测等,推测手指或手臂伸出的方向来确定人存在的位置,或者根据伸出的手指或手臂的数量确定用户的人数等,由此设定易于观看的显示方向和显示画面数。
另外,也可以识别用户的人数和位置、投射物的形状等,与其相应地决定显示画面数、显示位置、显示方向、显示大小等。这样的用户的人数和位置、投射物的形状等的识别中,设置在桌上的投影型显示装置因为与识别物的距离较近,且与识别物之间被障碍物遮蔽的频率较低,所以是有利的。
在图15~18中表示出识别投射物的形状等、决定显示画面的显示方向的方法的例子。图15和图16是对长方形桌子投射的情况的例子。如图15所示,用带有操作检测功能的投影型显示装置205的摄像机100拍摄并识别出用户3位于长方形桌子即投射物204附近。进而,识别出用户3与桌子边缘的最接近部302的桌子边缘的位置。将显示方向决定为该302的位置的边缘方向与显示影像的底边平行、并且302的位置为下侧的方向、即如图16的显示影像202所示地显示的方向。
图17和图18是对圆形桌子投射的情况的例子。如图17所示,用带有操作检测功能的投影型显示装置205的摄像机100拍摄并识别出用户3位于圆形桌子即投射物204附近。并且,识别出用户3与桌子边缘的最接近部303的桌子边缘的位置。将显示方向决定为该303的位置的边缘方向与显示影像的底边平行,并且303的位置为下侧的方向、即如图18的显示影像202所示地显示的方向。
其中,在该图15~18的说明中,表示出了用摄像机100进行用户3的位置和投射物的形状的拍摄的例子,但摄像机100基本上是用于拍摄指点检测等的用户3的操作的,所以也可以具备用于拍摄用户3的位置和投射物的形状的另外的摄像机。
如图3所示显示多个影像的情况下,对多人的位置进行同样的作业,分别决定显示的方向即可。在图19和20中表示出显示多个显示影像的情况的例子。两者都检测多人及其位置,根据最接近其位置的桌子边缘的位置和形状决定显示位置和显示方向。
这样,能够根据最接近用户3的桌子边缘的形状自动地决定显示方向。
在图21A~图24B中表示出通过用户3的使用手势的画面操作使利用这些方法决定的显示画面移动的情况的例子。假设各图中表示出的指尖与投射物204接触。例如图21A表示操作前的状态、图21B表示操作后的状态。图22A~图24B也同样。
在图21A以后的大多附图中与图1同样,用虚线表示出了投影型显示装置205能够光学投射图像的最大范围210。如上所述,显示画面202和203如OSD那样显示在最大投射范围210的显示范围内。即,显示画面202、203是可投射范围210中的部分图像。
图21A和图21B是平行移动的例子。图21A中使接触显示画面203的手指不改变方向地在上下方向、左右方向、斜方向的任一方移动。这样,如图21B所示,显示画面中仅有手指接触的显示画面与手指的动作同样地进行移动。由此,用户能够将显示画面之一移动至要求的位置。
图22A和图22B是旋转移动的例子。图22A中使接触显示画面203的手指旋转。这样,如图22B所示,显示画面中仅有手指接触的显示画面与手指的动作一致地旋转显示方向。由此,能够将显示画面之一旋转为用户要求的方向。
本实施例的结构中,能够检测指点方向。由此,如图22B所示,在不改变接触点的位置自身地旋转手指方向的情况下也能够实现显示画面的旋转操作。这是用平板终端等的触摸传感器难以实现的旋转操作,用本实施例的结构才能够实现。
另外,在显示画面的旋转操作时,因为投影型显示装置205的可光学投射范围的形状与作为旋转对象的显示画面的位置、形状的关系,存在不能够保持旋转前的显示画面的大小地旋转的情况。该情况下,在旋转动作的过程中并行地进行显示画面的缩小处理即可。向一方的方向旋转时需要显示画面的缩小处理的情况下,旋转至中途使显示画面缩小后,向反方向旋转恢复原本角度时,可以进行放大处理恢复原本的大小。
图23A和图23B是增加显示画面数的操作的例子。图23A中使接触显示画面200的外侧的手指向对边的外侧移动,由此进行将显示画面切为两半那样的动作。这样,如图23B所示,从显示画面被切为两半的位置如细胞分裂那样生成2个显示与显示画面200中所显示的内容相同的内容的画面(显示画面202、203)。由此,能够如用户所要求地增加显示画面数。
图24A和图24B是放大显示画面的操作的例子。图24A中使接触显示画面202的2个手指就好像放置于长方形的相对的顶点上一般地定位,图24B中以拉伸连接该相对的顶点的对角线的方式扩大2个手指之间的距离。这样,仅有受操作的显示画面202与拉伸量相应地放大画面。如果向反方向移动,则也能够实现缩小画面而能够使之前脱离显示画面202外的区域显示的操作。由此,能够如用户所要求地进行显示画面的放大缩小。
接着,用图25A至图28B说明使用多个手指的显示画面操作的例子。
图25A和图25B是通过2个手指的操作旋转显示画面203的例子。如图25A所示,在2个手指两者都在显示画面203内与桌子接触的情况下,如图25B所示,检测出2个手指以改变连接2个手指的接触点的直线的倾斜的方式移动时,带有操作检测功能的投影型显示装置205与该倾斜的变化对应地变更显示画面203的显示角度。由此,能够进行显示画面的旋转处理。
与此相对,如图26A所示,即使在2个手指两者都与桌子接触的情况下,在2个手指的接触点两者不在一个显示画面内的情况(例如,仅有一个手指的接触点在显示画面203内,另一个手指的接触点在显示画面203外的情况等)下,如图26B所示,即使2个手指以改变连接2个手指的接触点的直线的倾斜的方式移动,也可以不进行显示画面203的显示角度的变更。
可以由控制部110将由摄像机100检测出的多个手指中的、与桌子接触的时间差在规定时间内的2个手指判断为在图25A~图26B中所说明的处理中作为对象的手指的组合。例如,控制部110检测出由摄像机100检测出的多个手指中的、与桌子接触的时间差在1秒以内的2个手指,判断为这2个手指的组合是在图25A~图26B中所说明的处理中作为对象的手指的组合即可。
其中,上述2个手指的接触位置、和对于显示画面203的范围的判断处理中使用的这2个手指的接触位置,使用这2个手指从空中接触桌子的最初的位置即可。这些手指接触桌上的同时从显示画面203外移动至画面内等情况下,也可以不开始显示画面的旋转处理。这样,对于是否开始旋转处理的判断,通过仅用2个手指从空中接触桌子的最初的位置进行判断,能够使处理简化,具有控制部110的处理效率提高的效果。另外,根据上述判断处理,能够在多个显示画面中,明确地确定作为旋转处理操作的对象的显示画面。
接着,图27A和图27B是通过2个手指的操作放大显示画面202的例子。如图27A所示,2个手指两者都在显示画面202内与桌子接触的情况下,如图27B所示检测出2个手指以连接2个手指的接触点的直线的距离变长的方式移动时,带有操作检测功能的投影型显示装置205与该长度的变化对应地变更显示画面202的显示尺寸。由此,能够进行显示画面的放大处理。此外,连接2个手指的接触点的直线的距离变短的情况下,进行显示画面的缩小处理。
与此相对,如图28A所示,即使在2个手指两者都与桌子接触的情况下,在2个手指的接触点中的一个不在一个显示画面内的情况(例如,仅有一个手指的接触点在显示画面202内,另一个手指的接触点在显示画面202外的情况等)下,如图28B所示,即使2个手指以连接2个手指的接触点的直线的长度变化的方式移动,也可以不进行显示画面202的尺寸的变更。
与图25A~图26B的例子同样,由控制部110将由摄像机100检测出的多个手指中的、与桌子接触的时间差在规定时间内的2个手指判断为在图27A~图28B中所说明的处理中作为对象的手指的组合。例如,控制部110检测出由摄像机100检测出的多个手指中的、与桌子接触的时间差在1秒以内的2个手指,判断这2个手指的组合是在图27A~图28B中所说明的处理中作为对象的2个手指的组合即可。
其中,上述2个手指的接触位置、和对于显示画面202的范围的判断处理中使用的这2个手指的接触位置,使用这2个手指从空中接触桌子的最初的位置即可。在这些手指接触桌上的同时从显示画面202外移动至画面内等的情况下,也可以不开始显示画面的尺寸变更处理。这样,对于是否开始尺寸变更处理的判断,通过仅根据2个手指从空中接触桌子的最初的位置进行判断,能够使处理简化,具有控制部110的处理效率提高的效果。另外,依据上述判断处理,能够在多个显示画面中,明确地确定作为尺寸变更处理操作的对象的显示画面。
依据以上用图25A至图28B所说明的、使用多个手指的显示画面操作,能够明确地确定作为旋转处理和尺寸变更处理的对象的显示画面。另外,能够使控制部的处理高效化。
如以上说明,利用能够设置在桌上的带有操作检测功能的投影型显示装置,能够精度良好地进行基于指点检测等的操作。
实施例4
接着,说明本发明的实施例4。
本发明的实施例1中所说明的投影型显示装置中,如以上所说明,能够通过用户的手势操作(指点操作)进行各种画面操作。本实施例中,在以下说明在实施例1、2、3的投影型显示装置的结构和功能之外,还搭载了关于显示影像的详细信息和菜单画面显示功能的例子。
图31A~图31D表示在投影型显示装置205在桌子204上显示一个显示画面200的情况下,要进行显示影像的详细信息或菜单画面显示时的动作。
作为要进行显示影像的详细信息或菜单画面显示时识别的手势的例子,可以使用如图31A所示的处于指点方向不同的2个手指接触的状态的手势。此处,2个接触点不需要完全接触,可以以在设计上设定的规定距离以下作为条件。另外,作为要进行显示影像的详细信息或菜单画面显示时识别的手势的另一例,也可以使用如图31B所示的处于3个手指接触显示面的状态的手势。
此外,图31A和图31B所示的手势只是一例,只要是能够与其他操作区分的手势,则也可以是其他手势。
本实施例中,在检测出图31A或图31B所示的手势的情况下,投影型显示装置205的控制部110判别为详细信息显示操作,如图31C所示显示详细信息3101。
另外,作为另一例,在检测出图31A或图31B所示的手势的情况下,投影型显示装置205的控制部110判别为菜单画面显示操作,如图31D所示显示菜单画面3102。
另外,作为另一例,在检测出图31A或图31B所示的手势的情况下,投影型显示装置205的控制部110也可以判别为进行详细信息显示和菜单画面显示两者的操作,同时进行图31C所示的详细信息3101的显示和图31D所示的菜单画面3102的显示。
此外,关于图31C所示的详细信息3101的显示和图31D所示的菜单画面3102的显示的位置,只要在显示画面200中或者附近的规定位置显示即可。另外,作为另一例,也可以在与图31A所示的手势的手指的接触点或检测出图31B所示的手势的位置(3个手指的中央的手指的位置)相应的位置,显示详细信息3101或菜单画面3102。
其中,作为详细信息3101的例子,可以是正在显示的影像的性质(输入时的分辨率、帧速率、隔行扫描、逐行扫描等),在输入影像中包括标题信息等附加信息的情况下,也可以是该信息。另外,具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下,也可以是识别这些输入源的信息。
另外,作为菜单画面3102中表示出的菜单项目的例子,可以显示菜单中使用的语言切换菜单、显示影像的亮度、对比度等的画质调整菜单、梯形修正处理菜单等。另外,具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下,也可以显示用于进行输入源的切换的菜单项目。
接着,用图32A和图32B说明在进行了图23A和图23B中所说明的显示画面数的增加操作之后,按每个显示画面进行个别详细信息显示或个别菜单画面显示的情况的例子。
图32A和图32B是与图23A和图23B同样的显示画面数的增加操作的手势及其显示例,因为已在实施例1中说明所以省略说明。图32C表示出了在通过显示画面数的增加操作而生成的多个显示画面202、203中,在显示画面202内包括手指的接触点的位置检测出了图31A所示的手势的例子。该情况下,投影型显示装置205的控制部110如图32D所示,在显示画面202附近(或者也可以在画面内),进行关于显示画面202的个别详细信息显示或个别菜单画面显示、或者将它们组合了的显示。
该情况下,图32D所示的个别菜单画面显示关于显示画面202的个别的菜单项目。例如,可以显示关于显示画面202的显示影像的画质调整菜单(不进行关于显示画面203的显示影像的画质调整)。另外,具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下,也可以显示用于进行显示画面202中显示的显示影像的输入源的切换(不进行显示画面203的显示影像的输入源的切换)的菜单项目。另外,仅对作为多个显示画面之一的显示画面202进行梯形修正是不自然的,所以在关于该显示画面202的个别菜单显示中,可以不显示梯形修正的菜单项目,或者采用虽然显示但不能操作的方式。
同样,图32D所示的个别详细信息,显示关于显示画面202的个别的详细信息。显示显示画面202中示出的影像的性质、标题信息等、识别输入源的信息等即可。具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下,能够从图32D所示的关于显示画面202的菜单画面进行输入源的切换。此时,显示画面202和显示画面203中显示的影像的性质、标题信息、输入源等不同,所以能够分别地确认各个显示画面的详细信息对于观看者而言是有益的。
其中,图32A~图32D中,作为用于个别详细信息显示或个别菜单画面显示的手势,使用了图31A的手势的例子,但也可以使用图31B的手势。
接着,用图33A~图33D,说明在进行了图22A、图22B、图25A、图25B中所说明的显示画面的旋转操作之后,进行每个显示画面的个别详细信息显示或个别菜单画面显示的情况的例子。
图33A和图33B是与图22A和图22B同样的显示画面的旋转操作的手势及其显示例,因为已在实施例1中说明所以省略说明。图33C表示出了在多个显示画面202、203中,一个显示画面203在通过显示画面的旋转操作被旋转后的状态下,在显示画面203内包括手指的接触点的位置检测出了图31B所示的手势的例子。该情况下,投影型显示装置205的控制部110如图33D所示,在显示画面203的附近(或者也可以在画面内),进行关于显示画面203的个别详细信息显示或个别菜单画面显示、或者将它们组合的显示,此时,以与显示画面203的显示角度对应的角度,进行这些个别详细信息显示或个别菜单画面显示。关于显示画面203的个别详细信息显示或个别菜单画面显示的内容,与图32A~图32D中的关于显示画面202的说明相同,所以省略再次说明。
对于旋转后的显示画面,位于易于观看该显示画面的位置的观看者进行手势操作来显示个别详细信息显示或个别菜单画面显示的可能性较高。因此,如图33D所示,通过以与显示画面的角度对应的角度显示个别详细信息显示或者个别菜单画面显示,具有观看者易于操作正在观看的画面的优点。
其中,图33A~图33D中,作为用于个别详细信息显示或个别菜单画面显示的手势,使用了图31B的手势的例子,但也可以使用图31A的手势。
接着,用图34A~图34D说明在显示多个显示画面的情况下,不是显示每个画面的个别菜单,而是显示以全部显示画面为对象的总体菜单的例子。图34A~图34D的例子中,作为用于显示总体菜单的手势,与图32A~图32D或图33A~图33D同样地使用与图31A或图31B相同的手势,但手势的检测位置与图32A~图32D或图33A~图33D不同。例如,图31A的手势的手指的接触点在多个显示画面外被检测出的情况下,判别为总体菜单显示开始的手势。同样,与图31B相同的手势中的3个手指在多个显示画面外被检测出的情况下,判别为总体菜单显示开始的手势。以下,用附图具体说明。
图34A的例子中,投影型显示装置205在桌子204上显示了显示画面202和显示画面203。此处,检测出了图31A的手势,在既不是显示画面202也不是显示画面203的位置检测出了手指的接触点。该情况下,投影型显示装置205的控制部110控制显示控制部111,如图34B所示,显示总体菜单3401。另外,也可以显示关于画面总体的详细信息即总体详细信息3402。
此处,总体菜单3401的菜单项目可以显示同时进行对全部显示画面的显示影像的画质调整的总体画质调整的菜单。另外,也可以显示用于切换总体菜单中使用的语言的语言切换菜单项目。另外,对于在个别画面中的个别菜单显示中不能使用的梯形修正的菜单项目,也可以使其能够在总体菜单3401中使用。
另外,作为总体详细信息3402的例子,可以是显示画面的数量等。另外,具有多个输入端子、能够从不同的输入源输入影像的投影型显示装置的情况下,也可以显示多个显示画面和输入源的一览表。
其中,图34A的例子中,也可以使用图31B的手势代替图31A的手势。
接着,在图34C的例子中,投影型显示装置205在桌子204上显示了显示画面202和显示画面203,但显示画面203因旋转处理而以与显示画面202不同的角度显示。此处,检测出了图31A的手势,在既不是显示画面202也不是显示画面203的位置检测出了手指的接触点。该情况下,投影型显示装置205的控制部110控制显示控制部111,如图34D所示,显示总体菜单3401。另外,可以如图34D的显示例所示,此时显示关于多个显示画面各自的个别详细信息3403、3404。
此处,在图33D的例子中,显示个别详细信息时,以与个别的显示画面的显示角度对应的角度进行了显示。与此相对,如图34D所示,在显示总体菜单3401的情况下,为了使总体菜单3401的操作者易于观看,而优选与个别的显示画面203的显示角度无关地以与总体菜单3401的显示角度相同的角度进行显示。
以上说明中,在图34B的例子中与总体菜单显示一同进行总体详细显示,在图34D的例子中与总体菜单显示一同进行个别详细信息显示,但其也可以是任意的显示。另外,也可以仅显示总体菜单。进而,也可以将总体菜单显示和总体详细显示和个别详细信息显示全部显示。
此外,本实施例中说明的菜单画面(个别菜单画面、总体菜单画面)中,也可以设置设定各实施例中所说明的各手势识别功能的ON/OFF的菜单项目。例如,可以使全部手势识别功能OFF。该情况下,基于与遥控器和主体的按钮操作相应的操作信号操作投影型显示装置205。另外,也可以设为能够使图21A所示的一个手指移动手势的识别处理或图21B所示的一个手指旋转手势的识别处理等个别地OFF。这在用指示棒等进行说明时存在误识别的可能性等情况下是有效的。
另外,关于旋转动作,也可以显示选择识别图21B所示的一个手指旋转手势与图25A和图25B所示的2个手指旋转手势中的哪一方的菜单项目。这样,根据情况,有时在投影型显示装置205按要识别的每个手指个别地设定ON/OFF时是具有优势的。这样的情况下,例如构成为对于图21A之后所说明的全部手势都能够从菜单画面分别设定ON/OFF即可。在个别菜单画面的情况下,仅对于对应的显示画面应用这些手势的ON/OFF设定即可。
根据以上说明的本实施例的详细信息显示和菜单显示,能够进行对于观看者而言易用性良好的详细信息显示和菜单显示。