CN105468210A - 位置检测装置、投影仪以及位置检测方法 - Google Patents

位置检测装置、投影仪以及位置检测方法 Download PDF

Info

Publication number
CN105468210A
CN105468210A CN201510582203.0A CN201510582203A CN105468210A CN 105468210 A CN105468210 A CN 105468210A CN 201510582203 A CN201510582203 A CN 201510582203A CN 105468210 A CN105468210 A CN 105468210A
Authority
CN
China
Prior art keywords
indication body
screen
motion
control part
operating surface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510582203.0A
Other languages
English (en)
Other versions
CN105468210B (zh
Inventor
本田康弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Publication of CN105468210A publication Critical patent/CN105468210A/zh
Application granted granted Critical
Publication of CN105468210B publication Critical patent/CN105468210B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供位置检测装置、投影仪以及位置检测方法,能够不检测操作者无意中进行的操作作为输入。具有:检测部,其检测对屏幕进行操作的指示体以及与指示体不同的指示体;摄影部,其形成对包含屏幕的范围进行拍摄而得到的摄影图像;以及控制部,其根据摄影部的摄影图像的数据,检测指示体相对于屏幕的运动以及指示体相对于屏幕的位置,由此,判定是否检测指示体的操作作为输入。

Description

位置检测装置、投影仪以及位置检测方法
技术领域
本发明涉及位置检测装置、投影仪以及位置检测方法。
背景技术
以往,在平板电脑设备中,已知有一种对笔的操作和手指等的操作进行检测的装置(例如参照专利文献1~3)。这种装置具有防止对无意中进行的手指等的操作进行检测的结构。例如,在专利文献1的结构中,在利用手指等输入的输入信息之后连续地存在利用笔输入的输入信息的情况下,将利用手指等输入的输入信息删除。在专利文献2的结构中,在检测到专用笔向电磁感应式平板电脑接近的情况下,使触摸输入无效。在专利文献3的结构中,将感压平板电脑的一部分的灵敏度设定为较低。
专利文献1:日本特开平10-124239号公报
专利文献2:日本特开平9-138730号公报
专利文献3:日本特开平5-143226号公报
发明内容
专利文献1~3的结构是根据笔和手指的接触所产生的电流强度的变化来检测操作的平板电脑、采用了感压式或电磁感应方式的平板电脑,但是,除此以外还可以列举出能够利用笔和手指进行位置输入操作的结构。但是,能够进行越多样的位置输入操作,则检测操作者无意中进行的操作作为输入操作的可能性越高。
本发明正是鉴于上述课题而完成的,其目的在于提供一种位置检测装置、投影仪以及位置检测方法,它们能够不检测操作者无意中进行的操作作为输入。
为了实现上述目的,本发明的位置检测装置的特征在于,具有:检测部,其检测对操作面进行操作的指示体以及与所述指示体不同的对象物;摄影部,其形成对包含所述操作面的范围进行拍摄而得到的摄影图像;以及控制部,其根据所述摄影图像,检测所述对象物相对于所述操作面的运动以及所述指示体相对于所述操作面的位置,由此,判定是否检测所述指示体的操作作为输入。
根据本发明,通过判定应该作为输入被检测的操作,能够防止检测操作者无意中进行的操作作为输入。
另外,上述位置检测装置的特征在于,所述检测部检测所述指示体的位置或运动,所述控制部根据所述检测部检测的所述指示体的位置或运动来检测输入。
根据本发明,能够检测指示体的位置或运动作为操作。
另外,上述位置检测装置的特征在于,所述控制部根据所述指示体与所述操作面之间的距离以及所述对象物与所述操作面之间的距离,判定是否检测所述指示体的位置或运动作为输入。
根据本发明,能够根据指示体及对象物的与操作面之间的距离,适当地判定是否检测指示体的位置或运动作为输入。另外,操作者能够根据指示体及对象物的与操作面之间的距离,来切换是检测指示体的位置或运动还是检测对象物的位置或运动。
另外,上述位置检测装置的特征在于,在所述指示体与所述操作面之间的距离比所述对象物与所述操作面之间的距离远的情况下,所述控制部不检测所述指示体的位置或运动作为输入。
根据本发明,在指示体与操作面之间的距离比对象物与操作面之间的距离远的情况下,能够不检测指示体的位置或运动作为输入。
另外,上述位置检测装置的特征在于,在所述检测部检测出了多个所述对象物的情况下,所述控制部检测与所述操作面之间的距离比所述指示体与所述操作面之间的距离近的所述对象物的位置或运动作为输入。
根据本发明,能够检测与操作面之间的距离比指示体与操作面之间的距离近的多个对象物的位置或运动作为操作。因此,能够利用多个对象物进行操作。
另外,上述位置检测装置的特征在于,在检测出了与所述操作面之间的距离比所述指示体与所述操作面之间的距离近的多个所述对象物的情况下,根据所述摄影部的摄影图像,求出这些多个所述对象物之间的距离的变化,且根据所求出的距离的变化,检测所述对象物相对于所述操作面的运动作为输入。
根据本发明,能够检测多个对象物之间的距离的变化作为利用对象物相对于操作面的运动来进行的输入。
另外,上述位置检测装置的特征在于,所述控制部根据所述摄影部的摄影图像,求出各个所述对象物相对于所述操作面的相对位置的经时变化,由此,检测多个所述对象物之间的距离的变化。
根据本发明,求出各个对象物相对于操作面的相对位置的经时变化,能够检测多个对象物之间的距离的变化。
另外,上述位置检测装置的特征在于,在所述检测部检测的所述对象物是把持所述指示体的操作者的手指的情况下,所述控制部检测所述对象物的位置或运动作为输入。
根据本发明,能够利用把持指示体的操作者的手指进行操作。
另外,上述位置检测装置的特征在于,在所述检测部检测出了多个对象物的情况下,所述控制部使检测出的多个所述对象物分别与所述操作者对应起来,且按每个所述操作者检测操作。
根据本发明,能够按每个操作者检测对象物的操作。
本发明的投影仪的特征在于,具有:投射部,其向投射面投射图像;检测部,其检测对所述投射面进行操作的指示体以及与所述指示体不同的对象物;摄影部,其形成对包含所述投射面的范围进行拍摄而得到的摄影图像;以及控制部,其根据所述摄影图像,检测所述对象物相对于所述投射面的运动以及所述指示体相对于所述投射面的位置,由此,判定是否检测所述指示体的操作作为输入。
根据本发明,通过判定应该作为输入被检测的操作,能够防止检测操作者无意中进行操作作为输入。
本发明的位置检测方法的特征在于,具有:检测步骤,检测对操作面进行操作的指示体以及与所述指示体不同的对象物;摄影步骤,形成对包含所述操作面的范围进行拍摄而得到的摄影图像;以及判定步骤,根据通过所述摄影步骤拍摄到的所述摄影图像,检测所述对象物相对于所述操作面的运动以及所述指示体相对于所述操作面的位置,由此,判定是否检测所述指示体的操作作为输入。
根据本发明,通过判定应该作为输入被检测的操作,能够防止检测操作者无意中进行的操作作为输入。
附图说明
图1是示出投影仪的设置状态的图。
图2是投影仪及指示体的功能框图。
图3是示出投影仪检测的指示操作的图。
图4是示出投影仪检测的指示操作的图。
图5是示出投影仪的工作顺序的流程图。
图6是示出步骤S9的详细情况的流程图。
标号说明
20:投射部;21:光源部;22:光调制装置;23:投射光学系统;30:控制部;31:投射控制部;32:判定部;33:检测控制部;40:图像处理部;50:位置检测部;51:摄影部;52:摄影控制部;53:发送部;55:检测部;60:存储部;70:指示体;80:指示体(对象物);100:投影仪(位置检测装置);551:物体检测部;552:运动检测部;SC:屏幕(操作面)。
具体实施方式
图1是示出投影仪(位置检测装置)100的设置状态的图。
投影仪100设置于屏幕SC(操作面)的正上方或斜上方,朝向斜下方的屏幕SC投射图像。屏幕SC是固定于墙面或竖立设置于地面的平板或幕布。本发明并不限定于该例,也可以使用墙面作为屏幕SC。在这种情况下,只要在被用作屏幕SC的墙面的上部安装有投影仪100即可。
投影仪100与PC(个人计算机)、视频再生装置、DVD再生装置、Blu-ray(注册商标)Disc(蓝光光盘)再生装置等图像提供装置连接。投影仪100根据从图像提供装置提供的模拟图像信号或数字图像信号向屏幕SC投射图像。另外,投影仪100也可以读出内置的存储部60(图2)、外部连接的存储介质中存储的图像数据,根据该图像数据,在屏幕SC上显示图像。
投影仪100检测用户(操作者)对屏幕SC的指示操作。在对屏幕SC的指示操作中,使用笔形的指示体70或作为用户手指的指示体80(对象物)。另外,在用户的指示操作中,包括通过指示体70或指示体80指定(指示)屏幕SC上的位置的操作、以及连续地指示屏幕SC上的位置的操作等。连续地指示屏幕SC上的位置的操作是指例如使指示体70、80相对于屏幕SC移动并描绘字符、图形等的操作。投影仪100通过重复进行对被指示的屏幕SC的位置进行检测的检测处理,能够检测出用户进行连续地指示屏幕SC上的位置的操作时的指示位置的轨迹(运动)。
指示体70的前端部71内置有在被按压的情况下工作的操作开关75(图2)。当进行将指示体70的前端部71按压至墙壁或屏幕SC的操作时,操作开关75接通。用户对指示体70进行这样的操作:手持棒状的轴部72,使前端部71与屏幕SC接触。另外,对指示体70还进行将前端部71按压至屏幕SC的操作。指示体70在前端部71具有发出红外光的发送接收部74(图2)。发送接收部74在操作开关75接通时和关断时改变红外光的点亮模式。
投影仪100根据指示体70所发出的红外光,检测前端部71的位置作为指示位置。另外,投影仪100根据指示体70所发出的红外光的点亮模式,判定指示体70是否被按压至墙壁或屏幕SC。
另外,投影仪100对作为指示体80的用户手指的指示位置进行检测。投影仪100能够检测用户手指的位置和手指与屏幕SC接触的接触位置中的任意位置作为指示体80的指示位置,且还能够设定将哪一个作为指示位置。另外,投影仪100计算指示体80与屏幕SC之间的距离。另外,当用户使用多根手指进行了指示操作的情况下,投影仪100也能够全部检测出这些多根手指的指示位置。另外,投影仪100也能够分别计算出多根手指与屏幕SC之间的距离。
投影仪100对用户利用指示体70、80进行的指示操作进行检测,且将检测出的指示操作反映到屏幕SC的显示图像上。具体地说,投影仪100进行下述处理等:在指示位置上描绘图形或配置字符、记号的处理;沿着指示位置的轨迹描绘图形的处理;删除所描绘的图形或所配置的字符、记号的处理。另外,投影仪100既可以将在屏幕SC上描绘的图形、配置的字符、记号作为图像数据保存,也可以向外部装置输出。
而且,投影仪100也可以通过对指示位置进行检测而作为指示设备工作,且输出屏幕SC上的指示位置的坐标。另外,也能够使用该坐标对投影仪100进行GUI(GraphicalUserInterface:图形用户界面)操作。
图2是示出投影仪100的结构的结构图。
投影仪100作为与外部装置连接的接口具有I/F(接口)部11和图像I/F(接口)部12。I/F部11和图像I/F部12也可以具有有线连接用的连接器,且具有与上述连接器对应的接口电路。另外,I/F部11和图像I/F部12也可以具有无线通信接口。作为有线连接用的连接器和接口电路,可以列举出依照有线LAN(localareanetwork,局域网)、IEEE1394、USB等的装置。另外,作为无线通信接口,可以列举出依照无线LAN或Bluetooth(注册商标)等的装置。对图像I/F部12也可以采用HDMI(注册商标)接口等图像数据用的接口。图像I/F部12也可以具有输入音频数据的接口。
I/F部11是与PC等外部装置之间发送接收各种数据的接口。I/F部11输入输出与图像的投射相关的数据和对投影仪100的动作进行设定的数据等。后述的控制部30具有经由I/F部11与外部装置发送接收数据的功能。
图像I/F部12是输入数字图像数据的接口。本实施方式的投影仪100根据经由图像I/F部12输入的数字图像数据来投射图像。此外,投影仪100也可以具有根据模拟图像信号来投射图像的功能,在这种情况下,图像I/F部12也可以具有模拟图像用的接口和将模拟图像信号转换成数字图像数据的A/D转换电路。
投影仪100具有形成光学图像的投射部20。投射部20具有光源部21、光调制装置22和投射光学系统23。光源部21具有由氙气灯、超高压水银灯、LED(LightEmittingDiode:发光二极管)或激光光源等构成的光源。另外,光源部21也可以具有将光源所发出的光引导到光调制装置22的反射器和辅助反射器。而且,投影仪100也可以具有用于提高投射光的光学特性的透镜组(省略图示)、偏振板、或使光源所发出的光的光量在到达光调制装置22的路径上降低的调光元件等。
光调制装置22例如具有与RGB三原色对应的3张透过型液晶面板,对透过该液晶面板的光进行调制来生成图像光。来自光源部21的光被分离成RGB的3种颜色的色光,各色光入射到对应的各液晶面板。由十字分色棱镜(crossdichroicprism)等合成光学系统对透过各液晶面板而被调制的色光进行合成,且向投射光学系统23射出。
投射光学系统23具有透镜组,该透镜组将由光调制装置22调制后的图像光向屏幕SC方向引导且使该图像光在屏幕SC上成像。此外,投射光学系统23也可以具有进行屏幕SC的显示图像的放大/缩小及焦点调整的变焦机构和进行对焦调整的对焦调整机构。在投影仪100是短焦型的情况下,投射光学系统23也可以具有将图像光向屏幕SC反射的凹面镜。
投射部20与光源驱动部45及光调制装置驱动部46连接,光源驱动部45按照控制部30的控制使光源部21点亮,光调制装置驱动部46按照控制部30的控制使光调制装置22工作。光源驱动部45也可以具有这样的功能:对光源部21的点亮和熄灭进行切换,对光源部21的光量进行调整。
投影仪100具有对投射部20所投射的图像进行处理的图像处理系统。该图像处理系统包含对投影仪100进行控制的控制部30、存储部60、操作检测部17、图像处理部40、光源驱动部45和光调制装置驱动部46。另外,帧存储器41与图像处理部40连接,位置检测部50与控制部30连接。这些各部分也可以包含于图像处理系统中。
控制部30通过执行规定的控制程序61对投影仪100的各部分进行控制。存储部60非易失性地存储控制部30执行的控制程序61和控制部30处理的数据。在存储部60中与用户的位置信息对应地存储指示体70和指示体80中的至少一方的指示位置的坐标、表示指示位置的轨迹的轨迹数据、触摸信息和距离信息。另外,关于这些信息的详细情况,在后面详细叙述。
图像处理部40按照控制部30的控制,对经由图像I/F部12输入的图像数据进行处理,向光调制装置驱动部46输出图像信号。图像处理部40执行的处理是3D(立体)图像与2D(平面)图像的判别处理、分辨率转换处理、帧速转换处理、失真校正处理、数字变焦处理、色调校正处理和亮度校正处理等。图像处理部40执行控制部30指定的处理,并根据需要使用从控制部30输入的参数进行处理。另外,当然也可以组合执行上述的多个处理。
图像处理部40与帧存储器41连接。图像处理部40在帧存储器41中展开从图像I/F部12输入的图像数据,对展开的图像数据执行上述的各种处理。图像处理部40从帧存储器41中读出处理后的图像数据,生成与该图像数据对应的R、G、B的图像信号,向光调制装置驱动部46输出。
光调制装置驱动部46与光调制装置22的液晶面板连接。光调制装置驱动部46根据从图像处理部40输入的图像信号来驱动液晶面板,在各液晶面板上描绘图像。
操作检测部17与作为输入设备发挥作用的遥控器受光部18和操作面板19连接,对通过遥控器受光部18和操作面板19进行的操作进行检测。
遥控器受光部18接收投影仪100的用户使用的遥控器(未图示)根据按钮操作而发送的红外线信号。遥控器受光部18对从上述遥控器接收到的红外线信号进行解码,来生成表示上述遥控器中的操作内容的操作数据而向控制部30输出。
操作面板19设置于投影仪100的外装壳体上,具有各种开关和指示灯。操作检测部17按照控制部30的控制,根据投影仪100的工作状态和设定状态,使操作面板19的指示灯适当地点亮和熄灭。当对该操作面板19的开关进行了操作时,从操作检测部17向控制部30输出与被操作的开关对应的操作数据。
位置检测部50检测指示体70、80相对于屏幕SC的指示位置、或指示体70、80相对于屏幕SC的运动。位置检测部50具有摄影部51、摄影控制部52、发送部53和检测部55的各部分。另外,检测部55具有物体检测部551和运动检测部552。
摄影部51为了检测指示体70、80的指示位置,形成以包含屏幕SC及其周边部的范围(包含操作面的范围)为摄影范围来进行拍摄而得到的摄影图像。
摄影部51能够分别执行利用红外光的拍摄以及利用可见光的拍摄。具体地说,能够设为这样的结构:具有拍摄红外光的红外用摄像元件、拍摄可见光的可见光用摄像元件、红外用摄像元件的接口电路和可见光用摄像元件的接口电路。另外,也可以是由1个摄像元件进行可见光和红外光的拍摄的结构。另外,也可以是,例如在摄影部51中设置对入射到摄像元件的光的一部分进行遮挡的滤光片,在使摄像元件接收红外光的情况下,使主要透过红外区域的光的滤光片配置于摄像元件之前。摄像元件不受限定,既可以是CCD、COMS中的任意元件,也可以使用其他元件。
当摄影部51利用红外光拍摄时的摄影方向和摄影范围(视角)朝向与投射光学系统23相同的方向、或大致相同的方向,覆盖投射光学系统23向屏幕SC投射图像的范围。同样,当摄影部51利用可视光拍摄时的摄影方向和摄影范围朝向与投射光学系统23相同的方向、或大致相同的方向,覆盖投射光学系统23向屏幕SC投射图像的范围。摄影部51分别输出利用红外光拍摄的摄影图像的数据和利用可见光拍摄的摄影图像的数据。
摄影控制部52按照控制部30的控制对摄影部51进行控制,使摄影部51执行拍摄。摄影控制部52获取摄影部51的摄影图像的数据且向检测部55输出。另外,摄影控制部52向控制部30输出所获取的摄影图像的数据。控制部30将从摄影控制部52输入的摄影图像的数据存储于存储部60中。
在摄影部51利用可见光拍摄到的摄影图像中拍摄到屏幕SC、被投射到屏幕SC的投射图像以及存在于摄影范围内的用户。另外,在摄影部51利用红外光拍摄的摄影图像中拍摄到指示体70所发出的红外光的像。
发送部53按照摄影控制部52的控制对指示体70发送红外线信号。发送部53具有红外LED等光源,发送部53按照摄影控制部52的控制使该光源点亮和熄灭。
物体检测部551根据摄影控制部52的摄影图像的数据,对拍摄到人物的人物区域进行检测。人物区域是在摄影图像中包含人物的像的区域。物体检测部551对人物区域的检测时,能够采用一般公知的方法。例如,物体检测部551对被输入的摄影图像的数据的边缘进行检测,来检测与人的形状匹配的区域作为人物区域。另外,物体检测部551也可以对颜色信息(亮度、色度等)在规定时间内变化的区域进行检测,来检测所检测出的区域的大小为规定值以上的区域、所检测出的区域的随时间的移动范围处于规定范围内的区域作为人物区域。
物体检测部551检测出人物区域时,根据检测出的人物区域确定用户位置。例如,物体检测部551计算摄影图像的数据在水平方向上的人物区域的中心坐标作为表示用户位置的位置信息。物体检测部551根据摄影图像的数据检测出了多个人物区域的情况下,也与人物区域对应地检测出多个表示用户位置的位置信息。
另外,物体检测部551根据检测出的人物区域,识别用户的身体的部位(例如头部、肩、手、腿等),且检测用户的姿势。用户的姿势例如是指站位、座位、蹲的状态、交叉双臂状态等体位,也可以包括是朝向屏幕SC侧还是朝向屏幕相反侧等身体的朝向。物体检测部551根据检测出的用户的姿势,判定用户是否处于能够对屏幕SC进行指示操作的姿势。物体检测部551例如在判定为用户的姿势是交叉双臂的姿势的情况下,判定为用户没有处于能够对屏幕SC进行操作的姿势。在判定为用户没有处于能够对屏幕SC进行操作的姿势的情况下,物体检测部551也可以中止对检测到该用户的人物区域进行指示体80的检测等处理。
另外,物体检测部551从摄影图像的数据的人物区域中检测用户手指的图像,来检测指示体80。用户手指既可以是一根或多根手指,也可以是手整体,还可以是包括手指在内的手的一部分。物体检测部551从人物区域中检测接近预先规定的手指的形状或特征的区域作为指示体80的区域。
另外,物体检测部551计算所检测出的指示体80指示的屏幕SC的指示位置的坐标。物体检测部551从检测出的指示体80的区域中确定手指的前端(指尖),且检测所确定的手指的前端的位置作为指示位置。物体检测部551利用摄影图像的数据中的坐标,计算指示体80的指示位置的坐标。另外,物体检测部551根据检测出的指示位置的坐标,计算在屏幕SC的显示图像上虚拟地设置的坐标轴上的坐标。摄影图像的数据中的坐标受投影仪100与屏幕SC之间的距离、投射光学系统23中的缩放率、投影仪100的设置角度、摄影部51与屏幕SC之间的距离等各种要素的影响。物体检测部551基于事先实施的校准的结果,根据摄影图像的数据中的指示位置的坐标,计算屏幕SC的显示图像中的指示位置的坐标。在校准中,从投射部20向屏幕SC投射规定的图案图像,利用摄影部51拍摄所显示的图案图像。根据摄影部51所拍摄的图案图像,推导出摄影图像的数据中的坐标与屏幕SC的显示图像上的坐标之间的对应关系(坐标转换参数)。
另外,物体检测部551检测所检测出的指示体80与屏幕SC之间的距离。物体检测部551根据摄影图像的数据,判定所检测出的手指的前端与屏幕SC之间的距离。例如,物体检测部551根据摄影图像的数据,检测手指的图像和手指的影子的图像,且根据检测出的图像之间的距离,求出手指的前端与屏幕SC之间的距离。
另外,在根据摄影图像的数据检测出了多个人物区域的情况下,物体检测部551对各人物区域检测指示体80和指示体80的指示位置的坐标,且计算所检测出的指示体80与屏幕SC之间的距离。
物体检测部551将指示体80的指示位置的坐标及表示指示体80与屏幕SC之间的距离的距离信息与相应用户的位置信息一起向控制部30输出。控制部30将指示位置的坐标及距离信息与用户的位置信息对应地存储于存储部60中。
另外,物体检测部551检测指示体70的指示位置的坐标。物体检测部551对摄影部51利用红外光拍摄的摄影图像的数据中所拍摄到的红外光的像进行检测,来检测指示体70的指示位置的坐标。关于根据摄影部51的摄影图像的数据来确定指示体70的方法的详细情况,在后面详细叙述。
物体检测部551检测出指示体70的指示位置的坐标时,基于校准的结果,根据摄影图像的数据中的指示位置的坐标,计算屏幕SC的显示图像中的指示位置的坐标。另外,物体检测部551判定指示体70的前端是否接触屏幕SC。关于指示体70的前端是否接触屏幕SC的判定方法,也在后面详细叙述。
另外,物体检测部551根据所检测出的指示体70的指示位置的坐标而确定与指示体70对应的用户。即,物体检测部551确定手持指示体70进行操作的用户。还存在根据摄影图像的数据检测出多个人物区域的情况、多个用户使用指示体70的情况。因此,物体检测部551根据检测出的人物区域和指示体70的指示位置的坐标(摄影图像的数据中的坐标),使指示体70与用户的位置信息对应起来。物体检测部551根据指示体70的指示位置的坐标被包含于哪个人物区域中、或与哪个人物区域最接近,使指示体70与用户的位置信息对应起来。
使指示体70与用户的位置信息对应起来之后,物体检测部551将指示体70的指示位置的坐标及触摸信息与对应的用户的位置信息一起向控制部30输出。触摸信息是表示指示体70是否接触屏幕SC的信息。
运动检测部552检测由控制部30指示的指示体70、80的运动。运动检测部552具有未图示的存储器,将物体检测部551检测出的指示体70、80的指示位置的坐标暂时存储于存储器中,求出指示体70、80相对于屏幕SC的相对位置的经时变化。运动检测部552根据存储器中存储的指示体70、80的指示位置的坐标,生成表示各指示体70、80的指示位置的运动的轨迹数据。运动检测部552向控制部30输出所生成的指示体70、80的指示位置的轨迹数据。
控制部30将从运动检测部552输入的指示体70、80的指示位置的轨迹数据与相应用户的位置信息对应地存储于存储部60中。另外,控制部30根据指示体70、80的指示位置的轨迹数据,检测指示体70、80的指示操作。
指示体70具有控制部73、发送接收部74、操作开关75和电源部76,这些各部分被收纳在轴部72(图1)。控制部73与发送接收部74和操作开关75连接,来检测操作开关75的接通/关断状态。发送接收部74具有红外LED等光源和接收红外光的受光元件,发送接收部74按照控制部73的控制使光源点亮和熄灭,并且向控制部73输出表示受光元件的受光状态的信号。
电源部76具有干电池或二次电池作为电源,向控制部73、发送接收部74和操作开关75的各部分供给电力。指示体70也可以具有对来自电源部76的供电进行接通/关断的电源开关。
在这里,对通过位置检测部50与指示体70之间的相互通信根据摄影部51的摄影图像的数据来确定指示体70的指示位置的方法进行说明。
在检测指示体70的操作的情况下,控制部30控制摄影控制部52从发送部53发送同步用的信号。即,摄影控制部52按照控制部30的控制,使发送部53的光源以规定的周期点亮。发送部53周期性地发出的红外光作为使位置检测部50与指示体70同步的同步信号发挥功能。
另一方面,在开始从电源部76供电且进行规定的初始化动作之后,控制部73利用发送接收部74接收投影仪100的发送部53所发出的红外光。利用发送接收部74接收到发送部53周期性地发出的红外光时,控制部73与该红外光的时序同步地以预先设定的指示体70固有的点亮模式使发送接收部74的光源点亮(发光)。另外,控制部73根据操作开关75的操作状态,切换发送接收部74的点亮模式。因此,投影仪100的物体检测部551能够根据多个摄影图像的数据,判定指示体70的操作状态即前端部71是否被按压至屏幕SC。
另外,在从电源部76供电的期间,控制部73重复执行上述的模式。即,发送部53对指示体70周期性地发送同步用的红外线信号,指示体70与发送部53所发送的红外线信号同步地发送预先设定的红外线信号。
位置检测部50的摄影控制部52进行使摄影部51的摄影时机与指示体70的点亮时机一致的控制。该摄影时机是根据摄影控制部52使发送部53点亮的时机而决定的。物体检测部551能够根据摄影部51的摄影图像的数据中是否拍摄到指示体70的光的像,来确定指示体70的点亮模式。物体检测部551根据多个摄影图像的数据,判定指示体70的前端部71是否被按压至屏幕SC,来生成触摸信息。
指示体70的点亮模式可以包含指示体70的每个个体固有的模式、或可以包含多个指示体70公共的模式和每个个体固有的模式。在这种情况下,当摄影图像的数据包含多个指示体70所发出的红外光的像时,摄影控制部52能够区分各个像作为不同的指示体70的像。
控制部30通过读出并执行存储部60中存储的控制程序61,实现投射控制部31、判定部32和检测控制部33的功能,且控制投影仪100的各部分。
投射控制部31根据从操作检测部17输入的操作数据,获取用户操作遥控器来进行的操作内容。投射控制部31根据用户进行的操作,控制图像处理部40、光源驱动部45和光调制装置驱动部46向屏幕SC投射图像。
另外,投射控制部31控制图像处理部40执行上述的3D(立体)图像与2D(平面)图像的判别处理、分辨率转换处理、帧速转换处理、失真校正处理、数字变焦处理、色调校正处理和亮度校正处理等。另外,投射控制部31配合图像处理部40的处理,控制光源驱动部45对光源部21的光量进行控制。
判定部32从物体检测部551输入指示体80的指示位置的坐标及距离信息、和指示体70的指示位置的坐标及距离信息。
判定部32对被输入的指示体70与屏幕SC之间的距离和指示体80与屏幕SC之间的距离进行比较,来判定是否检测指示体70的指示位置或运动作为指示操作。在指示体70与屏幕SC之间的距离比指示体80与屏幕SC之间的距离远的情况下,判定部32从指示操作的检测对象中排除指示体70。即,判定部32选择指示体70、80中的更接近屏幕SC的一方作为对屏幕SC的指示操作的检测候补。
另外,在选择了指示体80作为指示操作的检测候补且指示体80与屏幕SC之间的距离在规定距离以内的情况下,判定部32选择该指示体80作为被检测指示操作的指示体。尽管是被物体检测部551检测出的指示体,也不会对与屏幕SC之间的距离不在规定距离以内的指示体的指示操作进行检测。
此外,也可以判定指示体70、80是否接触屏幕SC,来选择被检测对屏幕SC的指示操作的指示体。例如,当判定为指示体80与屏幕SC接触而指示体70未与屏幕SC接触的情况下,判定部32能够判定为指示体80处于比指示体70更接近屏幕SC的位置。另外,由于指示体80与屏幕SC接触,所以判定部32能够判定与屏幕SC之间的距离在规定距离以内。
判定部32使运动检测部552检测所选择的指示体80的运动。判定部32从运动检测部552被输入表示所选择的指示体80相对于屏幕SC的运动的轨迹数据,根据被输入的轨迹数据检测指示体80的指示操作。如上述所述,在指示操作中包含指示体80指示屏幕SC的位置的操作以及指示体80相对于屏幕SC的运动。
判定部32通过检测指示体80相对于屏幕SC的运动以及指示体70相对于屏幕SC的位置,判定是否将指示体70作为指示操作的检测对象。判定部32判定为指示体70与屏幕SC之间的距离比屏幕SC与指示体80之间的距离远的情况下,满足“指示体70相对于屏幕SC的位置”的条件。
另外,判定部32根据指示体80的轨迹数据判定为指示体80在规定时间内从屏幕SC的固定位置(指示位置)未发生移动的情况下,满足“指示体80相对于屏幕SC的运动”的条件。例如,如图3所示,在以把持指示体70的手的手指触摸屏幕SC的情况下,作为指示体80的手的手指比指示体70接近屏幕SC。在这种情况下,如果指示体80在规定时间以上的时间内从屏幕SC的固定位置未发生移动,则判定部32将基于轨迹数据的指示体80的运动判定为相对于屏幕SC的位置的指示操作。在这种情况下,判定部32例如在指示体80指示的指示位置的坐标上附加识别数据和删除命令而向检测控制部33输出,其中,该识别数据表示是指示体80的指示,该删除命令用于删除所描绘的图形、所配置的字符或记号。
另外,在从同一个人物区域中检测出了多个指示体80的情况下,判定部32使运动检测部552检测这些多个指示体80的运动。
判定部32根据运动检测部552检测的多个指示体80各自的轨迹数据,判定指示体80之间的距离的变化。例如,如图4所示,在指示体80之间的距离随着时间经过而扩大的情况下,判定部32判定为这些指示体80的运动是对屏幕SC的指示操作。在这种情况下,判定部32将这些指示体80的运动判定为用于放大屏幕SC所显示的显示图像的指示操作。在这种情况下,判定部32向检测控制部33输出用于放大显示图像的指示命令、根据各指示体80的轨迹数据来求出的显示图像的放大率、以及表示是指示体80的指示的识别数据。
例如,与图4相反,在指示体80之间的距离随着时间经过而缩短的情况下,判定部32也判定为这些指示体80的运动是对屏幕SC的指示操作。在这种情况下,判定部32将这些指示体80的运动判定为用于缩小显示图像的指示操作。在这种情况下,判定部32向检测控制部33输出用于缩小显示图像的指示命令、根据各指示体80的轨迹数据来求出的显示图像的缩小率、以及表示是指示体80的指示的识别数据。
另外,在物体检测部551检测出了多个用户的手指作为指示体80的情况下,首先,判定部32使检测出的指示体80与用户对应起来。即,由于也存在从1名用户中检测出多个指示体80的情况,所以判定部32根据屏幕SC与各指示体80之间的距离,按每个用户选择1个被检测指示操作的指示体80。而且,判定部32按每个用户判定所检测出的各指示体80的运动是否相当于指示操作。判定部32根据从运动检测部552输入的各指示体80的轨迹数据,分别检测指示操作。
检测控制部33控制位置检测部50执行指示体70、80的检测。
另外,检测控制部33从判定部32获取与判定部32检测出的指示体70或80的指示操作相应的数据。例如,在判定部检测出的指示操作是将描绘于屏幕SC上的字符删除的指示的情况下,检测控制部33从判定部32被输入指示体80的指示位置的坐标、表示是指示体80的指示的识别数据、以及删除命令。检测控制部33按照从判定部32获取的数据,向图像处理部40通知删除所描绘的字符的指示。图像处理部40按照检测控制部33的指示,将在帧存储器41中展开的图像数据的相应指示位置处重叠的字符删除。
另外,在判定部32所检测出的指示操作是用于放大显示图像的指示的情况下,检测控制部33从判定部32被输入用于放大显示图像的指示命令、显示图像的放大率、以及表示是指示体80的指示的识别数据。
检测控制部33按照判定部32的指示,指示图像处理部40进行显示图像的放大。图像处理部40按照从检测控制部33所指示的放大率,对帧存储器41中展开的图像数据进行放大处理,且向光调制装置驱动部46输出基于处理后的图像数据的图像信号。
另外,检测控制部33从判定部32被输入与指示体70或80的指示操作相应的命令、指示位置的坐标或指示位置的轨迹数据、以及表示是指示体70的指示还是指示体80的指示的识别数据。除此之外,在是指示体70的指示的情况下,检测控制部33从判定部32被输入触摸信息、距离信息,在是指示体80的指示的情况下,检测控制部33从判定部32被输入距离信息。
在从判定部32例如输入了图形描绘的命令的情况下,检测控制部33根据从判定部32获取的指示位置的坐标或指示位置的轨迹,使图像处理部40描绘图形。另外,检测控制部33进行如下的处理:使图像处理部40将所描绘的图形与被输入到图像I/F部12的输入图像重叠地投射。
另外,检测控制部33也可以根据从判定部32输入的命令,向与I/F部11连接的PC等外部装置输出所获取的指示位置的坐标或指示位置的轨迹数据。在这种情况下,检测控制部33也可以将所获取的指示位置的坐标或指示位置的轨迹转换成在与I/F部11连接的外部装置的操作系统中作为坐标输入设备的输入来识别的数据格式后进行输出。例如,当I/F部11与利用Windows(注册商标)操作系统进行工作的PC连接的情况下,输出在操作系统中作为HID(HumanInterfaceDevice:人机接口设备)的输入数据来处理的数据。另外,检测控制部33也可以与指示位置的坐标或指示位置的轨迹数据一起向外部装置输出对这些数据是根据指示体70的操作而得到的数据还是根据指示体80的操作而得到的数据进行识别的数据以及触摸信息、距离信息。
图5和图6是表示投影仪100的处理顺序的流程图。
首先,位置检测部50的检测部55从摄影控制部52被输入摄影部51所拍摄的摄影图像的数据(步骤S1)。控制部30的检测控制部33控制摄影控制部52使摄影部51拍摄摄影范围。摄影部51交替地执行利用红外光的拍摄和利用可见光的拍摄。摄影控制部52向位置检测部50输出摄影部51所拍摄的摄影图像的数据。
位置检测部50的物体检测部551根据被输入的摄影图像的数据,来检测拍摄到人物的人物区域(步骤S2)。物体检测部551无法根据摄影图像的数据检测出人物区域的情况下(步骤S2的“否”),转移到步骤S7的处理(步骤S7)。另外,物体检测部551根据摄影图像的数据检测出了人物区域的情况下(步骤S2的“是”),按检测出的每个人物区域,检测用户的位置、姿势(步骤S3)。物体检测部551例如计算摄影图像的数据在水平方向上的人物区域的中心坐标值作为表示用户位置的位置信息。另外,物体检测部551根据摄影图像的数据检测出了多个人物区域的情况下,也与人物区域对应地检测出多个表示用户位置的位置信息。另外,物体检测部551根据检测出的人物区域,识别用户的头部、肩、手、腿等人体部位,来检测用户的姿势(步骤S3)。
物体检测部551根据检测出的用户的位置、姿势,判定用户是否处于能够对屏幕SC进行操作的位置、姿势(步骤S4)。例如,在用户与屏幕SC之间的距离较远的情况下或在用户交叉双臂的情况下,物体检测部551判定为用户没有处于能够对屏幕SC进行指示操作的姿势。
在步骤S4是否定判定的情况下(步骤S4的“否”),物体检测部551中止对该用户的人物区域进行处理,且判定步骤S2中是否检测出了其他人物区域(步骤S5)。在肯定判定的情况下(步骤S5“是”),物体检测部551对其他人物区域进行步骤S3和S4的处理。另外,在否定判定的情况下(步骤S5的“否”),返回到步骤S1,检测部55从摄影控制部52被输入摄影部51所拍摄的摄影图像的数据(步骤S1)。
另外,在步骤S4是肯定判定的情况下(步骤S4的“是”),物体检测部551从摄影图像的数据的人物区域中检测用户手指的图像,来检测指示体80。物体检测部551从人物区域中检测接近预先规定的手指的形状或特征的区域作为指示体80的区域。另外,物体检测部551根据检测出的指示体80的区域,计算指示体80指示的屏幕SC的指示位置的坐标(步骤S6)。物体检测部551从检测出的指示体80的区域中确定手指的前端(指尖),且检测所确定的手指的前端的位置作为指示位置的坐标。另外,物体检测部551将检测出的指示体80的指示位置的坐标转换成屏幕SC的显示图像中的指示位置的坐标。另外,物体检测部551检测指示体80与屏幕SC之间的距离。物体检测部551将坐标转换后的指示体80的指示位置的坐标及指示体80与屏幕SC之间的距离信息与相应用户的位置信息一起向控制部30输出。控制部30从物体检测部551被输入指示体80的指示位置的坐标、距离信息和用户的位置信息时,将被输入的指示体80的指示位置的坐标及距离信息与相应用户的位置信息对应地存储于存储部60中。
接下来,物体检测部551判定是否在红外光拍摄的摄影图像的数据中拍摄到指示体70所发出的红外光,来检测指示体70(步骤S7)。在摄影图像的数据中检测出了指示体70所发出的红外光的情况下,物体检测部551检测所检测出的红外光在摄影图像的数据中的位置作为指示体70的指示位置的坐标(步骤S8)。另外,物体检测部551判定指示体70的前端部71是否被按压至屏幕SC。指示体70的控制部73根据操作开关75的操作状态,切换发送接收部74的点亮模式。物体检测部551根据摄影部51的多个摄影图像的数据,判定发送接收部74的点亮模式,来判定指示体70的前端部71是否被按压至屏幕SC。另外,物体检测部551根据摄影部51利用可见光拍摄的摄影图像的数据,计算指示体70与屏幕SC之间的距离。物体检测部551例如根据摄影图像的数据,检测指示体70的图像和指示体70的影子的图像,根据检测出的图像之间的距离,求出指示体70的前端与屏幕SC之间的距离。
物体检测部551将指示体70的指示位置的坐标、触摸信息及距离信息与相应用户的位置信息一起向控制部30输出。控制部30将从物体检测部551输入的指示体70的指示位置的坐标、触摸信息及距离信息、与相应用户的位置信息对应地存储于存储部60中。
接下来,判定部32使运动检测部552生成表示指示体80的运动的轨迹数据,根据从运动检测部552获取的指示体80的轨迹数据和指示体70的指示位置的坐标,判定是否使指示体70无效(步骤S9)。图6示出该处理的详细情况。当判定部32判定为使指示体70无效时(步骤S10的“是”),使与指示体70相关的数据例如指示体70的指示位置的坐标无效,并且不向检测控制部33输出。在这种情况下,判定部32向检测控制部33输出与根据指示体80的轨迹数据、指示体80的指示位置的坐标来检测出的指示操作相应的数据。检测控制部33根据所获取的坐标和数据,执行预先设定的处理(步骤S11)。例如,当从判定部32输入指示位置的坐标、表示是指示体80的指示的识别数据、以及删除命令时,检测控制部33通知图像处理部40删除在被指示的位置上描绘的图形、配置的字符或记号的指示。图像处理部40按照从检测控制部33通知的指示,将在帧存储器41中展开的图像数据的相应位置处重叠的图形、字符或记号删除。
另外,检测控制部33从判定部32被输入了用于放大图像的指示命令、根据各指示体80的轨迹数据而求出的显示图像的放大率、以及表示是指示体80的指示的识别数据的情况下,指示图像处理部40进行显示图像的放大。图像处理部40按照从检测控制部33所指示的放大率,对帧存储器41中展开的图像数据进行放大处理,向光调制装置驱动部46输出基于处理后的图像数据的图像信号。
另外,如果在步骤S10中判定为不使指示体70无效(步骤S10的“否”),则判定部32指示运动检测部552检测指示体70的运动。判定部32根据从运动检测部552输入的表示指示体70的运动的轨迹数据,检测指示体70的指示操作。并且,判定部32向检测控制部33输出与检测出的指示操作相应的数据。检测控制部33根据从判定部32所获取的数据,执行预先设定的处理(步骤S12)。例如,检测控制部33进行如下的处理:根据从判定部32获取的指示位置的坐标或指示位置的轨迹,使图像处理部40描绘图形且将所描绘的图形与被输入到图像I/F部12的输入图像重叠地投射。
接着,判定部32判定是否检测出了所有用户的指示操作(步骤S13)。将步骤S6中检测出的指示体80的指示位置的坐标及步骤S8中检测出的指示体70的指示位置的坐标与用户的位置信息对应地存储于存储部60中。判定部32对位置信息存储于存储部60中的所有用户判定是否已执行了步骤S9~S12的处理。在否定判定的情况下(步骤S13的“否”),判定部32从步骤S9开始执行处理。另外,在肯定判定的情况下(步骤S13的“是”),返回到步骤S1,检测部55从摄影控制部52被输入摄影图像的数据。
图6是示出图5的步骤S9的详细情况的流程图。
首先,在检测出了指示体70的情况下,判定部32判定所检测出的指示体70是否接触屏幕SC(步骤S21)。判定部32根据触摸信息,判定指示体70是否接触屏幕SC。在肯定判定的情况下(步骤S21的“是”),判定部32判定不使指示体70无效(步骤S29),并使该处理流程结束。之后,判定部32使运动检测部552检测指示体70的运动,且根据从运动检测部552输入的指示体70的轨迹数据,检测指示体70的指示操作。
另外,在步骤S21是否定判定的情况下(步骤S21的“否”),当检测出了指示体80时,判定部32判定所检测出的指示体80是否接触屏幕SC(步骤S22)。判定部32根据物体检测部551所检测出的指示体80与屏幕SC之间的距离信息,判定指示体80是否接触屏幕SC。在否定判定的情况下(步骤S22的“否”),由于指示体70和80未接触屏幕SC,所以进入图5所示的S13,判定是否检测出了其他用户的指示操作(步骤S13)。
另外,在肯定判定的情况下(步骤S22的“是”),判定部32判定为指示体80与屏幕SC之间的距离比指示体70与屏幕SC之间的距离近。另外,由于指示体80与屏幕SC接触,所以判定部32判定为指示体80与屏幕SC之间的距离在规定距离以内。因此,判定部32选择指示体80作为被检测指示操作的指示体。
接着,判定部32判定同一个用户的多个指示体80是否接触屏幕SC(步骤S23)。判定部32判定多个指示体80的指示位置是否与用户的位置信息对应起来。在多个指示体80的指示位置与同一个用户的位置信息对应起来的情况下,判定部32判定所对应的其他指示体80是否接触屏幕SC(步骤S23)。
在步骤S23是否定判定的情况下(步骤S23的“否”),判定部32使运动检测部552检测与屏幕SC接触的指示体80的运动(步骤S24)。之后,判定部32根据从运动检测部552输入的指示体80的轨迹数据,判定是否检测了指示体80的指示操作(步骤S25)。例如,如图3所示,在用把持指示体70的手的手指触摸屏幕SC的情况下,作为指示体80的手的手指比指示体70接近屏幕SC。在这种情况下,如果指示体80在规定时间以上的时间内从屏幕SC的固定位置未发生移动,则判定部32将基于轨迹数据的指示体80的运动判定为相对于屏幕SC的位置的指示操作。在步骤S25是肯定判定的情况下(步骤S25的“是”),判定部32使指示体70无效(步骤S30)。即,判定部32使与指示体70相关的数据例如指示体70的指示位置的坐标无效,并且不向检测控制部33输出。另外,判定部32例如在指示体80指示的指示位置的坐标上附加识别数据和删除命令而向检测控制部33输出,其中,该识别数据表示是指示体80的指示。
此外,指示体80也可以是把持指示体70的手的相反侧的手。例如,在用右手把持指示体70的情况下,也可以由运动检测部552检测作为指示体80的左手的运动。
另外,在步骤S25是否定判定的情况下(步骤S25的“否”),判定部32不使指示体70无效(步骤S29),且使运动检测部552检测指示体70的运动。判定部32根据从运动检测部552输入的指示体70的轨迹数据,检测指示体70的指示操作。
另外,在步骤S23是肯定判定的情况下(步骤S23的“是”),判定部32使运动检测部552检测与屏幕SC接触的多个指示体80的运动(步骤S26)。之后,判定部32根据从运动检测部552输入的多个指示体80的轨迹数据,判定是否检测出了多个指示体80的指示操作(步骤S27)。首先,判定部32根据多个手指的轨迹数据,判定是否检测出了扩大作为指示体80的手指的间隔的运动(步骤S27)。例如,判定部32判定是否检测出了扩大左手和右手的间隔的运动、或扩大同一只手的手指的间隔的运动。在肯定判定的情况下(步骤S27的“是”),由于检测出了指示体80的指示操作,所以判定部32判定为使指示体70无效(步骤S30)。即,当判定部32使与指示体70相关的数据例如指示体70的指示位置的坐标无效,并且不向检测控制部33输出。
另外,在否定判定的情况下(步骤S27的“否”),判定部32根据多个手指的轨迹数据,判定是否检测出了缩小作为指示体80的手指的间隔的运动(步骤S28)。例如,判定部32判定是否检测出了缩小左手和右手的间隔的运动、或缩小同一只手的手指的间隔的运动。在肯定判定的情况下(步骤S28的“是”),由于检测出了指示体80的指示操作,所以判定部32判定为使指示体70无效(步骤S30)。另外,在否定判定的情况下(步骤S28的“否”),判定部32判定为不使指示体70无效(步骤S29),并结束该处理流程。之后,判定部32使运动检测部552检测指示体70的运动。判定部32根据从运动检测部552输入的指示体70的轨迹数据,检测指示体70的指示操作。
此外,在图6所示的流程图中,设为在指示体70或80接触屏幕SC的情况下投影仪100使运动检测部552检测指示体80相对于屏幕SC的运动并进行了说明。除此之外,也可以是,尽管指示体80不接触屏幕SC,在指示体80与屏幕SC之间的距离接近的情况下,也会使运动检测部552检测指示体80的运动,且根据所检测出的指示体80的运动,检测指示操作。
如以上说明那样,本实施方式的投影仪100具有检测部55、摄影部51以及控制部30。检测部55检测对屏幕SC进行操作的指示体70以及与指示体70不同的指示体80。摄影部51形成对包含屏幕SC的范围进行拍摄而得到的摄影图像。控制部30利用判定部32根据摄影图像的数据,检测指示体80相对于屏幕SC的运动以及指示体70相对于屏幕SC的位置,由此,判定是否检测指示体70的操作作为输入。因此,能够不会检测操作者无意中进行的操作作为输入。
另外,检测部55检测指示体70的位置或运动,控制部30根据指示体80的位置或运动,检测输入。因此,能够根据控制部30的判定结果,使检测部55检测指示体70或指示体80的位置或运动作为操作。
另外,控制部30根据指示体70与屏幕SC之间的距离以及指示体80与屏幕SC之间的距离,判定是否检测指示体70的位置或运动作为输入。因此,通过改变指示体70及指示体80的与屏幕SC之间的距离,能够切换是检测指示体70的位置或运动还是检测指示体80的位置或运动。
另外,在指示体70与屏幕SC之间的距离比指示体80与屏幕SC之间的距离远的情况下,控制部30不检测指示体70的位置或运动作为输入。因此,在指示体70与屏幕SC之间的距离比指示体80与屏幕SC之间的距离远的情况下,能够不会检测指示体70的位置或运动作为输入。
另外,在检测部55检测出了多个指示体80的情况下,控制部30检测与屏幕SC之间的距离比指示体70与屏幕SC之间的距离近的指示体80的位置或运动作为输入。因此,能够检测与屏幕SC之间的距离比指示体70与屏幕SC之间的距离近的多个指示体80的位置或运动作为操作。
另外,在检测出了与屏幕SC之间的距离比指示体70与屏幕SC之间的距离近的多个指示体80的情况下,控制部30根据摄影部51的摄影图像的数据,求出这些多个指示体80之间的距离的变化。控制部30根据所求出的距离的变化,检测指示体80相对于屏幕SC的运动作为输入。因此,能够检测多个指示体80之间的距离的变化作为指示体80相对于屏幕SC的运动。
另外,控制部30根据摄影部51的摄影图像的数据,求出各个指示体80相对于屏幕SC的相对位置的经时变化,由此,检测多个指示体80之间的距离的变化。因此,求出多个指示体80的每一个相对于屏幕SC的相对位置的经时变化,能够检测多个指示体80之间的距离的变化。
另外,在检测部55检测的指示体80是把持指示体70的用户手指的情况下,控制部30检测指示体80的位置或运动作为输入。因此,能够利用把持指示体70的状态下的用户手指进行操作。
另外,在检测部55检测出了多个指示体80的情况下,控制部30使检测出的多个指示体80分别与用户对应起来,且使检测部55按每个用户检测指示体80的操作。因此,能够按每个用户检测指示体80的操作。
此外,上述的实施方式和变形例只不过是应用了本发明的具体方式的例子,并不限定本发明,也能够作为不同的方式应用本发明。例如,指示体70、80不限定于笔形的指示体70和作为用户手指的指示体80,也可以使用激光指示器或指示棒等,其形状或大小也不受限定。
另外,在上述实施方式中,位置检测部50通过摄影部51拍摄屏幕SC来确定指示体70的位置,但本发明并不限定于此。例如,摄影部51并不限定于设置在投影仪100的主体上且拍摄投射光学系统23的投射方向的部件。也可以是,使摄影部51与投影仪100主体分开地构成位置检测装置,且使摄影部51从屏幕SC的侧方或正面进行拍摄。而且,也可以是,配置多个摄影部51,检测部55根据这些多个摄影部51的摄影图像的数据,检测指示体70、80的位置。而且,也可以将位置检测部50、与控制部30的判定部32及检测控制部33的功能作为与投影仪独立的位置检测装置来实现。另外,也可以实现这样的方式:使投影仪以外的显示装置具有位置检测部50和控制部30的判定部32及检测控制部33的功能,使其作为位置检测装置工作。
另外,在上述实施方式中,对使用发送部53所发出的红外线信号从投影仪100向指示体70发送与指示体70同步用的信号的结构进行了说明,但同步用的信号不限于红外线信号。例如,也可以是通过电波通信或超声波无线通信发送同步用的信号的结构。该结构可以通过这样的方式实现:将电波通信或超声波无线通信发送信号的发送部53设置在投影仪100中,将同样的接收部设置在指示体70中。
另外,在上述的实施方式中,对根据发送接收部74的点亮模式来判定指示体70的前端部71是否被按压至屏幕SC的例子进行了说明,但本发明并不限定于此。例如,也可以是,与指示体80同样,根据摄影图像的数据,检测指示体70的图像以及指示体70的影子的图像,由此,判定指示体70的前端部71是否被按压至屏幕SC。
另外,在上述实施方式中,举例说明了作为对光源所发出的光进行调制的光调制装置22使用了与RGB的各种颜色对应的3张透过型液晶面板的结构,但本发明并不限定于此。例如,既可以是使用了3张反射型液晶面板的结构,也可以采用组合了1张液晶面板与色轮(colorwheel)的方式。另外,也可以通过使用了3张数字反射镜器件(DMD:DigitalmirrorDevice)的方式、组合了1张数字反射镜器件与色轮的DMD方式等构成。在作为光调制装置只使用1张液晶面板或DMD的情况下,不需要相当于十字分色棱镜等合成光学系统的部件。另外,除了液晶面板和DMD以外,只要是能够对光源所发出的光进行调制的光调制装置,都能够采用而不会有问题。
另外,图2所示的投影仪100的各功能部示出功能性的结构,具体的实施方式不受特别限制。即,不需要必须安装与各功能部单独对应的硬件,当然也可以是通过一个处理器执行程序而实现多个功能部的功能的结构。另外,在上述实施方式中,既可以用硬件来实现用软件实现的功能的一部分,或者也可以用软件来实现用硬件实现的功能的一部分。除此之外,对于投影仪100的其他各部分的具体的细节结构,能够在不脱离本发明的主旨的范围内进行任意变更。

Claims (11)

1.一种位置检测装置,其特征在于,该位置检测装置具有:
检测部,其检测对操作面进行操作的指示体以及与所述指示体不同的对象物;
摄影部,其形成对包含所述操作面的范围进行拍摄而得到的摄影图像;以及
控制部,其根据所述摄影图像,检测所述对象物相对于所述操作面的运动以及所述指示体相对于所述操作面的位置,由此,判定是否检测所述指示体的操作作为输入。
2.根据权利要求1所述的位置检测装置,其特征在于,
所述检测部检测所述指示体的位置或运动,所述控制部根据所述检测部检测的所述指示体的位置或运动来检测输入。
3.根据权利要求1或2所述的位置检测装置,其特征在于,
所述控制部根据所述指示体与所述操作面之间的距离以及所述对象物与所述操作面之间的距离,判定是否检测所述指示体的位置或运动作为输入。
4.根据权利要求3所述的位置检测装置,其特征在于,
在所述指示体与所述操作面之间的距离比所述对象物与所述操作面之间的距离远的情况下,所述控制部判定不检测所述指示体的位置或运动作为输入。
5.根据权利要求4所述的位置检测装置,其特征在于,
在所述检测部检测出了多个所述对象物的情况下,所述控制部检测与所述操作面之间的距离比所述指示体与所述操作面之间的距离近的所述对象物的位置或运动作为输入。
6.根据权利要求5所述的位置检测装置,其特征在于,
在检测出了与所述操作面之间的距离比所述指示体与所述操作面之间的距离近的多个所述对象物的情况下,所述控制部根据所述摄影部的摄影图像,求出这些多个所述对象物之间的距离的变化,且根据所求出的距离的变化,检测所述对象物相对于所述操作面的运动作为输入。
7.根据权利要求6所述的位置检测装置,其特征在于,
所述控制部根据所述摄影部的摄影图像,求出各个所述对象物相对于所述操作面的相对位置的经时变化,由此,求出多个所述对象物之间的距离的变化。
8.根据权利要求4所述的位置检测装置,其特征在于,
在所述检测部检测的所述对象物是把持所述指示体的操作者的手指的情况下,所述控制部检测所述对象物的位置或运动作为输入。
9.根据权利要求1至8中的任意一项所述的位置检测装置,其特征在于,
在所述检测部检测出了多个对象物的情况下,所述控制部使检测出的多个所述对象物分别与所述操作者对应起来,且按每个所述操作者检测操作。
10.一种投影仪,其特征在于,该投影仪具有:
投射部,其向投射面投射图像;
检测部,其检测对所述投射面进行操作的指示体以及与所述指示体不同的对象物;
摄影部,其形成对包含所述投射面的范围进行拍摄而得到的摄影图像;以及
控制部,其根据所述摄影图像,检测所述对象物相对于所述投射面的运动以及所述指示体相对于所述投射面的位置,由此,判定是否检测所述指示体的操作作为输入。
11.一种位置检测方法,其特征在于,该位置检测方法具有:
检测步骤,检测对操作面进行操作的指示体以及与所述指示体不同的对象物;
摄影步骤,形成对包含所述操作面的范围进行拍摄而得到的摄影图像;以及
判定步骤,根据通过所述摄影步骤拍摄到的所述摄影图像,检测所述对象物相对于所述操作面的运动以及所述指示体相对于所述操作面的位置,由此,判定是否检测所述指示体的操作作为输入。
CN201510582203.0A 2014-09-26 2015-09-14 位置检测装置、投影仪以及位置检测方法 Active CN105468210B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014196496A JP6350175B2 (ja) 2014-09-26 2014-09-26 位置検出装置、プロジェクター、及び、位置検出方法
JP2014-196496 2014-09-26

Publications (2)

Publication Number Publication Date
CN105468210A true CN105468210A (zh) 2016-04-06
CN105468210B CN105468210B (zh) 2020-03-27

Family

ID=55584996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510582203.0A Active CN105468210B (zh) 2014-09-26 2015-09-14 位置检测装置、投影仪以及位置检测方法

Country Status (3)

Country Link
US (1) US9870073B2 (zh)
JP (1) JP6350175B2 (zh)
CN (1) CN105468210B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309190A (zh) * 2018-12-06 2020-06-19 精工爱普生株式会社 显示装置、显示系统以及显示方法
CN114175624A (zh) * 2019-07-26 2022-03-11 富士胶片株式会社 控制装置、投影系统、控制方法及控制程序

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6413236B2 (ja) * 2013-12-20 2018-10-31 セイコーエプソン株式会社 プロジェクター、プロジェクションシステム、及び、プロジェクターの制御方法
JP6398248B2 (ja) * 2014-01-21 2018-10-03 セイコーエプソン株式会社 位置検出システム、及び、位置検出システムの制御方法
US20160091987A1 (en) * 2014-09-26 2016-03-31 Panasonic Intellectual Property Management Co., Ltd. Projector

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2839972B2 (ja) 1991-11-15 1998-12-24 シャープ株式会社 感圧式座標入力装置
JPH09138730A (ja) 1995-11-14 1997-05-27 Sharp Corp 情報入力処理装置
JPH10124239A (ja) 1996-10-22 1998-05-15 Sharp Corp タブレット入力装置
JP3758866B2 (ja) 1998-12-01 2006-03-22 富士ゼロックス株式会社 座標入力装置
JP4927633B2 (ja) * 2006-09-28 2012-05-09 京セラ株式会社 携帯端末及びその制御方法
US20090095540A1 (en) 2007-10-11 2009-04-16 N-Trig Ltd. Method for palm touch identification in multi-touch digitizing systems
US8941590B2 (en) * 2008-04-24 2015-01-27 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
JP4857385B2 (ja) 2010-01-12 2012-01-18 パナソニック株式会社 電子ペンシステム
US8482539B2 (en) 2010-01-12 2013-07-09 Panasonic Corporation Electronic pen system
GB2486445B (en) * 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
CN102566827A (zh) * 2010-12-30 2012-07-11 株式会社理光 虚拟触摸屏系统中对象检测方法和系统
WO2012176637A1 (en) 2011-06-22 2012-12-27 Sharp Kabushiki Kaisha Touch panel system and electronic device
JP5350437B2 (ja) 2011-06-27 2013-11-27 シャープ株式会社 タッチセンサシステム
US20130055143A1 (en) * 2011-08-31 2013-02-28 Smart Technologies Ulc Method for manipulating a graphical user interface and interactive input system employing the same
JP2013061552A (ja) * 2011-09-14 2013-04-04 Ricoh Co Ltd プロジェクタ装置および操作検出方法
JP6141596B2 (ja) * 2011-12-27 2017-06-07 セイコーエプソン株式会社 表示装置、表示システム及び表示装置のデータ供給方法
CA2862434C (en) * 2012-01-11 2018-07-10 Smart Technologies Ulc Interactive input system and method
JP5906779B2 (ja) * 2012-02-09 2016-04-20 株式会社リコー 画像表示装置
JP6003566B2 (ja) 2012-11-19 2016-10-05 コニカミノルタ株式会社 オブジェクト操作装置及びオブジェクト操作制御プログラム
JP6051828B2 (ja) * 2012-12-10 2016-12-27 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US9645678B2 (en) * 2012-12-18 2017-05-09 Seiko Epson Corporation Display device, and method of controlling display device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111309190A (zh) * 2018-12-06 2020-06-19 精工爱普生株式会社 显示装置、显示系统以及显示方法
CN111309190B (zh) * 2018-12-06 2023-12-22 精工爱普生株式会社 显示装置、显示系统以及显示方法
CN114175624A (zh) * 2019-07-26 2022-03-11 富士胶片株式会社 控制装置、投影系统、控制方法及控制程序
CN114175624B (zh) * 2019-07-26 2024-05-03 富士胶片株式会社 控制装置、投影系统、控制方法及存储介质

Also Published As

Publication number Publication date
JP2016071402A (ja) 2016-05-09
US20160093035A1 (en) 2016-03-31
CN105468210B (zh) 2020-03-27
US9870073B2 (en) 2018-01-16
JP6350175B2 (ja) 2018-07-04

Similar Documents

Publication Publication Date Title
CN104981757B (zh) 灵活的房间控制器
CN105468210A (zh) 位置检测装置、投影仪以及位置检测方法
JP3867205B2 (ja) 指示位置検出装置、及び指示位置検出システム、並びに指示位置検出方法
CN107430324B (zh) 具有不可见光通道的数字光投影仪
CN104683722B (zh) 图像显示装置及其的控制方法
CN104660946B (zh) 投影机及其控制方法
JP2003234983A (ja) プロジェクタ
CN105468139A (zh) 位置检测装置、投影仪以及位置检测方法
CN104898894A (zh) 位置检测装置以及位置检测方法
CN104978079B (zh) 双向显示方法以及双向显示装置
CN105988638B (zh) 位置检测装置及其控制方法和显示装置及其控制方法
JP2016212291A (ja) 画像投影システム、画像処理装置、及びプログラム
JP6750268B2 (ja) 表示装置及び表示装置の制御方法
JP6439398B2 (ja) プロジェクター、及び、プロジェクターの制御方法
CN107018393B (zh) 投影仪和投影仪的控制方法
CN105988637B (zh) 位置检测装置及其控制方法和显示装置及其控制方法
JP2015106111A (ja) プロジェクションシステム
JP6707945B2 (ja) 表示装置及び表示装置の制御方法
JP5250962B2 (ja) 投影装置、投影方法及びプログラム
JP6409517B2 (ja) 表示装置、及び、表示装置の制御方法
JP2015216531A (ja) 画像出力システム、情報処理装置、プログラム、画像出力方法
JP2015219546A (ja) 機器制御システム、機器制御プログラムおよび機器制御装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant