CN106462227A - 投影型影像显示装置及其控制方法 - Google Patents

投影型影像显示装置及其控制方法 Download PDF

Info

Publication number
CN106462227A
CN106462227A CN201480079980.7A CN201480079980A CN106462227A CN 106462227 A CN106462227 A CN 106462227A CN 201480079980 A CN201480079980 A CN 201480079980A CN 106462227 A CN106462227 A CN 106462227A
Authority
CN
China
Prior art keywords
projection
image
finger
signal
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480079980.7A
Other languages
English (en)
Inventor
松原孝志
成川沙希子
森直树
长谷川实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Publication of CN106462227A publication Critical patent/CN106462227A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本发明的投影型影像显示装置(1)包括：输入多个影像信号的信号输入部(120)；将影像投影显示在投影面上的投影部(115)；拍摄操作投影面的一个或多个操作者的摄像部(100)；从摄像部的拍摄图像检测操作者的操作的操作检测部(104～109)；和控制从投影部投影的影像的显示的控制部(110)。控制部基于操作检测部的检测结果，从输入到信号输入部的影像信号中选择要用投影部投影显示的影像信号。

Description

投影型影像显示装置及其控制方法
技术领域
本发明涉及在投影面上投影影像来进行显示的投影型影像显示装置及其控制方法。
背景技术
提案有在利用投影型影像显示装置投影影像时，从拍摄图像检测用户操作，将影像的显示位置和显示方向控制到对用户来说容易看的状态的技术。
专利文献1中公开了如下结构：在能够检测投影图像上的用户操作的图像投影装置中，从拍摄了包含投影图像的投影面的区域的图像中检测用户将用于用户界面的操作的操作物体(例如手)向/从投影图像上移动的方向，根据检测出的方向确定用户界面的显示位置或显示方向，进行投影。
另外，专利文献2中公开了如下结构：为了实现在有多个用户的情况下也更易看的显示状态，取得与显示对象相对的观察者的人数和位置，基于所取得的观察者的人数和位置，确定包括要显示的图像的方向的显示样式，以确定下来的显示样式在显示对象上显示图像。
现有技术文献
专利文献
专利文献1：日本特开2009-64109号公报
专利文献2：日本特开2013-76924号公报
发明内容
发明要解决的课题
现有技术中，在对投影型影像显示装置输入多个影像信号，切换影像信号进行投影的情况下，该信号切换通过装置中设置的开关或遥控器来进行。但是，在用户位于桌子上表面或屏幕等的投影面的附近，用手指着投影出来的影像进行说明那样的情况下，用开关或遥控器进行的信号切换并不方便。
上述专利文献1和2公开的技术中，从拍摄图像检测用户操作，将已经选择出的影像的显示位置和显示方向控制到对用户来说容易看的状态，对于根据用户图像切换多个影像信号并没有特别考虑。假如在将专利文献1、2公开的技术应用到影像信号的切换的情况下，对显示状态的操作和对信号切换的操作混在一起，有可能导致错误的控制。因此，需要识别两者的操作的方法。
本发明的目的在于，在输入多个影像信号的投影型影像显示装置中，从拍摄图像检测用户操作，适当地进行要显示的影像信号的切换。
用于解决课题的方案
本发明的投影型影像显示装置包括：输入多个影像信号的信号输入部；将影像投影显示在投影面上的投影部；拍摄操作投影面的一个或多个操作者的摄像部；从摄像部的拍摄图像检测操作者的操作的操作检测部；和控制从投影部投影的影像的显示的控制部，控制部基于操作检测部的检测结果，从输入到信号输入部的影像信号中选择要用投影部投影显示的影像信号。
发明效果
根据本发明，能够适当地进行要显示的影像信号的切换，实现易用性佳的投影型影像显示装置。
附图说明
图1是表示用户对投影型影像显示装置的显示画面进行操作的状态的一例的图。
图2是表示实施例1的投影型影像显示装置的结构的图。
图3是表示由2个照明产生的用户的手指的影子的形状的图。
图4是表示用户的操作位置的影子的形状的影响的图。
图5是表示用多个手指操作的情况下的影子的形状的图。
图6是说明利用轮廓线确定手指指向的图。
图7是表示与长方形的桌子匹配进行投影的例子的图。
图8是表示与圆形的桌子匹配进行投影的例子的图。
图9是表示与多个用户匹配地显示多个影像的例子的图。
图10是表示基于手指操作的显示画面的平行移动的例子的图。
图11是表示基于手指操作的显示画面的旋转的例子的图。
图12是表示基于手指操作的显示画面的放大、缩小的例子的图。
图13是表示通过两手的手指的操作使显示画面旋转的例子的图。
图14是表示通过两手的手指的操作使显示画面放大、缩小的例子的图。
图15是表示实施例2的投影型影像显示装置的结构的图。
图16是表示显示来自多个信号输出装置的影像的状态的图。
图17是表示显示影像的输入切换操作的一例的图。
图18是表示显示影像的输入切换操作的另一例的图。
图19是表示显示影像的输入切换操作的另一例的图。
图20是表示将对信号输出装置的触摸操作组合的操作的例子的图。
图21是表示实施例3的投影型影像显示装置的结构的图。
图22是表示多个影像的同时显示操作的一例的图。
图23是表示多个影像的同时显示操作的另一例的图。
图24是表示多个影像的同时显示操作的另一例的图。
图25是表示同时显示影像画面和描绘用画面的例子的图。
图26是表示基于非接触的输入切换操作的一例的图(实施例4)。
图27是表示基于非接触的输入切换操作的另一例的图。
图28是表示基于非接触的输入切换操作的另一例的图。
具体实施方式
以下，使用附图对本发明的实施方式进行说明。
(实施例1)
图1是表示用户(操作者)3对投影型影像显示装置1的显示画面进行操作的状态的一例的图。在此，表示在作为投影面2的桌子上设置投影型影像显示装置1，将2个显示画面202、203投影到桌子上的例子。显示屏幕202和203相当于OSD(On-Screen Display：屏幕显示)画面，显示于显示画面202、203的影像是最大投影范围210中的部分影像。由此，能够进行例如在投影面2上的最大投影范围210显示装置的设计图，在显示画面202、203显示设计图的解说资料这样的用法。另外，投影面2并不限定于桌子上，也可以为屏幕或其他的构造物的面。
投影型影像显示装置1包括用户操作检测用的摄像机(摄像部)100和2个照明101、102。2个照明101、102照射用户3的手指30，摄像机100拍摄手指30及其附近。用户3使作为操作物的手指30接近投影面2的显示画面203，再使之接触某个位置，由此对显示影像进行期望的操作(手势操作)。即，投影面2内能够用摄像机100拍摄的区域，也是用户3能够对投影型影像显示装置1进行操作的操作面。
由于手指30接近或接触的投影面2时手指30的影子的形状发生变化，所以投影型影像显示装置1分析摄像机100的图像，检测对于投影面2的手指的接近度、接触点、手指指向。然后，根据用户进行的各种操作，进行影像的显示方式和影像信号切换等的控制。对于用户3进行的各种操作(手势操作)和显示控制的例子，在后面详细叙述。
图2是表示实施例1的投影型影像显示装置1的结构的图。投影型影像显示装置1包括：摄像机100、2个照明101和102、影子区域提取部104、特征点检测部105、接近度检测部106、接触点检测部107、轮廓检测部108、方向检测部109、控制部110、显示控制部111、驱动电路部112、输入端子部113、输入信号处理部114、投影部115。其中，影子区域提取部104、特征点检测部105、接近度检测部106、接触点检测部107、轮廓检测部108、方向检测部109是检测用户3的操作的操作检测部。以下以操作检测部为中心对各部的结构和动作进行说明。
摄像机100由图像传感器、透镜等构成，拍摄包括作为用户3的操作物的手指30的图像。2个照明101和102由发光二极管、电路基板、透镜等构成，对投影面2和用户3的手指30照射照明光，在用摄像机100拍摄的图像内投影手指30的影子。其中，照明101和102可以由红外线照明构成，摄像机100可以由红外线摄像机构成。由此，能够从作为从带操作检测功能的投影型影像显示装置1投影的影像信号的影像的可视光影像中分离取得用摄像机100拍摄的红外线图像。
影子区域提取部104从由摄像机100得到的图像中提取影子区域来生成影子图像。例如可以从操作检测时的拍摄图像中减去拍摄到的投影面2的背景图像而生成差分图像，用规定的阈值Lth将差分图像的亮度二值化，将阈值以下的区域作为影子区域。进而进行将提取出的影子中没有彼此连结的影子的区域分布作为不同的影子区别的、所谓标记(labeling)处理。通过标记处理，能够识别提取出的多个影子对应哪个手指、即识别1根手指对应的成对的2个影子。
特征点检测部105检测由影子区域提取部104提取出的影子图像内的规定的位置(以下称为特征点)。例如作为特征点，检测影子图像内的前端位置(与手指尖位置对应)。使用了用于特征点检测的各种方法，而在前端位置的情况下能够从构成其影子图像的像素的坐标数据进行检测，或者也能够通过图像识别等检测与特征点所具有的特有的形状一致的部分。特征点从1个影子中检测1个部位，所以对于1根手指(2个影子)检测出2处。
接近度检测部106测定由特征点检测部105检测出的2个特征点间的距离d，基于距离d检测手指与操作面的间隙s(接近度)。由此，判定手指是否与操作面接触。
接触点检测部107，在利用接近度检测部106判定为手指与操作面接触的情况下，基于其特征点的位置，检测手指对于操作面的接触点，计算其坐标。
轮廓检测部108从由影子区域提取部104提取出的影子图像中提取影子区域的轮廓。例如在一定方向上对影子图像内进行扫描来确定轮廓跟踪的开始像素，通过逆时针旋转地跟踪开始像素的附近像素来得到轮廓。
方向检测部109从由轮廓检测部108检测出的轮廓线提取大致直线状的线段。然后，基于提取出的轮廓线的方向，检测操作面上的手指的手指指向。
其中，上述的各检测部的处理并不限定于上述方法，也可以使用其他的图像处理的算法。另外，上述的各检测部也可以不仅由电路基板上的硬件，而由软件构成。
控制部110控制装置整体的动作，生成手指对于由各检测部检测出的操作面的接近度、接触点坐标、手指指向等检测结果数据。
显示控制部111基于由控制部110生成的检测结果数据，生成影像信号切换、影像显示位置、影像显示方向、放大缩小等显示控制数据。然后，对于经由输入端子113和输入信号处理部114的影像信号，进行基于显示控制数据的显示控制处理。另外，显示控制部111生成用于用户描绘文字、图形的描绘用画面。
驱动电路部112进行用于将处理后的影像信号作为显示影像投影的处理。显示图像从投影部115被投影到投影面上。
到此为止的各部以内置于投影型影像显示装置1进行了说明，但是它们的一部分可以构成为另外的单元，可以为用传输线连接的结构。另外，图2中省略了缓存和存储器等的记载，但所需的缓存和存储器等可以适当装载。
以下对用户操作检测(手势检测)的基本的手指接触的检测法进行说明。
图3是表示由2个照明产生的用户的手指的影子的形状的图。(a)是手指30没有与投影面2接触的状态，(b)是手指30与投影面2接触的状态。
如(a)所示，在手指30没有与投影面2接触的状态下(间隙s≠0)，来自2个照明101、102的光被手指30遮挡，分别形成影子401、402(用斜线表示)。摄像机图像中，2个影子401、402彼此分开地存在于手指30的两侧。
另一方面，如(b)所示，在手指30的手指尖与投影面2接触的状态下(间隙s＝0)，2个影子401、402接近存在于手指30的手指尖的位置。其中，影子401、402的一部分区域被手指30的阴影隐藏，但其隐藏的部分不包含在影子区域中。本实施例中，利用手指30接近投影面2时影子401与影子402间隔接近的性质，来判定手指30与投影面2的接触。
为了测定影子401与影子402的间隔，在各个影子中确定特征点601、602，测定特征点间的距离d。只要特征点被设定为各个影子401、402的前端位置(即手指尖位置)，与投影面的接触位置的对应就变得容易。即使在手指没有与投影面接触的状态下，也能够根据特征点间的距离d的大小将手指与投影面的接近度(间隙s)按程度分开，进行与手指的接近度相应的控制。即，能够设定手指以接触状态进行的接触操作模式和手指以非接触状态进行非接触操作模式(空中操作模式)，以两者切换控制内容。
图4是表示用户的操作位置的影子的形状的影响的图。在此，比较用户的操作位置从投影面2的中央向左侧偏离的情况(a)与向右侧偏离的情况(b)的摄像机图像。虽然(a)和(b)中从摄像机100看到的用户的操作位置发生变化，但在它们的摄像机图像中，手指30(30’)对应的影子401(401’)、402(402’)的位置关系不变。即，与用户操作位置无关地，总是在手指30(30’)的两侧存在影子401(401’)和402(402’)。这是因为是由摄像机100和照明101、102的位置关系唯一确定的。因此，不论用户对投影面2在哪个位置进行操作都能够检测2个影子401、402，能够有效应用本实施例的操作检测方法。
图5是表示用多个手指操作的情况下的影子的形状的图。以张开手的状态使多个手指31、32……直接接触操作面时，对各手指形成左侧的影子411、421……和右侧的影子412、422……。然后，对各影子设定特征点。在此，表示影子411、412对应的特征点611、612和影子421、422对应的特征点621、622。通过测定对应的特征点611、612或特征点621、622间的距离d，能够求取各个手指31、32的接近度和接触点。由此根据本实施例，即使在张开手的状态下也能够独立检测多个手指的接触，所以能够应用于多点触摸操作。
图6是说明利用轮廓线确定手指指向的图。表示使手指30的方向(手指指向)倾斜时的影子401、402的形状，伴随手指指向的变化影子401、402的方向也发生变化。为了检测手指指向，首先用轮廓检测部108检测影子401、402对应的轮廓线501、502。其中，轮廓线的检测中，除去手指尖等的曲线部分，检测由大致直线状的线段构成的轮廓线。之后，方向检测部109用下面的方法确定手指指向。
(a)中，使用影子401、402对应的内侧的轮廓线501、502。然后，将内侧的轮廓线501、502的倾斜方向701、702的某一个确定为手指指向。
(b)中，使用影子401、402对应的外侧的轮廓线501’、502’。然后，将外侧的轮廓线501’、502’的倾斜方向701’、702’的某一个确定为手指指向。
(c)中，使用影子401、402对应的内侧的轮廓线501、502。然后，将内侧的轮廓线501、502的中线的倾斜方向703确定为手指指向。在这种情况下根据2个轮廓线501、502的平均方向求取，所以精度变得更高。另外，也可以将外侧的轮廓线501’、502’的中线方向作为手指指向。
以上是投影型影像显示装置1的用户操作的检测方法。以上说明的手指接触点和手指指向的检测方式中，只要是手指或与之相当的细长的操作物就能够进行操作。这与笔尖发出规定的光来进行识别处理的发光笔方式相比，不需要准备专用的发光笔所以应用性大幅提高。
接着，对通过用户操作实现的显示画面的控制的例子进行说明。
首先，对投影面的显示画面数、显示的方向、显示的位置、显示的大小等基本设定进行说明。这些基本设定在初始状态下按照投影型影像显示装置1中设定的默认条件、或由用户手动操作来设定。装置使用中，用户的人数、位置有时会发生变化。在这种情况下，检测用户的人数、位置和投影面的形状等，据此将显示画面数、显示位置、显示方向、显示的大小等变更为容易视认的状态。
在此，用户的人数、位置、投影面的形状等的识别，用投影型影像显示装置1的摄像机100的拍摄图像来进行。在投影型影像显示装置设置于桌子上的情况下，由于与识别物(用户、投影面)的距离近、与识别物之间被障碍物遮挡的频度少等变得有利。另外，也可以摄像机100用于拍摄手指检测等的用户3的操作，而具有用于拍摄用户3的位置、投影面2的形状的别的摄像机。
以下，表示对识别投影面的形状和用户的位置，与之匹配地确定显示画面的显示方向的例子。
图7是表示与长方形的桌子匹配进行投影的例子的图。(a)中，根据投影型影像显示装置1的摄像机的拍摄图像识别出用户3在作为长方形的桌子的投影面2附近。进而识别出用户3与桌子的边缘的最接近部302的桌子的边缘位置。(b)表示显示画面202的方向，在将显示画面202的显示方向确定为最接近部302的位置的边缘的方向与显示影像的底边平行、且302的位置成为下侧的方向。
图8是表示与圆形的桌子匹配进行投影的例子的图。(a)中，根据投影型影像显示装置1的摄像机的拍摄图像识别出用户3在作为圆形的桌子的投影面2附近。进而识别出用户3与桌子的边缘的最接近部303的桌子的边缘位置。(b)表示显示画面202的方向，在将显示画面202的显示方向确定为最接近部303的位置的边缘的方向与显示影像的底边平行、且303的位置成为下侧的方向。
图9是表示与多个用户匹配地显示多个影像的例子的图。(a)是投影到作为四边形的桌子的投影面2的情况，(b)是投影到作为圆形的桌子的投影面2的情况。都是利用摄像机检测多个用户及其位置，根据离该位置最接近的桌子的边缘的位置和形状确定显示画面202的位置和显示方向。向着，能够根据离用户3最近的桌子的边缘的形状自动地确定显示方向。
接着，说明对于显示中的画面，通过用户3的手势操作变更显示状态的几个例子。在这种情况下，通过使用户的手指尖接触显示画面202(投影面2)、使手指尖的位置移动来进行操作。用符号210表示能够利用投影型影像显示装置1在投影面2上投影影像的范围。最大投影范围210的显示范围内显示例如2个显示画面202和203。
图10是表示基于手指操作的显示画面的平行移动的例子的图。(a)表示操作前的状态，(b)表示操作后的状态。(a)中使手指接触显示画面203，不改变手指的方向地使之向期望的方向(上下方向、左右方向、斜方向的某一者)移动。然后如(b)所示，显示画面202、203中仅手指接触的显示画面203，像画面203’那样与手指的动作同样地移动。由此，能够将期望的显示画面移动到用户希望的位置。
图11是表示基于手指操作的显示画面的旋转的例子的图。(a)中使接触到显示画面203的手指旋转。然后如(b)所示，仅手指接触的显示画面203，像画面203’那样与手指的动作地配合地显示方向旋转。由此，能够将期望的显示画面旋转到用户希望的方向。
图11的旋转操作中，检测用户操作中的手指指向。由此如(b)所示，即使在接触点的位置本身不变地使手指的方向旋转的情况下也能够实现显示画面的旋转操作。这是通过本实施例的结构才实现了平板终端等触摸传感器中难以实现的旋转操作。
图12是表示基于手指操作的显示画面的放大、缩小的例子的图。(a)中使接触到显示画面202的2根手指放在像长方形的对角顶点上那样的位置，(b)中以按着拉开将该对角顶点彼此连结的对角线的方式拉开2根手指尖的距离。于是，与仅被操作的显示画面202被拉开相应地放大画面，成为画面202’的样子。另一方面，如果使接触到显示画面202的2根手指以接近的方式移动，则也能够缩小画面。画面的放大、缩小操作，与上述的画面的移动、旋转操作并行进行，由此能够有效使用确定的最大投影范围210来显示各显示画面。
作为其他操作，也能够分割显示画面来增加画面数。用户一边使手指接触显示画面，一边以切断画面的方式移动手指，由此能够生成相同的显示内容的2个画面。
接着，对使用用户的两手的手指、即使用多个手指的显示画面操作的例子进行说明。根据使用多个手指的画面操作，能够在旋转处理、尺寸变更处理中明确地确定显示画面，能够提高控制部的处理的效率。
图13是表示通过两手的手指的操作使显示画面旋转的例子的图。如(a)所示，以使2根手指两者与显示画面203内接触的状态移动2根手指，如(b)所示，以改变连结2根手指的接触点的直线的倾斜的方式移动2根手指。于是，投影型影像显示装置1以与该倾斜的变化对应的方式变更显示角度，以画面203’的方式显示。由此，能够进行显示画面的旋转处理。
图14是表示通过两手的手指的操作使显示画面放大、缩小的例子的图。如(a)所示，以使2根手指两者与显示画面202内接触的状态移动2根手指，如(b)所示，以使连结2根手指的接触点的直线的距离变长的方式移动2根手指。于是，投影型影像显示装置1以与该长度的变化对应的方式变更显示尺寸，以画面202’的方式显示。由此，能够进行显示画面的放大处理。反之，在使连结2根手指的接触点的直线的距离变短的情况下，进行显示画面的缩小处理。
另外，为了消除上述的旋转、放大、缩小操作等中的误动作，可以在2根手指两者与显示画面内接触的情况下使动作能够进行，在一根手指位于显示画面外的情况下不进行动作。
另外，上述的操作中，2根手指的接触位置采用这2根手指从空中接触显示画面(投影面)的最开始的位置。由此，在这些手指与投影面接触着从显示画面外向内移动的情况下等，不进行动作。由此，能够简化处理提高控制部110的处理效率。另外，能够明确地确定多个显示画面中的作为处理对象的显示画面。
另外，上述的操作中检测2根手指的接触位置，而控制部110将由摄像机100检测出的多个手指中的与显示画面(投影面)接触的时间差在规定的时间内的2根手指判断为上述操作中使用的手指的组合。由此，能够避免伴随2根手指接触的时间差的误动作。
如以上说明的那样，根据实施例1，能够实现高精度地高效地进行基于手指接触检测的显示画面操作的投影型影像显示装置。
(实施例2)
实施例2中，对通过用户的手势操作进行从多个信号输出装置输入的显示影像的输入切换的功能进行说明。
图15是表示实施例2的投影型影像显示装置1的结构的图。本实施例的结构中，替代实施例1(图2)的输入端子113，具有信号输入部120。信号输入部120是经由HDMI(注册商标)(High-Definition Multimedia Interface：高清多媒体接口)端子、VGA(VideoGraphics Array：视频图形阵列)端子、复合端子、LAN(Local Area Network：局域网)端子和无线LAN模块的网络影像传输等的信号输入部，利用位于投影型影像显示装置1的外部的信号输出装置输入包含影像信号和操作检测信号的输入信号121。信号输入部120的信号输入方法，并不限定于上述的端子、模块等，只要是能够输入包含影像信号和操作检测信号的输入信号121的方法即可。信号输出装置4a、4b、4c、4d是PC(Personal Computer：个人计算机)、平板终端、智能手机、便携式电话机等装置，并不限定于这些装置，只要是对投影型影像显示装置1输出包含影像信号和操作检测信号的信号121的装置即可。
图16是表示显示来自多个信号输出装置的影像的状态的图，(a)是主视图，(b)是侧视图。在投影型影像显示装置1通过影像传输线缆、网络线缆、无线连接等通信手段连接有多个信号输出装置4a、4b、4c、4d。用户3接触操作投影面2的显示画面202，由此将各信号输出装置输出的影像1个、或多个同时显示。本例是同时显示4个显示影像A～D的情况。
本实施例中，在检测出以下例子所示的用户操作的情况下，投影型影像显示装置1的控制部110判断为是输入切换操作，控制部110对显示控制部111作出切换显示为从经由信号输入部120和输入信号处理部114输入的多个影像中指定的影像的指示。在此，控制部110在判断用户操作时，在检测出1根或2根手指的接触的情况下作为针对显示中的影像的操作处理，在检测出3根手指的接触的情况下作为针对显示影像的输入切换的操作处理。
图17是表示显示影像的输入切换操作的一例的图。例如表示在显示来自信号输出装置4a的影像A时，切换为来自信号输出装置4b的影像B的显示的情况。切换显示影像时所用的手势操作如(a)所示，通过使用户3的3根手指30a接触投影面2(显示画面202)来进行。投影型影像显示装置1当检测出3根手指30a接触投影面的手势时，如(b)所示切换输入来自信号输出装置4b的影像B。之后进一步在每次检测出3根手指30a接触投影面的手势时，以规定的顺序切换显示影像为来自信号输出装置4c的影像C、来自信号输出装置4d的影像D。
图18是表示显示影像的输入切换操作的另一例的图。如本例中(a)所示，使用使3根手指30a接触投影面并在横向移动(滑动)、即所谓的滑动(swipe)操作。由此，如(b)所示切换显示为下面的影像B。
图19是表示显示影像的输入切换操作的另一例的图。首先如(a)所示，当3根手指30a接触投影面时，显示输入切换菜单209。在该输入切换菜单209中显示输入影像的识别编号A～D。对此用户如(b)所示，通过触摸操作从输入切换菜单209选择期望的影像的识别编号，显示选择出的影像B。
其中，输入切换菜单209的显示位置为显示画面202的中央或周围的规定的位置。或者，也可以在(a)所示的手势的手指30a的接触位置的附近显示输入切换菜单209。另外，在(b)中从输入切换菜单209选择期望的影像时，也可以不是触摸操作而是使手在横向滑动(slide)的滑动(swipe)操作。
另外，图17～图19中，3根手指的接触状态并不需要完全接触投影面，也可以包括从投影面接近到规定的距离以内的情况。根据实施例1(图3)中所述的接触检测法，能够根据手指的影子的间隔d判断非接触时的离投影面的距离(间隙s)。
本实施例中，作为对于投影型影像显示装置1的显示影像的切换操作，使用使用户的规定根数(3根)手指接触投影面的手势。由此，与使1根或2根手指接触的手指进行的对显示中的影像的操作明确区别开，能够防止误动作。另外，作为显示影像的切换操作，只要能够与对显示中的影像的手势操作(使1根或2根手指接触)区别开，也可以改为其他的手势(使3根以外根数的手指接触)。
进而作为其他方法，除了上述的利用3根手指进行的对投影面的触摸操作以外，也能够通过组合对作为影像信号的输入源的信号输出装置的触摸操作，更可靠地进行输入信号的切换。
图20是表示将对信号输出装置的触摸操作组合的操作的例子的图。如(a)所示，在投影型影像显示装置1显示信号输出装置4a的影像A期间，用户3对输出影像C的信号输出装置4c进行使3根手指30a接触其显示面的手势，选择装置4c。接着该操作，如(b)所示，用户3进行使3根手指30a接触投影型影像显示装置1的投影面的手势。其结果是，投影型影像显示装置1切换显示为通过上述(a)的操作选择出的信号输出装置4c的影像C。
上述处理以如下方式进行。信号输出装置4c当检测出(a)所示的手势时，经由前面叙述的网络线缆或无线连接等通信手段，对投影型影像显示装置1发送操作检测信号121。投影型影像显示装置1的控制部110，经由信号输入部120和输入信号处理部114接收来自信号输出装置4c的操作检测信号121。接着，控制部110当检测出(b)所示的手势时判断为是输入切换操作。然后，对显示控制部111作出如下指示：从经由信号输入部120和输入信号处理部114输入的多个影像信号121中切换为作为之前接收到操作检测信号的发送源的信号输出装置4c的影像C。
另外，(a)、(b)所示的手势只是一例，只要能够与其他操作区别开，也可以为其他手势。另外，(a)和(b)所示的手势的操作的顺序可以相反。即，当检测出(b)所示的手势时，投影型影像显示装置1使来自信号输出装置的操作检测信号的接收待机。接着通过(a)所示的手势从信号输出装置4c接收操作检测信号，由此，投影型影像显示装置1切换显示为信号输出装置4c的影像C。
对图20所示的操作的效果进行说明。在多个用户共用投影型影像显示装置1的情况下，像图17～图19那样仅用用户对投影面的手势来进行影像切换的方式，有可能因投影面的附近的多个用户的手指的移动而导致未预料的误动作。对此，如图20所示通过采用组合对信号输出装置的触摸操作的方式，能够没有误动作地可靠地进行影像切换。
进而图20所示的操作，适于展示时的用户的动作。例如预想用户显示信号输出装置4c的影像C，站在显示画面202的附近对周围的人进行展示的情况。此时用户的动作为，首先触摸手边的信号输出装置4c的画面，移动到投影面2(显示画面202)的附近之后，触摸显示画面202。即，具有进行展示的用户，能够在从自己位置移动到进行展示的投影面的位置的动作期间，顺畅地进行投影型影像显示装置1的输入切换的效果。
如以上说明的那样，根据实施例2的输入切换功能，能够提供一种进行来自多个信号输出装置的输入影像切换时，对用户来说易用性佳的投影型影像显示装置。
(实施例3)
实施例3中，对在实施例2的功能的基础上，具有从多个信号输出装置输入的影像的同时显示功能的结构进行说明。
图21是表示实施例3的投影型影像显示装置1的结构的图。在上述实施例2(图15)的操作检测部的结构中，追加手识别部122。手识别部122识别检测中的手是左手还是右手。其方法能够基于图5所示的多个手指的特征点的配置，使用模式识别、模板匹配等方法。
本实施例中，在检测出以下所示的手势的情况下，投影型影像显示装置1的控制部110判断为是多个影像的同时显示的操作，控制部110对显示控制部111作出同时显示从经由信号输入部120和输入信号处理部114输入的多个影像中指定的2个以上的显示影像的指示。
图22是表示多个影像的同时显示操作的一例的图。在此，表示在投影型影像显示装置1显示信号输出装置4a的影像A时，切换为信号输出装置4a的影像A和信号输出装置4b的影像B的同时显示的操作。如(a)所示，为了切换显示影像，进行以使3根手指30a接触投影面的状态使手在纵向移动(滑动)、即所谓的滑动(swipe)操作的手势。其结果如(b)所示，将画面分割为2份作为显示画面202、203，同时显示来自信号输出装置4a和信号输出装置4b的2个影像A、B。
图23是表示多个影像的同时显示操作的另一例的图。如(a)所示，用户进行使两手的3根手指30a(共6根)同时接触显示面的手势，由此如(b)所示同时显示2个影像A、B。此时，利用手识别部122判断接触的是用户两手的手指。
图24是表示多个影像的同时显示操作的另一例的图。(a)是切换前的状态，显示来自信号输出装置4a的1个影像A，1位用户3用1根手指触摸来操作显示画面202。与之相对地如(b)所示，3位用户3a、3b、3c进行用各自的左手(或右手)的1根手指30b同时接触投影面的操作。即，通过进行等价的3根手指同时接触的手势，将显示画面202分割为3份，同时显示来自3台信号输出装置4a、4b、4c的各影像A、B、C。
如上所述，用于多个显示影像的同时显示的手势操作，通过3根手指接触投影面而识别。由此，与使1根或2根手指接触的手指进行的对显示中的显示影像的操作确区别开，能够防止误动作。
另外，图22～图24中，3根手指的接触状态并不需要完全接触显示面，也可以包括从投影面接近到规定的距离以内的情况。根据实施例1(图3)中所述的接触检测法，能够根据手指的影子的间隔d判断非接触时的离投影面的距离(间隙s)。另外，图22～图24所示的画面的分割数只是一例，也可以分割为4份或5份等进一步增加分割数来同时显示多个输入影像。
进而作为上述的同时显示的变形，也可以在分割出的显示画面的至少一个中显示描绘用画面。
图25是表示同时显示影像画面和描绘用画面的例子的图。(a)在显示来自信号输出装置4a的影像A的期间，与上述图23(a)同样用户3使两手的3根手指30a同时接触投影面，由此将显示画面202分割为2份。(b)表示分割画面的显示状态，例如在右侧的显示画面202显示信号输出装置4a的影像A，在左侧的显示画面203显示像白板那样的描绘画面WB。描绘用画面WB能够通过用户3进行触摸操作(或笔操作)进行文字、图形的描绘。利用这样的显示状态，能够将来自信号输出装置的影像资料等和与之对应的用户描绘用画面排列显示。
为了进行上述的处理，投影型影像显示装置1的控制部110当检测出图25(a)所示的手势时判断为是多个影像的同时显示的操作，对显示控制部111作出同时显示信号输出装置4a的影像A和由显示控制部111生成的描绘用的影像WB的2个影像的指示。进而在(b)的显示画面中的右侧的显示画面202中，当进行1根或2根手指的接触时，作为对显示中的影像A的画面操作(触摸操作)处理。另一方面，在左侧的描绘用画面203中，当进行1根或2根手指的接触时，检测接触点与之相应地作为在画面203描绘文字、图形的操作处理，显示描绘的轨迹。
通常为了设定图25(b)这样的显示状态，需要另外弹出描绘用画面，按每个画面设定触摸操作和描绘操作，但本例中用1个操作就能够简单地设定，所以易用性佳。
如以上说明的那样，根据实施例3的多个影像的同时显示功能，能够提供一种同时显示来自多个信号输出装置的影像时，对用户来说易用性佳的投影型影像显示装置。
(实施例4)
实施例4中，作为实施例2的变形，对通过非接触的手势操作进行显示影像的输入切换的结构进行说明。
本实施例中，在检测出以下所示的非接触手势的情况下，投影型影像显示装置1的控制部110判断为是输入切换操作。然后，控制部110对显示控制部111作出如下指示：切换显示为从经由信号输入部120和输入信号处理部114输入的多个影像中指定的影像。
其中，关于非接触状态的手势操作的检测，如实施例1(图3)中说明的那样，通过测定手指(或手)的2个影子的间隔d来判定与投影面的间隙s(接近度)。另外，在使用非接触状态的手势操作的情况下，为了防止与类似的接触状态的操作的误动作，可以利用投影型影像显示装置1的操作设定菜单设定各功能的有效/无效。
图26是表示基于非接触的输入切换操作的一例的图。(a)是切换前的状态，对于显示来自信号输出装置4a的影像A的显示画面202，用户3用手指接触来进行显示操作。与之相对地如(b)所示，用户3在张开手的状态30c下进行以与投影面2非接触状态在横向移动(滑动)、即所谓的滑动(swipe)操作的手势。由此，切换为来自信号输出装置4b的影像B的显示。之后在每次进行非接触状态的手势时，以规定的顺序切换显示影像为来自信号输出装置4c的影像C、来自信号输出装置4d的影像D。
图27是表示基于非接触的输入切换操作的另一例的图。(a)是切换前的状态，显示来自信号输出装置4a的影像A。与之相对地如(b)所示，用户3以握着手的形状30d进行以与投影面2非接触状态在横向滑动、即所谓的滑动(swipe)操作的手势。由此，切换为来自信号输出装置4b的影像B的显示。在这种情况下，只要使得仅在以规定的手的形状(握着手的形状30d)的情况下能够进行输入切换，就能够防止无意的手的动作导致的误动作。
另外，图26(b)和图27(b)所示的手势只是一例，只要是使手与投影面不接触的状态，手的形状并没有限制。而且，即使是手的形状相同移动方向和移动距离相同的手势，也可以根据手与投影面是接触状态还是非接触状态来区别，进行不同的处理。
图28是表示基于非接触的输入切换操作的另一例的图。(a)是手的形状为1根手指30e以接触状态进行滑动操作的情况。作为这种情况下的第1处理，例如除了显示来自信号输出装置4a的影像A的情况下的换页处理以外，分配显示描绘用画面情况下的描绘处理、显示能够在显示影像中拖拽的对象的情况下的拖拽处理等。另一方面，(b)是与(a)相同的手的形状30e，但是以非接触状态进行滑动操作的情况。这种情况下的第2处理与(a)的第1处理不同，例如分配从信号输出装置4a的影像A向信号输出装置4b的影像B的输入切换处理。
如以上说明的那样，根据实施例4的非接触状态的手势的输入切换功能，能够利用手的位置精度不那么高的非接触滑动操作等可靠地执行输入切换处理。另一方面，在要求接触位置的精度的按下按钮、描绘等处理中，通过分配接触状态的手势操作，能够提供一种对用户来说易用性佳的投影型影像显示装置。
附图标记说明
1：投影型影像显示装置；2：投影面；3：用户；4a、4b、4c、4d：信号输出装置；30：手指(手)；100：摄像机；101、102：照明；104：影子区域提取部；105：特征点检测部；106：接近度检测部；107：接触点检测部；108：轮廓检测部；109：方向检测部；110：控制部；111：显示控制部；112：驱动电路部；113：输入端子；114：输入信号处理部；115：投影部；120：信号输入部；121：输入信号；122：手识别部；202、203：显示画面；209：输入切换菜单；401、402：影子；501、502：轮廓线；601、602：特征点。

Claims (12)

1.一种响应操作者的操作来控制要投影显示的影像的投影型影像显示装置，其特征在于，包括：
输入多个影像信号的信号输入部；
将影像投影显示在投影面上的投影部；
对操作所述投影面的一个或多个操作者进行拍摄的摄像部；
从所述摄像部的拍摄图像检测所述操作者的操作的操作检测部；和
控制从所述投影部投影的影像的显示的控制部，
所述控制部基于所述操作检测部的检测结果，从输入至所述信号输入部的影像信号中选择要用所述投影部投影显示的影像信号。
2.如权利要求1所述的投影型影像显示装置，其特征在于：
在所述操作检测部的检测结果为所述操作者用规定根数的手指接触了所述投影面的情况下或使规定根数的手指接触而移动了的情况下，所述控制部进行要用所述投影部投影显示的影像信号的选择。
3.如权利要求2所述的投影型影像显示装置，其特征在于：
所述信号输入部连接有多个信号输出装置，
所述控制部在选择所述影像信号时，选择来自所述操作者进行了规定操作的信号输出装置的影像信号。
4.如权利要求1所述的投影型影像显示装置，其特征在于：
在所述操作检测部的检测结果为所述操作者用规定根数的手指接触了所述投影面的情况下或使规定根数的手指接触而移动了的情况下，所述控制部从输入的所述多个影像信号中选择2个以上的影像信号，用所述投影部同时进行投影显示。
5.如权利要求4所述的投影型影像显示装置，其特征在于：
所述操作检测部具有识别所述操作者进行了操作的手的左右的手识别部，
在所述操作检测部的检测结果为所述操作者用两手且用规定根数的手指接触了的情况下或用单手使规定根数的手指接触而移动了的情况下，所述控制部选择2个以上的影像信号，用所述投影部同时进行投影显示。
6.如权利要求4或5所述的投影型影像显示装置，其特征在于：
所述控制部在选择2个以上的影像信号并用所述投影部同时进行投影显示时，用所述操作检测部对至少1个影像信号的显示分配供操作者进行描绘的功能。
7.如权利要求1所述的投影型影像显示装置，其特征在于：
在所述操作检测部的检测结果为所述操作者使手指或手以相对于所述投影面非接触的状态移动了的情况下，所述控制部进行要用所述投影部投影显示的影像信号的选择。
8.如权利要求7所述的投影型影像显示装置，其特征在于：
在所述操作检测部的检测结果为所述操作者使手以规定形状移动了的情况下，所述控制部进行要用所述投影部投影显示的影像信号的选择。
9.一种投影型影像显示装置，其特征在于，包括：
将影像投影在投影面上的投影部；
对操作所述投影面的操作物进行拍摄的摄像部；
从所述摄像部的拍摄图像检测所述操作物的操作的操作检测部；和
基于所述操作检测部的检测结果控制从所述投影部投影的影像的显示的控制部，
所述操作检测部能够识别所述操作物与所述投影面接触还是非接触，
在所述操作检测部的检测结果为检测出所述操作物与所述投影面接触着进行移动的情况下和检测出所述操作物以与所述投影面非接触状态进行移动的情况下，所述控制部对要向所述投影部投影的影像的显示进行不同的控制。
10.如权利要求9所述的投影型影像显示装置，其特征在于：
所述操作物为操作者的手指，
在所述操作检测部的检测结果为所述操作者的手指或手与所述投影面接触着进行移动的情况下，如果是1根以上的所述手指接触，则所述控制部判断为是有效的操作，
在所述操作者的手指或手以与所述投影面非接触状态进行移动的情况下，如果所述手指或手为规定形状，则所述控制部判断为是有效的操作。
11.一种在投影面上投影影像的投影型影像显示装置的控制方法，其特征在于，包括：
对操作所述投影面的操作物进行拍摄的步骤；
从所述拍摄到的图像检测所述操作物的操作的步骤；和
基于所述操作的检测结果控制要投影到所述投影面的影像的显示的步骤，
所述操作检测的步骤中，识别所述操作物与所述投影面接触还是非接触，
在所述操作的检测结果为检测出所述操作物与所述投影面接触着进行移动的情况下和检测出所述操作物以与所述投影面非接触状态进行移动的情况下，对要投影到所述投影面的影像的显示进行不同的控制。
12.如权利要求11所述的投影型影像显示装置的控制方法，其特征在于：
所述操作物为操作者的手指，
在所述操作的检测结果为所述操作者的手指或手与所述投影面接触着进行移动的情况下，如果是1根以上的所述手指接触，则判断为所述操作是有效的操作，
在所述操作者的手指或手以与所述投影面非接触状态进行移动的情况下，如果所述手指或手为规定形状，则判断为所述操作是有效的操作。
CN201480079980.7A 2014-08-07 2014-08-07 投影型影像显示装置及其控制方法 Pending CN106462227A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/070884 WO2016021022A1 (ja) 2014-08-07 2014-08-07 投写型映像表示装置及びその制御方法

Publications (1)

Publication Number Publication Date
CN106462227A true CN106462227A (zh) 2017-02-22

Family

ID=55263328

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480079980.7A Pending CN106462227A (zh) 2014-08-07 2014-08-07 投影型影像显示装置及其控制方法

Country Status (4)

Country Link
US (1) US20170214862A1 (zh)
JP (1) JPWO2016021022A1 (zh)
CN (1) CN106462227A (zh)
WO (1) WO2016021022A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738118A (zh) * 2019-09-16 2020-01-31 平安科技（深圳）有限公司 手势识别方法、系统及管理终端、计算机可读存储介质
CN114253452A (zh) * 2021-11-16 2022-03-29 深圳市普渡科技有限公司 机器人、人机交互方法、装置和存储介质
CN114596582A (zh) * 2022-02-28 2022-06-07 北京伊园未来科技有限公司 一种带视觉和力反馈的增强现实交互方法及系统

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107077258B (zh) 2014-11-13 2019-12-17 麦克赛尔株式会社 投射型影像显示装置以及影像显示方法
JP6631181B2 (ja) * 2015-11-13 2020-01-15 セイコーエプソン株式会社 画像投射システム、プロジェクター、及び、画像投射システムの制御方法
JP6816402B2 (ja) 2016-08-12 2021-01-20 セイコーエプソン株式会社 表示装置および表示装置の制御方法
DE102016215746A1 (de) * 2016-08-23 2018-03-01 Robert Bosch Gmbh Projektor mit berührungsfreier Steuerung
JP7061883B2 (ja) * 2018-01-22 2022-05-02 マクセル株式会社 画像表示装置および画像表示方法
US11093046B2 (en) 2019-12-16 2021-08-17 Microsoft Technology Licensing, Llc Sub-display designation for remote content source device
US11487423B2 (en) 2019-12-16 2022-11-01 Microsoft Technology Licensing, Llc Sub-display input areas and hidden inputs
US11404028B2 (en) 2019-12-16 2022-08-02 Microsoft Technology Licensing, Llc Sub-display notification handling
US11042222B1 (en) * 2019-12-16 2021-06-22 Microsoft Technology Licensing, Llc Sub-display designation and sharing
US11372518B2 (en) * 2020-06-03 2022-06-28 Capital One Services, Llc Systems and methods for augmented or mixed reality writing
CN111966313B (zh) * 2020-07-28 2022-06-17 锐达互动科技股份有限公司 一种融合白板的实现方法、装置、设备和介质
JP7238878B2 (ja) * 2020-12-18 2023-03-14 セイコーエプソン株式会社 表示装置および表示装置の制御方法
TWI766509B (zh) * 2020-12-28 2022-06-01 技嘉科技股份有限公司 顯示裝置及投影式螢幕上顯示介面的控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103780A1 (en) * 2006-07-13 2009-04-23 Nishihara H Keith Hand-Gesture Recognition Method
CN101894502A (zh) * 2009-05-19 2010-11-24 日立民用电子株式会社 影像显示装置
US20120098865A1 (en) * 2010-10-14 2012-04-26 Nikon Corporation Projector
CN102841733A (zh) * 2011-06-24 2012-12-26 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US20130207998A1 (en) * 2012-02-09 2013-08-15 Satoshi Aoki Image display apparatus, image display method, and of image display program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005301693A (ja) * 2004-04-12 2005-10-27 Japan Science & Technology Agency 動画編集システム
JP4883530B2 (ja) * 2007-06-20 2012-02-22 学校法人近畿大学 画像認識による機器制御方法それを用いたコンテンツ作成方法および装置
JP2011053971A (ja) * 2009-09-02 2011-03-17 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP5817149B2 (ja) * 2011-03-04 2015-11-18 株式会社ニコン 投影装置
JP5845969B2 (ja) * 2012-02-27 2016-01-20 カシオ計算機株式会社 情報処理装置、情報処理方法及びプログラム
JP2013257686A (ja) * 2012-06-12 2013-12-26 Sony Corp 投影型画像表示装置及び画像投影方法、並びにコンピューター・プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090103780A1 (en) * 2006-07-13 2009-04-23 Nishihara H Keith Hand-Gesture Recognition Method
CN101894502A (zh) * 2009-05-19 2010-11-24 日立民用电子株式会社 影像显示装置
US20120098865A1 (en) * 2010-10-14 2012-04-26 Nikon Corporation Projector
CN102841733A (zh) * 2011-06-24 2012-12-26 株式会社理光 虚拟触摸屏系统以及自动切换交互模式的方法
US20130207998A1 (en) * 2012-02-09 2013-08-15 Satoshi Aoki Image display apparatus, image display method, and of image display program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110738118A (zh) * 2019-09-16 2020-01-31 平安科技（深圳）有限公司 手势识别方法、系统及管理终端、计算机可读存储介质
WO2021051575A1 (zh) * 2019-09-16 2021-03-25 平安科技（深圳）有限公司 手势识别方法、系统及管理终端、计算机可读存储介质
CN110738118B (zh) * 2019-09-16 2023-07-07 平安科技（深圳）有限公司 手势识别方法、系统及管理终端、计算机可读存储介质
CN114253452A (zh) * 2021-11-16 2022-03-29 深圳市普渡科技有限公司 机器人、人机交互方法、装置和存储介质
CN114596582A (zh) * 2022-02-28 2022-06-07 北京伊园未来科技有限公司 一种带视觉和力反馈的增强现实交互方法及系统

Also Published As

Publication number Publication date
WO2016021022A1 (ja) 2016-02-11
JPWO2016021022A1 (ja) 2017-06-15
US20170214862A1 (en) 2017-07-27

Similar Documents

Publication Publication Date Title
CN106462227A (zh) 投影型影像显示装置及其控制方法
CN105706028B (zh) 投影型影像显示装置
US10452206B2 (en) Projection video display device and video display method
US10001844B2 (en) Information processing apparatus information processing method and storage medium
CN104052950B (zh) 一种投影仪
US11947786B2 (en) System and method for controlling the display of an image stream
US8818027B2 (en) Computing device interface
US11029766B2 (en) Information processing apparatus, control method, and storage medium
US9507437B2 (en) Algorithms, software and an interaction system that support the operation of an on the fly mouse
US9836130B2 (en) Operation input device, operation input method, and program
CN103488283A (zh) 信息处理设备及其控制方法和背景确定方法
CN104777927A (zh) 影像式触控装置及其控制方法
KR20190035341A (ko) 전자칠판 및 그 제어방법
CN109101172A (zh) 多屏联动系统及其互动显示方法
TW201441888A (zh) 圖樣互換方法與相關多點觸控裝置
JP2014029656A (ja) 画像処理装置および画像処理方法
KR101105872B1 (ko) 적외선 카메라와 모니터를 이용한 손 인식 방법 및 장치
JP2015094828A (ja) 画像投影方法、情報入力装置及びプログラム
JP4728540B2 (ja) 会議等支援用画像投影装置
JP5360631B1 (ja) 指先検出方法及び指先検出ユーザーインターフェースモジュール
JP2020134424A (ja) 分光検査方法、画像処理装置、及びロボットシステム
JP2015184906A (ja) 肌色検出条件決定装置、肌色検出条件決定方法及び肌色検出条件決定用コンピュータプログラム
US10943109B2 (en) Electronic apparatus, method for controlling thereof and the computer readable recording medium
KR20190069023A (ko) 손 인식 기반 비접촉식 입력 인터페이스 제공 방법 및 장치
Homma et al. Virtual touch screen “VIRTOS” implementing virtual touch buttons and virtual sliders using a projector and camera

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20180305

Address after: Kyoto Japan

Applicant after: Mike seer

Address before: Osaka Japan

Applicant before: Hitachi Maxell, Ltd.

WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170222