CN110933387A - 控制设备、控制方法和计算机可读介质 - Google Patents

控制设备、控制方法和计算机可读介质 Download PDF

Info

Publication number
CN110933387A
CN110933387A CN201910887506.1A CN201910887506A CN110933387A CN 110933387 A CN110933387 A CN 110933387A CN 201910887506 A CN201910887506 A CN 201910887506A CN 110933387 A CN110933387 A CN 110933387A
Authority
CN
China
Prior art keywords
projection
area
image
unit
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910887506.1A
Other languages
English (en)
Other versions
CN110933387B (zh
Inventor
小池徹
关根贵之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2019107221A external-priority patent/JP2020053009A/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN110933387A publication Critical patent/CN110933387A/zh
Application granted granted Critical
Publication of CN110933387B publication Critical patent/CN110933387B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/315Modulator illumination systems
    • H04N9/3161Modulator illumination systems using laser light sources
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/54Accessories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

本发明涉及控制设备、控制方法和计算机可读介质。控制设备包括:确定单元,其被配置为确定目标区域;输出单元,其被配置为将预定光输出到所述目标区域;检测单元,其被配置为通过检测所述预定光来检测物体对所述目标区域的侵入,其中,根据在将所述预定光输出到第一区域的状态下所述检测单元检测到物体对所述目标区域的侵入,所述确定单元还被配置为将第二区域确定为目标区域,其中,所述第二区域大于所述第一区域。

Description

控制设备、控制方法和计算机可读介质
技术领域
本发明涉及控制设备、控制方法和计算机可读介质。
背景技术
一些投影设备(投影仪)可以检测用户在投影设备投影的图像附近进行的操作。
日本特开2012-58581公开了包括用于发射红色(R)、绿色(G)、和蓝色(B)等的可见光的激光光源和发射诸如红外线等的不可见光的激光光源的激光扫描型投影仪。这种类型的投影仪通过检测投影的不可见光的反射光来检测用户操作。
发明内容
本发明在其第一方面提供一种控制设备,包括:确定单元,其被配置为确定目标区域;输出单元,其被配置为将预定光输出到所述目标区域;检测单元,其被配置为通过检测所述预定光来检测物体对所述目标区域的侵入,其中,根据在将所述预定光输出到第一区域的状态下所述检测单元检测到物体对所述目标区域的侵入,所述确定单元还被配置为将第二区域确定为目标区域,其中,所述第二区域大于所述第一区域。
本发明在其第二方面提供一种控制方法,包括:确定目标区域;将预定光输出到所述目标区域;通过检测所述预定光来检测物体对所述目标区域侵入;以及根据在将所述预定光输出到第一区域的状态下检测单元检测到物体对所述目标区域的侵入,将第二区域确定为目标区域,其中,所述第二区域大于所述第一区域。
本发明在其第三方面提供一种存储程序的计算机可读介质,其中,所述程序使计算机执行上述方法。
根据本发明,可以降低输出预定光的控制设备的功耗。
通过以下参考附图对典型实施例的描述,本发明的其它特征将变得明显。
附图说明
图1是描绘投影设备的示例的框图;
图2是描绘图像投影处理的示例的流程图;
图3是描绘图像投影处理的示例的流程图;
图4A和图4B是描绘计算不可见光投影区域的方法的概念图;
图5是描绘不可见光投影区域的概念图;
图6A和图6B是描绘使用不可见光的距离计算方法的图;
图7A是描绘基准距离图像的概念图;
图7B是描绘距离图像的概念图;
图7C是描绘差分图像的概念图;以及
图7D是描绘UI操作图像的概念图;
图8是描绘投影设备和外部设备的示例的框图;
图9是描绘图像投影处理的示例的流程图;
图10是描绘投影设备和外部设备的示例的框图;
图11是描绘投影设备的示例的框图;
图12是描绘图像投影处理的示例的流程图;以及
图13A和图13B是描绘不可见光投影区域的示例的图;
图14是描绘不可见光投影区域的示例的图;
图15是描绘检测设备的示意图;
图16是描绘检测设备的功能框图;
图17是描绘检测处理的流程图;以及
图18A至图18E是描绘不可见光的照射区域的图。
具体实施方式
(第一实施例)
将描述根据本实施例的投影设备100。根据本实施例的投影设备100是能够使用红色(R)、绿色(G)和蓝色(B)的可见光将图像(投影图像)投影到投影面上的投影区域的电子设备。投影设备100还将红外激光(不可见光)辐射(投影)到显示有投影图像中所包括的用户界面(UI)的区域。此外,投影设备100基于不可见光的照射定时和接收当不可见光在投影面和物体(例如用户)上反射时生成的光(反射光)的定时来检测用户的存在、用户的操作和用户的姿势等。投影设备100基于检测结果执行预定处理。
根据本实施例的投影设备100基于指示投影图像的UI的位置的信息来控制投影不可见光时的区域,使得投影不可见光的区域变为比使用可见光投影的投影图像的区域(投影区域)小。将依次描述本实施例的投影设备100的一般结构和处理内容。
图1是描绘根据第一实施例的投影设备100的框图。投影设备100是包括运算单元(处理器)、存储器、存储装置和输入/输出装置的信息处理设备(计算机)。投影设备100的后述功能通过投影设备100执行存储装置中所存储的程序来提供。这些功能的一部分或全部可以由诸如ASIC和FPGA等的专用逻辑电路实现。投影设备100可以被视为包括个人计算机或智能手机等的功能的投影仪(电子设备)。
CPU 101通过执行后述存储器102中所存储的程序来控制投影设备100的各个功能单元的操作。此外,CPU 101执行存储器102中所存储的应用。
存储器102是用于存储要由CPU 101执行的程序和图像数据的存储介质。
图像生成单元103是根据来自CPU 101的请求生成投影图像数据的功能单元。在第一实施例中,将描述当投影图像包括用于用户进行操作的用户界面图像(以下为UI图像)时的示例。
UI位置获取单元104是用于获取用于指定投影图像数据中的UI图像的位置的信息(UI位置信息)的功能单元。UI位置获取单元104提取UI图像的形状信息。
区域确定单元105是用于确定投影红外激光的区域(红外投影区域)的功能单元。区域确定单元105还将与所确定的红外投影区域有关的信息(红外投影区域信息)输出到后述光源控制单元106。区域确定单元105从UI位置获取单元104获取用于指定投影图像数据中的UI图像的位置的信息(UI位置信息)。可以从图像生成单元103获取UI位置信息。稍后将描述生成红外投影区域信息的方法。当投影图像中存在UI图像(可以获取到位置信息等)时,根据第一实施例的投影设备100投影不可见光。
光源控制单元106基于投影图像数据和红外投影区域信息生成用于控制输出可见光的激光光源108R、108G和108B和红外激光光源IR的光源控制信号。投影图像数据可以是从存储器102读取的投影图像数据。光源控制单元106针对红色(R)、绿色(G)和蓝色(B)的三个可见光光源和红外线(IR)的不可见光光源生成光源控制信号。光源控制单元106还生成控制扫描镜(MEMS)的同步信号(垂直同步信号,水平同步信号)以在投影面上扫描从各个激光光源输出的激光,并将同步信号输出到镜控制单元112。
激光驱动器107基于从光源控制单元106输出的光源控制信号输出各个激光光源的驱动电流。具体而言,激光驱动器107调制与各个光源控制信号相对应的激光光源的驱动电流,并将驱动电流分别输出到激光光源108R、108G和108B以及红外激光光源110。
激光光源108R、108G和108B是基于从激光驱动器107提供的驱动电流发射各个激光的可见光光源。激光光源108R发射红色激光(R),激光光源108G发射绿色激光(G),以及激光光源108B发射蓝色激光(B)。
分色镜109具有反射具有特定波长的光并透射具有其它波长的光的特性。根据第一实施例的分色镜109利用该特性对从三个激光光源108R、108G和108B发射的各个颜色的激光进行合成,以输出包含红色光、绿色光和蓝色光分量的激光。
红外激光光源110是基于从激光驱动器107提供的驱动电流发射红外激光的不可见光光源。
分色镜111对由分色镜109合成的激光和从红外激光光源110发射的红外激光进行合成,并输出包含红色光、绿色光、蓝色光和红外光分量的激光。
镜控制单元112是用于基于从光源控制单元106输出的水平和垂直同步信号生成用于在水平方向和垂直方向上的预定角度范围内驱动扫描镜的驱动信号并将驱动信号提供给扫描镜113的功能单元。角度范围可以是固定值并预先存储在存储器102中。
扫描镜113是用于反射从分色镜111发射的激光,以朝向投影面改变光路的方向的反射构件。通过由镜控制单元112改变扫描镜113的反射面的角度,被扫描镜113反射的激光可以扫描投影面(二维扫描)。根据第一实施例的投影设备100通过激光扫描方法进行图像投影,但是图像投影方法不受特定限制,并且可以通过激光投影方法或通过使用液晶面板来进行图像投影。对于投影,投影设备使用激光光源、激光驱动器、分色镜、镜面控制单元和扫描镜等,但也可以使用光源单元、光源控制单元、液晶控制单元和液晶元件等代替。
设置单元120是用于改变投影设备100的设置的功能单元。在第一实施例中,设置单元120基于用户操作输入操作信号以改变投影设备100的设置。
光接收单元130是用于检测从红外激光光源110发射并在投影平面(投影面或物体)上反射的红外激光的功能单元。对于光接收单元130,例如,可以使用光电二极管或二维传感器等。
距离检测单元131是用于基于从红外激光光源110发射的红外激光和由光接收单元130检测到的红外激光(反射光)计算到投影面的距离的功能单元。例如,距离检测单元131通过飞行时间(TOF)方法检测距离。具体而言,距离检测单元131通过测量从红外激光光源110发射红外激光到光接收单元130检测到红外激光的时间来计算该距离。距离检测单元131所使用的距离测量方法不限于以上的方法,只要可以测量投影设备100和投影面之间的距离即可。稍后将详细描述距离计算。
图像生成单元103、UI位置获取单元104和区域确定单元105等可以是由CPU 101实现的功能单元。
图2是描绘根据本实施例的投影设备100的处理内容的流程图。当投影设备100启动并且初始设置完成时,开始图2的处理。
在S201中,CPU 101判断是否启用了作为检测用户操作的模式的操作检测模式。如果启用了操作检测模式,则处理进入S202,否则进入S211。可以从存储器102读取指示操作检测模式的ON(启用)/OFF(禁用)的信息。可以由用户经由操作单元(未示出)设置操作检测模式。
在S202中,图像生成单元103获取(生成)投影图像数据以在投影面上投影可见光图像。在本实施例中,投影图像数据是从存储器102读取的图像数据,但也可以是从外部设备输入的图像。在投影设备100投影叠加有作为操作用的图像的UI图像(操作图像)的投影图像数据的情况下,图像生成单元103执行将UI图像数据与投影图像数据进行合成的处理。
在S203中,UI位置获取单元104获取用于指定投影图像数据中的UI图像位置的UI位置信息。这里,与UI图像相对应的区域表示显示UI图像的投影图像区域。例如,UI位置信息是表示投影图像数据中的UI图像的中心位置的坐标信息,以及表示UI图像的形状的图案信息。UI位置信息可以是如下的图像数据(不可见光图像数据),其中与UI图像相对应的区域具有预定灰度值且其它区域具有灰度值0。
在S204中,光源控制单元106、激光驱动器107和镜控制单元112使用可见光将基于投影图像数据的投影图像投影到投影面。基于投影图像数据的各个像素的R、G和B的灰度值,光源控制单元106确定表示分别与激光光源108R、108G或108B相对应的激光的强度的光源控制信号。光源控制单元106基于投影图像数据生成同步信号,并将同步信号输出到镜控制单元112。基于光源控制信号,激光驱动器107生成针对各个激光光源108的驱动信号,并将驱动信号输出到各个激光光源108。各个激光光源108基于输入的驱动信号输出激光。
镜控制单元112控制扫描镜113的角度(反射角),使得与各个像素的位置相对应的投影面的位置被以与该像素的像素值相对应的功率发射的激光照射。控制扫描镜113,使得相对于图像的水平方向的反射角以共振频率周期振动,并且相对于图像的垂直方向的反射角以与帧频相对应的频率周期振动。控制扫描镜113在垂直方向上的振动,以与从光源控制单元106获取的同步信号同步。此外,光源控制单元106和激光驱动器107控制激光的输出定时和强度使得对应于水平方向上的一行像素的输出与扫描镜113在水平方向上的共振频率同步地完成。通过基于投影图像数据控制各个激光的输出强度、输出定时和扫描方向,将可见光的投影图像投影到投影面上的投影区域。
在S205中,光源控制单元106、激光驱动器107和镜控制单元112基于红外投影区域信息将不可见光投影到投影面。基于红外投影区域信息,光源控制单元106控制红外激光光源110的输出强度、输出定时和扫描方向,使得将不可见光投影到已投影至投影区域的投影图像中包括UI图像的区域。光源控制单元106控制不可见光的激光的输出定时和强度,使得用不可见光仅照射投影面上的投影区域中比投影区域窄(例如,表面区域更小)的、与UI图像相对应的区域。如上所述,如果生成不可见光图像数据,则可以基于不可见光图像数据来控制红外激光的输出强度。与用不可见光照射投影图像的整个面(投影区域)的情况相比,通过用不可见光仅照射比投影有投影图像的投影区域窄的区域可以降低功耗。用不可见光照射的区域可以不仅是包括UI图像的区域,而且可以是包括UI图像及其附近的区域。
在S206中,CPU 101检测用户操作。根据第一实施例的投影设备100通过飞行时间(TOF)方法检测投影设备100和投影面或物体之间的距离,并基于该距离的改变来检测用户操作。稍后将描述检测用户操作的方法。
在S207中,CPU 101判断是否进行了用户操作。如果在S206中检测到用户操作,则处理进入S208,否则进入S209。
在S208中,CPU 101响应于检测到用户操作,输出操作信号以执行与用户操作相对应的处理。与要投影的UI图像相对应地预先确定操作信号。例如,当检测到用户操作时,CPU101输出信号以控制图像生成单元103,从而执行改变投影图像(改变投影图像数据)的处理。CPU 101还向设置单元输出操作信号以改变投影设备100的设置。换句话说,当用户对作为与投影设备100能够执行的预定处理相关联的操作图像的UI图像执行预定操作时,CPU101执行预先与UI图像相对应的预定处理。
可以将操作信号输出到外部设备。例如,在基于从外部设备输入的图像数据投影图像的情况下,可以向外部设备输出用于指示页前进/返回等的操作信号。
在以上描述中,描述了按照投影可见光图像、辐射不可见光以及检测用户操作的顺序来执行处理的示例,但是执行顺序不限于此。例如,可以使用共通扫描镜与扫描同步地输出可见激光和不可见激光。在可见激光的情况下,以四倍帧频的频率执行垂直方向上的扫描,但是在不可见激光的情况下,镜的扫描被控制在与帧频相对应的频率。
在S209中,CPU 101判断在图像投影期间用户是否将检测模式从启用改变为禁用。如果检测模式改变,则处理进入S201,否则进入S210。
在S210中,CPU 101判断用户是否进行了结束图像投影的操作。如果进行了结束操作,则处理结束,否则返回到S202。例如,当从用户接收到结束图像投影的指示或断开电源的指示等时,CPU 101判断为进行了结束操作。
省略与S202和S204相同的S211和S212中的处理的描述。
在S213中,CPU 101判断在图像投影期间用户是否将检测模式从禁用改变为启用。如果检测模式改变,则处理返回到S201,否则进入S214。
在S214中,CPU 101判断用户是否进行了结束图像投影的操作。如果进行了结束操作,则处理结束,否则返回到S211。例如,当从用户接收到结束图像投影的指示或断开电源的操作等时,CPU 101判断为进行了结束操作。
[用户操作提取处理]
接着将参考图3中的流程图描述提取用户操作的处理。
在S301中,距离检测单元131在投影设备100和投影面之间不存在障碍物(物体)的状态下针对投影图像的各个像素测量距离。具体而言,通过检测投影的红外激光的反射光来测量距离。然后,距离检测单元131生成基准距离图像,该基准距离图像是表示与投影图像的各个像素相对应的距离信息的图像。基准距离图像的各个像素值是由距离检测单元131检测到的距离(图7A)。将所生成的基准距离图像存储在存储器102中。基准距离图像可以仅在投影设备100启动时生成一次。距离检测单元131可以仅针对投影图像的一部分像素测量距离。
在S302中,CPU 101判断投影图像中是否包括UI图像。如果判断为投影图像中包括UI图像,则处理进入S303,否则进入S307。
在S303中,距离检测单元131以与S301中的处理相同的方式检测从投影设备100到投影面或障碍物的距离。
在S304中,CPU 101基于由距离检测单元131所确定的距离生成距离图像。稍后将描述距离图像的生成。
在S305中,CPU 101通过对距离图像和基准距离图像之间的各个像素值进行比较来生成差分图像(差分数据)。
在S306中,CPU 101基于差分图像和投影图像检测与UI图像相对应的区域中的用户操作。例如,作为用户操作,CPU 101检测到对投影图像上显示的按钮的触摸操作。然后,例如,当差分图像中的与UI图像相对应的区域中的距离减小、然后增大、并且然后再次减小时,CPU 101判断为进行了触摸操作。
在S307中,CPU 101判断用户操作(UI操作)提取处理是否结束。如果判断为提取处理继续,则处理返回到S302,否则处理结束。用户操作提取处理作为与图像投影处理分离的处理可以与图像投影处理同时进行。
[红外投影区域计算方法]
图4A和图4B是描绘根据第一实施例的计算红外投影区域的方法的概念图。
图4A是描述投影图像数据的示意图。投影图像数据是由多个像素(水平方向32个像素,垂直方向18个像素)构成的图像数据。投影图像400包括UI 401和UI 402。UI 401和UI402由图像生成单元103预先生成。在投影图像400中,左上角的像素的坐标为(0,0),右下角的像素的坐标为(17,31)。
图4B表示红外投影区域信息450,该红外投影区域信息450表示投影图像400中使用红外激光照射的区域。在第一实施例中,红外投影区域信息450是表示使用不可见光照射的区域的图像数据。区域确定单元105从UI位置获取单元104接收UI 401和UI 402的中心位置的坐标以及UI图像的形状信息。例如,UI 401的中心位置的坐标是(14,5),并且UI 401的形状信息是5×5的矩形。UI402的中心位置的坐标是(14,26),并且UI 402的形状是5×5的矩形。然后,区域确定单元105将与UI 401和UI 402的位置相对应的区域(图4B中的斜线区域)中的像素值设置为1,并且将其它像素值设置为0,以生成红外投影区域信息450。换句话说,红外投影区域信息450中的像素值为1的部分是红外投影区域。
图5是描绘根据本实施例的红外激光的投影区域的概念图。扫描镜113在二维扫描线501上扫描通过将来自激光光源108R、108G和108B以及红外激光光源110的光进行合成而生成的激光,以投影合成光。图5中的二维扫描线501通过允许扫描线之间的大间隔来表示,但这是为了描述,并且实际间隔足够小以投影图像的分辨率。
光源控制单元106基于投影图像500调制激光光源108R、108G和108B,并且在与图像相对应的二维扫描线501上开启激光。此外,光源控制单元106使用红外投影区域信息450控制红外激光光源110,使得使用红外光照射作为二维扫描线501和UI区域502(显示UI图像的区域)重叠的点的点503。以这种方式,投影设备100仅将红外激光投影到UI区域502。
[距离计算方法]
图6A和图6B表示根据第一实施例的使用红外激光的距离计算方法。
图6A是描绘检测与投影的红外激光相对应的反射光的图。从红外激光光源110输出的红外激光经由扫描镜113被投影到投影面600。然后,由投影面600或障碍物601(例如,用户的手)反射的红外激光被光接收单元130检测到。
图6B表示从红外激光光源110输出的红外激光和由光接收单元130接收的反射光。波形620是表示从红外激光光源110输出的红外激光的点亮定时的波形,其中横坐标表示时间,并且纵坐标表示红外光的强度。波形621是表示由光接收单元130接收的红外光的光接收定时的波形,其中横坐标表示时间,并且纵坐标表示强度。Δt表示从红外激光光源110发射的激光被投影面或障碍物反射并返回为止的时间。
距离检测单元131基于波形620和波形621之间的上升时间差(发射光和反射光之间的相位差),使用以下表达式(1)计算投影设备100和投影面600或障碍物601之间的距离。
(数学式1)
d=c×Δt/2...(1)
这里d是距离,并且c是光速。上述时间差可以被认为是从不可见光的照射到检测出其反射光的时间差。
距离检测单元131在对投影图像的多个像素重复距离测量之后,生成具有与红外投影区域信息相同的像素数的距离图像。
[UI操作信息的生成]
图7A至图7D是用于描述根据本实施例的UI操作信息的生成的概念图。
图7A是表示投影设备100和投影面600之间的距离(以下称为“基准距离”)的基准距离图像700的图。基准距离图像700是在投影设备100和投影面600之间不存在障碍物的状态下由距离检测单元131获取的距离图像。基准距离图像700中的各个像素值是表示投影设备100和投影面600之间的距离的值。在本实施例中,仅针对显示UI图像的区域(图4B)检测距离,因此仅针对相应像素获取表示距离的值(在图7A的情况下为“10”)。对获取基准距离的对象像素没有特别限制,并且可以针对所有像素测量距离。
图7B是表示投影设备100和投影面600或障碍物601之间的距离的距离图像710的图。距离图像710是在投影设备100和投影面600之间存在障碍物的状态下由距离检测单元131获取的距离图像。在第一实施例中,距离检测单元131针对包括显示UI图像的区域中所包括的像素测量距离。对于不是距离测量目标的像素,使用基准距离图像700的值生成距离图像710。距离测量的目标像素不受特别限制,并且可以对所有像素测量距离。
图7C是通过对基准距离图像700和距离图像710之间的各个像素值进行比较而获得的差分图像720的图。
图7D是通过针对各个像素计算差分图像720和上述红外投影区域信息450的积而获取的UI操作图像730的图。CPU 101分析UI区域731和UI区域732,并且检测针对UI 401和UI 402的用户操作。例如,CPU 101可以通过将UI区域731或UI区域732中的像素值的平均值与预定值进行比较来检测针对UI的用户操作。这里的预定值是用于判断由距离检测单元131获取的距离与基准距离之间的差是否是由用户操作引起的值,并且例如可以是2。在这种情况下,图7D中的UI区域732中的像素值的平均值是5.64,这意味着UI区域732中的平均值大于预定值,因此CPU 101判断为进行了针对UI 402的用户操作。CPU 101使用UI操作判断结果来操作应用。另一方面,UI区域731中的平均值是0,因此CPU 101判断为没有进行针对UI 401的用户操作。预定值不受特定限制。在不使用预定值的情况下,如果UI操作图像730中的像素值不是0,则CPU 101可以判断为进行了用户操作。
如上所述,当检测到针对投影图像中所包括的UI图像的用户操作时,仅使用红外激光照射UI图像,由此可以抑制红外激光的不必要的投影,并且可以节省投影设备100的功耗。
第二实施例
在上述第一实施例中,描述了在投影设备内部生成投影图像的示例。然而,根据第二实施例的投影设备检测针对由在外部设备上执行的应用所显示的画面中所包括的UI图像的用户操作。在根据第二实施例的投影设备200的结构中,与第一实施例相同的功能单元用相同的附图标记表示,并且省略对其的描述。
图8是描绘根据第二实施例的投影设备200和外部设备250的结构的框图。
[投影设备200]
投影设备200使用液晶面板投影从外部设备250输出的投影图像。投影设备200还使用扫描镜113通过二维扫描来投影红外激光。
UI图像分析单元204是用于分析从外部设备250输入的投影图像中是否包括UI的功能单元。如果投影图像中包括UI,则UI图像分析单元204获取用于指定投影图像数据中的UI图像的位置的信息。
光源控制单元206是用于基于红外投影区域信息生成用于控制红外激光光源IR的光源控制信号的功能单元。在第二实施例中,由激光扫描系统投影不可见光,但是图像投影方法不受特定限制,并且例如可以是使用液晶面板的图像投影。
激光驱动器207是用于基于光源控制单元206输出的光源控制信号调制红外激光光源110的驱动电流,并且将调制的驱动电流输出到红外激光光源110的功能单元。
通信单元214是用于进行投影设备200和外部设备250之间的通信的功能单元。在第二实施例中,通信单元214从外部设备250接收投影图像数据(输入)。通信单元214还将投影设备200检测到的UI操作信息发送到外部设备250(输出)。
光源控制单元215是用于控制光源单元216的接通/断开和亮度的功能单元,这将在后面描述。光源控制单元215例如是用于控制的微处理器。光源控制单元215不必是专用微处理器,并且例如CPU 101可以执行与光源控制单元215相同的处理。
光源单元216是用于输出光以投影图像的功能单元,并且例如利用激光器、LED卤素灯、氙灯或高压汞灯构成。
液晶控制单元217基于输入的投影图像数据来控制要施加至后述的液晶元件单元218的各个像素(R像素、G像素、B像素)的液晶的电压,以调整液晶元件的反射率或透射率。
液晶元件单元218是用于通过根据投影图像的像素值向设置有红色(R)、绿色(G)或蓝色(B)的滤光器的各个液晶元件施加电压来调制红色(R)、绿色(G)和蓝色(B)的光的功能单元。
投影单元219是用于对透过液晶元件单元218的红色(R)、绿色(G)或蓝色(B)的光进行合成的功能单元。例如,投影单元219是分色镜或棱镜等。将通过对红色(R)、绿色(G)或蓝色(B)的分量进行合成而生成的光发送到投影光学系统(未示出)。此时,液晶元件单元218由液晶控制单元217控制以具有与输入的投影图像数据相对应的光的透射率。因此,当通过投影光学系统投影由投影单元219合成的光时,投影面上显示与输入的投影图像相对应的图像。在第二实施例中,使用液晶面板投影图像,但是图像投影方法不受特定限定,并且例如,可以像第一实施例那样通过激光扫描方法投影图像。
[外部设备250]
外部设备250是包括运算单元(处理器)、存储器、存储装置和输入/输出装置等的信息处理设备(计算机)。通过外部设备250执行存储装置中所存储的程序提供外部设备250的后述功能。这些功能的一部分或全部可以由诸如ASIC和FPGA等的专用逻辑电路实现。具体地,外部设备250是计算机、智能电话或数字照相机等。外部设备250将要投影的图像数据发送(输出)到投影设备200。代替外部设备250,投影设备200可以与网络上的数据库(未示出)连接,以从网络上的数据库获取图像。
CPU 251执行后述存储器252中所存储的程序,以控制外部设备250的各个功能的操作。CPU 251还执行存储器252中所存储的外部设备250中的应用。
存储器252存储由CPU 251执行的程序代码和图像数据等。
UI合成单元253是用于将通过将UI图像与CPU 251生成的图像合成而获取的图像输出到通信单元254的功能单元。
通信单元254将投影图像数据输出到投影设备200。CPU 251通过经由通信单元254从投影设备200接收UI操作信息来执行应用。
图9是描绘根据第二实施例的投影设备200和外部设备250的处理的流程图。首先将描述外部设备250的操作。
[外部设备250]
在S951中,CPU 251向投影设备200请求外部设备250和投影设备200的连接,并建立连接。在外部设备250接收到将图像投影到投影设备200的许可之后,处理进入S952。
在S952中,CPU 251经由通信单元254将投影图像数据输出到投影设备200。
在S953中,CPU 251接收与叠加在投影图像上的UI图像有关的操作信息。例如,CPU251周期性地检查通信单元254的中断或通信单元254的状态,并接收与UI图像有关的操作信息。
在S954中,CPU 251判断是否继续图像的投影。如果继续图像的投影,则处理返回到S952,否则处理结束。接着将描述投影设备200的操作。
[投影设备200]
在S901中,CPU101等待来自外部设备250的连接请求。当接收到连接请求时,CPU101向外部设备250发送连接许可,并且处理进入步骤S902。省略与上述S201相同的S902中的处理的描述。
在S903中,CPU 101从外部设备250获取投影图像数据。
在S904中,CPU 101分析投影图像数据,并获取与在投影图像中显示UI图像的位置有关的信息。在第二实施例中,CPU 101使用UI图像分析单元204分析投影图像数据,以检测投影图像数据中的UI图像的位置和大小等。例如,UI图像分析单元204检测灰度没有很大改变的矩形部分,并且检测包括文本的部分作为UI图像。UI图像分析单元204可以使用例如深度学习方法的人工智能算法来获取UI图像的位置和其它信息。具体而言,UI图像分析单元204可以使用通过预先学习UI图像而获取的标识符来获取(检测)与投影图像中的UI图像相对应的部分。CPU 101将由UI图像分析单元204获取的UI图像的位置和大小等输出到区域确定单元105。省略与S204至S207相同的S905至S908中的处理的描述。
在S909中,响应于接收到用户操作检测信号,CPU 101向外部设备250输出操作信号以执行相应处理。例如,CPU 101可以将用于指示页前进/返回的对UI图像(例如,按钮)的操作信号输出到外部设备250。省略与S209至S210相同的S910至S911中的处理的描述。
在S912中,CPU 101从外部设备250获取投影图像数据。省略与S212至S214相同的S913至S915中的处理的描述。
如上所述,同样对于经由投影设备连接的外部设备上执行的应用的UI操作,可以在不牺牲UI的可操作性的情况下抑制对于UI操作不必要的红外激光的投影,由此可以节省投影设备的功耗。
第三实施例
在上述第二实施例中,描述了从外部设备获取投影图像数据并在投影设备中获取UI图像的位置和其它信息的投影设备的示例。然而,在根据第三实施例的投影设备中,从外部设备获取投影图像数据和与UI图像有关的位置和其它信息。在根据第三实施例的投影设备300的结构中,与第一或第二实施例相同的功能单元用相同的附图标记表示,并且省略对其的描述。
图10是描绘根据第三实施例的投影设备300和外部设备350的结构的框图。
[投影设备300]
图像输入单元320是用于输入来自外部设备350的投影图像数据的功能单元。
通信单元314是用于输入来自外部设备350的要与投影图像数据合成的UI图像数据和UI图像的位置信息的功能单元。
UI合成单元321是用于对UI图像数据和投影图像数据进行合成的功能单元。可以将合成的图像数据存储在存储器102中。
[外部设备350]
图像输出单元355是用于将投影图像数据输出到投影设备300的功能单元。
通信单元354是用于将UI图像数据和UI图像的位置信息输出到投影设备300的功能单元。通信单元354还从投影设备300获取UI操作信息。CPU 251操作使用获取的UI操作信息执行的应用。
如上所述,同样对于与投影设备连接的外部设备上执行的应用的UI操作,可以在不牺牲UI的可操作性的情况下抑制对于UI操作不必要的红外激光的投影,由此可以节省投影设备的功耗。
第四实施例
在上述第一实施例中,描述了通过将红外激光投影到投影图像的UI图像来节省投影设备的功耗的示例。在第四实施例中,将描述当投影红外激光时具有两种模式的投影设备的示例。在第四实施例中,如果用户存在于投影图像附近则以与上述实施例相同的方式将红外激光投影到UI图像(第一投影模式),而如果用户不存在则将红外激光投影到投影图像的外框(第二投影模式)。这里将描述当将不可见光投影到作为投影图像的外框的投影图像中的上下左和右边缘区域时的示例。在根据第四实施例的投影设备400的结构中,与第一实施例相同的功能单元用相同的附图标记表示,并且省略对其的描述。
图11是描绘根据本发明第四实施例的投影设备400的结构的框图。
红外投影模式设置单元422是用于判断用户是否存在于投影面附近,并且根据判断结果设置红外激光的投影模式的功能单元。稍后将描述用户是否存在的判断。如果用户存在于投影面附近,则红外投影模式设置单元422设置作为将红外激光投影到UI部分的模式的第一投影模式。如果用户不存在于投影面附近,则红外投影模式设置单元422设置作为将红外激光投影到投影图像的外框的模式的第二投影模式。
区域确定单元405是用于确定红外激光投影到的区域(红外投影区域)的功能单元。这里,区域确定单元405从红外投影模式设置单元422获取投影模式设置信息。然后,在第一投影模式的情况下,区域确定单元405确定红外投影区域,使得将红外激光投影到与UI区域相对应的部分。在第二投影模式的情况下,区域确定单元405确定红外投影区域,使得将红外激光投影到投影面的外框。区域确定单元405从UI位置获取单元104获取用于指定UI图像在投影图像数据中的位置的信息(UI位置信息)。
图12是描绘根据第四实施例的投影处理的流程图。在操作检测模式为启用且没有发生用户操作(包括手或指示器等的侵入)的情况下,根据第四实施例的投影设备100沿投影图像的外框辐射不可见光(第二投影模式)。可以将第二投影模式中的不可见光视为用于检测用户靠近于投影画面的图像。在用户的手、指示器等没有侵入沿投影图像的外框投影的不可见光的情况下,以与第一实施例相同的方式进行将不可见光辐射到与UI图像相对应的区域的处理(第一投影模式)。
省略与S201至S202相同的S1201至S1202中的处理的描述。
在S1203中,CPU 101判断投影模式是否是第一投影模式。在第四实施例中,投影模式不是第一投影模式的情况是当投影模式是第二投影模式时的情况。如果投影模式是第一投影模式,则处理进入S1204,否则进入S1212。在第四实施例中,可以设置两种投影模式,但是可以提供有三种或更多种投影模式。可以使用操作标志,该操作标志是用于表示是否在状态中预测到用户操作的生成的标志(0或1)。操作标志为0的情况例如是用户或指示器没有侵入投影区域中并且该状态持续长于预定时间段(阈值)的情况(与上述第二模式相对应)。操作标志为1的情况是用户或指示器侵入投影区域中的情况。这包括在用户或指示器的侵入被清除之后经过的时间是预定时间段或更短的情况。省略与S203至S208相同的S1204至S1209中的处理的描述。
在S1210中,CPU 101判断没有进行用户操作的时间是否长于预定时间(阈值)。具体而言,当CPU 101在至少预定时间内没有检测到用户操作时,CPU 101判断为用户不存在,并且处理进入S1217。如果CPU 101判断为用户存在,则处理进入S1211。
在S1211中,CPU 101将投影模式设置为第二投影模式。当投影设备400和投影面之间不存在用户或指示器时,CPU 101可以将投影模式改变为第二模式。根据第四实施例,在S1207至S1211中,当在检测到用户操作之后在预定时间段内没有进行用户操作时改变投影模式,但是当作为检测处理的结果不存在用户或指示器时可以改变投影模式。同样在这种情况下,当在预定时间段内不存在用户或指示器时,可以改变投影模式。省略与S204相同的S1212中的处理的描述。
在S1213中,CPU 101以第二投影模式投影不可见光。在第四实施例中,CPU 101沿投影区域的外周投影不可见光。可以将不可见光投影到除了投影区域的外周之外的区域,诸如分别投影到投影区域的左边缘和右边缘区域。第二投影模式中的不可见光的形状不受限制,只要能够检测到用户等侵入投影区域中即可。可以在各个预定时间间隔之后投影不可见光,而不是不断地投影。
在S1214中,CPU 101检测在投影区域中是否存在用户。具体而言,通过接收在S1213中投影的不可见光的反射光来检测用户的存在。CPU 101可以以与S1207相同的方式检测用户操作。
在S1215中,CPU 101基于S1214中的检测结果判断在投影区域中是否存在用户。如果判断为用户存在,则处理进入S1216,否则进入S1217。
在S1216中,CPU 101将红外激光的投影模式设置为第一投影模式。省略与S209至S214相同的S1217至S1222中的处理的描述。
在第四实施例中,通过执行上述处理,如果在投影区域中不存在用户则将不可见光投影到外框并且抑制不可见光的输出,由此可以节省功耗。
图13A和图13B表示根据第四实施例的红外激光的投影形状。图13A是在第一投影模式中投影红外激光的情况下的概念图。投影图像1300是由投影设备400投影的图像。在图13A的示例中,在投影图像1300的一部分中包括作为用户进行投影图像的操作所用的UI图像的UI 1301。如果投影模式是第一投影模式,则投影设备400将红外激光投影到UI 1301部分,以检测用户进行的UI操作。
图13B是在第二投影模式中投影红外激光的情况下的概念图。区域1302表示由投影设备400投影的红外激光的投影形状。投影设备400投影限于投影图像的区域1302的红外激光,以在用户操作的待机时间期间节省功耗。当将红外激光投影到区域1302时,可以跳过像素来进行投影,以节省功耗。在上述处理中,由于投影面的形状可能改变,因此周期性地投影不可见光,但是可以在处理开始时仅投影一次不可见光。此外,当不投影可见光时,可以仅投影不可见光。在第四实施例中,描述了将不可见光投影到作为投影图像的外框的投影图像中的上、下、左和右边缘区域的示例,但是外框可以是能够表示投影不可见光以检测用户的存在的区域的任何区域。例如,作为外框,可以将不可见光投影到UI图像的外周区域。
第五实施例
在上述第四实施例中,描述了在第二投影模式中将不可见光投影到投影图像中的上、下、左和右边缘区域的示例。在第五实施例中,将描述在第二投影模式中将红外激光投影到投影图像的外侧、即投影图像的外框的示例。省略了与第四实施例相同的投影设备400的结构的描述。
图14是根据第五实施例的投影图像和红外激光的概念图。根据第五实施例的投影设备400将红外激光的区域1402投影到投影图像1300的外侧。这是因为在投影图像的外侧检测到用户的存在,使得在用户进行UI操作之前的时间内完成从第二投影模式到第一投影模式的切换操作。
可以使用扫描镜113中的扫描线的不用于有效像素的部分来投影区域1402。例如,扫描镜113在投影区域的左边缘和右边缘上包括像素密度不均匀的部分,因此,可以使用扫描镜113的投影区域的这些左边缘和右边缘将区域1402投影到图像投影面的外侧。
第六实施例
在第一至第五实施例中,描述了分别向投影面扫描红外激光和可见激光(RGB)的投影设备。然而,在第六实施例中,将描述向投影面上的物体(操作物体)投影红外激光(预定光)并检测针对该物体进行的用户操作的设备。
图15是描绘对物体辐射红外光并检测针对该物体进行的用户操作的检测设备1500的示意图。检测设备1500向布置在壁面上的物体(按钮)1501辐射红外激光,并且通过检测红外激光的反射波来检测针对物体1501的用户操作。省略了与第一实施例中描述的方法相同的检测方法的详细描述。
响应于检测到对物体1501的用户操作,检测设备1500将表示检测结果的信息发送到投影仪1502。投影仪1502根据表示所接收到的检测结果的信息执行处理。例如,投影仪1502将表示附加信息的图像投影到检测到被用户操作的物体1501。当检测到用户操作时,投影仪1502还改变预先投影到检测到被用户操作的物体1501的图像。
图15中所示的检测系统是示例,并且本发明不限于该示例。输出检测结果的设备不限于投影仪,而是可以是管理服务器、个人计算机、平板或智能电话。使用红外光照射的区域不限于图15所示的壁面。
图16是描绘检测设备1500的功能块的框图。检测设备1500包括CPU 1601、存储器1602、图像生成单元1603、区域确定单元1605、光源控制单元1606、激光驱动器1607、红外激光光源1608、镜控制单元1612和扫描镜1613。检测设备1500还包括操作单元1614、计时器1615、光接收单元1630和检测单元1631。检测设备1500的各个块发挥与实施例1至5的同名块相同的功能。以下,仅描述与实施例1至5的这些同名块的不同点。
图17是描绘当指示检测设备1500执行检测处理以检测用户操作时开始的检测处理的流程图。
当检测设备1500启动并且用户通过操作单元1614指示执行检测处理时,检测处理开始。当检测设备1500启动时,可以自动开始检测处理的执行。
在S1701中,检测设备1500生成基准距离图像。该处理与S301中的处理相同。假设在检测处理刚开始后在检测设备1500和包含物体1501的可检测区域之间不存在侵入物体。区域确定单元1605将可检测区域的整个区域确定为红外激光照射区域(输出区域)。激光驱动器1607和镜控制单元1612控制红外激光光源1608和扫描镜1613之间的操作,使得用红外激光照射可检测区域的整个区域。CPU 1601将输出红外激光的定时和光接收单元1630接收到反射波光的定时之间的时间差存储在存储器1602中,作为各个照射位置的基准参数。
在S1702中,区域确定单元1605将红外激光的照射区域确定为作为用于检测用户侵入的区域的监视区域(第一区域)。在第六实施例中,区域确定单元1605将与可检测区域的四个边相对应的框区域确定为监视区域。
图18A至图18E是描绘红外激光的照射区域的示意图。图18A是描绘被设置为用于检测侵入的区域的、与可检测区域的四个边相对应的框区域监视区域的示意图。监视区域可以具有不同的形状。如果物体1501被布置在壁面上,并且如果用户很可能从物体1501的左或右侵入,则可以将与可检测区域的两侧(左和右)相对应的区域设置为监视区域。图18B是描绘被设置为用于检测侵入的区域的、与可检测区域的两侧(左和右)相对应的框区域的示意图。如果用户很可能从物体1501的顶部或底部侵入,则可以将与可检测区域的两侧(上和下)相对应的区域设置为监视区域。图18C是被设置为用于检测侵入的区域的、描绘与可检测区域的两侧(上和下)相对应的框区域的示意图。监视区域至少是小于可检测区域的区域。监视区域是小于后述检测区域(第二区域)的区域。
在S1703中,激光驱动器1607和镜控制单元1612控制红外激光光源1608和扫描镜1613之间的操作,使得用红外激光照射所确定的监视区域。
在S1704中,光接收单元1630接收红外激光。检测单元1631比较:光接收单元1630接收到红外激光的定时与输出红外激光的定时之间的时间差;和在S1701中获取的时间差,以检测是否有用户或物体侵入。对红外激光的各个输出执行S1703和S1704中的处理。
在S1705中,CPU 1601判断用户或诸如指示器等的用于输入操作的指示物是否侵入到监视区域中。判断侵入的方法与S1214和S1215相同。如果没有发生侵入,则处理进入S1715,或者如果发生侵入则处理进入S1706。可以将CPU 1601视为通过检测不可见光来检测个人或物体的侵入的检测单元。
在S1715中,CPU 1601判断是否输入了用于结束检测处理的结束指示。例如,当用户向操作单元1614输入结束指示时或者输入了检测设备1500的启动停止指示时,CPU 1601判断为输入了用于结束检测处理的结束指示。如果输入了结束指示,则检测处理结束。如果没有输入用于结束检测处理的结束指示,则处理进入S1703。
在S1706中,区域确定单元1605将红外激光的照射区域确定为检测区域。检测区域(第二区域)是用于检测是否进行了用户操作的区域,并且是比上述监视区域大的区域。
图18D是描绘被确定为检测区域的可检测区域的整个区域的示意图。在表示检测对象物体1501的位置的信息已经存储在存储器1602中的情况下,区域确定单元1605将包括检测对象物体1501的区域确定为检测区域。图18E是描绘被确定为检测区域的包括检测对象物体1501的区域的示意图。在该检测流程中,假设可检测区域的整个区域是检测区域。
在S1707中,CPU 1601重置计时器1615的计数,并且开始测量时间。
在S1708中,激光驱动器1607和镜控制单元1612控制红外激光光源1608和扫描镜1613之间的操作,使得用红外激光照射所确定的检测区域。
在S1709中,光接收单元1630接收红外激光。检测单元1631比较:光接收单元1630接收到红外激光的定时与输出红外激光的定时之间的时间差;和在S1701中获取的时间差,以检测是否有用户或物体侵入。对红外激光的各个输出执行S1708和S1709中的处理。
在S1710中,CPU 1601判断是否存在对检测区域的操作。如果在包括物体1501的区域中检测到物体的侵入,则CPU 1601判断为进行了对物体1501的操作。如果检测到操作(S1710:是),则处理进入S1711,否则(S1710:否)处理进入S1712。
在S1711中,CPU 1601将与检测到被操作的物体1501相对应的检测信息经由通信单元1620输出到其它功能单元或外部设备。然后处理返回到S1707。
在S1712中,CPU 1601判断计时器1615所测量的经过时间是否超过预定阈值。如果经过时间超过阈值,则处理进入S1713,否则处理进入S1714。
在S1713中,区域确定单元1605将红外激光的照射区域确定为监视区域。省略与S1702相同的S1713中的处理的描述。在S1713之后,处理进入S1715。该一系列处理是在红外激光的照射区域从监视区域改变到检测区域之后,在预定时间段内没有对检测区域进行操作的情况下,通过将红外激光的照射区域设置回监视区域而返回到检测用户侵入的模式的处理。换句话说,这是当由于没有进行操作而发生超时时的处理。
在S1714中,CPU 1601判断是否输入了用于结束检测处理的结束指示,就像S1715一样。如果在S1714中判断为输入了用于结束检测处理的结束指示,则检测处理结束。如果在S1714中判断为没有输入用于结束检测处理的结束指示,则处理返回到S1708。
如果通过上述一系列处理判断为用户或指示物没有侵入可检测范围,则将红外激光的照射区域限制到监视区域,使得当检测到侵入时,可以用红外激光照射检测对象物体。由此,在用户或指示物的操作不太可能发生的状态下,可以防止输出宽范围的红外激光,并且可以节省检测设备的功耗。
描述了本发明的优选实施例,但本发明不限定于这些实施例,并且在本发明主旨的范围内,可以以各种方式进行修改和改变。
变形例
在投影图像中不包括UI图像的情况下,不管投影模式如何上述投影设备可以将红外激光投影到投影图像的外框。这在切换投影图像时或者在投影运动图像时特别有效。此外,在投影图像中不包括UI图像的情况下,通过跳过而加宽红外激光的发光间隔,可以节省功耗。此外,当在不具有UI图像的投影图像中第一次投影UI图像时,可以在投影UI图像之前将红外激光投影到外框部分。
在上述实施例中,描述了不可见光的投影形状是矩形的情况,但是投影形状不受特定限制,并且例如可以是圆形或椭圆形。不可见光的投影区域也不受特定限制,并且例如,在第二投影模式中,可以将不可见光仅投影到投影图像的上、下、左和右边缘中的一个,或者仅投影到投影图像的左和右边缘。如果投影图像是矩形,则可以将不可见光可以投影到角。此外,在第二投影模式中,可以投影具有围绕UI图像的矩形或椭圆形形状的不可见光。
在上述实施例中,描述了具有将不可见光投影到UI图像的模式和将不可见光投影到投影图像的外框(框区域)的模式的投影设备的情况,但是投影设备也可以具有将不可见光投影到整个投影图像的投影模式。由此,例如,不可见光的投影区域可以在投影图像的外框和整个投影图像之间切换,或者不可见光的投影区域可以在UI图像和整个投影图像之间切换。此外,投影设备可以包括所有这三种模式。
在第一至第六实施例中,将红外激光(不可见光)用作检测操作的光,但是用于检测的光的颜色(波长)不限于此。例如,可以使用除了红外光之外的在不可见光的波长范围(区域)内具有峰值波长的激光,或者可以使用峰值波长在可见光波长范围内的激光。
实施例的概念可以应用于辐射被称为“射频”的高频电磁波并且基于其反射波检测用户或指示物的检测设备。具体而言,将检测区域的外周的至少一部分设置为用于检测侵入的照射区域(监视区域)。然后,在向监视区照射高频电磁波的状态下,响应于检测到监视区域中的物体的侵入而改变照射区域。改变之后的照射区域可以包括或不包括监视区域。改变之后的照射区域是包括预定检测对象物体的区域。不仅照射区域,而且照射光(电磁波)的波长也可以在侵入监视区域之前和之后改变。例如,在检测到监视区域的侵入之后,可以将RF电磁波的照射改变为红外光。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考典型实施例描述了本发明,但应理解,本发明不限于所公开的典型实施例。以下权利要求的范围符合最宽的解释,以包含所有这类修改以及等同结构和功能。

Claims (13)

1.一种控制设备,包括:
确定单元,其被配置为确定目标区域;
输出单元,其被配置为将预定光输出到所述目标区域;
检测单元,其被配置为通过检测所述预定光来检测物体对所述目标区域的侵入,
其中,根据在将所述预定光输出到第一区域的状态下所述检测单元检测到物体对所述目标区域的侵入,所述确定单元还被配置为将第二区域确定为目标区域,其中,所述第二区域大于所述第一区域。
2.根据权利要求1所述的控制设备,其中,所述预定光是在不可见光的波长范围内具有峰值波长的不可见光。
3.根据权利要求1所述的控制设备,
其中,所述第一区域是包括操作物体的区域的外周上的部分区域,以及
其中,所述第二区域是包括所述操作物体的区域。
4.根据权利要求1所述的控制设备,还包括:
投影单元,其被配置为使用可见光将图像投影到投影面上的投影区域,
其中,所述第一区域是与所述投影区域的外框的至少一部分相对应的区域,以及
其中,所述第二区域是所述投影区域内的、与所述图像中所包括的操作物体相对应的区域。
5.根据权利要求4所述的控制设备,还包括:
位置获取单元,其被配置为获取由所述投影单元所投影的图像内的用户界面即UI的位置,
其中,所述确定单元还被配置为将投影UI的区域确定为所述第二区域。
6.根据权利要求5所述的控制设备,还包括:
生成单元,其被配置为生成包括UI的图像数据,
其中,所述位置获取单元还被配置为基于由所述生成单元所生成的所述图像数据来获取UI的位置。
7.根据权利要求5所述的控制设备,还包括:
接收单元,其被配置为接收来自外部设备的图像数据,
其中,所述位置获取单元还被配置为基于所述图像数据获取UI的位置。
8.根据权利要求5所述的控制设备,还包括:
接收单元,其被配置为接收来自外部设备的图像数据和与所述图像数据相对应的UI的位置信息,
其中,所述位置获取单元还被配置为获取所述接收单元所接收的位置信息作为UI的位置信息。
9.根据权利要求4所述的控制设备,还包括:
处理单元,其被配置为根据在将所述预定光输出到所述第二区域的状态下所述检测单元检测到物体对所述第二区域的侵入,来执行预定处理。
10.根据权利要求1所述的控制设备,其中,所述检测单元还被配置为基于所述输出单元输出所述预定光的定时与所述检测单元检测到所述预定光的定时之间的时间差,检测物体对所述输出单元输出所述预定光的区域的侵入。
11.根据权利要求10所述的控制设备,其中,所述确定单元还被配置为根据在将所述预定光输出到所述第二区域的状态下所述检测单元在至少预定时间内未检测到所述物体对所述第二区域的侵入,将所述第一区域确定为所述目标区域。
12.一种控制方法,包括:
确定目标区域;
将预定光输出到所述目标区域;
通过检测所述预定光来检测物体对所述目标区域侵入;以及
根据在将所述预定光输出到第一区域的状态下检测单元检测到物体对所述目标区域的侵入,将第二区域确定为目标区域,其中,所述第二区域大于所述第一区域。
13.一种存储程序的计算机可读介质,其中,所述程序使计算机执行根据权利要求12所述的方法。
CN201910887506.1A 2018-09-19 2019-09-19 控制设备、控制方法和计算机可读介质 Active CN110933387B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2018-175325 2018-09-19
JP2018175325 2018-09-19
JP2019107221A JP2020053009A (ja) 2018-09-19 2019-06-07 制御装置、制御方法、プログラム、および記憶媒体
JP2019-107221 2019-06-07

Publications (2)

Publication Number Publication Date
CN110933387A true CN110933387A (zh) 2020-03-27
CN110933387B CN110933387B (zh) 2022-08-30

Family

ID=67997475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910887506.1A Active CN110933387B (zh) 2018-09-19 2019-09-19 控制设备、控制方法和计算机可读介质

Country Status (3)

Country Link
US (1) US11172180B2 (zh)
EP (1) EP3627222B1 (zh)
CN (1) CN110933387B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11197054B2 (en) 2018-12-05 2021-12-07 Roku, Inc. Low latency distribution of audio using a single radio
US20220087414A1 (en) * 2020-09-23 2022-03-24 Iview Displays (Shenzhen) Company Ltd. Projection table

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1406160A2 (en) * 2002-10-04 2004-04-07 Calsonic Kansei Corporation Information display device
WO2005059736A1 (ja) * 2003-12-17 2005-06-30 National University Corporation Shizuoka University 瞳孔検出によるポインタ制御装置及び方法
US20060066584A1 (en) * 2004-09-30 2006-03-30 Edward Barkan Optical touch screen arrangement
CN103838371A (zh) * 2012-11-21 2014-06-04 英飞凌科技股份有限公司 成像功率的动态节省
CN104932756A (zh) * 2014-03-19 2015-09-23 联想(北京)有限公司 一种数据处理方法及电子设备
CN105321067A (zh) * 2014-05-29 2016-02-10 苹果公司 用于支付的用户接口

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19640404A1 (de) 1996-09-30 1998-04-09 Ldt Gmbh & Co Vorrichtung zur Darstellung von Bildern
US7369584B2 (en) 2003-12-31 2008-05-06 Symbol Technologies, Inc. Laser projection display
JP2007053420A (ja) 2005-08-15 2007-03-01 Sharp Corp 画像処理装置
JP5277703B2 (ja) 2008-04-21 2013-08-28 株式会社リコー 電子機器
JP5086899B2 (ja) * 2008-06-03 2012-11-28 株式会社キーエンス エリア監視センサ
JP5437206B2 (ja) 2010-09-10 2014-03-12 シャープ株式会社 電子機器
JP5710929B2 (ja) 2010-10-08 2015-04-30 船井電機株式会社 プロジェクタ
JP6167529B2 (ja) 2013-01-16 2017-07-26 株式会社リコー 画像投影装置、画像投影システム、制御方法およびプログラム
EP3427240A4 (en) * 2016-03-08 2019-10-30 Tinoq Inc. SYSTEMS AND METHOD FOR A COMPOSITE SENSOR SYSTEM
JP2019126853A (ja) * 2018-01-22 2019-08-01 オムロン株式会社 安全監視システム、安全監視方法、安全監視プログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1406160A2 (en) * 2002-10-04 2004-04-07 Calsonic Kansei Corporation Information display device
WO2005059736A1 (ja) * 2003-12-17 2005-06-30 National University Corporation Shizuoka University 瞳孔検出によるポインタ制御装置及び方法
US20060066584A1 (en) * 2004-09-30 2006-03-30 Edward Barkan Optical touch screen arrangement
CN103838371A (zh) * 2012-11-21 2014-06-04 英飞凌科技股份有限公司 成像功率的动态节省
CN104932756A (zh) * 2014-03-19 2015-09-23 联想(北京)有限公司 一种数据处理方法及电子设备
CN105321067A (zh) * 2014-05-29 2016-02-10 苹果公司 用于支付的用户接口

Also Published As

Publication number Publication date
EP3627222A1 (en) 2020-03-25
US20200092525A1 (en) 2020-03-19
CN110933387B (zh) 2022-08-30
EP3627222B1 (en) 2021-09-08
US11172180B2 (en) 2021-11-09

Similar Documents

Publication Publication Date Title
KR100673887B1 (ko) 지시 위치 탐지장치 및 지시 위치 탐지방법
US8933880B2 (en) Interactive presentation system
CN110933387B (zh) 控制设备、控制方法和计算机可读介质
US9992466B2 (en) Projector with calibration using a plurality of images
US20110164191A1 (en) Interactive Projection Method, Apparatus and System
KR102462046B1 (ko) 주사 디스플레이 시스템에서의 투영된 콘텐트의 밝기 또는 크기의 동적 불변성
JP2015158887A (ja) 位置検出システム、及び、位置検出システムの制御方法
US10663593B2 (en) Projector apparatus with distance image acquisition device and projection method
CN112687215B (zh) 激光投影设备及其控制方法
JP6562124B2 (ja) 位置検出システム、及び、位置検出システムの制御方法
US20180300017A1 (en) Display device and method of controlling display device
US10705626B2 (en) Image display device and control method for image display device
US10474248B2 (en) Smart pulsing in regions of interest in scanned beam 3D sensing systems
US20190095043A1 (en) Position detection device, position detection system, and method for controlling position detection device
US10095357B2 (en) Position detection device, display device, method of controlling position detection device, and method of controlling display device for detecting a position on a display surface
US10048905B2 (en) Interactive display method and interactive display device
JP2020053009A (ja) 制御装置、制御方法、プログラム、および記憶媒体
US10671219B2 (en) Scanning time of flight 3D sensing with smart pulsing
CN112687213A (zh) 激光投影设备及其控制方法
WO2017064787A1 (ja) 光測距装置、光測距方法、及び、それを備えた映像投写装置
KR970050076A (ko) 멀티스크린방식 표시장치
JP2017199059A (ja) 画像供給装置、画像供給装置の制御方法、及び、プログラム
JP2016114626A (ja) 画像表示装置
EP2383912A2 (en) Input device and control method of the same
KR20130003492U (ko) 적외선 레이저포인터 스팟 위치영상 입력장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant