CN112912829A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN112912829A
CN112912829A CN201980070428.4A CN201980070428A CN112912829A CN 112912829 A CN112912829 A CN 112912829A CN 201980070428 A CN201980070428 A CN 201980070428A CN 112912829 A CN112912829 A CN 112912829A
Authority
CN
China
Prior art keywords
projection
image
information processing
processing apparatus
tool
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980070428.4A
Other languages
English (en)
Inventor
日下部佑理
青木悠
井田健太郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112912829A publication Critical patent/CN112912829A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

提供了一种信息处理装置、信息处理方法及系统，在操作体的位置不能被识别的区域中对操作体进行操作时，其通过将操作体引导至可以被适当识别的区域，可以提高用户的便利性。该信息处理装置包括：控制单元(20、140、170)，其执行识别处理，该识别处理用于基于投影区域的捕获图像来识别操作体在投影区域中的位置；操作检测处理，该操作检测处理用于基于由设置在操作体上的传感器输出的传感器数据来检测执行了对操作体的操作；以及投影控制处理，当通过操作检测处理检测到对操作体的操作并且通过识别处理未识别操作体的位置时，该投影控制处理用于使得投影单元将用于将操作体引导到投影区域中的位置的图像投影到操作体的位置可以通过识别处理来识别的投影区域。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开内容涉及信息处理装置、信息处理方法和程序。
背景技术
近年来，已经开发了各种显示装置，例如包括TV接收器(以下简称为TV)和投影仪的固定显示装置，以及包括智能电话和笔记本PC(个人计算机)的移动显示装置。此外，随着显示装置的发展，用于控制装置的接口和操作方法已经多样化。
例如，关于投影仪，除了以现在使用的家庭影院为代表的向与地面垂直的屏幕上投影图像的投影仪以外，投影映射技术的出现也增加了向诸如桌子表面、墙壁、天花板等的任何地方投影图像的情况的数量。
此外，在一些情况下，使用用于指示由投影仪投影的图像的指示器等进行呈现。在这些情况下，可以利用输出红外光的指示器。此外，还提出了系统，系统中的每个系统使用输出IR(红外光谱)光的数字笔通过投影仪显示(投影)数字笔的轨迹。特别地，该系统对于教育领域的板书数字化是有用的。
例如，下面的PTL1公开了以下技术：该技术通过安装在投影仪上的IR摄像机对从指示笔输出的光信号(红外光)进行成像，并且在检测到信号电平超过预定阈值的光信号时，输出该光信号的位置信息。
引用列表
专利文献
PTL1：日本未审查专利申请公开第2018-198858号
发明内容
本发明要解决的问题
这里，即使输出IR光的诸如电子笔的操作工具正常操作，也可能发生摄像机不能检测到电子笔的IR光的情况，因为取决于投影区域、用户与摄像机之间的位置关系，用户(操作者)他自己/她自己遮蔽了电子笔的IR光。然而，没有掌握摄像机的位置或检测机制的典型用户不能理解为什么绘制已经停止，因此，给用户带来不便。
解决问题的手段
根据本公开内容，提出了一种信息处理装置，包括控制器，其执行识别处理、操作检测处理和投影控制处理，识别处理基于通过对投影区域进行成像而获得的捕获图像来识别操作工具在投影区域内的位置，操作检测处理基于由包括在操作工具中的传感器输出的传感器数据来检测对操作工具执行的操作，并且在通过操作检测处理检测到对操作工具执行的操作并且通过识别处理未识别操作工具的位置的情况下，投影控制处理使得投影部投影用于将操作工具引导到投影区域内部并且操作工具的位置能够通过识别处理来识别的位置的图像。
根据本公开内容，提出了一种由处理器执行的信息处理方法，该方法包括：基于通过对投影区域进行成像而获得的捕获图像来识别操作工具在投影区域内的位置；基于由包括在操作工具中的传感器输出的传感器数据来检测对操作工具执行了操作；以及在检测到对操作工具执行的操作并且操作工具的位置未被识别的情况下，使得投影部投影用于将操作工具引导到投影区域内部并且操作工具的位置能够通过识别处理来识别的位置的图像。
根据本公开内容，提出了一种用于使得计算机用作执行以下处理的控制器的程序：识别处理、操作检测处理和投影控制处理，识别处理基于通过对投影区域进行成像而获得的捕获图像来识别操作工具在投影区域内的位置，操作检测处理基于由包括在操作工具中的传感器输出的传感器数据来检测对操作工具执行了操作，并且在通过操作检测处理检测到对操作工具执行的操作并且通过识别处理未识别操作工具的位置的情况下，投影控制处理使得投影部投影用于将操作工具引导到投影区域内部并且操作工具的位置能够通过所述识别处理来识别的位置的图像。
附图说明
[图1]图1是说明根据本公开内容的实施方式的信息处理系统的概要的图。
[图2]图2是示出根据本实施方式的在用户位于投影仪与投影表面之间的情况下的遮蔽的图。
[图3]图3是示出根据本实施方式的在用户位于摄像机与操作工具之间的情况下的遮蔽的图。
[图4]图4是示出根据本实施方式的信息处理系统的整体配置的示例的框图。
[图5]图5是示出根据本实施方式的引导图像的示例的图。
[图6]图6是示出根据本实施方式的引导图像的显示处理的流程的示例的流程图。
[图7]图7是示出根据本实施方式的与不可识别的因素相对应的引导图像的显示处理的流程的示例的流程图。
[图8]图8是示出根据本实施方式的用户位置的识别和由用户引起的遮蔽的图。
[图9]图9是示出根据本实施方式的给出由用户引起的遮蔽的通知的引导图像的示例的图。
[图10]图10是示出根据本实施方式的可绘制区域的图。
[图11]图11是示出根据本实施方式的虚拟阴影图像被显示为引导图像的情况的图。
[图12]图12是示出根据本实施方式的修改示例的可绘制区域的垂直方向的图。
[图13]图13是示出根据本实施方式的修改示例的明确指示可绘制区域的垂直方向的引导图像的示例的图。
实现本发明的方式
下面，参照附图详细描述本公开内容的一些实施方式。应注意，在以下的实施方式中，具有基本上相同功能配置的部件由相同的附图标记指示，并且因此省略其冗余的描述。
应注意，按以下顺序给出描述。
1.根据本公开内容的一个实施方式的信息处理系统的概述
2.配置示例
2-1.输出装置200
2-2.摄像机300
2-3.操作工具400
2-4.信息处理装置100
3.操作处理
3-1.引导图像的显示
3-2.与不可识别的因素相对应的引导图像的显示
4.修改示例
5.结论
<<1.根据本公开内容的一个实施方式的信息处理系统的概述>>
图1是示出根据本公开内容的实施方式的信息处理系统的概述的图。如图1所示，根据本实施方式的信息处理系统包括投影图像的投影仪210、对投影区域211(在图1中，由摄像机300拍摄的区域(所谓的视角)被示出为识别区域301)进行成像的摄像机300、以及控制由投影仪210执行的图像投影的信息处理装置100。
此外，当用户使用操作工具400(所谓的电子笔)在投影区域211上执行绘制操作时，设置在操作工具400的笔尖处的发光部(例如，IR_LED(发光二极管))发光(具体地，例如，发光部通过笔尖的按压力发光)，并且信息处理装置100可以从由摄像机300拍摄的捕获图像中检测发光部分，并且识别操作工具400的位置(即，绘制位置)。摄像机300被预设为成像范围(识别区域301)，该成像范围是等于或略大于投影仪210的投影区域211的范围，并且对由操作工具400发射的光(例如，IR光)进行成像。信息处理装置100基于由摄像机300拍摄的捕获图像来连续地识别操作工具400的位置，生成指示相对于操作工具400的绘制操作的轨迹图像L，并且使得轨迹图像L被投影仪210投影。
结果，本系统能够在诸如桌子表面、墙壁、地板等的任何地方(投影区域211)上使用操作工具400自由地执行绘制。
应注意，操作工具400的发光部可以由IR_LED实现。在这种情况下，为了避免由于操作工具400发射的IR光以外的光而导致的误操作，摄像机300可以被配置成经由可见光截止滤波器(即，使用IR摄像机作为摄像机300)执行成像。在这样的情况下，从由摄像机300拍摄的捕获图像中仅检测笔尖的IR光。
然而，如果IR光被任何遮蔽对象遮蔽或者在摄像机300的视角外(图1中所示的识别区域301外)执行绘制，则系统不能检测IR光并且不能投影轨迹图像。
这里，将给出在使用操作工具400执行绘制时所假定的遮蔽问题的描述。
图2是示出根据本实施方式的在用户位于投影仪210与投影表面(投影区域211)之间的情况下的遮蔽(投影仪210的遮蔽)的图。在图2所示的示例中，用户的阴影导致在投影区域211中生成投影不可用区域(遮蔽区域213)。通常，在投影仪210执行投影的情况下，出现用户的阴影，使得用户相对容易地意识到他/她正在遮蔽投影仪210。
相反，用户难以注意到他/她正在遮蔽摄像机300，因为在遮蔽摄像机300的情况下不出现阴影。在下文中，将参照图3给出描述。
图3是示出根据本实施方式的在用户位于摄像机与操作工具之间的情况下的遮蔽(摄像机300的遮蔽)的图。在这种情况下，生成了因为IR光发射被用户的身体隐藏所以操作工具400的IR光发射不可检测的区域(遮蔽区域303)。在这样的情况下，信息处理装置100不能识别IR光发射的位置(轨迹)并且不能生成轨迹图像L；因此，即使操作工具400被正常操作，用户也不能执行绘制。应注意，在遮蔽区域303中没有出现如遮蔽投影仪210的情况下的阴影；因此，用户难以注意到他自己或她自己是遮蔽对象。
此外，在投影轨迹图像的系统的情况下，难以理解在什么也没有绘制的情况下可以在哪里绘制图像，并且可能出现在摄像机300的视角之外(识别区域之外)开始绘制并且不能被执行的情况。
关于由于遮蔽等而导致摄像机300不可识别正常操作的操作工具400的这样的问题，没有向用户执行反馈，并且用户必须自己确定为什么绘制变得不可用。在一些情况下，这可以通过诸如检查摄像机300的位置和改变用户的站立位置的动作来改进。然而，难以区分是因为用户不知道检测的机制所以绘制不可用还是由于其他原因(例如，不是由用户引起的遮蔽而是操作工具400的电池耗尽，由其他家具或可移动对象(窗帘等)引起的遮蔽等)而导致绘制不可用，并且因此，造成了不便。
因此，本公开内容提出了一种机制，其能够在正被操作的操作工具的位置处于不可识别的区域中的情况下，通过将用户引导到适当可识别的区域来增强用户的便利性。
<<2.配置示例>>
图4是示出根据本实施方式的信息处理系统的整体配置的示例的框图。如图4所示，根据本实施方式的信息处理系统包括信息处理装置100、输出装置200、摄像机300和操作工具400。
<2-1.输出装置200>
输出装置200包括投影仪210、TV 220、平板电脑230、智能电话240和PC 250。应注意，本系统可以包括这些装置中的一个或更多个装置，这些装置组合作为输出装置200，或者该系统可以包括这些装置中的一种类型的多个装置。在图1所示的示例中，作为示例示出了包括投影仪210的系统配置。
投影仪210是将图像投影到空间中的任何地方的投影仪装置。投影仪210可以是例如固定广角投影仪，或者可以是包括能够改变投影方向的可移动部(例如Pan/Tilt驱动类型)的所谓的移动投影仪。投影表面不限于平面，并且可以是弯曲表面或者可以被分成多个表面。此外，投影仪210可以由多个单元实现。
TV 220是通过接收电视广播的无线电波来输出图像和声音的装置。平板电脑230通常是具有比智能电话240的屏幕大的屏幕的移动装置，其能够执行无线电通信，并且能够输出图像、声音、振动等。智能电话240通常是具有比平板电脑230的屏幕小的屏幕的移动装置，其能够执行无线电通信，并且能够输出图像、声音、振动等。PC 250可以是固定台式PC、移动膝上型PC，并且能够输出图像、声音等。
输出装置200基于信息处理装置100执行的控制来输出信息。除了要输出的信息的内容之外，信息处理装置100还能够控制输出方法。例如，信息处理装置100能够控制投影仪210的投影方向。
此外，输出装置200可以包括能够执行除了上述那些输出之外的任何输出的部件。例如，输出装置200可以包括扬声器和单向扬声器。扬声器经由DAC(数模转换器)和放大器将音频数据转换为模拟信号，并执行输出(回放)。单向扬声器是能够在单个方向上形成方向性的扬声器。信息处理装置100可以控制单向扬声器的方向性。
此外，输出装置200可以包括照明装置、空调、音乐回放装置等。
<2-2.摄像机300>
摄像机300是用于识别设置在操作工具400上的IR LED的IR识别摄像机，并且是能够经由IR滤波器执行成像并且仅检测IR光的示例性传感器装置。
除了摄像机300之外，本系统可以包括感测各种类型的信息的其他传感器。例如，本系统可以包括RGB摄像机、深度传感器、麦克风等，以感测关于用户和用户位于的空间的信息。深度传感器是获取深度信息的装置，例如红外线距离测量装置、超声波测距装置、LiDAR(激光成像检测和测距)或立体摄像机。另外，可以使用能够获取高精度距离图像的ToF(飞行时间)摄像机。麦克风是收集环境声音并输出经由放大器和ADC(模数转换器)被转换成数字信号的音频数据的装置。麦克风可以是阵列麦克风。
传感器装置基于由信息处理装置100执行的控制来感测信息。例如，信息处理装置100可以控制摄像机300的变焦率和成像方向。
此外，传感器装置还可以包括能够执行除上述感测之外的任何感测的部件。例如，传感器装置可以包括由用户向其输入信息的装置，例如，鼠标、键盘、触摸面板、按钮、开关、控制杆等。此外，传感器装置还可以包括各种传感器，例如，加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、照度传感器、力传感器、超声波传感器、气压传感器、气体传感器(Co2)、热成像摄像机(远红外摄像机)等。
上述输出装置的数量和上述传感器装置的数量可以是多个。
<2-3.操作工具400>
操作工具400由用户握持，并且当用户在投影区域211上绘制轨迹时被使用。具体地，IR_LED 430被设置在操作工具400的尖端(笔尖)处作为发光部的示例，并且当通过使笔尖与诸如墙壁的投影区域211接触来执行绘制时，通过推动笔尖来打开开关440(传感器)，并且IR_LED 430被控制成由CPU 420接通。相反，当笔尖与诸如墙壁的投影区域211分离时，笔尖被释放而不被按压，开关440被关断，并且IR_LED 430被控制成由CPU 420关断。
应注意，尽管已经描述了IR_LED 430通过笔尖在接地表面上的按压力而发光的示例，但是本实施方式不限于此，并且IR_LED 430可以通过检测设置到操作工具400的按钮、开关等的操作或者使用包括在操作工具中的运动传感器检测相对于操作工具的操作而发光。
此外，操作工具400包括通信模块410。通信模块410可以经由电线或无线电耦接到信息处理装置100以发送和接收数据。例如，通信模块410通过有线/无线LAN(局域网)、Wi-Fi(注册商标)、蓝牙(注册商标)、近场通信等与信息处理装置100通信。
CPU 420基于用户在设置到操作工具400的按钮或开关上的操作、笔的移动等，向信息处理装置100发送预定命令。具体地，CPU 420将由开关440检测到的传感器数据(即，指示通过按下尖端而接通开关、指示已经对操作工具400执行了操作(绘制操作)的数据)从通信模块410实时地发送到信息处理装置100。
应注意，尽管这里作为示例主要描述了使用操作工具400绘制轨迹的绘制操作的情况，但是根据本实施方式的使用操作工具400的操作不限于此，并且还可以对显示的图像执行诸如点击操作、拖放操作、翻页、滚动操作等的各种操作。
<2-4.信息处理装置100>
信息处理装置100包括I/F(接口)110、发光识别器120、存储器130、操作检测器140、图像生成器150、坐标转换器160、显示控制器170和用户位置识别器180。
-I/F 110
I/F 110是将信息处理装置100耦接到其他装置的耦接装置。I/F 110例如通过USB(通用串行总线)连接器、有线/无线LAN(局域网)、Wi-Fi(注册商标)、蓝牙(注册商标)、便携式通信网络(LTE(长期演进)、3G(第三代移动通信系统))等实现，并且执行向输出装置200、摄像机300和操作工具400的信息的输入以及从输出装置200、摄像机300和操作工具400的信息的输出。通过经由I/F 110执行与这些装置的通信，该信息处理装置100能够控制输出装置200、摄像机300和操作工具400。更具体地，例如，信息处理装置100可以通过经由I/F110向输出装置200、摄像机300和操作工具400输出控制信号来执行这些控制。
-发光识别器120
发光识别器120从由摄像机300成像的捕获图像(IR捕获图像)检测IR光，识别检测到的IR光的位置坐标(例如，亮点的位置坐标)，在存储器130中累积位置坐标，并向图像生成器150输出已经检测到IR光的事实(例如，已经识别亮点的位置的事实)。此外，发光识别器120还具有跟踪所检测的IR光的行进并获取IR光的轨迹的功能(跟踪功能)。
-存储器130
存储器130存储由发光识别器120识别的发光位置坐标。存储器130还可以存储输出装置200和摄像机300的安装位置信息、空间识别信息、用户位置信息和各种传感器数据。空间识别信息是由信息处理装置100基于从传感器装置(未示出)获取的各种传感器数据(由摄像机或鸟瞰摄像机拍摄的捕获图像(可见光图像、红外图像)、由深度传感器获取的深度信息、由距离测量传感器获取的距离信息、由热成像传感器获取的温度信息、由麦克风获取的语音信息等)从投影空间(投影环境)获取/识别的信息。具体地，例如，信息处理装置100可以识别：投影空间(投影环境)的三维形状；存在于投影空间中的真实对象的三维形状、三维位置和可投影区域(例如具有预定尺寸的平面区域)；用户的三维位置、姿势、手势、话语等。信息处理装置100此后可以将它们存储在存储器130中作为空间识别信息。
-操作检测器140
操作检测器140具有基于从操作工具400接收的传感器数据来检测已经对操作工具执行了操作的功能。具体地，例如，在接收到由设置到操作工具400的开关440检测到的传感器数据(即，指示通过按下尖端而接通开关的数据)时，操作检测器140能够检测到已经对操作工具400执行了操作(在这种情况下为绘制操作)。此外，操作检测器140将操作检测结果输出到图像生成器150。
-图像生成器150
图像生成器150生成要由输出装置200显示的图像。例如，图像生成器150响应于操作工具400执行的绘制操作而生成显示操作工具400绘制的轨迹的图像(轨迹图像L)。具体地，图像生成器150基于从坐标转换器160获取的与IR光的轨迹相对应的显示坐标信息来生成显示轨迹的图像，并且将该图像输出到显示控制器170。
此外，在即使操作检测器140检测到对操作工具400的操作(在这种情况下为绘制操作)、发光识别器120也未识别发光(即，未识别操作工具400的位置)的情况下，根据本实施方式的图像生成器150生成用于将操作工具400引导到投影区域211内并且可由摄像机300识别的区域(在下文中也称为“可绘制区域”)的图像(引导图像)。在即使检测到对操作工具400的操作也没有识别到发光的情况下，例如，假定用户在摄像机300的识别区域301之外执行操作的情况，或者操作工具400的IR光被用户、家具或可移动对象(窗帘等)遮蔽的情况。
这里，图5示出了根据本实施方式的引导图像的示例。如上所述，在即使检测到对操作工具400的操作也没有识别到发光的情况下，由于操作工具400处于正常可用状态(没有耗尽电池等)并且处于可绘制状态，因此期望显示以直观可理解的方式指示可以执行绘制的事实的图示、图标、引导等作为引导图像。具体地，例如，如图5的引导图像422a和422b中所示的图示图像和钢笔的图标，或者用于提示绘制的引导显示，例如“开始绘制吧！”等，可以显示在可绘制区域上。
-坐标转换器160
响应于来自图像生成器150的请求，坐标转换器160从存储器130调出目标的轨迹的信息，根据该轨迹的信息计算显示目标的图像的坐标，并且将计算出的坐标输出到图像生成器150。
-显示控制器170
显示控制器170控制图像生成器150生成的图像经由I/F 110输出到输出装置200，并且控制输出装置200执行的图像的显示。例如，显示控制器170执行控制以使得由投影仪210投影由图像生成器150生成的轨迹图像。此外，显示控制器170执行控制以使得由投影仪210投影由图像生成器150生成的引导图像。引导图像可以显示在诸如可绘制区域的边缘的预定位置处，可以显示在最终识别IR光的位置处，或者可以显示在与摄像机300或投影仪210的安装方向相对应的位置处(例如，在摄像机300位于可绘制区域的右方向上的情况下，显示在右边缘处)。这使得可以对适当可识别的区域进行引导，以增强用户的便利性。
-用户位置识别器180
用户位置识别器180具有基于捕获的图像识别用户的位置的功能。例如，在本系统使用RGB IR摄像机作为摄像机300的情况下，可以同时获取可见光图像和IR图像。在这种情况下，用户位置识别器180能够通过骨骼估计等从可见光图像中识别人的位置。基于所识别的用户的位置以及基于IR图像的发光识别是否是可能的，信息处理装置100能够确定操作工具400的发光被用户遮蔽。应注意，在基于可见光图像执行骨骼估计时，也可以通过使用帧间差分法不仅获取骨骼位置还获取人体的区域。此外，除了IR摄像机之外，还可以准备热成像摄像机、深度摄像机或ToF传感器用于识别发光，从而提取用户的轮廓(人体的区域)(希望这些传感器的光轴尽可能接近IR摄像机)。
上述发光识别器120、操作检测器140、图像生成器150、坐标转换器160、显示控制器170和用户位置识别器180可以由设置到信息处理装置100的控制器(未示出)来实现。控制器用作算术处理单元和控制单元，并且根据各种程序来控制信息处理装置100中的整体操作。例如，控制器通过诸如CPU(中央处理单元)或微处理器的电子电路来实现。此外，控制器可以包括存储要使用的程序和算术参数的ROM(只读存储器)和临时地存储适当变化的参数的RAM(随机存取存储器)。
此外，根据本实施方式的信息处理装置100的配置不限于图4中所示的示例。例如，信息处理装置100可以由多个装置配置，或者图4所示的信息处理装置100的功能配置中的至少一些可以被设置到输出装置200、摄像机300或操作工具400。此外，信息处理装置100不必具有图4所示的所有功能配置。
另外，信息处理装置100也可以通过PC、智能电话、边缘服务器、中间服务器或云服务器来实现。
<<3.操作处理>>
接着，将参照附图描述根据本实施方式的引导图像的显示处理的流程的示例。
<3-1.引导图像的显示>
图6是示出根据本实施方式的引导图像的显示处理的流程的示例的流程图。如图6所示，首先，信息处理装置100基于从操作工具400发送的传感器数据，确定笔尖的开关440是否被操作检测器140(通过绘制操作)按压(步骤S103)。
接下来，如果确定笔尖的开关440被按下(步骤S103/是)，则发光识别器120从摄像机300的捕获图像(IR图像)识别IR光(步骤S106)。这里，作为示例，在检测到笔尖的开关440被按下时执行IR光识别处理。然而，本实施方式不限于此，并且可以连续地(始终)执行IR光识别处理。
此后，如果识别到IR光(步骤S106/是)，则信息处理装置100执行轨迹绘制(步骤S109)。具体地，信息处理装置100通过图像生成器150生成与IR光的位置坐标一致的轨迹图像，并且通过显示控制器170执行控制以使投影仪210显示(投影)轨迹图像。
相反，如果没有识别到IR光(步骤S106/否)，则信息处理装置100显示用于将操作工具400引导到可写入地点(投影区域211内并且可由摄像机300识别的可绘制区域)的UI(引导图像)(步骤S112)。具体地，信息处理装置100生成引导图像(或者获取预先准备的引导图像)，并且通过显示控制器170执行控制以使得投影仪210显示(投影)引导图像。结果，用户能够直观地理解没有操作工具400的电池的耗尽或系统故障，并且能够执行绘制，并且可以在显示引导图像的周围执行绘制。
此后，在笔尖的开关440继续被按下的同时(在操作检测器140继续检测到操作工具400中的操作的同时)(步骤S115)，信息处理装置100重复上述步骤S106至S112中所示的处理。
<3-2.与不可识别的因素相对应的引导图像的显示>
在根据本实施方式的信息处理装置100还基于用户的位置来确定不能识别IR光的因素是由用户引起的遮蔽的情况下，信息处理装置100能够给出由用户引起的遮蔽正在发生的通知作为引导图像，并且提示用户采取适当的动作。
图7是示出与不可识别的因素相对应的引导图像的显示处理的流程的示例的流程图。
在图7所示的步骤S103至S109中，执行与参照图6所述的步骤类似的处理。换言之，如果(通过绘制操作)按下操作工具400的笔尖的开关440(步骤S103)，则信息处理装置100识别IR光(步骤S106)，并且执行轨迹绘制(轨迹图像的生成和显示)(步骤S109)。
接下来，信息处理装置100确定IR光在用户位置处是否已经变得不可识别(步骤S120)。具体地，在即使操作检测器140检测到绘制操作、IR光也已经变得不能被发光识别器120识别并且IR光已经变得不可识别的位置是被用户位置识别器180识别的用户位置的情况下，可以理解为IR光被用户遮蔽。图8是示出用户位置的识别和由用户引起的遮蔽的图。例如，在本系统使用RGB IR摄像机作为摄像机300的情况下，可以获取如图8所示的可见光图像304，并且用户位置识别器180基于可见光图像304通过骨骼估计等来识别用户位置。此后，在由发光识别器120跟踪的IR光朝着被识别为用户位置的区域移动并且变得不可识别(丢失)(在图的中间)的情况下，图像生成器150能够确定IR光被用户遮蔽。
接下来，如果在用户位置处IR光已经变得不可识别(步骤S120/是)，则图像生成器150确定IR光被用户遮蔽，生成给出IR光被用户遮蔽的通知的图像(引导图像)，并且显示控制器170控制要被投影仪210投影的所生成的引导图像(步骤S123)。这里，图9示出了根据本实施方式的给出由用户引起的遮蔽的通知的引导图像的示例。例如，图9的引导图像422d是指示用户如何进入摄像机的视角并在路径中站立的图标图像。此外，图9的引导图像422e是诸如“你的阴影在路径中”的引导显示。通过显示这样的引导图像，用户能够直观地理解由于用户的站立位置而不能执行(要被识别的)绘制，并且能够通过确认摄像机300的位置并且改变用户的站立位置来进行改进。
此外，显示控制器170控制要在可绘制区域上显示的引导图像。现在参照图10，将描述根据本实施方式的可绘制区域。如图10所示，与摄像机300的成像范围相对应的识别区域301可以被预设为等于或略大于投影区域211的范围。另外，在本实施方式中，投影区域211和识别区域301，并且还排除遮蔽区域213(用户遮蔽投影仪210的投影区域211的区域)和遮蔽区域303(用户遮蔽摄像机300的识别区域301的区域)的区域被定义为可绘制区域421。显示控制器170可以在诸如可绘制区域421的边缘的预定位置处、在IR光已经被最后一次识别的位置处、或者在与摄像机300或投影仪210的安装方向相对应的位置(例如，当摄像机300位于可绘制区域的右方向上时的右边缘)处显示引导图像422。
可以基于由可见光摄像机获取的可见光图像、用户的三维位置、摄像机300的三维位置、投影仪210的三维位置、投影区域211的三维位置、识别区域301的三维位置、它们之间的位置关系和距离等来适当地计算遮蔽区域213和遮蔽区域303。
这里，尽管在遮蔽区域213中生成真实阴影，但是在遮蔽了摄像机300的遮蔽区域303中没有生成阴影；因此，信息处理装置100可以通过图像生成器150生成指示遮蔽区域303的虚拟阴影图像(至少遮蔽区域303的轮廓)作为引导图像，并且显示虚拟阴影图像。图11是示出了虚拟阴影图像被显示为引导图像的情况的图。如图11所示，在可绘制区域421中，真实阴影出现在用户遮蔽投影仪210的投影的遮蔽区域213中，而没有阴影出现在用户遮蔽摄像机300的成像的遮蔽区域303中；因此，生成虚拟阴影图像422f，并且投影仪210在遮蔽区域303的位置处显示虚拟阴影图像422f。结果，用户能够直观地理解，不可能在用户的阴影区域中执行绘制，并且通过改变站立位置等来进行改善。应注意，这里描述了生成指示遮蔽区域303的轮廓的图像并将其显示为引导图像的示例，但是本实施方式不限于此。例如，信息处理装置100的图像生成器150可以生成与遮蔽区域303的位置和大小相对应的图像(例如，包括遮蔽区域303的简单矩形图像)作为引导图像。例如，在与轮廓提取相比能够减少处理负荷的处理是合适的情况下，信息处理装置100的图像生成器150可以生成并显示与遮蔽区域的位置和大小相对应的矩形图像。
此外，在由投影仪210执行投影的情况下，通常出现用户的阴影；因此，用户可以相对容易地注意到用户正在遮蔽投影仪210。但是，在要投影的图像的背景色为黑色并且要显示的信息为白色的情况下，由于默认情况下在投影区域上没有投影任何东西，因此不会出现阴影。在这种情况下，信息处理装置100还可以在投影仪210的遮蔽区域213上显示虚拟阴影。投影仪210的遮蔽区域213可以基于用户的位置、投影仪210的安装位置和投影区域的地点来计算。替选地，在投影仪210与摄像机300彼此靠近安装并且其光轴彼此尽可能靠近或同轴的情况下，摄像机300的遮蔽区域303被表示为虚拟阴影，从而使得用户将虚拟阴影也识别为投影仪210的阴影。应注意，同样在该情况下，指示投影仪210的遮蔽区域213的引导图像不限于轮廓提取的图像。例如，信息处理装置100的图像生成器150可以生成与遮蔽区域213的位置和大小相对应的图像(例如，包括遮蔽区域213的简单矩形图像)。
此后，如果通过改变用户的站立位置等来改善遮蔽(即，在IR光再次变得能够被发光识别器120识别的情况下)(步骤S126/是)，则信息处理装置100生成轨迹图像，并且执行控制以再次显示轨迹图像(步骤S129)。
相反，在识别IR光的过程中(在绘制过程中)，如果IR光不可识别(步骤S106/否)或者如果在除了用户位置之外的位置处IR光变得不可识别(步骤S120/否)，则信息处理装置100在可写入地方(步骤S112)以与参照图6描述的实施方式相同的方式显示用于将操作工具400引导到可写入地方(可绘制区域)的UI(如图5所示的引导图像422a到422c)。在除用户位置以外的位置处不可识别的情况被假定为IR光在识别区域301之外(移出视角)的情况或者IR光被除用户以外的遮蔽对象(例如，家具或可移动对象)遮蔽的情况。结果，用户能够直观地理解不是操作工具400的电池耗尽或系统故障，并且能够执行绘制，并且能够在显示引导图像的周围执行绘制。应注意，在基于捕获图像通过对象识别等已经识别遮蔽对象的情况下，或者在已经识别由于任何遮蔽对象而发生遮蔽的情况下，信息处理装置100可以显示用于给出遮蔽的通知的引导图像。
在继续按压笔尖的开关440时(步骤S132)，信息处理装置100重复上述步骤S106至S112和S120至S129中所示的处理。
<<4.修改示例>>
在下文中，将描述本实施方式的修改示例。
<4-1.通过引导图像的可绘制区域的垂直方向的明确指示>
根据本实施方式的引导图像还可以根据投影仪210或摄像机300的安装位置来指示可绘制区域的垂直方向。
图12是示出根据本实施方式的修改示例的可绘制区域的垂直方向的图。如图12所示，例如，假设工作台20的顶表面是投影区域并且用户能够从任何方向绘制的情况。
在工作台20的周围，安装有将轨迹图像投影到工作台20的顶表面上的投影仪210和对操作工具400a和400b的IR光发射(图)进行成像的摄像机300。
这里，根据投影仪210和摄像机300相对于用户的位置关系，可能存在容易发生由用户引起的遮蔽的地方(即，不期望的不利位置)。
例如，如图12所示，在用户U1的站立位置不发生遮蔽，但是在用户U2的站立位置，通过遮蔽从用户U2的后方执行投影的投影仪210的投影来生成遮蔽区域213，并且通过遮蔽摄像机300的成像来生成遮蔽区域303。不可能在遮蔽区域213和遮蔽区域303中执行绘制(识别、投影)，并且具有可绘制区域421的尺寸减小的缺点。
因此，在本修改示例中，为了向用户明确地指示所希望的站立位置(绘制方向)，在发生遮蔽的情况下(例如，用户U2所使用的操作工具400b正在被操作而发光未被识别的情况等)，信息处理装置100可以显示指示垂直方向的引导图像。可以根据投影仪210和摄像机300的位置来确定垂直方向。也就是说，指示垂直方向的引导图像用于将用户引导至与投影仪210和摄像机300的位置相对应的期望且有利的站立位置(方向)。
图13是示出根据本修改示例的明确指示可绘制区域的垂直方向的引导图像的示例的图。例如，如图13所示，可以显示包括诸如指示顶部和底部的动物的图示的框状引导图像422g。此外，可以显示指示顶部和底部的其他图示、图标、引导显示(字符)等。这允许用户直观地理解优选的站立位置(绘制方向)。
<4-2.投影仪210和摄像机300的布置>
在上述实施方式中，已经描述了投影仪210和摄像机300彼此分开安装的情况，但是本实施方式不限于此。投影仪210和摄像机300可以被安装成使得其光轴中心尽可能彼此接近或同轴，从而将投影仪210的遮蔽视为摄像机300的遮蔽，并且可以执行引导显示。
<<5.结论>>
也就是说，在投影仪210和摄像机300被安装成使得其光轴中心尽可能彼此接近或同轴的情况下，期望在用户遮蔽摄像机300的成像的情况下的遮蔽区域303的位置与在用户遮蔽投影仪210的投影的情况下的遮蔽区域213的位置基本相同。因此，信息处理装置100可以将用户的阴影的位置(投影仪210的遮蔽区域213)视为摄像机300的遮蔽区域303，并且在IR光在其附近变得不可识别的情况下，如图9所示，可以给出用户是不可识别的因素的通知。
上面参照附图详细描述了本公开内容的优选实施方式，但是本公开内容的技术范围不限于这样的实施方式。显然，本公开内容的本领域的普通技术人员可以在所附权利要求中描述的技术思想的范围内得出各种变更和修改，并且应当理解的是，这样的变更和修改自然落入本公开内容的技术范围内。
此外，还可以创建用于使得内置在信息处理装置100、输出装置200、摄像机300或操作工具400中的诸如CPU、ROM和RAM的硬件呈现上述信息处理装置100、输出装置200、摄像机300或操作工具400的功能的计算机程序。此外，还提供了存储有计算机程序的存储介质。
此外，本文中描述的效果仅是说明性和示例性的，而不是限制性的。也就是说，除了上述效果之外，或者代替上述效果，根据本公开内容的技术还可以发挥根据本文的说明书对本领域技术人员而言明显的其他作用。
应注意，本技术可以具有以下配置。
(1)
一种信息处理装置，包括：
控制器，其执行：
识别处理，所述识别处理基于通过对投影区域进行成像而获得的捕获图像来识别操作工具在所述投影区域内的位置，
操作检测处理，所述操作检测处理基于由包括在所述操作工具中的传感器输出的传感器数据来检测对所述操作工具执行了操作，以及，
投影控制处理，在通过所述操作检测处理检测到对所述操作工具执行的操作并且通过所述识别处理未识别所述操作工具的位置的情况下，所述投影控制处理使得投影部投影用于将所述操作工具引导到所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置的图像。
(2)
根据(1)所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部将用于所述引导的图像投影在位于所述投影区域的边缘的预定位置处。
(3)
根据(1)或(2)所述的信息处理装置，其中，所述控制器：
识别由遮蔽对象遮蔽的遮蔽区域，以及
执行投影控制处理，所述投影控制处理使得所述投影部将用于所述引导的图像投影在位于所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置，所述位置不包括所述遮蔽区域。
(4)
根据(3)所述的信息处理装置，其中，所述遮蔽区域在所述投影区域内包括由于遮蔽对象而不能执行投影的区域或者由于所述遮蔽对象而不能识别所述操作工具的位置的区域。
(5)
根据(1)至(4)中任一项所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部将用于所述引导的图像投影在位于所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置，所述位置与获取所捕获图像的成像装置或执行所述投影的投影装置的安装位置相对应。
(6)
根据(1)至(5)中任一项所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部将用于所述引导的图像投影在位于所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置，所述位置是所述操作工具已经被最后一次识别的位置。
(7)
根据(3)或(4)所述的信息处理装置，其中，所述控制器：
识别所述遮蔽对象的位置，并且，
在所述控制器基于已经被识别的所述遮蔽对象的位置来确定所述操作工具的位置不能识别的因素是由所述遮蔽对象导致的遮蔽的情况下，执行投影控制处理，所述投影控制处理使得所述投影部投影给出所述因素的通知的图像作为用于所述引导的图像。
(8)
根据(7)所述的信息处理装置，其中，所述遮蔽对象是操作所述操作工具的用户。
(9)
根据(7)或(8)所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部投影与所述投影区域内的遮蔽区域的位置和大小相对应的图像作为用于所述引导的图像。
(10)
根据(9)所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部投影指示遮蔽区域在所述投影区域内的轮廓的图像作为用于所述引导的图像。
(11)
根据(1)至(10)中任一项所述的信息处理装置，其中，所述控制器根据成像装置和投影装置相对于所述投影区域的位置关系，执行投影控制处理，所述投影控制处理使得所述投影部投影指示垂直方向的图像作为用于所述引导的图像。
(12)
根据(1)至(11)中任一项所述的信息处理装置，其中，所述控制器通过从所述捕获图像检测由包括在所述操作工具中的发光部执行的发光来识别所述操作工具在所述投影区域内的位置坐标。
(13)
根据(1)至(12)中任一项所述的信息处理装置，其中，所述控制器基于所述传感器数据检测用户在所述投影区域上执行了使用所述操作工具的绘制操作作为对所述操作工具执行的所述操作。
(14)
根据(1)至(13)中任一项所述的信息处理装置，还包括：
接口，其向所述投影部输出控制信号。
(15)
一种由处理器执行的信息处理方法，所述方法包括：
基于通过对投影区域进行成像而获得的捕获图像来识别操作工具在所述投影区域内的位置；
基于由包括在所述操作工具中的传感器输出的传感器数据来检测对所述操作工具执行了操作；以及
在检测到对所述操作工具执行的操作并且所述操作工具的位置未被识别的情况下，使得投影部投影用于将所述操作工具引导到所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置的图像。
(16)
一种用于使计算机用作执行以下处理的控制器的程序，
识别处理，所述识别处理基于通过对投影区域进行成像而获得的捕获图像来识别操作工具在所述投影区域内的位置；
操作检测处理，所述操作检测处理基于由包括在所述操作工具中的传感器输出的传感器数据来检测对所述操作工具执行了操作；以及，投影控制处理，在通过所述操作检测处理检测到对所述操作工具执行的操作并且通过所述识别处理未识别所述操作工具的位置的情况下，所述投影控制处理使得投影部投影用于将所述操作工具引导到所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置的图像。
参考符号列表
100 信息处理装置
110 I/F
120 发光识别器
130 存储器
140 操作检测器
150 图像生成器
160 坐标转换器
170 显示控制器
180 用户位置识别器
200 输出装置
210 投影仪
211 投影区域
213 遮蔽区域
220 TV
230 平板电脑
240 智能电话
250 PC
300 摄像机
301 识别区域
303 遮蔽区域
304 可见光图像
400 操作工具
410 通信模块
421 绘制区域
422 (422a至422g)引导图像
430 IR_LED
440 开关

Claims (16)

1.一种信息处理装置，包括：
控制器，其执行：
识别处理，所述识别处理基于通过对投影区域进行成像而获得的捕获图像来识别操作工具在所述投影区域内的位置，
操作检测处理，所述操作检测处理基于由包括在所述操作工具中的传感器输出的传感器数据来检测对所述操作工具执行了操作，以及，
投影控制处理，在通过所述操作检测处理检测到对所述操作工具执行的操作并且通过所述识别处理未识别出所述操作工具的位置的情况下，所述投影控制处理使得投影部投影用于将所述操作工具引导到所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置的图像。
2.根据权利要求1所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部将用于引导的图像投影到位于所述投影区域的边缘的预定位置。
3.根据权利要求1所述的信息处理装置，其中，所述控制器：
识别由遮蔽对象遮蔽的遮蔽区域，以及
执行投影控制处理，所述投影控制处理使得所述投影部将用于引导的图像投影到所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置，所述位置不包括所述遮蔽区域。
4.根据权利要求3所述的信息处理装置，其中，所述遮蔽区域在所述投影区域内包括由于遮蔽对象而不能执行投影的区域或者由于所述遮蔽对象而不能识别所述操作工具的位置的区域。
5.根据权利要求1所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部将用于引导的图像投影到所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置，所述位置与获取所捕获图像的成像装置或执行所述投影的投影装置的安装位置相对应。
6.根据权利要求1所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部将用于引导的图像投影到所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置，所述位置是所述操作工具已经被最后一次识别的位置。
7.根据权利要求3所述的信息处理装置，其中，所述控制器：
识别所述遮蔽对象的位置，以及，
在所述控制器基于已经被识别的所述遮蔽对象的位置来确定所述操作工具的位置不能被识别的因素是由所述遮蔽对象导致的遮蔽的情况下，执行投影控制处理，所述投影控制处理使得所述投影部投影给出所述因素的通知的图像作为用于引导的图像。
8.根据权利要求7所述的信息处理装置，其中，所述遮蔽对象是操作所述操作工具的用户。
9.根据权利要求7所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部投影与所述投影区域内部的遮蔽区域的位置和大小相对应的图像作为用于引导的图像。
10.根据权利要求9所述的信息处理装置，其中，所述控制器执行投影控制处理，所述投影控制处理使得所述投影部投影指示所述遮蔽区域在所述投影区域内部的轮廓的图像作为用于引导的图像。
11.根据权利要求1所述的信息处理装置，其中，所述控制器根据成像装置和投影装置相对于所述投影区域的位置关系执行投影控制处理，所述投影控制处理使得所述投影部投影指示垂直方向的图像作为用于引导的图像。
12.根据权利要求1所述的信息处理装置，其中，所述控制器通过从所述捕获图像检测由包括在所述操作工具中的发光部执行的发光来识别所述操作工具在所述投影区域内部的位置坐标。
13.根据权利要求1所述的信息处理装置，其中，所述控制器基于所述传感器数据检测用户在所述投影区域上执行了使用所述操作工具的绘制操作作为对所述操作工具执行的所述操作。
14.根据权利要求1所述的信息处理装置，还包括：
接口，其向所述投影部输出控制信号。
15.一种由处理器执行的信息处理方法，所述方法包括：
基于通过对投影区域进行成像而获得的捕获图像来识别操作工具在所述投影区域内部的位置；
基于由包括在所述操作工具中的传感器输出的传感器数据来检测对所述操作工具执行了操作；以及
在检测到对所述操作工具执行的操作并且所述操作工具的位置未被识别的情况下，使得投影部投影用于将所述操作工具引导到所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置的图像。
16.一种用于使计算机用作执行以下处理的控制器的程序：
识别处理，所述识别处理基于通过对投影区域进行成像而获得的捕获图像来识别操作工具在所述投影区域内的位置；
操作检测处理，所述操作检测处理基于由包括在所述操作工具中的传感器输出的传感器数据来检测对所述操作工具执行了操作；以及，
投影控制处理，在通过所述操作检测处理检测到对所述操作工具执行的操作并且通过所述识别处理未识别出所述操作工具的位置的情况下，所述投影控制处理使得投影部投影用于将所述操作工具引导到所述投影区域内部并且所述操作工具的位置能够通过所述识别处理来识别的位置的图像。
CN201980070428.4A 2018-11-01 2019-09-06 信息处理装置、信息处理方法和程序 Pending CN112912829A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-206588 2018-11-01
JP2018206588 2018-11-01
PCT/JP2019/035108 WO2020090227A1 (ja) 2018-11-01 2019-09-06 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
CN112912829A true CN112912829A (zh) 2021-06-04

Family

ID=70464008

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980070428.4A Pending CN112912829A (zh) 2018-11-01 2019-09-06 信息处理装置、信息处理方法和程序

Country Status (5)

Country Link
US (1) US11435856B2 (zh)
EP (1) EP3876083A4 (zh)
JP (1) JP7294350B2 (zh)
CN (1) CN112912829A (zh)
WO (1) WO2020090227A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119160A (zh) * 2023-10-24 2023-11-24 合肥联宝信息技术有限公司 一种投影控制方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022034744A1 (ja) * 2020-08-11 2022-02-17 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
WO2023047512A1 (ja) * 2021-09-24 2023-03-30 株式会社ワコム 情報処理装置、プログラム及びシステム
CN114245093B (zh) * 2022-02-25 2022-05-24 北京深光科技有限公司 基于红外和热感的投影操作方法、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346230A (ja) * 2004-06-01 2005-12-15 Canon Inc 光学式座標入力装置
US20120076353A1 (en) * 2010-09-24 2012-03-29 Microsoft Corporation Interactive display
JP2012221445A (ja) * 2011-04-14 2012-11-12 Seiko Epson Corp インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター
US20130162607A1 (en) * 2011-12-27 2013-06-27 Seiko Epson Corporation Projector and method of controlling projector
CN106406684A (zh) * 2016-04-22 2017-02-15 乐视控股（北京）有限公司 投影处理方法、装置及投影仪
WO2017206316A1 (zh) * 2016-05-31 2017-12-07 广景视睿科技（深圳）有限公司 一种交互投影的方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053603A (ja) 2010-08-31 2012-03-15 Sanyo Electric Co Ltd 情報表示システム
GB2486445B (en) 2010-12-14 2013-08-14 Epson Norway Res And Dev As Camera-based multi-touch interaction apparatus system and method
JP5796733B2 (ja) 2011-03-23 2015-10-21 ソニー株式会社 光信号出力装置、信号処理装置、信号処理方法、信号処理システム、撮像装置、プロジェクタ、およびプログラム
JP2014199633A (ja) 2013-03-15 2014-10-23 株式会社リコー 座標検出装置、座標検出システム、座標検出方法、および座標検出プログラム
JP6232730B2 (ja) * 2013-04-16 2017-11-22 セイコーエプソン株式会社 プロジェクターおよび制御方法
JP2016024518A (ja) 2014-07-17 2016-02-08 株式会社リコー 座標検出システム、座標検出方法、情報処理装置及びプログラム
JP6437654B2 (ja) 2015-07-29 2018-12-12 マクセル株式会社 映像表示システム
JP2018198858A (ja) 2017-05-29 2018-12-20 株式会社三共 遊技機
JP2020042322A (ja) * 2018-09-06 2020-03-19 セイコーエプソン株式会社 画像表示装置及びその制御方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346230A (ja) * 2004-06-01 2005-12-15 Canon Inc 光学式座標入力装置
US20120076353A1 (en) * 2010-09-24 2012-03-29 Microsoft Corporation Interactive display
JP2012221445A (ja) * 2011-04-14 2012-11-12 Seiko Epson Corp インタラクティブシステム、インタラクティブシステムの制御方法、およびプロジェクター
US20130162607A1 (en) * 2011-12-27 2013-06-27 Seiko Epson Corporation Projector and method of controlling projector
CN106406684A (zh) * 2016-04-22 2017-02-15 乐视控股（北京）有限公司 投影处理方法、装置及投影仪
WO2017206316A1 (zh) * 2016-05-31 2017-12-07 广景视睿科技（深圳）有限公司 一种交互投影的方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119160A (zh) * 2023-10-24 2023-11-24 合肥联宝信息技术有限公司 一种投影控制方法、装置、电子设备及存储介质
CN117119160B (zh) * 2023-10-24 2024-02-06 合肥联宝信息技术有限公司 一种投影控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US11435856B2 (en) 2022-09-06
JPWO2020090227A1 (ja) 2021-10-07
US20210397296A1 (en) 2021-12-23
EP3876083A1 (en) 2021-09-08
WO2020090227A1 (ja) 2020-05-07
EP3876083A4 (en) 2021-12-29
JP7294350B2 (ja) 2023-06-20

Similar Documents

Publication Publication Date Title
CN112912829A (zh) 信息处理装置、信息处理方法和程序
US9134800B2 (en) Gesture input device and gesture input method
EP2093650B1 (en) User interface system based on pointing device
KR101842075B1 (ko) 타겟 상으로의 프로젝션을 위해 콘텐츠를 트리밍
EP2899618B1 (en) Control device and computer-readable storage medium
US11373650B2 (en) Information processing device and information processing method
CN107562288B (zh) 基于红外触控装置的响应方法、红外触控装置和介质
US9632592B1 (en) Gesture recognition from depth and distortion analysis
KR20140019630A (ko) 이미지에 대한 부가 정보 태깅 및 검색 방법과 시스템, 기기와 그 기록 매체
US10048808B2 (en) Input operation detection device, projection apparatus, interactive whiteboard, digital signage, and projection system
US20220300134A1 (en) Display apparatus, display method, and non-transitory recording medium
CN106462251B (zh) 显示控制设备、显示控制方法以及程序
KR20090116544A (ko) 적외선 카메라 방식의 공간 터치 감지 장치, 방법 및스크린 장치
CN109272549B (zh) 一种红外热点的位置确定方法及终端设备
US20200019297A1 (en) Display apparatus and image processing method
JP6075193B2 (ja) 携帯端末装置
US20200327867A1 (en) Head mounted display system capable of displaying a virtual scene and a map of a real environment in a picture-in-picture mode, related method and related non-transitory computer readable storage medium
CN110620955A (zh) 直播系统及其直播方法
US20140055354A1 (en) Multi-mode interactive projection system, pointing device thereof, and control method thereof
CN111033606A (zh) 信息处理装置、信息处理方法和程序
US20230245456A1 (en) Information processing terminal and remote control method
US11698578B2 (en) Information processing apparatus, information processing method, and recording medium
KR20200076089A (ko) 웨어러블 기기용 3d 카메라
JP6693495B2 (ja) 情報処理装置、情報処理方法及び記録媒体
US20130285905A1 (en) Three-dimensional pointing device and system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination