CN114708403A - 一种互动投影输入输出设备 - Google Patents

一种互动投影输入输出设备 Download PDF

Info

Publication number
CN114708403A
CN114708403A CN202011488192.7A CN202011488192A CN114708403A CN 114708403 A CN114708403 A CN 114708403A CN 202011488192 A CN202011488192 A CN 202011488192A CN 114708403 A CN114708403 A CN 114708403A
Authority
CN
China
Prior art keywords
projection
screen
module
coordinate
external equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011488192.7A
Other languages
English (en)
Inventor
高勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202011488192.7A priority Critical patent/CN114708403A/zh
Priority to EP21905563.9A priority patent/EP4266258A4/en
Priority to PCT/CN2021/135738 priority patent/WO2022127634A1/zh
Priority to US18/041,566 priority patent/US20230297312A1/en
Priority to TW110146142A priority patent/TWI796039B/zh
Publication of CN114708403A publication Critical patent/CN114708403A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请提供了一种互动投影输入输出设备，包括：投影模块，用于投射来自外部设备的投屏内容；操控捕获模块，用于确定用户操控行为对应的用户操控点在操控捕获范围内的第一坐标；指令生成模块，用于根据用户操控点的第一坐标以及投影区域在第一坐标系中的区域位置信息，生成外部设备的操作系统可识别的位置信息指令；无线传输模块，通过无线连接接收外部设备发送的投屏信息，以及，将位置信息指令通过无线连接发送至外部设备，以对外部设备进行操控。本申请实施例提供的互动投影输入输出设备实现了虚拟无线操控外部设备的功能，从而能够对外部设备进行协同控制，而无需在外部设备安装APP或软件。

Description

一种互动投影输入输出设备
技术领域
本申请涉及互动投影系统技术领域，尤其涉及一种互动投影输入输出设备。
背景技术
互动投影系统技术结合了混合虚拟现实技术与动感捕捉技术，是虚拟现实技术进一步发展的结果，其核心技术是红外图像采集与红外激光定位的智能识别与控制系统，通过红外摄像机捕捉实时的视频数据，将数据传送到图像处理单元，通过特定算法在视频数据流进行动态背景建模，从背景中分离目标，确定目标的位置信息，并将位置信息转换为电脑的控制信号，实现对电脑及其他智能多媒体系统的控制。
例如采用嵌入式的激光投影技术，使触控投影设备能够投射出虚拟键盘，将虚拟投影设备连接PC端并在PC端装上软件即可通过虚拟键盘对PC端进行操纵，从而替代传统键盘的功能。但在相关技术中，虚拟键盘或者虚拟鼠标均无法传输绝对坐标，即无法实现虚拟触摸屏的功能，并且传统触控投影设备带有CPU和操作系统，从而只是控制触控投影设备自身，而当控制其他外部智能设备时，为了保证触控投影设备可以生成正确的控制信号，外部智能设备均需要在使用前安装专门的APP或软件，因此传统触控投影设备无法实现通用的、跨系统和设备的协同控制。
发明内容
为克服相关技术中存在的问题，本申请提供了一种互动投影输入输出设备。
所述互动投影输入输出设备包括：
投影模块，用于投射来自外部设备的投屏内容，使所述投屏内容显示于投影画面中对应于所述外部设备的投影区域；
操控捕获模块，用于形成对应于所述投影区域的操控捕获范围，捕获发生在所述操控捕获范围内的用户操控行为；以及，根据在所述操控捕获范围内建立的第一坐标系，确定所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标；
指令生成模块，用于根据所述用户操控点的第一坐标以及所述投影区域在所述第一坐标系中的区域位置信息，获得所述用户操控点与所述投影区域的相对位置关系，并根据所述相对位置关系生成所述外部设备的操作系统可识别的位置信息指令；
无线传输模块，用于与所述外部设备建立上行无线连接和下行无线连接，通过所述下行无线连接接收所述外部设备发送的投屏信息，所述投屏信息包括所述投屏内容；以及，将所述位置信息指令通过所述上行无线连接发送至所述外部设备，使所述外部设备的操作系统调用底层驱动程序执行所述位置信息指令，以实现响应于所述用户操控行为的控制操作，从而对所述外部设备进行操控。
可选的，所述投影模块包括：投影功能组件和投影控制器；其中，
所述投影功能组件，用于投射所述投屏内容；
所述投影控制器，用于接收所述指令生成模块识别出对应于投影调整功能的手势操作时发出的投影调整指令，调整所述投影区域的位置、角度和/或大小，以及，用于根据所述投屏内容包含的光学电子信息，进行有利于保护视力的光谱矫正。
可选的，所述操控捕获模块包括操控探测器，通过设置所述操控探测器形成对应于所述投影区域的操控捕获范围，所述操控探测器根据探测得到的环境物理信号捕获发生在所述操控捕获范围内的用户操控行为；以及，根据在所述操控捕获范围内建立的第一坐标系，确定所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标；以及，识别并捕获所述投影区域在所述第一坐标系中的区域位置信息；或者
所述操控捕获模块包括：侦测信号发生器和操控探测器；其中，
所述侦测信号发生器，用于通过发出侦测信号形成对应于所述投影区域的操控捕获范围；
所述操控探测器，用于通过探测侦测信号捕获发生在所述操控捕获范围内的用户操控行为；以及，根据在所述操控捕获范围内建立的第一坐标系，确定所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标；以及，识别并捕获所述投影区域在所述第一坐标系中的区域位置信息。
可选的，所述指令生成模块包括专用集成电路芯片，所述专用集成电路芯片上包括通过烧录形成的硬件计算电路，所述硬件计算电路用于实现根据所述用户操控点的第一坐标以及所述投影区域在所述第一坐标系中的区域位置信息，获得所述用户操控点与所述投影区域的相对位置关系，并根据所述相对位置关系生成所述外部设备的操作系统可识别的位置信息指令。
可选的，所述投屏信息还包括下述至少之一：画面顶点坐标、偏心距离、屏幕解析度、横竖屏方位、码流、帧率、操作系统类型；其中，
所述横竖屏方位用于指示所述指令生成模块调整所述相对位置关系；
所述画面顶点坐标或所述屏幕解析度用于指示所述指令生成模块：根据所述相对位置关系以及所述画面顶点坐标和所述屏幕解析度中任一信息，生成所述外部设备拟显示的虚拟操控点的第二坐标，并根据所述第二坐标生成用于在所述虚拟操控点处实施所述控制操作的所述位置信息指令，其中所述虚拟操控点与所述外部设备拟显示的相对位置关系为所述相对位置关系；
所述码流和所述帧率用于配合计算屏幕解析度和横竖屏方位；
所述偏心距离用于修正所述虚拟操控点的第二坐标；
所述操作系统类型用于指示所述指令生成模块根据所述相对位置关系生成适配于所述操作系统类型的位置信息指令。
可选的，所述外部设备的数量为多个，所述投影模块具体用于：将多个外部设备的投屏内容分别投射至所述投影画面上对应于各个外部设备的投影区域；
所述指令生成模块具体用于：根据所述用户操控点的第一坐标与各个投影区域的区域位置信息，确定所述用户操控点所在的特定投影区域，并获得所述用户操控点与所述特定投影区域的相对位置关系，根据所述相对位置关系生成所述特定投影区域对应特定外部设备的操作系统可识别的位置信息指令；
所述无线传输模块具体用于：与所述多个外部设备分别建立相应的无线连接，通过各个无线连接接收所述多个外部设备的投屏信息，所述投屏信息包括所述投屏内容；以及，接收所述指令生成模块传来的所述特定外部设备的位置信息指令，将所述位置信息指令通过所述特定外部设备对应的无线连接发送至所述特定外部设备，使所述特定外部设备的操作系统调用底层驱动程序执行所述位置信息指令，以实现响应于所述用户操控行为的控制操作，从而对所述外部设备进行控制。
可选的，所述指令生成模块还用于：当识别出对应于文件分享功能的手势操作时，通过所述手势操作的起点确定分享方外部设备以及分享文件处于所述分享方外部设备拟显示的位置信息，通过所述手势操作的滑动方向或终点确定被分享方外部设备，并生成文件分享位置信息指令，所述文件分享位置信息指令用于将分享文件从分享方外部设备分享至被分享方外部设备；
所述无线传输模块还用于将所述文件分享位置信息指令发送至所述分享方外部设备，使所述分享方外部设备：通过与所述被分享方建立的无线连接，将所述分享文件发送至所述被分享方外部设备；或，通过与所述无线传输模块建立的无线连接，将所述分享文件发送至所述无线传输模块，以使所述无线传输模块根据与所述被分享方外部设备建立的无线连接，将接收到的所述分享文件发送至所述被分享方外部设备。
可选的，所述无线传输模块与所述外部设备建立的所述下行无线连接包括：路由器、蓝牙、NFC、UWB、zigbee、Lifi、Wifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、蜂窝3G、蜂窝4G、蜂窝5G、蜂窝6G或自身无线热点；
所述无线传输模块与所述外部设备建立的所述上行无线连接包括：蓝牙、BLE、NFC、路由器、Wifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、Z-Wave、蜂窝3G、蜂窝4G、蜂窝5G、蜂窝6G或无线USB。
可选的，所述互动投影输入输出设备还包括：
摄像模块，用于采集图像信息；
音频模块，用于采集音频信息，以及对所述无线传输模块从所述外部设备接收的音频信息进行播放。
可选的，所述投影模块包括：视力保护滤镜镜片或视力保护滤镜镜片膜，所述视力保护滤镜包括视力保护滤镜镜片或视力保护滤镜膜，用于降低有害视力的高能蓝光密度和/或降低频闪效应。
本申请的实施例提供的技术方案可以包括以下有益效果：
在本申请的实施例中，外部设备的拟显示的屏幕画面、投影模块形成的投影区域与操控捕获模块形成的操控范围三者相互关联，将捕获得到的用户操控点的绝对坐标通过指令生成模块生成外部设备的操作系统可识别的位置信息指令，并通过无线传输模块发送至所述外部设备，从而相当于形成虚拟无线触摸屏远程控制外部设备；由于指令生成模块根据用户操控点与投影区域的相对位置关系生成位置信息指令，而外部设备可以在底层驱动程序的帮助下响应该位置信息指令对应的控制操作，因此能够对外部设备进行协同控制，而无需在外部设备安装APP或软件；
进一步的，指令生成模块还可以根据用户操控点与投影区域的相对位置关系以及外部设备的屏幕解析度生成位置信息指令，进而能够对任意屏幕分辨率或任意屏幕尺寸的外部设备进行协同控制；
进一步的，指令生成模块还可以根据用户操控点与投影区域的相对位置关系、外部设备的屏幕解析度以及操作系统类型生成位置信息指令，因此能够对任意操作系统、任意屏幕分辨率或任意屏幕尺寸的外部设备进行协同控制。
附图说明
此处的附图被并入说明书中并构成本申请的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是本申请根据一示例性实施例示出的一种系统架构图。
图2是本申请根据一示例性实施例示出的一种互动投影输入输出设备的框图。
图3是本申请根据一示例性实施例示出的另一种互动投影输入输出设备的框图。
图4是本申请根据一示例性实施例示出的一种应用场景图。
图5是本申请根据一示例性实施例示出的再一种互动投影输入输出设备的框图。
图6是本申请根据一示例性实施例示出的另一种应用场景图。
图7是本申请根据一示例性实施例示出的再一种应用场景图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
接下来对本申请实施例进行详细说明。
图1时本申请根据一示例性实施例示出的一种系统架构图，如图1所示，该系统架构包括互动投影输入输出设备10以及外部设备20，其中，互动投影输入输出设备10与外部设备20之间建立有无线连接，外部设备20可以通过该无线连接将包括投屏信息在内的数据信息传输至互动投影输入输出设备10，互动投影输入输出设备10也可以通过该无线连接将包括位置信息指令在内的数据信息传输至外部设备20。
图2是本申请根据一示例性实施例示出的一种互动投影输入输出设备10的框图，如图2所示，该互动投影输入输出设备10包括以下模块：
投影模块110，用于投射来自外部设备20的投屏内容，使所述投屏内容显示于投影画面中对应于所述外部设备20的投影区域。本申请涉及的投屏内容，是指投屏信息中的画面内容信息，是视频帧中对应于像素矩阵的信息。本申请实施例涉及的投影模块，包括投影功能组件1101以及投影控制器1102，其中所述投影功能组件1101包括投影透镜、LED光源、DMD(Digital Micromirror Device，数字微镜器件)、DMD驱动芯片，用于实现基本的投影功能。本申请实施例涉及的投影画面，可以是固态半导体发光材料配合光学系统和/或机械微系统以及散热系统组合成的LED投影、激光投影、液体投影、量子(光子)投影等在实体平面、实体表面、甚至空中(没有实体底面)的虚拟画面。以实体平面为例，当投影模块将LED光源通过透镜投射至实体平面时，会自动调节焦距，以在实体平面上清晰成像，该实体平面上的成像画面即投影画面。本申请实施例涉及的投影区域是指在投影画面中用于显示投屏内容的部分或全部画面区域，通常情况下，投影区域通过投影控制器1102为投屏内容分配适配于投屏内容的微镜片群从而确定投影画面中的投影区域，并将投屏内容投射至投影区域上，在一种实施例中，投影控制器1102可以根据投屏信息中的视频尺寸自动确定投影区域的位置、大小及尺寸，例如在投影画面上为该投屏内容分配尽可能最大且具有相同视频尺寸的投影区域，或者任意视频尺寸、任意大小和位置的投影区域，本申请实施例对此不做限制。
操控捕获模块120，指的是没有安装有操作系统和CPU的主机板的设备模块，用于形成对应于所述投影区域的操控捕获范围，捕获发生在所述操控捕获范围内的用户操控行为；以及，根据在所述操控捕获范围内建立的第一坐标系，确定所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标，将所述第一坐标发送至指令生成模块130。
图3是本申请根据一示例性实施例示出的另一种互动投影输入输出设备10的框图，如图3所示，本申请实施例涉及的操控捕获模块120，可以仅包括操控探测器1201，通过设置所述操控探测器1201形成对应于所述投影区域的操控捕获范围，所述操控探测器1201根据探测得到的环境物理信号捕获发生在所述操控捕获范围内的用户操控行为；以及，根据在所述操控捕获范围内建立的第一坐标系，确定所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标，例如当操控探测器1201为热信号探测器时，可以通过热信号探测器在所述投影画面上形成温度探测范围，所述温度探测范围对应于所述投影区域，在所述温度探测范围的第一坐标系下，根据所述温度探测范围内的温差变化，识别并确定所述用户操控行为对应的用户操控点的第一坐标；当操控探测器1201为音频信号探测器时，可以通过音频信号探测器在所述投影画面上形成超声波探测范围，所述超声波探测范围对应于所述投影区域，在所述超声波探测范围的第一坐标系下，根据所述超声波探测范围内的超声波扰动，识别并确定所述用户操控行为对应的用户操控点的第一坐标。
或者，本申请实施例涉及的操控捕获模块，可以包括侦测信号发生器1202以及操控探测器1201，其中，所述侦测信号发生器1202，用于通过发出侦测信号形成对应于所述投影区域的操控捕获范围；所述操控探测器1201，用于通过探测侦测信号捕获发生在所述操控捕获范围内的用户操控行为；以及，根据在所述操控捕获范围内建立的第一坐标系，确定所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标，例如当侦测信号发生器1202为光学信号发生器且操控探测器1201为光学信号探测器时，可以通过光学信号发生器在所述投影画面上形成光膜，所述光膜对应于所述投影区域，根据光学信号探测器捕获所述光膜上因用户操控行为形成的光斑位置，根据所述光斑位置，在所述光膜的第一坐标系下确定所述用户操控行为对应的用户操控点的第一坐标；或，可以通过光学信号发生器在所述投影画面上形成激光点阵，所述激光点阵对应于所述投影区域，根据TOF时间飞行器或结构光探测器捕获所述激光点阵中因用户操控行为形成的操控物体的空间位置，根据所述空间位置，在所述激光点阵的第一坐标系下确定所述用户操控行为对应的用户操控点的第一坐标。
本身请实施例涉及的操控捕获范围与外部设备20的投影区域存在对应关系，该对应关系可以包括：操控捕获范围至少覆盖所述投影区域，在这种场景下，用户可以直接在投影区域上进行操控操作，因此用户可以在由操控捕获范围与投影区域所构成的虚拟触摸屏上，利用传统触摸屏的操控习惯，获得与传统触摸屏类似的操控交互体验。上述对应关系还可以包括：操控捕获范围与投影区域相互分离，例如在立体投影操控场景下，投影区域处于一个三维空间内部，而投影操控捕获范围可以与该三维空间不相干，独立处于另一个三维空间中或二位平面上，在这种场景下，用户不需要直接触摸投影区域中的元素，而是通过在投影操控捕获范围对应的其他空间或平面上进行操控操作，从而使得用户获得适应于立体投影操控场景下的操控交互体验。
本申请实施例涉及的第一坐标系，是指操控捕获模块的坐标系，具体是指操控探测器1201在将探测获得的探测结果进行空间表示时所定义的坐标系，在该第一坐标系下，能够通过获取用于表征用户操控行为发生位置从而获取用户操控点的第一坐标，在一个实施例中，本申请涉及的第一坐标系为绝对坐标系，第一坐标为该绝对坐标系下的绝对坐标。本申请实施例中，可以在捕获到由用户操控行为所产生的一系列物理信号后，通过图像识别技术定位得到用户操控点的坐标信息，相关技术中对此有详细的记载，这里不再赘述。
指令生成模块130，用于根据所述用户操控点的第一坐标以及所述投影区域在所述第一坐标系中的区域位置信息，获得所述用户操控点与所述投影区域的相对位置关系，并根据所述相对位置关系生成所述外部设备20的操作系统可识别的位置信息指令，将所述位置信息指令发送至无线传输模块140。
可选的，本申请实施例涉及的指令生成模块130，指的是除安装有操作系统和CPU的主机板以外的输入输出硬件设备模块，包括专用集成电路芯片，例如ASIC(ApplicationSpecific Integrated Circuit，特殊应用集成电路)、DSP芯片、FPGA(Field ProgrammableGate Array,现场可编程逻辑门阵列)等，所述专用集成电路芯片上包括通过烧录形成的硬件计算电路，所述硬件计算电路用于实现根据所述用户操控点的第一坐标以及所述投影区域在所述第一坐标系中的区域位置信息，获得所述用户操控点与所述投影区域的相对位置关系，并根据所述相对位置关系生成所述外部设备20的操作系统可识别的位置信息指令。本申请实施例中，由于指令生成模块130的功能是通过专用集成电路芯片上烧录形成的硬件计算电路来实现，对重复性任务的适配性较高，因此相较于成本接近的传统CPU加操作系统的通用计算机系统具有更高的执行效率，并且在达到相同计算效率的情况下相较于通用计算机系统具有更低的能耗，由于散热更少，因此可以采用无风扇设计，节省了为解决散热问题而产生的额外成本。
本申请实施例中的所述投影区域在所述第一坐标系中的区域位置信息，可以通过以下两种方式获得：其一，通过所述投影控制器1102获得，当投影控制器1102分配相应的投影区域后，在自身坐标系下确定所述投影区域的初始区域位置信息，然后与操控捕获模块统一坐标系，例如可以将互动投影输入输出设备10的设备结构设计成能够保持投影模块坐标系与操控捕获模块的空间相对关系不变或不影响坐标系统一的结构类型从而统一坐标系，或提供一个或多个额外设置的校验点以供投影模块与操控捕捉模块统一各自的坐标系，或通过各自的探测器测距原理将各自的坐标系都统一到现实尺寸的坐标系同时预先规定好公共的参考原点，通过上述方法均可实现投影模块与操控捕捉模块各自坐标系的统一，此时在两个模块中获得的位置信息可以彼此互通，并且可以指示正确的位置关系，投影控制器1102将自身坐标系下的所述投影区域的初始区域位置信息传递至指令生成模块130，从而能够与指令生成模块130从操控捕捉模块获得的用户操控点的第一坐标形成正确的相对位置关系；
其二，无需统一坐标系，操控捕获模块中的操控探测器1201在捕获所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标后，进一步识别并捕获所述投影区域在所述第一坐标系中的区域位置信息，并将所述用户操控点的第一坐标以及所述区域位置信息一同发给指令生成模块130，由于探测的结果均是在操控捕获模块完成，因此自然可以获得正确的相对位置关系。
本申请实施例中，所述用户操控点与所述投影区域的相对位置关系是指用户操控点相对于投影区域内部的相对位置，例如当投影区域为矩形时，可以将所述相对位置标识成“左下顶点：(a,b)”的形式，其中a和b均为0至1区间中的实数，用以表示以投影区域的左下顶点为参考原点，左下顶点到右下顶点为x轴方向，左下顶点到左上顶点为y轴方向，用户操控点离左下顶点在x轴方向的距离为投影区域x轴方向总长度的a倍，离左下顶点在y轴方向的距离为投影区域y轴方向总长度的b倍，即可以将(a,b)看作是用户操控点的第一坐标在投影区域内的归一化坐标。通过该相对位置关系，即可在任意其他同类型的区域中生成具有相同位置关系的点的第二坐标，该第二坐标是通过所述其他同类型区域的第二坐标系所确定，例如只需要确定作为第二坐标系的外部设备20屏幕坐标系的信息，即可通过该相对位置关系生成所述外部设备20拟显示的虚拟操控点的第二坐标，其中所述虚拟操控点与所述外部设备20屏幕的相对位置关系为所述相对位置关系，需要指出的是，外部设备20本身可以不具备屏幕，但这并不影响对虚拟操控点的确定，相当于外部设备20可以利用拟显示信息构成的虚拟屏幕，确定屏幕坐标系，从而进一步确定虚拟操控点的第二坐标，在本实施中，第二坐标系具体为外部设备20的屏幕坐标系，第二坐标具体为在该屏幕坐标系下的绝对坐标。
本申请实施例中，指令生成模块130可以通过从无线传输模块140获取的画面顶点坐标和屏幕解析度中任一信息确定外部设备20的坐标系信息，例如当通过画面顶点坐标确定时，可以将具有(0,0)坐标的画面顶点确定为坐标原点，将从坐标原点朝向坐标为(m,0)画面顶点的方向确定为x轴，从坐标原点朝向坐标为(0,n)画面顶点的方向确定为y轴，其中m和n均为正整数，由此确定外部设备20的屏幕坐标系；或者，当通过屏幕解析度确定时，根据屏幕解析度m×n直接得到外部设备20屏幕的区域属性，生成相应的画面顶点(0,0)、(m,0)、(0,n)和(m,n)并建立外部设备20的屏幕坐标系。根据确定的屏幕坐标系，将外部设备20屏幕x轴方向的总长度乘以所述相对位置关系(a,b)中的a，获得外部设备20拟显示的虚拟操控点的第二坐标的横坐标，将外部设备20屏幕y轴方向的总长度乘以所述相对位置关系(a,b)中的b，获得外部设备20拟显示的虚拟操控点的第二坐标的纵坐标，即所述虚拟操控点的第二坐标为(m×a,n×b)，然后根据所述第二坐标生成用于在所述虚拟操控点处实施相应控制操作的位置信息指令，另外，所述偏心距离用于修正所述虚拟操控点的第二坐标。
本申请实施例中，指令生成模块130可以通过从无线传输模块140获取的操作系统类型来生成适配于所述操作系统类型的位置信息指令，从而保证根据所述相对位置关系生成的位置信息指令能够适配于外部设备20操作系统类型，使所述外部设备20的操作系统调用底层驱动程序执行所述位置信息指令，以实现响应于所述用户操控行为的控制操作。本申请实施例涉及的位置信息指令，包括鼠标、键盘、触控板和触摸屏驱动指令，或是可以触发相应驱动指令的坐标信息，需要指出的是，本申请涉及的坐标信息并不一定是指传统坐标系下的坐标信息，任意可以包含目标对象的绝对位置或相对位置的信息，都应视作本申请所涉及的坐标信息，本申请对位置信息指令所包含的坐标信息的表现形式不做任何限制。本申请实施例涉及的底层驱动程序是指包括鼠标、键盘、触控板和触摸屏的驱动程序，与应用程序不同，底层驱动程序是是一种可以使计算机和设备通信的特殊程序，可以说相当于硬件的接口，操作系统只能通过这个接口，才能控制硬件设备的工作，假如某设备的驱动程序未能正确安装，便不能正常工作，在本申请实施例中，位置信息指令直接通过无线连接发送给外部设备20的操作系统，从而使外部设备20通过操作系统直接调用底层驱动程序从而响应该位置信息指令，而不需要经过应用层的无线连接，由于互动投影输入输出设备10没有操作系统，因此无任何应用程序，而外部设备20也不需要安装任何APP或软件，通过底层的无线连接直接实现对外部设备20的操控。本申请实施例涉及的控制操作是指包括按键、光标移动、拖动、滑动等鼠标、键盘、触控板和触摸屏能够实现的操作，由于本申请涉及的互动投影输入输出设备10只是将位置信息指令发送至外部设备20，而对于该位置信息指令的响应以及进一步的操作效果均在外部设备20侧完成，相当于互动投影输入输出设备10只是将生成的位置信息指令中携带的虚拟操控点的第二坐标信息传输给外部设备20，然后由外部设备20的操作系统转化为具体的触控驱动指令，因此可以将本申请涉及的互动投影输入输出设备10看做是一个能够替代鼠标、键盘、触控板和触摸屏的外设设备。
图4为本申请根据一示例性实施例示出的一种应用场景图，如图4所示，以对其中的外部设备20进行协同控制为例，来对本申请实施例中指令生成模块130将第一坐标转换成第二坐标的过程进行详细说明。指令生成模块130获取用户操控点S的第一坐标为(x5,x6)，以及区域位置信息包含的投影区域的四个顶点的坐标信息，分别为N(x1,y1)、M(x2,y2)、Q(x3,y3)和P(x4,y4)，根据前述原理计算用户操控点与所述投影区域的相对位置关系，以点N为参考原点为例，该相对位置关系可表示成“N(x1,y1)：((x5-x1)/(x2-x1),(y5-y1)/(y4-y1))”，根据该相对位置关系结合获取到的画面顶点坐标和屏幕解析度中任一信息即可确定外部设备20的坐标系信息，例如画面顶点坐标分别为n(x'1,y'1)、m(x'2,y'2)、q(x'3,y'3)和p(x'4,y'4)，通常情况下，y'1、y'2、x'4的值为0，因此可以确定外部设备20屏幕的第二坐标系，即点n为参考原点，点n至点m方向为x轴，点n至点p方向为y轴，从而确定虚拟操控点s的第二坐标(x'5,y'5)具体为((x5-x1)×(x'2-x'1)/(x2-x1),(y5-y1)×(y'4-y'1)/(y4-y1))。最后，指令生成模块130根据该第二坐标以及历史第二坐标实时确定该第二坐标适配于外部设备20操作系统下的控制逻辑，根据该控制逻辑以及相应的指令格式生成外部设备20操作系统下的位置信息指令，该位置信息指令中直接包含了外部设备20操作系统可调用相应触控底层驱动程序执行的触控驱动指令；在另一个实施例中，指令生成模块130可以在确定虚拟操控点s的第二坐标(x'5,y'5)后，直接将该第二坐标信息作为位置信息指令发送给外部设备20，从而使外部设备20的操作系统根据相应的蓝牙协议将收到的位置信息指令中包含的第二坐标信息自动转化为自身操作系统下具体的触控驱动指令，因此在该实施例中，指令生成模块130不再需要完成将第二坐标转换为外部设备20操作系统下的触控驱动指令的操作。
无线传输模块140，用于与所述外部设备20建立上行无线连接和下行无线连接，通过所述下行无线连接接收所述外部设备20发送的投屏信息，所述投屏信息包括所述投屏内容；以及，将所述位置信息指令通过所述上行无线连接发送至所述外部设备20，使所述外部设备20的操作系统调用底层驱动程序执行所述位置信息指令，以实现响应于所述用户操控行为的控制操作，从而对所述外部设备20进行控制。
本申请实施例涉及的无线连接，包括但不限于：路由器、蓝牙、NFC(Near FieldCommunication，近场通讯)、UWB(Ultra Wide Band，超宽带)、zigbee、Lifi(LightFidelity，可见光无线通讯)、NB-IOT(Narrow Band Internet of Things,窄带物联网)、eMTC(enhanced Machine-Type Communication，增强型机器类型通信)、LoRa(Long RangeRadio，远距离无线电)、tuner(射频协调)、GNSS(Global Navigation Satellite System，全球导航卫星系统)、LNB(Low Noise Block，低噪声下变频器)、蜂窝3G、蜂窝4G、蜂窝5G、蜂窝6G、Wifi(Wireless Fidelity，无线网络通信技术)、5G、6G、无线USB或自身无线热点，例如，所述无线传输模块与所述外部设备建立的所述下行无线连接采用的通讯协议类型包括包括：路由器、蓝牙、NFC、UWB、zigbee、Lifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、蜂窝3G、蜂窝4G、蜂窝5G、蜂窝6G、Wifi、5G、6G或自身无线热点；所述无线传输模块与所述外部设备建立的所述上行无线连接采用的通讯协议类型包括：蓝牙、BLE((Bluetooth Low Energy，低功耗蓝牙)、NFC、路由器、Wifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、Z-Wave、蜂窝3G、蜂窝4G、蜂窝5G、蜂窝6G、NFC、路由器、Wifi、5G、6G或无线USB。并且本申请实施例中无线传输模块140与某一外部设备20建立的无线连接可以为一个也可以为多个，当所述无线连接的数量为多个时，多个无线连接的类型可以相同也可以不同，例如无线传输模块140通过上行的Wifi连接接收所述外部设备20发送的投屏信息，同时通过同一个Wifi连接或另一个Wifi无线连接将所述位置信息指令通过所述无线连接发送至所述外部设备20，此时上行无线连接与下行无线连接为同一连接，或同一类型的连接；或者，无线传输模块140通过上行的Wifi连接接收所述外部设备20发送的投屏信息，并通过蓝牙连接将所述位置信息指令通过所述无线连接发送至所述外部设备20，此时上行无线连接与下行无线连接为不同连接且连接类型也不同，由此实现通过蓝牙连接传输绝对坐标以控制外部设备20，由于传输的第一坐标是绝对坐标而非相对坐标，因此可以实现对外部触摸屏的反向控制。
本申请实施例涉及的投屏信息，除了上述的投屏内容之外，还可以包括：画面顶点坐标、屏幕解析度、横竖屏方位、码流、帧率、操作系统类型、视频尺寸等中的一个或多个，本申请并不对此进行限制。其中，所述码流和所述帧率用于配合计算屏幕解析度和横竖屏方位，例如当无线传输模块140需要将屏幕解析度和横竖屏方位传输至指令生成模块130时，可以利用码流和码率计算得到相应的屏幕解析度和横竖屏方位的信息，然后将该信息传输至生成模块130，也可以直接将码流和码率传输至指令生成模块130，以使指令生成模块130根据接收到的码流和码率自行计算获得屏幕解析度和横竖屏方位的信息。
在本申请的实施例中，外部设备20的屏幕画面、投影模块形成的投影区域与操控捕获模块形成的操控范围三者相互关联，将捕获得到的用户操控点的第一坐标通过指令生成模块130生成外部设备20的操作系统可识别的位置信息指令，并通过无线传输模块140发送至所述外部设备20，从而相当于形成虚拟无线触摸屏远程控制外部设备20；由于指令生成模块130根据用户操控点与投影区域的相对位置关系生成位置信息指令，而外部设备20可以在底层驱动程序的帮助下响应该简述驱动指令对应的控制操作，因此能够对外部设备20进行协同控制，而无需在外部设备20安装APP或软件；
进一步的，指令生成模块130还可以根据用户操控点与投影区域的相对位置关系以及外部设备20的屏幕解析度生成位置信息指令，进而能够对任意屏幕分辨率或任意屏幕尺寸的外部设备20进行协同控制；
进一步的，指令生成模块130还可以根据用户操控点与投影区域的相对位置关系、外部设备20的屏幕解析度以及操作系统类型生成位置信息指令，因此能够对任意操作系统、任意屏幕分辨率或任意屏幕尺寸的外部设备20进行协同控制。
可选的，所述投影模块110包括视力保护滤镜，所述视力保护滤镜包括视力保护滤镜镜片或视力保护滤镜膜，例如在投影模块110的投影透镜所构成的光路中，加入纳米蓝光滤镜，降低波长410至460纳米的高能蓝光密度，同时保证不影响蓝光在RGB各组色彩的比例关系，从而不会引起投影画面的色彩失真，因此可以在保证画面清晰真实的基础上降低高能蓝光对人体造成的伤害；进一步的，还可以在投影透镜所构成的光路中加入石英或合成材料的低通滤光镜，进一步降低频闪效应对人眼造成的影响，提高用户的观看体验。由于儿童接收到的蓝光辐射是成年人的两倍左右，所以在本实施例中，通过加入视力保护滤镜镜片或视力保护滤镜镜片膜，使得互动投影输入输出设备10能更好地适用于儿童教育场景，尽可能地减少儿童在观看投影画面时对其视力健康所造成的不利影响。
可选的，所述投影控制器1102还可以用于接收所述指令生成模块130识别出对应于投影调整功能的手势操作时发出的投影调整指令，并根据所述投影调整指令调整所述投影区域的位置、角度和/或大小。本申请实施例中，指令生成模块130还用于根据多组用户操控点的第一坐标识别用户的手势操作，当识别出对应于投影调整功能的手势操作时，向投影模块发出投影调整指令，以使投影模块中的投影控制器1102根据所述投影调整指令重新分配相应的投影区域，从而调整所述投影区域的位置、角度和/或大小。
本申请实施例中，用户可以通过对应于投影调整功能的手势操作来调整所述投影区域的位置、角度和/或大小，优化了用户的操作体验。
可选的，所述投影控制器1102还可以用于根据所述投屏内容包含的光学电子信息，进行有利于保护视力的光谱矫正，例如减少蓝光在光谱中所占的比例，从而在不影响画面清晰度的前提下尽可能地减少对视力健康所造成的不利影响。
可选的，指令生成模块130可以根据所述横竖屏方位用于指示所述指令生成模块130调整所述相对位置关系。由于横竖屏方位会改变投影区域的形状，其效果相当于将外部设备20的屏幕解析度倒换，例如屏幕解析度m×n被转换成n×m，而外部屏幕坐标系却不因横竖屏方位而变化，此时根据投影区域的区域位置信息与用户操控点的第一坐标计算得到的相对位置关系，将无法在屏幕坐标系下生成正确的虚拟操控点的第二坐标，因此需要根据横竖屏方位对原相对位置关系进行调整，以使调整后的相对位置关系能够在屏幕坐标系下生成正确的虚拟操控点的第二坐标。
本申请实施例中，由于指令生成模块130考虑了横竖屏方位对计算虚拟操控点第二坐标的影响，从而在外部设备20改变横竖屏方位的情况下，依然能够通过该互动投影输入输出设备10形成的虚拟无线触摸屏对外部设备20进行正确的协同控制。
可选的，所述无线传输模块140还用于：
将自身产品身份信息发送至所述外部设备20，以使所述外部设备20搜索相应的底层驱动程序；
接收所述外部设备20在未搜索到所述底层驱动程序的情况下返回的驱动下载请求，并将对应于所述驱动下载请求的底层驱动程序发送至所述外部设备20，以使所述外部设备20安装所述操控底层驱动程序并基于所述底层驱动程序执行所述位置信息指令。
本申请实施例中，当外部设备20未安装用于执行位置信息指令的底层驱动程序时，可以将互动投影输入输出设备10中预先存储的对应于驱动下载请求的底层驱动程序发送至外部设备20，以使外部设备20安装该底层驱动程序，从而在外部设备20起初无法识别位置信息指令的情况下，依然能够通过下载安装相应的底层驱动程序从而响应该互动投影输入输出设备10的协同控制。
图5是本申请根据一示例性实施例示出的再一种互动投影输入输出设备10的框图。如图5所示，在图2所示实施例的基础上，该互动投影输入输出设备10还可以包括：
摄像模块150，用于采集图像信息，例如通过摄像头获取环境中的图像信息；
音频模块160，用于采集音频信息，以及对所述无线传输模块140从所述外部设备20接收的音频信息进行播放，例如通过麦克风采集环境中的音频信息，并将所述无线传输模块140从所述外部设备20接收的音频信息通过音响进行播放。
本申请实施例中，除了摄像模块150和音频模块160，还可以为互动投影输入输出设备10增加了更多的外设，例如重力传感器、GPS定位芯片等，从而本申请涉及的互动投影输入输出设备10能够具有更强的功能性，例如当外部设备20为云端设备时，不仅可以通过投屏显示云端设备输出的拟显示的屏幕内容，还能通过摄像模块150和音频模块160与云端设备进行更多的信息交互，以实现摄像、录音等更丰富的场景功能。
可选的，本申请提供的互动投影输入输出设备10也可以集成在其他任何硬件设备或产品中，例如可以集成在眼镜中，此时投影模块110可以将投影画面直接投影至人眼的视网膜，也可以投影至眼镜镜片上，或是投影至空中，同时，操控捕捉模块120能够捕获操控捕获范围内用户的手势或追踪眼球在空中的“触控”操作行为，从而在指令生成模块130生成对应的位置信息指令，并通过无线传输模块140将该位置信息指令传输至外部设备20，实现对外部设备20例如智能手机或云端主机的操控。
可选的，当所述外部设备20的数量为多个时，所述投影模块具体用于：将多个外部设备20的投屏内容分别投射至所述投影画面上对应于各个外部设备20的投影区域。在本申请实施例中，投影控制器1102能够根据多个投屏信息的视频尺寸信息，对各个投影区域进行自适应调整，从而实现最优化布局。
所述指令生成模块130具体用于：根据所述用户操控点的第一坐标与各个投影区域的区域位置信息，确定所述用户操控点所在的特定投影区域，并获得所述用户操控点与所述特定投影区域的相对位置关系，根据所述相对位置关系生成所述特定投影区域对应特定外部设备20的操作系统可识别的位置信息指令。本申请实施例中，确定用户操控点所在的特定投影区域具体通过以下方式实现：根据各个投影区域的区域位置信息得到相应投影区域的四个顶点坐标，当用户操控点的第一坐标落入某个投影区域四个顶点坐标内部时，将该个投影区域确定为所述特定投影区域。
所述无线传输模块140具体用于：与所述多个外部设备20分别建立相应的无线连接，通过各个无线连接接收所述多个外部设备20的投屏信息，所述投屏信息包括所述投屏内容；以及，接收所述指令生成模块130传来的所述特定外部设备20的位置信息指令，将所述位置信息指令通过所述特定外部设备20对应的无线连接发送至所述特定外部设备20，使所述特定外部设备20的操作系统调用底层驱动程序执行所述位置信息指令，以实现响应于所述用户操控行为的控制操作，从而对所述外部设备20进行控制。
本申请实施例中，无线传输模块140会给成功建立无线连接的外部设备20分配一个标记，以此获得外部设备20、无线连接与标记三者之间的对应关系，将该对应关系发送至指令生成模块130，以使指令生成模块130在确定出特定投影区域，并进一步确定该特定投影区域对应的特定外部设备20后，根据该对应关系，在生成位置信息指令是打上对应于所述特定外部设备20的标记，并将标记后的位置信息指令发送至无线传输模块140，无线传输模块140根据对应关系，将标记后的位置信息指令的标记去除，并通过对应于该标记的无线连接发送至对应的特定外部设备20。
如图6所示，以对该应用场景图中的智能手机A、智能手机B、智能平板、笔记本电脑进行协同控制为例，来对本申请实施例进行详细说明。
无线传输模块140首先会与上述多个外部设备20分别建立相应的无线连接，通过各个无线连接接收所述多个外部设备20的投屏信息，并将解析出的投屏内容和视频尺寸发送至投影模块，同时会建立外部设备20、无线连接与标记三者之间的对应关系，例如智能手机A的对应关系为“0x0001-192.168.1.2-23”，其中“0x0001”为智能手机A的内部设备码，“192.168.1.2”为智能手机A的网络地址，用于找到与智能手机A建立的网络连接，“23”为对应于智能手机A的标记，同理也会建立智能手机B、笔记本电脑与智能平板的对应关系，并将这些对应关系发送至指令生成模块130。
投影控制器1102能够根据从无线传输模块140获得的多个投屏信息的视频尺寸信息，对各个投影区域进行自适应调整，从而实现如图6投影画面中所示的各个投影区域的最优化布局，投影将上述多个外部设备20的投屏内容分别投射至投影画面上对应于各个外部设备20的投影区域，其中，智能手机A对应投影区域A，智能手机B对应投影区域B，笔记本电脑对应投影区域C，智能平板对应投影区域D。
指令生成模块130根据各个投影区域的区域位置信息，获得各个投影区域的区域顶点坐标，假设用户操控点的第一坐标落在投影区域A的顶点坐标内，即可以确定用户正试图协同控制投影区域A所对应的智能手机A，于是指令生成模块130会根据用户操控点的第一坐标以及投影区域A的顶点坐标获得用户操控点与投影区域A的相对位置关系，假设计算得到的相对关系为“左下顶点：(0.25,0.8)”，代表以左下顶点为参考原点，用户操控点相对于投影区域在x轴方向的长宽比例为0.25，在y轴方向上所占的长宽比例为0.8。则可以根据该相对位置关系生成智能手机A在其屏幕坐标系下的虚拟操控点的第二坐标，假设智能手机A的屏幕分辨率为450×800，因此可以求出虚拟操控点的第二坐标为(112.5,640)，根据该第二坐标生成的智能手机A的Android操作系统可识别的位置信息指令，并根据无线传输模块140发送的对应关系打上智能手机A对应的标记“23”发给无线传输模块140。
最后无线传输模块140会接收指令生成模块130传来带上“23”标记的位置信息指令，通过查找对应关系找到该标记对应的外部设备20为智能手机A，并将位置信息指令的标记去除后通过与智能手机A建立的无线连接发送至智能手机A，使智能手机A的操作系统调用底层驱动程序执行该位置信息指令，以实现响应于所述用户操控行为的控制操作，从而对所述外部设备20进行控制。
本申请实施例中，能够在多个外部设备20同时与互动投影输入输出设备10进行无线连接时，根据在投影画面上多个投影区域形成的多个虚拟无线触摸屏同时控制多个外部设备20。
可选的，在上述说明书实施例的基础上，所述指令生成模块130还用于：当识别出对应于文件分享功能的手势操作时，通过所述手势操作的起点确定分享方外部设备20以及分享文件处于所述分享方外部设备20屏幕的位置信息，通过所述手势操作的滑动方向或终点确定被分享方外部设备20，并生成文件分享位置信息指令，所述文件分享位置信息指令用于将分享文件从分享方外部设备20分享至被分享方外部设备20；
所述无线传输模块140还用于将所述文件分享位置信息指令发送至所述分享方外部设备20，使所述分享方外部设备20：通过与所述被分享方建立的无线连接，将所述分享文件发送至所述被分享方外部设备20；或，通过与所述无线传输模块140建立的无线连接，将所述分享文件发送至所述无线传输模块140，以使所述无线传输模块140根据与所述被分享方外部设备20建立的无线连接，将接收到的所述分享文件发送至所述被分享方外部设备20。
本申请实施例中，上述分享位置信息指令为预先定义好的键鼠宏，该键鼠宏可以由用户自定义创建或系统预存，指令生成模块130可根据多组用户操控点的第一坐标识别用户操控行为对应的手势操作，当识别出对应于文件分享的手势操作时，通过所述手势操作的起点确定分享方外部设备20以及分享文件处于所述分享方外部设备20屏幕的位置信息，通过所述手势操作的滑动方向或终点确定被分享方外部设备20，并调用适用于当前文件分享场景的键鼠宏，并将该键鼠宏发送至无线传输模块140，并指示无线传输模块140将该键鼠宏发送至分享方外部设备20，由于键鼠宏本质上即为一串位置信息指令，因此分享方外部设备20在收到该键鼠宏后，依然会在操作系统调用底层驱动程序执行该键鼠宏，从而实现在当前场景下将分享文件按照键鼠宏的操作流程分享至被分享方外部设备20的控制操作，完成对外部设备20的控制。
例如当无线连接为蓝牙连接时，所述键鼠宏对应的操作流程为：分享方外部设备20长按分享文件所处的屏幕位置，然后等待预定时间后，在弹出的选择栏中选择通过蓝牙发送，从而将分享文件发送至互动投影输入输出设备10的无线传输模块140，自此键鼠宏流程结束，另外，在外部设备20执行键鼠宏的过程中，无线传输模块140将会屏蔽发送至该外部设备20的位置信息指令。当无线传输模块140接收到分享方外部设备20发来的分享文件后，会继续将该分享文件发送给根据手势操作确定的被分享方外部设备20，自此完成对指定分享文件的文件分享。在另一实施例中，如果分享方外部设备20已经与被分享方建立了无线连接，则可以调用并发送相应的键鼠宏至分享方外部设备20，使分享方外部设备20执行通过与被分享方建立的无线连接将分享文件发送至所述被分享方外部设备20的控制操作，完成对指定分享文件的文件分享。
如图6所示，以该应用场景图中的智能平板分享文件至笔记本电脑为例，来对本申请实施例进行详细说明。在该应用场景下，智能平板的投屏内容投射在投影区域D，笔记本电脑的投屏内容投射在投影区域C，当指令生成模块130识别出对应于文件分享功能的手势操作时，由于所述手势操作的起点坐标落在投影区域D中，因此可以确定分享方外部设备20为投影区域D对应的智能平板，按照前述的方法，根据该起点坐标落在投影区域D中的相对位置关系获得智能平板屏幕坐标系下分享文件的第二坐标，由于所述手势操作的滑动方向是朝向投影区域C，或终点落在投影区域C，因此可以确定被分享方外部设备20为投影区域C对应的笔记本电脑。
调用在该场景下用户预先定义好的键鼠宏，该键鼠宏由智能平板的操作系统可识别的一组位置信息指令构成，其中，分享文件的第二坐标被作为变量调整该键鼠宏，以使该键鼠宏能够在智能平板上选中所述投影区域D上的起点坐标所对应的分享文件，然后再给调整后的键鼠宏打上智能平板对应的标记，最后发送至无线传输模块140。
无线传输模块140根据该键鼠宏上的标记，将该键鼠宏通过与智能平板建立的无线连接发送给智能平板，并且在接收到智能平板发来的分享文件之前，屏蔽发送至智能平板的位置信息指令。智能平板在收到该键鼠宏后，其操作系统调用底层驱动程序执行该键鼠宏，例如在自身屏幕坐标系下分享文件的第二坐标处长按预设时间后，在弹出的选择栏中选择通过与互动投影输入输出设备10建立的无线连接进行传输，从而将分享文件发送至互动投影输入输出设备10的无线传输模块140。无线传输模块140在接收到智能平板发来的分享文件后，结束位置信息指令的屏蔽，并继续执行文件分享功能的后续步骤，将该分享文件通过与笔记本电脑建立的无线连接发送给笔记本电脑，从而完成对指定分享文件的文件分享。
本申请实施例中，可以在互动投影输入输出设备10与多个外部设备20建立无线连接的场景下，完成对指定分享文件的快速分享，提高了用户分享文件的效率，增加了用户在多外部设备20交互控制场景下的互动性。
下面以所述互动投影输入输出设备10对iOS操作系统的智能手机A、Andriod操作系统的智能平板、Windows操作系统的台式电脑和Mac操作系统的笔记本电脑进行协同控制的过程对本申请实施例涉及的互动投影输入输出设备10的功能进行详细说明。请参考图7，上述协同控制场景可以基于智能手机、智能平板、台式电脑、笔记本电脑和互动投影输入输出设备10之间的相互配合实现，该流程包括以下步骤：
无线传输模块140同时与智能手机，智能平板，台式电脑和笔记本电脑建立WiFi热点连接，并通过建立的WiFi热点连接接收相应外部设备20发送的投屏信息，将投屏信息传递到投影系统；同时向附近的外部设备20发送蓝牙配对请求，上述外部设备20在接受该蓝牙配对连接请求后分别与无线传输模块140建立蓝牙连接，根据预制的加密算法实现无线传输模块140与外部设备20之间信息的加密传输，互相传送Encryption Information(加密信息)、Product Identity Information(产品身份信息)、Version Identity Information(版本身份信息)、Identity Address Information(身份地址信息)等信息，以使智能手机，智能平板，台式电脑和笔记本电脑均根据无线传输模块140提供的Product IdentityInformation搜索自身操作系统是否包含适配的底层驱动程序，结果智能手机、智能平板和笔记本电脑均成功搜索到适配的底层驱动程序，而台式电脑未检测到适配的驱动请求，因此台式电脑会向无线传输模块140发出驱动下载请求，当无线传输模块140收到该驱动下载请求后，会将对应的底层驱动程序发送至台式电脑，从而使得台式电脑安装该底层驱动程序，以便后续能够响应位置信息指令。
投影模块中的投影控制器1102接收无线传输模块140传来的包括上述四个外部设备20的投屏信息，解析各自外部设备20的投屏信息，获得对应多个外部设备20的画面顶点坐标、画面视频尺寸、屏幕解析度、横竖屏方位、投屏内容、码流、帧率等信息，根据上述信息中视频尺寸以及投屏内容为相应的外部设备20分配投影区域，并在与操控捕获模块统一坐标系后，生成投影区域的顶点坐标，以智能平板为例，首先投影模块的投影方位与操控捕获模块的捕获方位相对固定，因此可以保证投影模块与操控捕获模块处于同一坐标系下，由于智能平板的画面视频尺寸为16:9，因此可以控制DMD(Digital Micromirror Device，数字微镜器件)为其分配一个具有合适大小和位置且尺寸为16:9的投影区域2，其中，为了获得投影区域2，投影控制器1102需要在DMD矩阵中为该投影区域分配相应的微镜片群，使得微镜片群的数量控制投影区域2的大小，微镜片群的形态和位置控制投影区域2的尺寸和位置，投屏内容在DMD的控制下，通过投影透镜投射在投影画面中，该投影画面中包括为该智能平板分配的投影区域2，形成投影画面后，投影控制器1102根据此时的成像焦距以及为生成该投影区域2而使用的微镜片的位置和数量，生成该投影区域2的顶点坐标，将投影区域2的顶点坐标发送至指令生成模块130。
同理，为其他外部设备20分配投影区域并将相应的投屏内容投影在各自的投影区域上，最终投影画面上会形成四个互不重叠的投影区域1、投影区域2、投影区域3和投影区域4，并将代表各自投影区域的区域位置信息的顶点坐标发送至指令生成模块130，同时将多个外部设备20的画面顶点坐标、屏幕解析度、横竖屏方位也发送至指令生成模块130；在另一实施例中，由于投影模块无需与操控捕获模块统一坐标系，因此不需要计算和发送投影区域的顶点坐标。
操控捕获模块包括侦测信号发生器1202和操控探测器1201，在本申请实施例中，侦测信号发生器1202具体为红外激光发射器，操控探测器1201具体为红外摄像头，其中，红外激光发射器可以产生紧贴投影画面所在平面约0.5mm至5mm的激光虚拟操控膜；红外摄像头置于操控平面上方(通常置于投影透镜同侧的)，用于拍摄红外图像，当红外图像上包含用户在激光虚拟操控膜操控形成的光斑时，根据该光斑在红外图像上的位置、形状以及图像识别相关技术确定用户操控点在图像坐标系下的坐标，并进一步根据拍摄焦距获得用户操控点在与投影模块相同的第一坐标系下的第一坐标，将该第一坐标发送至指令生成模块130；在另一说明书实施例中，操控捕获模块无需与投影模块统一坐标系，而是将图像坐标系确定为第一坐标系，并在红外图像上识别出用户操控点后，进一步识别出用户操控点所在的投影区域，同时确定用户操控点以及该投影区域四个顶点在图像坐标系下的坐标，将这些坐标均发送至指令生成模块130，其中四个顶点的坐标用于表征该投影区域的区域位置信息。
指令生成模块130根据所述用户操控点的第一坐标以及所述投影区域在所述第一坐标系中的区域位置信息，获得所述用户操控点与所述投影区域的相对位置关系，具体而言，所述相对位置关系为用户操控点相对于投影区域在x轴方向和y轴方向上所占的长宽比例，例如，假设智能平板对应的投影区域2的四个顶点坐标分别为(1600,1100)、(2400,1100)、(1600,1550)、(2400,1550)，而用户操控点的第一坐标为(2000,1235)，首先由于该第一坐标落在投影区域2四个顶点的内部，因此可以确定当前是在对投影区域2对应的智能手机2进行协同控制，然后需要求出该用户操控点相对于投影区域2的相对位置关系：以左下顶点(1600,1100)为参考原点，计算用户操控点在x轴方向相对于投影区域所占的比例，为操控点在x轴方向相对于参考原点的距离与投影区域的在x方向的总长度的商，即(2000-1600)/(2400-1600)＝0.5，计算用户操控点在y轴方向相对于投影区域所占的比例，为操控点在y轴方向相对于参考原点的距离与投影区域的在y方向的总长度的商，即(1235-1100)/(1550-1100)＝0.3，因此上述相对位置关系可以表示成“左下顶点：(0.5,0.3)”。
进一步的，由于智能平板的横竖屏方位为横屏，因此需要对上述相对位置关系进行调整，对于以左下顶点为参考原点的情况下，具体而言是将“左下顶点：(a,b)”调整成“左下顶点：(b,1-a)”，因此“左下顶点：(0.5,0.3)”被调整成“左下顶点：(0.3,0.5)”，进一步的，根据智能平板的画面顶点坐标或屏幕解析度，生成智能平板拟显示的虚拟操控点的第二坐标，假设智能平板的画面顶点分别为(0,0)、(1080,0)、(0,1920)、(1080,1920)，其中(0,0)为左下顶点，则可以通过调整后的相对位置关系，计算虚拟操控点在智能平板屏幕坐标系下的第二坐标，其中，所述横坐标值为屏幕x轴总像素乘以相对位置关系中的x值，即(1080-0)×0.3＝324，所述纵坐标值为屏幕y轴总像素乘以相对位置关系中的y值，即(1920-0)×0.5＝960，最终得到该虚拟操控点在智能平板屏幕坐标系下的第二坐标为(324,960)。
由于智能平板的操作系统为Android，因此能够根据该第二坐标以及历史第二坐标实时确定该第二坐标适配于Android操作系统下的控制逻辑，根据该控制逻辑以及相应的指令格式生成Android操作系统下的位置信息指令，最后将该位置信息指令打上对应于智能平板的标记并传递至无线传输模块140，所述标记用于指示无线传输模块140将该位置信息指令发送至智能平板。
无线传输模块140接收该指令生成模块130传来的位置信息指令，根据该位置信息指令携带的标记确定将该位置信息指令发送至智能平板，于是根据预先与智能手机建立的蓝牙连接，将该位置信息指令的标记去掉后，发送至智能平板，使智能平板接收到该位置信息指令后，在操作系统调用相应的触控底层驱动程序执行该位置信息指令，以实现响应于所述虚拟操控点的控制操作，从而对所述外部设备20进行控制。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
上述对本申请特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本领域技术人员在考虑说明书及实践这里申请的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未申请的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。
以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (10)

1.一种互动投影输入输出设备，其特征在于，所述设备包括：
投影模块，用于投射来自外部设备的投屏内容，使所述投屏内容显示于投影画面中对应于所述外部设备的投影区域；
操控捕获模块，用于形成对应于所述投影区域的操控捕获范围，捕获发生在所述操控捕获范围内的用户操控行为；以及，根据在所述操控捕获范围内建立的第一坐标系，确定所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标；
指令生成模块，用于根据所述用户操控点的第一坐标以及所述投影区域在所述第一坐标系中的区域位置信息，获得所述用户操控点与所述投影区域的相对位置关系，并根据所述相对位置关系生成所述外部设备的操作系统可识别的位置信息指令；
无线传输模块，用于与所述外部设备建立上行无线连接和下行无线连接，通过所述下行无线连接接收所述外部设备发送的投屏信息，所述投屏信息包括所述投屏内容；以及，将所述位置信息指令通过所述上行无线连接发送至所述外部设备，使所述外部设备的操作系统调用底层驱动程序执行所述位置信息指令，以对所述外部设备进行操控。
2.根据权利要求1所述的设备，其特征在于，所述投影模块包括：投影功能组件和投影控制器；其中，
所述投影功能组件，用于投射所述投屏内容；
所述投影控制器，用于接收所述指令生成模块识别出对应于投影调整功能的手势操作时发出的投影调整指令，调整所述投影区域的位置、角度和/或大小，以及，用于根据所述投屏内容包含的光学电子信息，进行有利于保护视力的光谱矫正。
3.根据权利要求1所述的设备，其特征在于，所述操控捕获模块包括操控探测器，通过设置所述操控探测器形成对应于所述投影区域的操控捕获范围，所述操控探测器根据探测得到的环境物理信号捕获发生在所述操控捕获范围内的用户操控行为；以及，根据在所述操控捕获范围内建立的第一坐标系，确定所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标；以及，识别并捕获所述投影区域在所述第一坐标系中的区域位置信息；或者
所述操控捕获模块包括：侦测信号发生器和操控探测器；其中，
所述侦测信号发生器，用于通过发出侦测信号形成对应于所述投影区域的操控捕获范围；
所述操控探测器，用于通过探测侦测信号捕获发生在所述操控捕获范围内的用户操控行为；以及，根据在所述操控捕获范围内建立的第一坐标系，确定所述用户操控行为对应的用户操控点在所述操控捕获范围内的第一坐标；以及，识别并捕获所述投影区域在所述第一坐标系中的区域位置信息。
4.根据权利要求1所述的设备，其特征在于，所述指令生成模块包括专用集成电路芯片，所述专用集成电路芯片上包括通过烧录形成的硬件计算电路，所述硬件计算电路用于实现根据所述用户操控点的第一坐标以及所述投影区域在所述第一坐标系中的区域位置信息，获得所述用户操控点与所述投影区域的相对位置关系，并根据所述相对位置关系生成所述外部设备的操作系统可识别的位置信息指令。
5.根据权利要求1所述的设备，其特征在于，所述投屏信息还包括下述至少之一：画面顶点坐标、偏心距离、屏幕解析度、横竖屏方位、码流、帧率、操作系统类型；其中，
所述横竖屏方位用于指示所述指令生成模块调整所述相对位置关系；
所述画面顶点坐标或所述屏幕解析度用于指示所述指令生成模块：根据所述相对位置关系以及所述画面顶点坐标和所述屏幕解析度中任一信息，生成所述外部设备拟显示的虚拟操控点的第二坐标，并根据所述第二坐标生成用于在所述虚拟操控点处实施所述控制操作的所述位置信息指令，其中所述虚拟操控点与所述外部设备拟显示的相对位置关系为所述相对位置关系；
所述码流和所述帧率用于配合计算屏幕解析度和横竖屏方位；
所述偏心距离用于修正所述虚拟操控点的第二坐标；
所述操作系统类型用于指示所述指令生成模块根据所述相对位置关系生成适配于所述操作系统类型的位置信息指令。
6.根据权利要求1所述的设备，其特征在于，所述外部设备的数量为多个，所述投影模块具体用于：将多个外部设备的投屏内容分别投射至所述投影画面上对应于各个外部设备的投影区域；
所述指令生成模块具体用于：根据所述用户操控点的第一坐标与各个投影区域的区域位置信息，确定所述用户操控点所在的特定投影区域，并获得所述用户操控点与所述特定投影区域的相对位置关系，根据所述相对位置关系生成所述特定投影区域对应特定外部设备的操作系统可识别的位置信息指令；
所述无线传输模块具体用于：与所述多个外部设备分别建立相应的无线连接，通过各个无线连接接收所述多个外部设备的投屏信息，所述投屏信息包括所述投屏内容；以及，接收所述指令生成模块传来的所述特定外部设备的位置信息指令，将所述位置信息指令通过所述特定外部设备对应的无线连接发送至所述特定外部设备，使所述特定外部设备的操作系统调用底层驱动程序执行所述位置信息指令，以实现响应于所述用户操控行为的控制操作，从而对所述外部设备进行控制。
7.根据权利要求6所述的设备，其特征在于，所述指令生成模块还用于：当识别出对应于文件分享功能的手势操作时，通过所述手势操作的起点确定分享方外部设备以及分享文件处于所述分享方外部设备拟显示的位置信息，通过所述手势操作的滑动方向或终点确定被分享方外部设备，并生成文件分享位置信息指令，所述文件分享位置信息指令用于将分享文件从分享方外部设备分享至被分享方外部设备；
所述无线传输模块还用于将所述文件分享位置信息指令发送至所述分享方外部设备，使所述分享方外部设备：通过与所述被分享方建立的无线连接，将所述分享文件发送至所述被分享方外部设备；或，通过与所述无线传输模块建立的无线连接，将所述分享文件发送至所述无线传输模块，以使所述无线传输模块根据与所述被分享方外部设备建立的无线连接，将接收到的所述分享文件发送至所述被分享方外部设备。
8.根据权利要求1所述的设备，其特征在于，所述无线传输模块与所述外部设备建立的所述下行无线连接包括：路由器、蓝牙、NFC、UWB、zigbee、Lifi、Wifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、蜂窝3G、蜂窝4G、蜂窝5G、蜂窝6G或自身无线热点；
所述无线传输模块与所述外部设备建立的所述上行无线连接包括：蓝牙、BLE、NFC、路由器、Wifi、NB-IOT、eMTC、LoRa、tuner、GNSS、LNB、Z-Wave、蜂窝3G、蜂窝4G、蜂窝5G、蜂窝6G或无线USB。
9.根据权利要求1所述的设备，其特征在于，所述互动投影输入输出设备还包括：
摄像模块，用于采集图像信息；
音频模块，用于采集音频信息，以及对所述无线传输模块从所述外部设备接收的音频信息进行播放。
10.根据权利要求1所述的设备，其特征在于，所述投影模块包括：视力保护滤镜，所述视力保护滤镜包括视力保护滤镜镜片或视力保护滤镜膜，用于降低有害视力的高能蓝光密度和/或降低频闪效应。
CN202011488192.7A 2020-12-16 2020-12-16 一种互动投影输入输出设备 Pending CN114708403A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011488192.7A CN114708403A (zh) 2020-12-16 2020-12-16 一种互动投影输入输出设备
EP21905563.9A EP4266258A4 (en) 2020-12-16 2021-12-06 INTERACTIVE PROJECTION INPUT/OUTPUT DEVICE
PCT/CN2021/135738 WO2022127634A1 (zh) 2020-12-16 2021-12-06 互动投影输入输出设备
US18/041,566 US20230297312A1 (en) 2020-12-16 2021-12-06 Interactive projection input and output device
TW110146142A TWI796039B (zh) 2020-12-16 2021-12-09 互動投影輸入輸出設備

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011488192.7A CN114708403A (zh) 2020-12-16 2020-12-16 一种互动投影输入输出设备

Publications (1)

Publication Number Publication Date
CN114708403A true CN114708403A (zh) 2022-07-05

Family

ID=82060043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011488192.7A Pending CN114708403A (zh) 2020-12-16 2020-12-16 一种互动投影输入输出设备

Country Status (5)

Country Link
US (1) US20230297312A1 (zh)
EP (1) EP4266258A4 (zh)
CN (1) CN114708403A (zh)
TW (1) TWI796039B (zh)
WO (1) WO2022127634A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110442366B (zh) * 2019-08-09 2021-06-15 广州视源电子科技股份有限公司 一种传屏处理方法、装置、设备和存储介质
CN116048341B (zh) * 2022-07-28 2023-09-15 荣耀终端有限公司 一种多屏协同方法及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011513786A (ja) * 2008-03-07 2011-04-28 カーン，ジャビッド ３次元ホログラフィック立体ディスプレー
US20090254953A1 (en) * 2008-04-02 2009-10-08 Chung-Hung Lin Wireless video and audio broadcasting device
US9996972B1 (en) * 2011-06-10 2018-06-12 Amazon Technologies, Inc. User/object interactions in an augmented reality environment
TWI466083B (zh) * 2012-07-05 2014-12-21 Novatek Microelectronics Corp 多分支介面平面顯示器
KR20160113592A (ko) * 2014-01-27 2016-09-30 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어방법
JP2017004354A (ja) * 2015-06-12 2017-01-05 富士通株式会社 表示制御方法、表示制御プログラム、情報処理端末、及びウェアラブルデバイス
US10558288B2 (en) * 2016-07-07 2020-02-11 Samsung Display Co., Ltd. Multi-touch display panel and method of controlling the same
CN106371586B (zh) * 2016-08-24 2018-10-26 同济大学 一种互动区域可调的增强现实实现方法
TWI652582B (zh) * 2016-08-31 2019-03-01 宅妝股份有限公司 以虛擬實境／擴增實境為基礎並結合即時通訊服務的檔案分享系統及方法
US10636342B2 (en) * 2017-03-31 2020-04-28 Wuhan China Star Optoelectronics Technology Co., Ltd Active-matrix organic emissive diode (AMOLED) display panel for reducing blue ray energy in display images, driving method thereof, and driving device thereof
CN107632744A (zh) * 2017-09-09 2018-01-26 深圳大学 一种桌面交互投影系统及控制方法
TWI687812B (zh) * 2018-03-19 2020-03-11 仁寶電腦工業股份有限公司 電子裝置及其運作方法
TWI714163B (zh) * 2019-07-11 2020-12-21 緯創資通股份有限公司 控制投影內容的方法及電子裝置
CN111047925B (zh) * 2019-12-06 2021-06-25 山东大学 基于房间式互动投影的动作学习系统及方法

Also Published As

Publication number Publication date
TWI796039B (zh) 2023-03-11
WO2022127634A1 (zh) 2022-06-23
TW202225918A (zh) 2022-07-01
EP4266258A1 (en) 2023-10-25
EP4266258A4 (en) 2024-04-17
US20230297312A1 (en) 2023-09-21

Similar Documents

Publication Publication Date Title
US11947781B2 (en) Automatically adjusting a layout of a visual element on a to-be-generated interface and quickly generating an interface
US20170372449A1 (en) Smart capturing of whiteboard contents for remote conferencing
EP4266258A1 (en) Interactive projection input/output device
JP2015526927A (ja) カメラ・パラメータのコンテキスト駆動型調整
EP3641294B1 (en) Electronic device and method for obtaining images
US20130257813A1 (en) Projection system and automatic calibration method thereof
TWI545508B (zh) 用於執行臉部追蹤功能的方法及其電子裝置
CN108781268B (zh) 图像处理装置和方法
US11450296B2 (en) Fade-in user interface display based on finger distance or hand proximity
CN118118644A (zh) 可分离失真视差确定
CN112805663A (zh) 电子装置及其姿势识别方法
US10055065B2 (en) Display system, projector, and control method for display system
US20240045494A1 (en) Augmented reality with eyewear triggered iot
US20230292019A1 (en) High dynamic range for dual pixel sensors
US11826635B2 (en) Context-sensitive remote eyewear controller
CN110213407A (zh) 一种电子装置的操作方法、电子装置和计算机存储介质
JP7347205B2 (ja) 投写システムの制御方法、投写システム及び制御プログラム
CN109729264B (zh) 一种图像获取方法及移动终端
WO2016157920A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20110285624A1 (en) Screen positioning system and method based on light source type
US20240077935A1 (en) Virtual interfaces for controlling iot devices
US10609350B1 (en) Multiple frequency band image display system
JP7149915B2 (ja) 投影装置、投影方法及びプログラム
US20230195264A1 (en) Projection system
KR102252662B1 (ko) 이미지 맵과 연관되는 데이터를 생성하는 장치 및 그것의 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination