CN109407859A - 基于实物的人机交互方法、设备及系统 - Google Patents

基于实物的人机交互方法、设备及系统 Download PDF

Info

Publication number
CN109407859A
CN109407859A CN201710698409.9A CN201710698409A CN109407859A CN 109407859 A CN109407859 A CN 109407859A CN 201710698409 A CN201710698409 A CN 201710698409A CN 109407859 A CN109407859 A CN 109407859A
Authority
CN
China
Prior art keywords
image data
man
equipment
region
occurrences
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710698409.9A
Other languages
English (en)
Inventor
谭登峰
宋志标
杨磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zen-Ai Technology Co Ltd
Original Assignee
Beijing Zen-Ai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zen-Ai Technology Co Ltd filed Critical Beijing Zen-Ai Technology Co Ltd
Priority to CN201710698409.9A priority Critical patent/CN109407859A/zh
Publication of CN109407859A publication Critical patent/CN109407859A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种基于实物的人机交互方法、设备及系统，其中，该方法可以包括：接收覆盖有红外光幕并有触控物作用于上的实物区域的图像数据；计算触控物的作用点在所述图像数据中的坐标位置；将所述坐标位置与预设坐标范围进行比较，当所述预设坐标范围包括所述坐标位置时，将与所述预设坐标范围关联的数据信息输出给显示设备。通过本发明，能够基于用户对实物的关注，在显示设备上实时调取和呈现用户所关注实物的相关内容，整个过程操作简单，可以用手指或物件直接实现触控，也可以用遥控方式实现触控。

Description

基于实物的人机交互方法、设备及系统
技术领域
本发明涉及光学交互技术领域。
背景技术
近年来人机交互领域的技术得到迅猛发展，各行各业逐渐引入交互系统。
人机交互技术(Human-Computer Interaction Techniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。
人机交互技术包括机器通过输出或显示设备给人提供大量有关信息及提示、请示等，人通过输入设备给机器输入有关信息，回答问题及提示、请示等。人机交互技术是计算机用户界面设计中的重要内容之一。它与认知学、人机工程学、心里学等学科领域有密切的联系。
人机交互技术也指通过电极将神经信号与电子信号互相联系，达到人脑与电脑互相沟通的技术，可以预见，电脑甚至可以在未来成为一种媒介，达到人脑与人脑意识之间的交流，即心灵感应。
现有技术的人机交互通常是基于鼠标、键盘等可输入设备直接实现对机器的交互。
发明内容
本发明第一方面，提供了一种基于实物的人机交互方法，其包括：
接收覆盖有红外光幕并有触控物作用于上的实物区域的图像数据；
计算触控物的作用点在所述图像数据中的坐标位置；
将所述坐标位置与预设坐标范围进行比较，当所述预设坐标范围包括所述坐标位置时，将与所述预设坐标范围关联的数据信息输出给显示设备。
第二方面，提供了一种基于实物的人机交互设备，其包括存储器和处理器；所述存储器用于储存有可执行程序代码；所述处理器用于读取所述存储器中存储的可执行程序代码以执行上述的基于实物的人机交互方法。
第三方面，提供了一种人机交互系统，该人机交互系统包括：红外光幕形成装置、采集设备、如前所述的基于实物的人机交互设备和显示设备，其中，红外光幕形成装置用于使实物区域覆盖红外光幕；所述采集设备用于向所述基于实物的人机交互设备发送采集到的覆盖有红外光幕并有触控物作用于上的实物区域的图像数据；所述显示设备用于接收所述基于实物的人机交互设备输出的与所述预设坐标范围关联的数据信息并进行显示。
通过本发明，能够基于用户对实物的关注，在显示设备上实时调取和呈现用户所关注实物的相关内容，整个过程操作简单，可以用手指或物件直接实现触控，也可以用遥控方式实现触控；而且，由于整个过程不涉及对作用对象的可触控性能方面的需求，极大地节省了与可触控性能相关的各种成本；此外，由于此时实物空间分布和信息展示空间可以分立设置，因此也使得可以根据实际场景来调整实物空间和展示空间的相对位置，从而能满足各种复杂场景的需要，具有很强的环境适应性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
图1是根据本发明的一些实施例的基于实物的人机交互方法的示意性流程图；
图2是根据本发明的一些实施例的基于实物的人机交互方法的示意性流程图；
图3是根据本发明的一些实施例的基于实物的人机交互方法的示意性流程图；
图4是根据本发明的一些实施例的基于实物的人机交互装置的示意性结构框图；
图5是根据本发明的一些实施例的基于实物的人机交互设备的示意性结构图；
图6是根据本发明的一些实施例的基于实物的人机交互系统的示意性结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1是根据本发明的一些实施例的基于实物的人机交互方法的示意性流程图。如图1所示，该基于实物的人机交互方法，可以包括：S110～S130。
S110，接收覆盖有红外光幕并有触控物作用于上的实物区域的图像数据。
上述实物区域是指实物所在区域，例如，可以为地面、墙面，甚至可以是人体。
S120，计算触控物的作用点在所述图像数据中的坐标位置。
在一些实施例中，所述触控物包括人的手指或教鞭，所述触控物的作用点包括人的手指或教鞭在实物区域上的接触点。
在一些实施例中，所述触控物包括激光笔，所述触控物的作用点包括激光笔发出的光在实物区域上的作用点，激光笔可以直接接触屏幕，也可以离开屏幕；所述激光笔发出的光具有第一波长；所述红外光幕具有第二波长；第一波长不同于第二波长。
在一些实施例中，上述坐标位置可以是作用点在图像数据中的相对坐标。
S130，将所述坐标位置与预设坐标范围进行比较，当所述预设坐标范围包括所述坐标位置时，将与所述预设坐标范围关联的数据信息输出给显示设备。
在一些实施例中，根据本发明的一些实施例的基于实物的人机交互方法还包括计算所述第一波长的作用点在所述图像数据中的出现频率和/或图案，将所述出现频率和/或图案与预设出现频率和/或预设图案进行比较，当所述频率和/或图案与预设出现频率和/或预设图案一致时，将与所述预设坐标范围以及与预设出现频率和/或预设图案相关联的数据信息输出给所述显示设备。
所述显示设备可以包括各种可以将信息显示出来的设备，如可以包括LCD、LED和DLP显示屏幕。所述显示设备也可以包括屏幕和投影装置。所述实物区域可以位于所述屏幕外，所述屏幕可以是由多种材质构成的，也可以具有多种尺寸，投影装置将所要显示的信息投影到屏幕上。
图2示出根据本发明的一些实施例的基于实物的人机交互方法的示意性流程图。上述步骤S120可以包括S210～S230。
S210，对接收到的图像数据和预先获得的原始图像数据进行比对，去除所述接收到的图像数据中包含的原始图像数据，得到前景图像数据。
S220，基于前景图像数据通过二值化获得前景图像数据的二值图。
S230，依据二值图识别所述坐标位置。
在一些实施例中，预先获得的原始图像数据，可以是在用户操作前预设的实物周围的原始图像数据，也可以是在用户操作前摄像头记录的实物周围的原始图像数据。例如，将采集单元捕捉到的没有所述激光笔射入光时的第一帧图像作为原始图像数据并保存为显示的背景图，或者当作用的是手时，可以将采集单元捕捉到的没有手作用于实物时的第一帧图像作为原始图像数据并保存为显示的背景图。
在一些实施例中，前景图像数据可以是将实时接收到的图像数据减去上述背景图得到只包含上述实时接收到的图像数据与上述背景图之间差异的图像数据。上述只包含上述实时接收到的图像数据与上述背景图之间差异的图像数据可以作为所述前景图数据。
例如，当没有所述激光笔的光射入实物时，或没有手作用于实物时，前景图可以是一幅灰度值为0的图像，当有所述激光笔的光射入实物时或有手作用于实物时，上述前景图可以是一幅包含所述激光笔的射入点信号的图像，或是一幅包含所述手的作用点信号的图像。
图3是根据本发明的一些实施例的基于实物的人机交互方法的示意性流程图。如图3所示，S120还可以包括：S310～S340。
S310，对所述接收到的图像数据进行畸变校正。
S320，对接收到的图像数据和预先获得的原始图像数据进行比对，去除所述图像数据包含的原始图像数据，得到前景图像数据。
S330，基于前景图像数据通过二值化获得前景图像数据的二值图。
S340，依据二值图识别所述坐标位置。
上文中结合图1至图3，详细描述了根据本发明实施例的基于实物的人机交互方法，下面将结合图4至图6，详细描述根据本发明实施例的基于实物的人机交互装置、设备和系统。
图4是根据本发明的一些实施例的基于实物的人机交互装置的示意性结构框图。如图4所示，基于实物的人机交互装置400可以包括：接收单元410、计算单元420和判断单元430。
接收单元410可以用于接收覆盖有红外光幕并有触控物作用于上的实物区域的图像数据；
计算单元420可以用于计算触控物的作用点在所述图像数据中的坐标位置；
判断单元430可以用于将所述坐标位置与预设坐标范围进行比较，当所述预设坐标范围包括所述坐标位置时，将与所述预设坐标范围关联的数据信息输出给显示设备用于将坐标位置与预设坐标范围进行比较，当预设坐标范围包括坐标位置时，将与预设坐标范围关联的数据信息输出给显示设备。
根据本发明实施例的基于实物的人机交互装置400可对应于根据本发明实施例的基于实物的人机交互方法100中的执行主体，并且基于实物的人机交互装置400中的各个单元的上述和其它操作或功能分别是为了实现图1中的各个方法的相应流程，为了简洁，在此不再赘述。
在一些实施例中，上述数据信息可以包括音频数据信息、视频数据信息和图像数据信息中的一种或一种以上。
在一些实施例中，上述计算单元还可以用于：
对接收的所述图像数据和预先获得的原始图像数据进行比对，去除接收的所述图像数据中包含的所述原始图像数据，得到前景图像数据；
基于前景图像数据通过二值化获得前景图像数据的二值图；
依据二值图识别所述坐标位置。
在一些实施例中，上述计算单元还可以用于：
对所述接收到的图像数据进行畸变校正；
对接收到的图像数据和预先获得的原始图像数据进行比对，去除所述图像数据包含的原始图像数据，得到前景图像数据；
基于前景图像数据通过二值化获得前景图像数据的二值图；
依据二值图识别所述坐标位置。
图5是根据本发明的一些实施例的基于实物的人机交互设备500的示意性结构图。如图5所示，上述基于实物的人机交互方法和基于实物的人机交互装置的至少一部分可以由基于实物的人机交互设备500实现，人机交互设备500包括处理器503、存储器504和总线510。
在一些实例中，该基于实物的人机交互设备500还可以包括输入设备501、输入端口502、输出端口505、以及输出设备506。其中，输入端口502、处理器503、存储器504、以及输出端口505通过总线510相互连接，输入设备501和输出设备506分别通过输入端口502和输出端口505与总线510连接，进而与计算设备500的其他组件连接。需要说明的是，这里的输出接口和输入接口也可以用I/O接口表示。具体地，输入设备501接收来自外部的输入信息，并通过输入端口502将输入信息传送到处理器503；处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出端口505将输出信息传送到输出设备506；输出设备506将输出信息输出到设备500的外部。
上述存储器504包括用于数据或指令的大容量存储器。举例来说而非限制，存储器504可包括HDD、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器504可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器504可在设备500的内部或外部。在特定实施例中，存储器504是非易失性固态存储器。在特定实施例中，存储器504包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
总线510包括硬件、软件或两者，将设备500的部件彼此耦接在一起。举例来说而非限制，总线510可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线510可包括一个或多个总线510。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
当通过图5所示的设备500实现参考图4描述的装置400时，输入设备501接收覆盖有红外光幕并有触控物作用于上的实物区域的图像数据，在特定实施例中，与输出设备相连的I/O接口可以包括硬件、软件或两者，提供用于在设备500与一个或多个I/O设备之间的通信的一个或多个接口。在合适的情况下，设备500可包括一个或多个这些I/O设备。一个或多个这些I/O设备可允许人和设备500之间的通信。举例来说而非限制，I/O设备可包括键盘、小键盘、麦克风、监视器、鼠标、打印机、扫描仪、扬声器、静态照相机、触针、手写板、触摸屏、轨迹球、视频摄像机、另一合适的I/O设备或者两个或更多个以上这些的组合。I/O设备可包括一个或多个传感器。本发明实施例考虑用于它们的任何合适的I/O设备和任何合适的I/O接口。在合适的情况下，I/O接口可包括一个或多个装置或能够允许处理器503驱动一个或多个这些I/O设备的软件驱动器。在合适的情况下，I/O接口可包括一个或多个I/O接口。尽管本发明实施例描述和示出了特定的I/O接口，但本发明实施例考虑任何合适的I/O接口。该处理器503基于存储器504中存储的计算机可执行指令，计算触控物的作用点在所述图像数据中的坐标位置；将所述坐标位置与预设坐标范围进行比较，当所述预设坐标范围包括所述坐标位置时，将与所述预设坐标范围关联的数据信息经由输出端口505和输出设备506输出给显示设备。
在一些实例中，所述触控物包括人的手指或教鞭，所述触控物的作用点包括人的手指或教鞭在实物区域上的接触点。
在一些实例中，所述触控物包括激光笔，所述触控物的作用点包括激光笔发出的光在实物区域上的作用点；所述激光笔发出的光具有第一波长；所述红外光幕具有第二波长；第一波长不同于第二波长。
在一些实例中，处理器还计算所述第一波长的作用点在所述图像数据中的出现频率和/或图案，将所述出现频率和/或图案与预设出现频率和/或预设图案进行比较，当所述频率和/或图案与预设出现频率和/或预设图案一致时，将与所述预设坐标范围以及与预设出现频率和/或预设图案相关联的数据信息输出给所述显示设备。
在一些实例中，处理器对接收的所述图像数据和预先获得的原始图像数据进行比对，去除接收的所述图像数据中包含的所述原始图像数据，得到前景图像数据；基于所述前景图像数据通过二值化获得所述前景图像数据的二值图；依据所述二值图识别所述坐标位置。
根据一些实施例，提供了一种计算机可读存储介质，可以包括指令，当其在计算机上运行时，可以使得计算机执行上述的基于实物的人机交互方法。
在一些实施例中，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述的基于实物的人机交互方法。
在一些实施例中，提供了一种计算机程序，当其在计算机上运行时，使得计算机执行上述的基于实物的人机交互方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现相应功能。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
图6是根据本发明的一些实施例的基于实物的人机交互系统的示意性结构框图。如图6所示，该基于实物的人机交互系统，可以包括：基于实物的人机交互设备601、显示设备602、采集设备603和红外光幕形成装置(图中未示出)。
红外光幕形成装置用于使实物区域覆盖红外光幕，红外光幕形成装置例如可以为一排具有扇形红外面的激光器的组合。
该采集设备603与基于实物的人机交互设备601相连接，可以用于向基于实物的人机交互设备601发送采集到的覆盖有红外光幕并有触控物作用于上的实物区域604的图像数据。基于实物的人机交互设备，如前面参考图1-5所述的，接收所述图像数据；计算触控物的作用点在所述图像数据中的坐标位置；将所述坐标位置与预设坐标范围进行比较，当所述预设坐标范围包括所述坐标位置时，将与所述预设坐标范围关联的数据信息输出给显示设备。
该显示设备602与基于实物的人机交互设备601相连接，可以用于接收基于实物的人机交互设备601输出的与预设坐标范围关联的数据信息。
在一些实施例中，所述触控物可以包括人的手指或教鞭，所述触控物的作用点包括人的手指或教鞭在实物区域上的接触点。
在一些实施例中，所述显示设备包括屏幕和投影装置，所述实物区域位于所述屏幕外。
在一些实施例中，所述的基于实物的人机交互系统还包括第一激光发射设备，用于连续地或以一个第一出现频率向选择交互的实物发射第一波长光，所述第一波长光以点或图案的方式在实物区域形成所述作用点。所述第一激光发射设备包括激光笔。
在一些实施例中，所述人机交互系统还包括第二激光发射设备，用于连续地或以一个第二出现频率向选择交互的实物发射第三波长光，所述第三波长光以点或图案的方式在实物区域形成所述作用点；第一激光发射设备和第二激光发射设备根据环境光中第一波长光和第三波长光的分布情况，被选择性地开启，以在实物区域形成所述作用点，第一波长、第二波长和第三波长互不相同。所述第二激光发射设备包括激光笔。
所述图案例如可以通过转动第一、第二激光发射设备前面的镂空的图案结构来实现。
通过以上各种方式的组合，可以使第一波长光有效地区分于环境中的背景光，易于被辨识，从而使相应的人机交互作用也更为精确和可靠。
在一些实施例中，基于实物的人机交互设备计算所述第一波长的作用点在所述图像数据中的出现频率和/或图案，将所述出现频率和/或图案与预设出现频率和/或预设图案进行比较，当所述频率和/或图案与预设出现频率和/或预设图案一致时，将与所述预设坐标范围以及与预设出现频率和/或预设图案相关联的数据信息输出给所述显示设备。
此处，出现频率和/或图案将作为位置信息之外的又一信息来进一步限定将要输出的信息。例如，当第一波长是以第一出现频率作用于实物时，将输出与所述第一出现频率相关联的并且与所述预设坐标范围关联的数据信息给所述给显示设备，此时的信息例如可以为文字信息；当第一波长是以第二出现频率作用于实物时，将输出与所述第二出现频率相关联的并且与所述预设坐标范围关联的数据信息给所述给显示设备，此时的信息例如可以为图片信息。当第一波长光以某种图案的形式作用于实物区域时，情况亦类似。例如，当图案是梅花状且与预设的图案一致时，将输出与所述梅花状相关联的并且与所述预设坐标范围关联的数据信息给所述给显示设备。
此处基于实物的人机交互设备601还可以执行前面参考图1-5所描述的具体人机交互方法，此处不再赘述。
在本申请中，所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于实物的人机交互方法，其特征在于，包括：
接收覆盖有红外光幕并有触控物作用于上的实物区域的图像数据；
计算触控物的作用点在所述图像数据中的坐标位置；
将所述坐标位置与预设坐标范围进行比较，当所述预设坐标范围包括所述坐标位置时，将与所述预设坐标范围关联的数据信息输出给显示设备。
2.根据权利要求1所述的基于实物的人机交互方法，其中，所述触控物包括人的手指或教鞭，所述触控物的作用点包括人的手指或教鞭在实物区域上的接触点。
3.根据权利要求1所述的基于实物的人机交互方法，其中，所述触控物包括激光笔，所述触控物的作用点包括激光笔发出的光在实物区域上的作用点；所述激光笔发出的光具有第一波长；所述红外光幕具有第二波长；第一波长不同于第二波长。
4.根据权利要求3所述的基于实物的人机交互方法，其特征在于，还包括计算所述第一波长的作用点在所述图像数据中的出现频率和/或图案，将所述出现频率和/或图案与预设出现频率和/或预设图案进行比较，当所述频率和/或图案与预设出现频率和/或预设图案一致时，将与所述预设坐标范围以及与预设出现频率和/或预设图案相关联的数据信息输出给所述显示设备。
5.根据权利要求1、2或3所述的基于实物的人机交互方法，其特征在于，计算坐标位置包括：
对接收的所述图像数据和预先获得的原始图像数据进行比对，去除接收的所述图像数据中包含的所述原始图像数据，得到前景图像数据；
基于所述前景图像数据通过二值化获得所述前景图像数据的二值图；
依据所述二值图识别所述坐标位置。
6.一种基于实物的人机交互设备，其特征在于，包括存储器和处理器；
所述存储器用于储存有可执行程序代码；
所述处理器用于读取所述存储器中存储的可执行程序代码以执行权利要求1至5中任一项所述的基于实物的人机交互方法。
7.一种基于实物的人机交互系统，其特征在于，包括：红外光幕形成装置、采集设备、如权利要求6所述的基于实物的人机交互设备和显示设备，其中，红外光幕形成装置用于使实物区域覆盖红外光幕；
所述采集设备用于向所述基于实物的人机交互设备发送采集到的覆盖有红外光幕并有触控物作用于上的实物区域的图像数据；
所述显示设备用于接收所述基于实物的人机交互设备输出的与所述预设坐标范围关联的数据信息并进行显示。
8.根据权利要求7所述的基于实物的人机交互系统，其特征在于，还包括第一激光发射设备，用于连续地或以一个第一出现频率向选择交互的实物发射第一波长光，所述第一波长光以点或图案的方式在实物区域形成所述作用点；所述第一激光发射设备包括激光笔。
9.根据权利要求8所述的基于实物的人机交互系统，其特征在于，还包括第二激光发射设备，用于连续地或以一个第二出现频率向选择交互的实物发射第三波长光，所述第三波长光以点或图案的方式在实物区域形成所述作用点；第一激光发射设备和第二激光发射设备根据环境光中第一波长光和第三波长光的分布情况，被选择性地开启，以在实物区域形成所述作用点，第一波长、第二波长和第三波长互不相同。
10.根据权利要求7、8或9所述的基于实物的人机交互方法，其中，所述显示设备包括屏幕和投影装置，所述实物区域位于所述屏幕外。
CN201710698409.9A 2017-08-15 2017-08-15 基于实物的人机交互方法、设备及系统 Pending CN109407859A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710698409.9A CN109407859A (zh) 2017-08-15 2017-08-15 基于实物的人机交互方法、设备及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710698409.9A CN109407859A (zh) 2017-08-15 2017-08-15 基于实物的人机交互方法、设备及系统

Publications (1)

Publication Number Publication Date
CN109407859A true CN109407859A (zh) 2019-03-01

Family

ID=65454272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710698409.9A Pending CN109407859A (zh) 2017-08-15 2017-08-15 基于实物的人机交互方法、设备及系统

Country Status (1)

Country Link
CN (1) CN109407859A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244835A (zh) * 2018-03-08 2019-09-17 北京仁光科技有限公司 基于实物的人机交互方法、装置、设备、介质及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205341A1 (en) * 2010-02-23 2011-08-25 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction.
CN102253737A (zh) * 2011-05-31 2011-11-23 王石 一种屏幕视觉鼠标系统及其实现方法
CN106354460A (zh) * 2016-08-29 2017-01-25 武汉仁光科技有限公司 一种实物交互系统及其交互方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110205341A1 (en) * 2010-02-23 2011-08-25 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction.
CN102253737A (zh) * 2011-05-31 2011-11-23 王石 一种屏幕视觉鼠标系统及其实现方法
CN106354460A (zh) * 2016-08-29 2017-01-25 武汉仁光科技有限公司 一种实物交互系统及其交互方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110244835A (zh) * 2018-03-08 2019-09-17 北京仁光科技有限公司 基于实物的人机交互方法、装置、设备、介质及系统

Similar Documents

Publication Publication Date Title
EP3419024B1 (en) Electronic device for providing property information of external light source for interest object
US10917552B2 (en) Photographing method using external electronic device and electronic device supporting the same
CN109460276A (zh) 页面和页面配置文件生成方法、装置、终端设备及介质
CN111598818A (zh) 人脸融合模型训练方法、装置及电子设备
CN109614902A (zh) 人脸图像处理方法、装置、电子设备及计算机存储介质
CN103871092A (zh) 显示控制装置以及显示控制方法
KR102508663B1 (ko) 구형 컨텐츠 편집 방법 및 이를 지원하는 전자 장치
CA3083486A1 (en) Method, medium, and system for live preview via machine learning models
CN111582090A (zh) 人脸识别方法、装置及电子设备
CN112578971B (zh) 页面内容展示方法、装置、计算机设备及存储介质
CN113806306B (zh) 媒体文件处理方法、装置、设备、可读存储介质及产品
EP4425423A1 (en) Image processing method and apparatus, device, storage medium and program product
JP2018533124A (ja) 注視仮想オブジェクト識別モジュール、注視半透過性を実現するためのシステム、および関連する方法
CN109559288A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN112116690A (zh) 视频特效生成方法、装置及终端
EP3417358B1 (en) Activity surface detection, display and enhancement of a virtual scene
CN105247574A (zh) 电子装置、电子装置的控制方法以及电脑可读取记录媒体
US20140198177A1 (en) Realtime photo retouching of live video
CN109981989B (zh) 渲染图像的方法、装置、电子设备和计算机可读存储介质
WO2022245642A1 (en) Audio enhanced augmented reality
KR20180111242A (ko) 채색 가능한 콘텐트를 제공하는 전자 장치 및 그 방법
JP2021043752A (ja) 情報表示装置、情報表示方法及び情報表示システム
CN109407859A (zh) 基于实物的人机交互方法、设备及系统
CN113110733A (zh) 一种基于远程双工的虚拟现场交互方法及系统
CN206021226U (zh) 一种摄像头识别激光交互系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination