CN110073317A - 显示机器可读码的交互式显示系统 - Google Patents

显示机器可读码的交互式显示系统 Download PDF

Info

Publication number
CN110073317A
CN110073317A CN201780079861.5A CN201780079861A CN110073317A CN 110073317 A CN110073317 A CN 110073317A CN 201780079861 A CN201780079861 A CN 201780079861A CN 110073317 A CN110073317 A CN 110073317A
Authority
CN
China
Prior art keywords
user
display system
code
interactive display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780079861.5A
Other languages
English (en)
Inventor
曾旭
颜才杰
李清
李文宜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Signify Holding BV
Original Assignee
Signify Holding BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Signify Holding BV filed Critical Signify Holding BV
Publication of CN110073317A publication Critical patent/CN110073317A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/215—Input arrangements for video game devices characterised by their sensors, purposes or types comprising means for detecting acoustic signals, e.g. using a microphone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0207—Discounts or incentives, e.g. coupons or rebates
    • G06Q30/0225—Avoiding frauds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种交互式显示系统包括至少一个显示单元(3)、至少一个传感单元和至少一个控制单元。该(多个)控制单元被配置成使用该(多个)传感单元来检测用户动作的某个组合，例如用户(51)指向该(多个)显示单元的区域和不同类型的用户动作的组合，并且使用该(多个)显示单元来依据被检测到的用户动作的某个组合显示机器可读码，例如QR码。

Description

显示机器可读码的交互式显示系统
技术领域
本发明涉及一种交互式显示系统。
本发明进一步涉及一种使得能够与交互式显示系统进行交互的方法。
本发明还涉及一种使得计算机系统能够执行这种方法的计算机程序产品。
背景技术
传统的电气照明已存在了超过几百年。现今，照明系统通常比过去更智能并且越来越多地连接到计算机网络，例如因特网。例如，人们可以在他们到家之前远程地打开其照明。路灯可以在深夜和人流量极少时自动地变暗。在商店里，光可以向客户示出他们在哪里以及如何到达其目的地。
照明不仅可以用于照亮区域或对象，而且还可以用于传达信息。像素墙是用于传达信息的照明系统的示例。例如，像素墙可以显示快速响应(QR)码以允许客户获得关于广告产品的更多信息并连接到广告商。常规像素墙的缺点是它们不是交互式的并且过路人的注意未被显示的QR码所吸引。
交互式像素墙会吸引来自过路人的更多注意，但是如果交互将限于用户必须做出姿势以使像素墙得以显示QR码，类似于如US20160132864A1中所描述的用户必须摇晃他的移动电话以使他的移动电话得以显示支付(例如QR)码，则这种交互性关于过路人注意的量的影响将是有限的。
发明内容
本发明的第一目的是提供一种交互式显示系统，其能够吸引更多过路人的注意。
本发明的第二目的是提供一种使得能够与交互式显示系统进行交互的方法，其帮助吸引更多过路人的注意。
在本发明的第一方面中，所述交互式显示系统包括：至少一个显示单元（例如LED像素墙）、至少一个传感单元（例如相机）、以及至少一个控制单元，该至少一个控制单元被配置成使用所述至少一个传感单元来检测用户动作的某个组合并且使用所述至少一个显示单元来依据被检测到的用户动作的所述某个组合显示机器可读码。
发明人已经认识到，当在显示机器可读码(例如，QR码)之前需要执行用户动作的组合时更多过路人的注意被吸引，从而使得有可能添加一种游戏元素。交互式显示系统可以用于将客户与公司连接并且可以在室内和/或室外使用。例如，在购物中心的入口处，人们可以能够与LED像素墙交互。
用户动作的所述组合可以包括需要被同时地执行并且属于不同类型的多个用户动作。这增加交互性的复杂性，并且因此可以用于增加交互的游戏元素。
所述多个用户动作可以包括以下各项中的至少两项：用户指向所述至少一个显示单元的区域、用户执行姿势和用户产生声音。这些类型的用户动作相对地易于同时地执行。
所述多个用户动作中的第一动作可以包括用户指向所述至少一个显示单元的区域。这种类型的动作是特别有利的，因为它还利用该交互式显示系统的显示单元。
所述多个用户动作中的第一动作和第二动作可以被要求由不同的用户执行，并且所述至少一个控制单元可以被配置成使用所述至少一个传感单元来检测由第一用户执行所述第一动作并且由第二用户执行所述第二动作。通过要求多个人参与交互，吸引人群的注意变得更容易。
所述多个用户动作中的第一动作可以包括用户指向所述至少一个显示单元的区域并且所述多个动作中的第二动作可以包括用户执行挥动姿势。这些类型的用户动作相对地易于同时地执行。
用户动作的所述组合可以包括用户指向所述至少一个显示单元的第一区域和用户指向所述至少一个显示单元的第二(不同的)区域。这些用户动作可以用于添加取决于(多个)用户与交互式显示系统交互的响应时间的游戏元素。
动作的所述组合可以包括用户指向所述至少一个显示单元的开启的像素的第一区域并且随后指向所述至少一个显示单元的开启的像素的第二区域，所述至少一个显示单元或所述至少一个控制单元被配置成当所述用户需要指向所述第一区域时断开所述第一区域外部的至少一些像素，以及当所述用户需要指向所述第二区域时断开所述第二区域外部的至少一些像素。这使得能够在相对简单的系统(诸如像素墙)中实现上面提及的游戏元素。这在仅可以接通和断开像素的情况下是特别有益的，但是在其他情况下(例如在像素可以具有不同的颜色和/或强度的情况下)还提高点亮区域与非点亮区域之间的对比度。
所述至少一个显示单元或所述至少一个控制单元可以被配置成当所述用户需要指向所述第一区域时断开所述第一区域外部的所有像素，并且当所述用户需要指向所述第二区域时断开所述第二区域外部的所有像素。这可以用于优化要触摸的区域与其他区域之间的对比度。
所述机器可读码可以包括QR码。所述QR码是一种流行的机器可读码，其可以被许多移动设备读取。
所述至少一个控制单元可以被配置成依据使用所述至少一个传感单元接收到的传感器输入来生成或者获得所述机器可读码，所述机器可读码取决于所述传感器输入。这增加了交互性的游戏元素，因为例如，可以用(更多的)折扣奖励更好的成就。
所述至少一个控制单元可以被配置成根据所述传感器输入确定用户活动水平和/或声级并且依据所述用户活动水平和/或所述声级来生成或者获得所述机器可读码。这些是对成就进行评级的有利方法，例如更多的声音或更多的活动可以被认为是更好的成就。
所述至少一个控制单元可以被配置成依据在预定时间段内检测到的用户动作的所述某个组合来显示所述机器可读码。这增加了交互性的游戏元素。
所述至少一个控制单元可以被配置成从所述交互式显示系统的用户和/或管理员接收配置输入，所述配置输入定义用户动作的所述组合。以这种方式，交互性可以适于交互式显示系统被放置或者将要被放置的方位，例如过路人一般地花更多的时间的购物中心或过路人一般地花较少的时间的火车站，或者甚至适于对看到某个机器可读码感兴趣的用户的能力或偏好。
所述至少一个传感单元可以被配置成检测存在、运动、声音和/或环境特性。这些传感器输入可以有益地用于增加交互式显示系统的交互性并且/或者增加交互性的多样性。
在本发明的第二方面中，使得能够与交互式显示系统进行交互的方法包括：使用至少一个传感单元来检测用户动作的某个组合；以及依据被检测到的用户动作的所述某个组合在至少一个显示单元上显示机器可读码。该方法可以用硬件和/或软件加以实现。
在本发明的第三方面中，该交互式显示系统包括：至少一个显示单元、至少一个传感单元以及至少一个控制单元，其被配置成使用所述至少一个传感单元来检测一个或多个用户动作，依据被检测到的所述一个或多个用户动作来生成或者获得机器可读码，所述机器可读码取决于使用所述至少一个传感单元接收到的传感器输入，以及使用所述至少一个显示单元来显示所述机器可读码。
在本发明的第四方面中，使得能够与交互式显示系统进行交互的方法包括：使用至少一个传感单元来检测一个或多个用户动作；依据被检测到的所述一个或多个用户动作来生成或者获得机器可读码，所述机器可读码取决于使用所述至少一个传感单元接收到的传感器输入，以及显示所述机器可读码。
此外，提供用于实行在本文中描述的方法的计算机程序以及存储计算机程序的非暂时性计算机可读存储介质。例如，计算机程序可以由现有设备下载或者被上传到现有设备，或者在制造这些系统时被存储。
非暂时性计算机可读存储介质存储至少一个软件代码部分，该软件代码部分当由计算机执行或者处理时，被配置成执行可执行操作，该可执行操作包括：使用至少一个传感单元来检测用户动作的某个组合；以及依据被检测到的用户动作的所述某个组合在至少一个显示单元上显示机器可读码。
如本领域的一位技术人员将领会的，本发明的各方面可以体现为设备、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合软件和硬件方面的实施例的形式，这些实施例可以全部一般地在本文中被称为“电路”、“模块”或“系统”。可以将本公开中描述的功能实现为由计算机的处理器/微处理器执行的算法。此外，本发明的各方面可以采取体现在一个或多个计算机可读介质中的计算机程序产品的形式，所述一个或多个计算机可读介质使计算机可读程序代码被体现(例如，存储)在其上。
可以利用一个或多个计算机可读介质的任何组合。所述计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。例如，计算机可读存储介质可以是但不限于电子、磁、光学、电磁、红外或半导体系统、装置或设备，或者前述内容的任何适合的组合。计算机可读存储介质的更具体示例可以包括但不限于下列的：具有一条或多条线缆的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式紧致盘只读存储器(CD-ROM)、光学存储设备、磁存储设备或前述内容的任何适合的组合。在本发明的上下文中，计算机可读存储介质可以是能够包含或者存储程序以便由指令执行系统、装置或设备使用或者与指令执行系统、装置或设备结合使用的任何有形介质。
计算机可读信号介质可以包括其中体现计算机可读程序代码的例如在基带中或者作为载波的一部分传播的数据信号。这种传播信号可以采取各种形式中的任一种形式，包括但不限于电磁、光学或其任何适合的组合。计算机可读信号介质可以是任何计算机可读介质，所述任何计算机可读介质不是计算机可读存储介质，并且可以传送、传播或者传输程序以便由指令执行系统、装置或设备使用或者与指令执行系统、装置或设备结合使用。
在计算机可读介质上体现的程序代码可以使用任何适当的介质来发送，该任何适当的介质包括但不限于无线、有线线路、光纤、电缆、RF等，或前述内容的任何适合的组合。用于针对本发明的各方面实行操作的计算机程序代码可以用一种或多种编程语言的任何组合加以编写，包括诸如Java（TM）、Smalltalk、C++等面向对象编程语言以及常规的过程编程语言，诸如“C”编程语言或类似的编程语言。程序代码可以完全在用户的计算机上执行、部分地在用户的计算机上执行、作为独立软件包来执行、部分地在用户的计算机上并且部分地在远程计算机上执行或者完全在远程计算机或服务器上执行。在后者情形中，远程计算机可以通过任何类型的网络（包括局域网（LAN）或广域网（WAN））连接到用户的计算机，或者可以形成到外部计算机的连接（例如，使用因特网服务提供商来通过因特网）。
在下面参考根据本发明的实施例的方法、装置（系统）和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。将理解的是，可以通过计算机程序指令来实现流程图图示和/或框图的每一个块以及流程图图示和/或框图中的块的组合。可以将这些计算机程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，特别是微处理器或中央处理单元（CPU），以产生机器，使得经由计算机、其他可编程数据处理装置或其他设备的处理器执行的指令创建用于实现流程图和/或框图中的一个或多个块所指定的功能/行为的手段。
还可以将这些计算机程序指令存储在计算机可读介质中，该计算机可读介质可以指示计算机、其他可编程数据处理装置或其他设备以特定的方式起作用，使得存储在计算机可读介质中的指令产生包括实现流程图和/或框图中的一个或多个块所指定的功能/行为的指令的制品。
还可以将计算机程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以使得在该计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现的过程，使得在该计算机或其他可编程装置上执行的指令提供用于实现流程图和/或框图中的一个或多个块所指定的功能/行为的过程。
附图中的流程图和框图图示了根据本发明的各种实施例的设备、方法和计算机程序产品的可能的实施方式的体系结构、功能性和操作。在这方面，流程图或框图中的每一个块可以表示代码的模块、分段或部分，其包括用于实现所指定的（多种）逻辑功能的一个或多个可执行指令。还应注意的是，在一些替代实施方式中，块中注明的功能可以不按图中注明的顺序出现。例如，取决于所涉及的功能性，实际上可以基本上同时执行相继示出的两个块，或者有时可以以相反的顺序执行这些块。还将注意的是，可以通过执行所指定的功能或行为的专用的基于硬件的系统或专用硬件和计算机指令的组合来实现框图和/或流程图图示的每一个块以及框图和/或流程图图示中的块的组合。
附图说明
本发明的这些和其他方面根据附图是显而易见的，并且将通过示例的方式参考附图来进一步阐明，其中：
图1是本发明的交互式显示系统的一实施例的框图；
图2是图1的传感单元的框图；
图3是图1的控制单元的框图；
图4是图1的显示单元的框图；
图5图示了通过交互式显示系统的一实施例所执行的坐标映射；
图6是本发明的第一方法的流程图；
图7是本发明的第一方法的第一实施例的流程图；
图8是本发明的第一方法的第二实施例的流程图；
图9是本发明的第二方法的流程图；以及
图10是用于执行本发明的方法的示例性数据处理系统的框图。
附图中的对应元素通过相同的附图标记来表示。
具体实施方式
图1示出了本发明的交互式显示系统的一实施例。交互式显示系统1包括显示单元3 （例如LED像素墙）、传感单元5 （例如相机）和控制单元7。控制单元7被配置成使用传感单元5来检测用户动作的某个组合，并且使用显示单元3来依据被检测到的用户动作的某个组合显示机器可读码，例如QR码。在图1的实施例中，传感单元5被放置在显示单元3的顶部处。在另一实施例中，例如，可以将传感单元5或另一传感单元放置在显示单元3周围和/或在显示单元3后面（例如对于触摸应用）。传感单元5可以被配置成向控制单元7提供接收到的传感器输入，以便允许控制单元7通过分析传感器输入来检测用户动作的某个组合，或者传感单元5可以被配置成它本身分析所接收到的传感器输入并且将此分析的结果提供给控制单元7。
用户动作的组合可以包括需要同时地执行并且属于不同类型的多个用户动作。例如，该多个用户动作可以包括以下各项中的至少两项：用户指向显示单元3的区域、用户执行姿势和用户产生声音。
在此实施例中或者在不同的实施例中，控制单元7可以被配置成依据使用传感单元5接收到的传感器输入来生成或者获得机器可读码。在这种情况下机器可读码取决于传感器输入。如果控制单元7被配置成通过分析由传感单元5接收到的传感器输入来检测用户动作的某个组合，则机器可读码可以取决于此相同的传感器输入和/或取决于由传感单元5提供的另外的传感器输入。
例如，控制单元7可以被配置成根据传感器输入确定用户活动水平和/或声级并且依据用户活动水平和/或声级来生成或者获得机器可读码。例如，通过从控制单元7的存储器或者从（例如在本地网络中或者在因特网上）的另一设备的存储器获得多个图像中的一个图像，可以获得机器可读码。例如，可以用适合的计算机程序在运行中生成机器可读码。在此实施例的变体中，控制单元7被配置成使用传感单元5来检测一个或多个动作而不是动作的组合。
在此实施例中或者在不同的实施例中，控制单元7可以被配置成从交互式显示系统1的用户和/或管理员接收配置输入。该配置输入定义用户动作的组合并且可以被存储在控制单元7中。可以例如使用无线连接（例如Wi-Fi、蓝牙或ZigBee）从移动设备接收配置输入。
在图1中示出的实施例中，交互式显示系统1包括一个显示单元3。在替代实施例中，交互式显示系统1包括多个显示单元。在图1中示出的实施例中，交互式显示系统1包括一个传感单元5。在替代实施例中，交互式显示系统1包括多个传感单元。在图1中示出的实施例中，交互式显示系统1包括一个控制单元7。在替代实施例中，交互式显示系统1包括多个控制单元。在图1中示出的实施例中，显示单元3、传感单元5和控制单元7是不同的设备。在替代实施例中，这些单元中的两个或三个被集成到单个设备中。
在图2中示出了传感单元5的一实施例。在此实施例中，传感单元5包括存在传感单元21、运动传感单元23、声学传感单元25、环境传感单元27和数据传输接口29。存在传感单元21和运动传感单元23包括相机和/或无源红外传感器（PIR）。存在传感单元21可以用于对存在的人数进行计数。声学传感单元25被配置成检测声音并且包括一个或多个麦克风。环境传感单元27被配置成检测环境特性，例如光水平、温度和湿度。数据传输接口29收集来自传感单元21、23、25和27的传感器输入并且将它发送到控制单元7。
例如，传感单元5可以包括来自微软的Kinect传感器。Kinect传感器包括IR传感器、高清晰度相机和深度相机。它可检测多达6个人的存在并识别其活动，如身体的移动和手势（闭合、打开和拉拢）。
例如，传感单元5可以连续地或仅在必要时向控制单元7提供传感器输入。例如，环境传感单元27可以连续地检测环境特性并且将它们作为传感器输入提供给控制单元7，然而存在传感单元21可以仅在检测到存在时向控制单元7提供传感器输入。传感单元5可以经由有线连接（例如USB）或者经由无线连接（例如Wi-Fi、ZigBee或蓝牙）将传感器输入提供给控制单元7。
用户可以能够通过触摸区域或区域的一部分或者通过指向显示单元3的区域而不触摸它来指向显示单元3的区域。在这种情况下，触发对象（例如用户身体、手和面部）与显示单元3之间的距离大于零并且可以使用坐标映射方法。这个被图示在图5中。
在图5中，显示单元3上的坐标被表示为OXY坐标系（X轴55和Y轴56）中的坐标，并且用户51的手53的方位处的坐标被表示为O’X’Y’坐标系（X’轴58和Y’轴59）中的坐标。触发对象（例如手53）与传感单元5之间的距离可以用于将被检测到的触发对象的方位映射到显示单元3上的位置，例如以确保手53的不同位置转化为显示单元3上的不同位置的区域（在坐标系O’X’Y’中）不会变得太大或太小。
在图3中示出了控制单元7的一实施例。在此实施例中，控制单元7包括接口单元31、处理单元33、存储器单元35和电源管理单元37。接口单元31被配置成从传感单元5接收传感器输入并且向显示单元3提供显示数据。处理单元33被配置成处理由接口单元31接收到的传感器输入并且控制接口单元31以将显示数据（例如示出QR码的图像）提供给显示单元3。处理单元33在由电源单元37供电的同时使用存储器单元35来执行此处理。
处理单元33可以是例如来自Intel、AMD、ARM或Qualcomm的通用处理器，或者可以是专用处理器。例如，处理单元33可以运行Linux或Windows操作系统。可以使用在一个或多个处理器上运行的计算机程序来实现本发明。存储器单元35可以包括固态存储器（例如RAM和/或固态驱动器）和/或一个或多个磁盘或光盘。
在图4中示出了显示单元3的一实施例。在此实施例中，显示单元3包括显示控制单元41和像素阵列43。显示单元3可以包括一般地是低成本的LED像素墙和/或一般地是更复杂的且更昂贵的大尺寸TV或监视器。例如，TV或监视器可以是具有LED背光的LCD TV或监视器或OLED TV或监视器。显示控制单元41从控制单元7接收显示数据。
例如，此显示数据可以包括用于LED像素墙的低分辨率图像或用于大尺寸监视器的高分辨率图像。可替换地，例如，显示数据可以包括用于多个光源的指令。显示控制单元41可以经由有线连接（例如VGA、HDMI、DVI或DisplayPort）或者经由无线连接（例如WiFi或无线HDMI）从控制单元7接收显示数据。LED像素墙的光源可以（部分地）串行和/或（部分地）并行连接到显示控制单元41。例如，如果使用简单的有线连接，则专有控制信号可以包括用于一个或多个连接的光源的一个或多个RGB值。
使得能够与交互式显示系统进行交互的第一方法包括至少两个步骤，参见图6。步骤61包括使用至少一个传感单元来检测用户动作的某个组合。步骤63包括依据被检测到的用户动作的某个组合在至少一个显示单元上显示机器可读码。
优选地，多个用户动作中的第一动作包括用户指向至少一个显示单元的区域，如关于图7和图8的实施例所描述的。
在图7中示出了使得能够与交互式显示系统进行交互的第一方法的第一实施例。在此第一实施例中，多个用户动作中的第一动作包括用户指向至少一个显示单元的区域，并且多个动作中的第二动作包括用户执行挥动姿势。
在第一实施例中，人们站在LED像素墙前面若干米（例如0.5~5m）处。Kinect传感器用于跟踪某人的手的移动。在步骤71中，在LED像素墙上显示图片，例如照片。当Kinect传感器检测到某人正站在LED像素墙前时，由扬声器输出的声音要求人们挥动他们的手。站在LED像素墙前面的用户然后开始挥动他的一只手。在步骤61的一实施例的步骤73中，记录手的移动路径并且如关于图5所描述的那样确定移动路径与LED像素墙之间的映射。
接下来，在步骤75中在与手的轨迹相对应的区域中显示QR码的一部分来代替原始图片，仿佛手“擦除”图片的一部分并且“隐藏”在图片后面的QR码显现。多个用户可以同时地挥动他们的手。当（多个）用户挥动他们的（多个）手时，图片的更多部分被擦除并且完整QR码被逐渐地显示在LED像素墙上。如果QR码的X%或更多（例如，X可以是10、20或30）仍然被隐藏，则在步骤75之后重复步骤73。如果QR码的不到X%被隐藏，则在步骤63的一实施例的步骤77中显示完整QR码来代替原始图像。例如，QR码可以涉及商业信息。
在图8中示出了使得能够与交互式显示系统进行交互的第一方法的第二实施例。在此第二实施例中，用户动作的组合包括用户指向至少一个显示单元的第一区域和用户指向至少一个显示单元的第二区域。此外，在此实施例中，至少一个控制单元被配置成依据在预定时间段内检测到的用户动作的某个组合来显示机器可读码。
在第二实施例中，用户触摸至少一个显示单元以与它交互。在步骤81中，在LED像素墙的顶部处显示定时器，示出完成游戏所剩余的时间或在游戏上花费的时间和结束时间T。LED像素墙的其他部分未点亮。在步骤83中，当人们靠近LED像素墙时，用随机颜色在随机位置处点亮包含若干像素的屏幕区域。例如，块的大小可能是2×2个像素、3×3个像素或4×4个像素。当某人触摸点亮区域时，在步骤61的一实施例的步骤85中关闭点亮区域后面的光和/或形成区域的像素，并且在LED像素墙上用随机颜色在随机位置处显示具有相同大小或不同大小的另一区域。
完成游戏所剩下的时间随着时间流逝而减少。如果用户在游戏上所花费的时间已达到结束时间T之前触摸点亮区域超过N次，则赢得游戏并且在步骤63的一实施例的步骤87中，在屏幕上显示在游戏上花费的时间或分数。此外，在时间下面显示QR码（例如，其对购物中心信息或折扣券进行编码）。QR码可以取决于在结束时间T之前触摸的点亮区域的数量或在游戏上花费的时间。例如，如果用户在更短的时间内或者以更高的分数完成游戏，则可以显示具有更大折扣优惠券的QR码。如果在游戏上花费的时间仍然尚未到达结束时间T并且可选地，如果用户尚未触摸点亮区域超过N次，则在步骤85之后重复步骤83。如果在游戏上花费的时间到达结束时间T并且用户尚未触摸点亮区域超过N次，则在步骤89中在时间下面显示单词“你失败了”来代替QR码。代替一个用户玩游戏，多个用户可以设法同时或交替地触摸点亮区域。
换句话说，在第二实施例中，动作的组合包括用户指向至少一个显示单元的开启的像素的第一区域并且随后指向至少一个显示单元的开启的像素的第二区域，以及至少一个显示单元或至少一个控制单元被配置成当用户需要指向第一区域时断开第一区域外部的至少一些（优选地全部）像素，而当用户需要指向第二区域时断开第二区域外部的至少一些像素（优选地全部）。
在第一方法的第三实施例（未单独地描绘）中，多个用户动作中的第一动作和第二动作被要求由不同的用户执行。至少一个控制单元被配置成使用至少一个传感单元来检测由第一用户执行第一动作并且由第二用户执行第二动作。在第三实施例中，在至少一个显示单元上显示红心。当两个人用其手臂和手形成“心形状”时，相机在执行这些姿势的同时拍摄他们的照片并且使照片在因特网上可访问。然后在至少一个显示单元上显示QR码并且该二人可通过扫描QR码来下载这个照片。
在第一方法的第四实施例（未单独地描绘）中，过路人可以使用交互式显示系统来玩俄罗斯方块游戏，其中需要用四格拼板形块完成行。用户可使用四种类型的姿势来影响块。挥动左手可向左移动块。挥动右手可向右移动块。向前推双手可使块旋转。下蹲姿势导致块快速下降。在游戏已结束之后，例如已到达结束时间T，将在至少一个显示单元上显示QR码。分数越高，QR码将表示的折扣越高。
使得能够与交互式显示系统进行交互的第二方法包括至少三个步骤，参见图9。步骤91包括使用至少一个传感单元来检测一个或多个用户动作。步骤93包括依据被检测到的一个或多个用户动作来生成或者获得机器可读码。机器可读码与一个或多个用户动作之间的依据性可以由系统的管理员或用户自定义。机器可读码可以包括不同的信息，例如依据被检测到的一个或多个用户动作和/或使用至少一个传感单元接收到的传感器输入，机器可读码可以包括不同的折扣率。步骤95包括显示机器可读码。例如，用户可能需要在一定时间段内做出挥动姿势以便将机器可读码显示给他，并且机器可读码可以取决于用户挥动地有多快。
在第二方法的一实施例中，在屏幕上显示随机姿势（例如示出一个人将一只手臂指向上并将一只手臂指向下的图形或图像被显示）。用户被要求摆出与屏幕上显示的姿势相同的姿势。相机将拍摄用户的照片并且通过图像分析，交互式显示系统确定用户的姿势是否至少在一定程度上与屏幕上显示的姿势匹配。如果确定存在这种匹配，则将在屏幕上显示QR码。QR码取决于用户的姿势与屏幕上显示的姿势有多么匹配。在这种情况下，QR码取决于用户的姿势与屏幕上显示的姿势有多么匹配而包括不同的折扣信息。例如，如果判断为用户的姿势与屏幕上显示的姿势50%匹配，则将生成具有20%减免优惠券的QR码，而如果70%匹配，则将生成具有30%减免优惠券的QR码。用户然后可扫描QR码以得到优惠券。
图10描绘了图示可以执行如参考图6至图9所描述的方法的示例性数据处理系统的框图。
如图10中示出的，数据处理系统300可以包括通过系统总线306耦合到存储器元件304的至少一个处理器302。因此，数据处理系统可以将程序代码存储在存储器元件304内。进一步地，处理器302可以执行经由系统总线306从存储器元件304访问的程序代码。在一个方面中，可以将数据处理系统实现为适合于存储和/或执行程序代码的计算机。然而，应该领会的是，可以以包括处理器和存储器的能够执行在本说明书内描述的功能的任何系统的形式实现数据处理系统300。
存储器元件304可以包括一个或多个物理存储器设备，诸如例如本地存储器308和一个或多个大容量存储设备310。本地存储器可以指代一般地在程序代码的实际执行期间使用的随机存取存储器或（多个）其他非持久存储器设备。可以将大容量存储设备实现为硬盘或其他持久数据存储设备。处理系统300还可以包括一个或多个高速缓冲存储器（未示出），该一个或多个高速缓冲存储器提供至少一些程序代码的临时存储，以便减少在执行期间必须从大容量存储设备310中获取程序代码的次数。
被描绘为输入设备312和输出设备314的输入/输出（I/O）设备可选地可以被耦合到数据处理系统。输入设备的示例可以包括但不限于键盘、诸如鼠标之类的指点设备等。输出设备的示例可以包括但不限于监视器或显示器、扬声器等。输入和/或输出设备可以直接地或者通过中间I/O控制器耦合到数据处理系统。
在一实施例中，可以将输入设备和输出设备实现为组合的输入/输出设备（在图10中用围绕输入设备312和输出设备314的虚线来图示）。这种组合的设备的示例是触敏显示器，有时还称为“触摸屏显示器”或者简称为“触摸屏”。在这种实施例中，可以通过在触摸屏显示器上或附近移动物理对象（诸如例如用户的触笔或手指）来提供对设备的输入。
网络适配器316还可以耦合到数据处理系统以使得它能够通过中间专用或公用网络耦合到其他系统、计算机系统、远程网络设备和/或远程存储设备。网络适配器可以包括：数据接收器，其用于接收由所述系统、设备和/或网络发送到数据处理系统300的数据；以及数据发送器，其用于将数据从数据处理系统300发送到所述系统、设备和/或网络。调制解调器、电缆调制解调器和以太网卡是可以与数据处理系统300一起使用的不同类型的网络适配器的示例。
如图10中所画的，存储器元件304可以存储应用318。在各种实施例中，应用318可以被存储在本地存储器308、一个或多个大容量存储设备310中，或者独立于本地存储器和大容量存储设备。应该领会的是，数据处理系统300可以进一步执行操作系统（未在图10中示出），该操作系统可以促进应用318的执行。以可执行程序代码的形式实现的应用318可以由数据处理系统300（例如，由处理器302）执行。响应于执行该应用，数据处理系统300可以被配置成执行本文中描述的一个或多个操作或方法步骤。
可以将本发明的各种实施例实现为与计算机系统一起使用的程序产品，其中程序产品的（多个）程序定义实施例（包括本文中描述的方法）的功能。在一个实施例中，可以将（多个）程序包含在各种非暂时性计算机可读存储介质上，其中，如本文中所使用的，表述“非暂时性计算机可读存储介质”包括所有计算机可读介质，唯一例外是暂时性传播信号。在另一实施例中，可以将（多个）程序包含在各种暂时性计算机可读存储介质上。说明性计算机可读存储介质包括但不限于：（i）在其上永久地存储信息的非可写存储介质（例如，计算机内的只读存储器设备，诸如可以由CD-ROM驱动器读取的CD-ROM盘、ROM芯片或任何类型的固态非易失性半导体存储器）；以及（ii）在其上存储可变信息的可写存储介质（例如，闪速存储器、软盘驱动器内的软盘或硬盘驱动器或任何类型的固态随机存取半导体存储器）。可以在本文中描述的处理器302上运行计算机程序。
本文中使用的术语仅用于描述特定实施例的目的，而不旨在限制本发明。如本文中所使用的，除非上下文另外清楚地指示，否则单数形式“一（a，an）”和“该（the）”也旨在包括复数形式。应进一步理解的是，术语“包括”和/或“包括有”当用在本说明书中时，指定存在陈述的特征、整数、步骤、操作、元素和/或组件，但是不排除存在或者附加一个或多个其他特征、整数、步骤、操作、元素、组件和/或其群组。
下面的权利要求中的所有手段或步骤加上功能元素的对应结构、材料、行为和等同物旨在包括用于与如具体地要求保护的其他要求保护的元素相结合地执行功能的任何结构、材料或行为。已经出于图示的目的呈现了本发明的实施例的描述，但是本发明的实施例的描述并非旨在是穷尽的或者限于所公开形式的实施方式。许多修改和变化对于本领域的普通技术人员而言将是显而易见的而并不偏离本发明的范围和精神。实施例被选取和描述以便最好地说明本发明的原理和一些实际应用，并且使得本领域的其他普通技术人员能够针对具有如适于设想的特定用途的各种修改的各种实施例来理解本发明。

Claims (15)

1.一种交互式显示系统（1），包括：
至少一个显示单元（3）；
至少一个传感单元（5）；以及
至少一个控制单元（7），其被配置成使用所述至少一个传感单元（5）来检测用户动作的某个组合并且使用所述至少一个显示单元（3）来依据被检测到的用户动作的所述某个组合显示机器可读码。
2.如权利要求1中要求保护的交互式显示系统（1），其中用户动作的所述组合包括需要被同时地执行并且属于不同类型的多个用户动作。
3.如权利要求2中要求保护的交互式显示系统（1），其中所述多个用户动作包括以下各项中的至少两个：用户指向所述至少一个显示单元（3）的区域、用户执行姿势和用户产生声音。
4.如权利要求1中要求保护的交互式显示系统（1），其中所述多个用户动作中的第一动作和第二动作被要求由不同的用户执行，并且所述至少一个控制单元（7）被配置成使用所述至少一个传感单元（5）来检测由第一用户执行所述第一动作并且由第二用户执行所述第二动作。
5.如权利要求1中要求保护的交互式显示系统（1），其中用户动作的所述组合包括用户指向所述至少一个显示单元（3）的第一区域和用户指向所述至少一个显示单元（3）的第二区域。
6.如权利要求1中要求保护的交互式显示系统（1），其中所述机器可读码包括QR码。
7.如权利要求1中要求保护的交互式显示系统（1），其中所述至少一个控制单元（7）被配置成依据使用所述至少一个传感单元（5）接收到的传感器输入来生成或者获得所述机器可读码，所述机器可读码取决于所述传感器输入。
8.如权利要求7中要求保护的交互式显示系统（1），其中所述至少一个控制单元（7）被配置成根据所述传感器输入确定用户活动水平和/或声级并且依据所述用户活动水平和/或所述声级来生成或者获得所述机器可读码。
9.如前述权利要求中的任何一项中要求保护的交互式显示系统（1），其中，所述至少一个控制单元（7）被配置成依据在预定时间段内检测到的用户动作的所述某个组合来显示所述机器可读码。
10.如权利要求1中要求保护的交互式显示系统（1），其中所述至少一个控制单元（7）被配置成从所述交互式显示系统（1）的用户和/或管理员接收配置输入，所述配置输入定义用户动作的所述组合。
11.如权利要求1中要求保护的交互式显示系统（1），其中所述至少一个传感单元（5）被配置成检测存在、运动、声音和/或环境特性。
12.一种交互式显示系统（1），包括：
至少一个显示单元（3）；
至少一个传感单元（5）；以及
至少一个控制单元（7），其被配置成使用所述至少一个传感单元（5）来检测一个或多个用户动作，依据被检测到的所述一个或多个用户动作来生成或者获得机器可读码，所述机器可读码取决于使用所述至少一个传感单元（5）接收到的传感器输入，以及使用所述至少一个显示单元（3）来显示所述机器可读码。
13. 一种使得能够与交互式显示系统进行交互的方法，包括：
- 使用（61）至少一个传感单元来检测用户动作的某个组合；以及
- 依据被检测到的用户动作的所述某个组合来在至少一个显示单元上显示（63）机器可读码。
14.一种使得能够与交互式显示系统进行交互的方法，包括：
- 使用（91）至少一个传感单元来检测一个或多个用户动作；
- 依据被检测到的所述一个或多个用户动作来生成或者获得（93）机器可读码，所述机器可读码取决于使用所述至少一个传感单元接收到的传感器输入；以及
- 显示（95）所述机器可读码。
15.一种计算机程序或计算机程序套件，其包括至少一个软件代码部分或存储至少一个软件代码部分的计算机程序产品，所述软件代码部分当在计算机系统上运行时，被配置用于使得能够执行权利要求13或14所述的方法。
CN201780079861.5A 2016-12-23 2017-12-14 显示机器可读码的交互式显示系统 Pending CN110073317A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN2016111804 2016-12-23
CNPCT/CN2016/111804 2016-12-23
PCT/EP2017/082751 WO2018114564A1 (en) 2016-12-23 2017-12-14 Interactive display system displaying a machine readable code

Publications (1)

Publication Number Publication Date
CN110073317A true CN110073317A (zh) 2019-07-30

Family

ID=60857056

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780079861.5A Pending CN110073317A (zh) 2016-12-23 2017-12-14 显示机器可读码的交互式显示系统

Country Status (4)

Country Link
US (1) US20190344168A1 (zh)
EP (1) EP3559783A1 (zh)
CN (1) CN110073317A (zh)
WO (1) WO2018114564A1 (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090319181A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Data services based on gesture and location information of device
US20100269072A1 (en) * 2008-09-29 2010-10-21 Kotaro Sakata User interface device, user interface method, and recording medium
US20120158897A1 (en) * 2010-12-15 2012-06-21 Iyer Holdings, Inc. System and method for interactive multimedia products platform
US20140007225A1 (en) * 2011-12-15 2014-01-02 France Telecom Multi-person gestural authentication and authorization system and method of operation thereof
CN103501868A (zh) * 2011-04-28 2014-01-08 微软公司 对分开的计算机游戏元素的控制
US20140214415A1 (en) * 2013-01-25 2014-07-31 Microsoft Corporation Using visual cues to disambiguate speech inputs
US20150011309A1 (en) * 2013-07-03 2015-01-08 Raw Thrills, Inc. QR Code Scoring System
US20150046244A1 (en) * 2012-02-08 2015-02-12 Fairweather Corporation Pty Ltd. Server, Computer Readable Storage Medium, Computer Implemented Method and Mobile Computing Device for Discounting Payment Transactions, Facilitating Discounting Using Augmented Reality and Promotional Offering Using Augmented Reality
CN106796487A (zh) * 2014-07-30 2017-05-31 惠普发展公司，有限责任合伙企业 与表示文件的用户界面元素进行交互

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503720B2 (en) * 2009-05-01 2013-08-06 Microsoft Corporation Human body pose estimation
US9414115B1 (en) * 2014-03-28 2016-08-09 Aquifi, Inc. Use of natural user interface realtime feedback to customize user viewable ads presented on broadcast media
US10346828B2 (en) 2014-11-07 2019-07-09 Paypal, Inc. Payment processing apparatus

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090319181A1 (en) * 2008-06-20 2009-12-24 Microsoft Corporation Data services based on gesture and location information of device
US20100269072A1 (en) * 2008-09-29 2010-10-21 Kotaro Sakata User interface device, user interface method, and recording medium
US20120158897A1 (en) * 2010-12-15 2012-06-21 Iyer Holdings, Inc. System and method for interactive multimedia products platform
CN103501868A (zh) * 2011-04-28 2014-01-08 微软公司 对分开的计算机游戏元素的控制
US20140007225A1 (en) * 2011-12-15 2014-01-02 France Telecom Multi-person gestural authentication and authorization system and method of operation thereof
US20150046244A1 (en) * 2012-02-08 2015-02-12 Fairweather Corporation Pty Ltd. Server, Computer Readable Storage Medium, Computer Implemented Method and Mobile Computing Device for Discounting Payment Transactions, Facilitating Discounting Using Augmented Reality and Promotional Offering Using Augmented Reality
US20140214415A1 (en) * 2013-01-25 2014-07-31 Microsoft Corporation Using visual cues to disambiguate speech inputs
US20150011309A1 (en) * 2013-07-03 2015-01-08 Raw Thrills, Inc. QR Code Scoring System
CN106796487A (zh) * 2014-07-30 2017-05-31 惠普发展公司，有限责任合伙企业 与表示文件的用户界面元素进行交互

Also Published As

Publication number Publication date
EP3559783A1 (en) 2019-10-30
WO2018114564A1 (en) 2018-06-28
US20190344168A1 (en) 2019-11-14

Similar Documents

Publication Publication Date Title
US11609607B2 (en) Evolving docking based on detected keyboard positions
CN104364753B (zh) 用于突出显示活动界面元素的方法
US9658695B2 (en) Systems and methods for alternative control of touch-based devices
CN104272371B (zh) 透明显示设备及其方法
CN106257396A (zh) 用于管理协作环境的计算机实现方法、系统和设备
CN105229582A (zh) 基于近距离传感器和图像传感器的手势检测
CN106055082A (zh) 用于基于事件显示屏幕的装置和方法
CN105573489A (zh) 控制外部对象的电子设备和方法
TW201621852A (zh) 用於提供互動內容之方法及裝置
Baranovski et al. Augmented reality support for self-service automated systems
CN110073317A (zh) 显示机器可读码的交互式显示系统
US20200059603A1 (en) A method of providing information about an object
US20170083952A1 (en) System and method of markerless injection of 3d ads in ar and user interaction
Cafaro et al. Time travelers: mapping museum visitors across time and space
Verma Design of Low Cost Interactive Multi-Touch Table With Rfid Technology for Hotels
Verma et al. Multi-Touch Table With Rfid Technology For Hotels
Davies et al. Interaction Techniques

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190730