CN106055082A - 用于基于事件显示屏幕的装置和方法 - Google Patents

用于基于事件显示屏幕的装置和方法 Download PDF

Info

Publication number
CN106055082A
CN106055082A CN201510809641.6A CN201510809641A CN106055082A CN 106055082 A CN106055082 A CN 106055082A CN 201510809641 A CN201510809641 A CN 201510809641A CN 106055082 A CN106055082 A CN 106055082A
Authority
CN
China
Prior art keywords
display
event
processor
motion
event signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510809641.6A
Other languages
English (en)
Inventor
禹周延
金泓杓
柳贤锡
李俊行
李圭彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106055082A publication Critical patent/CN106055082A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供一种用于基于事件显示屏幕的装置和方法。根据示例性实施例的装置可响应于与对象的运动关联的事件，通过将图形表示叠加在视觉内容上来显示与事件相应的图形表示。

Description

用于基于事件显示屏幕的装置和方法
本申请要求于2015年4月10日提交到韩国知识产权局的第10-2015-0051102号韩国专利申请的优先权，所述韩国专利申请的公开通过引用全部包含于此。
技术领域
与示例性实施例一致的方法和设备涉及一种用于基于事件显示屏幕的装置和方法。
背景技术
随着电子技术的发展，已开发和提供了各种类型的电子装置。近来，电子装置的尺寸被最小化并且功能更加多样化，从而增加了对电子装置的需求。
随着电子装置提供的功能多样化，对显示内容的方法和用户交互的方法的各种需求正在增加。在用户与电子装置之间的这种交互中，需要向用户提供反馈。当用户执行与当前情况或未来情况关联的信息和预定任务时，反馈可向用户提供与预定任务成功还是失败相关的信息。可以以视觉改变和/或声音效果的形式向用户提供反馈。
发明内容
示例性实施例可至少解决以上问题和/或缺点以及以上没有描述的其它缺点。此外，示例性实施例不需要克服以上描述的缺点，并且示例性实施例可不克服以上描述的任何问题。
根据示例性实施例的一方面，提供一种用于基于事件显示屏幕的装置，所述装置包括：事件传感器，被配置为检测多个感测元件中的每个产生的各个事件并输出相应的多个事件信号；处理器，被配置为响应于所述多个事件信号的输出，产生与所述多个事件信号之中的和对象的运动相关的事件信号相应的图形表示；显示器，被配置为显示产生的图形表示。
显示器还可被配置为：显示视觉内容并通过将图形表示叠加在视觉内容上来显示图形表示。
处理器还可被配置为：响应于所述多个事件信号的输出来估计对象的位置，并且响应于对象的运动来改变视觉内容和与视觉内容一起提供的声音内容中的至少一个。
处理器还可被配置为：响应于对象与所述装置之间的距离被确定为小于或等于预定阈值距离，来执行预定操作。
显示器还可被配置为：响应于对象的至少一部分与所述装置之间的距离被确定为小于或等于预定阈值距离，显示与对象的运动相关的事件信号。
处理器还可被配置为确定以下项中的至少一项：图形表示的尺寸、图形表示在显示器上的位置、图形表示的至少一部分的颜色、包括在图形表示中的图形基元的模式、显示图形表示的有效时间间隔以及应用于图形表示的动画效果。
处理器还可被配置为基于从用户接收的输入确定以下项中的至少一项：图形表示的尺寸、图形表示在显示器上的位置、图形表示的至少一部分的颜色、包括在图形表示中的图形基元的模式、显示图形表示的有效时间间隔以及应用于图形表示的动画效果。
显示器还可被配置为：响应于与对象的运动相关的事件信号的输出，异步地显示与和对象的运动相关的事件信号相应的图形基元。
处理器还可被配置为：在预定时间间隔期间累积与对象的运动相关的事件信号并基于所述累积操作产生累积图形表示。
显示器可被配置为响应于以下项中的至少一项终止图形表示的显示：从所述多个事件信号的输出识别的对象的运动与预定运动相应的确定、接收到预定操纵、对象没有位于预定空间中的确定、对象没有位于感测空间中的确定以及对象与装置之间的距离超过阈值距离的确定。
处理器还可被配置为：响应于所述多个事件信号之中的在相对于事件信号的最早输出的时间的有效时间间隔期间的事件信号的输出，产生与在有效时间间隔期间输出的事件信号相应的图形表示，并排除在有效时间间隔之后输出的事件信号。
处理器还可被配置为：响应于所述多个事件信号的输出，识别对象的至少一部分的形状，显示器还可被配置为：将与识别的形状相应的事件信号显示为图形表示。
处理器还可被配置为：响应于所述多个事件信号的输出，识别对象的至少一部分的至少一个形状，当所述至少一个形状包括多个形状时，显示器还可被配置为：将所述多个形状中的至少第一形状显示为与和所述多个形状中的第二形状相应的图形表示不同的图形表示。
处理器还可被配置为：响应于所述多个事件信号的输出，识别对象的至少一部分的属性和形状，显示器还可被配置为：将与识别的形状相应的事件信号显示为基于识别的属性确定的图形表示。
处理器还可被配置为：响应于所述多个事件信号的输出，估计从所述装置至对象的距离以及对象相对于所述装置的位置，并且响应于在预定注视时间之后对象的位置在预定空间内的确定，提供与和对象相应的用户的交互。
处理器还可被配置为：响应于所述多个事件信号的输出，识别对象的运动，确定识别的运动的强度，并执行与识别的运动和强度相应的至少一个操作。
处理器还可被配置为：基于与和对象的运动相关的事件信号相应的地址，确定显示器内显示图形表示的位置。
处理器还可被配置为：估计从装置至对象的距离，并响应于对象的位置的改变，改变视觉内容、与视觉内容一起提供的声音内容和图形表示中的至少一个。
根据示例性实施例的另一方面，还提供一种用于基于事件显示屏幕的方法，所述方法包括：通过检测在包括在图像数据中的多个像素中的每个中产生的各个事件，来输出多个事件信号；响应于所述多个事件信号的输出，产生与所述多个事件信号之中的和对象的运动相关的事件信号相应的图形表示；显示产生的图形表示。
在另一方面，根据一个或多个示例性实施例，提供一种显示设备。所述显示设备包括：传感器，被配置为检测对象的至少一部分的运动并产生与检测的运动相应的信号；处理器，被配置为使用产生的信号产生与检测的运动相应的对象的图形表示；显示器，被配置为显示产生的图形表示。
对象可包括人的身体，对象的所述至少一部分可包括人的头部、脸部、手、手臂和腿部中的至少一个身体部位。传感器还可被配置为：检测第一身体部位的第一运动，并检测与第一身体部位不同的第二身体部位的第二运动；产生与检测的第一运动相应的第一信号并产生与检测的第二运动相应的第二信号。处理器还可被配置为使用第一信号和第二信号来产生人的身体的图形表示。
显示器还可被配置为：与产生的图形表示结合地显示至少一个视觉内容。处理器还可被配置为：使所述至少一个视觉内容的显示基于检测的运动而变化。处理器还可被配置为：使用产生的信号来确定对象与所述显示设备之间的估计距离，并使所述至少一个视觉内容的显示基于确定的估计距离而变化。
在另一方面，根据一个或多个示例性实施例，提供一种用于显示对象的方法。所述方法包括：通过传感器检测对象的至少一部分的运动；产生与检测的运动相应的信号；通过处理器产生与检测的运动相应的对象的图形表示；显示产生的图形表示。
对象可以是人的身体，对象的所述至少一部分可包括人的头部、脸部、手、手臂和腿部中的至少一个身体部位。检测的步骤可包括：检测第一身体部位的第一运动，并检测与第一身体部位不同的第二身体部位的第二运动。产生信号的步骤可包括：产生与检测的第一运动相应的第一信号并产生与检测的第二运动相应的第二信号。产生图形表示的步骤可包括：使用第一信号和第二信号来产生人的身体的图形表示。
所述方法还可包括：与产生的图形表示结合地显示至少一个视觉内容；基于检测的运动改变所述至少一个视觉内容的显示。所述方法还可包括：确定对象与传感器之间的估计距离。改变显示的步骤还可包括：基于确定的估计距离改变所述至少一个视觉内容的显示。
附图说明
从以下结合附图对特定示例性实施例的详细描述，示例性实施例的以上和其它方面将变得清楚且更容易理解，其中：
图1是示出根据示例性实施例的显示与根据对象的运动产生的事件相应的图形表示的示例的示图；
图2和图3是示出根据示例性实施例的用于基于事件显示屏幕的装置的框图；
图4是示出根据示例性实施例的用于基于事件显示屏幕的方法的流程图；
图5是示出根据示例性实施例的基于事件显示的图形表示的示例的示图；
图6是示出根据示例性实施例的用于显示与和对象的运动关联的事件信号相应的图形表示的方法的流程图；
图7是示出根据示例性实施例的对象与装置之间的距离以及对象相对于装置的位置的示图；
图8是示出根据示例性实施例的叠加在视觉内容上的图形表示的示图；
图9是示出根据示例性实施例的内容的形式和图形表示的设置的示例的框图；
图10和图11是示出根据示例性实施例的响应于对象的位置的运动而引起的内容的改变的示图；
图12和图13是示出根据示例性实施例的用于基于对象与装置之间的距离来改变内容的方法的流程图；
图14是示出根据示例性实施例的终止图形表示的显示的方法的流程图；
图15是示出根据示例性实施例的用于响应于多个事件信号的输出而通过识别对象的属性和形状来显示图形表示的方法的流程图；
图16是示出根据示例性实施例的用于基于对象与装置之间的距离提供交互并执行与识别运动相应的操作的方法的流程图；
图17是示出根据另一示例性实施例的用于基于事件显示屏幕的装置的框图；
图18是示出根据示例性实施例的事件分析器的详细配置的框图。
具体实施方式
现在将详细描述示例性实施例，其示例在附图中示出，其中，相同的标号始终表示相同的元件。下面通过参照附图来描述示例性实施例以解释本公开。
提供以下详细描述以帮助读者获得对这里描述的方法、设备和/或系统的全面理解。因此，这里描述的方法、设备和/或系统的各种改变、修改和等同物对于本领域的普通技术人员来说将是清楚的。描述的处理步骤和/或操作的进展是示例；然而，除了必需按特定顺序发生的步骤和/或操作之外，处理步骤和/或操作的顺序不限于这里所阐明的顺序并可如本领域所知的那样改变。此外，为了更加清楚和简明，可省略对公知功能和结构的各自描述。
在本公开中，事件可包括例如光的强度发生改变的事件。例如，可通过被配置为捕捉对象的基于事件的视觉传感器来检测和输出事件。
基于事件的视觉传感器可响应于检测到入射光的强度的改变而时间异步地输出事件信号。例如，当基于事件的视觉传感器的感测元件检测到光的强度增加的事件时，感测元件可输出ON(开启)事件。此外，当基于事件的视觉传感器的感测元件检测到光的强度减小的事件时，感测元件可输出OFF(关闭)事件。
与基于帧的视觉传感器相比，代替以逐帧为基础扫描从每个像素输出的发光二极管，基于事件的视觉传感器可经由感测光的强度改变的感测元件输出事件信号。可因对象的运动或基于事件的视觉传感器的运动而发生光的强度的改变。
例如，当光源随时间流逝实际上固定时，并且当对象不独立发光时，入射到基于事件的视觉传感器的光可包括从光源产生的光和由对象反射的光。当对象、光源和基于事件的视觉传感器不运动时，由静止状态的外部对象反射的光实际上可不改变，因此入射到基于事件的视觉传感器的光的强度可不发生改变。相反地，当对象正在运动时，由运动对象反射的光可基于对象的运动而改变，因此入射到基于事件的视觉传感器的光的强度可发生改变。
响应于对象的运动而输出的事件信号可包括时间异步产生的信息。在该示例中，所述信息可与从视网膜传递到大脑的视神经信号类似。例如，可不针对静止对象产生事件信号，而可响应于检测到运动对象而产生事件信号。
作为示例，当在第三感测元件中光的强度增加至少预定量时，基于事件的视觉传感器可输出指示ON事件的比特和第三感测元件的地址。作为另一示例，当在第四感测元件中光的强度减少至少预定量时，基于事件的视觉传感器可输出指示OFF事件的比特和第四感测元件的地址。在该示例中，每个感测元件的地址可由例如数字、位置和索引来表示。
基于事件的视觉传感器还可输出光的强度发生改变的时间。在该示例中，基于事件的视觉传感器可包括计时器。被配置为处理从基于事件的视觉传感器输出的信号的处理器可接收与时间相应的信息。在另一示例中，基于事件的视觉传感器可不输出光的强度发生改变的时间。在该示例中，处理器可将接收到事件信号的时间点设置为与光的强度发生改变的时间等同。
与基于事件的视觉传感器相比，基于事件的声音传感器可检测由传感器接收的声音的改变，并可将检测的改变作为事件输出。基于事件的声音传感器可响应于检测到接收的声音的改变而时间异步地输出事件信号。例如，当基于事件的声音传感器检测到声音的强度在预定频带中增加的事件时，基于事件的声音传感器可输出与该频带相应的ON事件。此外，当基于事件的声音传感器检测到声音的强度在预定频带中减小的事件时，基于事件的声音传感器可输出与该频带相应的OFF事件。
在另一示例中，基于事件的触摸传感器可检测由传感器感测的触摸的改变，并可将检测的改变作为事件输出。基于事件的触摸传感器可响应于检测到感测的触摸的改变而时间异步地输出事件信号。例如，当基于事件的触摸传感器检测到预定位置中的触摸输入事件时，基于事件的触摸传感器可输出与该预定位置相应的ON事件。此外，当基于事件的触摸传感器检测到预定位置中的触摸释放事件时，基于事件的触摸传感器可输出与该预定位置相应的OFF事件。
在下文中，基于事件的传感器和基于事件的视觉传感器在本公开中还可被称为事件传感器。由于事件传感器应用光的强度改变的感测元件的地址和时间信息，因此处理的信息的量与普通成像相机相比可减少。
图1是示出根据示例性实施例的显示与根据对象的运动产生的事件相应的图形表示的示例的示图。
根据示例性实施例的用于基于事件显示屏幕的装置100显示与对象190相应的图形表示101。例如，如图1中所示，用于基于事件显示屏幕的装置100可检测根据对象的运动产生的事件，并可显示与产生的事件相应的图形表示101。
例如，假设图1的对象190是人，当人或人体的一部分发生运动时，装置100可通过使用事件传感器来检测根据运动的事件，并可显示指示发生运动的人或人的一部分的形状的图形表示101。然而，对象190不限于此。对象190可包括装置外部的所有对象，例如，人、物品和动物。
在本公开中，图形表示101可以是与由事件传感器检测的事件相应的视觉表示，并被显示在电子显示器上。例如，图形表示101可包括至少一个图形基元102，图形基元102可以是指示由事件传感器的单个感测元件检测的单个事件信号的视觉基元。如图1所示，图形表示101可以以一组图形基元102被装置100所显示。
根据示例性实施例，作为针对个体的反馈的与个体相应的图形表示101可被提供。个体可以以与镜子相似的方式经由通过即时响应人的活动而改变的图形表示101来体验新的交互。例如，反馈可以以视觉改变、声音效果或它们的组合的形式被提供。
代替使用普通相机，当事件传感器被用于感测个体(例如，图1的对象190)的运动时，可不发生隐私问题，这是因为图形表示101的使用仅限于个体的形状而没有其它详细属性。此外，因为事件传感器的每个感测元件异步地输出事件信号，因此每个感测元件可在相对低的功耗状态下不断工作。
图2和图3是示出根据示例性实施例的用于基于事件显示屏幕的装置的框图。
如图2所示，用于基于事件显示屏幕的装置100包括事件传感器210、处理器220和显示器230。
事件传感器210检测多个感测元件中的每个产生的各个事件并输出相应的多个事件信号。例如，如上所述，事件传感器210可响应于入射光的强度的改变而时间异步地输出事件信号。事件传感器210可通过嵌入在装置100中或在外围而工作。
此外，事件传感器210可从每个感测元件输出在对象运动时产生的事件信号。每个事件信号可包括产生事件的感测元件的地址和时间信息。根据示例性实施例，当事件信号输出的频率超过阈值时，处理器220可分析事件信号。
处理器220响应于多个事件信号的输出来产生与多个事件信号之中的和对象的运动相关的事件信号相应的图形表示。处理器220可控制显示器230显示产生的图形表示。例如，当从事件信号识别出预定对象或人的形状时，处理器220可确定该预定对象或人的形状是否将以图形表示被显示。根据示例性实施例，处理器220可针对预定身体部位(诸如人的手或脸部)确定图形表示的强度和持续时间是否将被改变以一致地显示图形表示。此外，当从事件信号识别出的对象是预定人或预先定义的对象时，反馈的形状和强度可以以各种方式被确定。
在下文中将提供处理器220的详细操作。
在处理器220的控制下，作为被配置为显示图像的模块的显示器230可被实施为附加的单独模块或者被包括在用于基于事件显示屏幕的装置100中。例如，显示器230可包括屏幕、投影仪、液晶显示器(LCD)和有机发光二极管(OLED)中的任何一个或多个。根据示例性实施例，显示器230可在处理器220的控制下显示内容和图形表示。当显示器230的每秒帧数(FPS)的帧更新值增加时，图形表示可被显示得更自然。根据示例性实施例的装置100可被应用于大屏幕和小屏幕，例如意在用于公共场所的大型显示器(LFD)和意在用于居住空间的电视机(TV)。诸如移动装置和平板电脑的小屏幕可仅显示与人的脸部或手相应的图形表示。
在本公开中，内容可以以各种形式被提供，例如，视觉内容和声音内容。视觉内容可与以视觉形式提供给个体的内容相应，声音内容可与以声音的形式提供给个体的内容相应。例如，内容可包括菜单、背景、向导和视频中的任何一个。
此外，如图3所示，用于基于事件显示屏幕的装置100还可包括声音输出器340和输入接收器350。
声音输出器340可被布置在装置100的附近或被嵌入在装置100中。此外，声音输出器340可被设置在被配置为在处理器220的控制下输出声音的模块中。根据示例性实施例，声音输出器340可在处理器220的控制下输出声音内容。
输入接收器350可被布置在装置100的附近或被嵌入在装置100中。此外，输入接收器350可被设置在被配置为将由个体操纵的模块中。输入接收器350可以以与显示器230组合的触摸显示器的形式被使用。输入接收器350可从个体接收操纵，处理器220可根据接收的操纵来控制显示器230和声音输出器340。例如，处理器220可执行操作以在个体选择主要内容时使图形表示消失，并可控制显示器230执行操作以即使当内容在使用中时也使图形表示根据需要出现。
根据示例性实施例的装置100可使用异步的事件传感器210根据对象的实时运动以与剪影(silhouette)相似的形式将图形表示输出在显示器230上。装置100可通过提供投影到显示器230的与对象相应的图形表示作为实时反馈来提供个体和电子装置之间的交互服务。
根据示例性实施例的装置100可在个体对装置100的控制之前通过经由显示器230以与剪影相似的形状显示图形表示来引导个体的兴趣。此外，装置100可实时显示与个体(例如，人)相应的图形表示和运动对象的图形表示。
图4是示出根据示例性实施例的用于基于事件显示屏幕的方法的流程图。
在操作410，事件传感器检测多个感测元件中的每个产生的各个事件并输出多个事件信号。
在操作420，显示器响应于多个事件信号的输出而显示与多个事件信号之中的和对象的运动关联的事件信号相应的图形表示。例如，在操作420，响应于多个事件信号的输出，与和对象的运动关联的事件信号相应的图形表示可被产生，并且显示器可显示产生的图形表示。以下将参照图6提供显示图形表示的描述。
图5是示出根据示例性实施例的基于事件显示的图形表示520的示例的示图。
显示器可将与对象的运动相应的图形表示520显示在屏幕510上。虽然图5的屏幕510的背景被示出为单色背景，但是这仅是示例。屏幕510的背景可包括活动背景、动画背景和静止图像背景中的任何一个。此外，虽然在图5中未示出，但是屏幕510可包括与图形表示不同的视觉表示。
如图5所示，图形表示520可以以一组图形基元521被显示。虽然图5示出对象(例如，人)的整个剪影以图形表示520被呈现，但是这仅是示例。图形表示520可表示产生运动的对象的一部分或产生运动的对象的整体。
例如，显示器响应于与对象的运动相关的各个事件信号异步地显示与和对象的运动相关的每个事件信号相应的图形基元521。在该示例中，处理器可即时产生各个事件信号作为与各个事件信号相应的相应图形基元521。
在另一示例中，处理器在预定时间间隔期间累积与对象的运动关联的事件信号并基于所述累积产生图形表示520。在该示例中，处理器可通过累积在预定时间间隔期间产生的事件信号来产生事件帧，并且显示器可将事件帧显示为图形表示520。
处理器基于与和对象的运动相关的事件信号相应的地址确定显示器中显示图形表示520的位置。例如，处理器可将每个感测元件的地址映射在显示器上的像素的位置，并且显示器可将与事件信号相应的图形表示520显示在与检测到事件信号的感测元件的地址相应的像素的位置。
在显示器(例如，TV)被关闭的屏幕上，当个体出现或位于预定距离内时，显示器可显示图形表示520来代替显示黑色的屏幕。与图形表示520相关的信息(例如，诸如颜色、形状、尺寸和有效时间间隔的设置)可根据装置(诸如TV)的选项的用户设置而改变。与图形表示520相关的信息、用于将菜单移动到后续内容的方法和与个体识别相应的服务可被同时提供。
图6是示出根据示例性实施例的用于显示与和对象的运动相关的事件信号相应的图形表示的方法的流程图。
前述操作420包括以下操作。
在操作610，显示器显示视觉内容。例如，显示器可在处理器的控制下显示包括例如广告、视频、向导和菜单中的任何一个或多个的视觉内容。不管指示个体是否接近装置的信息，显示器可显示视觉内容。
在操作620，显示器通过将图形表示叠加在视觉内容上来与视觉内容结合地显示图形表示。例如，显示器可响应于事件信号的输出而将对应于事件信号的图形表示与在操作610显示的视觉内容叠加。处理器可确定图形表示相对于视觉内容被透明、半透明或不透明地叠加。
在操作630，处理器响应于多个事件信号的输出而估计对象相对于装置的位置。在本公开中，对象相对于装置的位置可被称为基于装置的相对平面位置。以下将参照图7提供对象相对于装置的位置的详细描述。例如，处理器可基于与由事件传感器输出的事件信号相应的感测元件的地址来估计对象的位置。
在操作640，处理器响应于对象的运动而改变视觉内容和与视觉内容相应的声音内容中的至少一个。例如，当对象的位置改变时，处理器可改变视觉内容和声音内容中的至少一个。以下将参照图10和图11提供对其的详细描述。
图7是示出根据示例性实施例的对象与装置之间的距离以及对象相对于装置的位置的示图。
处理器可在图6的操作630估计对象190相对于装置100的位置，并在图12的操作1210估计装置100与对象190之间的距离702。
虽然图7示出装置100在其上端包括事件传感器210，但是这仅是示例。事件传感器210的尺寸、形状和位置可基于设计而变化。图7中示出的虚线可被称为对象190的运动可被事件传感器210检测的感测空间。
在本公开中，对象190相对于装置100的位置可被称为基于装置100对象190在感测平面710上的平面位置。例如，对象190相对于装置100的位置可指示基于装置100的x-z平面中的位置。事件传感器210可检测对象190的平面位置运动701并使用检测的运动来估计对象190相对于装置100的位置。
在本公开中，装置100与对象190之间的距离702可对应于从装置100至对象190的距离702。例如，装置100与对象190之间的距离702可对应于x-y平面或z-y平面上的距离702。在一个示例中，事件传感器210可被成对提供，并且处理器可通过使用成对的事件传感器210估计从装置100至对象190的距离702。在另一示例中，装置100还可包括深度传感器，并且处理器可通过使用深度传感器估计从装置100至对象190的距离702。然而，对从装置100至对象190的距离702的估计不限于前述内容。可使用用于估计距离702的各种形式的传感器和方案。
图8是示出根据示例性实施例的叠加在视觉内容上的图形表示的示图。
例如，如以上针对操作610所述，显示器可将屏幕上的背景810显示为视觉内容。此外，如以上针对操作620所述，显示器可响应于事件信号的输出，通过叠加与事件信号相应的图形表示820将图形表示820叠加并显示在图8的背景810上。例如，图8的背景810可包括针对果汁的视觉广告。然而，这仅是示例。背景810可包括各种形式的内容。
图9是示出根据示例性实施例的内容的形式和图形表示的设置的示例的框图。
处理器可基于预定参考和/或基于从用户接收的输入确定将被自动显示的图形表示910。例如，处理器确定以下项中的至少一项：图形表示910的尺寸911、图形表示910在显示器上的位置912、图形表示910的至少一部分的颜色913、包括在图形表示910中的图形基元的模式914、显示图形表示910的有效持续时间(这里也被称为“有效时间间隔”)915和将被应用于图形表示910的动画效果916。然而，将由处理器确定的图形表示910的设置不限于前述内容。基于设计所设置的选项的数量可增加或改变。
例如，图形表示910的尺寸911可基于事件传感器的分辨率和显示器的分辨率被确定。在该示例中，事件传感器的分辨率可与包括在事件传感器中的感测元件的数量相应，显示器的分辨率可与显示器可表示的像素的最大数量相应。当事件传感器的分辨率是300×300并且显示器的分辨率是1200×900时，显示器可将在处理器的控制下输出的事件信号显示为比率为1:1的图形表示910，或显示为放大尺寸或缩小尺寸的图形表示910。然而，这仅是示例。确定图形表示910的尺寸911的方法可基于设计而变化。
例如，图形表示910在显示器上的位置912可基于估计的对象的位置被确定。例如，当事件传感器的分辨率小于显示器的分辨率时，显示器可在处理器的控制下将图形表示910显示在显示器的中心或边缘。对图形表示910的位置912的确定可基于例如从用户接收的输入，或基于设计而改变。
图形表示910的颜色913可被预先设置或基于从用户接收的输入被确定。此外，图形表示910的颜色913的整体可以是相同的颜色，或可选择地，图形表示910的颜色913的至少一部分可包括其它颜色。此外，图形表示910的颜色913可基于对象的至少部分属性被确定。例如，当对象是人时，处理器可确定与人的手相应的图形基元是第一颜色，与人的躯干相应的图形基元是第二颜色，与人的脸部相应的图形基元是第三颜色。对图形表示910的颜色913的确定可基于设计而改变。
包括在图形表示910中的图形基元的模式914可被预先设置或者可基于从用户接收的输入被确定。图形基元的模式914可与图形基元的形状、尺寸和颜色相应。例如，图形基元的模式914可包括例如圆形、三角形和矩形的形状以及例如颗粒、雪花和花的形状。
显示图形表示910的有效持续时间915可指示被定义为显示图形表示910的有效时间间隔。处理器响应于多个事件信号之中的在针对事件信号的最早输出的时间的有效持续时间915期间输出的事件信号，产生与在有效持续时间915期间输出的事件信号相应的图形表示910，并排除在有效持续时间915之后输出的事件信号。
将应用于图形表示910的动画效果916可被称为将应用于图形表示910的附加视觉效果。例如，处理器可在图形表示910被产生时应用第一动画效果，并在图形表示910被终止时应用第二动画效果。作为示例，处理器可将渐入(fade-in)应用为第一动画效果并将渐出(fade-out)应用为第二动画效果。第一动画效果和第二动画效果可相同，并且可基于设计使用用于产生、改变和移除图形表示910的各种形式的效果。
内容920可包括视觉内容和声音内容。内容920可包括菜单921、背景922、向导923、视频924和反馈925中的任何一个或多个。出于提供信息、广告和兴趣的各种目的，可为内容提供者提供内容920。然而，内容920的形式不限于前述内容。内容920的形式可基于设计而被添加或改变。
在基于姿势识别的用户界面的情况下，个体可通过经由图形表示910直接注视个体的运动来运动。因此，个体可被提供针对个体的运动的向导923，从而提高姿势识别的准确度。
反馈925可被称为除了与事件信号相应的图形表示910之外提供的内容920的改变或内容920的添加。例如，当对象位于预定位置内时，反馈925可被称为改变将被显示的内容920的操作或者附加显示预定内容的操作。
图10和图11是示出根据示例性实施例的响应于对象的位置的运动引起的内容的改变的示图。
参照图10，示出对象的位置从装置的感测空间的外部移动到内部的情况。根据示例性实施例的装置可通过使用事件传感器来检测被移动到装置的感测空间的第一方位的对象，例如从装置的感测空间的外部移动到内部。装置可显示与响应于和对象的运动对应的事件被产生而输出的事件信号相应的图形表示1020，以移动到第二方位1001，例如，从显示器的外部移动到内部。当对象的位置没有位于感测空间中时，装置可显示初始内容(例如，图10的最左边的图像)来代替开始图形表示1020的显示。
例如，在示例性实施例中，圆形可用作背景视觉内容以指示对象的运动。具体地，如图10所示，随着图形表示1020显示的位置从外部移动到内部，显示器以圆形的形式显示视觉表示，并通过逐渐增加背景1010的每个圆形的尺寸来改变其显示。
当根据对象的运动对象没有位于感测空间中时，不产生新的事件。因此，作为示例，在事件传感器中不输出新的事件信号，并且显示器可终止图形表示1020的显示。显示器可在处理器的控制下，响应于对象与装置之间的距离超过阈值距离的确定或响应于对象没有位于预定空间中的确定，来终止图形表示1020的显示。显示器可终止图形表示1020的显示并显示先前未被改变的初始内容，例如，图10的最左边的图像。
图11也示出对象的位置从装置的感测空间的外部移动到内部的情况。如图11所示，根据示例性实施例的装置的显示器可以在背景1110中以水的形式可变地显示视觉表示，从而当图形表示1120显示的位置从外部移动到内部时，水位看起来逐渐增长。
可使用与图形表示不同的视觉应用效果。例如，处理器可基于图形表示的尺寸或位置改变背景内容，或控制显示器使得当身体(例如，手)的图形表示的全部或一部分运动时诸如波和颗粒的效果(例如，余像效果)存在于图形表示附近。
然而，内容的改变不限于前述内容。处理器可基于设计执行以下操作：控制显示器终止显示内容的操作，响应于对象的位置的运动以各种方法改变内容的操作和产生附加内容的操作。
例如，当对象没有位于感测空间中时，可不产生事件。因此，在该示例中，在事件传感器中不输出新的事件信号并且显示器可终止图形表示1120的显示。显示器可在处理器的控制下，响应于对象与装置之间的距离超过阈值距离的确定或响应于对象没有位于预定空间中的确定，来终止图形表示1120的显示。显示器可终止图形表示1120的显示并显示先前未被改变的初始内容，例如，图11的最左边的图像。
图12和图13是示出根据示例性实施例的用于基于对象与装置之间的距离来改变内容的方法的流程图。
图12是示出用于响应于对象与装置之间的距离的改变来改变视觉内容、声音内容和图形表示中的至少一个的方法的流程图。
在操作1210，处理器估计对象与装置之间的距离。例如，装置可包括成对的事件传感器，并且处理器可通过使用从成对的事件传感器输出的各对事件信号来估计对象与装置之间的距离。在另一示例中，装置可包括深度传感器，并且处理器可通过使用从深度传感器输出的深度信号来估计对象与装置之间的距离。装置可包括用于测量距离或深度的各种类型的传感器，并且处理器可通过使用从传感器输出的信号来估计距离。
在操作1220，处理器响应于估计的对象与装置之间的距离小于或等于预定阈值距离来执行预定操作。预定阈值距离可由用户设置或被预先设置。例如，阈值距离可基于个体注视装置的最大距离的假设被设置。例如，预定操作可包括改变、产生和移除内容和图形表示。处理器可响应于对象与装置之间的距离小于或等于预定阈值距离的确定来控制显示器显示响应事件信号的图形表示作为预定操作。
在操作1230，处理器响应于对象与装置之间的距离的改变来改变视觉内容、与视觉内容一起提供的声音内容和图形表示中的至少一个。例如，估计的对象与装置之间的距离越近，由处理器产生的视觉内容和图形表示的尺寸越大，并且由处理器产生的声音内容的音量越大。此外，估计的对象与装置之间的距离越近，由处理器产生的图形表示相对越暗或越清晰。具体地，当个体被确定(即，被估计)为位于预定距离之内时，处理器可产生图形表示，并且当个体被确定为远离或离开显示器前方的近端位置时，处理器还可移除图形表示。
根据示例性实施例的装置可用于公共场所(诸如，百货商店、旅馆、医院和街道)显示的数字标牌(例如，显示窗口)中。例如，当预定个体接近多个人经过的位置以注视标牌时，图形表示被叠加在显示在显示器上的内容上，从而获得个体的兴趣。
与仅提供信息的传统标牌相比，当上述装置应用于标牌时，可以根据个体是否注视标牌以图形表示的形式提供双向通信。此外，可通过组合双向通信和单向通信使对于根据示例性实施例的装置产生的兴趣的效果最大化，以当个体经过标牌前时通过分析性别和年龄信息并通过输出预定声音效果(例如，问候或致意)来反映可引起用户兴趣的内容。
服务访问频率和时间可通过使用根据除了个体是否存在之外的时间、距离和运动而改变的视觉效果来引起个体的兴趣而增加。此外，通过使用延迟时间相对小的事件传感器，可得到没有延迟的实时反馈。
图13是示出操作1220的示例性方法的流程图。
在操作1310，显示器可响应于对象的至少一部分与装置之间的距离小于或等于预定阈值距离的确定，来显示与对象的运动关联的事件信号。例如，处理器可响应于对象的至少一部分(例如，身体的一部分)与装置之间的距离小于或等于阈值距离的确定，来产生与和对象的运动关联的事件信号相应的图形表示，并且显示器可显示产生的图形表示。
图14是示出根据示例性实施例的用于终止图形表示的显示的方法的流程图。
以下作为示例可描述图4的操作420中的用于终止图形表示的显示的方法。
在操作1410，处理器确定从多个事件信号的输出识别的对象的运动是否与预定运动相应。显示器在处理器的控制下响应于识别的对象的运动与预定运动相应的确定来终止图形表示的显示。例如，当对象是人时，预定运动可包括可终止图形表示的显示的多个运动(例如，摇动手、点头和摆动手臂)中的每个。
在操作1420，处理器确定是否从用户接收到预定操作。例如，显示器可在处理器的控制下响应于接收到预定操作来终止图形表示的显示。预定操作可包括经由输入接收器接收的可终止图形表示的显示的全部操作或输入。
在操作1430，处理器确定当前时间是否在相对于事件信号的初始输出的时间的有效时间间隔期间逝去。例如，处理器排除在有效时间间隔之后输出的事件信号。
在操作1440，处理器确定对象是否没有位于预定空间中。例如，显示器可仅在做出对象位于预定空间中的确定时显示图形表示，并可在对象被确定为没有位于预定空间中时终止图形表示的显示。
在操作1450，处理器确定对象是否没有位于感测空间中。例如，显示器可仅在做出对象位于感测空间中的确定时显示图形表示，并可在对象被确定为没有位于感测空间中时终止图形表示的显示。
在操作1460，处理器确定对象与装置之间的距离是否超过阈值距离。例如，当做出对象与装置之间的距离超过阈值距离的确定时，显示器可终止图形表示的显示。此外，当做出对象与装置之间的距离没有超过阈值距离的确定时，处理器可返回到操作410，并响应于多个事件信号之中的在相对于事件信号的初始输出的时间的有效时间间隔期间输出的事件信号，产生与在有效时间间隔期间输出的事件信号相应的图形表示。
图15是示出根据示例性实施例的响应于多个事件信号的输出而通过识别对象的属性和形状来显示图形表示的方法的流程图。
图15是示出图4的操作420中的用于显示图形表示的另一示例性方法的流程图。
在操作1510，处理器响应于多个事件信号的输出，识别对象的形状的至少一部分。例如，当对象是人时，处理器可识别身体的一部分，例如，人的脸部、手臂和躯干。处理器可基于设计来识别存储在数据库中的形状。例如，当对象是动物时，处理器可识别狗和猫的形状以及作为人的手的一部分的手指的形状。
在操作1520，显示器可将与识别的形状相应的事件信号显示为图形表示。例如，显示器可在操作1521、1522和1523显示与识别的形状相应的图形表示。
例如，在操作1521，显示器可响应于针对对象识别出多个形状的情况而显示多个形状中的至少一个作为不同于和多个形状中的另一形状相应的图形表示的图形表示。例如，显示器可以以第一颜色显示人的手并以第二颜色显示人的脸部。即使在识别出多个形状时，处理器也可产生相同的图形表示。此外，处理器可通过区分图形基元的尺寸、颜色和模式来产生作为另一图形表示的图形表示。
在操作1522，处理器响应于多个事件信号的输出而识别对象的属性的至少一部分。属性的至少一部分是用于对对象的至少一部分(例如，对象的手、脸部、手臂和/或腿部的速度和形状)进行分类的参考。例如，处理器可响应于多个事件信号的输出而估计对象的至少一部分的速度，并识别以第一速度(例如，比参考速度快的速度)运动的第一部分和以第二速度(例如，比参考速度慢的速度)运动的第二部分作为属性。例如，对象的至少一部分的速度可基于在彼此相邻的感测元件中输出事件信号的时间信息的差被确定。可使用通过使用事件信号来估计对象的速度的各种方案，例如，光流估计。
在操作1523，显示器可将与识别的形状相应的事件信号显示为基于识别的属性确定的图形表示。例如，显示器可将以第一速度运动的第一部分显示为第一颜色的图形表示，将以第二速度运动的第二部分显示为第二颜色的图形表示。具体地，处理器还可基于识别的属性确定图形表示的图形基元的尺寸、颜色和模式。
图16是示出根据示例性实施例的用于基于对象与装置之间的距离提供交互并执行与识别运动相应的操作的方法的流程图。
在操作1610，处理器响应于多个事件信号的输出而估计对象相对于装置的位置和对象与装置之间的距离。可基于与图6的操作630相似的方法来估计对象的位置，并可基于与图12的操作1210相似的方法来估计对象与装置之间的距离。
在操作1620，处理器响应于对象在预定注视时间之后位于预定空间内的确定来提供与和对象相应的用户的交互。预定空间可基于设计被设置为个体注视装置的范围内的空间。例如，预定空间可被设置为具有如下体积的空间，在所述体积中，预定区域(例如图7所示的x-z平面中的区域)与被延伸预定距离(例如，根据图7所示的y轴延伸)的显示器的中心相应。注视时间可基于设计而被设置为个体被预期注视装置的时间。交互是响应于与对象的运动关联的事件信号的输出和来自个体的输入通过装置为个体提供的反馈。例如，交互可包括改变和提供以下内容中的任何一个或多个的操作：向导、视频、用于提供信息的菜单、广告和个体的兴趣。当个体在预定时间期间站立时，图形表示可持续改变或可消失。
在操作1630，响应于多个事件信号的输出，处理器识别对象的运动并确定识别的运动的强度。处理器可识别存储在数据库中的运动。例如，运动可包括与根据预定轨迹运动的对象相应的姿势、沿预定轨迹重复运动的姿势和改变对象的形状的姿势。例如，运动的强度可包括运动经过的轨迹的大小、运动重复的次数和运动的持续时间中的任何一个。例如，运动可包括触摸屏幕、指示内容和摇动手的姿势中的任何一个。
在操作1640，处理器执行与识别的运动和强度相应的操作。处理器可针对识别的运动和强度执行用户分配的操作或预先分配的装置的操作。例如，处理器可改变图形表示的颜色或形状以及亮度的强度。处理器还可改变与对象的将被突出的至少一部分(例如，诸如手的预定部分)相应的图形表示。
图17是示出根据另一示例性实施例的用于基于事件显示屏幕的装置1700的框图。
参照图17，用于基于事件显示屏幕的装置1700包括事件传感器210、事件分析器1721、内容控制器1722和显示器230。事件传感器210和显示器230可如以上针对图2描述的那样操作。
事件分析器1721可分析基于从事件传感器210输出的事件信号产生的事件。例如，事件分析器1721可估计对象与装置1700之间的距离，从事件信号识别身体的一部分或脸部，识别运动和强度，并估计对象的位置。例如，事件分析器1721可基于与以上针对图4至图16描述的方法相似的方法分析事件信号。
内容控制器1722可基于分析的事件信号控制内容的显示。例如，内容控制器1722可响应于事件信号的输出而控制显示器显示内容并产生、改变和移除内容。内容控制器1722可基于与以上针对图4至图16描述的方法相似的方法控制内容的显示。
图18是示出根据示例性实施例的事件分析器的详细配置的框图。
事件分析器1721包括距离估计器1810、脸部识别器1820、部分识别器1830、运动/强度识别器1840和对象位置估计器1850。
距离估计器1810可估计对象与装置之间的距离。例如，距离估计器1810可基于与图12的操作1210相似的方案来估计距离。
当对象是人时，脸部识别器1820可识别人的脸部。例如，识别器1820可通过将脸部识别算法应用于已输出的事件信号来识别脸部。基于设计，可应用各种脸部识别算法(诸如神经网络和隐马尔科夫模型(HMM))。
部分识别器1830可识别对象的形状的至少一部分。例如，部分识别器1830可通过使用用于识别预定部分的识别算法来识别对象的形状的一部分。基于设计，可应用各种脸部识别算法(诸如神经网络和隐马尔科夫模型(HMM))。
运动/强度识别器1840可识别运动和运动的强度。例如，运动/强度识别器1840可基于与图16的操作1640相似的方案来识别运动和运动的强度。
对象位置估计器1850可估计对象相对于装置的平面位置。例如，对象位置估计器1850可基于与图6的操作630相似的方案来估计对象的位置。
可通过使用硬件组件、软件组件或其组合来实施这里描述的单元。例如。可通过使用一个或多个通用计算机或专用计算机(诸如，处理器、控制器和算术逻辑单元(ALU))、数字信号处理器、微型计算机、现场可编程阵列(FPA)、可编程逻辑单元(PLU)、微处理器或能够以限定的方式响应和执行指令的任何其它装置来实施处理装置。处理装置可运行操作系统(OS)和运行在OS上的一个或多个软件应用。处理装置还可响应于软件的执行来访问、存储、操纵、处理和创建数据。为了简明的目的，处理装置的描述用作单数；然而，本领域的技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或者处理器和控制器。此外，不同的处理配置(诸如并行处理器)是可行的。
软件可包括计算机程序、代码段、指令或它们的某种组合，以独立地或共同地指示和/或配置处理装置按期望操作，从而将处理装置变换为专用处理器。可以以任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置或者以能够将指令或数据提供到处理装置或被处理装置解释的传播的信号波永久或暂时地实施软件和数据。软件还可分布于联网的计算机系统中，使得以分布方式存储并执行软件。可由一个或多个非暂时性计算机可读记录介质存储软件和数据。
上述示例性实施例可被记录在包括程序指令的非暂时性计算机可读介质中，以实施可由计算机执行的各种操作。介质还可包括单独的数据文件、数据结构等或与程序指令组合的数据文件、数据结构等。记录在介质上的程序指令可以是为了示例性实施例的目的而专门设计和构造的程序指令，或者它们可以是对计算机软件领域的技术人员公知和可用的程序指令。非暂时性计算机可读介质的示例包括：磁介质(诸如硬盘、软盘和磁带)；光学介质(诸如致密盘只读存储器(CD-ROM)盘和数字多功能盘(DVD))；磁光介质(诸如光盘)；和专门配置为存储和执行程序指令的硬件装置(诸如只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括诸如由编译器产生的代码的机器代码和包含可由计算机使用注释器执行的高级代码的文件两者。上述硬件装置可被配置为用作用于执行上述示例性实施例的操作的一个或多个软件模块，或者反之亦然。
尽管已示出并描述了一些示例性实施例，但是本发明构思不限于此。相反，本领域的技术人员将理解，在不脱离本公开的原理和精神的情况下，可对这些示例性实施例做出改变，本公开的范围由权利要求及其等同物限定。

Claims (19)

1.一种用于基于事件显示屏幕的装置，所述装置包括：
事件传感器，被配置为检测多个感测元件中的每个产生的各个事件并输出相应的多个事件信号；
处理器，被配置为响应于所述多个事件信号的输出，产生与所述多个事件信号之中的和对象的运动相关的事件信号相应的图形表示；
显示器，被配置为显示产生的图形表示。
2.如权利要求1所述的装置，其中，显示器还被配置为：显示视觉内容并通过将图形表示叠加在视觉内容上来显示图形表示。
3.如权利要求2所述的装置，其中，处理器还被配置为：响应于所述多个事件信号的输出来估计对象的位置，并且响应于对象的运动来改变视觉内容和与视觉内容一起提供的声音内容中的至少一个。
4.如权利要求1所述的装置，其中，处理器还被配置为：响应于对象与所述装置之间的距离被确定为小于或等于预定阈值距离，来执行预定操作。
5.如权利要求1所述的装置，其中，显示器还被配置为：响应于对象的至少一部分与所述装置之间的距离被确定为小于或等于预定阈值距离，显示与对象的运动相关的事件信号。
6.如权利要求1所述的装置，其中，处理器还被配置为确定以下项中的至少一项：图形表示的尺寸、图形表示在显示器上的位置、图形表示的至少一部分的颜色、包括在图形表示中的图形基元的模式、显示图形表示的有效时间间隔以及应用于图形表示的动画效果。
7.如权利要求6所述的装置，其中，处理器还被配置为基于从用户接收的输入确定以下项中的至少一项：图形表示的尺寸、图形表示在显示器上的位置、图形表示的至少一部分的颜色、包括在图形表示中的图形基元的模式、显示图形表示的有效时间间隔以及应用于图形表示的动画效果。
8.如权利要求1所述的装置，其中，显示器还被配置为：响应于与对象的运动相关的事件信号的输出，异步地显示与和对象的运动相关的事件信号相应的图形基元。
9.如权利要求1所述的装置，其中，处理器还被配置为：在预定时间间隔期间累积与对象的运动相关的事件信号并基于所述累积操作产生累积图形表示。
10.如权利要求1所述的装置，其中，显示器还被配置为响应于以下项中的至少一项终止图形表示的显示：从所述多个事件信号的输出识别的对象的运动与预定运动相应的确定、接收到预定操纵、对象没有位于预定空间中的确定、对象没有位于感测空间中的确定以及对象与所述装置之间的距离超过阈值距离的确定。
11.如权利要求1所述的装置，其中，处理器还被配置为：响应于所述多个事件信号之中的在相对于事件信号的最早输出的时间的有效时间间隔期间的事件信号的输出，产生与在有效时间间隔期间输出的事件信号相应的图形表示，并排除在有效时间间隔之后输出的事件信号。
12.如权利要求1所述的装置，其中，处理器还被配置为：响应于所述多个事件信号的输出，识别对象的至少一部分的形状，其中，显示器还被配置为：将与识别的形状相应的事件信号显示为图形表示。
13.如权利要求1所述的装置，其中，处理器还被配置为：响应于所述多个事件信号的输出，识别对象的至少一部分的至少一个形状，其中，当所述至少一个形状包括多个形状时，显示器还被配置为：将所述多个形状中的至少第一形状显示为与和所述多个形状中的第二形状相应的图形表示不同的图形表示。
14.如权利要求1所述的装置，其中，处理器还被配置为：响应于所述多个事件信号的输出，识别对象的至少一部分的属性和形状，其中，显示器还被配置为：将与识别的形状相应的事件信号显示为基于识别的属性确定的图形表示。
15.如权利要求1所述的装置，其中，处理器还被配置为：响应于所述多个事件信号的输出，估计从所述装置至对象的距离以及对象相对于所述装置的位置，并且响应于在预定注视时间之后对象的位置在预定空间内的确定，提供与和对象相应的用户的交互。
16.如权利要求1所述的装置，其中，处理器还被配置为：响应于所述多个事件信号的输出，识别对象的运动，确定识别的运动的强度，并执行与识别的运动和强度相应的至少一个操作。
17.如权利要求1所述的装置，其中，处理器还被配置为：基于与和对象的运动相关的事件信号相应的地址，确定显示器内显示图形表示的位置。
18.如权利要求1所述的装置，其中，处理器还被配置为：估计从所述装置至对象的距离，并响应于对象的位置的改变，改变视觉内容、与视觉内容一起提供的声音内容和图形表示中的至少一个。
19.一种用于基于事件显示屏幕的方法，所述方法包括：
通过检测在包括在图像数据中的多个像素中的每个中产生的各个事件，来输出多个事件信号；
响应于所述多个事件信号的输出，产生与所述多个事件信号之中的和对象的运动相关的事件信号相应的图形表示；
显示产生的图形表示。
CN201510809641.6A 2015-04-10 2015-11-20 用于基于事件显示屏幕的装置和方法 Pending CN106055082A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150051102A KR20160121287A (ko) 2015-04-10 2015-04-10 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
KR10-2015-0051102 2015-04-10

Publications (1)

Publication Number Publication Date
CN106055082A true CN106055082A (zh) 2016-10-26

Family

ID=55650283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510809641.6A Pending CN106055082A (zh) 2015-04-10 2015-11-20 用于基于事件显示屏幕的装置和方法

Country Status (4)

Country Link
US (1) US10373357B2 (zh)
EP (1) EP3079042B1 (zh)
KR (1) KR20160121287A (zh)
CN (1) CN106055082A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106709895A (zh) * 2015-11-16 2017-05-24 三星电子株式会社 图像生成方法和设备
CN108600659A (zh) * 2017-03-08 2018-09-28 三星电子株式会社 事件检测装置
CN109407824A (zh) * 2018-08-30 2019-03-01 百度在线网络技术（北京）有限公司 人体模型的同步运动方法与装置
CN112007348A (zh) * 2018-05-29 2020-12-01 库里欧瑟产品公司 用于交互式训练和演示的反射视频显示设备及其使用方法
US11167172B1 (en) 2020-09-04 2021-11-09 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors
US11465030B2 (en) 2020-04-30 2022-10-11 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11529025B2 (en) 2012-10-11 2022-12-20 Roman Tsibulevskiy Technologies for computing

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017035025A1 (en) * 2015-08-21 2017-03-02 T1V, Inc. Engagement analytic system and display system responsive to user's interaction and/or position
KR20170059163A (ko) * 2015-11-20 2017-05-30 삼성전자주식회사 전자 장치 및 그의 동작 방법
CN107037955A (zh) * 2016-10-24 2017-08-11 阿里巴巴集团控股有限公司 一种显示图像信息的方法及装置
KR102605332B1 (ko) * 2016-11-02 2023-11-23 주식회사 넥슨코리아 컨텐츠 제공 장치 및 방법
KR102523510B1 (ko) * 2017-09-28 2023-04-18 애플 인크. 이벤트 카메라를 이용한 정적 이미지들의 생성
KR102532426B1 (ko) * 2018-06-25 2023-05-15 삼성전자주식회사 사용자의 위치에 기반하여 발광 소자를 이용한 시각적 효과를 제공하는 전자 장치 및 그에 관한 방법
US11500454B2 (en) * 2020-12-29 2022-11-15 Snap Inc. Body UI for augmented reality components
EP4272406A1 (en) 2020-12-29 2023-11-08 Snap Inc. Body ui for augmented reality components
US20230008651A1 (en) * 2021-07-07 2023-01-12 Rohde & Schwarz Gmbh & Co. Kg Jitter determination method and measurement instrument

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582567A (zh) * 2001-06-05 2005-02-16 瑞克楚斯系统公司 交互式视频显示系统
KR20060101071A (ko) * 2005-03-19 2006-09-22 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
CN103100193A (zh) * 2011-11-15 2013-05-15 索尼公司 图像处理装置、图像处理方法和程序
CN103516946A (zh) * 2012-06-19 2014-01-15 三星电子株式会社 基于事件的图像处理设备和方法
US20140118259A1 (en) * 2012-11-01 2014-05-01 Pantech Co., Ltd. Portable device and method for providing user interface thereof
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法
EP2767889A1 (en) * 2011-10-14 2014-08-20 Samsung Electronics Co., Ltd. Apparatus and method for recognizing motion by using event-based vision sensor

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080079459A (ko) 2007-02-27 2008-09-01 엠텍비젼 주식회사 피사체 움직임 감지 장치 및 그 방법
EP2255339A1 (en) 2008-03-10 2010-12-01 Koninklijke Philips Electronics N.V. Method and apparatus for modifying a digital image
KR20110111662A (ko) 2010-04-05 2011-10-12 한국전자통신연구원 객체 형태 검출을 위한 배경 모델링 방법
KR101903637B1 (ko) 2011-02-10 2018-10-04 엘지전자 주식회사 전자 장치 및 채널맵 서비스 제공 방법
JP5816069B2 (ja) 2011-12-07 2015-11-17 ダンロップスポーツ株式会社 シルエット補正方法及びシルエット補正システム
EP2672386A3 (en) 2012-06-08 2016-07-20 Samsung Electronics Co., Ltd Apparatus and method for processing asynchronous event information
KR101414362B1 (ko) 2013-01-30 2014-07-02 한국과학기술원 영상인지 기반 공간 베젤 인터페이스 방법 및 장치
KR102068552B1 (ko) 2013-05-29 2020-01-21 삼성전자주식회사 동작 인식을 위한 센싱 장치 및 그 방법
JP2015114757A (ja) * 2013-12-10 2015-06-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2015127897A (ja) * 2013-12-27 2015-07-09 ソニー株式会社 表示制御装置、表示制御システム、表示制御方法、およびプログラム
JP5870993B2 (ja) * 2013-12-27 2016-03-01 トヨタ自動車株式会社 車両用情報表示装置及び車両用情報表示方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1582567A (zh) * 2001-06-05 2005-02-16 瑞克楚斯系统公司 交互式视频显示系统
KR20060101071A (ko) * 2005-03-19 2006-09-22 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
CN102129152A (zh) * 2009-12-21 2011-07-20 微软公司 具有集成vcsel阵列的深度投影仪系统
EP2767889A1 (en) * 2011-10-14 2014-08-20 Samsung Electronics Co., Ltd. Apparatus and method for recognizing motion by using event-based vision sensor
CN103100193A (zh) * 2011-11-15 2013-05-15 索尼公司 图像处理装置、图像处理方法和程序
CN103516946A (zh) * 2012-06-19 2014-01-15 三星电子株式会社 基于事件的图像处理设备和方法
US20140118259A1 (en) * 2012-11-01 2014-05-01 Pantech Co., Ltd. Portable device and method for providing user interface thereof
CN103813156A (zh) * 2012-11-02 2014-05-21 三星电子株式会社 运动传感器阵列装置和深度感测系统及使用其的方法

Cited By (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11882967B2 (en) 2012-10-11 2024-01-30 Roman Tsibulevskiy Technologies for computing
US11529025B2 (en) 2012-10-11 2022-12-20 Roman Tsibulevskiy Technologies for computing
CN106709895B (zh) * 2015-11-16 2022-03-01 三星电子株式会社 图像生成方法和设备
CN106709895A (zh) * 2015-11-16 2017-05-24 三星电子株式会社 图像生成方法和设备
CN108600659A (zh) * 2017-03-08 2018-09-28 三星电子株式会社 事件检测装置
CN108600659B (zh) * 2017-03-08 2022-04-08 三星电子株式会社 事件检测装置
US11752416B2 (en) 2018-05-29 2023-09-12 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11759693B2 (en) 2018-05-29 2023-09-19 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11890524B2 (en) 2018-05-29 2024-02-06 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11135504B1 (en) 2018-05-29 2021-10-05 Curiouser Products, Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
USD982032S1 (en) 2018-05-29 2023-03-28 Curiouser Products Inc. Display screen or portion thereof with graphical user interface
US11883732B2 (en) 2018-05-29 2024-01-30 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11173377B1 (en) 2018-05-29 2021-11-16 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11173378B2 (en) 2018-05-29 2021-11-16 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11179620B2 (en) 2018-05-29 2021-11-23 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11219816B2 (en) 2018-05-29 2022-01-11 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11253770B2 (en) 2018-05-29 2022-02-22 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11117039B2 (en) 2018-05-29 2021-09-14 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11117038B2 (en) 2018-05-29 2021-09-14 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11298606B2 (en) 2018-05-29 2022-04-12 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11872467B2 (en) 2018-05-29 2024-01-16 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11623129B2 (en) 2018-05-29 2023-04-11 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11383146B1 (en) 2018-05-29 2022-07-12 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11383148B2 (en) 2018-05-29 2022-07-12 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11383147B2 (en) 2018-05-29 2022-07-12 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11400357B2 (en) 2018-05-29 2022-08-02 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11872469B2 (en) 2018-05-29 2024-01-16 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
USD1006821S1 (en) 2018-05-29 2023-12-05 Curiouser Products Inc. Display screen or portion thereof with graphical user interface
US11833410B2 (en) 2018-05-29 2023-12-05 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11110336B2 (en) 2018-05-29 2021-09-07 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11135505B2 (en) 2018-05-29 2021-10-05 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11813513B2 (en) 2018-05-29 2023-11-14 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11376484B2 (en) 2018-05-29 2022-07-05 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11786798B2 (en) 2018-05-29 2023-10-17 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11771978B2 (en) 2018-05-29 2023-10-03 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11679318B2 (en) 2018-05-29 2023-06-20 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11697056B2 (en) 2018-05-29 2023-07-11 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11701566B2 (en) 2018-05-29 2023-07-18 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11123626B1 (en) 2018-05-29 2021-09-21 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11712614B2 (en) 2018-05-29 2023-08-01 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11717739B2 (en) 2018-05-29 2023-08-08 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11731026B2 (en) 2018-05-29 2023-08-22 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
CN112007348A (zh) * 2018-05-29 2020-12-01 库里欧瑟产品公司 用于交互式训练和演示的反射视频显示设备及其使用方法
US11138743B2 (en) 2018-08-30 2021-10-05 Baidu Online Network Technology (Beijing) Co., Ltd. Method and apparatus for a synchronous motion of a human body model
CN109407824A (zh) * 2018-08-30 2019-03-01 百度在线网络技术（北京）有限公司 人体模型的同步运动方法与装置
US11497980B2 (en) 2020-04-30 2022-11-15 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11465030B2 (en) 2020-04-30 2022-10-11 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11986721B2 (en) 2020-04-30 2024-05-21 Curiouser Products Inc. Reflective video display apparatus for interactive training and demonstration and methods of using same
US11633661B2 (en) 2020-09-04 2023-04-25 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors, and smart weight integration
US11819751B2 (en) 2020-09-04 2023-11-21 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors
US11707664B2 (en) 2020-09-04 2023-07-25 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors
US11633660B2 (en) 2020-09-04 2023-04-25 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors, and smart weight integration
US11351439B2 (en) 2020-09-04 2022-06-07 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors, and smart weight integration
US11433275B2 (en) 2020-09-04 2022-09-06 Curiouser Products Inc. Video streaming with multiplexed communications and display via smart mirrors
US11167172B1 (en) 2020-09-04 2021-11-09 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors
US11602670B2 (en) 2020-09-04 2023-03-14 Curiouser Products Inc. Video rebroadcasting with multiplexed communications and display via smart mirrors

Also Published As

Publication number Publication date
EP3079042A1 (en) 2016-10-12
US10373357B2 (en) 2019-08-06
EP3079042B1 (en) 2020-06-24
US20160300374A1 (en) 2016-10-13
KR20160121287A (ko) 2016-10-19

Similar Documents

Publication Publication Date Title
CN106055082A (zh) 用于基于事件显示屏幕的装置和方法
US10228763B2 (en) Gaze direction mapping
CN105339868B (zh) 基于眼睛跟踪的视觉增强
CN103649874B (zh) 使用眼睛跟踪隐形镜片的接口
US9224237B2 (en) Simulating three-dimensional views using planes of content
CN104272371B (zh) 透明显示设备及其方法
CN101810003B (zh) 增强的基于相机的输入
CN103270537B (zh) 图像处理设备、图像处理方法和程序
CN108885492A (zh) 虚拟对象路径控制
US20210158622A1 (en) Three dimensional image display in augmented reality and application setting
US10331209B2 (en) Gaze direction mapping
KR20210088601A (ko) 상태 인식 방법, 장치, 전자 디바이스 및 기록 매체
US11620792B2 (en) Fast hand meshing for dynamic occlusion
KR20230043070A (ko) 아이템을 가상으로 시험 착용하기 위한 기술
CN109815854A (zh) 一种用于在用户设备上呈现图标的关联信息的方法与设备
EP3244293B1 (en) Selection option information presentation system and method
US11269405B2 (en) Gaze direction mapping
CN110073317A (zh) 显示机器可读码的交互式显示系统
EP4334805A1 (en) Curated contextual overlays for augmented reality experiences
KR20240009974A (ko) 증강 현실 경험들을 위한 가상 가이드 피트니스 루틴들
US20120121123A1 (en) Interactive device and method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination