CN106133644A - 使投影用户界面协调 - Google Patents

使投影用户界面协调 Download PDF

Info

Publication number
CN106133644A
CN106133644A CN201480077638.3A CN201480077638A CN106133644A CN 106133644 A CN106133644 A CN 106133644A CN 201480077638 A CN201480077638 A CN 201480077638A CN 106133644 A CN106133644 A CN 106133644A
Authority
CN
China
Prior art keywords
user interface
projected
character
user
animation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480077638.3A
Other languages
English (en)
Other versions
CN106133644B (zh
Inventor
大卫·德利昂
M·米德霍特
O·索恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106133644A publication Critical patent/CN106133644A/zh
Application granted granted Critical
Publication of CN106133644B publication Critical patent/CN106133644B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1662—Details related to the integrated keyboard
    • G06F1/1673—Arrangements for projecting a virtual keyboard
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2291/00—Indexing codes associated with group G01N29/00
    • G01N2291/02—Indexing codes associated with the analysed material
    • G01N2291/028—Material parameters
    • G01N2291/02827—Elastic parameters, strength or force
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供一种用于调整投影用户界面的性质的投影装置。所述装置确定用户界面被投影到的表面的至少一种性质。基于投影用户界面被投影到的表面的至少一种性质来改变投影用户界面的性质。

Description

使投影用户界面协调
技术领域
本发明涉及用于投影用户界面的系统，并且更特别地，涉及用于利用用户界面被投影到的表面的物理性质使投影用户界面协调(harmonizing)的方法和系统。
背景技术
个人计算装置开始结合被投影到外表面上的用户界面。当前系统允许用户通过在投影用户界面之上移动他们的手指以借助用户界面选择键并且输入命令，与投影用户界面交互。
发明内容
当前投影用户界面的限制在于，不基于用户界面被投影到的表面的性质来调节投影用户界面。也就是说，以相同方式投影相同用户界面，而不管例如表面的颜色/图案化、表面的软度或硬度等。
本公开描述了一种基于投影用户界面被投影到的表面的至少一种性质来调整投影用户界面的性质的方法。
根据本公开的一方面，提供了一种用于基于投影用户界面被投影到的表面的至少一种性质调整投影用户界面的性质的方法。该方法包括：确定所述表面的至少一种性质；基于表面的所确定的至少一种性质来确定相关用户界面设置；以及将所确定的相关用户界面设置应用至所述投影用户界面，使得根据所确定的用户界面设置改变所述投影用户界面的性质。
另选地或另外地，由于与所述投影用户界面的用户交互导致投影用户界面的被改变的性质影响所述投影用户界面的更新。
另选地或另外地，所述表面的至少一种性质是所述表面的着色、所述表面的纹理、所述表面的可变形性、所述表面的取向、所述表面的硬度、或所述表面的形貌中的至少一个。
另选地或另外地，在与所述投影用户界面的用户交互期间，测量所述表面的至少一种性质。
另选地或另外地，所述投影用户界面被更新，使得所述投影用户界面的动画或声音效果中的至少一个看起来与所述表面的至少一种性质匹配。
另选地或另外地，应用所确定的相关用户界面设置，使得所述投影用户界面看起来跨所述表面的颜色变化大体是均匀的或者使得尽管存在所述表面的颜色变化，但是所述投影用户界面与所述表面之间的对比度跨所述表面是大体不变的。
另选地或另外地，使用相机来确定所述表面的至少一种性质。
另选地或另外地，所述相机在用户输入期间测量所述投影用户界面的视觉畸变中的至少一个，以确定所述表面的可变形性或者所述表面的着色。
另选地或另外地，所述相机通过在与所述投影用户界面的用户交互期间分析所述投影用户界面的变形，在用户输入期间测量所述投影用户界面的视觉畸变。
另选地或另外地，使用声学传感器来确定所述表面的至少一种性质并且基于通过用户与所述表面的交互产生的声音来确定所述表面的至少一种性质。
另选地或另外地，使用所述声学传感器测量的所述表面的至少一种性质是所述表面的材料类型或所述表面的硬度中的至少一个。
另选地或另外地，使用用户佩戴装置来确定所述表面的至少一种性质。
另选地或另外地，所述用户佩戴装置包括被构造成在与所述投影用户界面的交互期间捕获用户移动的测量值(measurements)的加速计或陀螺仪中的至少一个。
另选地或另外地，处理器分析所捕获的测量值，以确定所述表面的硬度或所述表面的可变形性中的至少一个。
另选地或另外地，基于所述投影用户界面的地理位置坐标来确定所述表面的至少一种性质。
另选地或另外地，使用近场通信、蓝牙、地理围栏、室内Wi-Fi定位、或GPS中的至少一个来确定所述投影用户界面的地理位置坐标。
另选地或另外地，用户手动地选择用于所述表面的相关用户界面设置，并且标记(tag)用户的当前位置，使得所选择的相关用户界面设置被自动选择为针对在所述当前位置处投影的用户界面的相关用户界面设置。
另选地或另外地，如果确定所述表面是可变形的，则更新所述投影用户界面以增加所述投影用户界面的元素的大小。
另选地或另外地，在可较少变形表面上，被按压的按钮导致硬表面动画。在可较多变形表面上，被按压的按钮导致软表面动画。
另选地或另外地，以下中的至少一个：所述硬表面动画导致所述用户界面的元素比所述软表面动画跳得更高或者所述硬表面动画是硬滚动动画，硬滚动动画表现得与软滚动动画的不同之处在于以下中的至少一个：响应更快、滚动更快、或在更长时间内滚动。
根据本公开的另一方面，提供了一种用于将用户界面投影到表面上并且用于基于所述表面的至少一种性质调整所述投影用户界面的性质的投影装置。该装置包括投影仪、传感器和处理器。所述投影仪被构造成将所述用户界面投影到所述表面上。所述传感器被构造成确定所述表面的至少一种性质。所述处理器被构造成基于所述表面的所确定的至少一种性质来确定相关用户界面设置并且控制由所述投影仪投影的用户界面，使得根据所确定的用户界面设置改变所述投影用户界面的性质。
根据本公开的其它方面，提供了一种用于将用户界面投影到表面上并且用于基于所述表面的至少一种性质来调整所述投影用户界面的性质的系统。该系统包括所述投影装置和与所述投影装置通信的计算装置。
另选地或另外地，所述计算装置包括所述投影装置。
在本文中关于本公开的实施方式描述多个特征。关于给定实施方式描述的特征可以结合其它实施方式被采用。
为了更好地理解本公开连同本公开的其它和另外方面，结合附图对以下描述作出参考。本公开的范围在所附权利要求中阐述，所附权利要求详细阐述了特定示例性实施方式。然而，这些实施方式仅表示可采用本公开的原理的多种方式中的几个。
附图说明
图1是表示包括投影装置的投影系统的架构的框图。
图2A示出被投影到具有均匀外观的表面上的用户界面。
图2B示出被投影到具有非均匀外观的表面上的用户界面。
图3是表示用于调整投影用户界面的性质的方法的操作的流程图。
图4A示出被投影到不可变形表面上的用户界面。
图4B示出被投影到可变形表面上的用户界面。
具体实施方式
现在，参照附图详细地描述本发明。在附图中，具有参考标号的每个元件类似于具有相同参考标号的其它元件，与跟在参考标号之后的任何字母标识无关。在文本中，具有跟在参考标号之后的特定字母标识的参考标号是指具有数字和字母标识的特定元件并且不具有特定字母标识的参考标号是指具有相同参考标号的所有元件，与附图中的跟在参考标号之后的任何字母标识无关。
应该理解，本说明书中论述的很多元件可以在硬件电路、执行在处理器可访问的计算机可读媒体内编码的软件代码或指令的处理器、或执行在计算机可读媒体内编码的机器可读代码的集成电路的处理器或控制块的组合来实现。如此，除非另外指明，否则术语“电路”、“模块”、“服务器”、“应用”、或整个说明书中使用的元件的其它等同描述旨在涵盖硬件电路(无论是分立元件还是集成电路块)、执行在计算机可读媒体中编码的代码的处理器或控制块、或硬件电路和执行这样的代码的处理器和/或控制块的组合。
本公开提供了用于调整投影用户界面的性质的投影装置。该装置确定用户界面被投影到的表面的至少一种性质。基于投影用户界面被投影到的表面的至少一种性质来改变投影用户界面的性质。
通过使在下表面的属性与投影用户界面协调，可以产生表面和投影用户界面被体验为一个物体的更有凝聚力体验。通过用在下表面的物理性质协调用户界面，可以将那些性质转移到用户界面，从而使得用户有更丰富的体验。
在图1中示出包括投影装置10和计算装置40的示例性投影系统8。示例性投影装置10可以被包括作为计算装置的一部分。另选地，如图1中所示，投影装置10可以与计算装置40分离。投影装置10包括投影仪12、传感器14和处理器16。传感器14被构造成确定用户界面被投影仪12投影到的表面的至少一种性质。处理器16基于由传感器14确定的表面的至少一种性质，确定相关用户界面设置。然后，处理器16控制由投影仪12投影的用户界面，使得投影用户界面的性质根据所确定的用户界面设置被改变。例如，可以使用模拟在表面上跳动的元素的性质的动画来投影用户界面。在该示例中，如果传感器14确定表面是硬表面，则可以使用硬表面动画来投影用户界面。在硬表面动画中，用户界面的元素通过相同元素比在较软表面上跳得更高来模拟真实世界物体的行为。
如上所述，投影装置10可以被包括作为计算装置40的一部分或与计算装置40通信。例如，投影装置10可以被包括作为移动电话、平板计算机、移动PC、膝上型计算机、手持游戏装置、桌上型PC、游戏控制台、或任何其它合适的电子装置的一部分或者与其一起使用。如果投影装置10是与计算装置40通信的单独装置，则投影装置10上的通信接口18和计算装置40上的通信接口46可以用于在其间建立有线或无线操作界面。如本领域普通技术人员将理解的，投影装置10和计算装置40的通信接口18、46可以包括USB接口、无线网络适配器、以太网卡、蓝牙适配器、近场通信(NFC)适配器、红外通信适配器、射频通信接口、或提供投影装置10和计算装置40之间的通信信道的任何合适装置。
投影装置10的通信接口18可以可通信地联接至计算机可读介质20，使得通信接口18能够将存储在计算机可读介质20上的数据发送到计算装置40。通信接口18还可以可通信地联接到处理器16，使得处理器16能够控制通信接口18的操作。
计算装置40可以另外包括处理器42和非暂时性计算机可读介质44。如以上关于投影装置10描述的，通信接口46可以可通信地联接到计算机可读介质44和处理器42。
如上所述，检测装置10包括用于确定用户界面被投影到的表面的至少一种性质的传感器。传感器14可以包括相机、声学传感器、超声传感器、光谱仪、陀螺仪、加速计、和/或适于确定表面的至少一种性质的任何其它装置。例如，传感器14可以是用于确定以下中的至少一个的相机：(1)用于确定表面的可变形性的用户输入期间的投影用户界面的视觉失真或(2)表面的着色。以下关于图2A和图2B和图4A和图4B描述这些示例。
转到图2A和图2B，示出示例性投影用户界面60被投影到两个不同表面上。在图2A中，用户界面60a已经被投影到具有大体均匀颜色和纹理的表面64a上。在图2B中，相同用户界面60已经被投影到具有非均匀着色表面64的表面64b上。在这两个示例中，传感器14被用于确定表面着色。如本领域普通技术人员将理解的，表面着色可以指表面的颜色以及表面上的阴影、反射率、影子猫、或影响表面64的外观的表面64的任何其它光学性质。
如图2B中所示，投影用户界面60已经被调节，使得投影用户界面60不由于表面64b的光学性质的变化导致跨表面的对比度显著变化。在该示例中，与表面64b的较亮区域64b-2相比，投影用户界面60b(即，键盘)的暗度在较暗区域64b-1中已经增加，使得投影用户界面60与表面64之间的对比度跨投影用户界面60是相对不变的。不需要调节投影用户界面60使得跨用户界面60的对比度是不变的，而是可以调节投影用户界面60，使得对比度跨投影用户界面60充分区分投影用户界面60与表面64。当在该示例中根据表面64的局部性质调节投影用户界面60使其更暗时，还可调节投影界面60使其更亮，以实现表面64与投影用户界面60之间的充分对比度。对投影用户界面60的调节可以包括投影用户界面60的颜色和亮度。以下在图3的流程图中描述对投影用户界面60的调节。
可以调节投影用户界面60，使得尽管存在表面中的颜色变化，但是投影用户界面与表面之间的对比度跨表面是大体不变的。大体不变可以指投影用户界面与表面之间的对比度跨表面不改变多于5％、10％、20％、25％或50％。大体不变还可以指观看被投影到表面上的用户界面的用户体验到的投影用户界面与表面之间的视在对比度。
如本领域普通技术人员将理解的，表面64的着色可以指用户界面60被投影到的表面64的亮度、色调、强度、和/或颜色。表面64的着色可能受表面64的性质以及入射在表面64上的环境光或由表面64发射的光影响。
图3示出用于基于投影用户界面60被投影到的表面64的至少一种性质来调整投影用户界面60的性质的方法100。在处理框102中，确定用户界面60被投影到的表面64的至少一种性质。如上所述，这可以使用投影装置10的传感器14来确定。表面64的至少一种性质可以是表面64的着色、表面64的纹理、表面64的可变形性、表面64的取向、表面64的斜率、表面64的硬度、或表面64的形貌中的至少一个。在与投影用户界面60的用户交互期间，可以测量表面64的至少一种性质。另选地，当用户不与投影用户界面60交互时，可以测量表面64的至少一种性质。
在一持续时间内，表面64的至少一种性质可以是不变的。例如，在给定位置处的表面64的可变形性可以不随时间而改变。另选地，在给定位置处的表面64的至少一种性质可以随时间变化。例如，在图2B中，表面64b-1的阴影可以由表面64附近的照明导致。如本领域普通技术人员将理解的，入射在表面64上的光可以随时间而变化。在该情况下，可以及时地监测表面64的至少一种性质，使得以指定间隔或连续地重复方法100中的步骤，以基于影响入射在表面64上的光的当前条件来更新投影用户界面60。
表面64的至少一种性质还可以在投影装置10的位置改变时被改变。例如，如果用户拾取装置10并且移动到新位置(即，具有不同性质的表面64)，则需要再次确定表面64的至少一种性质。在该示例中，投影装置10可以包括用于检测装置10何时移动的定位器22或另选传感器(诸如，用于陀螺仪的加速计)。在检测到移动时，可以重新开始方法100，以确定表面64的至少一种性质并且基于所确定的至少一种性质来调节用户界面设置。
在处理框104中，基于在处理框102中确定的表面64的至少一种性质来确定相关用户界面设置。例如，如果确定表面64是可变形的，则相关用户界面设置可以是用户界面元素的大小。可以确定用户界面元素的大小，使得投影用户界面60被更新，以增加投影用户界面60的元素的大小。
返回到图2B中的示例，所确定的相关用户界面设置可以是投影用户界面60的不同区域的颜色和/或强度。在该示例中，可以应用所确定的相关用户界面设置，使得投影用户界面60看起来跨表面64的颜色变化是大体均匀的或者使得跨表面64的投影用户界面60的对比度大于预定阈值。
在一个示例中，具有红色的用户界面60被投影到具有绿色部分和蓝色部分的表面64上。如果不调节投影用户界面60的颜色，则与表面64的蓝色部分相比，投影用户界面60在表面64的绿色部分中看起来不同。在该示例中，与投影到表面64的绿色部分上的用户界面60的颜色和亮度相比，调节被投影到表面64的蓝色部分上的用户界面的颜色和亮度，使得用户界面的颜色和亮度在表面64的绿色部分和蓝色部分中看起来大体相同。大体均匀或大体相同可以指缺少可见颜色和亮度变化和看起来跨投影用户界面变化小于5％、10％、20％、25％、40％或50％的颜色和亮度。
在处理框106中，处理框104中确定的相关用户界面设置被应用至投影用户界面60，使得投影用户界面60的性质根据所确定的用户界面设置被改变。可以更新投影用户界面60，使得投影用户界面60的动画或声音效果中的至少一个看起来与表面64的至少一种性质匹配。例如，可以更新用户界面设置和投影用户界面60，以与在下表面64的物理性质匹配。在一个示例中，被按压的按钮可能导致可较少变形表面上的硬表面动画并且被按压的按钮可能导致可较多变形表面上的软表面动画。硬表面动画可能导致用户界面60的元素比软表面动画跳得更高。在另一个示例中，硬表面动画可以是与软滚动动画表现得不同的硬滚动动画，不同之处在于：响应更快、滚动更快、或在更长时间内滚动中的至少一个。
在另一个示例中，投影用户界面60的被改变的性质可能影响由于与投影用户界面60的用户交互导致的投影用户界面60的更新。例如，用户选择键可能导致与表面64的硬度相关的声音效果(例如，键点击、轻击声音等)。对于硬表面，声音效果比用于较软表面的声音效果更响并且具有更短持续时间。在另一个示例中，用户可以选择投影用户界面60的、动画球(animated ball)将开始跳动的区域。球跳动的视在高度可以取决于表面的硬度，其中，对于对应越硬表面球跳得越高。
如上所述，还可以基于表面64的纹理或表面64的形貌来确定相关用户界面设置。在一个示例中，可以基于表面64的视觉外观(例如，反射率可以表示平滑度，而跨表面的小阴影可以表示粗糙度)和由与表面64的用户交互产生的声音来确定表面64的纹理。在另一个示例中，具有较低摩擦系数的表面64(例如，金属或玻璃表面)可能导致比具有较高摩擦系数的表面64(例如，橡胶表面)更快且更多响应滚动。在其它示例中，投影用户界面60可以基于表面64的形貌被更改。例如，如果投影用户界面60被投影到弯曲表面上，则可以更新投影用户界面60，使得用户界面60中包括的键或按钮不看起来通过表面64的弯曲被拉伸或变形。也就是说，可以投影用户界面60，使得不管用户界面60被投影到的表面64的曲率如何，正方形或矩形按钮/键仍然看起来是相对正方形或矩形的。
如上所述，用户界面设置还可以被应用至投影用户界面60，以增加与在下表面64协调的视觉效果。作为一个示例，轻击硬表面上的按钮可以采用机械隐喻(例如，陷入表面64中的按钮)或留下暂时指纹。如果相同按钮作为代替被投影到软表面上，则轻击按钮可能发出跨投影用户界面60的波纹。以相同方式，声学反馈可以被更新或者被添加到投影用户界面60。在一个实施方式中，被触发的声音效果可以是来自被指定为与表面64的所确定性质(例如，硬度)匹配的声音主旋律。在另选实施方式中，可以通过用户与表面64交互产生声学反馈(例如，由投影装置10检测的声音)。然后，可以使用声学反馈来调节与用户界面60关联的声音。也就是说，不同于首先将表面64归类为属于特定类别并且随后从预先记录的集合中选择声音，而是可以分析通过用户与用户界面60交互产生的声音并且使用该声音来调节通过投影装置10实时产生的音频声音效果。
作为另一个示例，用户界面设置可以被应用至投影用户界面60，以添加与表面64的斜率、取向、或形貌协调的视觉效果。例如，表面64可以是水平的、倾斜的、垂直的、或水平的，但是位于用户上方(例如，在屋顶上)。可以应用用户界面设置，使得在倾斜表面上消除(dismiss)的对话框滑离用户界面。消除的对话框滑离用户界面的速率可能取决于表面的斜率以及表面的其它性质(例如，硬度、纹理等)。在另一个示例中，投影到屋顶上的用户界面中的消除对话框可以朝向用户落下。
在又一个示例中，用户界面60可以使用物理引擎模拟物体运动。当移动物体与表面交互时，物理引擎利用表面的已知参数来确定物体将如何与表面交互。例如，在玻璃表面上，物理引擎可以假定在模拟球与表面64之间的刚性主体运动。在另一个示例中，在可变形表面(例如，涂层(couch))上，物理引擎可能假定软主体运动或刚性主体运动和软主体运动的组合。
用户界面60还可以模拟陷入表面64中的投影用户界面的物体。物体陷入表面中的方式可以基于表面的所确定的至少一种性质。例如，在刚性表面上，物体可以在直立位置缓慢陷入表面中。在可变形表面上，相同物体在好像被拉到表面下方之前来回摇动或者当物体快速陷入表面中时物体可以被颠倒。
转到图4A和图4B，示例性用户界面60被示出为被投影到两种不同类型的表面64上。在这两个图中，用户手指70被示出为与用户界面被投影到的表面交互。用虚线示出用户的手指70，以更好地观看投影用户界面60。用户的手指70不被示出为如真实世界示例中预期的一样干涉投影用户界面60。
在图4A中，用户界面60c被投影到不可变形表面64c上。因此，如图中所示，当用户与投影用户界面64c交互时，用户的手指70不使表面64c变形。
在图4B中，用户界面60d被投影到可变形表面64d上。当用户与投影用户界面60d交互时，用户的手指70b使用户界面60d被投影到的表面64变形。用实线示出在表面64通过用户的手指70b变形之后的投影用户界面60d的外观。用虚线示出在用户手指70b使表面64d变形之前的投影用户界面60d的原始外观。如从附图中清楚的，用户按下的键连同用户界面60d中的相邻键一起变形。与键中更远离变形点(即，当前示例中，用户的指尖)的部分相比，键中更靠近变形点的部分更强地变形。可以使用跨投影用户界面60d的不同变形量来确定表面64d的可变形性，如下所述。
可以使用相机作为传感器14以通过分析在与投影用户界面60的用户交互期间的投影用户界面60的变形来测量投影用户界面60的视觉畸变。在图4A中，表面64c不通过与用户界面60c的用户交互而变形，并且因此，表面64c是不可变形的。然而，在图4B中，投影用户界面60通过用户与投影用户界面60d交互而变形。基于由传感器14检测到的投影用户界面60d的变形，投影装置10可以确定表面64d可变形以及表面64d的相对可变形性。例如，传感器14可以捕获在用户交互期间变形的作为投影用户界面60的一部分的键的图像。处理器16可以从传感器14接收变形键的图像并且分析图像以确定表面64的可变形性。处理器14可以通过首先分析变形键的图像来确定表面64的可变形性，以定量测量图像中的键的变形。处理器14可以通过在没有变形的情况下卷曲键的图像直到卷曲图像逼近变形键的图像来测量键的变形。基于最佳逼近变形键的图像的卷曲的参数，处理器14可以确定表面64的可变形性。例如，计算机可读介质20可以包括将卷曲参数与表面64的不同性质(例如，可变形性、硬度、成分等)相关联的表或函数。处理器14可以使用查找表来确定与卷曲参数匹配的表面64的一种或更多种性质。
可变形性可以不限于可变形的或不可变形的，而是表面的可变形性可以被分配定量值(例如，用户交互期间的表面偏转量(单位：厘米))或者可以沿着相对标度排序(例如，从1到20)。至于其它表面性质，应用类似评论。
在另一个示例中，用户界面60可以适于抵消由于通过用户产生的表面64的变形而导致的投影用户界面60的畸变。在该示例中，可以使用参数来修改投影用户界面60，使得它不因表面64的变形而畸变，可以被用于确定表面64的可变形性。在该示例中，投影装置10可以执行迭代处理，以确定对于用户界面60的变形正确的参数。另选地，投影装置10可以使用人眼不可见的光(例如，红外光)将栅格投影到表面64上。可以使用栅格通过表面64产生的畸变来校正投影用户界面60，使得由于表面64变形而导致的投影用户界面60的畸变被减小。还可以使用栅格的畸变来确定表面64的性质(例如，可变形性、硬度等)。
与使用相机确定表面类型相比，传感器14可以另外或另选地包括声学传感器。声学传感器可以记录用户与投影用户界面60交互的声音。处理器16可以从传感器14接收所记录的声音并且分析声音以确定表面64的至少一种性质。例如，处理器16可以分析所记录的声音，以确定声音的频谱、幅度和持续时间。然后，处理器16可以将所记录声音的所确定性质与存储在计算机可读介质20中的查找表进行比较，查找表将声音性质与表面性质相关联。例如，查找表可以将表面成分(例如，玻璃、木材、金属、塑料、纸、织物、衬垫等)与声音信号的不同频谱、幅度、和/或持续时间相关联。查找表还可以将表面成分与表面64的至少一种性质相关联。例如，查找表可以将玻璃与硬的、不可变形反射性表面相关联。
如上所述，当用户轻击图4A中的投影键盘时，与当用户轻击图4B中的投影键盘时检测到的声音相比，用户的手指70可能导致在幅度、持续时间、频率等方面不同的声音。例如，与当用户与图4B中的投影用户界面60d交互时检测到的声音相比，当用户与图4A中的投影用户界面60c交互时检测到的声音可能更响，具有更短持续时间，和/或频谱的频率可能更高。以此方式，处理器16可以确定图4A中的表面64c比图4B中的表面64d更硬并且更少变形。
在确定图4A和图4B中的表面64的至少一种性质之后，处理器16可以基于表面64的所确定的至少一种性质来确定相关用户界面设置。例如，处理器16可以使用存储在计算机可读介质20上的UI查找表，UI查找表将表面性质与用户界面设置相关联。在一个示例中，UI查找表将不可变形表面与硬表面动画和硬表面声音效果相关联。类似地，UI查找表可以将可变形表面与软表面动画和软表面声音效果相关联。
在另一个示例中，传感器14可以包括由系统8用于执行物体识别的相机。在该示例中，可以使用传感器14基于关于所识别物体的已知内容识别被分配性质的物体。例如，投影装置10可以识别出表面64是涂层的一部分。基于存储在系统8中的涂层的模型，由于表面64是涂层的一部分的事实，导致投影装置10可以识别表面64的性质(例如，可变形性、纹理等)。
以上示例描述了使用单个表面性质来调节相关用户界面设置。这不应该被解释为将本公开限于使用表面的单个性质来确定相关用户界面设置。而是，简单地使用这些示例以明晰投影装置10的操作。如本领域普通技术人员应该理解的，方法100和装置10可以使用多个表面性质以确定相关用户界面设置。可以单独使用这多个表面性质来确定用户界面设置，或者另选地，可以同时使用这多个表面性质来确定用户界面设置。例如，硬表面可能导致用户界面设置的一个集合，而反射硬表面可能导致用户界面设置的不同集合。
以上示例描述了用户通过触摸用户界面60被投影到的表面64与投影用户界面60交互。用户还可以通过在投影用户界面前方和/或上方的空中做出手势与用户界面60交互。
如本领域普通技术人员应该理解的，处理器16可以具有各种实现。例如，处理器16可以包括诸如可编程电路、集成电路、存储器和I/O电路、专用集成电路、微控制器、复杂可编程逻辑器件、其它可编程电路等任何合适装置。处理器16还可以包括诸如随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)的非暂时性计算机可读介质、或任何其它合适介质。用于执行上述方法的指令可以被存储在非暂时性计算机可读介质中并且由处理器来执行。处理器16可以通过系统总线、母板或使用本领域中已知的任何其它合适结构可通信地联接至计算机可读介质20和通信接口18。
如本领域普通技术人员应该理解的，计算机可读介质20可以是例如缓冲器、闪存存储器、硬驱动器、可移除媒体、易失性存储器、非易失性存储器、随机存取存储器(RAM)、或其它合适装置中的一个或更多个。在典型布置中，计算机可读介质20可以包括用于长期数据存储的非易失性存储器和用作处理器16的系统存储器的易失性存储器。计算机可读介质20可以通过数据总线与处理器16交换数据。计算机可读介质20和处理器16之间还可以存在随附控制线和地址总线。计算机可读介质20被视为非暂时性计算机可读介质。
还可以使用用户佩戴装置来确定表面64的至少一种性质。用户佩戴装置可以是佩戴在用户的手腕、手指或前臂上的装置。用户佩戴装置可以包括被构造成在与投影用户界面60交互期间捕获用户移动的测量值的加速计或陀螺仪中的至少一个。处理器16可以分析所捕获的测量值，以确定表面64的硬度或表面64的可变形性中的至少一个。例如，当用户与如图4B中所示的可变形表面64交互时，与当用户与如图4A中所示的可变形表面64交互时相比，由于用户的手指70与表面64交互而导致的由用户佩戴装置体验到的减速可以更少。因此，通过分析所捕获的测量值，处理器16可以估计表面64的至少一种性质。
用户佩戴装置可以借助通信接口18与投影装置10通信。如上所述，通信接口可以借助蓝牙(Bluetooth)、NFC、红外、射频、Wi-Fi、或无线或有线通信的任何其它合适装置与用户佩戴装置通信。
在另一个实施方式中，基于投影用户界面60的地理位置坐标来确定表面64的至少一种性质。投影装置10可以借助投影装置10或计算装置40的定位器22来接收地理位置坐标。可以使用近场通信、蓝牙、地理围栏、室内Wi-Fi定位、GPS、或任何其它合适技术中的至少一种，确定投影用户界面60的地理位置坐标。投影装置10可以通过在数据库中搜索位于当前地理位置的表面64的所存储性质来确定表面64的至少一种性质。数据库可以被存储在投影装置10的计算机可读介质20上、计算装置40上、或诸如服务器的另选装置上。如果地理位置坐标被存储在数据库中，则投影装置10可以从数据库中获取表面64的至少一种性质和/或与地理位置坐标关联的用户界面设置。另选地，用户可以手动地选择相关用户界面设置或针对表面64的至少一种性质并且敲击用户的当前位置，使得所选择的相关用户界面设置被自动选择为针对投影在当前位置的用户界面60的相关用户界面设置。所描述的数据库可以存储针对单个用户或多个用户的用户界面设置。
在另选实施方式中，用户可以输入用户界面被投影到的表面的性质。例如，用户可以输入表面的类型(例如，玻璃、木材、金属等)和/或表面性质(硬度、可变形性、颜色等)。
尽管已经关于特定示例性实施方式示出和描述了本发明，但是显而易见的，本领域技术人员在阅读并且理解说明书之后将想到等同物和修改。将想到，在阅读并且理解了本发明之后，本领域技术人员可以预想到其它处理状态、事件和处理步骤来促成本发明的系统的目标。本发明包括所有这些等同物和修改，并且仅受所附权利要求的范围限制。

Claims (23)

1.一种用于基于投影用户界面被投影到的表面的至少一种性质来调整所述投影用户界面的性质的方法，所述方法包括：
确定所述表面的所述至少一种性质；
基于所述表面的所确定的所述至少一种性质来确定相关用户界面设置；以及
将所确定的相关用户界面设置应用至所述投影用户界面，使得根据所确定的用户界面设置改变所述投影用户界面的性质。
2.根据权利要求1所述的方法，其中，由于与所述投影用户界面的用户交互，导致所述投影用户界面的被改变的性质影响所述投影用户界面的更新。
3.根据权利要求1至2中的任一项所述的方法，其中，所述表面的所述至少一种性质是所述表面的着色、所述表面的纹理、所述表面的可变形性、所述表面的取向、所述表面的硬度、或所述表面的形貌中的至少一个。
4.根据权利要求1至3中的任一项所述的方法，其中，在与所述投影用户界面的用户交互期间，测量所述表面的所述至少一种性质。
5.根据权利要求1至4中的任一项所述的方法，其中，所述投影用户界面被更新，使得所述投影用户界面的动画或声音效果中的至少一个看起来与所述表面的所述至少一种性质匹配。
6.根据权利要求1至5中的任一项所述的方法，其中，应用所确定的相关用户界面设置，使得所述投影用户界面看起来跨所述表面的颜色变化大体是均匀的或者使得尽管存在所述表面的颜色变化，但是所述投影用户界面与所述表面之间的对比度跨所述表面大体是不变的。
7.根据权利要求1至6中的任一项所述的方法，其中，使用相机来确定所述表面的所述至少一种性质。
8.根据权利要求7所述的方法，其中，所述相机在用户输入期间测量所述投影用户界面的至少一个视觉畸变，以确定所述表面的可变形性或者所述表面的着色。
9.根据权利要求8所述的方法，其中，所述相机通过在与所述投影用户界面的用户交互期间分析所述投影用户界面的变形，在用户输入期间测量所述投影用户界面的视觉畸变。
10.根据权利要求1至9中的任一项所述的方法，其中，使用声学传感器确定所述表面的所述至少一种性质并且基于通过所述用户与所述表面交互产生的声音来确定所述表面的所述至少一种性质。
11.根据权利要求10所述的方法，其中，使用所述声学传感器测量的所述表面的所述至少一种性质是所述表面的材料类型或所述表面的硬度中的至少一个。
12.根据权利要求1至11中的任一项所述的方法，其中，使用用户佩戴装置来确定所述表面的所述至少一种性质。
13.根据权利要求12所述的方法，其中，所述用户佩戴装置包括被构造成在与所述投影用户界面的交互期间捕获用户移动的测量值的加速计或陀螺仪中的至少一个。
14.根据权利要求13所述的方法，其中，处理器分析所捕获的测量值，以确定所述表面的硬度或所述表面的可变形性中的至少一个。
15.根据权利要求1至14中的任一项所述的方法，其中，基于所述投影用户界面的地理位置坐标来确定所述表面的所述至少一种性质。
16.根据权利要求15所述的方法，其中，使用近场通信、蓝牙、地理围栏、室内Wi-Fi定位、或GPS中的至少一个来确定所述投影用户界面的地理位置坐标。
17.根据权利要求15至16中的任一项所述的方法，其中，用户手动地选择针对所述表面的相关用户界面设置，并且标记用户的当前位置，使得所选择的相关用户界面设置被自动选择为针对在所述当前位置处投影的用户界面的相关用户界面设置。
18.根据权利要求3所述的方法，其中，如果确定所述表面是可变形的，则所述投影用户界面被更新，以增加所述投影用户界面的元素的大小。
19.根据权利要求5所述的方法，其中：
在可较少变形表面上，被按压的按钮导致硬表面动画；以及
在可较多变形表面上，被按压的按钮导致软表面动画。
20.根据权利要求19所述的方法，其中，以下中的至少一个：
所述硬表面动画导致所述用户界面的元素比所述软表面动画跳得更高；或者
所述硬表面动画是硬滚动动画，所述硬滚动动画表现得与软滚动动画的不同之处在于以下中的至少一个：响应更快、滚动更快、或在更长时间内滚动。
21.一种用于将用户界面投影到表面上并且用于基于所述表面的至少一种性质调整所述投影用户界面的性质的投影装置，所述装置包括：
投影仪，所述投影仪被构造成将所述用户界面投影到所述表面上；
传感器，所述传感器被构造成确定所述表面的所述至少一种性质；以及
处理器，所述处理器被构造成：
基于所述表面的所确定的所述至少一种性质来确定相关用户界面设置；以及
控制由所述投影仪投影的用户界面，使得根据所确定的用户界面设置改变所述投影用户界面的性质。
22.一种用于将用户界面投影到表面上并且用于基于所述表面的至少一种性质调整所述投影用户界面的性质的系统，所述系统包括：
根据权利要求21所述的投影装置；以及
与所述投影装置通信的计算装置。
23.根据权利要求22所述的系统，其中，所述计算装置包括所述投影装置。
CN201480077638.3A 2014-04-01 2014-04-01 使投影用户界面协调 Expired - Fee Related CN106133644B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2014/060353 WO2015150868A1 (en) 2014-04-01 2014-04-01 Harmonizing a projected user interface

Publications (2)

Publication Number Publication Date
CN106133644A true CN106133644A (zh) 2016-11-16
CN106133644B CN106133644B (zh) 2019-03-15

Family

ID=50829218

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480077638.3A Expired - Fee Related CN106133644B (zh) 2014-04-01 2014-04-01 使投影用户界面协调

Country Status (4)

Country Link
US (1) US10122978B2 (zh)
EP (1) EP3126932A1 (zh)
CN (1) CN106133644B (zh)
WO (1) WO2015150868A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963131A (zh) * 2017-12-22 2019-07-02 株式会社斯巴鲁 图像投影装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014207963A1 (de) * 2014-04-28 2015-10-29 Robert Bosch Gmbh Interaktives Menü
FR3034889B1 (fr) * 2015-04-10 2017-04-28 Cn2P Sas Bracelet electronique pour l’affichage d’un contenu numerique interactif destine a etre projete sur une zone d’un bras
CN105975006A (zh) * 2016-04-29 2016-09-28 合肥联宝信息技术有限公司 电子设备
JP1577854S (zh) * 2016-05-13 2017-06-05
CN109788262A (zh) * 2017-11-15 2019-05-21 中强光电股份有限公司 投影系统及其影像投影方法
CN111093066A (zh) * 2019-12-03 2020-05-01 耀灵人工智能(浙江)有限公司 一种动态平面投影方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190046A1 (en) * 2008-01-29 2009-07-30 Barrett Kreiner Output correction for visual projection devices
US20110169778A1 (en) * 2010-01-08 2011-07-14 Crayola Llc Interactive projection system
CN102150096A (zh) * 2008-09-08 2011-08-10 高通股份有限公司 具有可配置接口的多面板装置
CN102316297A (zh) * 2010-07-08 2012-01-11 株式会社泛泰 图像输出装置和使用该图像输出装置输出图像的方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US8064684B2 (en) * 2003-04-16 2011-11-22 Massachusetts Institute Of Technology Methods and apparatus for visualizing volumetric data using deformable physical object
EP2041728A4 (en) * 2006-07-10 2011-08-17 Advanced Tech Materials SYSTEMS AND METHODS FOR MANAGING MATERIAL STORAGE CONTAINERS HAVING INFORMATION STORAGE ELEMENTS
US7905606B2 (en) * 2006-07-11 2011-03-15 Xerox Corporation System and method for automatically modifying an image prior to projection
US8520836B2 (en) * 2006-07-24 2013-08-27 Plantronics, Inc. Projection headset
US7677737B2 (en) 2006-08-17 2010-03-16 Sony Ericsson Mobile Communications Ab Projector adaptation for self-calibration
JP2008305174A (ja) * 2007-06-07 2008-12-18 Sony Corp 情報処理装置、情報処理方法、プログラム
US8007110B2 (en) * 2007-12-28 2011-08-30 Motorola Mobility, Inc. Projector system employing depth perception to detect speaker position and gestures
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8421634B2 (en) * 2009-12-04 2013-04-16 Microsoft Corporation Sensing mechanical energy to appropriate the body for data input
US8449119B2 (en) 2010-09-01 2013-05-28 International Business Machines Corporation Modifying application windows based on projection surface characteristics
US9185469B2 (en) * 2010-09-30 2015-11-10 Kodak Alaris Inc. Summarizing image collection using a social network
EP2643966B1 (en) * 2010-11-24 2016-03-16 Echostar Ukraine LLC Television receiver-projector compensating optical properties of projection surface
JP5439347B2 (ja) * 2010-12-06 2014-03-12 日立コンシューマエレクトロニクス株式会社 操作制御装置
US10061387B2 (en) * 2011-03-31 2018-08-28 Nokia Technologies Oy Method and apparatus for providing user interfaces
US8619049B2 (en) * 2011-05-17 2013-12-31 Microsoft Corporation Monitoring interactions between two or more objects within an environment
US9069164B2 (en) * 2011-07-12 2015-06-30 Google Inc. Methods and systems for a virtual input device
US8228315B1 (en) * 2011-07-12 2012-07-24 Google Inc. Methods and systems for a virtual input device
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP5624530B2 (ja) * 2011-09-29 2014-11-12 株式会社東芝 コマンド発行装置、方法及びプログラム
US20130229396A1 (en) * 2012-03-05 2013-09-05 Kenneth J. Huebner Surface aware, object aware, and image aware handheld projector
US20130257640A1 (en) * 2012-03-28 2013-10-03 Tom Marnix Alexander De Wilde Device for Alerting and Preventing Radar and Laser Measurements
US9489128B1 (en) * 2012-04-20 2016-11-08 Amazon Technologies, Inc. Soft keyboard with size changeable keys for a smart phone
JP6039248B2 (ja) * 2012-06-04 2016-12-07 キヤノン株式会社 情報処理装置およびその制御方法
KR101305249B1 (ko) * 2012-07-12 2013-09-06 씨제이씨지브이 주식회사 다면 상영 시스템
US8982104B1 (en) * 2012-08-10 2015-03-17 Google Inc. Touch typing emulator for a flat surface
US9152247B2 (en) * 2012-10-24 2015-10-06 Google Inc. Computing device with force-triggered non-visual responses
US9690376B2 (en) * 2012-11-01 2017-06-27 Eyecam, Inc. Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
US9007321B2 (en) * 2013-03-25 2015-04-14 Sony Corporation Method and apparatus for enlarging a display area
KR102169012B1 (ko) * 2013-04-18 2020-10-23 삼성디스플레이 주식회사 프로젝터 장착 안경 및 그 제어 방법
JP2014220720A (ja) * 2013-05-09 2014-11-20 株式会社東芝 電子機器、情報処理方法及びプログラム
US9609262B2 (en) * 2013-06-27 2017-03-28 Intel Corporation Device for adaptive projection
JP2015079169A (ja) * 2013-10-18 2015-04-23 増田　麻言 投影装置
KR20150080678A (ko) * 2014-01-02 2015-07-10 한국전자통신연구원 사용자 및 환경 인지 기능이 부가된 영상투영장치에 대한 영상 보정장치 및 방법
US9304599B2 (en) * 2014-03-21 2016-04-05 Dell Products L.P. Gesture controlled adaptive projected information handling system input and output devices
ES2826476T3 (es) * 2014-05-15 2021-05-18 Federal Express Corp Dispositivos portátiles para el procesamiento de mensajería y métodos de uso de los mismos

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090190046A1 (en) * 2008-01-29 2009-07-30 Barrett Kreiner Output correction for visual projection devices
CN102150096A (zh) * 2008-09-08 2011-08-10 高通股份有限公司 具有可配置接口的多面板装置
US20110169778A1 (en) * 2010-01-08 2011-07-14 Crayola Llc Interactive projection system
CN102316297A (zh) * 2010-07-08 2012-01-11 株式会社泛泰 图像输出装置和使用该图像输出装置输出图像的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109963131A (zh) * 2017-12-22 2019-07-02 株式会社斯巴鲁 图像投影装置

Also Published As

Publication number Publication date
US20160261835A1 (en) 2016-09-08
WO2015150868A1 (en) 2015-10-08
US10122978B2 (en) 2018-11-06
CN106133644B (zh) 2019-03-15
EP3126932A1 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
CN106133644A (zh) 使投影用户界面协调
KR102097190B1 (ko) 스마트 미러를 이용하여 실시간 운동 동작을 분석 및 디스플레이하기 위한 방법 및 이를 위한 스마트 미러
US10825253B2 (en) Generating augmented reality objects on real-world surfaces using a digital writing device
US9911240B2 (en) Systems and method of interacting with a virtual object
CN109074217B (zh) 用于多点触摸输入检测的应用
CN104516675B (zh) 一种可折叠屏幕的控制方法及电子设备
US20180356898A1 (en) Sessionless pointing user interface
CN107077227B (zh) 智能指环
US20190332626A1 (en) Method and apparatus for identifying input features for later recognition
CN105683882B (zh) 等待时间测量与测试系统和方法
KR102377561B1 (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
CN103518172A (zh) 凝视辅助的计算机界面
WO2016130860A2 (en) Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
CN104391646B (zh) 调整对象属性信息的方法及装置
CN104246682A (zh) 增强的虚拟触摸板和触摸屏
CN107301039A (zh) 原型制作方法及其装置
CN106576156B (zh) 穿戴式介导现实系统和方法
Dhule et al. Computer vision based human-computer interaction using color detection techniques
JP2020177680A (ja) 作業分析装置、作業分析方法、及びプログラム
TW201911024A (zh) 偵測手指的電子裝置、方法及系統以及非暫態可讀取媒體
CN103761011B (zh) 一种虚拟触摸屏的方法、系统及计算设备
CN105046249B (zh) 一种人机交互方法
Marshall et al. Pressing the flesh: Sensing multiple touch and finger pressure on arbitrary surfaces
WO2018042948A1 (en) Information processing system, method of information processing, and program
CN103870814A (zh) 基于智能相机的非接触式实时眼动识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190315

CF01 Termination of patent right due to non-payment of annual fee