CN102763342B - 根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法 - Google Patents

根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法 Download PDF

Info

Publication number
CN102763342B
CN102763342B CN201080064423.XA CN201080064423A CN102763342B CN 102763342 B CN102763342 B CN 102763342B CN 201080064423 A CN201080064423 A CN 201080064423A CN 102763342 B CN102763342 B CN 102763342B
Authority
CN
China
Prior art keywords
screen data
sensing module
image sensing
mobile device
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201080064423.XA
Other languages
English (en)
Other versions
CN102763342A (zh
Inventor
张时学
金凞云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN102763342A publication Critical patent/CN102763342A/zh
Application granted granted Critical
Publication of CN102763342B publication Critical patent/CN102763342B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1639—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being based on projection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0272—Details of the structure or mounting of specific components for a projector or beamer module assembly

Abstract

用于支持外部输出功能的移动装置具有投影仪模块和至少一个图像感测模块。当进入外部输出模式时，移动装置激活图像感测模块，并在外部输出模式下向外部输出屏幕数据。在外部输出模式下，移动装置检测基于图像感测模块的用户交互，并根据用户交互控制屏幕数据的外部输出。可使用图像感测模块获取向外部输出的屏幕数据的图像，并可基于获取的图像创建新内容。

Description

根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法
技术领域
本发明总体涉及一种移动装置。更具体地讲，本发明涉及在外部输出模式下根据基于图像传感器模块的用户交互进行外部输出的移动装置和相关控制方法。
背景技术
随着现代科学的发展，已经开发了很多种移动装置，包括蜂窝电话、智能电话、个人数字助手(PDA)、多种数字多媒体播放器等。通常，这样的移动装置通过内置显示单元输出将在屏幕上显示的屏幕数据。然而，由于移动装置在尺寸上固有的局限性，移动装置的显示单元还可能具有相对较小的尺寸。
为了上述原因，用户通常会经历难于与其他用户分享在尺寸有限的显示单元上显示的数据。为了解决这个问题，一个最新方法是使移动装置能够将其显示的数据输出到具有相对较大屏幕的外部显示设备上。然而，因为需要可连接到移动装置的合适的外部显示设备，这还可能对用户造成不便。
另一方法是为移动装置提供图像投影功能。例如，可为移动装置采用投影仪模块。移动装置的该内置投影仪模块放大屏幕数据(即，显示在内部显示单元上的图像)，然后将所述图像投影到外部屏幕。因此用户可在尺寸足够大的外部屏幕(而非移动装置的尺寸较小的内部显示单元)上看到投影的数据。
通常，使用单独的遥控器或者通过将外力施加到移动装置中的内置控制部件(例如，按钮、触摸屏等)来控制具有投影仪模块的移动装置。后面的基于物理接触的传统控制方法通常会由于用户施加的力而引起移动装置晃动。移动装置的这种无意晃动随后可能会引起从移动装置输出到外部屏幕上的屏幕数据的位置的晃动或变化。为了校正或防止屏幕数据的这种晃动，用户应该采取必要的但是烦人的行动。另外，前面的使用遥控器的传统控制方法因为不得不携带遥控器以及移动装置，因此可能是不方便的。
发明内容
技术问题
本发明的一方面在于至少解决上述问题和/或缺点，并至少提供下面所述的优点。因此，本发明的一方面在于提供上述问题和/或缺点并至少提供下面所述的优点。
根据本发明的一方面，提供了一种支持向外部屏幕输出屏幕数据和为正被输出的屏幕数据输入控制的具有外部输出功能的移动装置。
本发明的另一方面在于提供一种在与移动装置没有任何物理接触的情况下简单有效地控制内容从移动装置向外部输出的移动装置和方法。
本发明的另一方面在于提供一种根据基于移动装置的图像传感器模块的用户交互来控制外部输出的移动装置和方法。
本发明的另一方面在于提供一种允许在外部输出模式下从外部输出和基于用户交互的对象的组合创建新内容的移动装置和方法。
问题的解决方案
根据本发明的一方面，提供了一种用于控制移动装置的外部输出的方法。所述方法包括：当进入外部输出模式时激活图像感测模块；在外部输出模式下向外部输出屏幕数据；在外部输出模式下检测基于图像感测模块的用户交互；根据用户交互控制屏幕数据的外部输出。
根据本发明的另一方面，提供了一种移动装置。所述移动装置包括：投影仪模块，用于将屏幕数据输出到外部屏幕；存储器单元，用于存储与外部输出功能的控制相关的设置信息；至少一个图像感测模块，用于在基于投影仪模块的外部输出模式下，检测用户交互；控制单元，用于从图像感测模块接收用户交互，并根据接收的用户交互来控制屏幕数据的外部输出。
根据本发明的另一方面，提供了一种控制移动装置的外部输出的方法。所述方法包括：当在外部输出模式下操作时，将图像从移动装置投影到外部对象；当在外部输出模式下操作时，检测用户交互；根据检测的用户交互控制图像的投影，其中，用户交互是在移动装置和外部对象之间发生的第一用户交互和在移动装置周围但是不必要在移动装置和外部对象之间发生的第二用户交互之一。
从下面结合附图公开本发明的示例性实施例的详细描述中，对本领域的技术人员来说，本发明的其他方面、优点和显著特征将变得明显。
发明的有益效果
如前面全面讨论的，根据通过本发明的示例性实施例提供的移动装置和相关控制方法，用户可根据移动装置的图像感测模块控制正向外部输出的屏幕数据。当用户将其注意力集中在投影到外部屏幕的屏幕数据时，用户可在与移动装置没有任何物理接触的情况下产生用于控制外部输出的期望的交互。这种用于外部输出的无接触控制可防止在向外部输出的屏幕数据的位置中的不期望的晃动或者变化。另外，本发明的移动装置和相关方法可允许从外部输出和基于任意用户交互的对象的组合创建新内容。
附图说明
从下面结合附图进行的描述，本发明的特定示例性实施例的上述和其他方面、特征和优点将会更明显，其中：
图1和图2是示出根据本发明示例性实施例的移动装置的示意图；
图3是根据本发明示例性实施例的移动装置的配置的框图；
图4是示出根据本发明示例性实施例的根据在移动装置和外部屏幕之间发生的用户交互的控制方法的示图；
图5至图10是示出根据本发明示例性实施例的根据由移动装置的第一图像感测模块检测的用户交互来控制外部输出的示例的示图；
图11是示出根据本发明示例性实施例的根据在移动装置周围发生的用户交互的控制方法的示图；
图12和图13是示出根据本发明示例性实施例的根据由移动装置的第二图像感测模块检测的用户交互来控制外部输出的示例的示图；
图14是示出根据本发明示例性实施例的根据基于移动装置的图像感测模块的用户交互来控制外部输出的方法的流程图；
图15是示出根据本发明示例性实施例的根据基于移动装置的不同图像感测模块的用户交互来控制外部输出的方法的流程图。
贯穿附图，应该注意，类似标号用于描述相同或相似部件、特征和结构。
具体实施方式
提供参照附图的以下描述以有助于全面理解由权利要求及其等同物限定的本发明的示例性实施例。它包括各种具体的细节以有助于理解，但是这些细节应该被认为只是示例性的。因此，本领域的技术人员将认识到，在不脱离本发明的范围和精神的情况下，可以对这里描述的实施例进行各种改变和修改。另外，为了清楚和简明，已知功能和结构的描述可被省略。
在下面的说明书和权利要求书中使用的术语和词汇不限于文献含义，而只是被发明人用来使得清楚和一致地理解本发明。因此，对本领域的技术人员应该明显的是，下面提供的本发明的示例性实施例的描述仅为了说明的目的，而不是为了限制由权利要求及其等同物所限定的本发明的目的。
应该理解，除非上下文另有清楚地表示，否则单数形式包括复数指示物。因此，例如，提到“组件表面”包括提到一个或多个这种表面。
此外，可能不会详细描述或者示出已知或广泛使用的技术、部件、结构和处理以免模糊本发明的本质。尽管附图表示本发明的示例性实施例，但是附图不必要是按比例的，特定特征可以被放大或者被忽略以更好地说明和解释本发明。
这里提出的这个发明涉及支持外部输出功能的移动装置，并且还涉及用于控制移动装置的外部输出的方法。具体地讲，本发明的示例性实施例提供了如下所述的移动装置和方法，所述移动装置和方法在外部输出模式下执行外部输出期间接收基于至少一个图像感测模块的用户交互，然后根据接收的用户交互控制外部输出功能。另外，本发明的示例性实施例还提供如下所述的移动装置和方法，所述移动装置和方法从在外部输出模式下外部输出的屏幕数据和基于用户交互而出现的对象的组合创建新内容。下面将描述的本发明的其他示例性实施例采用投影仪模块作为用于执行外部输出功能的装置的代表。
根据本发明示例性实施例的移动装置可包括投影仪模块、至少一个图像感测模块和控制单元，其中，所述至少一个图像感测模块在投影仪模块向外部输出屏幕数据时检测用户交互，所述控制单元分析从图像感测模块接收的用户交互，然后基于分析执行必要的控制处理。当投影仪模块向外部输出特定内容的屏幕数据时，移动装置可根据由图像感测模块检测的用户交互来控制外部输出。
下面描述具有投影仪模块和图像感测模块的移动装置。然而，下面描述的实施例只是示例性的，不应被认为是限制本发明。在不脱离本发明的范围的情况下，可使用其他实施例。
图1和图2是示出根据本发明示例性实施例的移动装置的示意图。图1显示具有全触摸屏的直板型移动装置，图2显示具有单独的显示单元和输入单元的另一直板型移动装置。
参照图1和图2，移动装置具有显示单元100、输入单元200、投影仪模块300、聚焦控制器350、扬声器(SPK)、麦克风(MIC)和至少一个图像感测模块600，其中，所述显示单元100根据移动装置的功能的执行输出各种屏幕数据，所述输入单元200创建各种输入信号，所述投影仪模块300放大屏幕数据并将屏幕数据投影到外部屏幕上，所述聚焦控制器350调节投影仪模块300的焦距，所述扬声器输出各种音频信号，所述麦克风接收外部音频信号(诸如用户的语音)，所述至少一个图像感测模块600检测用户交互。移动装置可包括另外和/或不同的单元。相似地，上述单元中的两个或更多个单元的功能可被集成到单个组件。
图像感测模块600可包括第一图像感测模块610和第二图像感测模块630。当移动装置通过使投影仪模块300将屏幕数据投影到外部屏幕而执行外部输出功能时，第一图像感测模块610检测在移动装置和外部屏幕之间发生一种类型的用户交互。第二图像感测模块630检测在移动装置周围发生的另一种类型的用户交互。图像感测模块610和630可在基于投影仪模块300的外部输出期间接收用户交互，创建作为结果产生的交互信息，并将交互信息发送到移动装置的控制单元。
第一图像感测模块610位于移动装置的与配备投影仪模块300相同的一侧。第一图像感测模块610可检测在移动装置和外部屏幕之间发生的用户交互，并还可进行拍照以获取投影到外部屏幕的屏幕数据的图像和通过用户交互在外部屏幕上产生的对象的图像。第二图像感测模块630位于移动装置的允许检测在移动装置周围发生的用户交互的任一侧。例如，如图1和图2中所示，第二图像感测模块630可形成在移动装置的正面的一部分上。图1和图2中所示的图像感测模块610和630的这种位置只是示例性的，因此可根据移动装置的类型而改变。
尽管图1和图2中示出的移动装置包括第一图像感测模块610和第二图像感测模块630，但是根据本发明示例性实施例的移动装置并不限于这种布置。移动装置可只具有一个图像感测模块，或者可具有三个或更多个图像感测模块。类似地，第一图像感测模块610和第二图像感测模块630可由相机模块形成。例如，第二图像感测模块630可由现有技术中已经广泛所知的接近感测模块形成。
根据本发明示例性实施例，投影仪模块300向外部输出在移动装置中产生的各种屏幕数据。投影仪模块300位于移动装置的一侧。可如下所述设置投影仪模块300的位置：投影仪模块300的投影方向等于第一图像感测模块610的感测方向。
根据本发明示例性实施例，由第一图像感测模块610检测的用户交互包括：在外部屏幕和移动装置之间做出的各种用户手势、借助指示工具、激光指示器等在投影到外部屏幕上的屏幕数据上形成可区分形状或颜色的点、以及借助标记器等在投影到外部屏幕上的屏幕数据上形成特定标记。由第二图像感测模块630检测的用户交互包括一些在移动装置周围做出的预先定义的用户手势(诸如掠过(sweep))。
除了在图1和图2中示例性示出的直板型移动装置之外，可采用其他类型的移动装置，诸如折叠型、滑盖型和翻盖型。移动装置可包括通信装置、多媒体播放器及其应用设备，其中每个装置能够通过投影仪模块300和图像感测模块600控制外部输出功能。例如，移动装置可包括基于各种通信协议的多种移动通信终端、便携式多媒体播放器(PMP)、数字广播播放器、个人数字助手(PDA)、音乐播放器(例如，MP3播放器)、便携式游戏控制台、智能电话、平板PC等。移动装置还可包括TV、大型显示器(LFD)、数字标牌(DS)、媒体柱(media pole)、个人计算机、笔记本等。
下面将参照图3描述图2和图3中示例性示出的移动装置的配置。尽管图3只示出了一个图像感测模块600，但是如上面所讨论的，这可被解释为第一图像感测模块610和第二图像感测模块630。在示例性实施例中，第二图像感测模块630可被省略或者被接近感测模块代替。
图3是示出根据本发明示例性实施例的移动装置的配置的框图。
参照图3，移动装置包括输入单元200、音频处理单元400、显示单元100、存储器单元500、投影仪模块300、图像感测模块600和控制单元700。音频处理单元400可具有扬声器(SPK)和麦克风(MIC)。下面描述上述部件中的每个部件。移动装置可包括另外和/或不同的单元。相似地，上述单元中的两个单元或者更多个单元可被集成在单个组件。
输入单元200创建用于输入字母和数字的输入信号和用于设置或控制移动装置的功能的输入信号，然后将它们发送到控制单元700。输入单元200包括多个创建这样的输入信号的输入键和功能键。功能键可具有导航键、侧键、快捷键(例如，用于执行投影仪功能的键、用于激活图像感测模块的键)和被限定为执行特定功能的任意其他特殊键。如图1和图2中所示，输入单元200还可具有用于调节投影仪模块300的焦距的聚焦控制器350。
输入单元200可由触摸板、触摸屏、具有正常键布局(例如，3×4或4×3键布局)的键区、具有QWERTY键布局的键区、圆顶键(dome key)布置等之一或其组合形成。输入单元200可创建用于执行投影仪功能及用于激活图像感测模块600的输入信号，然后将它们提供给控制单元700。可以以键区上的键按压信号或者触摸板或触摸屏上的触摸信号的形式来创建这些输入信号。
音频处理单元400可包括用于输出移动装置的音频信号的扬声器(SPK)和用于收集诸如用户的语音的音频信号的麦克风(MIC)。音频处理单元400将从麦克风(MIC)接收的音频信号转换为数据，并将音频信号输出到控制单元700。音频处理单元400还通过扬声器(SPK)输出从控制单元700输入的音频信号。音频处理单元400可根据用户的选择输出在移动装置中产生的各种音频成分。所述音频成分可包括通过音频或视频数据的回放而产生的音频信号，以及与投影仪功能的执行有关的声音效果。
显示单元100表现用户输入或者向用户提供的各种信息，所述各种信息包括通过执行移动装置的功能所激活的各种屏幕。例如，显示单元100可视觉上输出启动屏幕、待机屏幕、菜单屏幕、列表屏幕、内容播放屏幕、应用执行屏幕等。显示单元100可提供与移动装置的状态和操作有关的各种屏幕数据。显示单元100可以由液晶显示器(LCD)、等离子显示面板(PDP)、发光二极管(LED)、有机LED(OLED)、有源矩阵OLED(AMOLED)或任何其他等同物形成。另外，显示单元100可以由共同用作输入和输出单元的触摸屏形成。在这种情况下，可从移动装置省略上述输入单元200。
当移动装置在外部输出模式下操作时，显示单元100可在执行投影仪功能期间显示从控制单元700输出的屏幕数据，并还可基于特定的图形用户界面(GUI)显示虚拟项以控制根据投影仪功能的外部输出。当移动装置执行投影仪功能时，显示单元100可在控制单元700的控制下显示正投影到外部屏幕上的屏幕数据。另外，在控制单元700的控制下，显示单元100还可在上述屏幕数据上显示基于GUI的虚拟项，所述虚拟项用于与外部输出有关的控制。
存储器单元500存储移动装置中创建和使用的内容。可从外部实体(诸如其他移动装置和个人计算机)接收这种内容。内容可以与包括视频数据、音频数据、广播数据、照片数据、消息数据、文档数据、图像数据、游戏数据等的有关数据一起使用。另外，存储器单元500可存储用于移动装置支持的特定功能的各种应用。例如，存储器单元500可存储执行移动装置的投影仪功能所必需的特定应用。存储器单元500还可存储为控制投影仪功能而预先定义的虚拟项，并且可存储与控制将通过投影仪模块300向外部投影的屏幕数据有关的设置信息和软件。
存储器单元500还可存储与移动装置的外部输出功能有关的选项信息。所述选项信息可包含激活设置信息和功能设置信息，所述激活设置信息限定在外部输出模式下图像感测模块600的激活，所述功能设置信息限定用于针对当前执行的内容的外部输出控制而输入的每个用户交互的可用功能。激活设置信息可指示当移动装置进入外部输出模式时图像感测模块600是被自动激活还是被用户选择性地激活。如下面将描述的，功能设置信息可被分为与第一图像感测模块610有关的第一功能设置信息和与第二图像感测模块630有关的第二设置信息。这种设置信息可以被提供为默认值或者也可被修改、删除和增加。
存储器单元500还可存储限定内部屏幕数据和外部屏幕数据之间的关系的显示信息。所述内部屏幕数据表示在显示单元100上显示的屏幕数据，所述外部屏幕数据表示投影到外部屏幕上的屏幕数据。显示信息指示在外部输出模式下是否在显示单元100上显示内部屏幕数据。显示信息指示哪个信息将与内部屏幕数据和外部屏幕数据中的至少一个一起被提供。该信息可以作为弹出窗口在屏幕数据上提供。存储器单元500还可存储用于限定在外部输出模式下根据用户交互的屏幕数据的处理策略的设置信息。如稍后将讨论的，当在外部输出模式下根据用户交互更新外部屏幕数据时，该设置信息可指示是将更新的屏幕数据显示为内部屏幕数据还是显示关于操作、指南等的信息。
存储器单元500可包括至少一个缓冲器，所述至少一个缓冲器临时存储在执行移动终端的功能时产生的数据。例如，存储器单元500可执行对通过投影仪模块300投影到外部屏幕上的外部屏幕数据的缓冲。存储器单元500还可在外部输出模式下执行对从图像感测模块600传送的数据的缓冲。
存储器单元500可被内部嵌入到移动装置中或者被外部附加(诸如智能卡)到移动装置。多种内部/外部存储器可被用于存储器单元500，诸如随机存取存储器(RAM)、只读存储器(ROM)、闪存、多芯片封装存储器等。
投影仪模块300被内部嵌入在移动装置中或者被外部附加到移动装置。投影仪模块300放大从控制单元700提供的各种屏幕数据并将放大的数据输出到外部屏幕。投影仪模块300能够将在控制单元700中处理的各种屏幕数据没有任何失真地投影到外部屏幕上。
图像感测模块600检测用于在移动装置处于外部输出模式时控制外部输出功能的用户交互，并将作为结果产生的交互信息发送到控制单元700。图像感测模块600可检测用户手势、特定的形状或颜色、标记器所产生的标记等。
当移动装置处于外部输出模式时，图像感测模块600可在控制单元700的控制下处于固定检测模式和正常检测模式之一。在固定感测模式下，当移动装置处于外部输出模式时，图像感测模块600总是保持在打开状态以随时接收用户交互。在正常检测模式下，当移动装置处于外部输出模式时，图像感测模块600可根据用户的选择在打开状态和关闭状态之间切换。
如上面所讨论的，图像感测模块600可包括第一图像感测模块610和第二图像感测模块630，其中，所述第一图像感测模块610能够检测在移动装置和外部屏幕之间发生的用户交互，所述第二图像感测模块630能够检测在移动装置周围发生的用户交互。第一图像感测模块610与投影仪模块300位于移动装置的同一侧。因此，第一图像感测模块610可检测在移动装置和外部屏幕之间发生的用户交互，并且还可拍照以获取投影到外部屏幕上的屏幕数据的图像和通过用户交互在外部屏幕上产生的对象的图像。第二图像感测模块630位于移动装置的任意一侧，从而第二图像感测模块630能够检测在移动装置周围发生的用户交互。例如，如图1和图2中所示，第二图像感测模块630可形成在移动装置的正面的一部分上。
控制单元700控制移动装置并且还控制移动装置的各个部件中的信号流。控制单元700控制输入单元200、音频处理单元400、显示单元100、存储器单元500、投影仪模块300和图像感测模块600之间的信号流。
控制单元700控制来自投影仪模块300的外部输出，将从图像感测模块600接收的关于用户交互的信息解释为用于移动装置的功能控制的交互输入，并响应于交互输入控制移动装置的外部输出功能。控制单元700根据从图像感测模块600提供的交互信息来控制外部输出功能。当移动装置进入外部输出模式时，控制单元700根据预先定义的选项信息控制图像感测模块600。当移动装置处于外部输出模式时，控制单元700分析从图像感测模块600接收的交互信息，然后根据分析的交互信息控制外部屏幕数据的更新。当发生用户交互时，控制单元700控制图像感测模块600根据向外部输出的当前内容的类型获取外部屏幕上的外部屏幕数据的图像，然后基于获取的图像创建新内容。
当移动装置执行投影仪功能时，控制单元700控制内部屏幕数据在显示单元100上的输出和通过投影仪模块300的外部屏幕数据的输出。控制单元700可禁用显示单元100或者不允许显示内部屏幕数据。可选择地，对于内部屏幕数据和外部屏幕数据，控制单元700可同时输出相同的屏幕数据，或者单独输出不同的屏幕数据。在后一种情况下，内部屏幕数据可以是基于移动装置提供的用户接口的所有的预先布置的屏幕视图，而外部屏幕数据可以是根据选择的应用播放或执行的数据的放大的屏幕视图。
另外，控制单元700根据图像感测模块600控制外部输出。控制单元700可通过将基于第一图像感测模块610的用户交互和基于第二图像感测模块630的用户交互区分开而单独控制外部输出。
稍后将参照附图描述控制单元700的控制功能的示例。如迄今为止所讨论的，控制单元700结合基于投影仪模块300的外部输出功能根据图像感测模块600执行全部控制。上述的控制单元700的控制功能可被实现为具有适当算法的软件。
根据本发明示例性实施例的移动装置并不限于图3中所示的配置。例如，移动装置的控制单元700可具有用于移动通信服务的基带模块，在这种情况下，移动装置还可具有无线通信模块。
尽管图1至图3中没有示出，但是根据本发明示例性实施例的移动装置可实质上或者选择性地包括其他部件，诸如接近感测模块(例如，接近传感器、光传感器等)、基于位置的服务模块(诸如GPS模块)、相机模块、蓝牙模块、有线或无线数据传输接口、互联网访问模块、数字广播接收模块等。根据现在的数字融合去世，可以以各种方式来改变、修改和改进这样的部件，并且可在移动装置中另外或者可选择地配备与上述部件等同的任何其他部件。如本领域的技术人员将理解的，上面提到的移动装置中的部件中的一些部件可以被省略或者被另一部件替代。
参照附图描述用于基于移动装置中的投影仪模块300的外部输出功能的控制方法。然而，下面的实施例只是示例性的，而不被认为是限制本发明。可选择地，在不脱离本发明的范围的情况下，可使用其他实施例。
图4是示出根据本发明示例性实施例的根在据移动装置和外部屏幕之间发生的用户交互的控制方法的示图。
参照图4，在初始状态401，特定内容的屏幕数据通过移动装置的投影仪模块300被输出并随后被投影到外部屏幕900上。根据用户的操作，移动装置执行特定应用，然后通过基于投影仪模块300的外部输出功能将与特定应用有关的屏幕数据输出到外部屏幕900。
外部屏幕900是显示通过投影仪模块300输出的屏幕数据的对象。特定的专用部件(例如，白色屏幕)或任何其他表面(诸如墙或地板)可被用作外部屏幕900。外部屏幕900不是移动装置的组件，它可以是允许通过投影仪模块300输出的屏幕数据在其上投影的任何对象。
屏幕数据可包括由各种播放器应用(例如，视频播放器应用、数字广播播放器应用、游戏应用等)播放或执行的内容的动态屏幕数据和各种浏览器(viewer)应用(例如，文本浏览器应用、图像浏览器应用、电子书浏览器应用等)显示的内容的静态屏幕数据。
在初始状态401，用户可产生用于控制正被输出的屏幕数据的交互。例如，如图4所示，用户可在移动装置和外部屏幕900之间(即，第一图像感测模块610的可识别范围内)产生特定用户交互。
如上面所讨论的，该用户交互可包括各种类型的用户手势(例如，手的介入、手的运动等)、借助指示工具、激光指示器等在投影到外部屏幕900上的屏幕数据上形成可区分形状或颜色的点、借助标记器等在投影到外部屏幕900上的屏幕数据上形成特定标记、文本、颜色等、以及可由第一图像感测模块610识别的任何其他等同物。将稍后描述详细示例。
第一图像感测模块610检测用户交互并将产生的交互信息发送到控制单元700。控制单元700识别从第一图像感测模块610接收的交互信息。控制单元700还识别与交互信息相应的特定功能，并根据所述特定功能控制外部输出。控制单元700根据基于交互信息的特定功能控制选择的内容，并且还控制由此修改的屏幕数据的输出。在下一状态403，将更新的屏幕数据提供给外部屏幕900。稍后将参照附图描述相关示例。
当移动装置处于外部输出模式时，显示单元100可根据设置策略处于打开状态(即，启用)或者处于关闭状态(即，禁用)。如果显示单元100处于打开状态，则在显示单元100上显示的内部屏幕数据可以与投影到外部屏幕900上的外部屏幕数据相同或者不同。例如，外部屏幕数据可以是通过执行特定应用播放的内容的屏幕数据，内部屏幕数据可以是提供关于内容的操作信息、内容信息、执行信息等的屏幕数据。
图5是示出根据本发明示例性实施例的根据由移动装置的第一图像感测模块检测的用户交互来控制外部输出的一个示例的示图。图5示出了根据用户交互更新游戏应用播放的内容的外部屏幕数据的示例。在这个示例中，内容是所谓的“阴影播放(shadow play)”。
参照图5，在第一状态501，通过移动装置的投影仪模块300输出阴影播放内容的屏幕数据，并将该阴影播放内容的屏幕数据投影到外部屏幕900上。外部屏幕900上的外部屏幕数据可以是根据阴影播放内容的执行而播放的真正的屏幕数据，并且显示单元100上的内部屏幕数据可以是关于特定内容(阴影播放)的操作信息、指南信息和执行信息。可选择地，根据设置策略或用户的选择，显示单元100可处于关闭状态。
用户可产生用于控制外部屏幕数据的用户交互。例如，如第二状态503所示，用户的手可介入移动装置和外部屏幕900之间。用户可将手放在移动装置和外部屏幕900之间的第一图像感测模块610的可识别范围内。
第一图像感测模块610将用户手势(即，手的介入)检测为用户交互，然后将作为结果产生的交互信息发送到控制单元700。当在播放阴影播放内容期间检测到基于第一图像感测模块610的用户交互时，即，当从第一图像感测模块610接收到交互信息时，控制单元700识别映射到当前应用或者内容的特定功能，从而控制外部屏幕数据的更新。例如，如第三状态505所示，控制单元700从外部屏幕数据去除特定对象，从而创建更新的屏幕数据。投影仪模块300在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900上。最后，从处于第三状态505的外部屏幕数据去除包含在处于第二状态503的外部屏幕数据中的左边的对象50。
在第二状态503和第三状态505中，还可以改变显示单元100上显示的内部屏幕数据。例如，处于第二状态503的内部屏幕数据可以是关于当前内容(阴影播放)的执行信息，处于第三状态505的内部屏幕数据可以是关于更新的外部屏幕数据的操作信息。可以由用户设置显示内部屏幕数据的策略或者作为默认值提供该策略。
用户还可产生用于重新配置外部屏幕数据的另一用户交互。例如，如第四状态507所示，用户可再次将手放置在移动装置和外部屏幕900之间。因为投影仪模块300和外部屏幕900之间的手对投影的拦截，在外部屏幕数据上形成类似手的阴影。该类似手的阴影在外部屏幕900上的外部屏幕数据中创建新对象。
第一图像感测模块610将用户手势(即，手的介入)检测为用户交互，然后将作为结果产生的交互信息发送到控制单元700。当在输出更新的屏幕数据之后检测到基于第一图像感测模块610的用户交互时，即，当从第一图像感测模块610接收到用户交互时，控制单元700识别映射到当前应用或内容的特定功能，从而执行该功能。例如，如第五状态509所示，控制单元700启用第一图像感测模块610以获取外部屏幕数据和通过用户手势创建的新对象的组合图像，然后记录获取的图像。控制单元700还可将指示记录功能的执行的执行信息提供给显示单元100。
如上面参照图5所讨论的，根据本发明示例性实施例的控制单元700可在执行游戏应用的执行(诸如阴影播放)期间识别基于第一图像感测模块610的用户交互。控制单元700可从阴影播放内容去除预先定义的对象，从而通过投影仪模块300输出更新的外部屏幕数据。
另外，控制单元700可在输出更新的外部屏幕数据之后识别基于第一图像感测模块610的另一用户交互。控制单元700可控制记录功能以通过第一图像感测模块610获取和存储投影到外部屏幕900上的外部屏幕数据和通过用户手势创建的新对象的组合图像。
根据图5中所示的示例性实施例，用户可允许通过做出期望的手势在外部屏幕数据上创建新对象而非现有对象。通过在外部屏幕数据上用手形成阴影，用户可积极欣赏阴影播放内容。因此，用户可以通过手的各种形状和运动以期望的方式使用当前内容，并且还可创建与类似手的阴影对象相结合的内容的新配置。
图6是示出根据本发明示例性实施例的根据由移动装置的第一图像感测模块检测的用户交互来控制外部输出的另一示例的示图。图6示出根据用户交互更新游戏应用播放的内容的外部屏幕数据的另一示例。在该示例中，内容就是所谓的“阴影教程(shadow tutorial)”。
参照图6，在第一状态601，通过移动装置的投影仪模块300输出阴影教程内容的屏幕数据，并将该屏幕数据投影到外部屏幕900上。外部屏幕900上的外部屏幕数据可以是根据阴影教程内容的执行而播放的真正的屏幕数据，显示单元100上的内部屏幕数据可以是关于阴影教程内容的操作信息、指南信息和执行信息。可选择地，显示单元100可根据设置策略或者用户选择处于关闭状态。
用户可产生用于控制外部屏幕数据的用户交互。例如，如第二状态603所示，用户的手可介入移动装置和外部屏幕900之间。用户可将手放置在移动装置和外部屏幕900之间的第一图像感测模块610的可识别范围内。
第一图像感测模块610将用户手势(即，手的介入)检测为用户交互，并将作为结果产生的交互信息发送到控制单元700。当在播放阴影教程内容期间检测到基于第一图像感测模块610的用户交互时，即，当从第一图像感测模块610接收到交互信息时，控制单元700识别映射到当前应用或内容的特定功能，从而控制外部屏幕数据的更新。
例如，如第三状态605所示，控制单元700将外部屏幕数据的输出区域划分为两个或更多个部分。如图6中所示，输出区域被划分为两部分。控制单元700将划分的部分之一表示为空白区域(下面称作第一区域)，并将其他划分的部分表示为外部屏幕数据的调整尺寸的区域(下面称作第二区域)。如图6中所示，控制单元700将整个区域的第一半输出为空白区域(第一区域)，还将第二半输出为外部屏幕数据的调整尺寸的区域(第二区域)。通过调整尺寸，外部屏幕数据被调整以符合第二区域的尺寸。例如，在高度上保持外部屏幕数据的尺寸，而在宽度上减少外部屏幕数据的尺寸。
投影仪模块300在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900。最后，处于第二状态603的外部屏幕数据的输出区域被划分为处于第三状态605的两个区域，其中，所述两个区域中的一个输出阴影教程内容的调整尺寸的屏幕数据。
在第二状态603和第三状态605，也可改变显示单元100上显示的内部屏幕数据。例如，处于第二状态603的内部屏幕数据可以是关于当前内容(阴影教程)的执行信息，处于第三状态605的内部屏幕数据可以是关于更新的外部屏幕数据的操作信息。可由用户设置显示内部屏幕数据的策略，或者可作为默认值提供该策略。
用户还可产生用于重新配置外部屏幕数据的另一用户交互。例如，如第四状态607所示，用户可将手再次放置在移动装置和外部屏幕900之间。因为投影仪模块300和外部屏幕900之间的手对投影的拦截，在外部屏幕数据的特定区域(例如，第一区域)上形成类似手的阴影。该类似手的阴影在外部屏幕900上的外部屏幕数据中创建新对象。
第一图像感测模块610将用户手势(即，手的介入)检测为用户交互，然后将作为结果产生的交互信息发送到控制单元700。当在输出更新的屏幕数据之后检测到基于第一图像感测模块610的用户交互时，即，当从第一图像感测模块610接收到交互信息时，控制单元700识别映射到当前应用或内容的特定功能，从而执行该功能。例如，如第五状态609所示，控制单元700启用第一图像感测模块610以获取外部屏幕数据和通过用户手势创建的新对象的组合图像，然后记录获取的图像。控制单元700还可将指示记录功能的执行的执行信息提供给显示单元100。
如上面参照图6所讨论的，根据本发明示例性实施例的控制单元700可在执行游戏应用(诸如阴影教程)期间识别基于第一图像感测模块610的用户交互。控制单元700可确定划分的区域，然后执行尺寸调整处理，从而可调整阴影教程内容的外部屏幕数据以符合划分的区域的尺寸。控制单元700可通过投影仪模块300将调整尺寸的屏幕数据输出到外部屏幕900上。通过控制单元700的基于区域划分的输出控制，外部屏幕900上的输出区域被划分为第一区域和第二区域。
另外，控制单元700可在输出更新的外部屏幕数据之后识别基于第一图像感测模块610的另一用户交互。控制单元700可控制记录功能以通过第一图像感测模块610获取和存储投影到外部屏幕900上的外部屏幕数据和通过用户手势创建的新对象的组合图像。
根据图6所示的示例性实施例，用户可允许通过做出期望的手势将对象投影到空白的第一区域上。参照在第二区域中提供的外部屏幕数据的给定阴影，用户可尝试做出在第一区域中形成合成阴影(resultant shadow)的相似手势。因此，用户可学会如何做出特定阴影。在将在第一区域中形成的手的阴影与在第二区域中提供的给定阴影进行比较的同时，用户可使用当前内容，并且还可创建添加了第一区域中的阴影对象的内容的新配置。
图7是示出根据本发明示例性实施例的根据由移动装置的第一图像感测模块检测的用户交互来控制外部输出的示例的示图。图7示出根据用户交互更新浏览器应用输出的内容的外部屏幕数据的示例。在该示例中，外部屏幕数据是具有各种链接的网页。
参照图7，在第一状态701，通过移动装置的投影仪模块300输出浏览器应用提供的网页，然后将该网页投影到外部屏幕900上。外部屏幕900上的外部屏幕数据可以是根据浏览器应用的执行而从特定web服务器提供的特定网页，显示单元100上的内部屏幕数据可以是与外部屏幕数据相同的网页或者是适合于移动装置的修改的网页。可选择地，根据设置策略或用户选择，显示单元100可处于关闭状态。
用户可产生用于控制外部屏幕数据的用户交互。例如，如第二状态703所示，用户可借助特定的指示工具(例如，手指、激光指示器、短棒等)指出外部屏幕900上的特定地方。用户可通过在移动装置和外部屏幕900之间的第一图像感测模块610的可识别范围内使用这样的工具来指示网页中的特定点。
第一图像感测模块610将用户手势(即，指出特定地方)检测为用户交互，然后将作为结果产生的交互信息发送到控制单元700。当检测到用户交互时，第一图像感测模块610可在控制单元700的控制下进行拍照以获取外部屏幕900上的外部屏幕数据的图像，然后将获取的图像作为交互信息发送。当在外部输出模式下检测到基于第一图像感测模块610的用户交互时，即，当从第一图像感测模块610接收到交互信息时，控制单元700提取与接收的交互信息相应的特定功能，从而控制外部屏幕数据的更新。例如，如第三状态705所示，控制单元700响应于用户交互产生新的网页，并控制投影仪模块300的输出。投影仪模块300在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900上。最后，以第二状态703提供的网页被改变为以第三状态705提供的新网页。
当从第一感测模块610接收到交互信息时，控制单元700可将接收的交互信息与提供给投影仪模块300的屏幕数据进行比较。控制单元700可以以拦截方式提取提供给投影仪模块300的屏幕数据。控制单元700可提取为通过投影仪模块300的外部输出而缓冲的屏幕数据，然后基于接收到的之前通过拍照获取的交互信息，将提取的屏幕数据(下面称作原始屏幕数据)与其他屏幕数据(下面称作获取的屏幕数据)进行比较。
通过原始屏幕数据和获取的屏幕数据的比较，控制单元700可找到修改的部分。控制单元700在获取的屏幕数据的修改的部分上提取通过指示工具选择的特定地方。控制单元700可通过使用合适的算法(诸如脸部识别算法)提取指出的地方。如果通过激光指示器或标记器通过特定颜色指示了这样的地方，则控制单元700可通过使用颜色识别算法提取指示的地方。控制单元700计算关于提取的地方的位置信息(例如，坐标值或者任何其他可识别的数据)，并获得分配给原始屏幕数据中的位置信息的链接信息。
控制单元700可控制对与链接信息相应的特定web服务器的访问，并将访问的web服务器提供的网页发送到投影仪模块300。投影仪模块300可在控制单元700的控制下将接收的网页作为更新的屏幕数据投影到外部屏幕900上。处于第二状态703的网页可被更新至处于第三状态705的新网页。
根据图7中所示的示例性实施例，用户可在投影到外部屏幕900的外部屏幕数据上通过特定的指示工具做出用户交互。这种指出外部屏幕900上的特定地方的用户交互可实现与直接触摸显示单元100时相似的效果。仅外部屏幕900上的用户交互就使得可移动到选择的链接。
在第二状态703和第三状态705，还可改变显示单元100上显示的内部屏幕数据。例如，处于第二状态703的内部屏幕数据可以是在移动到选择的链接之前的原始屏幕数据，并且处于第三状态705的内部屏幕数据可以是在移动到选择的链接之后的更新的屏幕数据。可由用户设置显示内部屏幕数据的策略，或者作为默认值提供该策略。
图8是示出根据本发明示例性实施例的根据由移动装置的第一图像感测模块检测的用户交互来控制外部输出的示例的示图。图8示出了根据用户交互更新演示应用输出的内容的外部屏幕数据的示例。在这个示例中，外部屏幕数据是特定文档页。
参照图8，在第一状态801，通过移动装置的投影仪模块300输出演示应用提供的特定文档页，然后将该特定文档页投影到外部屏幕900上。外部屏幕900上的外部屏幕数据可以是根据演示应用的执行而打开的特定文档的页，显示单元100上的内部屏幕数据可以是与外部屏幕数据相同的文档页或者是相同文档页的浏览版本而非演示版本。可选择地，显示单元100可根据设置策略或用户选择而处于关闭状态。
用户可产生用于控制外部屏幕数据的用户交互。例如，如第二状态803所示，用户可借助特定指示工具(例如，激光指示器)在外部屏幕900上的特定地方产生可区分形状或颜色的点60。用户可通过在移动装置和外部屏幕900之间的第一图像感测模块610的可识别范围内使用这种工具指示文档页中的特定点。
第一图像感测模块610将可区分的点60的形成检测为用户交互，然后将作为结果产生的交互信息发送到控制单元700。当在外部输出模式下从第一图像感测模块610接收到交互信息时，控制单元700提取与接收的交互信息相应的特定功能，从而控制外部屏幕数据的更新。例如，如第三状态805所示，控制单元700响应于用户交互翻过文档页，并控制投影仪模块300的输出。投影仪模块300在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900上。最后，以第二状态803提供的文档页被改变为以第三状态805提供的新的文档页。
根据在图8中示出的示例性实施例，用户可通过激光指示器等在投影到外部屏幕900上的外部屏幕数据上做出用户交互。用户交互可以是通过激光指示器形成可区分形状或颜色的点60。通过改变点60的可区分的形状或颜色，用户可请求移动到上一页或者下一页。控制单元700可分析从第一图像感测模块610接收的交互信息，根据分析的交互信息提取映射到点的特定形状或颜色的特定功能，然后根据提取的功能产生更新的屏幕数据。另外，控制单元700可将更新的屏幕数据发送到投影仪模块300，然后控制外部输出。
在第二状态803和第三状态805，还可改变在显示单元100上显示的内部屏幕数据。例如，处于第二状态803的内部屏幕数据可以是翻页之前的文档页的浏览版本，处于第三状态805的内部屏幕数据可以是翻页之后的另一文档页的浏览版本。可以由用户设置显示内部屏幕数据的策略，或者作为默认值提供该策略。
图9是示出根据本发明示例性实施例的根据由移动装置的第一图像感测模块检测的用户交互来控制外部输出的示例的示图。图9示出了根据用户交互更新游戏应用播放的内容的外部屏幕数据的示例。在这个示例中，外部屏幕数据是游戏内容(例如，棋盘游戏)的特定图像。
参照图9，在第一状态901，通过移动装置的投影仪模块300输出选择的棋盘游戏的图像，然后将该图像投影到外部屏幕900上。外部屏幕900上的外部屏幕数据可以是根据棋盘游戏内容的执行而激活的选择的棋盘游戏的特定图像，显示单元100上的内部屏幕数据可以是关于选择的棋盘游戏的操作信息、指南信息和执行信息。可选择地，根据设置策略或用户选择，显示单元100可处于关闭状态。
用户可产生用于控制外部屏幕数据的用户交互。例如，如第二状态903所示，用户可借助特定指示工具(例如，手、激光指示器、标记器等)在外部屏幕900上的特定地方产生预先定义的点90。用户可通过在移动装置和外部屏幕900之间的第一图像感测模块610的可识别范围内使用这样的工具指示棋盘游戏的特定图像中的期望的点。
第一图像感测模块610将预先定义的点90的形成检测为用户交互，然后将作为结果产生的交互信息发送到控制单元700。当在外部输出模式下从第一图像感测模块610接收到交互信息时，控制单元700提取与接收的交互信息相应的特定功能，从而控制外部屏幕数据的更新。例如，控制单元700从用户交互识别预先定义的点的形成位置，并提取映射到识别的位置的特定功能。如第三状态905所示，控制单元700根据提取的功能在识别的位置产生预先定义的对象95，并控制投影仪模块300的输出。投影仪模块300在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900上。最后，以第二状态903提供的棋盘游戏的特定图像被改变为处于第三状态905的包含产生的对象95的新图像。
根据图9中所示的示例性实施例，用户可通过激光指示器等在投影到外部屏幕900上的外部屏幕数据上做出用户交互。所述用户交互可以是通过使用激光指示器、标记器、手指等在期望的地方形成预先定义的点90。通过指示不同地方，用户可享受棋盘游戏的乐趣。控制单元700可分析从第一图像感测模块610接收的交互信息，识别通过接收的交互信息指示的特定位置，然后执行映射到识别的位置的特定功能。例如，在指示的位置处产生预先定义的对象95。另外，控制单元700可将更新的屏幕数据发送到投影仪模块300，然后控制外部输出。
在第二状态903和第三状态905，还可以改变在显示单元100上显示的内部屏幕数据。例如，处于第二状态903的内部屏幕数据可以是关于在特定图像中选择的棋盘游戏的操作、指南和执行的信息，处于第三状态905的内部屏幕数据可以是关于在包含产生的对象95的新图像中所述棋盘游戏的进一步操作、指南和执行的信息。可以由用户设置显示内部屏幕数据的策略，或者可作为默认值提供该策略。
图10是示出根据本发明示例性实施例的根据由移动装置的第一图像感测模块检测的用户交互来控制外部输出的示例的示图。图10示出根据用户交互更新日程应用播放的内容的外部屏幕数据的示例。在该示例中，外部屏幕数据是日历或日程表。
参照图10，在第一状态1001，通过移动装置的投影仪模块300输出日历图像，然后日历图像被投影到外部屏幕900上。外部屏幕900上的外部屏幕数据可以是日历图像或者是根据日程内容的执行而激活的日程表，显示单元100上的内部屏幕数据可以是关于日程内容的菜单信息、操作信息和日程信息。可选择地，根据设置策略或者用户的选择，显示单元100可处于关闭状态。
用户可产生用于控制外部屏幕数据的用户交互。例如，如标号1003指示的第二状态所示，用户可在外部屏幕900上产生一些字母。用户可通过在移动装置和外部屏幕900之间的第一图像感测模块610的可识别范围内使用手指或者标记器来在日历图像上的选择的区域中书写字母(例如“meet”)。
第一图像感测模块610将字母的输入检测为用户交互，然后将作为结果产生的交互信息发送到控制单元700。当在外部输出模式下从第一图像感测模块610接收到交互信息时，控制单元700提取与接收的交互信息相应的特定功能，从而控制外部屏幕数据的更新。例如，控制单元700从用户交互识别输入的字母以及它们的位置。如第三状态1005所示，控制单元700产生具有与输入的字母相应的新对象的更新的屏幕数据。然后，投影仪模块300在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900上。最后，如第三状态1005所示，在第二状态1003书写的一些字母被插入到日历图像。
如图7中所讨论的，根据从第一图像感测模块610接收的交互信息对外部屏幕数据的更新控制的上述处理可包括将原始屏幕数据与获取的屏幕数据进行比较，识别修改的部分，并基于修改的部分进行处理。例如，控制单元700可将原始屏幕数据与从第一图像感测模块610周期地接收的交互信息进行比较，从而可找到输入的字母。控制单元700可将输入的字母插入到日程内容，从而产生更新的屏幕数据。控制单元700还可向外部输出更新的屏幕数据或者将更新的屏幕数据进行内部存储。
根据图10中所示的示例性实施例，用户可通过在投影到外部屏幕900上的外部屏幕数据上输入字母而简单地做出用户交互。用户交互可以是通过使用手指等书写一些字母。控制单元700可分析从第一图像感测模块610接收的交互信息，识别接收的交互信息指示的特定位置，然后执行映射到识别的位置的特定功能。当用户直接使用移动装置中的日程功能时，这个示例可实现相似效果。另外，控制单元700可将更新的屏幕数据发送到投影仪模块300，然后控制外部输出。
在第二状态1003和第三状态1005，还可改变在显示单元100上显示的内部屏幕数据。例如，处于第二状态1003的内部屏幕数据可以是关于日程内容的操作、指南和执行的信息，处于第三状态1005的内部屏幕数据可以是包含输入的字母的更新的屏幕数据。可由用户设置显示内部屏幕数据的策略，或者可作为默认值提供该策略。
上面参照图4至图10描述的是这样的若干示例：其中，第一图像感测模块610检测在移动装置和外部屏幕900之间发生的用户交互，从而控制单元700根据检测的用户交互控制外部输出。下面参照图11至图13描述的是这样的示例：其中，第二图像感测模块630检测在移动装置周围发生的用户交互，从而根据检测的用户交互控制外部输出。
图11是示出根据本发明的另一示例性实施例的根据在移动装置周围发生的用户交互的控制方法的示图。
参照图11，在初始状态1101，通过移动装置的投影仪模块300输出特定内容的屏幕数据，然后将所述屏幕数据投影到外部屏幕900上。根据用户操作，移动装置执行特定应用，然后通过基于投影仪模块300的外部输出功能将与特定应用有关的屏幕数据输出到外部屏幕900。屏幕数据可包括通过各种播放器应用(例如，视频播放器应用、数字广播播放器应用、游戏应用等)播放或执行的内容的动态屏幕数据，以及通过各种浏览器(viewer)应用(例如，文本浏览器应用、图像浏览器应用和电子书浏览器应用等)显示的内容的静态屏幕数据。
在初始状态1101，用户可产生用于控制正被输出的屏幕数据的交互。例如，用户可在移动装置周围第二图像感测模块630的可识别范围内产生特定用户交互。如上所讨论的，该用户交互可包括一些在移动装置周围做出的并可被第二图像感测模块630识别的预先定义的用户手势(例如，掠过或任何其他手部动作)。稍后将描述详细示例。
第二图像感测模块630检测用户交互，并将作为结果产生的交互信息发送到控制单元700。控制单元700识别从第二图像感测模块630接收的交互信息。控制单元700还识别与交互信息相应的特定功能，并根据该特定功能控制外部输出。控制单元700根据基于交互信息的特定功能控制选择的内容，并还控制由此修改的屏幕数据的输出。在下一状态1103，更新的屏幕数据被提供给外部屏幕900。稍后将参照附图描述有关示例。
当移动装置处于外部输出模式时，显示单元100可根据设置策略处于打开状态(即，启用)或处于关闭状态(即，禁用)。如果显示单元100处于打开状态，则在显示单元100上显示的内部屏幕数据可以与投影到外部屏幕900的外部屏幕数据相同或不同。例如，外部屏幕数据可以是通过执行特定应用而播放的内容的屏幕数据，内部屏幕数据可以是提供关于内容的操作信息、内容信息、执行信息等的屏幕数据。
图12是示出根据本发明示例性实施例的根据由移动装置的第二图像感测模块检测的用户交互来控制外部输出的一个示例的示图。图12示出根据用户交互更新特定播放器应用播放的内容的外部屏幕数据的示例。在这个示例中，内容是视频内容或者数字广播内容。
参照图12，在第一状态1201，通过移动装置的投影仪模块300输出选择的内容的屏幕数据，并且该屏幕数据被投影到外部屏幕900上。还可以在显示单元100上显示外部屏幕900上的外部屏幕数据。可选择地，根据设置策略或用户选择，显示单元100可处于关闭状态。
用户可产生用于控制外部屏幕数据的用户交互。例如，如第二状态1202所示，用户可将手放在第二图像感测模块630的可识别范围内的移动装置周围的任何地方或在第二图像感测模块630的可识别范围内的移动装置周围做出掠过手势。
第二图像感测模块630将用户手势(即，手的出现或者掠过手势)检测为用户交互，并将作为结果产生的交互信息发送到控制单元700。在播放选择的内容期间检测到基于第二图像感测模块630的用户交互时，即，当从第二图像感测模块630接收到交互信息时，控制单元700识别映射到当前应用或内容的特定功能，从而控制外部屏幕数据的更新。例如，如第三状态1203所示，控制单元700产生用于控制与播放有关的功能的虚拟项，然后将这些虚拟项输出到投影仪模块300。投影仪模块300在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900上。最后，以第三状态1203输出包含这样的虚拟项的更新的屏幕数据。虚拟项可被包含在内部屏幕数据和外部屏幕数据的至少一个中。
用户还可产生用于控制与播放有关的功能的另一用户交互。例如，如第四状态1204所示，用户可参考虚拟项，并在移动装置周围做出用于控制特定功能的用户交互。可在第二图像感测模块630附近通过向上的掠过手势、向下的掠过手势、向右的掠过手势和向左的掠过手势等产生用户交互。第二图像感测模块630将这样的用户手势检测为用户交互，并将作为结果产生的交互信息发送到控制单元700。
当播放内容时检测到基于第二图像感测模块630的用户交互时，即，当从第二图像感测模块630接收到交互信息时，控制单元700识别映射到当前应用或内容的特定功能，从而执行该功能。例如，控制单元700可响应于相应的用户交互执行快进功能，从而控制基于投影仪模块300的外部输出。投影仪模块300可在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900。如第五状态1205所示，可根据快进功能输出下一图像。
如果屏幕数据是视频图像并且如果检测的交互信息是用于控制快进功能，则控制单元700可在执行快进功能时按顺序切换输出的屏幕数据。类似地，可执行其他各种功能，诸如频道切换、音量调整、暂停、回退、缩放、页切换、图像幻灯(slide)、屏幕切换、滚动、导航等。
尽管在图12中没有示出，但是控制单元700还可在视觉上提供用于指示根据交互信息执行特定功能的信息。例如，控制单元700可在给定时间内或者在功能控制期间在内部屏幕数据和外部屏幕数据的至少一个上输出执行信息(诸如图标、文本等)。在给定时间之后或者当当前功能终止时，该执行信息可消失。
在完成用于外部输出的选择的功能控制之后，屏幕数据可继续播放。如果在给定时间内没有接收到新的交互信息，则如第六状态1206所示，控制单元700可去除在内部屏幕数据和外部屏幕数据的至少一个上输出的虚拟项。可选择地，控制单元700可响应于预先定义的用户交互去除虚拟项。
图13是示出根据本发明的示例性实施例的根据由移动装置的第二图像感测模块检测的用户交互控制外部输出的示例的示图。图13示出了根据用户交互更新执行演示应用而输出的外部屏幕数据的示例。在该示例中，外部屏幕数据是特定文档页。
参照图13，在第一状态1301，通过移动装置的投影仪模块300输出文档页，然后将该文档页投影到外部屏幕900上。还可在显示单元100上显示文档页。可选择地，根据设置策略或用户选择，显示单元100可处于关闭状态。
用户可产生用于控制外部屏幕数据的用户交互。例如，如第二状态1303所示，用户可将手放在第二图像感测模块630的可识别范围内的移动装置周围的任何地方或者在第二图像感测模块630的可识别范围内的移动装置周围做出掠过手势。
第二图像感测模块630将用户手势(即，手的出现或掠过手势)检测为用户交互，并将作为结果产生的交互信息发送到控制单元700。当在控制外部输出期间检测到基于第二图像感测模块630的用户交互时，即，当从第二图像感测模块630接收到交互信息时，控制单元700识别映射到当前应用的特定功能，从而控制外部屏幕数据的更新。例如，如第三状态1305所示，控制单元700可响应于用户交互控制页切换，然后向投影仪模块300输出切换的页。投影仪模块300在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900上。最后，以第二状态1303提供的文档页被改变为以第三状态1305提供的新的文档页。
根据图13中所示的示例性实施例，在使用外部输出功能的演示期间，用户可通过做出基于第二图像感测模块630的用户交互(诸如掠过手势)而执行期望的功能控制，诸如移动到下一页或上一页。控制单元700可分析从第二图像感测模块630接收的交互信息，提取映射到分析的交互信息的特定功能，然后根据提取的功能产生更新的屏幕数据。另外，控制单元700可将更新的屏幕数据发送到投影仪模块300，然后控制外部输出。
尽管在图13中没有示出，但是控制单元700还可在视觉上提供用于指示根据交互信息执行特定功能的执行信息。例如，控制单元700可在给定时间内或者在功能控制期间在内部屏幕数据和外部屏幕数据中的至少一个上输出执行信息(诸如图标、文本等)。在给定时间之后或者当当前功能终止时，该执行信息可消失。
用户还可产生用于控制另一功能的另一用户交互。控制单元700可响应于另一用户交互顺序地控制更新的屏幕数据的输出。
尽管在图11至图13所示的示例中有所省略，但是第二图像感测模块630可被接近感测模块(诸如接近传感器、光传感器等)代替。另外，在图4至图10中示出的第一图像感测模块610可以与在图11至图13中示出的第二图像感测模块630一起使用，从而可一起使用之前在图4至图13讨论的各种功能。例如，在移动装置的外部输出模式下，用户可产生基于第一图像感测模块610的用户交互以控制图4至图10中讨论的特定功能，并且还可产生基于第二图像感测模块630的另一用户交互以控制在图11至图13中讨论的特定功能。
上面描述了若干示例，在所述示例中，移动装置接收基于图像感测模块的用户交互，然后根据接收的用户交互控制更新的屏幕数据的外部输出。下面将针对图14和图15描述移动装置中用于外部输出的控制方法。然而，下面的实施例只是示例性的，并不应被认为是本发明的限制。可选择地，在不脱离本发明的范围的情况下，可使用其他实施例。
图14是示出根据本发明示例性实施例的根据基于移动装置的图像感测模块的用户交互来控制外部输出的方法的流程图。
参照图14，通过经由例如输入单元200、显示单元100和麦克风(MIC)的用户输入激活移动装置的投影仪功能。在步骤1401，控制单元700响应于用户的请求驱动投影仪模块300，并开始控制选择的应用的屏幕数据的外部输出，从而可通过投影仪模块300将屏幕数据投影到外部屏幕900上。可在驱动投影仪模块300之前执行选择的应用，并且还可在显示单元100上显示选择的应用的屏幕数据。可在驱动投影仪模块300的同时执行选择的应用，并且可将选择的应用的屏幕数据同时输出到显示单元100和外部屏幕900二者。还可在驱动投影仪模块300之后根据用户的请求执行选择的应用，并且可将选择的应用的屏幕数据同时输出到显示单元100和外部屏幕900二者。
在步骤1403，控制单元700激活图像感测模块600。在这个步骤中，图像感测模块600可以是图4至图10中讨论的第一图像感测模块610和图11至图13中讨论的第二图像感测模块630中的至少一个。当投影仪模块300被驱动时，控制单元700可自动激活图像感测模块600。可选择地，控制单元700可响应于合适的输入信号激活图像感测模块600。控制单元700遵从关于图像感测模块600的激活的预先定义的设置信息。
在步骤1405，控制单元700在外部输出期间检测通过图像感测模块600输入的用户交互。图像感测模块600检测用于控制外部输出的用户交互，然后将关于检测的用户交互的交互信息发送到控制单元700。通过从图像感测模块600接收交互信息，控制单元700可识别用户交互的发生。
在步骤1407，控制单元700分析接收的交互信息。通过分析交互信息，控制单元700识别用于控制外部输出的特定功能(步骤1409)。当接收到交互信息时，控制单元700执行给定的分析处理以知道哪个图像感测模块产生了交互信息，然后识别映射到分析的交互信息的特定功能。
在步骤1411，控制单元700根据识别的特定功能修改正向外部输出的屏幕数据，并且在步骤1413，控制单元700基于修改的屏幕数据控制外部输出。控制单元700将通过修改更新的屏幕数据发送到投影仪模块300，并控制通过投影仪模块300将更新的屏幕数据输出至外部屏幕900。之前参照图4至图13讨论了有关的示例，在图15中示出在分析用户交互之后控制外部输出的详细处理。
图15是示出根据本发明的示例性实施例的根据基于移动装置的不同图像感测模块的用户交互来控制外部输出的方法的流程图。
参照图15，在步骤1501，控制单元700在外部输出模式下检测从图像感测模块600接收的用户交互。在步骤1503，通过对用户交互的分析，控制单元700确定检测的用户交互是基于第一图像感测模块610还是基于第二图像感测模块630。
如果用户交互是基于第一图像感测模块610，则在步骤1511，控制单元700识别当前执行的内容和基于第一图像感测模块610的特定功能。当通过第一图像感测模块610检测特定用户交互时，如之前在图4至图10中所讨论的，控制单元700在当前内容中识别映射到特定用户交互的特定功能。
在步骤1513，控制单元700根据识别的特定功能控制更新的屏幕数据的输出。控制单元700根据特定功能修改当前内容的屏幕数据，并将修改的屏幕数据发送到投影仪模块300。投影仪模块300在控制单元700的控制下将更新的屏幕数据投影到外部屏幕900上。
在步骤1550，控制单元700控制预先定义的操作。例如，如之前针对图4和图5所讨论的，在步骤1515，控制单元700可使第一图像感测模块610拍照以获取投影到外部屏幕900上的外部屏幕数据的图像。在步骤1517，控制单元700可基于获取的图像产生新内容，并将新内容存储在存储器单元500中。在一些情况下，如之前在图4至图10中所讨论的，根据用于外部输出的内容的类型可省略步骤1550。
另一方面，如果用户交互是基于第二图像感测模块630，则在步骤1521，控制单元700识别当前执行的内容和基于第二图像感测模块630的特定功能。例如，当通过第二图像感测模块630检测特定用户交互时，如之前在图11至图13中所讨论的，控制单元700在当前内容中找到映射到特定用户交互的特定功能。
在步骤1523，控制单元700根据识别的特定功能控制更新的屏幕数据的输出。控制单元700根据特定功能修改当前内容的屏幕数据，然后将修改的屏幕数据发送到投影仪模块300。在控制单元700的控制下，投影仪模块300将更新的屏幕数据投影到外部屏幕900上。
在步骤1525，控制单元700控制预先定义的操作。例如，如之前在图11至图13中所讨论的，控制单元700可根据用户交互连续控制各种功能，诸如频道切换、音量调整、暂停、回退、缩放、页切换、图像幻灯、屏幕切换、滚动、导航等。
根据本发明的上述方法可在硬件中被实现或者可被实现为可被存储在物理记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码，从而这里描述的方法可以在使用通用计算机或专用处理器的这种软件中或者在可编程的或专用硬件(诸如ASIC或FPGA)中实现。如本领域所理解的那样，计算机、处理器或可编程硬件包括可存储或接收当被计算机、处理器或硬件访问和执行时实现这里描述的处理方法的软件或计算机代码的存储器组件，例如，RAM、ROM、闪存等。另外，应该认识到，当通用计算机访问用于实现这里示出的处理的代码时，代码的执行将通用计算机转变为用于执行这里示出的处理的专用计算机。
尽管已经参照本发明的特定示例性实施例示出和描述了本发明，但是本领域的技术人员将理解，在不脱离由权利要求及其等同物限定的本发明的精神和范围的情况下，这里可以在形式和细节上进行各种改变。

Claims (15)

1.一种用于控制移动装置的外部输出的方法，所述方法包括：
输出第一区域和第二区域，其中，第一区域被提供为用于用户输入的空白空间，并且第二区域被提供用于屏幕数据；
在第二区域输出屏幕数据期间，通过图像感测模块从第一区域检测用户交互；
基于检测到的用户交互在第一区域输出通过用户输入创建的对象。
2.如权利要求1所述的方法，其中，第二区域是调整尺寸的区域。
3.如权利要求2所述的方法，还包括：
捕捉响应于用户交互输出的图像；
存储捕捉的图像，
其中，捕捉的图像包括通过用户输入在第一区域创建并以第一区域中的空白空间的形式被提供的新对象和显示在第二区域中的调整尺寸的屏幕数据，
其中，响应于第二区域的尺寸调整第二区域的调整尺寸的屏幕数据的尺寸。
4.如权利要求3所述的方法，还包括存储基于捕捉的图像的新内容。
5.如权利要求1所述的方法，其中，在图像感测模块和屏幕之间的图像感测模块的识别范围之内检测用户交互，
其中，用户交互包括用于捕捉外部地显示的图像数据的输入和显示在第一区域中的用户输入。
6.如权利要求1所述的方法，还包括：
将被缓冲用于输出的原始屏幕数据和由图像感测模块捕捉的捕捉的屏幕数据进行比较；
当原始屏幕数据不同于捕捉的屏幕数据时，检测交互。
7.如权利要求5所述的方法，其中，检测用户交互的步骤包括：
检测在图像感测模块的识别范围内做出的用户手势、借助指示工具或激光指示器在投影到屏幕上的屏幕数据上形成可区分形状或颜色的点以及借助标记器在投影到屏幕上的屏幕数据上形成特定标记中的至少一个。
8.一种移动装置，包括：
投影仪模块，用于输出屏幕数据；
存储器单元，用于存储与外部输出功能的控制相关的设置信息；
图像感测模块，用于在基于投影仪模块的外部输出模式下，检测不同类型的用户交互；
控制单元，用于控制投影仪模块输出第一区域和第二区域，用于在输出屏幕数据期间通过图像感测模块从第一区域检测用户交互，并用于基于检测到的用户交互在第一区域输出通过用户输入创建的对象，
其中，第一区域被提供为用于用户输入的空白空间，第二区域被提供用于屏幕数据。
9.如权利要求8所述的移动装置，其中，第二区域是调整尺寸的区域。
10.如权利要求9所述的移动装置，其中，控制器还被配置为捕捉响应于用户交互输出的图像，并存储基于捕捉的图像的新内容，
其中，捕捉的图像包括通过用户输入在第一区域创建并以第一区域中的空白空间的形式被提供的新对象和显示在第二区域中的调整尺寸的屏幕数据。
11.如权利要求10所述的移动装置，其中，响应于第二区域的尺寸调整第二区域的调整尺寸的屏幕数据的尺寸。
12.如权利要求11所述的移动装置，其中，在图像感测模块和屏幕之间的图像感测模块的识别范围之内检测用户交互。
13.如权利要求8所述的移动装置，其中，控制器还被配置为；
将被缓冲用于输出的原始屏幕数据和由图像感测模块捕捉的捕捉的屏幕数据进行比较；
当原始屏幕数据不同于捕捉的屏幕数据时，检测交互。
14.如权利要求10所述的移动装置，其中，用户交互包括：用于捕捉显示的图像数据的输入；显示在第一区域中的用户输入。
15.如权利要求12所述的移动装置，其中，检测用户交互的操作包括：检测在图像感测模块的识别范围内做出的用户手势、借助指示工具或激光指示器在投影到屏幕上的屏幕数据上形成可区分形状和颜色的点、以及借助标记器在投影到屏幕上的屏幕数据上形成特定标记中的至少一个。
CN201080064423.XA 2009-12-21 2010-12-21 根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法 Expired - Fee Related CN102763342B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020090127896A KR20110071349A (ko) 2009-12-21 2009-12-21 휴대단말의 외부 출력 제어 방법 및 장치
KR10-2009-0127896 2009-12-21
PCT/KR2010/009134 WO2011078540A2 (en) 2009-12-21 2010-12-21 Mobile device and related control method for external output depending on user interaction based on image sensing module

Publications (2)

Publication Number Publication Date
CN102763342A CN102763342A (zh) 2012-10-31
CN102763342B true CN102763342B (zh) 2015-04-01

Family

ID=44152951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080064423.XA Expired - Fee Related CN102763342B (zh) 2009-12-21 2010-12-21 根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法

Country Status (5)

Country Link
US (1) US20110154249A1 (zh)
EP (1) EP2517364A4 (zh)
KR (1) KR20110071349A (zh)
CN (1) CN102763342B (zh)
WO (1) WO2011078540A2 (zh)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2669291A1 (en) * 2009-06-15 2010-12-15 Emil Mihaylov Mini projector for calendar data
KR101605347B1 (ko) 2009-12-18 2016-03-22 삼성전자주식회사 휴대단말의 외부 출력 제어 방법 및 장치
KR20130014774A (ko) * 2011-08-01 2013-02-12 삼성전자주식회사 디스플레이장치 및 그 제어방법
US9245193B2 (en) * 2011-08-19 2016-01-26 Qualcomm Incorporated Dynamic selection of surfaces in real world for projection of information thereon
KR101870773B1 (ko) * 2011-08-31 2018-06-26 삼성전자 주식회사 광학식 문자 판독기를 이용한 스케줄 관리 방법 및 장치
US9052749B2 (en) * 2011-09-09 2015-06-09 Samsung Electronics Co., Ltd. Apparatus and method for projector navigation in a handheld projector
CN102637119B (zh) * 2011-11-17 2015-06-24 朱琴琴 智能手持终端的外接显示控制器及控制方法
US20130215132A1 (en) * 2012-02-22 2013-08-22 Ming Fong System for reproducing virtual objects
US8509986B1 (en) * 2012-04-27 2013-08-13 Innova Electronics, Inc. Automotive diagnostic tool with projection display and virtual input
CN103581589B (zh) * 2012-07-26 2018-09-07 深圳富泰宏精密工业有限公司 投影方法及系统
US9329679B1 (en) * 2012-08-23 2016-05-03 Amazon Technologies, Inc. Projection system with multi-surface projection screen
US9632683B2 (en) * 2012-11-08 2017-04-25 Nokia Technologies Oy Methods, apparatuses and computer program products for manipulating characteristics of audio objects by using directional gestures
TWI454968B (zh) * 2012-12-24 2014-10-01 Ind Tech Res Inst 三維互動裝置及其操控方法
KR102056175B1 (ko) * 2013-01-28 2020-01-23 삼성전자 주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
KR101999958B1 (ko) * 2013-05-22 2019-07-15 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
KR102073827B1 (ko) * 2013-05-31 2020-02-05 엘지전자 주식회사 전자 기기 및 그 제어 방법
KR20150000656A (ko) * 2013-06-25 2015-01-05 삼성전자주식회사 휴대 단말에서 화면 이미지 출력 방법 및 장치
US9933986B2 (en) * 2013-11-29 2018-04-03 Lenovo (Beijing) Co., Ltd. Method for switching display mode and electronic device thereof
JP6355081B2 (ja) * 2014-03-10 2018-07-11 任天堂株式会社 情報処理装置
KR20150115365A (ko) * 2014-04-04 2015-10-14 삼성전자주식회사 전자장치에서 사용자 입력에 대응한 사용자 인터페이스 제공 방법 및 장치
DE102014210399A1 (de) * 2014-06-03 2015-12-03 Robert Bosch Gmbh Modul, System und Verfahren für die Erzeugung einer Bildmatrix zur Gestenerkennung
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
CN104133565B (zh) * 2014-07-24 2017-05-24 四川大学 利用结构光技术实现的实时激光点追踪人机交互系统
CN105334913B (zh) * 2014-08-05 2019-02-05 联想(北京)有限公司 一种电子设备
JP6245117B2 (ja) * 2014-09-02 2017-12-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN104407698B (zh) * 2014-11-17 2018-02-27 联想(北京)有限公司 一种投影方法及电子设备
JP2016102880A (ja) * 2014-11-28 2016-06-02 キヤノンマーケティングジャパン株式会社 画像投影装置及び画像投影装置の制御方法
CN104991693B (zh) * 2015-06-10 2020-02-21 联想(北京)有限公司 一种信息处理方法及电子设备
CN106293036B (zh) * 2015-06-12 2021-02-19 联想(北京)有限公司 一种交互方法及电子设备
US20170069255A1 (en) * 2015-09-08 2017-03-09 Microvision, Inc. Virtual Touch Overlay On Touchscreen for Control of Secondary Display
CN106201173B (zh) * 2016-06-28 2019-04-05 广景视睿科技（深圳）有限公司 一种基于投影的用户交互图标的交互控制方法及系统
TWI604376B (zh) * 2016-10-17 2017-11-01 緯創資通股份有限公司 電子系統、電子裝置及其延伸螢幕設定方法、投影設備
KR20180097031A (ko) * 2017-02-22 2018-08-30 이현민 휴대 단말 장치와 프로젝션 장치를 포함하는 증강 현실 시스템
CN107149770A (zh) * 2017-06-08 2017-09-12 杨聃 双操作模式国际象棋陪练机及其工作方法
AU2017418882A1 (en) 2017-06-13 2019-12-19 Huawei Technologies Co., Ltd. Display method and apparatus
CN107562316B (zh) * 2017-08-29 2019-02-05 Oppo广东移动通信有限公司 界面展示方法、装置及终端
CN108491804B (zh) * 2018-03-27 2019-12-27 腾讯科技（深圳）有限公司 一种棋局展示的方法、相关装置及系统
US11188154B2 (en) * 2018-05-30 2021-11-30 International Business Machines Corporation Context dependent projection of holographic objects
US10867441B2 (en) * 2019-02-15 2020-12-15 Microsoft Technology Licensing, Llc Method and apparatus for prefetching data items to a cache
US11221690B2 (en) * 2020-05-20 2022-01-11 Micron Technology, Inc. Virtual peripherals for mobile devices
CN114694545B (zh) * 2020-12-30 2023-11-24 成都极米科技股份有限公司 图像显示方法、装置、投影仪及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259231A1 (en) * 2003-05-14 2005-11-24 Salvatori Phillip H User-interface for projection devices
CN101075820A (zh) * 2006-05-18 2007-11-21 三星电子株式会社 使用外部显示装置的便携式装置的显示方法和系统
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
CN101539834A (zh) * 2008-03-20 2009-09-23 Lg电子株式会社 能够感测近距离触摸的便携式终端以及利用该终端控制屏幕的方法
CN101552818A (zh) * 2008-04-04 2009-10-07 Lg电子株式会社 使用接近传感器的移动终端及其控制方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1730623A2 (en) * 2004-03-22 2006-12-13 Koninklijke Philips Electronics N.V. Method and apparatus for power management in mobile terminals
KR20080028183A (ko) * 2006-09-26 2008-03-31 삼성전자주식회사 프로젝션 기능을 가지는 휴대 단말기의 영상 제어 시스템및 방법
KR100831721B1 (ko) * 2006-12-29 2008-05-22 엘지전자 주식회사 휴대단말기의 디스플레이 장치 및 방법
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
KR20090036227A (ko) * 2007-10-09 2009-04-14 (주)케이티에프테크놀로지스 이벤트 구동 빔-프로젝터 이동통신단말기 및 그 동작 방법
US8471868B1 (en) * 2007-11-28 2013-06-25 Sprint Communications Company L.P. Projector and ultrasonic gesture-controlled communicator
KR100921482B1 (ko) * 2008-03-04 2009-10-13 주식회사 다날시스템 프로젝터를 이용한 강의 시스템 및 그 시스템에서의 판서방법
EP2104024B1 (en) * 2008-03-20 2018-05-02 LG Electronics Inc. Portable terminal capable of sensing proximity touch and method for controlling screen using the same
US8599132B2 (en) * 2008-06-10 2013-12-03 Mediatek Inc. Methods and systems for controlling electronic devices according to signals from digital camera and sensor modules
KR20100050180A (ko) * 2008-11-05 2010-05-13 삼성전자주식회사 프로젝터를 구비한 휴대 단말기 및 그 휴대 단말기에서 표시부 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050259231A1 (en) * 2003-05-14 2005-11-24 Salvatori Phillip H User-interface for projection devices
CN101075820A (zh) * 2006-05-18 2007-11-21 三星电子株式会社 使用外部显示装置的便携式装置的显示方法和系统
US20080018591A1 (en) * 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
CN101539834A (zh) * 2008-03-20 2009-09-23 Lg电子株式会社 能够感测近距离触摸的便携式终端以及利用该终端控制屏幕的方法
CN101552818A (zh) * 2008-04-04 2009-10-07 Lg电子株式会社 使用接近传感器的移动终端及其控制方法

Also Published As

Publication number Publication date
KR20110071349A (ko) 2011-06-29
CN102763342A (zh) 2012-10-31
EP2517364A2 (en) 2012-10-31
WO2011078540A2 (en) 2011-06-30
EP2517364A4 (en) 2016-02-24
US20110154249A1 (en) 2011-06-23
WO2011078540A3 (en) 2011-11-10

Similar Documents

Publication Publication Date Title
CN102763342B (zh) 根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法
KR102082417B1 (ko) 이동 단말기 및 그 제어 방법
CN102981751B (zh) 移动终端和用于提供其用户界面的方法
US9703456B2 (en) Mobile terminal
CN104660801B (zh) 移动终端及其控制方法
KR101921203B1 (ko) 녹음 기능이 연동된 메모 기능 운용 방법 및 장치
US20170249519A1 (en) Method and device for reproducing content
US10528249B2 (en) Method and device for reproducing partial handwritten content
KR101601049B1 (ko) 듀얼 표시부를 가지는 휴대단말 및 그 표시부를 이용한 클립보드 기능 제공 방법
US9600143B2 (en) Mobile terminal and control method thereof
CN107112010A (zh) 用于使用语法模型执行话音识别的方法和设备
CN103164152A (zh) 用于编辑视频的装置、方法和图形用户接口
CN102754352A (zh) 提供多个应用的信息的方法和装置
KR20120131441A (ko) 이동 단말기 및 그 제어방법
CN102171940A (zh) 功能执行方法以及使用该功能执行方法操作的移动终端
KR20140110627A (ko) 이동 단말기 및 이의 제어방법
CN103034437A (zh) 在便携式装置中提供用户接口的方法和设备
CN110196646A (zh) 一种信息输入方法及移动终端
JP2010157820A (ja) 制御システム、及び制御方法
KR20170039379A (ko) 전자 장치 및 이의 제어 방법
KR102134882B1 (ko) 컨텐츠 재생을 제어하기 위한 방법 및 장치
CN106527928A (zh) 一种截屏控制装置、方法及智能终端
CN106843642A (zh) 一种移动终端的交互方法和移动终端
US8942414B2 (en) Method and apparatus for making personalized contents
US11474683B2 (en) Portable device and screen control method of portable device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150401

Termination date: 20201221