CN103677557B - 基于用户方位的智能屏幕旋转 - Google Patents

基于用户方位的智能屏幕旋转 Download PDF

Info

Publication number
CN103677557B
CN103677557B CN201310339543.1A CN201310339543A CN103677557B CN 103677557 B CN103677557 B CN 103677557B CN 201310339543 A CN201310339543 A CN 201310339543A CN 103677557 B CN103677557 B CN 103677557B
Authority
CN
China
Prior art keywords
electronic device
rotation
image
user
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310339543.1A
Other languages
English (en)
Other versions
CN103677557A (zh
Inventor
李宇镛
朴珖圭
权范埈
朴炫在
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103677557A publication Critical patent/CN103677557A/zh
Application granted granted Critical
Publication of CN103677557B publication Critical patent/CN103677557B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Position Input By Displaying (AREA)

Abstract

基于用户方位的智能屏幕旋转。提供一种执行智能式屏幕旋转的方法及其电子装置。在电子装置中控制屏幕旋转的方法包括:确定电子装置的方向,确定用户的方向,并且通过将电子装置的方向和用户的方向进行比较来确定是否旋转屏幕。

Description

基于用户方位的智能屏幕旋转
技术领域
本公开涉及便携式电子装置中的自动屏幕旋转。
背景技术
由于技术进步以及便携式电子装置(简称“便携式装置”,例如智能电话、平板电脑)的易于携带性,便携式电子装置已经成为现代生活的必需品。便携式装置已经发展为提供多种服务的多媒体装备,其中,所述服务例如语音通话功能、视频通话功能、信息输入/输出功能以及数据存储功能。触摸屏便携式装置尤为受欢迎。
现今的具有矩形显示屏的便携式装置一般提供这样的自动屏幕旋转功能(简称“自动旋转”):当检测到便携式装置以特定的方式被定向时,该功能相对于显示屏来自动旋转显示的图像。例如,当具有矩形显示屏的装置处于竖直方向从而短边平行于地面时,图像(例如文本文档或数码照片)可与整个显示区域大致对齐,从而图像的长边平行于显示屏的长边(以及装置的长边)。当装置随后被旋转为水平方向时,图像相对于显示屏旋转90°,从而图像的长边平行于显示屏的短边。
然而,在虽然用户无意引起图像旋转,但是屏幕图像却由于装置旋转而自动旋转的情况下,自动屏幕旋转功能对于用户而言可能是不方便又令人沮丧的。
发明内容
本公开的一个方面在于大致解决至少上述问题和/或缺点,并且提供至少下述优点。因此,一方面在于提供一种在电子装置中提供考虑装置用户本身相对于装置方位的方位变化的智能式自动屏幕旋转功能的设备及方法。
根据本发明的一方面,提供一种在电子装置中控制屏幕旋转的方法。该方法包括:确定电子装置改变后的方向,确定用户的方向,通过将电子装置改变后的方向和用户的方向进行比较来确定是否旋转屏幕。
通过采用装置的前置摄像头来捕获图像并且执行人脸检测,可确定用户的方向。当用户的方向和电子装置改变后的方向大致相同时,即使该电子装置的方向已经改变至通常可引发屏幕旋转的点,也可确定自动屏幕旋转不会发生。因此,可防止或减少无意的屏幕旋转。
在示例性实施例中,电子装置包括:用于执行计算机程序的至少一个处理器,用于存储数据和指令的存储器,存储在存储器中并且由上述的至少一个处理器所驱动的程序。处理器确定电子装置改变后的方向确定用户的方向,通过将电子装置改变后的方向和用户的方向进行比较来确定是否旋转屏幕。
根据本发明的一方面,提供一种在电子装置中控制屏幕旋转的方法。该方法包括:确定电子装置的方向,确定用户的方向,通过将电子装置的方向和用户的方向进行比较来确定是否旋转屏幕。
在示例性实施例中,电子装置包括显示器和至少一个处理器。处理器确定电子装置的方向,确定用户的方向,通过将电子装置的方向和用户的方向进行比较来判断是否旋转屏幕。
附图说明
通过下面结合附图的详细描述,本发明的上述及其他方面、特征和优点将变得更加清楚,其中:
图1是示出根据本发明的电子装置的构造的框图;
图2是示出根据本发明的示例性实施例的处理器的构造的框图;
图3是示出根据本发明的第一示例性实施例的提供在电子装置中考虑用户的方向变化值的屏幕旋转功能的方法的流程图;
图4是示出根据本发明的第二示例性实施例的提供在电子装置中考虑用户的方向变化值的屏幕旋转功能的方法的流程图;
图5是示出根据本发明的示例性实施例的在电子装置中确定用户的方向变化值方法的流程图;
图6是示出根据示例性实施例的基于电子装置的方向和用户的方向的示例屏幕配置的示图;
图7是示出根据示例性实施例的基于电子装置的方向和用户的方向的示例屏幕配置的示图;
图8是示出根据示例性实施例的基于电子装置的方向和用户的方向的屏幕配置的示图。
具体实施方式
以下将参照附图来描述本发明的示例性实施例。在下面的描述中,公知功能或构造将不予详述,以避免在不必要的细节上而模糊本发明。此外,这里所使用到的某些术语可能与其普通用法不同。因此,应以贯穿这份说明书的公开为基础来理解这些术语。
以下将描述电子装置中自适应性地提供自动屏幕旋转功能的技术。此处,自动屏幕旋转功能表示相对于电子装置的物理显示器来旋转显示区域的显示方向的功能。
这里,诸如“旋转屏幕”、“屏幕旋转”之类的术语涉及相对于装置的物理显示器来旋转图像。图像可以是摄影型图像,或是信息型图像(例如文本文档、图画,或者任何其他内容)。
这里,术语“方向”可指“方位”。例如,当矩形装置被称为具有竖直方向时,装置的短边的方向平行于地面。当用户被称为具有竖直方向或方位时,连接他的左眼的中心和右眼的中心的假想线平行于地面。
这里,术语“大致”一般意指所陈述出的特性、参数或数值无需精确地实现,但是可能会发生不影响实现所述特性意欲提供的效果的数量上的偏差或变化。
在下面的描述中,示例性的电子装置可以是具有摄像头的便携式电子装置。该电子装置可具备通信功能也可不具备通信功能。该电子装置可以是便携式(例如手持)终端、移动终端、移动通信终端、智能手机、平板电脑(tablet PC)、移动平板(mobile pad)、多媒体播放器、个人数字助理(PDA)、笔记本电脑、上网本(netbook)、移动互联网设备(MID)、超便携移动个人电脑(UMPC)、导航仪、智能电视、手表、数码相机、音乐播放器(例如MP3 播放器)、台式电脑或电视机。此外,该电子装置可以是任何将上述装置中的两种或更多装置的功能的组合的便携式电子装置。
图1是示出根据示例性实施例的示例电子装置100的构造的框图。该电子装置100包括:存储器110、处理器单元120、音频处理单元130、相机单元140、传感单元150、输入/输出控制器160、显示单元170和输入装置180。此处,存储器110可设置有多个存储器单元。
以下将详细描述各组成元件。
存储器110包括:用于存储控制装置100的操作的程序的程序存储单元 111以及用于存储程序执行期间所产生的数据的数据存储单元112。
数据存储单元112存储关于各应用程序是否支持自动屏幕转换模式的信息。
程序存储单元111包括:图形用户界面(GUI)程序113、屏幕旋转控制程序114、用户方向识别程序115以及至少一个应用程序116。此处,每个包括在程序存储单元111中的程序都是一组指令,而且可以用指令集的形式表达。
GUI程序113包括至少一个软件组成元素,用于通过显示单元170来用图形提供用户界面。例如,GUI程序113可控制在显示单元170上显示由处理器122所驱动的应用程序的信息。又例如,依照由屏幕旋转控制程序114 中确定的显示方向,GUI程序113可控制显示单元170的显示方向。
屏幕旋转控制程序114包括用于考虑电子装置100的方向变化值和用户的方向变化值来提供自动屏幕旋转功能的至少一个软件组成元素。例如,屏幕旋转控制程序114可考虑电子装置的方向变化值(该变化值取决于由传感单元150感测到的电子装置100的旋转)和用户的方向变化值(该变化值可由用户方向识别程序115确定),有选择地提供自动屏幕旋转功能。具体地讲,如果电子装置100的方向变化值和用户的方向变化值相同,屏幕旋转控制程序114保持显示单元170的显示方向不变。即,在自动屏幕旋转功能被激活的情况下,如果电子装置100的方向变化值和用户的方向变化值相同,则屏幕旋转控制程序114可限制由电子装置100的方向变化而引发的显示单元170 的显示方向旋转。同时,如果电子装置100的方向变化值和用户的方向变化值彼此不同,则屏幕旋转控制程序114考虑电子装置100的方向变化来命令显示单元170的显示方向的旋转。
如果无法通过用户方向识别程序115感测到用户的方向变化,则屏幕旋转控制程序114可仅考虑电子装置100的方向变化来命令显示单元170的显示方向旋转。
此外,如果通过传感单元150感测到电子设备100的旋转,则屏幕旋转控制程序114可激活相机单元140,以便用户方向识别程序115感测到用户的方向变化。此时,屏幕旋转控制程序114可以根据应用程序(特指在感测到电子装置100的旋转的时间点上,该电子装置正在执行的应用程序)是否提供自动屏幕旋转功能,有选择地激活相机单元140。
用户方向识别程序115包括用于确定用户的方向的至少一个软件组成元素。通过使用通过相机单元140(更确切地说,相机单元140的前置摄像头,该摄像头的镜头和装置100的显示屏幕安装在同一侧)获取到的图像,用户方向识别程序115可确定用户的方向。例如,用户方向识别程序115可通过使用人脸检测算法,通过位置识别通过相机单元140获取到的图像中的以下元素中的至少一个的轮廓来执行人脸检测:人脸、眼睛、鼻子、下颚、嘴巴。如果在通过相机单元140获取到的图像中检测到人脸,则用户方向识别程序 115可识别出用户所面向的方向是否和电子装置100的方向相同。具体地讲,电子装置100可识别出图像中的人脸和电子装置100方向相同。鉴于此,如果在从相机单元140所提供的图像中识别出人脸,则用户方向识别程序115 可识别出用户和电子装置100的方向相同。
如果未能在从相机单元140所提供的图像中检测到人脸,则用户方向识别程序115可考虑电子装置100的方向变化信息来旋转通过相机单元140获取到的图像。例如,参照图6的左侧,如果左侧L1和右侧L2均朝上(垂直于地面),并且如果电子装置100向右旋转90°,则用户方向识别程序115可将通过相机单元140获取到的图像向右旋转90°。
其后,用户方向识别程序115可使用旋转后的图像来识别执行人脸检测。
如果在旋转后的图像中检测到人脸,则用户方向识别程序115可根据电子装置100的方向变化信息来确定用户的方向。
如果未能在旋转后的图像中检测到人脸,则用户方向识别程序115识别出无法通过相机单元140获取到的图像检测到人脸。
应用程序116包括用于安装在电子装置100中的至少一个应用程序的软件组成元素。
处理器单元120包括:存储器接口121、至少一个处理器122以及外围接口123。此处,包括于处理器单元120中的存储器接口121、至少一个处理器122和外围接口123可以被集成为至少一个集成电路或者可以被实现为单独的组成元件。
存储器接口121控制组成元件(例如处理器122和外围接口123)访问存储器110。
外围接口123控制处理器122和存储器接口121与电子装置100的输入/ 输出外围装置之间的连接。
通过使用至少一个软件程序,处理器122控制电子装置100提供各种多媒体服务。为此,处理器122控制至少一个存储在存储器110中的软件程序的执行,并且提供对应于执行的程序的服务。
音频处理单元130通过扬声器131和麦克风132提供用户和电子装置100 间的音频接口。
相机单元140通过摄像头捕获物体的图像,以提供采集的图像。相机单元140可包括:相机传感器,用于将光学信号转变为电子信号;图像处理单元,用于将模拟图像信号转变为数字图像信号;信号处理单元,用于进行处理以将从图像处理单元输出的图像信号显示在显示单元170上;以及诸如此类。此处,相机传感器可以是电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器等;而信号处理单元可以被实现为数字信号处理器(DSP)。相机单元140可称为图像传感器。正如前面所提到的,相机单元 140包括前置摄像头,该摄像头的镜头安装在装置100的前表面上(即和显示单元170的显示屏幕处于同侧)。前置摄像头用于“自拍”以及用于根据本发明的检测用户方位。为了一般的数码摄影,装置100的后表面上的后置摄像头(未示出)最好也包括其中。
传感单元150感测电子装置100的运动和方向。例如,传感单元150包括加速度传感器、电磁传感器、螺旋仪传感器、高度传感器中的至少一个。
输入/输出(I/O)控制器160在输入/输出设备(例如显示单元170、输入装置180等)与外围接口123之间提供接口。
显示单元170显示出电子装置100的状态信息、由用户输入的字符、运动图像、静止画面等。例如,显示单元170显示由处理器122所驱动的应用程序的信息。显示单元170可根据由屏幕旋转控制程序114确定和生成的自动屏幕旋转命令来更改显示方向。
此外,如果显示单元170由触摸屏构成,则显示单元170还包括触摸输入单元。触摸输入单元将通过触摸面板感测到的触摸信息通过输入/输出控制器160提供给处理器单元120。触摸输入单元通过I/O控制器160将由触屏笔或用户的手指所产生的信息提供给处理器单元120。
输入装置180通过I/O控制器160将通过用户的选择产生的输入数据提供给处理器单元120。例如,输入装置180可以只具有单一的用来控制电子装置100的控制按钮。又例如,输入装置180可由小型键盘构成,以接收来自用户的输入数据提供。
虽然图中并未示出,但电子装置100还可包括用于执行用于语音通信和数据通信的通信功能的通信系统。该通信系统可配置有支持不同的通信网络的多个通信子单元。例如,通信网络包括但不限于下列网络中至少一个:全球移动通信系统(GSM)网络、增强型数据GSM环境(EDGE)网络、码分多址(CDMA)网络、无线码分多址(W-CDMA)网络、长期演进(LTE)网络、正交频分多址(OFDMA)网络、无线局域网(WLAN)网络、蓝牙网络以及近距离通信(NFC)网络。
图2是示出根据本发明的示例性实施例的处理器122的示例构造的框图。处理器122可包括:屏幕旋转控制器200、用户方向识别单元210和显示控制器220。
屏幕旋转控制器200执行存储在程序存储单元111中的屏幕旋转控制程序114,并且考虑电子装置100的方向变化值和用户的方向变化值来提供自动屏幕旋转功能。例如,屏幕旋转控制器200可考虑电子装置100的方向变化值(该变化值取决于由传感单元150感测到的电子装置100的旋转)和用户的方向变化值(该变化值可由用户方向识别单元210确定),有选择地提供自动屏幕旋转功能。具体地讲,如果电子装置100的方向变化值和用户的方向变化值基本相同,则屏幕旋转控制器200保持显示单元170的显示方向不变。即,在自动屏幕旋转功能被激活的情况下,如果所述方向变化值相同,则屏幕旋转控制器200可限制由电子装置100的方向变化引发的显示单元170 的显示方向旋转。同时,如果电子装置100的方向变化值和用户的方向变化值彼此不同,则屏幕旋转控制器200可考虑电子装置100的方向变化来命令显示单元170的显示方向旋转。
如果通过用户方向识别单元210无法感测到用户的方向变化,则屏幕旋转控制器200可考虑电子装置100的方向变化来控制旋转显示单元170的显示方向。
此外,如果通过传感单元150感测到电子设备100的旋转,则屏幕旋转控制器200可激活相机单元140,以使用户方向识别单元210感测用户的方向变化。此时,屏幕旋转控制器200根据应用程序(指在感测到电子装置100 的旋转的时间点上,该电子装置正在执行的应用程序)是否提供自动屏幕旋转功能,有选择地激活相机单元140。此处,屏幕旋转控制器200从数据存储单元112来确定应用程序是否支持自动屏幕旋转功能。
用户方向识别单元210执行存储在程序存储单元111中的用户方向识别程序115,以确定用户的方向。为此,通过使用通过相机单元140获取到的图像,识别单元210可确定用户的方向。例如,通过使用人脸检测算法,用户方向识别单元210可通过位置识别通过相机单元140获取到的图像中的以下元素的轮廓中的至少一个的来执行人脸检测:人脸、眼睛、鼻子、下颚、嘴巴。如果在通过相机单元140获取到的图像中检测到人脸,则通过使用前文中描述过的方法,用户方向识别单元210可识别出用户和电子装置100方向相同。
显示控制器220控制存储在程序存储单元111中的GUI程序113的执行,并且可通过显示单元170来图形地显示用户界面。例如,显示控制器220控制在显示单元170上显示出在应用程序驱动单元中驱动的应用程序的信息。显示控制器220可根据在屏幕旋转控制器220中确定的自动屏幕旋转来控制显示单元170的显示方向变化。具体地讲,如果屏幕旋转控制器200激活自动屏幕旋转功能,则显示控制器220根据在屏幕旋转控制器200中确定的旋转值来控制旋转显示单元170的显示方向。同时,如果屏幕旋转控制器200 停用自动屏幕旋转功能,则显示控制器220控制保持显示单元170的显示方向不变。
在上述示例性实施例中,处理器122可被构造为包括如单独模块200、 210和220这样的自适应性地根据用户的方向变化提供自动屏幕旋转的组成元件。在另一示例性实施例中,为了自适应性地根据用户的方向变化提供自动屏幕旋转,在包括子单元200、210和220的一个模块中,自动旋转处理器 122可执行存储在程序存储单元111中的软件组成元素。
图3示出根据本发明的第一示例性实施例的在电子装置100中考虑用户的方向来提供屏幕旋转功能的方法。在该方法的最初,确定电子装置的方向和/或方向变化信息(如果未发生方向变化,则在此步骤中,该方法可维持对该装置的先前方向的确定)。例如,当通过传感单元150感测到电子装置的旋转时,电子装置可考虑通过传感单元110感测到的传感数据,来判断电子装置的旋转方向及其方向变化值。
该方法接下来处理步骤303,并且通过使用通过相机单元140拍摄的图像来确定用户的方向信息。例如,通过使用人脸检测算法,电子装置可在通过相机单元140的前置摄像头获取的图像中尝试执行人脸检测。如果在通过相机单元140获取的图像中识别到人脸,则电子装置可识别用户和电子装置的方向相同。同时,如果未能在相机单元140所提供的图像中检测到人脸,则电子装置可考虑电子装置的方向变化信息来旋转通过相机单元140获取的图像。其后,电子装置可在旋转后的图像中尝试执行人脸检测。如果在旋转后的图像中检测到人脸,则电子装置可根据电子装置的方向变化信息来确定用户的方向。如果未能在旋转后的图像中检测到人脸,则电子装置可识别出无法通过相机单元140获取的图像识别到人脸。
在确定电子装置的方向和/或方向变化信息以及用户的方向信息后,该方法进行步骤305,并且考虑电子装置的方向/方向变化信息以及用户的方向信息来有选择地执行自动屏幕旋转。例如,参照图6,当如图所示电子装置的方向(610)和用户的方向(600)大致相同时,电子装置100维持显示器170 的显示方向(620)。即,即使在自动屏幕旋转功能被激活的情况下,电子装置100也可限制。
在传统的自动旋转中,电子装置100的由于电子装置100的方向变化造成的显示单元170的显示方向旋转,所述电子装置100的方向变化相反会造成在传统自动旋转中的旋转。请注意到在图6中,检测到用户头部的两侧大致平行于电子装置100的长边L1、L2并且大致垂直于短边W1、W2,对应于用户和电子装置100朝向相同的方向的情况。因此,以通常电子装置100 处于竖直方向的方式,内容被显示在显示器170上。例如,就文本内容而言,就像通常文本被直立或坐姿端正的用户在纸张的矩形页上被看到的那样,文本在矩形显示屏上显示。
参照图7,当电子装置100改变后的方向(710)和用户的方向(700)彼此不同并且超出预定阈值角度时,电子装置100考虑电子装置的方向变化(720)来相对于之前的状态旋转内容屏幕。(预定阈值角度可设置为接近 90°。)例如,在图7中,由于电子装置100相对于用户的方向旋转了大约90°,因此可认为用户有意旋转电子装置100,所以将旋转屏幕内容。然而,在图7 中,如果用户也以和电子装置旋转大致相同的角度(例如,在本例中大约为 90°)歪着头,则该方法将限制改变显示器170的屏幕方向,由于认为用户并无意旋转画面内容。这在图8中示出,其中,当电子装置100改变后的方向(810)和用户的方向(800)彼此大致相同时看到,电子装置100维持显示器170的显示方向不变(820)。即,电子装置100令显示屏170(620)的显示方向保持不变。即,即使在自动屏幕旋转功能被激活的情况下,电子装置100也可限制由于电子装置的方向改变引起的显示单元170的显示方向旋转,所述电子装置100的方向变化相反将产生屏幕旋转。
如上所述,考虑电子装置的方向变化信息和用户的方向信息,电子装置可有选择地执行因电子装置的方向变化而导致的屏幕旋转。如果电子装置无法在通过相机单元140获取的图像中检测到人脸,则电子装置可像在传统的自动旋转中那样,在仅考虑电子装置的方向变化来旋转显示单元170的显示方向。
图4示出根据本发明的第二示例性实施例的电子装置中考虑用户的方向变化值来提供屏幕旋转功能的方法。
在这种方法中,首先经由传感单元150提供的传感信号确定是否已感测到电子装置100的方向变化(步骤401)。更具体地讲,基于传感信号来确定电子装置的方向变化值是否大于参考值。此处,参考值可以用于传统地激活电子装置的自动屏幕旋转功能的参考变化值,例如,检测到电子装置100前表面的法线大致平行于地面的接近90°的旋转。(如上文所述,如果电子装置 100的显示器170的前表面朝上或者朝下,则对于屏幕旋转的目的,翻转式旋转将被忽略。)
如果在步骤401中未感测到电子装置的方向变化,则电子装置终止本实施例的算法。如果电子装置的方向变化在参考范围内完成,则电子装置可识别出它不提供自动屏幕旋转功能,并且终止该算法。
同时,如果在步骤401中确定感测到电子装置的方向变化,则此方法进行至步骤403并且确定是否已激活自动屏幕旋转功能。例如,电子装置可确定是否已设置自动屏幕旋转菜单。又例如,电子装置可确定目前优先执行的应用程序是否支持自动屏幕旋转功能。
如果在步骤403中确定还没有激活自动屏幕旋转功能,则电子装置终止本实施例的算法。相反地,如果已激活该功能,则将步骤405中激活相机单元140。此时,电子装置不在显示单元170上显示通过相机单元140获取到的图像。
该方法接下来进行至步骤407,并且确定用户的方向信息和电子装置的方向变化信息。例如,如图5所示以及下文所述,电子装置可通过对通过相机单元140获取到的图像执行人脸检测,来确定用户的方向信息。此时,电子装置可考虑电子装置的方向变化信息来尝试人脸检测。
在确定电子装置的方向变化信息和用户的方向信息后,该方法进行至步骤409,并且考虑电子装置的方向和/或变化信息以及用户的方向信息,有选择地执行自动屏幕旋转。此处,上述对于图6至8的示例同样适用。
图5示出根据本发明的示例性实施例的在电子装置中确定用户的方向变化值的过程。
如果在图4的步骤405中激活相机单元140,则电子装置进行到步骤501,并且确定能否在通过相机单元140获取到的图像中检测到人脸。
如果在通过相机单元140获取到的图像中检测到人脸,则电子装置进行到步骤503,并且识别出用户的方向是否和电子装置的方向大致相同。即,电子装置可识别出相对于用户的方向的电子装置改变后的方向。
同时,如果未能在从相机单元140提供的图像中检测到人脸,则电子装置进行步骤505,并且考虑电子装置的方向变化信息来旋转通过相机单元140 获取到的图像。例如,如果电子装置向右旋转了90°,则电子装置可将通过相机单元140获取到的图像向右旋转90°。
此后,电子装置进行到步骤507并且确定能否在旋转后的图像中检测到人脸。例如,通过使用人脸检测算法,电子装置可通过位置识别考虑电子装置的方向变化信息而被旋转的以下元素的轮廓中的至少一个来检查人脸:人脸、眼睛、鼻子、下颚、嘴巴。
如果在旋转后的图像中检测到人脸,则电子装置进行到步骤503,并且可针对电子装置的方向变化信息来确定用户的方向。例如,如果在图像中识别出人脸向右旋转90°,则电子装置可识别出从电子装置改变后的方向向左旋转90°的方向为用户的方向。
接下来,电子装置进行到图4的步骤409,并且考虑电子装置的方向变化信息和用户的方向信息来有选择地执行自动屏幕旋转。
同时,如果未能在旋转后的图像中检测到人脸,则电子装置可识别出无法通过相机单元140获取到的图像识别出人脸。根据此,电子装置进行到步骤509,并且考虑电子装置的方向变化信息像在传统的自动旋转中那样,执行自动屏幕旋转。
如上所述,本实施例的电子装置可考虑电子装置的方向和/或方向变化信息和用户的方向信息,有选择地执行自动屏幕旋转。有益的是,无意的屏幕旋转将可因此减少。该优点如图8的示例中所示,其中,虽然用户在先前操作电子装置的同时用户躺下,而如图6所示用户站立,电子装置仍可保持显示区域的显示方向不变,如用户所希望的那样。因为电子装置改变后的方向和用户的方向大致相同没有改变,所以即便装置旋转至按惯例可导致屏幕旋转的点,显示屏幕方向仍可保持不变。
在上述示例性实施例中,在自动屏幕旋转被激活的情况下,电子装置可考虑电子装置的方向变化信息和用户的方向信息,来有选择地执行自动屏幕旋转。即,装置将自动屏幕旋转作为检测的装置的方向和检测的用户相对于装置的方向这两者的功能而执行。
在另一示例性实施例中,电子装置可考虑电子装置的方向变化信息和用户的方向信息,来设置激活或者停用自动屏幕旋转功能。例如,在图6的示例中,当电子装置改变后的方向(610)和用户的方向(600)大致相同时,电子装置可设置为停用自动屏幕旋转功能。在图7的示例中,当电子装置改变后的方向(710)和用户的方向(700)不同并且超出阈值角度时,电子装置可设置为激活自动屏幕旋转功能。
如上所述,本发明的示例性实施例能够通过考虑电子装置的方向变化和电子装置用户的方向变化自适应地提供自动屏幕旋转功能,在用户不期望的情况下可容易地防止改变显示区域的显示方向的不便,甚至无需单独的菜单设置。
应理解,根据权利要求书和说明书中的描述,本发明的实施例可用硬件、软件或者硬件和软件的组合的形式来实现。任何此类软件都可以被存储在非瞬态计算机可读存储介质中。非瞬态计算机可读存储介质存储一个或多个程序(软件模块),一个或多个程序包括指令,当所述指令由电子装置中的一个或多个处理器执行时使得电子装置能够执行本发明的方法。任何此类软件都能以易失性和非易失性存储器的方式存储(例如,ROM无论是否可擦写或可重写);或者以存储器的方式存储(例如RAM、存储芯片、装置或集成电路),或者光或磁可读介质(例如CD、DVD、磁盘或磁带等)。应注意的是,存储装置和存储介质是适用于存储包括指令的程序或者多个程序的机器可读存储器的实施例,当执行所述指令时可实现本发明的实施例。因此,实施例提供:包括用于实现如此说明书中任一项权利要求所要求保护的设备或方法的代码的程序以及存储这种程序的机器可读存储器。更进一步地,所述程序可经由任何媒介(例如通过有线或无线连接携带的通信信号)以电子方式传送,并且实施例适当地涵盖这种程序。
尽管已经参照其特定的示例性实施例显示和描述了本发明,但本领域的技术人员应该理解的是,在不脱离由所附权利要求限定的本发明的精神和范围的情况下,可以对其进行形式和细节的各种修改。

Claims (8)

1.一种电子装置中的方法,所述方法包括:
显示与应用相关联的屏幕;
如果电子装置的旋转被检测到并且所述应用支持自动屏幕旋转功能,则激活电子装置的图像传感器;
通过电子装置的图像传感器获得图像;
对图像执行人脸检测;
如果在图像中检测到人脸,则保持屏幕;
如果在图像中未检测到人脸,则:按照电子装置被旋转的角度来旋转图像,对旋转后的图像执行人脸检测,并且如果在旋转后的图像中检测到人脸,则基于所述角度旋转屏幕。
2.如权利要求1所述的方法,还包括:
如果在旋转后的图像中未检测到人脸,则确定图像中的人脸是不能够被检测到的。
3.如权利要求2所述的方法,还包括:
如果人脸是不能够在图像中被检测到的,则基于所述角度来旋转屏幕。
4.如权利要求1所述的方法,其中,检测电子装置的旋转的操作包括:
如果感测到电子装置的方向变化,则将电子装置的方向变化值和参考值进行比较;
如果电子装置的方向变化值大于参考值,则确定电子装置的旋转被检测到。
5.一种电子装置,包括:
图像传感器;
显示单元;
处理器,被配置为:
控制显示器显示与应用相关联的屏幕;
如果电子装置的旋转被检测到并且所述应用支持自动屏幕旋转功能,则激活图像传感器;
控制图像传感器获得图像;
对图像执行人脸检测;
如果在图像中检测到人脸,则保持屏幕;
如果在图像中未检测到人脸,则:按照电子装置被旋转的角度来旋转图像,并且如果在旋转后的图像中检测到人脸,则基于所述角度旋转屏幕。
6.如权利要求5所述的装置,其中,处理器被配置为:
如果在旋转后的图像中未检测到人脸,则确定图像中的人脸是不能够被检测到的。
7.如权利要求6所述的装置,其中,处理器被配置为:
如果人脸是不能够在图像中被检测到的,则基于所述角度来旋转屏幕。
8.如权利要求5所述的装置,其中,处理器被配置为:
如果检测到电子装置的方向变化,则将电子装置的方向变化值和参考值进行比较;
如果电子装置的方向变化值大于参考值,则确定电子装置的旋转被检测到。
CN201310339543.1A 2012-08-28 2013-08-06 基于用户方位的智能屏幕旋转 Active CN103677557B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0094157 2012-08-28
KR1020120094157A KR102053361B1 (ko) 2012-08-28 2012-08-28 화면 회전을 적응적으로 수행하기 위한 방법 및 그 전자 장치

Publications (2)

Publication Number Publication Date
CN103677557A CN103677557A (zh) 2014-03-26
CN103677557B true CN103677557B (zh) 2019-04-05

Family

ID=48917362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310339543.1A Active CN103677557B (zh) 2012-08-28 2013-08-06 基于用户方位的智能屏幕旋转

Country Status (4)

Country Link
US (1) US20140062860A1 (zh)
EP (1) EP2713242B1 (zh)
KR (1) KR102053361B1 (zh)
CN (1) CN103677557B (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101371547B1 (ko) * 2012-03-08 2014-03-07 삼성전자주식회사 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법
US9367086B2 (en) * 2013-12-10 2016-06-14 Atmel Corporation Smart watch with adaptive touch screen
KR102229699B1 (ko) * 2014-05-22 2021-03-18 삼성전자주식회사 정보 운용 방법 및 전자 장치
EP3160348B1 (en) * 2014-06-26 2021-11-24 Koninklijke Philips N.V. Device and method for displaying image information
CN105446419A (zh) * 2014-08-12 2016-03-30 富泰华工业(深圳)有限公司 电子装置及屏幕翻转方法
KR102311051B1 (ko) * 2014-08-27 2021-10-13 삼성전자주식회사 웨어러블 워치 및 그것의 디스플레이 방법
CN104636036A (zh) * 2015-01-12 2015-05-20 青岛海信电器股份有限公司 一种画面显示控制方法及装置
US10088866B2 (en) 2015-03-18 2018-10-02 Motorola Mobility Llc Controlling the orientation of a device display based on usage context
US10528315B2 (en) * 2015-09-25 2020-01-07 Intel Corporation Implementing wireless displays that handle rotation and/or portrait-first sinks
CN105549430B (zh) * 2015-12-04 2021-06-29 苏州海博智能系统有限公司 用以控制旋转屏动作的智能卡与旋转屏控制系统
KR20180020386A (ko) * 2016-08-18 2018-02-28 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
US10324538B2 (en) 2016-08-30 2019-06-18 Garmin Switzerland Gmbh Dynamic watch user interface
CN109739306B (zh) * 2019-01-04 2021-02-02 京东方科技集团股份有限公司 一种智能桌面支架及其控制方法
KR20200091522A (ko) 2019-01-22 2020-07-31 삼성전자주식회사 컨텐츠의 표시 방향을 제어하기 위한 방법 및 그 전자 장치
US20200296462A1 (en) * 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
WO2020218738A1 (en) * 2019-04-24 2020-10-29 Samsung Electronics Co., Ltd. Method and system to calibrate electronic devices based on a region of interest
EP3813357A1 (en) * 2019-10-21 2021-04-28 Top Victory Investments Limited Method and system for automatically switching off a display screen of a television device
CN110989831B (zh) * 2019-11-15 2021-04-27 歌尔股份有限公司 音频设备的控制方法、音频设备及存储介质
CN111885265B (zh) * 2020-07-31 2022-06-24 Oppo广东移动通信有限公司 屏幕界面调整方法及相关装置
US11270668B1 (en) 2020-11-30 2022-03-08 Stmicroelectronics (Research & Development) Limited System and method for detecting screen orientation of a device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2280331A1 (en) * 2009-07-22 2011-02-02 Research In Motion Limited Display orientation change for wireless devices
EP2428864A2 (en) * 2010-09-08 2012-03-14 Apple Inc. Camera-based orientation fix from portrait to landscape

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844301B2 (en) * 2005-10-14 2010-11-30 Lg Electronics Inc. Method for displaying multimedia contents and mobile communications terminal capable of implementing the same
WO2009078957A1 (en) * 2007-12-14 2009-06-25 Flashfoto, Inc. Systems and methods for rule-based segmentation for objects with full or partial frontal view in color images
WO2010030985A1 (en) * 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
CN101989126B (zh) * 2009-08-07 2015-02-25 深圳富泰宏精密工业有限公司 手持式电子装置及其屏幕画面自动旋转方法
JP5397081B2 (ja) * 2009-08-12 2014-01-22 富士通モバイルコミュニケーションズ株式会社 携帯端末
JP2011119997A (ja) * 2009-12-03 2011-06-16 Sony Computer Entertainment Inc 画像処理装置および画像処理方法
JP5795847B2 (ja) * 2010-09-15 2015-10-14 キヤノン株式会社 画像処理装置および画像処理方法
US10102208B2 (en) * 2010-10-29 2018-10-16 Microsoft Technology Licensing, Llc Automatic multimedia slideshows for social media-enabled mobile devices
EP2701046A4 (en) * 2011-04-20 2014-10-29 Nec Casio Mobile Comm Ltd DISPLAY CONTROL DEVICE, METHOD AND PROGRAM

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2280331A1 (en) * 2009-07-22 2011-02-02 Research In Motion Limited Display orientation change for wireless devices
EP2428864A2 (en) * 2010-09-08 2012-03-14 Apple Inc. Camera-based orientation fix from portrait to landscape

Also Published As

Publication number Publication date
EP2713242A3 (en) 2015-04-22
EP2713242B1 (en) 2017-09-20
EP2713242A2 (en) 2014-04-02
KR20140028271A (ko) 2014-03-10
US20140062860A1 (en) 2014-03-06
KR102053361B1 (ko) 2020-01-08
CN103677557A (zh) 2014-03-26

Similar Documents

Publication Publication Date Title
CN103677557B (zh) 基于用户方位的智能屏幕旋转
EP3779643B1 (en) Method for operating electronic device and electronic device
US9430045B2 (en) Special gestures for camera control and image processing operations
US9785232B2 (en) Method of displaying content and electronic device for processing the same
US10891005B2 (en) Electronic device with bent display and method for controlling thereof
US20200125144A1 (en) Foldable electronic device for controlling user interface and operating method thereof
US10103699B2 (en) Automatically adjusting a volume of a speaker of a device based on an amplitude of voice input to the device
KR101441735B1 (ko) 인물로부터 풍경으로의 카메라-기반 방향 픽스
EP3062200A1 (en) Touch processing method and electronic device for supporting the same
KR20210068097A (ko) 시스템 탐색 바 표시 제어 방법, 그래픽 사용자 인터페이스 및 전자 디바이스
US11907526B2 (en) Touch region adjustment method and apparatus for determining a grasping gesture of a user on an electronic device
US20130293470A1 (en) Method and apparatus for moving object
US20190034147A1 (en) Methods and apparatus to detect user-facing screens of multi-screen devices
US20120038546A1 (en) Gesture control
US10057479B2 (en) Electronic apparatus and method for switching touch operations between states
US20170169611A1 (en) Augmented reality workspace transitions based on contextual environment
US9235238B2 (en) Mobile electronic device with dual touch displays and multitasking function, control method, and storage medium storing control program
EP3540584B1 (en) Method for adjusting screen size and electronic device therefor
US20150084881A1 (en) Data processing method and electronic device
JP2010103721A (ja) 端末装置及びプログラム
CN102812430A (zh) 信息处理装置、显示切换方法、程序和记录介质
WO2020062908A1 (zh) 一种显示方向控制方法、系统及移动终端
US20180088665A1 (en) Eye tracking selection validation
US20150154983A1 (en) Detecting pause in audible input to device
CN109922202A (zh) 屏幕控制方法及装置、可读存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant