CN101641950B - 用于调节在显示器上显示的数据表示的取向的设备和方法 - Google Patents

用于调节在显示器上显示的数据表示的取向的设备和方法 Download PDF

Info

Publication number
CN101641950B
CN101641950B CN2007800524185A CN200780052418A CN101641950B CN 101641950 B CN101641950 B CN 101641950B CN 2007800524185 A CN2007800524185 A CN 2007800524185A CN 200780052418 A CN200780052418 A CN 200780052418A CN 101641950 B CN101641950 B CN 101641950B
Authority
CN
China
Prior art keywords
image
orientation
equipment
camera
data representation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2007800524185A
Other languages
English (en)
Other versions
CN101641950A (zh
Inventor
O·索恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Mobile Communications AB
Original Assignee
Sony Ericsson Mobile Communications AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Ericsson Mobile Communications AB filed Critical Sony Ericsson Mobile Communications AB
Publication of CN101641950A publication Critical patent/CN101641950A/zh
Application granted granted Critical
Publication of CN101641950B publication Critical patent/CN101641950B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/242Aligning, centring, orientation detection or correction of the image by image rotation, e.g. by 90 degrees
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种电子设备,优选以移动电话为形式,包括支撑结构和由该支撑结构支撑的照相机。取向检测器连接到该照相机。该取向检测器被配置为识别由照相机所捕获的图像中的图像特征,比如用户的眼睛和嘴,并且确定图像相对于基准取向的旋转取向。由支撑结构支撑的显示器被配置为显示数据表示,并且进一步以依赖于所确定的旋转取向的取向显示该数据表示。这样,当电子设备的用户观看数据表示时,可以例如根据该设备当前所保持的旋转取向来以纵向取向或横向取向显示数据表示。

Description

用于调节在显示器上显示的数据表示的取向的设备和方法
技术领域
本发明总体涉及电子设备和用于在这种电子设备的显示器上呈现数据或信息的方法。更具体地,本发明涉及一种用于调节在所述电子设备的显示器上显示的数据表示的旋转取向(orientation)从而使得可以根据电子设备的取向在最合适的取向上呈现所述数据表示的解决方案。
背景技术
现有技术发展水平的便携式电子设备(例如移动电话、便携式媒体播放器或便携式游戏控制台)典型地装配有用户接口,通过该用户接口这种便携式电子设备的用户可以与便携式电子设备交互并且操作便携式电子设备。用户接口典型地包括用于将数据或信息和命令输入到电子设备的用户输入接口。用户接口典型地还包括例如显示器形式的输出用户接口,以用于显示或再现(render)数据表示。本说明书中所使用的术语“数据表示”意在表示在显示器上显示或再现的任何数据或信息的可视外观。该数据表示可以例如包括文本和/或可视图像。同样,该数据表示可以包括但不限于,菜单列表、由照相机捕获的数字照片图像、SMS消息、MMS消息、浏览的网页、TV广播等等。因此,现有技术发展水平的便携式电子设备的用户可以使用这些设备的显示器来尤其观看文本、可视图像、TV广播、视频等等。
术语“纵向”和“横向”通常用于表示数据表示的不同取向,即当显示在便携式电子设备的显示器上时该数据表示是垂直定向还是水平定向。纵向取向表示所显示的数据表示的高度大于宽度。相反地,横向取向表示所显示的数据表示的宽度大于高度,并且可以例如用于需要比由纵向取向提供的数据表示更宽的数据表示。现有技术发展水平的便携式电子设备的显示器在尺寸上可能相对较小,并且因此对于用户来说在这种显示器上观看数据表示有时可能相当别扭。因此,用户通常自由选择在水平的“横向”取向上或在垂直的“纵向”取向上显示数据表示。例如,通常被认为合适的是,在“横向”取向上呈现例如TV广播的数据表示,而可以被认为更合适的是,在移动电话的“纵向”取向上显示比如菜单列表的数据表示。因此,在许多现有技术的移动电话中,用户可以选择使用软件应用来根据移动电话的旋转取向在横向取向和纵向取向之间进行选择。然而,这是手动的操作并且可能相当耗时。对于一些用户来说,耗时的操作可能是令人讨厌的。
因此,似乎需要用于调节在电子设备的显示器上显示或再现的数据表示的取向的更加自动化的装置和方法,从而使得数据表示可以根据电子设备的旋转取向以合适的取向显示在显示器上。优选地应在仅有少量用户干涉或优选地在没有用户干涉的情况下实现数据表示的取向调节。
可能的解决方案可以是给便携式电子设备配备填充了汞的开关、光电断路器类型的开关或重力敏感开关,以检测或感测便携式电子设备的旋转取向。基于所检测的或感测的便携式电子设备的取向,然后可以执行对显示或再现在电子设备的显示器上的数据表示的调节,从而使得数据表示可以根据电子设备的取向以合适的取向显示在显示器上。已经在数字照相机领域提出了包含用于取向检测的物理辅助装置(例如上述开关);参见例如Parulski等人的US5,900,909或Livingston的US2004/0017506 A1。然而,任何包含用于取向检测的物理辅助装置(比如开关)还涉及增加的成本并且需要所讨论的便携式电子设备内的一些空间。因此,任何包含用于取向检测的物理辅助装置(比如开关)可能是不利的,特别是在小尺寸便携式电子设备中是不利的,该小尺寸便携式电子设备例如移动电话、便携式媒体播放器或手持式游戏控制台。
发明内容
谨记上面和下面的描述,于是本发明的一方面是提供用于设法单独地以任意组合方式减轻、缓解或消除一个或多个现有技术的上述缺陷和缺点的改进的装置和方法。本发明的另一个方面是提供用于调节要显示在电子设备(例如移动电话)的显示器上的数据表示的取向的改进的装置和方法。
根据本发明的实施例,一种电子设备包括:支撑结构;由该支撑结构支撑的照相机;连接到该照相机的取向检测器,该取向检测器被配置为识别由照相机捕获的图像中的图像特征并确定所捕获的图像相对于基准取向的旋转取向;以及由支撑结构支撑的显示器,该显示器被配置为显示数据表示,并且以依赖于所确定的旋转取向的取向显示数据表示。
所述照相机可以被配置为连续地捕获图像。
所述取向检测器可以被配置为从照相机捕获的图像中识别三个或更多特征。
所述取向检测器可以被配置为识别人类用户的图像特征。
所述图像特征可以包括面部特征。
所述图像特征可以包括眼睛。
所述图像特征可以包括嘴。
所述图像特征可以包括下巴。
所述图像特征可以包括眉毛。
所述图像特征可以包括人类用户的轮廓(silhouette)。
所述数据表示可以包括数据。
所述数据可以包括文本和/或可视图像。
所述取向检测器可以被配置为检测所捕获的图像相对于垂直取向和水平取向的取向,并且根据这些取向中与照相机所捕获的图像最密切匹配的取向来确定所述支撑结构是垂直定向还是水平定向。
所述电子设备可以是来自包括下列项的集合的设备:便携式无线电通信设备、移动无线电终端、移动电话、蜂窝电话、寻呼机、通信装置、电子秘书(比如PDA)、智能电话、数字照相机、数字媒体播放器(例如可以从苹果公司获得的iPodTM)、便携式游戏控制台(例如可以从Sony Computer Entertainment(索尼计算机娱乐)获得的SonyPSP)、全球定位系统(GPS)设备或计算机(例如PC)。
根据本发明的另一个实施例,用于调节在电子设备的显示器上的数据表示取向的方法包括:
使用由电子设备的支撑结构支撑的照相机来捕获图像;
识别由照相机捕获的图像中的图像特征;
确定照相机捕获的图像相对于基准取向的旋转取向;以及
以依赖于所确定的旋转取向的取向将数据表示显示在电子设备的显示器上。
该方法可以包括连续地捕获图像。
该方法可以包括使得照相机瞄准设备的用户。
该方法可以包括从由照相机捕获的图像中识别三个或更多特征。
该方法可以包括识别人类用户的图像特征。
所述图像特征可以包括面部特征。
所述图像特征可以包括眼睛。
所述图像特征可以包括嘴。
所述图像特征可以包括下巴。
所述图像特征可以包括眉毛。
所述图像特征可以包括人类用户的轮廓(silhouette)。
所述数据表示可以包括数据。
所述数据可以包括文本和/或可视图像。
所述方法可以包括:
检测由照相机捕获的图像相对于垂直取向和水平取向的取向;
根据这些取向中与照相机捕获的图像最密切匹配的取向来确定支撑结构是垂直定向还是水平定向。
本发明的一些实施例提供一种解决方案,其中数据表示可以根据当电子设备的用户观看数据表示时所述设备当前保持的旋转取向而以纵向取向或以横向取向显示在电子设备的显示器上。本发明的一些实施例的优点在于,这些实施例可以在已经包括总之用于任何其他目的的照相机的电子设备中实现。直到现在,在已知的本发明的最佳模式中,本发明的一些实施例可以在配备有用于视频电话目的的照相机的移动电话中实现。本发明的这些实施例在应用于这样的移动电话中时所提供的优点在于,它利用现有的组件向用户提供了增值。
附图说明
根据下面对本发明的实施例的详细描述,本发明的其他目的、特征和优点将显而易见,其中将参照附图更详细地描述本发明的实施例,在附图中:
图1示意性示出移动电话形式的电子设备的正视图,其中正面包括显示器和照相机;
图2示出图1的设备的侧视图;
图3示意性示出图1和2的设备的后视图,其中后面可以包括另外的照相机;
图4示意性示出一个场景,其中用户通过手持从图1所示的取向旋转大约90°的设备与图1-3的电子设备进行交互并对其进行操作;
图5示意性示出图1所示的照相机所捕获的所述设备的用户的图像;
图6示意性示出如何通过电子设备中的图像识别功能来识别用户的图像的选定的特征,比如眼睛和嘴;
图7示出所识别的特征如何与人类用户的面部的正常的垂直轴和水平轴相关联;
图8示意性示出如何确定图像的与电子设备的取向相比的相对旋转取向;
图9示意性示出算子函数如何应用到在电子设备的显示器上显示的数据表示,该算子函数依赖于所确定的旋转取向;
图10示意性示出如何通过旋转来调节在显示器上显示的数据表示;以及
图11示意性示出根据本发明的实施例的电子设备的功能特征的框图。
具体实施方式
下面将参照示出了本发明的实施例的附图更加全面地描述本发明的实施例。然而,本发明可以通过许多不同的形式实施并且不应当被解释为限于本文所陈述的实施例。相反,提供这些实施例使得本公开详尽且完整,并且将会把本发明的范围传达给本领域技术人员。贯穿整个说明书,相同的数字表示相同的元件。而且,本说明书使用的术语仅仅是为了描述特定实施例并且不是对本发明的限制。如本文所使用的单数形式“一”和“该”旨在也包括复数形式,除非在上下文中另有清楚指示。应当进一步理解,本文使用的术语“包括”、“包含”指定了所叙述的特征、整体、步骤、操作、元件和/或组件的存在,但是不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组合的存在或加入。
本发明涉及包括数字照相机的电子设备的领域。本发明的优选实施例涉及被配置用于视频电话的便携式通信设备(比如3G移动电话)。本发明特别适合用于移动电话,但是同样适用于不包括无线电通信能力的数字设备。然而,为了清楚和简化起见,本文所描述的大多数实施例与移动电话有关。现在将参照附图描述优选实施例。
在图1-3中,从三个不同的角度示出了根据本发明的实施例配置的便携式通信设备1,并且在图11中以框图的形式示出了该设备。该便携式无线电通信设备1可以例如是如图所示的移动电话。该便携式无线电通信设备1包括支撑结构10,其包含外壳和底座(chassis),该支持结构被设置为支撑所述设备的其他元件。用户接口包括键区或键盘11和显示器12。典型地,设备1还包括包含麦克风13和扬声器14的音频接口以及无线电收发器电路和天线23,即使这些元件对于本发明来说不重要并且如果本发明用于例如便携式电子秘书(比如PDA)的另一种电子设备中则可以将这些元件省去。通常还包括电池(未示出)。作为通信设备的设备1的特定功能和设计是本领域技术人员公知的,并且因此本文不再进行更加详细的描述。还应当注意,设备1中所包括的功能部件和元件的列表绝不是穷尽的。相反地,尽管所示的和所描述的设备1仅仅代表一个可能的实施例,但是它可以包括提供其他功能的其他功能部件和元件。
然而,除了上述元件之外,设备1还包括照相机15,其可以与如图1所示的显示器12相邻定位,并且进行瞄准使得其视野(FOV)150可能覆盖观看显示器12的用户。因此,照相机15在与显示器12的正常观看方向基本相同的方向上瞄准。设备1可以附加地包括另外的照相机16。该另外的照相机16对于本发明来说不太重要,并且因此在本发明的一些实施例中可以省略。根据下面的讨论,读者将清楚的是,为了根据本发明的实施例进行取向调节的目的,在图1中与显示器12相邻定位的照相机15足够了。然而,如果设备1包括所述另外的照相机16,则该照相机16优选地应当被瞄准使得其FOV160不与照相机15的FOV150重叠。优选地,这两个照相机15和16瞄准基本相反的方向,但是可选地可以将它们定向为彼此成大约90°。实际上这两个照相机15和16不必具有固定的视线,所述另外的照相机16事实上可以例如在支撑结构10中的插槽中进行某种程度的旋转。
在图1中,针对设备1,定义了垂直轴y和水平轴x。更具体地,y轴代表设备1的纵向。如果当如图1所示持有设备1(即保持y轴垂直)时用户与设备1交互并且用设备1进行操作,则显示器设备12上的数据表示通常以纵向取向显示。图4示出不同的情形,其中用户41以另一个取向与设备1交互并操作设备1。在该位置,设备1已经逆时针旋转大约90°,使得设备1的水平轴x现在垂直地指向上。在该位置,作为默认规则,当在显示器12上呈现数据表示时现有技术的设备将不补偿设备1的这种大约90°的逆时针旋转。相反,作为默认规则,现有技术的设备将以与如图1所示持有设备1时(即,以纵向取向)完全相同的旋转在显示器12上呈现数据表示。然而,在大多数情况下,对于用户来说,如果在设备1具有如图4所示的取向时以横向取向显示数据,则是更合适的。
然而,本发明的目标是促进在显示器12(或另一个显示器)上的数据表示的呈现,从而使得在显示器12上根据设备1的取向以更合适的旋转取向呈现显示器12上所显示的数据表示。根据本发明的实施例,照相机15用于在捕获图像时确定设备1的取向。在支持视频电话的其中包括视频电话照相机(VTC)15的移动电话1中,这是特别有用的。VTC15通常被引导朝向用户41的面部并且被配置为连续地或(作为可替代方案)仅在图像记录触发器激活时捕获图像。然后,通过分析由照相机15捕获的图像来确定设备1的当前取向(presentorientation),并且所确定的取向随后用于操纵在显示器设备12上显示的数据表示,以便根据设备1的所确定的取向将数据表示旋转到横向取向或纵向取向。设备1被设置为:当设备1具有如图1所示的位置时,以纵向取向在显示器12上呈现数据表示。而且,设备1被设置为当设备1具有如图4所示的位置时,以横向取向在显示器12上呈现数据表示。
通过在由照相机15捕获的图像中识别至少两个特征来确定设备1的当前取向。优选地,识别用户41的面部中的三个特征。这些特征优选地包括用户的眼睛和嘴。不过可替代地,可以识别其他特征,如果这些其他特征更好地适合用于该目的,这些其他特征比如下巴、鼻子、耳朵或发际线。在图像中优选地识别三个特征,以便确定将设备1以哪个方向旋转。如果仅仅有两个特征,可能太难而不能区分顺时针和逆时针选择。用于面部特征识别和鉴别的目的的大量的基于软件的过程已经在论文和真实产品中出现,并且在该领域内多个专利已经被授权。仅作为实例,A.W.Senior于1999年3月22-24日在WashingtonD.C.USA,在Proceedings of Audio-and Video-based BiometricPerson Authentication’99第154-159页提出了“Face and FeatureFinding for a Face Recognition System”。作为另一个实例,Ishikawa的专利US 5,933,527公开了一种面部图像处理方法和装置,通过该方法和装置可以提取面部特征的区域,并且可以提取涉及这些区域的坐标数据。
现在将参照附图基于图4所示的场景描述根据本发明的一些实施例的用于对数据表示的旋转取向进行调节的过程的实施例。
当设备1具有如图4所示的旋转取向时,可以通过照相机15捕获用户41的图像,该图像在图5中被示出。优选地由照相机15连续地捕获该图像。然而,作为可替代方案,可以在激活图像记录触发器22时捕获图像。因此,图像记录触发器22(典型地为按钮或相似物)可操作地连接到照相机15,其中所述触发器的激活导致照相机15记录其FOV150内的图像。图5的图像从照相机15传递到取向检测器17。取向检测器17优选地通过由处理器设备执行的软件实现,但是为了简化并使得这样的过程容易理解,取向检测器17在图11中被指示为功能元件。取向检测器17包括图像特征检测器18,其可操作以分析所接收的图像从而识别由照相机15捕获的图像中的图像特征。这在图6中被示出,其中图像的两个眼睛部分和嘴部分被检测出并被识别为用户的眼睛和嘴。
在图7中,表示眼睛位置的图像区域181和表示嘴位置的图像区域182已经从用户的所捕获的图像中提取出来。这并不意味着必须生成如图7所示的图像,而是这些区域现在是所捕获的图像中令人感兴趣的区域。取向检测器17优选地被配置为检测面部图像特征,并且由此被配置为确定穿过眼睛部分181的线定义了基线,而嘴部分182的相对于该基线位置表示图像的下部。这样,可以定义所捕获图像的坐标系统,其中水平图像轴x’平行于基线,而垂直图像轴y’正交于基线,且如从基线计数起,y’轴的正方向远离嘴区域部分182的位置延伸。
因此,在图像平面中,根据图7确定由照相机15捕获的图像的取向。在计算器单元19中,然后确定该图像相对于预存储的基准取向的旋转取向。对于其中要被识别的特征是面部特征的所示实施例,基准位置优选地为面部的垂直取向,在图8中该取向由垂直轴y和水平轴x表示,其同样对应于设备1的垂直轴和水平轴。计算器单元19被配置为计算轴x’、y’坐标系统与轴x、y坐标系统之间的旋转差别,以确定旋转角度θ。
在优选实施例中,计算器单元19被配置为忽略与设备1的理想的垂直或水平取向之间的偏差。实际上,从这两个正交取向的任何倾斜事实上可以取决于用户的艺术自由。而且,不能确保用户将他或她的头部保持在完全垂直的位置。由于这些原因,计算器单元19优选地被配置为仅仅以90°的步长输出旋转角度θ,以便产生可用于使得显示在显示器12上的数据表示在横向取向与纵向取向之间转换的角度θ,并且在上下之间形成差别。因此,取向检测器被配置为检测被捕获的图像相对于垂直取向和水平取向的取向,并且根据这些取向中与照相机15捕获的图像最密切匹配的取向确定设备1的支撑结构是垂直定向还是水平定向。例如,如果计算器单元19确定了y’与y之间的实际角度小于±45°,则θ的输出值为0(零)。通过相同的方式:
如果45°<θ<135°,则θ的输出值被设置为90°。
如果135°<θ<225°,则θ的输出值被设置为180°。
如果225°<θ<315°,则θ的输出值被设置为270°,即-90°。
取向检测器17将角度θ的值输出到微处理器20。如图9所示,微处理器20由此使用算子函数f(θ)来处理在显示器12上显示的数据表示(在该说明性实例中,其包括文本和可视图像),这在逻辑上涉及将显示器设备12上所呈现的数据表示90旋转所接收的角度θ的操作。结果在图10中示出,从中可以明显看出数据表示90已经被旋转了大约90°,如由取向检测器17所检测的。
角度θ的信息可以存储在设备1中的存储器21中。不用说,存储器21不必永久地附接到设备1,它还可以例如被设置在可插入的IC存储卡上。存储先前计算的旋转角度尤其具有下面的优点:如果由于任何原因设备1稍后不能执行有效的面部识别,则可以使用上次已知的旋转角度。
结合图4描述的用于调节图像旋转取向的过程的实施例利用了面部特征识别和鉴别来确定设备1的旋转取向。然而,应当理解,作为附加方案或可替代方案,还可以使用所谓的人类轮廓识别。在人类轮廓识别中,人类用户的轮廓(与人类用户的面部识别相反)被鉴别和识别。人类用户的轮廓可以包括人类用户的面部轮廓。用于人类轮廓鉴别和识别目的的过程已经在多个论文中提出。仅作为实例,RocioDiaz de Leon,Luis Enrique Sucar,“Human Silhouette Recognition withFourier Descriptors,”icpr,第3713页,15th International Conferenceon Pattern Recognition(ICPR’00)-Volume 3,2000年。当在强阳光条件下可能难以识别用户的面部特征时,人类轮廓识别特别有利。而在人类轮廓鉴别和识别技术的帮助下,足以识别用户的轮廓。
而且,作为用于确定设备1的旋转取向的特征鉴别和识别的另一个实例,可以使用光学字符识别(OCR)。结合图4所描述的用于调节图像旋转取向的过程的实施例利用了面部特征鉴别和识别以确定设备1的旋转取向。然而,应当理解,作为附加的或可替代的方案,还可以利用光学字符设备(OCR),以通过例如确定手写的或打字的文本的图像的旋转方向来确定设备1的旋转方向。
所提出的解决方案不同于现有的解决方案,尤其在于,它将照相机用作取向感测设备。因此如果设备1已经包括用于任何其他目的的照相机15,则根据本发明的设备1特别适合。因此,目前已知的本发明的最佳模式是在装配有用于视频电话目的的照相机15的移动电话中使用本发明。当本发明应用在这种移动电话1中时,其提供的优势在于,其利用现有的组件向顾客提供了附加的价值。
在设备1分别包括照相机15和16的情况下,设备1可以与用于调节由另外的照相机16所捕获的图像的图像旋转取向的解决方案相结合,从而使得由另外的照相机16所捕获的图像可以以共同的取向存储,而不管在该图像被所述另外的照相机16捕获时设备1是如何定向的。在2006年6月21日提交的美国专利申请序号11/425,395中公开了这种解决方案。为此,设备1因此将包括:支撑结构;由该支撑结构支撑的照相机15;由该支撑结构支撑的另外的照相机16;连接到照相机15的取向检测器,其被配置为识别由照相机15捕获的图像中的图像特征,并且确定图像相对于基准取向的旋转取向;以及数据存储设备,其被配置为将由另外的照相机16捕获的图像的图像数据以根据所确定的旋转取向的取向存储。该数据存储设备可以被配置为以如由另外的照相机16所捕获的取向存储图像数据,或如由取向检测器所确定的一个或多个90°的步长旋转的取向存储图像数据。
上面已经概述了本发明的各种实施例,并且参照附图详细描述了具体实施例。但是,应当注意,本发明不限于这些具体实施例,而是实际上可以在由所附权利要求书限定的范围内进行修改。

Claims (28)

1.一种电子设备,包括:
支撑结构;
由该支撑结构支撑的照相机;
连接到该照相机的取向检测器,该取向检测器被配置为识别由该照相机捕获的图像中的图像特征并确定所捕获的图像相对于基准取向的旋转取向,其中基准取向是由该电子设备的基准坐标系统定义的;以及
由该支撑结构支撑的显示器,该显示器被配置为显示数据表示,并且以依赖于所确定的旋转取向的取向显示该数据表示,
特征在于,
该取向检测器被进一步配置为将所述图像特征放在图像坐标系统中,并且确定图像坐标系统和基准坐标系统之间的旋转角度(θ)以便确定所捕获的图像的旋转取向。
2.权利要求1的设备,其中所述照相机被配置为连续地捕获图像。
3.权利要求1的设备,其中所述取向检测器被配置为从由照相机捕获的图像中识别三个或更多特征。
4.权利要求1的设备,其中所述取向检测器被配置为识别人类用户的图像特征。
5.权利要求4的设备,其中所述图像特征包括面部特征。
6.权利要求4的设备,其中所述图像特征包括眼睛。
7.权利要求4的设备,其中所述图像特征包括嘴。
8.权利要求4的设备,其中所述图像特征包括下巴。
9.权利要求4的设备,其中所述图像特征包括眉毛。
10.权利要求4的设备,其中所述图像特征包括人类用户的轮廓。
11.权利要求1的设备,其中所述数据表示包括数据。
12.权利要求11的设备,其中所述数据包括文本和/或可视图像。
13.权利要求1的设备,其中所述取向检测器被配置为检测所捕获的图像相对于垂直取向和水平取向的取向,并且根据这些取向中与照相机所捕获的图像最密切匹配的取向来确定所述支撑结构是垂直定向还是水平定向。
14.权利要求1的设备,其中所述设备是来自包括下列项的集合的设备:智能电话、数字照相机、数字媒体播放器和便携式游戏控制台。
15.一种用于在电子设备的显示器上调节数据表示取向的方法,包括:
使用由所述电子设备的支撑结构支撑的照相机来捕获图像;
识别由所述照相机捕获的图像中的图像特征;
将所述图像特征放在图像坐标系统中;
通过确定图像坐标系统和基准坐标系统之间的旋转角度,确定由所述照相机捕获的图像相对于基准取向的旋转取向;以及
以依赖于所确定的旋转取向的取向将数据表示显示在所述电子设备的显示器上。
16.权利要求15的方法,包括:
连续地捕获图像。
17.权利要求15的方法,包括:
使得照相机瞄准所述设备的用户。
18.权利要求15的方法,包括:
从由照相机捕获的图像中识别三个或更多特征。
19.权利要求15的方法,包括:
识别人类用户的图像特征。
20.权利要求19的方法,其中所述图像特征包括面部特征。
21.权利要求19的方法,其中所述图像特征包括眼睛。
22.权利要求19的方法,其中所述图像特征包括嘴。
23.权利要求19的方法,其中所述图像特征包括下巴。
24.权利要求19的方法,其中所述图像特征包括眉毛。
25.权利要求19的方法,其中所述图像特征包括人类用户的轮廓。
26.权利要求15的方法,其中所述数据表示包括数据。
27.权利要求26的方法,其中所述数据包括文本和/或可视图像。
28.权利要求15的方法,包括:
确定由照相机捕获的图像相对于垂直取向和水平取向的取向;
根据这些取向中与照相机捕获的图像最密切匹配的取向来确定支撑结构是垂直定向还是水平定向。
CN2007800524185A 2007-03-28 2007-08-27 用于调节在显示器上显示的数据表示的取向的设备和方法 Active CN101641950B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/692,443 US8244068B2 (en) 2007-03-28 2007-03-28 Device and method for adjusting orientation of a data representation displayed on a display
US11/692,443 2007-03-28
PCT/EP2007/058865 WO2008116503A1 (en) 2007-03-28 2007-08-27 Device and method for adjusting orientation of a data representation displayed on a display

Publications (2)

Publication Number Publication Date
CN101641950A CN101641950A (zh) 2010-02-03
CN101641950B true CN101641950B (zh) 2013-09-04

Family

ID=38754540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800524185A Active CN101641950B (zh) 2007-03-28 2007-08-27 用于调节在显示器上显示的数据表示的取向的设备和方法

Country Status (6)

Country Link
US (1) US8244068B2 (zh)
EP (1) EP2130368A1 (zh)
JP (1) JP2010525425A (zh)
KR (1) KR20090125207A (zh)
CN (1) CN101641950B (zh)
WO (1) WO2008116503A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196356A (zh) * 2016-03-31 2019-01-11 霍尼韦尔国际公司 克莱兹代尔气体检测器

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006313313A (ja) * 2005-04-06 2006-11-16 Sony Corp 再生装置、設定切替方法および設定切替装置
US20110298829A1 (en) * 2010-06-04 2011-12-08 Sony Computer Entertainment Inc. Selecting View Orientation in Portable Device via Image Analysis
US7724296B2 (en) * 2006-06-21 2010-05-25 Sony Ericsson Mobile Communications Ab Device and method for adjusting image orientation
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
KR20090101733A (ko) * 2008-03-24 2009-09-29 삼성전자주식회사 휴대 단말기 및 그의 얼굴 인식을 이용한 표시정보의 표시방법
US8686953B2 (en) * 2008-09-12 2014-04-01 Qualcomm Incorporated Orienting a displayed element relative to a user
US8896632B2 (en) * 2008-09-12 2014-11-25 Qualcomm Incorporated Orienting displayed elements relative to a user
US20110222676A1 (en) * 2008-11-20 2011-09-15 Panasonic Corporation Image display apparatus, teleconferencing device, and image display method
CN101877736A (zh) * 2009-04-30 2010-11-03 深圳富泰宏精密工业有限公司 移动终端用户界面自动调整系统及方法
JP2011015304A (ja) * 2009-07-03 2011-01-20 Sanyo Electric Co Ltd 電子カメラ
US20110002487A1 (en) * 2009-07-06 2011-01-06 Apple Inc. Audio Channel Assignment for Audio Output in a Movable Device
US9305232B2 (en) * 2009-07-22 2016-04-05 Blackberry Limited Display orientation change for wireless devices
JP2011055476A (ja) * 2009-08-06 2011-03-17 Canon Inc 表示装置
TW201112045A (en) * 2009-09-28 2011-04-01 Wistron Corp Viewing direction determination method, viewing direction determination apparatus, image processing method, image processing apparatus and display device
WO2012030267A1 (en) 2010-08-30 2012-03-08 Telefonaktiebolaget L M Ericsson (Publ) Methods of launching applications responsive to device orientation and related electronic devices
WO2012030265A1 (en) 2010-08-30 2012-03-08 Telefonaktiebolaget L M Ericsson (Publ) Face screen orientation and related devices and methods
US8593558B2 (en) * 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
WO2012108273A1 (ja) * 2011-02-09 2012-08-16 Necカシオモバイルコミュニケーションズ株式会社 画像表示装置、画像表示方法およびプログラム
US8553129B2 (en) * 2011-05-10 2013-10-08 Htc Corporation Handheld electronic device with two lens modules, dual image capturing method applying for the handheld electronic device, and computer program product for load into the handheld electronic device
KR101818573B1 (ko) * 2011-07-07 2018-01-15 삼성전자 주식회사 얼굴 인식을 이용한 보기모드 표시 방법 및 장치
DE102012110278A1 (de) * 2011-11-02 2013-05-02 Beijing Lenovo Software Ltd. Verfahren und Vorrichtungen zur Fensterdarstellung und Verfahren und Vorrichtungen zur Berührungsbedienung von Anwendungen
JP6146307B2 (ja) * 2011-11-10 2017-06-14 株式会社ニコン 電子機器、情報システム、サーバ、及びプログラム
US8971574B2 (en) * 2011-11-22 2015-03-03 Ulsee Inc. Orientation correction method for electronic device used to perform facial recognition and electronic device thereof
US9449583B2 (en) * 2011-12-15 2016-09-20 Lenovo (Beijing) Co., Ltd. Control method and electronic apparatus
KR101969931B1 (ko) 2012-01-10 2019-04-17 삼성전자주식회사 디스플레이 영상의 회전을 제어하는 장치 및 방법
JP5674701B2 (ja) 2012-03-22 2015-02-25 株式会社東芝 情報処理端末装置
AU2013205535B2 (en) 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
KR101992397B1 (ko) * 2012-06-27 2019-09-27 삼성전자주식회사 영상 처리 장치, 영상 중계 장치, 영상 처리 방법 및 영상 중계 방법
EP2743797A1 (en) 2012-12-13 2014-06-18 Tobii Technology AB Rotation of visual content on a display unit
CN103117053B (zh) * 2012-12-27 2015-03-04 苏州佳世达电通有限公司 电子装置的画面旋转方法
CN103718148B (zh) 2013-01-24 2019-09-20 华为终端有限公司 屏幕显示模式确定方法及终端设备
US10616491B2 (en) 2013-02-01 2020-04-07 Deka Products Limited Partnership Endoscope with pannable camera and related method
EP4115791A1 (en) 2013-02-01 2023-01-11 DEKA Products Limited Partnership Endoscope with pannable camera
CN103152522A (zh) * 2013-02-25 2013-06-12 东莞宇龙通信科技有限公司 调整拍摄位置的方法及其终端
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
CN104598030B (zh) * 2015-01-15 2018-03-23 青岛海信电器股份有限公司 一种智能终端控制键功能自动调整方法、装置及智能终端
JP2017151493A (ja) * 2016-02-22 2017-08-31 富士ゼロックス株式会社 画像処理装置、画像読み取り装置及びプログラム
EP3440839A4 (en) 2016-04-06 2019-08-28 Charles R. Tudor VIDEO BROADCAST VIA SELECTED VIDEO HOSTS
CN106125933A (zh) * 2016-06-28 2016-11-16 维沃移动通信有限公司 一种显示界面旋转的方法及移动终端
US10347218B2 (en) * 2016-07-12 2019-07-09 Qualcomm Incorporated Multiple orientation detection
US20190026120A1 (en) * 2017-07-21 2019-01-24 International Business Machines Corporation Customizing mobile device operation based on touch points
CN108234891B (zh) * 2018-04-04 2019-11-05 维沃移动通信有限公司 一种拍照方法及移动终端
CA3098310A1 (en) 2018-04-26 2019-10-31 Deka Products Limited Partnership Endoscope with rotatable camera and related methods
IL286925A (en) 2021-10-03 2023-05-01 UNGARISH David Control over viewing directionality of a mobile device screen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1701595A (zh) * 2003-02-25 2005-11-23 松下电器产业株式会社 图象摄影处理方法及图象摄影装置
CN1728068A (zh) * 2004-07-28 2006-02-01 奥林巴斯株式会社 再现装置、照相机及再现装置的显示转换方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08336069A (ja) * 1995-04-13 1996-12-17 Eastman Kodak Co 電子スチルカメラ
JP3735893B2 (ja) * 1995-06-22 2006-01-18 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
FI103001B (fi) 1997-06-13 1999-03-31 Nokia Corp Menetelmä lähetettävän kuvan muodostamiseksi päätelaitteessa ja päätel aite
JP2000076380A (ja) * 1998-08-31 2000-03-14 Casio Comput Co Ltd 手書き文字入力装置及び記憶媒体
FI109742B (fi) 1999-10-26 2002-09-30 Nokia Corp Matkaviestin
US7742073B1 (en) 2000-11-01 2010-06-22 Koninklijke Philips Electronics N.V. Method and apparatus for tracking an object of interest using a camera associated with a hand-held processing device
US7145699B2 (en) * 2001-03-30 2006-12-05 Sharp Laboratories Of America, Inc. System and method for digital document alignment
US7079707B2 (en) * 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
JP2004046399A (ja) * 2002-07-10 2004-02-12 Mitsubishi Heavy Ind Ltd 顔認識装置及び方法
US20040017506A1 (en) * 2002-07-26 2004-01-29 Livingston Kris R. Camera having camera orientation sensing capability
US7565030B2 (en) * 2003-06-26 2009-07-21 Fotonation Vision Limited Detecting orientation of digital images using face detection information
KR100538948B1 (ko) * 2003-08-11 2005-12-27 삼성전자주식회사 적응적 이미지의 표시가 가능한 휴대용 단말기의디스플레이 장치
JP2005100084A (ja) * 2003-09-25 2005-04-14 Toshiba Corp 画像処理装置及び方法
FR2861524A1 (fr) 2003-10-23 2005-04-29 Thomson Licensing Sa Procede et dispositif de detection de l'orientation d'une image
JP2005202477A (ja) 2004-01-13 2005-07-28 Fuji Photo Film Co Ltd 顔画像の天地方向判定方法、画像記録装置および画像再生装置
JP2005266061A (ja) 2004-03-17 2005-09-29 Olympus Corp 再生装置
JP2006053666A (ja) * 2004-08-10 2006-02-23 Olympus Corp 画像処理プログラム、画像処理方法、画像処理装置及び記録媒体
US20060222264A1 (en) * 2005-03-31 2006-10-05 Siemens Ag Method for vertically orienting a face shown in a picture
KR101112735B1 (ko) * 2005-04-08 2012-03-13 삼성전자주식회사 하이브리드 위치 추적 시스템을 이용한 입체 디스플레이장치
US7724296B2 (en) * 2006-06-21 2010-05-25 Sony Ericsson Mobile Communications Ab Device and method for adjusting image orientation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1701595A (zh) * 2003-02-25 2005-11-23 松下电器产业株式会社 图象摄影处理方法及图象摄影装置
CN1728068A (zh) * 2004-07-28 2006-02-01 奥林巴斯株式会社 再现装置、照相机及再现装置的显示转换方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109196356A (zh) * 2016-03-31 2019-01-11 霍尼韦尔国际公司 克莱兹代尔气体检测器
CN109196356B (zh) * 2016-03-31 2021-08-10 霍尼韦尔国际公司 克莱兹代尔气体检测器

Also Published As

Publication number Publication date
JP2010525425A (ja) 2010-07-22
EP2130368A1 (en) 2009-12-09
WO2008116503A1 (en) 2008-10-02
US20080239131A1 (en) 2008-10-02
US8244068B2 (en) 2012-08-14
KR20090125207A (ko) 2009-12-03
CN101641950A (zh) 2010-02-03

Similar Documents

Publication Publication Date Title
CN101641950B (zh) 用于调节在显示器上显示的数据表示的取向的设备和方法
CN101460977A (zh) 用于调节图像取向的设备和方法
CN110097428B (zh) 电子订单生成方法、装置、终端及存储介质
CN109684980B (zh) 自动阅卷方法及装置
CN112578971B (zh) 页面内容展示方法、装置、计算机设备及存储介质
CN110572711A (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN111541907A (zh) 物品显示方法、装置、设备及存储介质
CN106550134A (zh) 隐私信息保护方法及移动终端
Shu et al. Cardea: Context-aware visual privacy protection from pervasive cameras
CN112232260A (zh) 字幕区域识别方法、装置、设备及存储介质
CN110463177A (zh) 文档图像的校正方法及装置
CN113723136A (zh) 条码矫正方法、装置、设备及存储介质
CN111586279B (zh) 确定拍摄状态的方法、装置、设备及存储介质
CN110738185B (zh) 表单对象的识别方法、装置及存储介质
CN114741559A (zh) 确定视频封面的方法、设备及存储介质
CN110909264A (zh) 信息处理方法、装置、设备及存储介质
CN117636767A (zh) 远光成像学习机的图像显示方法、系统、终端及存储介质
CN112052701B (zh) 物品取放检测系统、方法及装置
CN114724312B (zh) 储物柜开柜方法、装置、设备及计算机可读存储介质
CN115937738A (zh) 视频标注模型的训练方法、装置、设备及存储介质
CN109639880A (zh) 一种天气信息显示方法及终端设备
CN113936240A (zh) 确定样本图像的方法、装置、设备及存储介质
CN111985305A (zh) 防窥屏方法、装置及终端设备
CN114140839A (zh) 用于人脸识别的图像发送方法、装置、设备及存储介质
CN111740969A (zh) 电子凭证信息的验证方法、装置、设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant