CN100433789C - 用于自动补偿移动通信终端的图像梯度的装置和方法 - Google Patents

用于自动补偿移动通信终端的图像梯度的装置和方法 Download PDF

Info

Publication number
CN100433789C
CN100433789C CNB200410048989XA CN200410048989A CN100433789C CN 100433789 C CN100433789 C CN 100433789C CN B200410048989X A CNB200410048989X A CN B200410048989XA CN 200410048989 A CN200410048989 A CN 200410048989A CN 100433789 C CN100433789 C CN 100433789C
Authority
CN
China
Prior art keywords
user
image
line
described user
image gradient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB200410048989XA
Other languages
English (en)
Other versions
CN1574884A (zh
Inventor
安重赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN1574884A publication Critical patent/CN1574884A/zh
Application granted granted Critical
Publication of CN100433789C publication Critical patent/CN100433789C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1626Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/163Indexing scheme relating to constructional details of the computer
    • G06F2200/1637Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored

Abstract

公开了一种用于自动补偿移动终端显示器的图像梯度的装置和方法。该装置和方法捕获用户图像、确定用户视线、计算用户视线和移动终端的基准坐标系统之间的图像梯度以及生成控制信息用于调整显示的图像来补偿图像梯度。

Description

用于自动补偿移动通信终端的图像梯度的装置和方法
(1)技术领域
本发明涉及移动通信终端,尤其涉及用于自动补偿用户视线和移动通信终端之间的角度(以下称为“图像梯度”)的装置和方法,能调整由终端显示的图像来补偿图像梯度。
(2)背景技术
当引进一种新的移动通信系统,如提供视频通信能力的移动通信系统时,用户更关心由移动通信终端显示的图像的质量。为响应这些关注,制造了具有改进的显示单元的移动通信终端,并执行研究来改进由移动通信终端显示的图像的质量。
然而,尽管改进的显示单元可以提供更高质量的图像,然而它们无法克服当用户在次于最佳的角度观察移动通信终端的显示器时出现的问题。例如,当用户在显示器与他或她的眼睛成一个角度的情况下观察移动通信终端的显示器时,所看到的图像可能显得失真。不论所显示的图像的质量有多高,结果的失真与图像质量无关。
如果移动通信终端的用户使用终端来观看电影或对移动图像拍照,则终端必须恒定地移动来补偿终端的显示器和用户的眼睛之间的角度,以避免所显示的图像的失真。对这一恒定手动补偿的需求可能降低用户的观察乐趣。
尽管本领域中已知一种用于补偿显示的图像上的地磁效应的方法,然而该方法主要应用在通过发射电子束以在显示单元上显示图像的大型家用器具上。该方法不适合诸如移动终端的移动通信设备。此外,这一方法无法充分地补偿由终端和用户视线之间的角度所引起的图像梯度。
本领域中还已知一种用于倒置由回转型折叠移动通信终端显示的图像的方法。然而,该方法未能解决当用户在次于最优的角度观察移动通信终端的显示时出现的问题。
目前,本领域中唯一已知的用于将由移动通信终端显示的图像聚焦到用户的眼睛的方法是对用户而言手动地调整终端来补偿图像梯度。该方法不仅无法完全缓和这一问题,而且还可能存在其它问题。需要手动调整终端,令用户感到更不便。此外,对某些移动通信终端,如交通工具中的移动通信终端而言,用户可能无法安全地手动调整该终端。
因此,需要一种能够自动补偿显示的图像的梯度的移动通信终端来向用户提供改进的观察体验。本发明着眼于这一及其它需求。
(3)发明内容
本发明的目的是提供对移动通信终端显示器的图像梯度的自动补偿,使当终端相对用户的头部倾斜时能够相对用户的视线来对准所显示的图像。为达到这些和其它目的,并依照本发明的目的,如这里实施并概括描述的,提供了一种用于自动补偿移动通信终端的图像梯度的装置与方法。
在本发明的一个方面,提供了一种用于自动补偿移动通信终端的图像梯度的装置。该装置包括用于接收用户的图像并确定用户视线的图像输入单元。用于处理与用户视线相应的信息并生成控制信息来补偿所计算的图像梯度的数据处理单元以及用于显示被调整来补偿所计算的图像梯度的可视图像的显示单元。
图像输入单元接收用户的图像,如使用适用于当用户观察移动终端的显示器时对他或她进行拍照的照相机。对接收的图像进行检查来确定用户的视线。应当考虑,作为图像输入单元的一部分的照相机可能是除移动终端用来拍照的第一照相机之外的第二照相机,从而使当用户使用移动终端来拍照时对图像梯度的补偿与其观察的图像相关。
较佳地,通过识别用户人体组织结构的一个特定部分,如脸、眼、耳、眉毛、嘴或鼻来确定用户视线。脸识别技术,如支持矢量机器(Support Vector Machine)(SVM)算法能够执行对用户的人体组织结构的一个特定部分的识别。
数据处理单元使用来自图像输入单元的有关用户视线的信息并计算将用户视线与移动通信终端相联系的相应图像梯度。数据处理单元生成控制信息,由显示单元用来补偿所计算的图像梯度。
可以考虑,可以通过在与用户视线相应的用户图像信息上叠加任意的线,较佳地为直线,并将该任意线与储存在移动通信终端中的基准坐标系统相比较来计算图像梯度。可以考虑,基准坐标系统可包括一个或多个垂直和/或水平线,并且任意线在用户人体组织结构的一个特定部分上较佳地被叠加,例如,用户的眼、耳或眉毛之间的线或用户嘴和鼻之间的线。
可以使用一个或多个阈值来确定是否调整终端显示的可视图像来补偿图像梯度。例如,可以使用最大阈值和最小阈值来定义终端和用户视线之间的相关角度的允许范围,在该范围内不需要调整图像,并且仅当图像梯度超出允许范围时调整显示图像。
较佳地,数据处理单元包括具有非易失存储器和易失存储器存储器单元以及中央控制单元。非易失存储器包含用于控制移动通信终端的所有功能的算法以及用于计算图像梯度的另一算法。易失存储器用来储存并处理来自图像输入单元的用户图像信息。中央控制单元通过使用储存在易失存储器中的信息执行一种算法来计算图像梯度并生成相应的控制信息。
显示单元使用来自数据处理单元的控制信息来调整显示的可视图像。所调整的显示的可视图像已经过图像梯度补偿,使得用户能够欣赏所显示的图像的完整效果。
在本发明的另一方面,提供了一种用于自动补偿移动通信终端的图像梯度的方法,该方法包括在捕获的用户图像中确定用户视线并生成与用户视线相关的用户图像信息、计算将用户视线与移动通信终端相联系的图像梯度、生成与所计算的图像梯度相应的控制信息以及显示可调整来补偿图像梯度的可视图像。
对所捕获的图像,如由照相机拍摄的图像进行检查来确定用户视线。较佳地,通过识别用户人体组织结构的一个特定部分,如脸、眼、耳、眉毛、嘴或鼻来确定用户视线。脸识别技术如支持矢量机器(SVM)算法可以执行对用户的人体组织结构的特定部分的识别。
应当考虑,可以通过在与用户视线相应的用户图像信息上叠加任意线,较佳地为直线,并将该任意线与储存在移动通信终端中的基准坐标系统进行比较来计算图像梯度。应当考虑,该基准坐标系统可包含一个或多个垂直和/或水平线。
在与用户视线相应的用户图像信息上叠加的任意线较佳地在用户的人体组织结构的一个特定部分上叠加,例如在用户双眼、双耳或两条眉毛之间的线或者在用户的嘴和鼻之间的线上。图像梯度可包括任意线和基准坐标系统的多个线之一之间的相对角度,该相对角度的尺寸用来调整显示的可视图像。
可以使用一个或多个阈值来确定是否要调整终端显示的可视图像来补偿图像梯度。例如,可以使用最大阈值和最小阈值来定义终端和用户视线之间的相对角度的允许范围,在该允许范围内不需要调整图像,并且仅当图像梯度超出该允许范围时调整显示的图像。
在本发明的另一方面,提供了一种用于自动补偿移动通信终端的图像梯度的方法。该方法包括在捕获的用户图像中顺序地识别或检测用户的脸及用户的脸的一个特定部分并生成与用户的脸的特定部分相关的用户图像信息、计算将用户的脸的特定部分与移动通信终端相联系的图像梯度、生成与所计算的图像梯度相应的控制信息以及显示可根据最小和最大阈值调整来补偿图像梯度的可视图像。
对捕获的图像,例如由照相机拍摄的图像进行检查来确定它是否包含用户的脸并接着识别用户的脸的一个特定部分。较佳地,用户的脸的特定部分为眼、耳、眉毛、嘴或鼻。脸识别技术如支持矢量机器(SVM)算法可执行对用户的脸的特定部分的识别。
应当考虑,可以通过在与用户的脸的特定部分相应的用户图像信息上叠加任意线,较佳地为直线,并将该任意线与储存在移动通信终端中的基准坐标系统相比较来计算图像梯度。应当考虑,基准坐标系统可包含一个或多个垂直和/或水平线。
在与用户的脸的特定部分相应的用户图像上叠加的任意线较佳地与用户视线相联系,例如用户双眼、双耳或两条眉毛之间的线或者用户的嘴和鼻之间的线。图像梯度可包括该任意线与基准坐标系统的多个线之一之间的相对角度,该相对角度的尺寸用来调整显示的可视图像。
使用阈值来确定是否调整终端显示的可视图像来补偿图像梯度。在一个较佳实施例中,最大阈值和最小阈值定义了终端和用户视线之间的相对角度的允许范围,在该允许范围之内不需要调整图像,并且仅当图像梯度超出该允许范围时调整所显示的图像。
当结合附图阅读以下对本发明的详细描述,可以更清楚本发明的上述及其它目的、特征、方面和优点。
(4)附图说明
所包括的附图提供了对本发明的进一步理解,结合在本说明书中成为其一部分,说明了本发明的实施例,并连同描述一起揭示了本发明的原理。不同附图中由相同标号所标识的本发明的特征、元件和方面标识依照一个或多个实施例的相同、等效或类似的特征、元件或方面。
图1说明了可在其中使用依照本发明的装置和方法来执行移动通信终端显示的图像梯度的补偿的典型环境。
图2说明了依照本发明的用于自动补偿移动通信终端显示器的图像梯度的装置。
图3所示是依照本发明的第一实施例的用于自动补偿移动通信终端显示器的图像梯度的方法的流程图。
图4所示是依照本发明的第二实施例的用于自动补偿移动通信终端显示器的图像梯度的方法的流程图。
(5)具体实施方式
本发明涉及用于自动补偿移动通信终端的图像梯度的装置与方法,当终端相对用户的头部倾斜时能够相对用户的视线来对准所显示的图像。尽管相对移动通信设备说明了本发明,然而应当考虑,本发明可以在其需要补偿具有显示器的设备的图像梯度的任意时刻使用,使得当设备相对用户的头部倾斜时能够相对用户的视线来对准所显示的图像。
参考图1的上方示图,说明了当用户2在观察终端显示器上的图像3时移动通信终端1倾斜的情况。使用本发明,终端1中的照相机4捕获用户2的图像并确定终端和用户视线5之间的相对角度,使得终端通过调整显示的图像3来自动地补偿该相对角度,或图像梯度。
参考图1的下方示图,说明了对图像梯度的补偿的结果。例如,如果移动通信装置相对于用户视线向右倾斜约15°,则由终端显示的图像3向左倾斜约15°来正确地对用户视线聚焦所显示的图像。
参考图2,说明了依照本发明的用于自动补偿移动通信终端显示器的图像梯度的装置。装置1包括图像输入单元10、数据处理单元20以及显示单元30。
图像输入单元10接收用户2的图像,如从装配在移动通信终端1的内部或外部的照相机4接收图像。图像输入单元10从接收的图像确定用户视线5并向数据处理单元20提供与用户视线相应的用户图像信息。在一个较佳实施例中,照相机4是数码照相机。
数据处理单元20使用来自图像输入单元的用户图像信息计算与用户视线和终端1之间的角度相关的图像梯度。基于这一图像梯度,数据处理单元20生成控制信息,如控制信号,用于调整由显示单元30显示的图像3来补偿该图像梯度。
显示单元30显示图像3以让用户2观察。显示单元30使用来自数据处理单元20的控制信息来调整显示的图像3以补偿所计算的图像梯度。
较佳地,数据处理单元20包括存储器单元40以及中央控制单元50。存储器单元40中的非易失存储器,如电可擦除只读存储器(EEPROM)包括用于控制移动通信终端1内部的所有功能的算法以及用于计算图像梯度的算法。存储器单元40中的易失存储器,如随机存储存储器(RAM)用来储存并处理来自图像输入单元10的用户图像信息。
中央控制单元50处理来自图像输入单元10的用户图像信息,并执行存储器单元40中的算法。中央控制单元50计算图像梯度并生成相应的控制信息,如控制信号。
通过用户人体组织结构的特定部分,如脸、眼、耳、眉毛、嘴或鼻的识别较佳地确定用户视线5。用户人体组织结构的特定部分的识别可以以模式匹配方法通过本领域已知的各种脸识别技术,如支持矢量机器(SVM)算法来实现。使用脸识别技术,如SVM算法,可以识别用户的脸的每一部分。
Vapnik在1979年宣布了这一用来对二维物体进行分类的SVM算法。SVM算法代表了已知或当前正在研究的脸识别技术。使用SVM算法,二维物体被确定为占有特定的维数空间并被划分为特定的超平面,即一个适当的超平面,对该超平面进行搜索来防止误分类。可以有多种超平面来划分二维。SVM算法确定最合适的超平面。
较佳地,通过将在用户图像信息上叠加的任意线,较佳地为直线,与移动通信终端1的基准坐标系统相比较来计算图像梯度。该任意线表示用户视线,如用户眼、耳或眉毛之间的线或者用户的嘴和鼻之间的线。基准坐标系统可包含一个或多个垂直和/或水平线。
由此,确定移动通信终端1和用户视线5是否一致。如果确定移动通信终端1从用户视线5倾斜,则计算倾斜的度数,即图像梯度,并且可以调整由显示单元30显示的图像3来补偿该图像梯度。
可以使用阈来确定何时调整由显示单元30显示的图像3。例如,如果图像梯度大于最大阈值或小于最小阈值,使得图像梯度超出允许范围,则数据处理单元20生成控制信息来调整显示的图像3。然而,如果图像梯度小于或等于最大阈值或者大于或等于最小阈值,使得图像梯度处于允许范围之内,则数据处理单元20不生成控制信息来调整显示的图像3。
参考图3,说明了依照本发明的一个实施例的一种用于自动控制移动通信终端的图像梯度的方法的流程图。该方法包括从捕获的用户图像来确定用户视线5并生成相应的用户图像信息(S1)、使用该用户图像信息来计算用户视线5和移动通信终端1之间的图像梯度(S2)、生成与所计算的图像梯度相应的控制信息(S3)以及依照控制信息调整显示的图像3来补偿所计算的图像梯度(S4)。
对捕获的图像,例如由装配在移动终端1内部或外部的照相机4拍摄的图像进行检查来确定用户视线。通过识别用户人体组织结构的一个特定部分,如脸、眼、耳、眉毛、嘴或鼻来较佳地确定用户视线5。脸识别技术,如SVM算法,较佳地用来识别用户人体组织结构的特定部分。
较佳地,通过将用户图像信息上叠加的任意线,较佳地为直线,与移动通信终端1的基准坐标系统相比较来计算图像梯度。该任意线表示用户视线,如用户的眼、耳或眉毛之间的线或者用户的嘴和鼻之间的线。基准坐标系统可包含一个或多个垂直和/水平线。
基于所计算的图像梯度生成控制信息。控制信息用来调整显示的图像3来补偿所计算的图像梯度,例如,通过将图像旋转一个等于图像梯度的角度来补偿。
可以使用阈来确定何时调整由显示单元30显示的图像3。例如,如果图像梯度大于最大阈值或小于最小阈值,使得图像梯度超出允许范围,则生成控制信息来调整显示的图像3。然而,如果图像梯度小于或等于最大阈值或者大于或等于最小阈值,使得图像梯度处于允许范围之内,则不生成控制信息来调整显示的图像3。
参考图4,说明了依照本发明的第二实施例的用于自动控制移动通信终端的图像梯度的方法的流程图。该方法使用捕获的用户1的图像来首先确定用户的脸是否包含在捕获的图像中,然后确定用户的脸的一个特定部分是否包含在捕获的图像中,并且如果计算的图像梯度超出阈范围时,调整显示的图像3。
通过装配在移动终端1内部或外部的照相机4较佳地捕获用户1的图像(S10)。对该图像进行检查来确定是否捕获了用户的脸(S20)。如果图像中未捕获用户的脸,则重复该操作并捕获新图像(S10)。
如果捕获了用户的脸,则生成与捕获的图像的脸部分相关的用户信息(S30)。然后确定捕获的图像中是否存在与用户视线5相关的用户的脸的特定部分(S40)。如果捕获的图像中不存在与用户视线5相关的用户的脸的特定部分,则重复该操作并捕获新图像(S10)。
如果在捕获的图像中存在与用户视线5相关的脸的特定部分,则生成与捕获的图像中脸的特定部分相关的用户图像信息(S50)。然后,在与用户的脸的特定部分相关的用户图像信息上叠加任意线来表示用户视线5(S60)。应当考虑,可使用连接用户的眼、眉毛或耳的较佳的直线或穿越用户的鼻梁的垂直线来表示用户视线5。
通过确定叠加线和储存在移动通信终端1的存储器单元中的参考线之间的角度来计算图像梯度(S70)。较佳地,参考线是终端1的基准坐标系统的一部分。基准坐标系统可以包含一个或多个垂直和/或水平线。
将计算的图像梯度与最大阈值和最小阈值相比较,来确定对显示的图像的调整是否必须(S80)。应当考虑,最大和最小阈值可与图像梯度的允许范围相对应,在该允许范围内,显示的图像3失真得不够充分,不需要调整。
如果图像梯度大于最大阈值或小于最小阈值,则调整显示的图像3,例如通过对图像旋转一个等于图像梯度的角度来调整(S90)。如果图像梯度小于或等于最大阈值或者大于或等于最小阈值,则不执行图像调整。
例如,如果假设+/-5°的图像梯度在显示图像3需要调整之前是允许的,则最大阈值为5°,最小阈值为-5°。如果表示用户视线5的线和储存在移动终端中的参考线之间的角度是-15°,小于最小阈,则调整显示的图像+15°来补偿图像梯度。然而,如果表示用户视线5的直线和储存在移动终端中的参考线之间的角度为3°,处于最小和最大阈之间,则不执行对显示的图像3的调整。
如这里所述,本发明的装置和方法允许自动补偿移动通信终端显示器的图像梯度。终端的用户不需要与他或她的眼睛平行地维持终端来获得显示的图像的最佳视图。本发明自动调整显示的图像使其聚焦在用户的眼睛上。本发明不仅可以应用到显示的图像上,也可以应用到显示的文本上。
上述实施例和优点仅作示例,不应解释为限制本发明。本教学可以容易地应用到其它类型的装置。本发明的描述是说明性的,并非限制权利要求的范围。本领域的技术人员能够更清楚许多替换方案、修改和变化。在权利要求书中,当执行所陈述的功能时,装置加功能条款覆盖了这里描述的结构,并且不仅覆盖了结构的等效物也覆盖了等效结构。

Claims (40)

1.一种用于自动补偿移动通信终端显示器的图像梯度的装置,其特征在于,所述装置包括:
图像输入单元,适用于接收用户的图像、根据接收的用户图像确定用户的视线并生成与所述用户的视线相应的用户图像信息;
数据处理单元,适用于从所述图像输入单元接收所述用户图像信息、通过将叠加在所述用户图像信息上的与用户视线相关的线与所述移动终端的基准坐标系统相比较,计算与所述用户视线和所述终端之间的角度相关的图像梯度,并生成与所述图像梯度相关的控制信息;以及
显示单元,适用于显示可视图像,所述可视图像可基于所述控制信息调整。
2.如权利要求1所述的装置,其特征在于,所述图像输入单元适用于从装配在所述移动终端内部或外部的照相机接收所述用户的图像。
3.如权利要求2所述的装置,其特征在于,所述照相机是数码照相机。
4.如权利要求1所述的装置,其特征在于,所述数据处理单元还包括:
具有易失和非易失存储器的存储器单元,所述易失存储器适用于储存来自所述图像输入单元的所述用户图像信息,所述非易失存储器包含用于控制所述移动终端的所有功能的算法以及用于计算图像梯度的算法;以及
中央控制单元,适用于执行储存在所述存储器单元中的算法以使用储存在存储器单元中的所述用户图像信息来计算所述图像梯度并生成相应的控制信息。
5.如权利要求1所述的装置,其特征在于,所述用户视线与所述用户的人体组织结构的特定部分相关,所述图像输入单元用来识别所述用户人体组织结构的特定部分。
6.如权利要求5所述的装置,其特征在于,所述特定部分是用户的脸、眼、耳、眉毛、嘴和鼻之一。
7.如权利要求5所述的装置,其特征在于,所述图像处理单元还用来执行脸识别技术来识别所述用户的人体组织结构的特定部分。
8.如权利要求7所述的装置,其特征在于,所述脸识别技术是支持矢量机器算法。
9.如权利要求1所述的装置,其特征在于,所述基准坐标系统包括水平线和垂直线的全少一个。
10.如权利要求1所述的装置,其特征在于,所述线是相对水平直线和相对垂直直线之一。
11.如权利要求1所述的装置,其特征在于,所述线连接所述用户的两眼、所述用户的两耳以及所述用户的两眉毛的其中之一,所述用户的两眼、所述用户的两耳以及所述用户的两眉毛是通过脸识别技术获得的。
12.如权利要求1所述的装置,其特征在于,所述线连接所述用户的嘴和鼻,所述用户的嘴和鼻是通过脸识别技术获得的。
13.如权利要求1所述的装置,其特征在于,所述数据处理单元还用来将所述图像梯度与最小阈和最大阈的至少其中之一相比较来确定是否调整所述可视图像。
14.如权利要求13所述的装置,其特征在于,所述数据处理单元还用来将所述图像梯度与最小阈和最大阈相比较,其中如果所述图像梯度大于所述最大阈值或小于所述最小阈值,通过使所述图像旋转一角度调整所述可视图像。
15.如权利要求1所述的装置,其特征在于,所述控制信息包括控制信号。
16.一种用于自动补偿移动通信终端显示器的图像梯度的方法,其特征在于,所述方法包括以下步骤:
从捕获的用户图像确定用户视线并生成与所述用户视线相应的用户图像信息;
使用所述用户图像信息,通过将叠加在所述用户图像信息上的与用户视线相关的线与所述移动终端的基准坐标系统相比较,计算所述用户视线和所述移动终端之间的图像梯度;
生成与所述图像梯度相应的控制信息;以及
基于所述控制信息显示可视图像。
17.如权利要求16所述的方法,其特征在于,所述捕获的图像从装配在所述移动终端内部或外部的照相机接收。
18.如权利要求16所述的方法,其特征在于,所述用户视线与所述用户的人体组织结构的特定部分相关,并且所述确定用户视线的步骤还包括在捕获的图像中识别所述用户的人体组织结构的特定部分。
19.如权利要求18所述的方法,其特征在于,所述特定部分是所述用户的脸、眼、耳、眉毛、嘴和鼻之一。
20.如权利要求18所述的方法,其特征在于,识别所述用户的人体组织结构的特定部分的所述步骤包括执行脸识别技术。
21.如权利要求20所述的方法,其特征在于,所述脸识别技术包括支持矢量机器算法。
22.如权利要求16所述的方法,其特征在于,所述线是相对水平直线和相对垂直直线之一。
23.如权利要求16所述的方法,其特征在于,所述基准坐标系统包括水平参考线和垂直参考线的至少其中之一。
24.如权利要求16所述的方法,其特征在于,所述线连接所述用户的两眼、所述用户的两耳以及所述用户的两眉毛的其中之一,所述用户的两眼、所述用户的两耳以及所述用户的两眉毛是通过脸识别技术获得的。
25.如权利要求16所述的方法,其特征在于,所述线连接所述用户的嘴和鼻,所述用户的嘴和鼻是通过脸识别技术获得的。
26.如权利要求16所述的方法,其特征在于,如果所述图像梯度是大于最大阈值和小于最小阈值的其中之一,通过使所述图像旋转一角度,所述控制信息引发对所述显示的可视图像进行调整。
27.如权利要求26所述的方法,其特征在于,所述显示的可视图像按等于图像梯度的一个角度来调整。
28.如权利要求16所述的方法,其特征在于,如果所述图像梯度是等于最大阈值、在最大阈值和最小阈值之间以及等于最小阈值的其中之一,所述控制信息不引发对所述显示的可视图像进行调整。
29.一种用于自动补偿移动通信终端显示器的图像梯度的方法,其特征在于,所述方法包括以下步骤:
捕获所述移动通信终端的用户的图像并生成用户图像信息;
确定所述捕获的图像包含所述用户的脸;
在所述捕获的图像中识别所述用户的脸的特定部分;
在所述用户图像信息中所述用户的脸的特定部分上叠加与用户视线有关的线;
计算所述叠加的线和储存在所述移动终端中的参考线之间的图像梯度;
将所述计算的图像梯度与最大阈值和最小阈值相比较;以及
在所述终端显示器上显示可视图像,使得如果所述图像梯度是大于所述最大阈值和小于所述最小阈值的其中之一时,通过使所述图像旋转一角度,对所述显示的图像进行调整,并且如果所述图像梯度是等于所述最大阈值、处于所述最大阈值和所述最小阈值之间和等于所述最小阈值的其中之一时,不对所述显示的图像进行调整。
30.如权利要求29所述的方法,其特征在于,所述图像由装配在所述移动终端内部或外部的照相机捕获。
31.如权利要求29所述的方法,其特征在于,所述特定部分与所述用户的视线相关。
32.如权利要求31所述的方法,其特征在于,所述特定部分是用户的眼、耳、眉毛、嘴和鼻之一。
33.如权利要求29所述的方法,其特征在于,所述与用户视线有关的线是相对水平直线和相对垂直直线的其中之一。
34.如权利要求39所述的方法,其特征在于,所述识别所述用户的脸的特定部分的步骤包括执行脸识别技术。
35.如权利要求34所述的方法,其特征在于,所述脸识别技术包括支持矢量机器算法。
36.如权利要求29所述的方法,其特征在于,所述计算图像梯度的步骤包括将所述与用户视线有关的线与所述移动终端的基准坐标系统相比较。
37.如权利要求36所述的方法,其特征在于,所述基准坐标系统包括水平参考线和垂直参考线的至少其中之一。
38.如权利要求29所述的方法,其特征在于,所述与用户视线有关的线连接所述用户的两眼、所述用户的两耳以及所述用户的两眉毛的其中之一,所述用户的两眼、所述用户的两耳以及所述用户的两眉毛是通过脸识别技术获得的。
39.如权利要求29所述的方法,其特征在于,所述与用户视线有关的线连接所述用户的嘴和鼻,所述用户的嘴和鼻是通过脸识别技术获得的。
40.如权利要求29所述的方法,其特征在于,所述角度等于所述图像梯度。
CNB200410048989XA 2003-06-14 2004-06-14 用于自动补偿移动通信终端的图像梯度的装置和方法 Expired - Fee Related CN100433789C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020030038547A KR100556856B1 (ko) 2003-06-14 2003-06-14 이동통신 단말기에서 화면 제어 방법 및 장치
KR10-2003-0038547 2003-06-14

Publications (2)

Publication Number Publication Date
CN1574884A CN1574884A (zh) 2005-02-02
CN100433789C true CN100433789C (zh) 2008-11-12

Family

ID=33487925

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB200410048989XA Expired - Fee Related CN100433789C (zh) 2003-06-14 2004-06-14 用于自动补偿移动通信终端的图像梯度的装置和方法

Country Status (5)

Country Link
US (1) US7692668B2 (zh)
EP (1) EP1501019A3 (zh)
JP (1) JP4477426B2 (zh)
KR (1) KR100556856B1 (zh)
CN (1) CN100433789C (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838255A (zh) * 2012-11-27 2014-06-04 英业达科技有限公司 显示装置的视线角度调整系统及其方法

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100774479B1 (ko) * 2004-07-06 2007-11-08 엘지전자 주식회사 휴대단말기의 영상신호 기울기 보정장치 및 방법
KR100756129B1 (ko) * 2005-06-28 2007-09-05 주식회사 팬택앤큐리텔 디스플레이영역 변화에 따른 유동적 디스플레이 장치 및방법
KR100630154B1 (ko) * 2005-08-31 2006-10-02 삼성전자주식회사 지자기 센서를 이용하여 기울어짐 정도에 따라디스플레이를 제어하는 방법 및 그 이동 단말기
EP1768387B1 (en) 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor
KR100818989B1 (ko) * 2005-09-22 2008-04-04 삼성전자주식회사 이미지 보정 기능을 구비한 화상 촬영 장치 및 그 동작방법
WO2007069116A2 (en) * 2005-12-12 2007-06-21 Koninklijke Philips Electronics N.V. A device incorporating a display
SE530384C2 (sv) * 2006-02-17 2008-05-20 Totalfoersvarets Forskningsins Metod för fjärrstyrning av en obemannad markfarkost med rörlig kamera samt en sådan markfarkost
US7724296B2 (en) * 2006-06-21 2010-05-25 Sony Ericsson Mobile Communications Ab Device and method for adjusting image orientation
US20080266326A1 (en) * 2007-04-25 2008-10-30 Ati Technologies Ulc Automatic image reorientation
KR100901862B1 (ko) * 2007-07-09 2009-06-09 (주)케이티에프테크놀로지스 단말기 자세 측정 방법 및 장치
ATE455325T1 (de) * 2007-11-30 2010-01-15 Ericsson Telefon Ab L M Tragbare elektronische vorrichtung mit mehr als einem anzeigebereich und verfahren zur steuerung einer benutzerschnittstelle dafür
KR101404751B1 (ko) * 2007-12-26 2014-06-12 엘지전자 주식회사 이동 단말기 및 그의 사용자 인터페이스 메뉴 제어 방법
JP5453717B2 (ja) * 2008-01-10 2014-03-26 株式会社ニコン 情報表示装置
EP2131268A1 (en) * 2008-06-04 2009-12-09 BAE Systems PLC Vehicle System, Ground Vehicle and Base Unit
WO2009147419A1 (en) * 2008-06-04 2009-12-10 Bae Systems Plc Vehicle system, ground vehicle and base unit
KR20100070060A (ko) * 2008-12-17 2010-06-25 삼성전자주식회사 촬상 장치, 촬상 방법 및 프로그램
CN102005200A (zh) * 2009-08-28 2011-04-06 英华达(上海)电子有限公司 用于调整显示方向的系统、装置和方法
US8463074B2 (en) * 2009-11-11 2013-06-11 General Dynamics Advanced Information Systems System and method for rotating images
CN101794193A (zh) * 2010-02-23 2010-08-04 华为终端有限公司 画面控制方法及电子设备
JP5741568B2 (ja) 2010-02-25 2015-07-01 富士通株式会社 携帯端末、動作間隔設定方法及びプログラム
JP5440334B2 (ja) * 2010-04-05 2014-03-12 船井電機株式会社 携帯情報表示端末
KR101694820B1 (ko) * 2010-05-07 2017-01-23 삼성전자주식회사 사용자 위치 인식 방법 및 장치
US8593558B2 (en) * 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
US20120081392A1 (en) * 2010-09-30 2012-04-05 Apple Inc. Electronic device operation adjustment based on face detection
US20120154378A1 (en) * 2010-12-20 2012-06-21 Sony Ericsson Mobile Communications Ab Determining device movement and orientation for three dimensional views
US9229527B2 (en) 2011-02-09 2016-01-05 Nec Corporation Image display device, image display method, and program
US9507416B2 (en) * 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
EP2500816B1 (en) * 2011-03-13 2018-05-16 LG Electronics Inc. Transparent display apparatus and method for operating the same
US9812074B2 (en) 2011-03-18 2017-11-07 Blackberry Limited System and method for foldable display
US9117384B2 (en) 2011-03-18 2015-08-25 Blackberry Limited System and method for bendable display
WO2012137327A1 (ja) * 2011-04-06 2012-10-11 船井電機株式会社 携帯情報表示端末
JP2012235348A (ja) * 2011-05-02 2012-11-29 Funai Electric Co Ltd 立体画像鑑賞システム
KR101818573B1 (ko) 2011-07-07 2018-01-15 삼성전자 주식회사 얼굴 인식을 이용한 보기모드 표시 방법 및 장치
US8665236B2 (en) 2011-09-26 2014-03-04 Apple Inc. Electronic device with wrap around display
KR101371547B1 (ko) * 2012-03-08 2014-03-07 삼성전자주식회사 얼굴의 기울기를 측정하여 화면을 회전시키는 전자 장치 및 방법
US9081798B1 (en) * 2012-03-26 2015-07-14 Amazon Technologies, Inc. Cloud-based photo management
CN104240679B (zh) * 2013-06-19 2017-05-24 联想(北京)有限公司 一种调节显示单元的方法及一种电子设备
US10228766B2 (en) 2014-09-12 2019-03-12 Microsoft Technology Licensing, Llc Enhanced Display Rotation
CN105844202A (zh) * 2015-01-12 2016-08-10 芋头科技(杭州)有限公司 一种影像识别系统及方法
US9940696B2 (en) * 2016-03-24 2018-04-10 GM Global Technology Operations LLC Dynamic image adjustment to enhance off- axis viewing in a display assembly
CN108027646B (zh) * 2016-04-05 2020-07-14 华为技术有限公司 一种终端显示防抖方法及装置
JP7067353B2 (ja) * 2018-08-09 2022-05-16 トヨタ自動車株式会社 運転者情報判定装置
CN117373402B (zh) * 2023-12-08 2024-02-20 深圳市华远显示器件有限公司 一种控制液晶显示屏显示方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1398367A (zh) * 1999-12-28 2003-02-19 爱华株式会社 带显示功能的电子设备
JP2003141551A (ja) * 2001-10-31 2003-05-16 Toshiba Corp 顔向き計算方法及びその装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5450504A (en) * 1992-05-19 1995-09-12 Calia; James Method for finding a most likely matching of a target facial image in a data base of facial images
US6072443A (en) * 1996-03-29 2000-06-06 Texas Instruments Incorporated Adaptive ocular projection display
US6288704B1 (en) * 1999-06-08 2001-09-11 Vega, Vista, Inc. Motion detection and tracking system to control navigation and display of object viewers
US7020305B2 (en) * 2000-12-06 2006-03-28 Microsoft Corporation System and method providing improved head motion estimations for animation
US7079707B2 (en) * 2001-07-20 2006-07-18 Hewlett-Packard Development Company, L.P. System and method for horizon correction within images
US20030093503A1 (en) * 2001-09-05 2003-05-15 Olympus Optical Co., Ltd. System for controling medical instruments
US7113618B2 (en) 2001-09-18 2006-09-26 Intel Corporation Portable virtual reality
US7714880B2 (en) 2001-11-16 2010-05-11 Honeywell International Inc. Method and apparatus for displaying images on a display
JP3864776B2 (ja) 2001-12-14 2007-01-10 コニカミノルタビジネステクノロジーズ株式会社 画像形成装置
WO2004004320A1 (en) * 2002-07-01 2004-01-08 The Regents Of The University Of California Digital processing of video images
US6917368B2 (en) * 2003-03-04 2005-07-12 Clairvoyante, Inc. Sub-pixel rendering system and method for improved display viewing angles
JP3791848B2 (ja) * 2003-10-28 2006-06-28 松下電器産業株式会社 画像表示装置、画像表示システム、撮影装置、画像表示方法、およびプログラム
JP2005266061A (ja) 2004-03-17 2005-09-29 Olympus Corp 再生装置
US20060001647A1 (en) * 2004-04-21 2006-01-05 David Carroll Hand-held display device and method of controlling displayed content
KR101112735B1 (ko) * 2005-04-08 2012-03-13 삼성전자주식회사 하이브리드 위치 추적 시스템을 이용한 입체 디스플레이장치
KR100643470B1 (ko) * 2005-09-29 2006-11-10 엘지전자 주식회사 휴대용 단말기의 그래픽 신호 표시장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1398367A (zh) * 1999-12-28 2003-02-19 爱华株式会社 带显示功能的电子设备
JP2003141551A (ja) * 2001-10-31 2003-05-16 Toshiba Corp 顔向き計算方法及びその装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103838255A (zh) * 2012-11-27 2014-06-04 英业达科技有限公司 显示装置的视线角度调整系统及其方法

Also Published As

Publication number Publication date
KR100556856B1 (ko) 2006-03-10
EP1501019A2 (en) 2005-01-26
JP4477426B2 (ja) 2010-06-09
US20040252913A1 (en) 2004-12-16
EP1501019A3 (en) 2007-04-04
KR20040107890A (ko) 2004-12-23
CN1574884A (zh) 2005-02-02
US7692668B2 (en) 2010-04-06
JP2005004210A (ja) 2005-01-06

Similar Documents

Publication Publication Date Title
CN100433789C (zh) 用于自动补偿移动通信终端的图像梯度的装置和方法
US20200387757A1 (en) Neural network training for three dimensional (3d) gaze prediction with calibration parameters
CN106797460B (zh) 三维视频的重建
US20200250488A1 (en) Deep learning for three dimensional (3d) gaze prediction
US8494224B2 (en) Perspective improvement for image and video applications
US20210012161A1 (en) Training of a neural network for three dimensional (3d) gaze prediction
CN111339928B (zh) 眼神调节方法、装置及存储介质
CN103369214A (zh) 图像获取方法与图像获取装置
JP2002534009A (ja) テレビ会議における参加者のプリセット位置の自動設定方法
US8965105B2 (en) Image processing device and method
CN111353336B (zh) 图像处理方法、装置及设备
CN106254859A (zh) 光场显示控制方法和装置、光场显示设备
US20170201677A1 (en) Information processing apparatus, information processing system, information processing method, and program
CN105007411B (zh) 一种畸变校正的方法及移动终端
CN109597210A (zh) 显示装置
JP2009237616A (ja) 画像における顔領域の検出
CN107659772A (zh) 3d图像生成方法、装置及电子设备
KR102171332B1 (ko) 얼굴 영상 보정 장치, 방법 및 컴퓨터 프로그램이 기록된 기록매체
CN110365910A (zh) 一种自拍方法、装置及电子设备
WO2019190561A1 (en) Deep learning for three dimensional (3d) gaze prediction
CN108732750A (zh) 虚拟现实播放设备及其控制方法及计算机可读存储介质
JP7385416B2 (ja) 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
CN107295320A (zh) 投影终端的控制方法和装置
CN113343931A (zh) 生成对抗网络的训练方法、图像视线校正方法与装置
KR102565318B1 (ko) 블러 이미지에 포함된 연속적인 이미지의 취득 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081112

Termination date: 20170614