CN101635861B - 显示装置和显示方法 - Google Patents

显示装置和显示方法 Download PDF

Info

Publication number
CN101635861B
CN101635861B CN2009101396823A CN200910139682A CN101635861B CN 101635861 B CN101635861 B CN 101635861B CN 2009101396823 A CN2009101396823 A CN 2009101396823A CN 200910139682 A CN200910139682 A CN 200910139682A CN 101635861 B CN101635861 B CN 101635861B
Authority
CN
China
Prior art keywords
unit
user
monitor
video
enhancement process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009101396823A
Other languages
English (en)
Other versions
CN101635861A (zh
Inventor
永井努
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101635861A publication Critical patent/CN101635861A/zh
Application granted granted Critical
Publication of CN101635861B publication Critical patent/CN101635861B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/52—Automatic gain control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

提供了一种显示装置和显示方法。该显示装置包括：视线检测单元，通过分析用户视频信息，检测用户的视线；增强处理单元，将通过视线检测单元检测的用户的视线与监视器的视频显示表面的交叉点检测为关注点，该关注点是用户关注的点，并且通过从距关注点较长距离的位置到较小距离的位置逐级设置更高的增益量，执行对于监视器的增强处理；以及显示视频输出控制单元，基于由增强处理单元设置的增益量、以及由显示视频信息输入单元接收其输入的显示视频信息，经由监视器输出视频。

Description

显示装置和显示方法
技术领域
本发明涉及显示装置和显示方法。更具体地，本发明涉及能够根据用户的视线显示提供透视感(sense of perspective)的视频的显示装置和显示方法。
背景技术
在现有技术中，已经执行了适于要输出到监视器的视频自身的增强处理。这里，增强处理是改进视频的锐度(sharpness)、使得将更清晰的视频呈现给用户的处理。然而，在多数情况下，适于要输出到监视器的视频自身的增强处理没有将三维信息增加到视频自身，因此，处理后的视频可能与用户喜欢的视频不同。
此外，例如，在日本专利申请公开No.2000-221953中，公开了一种根据在通过相机对用户拍摄、并且使用拍摄的图像检测用户的视线之后的检测结果执行图像处理的技术。
[专利文献1]日本专利申请公开No.2000-221953
发明内容
然而，根据日本专利申请公开No.2000-221953中所公开的技术，存在这样的问题：虽然可以根据用户的视线执行图像处理，但是难以根据用户的视线显示提供透视感的视频。
已经鉴于上述问题做出本发明，并且期望提供一种能够根据用户的视线显示提供透视感的视频的技术。
根据本发明实施例，提供了一种显示装置，包括：显示视频信息输入单元，其接收要成为监视器中显示的视频的源的显示视频信息的输入；用户视频信息输入单元，其接收通过相机获取的用户视频信息的输入，该用户视频信息是观看在监视器中显示的视频的用户的视频信息；视线检测单元，其通过分析通过用户视频信息输入单元接收其输入的用户视频信息，检测用户的视线；增强处理单元，其将通过视线检测单元检测的用户的视线与监视器的视频显示表面的交叉点检测为关注点，并且通过从距关注点较长距离的位置到较小距离的位置逐级(in stages)设置更高的增益量，执行对于监视器的增强处理；以及显示视频输出控制单元，其基于由增强处理单元设置的增益量、以及由显示视频信息输入单元接收其输入的显示视频信息，经由监视器输出视频。
根据上述配置，可以改进在用户高度关注的部分中显示的视频的锐度。因此，可以显示根据用户的视线提供透视感的视频。
根据上述本发明实施例，变为可能根据用户的视线显示提供透视感的视频。
附图说明
图1是说明本实施例的概况的图(部分1)；
图2是说明本实施例的概况的图(部分2)；
图3是示出根据本实施例的显示装置的功能配置的功能配置图；
图4是示意性示出由根据本实施例的增强处理单元执行的增强处理的示例(部分1)的图；
图5是示意性示出由根据本实施例的增强处理单元执行的增强处理的示例(部分2)的图；
图6是示意性示出由根据本实施例的增强处理单元执行的增强处理的示例(部分3)的图；
图7是示意性示出由根据本实施例的增强处理单元执行的增强处理的示例(部分4)的图；
图8是示意性示出由根据本实施例的用户位置检测单元执行的用户位置检测处理的示例的图。
图9是示意性示出由根据本实施例的距离计算单元执行的距离计算处理的示例的图；
图10是图示存在多个用户的情况的图；
图11是图示当存在多个用户时如何应用增益的图；
图12是示出由根据本实施例的显示装置执行的处理流程的流程图；
图13是图示存在多个相机的情况的图；以及
图14是图示组合现有方法和根据本实施例的方法的情况的图。
具体实施方式
以下，将参照附图详细描述本发明的优选实施例。注意，在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的参考符号表示，并且省略这些结构元件的重复说明。
<本实施例的概况>
首先，提供本实施例的概况，以便利关于本实施例的理解。
图1是说明本实施例的概况的图(部分1)。如图1所示，用户30是观看如电视机的显示装置(未示出)所提供的监视器19中显示的视频的人。本实施例通过执行根据用户30的视线的增强处理，使得可能显示提供透视感的视频。这里，增强处理是以这样的方式执行使得将视频更清晰地呈现给用户30的视频处理、或者如上所述改进视频的锐度使得将更清晰的视频呈现给用户30的处理。监视器19具有相机11，并且假设相机11具有拍摄用户30的功能。还假设具有监视器19的显示装置(未示出)在内部具有执行视频处理的功能，并且可例如通过该功能来实现增强处理。
图2是说明本实施例的概况的图(部分2)。图2是从上面的图1中示出的监视器19的透视图。
如图2所示，用户30关注的监视器19上的点是关注点41。关注点41是用户30的视线43和监视器19的视频显示表面19A的交叉点。此外，指定视线43到视频显示表面19A的入射角47、以及作为用户30和关注点41之间的最短距离的距离40。在本实施例中，还将描述根据入射角47和距离40的每个的增强处理。
在本实施例中，显示装置(未示出)使用相机11(见图1)检测用户30的视线43的方向，并且基于其方向，执行要输出到监视器19的视频的增强处理。在增强处理中，将高增益量设置给监视器19上的位于接近关注点41的像素。因此，可以给用户30提供便于用户30观看并提供透视感的视频。这里，增益量是指示构成监视器19的每个像素的亮度的值，并指构成色彩的红色、绿色和蓝色的每个的亮度。
<显示装置10的功能配置>
图3是示出根据本实施例的显示装置的功能配置的功能配置图。将参照图3(当需要时参照图1和图2)描述根据本实施例的显示装置的功能配置。
如图3所示，作为显示视频的装置(如电视机)的显示装置10至少包括相机11、调谐器12、用户视频信息输入单元110、视线检测单元120、显示视频信息输入单元150、增强处理单元160、显示视频输出控制单元170以及监视器19。如图3所示，显示装置10还可包括用户位置检测单元130或距离计算单元140。
相机11用于通过拍摄用户30来获取用户30的视频信息。如图3所示，相机11可包含在显示装置10内，或可在外部连接到显示装置10。
用户视频信息输入单元110用于接收由相机11获取的用户视频信息的输入，该用户视频信息是观看在监视器19中显示的视频的用户30的视频信息。用户视频信息输入单元110由例如USB(通用串行总线)接口构造。
视线检测单元120用于通过分析由用户视频信息输入单元110接收其输入的用户视频信息，检测用户30的视线。检测用户30的视线的技术并不具体限定。这样的技术在例如“Prof.Kenzo Kurihara，[在线]，[2008年6月11日搜索]，因特网<URL:http://joint.idec.or.jp/koryu/020426_2.php>”中提供。视线检测单元120通过CPU(中央处理单元)等构造。在此情况下，视线检测单元120的功能通过存储在ROM(只读存储器)等中的程序展开到RAM(随机存取存储器)等中、并且展开到RAM中的程序由CPU执行而实现。视线检测单元120还可例如通过专用硬件构造。
调谐器12用于从接收的无线电波选择想要的频率的无线电波，以从选择的无线电波再现监视器19中显示的视频。替代使用调谐器12，视频可通过使用DVD(数字多功能盘)播放器等再现。
显示视频信息输入单元150用于接收要成为在监视器19中显示的视频的源的显示视频信息的输入。显示视频信息输入单元150例如由专用硬件构造。
增强处理单元160用于将由视线检测单元120检测的用户30的视线43和监视器19的视频显示表面19A的交叉点检测为关注点41，该关注点41是用户30关注的点。增强处理单元160用于通过从距检测的关注点41较长距离的位置到较小距离的位置，逐级设置更高的增益量，执行监视器19的增强处理。
当设置增益量时，增强处理单元160可在通过围绕关注点41的一个或多个同心圆划分的多个区域中，从距检测的关注点41较长距离的区域到较小距离的区域，逐级设置更高的增益量。
此外，当设置增益量时，增强处理单元160可具有一个或多个同心圆，其半径通过将距关注点41的距离连续增加预定长度的增量而获得(见图4)。该预定长度假定存储在例如增强处理单元160中。
当设置增益量时，增强处理单元160可将该预定长度定义为等于或小于构成监视器19的相邻像素之间的距离(见图5)。因此，可使得由围绕关注点41的一个或多个同心圆划分的多个区域更窄，使得当从用户30观看时，增益量连续变化。因此，可进一步使得在监视器19中显示的视频自然地产生透视感。
此外，当设置增益量时，增强处理单元160可使围绕关注点41的一个或多个同心圆作为椭圆形，其具有匹配监视器19的纵横比的比率作为长轴/短轴比(长轴的长度与短轴的长度的比率)(见图6)。因此，可以使得监视器19中显示的视频产生适合监视器19的形式的透视感。可以使得监视器19的纵横比为例如长度∶宽度＝16∶9等，但是不具体限定。
增强处理单元160通过CPU等构造。在此情况下，增强处理单元160的功能通过存储在ROM等中的程序展开到RAM等中、并且展开到RAM中的程序由CPU执行而实现。增强处理单元160还可例如通过专用硬件构造。
显示视频输出控制单元170用于基于由增强处理单元160设置的增益量、以及由显示视频信息输入单元150接收其输入的显示视频信息，经由监视器19输出视频。例如，显示视频输出控制单元170由专用硬件构造。
监视器19用于显示视频。如图1所示，监视器19可以包含在显示装置10内，或可在外部连接到显示装置10。
用户位置检测单元130用于检测用户30的位置。在下面将参照图8描述检测用户30的位置的技术，但是本实施例不限于该技术。
用户位置检测单元130通过CPU等构造。在此情况下，用户位置检测单元130的功能通过存储在ROM等中的程序展开到RAM等中、并且展开到RAM中的程序由CPU执行而实现。用户位置检测单元130还可例如通过专用硬件构造。
如果显示装置10进一步包括用户位置检测单元130，则增强处理单元160可通过与上述技术不同的技术设置增益量。该技术将参照图7在下面描述。
距离计算单元140用于计算监视器19和用户30之间的距离。以下将参照图9描述计算监视器19和用户30之间的距离的示例性技术，但是本实施例不限于该技术。
如果显示装置10进一步包括距离计算单元140，则增强处理单元160可通过与上述技术不同的技术设置增益量。即，随着通过距离计算单元140计算的监视器19和用户30之间的不断增加的距离，可逐级设置更高的增益量。因此，当从相对短的距离观看时执行较弱的增强处理，而当从相对长的距离观看时执行较强的增强处理，使得当从用户30观看时在两种情况下都可显示几乎相同外观的视频。
用户视频信息输入单元110、视线检测单元120、用户位置检测单元130、距离计算单元140、显示视频信息输入单元150、增强处理单元160、以及显示视频输出控制单元170通过LSI(大规模集成)等构造，并且是显示装置10的中心设备。
<通过增强处理单元160执行的增强处理>
图4是示意性示出通过根据本实施例的增强处理单元执行的增强处理的示例(部分1)的图。将参照图4描述由根据本实施例的增强处理单元执行的增强处理的示例。
参照图4，示出了当从前面观看监视器19时的方位(aspect)示意性地示出在参考线50之上，并且当从上面观看监视器19时的方位示意性地示出在参考线50之下(这对图6和图7也适用)。
视线检测单元120检测用户30的视线43。增强处理单元160将由视线检测单元120检测的用户30的视线43与监视器19的视频显示表面19A的交叉点检测为关注点41，该关注点41是用户所关注的点。增强处理单元160还通过从距检测的关注点41较长的距离的位置到较小的距离的位置，逐级设置更高的增益量，执行监视器19的增强处理。这里，在图4所示的示例中，当设置增益量时，增强处理单元160具有两个同心圆，其半径通过将距关注点41的距离连续增加预定长度的增量获得。
图5是示意性示出通过根据本实施例的增强处理单元执行的增强处理的示例(部分2)的图。将参照图5描述由根据本实施例的增强处理单元执行的增强处理的示例。
参照图5，示出当从前面观看监视器19时的方位，并且在其下示出“不连续增益的应用”和“连续增益的应用”的曲线图。
在监视器19中示出围绕关注点41的两个同心圆，并且通过这些同心圆将视频显示表面19A划分为三个区域。如果从距检测的关注点41较长距离的区域到较小距离的区域逐级设置更高的增益量，则通过增益处理单元160设置如图5所示的曲线图的“不连续增益的应用”的不连续增益量。这里，监视器19中示出的两个同心圆的每个的半径是通过将距关注点41的距离连续增加预定长度的增量而获得的半径。
增益处理单元160可以以这种方式设置增益量，即，通过使得预定长度更短，当从用户30观看时增益量连续变化。例如，预定长度可定义为等于或小于构成监视器19的相邻像素之间的距离。然后，通过增强处理单元160设置如图5所示的曲线图的“连续增益的应用”的连续增益量。
图6是示意性示出通过根据本实施例的增强处理单元执行的增强处理的示例(部分3)的图。将参照图6描述由根据本实施例的增强处理单元执行的增强处理的示例。
在图6所示的示例中，当设置增益量时，增强处理单元160使围绕关注点41的两个同心圆为椭圆，其具有匹配监视器19的纵横比的比率作为长轴/短轴比。
图7是示意性示出通过根据本实施例的增强处理单元执行的增强处理的示例(部分4)的图。将参照图7描述由根据本实施例的增强处理单元执行的增强处理的示例。
在图7所示的示例中，通过用户位置检测单元130检测用户30的位置。在这样的情况下，当设置增益量时，增强处理单元160将用户30的位置作为参考点，将到用户30的视线43形成预定角度的一组线与监视器19的视频显示表面19A的交叉点的集合定义为边界。在图7所示的示例中，四个辅助线44的每个对应于一组线。
通过设置一个或多个这样的角度，增强处理单元160按边界将监视器19划分为多个区域。在图7所示的示例中，设置两个这样的角度。增强处理单元160在多个区域中，从距检测的关注点41较长的距离的区域到较小的距离的区域逐级设置更高的增益量。预定角度假设通过增强处理单元160保持，该增强处理单元160可以保持监视器19的纵向方向和横向方向的不同角度。
根据上述假设，当用户30从监视器19移开时，监视器19和辅助线44的交叉点变化，这伴随着同心圆的变化。例如，当最里面的同心圆区域中的增强处理的强度相同时，如果用户30和监视器19之间的距离长，则执行相对强的增强处理的区域的大小增加。结果，用户30可以将外观恒定维持到一定程度，而不管用户30和监视器19之间的距离。
当用户30倾斜地观看监视器19时，边界的形状改变为椭圆，其随着不断增加的入射角47具有更大的长轴比。因此，即使用户30倾斜地观看监视器19，也可进一步使得监视器19中显示的视频自然地产生透视感。
<由用户位置检测单元130执行的用户位置检测处理>
图8是示意性示出通过根据本实施例的用户位置检测单元执行的用户位置检测处理的示例的图。将参照图8(如果需要，也参照其他的图)描述通过根据本实施例的用户位置检测单元执行的用户位置检测处理的示例。
图8示出当从相机11的镜头观看时的用户30的方位。图8进一步对其添加了等间距的曲线，并且如果假定缩放等恒定，则监视器19和对象(如用户30)之间的距离通过等间距的曲线表示。通过相机11拍摄如图8所示的视频，并且其信息通过用户位置检测单元130经由用户视频信息输入单元110获取，以用于分析。例如，通过分析由用户视频信息输入单元110接收其输入的用户30的视频信息，用户位置检测单元130可将检测到的用户30的脚的位置定义为用户30的位置。
增强处理单元160可通过假设与视线43形成的一个角度或多个角度的每个连续增加预定角度的增量，来设置增益量。
<由距离计算单元140执行的距离计算处理>
图9是示意性示出通过根据本实施例的距离计算单元执行的距离计算处理的示例的图。将参照图9描述由根据本实施例的距离计算单元执行的距离计算处理的示例。
如图9所示，相机11到监视器19的相对位置固定。因此，可使用所述相机11到监视器19的相对位置、和当相机11设置为通过用户位置检测单元130检测的参考位置时的用户30的相对位置，计算当监视器19设置为参考位置时的用户30的位置，使得可以计算距离40。
当显示装置10进一步包括距离计算单元140时，增强处理单元160可通过考虑监视器19和用户30之间的距离，执行适于该距离的增强处理。例如，通过随着监视器19和用户30之间的不断增加的距离逐级设置更高的增益量，可执行监视器19的增强处理。以此方式，即使用户30远离监视器19，也可观看清晰的视频。
<当存在多个用户30时>
图10是图示存在多个用户的情况的图。将参照图10描述存在多个用户的情况。
图10示出存在的用户30的数量为2的情况，作为存在多个用户30的情况的示例。在此情况下，通过对两人执行当用户30的数量为1时的现有处理可执行更精确的增强处理。
如果例如两个用户30将视线转向相同区域，则可围绕该区域执行更强的增强处理。如果两个用户30将视线43转向不同区域，则可基于关于每个不同区域的信息对不同区域执行增强处理。当用户30的数量为3或更多时，该处理也可适用。
更具体地，视线检测单元120通过将多个视线检测为多个用户30的每个的视线，检测各用户30的视线。增强处理单元160将通过视线检测单元120检测的多个用户30的每个的视线与监视器19的视频显示表面19A的交叉点检测为每个关注点，所述关注点是多个用户30的每个所关注的点。增强处理单元160通过从距每个关注点的长距离到较短的位置设置更高的增益量、并将每个关注点的增益量叠加，执行增强处理。
图11是图示当存在多个用户时如何应用增益的图。将参照图11描述当存在多个用户时如何应用增益。
参照图11，示出围绕两个关注点41的每个的同心圆重叠。在此情况下，如果增强处理单元160对多个用户30分开计算增益量，则每个增益量将类似图11中的“叠加前的增益量”。
然后，增强处理单元160将分开计算的每个增益量相加。即，叠加每个增益量。叠加的结果将类似图11中的“叠加后的增益量”。然而，如果作为叠加的结果，叠加后的增益量超过预定范围，或变为大于预设阈值，则可通过如从叠加后的增益量减去固定值、或乘以小于1的值的计算来调整增益量。
<由显示装置10执行的处理的流程>
图12是示出由根据本实施例的显示装置执行的处理的流程的流程图。将参照图12(如果需要，也参照其他的图)描述由根据本实施例的显示装置执行的处理的流程。这里，假设存在n个用户30。
用户视频信息输入单元110接收用户视频信息的输入，该用户视频信息通过相机11获取，并且是观看在监视器19中显示的视频的用户30的视频信息。随后，视线检测单元120分析由用户视频信息输入单元110接收其输入的用户视频信息，以检测用户30的数量(步骤S101)。显示装置10执行处理(步骤S102到步骤S106)，其重复与由视线检测单元120检测的用户30的数量(n个人)一样多的次数。
在重复处理中，视线检测单元120检测用户30的视线43(步骤S103)。然后，距离计算单元140计算用户30和监视器19之间的距离40(步骤S104)。增强处理单元160从视线43和距离40计算监视器19中的每个像素的增益量(步骤S105)。
当重复处理结束时，增强处理单元160确定用户30的数量n是否大于1(步骤S107)。如果确定用户30的数量n大于1(步骤S107的“是”)，则增强处理单元160在进行步骤S109之前，叠加计算的增益量(步骤S108)。如果确定用户30的数量n等于或小于1(步骤S107的“否”)，则增强处理单元160进行到步骤S109。
增强处理单元160设置增益量(步骤S109)，并且确定是否已经经过预定时间(步骤S110)。如果确定还没有经过预定时间(步骤S110的“否”)，则增强处理单元160等待，直到已经经过预定时间。如果确定已经经过预定时间(步骤S110的“是”)，则增强处理单元160返回到步骤S101以重复该处理。
<当存在多个相机11时>
图13是图示存在多个相机的情况的图。将参照图13描述存在多个相机的情况。
如图13所示，当存在多个相机11时，期望当通过多个相机11拍摄用户30来检测用户30的位置和视线43时，检测将更精确。
<当与现有方法组合时>
图14是图示组合现有方法和根据本实施例的方法的情况的图。将参照图14描述组合现有方法和根据本实施例的方法的情况。
这里，假设现有方法是根据视频内容设置增益量的方法。如图14所示，视频包含例如建筑物19B，并且已经对其边缘执行根据现有方法的增强处理。在这样的情况下，如果通过每个方法分开计算增益量，则每个增益量将类似图14中的“叠加前的增益量”。
增强处理单元160将通过现有方法设置的增益量和通过根据本实施例的方法设置的增益量叠加。叠加的结果是例如类似图14中的“叠加后的增益量”。然而，作为叠加的结果，如果叠加后的增益量超过预定范围或变为大于预设阈值，则可通过如从叠加后的增益量减去固定值或乘以小于1的值的计算来调整增益量。
增强处理不限于上述计算，并且可组合多个类型的增强处理以用于处理。例如，假设通过根据本实施例的方法对关注区域执行增强处理的方法是方法1。此外，假设通过视频自身的适应性处理检测面部、并且使得增强处理更弱以便使得脸部的视频是更期望的视频的方法是方法2。通过执行考虑方法1和方法2的集合的增强处理，比分开执行增强处理时，用户30可观看更期望的视频。
通过与用于执行适于视频自身的增强处理的现有方法组合，可在保留现有方法的优点的同时执行增强处理。
根据本实施例，与基于视频自身的信息执行增强处理的情况相比，通过控制用户30他自己(她自己)关注的关注点41周围的增强处理的强度，可执行适合用户30的喜好的增强处理。此外，可根据用户的视线显示提供透视感的视频。
此外，可通过检测用户30的位置和视线43，执行例如当从前面并且倾斜地观看时、对于不同空间关系的适当增强处理。
本发明包含涉及于2008年7月2日向日本专利局提交的日本优先权专利申请JP 2008-173006中公开的主题，在此通过引用并入其全部内容。
本领域技术人员应当理解，依赖于设计需求和其他因素可以出现各种修改、组合、子组合和更改，只要它们在权利要求或其等效物的范围内。

Claims (10)

1.一种显示装置，包括：
显示视频信息输入单元，其接收要成为监视器中显示的视频的源的显示视频信息的输入；
用户视频信息输入单元，其接收通过相机获取的用户视频信息的输入，该用户视频信息是观看在监视器中显示的视频的用户的视频信息；
视线检测单元，其通过分析由用户视频信息输入单元接收输入的用户视频信息，检测用户的视线；
增强处理单元，其将通过视线检测单元检测的用户的视线与监视器的视频显示表面的交叉点检测为关注点，并且通过视频显示表面上从距关注点较长距离的位置到较小距离的位置逐级设置更高的增益量，执行对于监视器的增强处理；以及
显示视频输出控制单元，其基于由增强处理单元设置的增益量、以及由显示视频信息输入单元接收输入的显示视频信息，经由监视器输出视频。
2.根据权利要求1的显示装置，其中
所述增强处理单元
通过视频显示表面上在由围绕关注点的一个或多个同心圆划分的多个区域中，从距关注点较长距离的区域到较小距离的区域逐级设置更高的增益量，从距关注点较长距离的位置到较短距离的位置逐级设置更高的增益量。
3.根据权利要求2的显示装置，其中
所述增强处理单元
通过将距关注点的距离连续增加预定长度的增量，获得所述一个同心圆或多个同心圆的每个的半径，设置增益量。
4.根据权利要求3的显示装置，其中
所述增强处理单元
通过将预定长度定义为等于或小于构成监视器的相邻像素之间的距离，设置增益量。
5.根据权利要求2的显示装置，其中
所述增强处理单元
通过将围绕关注点的一个或多个同心圆定义为椭圆，设置增益量，所述 椭圆具有匹配监视器的纵横比的比率作为长轴与短轴之比。
6.根据权利要求1的显示装置，还包括：
用户位置检测单元，其检测用户的位置，其中，
所述增强处理单元
将由用户位置检测单元检测的用户的位置作为参考点，将到用户的视线形成预定角度的一组线与监视器的视频显示表面的交叉点的集合定义为边界，通过设置一个或多个角度，将监视器按边界划分为多个区域，并且通过视频显示表面上从距关注点较长的距离的区域到较小的距离的区域在多个区域中逐级设置更高的增益量，从距关注点较长的距离的位置到较短的距离的位置逐级设置更高的增益量。
7.根据权利要求6的显示装置，其中
所述增强处理单元
通过将用视线形成的角度连续增加预定角度的增量，获得所述一个角度或多个角度的每个，设置增益量。
8.根据权利要求1到7的任一的显示装置，还包括：
距离计算单元，其计算监视器和用户之间的距离，其中
所述增强处理单元
通过随着由距离计算单元计算的监视器和用户之间的不断增加的距离逐级设置更高的增益量，执行用于监视器的增强处理。
9.根据权利要求1到7的任一的显示装置，其中：
视线检测单元通过将多个视线检测为多个用户的每个的视线，检测用户的视线；以及
所述增强处理单元
将通过视线检测单元检测的多个用户的每个的视线和监视器的视频显示表面的交叉点检测为每个关注点，该关注点是多个用户的每个关注的点，并且通过从距每个关注点的长距离到较短的距离设置更高的增益量，并且叠加每个关注点的增益量，执行增强处理。
10.一种显示方法，包括下述步骤：
通过显示视频信息输入单元接收要成为监视器中显示的视频的源的显示视频信息的输入；
通过用户视频信息输入单元接收通过相机获取的用户视频信息的输入， 该用户视频信息是观看在监视器中显示的视频的用户的视频信息；
通过分析由用户视频信息输入单元接收输入的用户视频信息，通过视线检测单元检测用户的视线；
将通过视线检测单元检测的用户的视线与监视器的视频显示表面的交叉点检测为关注点，并且通过视频显示表面上从距关注点较长距离的位置到较小距离的位置逐级设置更高的增益量，通过增强处理单元执行对于监视器的增强处理；以及
基于由增强处理单元设置的增益量、以及由显示视频信息输入单元接收输入的显示视频信息，通过显示视频输出控制单元经由监视器输出视频。 
CN2009101396823A 2008-07-02 2009-07-02 显示装置和显示方法 Active CN101635861B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008173006A JP4743234B2 (ja) 2008-07-02 2008-07-02 表示装置及び表示方法
JP173006/08 2008-07-02

Publications (2)

Publication Number Publication Date
CN101635861A CN101635861A (zh) 2010-01-27
CN101635861B true CN101635861B (zh) 2011-06-08

Family

ID=41172316

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009101396823A Active CN101635861B (zh) 2008-07-02 2009-07-02 显示装置和显示方法

Country Status (4)

Country Link
US (2) US8619195B2 (zh)
EP (1) EP2141921B1 (zh)
JP (1) JP4743234B2 (zh)
CN (1) CN101635861B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894511B (zh) * 2010-07-15 2012-03-14 鸿富锦精密工业（深圳）有限公司 电子看板
CA2849718A1 (en) 2010-09-21 2012-03-29 Cellepathy Ltd. System and method for sensor-based determination of user role, location, and/or state of one of more in-vehicle mobile devices and enforcement of usage thereof
US9800716B2 (en) 2010-09-21 2017-10-24 Cellepathy Inc. Restricting mobile device usage
US11070661B2 (en) 2010-09-21 2021-07-20 Cellepathy Inc. Restricting mobile device usage
AU2012313395A1 (en) * 2011-09-21 2014-04-24 Cellepathy Ltd. Restricting mobile device usage
CN102572217B (zh) * 2011-12-29 2014-08-20 华为技术有限公司 基于视觉关注的多媒体处理方法及装置
JP6007600B2 (ja) * 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9691115B2 (en) 2012-06-21 2017-06-27 Cellepathy Inc. Context determination using access points in transportation and other scenarios
KR102111407B1 (ko) * 2013-08-19 2020-05-15 엘지전자 주식회사 디스플레이 장치 및 그 동작방법
KR102149200B1 (ko) * 2013-09-03 2020-08-28 엘지전자 주식회사 입력 모듈 및 이를 구비한 영상표시기기
KR102244620B1 (ko) * 2014-09-05 2021-04-26 삼성전자 주식회사 렌더링 수준 제어 방법 및 장치
WO2016064366A1 (en) 2014-10-24 2016-04-28 Echostar Ukraine, L.L.C. Display device viewing angle compensation
CN106060658B (zh) * 2016-05-27 2019-06-14 青岛海信电器股份有限公司 一种图像处理方法及装置
US10714049B2 (en) 2016-06-06 2020-07-14 Apple Inc. Electronic display border gain systems and methods
CN110710185B (zh) * 2017-06-03 2021-09-28 苹果公司 注意力检测服务
US10642335B2 (en) 2017-06-03 2020-05-05 Apple Inc. Attention detection service
JP2019017800A (ja) 2017-07-19 2019-02-07 富士通株式会社 コンピュータプログラム、情報処理装置及び情報処理方法
EP3893234A1 (en) * 2017-09-11 2021-10-13 Apple Inc. Electronic display border gain systems and methods
US20210225305A1 (en) * 2018-05-21 2021-07-22 Nec Display Solutions, Ltd. Display device
US11209656B1 (en) * 2020-10-05 2021-12-28 Facebook Technologies, Llc Methods of driving light sources in a near-eye display
CN113115086B (zh) * 2021-04-16 2023-09-19 浙江闪链科技有限公司 基于视频视线识别对电梯媒体收视信息进行采集的方法
US11727892B1 (en) 2022-11-09 2023-08-15 Meta Platforms Technologies, Llc Eye-tracking based foveation control of displays

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1297646A (zh) * 1999-04-06 2001-05-30 皇家菲利浦电子有限公司 信号处理装置
US6954193B1 (en) * 2000-09-08 2005-10-11 Apple Computer, Inc. Method and apparatus for correcting pixel level intensity variation
EP1662779A1 (de) * 2004-11-25 2006-05-31 Micronas GmbH Videoanzeigegerät und Darstellungsverfahren

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2008301A (en) * 1933-09-25 1935-07-16 Stanley F Gleason Meat processing and molding device
JPH01290385A (ja) 1988-05-17 1989-11-22 Mitsubishi Electric Corp テレビジョン受像機
JPH04132487A (ja) 1990-09-25 1992-05-06 Matsushita Electric Ind Co Ltd テレビジョン受像機、その制御装置および制御方法
JPH04192762A (ja) * 1990-11-26 1992-07-10 Mitsubishi Electric Corp カラーテレビジョン受像機
JP2868389B2 (ja) * 1993-06-14 1999-03-10 株式会社エイ・ティ・アール通信システム研究所 画像表示装置
JPH07287761A (ja) * 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
KR100265164B1 (ko) * 1996-11-08 2000-09-15 윤종용 거리 측정 센서를 이용한 자동 휘도 조정 회로 및 방법
JPH10282877A (ja) * 1997-04-08 1998-10-23 Canon Inc 画像生成方法、画像生成装置、シュミレーションシステム、及び記憶媒体
JP2000132152A (ja) * 1998-10-27 2000-05-12 Sharp Corp 表示装置
JP2000221953A (ja) 1999-01-29 2000-08-11 Sony Corp 映像表示装置、映像処理方法及びこれらを応用した映像表示システム
JP2002055675A (ja) * 1999-09-17 2002-02-20 Matsushita Electric Ind Co Ltd 画像表示装置
JP2002116728A (ja) * 2000-10-10 2002-04-19 Matsushita Electric Ind Co Ltd 表示装置
JP3620443B2 (ja) * 2000-12-05 2005-02-16 日産自動車株式会社 自動車用表示装置
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
JP2004213486A (ja) 2003-01-07 2004-07-29 Sony Corp 画像処理装置および方法、記録媒体、並びにプログラム
JP4038689B2 (ja) * 2004-01-21 2008-01-30 ソニー株式会社 表示制御装置および方法、記録媒体、並びにプログラム
JP2005315956A (ja) * 2004-04-27 2005-11-10 Pioneer Electronic Corp 表示器駆動装置及び駆動方法
US7839423B2 (en) * 2004-06-18 2010-11-23 Nec Corporation Image display system with gaze directed zooming
JP2006235307A (ja) * 2005-02-25 2006-09-07 Toshiba Corp 表示装置および同装置の表示制御方法
US7697751B2 (en) * 2005-12-29 2010-04-13 Graphics Properties Holdings, Inc. Use of ray tracing for generating images for auto-stereo displays
US20080316372A1 (en) * 2007-06-20 2008-12-25 Ning Xu Video display enhancement based on viewer characteristics
JP4858476B2 (ja) 2008-03-31 2012-01-18 株式会社日立製作所 交流電動機の制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1297646A (zh) * 1999-04-06 2001-05-30 皇家菲利浦电子有限公司 信号处理装置
US6954193B1 (en) * 2000-09-08 2005-10-11 Apple Computer, Inc. Method and apparatus for correcting pixel level intensity variation
EP1662779A1 (de) * 2004-11-25 2006-05-31 Micronas GmbH Videoanzeigegerät und Darstellungsverfahren

Also Published As

Publication number Publication date
CN101635861A (zh) 2010-01-27
EP2141921B1 (en) 2021-12-15
JP4743234B2 (ja) 2011-08-10
US20140071296A1 (en) 2014-03-13
JP2010014836A (ja) 2010-01-21
US8619195B2 (en) 2013-12-31
US20100002072A1 (en) 2010-01-07
US8994883B2 (en) 2015-03-31
EP2141921A1 (en) 2010-01-06

Similar Documents

Publication Publication Date Title
CN101635861B (zh) 显示装置和显示方法
EP4064176A1 (en) Image processing method and apparatus, storage medium and electronic device
US20190378250A1 (en) Image processing method, device and photographic apparatus
US9460493B2 (en) Automatic video quality enhancement with temporal smoothing and user override
US20070297693A1 (en) Apparatus and method for panoramic photography in portable terminal
US9894285B1 (en) Real-time auto exposure adjustment of camera using contrast entropy
EP2790397B1 (en) Image processing device, image processing method, and program
US20120314971A1 (en) Automatic exposure correction of images
CN102017597A (zh) 用于呈现突发图像的方法、装置和计算机程序产品
CN109194866B (zh) 一种图像采集方法、装置、系统、终端设备和存储介质
CN104811798B (zh) 一种调整视频播放速度的方法及装置
CN102955664A (zh) 电子书显示调整系统及方法
CN103339655A (zh) 图像捕捉装置、图像捕捉方法及计算机程序产品
US11265459B2 (en) Electronic device and control method therefor
EP2639769A2 (en) Image synthesis device and computer program for image synthesis
US20120243801A1 (en) Image processing apparatus, imaging apparatus, storage medium storing image processing program, and image processing method
CN106231200B (zh) 一种拍照方法及装置
CN107300968B (zh) 一种人脸识别方法及装置、画面显示方法及装置
CN102739958A (zh) 图像处理装置、图像处理方法和程序
CN104867125A (zh) 获取图像的方法以及装置
CN108139564A (zh) 对焦控制装置、摄像装置、对焦控制方法及对焦控制程序
CN105227826A (zh) 图像处理装置、图像处理方法、以及图像处理程序
CN112449115B (zh) 拍摄方法、装置和电子设备
CN104966060A (zh) 一种运动物体的目标识别方法和装置
CN110309829B (zh) 影视资源下架的在线监控方法、装置及可读存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant