CN103491413A - 图像显示设备和用于操作图像显示设备的方法 - Google Patents
图像显示设备和用于操作图像显示设备的方法 Download PDFInfo
- Publication number
- CN103491413A CN103491413A CN201310109082.9A CN201310109082A CN103491413A CN 103491413 A CN103491413 A CN 103491413A CN 201310109082 A CN201310109082 A CN 201310109082A CN 103491413 A CN103491413 A CN 103491413A
- Authority
- CN
- China
- Prior art keywords
- image
- spectators
- display
- image display
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
- H04N13/317—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using slanted parallax optics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
- H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/368—Image reproducers using viewer tracking for two or more viewers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/324—Colour aspects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Computer Hardware Design (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本发明公开一种图像显示设备和用于操作图像显示设备的方法。该方法包括:存储第一捕获图像作为背景图像,所述第一捕获图像不包括是观众的图像的观众图像;基于背景图像和包括观众图像的第二捕获图像之间的差分图像来计算观众的位置;以及基于观众的位置来改变多视点图像并且显示改变的多视点图像。
Description
相关申请的交叉引用
本申请要求于2012年6月8日提交的韩国专利申请No.10-2012-0061627的优先权,其全部内容通过引用结合于此。
技术领域
本发明涉及一种图像显示设备和用于操作该图像显示设备的方法,并且更加具体地,涉及一种图像显示设备和用于操作该图像显示设备的方法,它们能够在裸眼三维(3D)可视化期间快速追踪观众的精确位置。
背景技术
图像显示设备具有向用户显示图像的功能。图像显示设备能够在显示器上显示用户从广播站发射的广播节目之中所选择的广播节目。广播的最近趋势是在世界范围上从模拟广播到数字广播的转变。
随着其发射数字音频和视频信号,数字广播在诸如抗噪声的鲁棒性、较少的数据丢失、易于错误校正以及提供清晰、高分辨率图像的能力的方面相对于模拟广播提供许多优势。与模拟广播相比较,数字广播还允许交互式观众服务。
发明内容
因此,鉴于上述问题已经提出本发明,并且本发明的目的是提供一种图像显示器和用于操作该图像显示器的方法,它们能够在裸眼3D可视化期间快速追踪观众的位置。
本发明的另一目的是为了提供一种图像显示器和用于操作该图像显示器的方法,它们能够增加用户便利。
根据本发明的一个方面,通过提供一种用于操作显示多视点图像的图像显示设备的方法能够完成以上和其它目的,包括:存储第一捕获图像作为背景图像,所述第一捕获图像不包括是观众的图像的观众图像;基于背景图像和包括观众图像的第二捕获图像之间的差分图像来计算观众的位置;以及基于观众的位置来改变多视点图像以及显示改变的多视点图像。
根据本发明的另一方面,提供一种图像显示设备,包括:显示器,该显示器用于显示多视点图像;相机模块,该相机模块用于获取第一捕获图像以及第二捕获图像,所述第一捕获图像不包括是观众的图像的观众图像,所述第二捕获图像包括观众图像;以及控制器,该控制器用于基于使用背景图像和第二捕获图像之间的差分图像所计算的观众的位置来改变多视点图像,以及显示改变的多视点图像。
附图说明
结合附图,根据下面详细的描述,将会更加清楚地理解本发明的以上和其它目的、特征以及其它优点,在附图中:
图1图示根据本发明实施例的图像显示设备的外部;
图2分离地图示在图1中图示的图像显示设备的透镜单元和显示器;
图3是根据本发明实施例的图像显示设备的框图;
图4是在图3中图示的控制器的框图;
图5图示用于控制在图3中图示的遥控器的方法;
图6是在图3中图示的遥控器的框图;
图7图示通过组合左眼和右眼图像的3D图像的形成;
图8图示根据左眼图像和右眼图像之间的不同差别的3D图像的不同深度幻觉;
图9是被引用以描述裸眼3D图像显示设备的原理的视图;
图10至图14是被引用以描述显示多视点图像的图像显示设备的原理的视图;
图15是图示用于操作根据本发明实施例的图像显示设备的方法的流程图;以及
图16至图27是被引用以描述用于操作在图15中图示的图像显示设备的方法的视图。
具体实施方式
下面将参考附图来描述本发明的实施例。
用于表示组件的术语“模块”或“单元”在此用于帮助理解组件并且它们不应被认为具有特定的意义或者作用。因此,可以互换地使用术语“模块”和“单元”。
图1图示根据本发明实施例的图像显示设备的外部,并且图2分离地图示在图1中图示的图像显示设备中的透镜单元和显示器。
参考图1和图3,根据本发明实施例的图像显示设备能够显示立体图像,即,三维(3D)图像。在本发明的实施例中,通过示例,图像显示设备是裸眼3D图像显示设备。
对于裸眼3D可视化,图像显示设备100包括显示器180和透镜单元195。
显示器180可以显示输入图像,特别是根据本发明实施例的多视点图像。具体地,多视点图像可以被显示有以预定图案排列的多视点图像的子像素。
透镜单元195可以被设置在用户方向上,与显示器180隔开了预定间隙。在图2中示出显示器180和透镜单元195相互分离。
透镜单元195可以以使用柱状透镜式的透镜(lenticular lens)的柱状透镜式的方案或者以使用狭缝阵列的视差方案来操作,或者可以使用微透镜阵列。本发明的实施例被描述,关注于柱状透镜式的方案。
图3是根据本发明实施例的图像显示设备的框图。
参考图3,然后根据本发明实施例的图像显示设备100包括:广播接收器105、外部设备接口130、网络接口135、存储器140、用户输入接口150、相机单元155、传感器单元(未示出)、控制器170、显示器180、音频输出单元185、电源190、以及透镜单元195。
广播接收器105可以包括调谐器单元110、解调器120、以及网络接口135。根据需要,广播接收器105可以被配置成使得仅包括调谐器单元110和解调器120或者仅包括网络接口135。
调谐器单元110从通过天线接收到的多个RF广播信号之中选择与用户所选择的频道相对应的射频(RF)广播信号或者与预先存储的频道中的每一个相对应的RF广播信号,以及将所选择的RF广播信号下变换为数字中频(IF)信号或者模拟基带音频/视频(A/V)信号。
更加具体地,如果所选择的RF广播信号是数字广播信号,则调谐器单元110将所选择的RF广播信号下变换成数字IF信号DIF。另一方面,如果所选择的RF广播信号是模拟广播信号,则调谐器单元110将所选择的RF广播信号下变换成模拟基带A/V信号CVBS/SIF。也就是,调谐器单元110可以是不仅能够处理数字广播信号还能处理模拟广播信号的混合调谐器。可以将模拟基带A/V信号CVBS/SIF直接输入至控制器170。
调谐器单元110会能够从高级电视系统委员会(ATSC)单载波系统或从数字视频广播(DVB)多载波系统接收RF广播信号。
调谐器单元110可以从通过天线接收到的多个RF信号中通过频道添加功能依次选择与先前存储在图像显示设备100中的所有广播频道相对应的多个RF广播信号,以及可以将所选择的RF广播信号下变换成IF信号或基带A/V信号。
调谐器单元110可以包括用于在多个频道上接收广播信号的多个调谐器。可替选地,调谐器单元110可以被实现为用于在多个频道上同时接收广播信号的单个调谐器。
解调器120从调谐器单元110接收数字IF信号DIF,并且解调该数字IF信号DIF。
解调器120可以对数字IF信号DIF执行解调和频道解码,从而获取流信号TS。流信号TS可以是其中视频信号、音频信号以及数据信号被复用的信号。
流信号TS可以被输入到控制器170,并且因此经受解复用和A/V信号处理。已处理的视频和音频信号分别被输出到显示器180和音频输出单元185。
外部装置接口130可以将数据发送到被连接的外部设备或者从被连接的外部设备接收数据。为了数据传输和接收,外部装置接口130可以包括A/V输入/输出(I/O)单元(未示出)和/或无线通信模块(未示出)。
外部设备接口130可以被无线地或通过有线连接至诸如数字多用盘(DVD)播放器、蓝光光盘播放器、游戏控制台、相机、摄像放像机、计算机(例如,膝上型计算机)、或者机顶盒的外部设备。然后,外部设备接口130将信号发送到外部设备和从外部设备接收信号。
外部设备接口130的A/V I/O单元可以从外部设备接收视频和音频信号。外部设备接口130的无线通信模块可以执行与其它电子设备的短程无线通信。
网络接口135用作在图像显示设备100和诸如因特网的有线/无线网络之间的接口。网络接口135可以通过网络从因特网或者从内容提供商(CP)、或者网络提供商(NP)接收内容或数据。
存储器140可以存储控制器170处理和控制信号所需的程序,并且还可以存储已处理的视频、音频、和数据信号。
存储器140可以临时存储从外部设备接口130接收到的视频、音频以及/或者数据信号。存储器140可以通过诸如频道地图的频道添加功能来存储关于广播频道的信息。
虽然在图3中示出的存储器140被配置为与控制器170分离,本发明不限于此,但是例如,存储器140可以被合并在控制器170中。
用户输入接口150将从用户接收到的信号发送到控制器170或者将从控制器170接收到的信号发送给用户。
例如,用户输入接口150可以从遥控器200接收诸如电源接通/切断信号、频道选择信号、以及屏幕设置信号的各种用户输入信号;控制器170提供有从本地键接收到的用户输入信号,诸如电源键、频道键、音量键、以及设置值的输入;将从用于感测用户手势的传感器单元(未示出)接收到的用户输入信号发送到控制器170,或者将从控制器170接收到的信号发送到传感器单元。
控制器170可以将从调谐器单元110、解调器120、或者外部设备接口130接收到的流信号解复用成大量的信号,并且将被解复用的信号处理成音频和视频数据。
通过控制器170处理的视频信号在显示器180上可以被显示为图像。通过控制器170处理的视频信号通过外部设备接口130也可以被发送到外部输出设备。
可以将通过控制器170处理的音频信号输出到音频输出单元185。此外,可以将通过控制器170处理的音频信号通过外部设备接口130发送到外部输出设备。
虽然在图3中未示出,但是控制器170可以包括解复用器(DEMUX)和视频处理器,稍后将参考图4对其进行描述。
另外,控制器170可以提供对图像显示设备100的总体控制。例如,控制器170可以控制调谐器单元110以选择与用户所选择的频道或者预先存储的频道相对应的RF广播信号。
根据通过用户输入接口150接收到的用户命令或根据内部程序,控制器170可以控制图像显示设备100。
控制器170也可以控制显示器180以显示图像。显示在显示器180上的图像可以是二维(2D)或三维(3D)的静止图像或视频。
控制器170可以控制在显示器180上显示的图像中的特定对象以被呈现为3D对象。例如,特定对象可以是被链接的网页(例如,来自于报纸、杂志等)、电子节目指南(EPG)、菜单、窗口小部件(widget)、图标、静止图像、视频、或文本中的至少一个。
3D对象可以被处理使得具有不同于被显示在显示器180上的图像的深度感。优选地,与被显示在显示器180上的图像相比较,3D对象可以被处理以看起来突出。
控制器170可以基于通过相机单元155捕获的图像来定位用户。具体地,控制器170可以测量用户和图像显示设备100之间的距离(z轴坐标)。另外,控制器170可以计算与显示器180上的用户的位置相对应的x轴和y轴坐标。
图像显示设备100可以进一步包括频道浏览处理器(未示出),该频道浏览处理器用于生成与频道信号或外部输入信号相对应的缩略图图像。频道浏览处理器可以提取从解调器120接收到的流信号TS或者从外部设备接口130接收到的流信号中的每一个的一些视频帧,并且在显示器180上将所提取的视频帧显示为缩略图图像。在它们与被解码的图像一起编码之后,可以将缩略图图像输出到控制器170。控制器170可以在显示器180上显示包括多个接收到的缩略图图像的缩略图列表。
缩略图列表可以与被显示在显示器180上的图像一起显示在显示器180的一部分上。也就是,作为紧凑视图来显示,或者在显示器180上可以以全屏显示缩略图列表。可以依次更新缩略图列表的缩略图图像。
显示器180通过转换从控制器170接收到的已处理的视频信号、已处理的数据信号、在屏显示(OSD)信号以及控制信号,或从外部设备接口130接收到的视频信号、数据信号以及控制信号来生成驱动信号。
显示器180可以是诸如等离子体显示面板(PDP)、液晶显示器(LCD)、有机发光二极管(OLED)显示器、以及柔性显示器的各种类型的显示器。显示器180也能够显示3D图像。
如上所述,显示器180是根据本发明实施例的裸眼3D显示器。对于裸眼3D可视化,图像显示设备100包括以柱状透镜式的方案操作的透镜单元195。
电源190将电力供应给整个图像显示设备100使得操作图像显示设备100的每个模块或者单元。
显示器180可以被划分为2D图像区域和3D图像区域。在这样的情况下,电源190可以在控制器170的控制下将第一和第二不同的电源电压供应到透镜单元195。
透镜单元195根据被施加的电源电压来改变光的行进方向。
第一电源电压可以被施加到与显示器180的2D图像区域相对应的透镜单元195的第一区域。然后,透镜单元195可以在与从显示器180的2D图像区域发射的光相同的方向中发射光。因此,用户将得到的被显示的2D图像识别为3D图像。
在另一示例中,第二电源电压可以被施加到与显示器180的3D图像区域相对应的透镜单元195的第二区域,并且因此可以散射从显示器180的3D图像区域发射的光。由于所得到的3D效果,用户能够在不需要佩戴特殊眼镜的情况下将被显示的3D图像识别为立体图像。
透镜单元195可以与显示器180隔开地被布置在用户方向中。具体地,透镜单元195可以被定位为平行于显示器180或者相对于显示器180以特定角度倾斜。相对于显示器180,透镜单元195也可以是凸起的或者凹陷的。同时,透镜单元195可以采用片的形式。因此,根据本发明实施例的透镜单元195可以被称为透镜片。
显示器180也可以是不仅能够被用作输出装置而且能够被用作输入装置的触摸屏。
音频输出单元185可以从控制器170接收已处理的音频信号,并且将接收到的音频信号作为语音输出。
相机模块155捕获用户。相机模块155可以包括,但不限于单个相机。当需要时,相机模块155可以包括多个相机。相机模块155可以被嵌入在图像显示设备100中的显示器180上,或者可以被分离地配置。可以将相机模块155捕获的图像信息提供给控制器170。
控制器170可以从相机模块155接收到的捕获的图像或者从传感器单元(未示出)接收到的信号中单独地或组合地感测用户的手势。
遥控器200将用户输入发送到用户输入接口150。为了用户输入的发送,遥控器200可以基于诸如蓝牙、RF、IR、超带宽(UWB)、紫蜂等的各种通信标准来操作。另外,遥控器200可以从用户输入接口150接收视频信号、音频信号和/或数据信号,并且将所接收到的信号作为图像或声音输出。
上述图像显示设备100可以是固定的或者移动的数字广播接收器。
图像显示设备可以覆盖TV接收器、监视器、便携式电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、个人多媒体播放器(PMP)等。
在图3中图示的图像显示设备100的框图是本发明的示例性实施例。在图3中示出具有给出的配置的多个组件的图像显示设备100。然而,在可替选的实施例中,图像显示设备100可以包括比图3中示出的组件更少的组件或者更多的组件。此外,在可替选的实施例中,可以将图像显示设备100的两个或更多个组件组合成单一组件,或者其单一组件可以被分离成多于两个的组件。在此阐述的图像显示设备100的组件的功能被实际图示,并且可以被修改,例如,以满足给出应用的要求。
与图3中图示的配置不同,图像显示设备100可以被配置成在没有调谐器单元100和解调器120的情形下,通过网络接口130或外部设备接口135来接收和播放视频内容。
图像显示设备100是处理输入或者被存储的图像的图像信号处理设备的示例。在另一示例中,图像显示设备100可以被实现为不具有在图3中图示的显示器180和音频输出单元185的机顶盒、DVD播放器、蓝光播放器、游戏控制台、计算机等。
图4是在图3中图示的控制器的框图。
参考图4,控制器170可以包括根据本发明实施例的DEMUX310、视频处理器320、处理器330、OSD生成器340、混合器345、帧率转换器(FRC)350、以及格式器360。控制器170可以进一步包括音频处理器(未示出)和数据处理器(未示出)。
DEMUX310解复用输入流。例如,DEMUX310可以将MPEG-2TS解复用成视频信号、音频信号以及数据信号。可以从调谐器单元110、解调器120或外部设备接口135接收输入流信号。
视频处理器320可以处理被解复用的视频信号。对于视频信号处理,视频处理器320可以包括视频解码器325和定标器335。
视频解码器325解码被解复用的视频信号,并且定标器335对被解码的视频信号的分辨率进行定标,使得视频信号能够被显示在显示器180上。
视频解码器325可以被设置有依照各种标准操作的解码器。
通过视频处理器320处理的被解码的视频信号可以是2D视频信号、3D视频信号、或者这两者的组合。
例如,可以确定从外部设备接收到的外部视频信号或者被包括在从调谐器单元110接收到的广播信号中的视频信号是2D信号、3D信号、或者这两者的组合。因此,控制器170,具体地,视频处理器320处理视频信号并且输出2D视频信号、3D信号、或者这两者的组合。
来自视频处理器320的被解码的视频信号可以具有任何各种可用的格式。例如,被解码的视频信号可以是具有彩色图像和深度图像的3D视频信号或者包括多视点图像信号的3D视频信号。例如,多视点图像信号可以包括左眼图像信号和右眼图像信号。
对于3D可视化,在图4中图示的3D格式是可用的。3D格式是并排格式、上/下格式、帧连续格式、交错格式、以及方格图案框(checker box)格式。以并排格式并排地布置左眼图像L和右眼图像R。以上/下格式垂直地堆叠左眼图像L和右眼图像R,同时它们被以帧连续格式时间分割来布置。在交错格式中,左眼图像L和右眼图像一行接一行地交替。以方格图案框格式、基于框来混合左眼图像L和右眼图像R。
处理器330可以提供对图像显示设备100或者控制器170的整体控制。例如,处理器330可以控制调谐器单元110以调谐与用户选择的频道或者事先存储的频道相对应的RF广播。
处理器330也可以根据通过用户输入接口150接收到的用户命令或者内部程序来控制图像显示设备100。
处理器330可以控制通过网络接口135或者外部设备接口130的数据发送。
处理器330可以控制控制器170中的DEMUX310、图像处理器320以及OSD生成器340的操作。
OSD生成器340根据用户输入自发地生成OSD信号。例如,根据用户输入信号,OSD生成器340可以生成信号,通过该信号各种信息在显示器180上被显示为图形或者文本。OSD信号可以包括诸如用户接口(UI)、各种菜单、控件、图标等的各种数据。此外,OSD信号可以包括2D对象和/或3D对象。
此外,基于从遥控器200接收到的指示信号,OSD生成器340可以生成被显示在显示器上的指示器。特别地,从可以驻留在OSD生成器340中的指示信号处理器(未示出)可以生成指示器。显然地,可以单独地配置指示信号处理器。
混合器345可以将由视频处理器320处理的被解码的视频信号与从OSD生成器340生成的OSD信号混合。OSD信号和被解码的视频信号均可以包括2D信号或者3D信号中的至少一个。将混合的视频信号提供给FRC350。
FRC350可以改变被混合的视频信号的帧率或者在没有帧率转换的情况下简单地输出被混合的视频信号。
格式器360可以布置被帧率转换的3D图像的左眼和右眼视频帧。
格式器360可以从混合器345接收混合信号,即组合形式的OSD信号信号和解码的视频信号,并且可以将2D视频信号与3D视频信号分离。
在此,3D视频信号指的是包括诸如画中画(PIP)图像(静止图像或者视频)、描述广播节目的EPG、菜单、小部件、图标、文本、图像内的对象、人物、背景、或者网页(例如,来自于报纸、杂志等)的3D对象的信号。
格式器360可以改变3D视频信号的格式。例如,如果以上述3D格式中的一种来接收3D图像,则格式器360可以以多视点图像被重复这样的方式改变3D图像。因此,裸眼3D图像可以被显示。
同时,格式器360可以将2D视频信号转换为3D视频信号。例如,格式器360可以从2D视频信号检测边缘或者可选择的对象,并且基于检测到的边缘或者可选择的对象生成具有对象的3D视频信号。如前面所述的,3D视频信号可以是多视点图像信号。
为了处理信号以发挥3D效果,在格式器360之后可以进一步提供3D处理器(未示出)。为了增强3D效果,3D处理器可以调节视频信号的亮度、色调以及颜色。
控制器170的音频处理器(未示出)可以处理解复用的音频信号。为了音频信号处理,音频处理器可以具有多个解码器。
控制器170的音频处理器还可以调节音频信号的低音、高音以及音量。
控制器170的数据处理器(未示出)可以处理通过解复用输入流信号获得的数据信号。例如,如果解复用的数据信号是被编译的数据信号,则数据处理器可以解码被编译的数据信号。被编译的数据信号可以是包括广播信息的EPG,其指定调度的广播TV或者无线电节目的开始时间、结束时间等。
尽管在图4中示出混合器345混合从OSD生成器340和视频处理器320接收到的信号并且然后格式器360对被混合的信号执行3D处理,本发明不限于此,但是混合器345可以位于格式器360的后面。也就是,格式器360可以对视频处理器320的输出进行3D处理,OSD生成器340可以生成OSD信号并且使OSD信号执行3D处理,然后混合器345可以混合从格式器360和OSD生成器340接收到的被处理的3D信号。
在图4中图示的图像显示设备100的框图仅是示例性的。取决于实际实现中的图像显示设备100的规格,图像显示设备100的组件可以被组合或者省略或者可以添加新组件。即,根据需要,两个或者多个组件可以被合并在一个组件中,或者一个组件可以被配置成单独的组件。
特别地,在控制器170外部可以单独地配置FRC350和格式器360。
图5图示用于控制在图3中图示的遥控器的方法。
图5(a)图示表示显示在显示器180上的遥控器200的移动的指示器205。
用户可以上下、并排(图5(b))以及前后(图5(c))移动或者旋转遥控器200。因为指示器205在3D空间中根据遥控器200的移动而移动,所以遥控器200可以被称为指示设备。
参考图5(b),如果用户将遥控器200向左移动,则指示器205在显示器180上向左移动。
遥控器200的传感器检测遥控器200的移动并且将与检测的结果相对应的运动信息发送到图像显示设备。然后,图像显示设备可以基于从遥控器200接收到的移动信息来确定遥控器200的移动,并且基于确定的结果、根据遥控器200的移动来计算指示器205应当被移位到的目标点的坐标。然后,图像显示设备在所计算的坐标处显示指示器205。
参考图5(c),当按下遥控器200的预定按钮时,用户移动遥控器200远离显示器180。然后,与指示器205相对应的选择区域可以在显示器180上被放大并且扩大。相反地,如果用户朝着显示器180移动遥控器200,则与指示器205相对应的选择区域在显示器180上被缩小并且因此被收缩。相反的情况是可能的。即,当遥控器200远离显示器180移动时,选择区域可以被缩小,并且当遥控器200靠近显示器180时,选择区域可以被放大。
在遥控器200中按下的预定按钮的情况下,遥控器200的上、下、左以及右移动可以被忽略。即,当遥控器200远离或者靠近显示器180移动时,仅遥控器200的前后移动被感测,而遥控器200的上、下、左和右移动被忽略。除非在遥控器200中按下预定按钮,否则指示器205根据遥控器200的上、下、左或者右移动而移动。
指示器205的速度和方向可以对应于遥控器200的速度和方向。
图6是在图3中图示的遥控器的框图。
参考图6,遥控器200可以包括无线通信模块420、用户输入单元430、传感器单元440、输出单元450、电源460、存储器470、以及控制器480。
无线通信模块420可以将信号发送到图像显示设备100和/或从图像显示设备100接收信号。
在本发明的实施例中,无线通信模块420可以包括RF模块421,所述RF模块421用于根据RF通信标准将RF信号发送到图像显示设备100或者从图像显示设备100接收RF信号。无线通信模块420也可以包括IR模块423,所述IR模块423用于根据IR通信标准将IR信号发送到图像显示设备100或者从图像显示设备100接收IR信号。
在本发明的实施例中遥控器200通过RF模块421将关于遥控器200的移动的运动信息发送到图像显示设备100。
遥控器200也可以通过RF模块421从图像显示设备100接收信号。根据需要,遥控器400可以通过IR模块423将诸如电源接通/切断命令、频道切换命令或者音量改变命令的命令发送到图像显示设备100。
用户输入单元430可以包括键盘、多个按钮、触摸板、或触摸屏。用户可以通过操纵用户输入单元430将命令键入到图像显示设备100。如果用户输入单元430包括多个硬键按钮,则用户可以通过按下硬键按钮将各种命令输入到图像显示设备100。可替选地或者另外,如果用户输入单元430包括显示多个软键的触摸屏,则用户可以通过触摸软键将各种命令输入到图像显示设备100。用户输入单元430还可以包括除了在此阐述的之外的各种输入工具,诸如滚动键和/或转向键(jog key),这些不应被解释为限制本发明。
传感器单元440可以包括陀螺仪传感器441和/或加速度传感器443。陀螺仪传感器441可以感测遥控器200的移动。
例如,陀螺仪传感器441可以感测关于遥控器200在X轴、Y轴以及Z轴方向上的运动信息。加速度传感器443可以感测遥控器200的移动速度。传感器单元440可以进一步包括用于感测遥控器200和显示器180之间的距离的距离传感器。
输出单元450可以输出与用户输入单元430的操纵相对应的视频和/或音频信号或者与由图像显示设备100发送的信号。基于从输出单元450输出的视频和/或音频信号,用户可以容易地识别是否已经操纵用户输入单元435或者是否已经控制图像显示设备100。
输出单元450可以包括发光二极管(LED)模块451,该发光二极管(LED)模块451在每当操纵用户输入单元835或者每当通过无线通信模块420从图像显示设备100接收信号或者将信号发送到图像显示设备100时接通或者断开;振动模块453,该振动模块453产生振动;音频输出模块455,该音频输出模块455输出音频数据;以及显示模块457,该显示模块457输出图像。
电源460将电力提供给遥控器200。例如,如果遥控器200保持固定预定时间或者更长,则电源460可以例如减少或者切断到遥控器200的供电,以便节省电力。如果操纵遥控器200上的特定键,则电源460可以恢复供电。
存储器470可以存储用于控制或者操作遥控器200的各种应用数据。遥控器200可以通过RF模块421在预定频带中将信号无线地发送到图像显示设备100或者从图像显示设备100接收信号。遥控器200的控制器480可以将关于遥控器200所使用的频带的信息存储在存储器470中以将信号无线地发送到成对的图像显示设备100和/或从成对的图像显示设备100无线地接收信号,并且可以然后在以后的时间使用时参考此信息。
控制器480提供对遥控器200的整体控制。例如,控制器480可以通过无线通信模块420将与从用户输入单元430检测到的键操纵相对应的信号或者与由传感器单元440感测的遥控器200的运动相对应的信号发送到图像显示设备100。
图像显示设备100的用户输入接口150可以包括无线通信模块411,无线通信模块411用于无线地将信号发送到遥控器200或从遥控器200接收信号;以及坐标计算器415,该坐标计算器415用于计算与遥控器200的移动相对应的指示器的坐标。
用户输入接口150可以通过RF模块412无线地将信号发送到遥控器200或者从遥控器200接收信号。另外,用户输入接口150可以遵循IR通信标准通过IR模块413从遥控器200接收信号。
坐标计算器415可以从与通过无线通信模块411接收到的遥控器200的移动相对应的信号,通过修正手颤动或错误,来计算要在显示器170上显示的指示器205的目标(x,y)坐标。
通过用户输入接口150从遥控器200接收到的信号被提供给图像显示设备100的控制器170。控制器170可以识别与遥控器200的操作或在遥控器200中的键操纵有关的信息,并且因此控制图像显示设备100。
在另一示例中,遥控器200可以计算与其移动相对应的指示器的坐标,并且将被计算的坐标输出至图像显示设备100的用户输入接口150。在这样的情况下,图像显示设备100的用户输入接口150可以在不修正手颤动或错误的情况下将关于接收到的指示器的坐标的信息发送到控制器170。
不同于图6的配置,坐标计算器415可以被包括在控制器170中,而不被包括在用户输入接口150中。
图7图示通过组合左眼图像和右眼图像的3D图像的形成,并且图8图示根据左眼图像和右眼图像之间的不同差别的不同深度幻觉。
参考图7,存在多个图像或者对象515、525、535以及545。
利用第一左眼图像511和右眼图像513之间的差别d1,通过组合基于第一左眼图像信号的第一左眼图像511(L1)和基于第一右眼图像信号的第一右眼图像513(R1)来创建第一对象515。用户看到如在将左眼501连接到第一左眼图像511的线与将右眼503连接到第一右眼图像513的线之间的交叉点处形成的图像。因此,用户被诱使为感知如位于显示器180后面的第一对象515。
因为通过在显示器180上将第二左眼图像521(L2)与第二右眼图像523(R2)重叠来创建第二对象525,所以第二左眼图像521和右眼图像523之间的差别是0。因此,用户感知如在显示器180上的第二对象525。
利用第三左眼图像531和右眼图像533之间的差别d3,通过组合第三左眼图像531(L3)和第三右眼图像533(R3)来创建第三对象535。利用第四左眼图像541和右眼图像543之间的差别d4,通过组合第四左眼图像541(L4)和第四右眼图像543(R4)来创建第四对象545。
在图像形成位置处,即,如位于显示器180前面用户感知第三对象535和第四对象545。
因为第四左眼图像541和右眼图像543之间的差别d4大于第三左眼图像531和右眼图像533之间的差别d3,所以第四对象545看来比第三对象535更加突出。
在本发明的实施例中,将显示器180和对象515、525、535以及545之间的距离表示为深度。当用户感知对象位于显示器180的后面时,对象的深度是负号。另一方面,当用户感知对象位于显示器180的前面时,对象的深度是正号。因此,当对象对于用户看起来突出,则其是较深的,即,其深度较大。
参考图8,图8(a)中的左眼图像601和右眼图像620之间的差别小于图8(b)中的左眼图像601和右眼图像620之间的差别b。因此,在图8(a)中创建的3D对象的深度a’小于在图8(b)中创建的3D对象的深度b’。
在左眼图像和右眼图像被组合为3D图像的情况下,如果通过不同的差别将3D图像的左眼图像和右眼图像相互分开,则用户感知3D图像被形成在不同的位置处。这意味着通过调整左眼图像和右眼图像的差别可以控制被组合地形成有左眼图像和右眼图像的3D对象或者3D图像的深度。
图9是被引用以描述裸眼3D图像显示设备的原理的视图。
如前面所述,裸眼3D图像显示设备以柱状透镜式的方案、视差方案、或者微透镜阵列方案来操作。下面将会详细地描述柱状透镜式的方案和视差方案。虽然在两个视点图像,即,左眼图像和右眼图像的上下文中给出下面的描述,但是这不应被解释为限制本发明。
图9(a)图示使用柱状透镜式的透镜的柱状透镜式的方案。参考图9(a),左眼图像的块720(L)和右眼图像的块710(R)可以被交替地布置在显示器180上。每个块可以包括一个或者多个像素。在下文中,假定每个块包括单个像素。
在柱状透镜式的方案中,透镜单元195包括柱状透镜式的透镜195a。被定位在显示器180的前面的柱状透镜式的透镜195a可以改变从像素710和720发射的光的行进方向。例如,柱状透镜式的透镜195a可以朝着观众的左眼702引导从左眼图像的像素720(L)发射的光,而柱状透镜式的透镜195a可以朝着观众的右眼701引导从右眼图像的像素721(R)发射的光。
当从左眼图像的像素720(L)发射的光被组合在左眼702时,观众利用左眼702看到左眼图像。另外,当从右眼图像的像素710(R)发射的光被组合在右眼701时,观众利用右眼701看到右眼图像。因此,在没有佩戴特殊眼镜的情况下诱使观众感知3D图像。
图9(b)图示使用狭缝阵列的视差方案。参考图9(b),在显示器180上左眼图像的像素720(L)可以与右眼图像的像素710(R)交替,如在图9(a)中所图示的。在视差方案中,狭缝阵列195b被布置在透镜单元195中。因为狭缝阵列195b用作屏障,所以其使从像素发射的光在预定方向中行进。因此,观众利用左眼702看到左眼图像并且利用右眼701看到右眼图像,如在柱状透镜式的方案中一样。因此,在没有佩戴特殊眼镜的情况下诱使观众感知3D图像。
图10至图14是被引用以描述显示多视点图像的图像显示设备的原理的视图。
参考图10,图像显示设备100具有三个视点区域821、822以及823。形成被显示在相应的三个视点区域821、822以及823中的三个视点图像的像素的一部分可以被重新布置在显示器180上。像素重新布置没有涉及改变像素的物理位置。而是,像素重新布置意指改变被显示在显示器180上的像素的值。
三个视点图像可以是从不同的方向捕获的对象910的图像,如在图11中所图示的。
被显示在显示器180上的第一像素811可以包括第一子像素801、第二子像素802、以及第三子像素803。第一子像素801、第二子像素802、以及第三子像素803中的每一个可以是表现红、绿、或者蓝色的子像素。
虽然在图10中以特定的图案重新布置三个视点图像的像素,本发明不限于此,但是各种图案可用于取决于透镜单元915的像素重新布置。
被标有数字1的子像素801、802以及803可以形成第一视点图像,被标有数字2的子像素可以形成第二视点图像,并且被标有数字3的子像素可以形成第三视点图像。
因此,被标有数字1的子像素可以被合并在第一视点区域821中的第一视点图像中,被标有数字2的子像素可以被合并在第二视点区域822中的第二视点图像中,并且被标有数字3的子像素可以被合并在第三视点区域823中的第三视点图像中。
参考图11,第一视点图像901、第二视点图像902、以及第三视点图像903是根据不同的视点方向显示的图像。具体地,第一视点图像901可以是从第一视点方向捕获的对象910的图像,第二视点图像902可以是从第二视点方向捕获的对象910的图像,以及第三视点图像903可以是从第三视点方向捕获的对象910的图像。
参考图12(a),在观众的左眼922和右眼921分别被定位在第三视点区域823和第二视点区域822的情况下,观众利用观众的左眼922看到第三视点图像903并且利用观众的右眼921看到第二视点图像902。因此,基于参考图7在前面描述的原理,观众在没有佩戴特殊眼镜的情况下感知如被定位在显示器180前面的对象910,如在图12(b)中所图示的。在观众的左眼922和右眼921分别被定位在第二视点区域822和第一视点区域821的情况下,观众也能够将对象910感知为3D图像。
如果多视点图像的像素仅被重新布置在如在图10中所图示的水平方向中,则相对于2D图像的分辨率,所得到的3D图像的水平分辨率被减少到1/n(n是多视点图像的数目)。例如,3D图像的水平分辨率被减少到图10中的2D图像的分辨率的三分之一。另一方面,3D图像的垂直分辨率等于在重新布置之前的多视点图像901、902以及903的垂直分辨率。
如果存在多个每方向视点图像(稍后将会参考图14描述用于不得不增加视点图像的数目的理由),则相对于垂直分辨率,仅水平分辨率被减少。所得到的严重的分辨率不平衡可能带来3D图像的整体质量降低。
为了避免此问题,透镜单元915可以被设置在显示器180的前面,相对于显示器180的垂直轴185、以特定角度α倾斜,并且根据透镜单元195的倾斜角可以以各种图案重新布置多视点图像的子像素,如在图13中所图示的。图13图示根据本发明实施例的具有25个每方向多视点图像的图像显示设备。透镜单元915可以是柱状透镜式的透镜或者狭缝阵列。
参考图13,当透镜单元195被倾斜定位时,六个视点图像的红色子像素可以水平地和垂直地出现每五个像素。然后所得到的3D图像的水平分辨率和垂直分辨率可以被减少到在重新布置之前的每方向多视点图像的五分之一。与仅水平方向被减少到1/25的传统方案相比较,此方案克服分辨率不平衡。
图14是被引用以描述被形成在图像显示设备的前面的甜蜜区(sweet zone)和死区(dead zone)的视图。
不管不需要对佩戴特殊眼镜以观看3D图像的优点,使用图像显示设备100的上述3D图像观看方案限制对特定区域的3D效果。观众能够在特定的区域中观看最佳图像。通过最佳视距(OVD)、D以及甜蜜区1020可以限定此区域。VOD、D可以通过左眼和右眼之间的差别、透镜单元的间距、以及透镜的焦点距离来确定。甜蜜区1020是多视点图像被顺序地布置的区域,从而给予观众稳定的3D效果。参考图14,当观众被定位在如通过参考字符(a)指示的甜蜜区1020中时,观众利用右眼1001看到第12至第14视点图像并且利用左眼1002看到第17至第19视点图像,并且因此每方向多视点图像可以被顺序地感知到左眼1002和右眼1003。因此,观众可以通过左眼图像和右眼图像感到立体感,如参考图12在前面所描述的。
相反地,如果观众被定位在如通过参考字符(b)指示的甜蜜区1020外的死区1015中,例如,如果观众利用左眼1003看到第一至第三视点图像并且利用右眼1004看到第23至第25视点图像,则每方向多视点图像没有被顺序地感知到左眼1003和右眼1004。在这样的情况下,左眼图像和右眼图像可能被颠倒,没有给予观众立体感。此外,当第一至第25视点图像被一起感知到左眼1003或者右眼1004时,观众可能感到眩晕。
因此,图像显示设备100应追踪观众的位置并且显示多视点图像,使得观众被定位在甜蜜区1020中。为了给观众提供稳定的3D图像,存在对于用于快速跟踪观众的精确位置的方法的需要。
在上下文中,本发明的实施例提供一种能够快速追踪观众的精确位置的图像显示设备。下面将会详细描述该图像显示设备。
图15是图示用于操作根据本发明实施例的图像显示设备的方法的流程图,以及图16至图27是被引用以描述用于操作在图15中图示的图像显示设备的方法的视图。
根据本发明,图像显示设备能够使用背景图像和包括观众图像的图像之间的差分图像通过最小化观众搜索区域有效率地追踪观众的位置。
参考图16,图像显示设备100进入背景图像设置模式。例如,在执行背景图像菜单时,背景图像注册模式设置菜单1210、观看注册背景图像菜单1220、以及更新背景图像菜单1230被显示。
背景图像注册模式可以被设置为自动模式或者手动模式。如果背景图像注册模式被设置为手动模式,则观众可以捕获并且存储背景图像。
另一方面,如果背景图像注册模式被设置为自动模式,则控制器170确定接收到的第一捕获图像包括观众图像。在第一捕获图像中不存在观众图像时,图像显示设备100存储第一捕获图像作为背景图像(S1110)。
如果通过控制器170接收到的第一捕获图像1250不包括观众的图像或者像观众的对象,或者如果在当前捕获的图像1250和如在图17中所图示的先前捕获的图像之间的比较中没有移动被包括在第一捕获图像1250中的对象图像,则第一捕获图像不包括观众图像。
例如,被包括在第一捕获图像1250中的家具(空调和沙发)的图像没有被视为观众图像。关于相框中的个人图像,个人图像没有被视为观众图像,因为人类面部可能被感测但是人类面部的移动没有被感测。因此,第一捕获图像1250可以作为背景图像存储。
对象图像可以被预先存储以被识别为背景图像。例如,如果预先存储明确不是观众图像而是容易被视为观众图像的对象图像,则控制器170可以快速提取背景图像并且因此减少错误的观众图像的检测。
控制器170可以直接地存储背景图像。可替选地或者另外,控制器170可以显示请求观众是否存储第一捕获图像1250作为背景图像,以便于根据观众的选择输入来存储背景图像的消息1270,如在图18中所图示的。
如果背景图像被预先存储,则基于背景图像和被捕获的图像之间的差分图像可以有效率地检测观众图像,稍后将会加以描述。
同时,如果图像显示设备100由于图像显示设备100的重新布置或家庭变换布置而被移向另一位置,则背景图像被改变,并且因此有必要更新背景图像。
可以定期地或者在背景图像更新输入的接收时执行背景图像更新。
例如,如果感测到图像显示设备100的移动、图像显示设备100的因特网协议(IP)地址的改变、或者关于图像显示设备100的电力位置信息的改变中的至少一个,则背景图像可以被更新。
如果图像显示设备100被提供有陀螺仪传感器或者加速传感器,并且因此关于图像显示设备100的运动信息和图像显示设备100的移动被感测,则背景图像可以被更新。
在图像显示设备100已经被移动的情况下,在被改变的位置处的图像显示设备100和网络之间的连接或者在被改变的位置处使用被改变的电源电压的图像显示设备100的接通会导致图像显示设备100的电源位置信息或者IP地址的改变。当感测到IP地址或者电源位置信息的改变时,背景图像可以被更新。
被注册的背景图像可以被部分地更新。例如,图像显示设备100可以将现有的被注册的背景图像与当前接收到的背景图像进行比较并且仅更新现有的背景图像的不同区域。
如果背景图像更新被设置为手动模式,则图像显示设备100可以接收选择图16的更新背景图像菜单1230的输入,然后将被注册的背景图像更新为新的背景图像。
如前面所述,也可以在手动模式的情况下选择和更新仅现有的背景图像的一部分。
例如,如果家具布置被部分改变(例如,空调被替换为风扇),则空调图像1253可以被删除或者替换为图17中的背景图像1250中的风扇的图像。
在接收到选择要在背景图像1250中更新的区域的输入时,区域中的图像可以被删除或者被替换为新的图像。
参考图19,例如,为了更新背景图像,可以使用遥控器200选择包括空调图像1253的区域1325,然后可以将新的风扇图像1326包括在所选择的区域1325中。可以选择不同的大小或者形状的区域。
当注册或者更新如上所述的背景图像时,可以通过选择图16的观看注册背景图像菜单1220来观看当前注册的背景图像。
同时,在接收到包括观众图像的第二捕获图像(S1120)时,控制器170获取背景图像和第二捕获图像之间的差分图像并且基于差分图像来计算观众的位置(S1130)。
参考图21,例如,控制器170可以通过将包括图20中的观众图像1335的第二捕获图像1310与图17中的被注册的背景图像1250进行比较来获得差分图像1320。可以基于被视为观众图像的区域1340来获取差分图像1320。因此,与全区域搜索相比较,当基于显示差分图像1320的区域1340通过最小化搜索区域来搜寻观众时,能够快速追踪观众的面部或者眼睛的精确位置。
同时,图像显示设备100能够提供观众候选图像注册功能以使得能够快速追踪本发明的实施例中的观众的精确位置。
如果有限数目的观众观看如在家庭中的图像显示设备100,则通过观众候选图像注册能够容易地标识观众。
参考图22,当观众注册有关菜单1410被显示在显示器180上并且用于选择菜单1410的输入被接收时,图像显示设备100可以进入观众图像注册模式。在接收与观众图像注册有关的热键时,图像显示设备100也可以进入观众图像注册模式。如果与观众图像注册有关的应用被安装在图像显示设备100中,则图像显示设备100可以通过执行该应用进入观众图像注册模式。
参考图23,在观众图像注册模式中,通过相机模块155捕获的图像1420被显示在显示器180上并且被捕获的图像1420可以包括一个或者多个观众图像1431、1432以及1433。在选择第一观众图像1431时,第一观众图像1431被注册为观众候选图像并且指示第一观众已经被注册为候选观众的对象1540被显示在显示器180上。
提示用户注册另一观众候选图像的消息1455被显示在显示器180上。通过选择第二观众图像1432的输入1457,第二观众图像1432可以被注册为另一观众候选图像。当为了注册而选择所有预期的观众图像并且接收到选择指示完成选择的对象1460的输入时,观众候选图像注册可以结束。
在感测图像显示设备100的移动、图像显示设备100的IP地址、区域代码、广播方案、或者电源位置信息的改变、或者图像显示设备100的电源重新连接中的至少一个时,图像显示设备100可以显示请求更新注册的观众图像的消息。
一旦注册如上所述的观众候选图像,控制器170可以基于被注册为观众候选图像的观众图像追踪观众以计算观众的位置。
例如,当模板匹配被采用以检测观众的面部(即,模板与被捕获的图像进行比较并且在它们之间以最类似的部分中确定位置),被注册为观众候选图像的观众图像的使用而不是具有普通的面部形状的模板的使用可以使得能够在时间和经济方面有效率地计算观众的面部并且增加被计算的观众的位置的精确度。
如果难以被识别的面部被注册为观众候选图像,则能够容易地识别面部,从而增加识别率。
当还没有被注册为观众候选图像的观众图像被识别时,控制器170可以显示询问是否将未注册的观众图像注册为观众候选图像的消息1510,如在图24中所图示的。
如果未注册的观众临时观看图像显示设备100,则未注册的观众可以被注册为临时观众候选。
例如,如果未注册的观众是将会临时逗留的客人,则未注册的观众的图像仅可以被注册为观众候选图像直到图像显示设备100被关机。在图像显示设备100的关机时,可以将未注册的观众的图像作为观众候选图像删除。
如果观众的图像和被注册为观众候选图像的观众图像之间的匹配度低或者观众想要继续地观看图像显示设备100,则观众图像可以被注册为观众候选图像。
通过上述观众候选图像注册功能,能够快速地追踪观众的精确位置。
另外,根据本发明的实施例,图像显示设备100能够提供观众搜索区域设置功能以快速地并且精确地识别观众的位置。
在选择图22中的搜索区域设置菜单时,搜索区域可以被设置以计算观众的位置。例如,当选择搜索区域设置菜单时,图像显示设备100进入搜索区域设置模式并且在显示器180上显示捕获观众的图像1610,如在图25中所图示的。
可以进一步显示允许观众的数目的输入的对象1620和允许选择背景图像功能的对象1630。可以根据观众的数目来设置搜索区域的数目。
例如,如果2作为观众的数目被输入,则为设置搜索区域显示两个闭合的曲线。通过移位或者拖动闭合的曲线也可以设置搜索区域的位置、形状、或者大小。
当观众搜索区域被设置时,图像显示设备100基于观众搜索区域计算观众的位置。例如,可以通过对被捕获的图像的整个区域中的搜索区域首先执行模板匹配来追踪观众的面部或者眼睛。
因此,替代整个区域的模板匹配,被设置的搜索区域的模板匹配增加定位观众的速度。因此,模板匹配变得有效率并且能够增加计算观众的位置的精确度。
另外,可以基于先前计算的观众位置来搜寻观众。例如,当在观众搜索期间观众消失时,能够基于关于先前计算的观众位置计算观众的位置。
如果观众转身或者转回来与另一观众交谈同时观看图像显示设备100,则观众可以存在于相同的位置处但是观众的面部可能没有被识别。在这样的情况下,观众在一定时间后恢复观看图像显示设备100,并且因此很有可能在相同的位置处识别观众的面部。
因此,当观众消失同时搜索到观众时,可以基于关于先前计算的观众的位置的信息通过设置集中于先前的观众的位置的搜索区域来追踪观众。因此,观众能够被快速地定位。
同时,当在预定时间内在先前计算的位置周围设置的搜索区域中没有检测到观众时,可以为观众搜索整个区域。
如果先前计算的观众的位置是在与被捕获的图像1710的边缘相对应的图像显示设备100的观看区域的边缘处,则观众很有可能从图像显示设备100的观看区域消失,然后返回到相同的位置。因此,当观众的图像从被捕获的图像的边缘消失时,可以通过将时间设置比当观众从被捕获的图像的中心区域消失的情况长来搜寻观众。
可以根据搜索到的观众的图像的大小来确定搜索区域,并且观众可以使用遥控器200手动地设置搜索方向。
同时,图像显示设备100可以通过显示通知还没有检测到观众图像的消息、指示再次搜寻观众图像的图像、指示根据观众的位置显示多视点图像的消息等给观众提供功能执行相关的信息。
或者,可以基于先前计算的观众的深度信息来设置搜索区域。例如,在追踪观众期间首先在先前计算的深度处搜寻观众。如果在先前计算的深度处没有检测到观众,则跨越从先前计算的深度到总深度的范围的深度来执行观众搜索。因此,能够快速地和精确地追踪观众。
如上所述的关于本发明的实施例,因为图像显示设备100具有背景图像注册功能、观众候选图像注册功能、以及搜索区域设置功能,所以其能够精确地和快速地计算观众的位置。图像显示设备也能够以观众的位置是处于如在图27中所图示的甜蜜区1820内这样的方式显示多视点图像。结果,每方向视点图像被依次地感知到观众的左眼1804和右眼1803,从而给予观众稳定的立体感。
根据本发明的实施例,因为图像显示设备具有背景图像注册功能、观众候选图像注册功能、以及搜索区域设置功能,所以其能够精确地和快速地计算观众的位置。图像显示设备也能够以观众的位置是处于甜蜜区内这样的方式显示多视点图像。结果,给予观众稳定的立体感,增加用户便利。
根据前述示例性实施例的图像显示设备和用于操作该图像显示设备的方法不限于在此阐述的示例性实施例。因此,在此阐述的示例性实施例中的变化和组合可以落入在本发明的范围内。
用于操作根据前述实施例的图像显示设备的方法可以被实现为能够被写在计算机可读记录介质上,并且因此能够由处理器读取的代码。计算机可读记录介质可以是其中能够以计算机可读方式存储数据的任何类型的记录装置。计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储器、以及载波(例如,通过因特网的数据传输)。能够将计算机可读记录介质分布在连接到网络的多个计算机系统上,使得计算机可读代码被写入其中并且以分散的方式从中执行。本领域的普通技术人员能够解释用于实现在此的实施例的程序、代码、以及代码段。
虽然参考本发明的示例性实施例已经特别地示出并且描述了本发明,但是本领域的普通技术人员将理解的是,在没有脱离如由随附的权利要求定义的本发明的范围和精神的情况下,可以在其中进行形式上和细节上的各种改变。
Claims (20)
1.一种用于操作图像显示设备的方法,所述图像显示设备显示多视点图像,所述方法包括:
存储第一捕获图像作为背景图像,所述第一捕获图像不包括是观众的图像的观众图像;
基于所述背景图像和包括所述观众图像的第二捕获图像之间的差分图像来计算所述观众的位置;以及
基于所述观众的位置来改变多视点图像以及显示改变的多视点图像。
2.根据权利要求1所述的方法,进一步包括:在接收到背景图像更新输入时,更新所述背景图像,
其中,所述背景图像更新输入是所述图像显示设备的移动、关于所述图像显示设备的电源位置信息的改变、所述图像显示设备的因特网协议(IP)地址的改变、或者来自于用户的选择输入中的至少一个。
3.根据权利要求2所述的方法,其中,所述背景图像的更新包括:更新所述背景图像的一部分。
4.根据权利要求1所述的方法,进一步包括:存储被识别为所述背景图像的对象图像。
5.根据权利要求1所述的方法,进一步包括注册观众候选图像,其中所述观众的位置的计算包括基于注册的观众候选图像来计算所述观众的位置。
6.根据权利要求5所述的方法,进一步包括:如果所述第二捕获图像包括未注册的观众图像,则显示询问是否注册所述未注册的观众图像作为所述观众候选图像的消息。
7.根据权利要求1所述的方法,进一步包括设置观众搜索区域,
其中所述观众的位置的计算包括基于设置的观众搜索区域来计算所述观众的位置。
8.根据权利要求7所述的方法,其中,所述观众搜索区域能够按照大小、位置、形状、或者数目中的至少一个被设置。
9.根据权利要求1所述的方法,进一步包括:如果没有检测到所述观众的位置,则基于关于上次计算的观众的位置的信息来计算所述观众的位置。
10.一种图像显示设备,包括:
显示器,所述显示器用于显示多视点图像;
相机模块,所述相机模块用于获取第一捕获图像以及第二捕获图像,所述第一捕获图像不包括是观众的图像的观众图像,所述第二捕获图像包括所述观众图像;以及
控制器,所述控制器用于基于使用所述背景图像和所述第二捕获图像之间的差分图像所计算的观众的位置来改变所述多视点图像,以及显示改变的多视点图像。
11.根据权利要求10所述的图像显示设备,其中,在接收到背景图像更新输入时,所述控制器更新所述背景图像,以及所述背景图像更新输入是所述图像显示设备的移动、关于所述图像显示设备的电源位置信息的改变、所述图像显示设备的因特网协议(IP)地址的改变、或者来自于用户的选择输入中的至少一个。
12.根据权利要求11所述的图像显示设备,其中,所述控制器更新所述背景图像的一部分。
13.根据权利要求10所述的图像显示设备,进一步包括存储器,所述存储器用于预先存储被识别为所述背景图像的对象图像。
14.根据权利要求10所述的图像显示设备,所述控制器基于注册的观众候选图像来计算所述观众的位置。
15.根据权利要求14所述的图像显示设备,其中,如果所述第二捕获图像包括未注册的观众图像,则所述控制器控制以显示询问是否注册所述未注册的观众图像作为所述观众候选图像的消息。
16.根据权利要求10所述的图像显示设备,其中,所述控制器控制以通过用户输入设置观众搜索区域以及基于设置的观众搜索区域来计算所述观众的位置。
17.根据权利要求16所述的图像显示设备,其中,所述观众搜索区域能够按照大小、位置、形状、或者数目中的至少一个被设置。
18.根据权利要求10所述的图像显示设备,其中,如果没有检测到所述观众的位置,则基于关于上次计算的观众的位置的信息来计算所述观众的位置。
19.根据权利要求10所述的图像显示设备,进一步包括:透镜单元,所述透镜单元被设置在所述显示器的前面,用于根据方向来分离所述多视点图像。
20.根据权利要求19所述的图像显示设备,其中,所述透镜单元包括柱状透镜式的透镜,以及所述柱状透镜式的透镜相对于所述显示器以预定角度倾斜。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020120061627A KR20130137927A (ko) | 2012-06-08 | 2012-06-08 | 영상표시장치 및 그 동작방법 |
KR10-2012-0061627 | 2012-06-08 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103491413A true CN103491413A (zh) | 2014-01-01 |
Family
ID=47998128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310109082.9A Pending CN103491413A (zh) | 2012-06-08 | 2013-03-29 | 图像显示设备和用于操作图像显示设备的方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20130328864A1 (zh) |
EP (1) | EP2672716A2 (zh) |
KR (1) | KR20130137927A (zh) |
CN (1) | CN103491413A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108696742A (zh) * | 2017-03-07 | 2018-10-23 | 深圳超多维科技有限公司 | 显示方法、装置、设备及计算机可读存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI549476B (zh) * | 2013-12-20 | 2016-09-11 | 友達光電股份有限公司 | 顯示系統及調整可視範圍的方法 |
KR102351542B1 (ko) * | 2017-06-23 | 2022-01-17 | 삼성전자주식회사 | 시차 보상 기능을 갖는 애플리케이션 프로세서, 및 이를 구비하는 디지털 촬영 장치 |
CA3120350A1 (en) * | 2018-12-27 | 2020-07-02 | Leia Inc. | Multiview display, system, and method having dynamic color sub-pixels remapping |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11296674A (ja) * | 1998-03-16 | 1999-10-29 | Hewlett Packard Co <Hp> | 人物識別管理システム |
JP2002049920A (ja) * | 2000-06-01 | 2002-02-15 | Univ Of Washington | 画像オブジェクトの所望の輪郭を推定するための方法および装置 |
US20040223218A1 (en) * | 1999-12-08 | 2004-11-11 | Neurok Llc | Visualization of three dimensional images and multi aspect imaging |
US20060012675A1 (en) * | 2004-05-10 | 2006-01-19 | University Of Southern California | Three dimensional interaction with autostereoscopic displays |
JP2009117956A (ja) * | 2007-11-02 | 2009-05-28 | Hitachi Kokusai Electric Inc | 映像処理装置 |
JP2012010086A (ja) * | 2010-06-24 | 2012-01-12 | Sony Corp | 立体表示装置及び立体表示装置の制御方法 |
CN102438165A (zh) * | 2010-08-16 | 2012-05-02 | Lg电子株式会社 | 显示三维图像的设备和方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7689062B2 (en) * | 2006-07-16 | 2010-03-30 | Seambi Ltd. | System and method for virtual content placement |
-
2012
- 2012-06-08 KR KR1020120061627A patent/KR20130137927A/ko not_active Application Discontinuation
-
2013
- 2013-03-13 US US13/799,213 patent/US20130328864A1/en not_active Abandoned
- 2013-03-18 EP EP13001375.8A patent/EP2672716A2/en not_active Withdrawn
- 2013-03-29 CN CN201310109082.9A patent/CN103491413A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11296674A (ja) * | 1998-03-16 | 1999-10-29 | Hewlett Packard Co <Hp> | 人物識別管理システム |
US20040223218A1 (en) * | 1999-12-08 | 2004-11-11 | Neurok Llc | Visualization of three dimensional images and multi aspect imaging |
JP2002049920A (ja) * | 2000-06-01 | 2002-02-15 | Univ Of Washington | 画像オブジェクトの所望の輪郭を推定するための方法および装置 |
US20060012675A1 (en) * | 2004-05-10 | 2006-01-19 | University Of Southern California | Three dimensional interaction with autostereoscopic displays |
JP2009117956A (ja) * | 2007-11-02 | 2009-05-28 | Hitachi Kokusai Electric Inc | 映像処理装置 |
JP2012010086A (ja) * | 2010-06-24 | 2012-01-12 | Sony Corp | 立体表示装置及び立体表示装置の制御方法 |
CN102438165A (zh) * | 2010-08-16 | 2012-05-02 | Lg电子株式会社 | 显示三维图像的设备和方法 |
Non-Patent Citations (1)
Title |
---|
SCOTT STILLMAN, RAWESAK TANAWONGSUMWAN, IRFAN ESSA: "A System For Tracking and Recognizing Multiple People with Multiple Cameras", 《GEORGIA INSTITUTE OF TECHNOLOGY》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108696742A (zh) * | 2017-03-07 | 2018-10-23 | 深圳超多维科技有限公司 | 显示方法、装置、设备及计算机可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20130137927A (ko) | 2013-12-18 |
US20130328864A1 (en) | 2013-12-12 |
EP2672716A2 (en) | 2013-12-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103369335B (zh) | 图像显示设备及其操作方法 | |
CN102883204B (zh) | 图像显示设备和操作该图像显示设备的方法 | |
CN102668587B (zh) | 播放内容的方法 | |
CN102223555B (zh) | 图像显示装置及其控制方法 | |
CN102984567B (zh) | 图像显示设备、遥控器及其操作方法 | |
CN102598677A (zh) | 图像显示设备及其图像显示方法 | |
CN102598678B (zh) | 图像显示设备及其操作方法 | |
CN102056002A (zh) | 图像显示装置及其控制方法 | |
CN103024410B (zh) | 图像显示设备及其操作方法 | |
US20150237402A1 (en) | Image display apparatus, server and method for operating the same | |
CN102550031A (zh) | 图像显示装置及其操作方法 | |
US20140132726A1 (en) | Image display apparatus and method for operating the same | |
CN104581125A (zh) | 裸眼立体图像显示装置及其操作方法 | |
CN103491413A (zh) | 图像显示设备和用于操作图像显示设备的方法 | |
US9047797B2 (en) | Image display apparatus and method for operating the same | |
CN103024424B (zh) | 图像显示装置及其操作方法 | |
CN104661063B (zh) | 图像显示装置及其操作方法 | |
CN102984480A (zh) | 图像显示装置和操作该图像显示装置的方法 | |
KR101699740B1 (ko) | 2d/3d 변환 가능한 영상표시장치와 그 동작제어방법 | |
US20120268460A1 (en) | Image display apparatus and method for operating the same | |
KR20110072986A (ko) | 영상표시장치 및 그 제어방법 | |
US20160062479A1 (en) | Image display apparatus and method for operating the same | |
KR20130120255A (ko) | 영상표시장치 및 그 동작방법 | |
KR101825669B1 (ko) | 영상표시장치 및 그 동작방법 | |
KR20130068964A (ko) | 영상표시장치의 동작 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140101 |
|
WD01 | Invention patent application deemed withdrawn after publication |