CN102300109B - 输出音频信号的显示装置和方法 - Google Patents

输出音频信号的显示装置和方法 Download PDF

Info

Publication number
CN102300109B
CN102300109B CN201110159389.0A CN201110159389A CN102300109B CN 102300109 B CN102300109 B CN 102300109B CN 201110159389 A CN201110159389 A CN 201110159389A CN 102300109 B CN102300109 B CN 102300109B
Authority
CN
China
Prior art keywords
parameter
depth
degree
image
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201110159389.0A
Other languages
English (en)
Other versions
CN102300109A (zh
Inventor
金熙振
李成逑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN102300109A publication Critical patent/CN102300109A/zh
Application granted granted Critical
Publication of CN102300109B publication Critical patent/CN102300109B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/07—Generation or adaptation of the Low Frequency Effect [LFE] channel, e.g. distribution or signal processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space

Abstract

这里公开了一种输出音频信号的显示装置和方法。该方法包括：接收广播信号，检测包含在该广播信号中的3D图像的深度，基于检测到的深度对与所述3D图像对应输入的音频信号进行信号处理，并输出经过信号处理的音频信号。

Description

输出音频信号的显示装置和方法
技术领域
本发明涉及一种显示装置，更具体地说，涉及一种输出音频信号的显示装置和方法，其响应于三维(3D)图像数据来输出音频信号。
背景技术
显示装置是具有显示用户可观看图像的功能的装置。用户通过显示装置观看广播。显示装置显示用户从广播站传送的广播中选择的广播。目前的广播趋势正在全球性地从模拟广播向数字广播转变。
数字广播是指传输数字视频信号和音频信号的广播。在应对外部噪音时，数字广播比模拟广播更为鲁棒。因此在数字广播中，数据的损失小，而且很容易校正错误。而且数字广播提供了高分辨率和高清晰度的画面。此外，与模拟广播不同，数字广播可以提供交互服务。
此外，最近的很多研究是针对3D图像进行的，除了电脑制图外，3D图像技术甚至还在不同的技术和环境中得到了迅速的推广和实践应用。
发明内容
实施方式提供了一种输出音频信号的显示装置和方法，其输出与3D图像数据的深度信息相关的音频信号。
实施方式还提供了一种输出音频信号的显示装置和方法，其精确计算3D图像数据的深度信息。
本发明的目的并不限于上述内容，本领域技术人员可通过以下的描述而清楚地理解其他在此未描述的目的。
在一个实施方式中，一种在显示装置中输出音频信号的方法包括：接收广播信号；检测包括在所述广播信号中的三维(3D)图像的深度；基于检测到的深度对与所述3D图像对应输入的音频信号进行信号处理，并输出经过信号处理的音频信号。
在另一个实施方式中，显示装置包括：显示单元，其显示包括在接收到的广播信号中的三维(3D)图像；音频输出单元，其输出包括在接收到的广播信号中的音频信号；检测器，其检测所显示的3D图像的深度，以及控制器，其根据检测到的深度来设置针对所述音频信号的至少一个参数值，并基于所设置的参数值来对将要通过所述音频输出单元输出的经过了信号处理的音频信号进行控制。
将在以下的附图和描述中阐述一个及更多的实施方式的细节。其他特征将从说明书、附图及权利要求中显而易见地获得。
附图说明
图1和图2是用于说明3D图像的格式的图。
图3是根据一个实施方式的显示装置的框图。
图4是例示图3的深度检测器的详细框图。
图5-11是用于描述检测3D图像的深度的方法的图。
图12和图13是根据一个实施方式的显示装置的操作方法的流程图。
图14和图15是用于描述根据一个实施方式实现的立体声音效的图。
具体实施方式
下面将详细参考本发明的实施方式进行描述，在附图中示出了这些实施方式的示例。在这种情况下，在附图中例示并参考附图进行说明的本发明的结构和操作被描述为至少一个实施方式。本发明的技术精神和本质结构不限于此。
在说明书中，本发明使用的术语将尽量选用目前广泛使用的通用术语。但是，术语也可以根据本领域技术人员的意图或习惯、或出现的新科技而有所改变。此外，在特殊的情况下，也可能使用由申请人任意选取的术语。在这种情况下，由于术语的含义在本说明书的详细描述中被具体加以说明，所以应该从这些术语的含义的角度而不应从这些术语的简单命名来理解本发明。
本发明涉及一种输出音频信号的显示装置和方法，更具体地说，描述了一种在显示三维(3D)图像或立体图像的装置(下文中，称为立体图像显示装置)中输出音频信号的方法。
为了描述本发明，在下文中首先描述一幅立体图像。
对于3D图像而言，存在基于两个视角(perspective)的立体(有立体感)的图像和基于三个视角的多视角图像。
立体图像表示为一对左、右图像，该对左、右图像由彼此分开一定距离的左摄像机和右摄像机拍摄相同主体而获得。同样地，多视角图像表示三个或更多个图像，这三个或更多的图像由彼此分开一定距离的或角度的三个或更多个摄像机拍摄而得到。
立体图像的传输格式包括单视频流格式和多视频流格式。
这里，单视频流格式包括如图1的(a)部分所示的并排格式、图1的(b)部分所示的上/下格式、图1的(c)部分所示的隔行格式、图1的(d)部分所示的帧连续格式、图1的(e)部分所示的棋盘格式以及图1的(f)部分所示的浮雕格式。
图1的(a)部分所示的并排格式对应于对左图像L和右图像R水平进行1/2子采样的情况，将采样的左图像L和右图像R分别放置于左侧和右侧，从而生成一幅立体图像。
图1的(b)部分所示的上/下模式对应于对左图像L和右图像R垂直进行1/2子采样的情况，将采样的左图像L和右图像R分别放置于上部和下部，从而生成一幅立体图像。
图1的(c)部分所示的隔行模式对应于对左图像L和右图像R垂直进行1/2子采样的情况，每一行交替放置一个采样的左图像L的像素和一个采样的右图像R的像素，从而生成一幅立体图像。另选的是，图1的(c)部分所示的隔行模式对应于对左图像L和右图像R水平进行1/2子采样的情况，每隔一个像素交替放置一个采样的左图像L的像素和一个采样的右图像R的像素，从而生成一幅立体图像。
图1的(d)部分所示的帧连续格式对应于如下情况，即不对左图像L和右图像R进行1/2子采样，而是以一帧为单位连续且交替地设置各个左图像L和右图像R，从而生成一幅立体图像。
图1的(e)部分所示的棋盘格式对应于分别对左图像L和右图像R进行垂直方向上和水平方向上的1/2子采样，每隔一个像素交替放置一个采样的左图像L的像素和一个采样的右图像R的像素，从而生成一幅立体图像。
此外，多视频流格式具有图2的(a)部分所示的全左/右格式、图2的(b)部分所示的全左/半右格式、以及图2的(c)部分所示的二维视频/深度格式。
图2的(a)部分所示的全左/右格式对应于顺序发送左图像L和右图像R的情况。图2的(b)部分所示的全左/半右格式对应于原样发送左图像L，并对右图像R执行在垂直方向或水平方向上的1/2子采样以发送该采样过的图像的情况。图2的(c)部分所示的二维视频/深度格式，对应于传输左图像L和右图像R之一以及用于生成另一个图像的深度信息的情况。
立体图像或多视角图像可以按照运动图像专家组(MPEG)类型或各种类型进行压缩和编码然后发送。例如，一幅基于并排格式、上/下格式、隔行格式或棋盘格式的立体图像可以按照H.264/高级视频编码(AVC)类型进行压缩和编码然后发送。从而接收系统可以通过H.264/AVC类型的逆操作对该立体图像进行解码而得到3D图像。
此外，多视角图像和基于全左/半右格式的左图像中的其中之一被分配为一幅基础层图像，另一个被分配为一幅增强层图像。随后，基础层图像可以按照与单像(monoscopic)图像的编码类型相同的类型来进行编码，而增强层图像可以只用基础层图像和增强层图像之间的相关性信息来进行编码并发送。这里，基础层图像的压缩编码类型的示例包括联合图像专家组(JPEG)、MPEG-1、MPEG-2和H.264/AVC类型。例如可以使用H.264/多视图视频编码(MVC)类型作为增强层图像的压缩编码类型。
此外，该立体图像被分配为一幅基础层图像和一幅增强层图像，但多视角图像被分配为一幅基础层图像及多幅增强层图像。可以根据摄像机的位置或排列的类型来确定将多视角图像划分为一幅基础图像和一幅或更多幅增强层图像的标准，或者可以任意地确定而无需特定标准。
3D图像通常基于两眼的立体视角原理。两眼之间的视差(即，根据两眼间相互分开的大约65mm的间隔导致的双眼视差)是允许感知三维的重要的因素，并且当左右眼分别观看相关的2D图像时，大脑将两幅不同的图像融合而生成原始的深度敏感度和3D图像真实敏感度。
3D图像的显示主要分为立体类型、体积类型和全息类型。例如，应用立体技术的3D图像显示装置是将深度信息加入到2D图像之中并使观察者基于该深度信息来感受到3D结构的生动性和真实敏感度的图像显示装置。
显示3D图像的类型主要包括佩戴眼镜的类型和不用佩戴眼镜的无眼镜类型。这里，佩戴的眼镜的类型分为无源类型和有源类型。该无源类型是使用偏振滤波器将一幅图像划分为左图像L和右图像R，并显示划分后的图像的类型，即，用户佩戴偏振眼镜来观看图像的类型，该偏振眼镜允许两眼分别观看左图像L和右图像R并包括所述偏振滤波器。有源类型是使用液晶显示器(LCD)快门来划分左眼和右眼的类型，即，通过顺序地覆盖左眼和右眼而划分左图像L和右图像R的类型。这种有源类型是周期性重复时间分离画面的类型，用户佩戴眼镜来观看图像，该眼镜包括与上述周期同步的电子快门。该有源类型可以称为时间分离类型或快门眼镜类型。
公认的无眼镜类型的代表类型包括双凸透镜类型和视差格栅类型，在双凸透镜类型中，一个包括具有圆柱形外形的垂直排列的透镜阵列的双凸透镜的透镜盘被设置在图像面板前，而在视差格栅类型中，具有周期性狭缝的格栅层被设置在图像面板的上部。
图3是表示根据一个实施方式的显示装置的构造的图。
参照图3，显示装置100包括调谐器101、信号处理器102、图像处理器103、格式器104、显示单元105、包括光接收器107的眼镜单元106、音频处理器108、音频输出单元109、用户输入接口110、网络接口111、外部装置接口112、存储单元113、深度检测器114和控制器115。
参照图4，深度检测器114包括差异(disparity)图生成单元1141、直方图生成单元1142、比较单元1143和深度确定单元1144。
下文中，将详细描述图3和图4中的各个元件。
调谐器101从通过天线接收到的RF广播信号中选择与由用户选择的频道或所有预存的频道相对应的射频(RF)广播信号。此外，调谐器101将选择的RF广播信号转换为中频(IF)或基带图像/音频信号。
例如，当选择的RF广播信号是数字广播信号时，调谐器101将选择的RF广播信号转换为数字IF(DIF)信号。当选择的RF广播信号是模拟广播信号时，该调谐器101将选择的RF广播信号转换为模拟基带图像/音频信号(CVBS/SIF)。也就是说，该调谐器101可以处理数字广播信号或者模拟广播信号。从调谐器101输出的模拟基带图像/音频信号(CVBS/SIF)可以直接输入到控制器115。
而且，调谐器101可以接收依照先进电视系统委员会的单载波的RF广播信号，或者依照数字视频广播(DVB)类型的多载波的RF广播信号。
调谐器101从通过天线接收到的RF广播信号中顺序选择用频道存储功能存储的所有广播频道的RF广播信号，以将选择的信号转换为IF或基带图像/音频信号。
这里，在广播信号中包括的图像包括3D图像和2D图像。因此，当接收到2D图像时，根据一个实施方式的显示装置控制格式器104，使得格式器104旁路该2D图像，从而维持2D图像和3D图像之间的向后兼容性。3D图像例如可以是图1中各种格式中的一种。
信号处理器102对从调谐器101接收到的广播信号进行处理。为此，信号处理器102包括用于解调广播信号的解调器(未示出)和用于解复用解调后的广播信号的解复用器(未示出)。
构成信号处理器102的解调器接收由调谐器101转换的DIF信号以执行解调操作。
例如，当从调谐器101输出的DIF信号是基于ATSC类型的时，该解调器执行8-残留边带(VSB)或7-VSB解调。此外，该解调器可以执行信道解码。为此，该解调器可以包括网格解码器、去交织器和里德所罗门(RS)解码器，从而执行网格解码、交织和RS解码。
例如，当从调谐器101输出的DIF信号是基于DVB类型时，该解调器执行编码正交频分多址(COFDMA)解调。此外，该解调器可以执行信道解码。为此，该解调器可以包括卷积解码器、去交织器、以及RS解码器，从而执行网格解码、交织和RS解码。
该解调器可以执行信道解码，接着输出流信号。这里，流信号可以是复用了图像信号、音频信号和数据信号的信号。例如，该流信号可以是复用了基于MPEG-2标准的图像信号和基于杜比AC-3标准的音频信号的MPEG-2传输流(TS)。具体地说，MPEG-2的TS可以包括一个4字节的头和184字节的有效载荷。
可以依据ATCS类型和DVB类型分别包括解调器。即，该解调器可以包括ATSC解调器和DVB解调器。
从解调器输出的流信号被输入到解复用器。
解复用器对输入流进行解复用。例如，当输入MPEG-2的TS流时，解复用器可以将MPEG-2的TS流解复用为图像信号、音频信号和数据信号。这里，输入到解复用器的流信号可以是从调谐器101、解调器或者外部设备接口112输出的流信号。
图像处理器103对解复用后的图像信号进行图像处理。为此，图像处理器103可以包括图像解码器和一个缩放器。
图像解码器对解复用后的图像信号进行解码，缩放器对解码后的图像信号的分辨率进行缩放从而在显示单元105上进行显示。
图像解码器可以包括基于各种标准的解码器。例如，图像解码器可以包括MPEG-2解码器、H.264解码器、MPEG-C解码器(MPEG-C第三部分)、MVC解码器和FTV解码器中的至少一种。
图像处理器103执行用于实现屏上显示(OSD)的处理。为此，图像处理器103可以进一步包括OSD生成器(未示出)。因此，在输出解码后的3D图像时，当接收到来自外部的OSD请求时，图像处理器103控制OSD生成器，使该OSD生成器生成OSD数据。此外，图像处理器103将生成的OSD数据包括在解码后的3D图像数据中，并输出该数据。
格式器104从图像处理器103接收包括3D图像或OSD数据的图像数据，并依据显示单元105的显示格式来重新排列接收到的数据。
显示单元105从格式器104接收重新排列的图像数据并在屏幕上输出接收到的数据。
用户可以使用眼镜单元106来观看输出到屏幕上的3D图像。这里，格式器104生成关于输出到显示单元105上的3D图像的同步信号Vsync。此外，格式器104通过红外线(IR)发射器将生成的同步信号Vsync输出到包含在眼镜单元106中的光接收器107中。可以在必要的时候包括该IR发射器，在这种情况下，根据系统环境，IR发射器可被构造为格式器104的内部配置模块，或者可以被配置为一个单独的外部配置模块。
在以上的描述中，虽然在图3中未示出，但必要的时候，3D图像相关的处理可以进一步包括帧率转换器(FRC)。FRC用于转换输入图像的帧率。例如，FRC将60Hz的帧率转换为120Hz的帧率或240Hz的帧率。这里，当60Hz的帧率被转换为120Hz的帧率时，同样的第一帧可以被插入到第一帧和第二帧之间，或者从第一帧和第二帧预测的第三帧可以被插入到第一和第二帧之间。当60Hz的帧率被转换为240Hz的帧率时，可以进一步地插入三个同样的帧，或者插入三个预测的帧。
这里，图像处理器103和格式器104被配置为分离的模块，但是，依据情况，图像处理器103和格式器104可以被配置为一个一体的模块，在这种情况下，FRC可以包括在一体的模块中。
音频处理器108接收音频信号并对接收到的音频信号执行一系列的信号处理操作。由音频处理器108处理过的音频信号通过音频输出单元107输出。
更具体地说，音频处理器108根据由控制器108确定的第一组参数设置值和第二组参数设置值来对所述音频信号进行信号处理。这里，第一组包括中心级别参数、后级别参数、第一扩展强度参数和高频参数中的至少一种，而第二组包括前级别参数、低频效果(LFE)级别参数、第二扩展强度参数和混响部分参数中的至少一种。
为此，音频处理器108可以包括用于对音频信号进行解码的音频解码器、按照声道来分离解码后的音频信号的声道分离器、和对按照声道分离后的音频信号执行3D处理的3D处理器。
即，声道分离器可以从包括在音频信号中的右音频信号和左音频信号中提取环绕信号，并且3D处理器可以对提取的环绕信号执行环绕效果处理。此外，声道分离器可以从右音频信号和左音频信号中分离立体声信号，并且3D处理器可以对分离的立体声信号执行用于给出环绕效果的3D处理。
具体地说，音频处理器108可以执行串音消除来移除来自左音频信号和右音频信号的反信号，并基于观众的头和耳朵的位置来对HRTF类型的音频信号进行信号处理。
即，音频处理器108从接收到的音频信号中提取包含左音频信号和右音频信号的第二声道的信号。音频处理器108从提取的第二声道的信号中分离出主要包括用户语音的单声道信号和主要包括外围信号的立体声信号。音频处理器108通过应用环绕算法来对分离的立体声信号执行3D处理。环绕算法包括使用HRTF类型技术的3D定位技术和用于在立体声扬声器环境中实现环绕的串音消除。这里，音频处理器108可以将音频信号的声道分离为后声道和前声道。另外，音频处理器108可以将一个声道分离为5.1声道等，当信号为立体声信号时，音频处理器108可以将一个声道划分为左声道和右声道。
这里，当使用两个扬声器来再现立体声声音时，被传输到听众右耳的左声道声音和被传输到听众左耳的右声道声音被称为串音。因此当移除相应的部分时，即使在普通的扬声器环境也可以进行3D声音定位。此外，最新的环绕算法可以对立体声成分加入混响，以实现比立体声更广的音域。
在这种情况下，音频处理器108根据控制器108确定的参数设置值来对音频信号执行信号处理。其中这些参数包括第一组参数以及第二组参数，该第一组参数包括中心级别参数、后级别参数、第一扩展强度参数和高频参数，该第二组参数包括前级别参数、LFE级别参数、第二扩展强度参数和混响部分参数。
该参数设置值是根据3D图像的深度确定的。这里，第一组的参数设置值随着3D图像深度的增大而成正比地增大，而第二组的参数设置值随着3D图像深度的增大而成反比地增大。
也就是说，当3D图像的深度增大时，第一组的中心级别参数、后级别参数、第一扩展强度参数和高频参数的设置值与增大的深度成正比地增大，第二组的前级别参数、LFE级别参数、第二扩展强度参数和混响部分参数的设置值与增大的深度成反比地减小。
相反地，当3D图像的深度减小时，第一组的中心级别参数、后级别参数、第一扩展强度参数和高频参数的设置值与减小的深度成正比地减小，而第二组的前级别参数、LFE级别参数、第二扩展强度参数和混响部分参数的设置值与减小的深度成反比地增大。
中心级别参数是用来控制单声道信号(即，语音信号)的级别的参数。前级别参数是用来控制前声道的左/右信号的级别的参数。后级别参数是用来控制后声道的左/右信号的级别的参数。第一扩展强度参数是用来控制高频波段的扩展灵敏度大小的参数，而第二扩展强度参数是用来控制低频波段的扩展灵敏度大小的参数。LFE级别参数是用控制具有高频效果的高音调的级别的参数。混响部分参数是用来控制混响的大小以生成回音效果的参数。
其中，后声道可以为从显示装置100的后方输出的音频信号。前声道可以为从显示装置100的前方输出的音频信号。中心声道可以为从显示装置100的中心输出的音频信号。
用户输出接口110将用户输入的信号传输到控制器115，或将信号从控制器115传输给用户。
例如，用户输入接口110可以从分离的遥控器接收用户输入信号(例如开/关电源、频道选择或屏幕设置)，或通过多种通信类型(例如RF通信类型和IR通信类型)将信号从控制器115传输到遥控器。
此外，例如，用户输入接口110可以将从本地按键(未示出)(例如电源键、频道键、音量键或设置键)输入的用户输入信号传输到控制器115。
用户输入接口110可以将从感应用户动作的感测单元输入的用户输入信号传输到控制器115，或者将信号从控制器115传输到感测单元。其中，感测单元可以包括触摸传感器、音频传感器、位置传感器和运动传感器。
网络接口111提供用于将显示装置100连接到包括因特网网络的有线/无线网络的接口。网络接口111可以包括用于接入到有线网络的以太网终端。无线局域网(WLAN)、Wi-Fi、无线宽带(Wibro)、全球互通微波接入(Wimax)和高速下行链路分组接入(HSDPA)通信标准可以用作有线网络的接入。
网络接口111可以接收由因特网/内容提供商或网络运营商通过网络提供的内容或数据。即，网络接口111可以通过网络接收由因特网/内容提供商提供的内容(例如电影、广告、游戏、视频点播(VOD)和与上述内容相关的广播信号和信息)。此外，网络接口111可以接收由网络运营商提供的固件的更新信息和更新文件。
此外，网络接口111例如可以接入网际协议(IP)TV，接收已经由IPTV的机顶盒处理过的图像信号、音频信号或数据信号以进行双向通信，网络接口111还将接收到的信号传输到控制器115。网络接口111可以将经过控制器115处理的信号传输到IPTV的机顶盒。
根据传输网络的类型，IPTV可以包括ADSL-TV、VDSL-TV或FTTH-TV。IPTV可以包括使用DSL的电视、使用DSL的视频、使用IP的电视(TVIP)或广播电视(BTV)。此外，IPTV可以包括全浏览电视或可以接入到因特网的因特网电视。
外部装置接口112可以从连接到其上的外部装置接收数据/发送数据到连接到其上的外部装置。为此，外部装置接口112可以包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
外部装置接口112可以按照有线或者无线方式接入外部装置(例如数字多功能盘(DVD)、蓝光、游戏机、相机、便携摄像机或计算机(例如笔记本计算机))。外部装置接口112将通过与之连接的外部装置输出的外部图像、音频或数据信号传输给显示装置100的控制器115。此外，外部装置接口112可以向与之连接的外部装置输出经过控制器115处理过的图像、音频或数据信号。为此，外部装置接口112可以包括A/V输入/输出单元(未示出)或无线通信单元(未示出)。
为了使外部设备的图像和音频信号输入到显示装置100中，A/V输入/输出单元可以包括通用串行总线(USB)端子、复合视频消隐同步(CVBS)端子、分量端子、S-视频端子(模拟)、数字可视接口(DVI)端子、高分辨率多媒体接口(HDMI)端子、RGB端子、和D-SUB终端。
无线通信单元可以与其他电子设备以无线方式进行近场通信(NFC)。显示装置110可以根据诸如蓝牙、射频标识(RFID)、红外线数据协会(IrDA)、超宽带(UWB)、ZigBee、或数字生活网络联盟(DLNA)之类的通信标准与其他电子设备网络连接。
此外，外部装置接口112可以通过上述端子中的至少一个接入多种机顶盒，并与机顶盒进行输入/输出操作。
存储单元113可以存储用于在控制器115中对各个信号进行处理和控制的程序，并存储信号处理后的图像、音频或数据信号。
存储单元113可以临时存储输入到外部装置接口112的图像、音频或数据信号。此外，存储单元113可以利用频道存储功能来存储关于预定广播频道的信息(例如频道图(channel map))。
存储单元113可以包括闪存类型、硬盘类型、微型多媒体卡、卡型存储器(例如SD或XD存储器)、随机存储器(RAM)、和只读存储器(ROM)(例如，电可擦除可编程只读存储器(EEPROM))中的至少一种存储介质。显示装置100可以对文件(例如移动图像文件、静止图像文件、音乐文件、文档文件等)进行重放以为用户提供重放过的文件。
存储单元113可以存储多个音频输出单元109之间的距离信息、音频输出单元109和听众之间的距离信息、关于每个声道的增益信息等。
深度检测器114检测3D图像的深度。
深度检测器114可以通过包括在接收到的广播信号中的附加信息数据来检测3D图像的深度。
即，接收到的广播信号由图像信号、音频信号和附加信息信号构成。接收到的附加信息信号可以包括接收到的图像信号(具体地说，3D图像)的深度信息。
因此，深度检测器114对由解复用器分离出的附加信息数据进行分析，并且当3D图像的深度信息存在于经过分析的附加信息数据中时，深度检测器114检测深度信息并将检测到的信息发送给控制器115。
另外，当3D图像的深度信息未存在于经过分析的附加信息数据中时，深度检测器114根据对接收到的图像的分析结果来检测深度。
为此，深度检测器114包括差异图生成单元1141、直方图生成单元1142、比较单元1143和深度确定单元1144。
差异图生成单元1141对3D图像进行分析以生成差异图。也就是说，3D图像包括左图像和右图像。差异图生成单元1141根据包括左图像和右图像的3D图像来生成差异图，左图像和右图像之间具有双眼视差。
差异图将由左图像和右图像之间的区别而确定的各个对象的差异表达为各个对象的亮度。3D图像的匹配方法主要分为基于区域的方法、基于特征的方法和基于像素的方法。基于区域的方法以区域为单位寻找进行匹配的对应点。即，基于区域的方法以区域为单位将3D图像与特定大小的窗口相匹配，并且该基于区域的方法具有根据本地区域的大小的相关关系。因此，基于区域的方法考虑到匹配的准确度和计算速度来确定合适的窗口大小。
如图7所示，在进行块匹配时，当左和右图像是水平的，左图像和右图像水平地移动一个匹配窗口大小，在一个相关性最强的位置上得到dx，从而预测差异。在离摄像机较远的对象中，显示的立体图像的差异就小，在离摄像机较近的对象中，显示的立体图像的差异就大。按照亮度级来表现差异区别得到差异图(或，深度图)。即，越近的对象显示得越亮，越远的对象显示得越暗，从而显示出了目标对象的距离信息。
图8和9示出了在3D图像中的左和右图像的示例，图10示出了从图8和9的图像中提取的差异图的一个示例。如图10所示，近处的照明设备的亮度显示地比后方的摄像机或写字台要更亮。很多种从立体图像生成差异图的方法已经被提出，本发明不限于生成差异图的特定方法。
直方图生成单元1142接收由差异图生成单元1141生成的差异图，并通过接收的差异图生成直方图。
图5示出了靠近摄像机的对象的差异图，图6示出了对应于图5的差异图的直方图。
如图5的(a)部分和(b)部分所示，可以看到一个球体正在接近摄像机，因此在(b)部分的球体的大小比在(a)部分的球体的大小更大，且在(b)部分的球体比在(a)部分的球体更亮。相应地，如图6的(a)和(b)部分所示，可以看到，直方图的峰值出现在(a)部分的位置A，接着移动到(b)部分中的具有亮度增加了W的更亮的值的位置B。也就是说，随着球体的接近，到球体的距离变得更短。因此，球体变得更亮，因此在图6的(b)部分中，与直方图的B位置相对应的亮度值的像素量增加。
在这个实施方式中，利用这样的特性来判断一个对象是变得更近还是更远，即，该特性为：当对象接近时，差异图的直方图的峰值点发生移动。也就是说，利用直方图中的峰值点的移动特性来决定3D图像的深度的增大或减小。
为此，直方图生成单元1142根据前一帧的差异图来生成直方图，并根据当前帧的差异图来生成直方图。
比较单元1143对直方图生成单元1142生成的前一帧的直方图和当前帧的直方图进行比较，并将这两帧的直方图的比较结果传送到深度确定单元1144。
也就是说，使用两帧的直方图的峰值点之间的差异来计算变近或变远的对象的移动距离。此外，比较单元1143可以通过从当前帧的直方图中减去前一帧的直方图来移除关于静态部分的信息并且仅提取关于移动部分的信息，从而通过提取出的信息来确定峰值点的移动。
深度确定单元1144通过比较单元1143的比较结果来确定3D图形最终深度。
由于差异图的直方图中的每个灰度值表示与摄像机之间的距离，因此深度确定单元1144可以计算基于在与当前帧相对应的直方图中的峰值点的灰度值的距离值与基于在前一帧的直方图中的峰值点的灰度值的距离值之间的差值，将该差值作为3D图像的深度。这里，3D图像的深度是当前帧的直方图中的峰值点与前一帧的直方图中的峰值点间的移动距离。
控制器115控制显示装置110总体操作。
例如，控制器115可以控制调谐器101，以使得调谐器101调谐与用户所选的频道或预定频道相对应的RF广播。
此外，控制器115可以根据通过用户输入接口110输入的用户命令或内部程序来控制显示装置100。
例如，控制器115控制调谐器101，以根据通过用户输入接口110接收到的特定频道选择命令来输入选择的频道的信号。控制器115处理选择的频道的图像、音频和数据信号。控制器115可以允许通过显示单元105和音频输出单元109将用户选择的频道信息与处理后的图像或音频信号一起输出。
作为另一示例，控制器115可以根据通过用户输入接口110接收到的外部装置图像再现命令来允许通过显示单元105和音频输出单元109输出通过外部装置接口112输入的和从外部装置(例如，摄像机或便携摄像机)输出的图像信号或音频信号。
控制器115可以控制显示单元105以显示图像。例如控制器115可以执行控制以使显示单元105显示通过调谐器101输入的广播图像、通过外部装置接口112输入的外部输入图像、通过网络接口111输入的图像或在存储单元113中存储的图像。
这里，显示在显示单元105上的图像可以是运动图像或静止图像，以及2D图像或者3D图像。
控制器115生成关于由显示单元105显示的图像中的特定对象的3D对象并对该3D对象进行显示。例如，对象可以是访问的网页画面(例如，报纸、杂志等)、电子节目指南(EPG)、各种菜单、Widjet、窗件、静止图像、运动图像和文本中的至少一个。
可以将该3D对象处理为具有与在显示单元105显示的图像的深度不同的深度。可以将该3D对象处理为使该3D对象比显示单元105上显示的图像更突出。
控制器115针对对音频信号进行信号处理的至少一个参数确定基于由深度检测器114检测到的3D图像的深度的设置值，并进行控制以基于所确定的设置值来对音频信号进行信号处理。
由控制器115确定的参数包括的第一组参数和第二组参数，该第一组参数包括中心级别参数、后级别参数、第一扩展强度参数和高频参数，该第二组参数包括前级别参数、LFE级别参数、第二扩展强度参数和混响部分参数。
具体地说，当为了生成另一幅图像而将深度信息与左图像L和右图像R之一一起发送时，控制器115基于深度检测器114检测到的深度信息来为参数确定设置值。
深度是3D图像的右图像比3D图像的左图像突出的程度。也就是说，假设传输的数据是左图像和深度信息，当深度较大时，则表明对象的突出程度较大，而当深度较小时，则表明对象突出的程度较小。同理，当传输的数据是右图像时，用户可以感觉到对象的深度的程度与左图像不同。
当对象突出的程度较大时，则表明当前显示的3D图像中存在有明显的部分，但是当对象突出的程度较小时，则表明当前显示的图像中不存在明显的部分。
因此，控制器115根据深度来实现音频信号的环绕声效果。
在普通的环绕声效果中，通过扩宽音频信号的方向性(也就是左方向性和右方向性)的信号的范围来增强空间敏感度和立体声敏感度。然而当实现环绕声效果时，降低了音频信号的前方向性和后方向性的深度敏感度和位置敏感度。
因此，控制器115能够根据3D图像的深度使音频信号的左方向性和右方向性得到增强或使音频信号的前方向性和后方向性得到增强。
也就是说，当3D图像的深度较大时，则表示显示在画面上的对象突出的程度较大，并且在画面上显示有明显的对象，并因此控制器115确定参数的设置值，以使前方向性和后方向性增强的程度比左方向性和右方向性大。此外，当3D图像的深度较小时，则表示显示在画面上的对象突出的程度较小，并且在画面上没有明显的部分，因此控制器115确定参数的设置值，以使左方向性和右方向性增强的程度比3D定位大，从而实现宽音域和大的环绕声效果。
在这种情况下，随着第一组参数中包括的中心级别参数、后级别参数、第一扩展强度参数和高频参数的设置值的增大，增强了前方向性和后方向性。随着第二组参数中包括的前级别参数、LFE级别参数、第二扩展强度参数和混响部分参数的设置值的增大，增强了左方向性和右方向性。
从而，随着检测到的深度增大，控制器115增大属于第一组参数的设置值。此外，当属于第一组的参数的设置值增大时，控制器115与该增大对应地减小属于第二组的参数的设置值。
此外，随着检测到的深度减小，控制器115增大属于第二组的参数的设置值。此外，当属于第二组的参数的设置值增大时，控制器115与该增大相对应地减小属于第一组的参数的设置值。
参考图11，可见，当图11的(a)部分中的左图像201和右图像202之间的间隔“a”小于图11中(b)部分中的左图像201和右图像202之间的间隔“b”时，图11的(a)部分的对象的深度a’小于图11中(b)部分的对象的深度b’。
如图11所示，在前一帧的深度是a’而当前帧的深度是b’时，控制器115根据深度从a’到b’的增大成比例地增大属于第一组的参数的设置值。在这种情况下，同样地，控制器115减小属于第二组的参数的设置值。
另一方面，在前一帧的深度是b’而当前帧的深度是a’时，控制器115根据深度从b’到a’的减小成比例地增大属于第二组的参数的设置值。在这种情况下，同样地，控制器115减小属于第一组的参数的设置值。
图12和图13是示出根据一个实施方式的显示装置的操作方法的流程图。图14和图15是用于说明图12和图13的显示装置的操作方法的示例的图。
参考图12，首先，在操作S101中，显示装置100接收3D图像。这里，接收到的3D图像可以是来自外部装置的外部输入图像、通过网络从内容提供商输入的图像、来自于由调谐器101接收到的广播信号的广播图像、或存储在存储单元113中的图像。
控制器115可以确定接收到的图像是否是3D图像。例如，控制器115可以接收在输入图像流的元数据中或报头中指示一幅图像是否是3D图像的信息，并基于接收到的信息来确定接收到的图像是否是3D图像。
接下来，在操作S102中，显示装置100检测接收到的3D图像的深度。深度检测器114检测接收到的3D图像的深度。
例如，当包含在接收到的广播信号中的图像是3D图像时，深度检测器114分析与该3D图像相关的附加信息。此外，当指示3D图像的深度的信息包括在分析后的附加信息中时，深度检测器114提取该信息以检测该3D图像的深度。
此外，当附加信息中没有包含指示该3D图像深度的信息时，深度检测器114利用接收到的3D图像来生成差异图，并利用生成的差异图来生成直方图，并利用生成的直方图的峰值点的值来检测3D图像的深度。
显示装置100确定是否需要利用检测出的深度进行3D信号处理，当需要进行3D信号处理时，在操作S103中，显示装置100响应于检测到的深度来对用于处理输入音频信号的至少一个参数值进行设置。
例如，当深度没有改变时，也就是说，当前一帧的深度与当前帧的深度是相同时，控制器115确定不需要进行3D信号处理，从而保持预设参数值与之前的相同。
此外，当深度改变时，也就是说，前一帧的深度值与当前帧的深度值不同时，控制器115确定需要进行3D信号处理，从而根据当前帧的深度来改变预设参数值。
在这里，检测出的深度可以有特定的常量或特定的+/-值。
例如，当利用接收到的附加信息检测出深度时，深度可以有特定的常量。在这种情况下，当该常量小时，这表明3D图像中包括的对象的突出程度小。当该常量大时，这表明3D图像中包括的对象的突出程度大。
当利用直方图中的峰值点检测出深度时，深度可以具有特定的+/-值。
也就是说，在当前帧的深度比前一帧的深度大时，检测到的深度具有特定的+值。相反地，在当前帧的深度比前一帧的深度小时，检测到的深度值具有特定的-值。
如上文所述，当检测到的深度有特定的常量时，控制器115按照与该常量对应的方式为至少一个参数确定设置值。
例如，存储单元113可以存储要根据与各深度对应的常量值而确定的至少一个参数的设置值。当设置值被存储在存储单元113中时，控制器115从存储单元113中提取与检测到的深度相对应的设置值，并允许通过将提取的设置值应用到音频处理单元108来对接收到的音频信号进行信号处理。
在这种情况下，确定的设置值根据深度而增大或减小。
例如，当深度是一个正值时，这表示3D图像的深度增大，控制器115增大属于第一组的参数的设置值，但减小属于第二组的参数的设置值。
相反地，当深度是一个负值时，这表示3D图像的深度减小，控制器115减小属于第一组的参数的设置值，但增大属于第二组的参数的设置值。
当控制器115确定了至少一个参数的设置值时，音频处理器108在操作S104中通过应用确定的设置值来对接收到的音频信号进行信号处理。
对音频信号的信号处理可以如下进行。
音频处理器108用声道将接收到的音频信号分离。例如，音频处理器108可以从音频信号中分离出后声道和前声道。后声道是从显示装置100的后方输出的音频信号，而前声道是从显示装置100的前方输出的音频信号。另外，音频处理器108可以将音频信号分离为5.1声道等，或当实现立体声时，将音频信号分离为左声道和右声道。
当音频信号按声道被分离时，音频处理器108通过对按声道分离的音频信号应用所确定的参数的设置值来进行信号处理。
例如，如果深度大，音频处理器108可以进行信号处理以在输出音频信号时增强针对前方向性和后方向性的声音。相反，如果深度小，音频处理器108可以进行信号处理以在输出音频信号时增强针对左方向性和右方向性的声音。
也就是说，如图14所示，当音频处理器108增强音频信号的前方向性和后方向性信号时，听众700(即，用户)可以听到增强了深度敏感度和位置敏感度的声音，而不是增强了“加宽”的效果。换句话说，当控制器115增大了包括中心级别参数、后级别参数、第一扩展强度参数和高频参数中的至少一种的第一组参数的设置值，并减小了包括前级别参数、LFE级别参数、第二扩展强度参数和混响部分参数中的至少一种的第二组参数的设置值，如图14所述，则输出的是增强了深度敏感度和位置敏感度的声音。
此外，如图15所示，当音频处理器108增强了音频信号的左方向性和右方向性信号时，听众800可以听到增强了空间敏感度和立体声敏感度的声音，而不是增强了深度敏感度和位置敏感度的效果。
换句话说，当控制器115减小了包括中心级别参数、后级别参数、第一扩展强度参数和高频参数中的至少一种的第一组的参数的设置值，并增大了包括前级别参数、LFE级别参数、第二扩展强度参数和混响部分参数中的至少一种的第二组的参数的设置值，如图15所示，输出的是增强了空间敏感度和立体声敏感度的声音。
如上所述，当音频处理器108对音频信号进行信号处理时，在操作S105中，通过音频输出单元109输出经过信号处理的音频信号。
根据本实施方式，提供了一种与现有标准化的立体声技术不同的立体声技术，通过提供与3D图像显示装置一致的立体声技术来增强用户的满意度。
下文中将对上述的深度检测方法中的一种检测直方图的方法进行说明。
参考图13，首先，在操作S201中生成一幅差异图。差异图生成单元1141通过使用在左图像和右图像之间的双眼视差来根据3D运动图像生成差异图，该3D运动图像包括组成3D图像的左图像和右图像。
差异图用于将根据左图像和右图像之间的区别确定的各个对象的差异(其可以称为深度)表达为各个对象的亮度。
也就是说，在差异图中表示的各个对象的亮度代表了相应对象的深度。例如，当差异图中表示的一个对象很亮，这表明对应对象的深度大，而当差异图中表示的一个对象很暗，这表明对应对象的深度小。
此外，差异图生成单元1141为每一帧生成一幅差异图，并将为每一帧生成的差异图传送给直方图生成单元1142。
接下来，在操作S202中，根据生成的差异图来生成直方图。
直方图生成单元1142使用图5所示生成的差异图来生成图6所示的直方图。直方图生成单元1142利用发送来的针对每一帧的差异生成针对每一帧的直方图。
接下来，在操作S203，对生成的直方图进行比较。即，比较单元1143对由直方图生成单元1142生成的前一帧的直方图和当前帧的直方图进行比较，并根据比较结果来输出结果值。比较单元1143利用这样的特性来判断一个对象是变得更近还是更远，即，该特性为：当对象接近时，差异图的直方图的峰值点发生移动。
随后，在操作S204中，利用基于比较结果的结果值来计算两帧的峰值点之间的差值。为此，比较单元1143可以通过从当前帧的直方图减去前一帧的直方图来移除关于静态部分的信息并且仅提取关于移动部分的信息，从而通过提取出的信息来确定峰值点的移动。这里，由于差异图的直方图中的每个灰度值表示从摄像机到对象的距离，因此深度确定单元1144可以计算前一帧的直方图的峰值点的灰度级值与当前帧的直方图的峰值点的灰度级值之间的差值。
在操作S205中，当计算差值时，将计算出的差值确定为当前帧的深度。
以上描述了根据一种实施方式的输出音频信号的方法和提供该方法的显示装置。但是该实施方式可以应用到包括本发明的基本内容的、提供音频输出服务的系统中以及用于在计算机中执行包括该系统的程序的计算机可读记录介质中。
根据实施方式，可提供一种与现有的标准化的立体声技术不同的立体声技术，并且通过输出与3D图像数据的深度信息相关的音频信号，可以提供生动的立体声。
虽然参照多个示例性实施方式对实施方式进行了描述，但是应该理解，本领域技术人员可以设计出落入本发明的原理的精神和范围内多种其他的修改例和实施方式。更具体地说，在说明书、附图和权利要求的范围内可以存在对组成部分和/或主体排列组合的排列方式的各种变形例以及修改例。除了对于组成部分和/或排列方式的修改例和变型例以外，另选的用途对于本领域技术人员而言也是显而易见的。

Claims (11)

1.一种在显示装置中输出音频信号的方法，该方法包括以下步骤：
接收步骤，接收广播信号；
根据差异图来成生直方图；
对根据前一帧的差异图生成的第一直方图与根据当前帧的差异图生成的第二直方图进行比较；以及
检测深度的步骤，根据所述第一直方图与所述第二直方图的比较结果来检测包括在所述广播信号中的三维（3D）图像的深度；
信号处理步骤，基于检测到的深度对与所述三维图像对应输入的音频信号进行信号处理；以及
输出步骤，输出经过信号处理的音频信号，
其中所述三维图像的深度是所述第一直方图的峰值点与所述第二直方图的峰值点之间的差值。
2.如权利要求1所述的方法，其中所述检测深度的步骤包括以下步骤：
从所述广播信号中分离出附加信息数据；以及
检测包括在所述附加信息数据中的、所述三维图像的深度信息。
3.如权利要求1所述的方法，该方法还包括以下步骤：
利用来自所述三维图像的左图像和右图像之间的双眼视差来生成差异图，所述三维图像包括所述左图像和所述右图像。
4.如权利要求1所述的方法，该方法还包括以下步骤：
确定用于对所述音频信号进行信号处理的至少一个参数的设置值，
其中所述参数包括第一组的参数和第二组的参数，与所述三维图像的深度增大/减小成正比地设置所述第一组的参数，而与所述三维图像的深度增大/减小成反比地设置所述第二组的参数。
5.如权利要求4所述的方法，其中：
所述第一组的参数包括中心级别参数、后级别参数、第一扩展强度参数、和高频参数中的至少一种，并且
所述第二组的参数包括前级别参数、低频效果（LFE）级别参数、第二扩展强度参数和混响部分参数中的至少一种。
6.如权利要求5所述的方法，其中设置至少一种参数的步骤包括以下步骤：
随着所述三维图像的深度增大而增大所述第一组的参数值，并且随着所述三维图像的深度增大而减小所述第二组的参数值；以及
随着所述三维图像的深度减小而减小所述第一组的参数值，并且随着所述三维图像的深度减小而增大所述第二组的参数值。
7.一种显示装置，该显示装置包括：
显示单元，其显示包括在接收到的广播信号中的三维（3D）图像；
音频输出单元，其输出包括在接收到的广播信号中的音频信号；
直方图生成单元，其根据差异图来生成直方图；
比较单元，其对由所述直方图生成单元根据前一帧的差异图生成的第一直方图与由所述直方图生成单元根据当前帧的差异图生成的第二直方图进行比较；
深度确定单元，其根据所述第一直方图与所述第二直方图的比较结果来确定所述三维图像的深度；以及
控制器，其根据检测到的深度来设置针对所述音频信号的至少一种参数值，并基于所设置的参数值来对将要通过所述音频输出单元输出的经过了信号处理的音频信号进行控制，
其中所述三维图像的深度是所述第一直方图的峰值点与所述第二直方图的峰值点之间的差值。
8.如权利要求7所述的显示装置，其中所述深度检测器从包括在接收到的广播信号中的附加信息数据中检测所述三维图像的深度信息。
9.如权利要求7所述的显示装置，其中所述深度检测器还包括差异图生成单元，该差异图生成单元利用组成所述三维图像的左图像和右图像之间的双眼视差来生成差异图。
10.如权利要求7所述的显示装置，其中所述控制器为第一组的参数和第二组的参数确定设置值，所述第一组的参数包括中心级别参数、后级别参数、第一扩展强度参数和高频参数中的至少一种，所述第二组的参数包括前级别参数、低频效果（LFE）级别参数、第二扩展强度参数和混响部分参数中的至少一种。
11.如权利要求10所述的显示装置，其中所述控制器与检测到的深度的增大成正比地增大所述第一组的参数设置值，并与检测到的深度的增大而成反比地减小所述第二组的参数设置值。
CN201110159389.0A 2010-04-29 2011-04-29 输出音频信号的显示装置和方法 Expired - Fee Related CN102300109B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2010-0040304 2010-04-29
KR20100040304 2010-04-29

Publications (2)

Publication Number Publication Date
CN102300109A CN102300109A (zh) 2011-12-28
CN102300109B true CN102300109B (zh) 2014-05-14

Family

ID=44370689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110159389.0A Expired - Fee Related CN102300109B (zh) 2010-04-29 2011-04-29 输出音频信号的显示装置和方法

Country Status (4)

Country Link
US (1) US8964010B2 (zh)
EP (1) EP2384009B1 (zh)
KR (1) KR101717787B1 (zh)
CN (1) CN102300109B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5573426B2 (ja) * 2010-06-30 2014-08-20 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
EP2656613A1 (en) * 2010-12-22 2013-10-30 Thomson Licensing Apparatus and method for determining a disparity estimate
US9414047B2 (en) * 2011-08-12 2016-08-09 Telefonaktiebolaget Lm Ericsson (Publ) Signaling change of camera parameter and/or depth parameter using update message
US9047688B2 (en) * 2011-10-21 2015-06-02 Here Global B.V. Depth cursor and depth measurement in images
US8553942B2 (en) 2011-10-21 2013-10-08 Navteq B.V. Reimaging based on depthmap information
JP5565405B2 (ja) * 2011-12-21 2014-08-06 ヤマハ株式会社 音響処理装置および音響処理方法
US9404764B2 (en) 2011-12-30 2016-08-02 Here Global B.V. Path side imagery
US9024970B2 (en) 2011-12-30 2015-05-05 Here Global B.V. Path side image on map overlay
US9705746B2 (en) * 2012-03-11 2017-07-11 Avago Technologies General Ip (Singapore) Pte. Ltd. Channel bonding for layered content
JP2013243626A (ja) * 2012-05-23 2013-12-05 Sony Corp 信号処理装置、信号処理方法、およびプログラム
EP2743922A1 (en) * 2012-12-12 2014-06-18 Thomson Licensing Method and apparatus for compressing and decompressing a higher order ambisonics representation for a sound field
US9560103B2 (en) * 2013-06-26 2017-01-31 Echostar Technologies L.L.C. Custom video content
US11042163B2 (en) 2018-01-07 2021-06-22 Nvidia Corporation Guiding vehicles through vehicle maneuvers using machine learning models
WO2019152888A1 (en) 2018-02-02 2019-08-08 Nvidia Corporation Safety procedure analysis for obstacle avoidance in autonomous vehicle
DE112019000122T5 (de) 2018-02-27 2020-06-25 Nvidia Corporation Echtzeiterfassung von spuren und begrenzungen durch autonome fahrzeuge
DE112019000048T5 (de) 2018-03-15 2020-01-16 Nvidia Corporation Bestimmung eines befahrbaren freiraums für autonome fahrzeuge
US11080590B2 (en) 2018-03-21 2021-08-03 Nvidia Corporation Stereo depth estimation using deep neural networks
US11436484B2 (en) 2018-03-27 2022-09-06 Nvidia Corporation Training, testing, and verifying autonomous machines using simulated environments
WO2020102733A1 (en) 2018-11-16 2020-05-22 Nvidia Corporation Learning to generate synthetic datasets for training neural networks
US11182916B2 (en) 2018-12-28 2021-11-23 Nvidia Corporation Distance to obstacle detection in autonomous machine applications
DE112019006468T5 (de) 2018-12-28 2021-10-14 Nvidia Corporation Erkennung des abstands zu hindernissen bei anwendungen mit autonomen maschinen
US11170299B2 (en) 2018-12-28 2021-11-09 Nvidia Corporation Distance estimation to objects and free-space boundaries in autonomous machine applications
WO2020163390A1 (en) 2019-02-05 2020-08-13 Nvidia Corporation Driving lane perception diversity and redundancy in autonomous driving applications
CN113811886B (zh) 2019-03-11 2024-03-19 辉达公司 自主机器应用中的路口检测和分类
US11788861B2 (en) 2019-08-31 2023-10-17 Nvidia Corporation Map creation and localization for autonomous driving applications

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
CN101268685A (zh) * 2005-07-27 2008-09-17 米迪尔波得股份有限公司 为多维显示器捕获并放映画面图像的系统、装置和方法
CN101350931A (zh) * 2008-08-27 2009-01-21 深圳华为通信技术有限公司 音频信号的生成、播放方法及装置、处理系统
CN101682793A (zh) * 2006-10-11 2010-03-24 皇家飞利浦电子股份有限公司 创建三维图形数据

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08140200A (ja) * 1994-11-10 1996-05-31 Sanyo Electric Co Ltd 立体音像制御装置
JPH1063470A (ja) * 1996-06-12 1998-03-06 Nintendo Co Ltd 画像表示に連動する音響発生装置
JPH10211358A (ja) * 1997-01-28 1998-08-11 Sega Enterp Ltd ゲーム装置
US6961458B2 (en) * 2001-04-27 2005-11-01 International Business Machines Corporation Method and apparatus for presenting 3-dimensional objects to visually impaired users
US6829018B2 (en) * 2001-09-17 2004-12-07 Koninklijke Philips Electronics N.V. Three-dimensional sound creation assisted by visual information
US7623674B2 (en) * 2003-11-05 2009-11-24 Cognex Technology And Investment Corporation Method and system for enhanced portal security through stereoscopy
US7818077B2 (en) * 2004-05-06 2010-10-19 Valve Corporation Encoding spatial data in a multi-channel sound file for an object in a virtual environment
JP2006128818A (ja) * 2004-10-26 2006-05-18 Victor Co Of Japan Ltd 立体映像・立体音響対応記録プログラム、再生プログラム、記録装置、再生装置及び記録メディア
US20060247918A1 (en) * 2005-04-29 2006-11-02 Microsoft Corporation Systems and methods for 3D audio programming and processing
EP1784020A1 (en) * 2005-11-08 2007-05-09 TCL & Alcatel Mobile Phones Limited Method and communication apparatus for reproducing a moving picture, and use in a videoconference system
JP4989934B2 (ja) * 2006-07-14 2012-08-01 パナソニック株式会社 スピーカシステム
JP5057715B2 (ja) * 2006-07-28 2012-10-24 株式会社ソニー・コンピュータエンタテインメント ゲーム制御プログラム、ゲーム制御方法、及びゲーム装置
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
JP5274359B2 (ja) * 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
KR101844511B1 (ko) * 2010-03-19 2018-05-18 삼성전자주식회사 입체 음향 재생 방법 및 장치
KR101764175B1 (ko) * 2010-05-04 2017-08-14 삼성전자주식회사 입체 음향 재생 방법 및 장치
US8755432B2 (en) * 2010-06-30 2014-06-17 Warner Bros. Entertainment Inc. Method and apparatus for generating 3D audio positioning using dynamically optimized audio 3D space perception cues
JP2012060349A (ja) * 2010-09-08 2012-03-22 Sharp Corp 立体映像表示装置
EP2464127B1 (en) * 2010-11-18 2015-10-21 LG Electronics Inc. Electronic device generating stereo sound synchronized with stereoscopic moving picture
US8958565B2 (en) * 2011-03-21 2015-02-17 Lg Electronics Inc. Apparatus for controlling depth/distance of sound and method thereof
JP2012213070A (ja) * 2011-03-31 2012-11-01 Toshiba Corp 映像信号生成装置、映像信号生成方法及び制御プログラム
KR101901908B1 (ko) * 2011-07-29 2018-11-05 삼성전자주식회사 오디오 신호 처리 방법 및 그에 따른 오디오 신호 처리 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1954606A (zh) * 2004-05-21 2007-04-25 韩国电子通信研究院 通过使用三维立体视频附加数据来发送/接收三维立体数字广播信号的装置和方法
CN101268685A (zh) * 2005-07-27 2008-09-17 米迪尔波得股份有限公司 为多维显示器捕获并放映画面图像的系统、装置和方法
CN101682793A (zh) * 2006-10-11 2010-03-24 皇家飞利浦电子股份有限公司 创建三维图形数据
CN101350931A (zh) * 2008-08-27 2009-01-21 深圳华为通信技术有限公司 音频信号的生成、播放方法及装置、处理系统

Also Published As

Publication number Publication date
US8964010B2 (en) 2015-02-24
US20110267440A1 (en) 2011-11-03
EP2384009A3 (en) 2014-06-18
KR101717787B1 (ko) 2017-03-17
EP2384009B1 (en) 2016-11-16
EP2384009A2 (en) 2011-11-02
KR20110120825A (ko) 2011-11-04
CN102300109A (zh) 2011-12-28

Similar Documents

Publication Publication Date Title
CN102300109B (zh) 输出音频信号的显示装置和方法
KR101185870B1 (ko) 3ｄ 입체 영상 처리 장치 및 방법
US8665321B2 (en) Image display apparatus and method for operating the same
US8958565B2 (en) Apparatus for controlling depth/distance of sound and method thereof
CN102918847B (zh) 显示图像的方法和设备
CN102577398A (zh) 图像显示装置及其操作方法
KR20120081067A (ko) 영상표시장치 및 그 동작방법
EP2582144A2 (en) Image processing method and image display device according to the method
CN102884801A (zh) 立体图像数据发送设备、立体图像数据发送方法、立体图像数据接收设备和立体图像数据接收方法
KR20120034996A (ko) 영상표시장치 및 그 동작방법
US10674133B2 (en) Image display device and image display method
KR20110090640A (ko) 영상표시장치 및 그 동작방법
US20120281073A1 (en) Customization of 3DTV User Interface Position
KR101733488B1 (ko) 3차원 영상 표시 방법 및 그에 따른 3차원 영상 표시 장치
KR101728724B1 (ko) 영상 표시 방법 및 그에 따른 영상 표시 장치
KR101674688B1 (ko) 입체영상 재생 장치 및 입체영상 재생 방법
US20130047186A1 (en) Method to Enable Proper Representation of Scaled 3D Video
KR101620969B1 (ko) 디스플레이 장치 및 이에 적용되는 3ｄ 영상 미리보기 제공 방법, 그리고 3ｄ 영상 제공 시스템
KR20120029783A (ko) 영상표시장치 및 그 동작방법
KR20120062428A (ko) 영상표시장치 및 그 동작방법
KR20120011520A (ko) 3차원 영상 표시 방법 및 그에 따른 3차원 영상 표시 장치
KR101804912B1 (ko) 입체영상 디스플레이 장치 및 입체영상 자막 디스플레이 방법
KR101176500B1 (ko) 영상표시장치 및 그 동작방법
KR20110139419A (ko) 3차원 영상 표시 방법 및 그에 따른 영상 표시 장치
KR20120107418A (ko) 음향의 깊이 제어방법 및 제어장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140514

Termination date: 20210429