CN112639683A - 显示装置及其控制方法 - Google Patents
显示装置及其控制方法 Download PDFInfo
- Publication number
- CN112639683A CN112639683A CN201980056101.1A CN201980056101A CN112639683A CN 112639683 A CN112639683 A CN 112639683A CN 201980056101 A CN201980056101 A CN 201980056101A CN 112639683 A CN112639683 A CN 112639683A
- Authority
- CN
- China
- Prior art keywords
- sound
- display device
- display
- user
- processor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title description 28
- 230000000694 effects Effects 0.000 claims description 50
- 238000004891 communication Methods 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims description 8
- 239000011159 matrix material Substances 0.000 claims 12
- 238000010586 diagram Methods 0.000 description 33
- 238000012545 processing Methods 0.000 description 17
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 16
- 230000008859 change Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000007664 blowing Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 229910021417 amorphous silicon Inorganic materials 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003595 mist Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 229920005591 polysilicon Polymers 0.000 description 1
- 238000005381 potential energy Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
- H04R2499/10—General applications
- H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
提供了一种显示装置。根据本公开的显示装置包括显示器、多个扬声器、传感器和处理器,该处理器被配置为控制显示装置以便:显示图像;生成与该图像相对应的声音并且通过多个扬声器输出该声音;基于传感器感测到用户,确定用户的位置;以及基于所确定的用户位置改变该声音的高频带声音的第一权重和低频带声音的第二权重,并且通过多个扬声器输出改变后的声音。
Description
技术领域
本公开涉及一种显示装置及其控制方法,例如,涉及一种根据用户的位置提供不同的图像和音频的显示装置及其控制方法。
背景技术
在电子技术发展的激励下,正在开发和分发各种类型的电子产品。特别地,正在大量使用通过可视化自然现象(例如瀑布和风)而特别制造的适合于安装在墙壁上的大型显示装置的内容。
在传统技术中,为了制造这样的内容,使用了诸如重复地再现拍摄了实际自然现象的视频、通过流体模拟执行实时渲染或使用滚动方法执行实时渲染等的方法。
然而,在此类方法中,存在以下问题:需要过多的资源,并且随着视频的重复再现,用户感到疲劳,并且真实感变差。
发明内容
技术问题
本公开的各种实施例解决了上述问题,并且提供了一种基于用户的位置提供不同的图像和音频的显示装置及其控制方法。
技术方案
一种根据本公开的示例实施例的显示装置包括显示器、多个扬声器、传感器和处理器,该处理器被配置为控制显示装置以便:显示图像;生成与该图像相对应的声音并且通过多个扬声器输出该声音;基于传感器感测到用户,确定用户的位置;以及基于所确定的用户位置改变该声音的高频带声音的第一权重和低频带声音的第二权重,并且通过多个扬声器输出改变后的声音。
该声音可以通过合并高频带声音和低频带声音来生成。
基于所确定的用户位置更靠近显示器的中心,处理器可以减小高频带声音的第一权重,并且增大低频带声音的第二权重。
基于所确定的用户位置与显示器之间的距离增加,处理器可以增大高频带声音的第一权重,并且减小低频带声音的第二权重。
处理器可以控制显示装置以向图像中与所确定的用户位置相对应的区域提供图像效果。
处理器可以控制显示装置以基于所确定的用户位置调整高频带声音的声像,并且通过多个扬声器输出低频带声音和调整后的高频带声音。
多个扬声器可以包括左侧扬声器和右侧扬声器,并且基于所确定的用户位置是显示器的一侧,处理器可以控制显示装置以通过右侧扬声器输出相位不同于通过左侧扬声器输出的声音的相位的声音。
根据本公开的示例实施例的显示装置还可以包括通信器,其包括通信电路;并且处理器可以通过通信器接收天气信息,并且在包括降雨信息的时间段期间,处理器可以控制显示装置以便:增大低频带声音的第二权重,分发低频带声音并且通过多个扬声器输出声音。
基于所确定的用户位置与显示器之间的距离增加,处理器可以控制显示装置以通过多个扬声器输出音量增大的声音。
多个扬声器可以包括左侧扬声器和右侧扬声器,并且基于所确定的用户位置在显示器的区域内移动,处理器可以控制显示装置以基于位置的移动调整左侧扬声器和右侧扬声器的音量。
处理器可以将显示器划分为多个竖直区域,并且基于多个竖直区域中的由传感器感测到用户的区域以及显示器与用户之间的距离来确定用户的位置。
基于不存在由传感器感测到的用户,处理器可以将随机周期的低频振荡器(LFO)信号应用于与图像相对应的声音的高频带声音和低频带声音中的每一个,并且控制显示装置通过多个扬声器输出这些声音。
根据本公开的示例实施例的显示装置还可以包括通信器,其包括通信电路;并且图像可以是与瀑布有关的图像;并且基于通过通信器接收到天气信息,处理器可以控制显示装置以基于天气信息和时间信息应用棱镜效果或照明效果。
图像可以是与瀑布有关的图像,并且基于所确定的用户位置在预定时间段期间保持不变,处理器可以控制显示装置以增加在显示器的与用户位置相对应的区域中瀑布流的宽度的图像效果。
图像可以是与瀑布有关的图像,并且处理器可以控制显示装置以基于瀑布流的宽度调整在显示器的下端区域中显示的雾量。
一种根据本公开的示例实施例的控制显示装置的方法包括:显示图像;生成与图像相对应的声音并且通过多个扬声器输出该声音;基于感测到用户,确定用户的位置;以及基于所确定的用户位置改变该声音的高频带声音的第一权重和低频带声音的第二权重,并且通过多个扬声器输出改变后的声音。
在改变时,基于所确定的用户位置更靠近显示器的中心,可以减小高频带声音的第一权重,并且可以增大低频带声音的第二权重。
在改变时,基于所确定的用户位置与显示器之间的距离增加,可以增大高频带声音的第一权重,并且可以减小低频带声音的第二权重。
多个扬声器可以包括左侧扬声器和右侧扬声器,并且在输出时,基于所确定的用户位置是显示器的一侧,可以通过右侧扬声器输出相位不同于通过左侧扬声器输出的声音的相位的声音。
在输出时,基于不存在感测到的用户,可以将随机周期的低频振荡器(LFO)信号应用于与图像相对应的声音的高频带声音和低频带声音中的每一个,并且可以通过多个扬声器输出这些声音。
附图说明
通过以下结合附图的详细描述,本公开的某些实施例的上述和/或其他方面、特征和优点将变得更加显而易见,附图中:
图1是示出根据本公开的显示装置的使用示例的图;
图2是示出根据本公开的实施例的显示装置的示例配置的框图;
图3是示出根据本公开的实施例的图2中公开的显示装置的示例配置的框图;
图4是示出根据本公开的实施例的确定用户的位置的示例的图;
图5是示出根据本公开的实施例的确定用户的位置的示例的图;
图6是示出根据本公开的实施例的表达瀑布的图像的示例方法的图;
图7A、图7B和图7C是示出根据本公开的实施例的表达瀑布的图像的示例方法的图;
图8是示出根据本公开的实施例的根据用户的位置改变声音的示例过程的图;
图9是示出根据本公开的实施例的图8中的生成声音的示例操作的图;
图10是示出根据本公开的实施例的基于天气信息改变声音的示例过程的流程图;
图11A和图11B是示出根据本公开的实施例的根据用户的位置输出声音的不同示例的图;
图12A和图12B是示出根据本公开的实施例的根据用户的位置输出声音的不同示例的图;
图13A、图13B和图13C是示出根据本公开的实施例的根据用户的位置对声音的音量进行不同调整的示例的图;
图14A、图14B和图14C是示出根据本公开的实施例的根据用户的位置对声音的音量进行不同调整的示例的图;
图15A、图15B和图15C是示出根据本公开的实施例的根据用户的位置对声音的音量进行不同调整的示例的图;
图16A、图16B和图16C是示出根据本公开的实施例的根据用户的位置对声音的相位进行不同调整的示例的图;
图17A和图17B是示出根据本公开的实施例的根据用户的数量对声音的相位进行不同调整的示例的图;
图18A、图18B和图18C是示出根据本公开的实施例的根据用户的移动速度的图像效果和声音输出的示例的图;
图19A和图19B是示出根据本公开的实施例的根据是否感测到用户而改变的示例图像效果的图;
图20是示出根据本公开的实施例的基于时间信息的示例图像效果的图;
图21是示出根据本公开的实施例的基于天气信息的示例图像效果的图;
图22是示出根据本公开的实施例的基于输入用户指令的示例图像效果的图;以及
图23是示出根据本公开的实施例的控制显示装置的示例方法的流程图。
具体实施方式
在下文中,将简要地描述在本公开中使用的术语,然后将参考附图更详细地描述本公开。
作为本公开中使用的术语,考虑到本公开中描述的功能,尽可能地选择了当前广泛使用的通用术语。但是,术语可以根据在相关领域工作的本领域技术人员的意图、先前的法院判决或新技术的出现而变化。而且,在特定情况下,可能存在可以任意选择的术语,并且在这种情况下,术语的含义将根据本公开中的相关描述而变得清楚明白。因此,本公开中使用的术语不应仅基于术语的名称来定义,而应基于术语的含义和本公开的整体内容来定义。
此外,可以对本公开的各种示例实施例进行各种修改。相应地,将在附图中示出特定实施例,并且将在本公开中描述这些实施例。然而,应注意,各种示例实施例不将本公开的范围限制为任何特定实施例,而是应被解释为包括本文公开的思想和技术范围中所包括的实施例的所有修改、等同或替代。同时,在确定描述实施例时,相关的已知技术的详细解释可能不必要地混淆本公开的要旨的情况下,可以省略其详细解释。
另外,诸如“第一”、“第二”等的术语可以用于描述各种元件,但是这些术语并不旨在限制这些元件。这类术语仅用于将一个元件与另一个元件区分开。
此外,单数表达也包括复数表达,只要它们不与上下文冲突即可。在本公开中,诸如“包括”和“具有”之类的术语应被理解为指明存在本公开中描述的这类特征、数量、步骤、操作、元件、组件或其组合,但是不排除存在或可能添加一个或多个其他特征、数量、步骤、操作、元件、组件或其组合。
在本公开的实施例中,术语“模块”或“部件”可以指代例如执行至少一个功能或操作的元件,并且这些元件可以被实现为硬件或软件,或者被实现为硬件和软件的组合。此外,多个“模块”或多个“部件”可以被集成到至少一个模块中并且被实现为至少一个处理器,除了需要被实现为特定硬件的“模块”或“部件”之外。
在下文中,将参考附图更详细地描述本公开的各种示例实施例。然而,应注意,本公开可以以各种不同的形式来实现,并且不限于本文描述的实施例。而且,在附图中,为了更清楚地说明本公开,可以省略与说明无关的部件,并且在整个公开中,相似的组件可以由相似的附图标记指明。
在下文中,将参考附图更详细地描述本公开。
图1是示出根据本公开的实施例的显示装置的使用示例的图。
参照图1,显示装置100可以显示背景图像。显示装置100可以例如是但不限于电视、监视器、膝上型PC、电子相框、信息亭、电子显示板、包括多个显示器的多显示器等。显示装置100可以例如是其主体立于地板上的显示装置或安装在墙壁上的显示装置。
可以有一个或多个用户10,并且他们可以位于显示装置100的前面。当感测到用户10时,显示装置100可以基于用户10的位置改变图像效果和声音并且输出该声音。下面将参考图2至图23更详细地描述显示装置100的详细操作。
图2是示出根据本公开的实施例的显示装置的示例配置的框图。
参照图2,显示装置100包括显示器110、扬声器120、传感器130和处理器(例如,包括处理电路)140。
显示器110可以在处理器140的控制下显示图像。在下文中,为了便于说明,显示器110上显示的图像可以被称为“背景图像”。背景图像可以是自然背景图像(例如但不限于瀑布、云、树)、人造背景图像(例如,喷泉)等。显示器110可以在处理器140的控制下显示其中背景图像被添加了各种图像效果的图像。下面将参考图18至图21更详细地描述这种图像效果。
显示器110可以被实现为各种类型的显示器,例如但不限于液晶显示器(LCD)、有机发光二极管(OLED)显示器、等离子显示面板(PDP)等。在显示器110中,也可以一起包括可以以例如但不限于非晶硅TFT、低温多晶硅(LTPS)TFT、有机TFT(OTFT)、背光单元等形式实现的驱动电路。显示器110还可以被实现为触摸屏、柔性显示器、透明显示器等。
扬声器120可以输出声音。例如,扬声器120可以输出与显示器110上显示的图像相对应的声音。而且,基于是否感测到用户,扬声器120可以输出在处理器140的控制下改变的声音。
扬声器120可以设置在显示装置100上,或者其可以是通过有线/无线方式与显示装置100连接的外部装置。根据实施例,多个扬声器中的一些扬声器可以没置在显示装置100上,而其余的扬声器可以是通过有线/无线方式与显示装置100连接的外部装置。
例如,如果存在多个扬声器120,则基于注视显示器110的用户10,扬声器120可以包括设置在显示器110的左侧的左侧扬声器和设置在显示器110的右侧的右侧扬声器。左侧扬声器和右侧扬声器可以取决于标准而被不同地指代。
多个扬声器可以在处理器140的控制下分别输出不同的声音。下面将参考图11至图18更详细地描述输出声音的各种示例。
传感器130是用于感测用户的组件并且可以包括例如但不限于传感器和/或感测电路。传感器130可以例如但不限于使用至少一个传感器感测用户是否存在、用户的位置或距显示器110的距离中的至少一项。
传感器130可以例如是感测用户是否存在以及用户移动的运动传感器。例如,运动传感器可以是RGB相机、深度相机、红外传感器、超声波传感器、其任何组合等。
处理器140可以包括各种处理电路并且控制显示装置100的整体操作。
根据本公开的实施例,处理器140可以包括各种处理电路,例如但不限于数字信号处理器(DSP)、微处理器、时间控制器(TCON)等。然而,处理器140不限于此,并且它可以包括各种处理电路,例如但不限于中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)或通信处理器(CP)、ARM处理器等中的一种或多种。处理器140可以被实现为其中存储有处理算法或具有大规模集成(LSI)的片上系统(SoC),或者被实现为现场可编程门阵列(FPGA)的形式。
而且,处理器140可以控制显示器110显示背景图像,并且控制扬声器120输出与背景图像相对应的声音。
当传感器130感测到用户时,处理器140可以基于从传感器130接收的感测值确定用户的位置。例如,处理器140可以将显示器110划分为多个竖直区域,并且确定用户位于所划分的多个区域中的其中有用户投影的区域中。处理器140可以基于感测值识别用户与显示器110之间的距离,并且确定用户的最终位置。下面将参考图4和图5更详细地描述这种确定用户位置的操作。
另外,处理器140可以基于所确定的用户位置改变声音,并且控制扬声器120输出改变后的声音。例如,处理器140可以将与背景图像相对应的声音划分为高频带声音和低频带声音。处理器140可以基于所确定的用户位置改变高频带声音和低频带声音的权重。处理器140可以合并权重已被改变的高频带声音和权重已被改变的低频带声音并生成声音,并且通过扬声器120输出所生成的声音。
例如,随着所确定的用户位置更靠近显示器110的中心,处理器140可以减小高频带声音的权重,并且增大低频带声音的权重。下面将参考图8和图11更详细地描述根据用户在显示器110处的位置来改变声音。
处理器140可以基于用户与显示器110之间的距离改变声音。例如,随着所确定的用户位置与显示器110之间的距离增加,处理器140可以增大高频带声音的权重,并且减小低频带声音的权重。下面将参考图8和图12更详细地描述根据显示器110与用户之间的距离来改变声音。
改变声音是为了随着用户越靠近瀑布或风的中心以及随着用户的距离距瀑布或风越近而提高低频能量,并且给用户带来实际上越来越靠近瀑布或风的感觉。
处理器140可以基于所确定的用户位置来调整声音的声像(panning)。声像可以是指例如调整声音的方向。例如,处理器140可以将声音划分为高频带声音和低频带声音,并且基于用户的位置调整所划分的高频带声音的声像。处理器140可以合并所划分的低频带声音和声像已被调整的高频带声音,并且通过扬声器120输出声音。通过使声音中没有方向性的低频带声音照原样通过,并且根据用户的位置仅调整具有方向性的高频带声音的声像,可以保持低频带的能量并且可以保持声音的宏伟度,并且可以输出与用户的方向相匹配的声音。下面将参考图8更详细地描述根据用户的位置来调整声音的声像。
随着所确定的用户位置越靠近显示器110的侧面区域,处理器140可以输出声音,使得从左侧扬声器输出的声音的相位不同于从右侧扬声器输出的声音的相位。例如,从左侧扬声器输出的声音的时间相位可以不同于从右侧扬声器输出的声音的时间相位。例如,在用户位于显示器110的一侧的情况下,处理器140可以输出声音,使得左侧扬声器的相位和右侧扬声器的相位相差达14ms。由此,用户可感觉到更大的空间感。下面将参考图16更详细地描述其中根据用户的位置不同地输出左侧扬声器和右侧扬声器的相位的实施例。
此外,如果传感器130感测到两个或更多个用户,则处理器140可以不同地输出左侧扬声器和右侧扬声器的相位,从而使用户感觉到更大的空间感。下面将参考图17更详细地描述其中根据感测到的用户的数量不同地输出左侧扬声器和右侧扬声器的相位的实施例。
处理器140可以通过基于所确定的用户位置调整扬声器120的音量来输出声音。例如,随着用户与显示器110之间的距离增加,处理器140可以通过扬声器120输出其音量已经增大的声音。由此,用户可以在距显示器110的特定距离范围内听到具有相同音量的声音。
如果用户的位置在显示器110的区域内移动,则处理器140可以基于位置的移动来调整左侧扬声器和右侧扬声器的音量。处理器140可以根据用户的移动速度向显示器110上显示的背景图像添加图像效果。
例如,如果用户的移动速度快,则处理器140可以将风吹动的图像效果添加到显示器110上显示的背景图像,增加风声的音量,并且输出声音。例如,在树被显示为背景图像的状态下,如果用户的移动速度快,则处理器140可以基于用户的速度显示树在风中摇摆的图像效果。处理器140可以基于用户的移动速度显示影子摇摆的图像效果。下面将参考图18更详细地描述如上的根据用户的移动速度的图像效果和声音输出。
处理器140可以向显示器110上显示的背景图像中与所确定的用户位置相对应的区域提供图像效果。例如,如果背景图像是与瀑布有关的图像,并且由传感器130确定的用户位置在预定时间段期间保持不变,则处理器140可以控制显示器110提供瀑布图像中与用户位置相对应的区域中的瀑布流的宽度被增加的图像效果。
处理器140可以基于与瀑布有关的图像的宽度调整在显示器110的下端区域中显示的雾量。例如,如果瀑布的宽度增加,则处理器140可以增加在显示器110的下端区域中显示的雾量。
如果与用户位置相对应的区域中的瀑布流的宽度增加,则处理器140可以通过扬声器120输出其中低频带的权重已经基于瀑布流的宽度而得以增大的瀑布声。
作为另一示例,如果背景图像是与云(或树)有关的图像,并且由传感器130确定的用户位置在预定时间段期间保持不变,则处理器140可以控制显示器110提供增加云图像的移动速度的图像效果。
处理器140可以通过扬声器120输出其中低频带的权重已经基于云的移动速度而得以增大的风声。
如果传感器130没有感测到用户,则处理器140可以将随机周期的低频振荡器(LFO)应用于与背景图像相对应的声音的高频带声音和低频带声音中的每一个,并且通过扬声器120输出这些声音。这将在下面参考图9更详细地描述。
虽然图2中示出了显示器110是必要的组件,但是根据实施例,显示器110可以被实现为与外部显示装置连接,而不是设置在显示装置100上。
如上所述,基于用户的位置提供图像效果和声音,因此,用户可以感觉到与现实更相似的真实感。
图3是示出根据本公开的实施例的图2中公开的显示装置的示例配置的框图。
参照图3,显示装置100可以包括显示器110、扬声器120、传感器130、处理器(例如,包括处理电路)140、通信器(例如,包括通信电路)150、存储器160、视频处理器(例如,包括视频处理电路)170、音频处理器(例如,包括音频处理电路)180和麦克风190。
由于显示器110、扬声器120和传感器130与图2所示的组件相同或相似,因此在这里将不再重复重合的描述。
通信器150可以包括各种通信电路,并且通信器150可以根据各种类型的通信方法执行与各种类型的外部装置的通信。与显示装置100通信的外部装置可以例如是服务器或用户终端装置等。
通信器150与外部装置之间的通信连接可以包括通过第三设备(例如,中继器、集线器、接入点、服务器或网关等)的通信。无线通信可以例如包括蜂窝通信,该蜂窝通信使用例如但不限于LTE、LTE Advance(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)、全球移动通信系统(GSM)等中的至少一种。根据实施例,无线通信可以包括例如但不限于无线保真(WiFi)、蓝牙、蓝牙低功耗(BLE)、Zigbee、近场通信(NFC)、磁性安全传输、射频(RF)、体域网(BAN)等中的至少一种。有线通信可以包括例如但不限于通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信、普通老式电话服务(POTS)等中的至少一种。其中执行无线通信或有线通信的网络可以包括例如但不限于电信网络、计算机网络(例如,LAN或WAN)、互联网、电话网络等中的至少一种。
通信器150可以从外部装置接收天气信息、时间信息等。
使用通过通信器150接收的天气信息或时间信息中的至少一项,处理器140可以向显示器110上显示的背景图像提供图像效果,改变声音并且输出该声音。
例如,如果天气信息中包括降雨信息,则处理器140可以在包括降雨信息的时间段期间增大低频带声音的权重(如图10所示),分发低频带声音,并且通过扬声器120输出该声音。
参照图10,在操作910中,处理器140可以生成与显示器110上显示的背景图像相对应的声音。在操作920中,处理器140可以确定通过通信器150接收的天气信息中是否包括降雨信息,并且如果包括降雨信息(920-是),则处理器140可以使用低通滤波器(940)抑制包括降雨信息的时间段的声音的高频带声音,通过混响(930)分发声音并且输出声音(950)。在图10中,为了便于说明,示出了并行地应用混响930和低通滤波器940,但是在实际的实施方式中,它们可以被接连地应用,或者可以仅应用二者之一。
如果不包括降雨信息(920-否),则处理器140可以照原样输出所生成的声音910。
作为示例,如果通过通信器150接收到天气信息或时间信息中的至少一项,则处理器140可以使用接收到的天气信息或时间信息中的至少一项来提供图像效果。
例如,基于接收到的时间信息,如果当前时间是夜晚,则处理器140可以控制显示装置100,使得显示照明效果,如图20所示。
如果显示器110上显示的背景图像是与瀑布有关的图像,则在当前时间是白天并且天气晴朗的情况下,基于接收到的时间信息和天气信息,处理器140可以控制显示装置100,使得显示棱镜效果,如图21所示。
存储器160可以存储显示装置100的操作所需的各种类型的程序和数据。例如,在存储器160中,可以存储至少一个指令。处理器140可以通过执行存储器160中存储的指令来执行前述操作。存储器160可以被实现为例如但不限于非易失性存储器、易失性存储器、闪存、硬盘驱动器(HDD)、固态驱动器(SSD)等。
例如,在存储器160中,为了向用户提供真实感,可以匹配并且存储与根据用户位置的声音的音量、声像、权重等有关的信息。存储器160可以根据天气信息或时间信息来存储可以被匹配和存储的图像效果。
在存储器160中,可以存储背景图像的内容。这里,背景图像可以是诸如瀑布、树和云之类的自然背景图像或诸如喷泉之类的人造背景图像。
视频处理器170可以包括用于处理通过通信器150接收的内容或存储器160中存储的内容中包括的视频数据的各种视频处理电路。视频处理器170可以执行各种类型的图像处理,例如但不限于视频数据的解码、缩放、噪声过滤、帧速率转换、分辨率转换等。
音频处理器180可以包括用于处理通过通信器150接收的内容或存储器160中存储的内容中包括的音频数据的各种音频处理电路。音频处理器180可以执行各种类型的处理,例如但不限于音频数据的解码、放大、噪声过滤等。
当执行多媒体内容的再现应用时,处理器140可以操作视频处理器170和音频处理器180,从而可以再现内容。显示器110可以在主显示区域与子显示区域之间的至少一个区域中显示在视频处理器170处生成的图像帧。
麦克风190可以接收发出的用户语音。麦克风190可以通过处理器140的控制将从外部接收的语音或声音生成(或转换)为电子信号。在麦克风190处生成的电子信号可以通过处理器140的控制进行转换并且存储在存储器160中。
作为示例,如果通过传感器130感测到用户运动,或者通过麦克风190接收到包括触发词的用户语音,则处理器140可以提供图像效果,使得在用户指令正被输入的同时瀑布向上倒退,如图22所示。如果再次输入用户指令,或者用户指令的输入结束,则处理器140可以显示背景图像,使得瀑布再次向下落下。可以提供这样的操作作为在背景图像是云或树的情况下改变风向的图像效果。
除了以上之外,尽管在图3中未示出,但是根据实施例,显而易见的是,在显示装置100内部,还可以包括可以连接USB连接器的USB端口、HDMI端口、用于连接到各种外部终端(例如,耳机、鼠标和LAN)的各种外部输入端口、接收数字多媒体广播(DMB)信号并且处理该信号的DMB芯片、各种传感器等。
图4和图5是示出根据本公开的实施例的确定用户的位置的示例的图。
参照图4,安装在墙壁上的显示装置100可以使用其中通过传感器感测用户10的区域以及显示器与用户10之间的距离d来确定用户10的位置。用户10可以位于传感器可以感测的距离和宽度内。
作为示例,显示装置100可以将显示器划分为多个竖直区域(如图5所示),并且感测多个竖直区域中的其中有用户投影的区域。参照图4和图5,在多个竖直区域1、2、3、4、5、6和7(在下文中可以被称为从1至7的区域)中,其中感测到用户的区域可以是区域6,因此,显示装置100可以确定用户10位于在区域6(51)内并且距离为d的位置中。
同时,图4和图5仅是确定用户的位置的示例,可以通过各种方法来确定用户的位置,例如但不限于使用多个超声波传感器、多个红外传感器来确定用户的位置,使用相机来确定用户的位置等。
图6和图7A、图7B和图7C是示出根据本公开的实施例的表达瀑布的图像的示例方法的图。
在常规技术中,通过重复其中将水流(方向矢量)映射到RGB颜色空间的流动图和用于计算水表面的折射的法线图来渲染好像水流动的图形。这里,法线图可以表示通过使用纹理执行诸如影子之类的详细描述来提高操作效率的技术。
同时,在本公开中,可以使用瀑布纹理而不是使用法线图来渲染瀑布。例如,显示装置可以使用随机元素来混合两个或更多个纹理,以避免感觉到瀑布的纹理被重复。在图6中,示出了混合两个纹理的实施例,但是在实际的实施方式中,可以混合三个或更多个纹理。
参照图6,显示装置可以通过将乘以权重α的纹理A 610和乘以权重β的纹理B 620相加来获取输出纹理630。这里,α+β满足1.0,并且例如可以通过柏林噪声算法来生成α或β中的至少一个。这里,柏林噪声算法是一种用于在图形领域中在表面上生成自然纹理的技术,它能够更好地表达视觉效果中自然现象的复杂性。
作为示例,可以从基于水量分类的纹理组中选择被混合的两个或更多个纹理,并且可以通过随机周期来改变纹理组中所选择的纹理。例如,基于瀑布的水量分类的纹理组可以预先存储在显示装置中,或者可能已经从外部装置接收。
例如,纹理组可以被分为包括水量很多的纹理的纹理组A(如图7A所示)、包括水量中等的纹理的纹理组B(如图7B所示)和包括水量很少的纹理的纹理组C(如图7C所示)。在图7A、图7B和图7C中,示出了使用三个纹理组,但是在实际的实施方式中,可以存在两个或四个或更多个纹理组。而且,尽管示出了每个纹理组中包括四个纹理,但是根据实施例,可以存在三个或更少或者五个或更多的纹理组。
例如,显示装置可以将权重α乘以从纹理组A选择的纹理,将权重β乘以从纹理组B选择的纹理,并且将权重γ乘以从纹理组C选择的纹理,然后将已经乘以权重的每个纹理相加,并且获取输出纹理。这里,可以通过随机周期来改变从每个纹理组选择的纹理。
此外,这里,α+β+γ满足1.0,并且可以通过柏林噪声算法来生成α、β或γ中的至少一个。基于图像上显示的水量,显示装置可以执行调整,使得在水量很多的区域中,α值变大,而在水量很少的区域中,γ值变大。
同时,在图7A、图7B和图7C中,示出了其中根据水量对纹理组进行分类的实施例,但是可以根据纹理的颜色对纹理组进行分类。例如,纹理组A可以是包括R(红色)颜色的纹理的组,纹理组B可以是包括G(绿色)颜色的纹理的组,并且纹理组C可以是包括B(蓝色)颜色的纹理的组。显示装置可以通过混合从每个组选择的纹理来生成图像。
图8是示出根据本公开的实施例的根据用户的位置改变声音的示例过程的图。
参照图8,首先,显示装置可以生成与背景图像相对应的声音(710)。与背景图像相对应的声音可以是瀑布声、风声等,并且可以使用噪声(白噪声)来生成,如图9所示。
参照图9,显示装置可以生成噪声(810),并且使用高通滤波器820和低通滤波器830来划分噪声的高频带和低频带。显示装置可以将LFO 825、835应用于所划分的高频带声音和低频带声音中的每一个。而且,这里,LFO可以例如指代生成低于人类可听范围的频率信号的振荡器,并且通常,其可以使0.1至30Hz之间的频率振荡。
所应用的LFO 825、835可以具有随机周期。由此,在用户从远距离听到长时间的声音的情况下,可以不重复相同的声音。
显示装置可以将权重应用于低频带声音和高频带声音以在背景图像中表达瀑布的高度。例如,当水落下的位置较高时,显示装置可以增大低频带声音的权重。这是因为当水落下的实际高度较高时能量增加,并且根据与水表面碰撞时生成的势能生成了大量低频带声音。
另外,显示装置可以合并分别应用了LFO的高频带声音和低频带声音(840),并且延迟左侧扬声器和右侧扬声器之一的声音的相位以表达瀑布的宽度(850),从而生成左侧扬声器与右侧扬声器之间的相位差。这是使用感觉到左侧与右侧之间的时间相位差(等于或小于14ms)作为宽度的听力识别特征来执行的,并且瀑布的宽度可以被表达为左侧声音与右侧声音之间的延迟。
显示装置可以输出处理后的声音(860)。
如上所述的声音输出860可以对应于图8中的生成声音(710)。如果在正输出通过图9所示的过程生成的声音(710)的同时感测到用户(720-是),则显示装置可以使用高通滤波器730和低通滤波器740将声音划分为高频带声音和低频带声音。
显示装置可以使用声像调整器750来调整所划分的高频带声音的声像。显示装置可以基于感测值760来调整高频带声音的声像。感测值760可以例如指代用户的位置。
显示装置可以合并声像已被调整的高频带声音和低频带声音(770)。显示装置可以使用感测值760将权重应用于高频带声音和低频带声音。例如,在基于感测值760确定的用户的位置是显示器的中心,或者其与显示器的距离靠近的情况下,显示装置可以增大低频带声音的权重,减小高频带声音的权重,并且合并这些声音。
显示装置可以基于感测值760延迟要从左侧扬声器和右侧扬声器输出的声音,从而生成时间相位差。例如,在基于感测值760确定的用户的位置是显示器的侧面区域的情况下,显示装置可以延迟通过左侧扬声器和右侧扬声器输出的声音之一,从而生成左侧声音与右侧声音之间的时间相位差。
显示装置可以输出生成了相位差的左侧声音和右侧声音(790)。
如果用户的位置是显示器的中心区域,则显示装置可以输出声音,使得左侧声音与右侧声音之间的相位差相同而没有延迟。
如果在正输出通过图9所示的过程生成的声音(710)的同时未感测到用户(720-否),则显示装置可以照原样输出(790)所生成的声音(710)。
图11A、图11B、图12A和图12B是示出根据用户的位置的不同声音输出的示例的图。在显示装置100的中心区域中,可以显示具有大宽度的瀑布图像。
例如,图11A示出了用户10位于显示装置100的中心区域中的示例,图11B示出了用户10位于显示装置100的侧面区域中的示例。
如图11A所示,在用户10位于显示装置100的中心区域中的情况下,显示装置可以将瀑布声划分为高频带声音和低频带声音,并且输出其中低频带声音的权重已被增大且高频带声音的权重已被减小的声音。
如图11B所示,在用户10位于显示装置100的侧面区域中的情况下,显示装置可以将瀑布声划分为高频带声音和低频带声音,并且输出其中高频带声音的权重已被增大且低频带声音的权重已被减小的声音。
基于此,用户10可以根据在显示装置100前面的位置听到不同的声音,因此,用户10可以感觉到真实感,就好像实际的瀑布位于前面一样。
图12A示出了用户10位于距显示装置100近距离的位置处的示例,图12B示出了用户10位于距显示装置100远距离的位置处的示例。
如图12A所示,在用户10位于距显示装置100近距离的位置处的情况下,显示装置可以将瀑布声划分为高频带声音和低频带声音,并且输出其中低频带声音的权重已被增大且高频带声音的权重已被减小的声音。
如图12B所示,在用户10位于距显示装置100远距离的位置处的情况下,显示装置可以将瀑布声划分为高频带声音和低频带声音,并且输出其中高频带声音的权重已被增大且低频带声音的权重已被减小的声音。
基于此,用户10可以根据距显示装置100的距离听到不同的声音,因此,用户10可以感觉到真实感,就好像实际的瀑布位于前面一样。
图13A、图13B、图13C、图14A、图14B、图14C、图15A、图15B和图15C是示出根据用户的位置对声音的音量进行不同调整的示例的图。基于用户10的注视方向,显示装置100可以包括左侧扬声器120-1和右侧扬声器120-2。
图13A示出了用户10位于显示装置100的左侧区域中的示例,图13B示出了用户10位于显示装置100的中心区域中的示例,图13C示出了用户10位于显示装置100的右侧区域中的示例。
参照图13A,在用户10位于显示装置100的左侧区域中的情况下,左侧扬声器120-1可以输出音量小的声音,而右侧扬声器120-2可以输出音量大的声音。
此外,参照图13B,在用户10位于显示装置100的中心区域中的情况下,左侧扬声器120-1和右侧扬声器120-2可以输出音量大小相同的声音。
参照图13C,在用户10位于显示装置100的右侧区域中的情况下,左侧扬声器120-1可以输出音量大的声音,而右侧扬声器120-2可以输出音量小的声音。
这是为了不管用户10的位置如何而提供音量相同的听力体验,并且尽管用户听到的音量可能相同,但是如上所述,根据用户位置的左侧扬声器与右侧扬声器之间的相位差以及低频带声音的权重和高频带声音的权重可以不同。
图14A示出了用户10位于距显示装置100远距离的位置处的示例,图14B示出了用户10位于距显示装置100中等距离的位置处的示例,图14C示出了用户10位于距显示装置100近距离的位置处的示例。基于用户10位于显示装置100的中心区域中的假设,左侧扬声器和右侧扬声器120-1、120-2的音量大小可以相同。
参照图14A,在用户10位于距显示装置100远距离的位置处的情况下,左侧扬声器120-1和右侧扬声器120-2可以输出音量大的声音。
参照图14B,在用户10位于距显示装置100中等距离的位置处的情况下,左侧扬声器120-1和右侧扬声器120-2可以输出音量中等的声音。
参照图14C,在用户10位于距显示装置100近距离的位置处的情况下,左侧扬声器120-1和右侧扬声器120-2可以输出音量小的声音。
这是为了不管用户10的位置如何而提供音量相同的听力体验,并且尽管用户听到的音量可能相同,但是如上所述,低频带声音的权重和高频带声音的权重可以不同。
图15A、图15B和图15C示出了其中应用了图13和图14二者的实施例的示例,并且图15A示出了用户10位于显示装置100的左侧区域中并且处于远距离的示例,图15B示出了用户10位于显示装置100的右侧区域中并且处于中等距离的示例,图15C示出了用户10位于显示装置100的中心区域中并且处于近距离的示例。
参照图15A,在用户10位于显示装置100的左侧区域中并且处于远距离的情况下,左侧扬声器120-1和右侧扬声器120-2均输出音量大的声音,但是右侧扬声器120-2可以输出比左侧扬声器120-1音量更大的声音。
参照图15B,在用户10位于显示装置100的右侧区域中并且处于中等距离的情况下,左侧扬声器120-1和右侧扬声器120-2均输出音量中等的声音,但是左侧扬声器120-1可以输出比右侧扬声器120-2音量更大的声音。
参照图15C,在用户10位于显示装置100的中心区域中并且处于近距离的情况下,左侧扬声器120-1和右侧扬声器120-2均可以输出大小相同的小音量的声音。
这是为了不管用户10的位置如何而提供音量相同的听力体验,并且尽管用户听到的音量可能相同,但是如上所述,根据用户位置的左侧扬声器与右侧扬声器之间的相位差以及低频带声音的权重和高频带声音的权重可以不同。
图13至图15所示的声音音量仅是实施例,本公开不限于此。
图16A、图16B和图16C是示出根据用户的位置对声音的相位进行不同调整的示例的图。基于用户10的注视方向,显示装置100可以包括左侧扬声器120-1(L)和右侧扬声器120-2(R)。图16A、图16B和图16C中的阴影区域可以例如指代用户10感觉到的声音的宽度。
图16A示出了用户10位于显示装置100的左侧区域中的示例,图16B示出了用户10位于显示装置100的中心区域中的示例,图16C示出了用户10位于显示装置100的右侧区域中的示例。
参照图16A,在用户10位于显示装置100的左侧区域中的情况下,左侧扬声器120-1和右侧扬声器120-2可以输出相位不同的声音。例如,显示装置100可以延迟左侧扬声器120-1的声音或右侧扬声器120-2的声音中的至少一个,使得从左侧扬声器120-1输出的声音与从右侧扬声器120-2输出的声音之间的相位差等于或小于14ms,并且输出声音。
这也与如图16C中的用户10位于显示装置100的右侧区域中的情况相同或相似。
如图16B所示,在用户10位于显示装置100的中心区域中的情况下,显示装置可以输出左侧扬声器120-1的声音和右侧扬声器120-2的声音,使得这些声音具有相同的相位。
如上所述,在用户10存在于显示装置100的两侧的情况下,由于提供了左侧声音/右侧声音之间的时间相位差,因此可能存在有距离的空间感,而在用户10位于显示装置100的中心区域中的情况下,没有提供时间相位差,因此可以感觉到更大的空间感。
图17A和图17B是示出根据用户的数量对声音的相位进行不同调整的示例的图。
如图17A所示,如果一个用户10位于显示装置100的中心区域中,则显示装置100可以不提供左侧扬声器120-1的声音与右侧扬声器120-2的声音之间的相位差。
另一方面,如图17B所示,在多个用户位于显示装置100的若干个区域中的情况下,显示装置100可以延迟左侧扬声器120-1的声音或右侧扬声器120-2的声音中的至少一个,使得从左侧扬声器120-1输出的声音与从右侧扬声器120-2输出的声音之间的相位差等于或小于14ms,并且输出声音。由此,多个用户可以感觉到更大的空间感。
图16和图17所示的时间相位差仅是示例,本公开不限于此。
图18A、图18B和图18C是示出根据用户的移动速度的图像效果和声音输出的示例的图。例如,显示装置100可以使用传感器来感测用户的位置移动和移动速度,并且基于感测到的移动速度来提供不同的图像效果和声音。
图18A示出了用户10的移动速度为4km/h的示例,图18B示出了用户10的移动速度为8km/h的示例,图18C示出了用户10的移动速度为12km/h的示例。
如图18A所示,在用户10的移动速度为4km/h的情况下,显示装置100可以提供弱风吹动的图像效果。由于显示装置100提供弱风吹动的图像效果,显示装置100可以控制左侧扬声器和右侧扬声器120-1、120-2,使得提供弱风声。
如图18B所示,在用户10的移动速度为8km/h的情况下,显示装置100可以提供中强风吹动的图像效果。由于显示装置100提供中强风吹动的图像效果,显示装置100可以控制左侧扬声器和右侧扬声器120-1、120-2,使得提供比图18A中音量更大的风声。
如图18所示,在用户10的移动速度为12km/h的情况下,显示装置100可以提供强风吹动的图像效果。由于显示装置100提供强风吹动的图像效果,显示装置100可以控制左侧扬声器和右侧扬声器120-1、120-2,使得提供比图18B中音量更大的风声。
在图18A、图18B和图18C中,示出了向包括树的背景图像提供图像效果,但是可以向诸如云和风车之类的各种背景图像提供相同的图像效果和声音。由于提供了根据用户位置的好像风吹动的图像效果,也可以提供背景图像中包括的树、风车等的影子根据用户的移动速度而摇摆的图像效果。
如上所述,由于提供了根据用户交互的图像效果和声音,可以向用户提供真实感更佳的体验。
图19A和图19B是示出根据是否感测到用户而改变的图像效果的示例的图。
例如,图19A示出了在没有感测到用户的情况下提供的背景图像。显示装置100可以将随机元素应用于最后一次感测到用户的位置,并且输出背景图像和与其对应的声音。
例如,在背景图像是与瀑布有关的图像的情况下,显示装置100可以在整个显示区域上显示宽度窄的多个瀑布流。如图9所示,显示装置100可以使用噪声来生成瀑布声,并且使用随机周期的LFO信号来防止和/或减少相同声音的重复,使得声音更接近自然现象。
在如图19A所示的状态下,如果感测到用户10,并且用户10在预定时间段期间保持位置,则显示装置100可以提供如图19B所示的图像效果。
例如,如果背景图像是与瀑布有关的图像,则显示装置100可以提供在与感测到用户的位置相对应的显示区域中瀑布流的宽度增加的图像效果。由于瀑布流的宽度增加,显示装置100可以增大低频带声音的权重并且输出声音。显示装置100可以增加在显示器的下端区域中生成的雨雾量。
如上所述,图像效果和声音是根据用户的位置实时提供的,因此,用户可以感觉到真实感,就好像实际的瀑布位于前面一样。
图23是示出根据本公开的实施例的控制显示装置的示例方法的流程图。
参照图23,在操作S2210,显示装置可以显示背景图像。背景图像可以是诸如瀑布、树和云之类的自然背景图像或诸如喷泉之类的人造背景图像。在操作S2220,显示装置可以输出与背景图像相对应的声音。例如,与背景图像相对应的声音可以是诸如瀑布的水声、风声等,并且显示装置可以通过使用随机周期的LFO信号将所生成的声音输出为白噪声。
当感测到用户时,在操作S2230,显示装置可以确定感测到的用户的位置。具体地,显示装置可以通过使用安装的至少一个传感器来确定用户的位置。例如,显示装置可以将显示器划分为多个竖直区域,通过使用传感器识别多个竖直区域中的其中感测到用户的区域,并且通过使用所识别出的区域和距用户的距离来确定用户的位置。
在操作S2240,显示装置可以基于所确定的用户位置改变声音的高频带声音的第一权重和低频带声音的第二权重。例如,显示装置可以使用高通滤波器和低通滤波器将与背景图像相对应的声音划分为高频带声音和低频带声音。显示装置可以根据用户的位置调整高频带声音的第一权重和低频带声音的第二权重。例如,如果用户位于显示器的中心区域中或处于近距离,则显示装置可以增大低频带声音的第二权重,并且减小高频带声音的第一权重。
显示装置可以根据用户的位置调整高频带声音的声像,或者可以执行控制,使得从左侧扬声器和右侧扬声器输出的声音具有相位差。
在操作S2250,显示装置可以输出改变后的声音。
如在上述的各种实施例中,根据用户的位置和用户交互来提供不同的图像效果和声音,因此,用户可以感觉到与现实更相似的真实感。
上述各种实施例可以使用软件、硬件或其组合在计算机或类似于计算机的装置可读的记录介质中实现。根据利用硬件的实施方式,本公开中描述的实施例可以使用例如但不限于用于执行各种功能的专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、电子单元等中的至少一种来实现。在某些情况下,本公开中描述的实施例可以被实现为处理器本身。同时,根据利用软件的实施方式,本公开中描述的诸如过程和功能的实施例可以被实现为单独的软件模块。每个软件模块可以执行本说明书中描述的一个或多个功能和操作。
根据本公开的前述各种实施例的方法可以存储在非暂时性可读介质中。这样的非暂时性可读介质可以在被安装在各种装置上时使用。
非暂时性可读介质可以例如指代半永久性地存储数据并且是机器可读的介质。例如,可以提供用于执行前述各种方法的程序,同时将其存储在非暂时性可读介质中,例如但不限于CD、DVD、硬盘、蓝光盘、USB、存储卡、ROM等。
根据本公开的实施例,可以提供根据本公开中描述的各种实施例的方法,同时将其包括在计算机程序产品中。计算机程序产品指代一种产品,它可以在买卖双方之间进行交易。计算机程序产品可以以机器可读的存储介质(例如,光盘只读存储器(CD-ROM))的形式或通过应用商店(例如,PlayStoreTM)在线分发。在在线分发的情况下,计算机程序产品的至少一部分可以至少临时地存储在诸如制造商的服务器、应用商店的服务器和中继服务器的存储器之类的存储介质中,或者可以临时地生成。
尽管已经示出和描述了本公开的各种示例实施例,但是应理解,本公开不限于上述实施例,并且显而易见的是,在不脱离本公开的真实精神和完整范围的情况下,本公开所属技术领域的普通技术人员可以对其进行各种修改。
Claims (15)
1.一种显示装置,包括:
显示器;
多个扬声器;
传感器;以及
处理器,被配置为控制所述显示装置以便:
控制所述显示器显示图像,
生成与所述图像相对应的声音并且通过所述多个扬声器输出所述声音,
基于所述传感器感测到用户,确定感测到的用户的位置,以及
基于所确定的用户位置改变所述声音的高频带声音的第一权重和低频带声音的第二权重,并且通过所述多个扬声器输出改变后的声音。
2.根据权利要求1所述的显示装置,
其中,所述声音是通过合并所述高频带声音和所述低频带声音而生成的。
3.根据权利要求1所述的显示装置,
其中,所述处理器被配置为控制所述显示装置以便:
基于所确定的用户位置朝向所述显示器的中心,减小所述高频带声音的所述第一权重并且增大所述低频带声音的所述第二权重。
4.根据权利要求1所述的显示装置,
其中,所述处理器被配置为控制所述显示装置以便:
基于所确定的用户位置与所述显示器之间的距离增加,增大所述高频带声音的所述第一权重并且减小所述低频带声音的所述第二权重。
5.根据权利要求1所述的显示装置,
其中,所述处理器被配置为控制所述显示装置以便:
控制所述显示器向所述图像中与所确定的用户位置相对应的区域提供图像效果。
6.根据权利要求1所述的显示装置,
其中,所述处理器被配置为控制所述显示装置以便:
基于所确定的用户位置调整所述高频带声音的声像,以及
通过所述多个扬声器输出所述低频带声音和调整后的高频带声音。
7.根据权利要求1所述的显示装置,
其中,所述多个扬声器包括左侧扬声器和右侧扬声器,并且
所述处理器被配置为控制所述显示装置以便:
基于所确定的用户位置是在所述显示器的一侧,通过所述右侧扬声器输出相位不同于通过所述左侧扬声器输出的声音的相位的声音。
8.根据权利要求1所述的显示装置,还包括:
通信器,包括通信电路,并且
其中,所述处理器被配置为控制所述显示装置以便:
通过所述通信器接收天气信息,以及
基于所述天气信息包括降雨信息,增大所述低频带声音的所述第二权重,分发所述低频带声音,并且通过所述多个扬声器输出所述声音。
9.根据权利要求1所述的显示装置,
其中,所述处理器被配置为控制所述显示装置以便:
基于所确定的用户位置与所述显示器之间的距离增加,通过所述多个扬声器输出音量增大的声音。
10.根据权利要求1所述的显示装置,
其中,所述多个扬声器包括左侧扬声器和右侧扬声器,并且
所述处理器被配置为控制所述显示装置以便:
基于所确定的用户位置在所述显示器的区域内移动的移动量,调整所述左侧扬声器和所述右侧扬声器的音量。
11.根据权利要求1所述的显示装置,
其中,所述处理器被配置为控制所述显示装置以便:
将所述显示器划分为多个竖直区域,以及
基于所述多个竖直区域中的由所述传感器感测到用户的区域并且基于所述显示器与所述用户之间的距离,确定所述用户的位置。
12.根据权利要求1所述的显示装置,
其中,所述处理器被配置为控制所述显示装置以便:
基于所述传感器未感测到用户,将随机周期的低频振荡器LFO信号应用于与所述图像相对应的声音的高频带声音和低频带声音中的每一个,并且通过所述多个扬声器输出这些声音。
13.根据权利要求1所述的显示装置,还包括:
通信器,包括通信电路,并且
其中,所述图像包括与瀑布有关的图像,并且
所述处理器被配置为控制所述显示装置以便:
基于通过所述通信器接收到天气信息,控制所述显示器基于所述天气信息和时间信息来提供棱镜效果和/或照明效果。
14.根据权利要求1所述的显示装置,
其中,所述图像包括与瀑布有关的图像,并且
所述处理器被配置为控制所述显示装置以便:
基于所确定的用户位置在预定时间段期间保持不变,控制所述显示器提供在所述显示器的与所述用户位置相对应的区域中瀑布流的宽度被增加的图像效果。
15.根据权利要求1所述的显示装置,
其中,所述图像包括与瀑布有关的图像,并且
所述处理器被配置为控制所述显示装置以便:
基于瀑布流的宽度调整在所述显示器的下端区域中显示的雾量。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862726552P | 2018-09-04 | 2018-09-04 | |
US62/726,552 | 2018-09-04 | ||
KR10-2018-0155697 | 2018-12-06 | ||
KR1020180155697A KR20200027394A (ko) | 2018-09-04 | 2018-12-06 | 디스플레이 장치 및 이의 제어 방법 |
PCT/KR2019/011376 WO2020050609A1 (en) | 2018-09-04 | 2019-09-04 | Display apparatus and method for controlling thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112639683A true CN112639683A (zh) | 2021-04-09 |
CN112639683B CN112639683B (zh) | 2024-08-13 |
Family
ID=69802938
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201980056101.1A Active CN112639683B (zh) | 2018-09-04 | 2019-09-04 | 显示装置及其控制方法 |
Country Status (3)
Country | Link |
---|---|
EP (1) | EP3797346A4 (zh) |
KR (1) | KR20200027394A (zh) |
CN (1) | CN112639683B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5812674A (en) * | 1995-08-25 | 1998-09-22 | France Telecom | Method to simulate the acoustical quality of a room and associated audio-digital processor |
US20060139314A1 (en) * | 2002-05-28 | 2006-06-29 | Matthew Bell | Interactive video display system |
CN1822711A (zh) * | 2004-12-30 | 2006-08-23 | 蒙多系统公司 | 使用集中式信号处理的集成多媒体信号处理系统 |
CN101175337A (zh) * | 2006-10-23 | 2008-05-07 | 索尼株式会社 | 输出控制系统和方法、输出控制装置和方法、程序 |
CN101715589A (zh) * | 2007-04-24 | 2010-05-26 | 锡克拜控股有限公司 | 标记文档或物品的方法;用于标识所标记的文档或物品的方法和设备;圆偏振粒子的使用 |
CN101990075A (zh) * | 2009-07-30 | 2011-03-23 | 索尼公司 | 显示装置和音频输出装置 |
US20120051579A1 (en) * | 2003-03-10 | 2012-03-01 | Cohen Daniel E | Sound and Vibration Transmission Pad and System |
US20120293405A1 (en) * | 2009-09-15 | 2012-11-22 | Sony Corporation | Display device and controlling method |
CN102972047A (zh) * | 2010-05-04 | 2013-03-13 | 三星电子株式会社 | 用于再现立体声的方法和设备 |
JP2014038051A (ja) * | 2012-08-17 | 2014-02-27 | Dainippon Printing Co Ltd | 気象情報生成装置、プログラム及び通信システム |
CN104581543A (zh) * | 2013-10-10 | 2015-04-29 | 三星电子株式会社 | 音频系统、输出音频的方法以及扬声器设备 |
CN106249983A (zh) * | 2015-06-09 | 2016-12-21 | 三星电子株式会社 | 显示设备、点选设备、点选系统以及它们的控制方法 |
US20170001561A1 (en) * | 2013-11-29 | 2017-01-05 | Harman Becker Automotive Systems Gmbh | Generating an audio signal with a configurable distance cue |
CN106782540A (zh) * | 2017-01-17 | 2017-05-31 | 联想(北京)有限公司 | 语音设备及包括所述语音设备的语音交互系统 |
US20170243602A1 (en) * | 2016-02-19 | 2017-08-24 | Samsung Electronics Co., Ltd. | Electronic device and method for classifying voice and noise |
CN107749054A (zh) * | 2017-10-31 | 2018-03-02 | 努比亚技术有限公司 | 一种图像处理方法、装置及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8880205B2 (en) * | 2004-12-30 | 2014-11-04 | Mondo Systems, Inc. | Integrated multimedia signal processing system using centralized processing of signals |
JP2010206451A (ja) * | 2009-03-03 | 2010-09-16 | Panasonic Corp | カメラ付きスピーカ、信号処理装置、およびavシステム |
US9712940B2 (en) * | 2014-12-15 | 2017-07-18 | Intel Corporation | Automatic audio adjustment balance |
US10152959B2 (en) * | 2016-11-30 | 2018-12-11 | Plantronics, Inc. | Locality based noise masking |
-
2018
- 2018-12-06 KR KR1020180155697A patent/KR20200027394A/ko not_active Application Discontinuation
-
2019
- 2019-09-04 EP EP19857592.0A patent/EP3797346A4/en active Pending
- 2019-09-04 CN CN201980056101.1A patent/CN112639683B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5812674A (en) * | 1995-08-25 | 1998-09-22 | France Telecom | Method to simulate the acoustical quality of a room and associated audio-digital processor |
US20060139314A1 (en) * | 2002-05-28 | 2006-06-29 | Matthew Bell | Interactive video display system |
US20120051579A1 (en) * | 2003-03-10 | 2012-03-01 | Cohen Daniel E | Sound and Vibration Transmission Pad and System |
CN1822711A (zh) * | 2004-12-30 | 2006-08-23 | 蒙多系统公司 | 使用集中式信号处理的集成多媒体信号处理系统 |
CN101175337A (zh) * | 2006-10-23 | 2008-05-07 | 索尼株式会社 | 输出控制系统和方法、输出控制装置和方法、程序 |
CN101715589A (zh) * | 2007-04-24 | 2010-05-26 | 锡克拜控股有限公司 | 标记文档或物品的方法;用于标识所标记的文档或物品的方法和设备;圆偏振粒子的使用 |
CN101990075A (zh) * | 2009-07-30 | 2011-03-23 | 索尼公司 | 显示装置和音频输出装置 |
US20120293405A1 (en) * | 2009-09-15 | 2012-11-22 | Sony Corporation | Display device and controlling method |
CN102972047A (zh) * | 2010-05-04 | 2013-03-13 | 三星电子株式会社 | 用于再现立体声的方法和设备 |
JP2014038051A (ja) * | 2012-08-17 | 2014-02-27 | Dainippon Printing Co Ltd | 気象情報生成装置、プログラム及び通信システム |
CN104581543A (zh) * | 2013-10-10 | 2015-04-29 | 三星电子株式会社 | 音频系统、输出音频的方法以及扬声器设备 |
US20170001561A1 (en) * | 2013-11-29 | 2017-01-05 | Harman Becker Automotive Systems Gmbh | Generating an audio signal with a configurable distance cue |
CN106249983A (zh) * | 2015-06-09 | 2016-12-21 | 三星电子株式会社 | 显示设备、点选设备、点选系统以及它们的控制方法 |
US20170243602A1 (en) * | 2016-02-19 | 2017-08-24 | Samsung Electronics Co., Ltd. | Electronic device and method for classifying voice and noise |
CN106782540A (zh) * | 2017-01-17 | 2017-05-31 | 联想(北京)有限公司 | 语音设备及包括所述语音设备的语音交互系统 |
CN107749054A (zh) * | 2017-10-31 | 2018-03-02 | 努比亚技术有限公司 | 一种图像处理方法、装置及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
KR20200027394A (ko) | 2020-03-12 |
CN112639683B (zh) | 2024-08-13 |
EP3797346A4 (en) | 2021-12-08 |
EP3797346A1 (en) | 2021-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11032508B2 (en) | Display apparatus and method for controlling audio and visual reproduction based on user's position | |
KR102427898B1 (ko) | 전자 장치 및 전자 장치의 음악 컨텐츠 시각화 방법 | |
JP6909554B2 (ja) | 視覚効果を有するオブジェクトを表示する装置及び方法 | |
US20180189980A1 (en) | Method and System for Providing Virtual Reality (VR) Video Transcoding and Broadcasting | |
US20180164981A1 (en) | Display apparatus and method for controlling the display apparatus | |
US10832636B2 (en) | Image processing apparatus, image processing method, and program | |
CN111198610B (zh) | 一种全景视频的视场控制方法、装置、设备及存储介质 | |
US20230370803A1 (en) | Spatial Audio Augmentation | |
US11270500B2 (en) | Methods and systems for using directional occlusion shading for a virtual object model | |
KR20200061279A (ko) | 전자 장치 및 그 제어 방법 | |
KR20240109968A (ko) | 디스플레이 장치 및 그 제어 방법 | |
US10068549B2 (en) | Cursor handling in a variable refresh rate environment | |
CN112203124B (zh) | 显示装置及其控制方法 | |
CN108182097B (zh) | 一种音量条的实现方法及装置 | |
JP2020515135A (ja) | ディスプレイ装置及びその制御方法 | |
CN112639683B (zh) | 显示装置及其控制方法 | |
JP5083488B2 (ja) | 最適化映像再生システム及び最適化映像配信システム及び映像最適化装置及び最適化映像再生方法 | |
KR20160006087A (ko) | 시각 효과를 가지는 객체를 디스플레이하는 장치 및 방법 | |
KR101454342B1 (ko) | 서라운드 채널 오디오 신호를 이용한 추가 채널 오디오 신호 생성 장치 및 방법 | |
CN114760427A (zh) | Led显示器显示控制方法、装置、智能终端及存储介质 | |
KR20210049582A (ko) | 전자 장치 및 그 제어 방법 | |
US11467798B2 (en) | Display apparatus for changing an advertisement area, server, electronic apparatus and control methods thereof | |
CN115624765A (zh) | 基于游戏直播的图像处理方法以及相关设备 | |
CN117014692A (zh) | 投屏方法及相关装置 | |
CN116486753A (zh) | 过驱动补偿方法、过驱动补偿装置和液晶显示系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |