CN110249297A - 信息处理设备和信息处理方法 - Google Patents

信息处理设备和信息处理方法 Download PDF

Info

Publication number
CN110249297A
CN110249297A CN201880009595.3A CN201880009595A CN110249297A CN 110249297 A CN110249297 A CN 110249297A CN 201880009595 A CN201880009595 A CN 201880009595A CN 110249297 A CN110249297 A CN 110249297A
Authority
CN
China
Prior art keywords
sound
screen
directed toward
direction position
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880009595.3A
Other languages
English (en)
Other versions
CN110249297B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110249297A publication Critical patent/CN110249297A/zh
Application granted granted Critical
Publication of CN110249297B publication Critical patent/CN110249297B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1688—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being integrated loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/006—Teaching or communicating with blind persons using audible presentation of the information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Otolaryngology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Stereophonic System (AREA)

Abstract

本发明通过允许视觉障碍的人指向屏幕上的期望位置使得视觉障碍的人容易执行操作。在本发明中，执行检测屏幕上用户的指向位置的处理，并且执行输出对应于检测出的指向位置的声音的处理。例如，在声音输出处理中，当检测出的指向位置在屏幕上的特定区域中时，输出指示指向位置是特定区域的声音。例如，在声音输出处理中，对应于检测出的指向位置的位置被设置为声像位置。

Description

信息处理设备和信息处理方法
技术领域
本技术涉及信息处理设备和信息处理方法，并且更具体地，涉及使用户能够通过指向屏幕上的期望位置执行操作的信息处理设备等。
背景技术
常规地，例如，专利文献1提出了使用户能够通过指向屏幕上的期望位置执行操作的信息处理设备。在这种信息处理设备中，视觉健全的人可以通过基于屏幕上的显示指向期望位置容易地执行操作。然而，视觉障碍的人在通过指向屏幕上的期望位置执行操作中具有极大困难。
此外，例如，专利文献2将用于基于音频数据的位置信息将对象声源的音频数据映射至位于任意位置的扬声器的3D音频渲染技术描述为立体声(3D)声学技术。
引用列表
专利文献
专利文献1：日本专利申请公开第2014-044268号
专利文献2：日语翻译的PCT国际申请公开第2014-520491号
发明内容
本发明待解决的问题
本技术的目标是使视觉障碍的人能够通过指向屏幕上的期望位置容易地执行操作。
问题的解决方案
本技术的构思在于
信息处理设备，包括：
控制单元，被配置为控制检测用户在屏幕上的指向位置的位置检测处理，以及输出对应于检测出的指向位置的声音的声音输出处理。
在本技术中，通过位置检测处理检测用户在屏幕上的指向位置。然后，通过声音输出处理输出对应于检测出的指向位置的声音。例如，在显示单元上显示屏幕，并且从用户操作单元由用户操作指向屏幕上的任意位置。
例如，在声音输出处理中，当检测出的指向位置在屏幕上的特定区域中时，可以输出指示指向位置是特定区域的声音。在这种情况下，例如，特定区域可以是布置在屏幕上的用于激活特定应用程序的应用程序标识的区域。
此外，例如，在声音输出处理中，当检测出的指向位置不在屏幕上时，可以输出指示该指向位置在屏幕外的声音。此外，例如，在声音输出处理中，当检测出的指向位置在存在于屏幕上的第一特定区域中的第二特定区域中时，可以在输出指示该指向位置是第一特定区域的声音的同时输出指示该指向位置是第二特定区域的声音。
此外，例如，在声音输出处理中，可以执行将对应于检测出的指向位置的位置设置为声像位置的处理。从而，可以从可以听到声音的方向了解指向位置在屏幕上存在的地方。在这种情况下，例如，在声音输出处理中，可以执行根据对应于检测出的指向位置的对象元数据的渲染处理，以便将对应于该指向位置的位置设置为声像位置。
在这种情况下，例如，在声音输出处理中，可以执行根据提前准备的与屏幕上的位置相关联的对象元数据的渲染处理。此外，在这种情况下，例如，在声音输出处理中，可以执行根据从检测出的指向位置获得的对象元数据的渲染处理。
如上所述，在本技术中，输出对应于指向位置的声音。因此，视觉障碍的人可以通过指向屏幕上的期望位置容易地执行操作。
本发明的效果
根据本技术，视觉障碍的人可以通过指向屏幕上的期望位置容易地执行操作。应注意，本说明书中描述的效果仅是示例并且不是限制性的，并且可以表现出其他效果。
附图说明
图1是示出了作为实施方式的信息处理设备的配置示例的框图。
图2是示出了屏幕配置的示例的示图。
图3是用于描述指向位置P(x,y)在背景区域中的情况的示图。
图4是示意性地示出了由显示交互处理单元从指向位置P(x,y)的信息计算出的位置信息的元素的示图。
图5是示出了对象渲染器中的渲染处理的概览的示图。
图6是用于描述指向位置P(x,y)在应用程序标识的区域中的情况的示图。
图7是用于描述应用程序标识的矩形区域中的对象位置的深度方向中的位置关系的示图。
图8是用于描述可选按钮存在于标识区域中的情况的示图。
图9是用于描述指向位置P(x,y)在屏幕外的情况的示图。
具体实施方式
在下文中，将描述用于实现本发明的模式(在下文中，称为“实施方式”)。应注意，将按以下顺序进行描述。
1.实施方式
2.变形例
<1.实施方式>
[信息处理设备的配置示例]
图1是示出了作为实施方式的信息处理设备100的配置示例的框图。例如，信息处理设备100访问诸如互联网的网络上的服务器，获取期望的信息，并且将信息呈现给用户。
信息处理设备100包括中央处理单元(CPU)101和用户操作单元102。此外，信息处理设备100还包括通信接口111、图像处理单元112、屏幕显示(OSD)单元113、面板驱动单元114和显示面板115。此外，信息处理程序100包括对象渲染器121、显示交互处理单元122、混合器123、声音输出处理单元124和扬声器系统125。
CPU 101控制信息处理设备100的每个单元的操作。用户操作单元102是用户执行各种操作的用户界面，并且连接至CPU 101。用户操作单元102包括除了键盘、触摸面板等之外的诸如鼠标的指向装置，以用于通过指向屏幕上的任意位置来执行操作。
通信接口111访问诸如互联网的网络上的服务器以获取用于信息呈现的图像数据VD和声音数据AD。应注意，尽管省略了说明，但是通信接口111还具有解码功能，并且在本文中还执行对通过通信获取的图像和声音的编码数据的解码。此外，通信接口111还获取与显示图像相关联的应用程序的信息以及用于输出对应于用户操作的指向位置的声音的信息等，并且将信息发送至CPU 101。应用程序的信息还包括指示用于激活应用程序的应用程序标识(快捷方式)在屏幕上要布置的地方的显示位置信息。
图像处理单元112为通过通信接口111获取的图像数据VD执行缩放处理、图像质量调整处理等以获得显示图像数据。OSD单元113在CPU 101的控制下生成图形用户界面(GUI)显示信号。GUI显示信号包括用于显示用于激活应用程序的应用程序标识(快捷方式)的显示信号、用于显示指示指向位置的箭头的显示信号等。GUI显示信号被发送至图像处理单元112并且叠加在图像数据上。
面板驱动电路114基于在图像处理单元114中获得的显示图像数据驱动显示面板115。例如，显示面板115由液晶显示器(LCD)、有机电致发光(EL)显示器等配置。
混合器123将通过通信接口111获取的声音数据(声道数据)AD或在信息处理设备100内部生成的声音数据与用于输出由对象渲染器121获得的对应于指向位置的声音的声道数据合成。声音输出处理单元124执行必要处理(诸如由混合器123获得的声道数据的D/A转换和放大)并且将所处理的数据提供至扬声器系统125。扬声器系统125包括多个信道的扬声器，在这个实施方式中，包括布置在屏幕的左上(TL)、左下(BL)、右上(TR)和右下(BR)的相应位置处的四个信道。
如上所述，通信接口111获取用于输出对应于用户操作的指向位置的声音的信息，并且将信息发送至CPU 101。该信息包括用于根据用户在屏幕上的指向位置输出声音的声音数据。
作为用于根据用户的指向位置输出声音的声音数据，包括在指向位置位于布置在屏幕上的应用程序标识(快捷方式)的矩形区域(标识区域)内的情况下使用的声音数据SA2。该声音数据SA2根据布置在屏幕上的应用程序标识的类型存在。声音数据SA2伴随有在渲染处理中使用的对象元数据，该对象元数据用于获得声道数据以将对应于应用程序标识(快捷方式)在屏幕上的布置位置的位置设置为声像位置(换言之，对象位置)。
此外，作为用于根据用户的指向位置输出声音的声音数据，包括在指向位置在屏幕上的背景区域中而不是应用程序标识的矩形区域中的情况下使用的声音数据SA1。此外，作为用于根据用户的指向位置输出声音的声音数据，包括指向位置在屏幕外的情况下的声音数据SA3。应注意，声音数据SA3的类型不是一个，而是根据突出方向的多个类型，例如，或者存在四个类型(例如，上和下和左和右)。
图2示出了屏幕配置的示例。在示出的示例中，黑色粗实矩形框表示显示面板115的屏幕框。分别对应于四个划分位置的声音输出模块(扬声器)被布置在屏幕框的背面上。作为声音输出模块，还包括由显示面板115本身配置且与屏幕集成的声音输出模块。
在背景上用①至⑤示出的用于激活特定应用程序的应用程序标识的矩形区域存在于屏幕上。在矩形区域中显示应用程序标识(诸如，快捷方式)(在图2中省略了标识显示)。
例如，白色箭头表示鼠标光标并且指示用户操作的指向位置。当指向位置在应用程序标识的矩形区域内时，矩形区域处于高亮状态。在示出的示例中，因为指向位置在①的矩形区域内，因此矩形区域处于高亮状态。
此外，在示出的示例中，“上-下”和“左-右”的单点划线的交叉点是中心位置(O)并且用作参考点，并且通过相对于参考点向上、向下、向左和向右偏移来了解指向位置当前存在的地方。指向位置通过来自用户操作单元102的用户操作移动，并且CPU 101始终掌握指向位置。当检测指向位置时在确定与屏幕的位置关系时中心位置(O)被设置为参考，并且当显示交互处理单元122将位置检测结果转换为对象位置信息时，该中心位置是用于在声场中再现从观看者/收听者的位置观看的指向位置的信息的矢量的位置坐标。
[1.在指向位置P(x,y)在背景区域中的情况下]
图3(a)示出了指向位置P(x,y)在背景区域中的状态。如上所述，CPU 101始终掌握指向位置P(x,y)。此外，因为CPU 101控制每个应用程序标识的显示信号的生成，因此CPU101还掌握屏幕上的每个应用程序标识的矩形区域。在这种情况下，CPU 101识别到指向位置P(x,y)不在每个应用程序标识的矩形区域中而是在背景区域中。
在这种情况下，CPU 101确定使用上述声音数据SA1以输出指示指向位置P(x,y)在屏幕上的背景区域中而不在应用程序标识的区域中的声音，并且将声音数据SA1(BG声音)发送至对象渲染器121(参见图3(b))。此外，在这种情况下，CPU 101确定指向位置P(x,y)被设置为声像位置，即，对象位置。在这个示例中，对象位置被设置为屏幕上的右上(上&右)位置(参见图3(b))。
在这种情况下，CPU 101将指向位置P(x,y)的信息发送至显示交互处理单元122。显示交互处理单元122基于指向位置P(x,y)的信息获得配置对象元数据的位置信息在此，θ表示方位，表示仰角，并且r表示半径。
图4示意性地示出了由显示交互处理单元122从指向位置P(x,y)的信息计算出的位置信息的元素。r表示距观看位置的距离，并且可以应用传感器等的实际测量值。可替换地，如所示使用称为标准观看距离的距离代替实际测量值，并且可以应用考虑从θ得出的角度的距离。在此，标准观看距离大约是监视器(显示面板)的垂直尺寸的3倍并且大约是UHD(4K)分辨率的1.5倍。
对象渲染器121使用由显示交互处理单元122计算出的对象元数据，对声音数据SA1(BG声音)执行渲染处理，以生成用于将对应于指向位置P(x,y)的位置设置为对象位置的声道数据。
图5示出了对象渲染器121中的渲染处理的概览。在该渲染处理中，在由三个扬声器配置的三角形区域(TL-BL-BR)和(TR-BL-BR)中的每一个中，通过使用配置对象数据的位置信息合成三角形区域，确定虚拟声像P(x,y)的位置。
如图5所示，位置P(x,y)由r，和θ表示，并且被投射在从点Q延伸至相应的扬声器位置的轴Q-TL、Q-BL、Q-TR和Q-BR上的矢量r_TL、r_BL、r_TR和r-BR上。在这种情况下，位置P(x,y)被投射至三角形区域TL-BL-BR中的(r_TL,r_BL,r_BR)。对应于这三个矢量的矢量量的声压被应用于扬声器的信道数据。
同时，位置P(x,y)被投射至三角形区域TR-BL-BR中的(r_TR,r_BL,r_BR)。对应于这三个矢量的矢量量的声压被应用于扬声器的信道数据。通过合成为两个三角形区域之间的单个矢量投射的矢量量，可以获得将从四个扬声器输出的合成的声音输出。
对象渲染器121将通过上述渲染处理获得的声道数据发送至混合器123。因此，扬声器系统125输出指示指向位置P(x,y)在背景区域中的声音。因此，用户可以通过声音知道指向位置P(x,y)在背景区域中。
此外，声像位置，即对象位置，是对应于指向位置P(x,y)的位置。在图3中的示例中，对象位置被设置为屏幕上的右上(上&右)位置。因此，用户可以通过可以听到声音的方向知道指向位置的在屏幕上的大致位置。
[2.在指向位置P(x,y)在应用程序标识的区域中的情况下]
图6(a)示出了指向位置P(x,y)在①的应用程序标识的矩形区域中的状态。如上所述，CPU 101始终掌握指向位置P(x,y)。此外，因为CPU 101控制每个应用程序标识的显示信号的生成，因此CPU 101还掌握屏幕上的每个应用程序标识的矩形区域。在这种情况下，CPU101识别指向位置P(x,y)在①的应用程序标识的矩形区域中。
在这种情况下，CPU 101确定使用上述声音数据SA2以输出指示指向位置P(x,y)在①的应用程序标识的矩形区域中的声音，并且将声音数据SA2(①声音)发送至对象渲染器121(参见图6(b))。
此外，CPU 101确定对应于指向位置P(x,y)的位置被设置为声音输出位置，即，对象位置。在这个示例中，对象位置被设置为屏幕上的右下(下&右)位置(参见图6(b))。在这种情况下，CPU 101将伴随声音数据SA2(①声音)的对象元数据发送至对象渲染器121。对象元数据被设置为使得对象位置被设置为屏幕上的右下(下&右)位置。
顺便提及，伴随声音数据SA2(②声音)的对象元数据被设置为使得对象位置被设置为屏幕上的中心位置。此外，伴随声音数据SA2(③声音)的对象元数据被设置为使得对象位置被设置为屏幕上的左上(上&左)位置。
此外，伴随声音数据SA2(④声音)的对象元数据被设置为使得对象位置被设置为屏幕上的左中(中心&左)位置。此外，伴随声音数据SA2(⑤声音)的对象元数据被设置为使得对象位置被设置为屏幕上的左下(下&左)位置。
应注意，在这种情况下，通过控制对象元数据的值r，可以表示在空间上彼此重叠的应用程序标识的矩形区域的对象位置之间的深度方向上的位置关系。
将使用图7考虑①的应用程序标识的矩形区域被布置在②的应用程序标识的矩形区域前面的情况。在这种情况下，满足(矢量r(①)的大小)<(矢量r(②)的大小)的关系。通过以此方式设置对象元数据的值r，当指向位置是P1(x,y)并且在①的应用程序标识的矩形区域中时，并且当指向位置是P2(x,y)并且在②的应用程序标识的矩形区域中时，可以通过声音检测①的应用程序标识的矩形区域在②的应用程序标识的矩形区域前面。
当指向位置P(x,y)在①的应用程序标识的矩形区域中时，对象渲染器121使用伴随声音数据SA2的对象元数据对声音数据SA2(①声音)执行渲染处理，以生成用于将对应于①的应用程序标识的矩形区域的位置(其中存在指向位置P(x,y))设置为对象位置的声道数据。对象渲染器121中的渲染处理的描述与使用图5的以上描述相似，因此在此被省略。
对象渲染器121将通过渲染处理获得的声道数据发送至混合器123。因此，扬声器系统125输出指示指向位置P(x,y)在①的应用程序标识的矩形区域中的声音。因此，用户可以通过声音知道指向位置P(x,y)在①的应用程序标识的矩形区域中。
此外，声像位置，换言之，对象位置是对应于①的应用程序标识的矩形区域的位置。在图6中的示例中，对象位置被设置为屏幕上的右下(下&右)位置。因此，用户可以通过可以听到声音的方向知道①的应用程序标识的矩形区域在屏幕上的大致位置。
应注意，在以上描述中，已经描述了指向位置P(x,y)在①的应用程序标识的矩形区域中的状态。尽管省略了详细描述，但是指向位置P(x,y)在另一应用程序标识的区域中的状态会被类似地处理。此外，在以上描述中，已经描述了使用伴随声音数据的对象元数据作为用于渲染处理的对象元数据的示例。然而，还可以使用由显示交互处理单元122从指向位置P(x,y)计算出的对象元数据。
此外，在以上描述中，已经描述了在应用程序标识的矩形区域(标识区域)中不存在可选按钮的示例。然而，如图8(a)和图8(b)所示，存在可选按钮存在于标识区域1中的一些情况。在这种情况下，在指向位置P(x,y)在标识区域1中的预定按钮区域中的状态下，如上所述输出指示指向位置P(x,y)在标识区域1中的声音，并且同时，输出指示指向位置P(x,y)在预定按钮区域中的声音。
在示出的示例中，通信接口111(参见图1)获取与标识区域1相关联的声音输出信息。该声音输出信息包括用于输出指示指向位置在标识区域1中的声音的声音数据以及伴随声音数据的对象元数据，并且对于每个按钮，进一步包括用于输出指示指向位置在按钮区域中的声音的声音数据以及伴随声音数据的对象元数据。
例如，伴随标识区域1的声音数据的对象元数据被设置为使得对象位置被设置为屏幕上的右下(下&右)位置。此外，伴随“场景A”、“场景B”、“场景C”和“场景D”的按钮区域的声音数据的对象元数据被设置为使得相应的对象位置被设置为屏幕上的左上(上&左)位置、右上(上&右)位置、左下(下&左)位置和右下(下&右)位置。
如所示，在指向位置P(x,y)在“场景A”的按钮区域中的状态下，CPU101将标识区域1的声音数据和伴随声音数据的对象元数据，以及“场景A”的按钮区域的声音数据和伴随声音数据的对象元数据，发送至对象渲染器121(参见图1)。
对象渲染器121使用对象元数据对声音数据执行渲染处理，以生成用于将对应于标识区域1的位置(在此为屏幕上的右下(下&右)位置)设置为对象位置的声道数据，并且将声道数据发送至混合器123(参见图1)。
从而，从扬声器系统125输出指示指向位置在标识区域1中的声音，例如，“在标识区域1”中的声音。在这种情况下，如图8(a)所示，声像位置，换言之，对象位置被设置为屏幕上的右下(下&右)位置。
此外，如所示，在指向位置P(x,y)在“场景A”的按钮区域中的状态下，CPU 101将“场景A”的按钮区域的声音数据和伴随声音数据的对象元数据发送至对象渲染器121(参见图1)。
对象渲染器121使用对象元数据对声音数据执行渲染处理，以生成将对应于“场景A”的按钮区域的位置(在此为屏幕上的左上(上&左)位置)设置为对象位置的声道数据，将声道数据与标识区域1的上述声道数据合成，并且将合成的声道数据发送至混合器123(参见图1)。
从而，指示指向位置在“场景A”的按钮区域中的声音(例如，“在标识区域1中的场景A中。右下方其他按钮是可选择的”的声音)与指示指向位置在标识区域1中的声音同时从扬声器系统125输出。在这种情况下，声像位置，换言之，对象位置被设置为屏幕上的左上(上&左)位置，使得可以掌握按钮之间的相对位置关系，如图8(a)所示。
应注意，尽管省略了详细描述，但是甚至在指向位置P(x,y)在另一按钮区域中的情况下也执行相似处理，并且分别在设置对象位置同时输出指示指向位置在标识区域1中的声音以及指示指向位置在按钮区域中的声音。
[3.在指向位置P(x,y)在屏幕外的情况下]
图9示出了指向位置P(x,y)在屏幕外(在这个示例中，在屏幕的右侧)的状态。如上所述，CPU 101始终掌握指向位置P(x,y)。在这种情况下，CPU 101识别指向位置P(x,y)突出至屏幕的右侧。
在这种情况下，CPU 101确定使用上述声音数据SA3以输出指示指向位置P(x,y)突出至表面的右侧的声音，并且将声音数据SA3(OUT声音)发送至对象渲染器121。此外，在这种情况下，CPU 101确定指向位置P(x,y)被设置为声像位置，即，对象位置。在这个示例中，对象位置是相对于屏幕突出至右上方的位置。
在这种情况下，CPU 101将指向位置P(x,y)的信息发送至显示交互处理单元122。显示交互处理单元122基于指向位置P(x,y)的信息获得配置对象元数据的位置信息位置信息的详细描述与使用图4的以上描述相似，并且因此在此被省略。
对象渲染器121使用由显示交互处理单元122计算出的对象元数据对声音数据SA3(OUT声音)执行渲染处理，以生成用于将对应于指向位置P(x,y)的位置设置为对象位置的声道数据。对象渲染器121中的渲染处理的描述与使用图5的以上描述相似，并且因此在此被省略。
对象渲染器121将通过渲染处理获得的声道数据发送至混合器123。从而，指示指向位置P(x,y)在屏幕外(在此，指向位置已经突出至右侧)的声音(例如，“已经突出至屏幕的右边”的声音)从扬声器系统125输出。因此，用户可以通过声音知道指向位置P(x,y)已经突出至屏幕的右侧。
此外，声像位置，即对象位置，是对应于指向位置P(x,y)的位置。在图9中的这个示例中，对象位置是相对于屏幕突出至右上方的位置。因此，用户可以通过可以听到声音的方向知道指向位置在屏幕上的大致位置。
如上所述，在指向位置P(x,y)在背景中、应用程序标识的矩形区域中或者诸如屏幕外面的位置中的情况下，图1中示出的信息处理设备100输出对应于该位置的声音。因此，视觉障碍的人可以通过声音输出的协助通过指向屏幕上的期望位置容易地执行操作。
此外，当输出对应于指向位置P(x,y)的声音时，图1中示出的信息处理设备100将声像位置(对象位置)设置为对应于指向位置P(x,y)的位置。从而，可以从可以听到声音的方向掌握指向位置在屏幕上存在的地方。
<2.变形例>
应注意，在上述实施方式中，已经描述了布置在屏幕上的用于激活特定应用程序的应用程序标识(快捷方式)的矩形区域的示例。布置在屏幕上的区域不限于上述示例，并且还可以采用用户通过指向区域执行操作的另一区域。例如，在用于再现内容的设备中，可以采用用于选择再现内容等的标识区域。
此外，本技术还可以具有以下配置。
(1)一种信息处理设备，包括：
控制单元，被配置为控制检测用户在屏幕上的指向位置的位置检测处理以及输出对应于检测出的指向位置的声音的声音输出处理。
(2)根据(1)的信息处理设备，其中，
在声音输出处理中，
当检测出的指向位置在屏幕上的特定区域中时，输出指示指向位置是特定区域的声音。
(3)根据(2)的信息处理设备，其中，
特定区域是布置在屏幕上的用于激活特定应用程序的应用程序标识的区域。
(4)根据(1)至(3)中任一项的信息处理设备，其中，
在声音输出处理中，
当检测出的指向位置不在屏幕上时，输出指示指向位置在屏幕外的声音。
(5)根据(1)的信息处理设备，其中，
在声音输出处理中，
当检测出的指向位置在存在于屏幕上的第一特定区域中的第二特定区域中时，在输出指示指向位置是第一特定区域的声音的同时输出指示指向位置是第二特定区域的声音。
(6)根据(1)至(5)中任一项的信息处理设备，其中，
在声音输出处理中，
执行将对应于检测出的指向位置的位置设置为声像位置的处理。
(7)根据(6)的信息处理设备，其中，
在声音输出处理中，
执行根据对应于指向位置的对象元数据的渲染处理，以将对应于检测出的指向位置的位置设置为声像位置。
(8)根据(7)的信息处理设备，其中，
在声音输出处理中，
执行根据提前准备的与屏幕上的位置相关联的对象元数据渲染处理。
(9)根据(7)的信息处理设备，其中，
在声音输出处理中，
执行根据从检测出的指向位置获得的对象元数据的渲染处理。
(10)一种信息处理方法，包括：
检测用户在屏幕上的指向位置的位置检测步骤；以及
输出对应于检测出的指向位置的声音的声音输出步骤。
(11)一种信息处理设备，包括：
显示单元，被配置为显示屏幕；
用户操作单元，被配置为由用户指向屏幕上的任意位置；
位置检测单元，被配置为检测用户在屏幕上的指向位置；以及
声音输出单元，被配置为输出对应于检测出的指向位置的声音。
本技术的主要特征是通过输出对应于指向位置的声音，使视觉障碍的人能够通过指向屏幕上的期望位置容易地执行操作(参见图1、图3、图4和图9)。此外，本技术的主要特征是通过执行在输出对应于指向位置的声音中的声像位置设置为对应于指向位置的位置的处理，可以从可以听到声音的方向掌握指向位置在屏幕上存在的地方(参见图1、图3、图4和图9)。
参考符号列表
100 信息处理设备
101 CPU
102 用户操作单元
111 通信接口
112 图像处理单元
113 OSD单元
114 面板驱动单元
115 显示面板
121 对象渲染器
122 显示交互处理单元
123 混合器
124 声音输出处理单元
125 扬声器系统。

Claims (11)

1.一种信息处理设备，包括：
控制单元，被配置为控制检测用户在屏幕上的指向位置的位置检测处理以及输出对应于检测出的指向位置的声音的声音输出处理。
2.根据权利要求1所述的信息处理设备，其中，
在所述声音输出处理中，
当所述检测出的指向位置在所述屏幕上的特定区域中时，输出指示所述指向位置是所述特定区域的声音。
3.根据权利要求2所述的信息处理设备，其中
所述特定区域是布置在所述屏幕上的用于激活特定应用程序的应用程序标识的区域。
4.根据权利要求1所述的信息处理设备，其中，
在所述声音输出处理中，
当所述检测出的指向位置不在所述屏幕上时，输出指示所述指向位置在所述屏幕外的声音。
5.根据权利要求1所述的信息处理设备，其中，
在所述声音输出处理中，
当所述检测出的指向位置在存在于所述屏幕上的第一特定区域中的第二特定区域中时，在输出指示所述指向位置是所述第一特定区域的声音的同时输出指示所述指向位置是所述第二特定区域的声音。
6.根据权利要求1所述的信息处理设备，其中，
在所述声音输出处理中，
执行将对应于所述检测出的指向位置的位置设置为声像位置的处理。
7.根据权利要求6所述的信息处理设备，其中，
在所述声音输出处理中，
执行根据对应于所述指向位置的对象元数据的渲染处理，以将对应于所述检测出的指向位置的位置设置为所述声像位置。
8.根据权利要求7所述的信息处理设备，其中，
在所述声音输出处理中，
执行根据提前准备的与所述屏幕上的位置相关联的对象元数据的渲染处理。
9.根据权利要求7所述的信息处理设备，其中，
在所述声音输出处理中，
执行根据从所述检测出的指向位置获得的对象元数据的渲染处理。
10.一种信息处理方法，包括：
检测用户在屏幕上的指向位置的位置检测步骤；以及
输出对应于检测出的指向位置的声音的声音输出步骤。
11.一种信息处理设备，包括：
显示单元，被配置为显示屏幕；
用户操作单元，被配置为由用户指向所述屏幕上的任意位置；
位置检测单元，被配置为检测所述用户在所述屏幕上的指向位置；以及
声音输出单元，被配置为输出对应于检测出的指向位置的声音。
CN201880009595.3A 2017-02-09 2018-01-31 信息处理设备和信息处理方法 Active CN110249297B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017022643 2017-02-09
JP2017-022643 2017-02-09
PCT/JP2018/003219 WO2018147143A1 (ja) 2017-02-09 2018-01-31 情報処理装置および情報処理方法

Publications (2)

Publication Number Publication Date
CN110249297A true CN110249297A (zh) 2019-09-17
CN110249297B CN110249297B (zh) 2023-07-21

Family

ID=63108341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880009595.3A Active CN110249297B (zh) 2017-02-09 2018-01-31 信息处理设备和信息处理方法

Country Status (5)

Country Link
US (1) US10809870B2 (zh)
EP (1) EP3582093A1 (zh)
JP (2) JP7231412B2 (zh)
CN (1) CN110249297B (zh)
WO (1) WO2018147143A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3713255A4 (en) * 2017-11-14 2021-01-20 Sony Corporation SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM
JP2022531895A (ja) * 2019-05-08 2022-07-12 メイヤー・サウンド・ラボラトリーズ・インコーポレーテッド 観客席の観客に全帯域幅サウンドを送り出すためのシステムおよび方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030071859A1 (en) * 2001-08-24 2003-04-17 Junichi Takami User interface device and method for the visually impaired
JP2004271748A (ja) * 2003-03-06 2004-09-30 Nec Corp タッチパネル装置
JP2007052385A (ja) * 2005-08-15 2007-03-01 Kohei Katagiri オーディオ・ユーザー・インターフェース
JP2007086856A (ja) * 2005-09-20 2007-04-05 Fuji Xerox Co Ltd ユーザインタフェース装置
CN103339585A (zh) * 2011-02-08 2013-10-02 夏普株式会社 输入装置
US20140245139A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Apparatus and method for providing haptic feedback to input unit
US20160132115A1 (en) * 2014-11-06 2016-05-12 Nlt Technologies, Ltd. Electronic apparatus and electronic apparatus operation control method

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5777614A (en) * 1994-10-14 1998-07-07 Hitachi, Ltd. Editing support system including an interactive interface
US6404442B1 (en) * 1999-03-25 2002-06-11 International Business Machines Corporation Image finding enablement with projected audio
JP2001306254A (ja) 2000-02-17 2001-11-02 Seiko Epson Corp 打音検出による入力機能
JP4926091B2 (ja) 2008-02-19 2012-05-09 株式会社日立製作所 音響ポインティングデバイス、音源位置のポインティング方法及びコンピュータシステム
JP5253062B2 (ja) * 2008-09-16 2013-07-31 キヤノン株式会社 受信装置及びその制御方法
JP5945100B2 (ja) * 2011-06-03 2016-07-05 任天堂株式会社 入力処理プログラム、入力処理装置、入力処理方法および入力処理システム
AU2012279349B2 (en) 2011-07-01 2016-02-18 Dolby Laboratories Licensing Corporation System and tools for enhanced 3D audio authoring and rendering
US9417754B2 (en) * 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
JP5889408B2 (ja) * 2012-06-04 2016-03-22 株式会社Pfu 情報処理装置、方法およびプログラム
JP6102124B2 (ja) 2012-08-24 2017-03-29 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US9645678B2 (en) 2012-12-18 2017-05-09 Seiko Epson Corporation Display device, and method of controlling display device
WO2015098189A1 (ja) 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
JP6245117B2 (ja) * 2014-09-02 2017-12-13 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US10748509B2 (en) * 2014-12-26 2020-08-18 Nikon Corporation Control device, electronic apparatus, control method and program
US20180011612A1 (en) * 2015-01-20 2018-01-11 Gürkan Öztürk A method for layout and selection of the menu elements in man-machine interface
EP3304264A1 (en) * 2015-06-07 2018-04-11 Apple Inc. Device, method, and graphical user interface for manipulating related application windows
KR20160144817A (ko) 2015-06-09 2016-12-19 삼성전자주식회사 디스플레이 장치, 포인팅 장치, 포인팅 시스템 및 그 제어 방법
US10004984B2 (en) * 2016-10-31 2018-06-26 Disney Enterprises, Inc. Interactive in-room show and game system
US11609300B2 (en) * 2017-03-17 2023-03-21 SIRL, Inc. Precise positioning system enabled product location method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030071859A1 (en) * 2001-08-24 2003-04-17 Junichi Takami User interface device and method for the visually impaired
JP2004271748A (ja) * 2003-03-06 2004-09-30 Nec Corp タッチパネル装置
JP2007052385A (ja) * 2005-08-15 2007-03-01 Kohei Katagiri オーディオ・ユーザー・インターフェース
JP2007086856A (ja) * 2005-09-20 2007-04-05 Fuji Xerox Co Ltd ユーザインタフェース装置
CN103339585A (zh) * 2011-02-08 2013-10-02 夏普株式会社 输入装置
US20140245139A1 (en) * 2013-02-28 2014-08-28 Samsung Electronics Co., Ltd. Apparatus and method for providing haptic feedback to input unit
US20160132115A1 (en) * 2014-11-06 2016-05-12 Nlt Technologies, Ltd. Electronic apparatus and electronic apparatus operation control method

Also Published As

Publication number Publication date
US20190369814A1 (en) 2019-12-05
US10809870B2 (en) 2020-10-20
EP3582093A4 (en) 2019-12-18
JP7231412B2 (ja) 2023-03-01
JPWO2018147143A1 (ja) 2019-11-21
JP2023024471A (ja) 2023-02-16
WO2018147143A1 (ja) 2018-08-16
CN110249297B (zh) 2023-07-21
EP3582093A1 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
US10349171B2 (en) Electronic device, peripheral devices and control method therefor
EP3520086B1 (en) Display apparatus and control method thereof
CN107801094B (zh) 在信宿装置处控制信源装置的方法和使用该方法的设备
JP5138833B2 (ja) 映像生成装置、方法及び集積回路
TWI462585B (zh) 具有立體顯示功能的子母畫面顯示裝置及子母畫面顯示方法
JP6627861B2 (ja) 画像処理システムおよび画像処理方法、並びにプログラム
EP2408215B1 (en) Electronic apparatus and method for displaying graphical user interface as 3d image
JP6054527B2 (ja) 皮膚によるユーザ認識
TWM519277U (zh) 顯示裝置、電子裝置、手部穿戴式裝置及控制系統
US8413053B2 (en) Video reproducing apparatus and video reproducing method
DE202013100255U1 (de) Anzeigevorrichtung, Fernbedienungsvorrichtung sowie Bedienungsfunktion derselben
WO2017012360A1 (zh) 一种虚拟现实显示设备响应外设设备操作的方法
JP2023024471A (ja) 情報処理装置および情報処理方法
JP2003316510A (ja) 表示画面上に指示されたポイントを表示する表示装置、及び表示プログラム。
KR20160060846A (ko) 디스플레이 장치 및 디스플레이 방법
US20240094970A1 (en) Electronic system for producing a coordinated output using wireless localization of multiple portable electronic devices
KR20160144817A (ko) 디스플레이 장치, 포인팅 장치, 포인팅 시스템 및 그 제어 방법
CN109792576B (zh) 图像显示设备
Hess Head-tracking techniques for virtual acoustics applications
JP2009065292A (ja) 番組同時視聴システム、番組同時視聴方法及び番組同時視聴プログラム
KR20190042353A (ko) 이동 단말기 및 그 제어 방법
US10545716B2 (en) Information processing device, information processing method, and program
US20200388069A1 (en) Method for presenting a three-dimensional object and an associated computer program product, digital storage medium and a computer system
JP2000010696A (ja) 画像処理装置および方法、並びに提供媒体
TR201702870A2 (tr) Vi̇deo görüntüleme aparati ve bunu çaliştirma metodu

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant