CN113632164A - 信息处理装置、信息处理方法和程序 - Google Patents

信息处理装置、信息处理方法和程序 Download PDF

Info

Publication number
CN113632164A
CN113632164A CN202080023330.6A CN202080023330A CN113632164A CN 113632164 A CN113632164 A CN 113632164A CN 202080023330 A CN202080023330 A CN 202080023330A CN 113632164 A CN113632164 A CN 113632164A
Authority
CN
China
Prior art keywords
control unit
region
information processing
operation object
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080023330.6A
Other languages
English (en)
Inventor
清水惇一
高桥慧
永原润一
藤木学
井村知浩
北原恵一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Interactive Entertainment Inc
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Group Corp filed Critical Sony Interactive Entertainment Inc
Publication of CN113632164A publication Critical patent/CN113632164A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1008—Earpieces of the supra-aural or circum-aural type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

本发明提供了一种信息处理装置，包括控制单元，该控制单元基于所识别的操作对象的位置动态地控制与所识别的操作对象所位于的至少一个操作区域有关的信息的输出，该信息处理装置使得当所识别的操作对象位于操作区域中时，控制单元控制与所识别的操作对象所位于的操作区域相对应的装置的功能的执行，该操作区域是用户不可见的区域。本发明还提供了一种信息处理方法，在该信息处理方法中，处理器：基于所识别的操作对象的位置动态地控制与所识别的操作对象所位于的至少一个操作区域有关的信息的输出；并且当所识别的操作对象位于操作区域中时，控制与所识别的操作对象所位于的操作区域相对应的装置的功能的执行，该操作区域是用户不可见的区域。

Description

信息处理装置、信息处理方法和程序
技术领域
本公开涉及信息处理装置、信息处理方法和程序。
背景技术
近年来，已经开发了用于使装置输出声音以将关于区域的信息通知用户的技术。例如，在专利文献1中，公开了用于通过使用从声源装置发射的声波通知用户要用作用户的移动路径的区域信息来引导用户的技术。
引用列表
专利文献
专利文献1：日本专利公开第2000-285378号。
发明内容
技术问题
同时，在用户在用户无法视觉识别的区域中对装置执行操作的情况下，可能出现用户难以确认在该区域中的预期部分是否正确地执行操作的情况。然而，在专利文献1所记载的技术中，没有考虑用户在无法视觉识别的区域中对装置执行操作的情况。
问题的解决方案
根据本公开，提供了一种信息处理装置，包括控制单元，该控制单元基于所识别的操作对象的位置动态地控制与所识别的操作对象所位于的至少一个操作区域相关联的信息的输出，其中，在所识别的操作对象位于操作区域中的情况下，控制单元控制与所识别的操作对象所位于的操作区域相对应的装置功能的执行，并且该操作区域包括无法被用户视觉识别的区域。
此外，根据本公开，提供了一种信息处理方法，包括：基于所识别的操作对象的位置，允许处理器动态地控制与所识别的操作对象所位于的至少一个操作区域相关联的信息的输出；并且在所识别的操作对象位于操作区域中的情况下，允许处理器控制与所识别的操作对象所位于的操作区域相对应的装置功能的执行，其中，操作区域包括无法被用户视觉识别的区域。
此外，根据本公开，提供了一种程序，用于使计算机用作信息处理装置，该信息处理装置包括控制单元，该控制单元基于所识别的操作对象的位置动态地控制与所识别的操作对象所位于的至少一个操作区域相关联的信息的输出，控制单元被配置为在所识别的操作对象位于操作区域中的情况下，控制与所识别的操作对象所位于的操作区域相对应的装置功能的执行，并且该操作区域包括无法被用户视觉识别的区域。
附图说明
[图1]是描述根据本公开的信息处理终端的概述的示图。
[图2]是描述根据本公开的实施例的信息处理终端10的功能配置示例的示图。
[图3]描绘了描述由根据实施例的控制单元130执行的基于手势类型的通知声音输出控制的示例的示图。
[图4]描绘了描述由根据实施例的控制单元130执行的基于用户的手指数量的通知声音输出控制的示例的示图。
[图5]是描述由根据实施例的控制单元130执行的基于操作对象的移动方向的通知声音输出控制的示例的示图。
[图6]描绘了描述由根据实施例的控制单元130执行的基于操作对象的移动方向的通知声音输出控制的示例的示图。
[图7]描绘了描述由根据实施例的控制单元130执行的基于操作对象的移动方向的通知声音输出控制的示例的示图。
[图8]描绘了描述由根据本实施例的从单个声源输出的通知声音的音高和密度的变化的示例的示图。
[图9]描绘了描述由根据实施例的控制单元130执行的基于操作对象的移动距离与预定阈值的比较的通知声音输出控制的示例的示图。
[图10]是描述根据实施例的操作区域的示例的示图。
[图11]描绘了描述由根据实施例的控制单元130执行的与操作对象所位于的操作区域相对应的通知声音输出控制的示例的示图。
[图12]描绘了描述由根据实施例的控制单元130执行的在预测要将操作对象移动到操作区域之外的情况下的通知声音输出控制的示例的示图。
[图13]是描述由根据实施例的控制单元130执行的与各个操作区域相对应的通知声音输出控制的示例的示图。
[图14]是描述由根据实施例的控制单元130执行的与各个操作区域相对应的通知声音的输出声音音量控制的示例的示图。
[图15]描绘了描述根据实施例的操作对象与多个操作区域之间的位置关系以及基于该位置关系的输出控制的示图。
[图16]描绘了描述由根据实施例的控制单元130执行的与基准区域相关联的通知声音输出控制的示例的示图。
[图17]描绘了描述由根据实施例的控制单元130执行的与位置被可选地确定的基准区域相关联的通知声音输出控制的示例的示图。
[图18]是描述根据实施例的在操作区域存在于空间中的情况下的示例的示图。
[图19]描绘了描述操作对象与信息处理终端10之间的距离被指示为识别状态，并且与信息处理终端10相关联的功能的执行控制由根据实施例的控制单元130基于该距离来执行的情况下的示例的示图。
[图20]描绘了描述由根据实施例的控制单元130执行的在操作区域存在于空间中的情况下的示例的示图。
[图21]是描述基于操作对象的移动距离与预定阈值的比较并且由根据实施例的控制单元130执行的通知声音输出控制的操作流程的示例的示图。
[图22]是描述由根据实施例的控制单元130执行的基于手势类型的通知声音输出控制的操作流程的示例的示图。
[图23]是描述由根据实施例的控制单元130执行的与操作区域相对应的通知声音输出控制的操作流程的示例的示图。
[图24]是示出根据本公开的实施例的信息处理终端10的硬件配置示例的框图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施例。注意，在本说明书和附图中，具有大致相同的功能配置的组成元件由相同的参考标记表示，并且因此省略其重复描述。
注意，将按以下顺序进行描述。
1.概述
2.实施例
2.1.功能配置示例
2.2.具体示例
2.2.1.具体示例1
2.2.2.具体示例2
2.2.3.具体示例3
2.2.4.具体示例4
2.2.5.具体示例5
2.2.6.具体示例6
3.操作示例
4.硬件配置示例
5.总结
<1.概述>
首先，下面将描述本公开的概述。近年来，已经开发了用于通过允许用户直接操作信息处理终端来使佩戴在用户耳朵上并输出声音的诸如头戴式耳机、耳机等信息处理终端执行预定功能的技术。这样的技术使得可以基于例如对信息处理终端的触摸操作来执行音乐回放处理、音乐回放停止处理等，并且使得能够实现不需要任何其他装置的进一步用户友好操作。
此外，对于这种包括接近传感器的信息处理终端，还开发了基于在接近传感器可以检测的真实空间中由用户的手执行的预定手势，使执行与该手势相对应的功能的技术。该技术使得可以基于例如在真实空间中从用户的手到终端的距离的变化来执行用于音量控制等的处理，并且因此即使对于用户难以执行直接触摸操作的耳机型装置，上述技术使得能够实现不需要任何其他装置的进一步用户友好操作。
然而，对于根据上述技术的用于终端的操作，可能出现如下所述的情况。
首先，可以在用户无法视觉识别的部分(诸如，头戴式耳机的侧面(壳体表面)上的部分)处执行用户佩戴的头戴式耳机或耳机的操作。因此，用户无法确认用户正在执行的手势是否按照用户的意图执行。因此，在终端识别出与用户想要的手势类型不同的手势类型的情况下，可能出现这样的情况：在与用户想要的功能不同的功能已经被执行的阶段，用户注意到已经识别出不同的手势类型。
此外，在用户无法视觉识别的区域中，用户无法掌握用户的手位于哪个操作可执行部分。因此，可能出现用户无法执行预期操作的情况。例如，当用户在头戴式耳机中在具有触摸面板的壳体表面上沿预定方向执行滑动操作时，可能出现这样的情况：在用户从壳体表面的边缘开始滑动操作的情况下，无法执行距离足够远的操作。此外，在基于空间中的手势执行操作的情况下，用户U不与终端接触，并且因此用户更难以掌握在空间中执行手势的位置。
本公开的技术思想是鉴于上述几点而产生的，并且本公开旨在使得用户能够在用户无法视觉识别的区域中确认每个操作的成功/失败，并且执行更多类型的操作。
这里，将参考图1描述根据本公开的信息处理终端10的概述。图1是描述根据本公开的信息处理终端的概述的示图。图1示出了用作头戴式耳机并由用户U佩戴的信息处理终端10。
在信息处理终端10在壳体表面上的可操作区域中识别出作为操作对象的用户U的手H的预定手势操作的情况下，信息处理终端10执行与所识别的操作相对应的功能。这里，信息处理终端10能够基于关于正在执行预定手势操作的操作对象的识别状态来通知关于与手势操作相对应的功能的信息。这里，在图1所示的示例中，信息的通知可以借助于声音的输出来执行。
此外，信息处理终端10还能够识别用户U的手H在操作区域中存在的位置，并输出与用户U的手H存在的操作区域相对应的信息。这里，在图1所示的示例中，信息的输出可以借助于声音的输出来执行。注意，在本说明书中，在下文中，将描述信息处理终端10是头戴式耳机或耳机的示例。
<2.实施例>
《2.1功能配置示例》
随后，将描述根据本实施例的信息处理终端10的功能配置示例。图2是描述根据本实施例的信息处理终端10的功能配置示例的示图。信息处理终端10包括输入单元110、识别单元120、控制单元130、输出单元140、存储单元150和通信单元160。
(输入单元110)
输入单元110接收各种信息。输入单元110例如接收来自用户的操作输入。输入单元110例如可以包括壳体表面上的触摸板以接收来自用户的触摸操作。输入单元110可以检测操作对象与触摸板的接触。此外，输入单元110可以包括接近传感器以检测位于真实空间中的操作对象。在下文中，将输入单元110能够检测操作对象的区域中用于操作的区域也将被称为操作区域。
这里，输入单元110可以包括用于捕获外部声音的麦克风。输入单元110通过麦克风捕获的外部声音信号可以用于外部声音消除处理。输入单元110接收到的信息被发送至识别单元120。
(识别单元120)
识别单元120基于从输入单元110发送的信息执行各种识别处理。识别单元120识别出正在执行预定操作。此外，识别单元120具有手势识别功能。识别单元120能够基于触摸板或接近传感器的检测结果来识别触摸板上的滑动或在接近传感器可检测的真实空间中手势的执行。识别单元120的识别结果作为识别状态被发送至控制单元130。
(控制单元130)
控制单元130对信息处理终端10的各个组成元件执行控制。
此外，基于关于在操作区域中执行手势的操作对象的识别状态，控制单元130可以动态地控制关于与手势相对应的功能的通知信息的输出。这里，如上所述，关于操作对象的识别状态是已经由识别单元120识别的识别结果。控制单元130根据识别状态中包括的各种状态来控制通知信息的输出。此外，这里，通知信息是与正在被执行的手势相关联的信息。与正在被执行的手势相关联的信息例如是使得用户U能够理解已经由识别单元120识别的手势类型的信息。此外，通知信息例如是通知声音。
在本说明书中，在下文中，将描述通知信息是通知声音的示例，但是当然，通知信息可以由除了声音信息之外的信息来表示。通知信息的其他示例包括振动信息等。控制单元130基于识别状态来控制通知信息的输出的配置使得用户U能够确认在用户U无法视觉识别的区域中手势是否已经被识别为用户U想要的。
此外，控制单元130可以基于由识别状态指示的操作对象的位置来控制与操作对象所位于的操作区域相关联的通知信息的输出。这里，与操作区域相关联的通知信息的示例包括指示操作对象是否位于操作区域中的信息，在存在多个操作区域的情况下指示操作对象位于哪个操作区域的信息等。注意，如上所述，在以下描述中，将描述与操作区域相关联的通知信息是与操作区域相关联的通知声音的示例。控制单元130控制与操作对象所位于的操作区域相对应的功能的执行。这里，功能的示例包括输出声音音量控制功能、音乐前进功能、音乐后退功能等。控制单元130控制与操作对象所位于的操作区域相关联的信息的输出的配置使得用户U能够确认是否要在用户U想要的地方执行操作。
对于由控制单元130进行的通知声音输出控制，稍后将描述具体示例。
(输出单元140)
输出单元140根据控制单元130的控制输出各种信息。输出单元140例如使驱动器单元输出声音。由输出单元140输出的声音的示例包括上述通知声音。此外，输出单元140根据控制单元130的控制执行预定功能。此外，输出单元140可以包括致动器以借助于振动来输出通知信息。
(存储单元150)
存储单元150存储关于信息处理终端10的操作的各种信息。存储单元150可以存储例如要用作通知声音的声源信息。
(通信单元160)
通信单元160执行与另一装置的信息通信。例如，通信单元160从其他装置接收声音信息。例如，已经由通信单元160接收的声音信息由输出单元140经由控制单元130输出至用户U。此外，其他装置的示例包括音乐播放器、智能电话等。
《2.2具体示例》
随后，将描述由根据本实施例的信息处理终端10执行的通知声音输出控制的具体示例。
[2.2.1.具体示例1]
首先，控制单元130可以基于由操作对象正在执行的并且由识别状态指示的手势的手势类型来动态地控制通知声音的输出。这里，手势类型是指基于例如操作对象如何在操作区域中移动而确定的类型。在配备有触摸板的头戴式耳机的情况下，手势类型的示例包括操作对象在触摸板上的水平方向滑动移动、操作对象在触摸板上的画圆移动(如在画圆的同时移动)等。将由识别单元120识别的手势类型作为通知声音通知用户U，使得用户U能够确认当前正在执行的手势是否被信息处理终端10识别为用户U想要的手势。此外，在存在与信息处理终端10相关联的并作为与手势类型相对应的功能而被执行的功能的情况下，用户U还能够确认与用户U想要的功能相对应的手势是否被识别。
在下面的描述中，将参考图3描述由根据本实施例的控制单元130执行的基于手势类型的通知声音输出控制的示例。图3描绘了描述由根据本实施例的控制单元130执行的基于手势类型的通知声音输出控制的示例的示图。图3示出了用作头戴式耳机并由用户U佩戴的信息处理终端10。
在图3的左侧区域中，作为操作对象的用户U的手H在触摸板上沿水平方向移动(轻弹移动)。由识别状态指示用户U的手H沿水平方向移动，并且因此控制单元130使输出单元140输出与水平方向移动相对应的通知声音。
在图3的右侧区域中，用户U的手H正在移动，如在触摸板上旋转。由识别状态指示用户U的手H在画圆的同时移动，并且因此控制单元130使输出单元140输出与水平方向移动相对应的通知声音。这里，从输出单元140输出的通知声音不同于在图3的左侧区域的情况下输出的通知声音。
在图3所示的示例中，已经描述了基于正在执行的手势的类型来输出通知声音的情况，并且除此之外，控制单元130可以基于正在执行手势的用户U的手H的手指数量来控制通知声音的输出。该配置使得即使在用户U正在执行类似的手势时，也能够输出与每个手指数量相对应的通知声音，从而使得用户U能够确认与用户U想要的手指数量相对应的手势是否被识别。
除了上述以外，控制单元130还可以基于正在执行手势的操作对象的移动速度来输出通知声音。该配置使得可以确认设定值的变化程度，并执行更详细的操作。此外，在控制单元130无法识别正在执行的手势的类型的情况下，控制单元130可以使与手势的初步操作相对应的通知声音被输出直到类型的识别成为可能，并且在已经成功进行类型识别的阶段，控制单元130可以基于正在执行的手势的类型来输出通知声音。
在下面的描述中，将参考图4来描述由根据本实施例的控制单元130执行的基于用户的手指数量的通知声音输出控制的示例。图4描绘了描述由根据本实施例的控制单元130执行的基于用户的手指数量的通知声音输出控制的示例的示图。图4示出了用作用户U佩戴的头戴式耳机的信息处理终端10。
在图4的左侧区域中，用户U的手H的一个手指在触摸板上沿水平方向移动(轻弹移动)。这里，由识别状态指示正在执行使用两个手指的手势，并且因此控制单元130使输出单元140输出与这种水平方向移动相对应的通知声音。
在图4的右侧区域中，用户U的手H的两个手指在触摸板上沿水平方向移动。这里，由识别状态指示正在执行使用两个手指的手势，并且因此控制单元130使输出单元140输出与这种水平方向移动相对应的通知声音。这里，从输出单元140输出的通知声音不同于在图4的左侧区域的情况下输出的通知声音。
以这种方式，基于正在执行的手势的类型和正在执行手势的手指数量来改变输出通知声音。注意，控制单元130可以仅在识别状态指示用作操作对象的用户U的手指数量为预定数量的情况下输出通知声音。例如，在图4所示的示例的情况下，控制单元130可以仅在由识别状态指示正在执行使用两个手指的手势的情况下(即，当例如两个手指连续地与触摸板接触时)输出通知声音。该配置使得用户U能够更清楚地掌握所识别的手指数量。
这里，当操作对象跨操作区域移动时，控制单元130可以基于由识别状态指示的操作对象的移动方向来动态地控制通知声音的输出。具体地，控制单元130可以基于由识别状态指示的操作对象的移动方向来改变通知声音的输出特征。这里的通知声音的输出特征例如与通知声音的频率、音高、密度、音量等相对应。基于操作对象的移动方向输出通知声音的配置使得用户U能够确认操作对象是否正按照用户U的意图移动。
这里，将参考图5至图7来描述由根据本实施例的控制单元130执行的基于操作对象的移动方向的通知声音输出控制的示例。图5至图7是描述由根据本实施例的控制单元130执行的基于操作对象的移动方向的通知声音输出控制的示例的示图。
图5示出了表示基于操作对象的移动方向的通知声音的变化的曲线图G1。如曲线图G1所示，例如，通知声音的音高可以随着操作对象向右移动而逐渐升高，而通知声音的音高可以随着操作对象向左移动而逐渐降低。此外，如曲线图G1所示，例如，作为通知声音输出的声音的密度可以随着操作对象向上移动而逐渐增大，而作为通知声音输出的声音的密度可以随着操作对象向下移动而逐渐减小。此外，在操作区域由区域PR表示的情况下，可以基于操作对象在区域PR中的位置来确定通知声音的音高和密度。控制单元130可以以跟随操作对象的移动的方式输出通知声音。
图6和图7示出了用作头戴式耳机并由用户U佩戴的信息处理终端10。这里，如图6所示，在识别单元120已经识别出操作对象正在从触摸板的左侧移动到右侧(即，从后侧移动到前侧)的情况下，控制单元130逐渐升高通知声音的音高。此外，如图7所示，在识别单元120已经识别出操作对象正在从触摸板的底侧移动到顶侧的情况下，控制单元130逐渐增大通知声音的密度。
同时，可以基于操作对象的移动方向来确定通知声音的频率和音量。具体地，在通知声音包括单个声源的情况下，可以基于操作对象的移动方向来确定通知声音的音高和密度。输出这种包括单个声源的通知声音，使得用户U能够更容易地掌握通知声音的变化。例如，在改变预定设定值的操作时改变单个声源输出的重复次数，使得用户U能够进一步具体地掌握设定值如何变化。
这里，将参考图8描述根据本实施例的从单个声源输出的通知声音的音高和密度的变化的示例。图8描绘了描述根据本实施例的从单个声源输出的通知声音的音高和密度的变化的示例的示图。图8示出了曲线图G2至G4。曲线图G2示出了重复单个声源的状态。此外，与曲线图G2相比，曲线图G3示出了以重复的单个声源的密度高的方式重复单个声源的状态。此外，与曲线图G2和G3相比，曲线图G3示出了单个声源的音高降低的状态。
[2.2.2.具体示例2]
同时，存在被配置为允许在操作对象已经移动预定距离的情况下执行功能的装置，并且作为这种装置的示例，存在被配置为在锁定屏幕上允许在触摸面板上的预定距离的滑动操作以解除锁定的智能电话。类似地，还在根据本实施例的信息处理终端10中，控制单元130可以基于操作对象的移动距离与预定阈值的比较来动态地控制通知声音的输出。具体地，控制单元130可以基于操作对象的移动距离与预定阈值之间的差来动态地控制通知声音的输出。这里，操作对象的移动距离是操作对象在操作区域中的移动距离，并且预定阈值可以是初步确定的值。
这里，将参考图9来描述由根据本实施例的控制单元130执行的基于操作对象的移动距离与预定阈值的比较的通知声音输出控制的示例。图9描绘了描述由根据本实施例的控制单元130执行的基于操作对象的移动距离与预定阈值的比较的通知声音输出控制的示例的示图。图9示出了指示操作对象以等于或大于预定距离移动的曲线图G5，以及指示与曲线图G5所示的移动距离相对应的通知声音的音高的曲线图G6。此外，图9示出了指示在操作对象以等于或大于预定距离移动之前操作对象的移动已经停止的曲线图G7，以及指示与曲线图G7所示的移动距离相对应的通知声音的音高的曲线图G8。
在曲线图G5和G7中的每一个中，横轴与时间相对应，并且纵轴与相对于基准的位置(即操作对象的初始位置)相对应。此外，在曲线图G6和G8中的每一个中，横轴与时间相对应，并且纵轴与通知声音的音高相对应。如曲线图G5和G7所示，通知声音的音高随着操作对象的移动而逐渐升高，并且即使在移动距离超过预定阈值之后，类似地，也可以升高通知声音的音高。注意，在操作对象的移动距离超过预定阈值的情况下，可以执行与信息处理终端10相关联的功能。
另一方面，如曲线图G6和G8所示，虽然通知声音的音高随着操作对象的移动而逐渐升高，但在移动距离超过规定的阈值之前结束操作。在这种情况下，如曲线图G8所示，通知声音的音高的变化可以从向上变化切换到向下变化。这里，通知声音的音高可以与操作对象的操作开始时的通知声音的音高大致相同。注意，由于操作对象的移动距离不超过预定阈值，因此控制单元130不执行上述类似功能。
通过比较曲线图G6和曲线图G8，可以发现通知声音的音高变化方式根据操作对象的移动距离是否超过预定阈值而不同。因此，这种区别使得用户U能够直观地掌握相应功能是否被成功执行。注意，在图9中描述的通知声音输出控制仅是示例，并且本公开不限于该示例。
[2.2.3.具体示例3]
此外，控制单元130可以基于由识别状态指示的操作对象的位置来控制与操作对象位置所位于的操作区域相关联的声音输出。即，控制单元130可以基于由识别状态指示的操作对象的位置向用户U进行关于操作对象的位置的反馈。例如，在存在多个操作区域的情况下，控制单元130可以基于操作对象位于哪个操作区域来控制声音输出。
这里，将参考图10描述根据本实施例的操作区域的示例。图10是描述根据实施例的操作区域的示例的示图。图10示出了用作头戴式耳机并由用户U佩戴的信息处理终端10，以及设置在信息处理终端10的触摸板上的两种操作区域，即，可操作区域OR和不可操作区域NOR。这里，可操作区域OR为可供操作对象进行操作且用户U无法视觉识别的圆形区域。在图10中，存在多个可操作区域OR，并且在可操作区域OR中的任何可操作区域OR中执行操作对象的操作的情况下，控制单元130可以控制与信息处理终端10相关联并与可操作区域OR相对应的功能的执行。另一方面，不可操作区域NOR为操作对象无法进行任何操作的区域。当然，每个可操作区域OR和每个不可操作区域NOR的布置和形状不限于这种所示示例。
如上所述，可以存在多个独立的操作区域。在这种情况下，控制单元130可以控制与操作对象所位于的操作区域相对应的声音的输出。在此输出的声音例如可以是上述的通知声音。这里，将参考图11来描述由根据本实施例的控制单元130执行的与操作对象所位于的操作区域相对应的通知声音的输出控制的示例。图11描绘了描述由根据本实施例的控制单元130执行的与操作对象所位于的操作区域相对应的通知声音的输出控制的示例的示图。图11示出了用作头戴式耳机并由用户U佩戴的信息处理终端10以及操作区域R1至R4。注意，操作区域R1至R4是与图10所示的可操作区域OR类似的区域。
在图11的左侧区域中，作为操作对象的用户U的手H位于操作区域R1。识别状态指示用户U的手H位于操作区域R1，并且控制单元130使输出单元140输出与操作区域R1相对应的通知声音。在图11的右侧区域中，作为操作对象的用户U的手H位于操作区域R2。识别状态指示用户U的手H位于操作区域R2，并且控制单元130使输出单元140输出与操作区域R2相对应的通知声音。这里，从输出单元140输出的通知声音不同于在图11的左侧的情况下输出的通知声音。这样，在存在多个操作区域的情况下，用户U能够在不进行视觉确认的情况下掌握操作对象位于操作区域中的哪个操作区域。
同时，用户U无法视觉识别操作区域，并且因此操作对象可能会无意中移到操作区域之外。因此，在根据识别状态预测要将操作对象移动到操作区域之外的情况下，控制单元130可以使通知声音输出，以将所预测的移动通知到操作区域之外。
这里，将参考图12描述在由根据本实施例的控制单元130执行的在预测要将操作对象移动到操作区域之外的情况下的通知声音输出控制的示例。图12描绘了描述由根据本实施例的控制单元130执行的在预测要将操作对象移动到操作区域之外的情况下的通知声音输出控制的示例的示图。图12示出了用作头戴式耳机并由用户U佩戴的信息处理终端10以及操作区域R1至R4。
在图12的左侧区域中，与图11的左侧区域一样，作为操作对象的用户U的手H位于操作区域R1。这里，控制单元130使输出单元140输出与操作区域R1相对应的通知声音。在图12的右侧区域中，作为操作对象的用户U的手H位于操作区域R2，并处于从操作区域R2向外部移动的状态。在这种状态下，控制单元130使用于通知预测操作对象将从操作区域R2移动到外部的通知声音被输出。在图12的右侧区域的情况下输出的通知声音可以是用于向操作区域的外部通知关于操作对象的预测移动的警告的声音。以这种方式，即使在操作对象将要移动到操作区域之外的情况下，用户U也能够校正操作对象的位置。注意，无论操作对象的移动方向如何，在操作对象位于操作区域的外边缘内侧且与外边缘相邻的位置的情况下，这种情况都可视为以下情况：预测操作对象将被移动到操作区域之外。
[2.2.4.具体示例4]
至此，已经描述了在通知声音输出控制仅与一个操作区域相关联的情况下的通知声音输出控制的示例。然而，控制单元130可以执行与多个操作区域相关联的通知声音输出控制。具体地，控制单元130可以基于操作对象与各个操作区域之间的位置关系来输出与各个操作区域相对应的通知声音。例如，控制单元130可以基于操作对象与操作区域之间的位置关系来确定要输出的并且与各个操作区域相对应的每个通知声音的音量、音高、频率等。可以基于例如到各个操作区域的距离来确定每个通知声音的音量、音高、频率等。此外，控制单元130可以以引导到预定操作区域的方式控制通知声音的输出。
这里，将参考图13描述由根据本实施例的控制单元130执行的与各个操作区域相对应的通知声音的输出控制的示例。图13是描述由根据本实施例的控制单元130执行的与各个操作区域相对应的通知声音的输出控制的示例的示图。图13示出了用作头戴式耳机并由用户U佩戴的信息处理终端10以及可操作区域OR1和OR2。
控制单元130使与各个可操作区域OR1和OR2相对应的通知声音被输出，使得从操作对象到各个可操作区域OR1和OR2的距离越短，与各个操作区域OR1和OR2相对应的通知声音的音量越大。在图13的示例中，用户U的手H与触摸板接触的位置是与操作区域OR1相比更靠近可操作区域OR2的位置。因此，控制单元130使与可操作区域OR2相对应的通知声音以大于与可操作区域OR1相对应的通知声音的音量的音量输出。
这种基于操作对象与各个操作区域之间的位置关系来输出与多个操作区域相关联的通知声音的配置使得用户U能够掌握操作对象与多个操作区域之间的相对位置关系。
注意，在操作区域包括真实空间并且输入单元110通过使用接近传感器检测操作对象的情况下，控制单元130可以基于操作对象与操作区域之间的真实空间中的距离来使与这样的操作区域相对应的通知声音被输出。
这里，将参考图14描述由根据本实施例的控制单元130执行的与各个操作区域相对应的通知声音的输出声音音量控制的示例。图14是描述由根据本实施例的控制单元130执行的与各个操作区域相对应的通知声音的输出声音音量控制的示例的示图。图14具有与位置相对应的横轴和与音量相对应的纵轴，并且示出了包括边界点LP和RP的曲线图BG，边界点LP和RP分别是操作区域与另一区域之间的边界。边界点LP和RP是位于具有彼此不同的操作区域的边界处的边界点，并且边界点LP与RP之间的区域不包括在操作区域内。此外，中间点M位于中点，并且该中点到边界点LP和RP的距离相等。
在操作对象位于边界点LP与RP之间的情况下，曲线图BG指示了与边界点LP相对应的通知声音的音量LB和与边界点RP相对应的通知声音的音量RB。如曲线图BG所示，控制单元130使通知声音被输出，使得操作对象的位置越靠近每个边界点，对应的一个通知声音的音量就越大。注意，与边界点LP相对应的通知声音的音量LB和与边界点RP相对应的通知声音的音量RB的总和为常数，从而用户U容易识别各个通知声音的音量的变化。在操作对象位于中间点M的情况下，每个通知声音的音量为最大值的一半。
这种使与操作对象与多个操作区域之间的距离相对应的多个通知声音的音量同时改变的配置使得用户U能够直观地识别操作对象的位置。
同时，控制单元130可以基于操作对象与多个操作区域的集合之间的位置关系使通过通知声音通知的信息改变。例如，在操作对象位于多个操作区域中的任何操作区域之间的区域中的情况下，控制单元130可以输出如图14所示的通知声音。另一方面，例如，在操作对象位于多个操作区域存在的区域之外的区域的情况下，控制单元130可以输出用于通知操作对象位于多个操作区域存在的区域之外的区域中的通知声音，因为优先使用户U的手H移动到存在多个操作区域的区域中。
这里，将参考图15描述根据本实施例的操作对象与多个操作区域之间的位置关系以及与该位置关系相关联的输出控制。图15描绘了描述根据本实施例的操作对象与多个操作区域之间的位置关系的示例的示图。图15示出了用户U的手H和可操作区域OR1和OR2。
在图15的左侧区域中，用户U的手H位于可操作区域OR1与OR2之间，并且因此控制单元130基于操作对象与各个操作区域之间的位置关系，输出与各个操作区域相对应的通知声音。在图5的中间区域中，用户U的手H位于可操作区域OR1内，并且因此控制单元130仅输出与可操作区域OR1相对应的通知声音。在图15的右侧区域中，用户U的手H位于操作可执行区域OR1和OR2之外，并且因此控制单元130产生通知操作对象位于可操作区域OR1和OR2之外的通知声音，该通知声音不同于当操作对象位于图15的左侧区域中所示的位置时输出的通知声音。
这种基于操作对象与多个操作区域之间的位置关系使输出通知声音变化的配置使得用户U能够更舒适地执行终端的操作。
注意，仅在操作对象位于可操作区域OR1和OR2之外的情况下，控制单元130可以通过声音通知用户U。这种配置使得在操作对象已经大部分位于多个操作区域之外的情况下以及在任何其他类似情况下，可以进一步确定地向用户U发出警告。另外，在信息处理终端10是头戴式显示器(HMD)的情况下，可以对其应用上述通知作为进一步特定警告。
[2.2.5.具体示例5]
同时，使用户U能够在用户U无法视觉识别的区域中通过使用操作对象执行操作时掌握成为基准的区域(或点)的配置可以提高可操作性。例如，当用户U变得无法掌握用户U的手H的位置时，用户能够通过将手H的位置返回到用作基准的区域来再次掌握手H的位置。因此，在识别出操作对象位于作为操作对象操作的基准的基准区域的情况下，控制单元130可以控制与基准区域相对应的通知声音的输出。
这里，将参考图16描述由根据本实施例的控制单元130执行的与基准区域相关联的通知声音输出控制的示例。图16描绘了描述由根据本实施例的控制单元130执行的与基准区域相关联的通知声音输出控制的示例的示图。图16示出了用作头戴式耳机并由用户U佩戴的信息处理终端10以及基准区域SR。在图16中，基准区域SR是预先确定的且适合作为操作开始区域的区域。
在图16的左侧区域中，作为操作对象的用户U的手H在触摸板上沿水平方向移动(轻弹移动)。用户U的手H位于基准区域SR之外。这里，由于用户U的手H不位于基准区域，因此控制单元130不输出任何通知声音。
另一方面，在图16的右侧区域中，用户U的手H位于基准区域SR。由识别状态指示用户U的手H位于基准区域SR，并且控制单元130使与基准区域SR相对应的通知声音被输出。
这种控制单元130使与基准区域SR相对应的通知声音被输出的配置使得可以从成为基准的点开始执行操作，并且从而能够实现更准确的操作。
注意，在图16所示的示例中，控制单元130在操作对象不位于基准区域SR的情况下不输出任何通知声音，而控制单元130可以以引导至基准区域SR的方式输出通知声音。例如，在连续执行预定方向的滑动操作的情况下，采用使操作对象在执行一次预定方向的滑动操作之后返回到基准区域SR并且然后再次执行相同方向的滑动操作的配置使得可以避免操作对象偏离操作区域的情况以及任何其他类似情况，从而使得操作能够更确定地执行。注意，通过例如如图13至图15所示的方法实现通知声音对基准区域SR的引导。此外，基准区域SR的尺寸不限于如图16所示的尺寸。
同时，在图16所示的示例中，基准区域SR存在于预先确定的部分。然而，在这点上，对于具有仅在操作区域中的偏置部分中执行操作的习惯的用户U，基准区域SR的使用不一定促进操作。因此，用户U可以确定基准区域SR将要设置的部分。具体地，对于这样的基准区域SR，可以将位于操作区域中且用户U首先开始操作的部分确定为基准区域SR。这种配置使得能够实现适合于每个用户U的操作习惯的更舒适的操作。
注意，“首先开始操作的部分”是指例如用于执行一个功能的操作对象首先位于操作区域的部分等。可选地，“首先开始操作的部分”可以是例如当连续执行多个操作时操作对象首先位于操作区域的部分。“首先开始操作的部分”的定义不限于上述示例。
这里，将参考图17描述由根据本实施例的控制单元130执行的与其位置可选确定的基准区域相关联的通知声音输出控制的示例。图17描绘了描述由根据本实施例的控制单元130执行的与位置被可选地确定的基准区域相关联的通知声音输出控制的示例的示图。图17示出了用作头戴式耳机并由用户U佩戴的信息处理终端10。
在图17的左侧区域中，作为操作对象的用户U的手H首先与触摸板接触。此时，不存在基准区域SR。这里，控制单元130将用户U的手H首先与之接触的部分确定为基准区域SR。
另一方面，在图17的右侧区域中，示出了由控制单元130确定的基准区域SR。这里，由识别状态指示用户U的手H位于基准区域SR，因此控制单元130使与基准区域SR相对应的通知声音被输出。
这种控制单元130在用户U使用操作区域开始操作时确定基准区域SR的配置使得能够实现适合于每个用户U的习惯的舒适操作。
[2.2.6.具体示例6]
至此，主要描述了信息处理终端10是头戴式耳机并且在触摸板上存在一个或多个操作区域的情况的具体示例，但是如上所述，信息处理终端10可以是耳机。用作信息处理终端10的耳机可以包括作为输入单元110的触摸传感器或接近传感器。对于其尺寸小于头戴式耳机的耳机，有时会出现通过触摸板操作困难的情况，并且因此通过接近传感器的空间内操作可能是合适的。在下面的描述中，将描述耳机包括作为输入单元110的接近传感器的示例。通过接近传感器识别操作对象的空间内位置。
图18是描述根据本实施例的在操作区域存在于空间中的情况的示例的示图。图18示出了用作耳机的信息处理终端10和存在于空间中的操作区域AR1至AR4。
如图18所示，操作区域AR1至AR4存在于三维空间中，而不是在触摸板上。在操作对象存在于操作区域AR1至AR4中的任一个的情况下，控制单元130可以控制通知声音的输出。此外，基于关于在操作区域AR1至AR4中的任一个中执行手势的操作对象的识别状态，控制单元130可以动态地控制与对应于手势的功能相关联的通知信息的输出。
另外，在操作区域存在于空间中的情况下，可以通过接近传感器检测操作对象与信息处理终端10之间的距离。因此，在操作对象与信息处理终端10之间的距离被指示为识别状态的情况下，控制单元130可以基于该距离执行通知声音输出控制。
图19描绘了描述操作对象与信息处理终端10之间的距离被指示为识别状态，并且与信息处理终端10相关联的功能的执行控制由根据本实施例的控制单元130基于该距离来执行的情况的示例的示图。图19示出了用作耳机的信息处理终端10和用户U的手H。
如图19的左侧区域所示，用户U的手H与信息处理终端10彼此相隔距离D3。如图19的右侧区域所示，在识别状态指示用户U的手H已接近与信息处理终端10间隔距离D4的位置的情况下，即，在识别状态指示用户U的手H正在执行接近信息处理终端10的手势的情况下，控制单元130基于距离D3到距离D4的距离变化执行通知声音输出控制。在图19的示例中，当用户U的手H与信息处理终端10之间的距离已经从距离D3改变到距离D4时，控制单元130使从信息处理终端10输出的通知声音的音量变大。
除此之外，控制单元130可以基于操作对象是否位于操作区域中来控制通知声音的输出。具体地，控制单元130可以基于操作对象是否位于输入单元110可检测的空间中来控制通知声音的输出。
这里，将参考图20描述由根据本实施例的控制单元130执行的在操作区域位于空间中的情况的示例。图20示出了用作耳机的信息处理终端10和存在于空间中的操作区域AR1至AR4。
在图20的左侧区域中，作为操作对象的用户U的手H位于作为操作区域的空间之外。识别状态指示用户U的手H位于作为操作区域的空间之外，因此控制单元130不输出任何通知声音。
另一方面，用户U的手H位于作为操作区域的空间内。识别状态指示用户U的手H位于作为操作区域的空间内，因此控制单元130使与基准区域SR相对应的通知声音被输出。
这种配置使得可以确认操作对象物是否位于作为操作区域的空间内，从而使得用户U能够掌握存在于该空间内的用户U无法视觉识别的操作区域。
至此，已经描述了控制单元130的通知声音输出控制的具体示例。在以上描述中，已经描述了信息处理终端10是头戴式耳机或耳机的示例，但是本公开不限于这样的示例。信息处理终端10可以是例如用于车辆的触摸面板。驾驶员在驾驶汽车时难以视觉识别在各种操作中使用的触摸面板。此时，借助安装在手柄背面的信息处理终端10，通过通知声音和/或振动向驾驶员通知信息，使得驾驶员能够执行各种操作。
此外，信息处理终端10可以是自动驾驶车辆等。在用户U对自主移动体执行手势操作的同时，自主移动体通过通知声音和/或振动适当地进行反馈的配置使得用户U能够在更大程度上享受与自主移动体的交互。此外，上述技术还可以应用于提供虚拟现实(VR)内容的装置。在使用这种VR内容时，用户U通常处于无法视觉识别控制器等的情况中。因此，上述技术使得用户U在收听与控制器的操作相关联的通知声音的同时能够更准确地执行操作。
<3.操作示例>
随后，将参考图21和图23来描述根据本实施例的控制单元130执行的通知声音输出控制的操作流程。
首先，将参考图21来描述由根据本实施例的控制单元130执行的基于操作对象的移动距离与预定阈值的比较的通知声音输出控制的操作流程的示例。参考图21，首先，输入单元110检测操作对象，并且识别单元120识别所检测到的操作对象的位置(S101)。接下来，控制单元130根据基于在步骤S101中识别的操作对象的位置的操作对象的移动距离，使通知声音的音高或频率变化(S102)。
接下来，在基于在步骤S101中识别的操作对象的位置的操作对象的移动距离超过预定阈值(S103：是)的情况下，控制单元130提高通知声音的频率(S104)，并且信息处理终端10结束操作。相反，在基于在步骤S101中识别的操作对象的位置的操作对象的移动距离未超过预定阈值(S103：否)并且操作对象的操作尚未结束(S105：否)的情况下，流程返回到步骤S101。
相反，在基于在步骤S101中识别的操作对象的位置的操作对象的移动距离未超过预定阈值(S103：否)并且操作对象的操作结束(S105：是)的情况下，控制单元130降低通知声音的频率(S106)，并且信息处理终端10结束操作。
随后，将参考图22描述由根据本实施例的控制单元130执行的基于手势类型的通知声音输出控制的操作流程的示例。参考图22，首先，控制单元130在用于识别操作对象的识别处理中执行预处理(S201)。接下来，在操作对象位于操作范围内(S202：是)的情况下，控制单元130开始接收手势(S203)。
接下来，在手势的初步操作未被识别单元120识别(S204：否)的情况下，流程返回到步骤S202。相反，在手势的初步操作已经被识别(S204：是)并且在手势的初步操作之后已经识别出随后正在做出手势(S205：是)的情况下，控制单元130控制在步骤S205中识别的通知声音的输出(S206)，并且信息处理终端10结束操作。
相反，在手势的初步操作已经被识别单元120识别(S204：是)并且在手势的初步操作之后没有识别出随后正在做出手势(S205：否)的情况下，控制单元130结束接收手势(S207)，并且信息处理终端10返回到步骤S201。
随后，将参考图23描述由根据本实施例的控制单元130执行的与操作区域相对应的通知声音的输出控制的操作流程的示例。参考图23，首先，在操作对象存在于操作区域中(S301：是)的情况下，控制单元130使与操作区域相对应的通知声音被输出(S302)，并且控制单元130结束操作。
相反，在操作对象不存在于任何操作区域中(S301：否)并且存在多个操作区域(S303：是)的情况下，控制单元130使通知声音的音高或频率根据从操作对象到各个操作区域的距离而改变(S304)，并且控制单元130结束操作。另外，相反，在操作对象不存在于任何操作区域(S301：否)并且仅存在一个操作区域(S303：否)的情况下，控制单元130使通知声音的音高或频率根据从操作对象到一个操作区域的距离而改变(S305)，并且控制单元130结束操作。
<4.硬件配置示例>
接下来，将描述根据本公开的实施例的信息处理终端10的硬件配置示例。图24是示出根据本公开的实施例的信息处理终端10的硬件配置示例的框图。参考图24，信息处理终端10例如包括处理器871、ROM 872、RAM 873、主机总线874、桥接器875、外部总线876、接口877、输入装置878、输出装置879、存储器880、驱动器881、连接端口882和通信装置883。注意，这里所示的硬件配置仅是示例，并且可以省略上述组成元件的一部分。此外，还可以包括除了这里所示的上述组成元件之外的一个或多个组成元件。
(处理器871)
处理器871用作例如算术处理装置或控制装置，并且基于记录在ROM 872、RAM873、存储装置880或可移动记录介质901中的各种程序控制各个组成元件的全部或部分操作。
(ROM 872和RAM 873)
ROM 872是存储要读入处理器871的程序、用于算术处理的数据以及任何其他类型的数据的装置。RAM 873临时地或永久地存储例如要读入处理器871的程序、在执行程序时适当地改变的各种参数等。
(主机总线874、桥接器875、外部总线876和接口877)
处理器871、ROM 872、RAM 873经由能够实现例如高速数据传输的主机总线874彼此耦接。另一方面，主机总线874经由桥接器875耦接到例如具有相对低速数据传输能力的外部总线876。此外，外部总线876经由接口877耦接到各种组成元件。
(输入装置878)
在输入装置878中，使用例如鼠标装置、键盘、触摸面板、按钮、开关、控制杆等。此外，作为输入装置878，可以使用能够通过使用红外线或任何其他类型的无线电波来发送控制信号的远程控制器(在下文中，称为远程控制)。此外，输入装置878包括诸如麦克风的音频输入装置。
(输出装置879)
输出装置879是能够向用户视觉地或听觉地通知所获取的信息的装置，并且包括诸如阴极射线管(CRT)、LCD或有机EL的显示装置、诸如扬声器和耳机的音频输出装置、打印机、移动电话、传真机等。此外，根据本公开的输出装置879包括各种振动装置，每个振动装置能够输出触觉刺激。
(存储器880)
存储器880是用于存储各种信息的装置。作为存储器880，例如，使用诸如硬盘驱动器(HDD)、半导体存储装置、光存储装置、磁光存储装置等的磁存储装置。
(驱动器881)
驱动器881是用于读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的可移动记录介质901中的信息或将信息写入可移动记录介质901中的装置。
(可移动记录介质901)
可移动记录介质901例如是DVD介质、蓝光(注册商标)介质、HD DVD介质、各种半导体存储介质等。当然，可移动记录介质901可以是例如具有非接触IC芯片的IC卡、电子装置等。
(连接端口882)
连接端口882是用于连接外部连接装置902的端口，并且例如是通用串行总线(USB)端口、IEEE 1394端口、小型计算机系统接口(SCSI)、RS-232C端口、光学音频终端等。
(外部连接装置902)
外部连接装置902例如是打印机、便携式音乐播放器、数码相机、数码摄像机、IC记录器等。
(通信装置883)
通信装置883是用于连接到网络的通信装置，并且例如是用于有线或无线LAN、蓝牙(注册商标)或无线USB(WUSB)的通信卡、用于光通信的路由器、用于非对称数字用户线(ADSL)的路由器、用于各种通信的调制解调器等。
<5.总结>
如上所述，根据本实施例的信息处理终端10使得用户能够在用户无法视觉识别的区域中确认每个操作的成功/失败，并且执行更多类型的操作。
至此，已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这样的示例。显而易见的是，本领域技术人员能够在本说明书的权利要求书中所描述的技术思想的范围内构思各种改变示例或修改示例，并且当然，应当理解，改变示例和修改示例也属于本公开的技术范围。
此外，本说明书中已经描述的效果仅是信息性的或示例性的，并且不限制其他效果。即，除了上述效果之外或替代上述效果，根据本公开的技术还可以带来对本领域技术人员从本说明书的描述中变得显而易见的其他效果。
应当注意，如下所述的这种配置也属于本公开的技术范围。
(1)
一种信息处理装置，包括：
控制单元，基于所识别的操作对象的位置动态地控制与所识别的操作对象所位于的至少一个操作区域相关联的信息的输出，
其中，在所识别的操作对象位于操作区域中的情况下，控制单元控制与所识别的操作对象所位于的操作区域相对应的装置功能的执行，并且
操作区域包括无法被用户视觉识别的区域。
(2)
根据(1)的信息处理装置，
其中，基于所识别的操作对象的位置，控制单元动态地控制与所识别的操作对象所位于的操作区域相关联的声音的输出。
(3)
根据(2)的信息处理装置，
其中，进一步基于所识别的操作对象的位置是否在操作区域中，控制单元动态地控制声音的输出。
(4)
根据(3)的信息处理装置，
其中，控制单元动态地控制声音的输出使得将操作对象引导至操作区域。
(5)
根据(2)至(4)中任一项的信息处理装置，
其中，基于所识别的操作对象相对于用作操作对象的操作的基准的基准区域的位置，控制单元动态地控制声音的输出。
(6)
根据(5)的信息处理装置，
其中，控制单元动态地控制声音的输出使得将所识别的操作对象引导至基准区域。
(7)
根据(5)或(6)的信息处理装置，
其中，在所识别的操作对象的位置在基准区域中的情况下，控制单元动态地控制声音的输出使得通知所识别的操作对象的位置在基准区域中。
(8)
根据(5)至(7)中任一项的信息处理装置，
其中，控制单元确定当操作对象的操作第一次开始时所识别的操作对象的位置作为基准区域。
(9)
根据(2)至(8)中任一项的信息处理装置，
其中，在存在多个操作区域的情况下，控制单元动态地控制与每个操作区域相对应的声音的输出。
(10)
根据(9)的信息处理装置，
其中，在所识别的操作对象正在移动的情况下，进一步基于所识别的操作对象的移动方向，控制单元动态地控制与每个操作区域相对应的声音的输出。
(11)
根据(2)至(10)中任一项的信息处理装置，
其中，进一步基于所识别的操作对象的位置与每个操作区域的位置之间的位置关系，控制单元动态地控制与每个操作区域相对应的声音的输出。
(12)
根据(11)的信息处理装置，
其中，与每个操作区域的位置关系是到每个操作区域的距离，并且基于从所识别的操作对象到每个操作区域的距离，控制单元动态地控制与每个操作区域相对应的声音的输出。
(13)
根据(2)至(12)中任一项的信息处理装置，
其中，在预测到所识别的操作对象从操作区域的内部移动到操作区域的外部的情况下，控制单元动态地控制声音的输出使得通知所识别的操作对象的预测移动。
(14)
根据(2)至(13)中任一项的信息处理装置，
其中，进一步基于所识别的操作对象与信息处理装置之间的空间内位置关系，控制单元动态地控制声音的输出。
(15)
一种信息处理方法，包括：
基于所识别的操作对象的位置，允许处理器动态地控制与所识别的操作对象所位于的至少一个操作区域相关联的信息的输出；并且
在所识别的操作对象位于操作区域中的情况下，允许处理器控制与所识别的操作对象所位于的操作区域相对应的装置功能的执行，
其中，操作区域包括无法被用户视觉识别的区域。
(16)
一种程序，用于使计算机用作信息处理装置，
信息处理装置包括：
控制单元，基于所识别的操作对象的位置动态地控制与所识别的操作对象所位于的至少一个操作区域相关联的信息的输出，
在所识别的操作对象位于操作区域中的情况下，控制单元控制与所识别的操作对象所位于的操作区域相对应的装置功能的执行，并且
操作区域包括无法被用户视觉识别的区域。
参考标记列表
10：信息处理终端
110：输入单元
120：识别单元
130：控制单元
140：输出单元
150：存储单元
160：通信单元。

Claims (16)

1.一种信息处理装置，包括：
控制单元，基于所识别的操作对象的位置动态地控制与所识别的操作对象所位于的至少一个操作区域相关联的信息的输出，
其中，在所识别的操作对象位于操作区域中的情况下，所述控制单元控制与所识别的操作对象所位于的所述操作区域相对应的装置功能的执行，并且
所述操作区域包括无法被用户视觉识别的区域。
2.根据权利要求1所述的信息处理装置，
其中，基于所识别的操作对象的所述位置，所述控制单元动态地控制与所识别的操作对象所位于的所述操作区域相关联的声音的输出。
3.根据权利要求2所述的信息处理装置，
其中，进一步基于所识别的操作对象的所述位置是否在所述操作区域中，所述控制单元动态地控制所述声音的输出。
4.根据权利要求3所述的信息处理装置，
其中，所述控制单元动态地控制所述声音的输出使得将所述操作对象引导至所述操作区域。
5.根据权利要求2所述的信息处理装置，
其中，基于所识别的操作对象相对于用作所述操作对象的操作的基准的基准区域的位置，所述控制单元动态地控制所述声音的输出。
6.根据权利要求5所述的信息处理装置，
其中，所述控制单元动态地控制所述声音的输出使得将所识别的操作对象引导至所述基准区域。
7.根据权利要求5所述的信息处理装置，
其中，在所识别的操作对象的所述位置在所述基准区域中的情况下，所述控制单元动态地控制所述声音的输出使得通知所识别的操作对象的所述位置在所述基准区域中。
8.根据权利要求5所述的信息处理装置，
其中，所述控制单元确定当所述操作对象的操作第一次开始时所识别的操作对象的所述位置作为所述基准区域。
9.根据权利要求2所述的信息处理装置，
其中，在存在多个所述操作区域的情况下，所述控制单元动态地控制与每个所述操作区域相对应的声音的输出。
10.根据权利要求9所述的信息处理装置，
其中，在所识别的操作对象正在移动的情况下，进一步基于所识别的操作对象的移动方向，所述控制单元动态地控制与每个所述操作区域相对应的所述声音的输出。
11.根据权利要求2所述的信息处理装置，
其中，进一步基于所识别的操作对象的所述位置与每个所述操作区域的位置之间的位置关系，所述控制单元动态地控制与每个所述操作区域相对应的声音的输出。
12.根据权利要求11所述的信息处理装置，
其中，与每个所述操作区域的所述位置关系是到每个所述操作区域的距离，并且基于从所识别的操作对象到每个所述操作区域的距离，所述控制单元动态地控制与每个所述操作区域相对应的所述声音的输出。
13.根据权利要求2所述的信息处理装置，
其中，在预测到所识别的操作对象从所述操作区域的内部移动到所述操作区域的外部的情况下，所述控制单元动态地控制所述声音的输出使得通知所识别的操作对象的预测移动。
14.根据权利要求2所述的信息处理装置，
其中，进一步基于所识别的操作对象与所述信息处理装置之间的空间内位置关系，所述控制单元动态地控制所述声音的输出。
15.一种信息处理方法，包括：
基于所识别的操作对象的位置，允许处理器动态地控制与所识别的操作对象所位于的至少一个操作区域相关联的信息的输出；并且
在所识别的操作对象位于操作区域中的情况下，允许所述处理器控制与所识别的操作对象所位于的所述操作区域相对应的装置功能的执行，
其中，所述操作区域包括无法被用户视觉识别的区域。
16.一种程序，用于使计算机用作信息处理装置，
所述信息处理装置包括：
控制单元，基于所识别的操作对象的位置动态地控制与所识别的操作对象所位于的至少一个操作区域相关联的信息的输出，
在所识别的操作对象位于操作区域中的情况下，所述控制单元控制与所识别的操作对象所位于的所述操作区域相对应的装置功能的执行，并且
所述操作区域包括无法被用户视觉识别的区域。
CN202080023330.6A 2019-03-29 2020-03-16 信息处理装置、信息处理方法和程序 Pending CN113632164A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019067394A JP2020166641A (ja) 2019-03-29 2019-03-29 情報処理装置、情報処理方法、及びプログラム
JP2019-067394 2019-03-29
PCT/JP2020/011333 WO2020203208A1 (ja) 2019-03-29 2020-03-16 情報処理装置、情報処理方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN113632164A true CN113632164A (zh) 2021-11-09

Family

ID=72668380

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080023330.6A Pending CN113632164A (zh) 2019-03-29 2020-03-16 信息处理装置、信息处理方法和程序

Country Status (4)

Country Link
US (1) US20220179613A1 (zh)
JP (1) JP2020166641A (zh)
CN (1) CN113632164A (zh)
WO (1) WO2020203208A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022088187A (ja) * 2020-12-02 2022-06-14 富士フイルム株式会社 情報処理装置及び情報処理プログラム
US11825276B2 (en) * 2020-12-30 2023-11-21 Snap Inc. Selector input device to transmit audio signals

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9281010B2 (en) * 2011-05-31 2016-03-08 Samsung Electronics Co., Ltd. Timeline-based content control method and apparatus using dynamic distortion of timeline bar, and method and apparatus for controlling video and audio clips using the same
CN105451139A (zh) * 2014-06-24 2016-03-30 索尼公司 声音信号处理方法、装置和移动终端
JP2016051288A (ja) * 2014-08-29 2016-04-11 株式会社デンソー 車両用入力インターフェイス
US9933995B2 (en) * 2015-01-25 2018-04-03 Harman International Industries, Incorporated Headphones with integral image display
KR20190028552A (ko) * 2016-09-14 2019-03-18 선전 로욜 테크놀로지스 컴퍼니 리미티드 헤드폰 모듈, 이 헤드폰 모듈을 구비하는 헤드 마운트 헤드폰 및 헤드 마운트 표시장치
TWI729602B (zh) * 2018-12-04 2021-06-01 宏達國際電子股份有限公司 頭戴式顯示系統及其影像產生方法

Also Published As

Publication number Publication date
US20220179613A1 (en) 2022-06-09
WO2020203208A1 (ja) 2020-10-08
JP2020166641A (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
US11816330B2 (en) Display device, display controlling method, and computer program
EP2717259B1 (en) Method and apparatus for performing preset operation mode using voice recognition
KR102180961B1 (ko) 입력 처리 방법 및 그 전자 장치
US9507507B2 (en) Information processing apparatus, information processing method and program
US9134849B2 (en) Pen interface for a touch screen device
US10101874B2 (en) Apparatus and method for controlling user interface to select object within image and image input device
KR101690117B1 (ko) 멀티모달 및 제스처 제어를 위한 방법 및 시스템
KR102251541B1 (ko) 이동단말기 및 그것의 제어방법
KR20140030671A (ko) 이동 단말에서의 잠금 해제 방법 및 이를 위한 이동 단말
CN113632164A (zh) 信息处理装置、信息处理方法和程序
KR20190104758A (ko) 이동단말기 및 그 제어 방법
US9798462B2 (en) Display control apparatus, display control method, and computer program
CN111338594A (zh) 使用指纹的输入控制
US20150002417A1 (en) Method of processing user input and apparatus using the same
JP6746758B2 (ja) 装置と別装置との間の入力軸
US20060192078A1 (en) Apparatus and method for recognizing gestures and computer readable recording medium having embodied thereon computer program for executing the method
JP2009140471A (ja) 映像機器、その制御方法及びプログラム
US11947869B2 (en) Information processing device, information processing method, and program
WO2018159414A1 (ja) 端末装置及び操作制御プログラム
US9536526B2 (en) Electronic device with speaker identification, method and storage medium
CN108595042B (zh) 触控屏输入控制方法、装置、设备及存储介质
KR102197912B1 (ko) 제스처 인식에 따른 기능 실행 방법, 장치 및 기록매체
CN115136109A (zh) 手势检测系统
KR20120081443A (ko) 터치스크린 입력장치, 시스템 및 이를 이용한 터치스크린 입력방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220331

Address after: Tokyo

Applicant after: Sony Group

Address before: Tokyo

Applicant before: Sony Group

Applicant before: Sony Interactive Entertainment Co., Ltd