CN110573995A - 基于视线跟踪的空间音频控制装置及其方法 - Google Patents

基于视线跟踪的空间音频控制装置及其方法 Download PDF

Info

Publication number
CN110573995A
CN110573995A CN201880025963.3A CN201880025963A CN110573995A CN 110573995 A CN110573995 A CN 110573995A CN 201880025963 A CN201880025963 A CN 201880025963A CN 110573995 A CN110573995 A CN 110573995A
Authority
CN
China
Prior art keywords
curve
acoustic
user
acoustic object
spatial audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880025963.3A
Other languages
English (en)
Other versions
CN110573995B (zh
Inventor
张大永
朴政勋
金洪周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kewei Co ltd
Electronics and Telecommunications Research Institute ETRI
Original Assignee
Tomato Production Co
Electronics and Telecommunications Research Institute ETRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tomato Production Co, Electronics and Telecommunications Research Institute ETRI filed Critical Tomato Production Co
Priority claimed from PCT/KR2018/004331 external-priority patent/WO2018194320A1/ko
Publication of CN110573995A publication Critical patent/CN110573995A/zh
Application granted granted Critical
Publication of CN110573995B publication Critical patent/CN110573995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

根据本发明，提供一种音频控制装置及其方法。基于视线跟踪的空间音频控制方法包括以下步骤：跟踪用户的视线方向；在输出音响的多个音响对象中搜索对应于所述视线方向的音响对象；以及控制搜索的音响对象的增益。

Description

基于视线跟踪的空间音频控制装置及其方法
技术领域
本发明涉及一种包括在虚拟现实内容的空间音频控制装置及其方法。
背景技术
随着VR360摄像机及头盔显示器(Head Mounted Display,HMD)技术的发展，如今虚拟现实内容已成为一项热门服务。此外，立体声技术还可以以多声道音频或基于对象的音频的形式提供，从而可以创建更具沉浸感的虚拟现实内容。
虚拟现实内容可以通过头部跟踪的视线跟踪来控制收看方向，使虚拟现实中的图像及音响如同用户的实际周围环境。此时，虚拟现实内容采用使用头戴式耳机的双耳三维音频技术。使用头戴式耳机的双耳三维音频技术根据实际多声道扬声部的位置、音响对象的位置信息及基于头部跟踪的收看方向的变化来控制声源的方向，从而使虚拟现实空间的对象声源的位置与视频同步。
然而，目前的提供虚拟现实内容的装置，其声源的方向仅根据收看方向的变化而改变，因此难以在包括在虚拟现实内容的多个音响对象中识别用户感兴趣的音响对象的输出。
因此，需要一种方法，使用户在虚拟现实内容中能够选择性地收听感兴趣的音响对象的声音。
发明内容
要解决的技术问题
本发明的目的在于提供一种装置及方法，使用户不做额外操作也能选择性地收听音响对象的声音。
并且，本发明的另一目的在于提供一种装置及方法，用于服务一种利用演出者的人气的节目。
解决问题的技术方法
根据本发明的一实施例的空间音频控制方法可以包括以下步骤：跟踪用户的视线方向；在输出音响的多个音响对象中搜索对应于所述视线方向的音响对象；以及控制搜索的音响对象的增益。
根据本发明的一实施例的空间音频控制方法的跟踪步骤可以包括：使用头部跟踪测量所述用户的头部方向；以及根据所述用户的头部方向跟踪所述用户的视线方向。
根据本发明的一实施例的空间音频控制方法的搜索步骤可以包括：根据所述视线方向设定单向曲线；进行搜索从而将位于所述单向曲线内部或与所述单向曲线接触的音响对象作为对应于所述视线方向的音响对象；以及当搜索不到对应于所述视线方向的音响对象时，设定全指向性曲线。
根据本发明的一实施例的空间音频控制方法的控制步骤可以包括：增加所述搜索的音响对象的输出；除了所述搜索的音响对象以外，根据所述单向曲线减少剩余的音响对象的输出；以及当设定了所述全指向性曲线时，对所述音响对象的增益进行相同的控制。
根据本发明的一实施例的空间音频控制方法的搜索步骤，当对应于所述视线方向的音响对象的搜索结果随用户的视线方向的移动而改变时，将所述单向曲线改为所述全指向性曲线，或将所述全指向性曲线改为所述单向曲线，所述控制步骤，当所述单向曲线或所述全指向性曲线改变时，进行控制使得音响对象的增益逐渐改变。
根据本发明的一实施例的空间音频控制方法的搜索步骤可以包括：测量所述视线方向的维持时间；当测量的时间小于或等于阈值时，设定全指向性曲线；以及当测量的时间超过阈值时，将全指向性曲线改为沿视线方向的单向曲线，并搜索对应于所述单向曲线的音响对象。
根据本发明的一实施例的空间音频控制方法的搜索步骤，当搜索不到对应于所述视线方向的音响对象时，以用户为中心设定全指向性曲线，所述控制步骤，对所述输出音响的多个音响对象的增益进行相同的控制。
根据本发明的一实施例的空间音频控制方法可以包括以下步骤：从由多个视点视频构成的多视点视频中，在显示器上显示用户选择的视点视频；根据所述用户选择的视点视频，控制包括在所述多视点视频的各音响对象；在多个受控的音响对象中搜索对应于所述用户选择的视点视频的音响对象；以及控制搜索的音响对象的增益。
根据本发明的一实施例的空间音频控制方法的搜索步骤可以包括：朝向所述用户选择的视点视频设定单向曲线；以及搜索位于所述单向曲线内部或与所述单向曲线接触的音响对象。
根据本发明的一实施例的空间音频控制方法的控制步骤可以包括：增加所述搜索的音响对象的输出；以及除了所述搜索的音响对象以外，根据所述单向曲线减少剩余的音响对象的输出。
根据本发明的一实施例的空间音频控制装置可以包括：视线跟踪部，跟踪用户的视线方向；音响对象搜索部，在输出音响的多个音响对象中搜索对应于所述视线方向的音响对象；以及增益控制部，用于控制搜索的音响对象的增益。
根据本发明的一实施例的空间音频控制装置的视线跟踪部，使用头部跟踪测量所述用户的头部方向，并根据所述用户的头部方向跟踪所述用户的视线方向。
根据本发明的一实施例的空间音频控制装置的音响对象搜索部，根据所述视线方向设定单向曲线，并进行搜索从而将位于所述单向曲线内部或与所述单向曲线接触的音响对象作为对应于所述视线方向的音响对象，且当搜索不到对应于所述视线方向的音响对象时，设定全指向性曲线。
根据本发明的一实施例的空间音频控制装置的增益控制部，增加所述搜索的音响对象的输出，并除了所述搜索的音响对象以外，根据所述单向曲线减少剩余的音响对象的输出，且当设定了所述全指向性曲线时，对所述音响对象的增益进行相同的控制。
根据本发明的一实施例的空间音频控制装置的音响对象搜索部，当对应于所述视线方向的音响对象的搜索结果随用户的视线方向的移动而改变时，将所述单向曲线改为所述全指向性曲线，或将所述全指向性曲线改为所述单向曲线，所述增益控制部，当所述单向曲线或所述全指向性曲线改变时，进行控制使得音响对象的增益逐渐改变。
根据本发明的一实施例的空间音频控制装置的音响对象搜索部，测量所述视线方向的维持时间，当测量的时间小于或等于阈值时，设定全指向性曲线，当测量的时间超过阈值时，将全指向性曲线改为沿视线方向的单向曲线，并搜索对应于所述单向曲线的音响对象。
根据本发明的一实施例的空间音频控制装置的音响对象搜索部，当搜索不到对应于所述视线方向的音响对象时，以用户为中心设定全指向性曲线，所述增益控制部，对所述输出音响的多个音响对象的增益进行相同的控制。
根据本发明的一实施例的空间音频控制装置可以包括：视点视频显示部，从由多个视点视频构成的多视点视频中，在显示器上显示用户选择的视点视频；音响对象控制部，根据所述用户选择的视点视频，控制包括在所述多视点视频的各音响对象；音响对象搜索部，在多个受控的音响对象中搜索对应于所述用户选择的视点视频的音响对象；以及增益控制部，控制搜索的音响对象的增益。
根据本发明的一实施例的空间音频控制装置的增益控制部，增加所述搜索的音响对象的输出，除了所述搜索的音响对象以外，根据所述单向曲线减少剩余的音响对象的输出。
发明的效果
根据本发明的一实施例，通过提高对应于用户的视线方向的音响对象的声音，并降低其他音响对象的声音，使用户可以不做额外操作也能选择性地收听音响对象的声音。
此外，根据本发明的一实施例，通过跟踪用户的视线方向，识别收看包括多个演出者的内容的各用户感兴趣的演出者，并且，可以根据识别的结果计算各演出者的人气，由此可以服务一种利用演出者的人气的节目。
附图说明
图1为显示根据本发明第一实施例的空间音频控制装置的附图。
图2为根据本发明第一实施例的空间音频控制装置的操作的示例图。
图3为根据本发明第一实施例的当空间音频控制装置设定全指向性曲线时的操作的示例图。
图4为根据本发明第一实施例的空间音频控制装置搜索对应于用户视线方向的音响对象的过程的示例图。
图5为根据本发明第一实施例的空间音频控制装置根据用户视线方向的改变控制空间音频的过程的示例图。
图6为根据本发明第一实施例的空间音频控制装置根据用户视线的维持时间设定指向性曲线的过程的示例图。
图7为根据本发明第一实施例的空间音频控制装置设定的单向曲线的示例图。
图8为显示根据本发明第二实施例的空间音频控制装置的附图。
图9为根据本发明第二实施例的空间音频控制装置的操作的示例图。
图10为显示根据本发明第一实施例的空间音频控制方法的流程图。
图11为显示根据本发明第二实施例的空间音频控制方法的流程图。
具体实施方式
以下将参照附图详细描述本发明的示例性实施例。可以由空间音频控制装置来执行根据本发明的实施例的空间音频控制方法。
本发明可以根据视点跟踪或视点视频控制音响对象的增益，从而控制空间音频。
图1为显示根据本发明第一实施例的空间音频控制装置的附图。
根据本发明的第一实施例，空间音频控制装置100是根据视线跟踪的空间音频控制装置，在通过头盔显示器播放虚拟现实视频内容的系统中，可以控制包括在虚拟现实视频内容的空间音频。
如图1所示，空间音频控制装置100可以包括视线跟踪部110、音响对象搜索部120以及增益控制部130。此时，视线跟踪部110、音响对象搜索部120及增益控制部130可以是包括在不同过程或一个过程中执行的程序的各模块。
视线跟踪部110可以跟踪用户的视线方向。此时，视线跟踪部110可以通过使用头部跟踪来测量用户的头部方向。并且，视线跟踪部110可以根据测量到的用户的头部方向来跟踪用户的视线方向。此时，视线跟踪部110可以从用户佩戴的头盔显示器接收头部跟踪信息。
音响对象搜索部120可以在输出音响的多个音响对象中搜索对应于用户的视线方向的音响对象。空间音频控制装置100控制的空间音频可以是基于对象的音响内容的虚拟现实内容的音响。此时，空间音频可以包括各音响对象的音响信号及各音响对象的位置信息。因此，音响对象搜索部120可以通过比较各音响对象的位置信息及用户的视线方向，来搜索对应于用户的视线方向的音响对象。
此外，当空间音频是多声道音响内容时，音响对象搜索部120通过分析空间音频的声源，可以将包括在空间音频的对象声源分离为音响对象。此外，音响对象搜索部120可以通过比较各分离的音响对象的位置信息及用户的视线方向来搜索对应于用户的视线方向的音响对象。
此时，音响对象搜索部120可以根据用户视线的方向来设定单向曲线。并且，音响对象搜索部120可以进行搜索从而将位于单向曲线内部或与单向曲线接触的音响对象作为对应于视线方向的音响对象。此外，当搜索不到对应于视线方向的音响对象时，音响对象搜索部120可以设定全指向性曲线。
并且，音响对象搜索部120可以根据用户的视线方向的移动，将单向曲线改为全指向性曲线来设定，或将全指向性曲线改为单向曲线来设定。
例如，在搜索不到对应于用户的视线方向的音响对象的情况下，由于用户视线方向的移动而搜索到对应于用户的视线方向的音响对象时，音响对象搜索部120可以将全指向性曲线改为单向曲线来设定。并且，在搜索到对应于用户的视线方向的音响对象的情况下，由于用户视线方向的移动而搜索不到对应于用户的视线方向的音响对象时，音响对象搜索部120可以将单向曲线改为全指向性曲线来设定。
此外，音响对象搜索部120可以测量用户的视线方向的维持时间。此时，当测量的时间小于或等于阈值时，音响对象搜索部120可以设定全指向性曲线。另外，当测量的时间超过阈值时，音响对象搜索部120可以将全指向性曲线改为沿视线方向的单向曲线，并搜索对应于单向曲线的音响对象。
增益控制部130可以控制音响对象搜索部120搜索到的音响对象的增益。此时，增益控制部130可以将音响对象搜索部120搜索到的音响对象的输出提高到最大值或预定值。此外，增益控制部130可以将除了搜索到的音响对象以外的剩余的音响对象的输出降低到由音响对象搜索部120设定的单向曲线或预定值。
此外，当音响对象搜索部120设定给用户的指向性曲线从单向曲线改为全指向性曲线，或从全指向性曲线改为单向曲线时，增益控制部130可以进行控制从而逐渐改变音响对象的增益。
空间音频控制装置100通过提高对应于用户的视线方向的音响对象的声音，并降低剩余的音响对象的声音，可以使用户不做额外操作也能选择性地收听感兴趣的音响对象的声音。
此时，用户只收听基于此功能所观察的视野的声音，可以减少散漫状态，增加沉浸感，并可以选择性地收听感兴趣的对象的声音。
此外，空间音频控制装置100可以通过追踪用户的视线方向确定收看包括多个演出者的内容的每个用户正在注视哪个演出者。因此，使用空间音频控制装置100，可以利用注视各演出者的用户数及注视各演出者的用户维持视线的时间来计算各演出者的人气，由此可以服务一种利用演出者的人气的节目。
例如，使用空间音频控制装置100，可以确定包括内容中演出者之间竞争的节目的胜负。具体地，通过使用空间音频控制装置100，计算各演出者的人气，并根据其人气来确定竞争的胜负，从而可以根据收看节目的用户的反应来确定竞争的胜负。
图2为根据本发明第一实施例的空间音频控制装置的操作的示例图。
空间音频控制装置100可以使用头部跟踪来跟踪用户210的视线方向。并且，空间音频控制装置100可以根据用户210的视线方向，在包括在内容的对象中识别出用户210正注视的对象220。另外，空间音频控制装置100可以搜索用于输出与对象220有关声音的音响对象。
接着，空间音频控制装置100通过控制增益使得搜索到的音响对象的输出得到提高，可以由此提高与用户正注视的对象220相关的声音。此外，空间音频控制装置100通过控制增益，使得除了搜索到的音响对象以外的剩余的音响对象的输出减少，可以在包括在内容中的对象中降低与用户210不注视的对象230有关的声音。
即，空间音频控制装置100通过提高与用户注视的对象220有关的声音，并降低与用户210不注视的对象230有关的声音，使用户210可以清楚地收听到与用户感兴趣并注视的对象220有关的声音。
图3为根据本发明第一实施例的当空间音频控制装置设定全指向性曲线时的操作的示例图。
当用户310不注视包括在内容的对象320、330、340时，空间音频控制装置100可能无法搜索对应于视线方向的音响对象。
如图3所示，此时，空间音频控制装置100可以以用户310为中心设定全指向性曲线311。并且，空间音频控制装置100可以以相同的方式控制对应于包括在内容的各对象320、330、340的音响对象的增益。例如，空间音频控制装置100可以不改变、或以同样的比率增加或减少对应于包括在内容的各对象320、330、340的音响对象的增益。
图4为根据本发明第一实施例的空间音频控制装置搜索对应于用户视线方向的音响对象的过程的示例图。
在收看内容期间，用户的视线也可以随时改变，并且，在用户将视线移动至感兴趣的对象的过程中，会经过其他对象。即，并不是所有对应于用户的视线方向的对象都是用户感兴趣的对象。此外，当连续发生控制增益的音响对象的变化时，输出的音响也可能不稳定。
因此，空间音频控制装置100可以仅在用户的视线方向维持一定时间的时候搜索对应于用户的视线方向的音响对象。
如图4所示，具体地，空间音频控制装置100可以基于用户410设定一定角度的视线范围420。并且，当存在一定时间以上位于视线范围420内的对象430时，空间音频控制装置100可以搜索对应于对象430的音响对象作为对应于用户的视线方向的音响对象。
图5为根据本发明第一实施例的空间音频控制装置根据用户视线方向的改变控制空间音频的过程的示例图。
第一演出者520、第二演出者530及第三演出者540可以出现在内容中，且用户510可以对第一演出者520感兴趣并注视第一演出者520。
此时，空间音频控制装置100可以根据用户510的视线方向设定单向曲线511。并且，音响对象搜索部120可以搜索对应于与单向曲线511接触的第一演出者520的音响对象，作为对应于用户510的视线方向的音响对象。
接着，空间音频控制装置100可以进行控制使得对应于第一演出者520的音响对象具有最大增益，而对应于第二演出者530及第三演出者540的音响对象的增益减少。
此时，空间音频控制装置100可以根据单向曲线511控制对应于第二演出者530及第三演出者540的音响对象的增益。即，空间音频控制装置100可以控制音响对象的增益使得声音的输出随着音响对象与单向曲线511之间的距离越近而增加；空间音频控制装置100可以控制音响对象的增益使得声音的输出随着音响对象与单向曲线511之间的距离越远而减少。例如，空间音频控制装置100可以控制对应于第二演出者530及第三演出者540的音响对象的增益，使得对应于第二演出者530的音响对象的输出大于对应于第三演出者540的音响对象的输出。
图6为根据本发明第一实施例的空间音频控制装置根据用户视线的维持时间设定指向性曲线的过程的示例图。
在步骤610中，当用户的视线方向的维持时间小于或等于阈值时，空间音频控制装置100可以设定全指向性曲线。此时，音响对象搜索部120可以实时确认用户的视线方向的保持时间是否超过阈值。此外，当用户的视线方向的维持时间大于阈值时，音响对象搜索部120可以执行步骤620。
在步骤620中，空间音频控制装置100可以将全指向性曲线611改为沿用户的视线方向的单向曲线612，并搜索对应于单向曲线的音响对象作为对应于用户的视线方向的音响对象。
并且，空间音频控制装置100可以不同地控制对应于用户的视线方向的音响对象的增益及剩余的音响对象的增益。
图7为根据本发明第一实施例的空间音频控制装置设定的单向曲线的示例图。
空间音频控制装置100根据用户的视线方向而设定的单向曲线可以是如图7的实例1所示的椭圆形，也可以是如图7的实例2所示的扇形。此外，除了图7所示的形状之外，空间音频控制装置100根据用户的视线方向而设定的单向曲线可以具有各种形状。
图8为显示根据本发明第二实施例的空间音频控制装置的附图。
根据第二实施例的空间音频控制装置800是根据多视点视频的空间音频控制装置，可以通过使用电视等一般显示器而不是头盔显示器来控制在播放虚拟现实视频内容的系统中包括在虚拟现实视频内容的空间音频。
此时，当使用电视等一般显示器来播放虚拟现实视频内容时，虚拟现实视频内容可以是由多个视点视频组成的多视点视频。此外，一般显示器可以通过播放用户在多个视点视频中选择的一个视点视频，并根据用户的输入改变视点视频来显示另一个视点的视点视频。
如图8所示，空间音频控制装置800可以包括视点视频显示部810、音响对象控制部820、音响对象搜索部830及增益控制部840。此时，视点视频显示部810、音响对象控制部820、音响对象搜索部830及增益控制部840可以是包括在不同过程或一个过程中执行的程序的各模块。
视点视频显示部810可以从由多个视点视频构成的多视点视频中，在显示器上显示用户选择的视点视频。
音响对象控制部820可以根据用户选择的视点视频来控制包括在多视点视频的多个音响对象。此时，音响对象控制部820可以根据属于用户选择的视点视频的视点的角位移来旋转音响对象。
音响对象搜索部830可以在由音响对象控制部820控制的多个音响对象中，搜索对应于用户选择的视点视频的音响对象。
此时，音响对象搜索部830向用户选择的视点视频设定单向曲线，并可以进行搜索从而将位于单向曲线内部或与单向曲线接触的音响对象作为对应于用户选择的视点视频的音响对象。
增益控制部840可以控制音响对象搜索部830搜索的音响对象的增益。
此时，增益控制部840可以控制音响对象搜索部830搜索的音响对象的增益，使得音响对象搜索部830搜索的音响对象的输出增加。此外，增益控制部840可以控制剩余的音响对象的增益，使得除了音响对象搜索部830搜索的音响对象以外，剩余的音响对象的输出根据单向曲线而减少。
图9为根据本发明第二实施例的空间音频控制装置的操作的示例图。
在步骤910中，空间音频控制装置800可以根据用户的输入改变包括对象911、912、913的各视点视频，并将其显示在显示器900上。
在步骤920中，空间音频控制装置800可以根据相当于显示在显示器900上的视点视频的角位移来旋转对应于对象911、912、913的音响对象。此外，空间音频控制装置800可以向显示在显示器900上的视点视频设定单向曲线921，从而搜索对应于对象911的音响对象。
最后，空间音频控制装置800可以控制音响对象搜索部830搜索的音响对象的增益，使得对应于对象911的音响对象的输出增加。此外，空间音频控制装置800可以控制对应于对象912的音响对象及对应于对象913的音响对象，使得对应于对象912的音响对象及对应于对象913的音响对象的输出根据单向曲线921而减少。
图10为显示根据本发明第一实施例的空间音频控制方法的流程图。
在步骤1010中，音响对象搜索部120可以基于用户设定全指向性曲线。
在步骤1020中，视线跟踪部110可以跟踪用户的视线方向。此时，视线跟踪部110可以通过使用由用户佩戴的头盔显示器的头部跟踪来测量用户的头部方向，并根据测量的用户的头部方向跟踪用户的视线方向。
在步骤1030中，音响对象搜索部120可以测量用户的视线方向的维持时间，并确定所测量的视线方向的维持时间是否大于阈值。当测量到的视线方向的维持时间大于阈值时，音响对象搜索部120可以执行步骤1040。并且，当测量到的视线方向的维持时间小于或等于阈值时，音响对象搜索部120可以重复执行步骤1020直到测量的视线方向的维持时间大于阈值为止，从而维持在步骤1010中为用户设定的全指向性曲线。
在步骤1040中，音响对象搜索部120可以根据用户的视线方向设定单向曲线。
在步骤1050中，音响对象搜索部120可以搜索在输出音响的多个音响对象中位于单向曲线内部或与单向曲线接触的音响对象作为对应于用户的视线方向的音响对象。
在步骤1060中，音响对象搜索部120可以确定在步骤1050中是否搜索到对应于用户的视线方向的音响对象。当搜索到对应于用户的视线方向的音响对象时，音响对象搜索部120可以执行步骤1070。当搜索不到对应于用户的视线方向的音响对象时，音响对象搜索部120可以通过执行步骤1010来设定全指向性曲线。
在步骤1070中，增益控制部130可以控制在步骤1050中搜索的音响对象的增益。此时，增益控制部130可以控制在步骤1050中搜索的音响对象的增益，使得在步骤1050中搜索的音响对象的输出增加。此外，增益控制部130可以控制剩余的对象的增益，使得除了在步骤1050中搜索的音响对象以外的剩余的音响对象的增益减少。
图11为显示根据本发明第二实施例的空间音频控制方法的流程图。
在步骤1110中，视点视频显示部810可以从由多个视点视频构成的多视点视频中，在显示器上显示用户选择的视点视频。
在步骤1120中，音响对象控制部820可以根据相当于步骤1110中显示在显示器上的视点视频的视点的角位移来旋转音响对象。
在步骤1130中，音响对象搜索部830可以向步骤1110中显示在显示器上的视点视频设定单向曲线，并进行搜索从而将位于单向曲线内部或与单向曲线接触的音响对象作为对应于用户选择的视点视频的音响对象。
在步骤1140中，增益控制部840可以控制在步骤1130中搜索的音响对象的增益。此时，增益控制部840可以控制在步骤1130中搜索的音响对象的增益，使得在步骤1130中搜索的音响对象的输出增加。此外，增益控制部840可以控制剩余的音响对象的增益，使得除了在步骤1130中搜索的音响对象以外的剩余的音响对象的输出根据单向曲线而减少。
本发明可以提高对应于用户的视线方向的音响对象的声音，并降低剩余的音响对象的声音，使得用户不做额外操作也能选择性地收听感兴趣的音响对象的声音。
此外，本发明通过跟踪用户的视线方向，识别收看包括多个演出者的内容的各用户所感兴趣的演出者，并根据识别的结果，可以计算各演出者的人气，由此可以服务一种利用演出者的人气的节目。
另外，根据本发明的方法编程为可在电脑上能够执行的程序，还可以由磁存储媒介、光学判读媒介、数码存储媒介等多种记录媒体实现。
本说明书描述的各种技术可以在数字电子电路或计算机硬件、固件、软件或其组合中实现。上述实现可以通过数据处理装置(诸如可编程处理器、计算机)，或为了基于多个计算机操作的处理或为控制其操作的计算机程序产品，即信息载体(例如在机器可读存储设备(计算机可读介质)或无线电信号中具体化为各种类型的计算机程序)来实现。上述的计算机程序可以用包括编译或解释语言的任何形式的编程语言编写，并且可以配置为包括独立程序，或包括作为适用于模块、构成要素、子程序或计算环境的其他单元的形式。计算机程序可以配置在一个站点的一台计算机或多台计算机上处理，或可以分布在多个站点上进行分配，并通过通信网络互连。
例如，适于处理计算机程序的处理器包括通用及专用微处理器，以及任意类型的数字计算机的任何一个或多个处理器。通常，处理器将会从只读存储器或随机存取存储器或两者中接收指令及数据。计算机的要素可以包括执行指令的至少一个处理器及存储指令与数据的一个或多个存储器装置。一般来说，计算机可以包括存储数据的一个或多个大容量存储装置，如磁盘、磁光盘或光盘，可以组合为从中接收数据，或向其发送数据，或两者全部。体现计算机程序指令及数据的适当信息载体包括，例如，半导体存储装置，例如，硬盘、软盘及磁带等磁性介质(Magnetic Media)；光盘(Compact Disk Read Only Memory，CD-ROM)、数字视盘(DVD)等光学介质(Optical Media)；光软盘(Floptical Disk)等磁光介质(Magneto-Optical Media)；只读存储器(ROM)、随机存取存储器(RAM)、闪存、可擦可编程只读存储器(Erasable Programmable ROM)、电可擦只读存储器(Electrically ErasableProgrammable ROM)等。处理器及存储器可以由专用逻辑电路补充或包括在专用逻辑电路中。
此外，计算机可读介质可以是一种可以由计算机访问的任意可用介质，并可以包括计算机存储介质及传输介质。
虽然本说明书包含多个特定实现方式的细节，但这些细节不应被解释为对任何发明的范围或可要求保护的范围的限制，而应被解释为对特定发明的特定实施方式特定的特征的描述。本说明书中在单独实施方式的背景下描述的特定特征还可在单个实施方式中组合地实现。相反地，在单个实施方式的背景下描述的各种特征也可以单独地或以任何合适的子组合在多个实施方式中来实现。并且，尽管特征可以被描述为以特定的组合来操作，甚至最初也如此要求保护，但是在某些情况下，所要求保护的组合中的一个或多个特征可以从该组合中删除，并且所要求保护的组合可以改变为子组合或子组合的变型。
类似地，尽管在附图中以特定顺序描述操作，但不应将其理解为要求按照所示的特定顺序或序列顺序来执行这些操作，或要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能有利。此外，在上述实施方式中多个装置组件的分离不应被理解为在所有实施方式中需要此类操作，应当将其理解为所描述的程序组件及装置通常可以在单个软件产品中集成在一起，或被打包到多个软件产品中。
此外，本说明书及附图显示的本发明的实施例，仅是为了帮助理解而提示的特定示例，并不用于限定本发明的范围。在此公开的实施例之外，本发明所属技术领域的技术人员应该理解，以本发明的技术思想为基础，可实施其他变形示例。

Claims (19)

1.一种基于视线跟踪的空间音频控制方法，包括以下步骤：
跟踪用户的视线方向；
在输出音响的多个音响对象中搜索对应于所述视线方向的音响对象；以及
控制搜索的音响对象的增益。
2.根据权利要求1所述的基于视线跟踪的空间音频控制方法，
所述跟踪步骤，包括以下步骤：
使用头部跟踪测量所述用户的头部方向；以及
根据所述用户的头部方向跟踪所述用户的视线方向。
3.根据权利要求1所述的基于视线跟踪的空间音频控制方法，
所述搜索步骤，包括以下步骤：
根据所述视线方向设定单向曲线；
进行搜索从而将位于所述单向曲线内部或与所述单向曲线接触的音响对象作为对应于所述视线方向的音响对象；以及
当搜索不到对应于所述视线方向的音响对象时，设定全指向性曲线。
4.根据权利要求3所述的基于视线跟踪的空间音频控制方法，
所述控制步骤，包括以下步骤：
增加所述搜索的音响对象的输出；
除了所述搜索的音响对象以外，根据所述单向曲线减少剩余的音响对象的输出；以及
当设定了所述全指向性曲线时，对所述音响对象的增益进行相同的控制。
5.根据权利要求3所述的基于视线跟踪的空间音频控制方法，
所述搜索步骤，
当对应于所述视线方向的音响对象的搜索结果随用户的视线方向的移动而改变时，将所述单向曲线改为所述全指向性曲线，或将所述全指向性曲线改为所述单向曲线，
所述控制步骤，
当所述单向曲线或所述全指向性曲线改变时，进行控制使得音响对象的增益逐渐改变。
6.根据权利要求1所述的基于视线跟踪的空间音频控制方法，
所述搜索步骤，包括以下步骤：
测量所述视线方向的维持时间；
当测量的时间小于或等于阈值时，设定全指向性曲线；以及
当测量的时间超过阈值时，将全指向性曲线改为沿视线方向的单向曲线，并搜索对应于所述单向曲线的音响对象。
7.根据权利要求1所述的基于视线跟踪的空间音频控制方法，
所述搜索步骤，
当搜索不到对应于所述视线方向的音响对象时，以用户为中心设定全指向性曲线，
所述控制步骤，
对所述输出音响的多个音响对象的增益进行相同的控制。
8.一种基于多视点视频的空间音频控制方法，包括以下步骤：
从由多个视点视频构成的多视点视频中，在显示器上显示用户选择的视点视频；
根据所述用户选择的视点视频，控制包括在所述多视点视频的各音响对象；
在多个受控的音响对象中搜索对应于所述用户选择的视点视频的音响对象；以及
控制搜索的音响对象的增益。
9.根据权利要求8所述的基于多视点视频的空间音频控制方法，
所述搜索步骤，包括以下步骤：
朝向所述用户选择的视点视频设定单向曲线；以及
搜索位于所述单向曲线内部或与所述单向曲线接触的音响对象。
10.根据权利要求9所述的基于多视点视频的空间音频控制方法，
所述控制步骤，包括以下步骤：
增加所述搜索的音响对象的输出；以及
除了所述搜索的音响对象以外，根据所述单向曲线减少剩余的音响对象的输出。
11.一种基于视线跟踪的空间音频控制装置，包括：
视线跟踪部，跟踪用户的视线方向；
音响对象搜索部，在输出音响的多个音响对象中搜索对应于所述视线方向的音响对象；以及
增益控制部，用于控制搜索的音响对象的增益。
12.根据权利要求11所述的基于视线跟踪的空间音频控制装置，
所述视线跟踪部，
使用头部跟踪测量所述用户的头部方向，并根据所述用户的头部方向跟踪所述用户的视线方向。
13.根据权利要求11所述的基于视线跟踪的空间音频控制装置，
所述音响对象搜索部，
根据所述视线方向设定单向曲线，并进行搜索从而将位于所述单向曲线内部或与所述单向曲线接触的音响对象作为对应于所述视线方向的音响对象，且当搜索不到对应于所述视线方向的音响对象时，设定全指向性曲线。
14.根据权利要求13所述的基于视线跟踪的空间音频控制装置，
所述增益控制部，
增加所述搜索的音响对象的输出，并除了所述搜索的音响对象以外，根据所述单向曲线减少剩余的音响对象的输出，且当设定了所述全指向性曲线时，对所述音响对象的增益进行相同的控制。
15.根据权利要求13所述的基于视线跟踪的空间音频控制装置，
所述音响对象搜索部，
当对应于所述视线方向的音响对象的搜索结果随用户的视线方向的移动而改变时，将所述单向曲线改为所述全指向性曲线，或将所述全指向性曲线改为所述单向曲线，
所述增益控制部，
当所述单向曲线或所述全指向性曲线改变时，进行控制使得音响对象的增益逐渐改变。
16.根据权利要求11所述的基于视线跟踪的空间音频控制装置，
所述音响对象搜索部，
测量所述视线方向的维持时间，当测量的时间小于或等于阈值时，设定全指向性曲线，当测量的时间超过阈值时，将全指向性曲线改为沿视线方向的单向曲线，并搜索对应于所述单向曲线的音响对象。
17.根据权利要求11所述的基于视线跟踪的空间音频控制装置，
所述音响对象搜索部，
当搜索不到对应于所述视线方向的音响对象时，以用户为中心设定全指向性曲线，
所述增益控制部，
对所述输出音响的多个音响对象的增益进行相同的控制。
18.一种基于多视点视频的空间音频控制装置，包括：
视点视频显示部，从由多个视点视频构成的多视点视频中，在显示器上显示用户选择的视点视频；
音响对象控制部，根据所述用户选择的视点视频，控制包括在所述多视点视频的各音响对象；
音响对象搜索部，在多个受控的音响对象中搜索对应于所述用户选择的视点视频的音响对象；以及
增益控制部，控制搜索的音响对象的增益。
19.根据权利要求19所述的基于多视点视频的空间音频控制装置，
所述增益控制部，
增加所述搜索的音响对象的输出，除了所述搜索的音响对象以外，根据所述单向曲线减少剩余的音响对象的输出。
CN201880025963.3A 2017-04-20 2018-04-13 基于视线跟踪的空间音频控制装置及其方法 Active CN110573995B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2017-0051162 2017-04-20
KR20170051162 2017-04-20
KR10-2017-0156722 2017-11-22
KR1020170156722A KR102311024B1 (ko) 2017-04-20 2017-11-22 시선추적에 따른 공간 오디오 제어 장치 및 그 방법
PCT/KR2018/004331 WO2018194320A1 (ko) 2017-04-20 2018-04-13 시선추적에 따른 공간 오디오 제어 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN110573995A true CN110573995A (zh) 2019-12-13
CN110573995B CN110573995B (zh) 2023-11-24

Family

ID=64100887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880025963.3A Active CN110573995B (zh) 2017-04-20 2018-04-13 基于视线跟踪的空间音频控制装置及其方法

Country Status (2)

Country Link
KR (1) KR102311024B1 (zh)
CN (1) CN110573995B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110413108B (zh) * 2019-06-28 2023-09-01 广东虚拟现实科技有限公司 虚拟画面的处理方法、装置、系统、电子设备及存储介质
WO2023250171A1 (en) * 2022-06-24 2023-12-28 Rovi Guides, Inc. Systems and methods for orientation-responsive audio enhancement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140375558A1 (en) * 2012-12-21 2014-12-25 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
CN104714734A (zh) * 2013-12-11 2015-06-17 三星电子株式会社 用于跟踪音频的方法和电子装置
KR20150087017A (ko) * 2014-01-21 2015-07-29 한양대학교 산학협력단 시선 추적에 기반한 오디오 제어 장치 및 이를 이용한 화상통신 방법
US20160132289A1 (en) * 2013-08-23 2016-05-12 Tobii Ab Systems and methods for providing audio to a user based on gaze input
US20170045941A1 (en) * 2011-08-12 2017-02-16 Sony Interactive Entertainment Inc. Wireless Head Mounted Display with Differential Rendering and Sound Localization

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6344125B2 (ja) * 2014-07-31 2018-06-20 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170045941A1 (en) * 2011-08-12 2017-02-16 Sony Interactive Entertainment Inc. Wireless Head Mounted Display with Differential Rendering and Sound Localization
US20140375558A1 (en) * 2012-12-21 2014-12-25 United Video Properties, Inc. Systems and methods for automatically adjusting audio based on gaze point
US20160132289A1 (en) * 2013-08-23 2016-05-12 Tobii Ab Systems and methods for providing audio to a user based on gaze input
CN104714734A (zh) * 2013-12-11 2015-06-17 三星电子株式会社 用于跟踪音频的方法和电子装置
KR20150087017A (ko) * 2014-01-21 2015-07-29 한양대학교 산학협력단 시선 추적에 기반한 오디오 제어 장치 및 이를 이용한 화상통신 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵治侠;魏生民;王超;: "头部无限制视线跟踪方法", 计算机工程与设计, no. 01 *

Also Published As

Publication number Publication date
KR102311024B1 (ko) 2021-10-12
KR20180118034A (ko) 2018-10-30
CN110573995B (zh) 2023-11-24

Similar Documents

Publication Publication Date Title
EP3440538B1 (en) Spatialized audio output based on predicted position data
US10491817B2 (en) Apparatus for video output and associated methods
EP3132444B1 (en) Conversation detection
EP3684083A1 (en) Processing audio signals
US9922667B2 (en) Conversation, presence and context detection for hologram suppression
JP6741873B2 (ja) バーチャルリアリティ分野における装置および関連する方法
US20190139312A1 (en) An apparatus and associated methods
EP2737727B1 (en) Method and apparatus for processing audio signals
US10798518B2 (en) Apparatus and associated methods
US11089426B2 (en) Apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user
US10560752B2 (en) Apparatus and associated methods
EP3399398B1 (en) An apparatus and associated methods for presentation of spatial audio
US20180288557A1 (en) Use of earcons for roi identification in 360-degree video
CN110573995B (zh) 基于视线跟踪的空间音频控制装置及其方法
US11825170B2 (en) Apparatus and associated methods for presentation of comments
US20140119550A1 (en) Transmit Audio in a Target Space
EP3321795B1 (en) A method and associated apparatuses
CN112752190A (zh) 音频调整方法以及音频调整装置
US20230101693A1 (en) Sound processing apparatus, sound processing system, sound processing method, and non-transitory computer readable medium storing program
US20200302761A1 (en) Indicator modes
US20240056761A1 (en) Three-dimensional (3d) sound rendering with multi-channel audio based on mono audio input
JP2016072891A (ja) 音声出力制御装置および音声出力制御方法
CN112272817A (zh) 用于在沉浸式现实中提供音频内容的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20211223

Address after: Daejeon

Applicant after: ELECTRONICS AND TELECOMMUNICATIONS Research Institute OF KOREA

Applicant after: Kewei Co.,Ltd.

Address before: Daejeon

Applicant before: ELECTRONICS AND TELECOMMUNICATIONS Research Institute OF KOREA

Applicant before: TOMATO PRODUCTION Inc.

GR01 Patent grant
GR01 Patent grant