CN114830068A - 传送装置、传送方法、接收装置和接收方法 - Google Patents

传送装置、传送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN114830068A
CN114830068A CN202080088129.6A CN202080088129A CN114830068A CN 114830068 A CN114830068 A CN 114830068A CN 202080088129 A CN202080088129 A CN 202080088129A CN 114830068 A CN114830068 A CN 114830068A
Authority
CN
China
Prior art keywords
haptic
channels
channel
signals
predetermined number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080088129.6A
Other languages
English (en)
Inventor
鸟羽一彰
市村元
山野郁男
伊藤镇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN114830068A publication Critical patent/CN114830068A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C15/00Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path
    • G08C15/06Arrangements characterised by the use of multiplexing for the transmission of a plurality of signals over a common path successively, i.e. using time division
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04JMULTIPLEX COMMUNICATION
    • H04J3/00Time-division multiplex systems
    • H04J3/16Time-division multiplex systems in which the time allocation to individual channels within a transmission cycle is variable, e.g. to accommodate varying complexity of signals, to vary number of channels transmitted
    • H04J3/1676Time-division multiplex with pulse-position, pulse-interval, or pulse-width modulation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/22Arrangements for obtaining desired frequency or directional characteristics for obtaining desired frequency characteristic only 
    • H04R1/26Spatial arrangements of separate transducers responsive to two or more frequency ranges
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S3/00Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00Loudspeakers
    • H04R2400/03Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Otolaryngology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

使得能够在比可以传送的触觉呈现信号的信道的数量多的位置处提供触觉呈现。生成包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号。传送信号经由预定的传送路径被传送到接收侧。例如,元数据动态地改变,并且动态地改变由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置。

Description

传送装置、传送方法、接收装置和接收方法
技术领域
本技术涉及传送装置、传送方法、接收装置和接收方法,更具体地,涉及一起处理触觉呈现信号与音频信号的传送装置、传送方法、接收装置和接收方法。
背景技术
在诸如5.1信道和7.1信道的多信道音频应用中,分配名称并将其用于识别各信道用途。示例包括右信道、左信道、中心信道和低频效应(LFE)信道等。这些有望被传输到设置在由名称指示的位置处的扬声器,并作为声音被再现。
近年来,提出了多媒体应用,其中,存在与常规音频视频同步使用的触觉呈现应用等。例如,专利文献1描述了用于传送触觉振动信号(触觉信号)并基于触觉振动信号在接收侧使振动单元振动的技术。
引文列表
专利文件
专利文件1:日本专利申请公开No.2018-060313
发明内容
本发明需要解决的问题
最广泛的多信道音频传送系统是5.1信道(总共六个信道)。在通过使用该多信道音频传送系统在空信道中传送立体声音频信号和触觉呈现信号的方法中,仅在四个位置处执行触觉呈现,并且足够的触觉生成是不可能的。
本技术的目的是,使得能够在比可以传送的触觉呈现信号的信道的数量多的位置处启用触觉呈现。
问题的解决方案
本技术的概念是一种传送装置,该传送装置包括:
传送信号生成单元,传送信号生成单元生成包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号;和
传送单元,传送单元经由预定的传送路径将传送信号传送到接收侧。
在本技术中,传送信号由传送信号生成单元生成。传送信号包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号,并且指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据被添加到传送信号。例如,元数据可以将零个、一个或多个触觉呈现位置指定为由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置。
传送单元经由预定的传送路径将传送信号传送到接收侧。例如,预定的传送路径可以是同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或显示端口线缆。
例如,传送信号可以是包括多个帧的各块的传送信号,传送单元可以经由预定的传送路径将各块的传送信号依次传送到接收侧,并且,传送信号生成单元可以通过使用为各块配置的信道状态的预定位区域添加元数据。在这种情况下,例如,多个帧可以包括包含预定数量的帧的多信道组的重复,并且,传送单元可以在预定数量的帧中的全部或一些中逐个信道地为各多信道组以时分的方式配置和传送预定数量的信道的音频信号和预定数量的信道的触觉呈现信号。
如上所述,在本技术中,指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据被添加到包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号的传送信号,并且,传送信号被传送。因此,在接收侧,预定数量的信道的触觉呈现信号可以基于元数据被输出为目标触觉呈现位置的触觉呈现信号,并且,可以在比可传送的触觉呈现信号的信道数更多的位置处执行触觉呈现。
注意,在本技术中,例如,传送信号生成单元可以动态地改变元数据,以动态地改变由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置。因此,在接收侧,可以基于元数据动态地改变由预定数量的信道的触觉呈现信号所针对的触觉呈现位置。
在这种情况下,例如,当将元数据从第一状态变为第二状态时,传送信号生成单元可以对预定数量的信道的触觉呈现信号执行淡出和淡入处理,或者可以将静音信号插入预定数量的信道的触觉呈现信号中。因此,能够减轻由预定数量的信道的触觉呈现信号的不连续变化引起的用户不舒服的感觉。
并且,在这种情况下,例如,传送信号生成单元可以与与音频信号相关的内容的场景同步地动态地改变元数据。因此,能够有效地驱动适合于场景的触觉呈现位置,并向用户执行适当的触觉呈现。
并且,本技术的另一概念是一种接收装置,该接收装置包括:
接收单元,接收单元经由预定的传送路径从传送侧接收包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号;和
处理单元,处理单元从传送信号提取并输出预定信道的音频信号,从传送信号提取预定信道的触觉呈现信号,并且基于元数据将预定信道的触觉呈现信号中的每一个输出为目标触觉呈现位置的触觉呈现信号。
在本技术中,接收单元经由预定传送路径从传送侧接收传送信号。传送信号包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号,并且指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据被添加到传送信号。例如,预定传送路径可以是同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或显示端口线缆。
并且,例如,传送信号可以是包括多个帧的各块的传送信号,接收单元可以经由预定传送路径从传送侧依次接收各块的传送信号,并且可以通过使用为各块配置的信道状态的预定位区域添加元数据。在这种情况下,例如,多个帧可以包括包含预定数量的帧的多信道组的重复,并且,可以在预定数量的帧中的全部或一些中为各多信道组逐个信道地以时分的方式配置预定数量的信道的音频信号和预定数量的信道的触觉呈现信号。
从传送信号提取并且由处理单元输出预定信道的音频信号。并且,处理单元从传送信号提取预定信道的触觉呈现信号,并且,预定信道的触觉呈现信号中的每一个基于元数据被输出为目标触觉呈现位置的触觉呈现信号。
如上所述,在本技术中,从传送信号提取的预定信道的触觉呈现信号中的每一个基于元数据被输出为目标触觉呈现位置的触觉呈现信号。因此,能够在比触觉呈现信号的信道数更多的位置处执行触觉呈现。
附图说明
图1是示出作为实施例的AV系统的配置示例的框图。
图2是示出触觉呈现位置范围的示例的示图。
图3是示意性地示出各触觉呈现位置的示图。
图4是示出音频放大器中的SPDIF接收电路、音频DA转换器、选择器和驱动器的部分的配置示例的框图。
图5是用于解释包含于选择器中的触觉呈现信号分类功能的示图。
图6是示出选择器的配置示例的示图。
图7是示出SPDIF接收电路、选择器和驱动器的一些路径为无线的情况下的配置示例的框图。
图8是用于解释视听内容再现的示例的示图。
图9是示出由场景1和场景2中的四个信道的触觉呈现信号所针对的触觉呈现位置的示例的示图。
图10是用于解释在场景切换时执行的触觉呈现信号上的淡出和淡入处理以及静音信号插入处理的示图。
图11是示出音频放大器中的SPDIF接收电路、音频DA转换器、选择器和驱动器的部分的另一配置示例的框图。
图12是示出电视接收器的HDMI接收单元和音频放大器的HDMI传送单元的配置示例的框图。
图13是示出电视接收器的高速总线接口的配置示例的示图。
图14是示出音频放大器的高速总线接口的配置示例的示图。
图15是示出根据IEC 60958标准的帧配置的示图。
图16是示出根据IEC 60958标准的子帧配置的示图。
图17是示出同时传送两个信道的立体声音频信号和四个信道的触觉呈现信号的情况下的多信道传送格式的帧配置的示例的示图。
图18是示意性地示出根据IEC 60958标准的信道状态的格式的示图。
图19是用于解释映射类型的示图,该映射类型指定由通过“触觉信道匹配类型”的8位字段指示的四个信道的触觉呈现信号所针对的触觉呈现位置。
图20是用于解释由对各类型预定义的四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的示图。
图21是示意性地示出根据IEC 60958标准的信道状态的格式的示图。
图22是用于解释由“触觉信道0分配”到“触觉信道3分配”的各8位字段指示的触觉呈现位置的示图。
图23是用于解释由“触觉信道0分配”到“触觉信道3分配”的各8位字段指示的触觉呈现位置的示图。
图24是示意性地示出根据IEC 60958标准的信道状态的格式的示图。
图25是示出位置编号和振动位置之间的对应关系的示例的示图。
图26是用于解释视听内容再现的另一示例的示图。
图27是用于解释视听内容再现的又一示例的示图。
图28是用于解释视听内容再现的又一示例的示图。
图29是用于解释将指定由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据添加到触觉呈现信号中的每一个的示例的示图。
图30是示出触觉呈现位置指定标志的各部分与触觉呈现位置之间的对应关系的示例的示图。
图31是示出触觉呈现位置指定标志的各部分的状态(标志配置)的示例的示图。
图32是示出触觉呈现位置指定标志的各部分的状态(标志配置)的另一示例的示图。
图33是用于解释根据内容切换由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的示例的示图。
图34是用于解释根据实际设置在音频放大器侧的触觉呈现位置处理的触觉呈现信号和元数据被从电视接收器侧传送到音频放大器侧的示例的框图。
图35是用于解释电视接收器侧的处理的示例的示图。
具体实施方式
下面将描述本发明的具体实施方式(以下称为“实施例”)。注意,将按以下顺序给出描述。
1.实施例
2.变更例
<1.实施例>
【AV系统的配置示例】
图1示出作为实施例的音频/视频(AV)系统10的配置示例。AV系统10包括电视接收器100和音频放大器200。用于电视广播的接收天线121、蓝光光盘(BD)播放器122和因特网123连接到电视接收器100。并且,双信道或多信道扬声器系统250和一信道或多信道触觉呈现系统260连接到音频放大器200。注意,“蓝光”是注册商标。
电视接收器100和音频放大器200经由高清多媒体接口(HDMI)线缆300被连接。注意,“HDMI”是注册商标。电视接收器100具有HDMI端子101,HDMI接收单元(HDMI RX)102和构成通信单元的高速总线接口103连接到HDMI端子101。音频放大器200具有HDMI端子201,HDMI传送单元(HDMI TX)202和构成通信单元的高速总线接口203连接到HDMI端子201。HDMI线缆300的一端连接到电视接收器100的HDMI端子101,并且其另一端连接到音频放大器200的HDMI端子201。
电视接收器100包括HDMI接收单元102、高速总线接口103和索尼飞利浦数字接口(SPDIF)传送电路104。并且,电视接收器100包括系统控制器105、数字广播接收电路107、内容再现电路108、显示单元109和以太网接口110。注意,“以太网”和“Ethernet”是注册商标。并且,在示出的示例中,为了简化描述,适当地省略图像系统的各单元。
系统控制器105控制电视接收器100的各单元的动作。数字广播接收电路107处理从接收天线121输入的电视广播信号,并输出与广播内容有关的视频信号、多信道音频信号(线性PCM信号)、预定数量信道的触觉呈现信号、以及指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据。
以太网接口110经由因特网123与外部服务器通信,并输出与因特网内容相关的视频信号、多信道音频信号(线性PCM信号)、预定数量的信道的触觉呈现信号以及指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据。通过再现动作,BD播放器122输出与再现内容相关的视频信号、多信道音频信号(线性PCM信号)、预定数量的信道的触觉呈现信号、以及指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据。
由各信道的触觉呈现信号所针对的触觉呈现位置(触觉呈现地点)限于例如预定义的触觉呈现位置范围。图2示出触觉呈现位置范围的示例。在本示例中,作为触觉呈现位置范围,示出全尺寸(32器件)版本、部分1尺寸(24器件)版本、部分2尺寸(16器件)版本和部分3尺寸(8器件)版本。图3示意性地示出各触觉呈现位置。
这里,全尺寸版本包括32个触觉呈现位置:(0)头前“Head front”;(1)头后“Headback”;(2)头左“Head left”;(3)头右“Head right”;(4)肩左“Shoulder left”;(5)肩右“Shoulder right”;(6)手左“Hand left”;(7)手右“Hand right”;(8)腕左“Wrist left”;(9)腕右“Wrist right”;(10)胸左上“Chest upper-left”;(11)胸右上“Chest upper-right”;(12)胸左下“Chest lower-left”;(13)胸右下“Chest lower-right”;(14)腹左“Stomach left”;(15)腹右“Stomach right”;(16)背左上“Back upper-left”;(17)背右上“Back upper-right”;(18)背左下“Back lower-left”;(19)背右下“Back lower-right”;(20)膝左“Knee left”;(21)膝右“Knee right”;(22)足左“Foot left”;(23)足右“Footright”;和(24)~(31)其它。
并且,部分1尺寸版本包括24个触觉呈现位置:(0)头前“Head front”;(1)头后“Head back”;(2)头左“Head left”;(3)头右“Head right”;(4)肩左“Shoulder left”;(5)肩右“Shoulder right”;(6)手左“Hand left”;(7)手右“Hand right”;(8)腕左“Wristleft”;(9)腕右“Wrist right”;(10)胸左上“Chest upper-left”;(11)胸右上“Chestupper-right”;(12)胸左下“Chest lower-left”;(13)胸右下“Chest lower-right”;(14)腹左“Stomach left”;(15)腹右“Stomach right”;(16)背左上“Back upper-left”;(17)背右上“Back upper-right”;(18)背左下“Back lower-left”;(19)背右下“Back lower-right”;(20)膝左“Knee left”;(21)膝右“Knee right”;(22)足左“Foot left”和(23)足右“Foot right”。
并且,部分2尺寸版本包括16个触觉呈现位置:(6)手左“Hand left”;(7)手右“Hand right”;(8)腕左“Wrist left”;(9)腕右“Wrist right”;(10)胸左上“Chest upper-left”;(11)胸右上“Chest upper-right”;(12)胸左下“Chest lower-left”;(13)胸右下“Chest lower-right”;(14)腹左“Stomach left”;(15)腹右“Stomach right”;(16)背左上“Back upper-left”;(17)背右上“Back upper-right”;(18)背左下“Back lower-left”;(19)背右下“Back lower-right”;(22)足左“Foot left”和(23)足右“Foot right”。
并且,部分3尺寸版本包括8个触觉呈现位置:(10)胸左上“Chest upper-left”;(11)胸右上“Chest upper-right”;(12)胸左下“Chest lower-left”;(13)胸右下“Chestlower-right”;(14)腹左“Stomach left”;(15)腹右“Stomach right”;(16)背左上“Backupper-left”;和(17)背右上“Back upper-right”。
由预定数量的信道数量的触觉呈现信号中的每一个所针对的触觉呈现位置根据内容而改变,或者与内容的场景同步地动态改变。元数据指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置,并且,可以设想零个、一个或多个触觉呈现位置为由一个信道的触觉呈现信号所针对的触觉呈现位置。
内容再现电路108选择性地提取由数字广播接收电路107、以太网接口110或BD播放器122获得的视频信号、多信道音频信号、预定数量的信道的触觉呈现信号以及元数据。然后,内容再现电路108将视频信号传送到显示单元109。显示单元109基于视频信号显示图像。
并且,内容再现电路108将多信道音频信号和预定数量的信道的触觉呈现信号传送到SPDIF传送电路104。SPDIF传送电路104是用于传送IEC 60958标准的数字音频传送信号(以下适当地称为“SPDIF信号”)的电路。SPDIF传送电路104是符合IEC 60958标准的传送电路。注意,将在后面描述SPDIF信号的细节。
在已添加元数据(触觉呈现位置信息)的状态下,SPDIF传送电路104将多信道音频信号和预定数量的触觉呈现信号同时传送到音频放大器200。在这种情况下,包括多个帧(这里为192个帧)的各块的传送信号作为SPDIF信号被依次传送。然后,在传送信号中包括多信道音频信号和预定数量的触觉呈现信号,并且,进一步添加上述元数据(触觉呈现位置信息)。例如,通过使用为各块配置的信道状态的预定位区域添加元数据。
注意,触觉呈现信号据说具有DC-1kHz的频带。任何能够传送线性PCM的数字音频接口均可以传送触觉呈现信号。在这种情况下,例如,在呈现力觉触觉的情况下,能够在正时将DC区域表达为“按”,在负时表达为“引”或“拉”。
这里,多个帧包括包含预定数量的帧的多信道组的重复。在预定数量的帧中的全部或一些中逐个信道地为各多信道组以时分的方式配置多信道音频信号和预定数量的信道的触觉呈现信号。
HDMI接收单元102通过HDMI兼容通信接收经由HDMI线缆300供给到HDMI端子101的视频或音频数据。高速总线接口103是通过使用构成HDMI线缆300的预留线和热插拔检测(HPD)线配置的双向通信路径的接口。注意,将在后面描述HDMI接收单元102和高速总线接口103的细节。
音频放大器200包括HDMI传送单元202、高速总线接口203和SPDIF接收电路204。并且,音频放大器200包括系统控制器205、音频DA转换器206、选择器207、驱动器208和以太网接口210。
系统控制器205控制音频放大器200的各单元的动作。HDMI传送单元202通过HDMI兼容通信将视频或音频数据从HDMI端子201传送到HDMI线缆300。高速总线接口203是通过使用构成HDMI线缆300的预留线和热插拔检测(HPD)线配置的双向通信路径的接口。注意,将在后面描述HDMI传送单元202和高速总线接口203的细节。
SPDIF接收电路204接收作为SDPIF信号(IEC 60958标准的数字音频信号)的传送信号,并获取包含于传送信号中的多信道音频信号和预定数量的信道的触觉呈现信号,并且进一步获取元数据。
音频DA转换器206对各信道DA转换并放大由SPDIF接收电路204提取的多信道音频信号,并将放大的多信道音频信号传送到具有对应于各信道的扬声器的扬声器系统250。因此,扬声器系统250通过多信道音频信号执行声音再现。
并且,基于由SPDIF接收电路204类似地提取的元数据,选择器207将由SPDIF接收电路204提取的预定数量的信道的触觉呈现信号分类并输出为目标触觉呈现位置的触觉呈现信号。驱动器208DA转换并放大由选择器207分类的预定数量的信道的触觉呈现信号,并将放大的触觉呈现信号传送到在各自的触觉呈现位置处具有触觉呈现器件的触觉呈现系统260。
因此,触觉呈现系统260根据预定数量的信道的触觉呈现信号,执行目标触觉呈现位置处的触觉呈现再现。在这种情况下,如上所述,由于与多信道音频信号同时地传送预定数量的信道的触觉呈现信号,因此触觉呈现再现与声音再现正确地同步,并且也与电视接收器100的显示单元109上的视频显示同步。
以下,在本实施例中,将基于多信道音频信号是两个信道的立体声音频信号并且预定数量的信道的触觉呈现信号是四个信道的触觉呈现信号的假定给出描述。注意,当然,本技术当然不限于此。
图4示出音频放大器200中的SPDIF接收电路204、音频DA转换器206、选择器207和驱动器208的部分的配置示例。由SPDIF接收电路204提取的两个信道的立体声音频信号(信道0和1的信号)被供给到音频DA转换器206。然后,在音频DA转换器206中,两个信道的立体声音频信号(左声音信号和右声音信号)被DA转换和放大,并被供给到作为扬声器系统250的耳机251。因此,耳机251根据两个信道的立体声音频信号执行声音再现。
并且,由SPDIF接收电路204提取的四个信道的触觉呈现信号(信道2~5的信号)和指定由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据被供给到选择器207。在选择器207中,基于元数据,四个信道的触觉呈现信号被分类并输出为目标触觉呈现位置(包含于六个触觉呈现位置中)的触觉呈现信号。
由选择器207分类的四个信道的触觉呈现信号通过驱动器208被DA转换和放大,并然后被供给到作为触觉呈现系统260的、具有触觉呈现器件的触觉呈现背心261和触觉呈现沙发262的相应触觉呈现器件。因此,各目标触觉呈现位置处的振动再现由四个信道的触觉呈现信号执行。
注意,在触觉呈现背心261和触觉呈现沙发262中,“圆”表示触觉呈现位置(触觉呈现装置的配置位置),并且总共存在六个触觉呈现位置。在示出的示例中,六个触觉呈现位置分别为沙发左、沙发右、胸左、胸右、腹左和腹右。
图5示出包含于选择器207中的触觉振动信号分类功能。如图5(a)所示,选择器207被配置为能够基于元数据输出某个信道(信道x)的触觉呈现信号作为预定触觉呈现位置的触觉呈现信号。并且,如图5(b)所示,选择器207被配置为能够基于元数据输出多个信道的触觉呈现信号作为某个触觉呈现位置的触觉呈现信号。
图6示出选择器207的配置示例。选择器207具有用于输入四个信道的触觉呈现信号的四个输入系统In1~In4作为输入端子。并且,选择器207具有六个输出系统Out1~Out6。然后,各输出系统包括输入到四个输入系统In1~In4的四个信道的零个、一个或多个触觉呈现信号基于元数据被选择性地输入到的输入单元、以及合算并输出输入的触觉呈现信号的合算单元。通过这种配置,选择器207展示上述的图5(a)和图5(b)所示的分类功能。
图7示出SPDIF接收电路204、选择器207和驱动器208的一些路径为无线的情况下的配置示例。这里,“Tx”表示无线传送器,“Rx”表示无线接收器。在图7(a)中,选择器207的六个输出和驱动器208的六个输入之间的所有六条路径均是无线的。在图7(b)中,在示出的示例中,选择器207的六个输出和驱动器208的六个输入之间的仅仅一些路径(即,仅仅四条路径)是无线的。
在图7(c)中,SPDIF接收电路204的四个输出和驱动器208的六个输入是无线的。在这种情况下,与SPDIF接收电路204的四个输出相关的传送器具有选择器207的功能,并且基于元数据将触觉呈现信号选择性地传送到与驱动器208的六个输入相关的接收器。
图8示出视听内容再现的示例。图8(a)示意性地示出按时间顺序的场景1(拳击的场景)和场景2(倒地的场景)。图8(b)示出两个信道的连续立体声音频信号和与场景同步动态变化的四个信道的触觉呈现信号。
对应于场景1的四个信道的触觉呈现信号由类型1指示。在这种类型1中,如图9所示,四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号针对胸左、胸右、腹左和腹右的振动位置。注意,在图9中,圆圈数字0、1、2和3分别表示第0信道、第1信道、第2信道和第3信道。
因此,在场景1中,基于元数据,在选择器207中,四个信道(第0信道、第1信道、第2信道和第3信道))的触觉呈现信号分别被输出为胸左、胸右、腹左和腹右的振动位置处的触觉呈现信号。因此,在场景1中,如图8(c)所示,在胸左、胸右、腹左和腹右的触觉呈现位置(见空心“圆圈”)处,执行用于产生成被击中感觉的触觉呈现再现。
另一方面,对应于场景2的四个信道的触觉呈现信号由类型2指示。在该类型2中,如图9所示,四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号针对胸左、胸右、沙发左和沙发右的触觉呈现位置。
因此,在场景2中,基于元数据,在选择器207中,四个信道的触觉呈现信号分别被输出为胸左、胸右、沙发左和沙发右的触觉呈现位置的触觉呈现信号。因此,在场景2中,如图8(c)所示,触觉感觉在胸左、胸右、沙发左和沙发右的触觉呈现位置(见空心“圆圈”)从前向后移动,使得执行用于产生在冲击后向后倒下的触觉感觉的触觉呈现再现。
注意,如图8(b)所示,两个信道的立体声音频信号被连续地再现而没有中断,并且只有触觉呈现信号被不连续地切换。由于触觉呈现信号在场景1和场景2之间不连续,因此希望如图10(a)所示的那样在切换时对触觉呈现信号执行淡出和淡入处理,或者如图10(b)所示的那样在切换时对触觉呈现信号执行静音信号插入处理。因此,能够减轻由触觉呈现信号的不连续变化引起的用户的不适感。
注意,淡出和淡入处理以及静音信号插入处理可以预先在电视接收器100侧执行,可以由音频放大器200的选择器207或驱动器208执行,或者可以由触觉呈现背心261或触觉呈现沙发262执行。
图11示出音频放大器200中的SPDIF接收电路204、音频DA转换器206、选择器207和驱动器208的部分的另一配置示例。在图11中,与图4中的部分对应的部分由相同的附图标记表示。该另一配置示例与图4的配置示例的不同在于,选择器207和驱动器208的连接顺序相反,其它方面类似。
“HDMI传送单元/接收单元的配置示例”
图12示出图1的AV系统10中的电视接收器100的HDMI接收单元102和音频放大器200的HDMI传送单元202的配置示例。
在有效图像区间(以下,适当地称为“活动视频区间”)即通过从从某个垂直同步信号到下一垂直同步信号的区间(以下,适当地称为“视频场”)去除水平消隐周期和垂直消隐周期获得的区间中,HDMI传送单元202通过多个信道单向地向HDMI接收单元102传送一个画面的图像数据的基带(未压缩)差分信号。并且,在水平消隐周期和垂直消隐周期中,HDMI传送单元202通过多个信道单向地向HDMI接收单元102传送对应于伴随图像数据的声音数据、控制包和其它辅助数据等的差分信号。
HDMI传送单元202包括源信号处理单元71和HDMI传送器72。基带未压缩的图像(视频)和声音(音频)数据被供给到源信号处理单元71。源信号处理单元71对供给的图像和声音数据执行必要的处理,并将经处理的数据供给到HDMI传送器72。并且,源信号处理单元71根据需要与HDMI传送器72交换控制信息和用于给出状态通知的信息(Control/Status)等。
HDMI传送器72将从源信号处理单元71供给的图像数据转换为相应的差分信号,并通过作为多个信道的三个TMDS信道#0、#1和#2将差分信号单向地传送到经由HDMI线缆300连接的HDMI接收单元102。
并且,从HDMI传送器72和源信号处理单元71供给的伴随未压缩图像数据的声音数据、控制包和其它辅助数据,以及诸如垂直同步信号(VSYNC)和水平同步信号(HSYNC)的控制数据被转换为相应的差分信号,并且通过三个TMDS信道#0、#1和#2被单向地传送到经由HDMI线缆300连接的HDMI接收单元102。
并且,HDMI传送器72通过TMDS时钟信道将与通过三个TMDS信道#0、#1和#2传送的图像数据同步的像素时钟传送到经由HDMI线缆300连接的HDMI接收单元102。
HDMI接收单元102在活动视频区间中通过多个信道接收从HDMI传送单元202单向传送的对应于图像数据的差分信号,并在水平消隐周期和垂直消隐周期中通过多个信道接收从HDMI传送单元202传送的对应于辅助数据和控制数据的差分信号。
HDMI接收单元102包括HDMI接收器81和宿信号处理单元(sink signalprocessing unit)82。与类似地通过TMDS时钟信道从HDMI传送单元202传送的像素时钟同步地,HDMI接收器81通过TMDS信道#0、#1和#2接收从经由HDMI线缆300连接的HDMI传送单元202单向传送的对应于图像数据的差分信号和对应于辅助数据和控制数据的差分信号。并且,HDMI接收器81将差分信号转换为相应的图像数据、辅助数据和控制数据,并根据需要将数据供给到宿信号处理单元82。
宿信号处理单元82对从HDMI接收器81供给的数据执行必要的处理,并输出数据。另外,宿信号处理单元82根据需要与HDMI接收器81交换控制信息和用于给出状态通知的信息(Control/Status)等。
HDMI传送信道包括用于与像素时钟同步地将图像数据、辅助数据和控制数据从HDMI传送单元202单向地依次传送到HDMI接收单元102的三个TMDS信道#0、#1和#2、作为用于传送像素时钟的传送信道的TMDS时钟信道、显示数据信道(DDC)83和被称为CEC线84的传送信道。
DDC 83包括包含于HDMI线缆300中并且被源设备用于从经由HDMI线缆300连接的宿设备读取增强扩展显示标识(E-EDID)的未示出的两条线(信号线)。即,宿设备包括EDIDROM 85。源设备经由DDC 83从经由HDMI线缆300连接的宿设备读取存储在EDID ROM 85中的E-EDID,并且基于E-EDID识别宿设备的设定和性能。
CEC线84包括包含于HDMI线缆300中并用于在源设备和宿设备之间执行控制数据的双向通信的未示出的一条线。
并且,HDMI线缆300包括连接到称为热插拔检测(HPD)的管脚的线86。源设备可以通过使用线86检测宿设备的连接。并且,HDMI线缆300包括用于从源设备向宿设备供电的线87。并且,HDMI线缆300包括预留线88。
“高速总线接口的配置示例”
图13示出图1的AV系统10中的电视接收器100的高速总线接口103的配置示例。以太网接口110执行局域网(LAN)通信,即,使用包括一对线(构成HDMI线缆300的多条线中的预留线和HPD线)的传送路径的以太网信号的传送和接收。SPDIF传送电路104通过使用包括上述线对的传送路径传送SPDIF信号。
电视接收器100包括LAN信号传送电路441、终端电阻器442、AC耦合电容器443和444、LAN信号接收电路445、减法电路446、加法电路449和450、以及放大器451。它们构成高速总线接口103。并且,电视接收器100包括构成插头连接传送电路128的扼流圈461、电阻器462和电阻器463。
AC耦合电容器443、终端电阻器442和AC耦合电容器444的串联电路连接在HDMI端子101的14管脚端子521和19管脚端子522之间。并且,电阻器462和电阻器463的串联电路连接在电源线(+5.0v)和接地线之间。然后,电阻器462和电阻器463之间的相互连接点经由扼流圈461连接到19管脚端子522和AC耦合电容器444之间的连接点Q4。
AC耦合电容器443和终端电阻器442之间的相互连接点P3连接到加法电路449的输出侧,并且连接到LAN信号接收电路445的正输入侧。并且,AC耦合电容器444和终端电阻器442之间的相互连接点P4连接到加法电路450的输出侧,并且连接到LAN信号接收电路445的负输入侧。
加法电路449的一个输入侧连接到LAN信号传送电路441的正输出侧,并且从SPDIF传送电路104输出的SPDIF信号经由放大器451被供给到加法电路449的另一输入侧。并且,加法电路450的一个输入侧连接到LAN信号传送电路441的负输出侧,并且从SPDIF传送电路104输出的SPDIF信号经由放大器451被供给到加法电路450的另一输入侧。
传送信号(传送数据)SG417从以太网接口110被供给到LAN信号传送电路441的输入侧。并且,LAN信号接收电路445的输出信号SG418被供给到减法电路446的正侧端子,并且传送信号SG417被供给到减法电路446的负侧端子。减法电路446从LAN信号接收电路445的输出信号SG418减去传送信号SG417,以获得接收信号(接收数据)SG419。当LAN信号(以太网信号)作为差分信号经由预留线和HPD线被传送时,接收信号SG419变为LAN信号。接收信号SG419被供给到以太网接口110。
图14示出图1的AV系统10中的音频放大器200的高速总线接口203的配置示例。以太网接口210执行局域网(LAN)通信,即,使用包括一对线(构成HDMI线缆300的多条线中的预留线和HPD线)的传送路径的以太网信号的传送和接收。SPDIF接收电路204通过使用包括上述线对的传送路径接收SPDIF信号。
音频放大器200包括LAN信号传送电路411、终端电阻器412、AC耦合电容器413和414、LAN信号接收电路415、减法电路416、加法电路419和放大器420。它们构成高速总线接口203。并且,音频放大器200包括构成插头连接检测电路221的下拉电阻器431、电阻器432、电容器433和比较器434。这里,电阻器432和电容器433构成低通滤波器。
AC耦合电容器413、终端电阻器412和AC耦合电容器414的串联电路连接在HDMI端子201的14管脚端子511和19管脚端子512之间。AC耦合电容器413和终端电阻器412之间的相互连接点P1连接到LAN信号传送电路411的正输出侧,并且连接到LAN信号接收电路415的正输入侧。
AC耦合电容器414和终端电阻器412之间的相互连接点P2连接到LAN信号传送电路411的负输出侧,并且连接到LAN信号接收电路415的负输入侧。传送信号(传送数据)SG411从以太网接口210被供给到LAN信号传送电路411的输入侧。
LAN信号接收电路415的输出信号SG412被供给到减法电路416的正侧端子,并且传送信号(传送数据)SG411被供给到减法电路416的负侧端子。减法电路416从LAN信号接收电路415的输出信号SG412减去传送信号SG411,以获得接收信号SG413。当LAN信号(以太网信号)作为差分信号经由预留线和HPD线被传送时,接收信号SG413变为LAN信号。接收信号SG413被供给到以太网接口210。
AC耦合电容器414和19管脚端子512之间的连接点Q2经由下拉电阻器431连接到接地线,并且经由电阻器432和电容器433的串联电路连接到接地线。然后,在电阻器432和电容器433之间的相互连接点处获得的低通滤波器的输出信号被供给到比较器434的一个输入端子。在比较器434中,低通滤波器的输出信号与供给到另一输入端子的基准电压Vref2(+1.4v)进行比较。比较器434的输出信号SG415被供给到音频放大器200的未示出的控制单元(CPU)。
并且,AC耦合电容器413和终端电阻器412之间的相互连接点P1连接到加法电路419的一个输入端子。并且,AC耦合电容器414和终端电阻器412之间的相互连接点P2连接到加法电路419的另一输入端子。加法电路419的输出信号经由放大器420被供给到SPDIF接收电路204。在SPDIF信号经由预留线和HPD线作为同相信号被传送的情况下,加法电路419的输出信号变为SPDIF信号。
“SPDIF信号的细节”
首先,将描述IEC 60958标准的概要。图15示出根据IEC 60958标准的帧配置。各帧包括两个子帧。在两个信道的立体声的情况下,左信道信号包含于第一子帧中,右信道信号包含于第二子帧中。
如下文将描述的那样,前导被设置在子帧的头部,并且“M”作为前导被分配给左信道信号,并且“W”作为前导被分配给右信道信号。然而,对每192个帧,代表块的开始的“B”被分配给头部前导。即,一个块包括192个帧。所述块是构成后面描述的信道状态的单位。
图16示出根据IEC 60958标准的子帧配置。子帧包括从第0~第31的总共32个时隙。第0~第3时隙表示前导(同步前导)。如上所述,为了表示左信道和右信道之间的区别以及块的开始位置,前导表示“M”、“W”和“B”中的任何一个。
第4~第27时隙是主数据字段,并且,在采用24位代码范围的情况下,整个时隙表示音频数据。并且,在采用20位代码范围的情况下,第8~第27时隙表示音频数据(音频样本词)。在后一种情况下,第4~第7时隙可以被用作附加信息(附加样本位)。示出的示例示出后一种情况。
第28时隙是主数据字段的有效性标志(Validity flag)。第29时隙代表用户数据(User data)的1个位。可以通过跨着各帧累积第29时隙配置一系列用户数据。以8位信息单元(IU)为单位配置用户数据的消息,并且,一条消息包括3~129个信息单元。
在信息单元之间可能存在0~8个位的“0”。信息单元的头部由起始位“1”识别。消息中的前七个信息单元是预留的,用户可以在第八个以及后续的信息单元中设定任何信息。消息被8个位或更多个位的“0”分割。
第30时隙代表信道状态(Channel status)的1个位。通过跨着各帧为各块累积第30时隙,可以配置一系列信道状态。注意,如上所述,块的头部位置由前导“B”(第0~第3时隙)指示。
第31时隙是奇偶校验位(Parity bit)。分配该奇偶校验位,使得包含于第4~第31时隙中的“0”和“1”的数量为偶数。
在本实施例中,使用基于IEC 60958标准的多信道传送格式,在添加指定由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的状态下,同时传送上述的两个信道的立体声音频信号和四个信道的触觉呈现信号。
图17示出同时传送两个信道的立体声音频信号和四个信道的触觉呈现信号的情况下的多信道传送格式的帧配置的示例。
在IEC 60958标准中,一个块包括192个帧,并且通过包括预定数量的子帧的多信道组(Multichannel group)的重复,形成192个帧。各子帧部分构成多信道顺序(Multichannel Order)。可以通过使用为各块配置的信道状态的预定位区域指示要包含于多信道组中的子帧的数量。
并且,在多信道组中形成用于分别传送多信道音频信号的一个或多个多信道子组(Multichannel subgroups)。多信道子组包括一个或多个多信道顺序。多信道音频信号的各个信道的信号以构成多信道子组的各个多信道顺序依次排列。可以用为各块配置的信道状态的预定位区域指示在多信道组中形成什么多信道子组,并且也可以用预定帧数的用户数据位指示在多信道组中形成什么多信道子组。
在示出的示例中,一个多信道组包括六个子帧,即多信道顺序1~6。并且,在多信道组中形成一个多信道子组:多信道子组1。然后,在本示例中,两个信道的立体声音频信号和四个信道的触觉呈现信号由一个多信道子组同时传送。
左前(FL)的音频信号、右前(FR)的音频信号、第0信道(Haptic_0)的触觉呈现信号、第1信道(Haptic_1)的触觉呈现信号、第2信道(Haptic_2)的触觉呈现信号,第3信道(Haptic_3)的触觉呈现信号依次配置在构成多信道子组1的多信道顺序1~6中。
如上所述,通过使用例如为各块配置的信道状态的预定位区域,添加指定由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据。作为使用信道状态的预定位区域的元数据添加方法,例如,可以想到以下的第一到第三方法。
“第一方法”
第一方法是通过映射类型指定由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的方法。
图18示意性地示出根据IEC 60958标准的信道状态的格式。通过对各块累积子帧中的第30时隙,获得信道状态(见图16)。在该示图中,信道状态的内容在垂直方向上逐字节排列,并且在水平方向上示出各字节中的位配置。注意,这里假设描述消费者使用格式。
第0位(位0)的a被设定为“0”,表示信道状态供消费者使用。并且,第1位(位1)的b被设定“0”,表示它是线性PCM样本。并且,第6位和第7位(位6和第7)指示信道状态的模式。
并且,第44位~第47位(位44~位47)构成“多信道计数”的4位字段,并指示包含于多信道组中的子帧的数量。这里,指示包含于多信道组中的子帧的数量为“6”。
并且,第53位~第60位构成“多信道配置值”的8位字段,并指示多信道子组的配置。这里,指示为包括两个信道的立体声音频信号和四个信道的触觉呈现信号的六信道信号配置。
并且,第x字节的第xx位~第xx+7位构成“触觉信道匹配类型”的8位字段,并指示指定由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的映射类型。例如,如图19所示,“00000001”表示类型1(Type-1),“00000010”表示类型2(Type-2),“00000011”表示类型3(Type-3),“00000100”表示类型4(Type-4)。
在这种情况下,对于各类型,由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置被预定义。例如,如图20所示,在类型1(Type-1)的情况下,第0、第1、第2和第3信道的触觉呈现信号分别针对胸左(Chest left)、胸右(Chest right)、腹左(Stomach left)和腹右(Stomach right),在类型2(Type-2)的情况下,第0、第1、第2和第3信道的触觉呈现信号分别针对胸左、胸右、沙发左(Sofa left)和沙发右(Sofa right),在类型3(Type-3)的情况下,第0、第1、第2和第3信道的触觉呈现信号分别针对腹左、腹右、沙发左和沙发右,在类型4(Type-4)的情况下,第0、第1、第2和第3信道的触觉呈现信号针对胸左、腹左和沙发左,从而表明第3信道不可用(不适用)。
“第二方法”
第二方法是通过将标志设定到信道分配的相应位来指定由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的方法。
图21示意性地示出根据IEC 60958标准的信道状态的格式。在图21中,将适当地省略对应于图18的部分的描述。
第44位~第47位(位44~位47)构成“多信道计数”的4位字段,并指示包含于多信道组中的子帧的数量。这里,指示包含于多信道组中的子帧的数量为“6”。
并且,第53位~第60位构成“多信道配置值”的8位字段,并指示多信道子组的配置。这里,指示为包括两个信道的立体声音频信号和四个信道的触觉呈现信号的六信道信号配置。
并且,第x字节的第xx位~第xx+7位构成“触觉信道0分配”的8位字段,并指示第0信道的触觉呈现信号的信道分配。例如,如图22和23所示,第xx位、第xx+1位、第xx+2位、第xx+3位、第xx+4位和第xx+5位分别对应于胸左(Chest left)、胸右(Chest right)、腹左(Stomach left)、腹右(Stomach right)、沙发左(Sofa left)和沙发右(Sofa left)的振动位置,并且,当标志即“1”被设定为相应的位时,由第0信道的触觉呈现信号所针对的触觉呈现位置被指定。
并且,第x+1字节的第xx+8位~第xx+15位构成“触觉信道1分配”的8位字段,并指示第1信道的触觉呈现信号的信道分配。例如,如图22和23所示,第xx+8位、第xx+9位、第xx+10位、第xx+11位、第xx+12位和xx+13位分别对应于胸左(Chest left)、胸右(Chestright)、腹左(Stomach left)、腹右(Stomach right)、沙发左(Sofa left)和沙发右(Sofaleft)的触觉呈现位置,并且,当标志即“1”被设定为相应的位时,由第1信道的触觉呈现信号所针对的触觉呈现位置被指定。
并且,第x+2字节的第xx+16位~第xx+23位构成“触觉信道2分配”的8位字段,并指示第2信道的触觉呈现信号的信道分配。例如,如图22和23所示,第xx+16位、第xx+17位、第xx+18位、第xx+19位、第xx+20位和第xx+21位分别对应于胸左(Chest left)、胸右(Chestright)、腹左(Stomach left)、腹右(Stomach right)、沙发左(Sofa left)和沙发右(Sofaleft)的振动位置,并且,当标志即“1”被设定为相应的位时,由第2信道的触觉呈现信号所针对的触觉呈现位置被指定。
并且,第x+3字节的第xx+24位~第xx+31位构成“触觉信道3分配”的8位字段,并指示第3信道的触觉呈现信号的信道分配。例如,如图22和23所示,第xx+24位、第xx+25位、第xx+26位、第xx+27位、第xx+28位和第xx+29位分别对应于胸左(Chest left)、胸右(Chestright)、腹左(Stomach left)、腹右(Stomach right)、沙发左(Sofa left)和沙发右(Sofaleft)的振动位置,并且,当标志即“1”被设定为相应的位时,由第3信道的触觉呈现信号所针对的触觉呈现位置被指定。
“第三方法”
第三方法是通过为触觉呈现位置预定义的数字指定由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置的方法。
图24示意性地示出根据IEC 60958标准的信道状态的格式。在图24中,将适当地省略对应于图18的部分的描述。
第44位~第47位(位44~位47)构成“多信道计数”的4位字段,并指示包含于多信道组中的子帧的数量。这里,指示包含于多信道组中的子帧的数量为“6”。
并且,第53位~第60位构成“多信道配置值”的8位字段,并指示多信道子组的配置。这里,指示为包括两个信道的立体声音频信号和四个信道的触觉呈现信号的六信道信号配置。
并且,第x字节的第xx位~第xx+3位构成“触觉信道0位置编号Haptic channel0position number_1”的4位字段,并指示由第0信道的触觉呈现信号所针对的第一触觉呈现位置的位置编号,并且,第x字节的第xx+4位~第xx+7位构成“触觉信道0位置编号Hapticchannel0position number_2”的4位字段,并指示由第0信道的触觉呈现信号所针对的第二触觉呈现位置的位置编号。
图25示出位置编号和触觉呈现位置之间的对应关系的示例。例如,位置编号“0000”表示胸左(Chest left),位置编号“0001”表示胸右(Chest right),位置编号“0010”表示腹左(Stomach left),位置编号“0011”表示腹右(Stomach right),位置编号“0100”表示沙发左(Sofa left),位置编号“0101”表示沙发右(Sofa right)。注意,在没有目标触觉呈现位置的情况下,例如,设定“1111”。
并且,第x+1字节的第xx+8位~第xx+11位构成“触觉信道1位置编号Hapticchannel 1position number_1”的4位字段,并指示由第一信道的触觉呈现信号所针对的第一触觉呈现位置的位置编号,并且,第x+1字节的第xx+12位~第xx+15位构成“触觉信道1位置编号Haptic channel 1position number_2”的4位字段,并指示由第一信道的触觉呈现信号所针对的第二触觉呈现位置的位置编号。
并且,第x+2字节的第xx+16位~第xx+19位构成“触觉信道2位置编号Hapticchannel 2position number_1”的4位字段,并指示由第二信道的触觉呈现信号所针对的第一触觉呈现位置的位置编号,并且,第x+2字节的第xx+20位~第xx+23位构成“触觉信道2位置编号Haptic channel 2position number_2”的4位字段,并指示由第二信道的触觉呈现信号所针对的第二触觉呈现位置的位置编号。
并且,第x+3字节的第xx+24位~第xx+27位构成“触觉信道3位置编号Hapticchannel 3position number_1”的4位字段,并指示由第三信道的触觉呈现信号所针对的第一触觉呈现位置的位置编号,并且,第x+3字节的第xx+28位~第xx+31位构成“触觉信道3位置编号Haptic channel 3position number_2”的4位字段,并指示由第三信道的触觉呈现信号所针对的第二触觉呈现位置的位置编号。
如上所述,在图1所示的AV系统10中,指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据被添加到包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号的传送信号,并且,传送信号从电视接收器100被传送到音频放大器200。因此,在接收侧,预定数量的信道的触觉呈现信号可以基于元数据被输出为目标触觉呈现位置的触觉呈现信号,并且,可以在比可传送的触觉呈现信号的信道数更多的位置处执行触觉呈现。
并且,在图1所示的AV系统10中,添加到传送信号的元数据可以动态地(例如,与内容中的场景同步)改变,并且由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置可以动态地改变。因此,在接收侧,由预定数量的信道的触觉呈现信号所针对的触觉呈现位置可以基于元数据动态地改变,并且能够执行有效的触觉呈现。
<2.变更例>
注意,在上述实施例中,作为视听内容再现的示例,描述了存在六个触觉呈现位置(触觉呈现器件)的情况:胸左、胸右、腹左、腹右、沙发左和沙发右(见图8和图9)。
图26示出视听内容再现的另一示例。该示例是存在24个触觉呈现位置(触觉呈现器件)的示例:头前“Head front”;头后“Head back”;头左“Head left”;头右“Headright”;肩左“Shoulder left”;肩右“Shoulder right”;手左“Hand left”;手右“Handright”;腕左“Wrist left”;腕右“Wrist right”;胸左上“Chest upper-left”;胸右上“Chest upper-right”;胸左下“Chest lower-left”;胸右下“Chest lower-right”;腹左“Stomach left”;腹右“Stomach right”;背左上“Back upper-left”;背右上“Back upper-right”;背左下“Back lower-left”;背右下“Back lower-right”;膝左“Knee left”;膝右“Knee right”;足左“Foot left”和足右“Foot right”。注意,在图26中,圆圈数字0、1、2和3分别表示第0信道、第1信道、第2信道和第3信道。
在场景1(Scene-1)中,四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号针对膝左、膝右、足左和足右的触觉呈现位置。并且,在场景2(Scene-2)中,四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号针对膝左、膝右、腹左和腹右的触觉呈现位置。并且,在场景3(Scene-3)中,四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号针对胸左下、胸右下、腹左和腹右的触觉呈现位置。
并且,在场景4(Scene-4)中,四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号针对胸左下、胸右下、胸左上和胸右上的触觉呈现位置。并且,在场景5(Scene-5)中,四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号针对肩左、肩右、胸左下和胸右下的触觉呈现位置。并且,在场景6(Scene-6)中,四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号针对肩左、肩右、头左和头右的触觉呈现位置。并且,在场景7(Scene-7)中,四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号针对头前、头后、头左和头右的触觉呈现位置。
在这种情况下,随着状态从场景1变为场景7,对于各场景,由四个信道的触觉呈现信号所针对的触觉呈现位置从脚移动到头,并且可以精细地表达触觉呈现从脚到头依次上升的感觉。
图27示出视听内容再现的又一示例。与图26的示例类似,该示例是存在24个触觉呈现位置(触觉呈现器件)的情况的示例。注意,在图27中,圆圈数字0、1、2和3分别表示第0信道、第1信道、第2信道和第3信道。
在场景1(Scene-1)中,第0信道的触觉呈现信号针对头前、头后部、头左和头右的触觉呈现位置,第1信道的触觉呈现信号针对肩左、肩右、手左、手右、腕左和腕右的触觉呈现位置,第2信道的触觉呈现信号针对胸左上、胸右上、胸左下、胸右下、腹左、腹右、背左上、背右上、背左下和背右下的触觉呈现位置,第3信道的触觉呈现信号针对膝左、膝右、足左和足右的触觉呈现位置。因此,在场景1中,所有触觉呈现位置是第0信道~第3信道的触觉呈现信号中的任一个的目标,并且,例如,能够执行对整个身体给予冲击的触觉呈现。
并且,在场景2(Scene-2)中,第0信道的触觉呈现信号针对胸左上和胸右上的触觉呈现位置,第1信道的触觉呈现信号针对胸左下和胸右下的触觉呈现位置,第2信道的触觉呈现信号针对腹左和腹右的触觉呈现位置,第3信道的触觉呈现信号针对膝左和膝右的触觉呈现位置。因此,在场景2中,例如,通过给予胸上、胸下、腹和膝不同的触觉,能够执行从上到下或从下到上移动整个身体的触觉呈现。
并且,在场景3(Scene-3)中,第0信道的触觉呈现信号针对头左、肩左、手左、腕左、胸左上、胸左下、腹左、背左上、背左下、膝左和足左的触觉呈现位置,第1信道的触觉呈现信号针对头右、肩右、手右、腕右、胸右上、胸右下、腹右、背右上、背右下、膝右和足右的触觉呈现位置。因此,通过向左和右施加不同的触觉呈现信号,能够执行从左向右或从右向左移动整个身体的触觉呈现。
并且,在场景4(Scene-4)中,第0信道的触觉呈现信号针对胸左上、胸右上、胸左下、胸右下、腹左和腹右的触觉呈现位置,第1信道的触觉呈现信号针对胸左上和胸右上的触觉呈现位置,第2信道的触觉呈现信号针对膝左和膝右的触觉呈现位置,第3信道的触觉呈现信号针对足左和足右的触觉呈现位置。因此,由于胸左上和胸右上是第0信道的触觉呈现信号和第1信道的触觉呈现信号的目标,因此能够执行对上半身给予复杂冲击并对膝和足给予另一冲击的触觉呈现。
图28示出视听内容再现的又一示例。该示例是这样一种情况的示例:除了包括头前“Head front”、头后“Head back”、头左“Head left”、头右“Head right”、肩左“Shoulderleft”、肩右“Shoulder right”、手左“Hand left”、手右“Hand right”、腕左“Wrist left”、腕右“Wrist right”、胸左上“Chest upper-left”、胸右上“Chest upper-right”、胸左下“Chest lower-left”、胸右下“Chest lower-right”、腹左“Stomach left”、腹右“Stomachright”、背左上“Back upper-left”、背右上“Back upper-right”、背左下“Back lower-left”、背右下“Back lower-right”、膝左“Knee left”、膝右“Knee right”、足左“Footleft”和足右“Foot right”的24个触觉呈现位置(触觉呈现器件)以外,还存在包括沙发靠背左“Sofa backrest left”、沙发靠背右“Sofa backrest right”、沙发座椅左前“Sofaseat front left”、沙发座椅右前“Sofa seat front right”、沙发座椅左后“Sofa seatback left”、沙发座椅右后“Sofa seat back right”,地板左前“Floor front left”,地板右前“Floor front right”,地板左后“Floor back left”,地板右后“Floor back right”,桌子左“Table left”,桌子右“Table right”,桌子远方左“Table far left”,桌子远方右“Table far right”,控制器左“Controller left”,控制器右“controller right”,座垫A“Cushion A”和座垫B“Cushion B”的18个触觉呈现位置。注意,在图28中,圆圈数字0、1、2和3分别表示第0信道、第1信道、第2信道和第3信道。
在场景1(Scene-1)中,第0信道的触觉呈现信号针对地板左前和地板右前的触觉呈现位置,第1信道的触觉呈现信号针对地板左后和地板右后的触觉呈现位置,第2信道的触觉呈现信号针对足左和足右的触觉呈现位置,第3信道的触觉呈现信号针对沙发座椅左前、沙发座椅右前、沙发座椅左后和沙发座椅右后的触觉呈现位置。在这种情况下,例如,能够执行重点在足上或从下面的地面的隆隆声的触觉呈现。
并且,在场景2(Scene-2)中,第0信道的触觉呈现信号针对控制器左的触觉呈现位置,第1信道的触觉呈现信号针对控制器右的触觉呈现位置,第2信道的触觉呈现信号针对胸左上、胸左下和腹左的触觉呈现位置,第2信道的触觉呈现信号针对胸右上、胸右下和腹右的触觉呈现位置。在这种情况下,例如,能够执行对应于把持物品的动作场景的触觉呈现。
并且,在场景3(Scene-3)中,第0信道的触觉呈现信号针对桌子左和桌子远方左的触觉呈现位置,第1信道的触觉呈现信号针对桌子右和桌子远方右的触觉呈现位置,第2信道的触觉呈现信号针对沙发靠背左的触觉呈现位置,第3信道的触觉呈现信号针对沙发靠背右的触觉呈现位置。在这种情况下,例如,能够通过把手放在桌子上执行恐怖的制作。
并且,在场景4(Scene-4)中,第0信道的触觉呈现信号针对沙发靠背左和沙发座椅左后的触觉呈现位置,第1信道的触觉呈现信号针对沙发靠背右和沙发座椅右后的触觉呈现位置,第2信道的触觉呈现信号针对沙发座椅左前的触觉呈现位置,第3信道的触觉呈现信号针对沙发座椅右前的触觉呈现位置。在这种情况下,例如,能够执行对应于接收到来自座椅的振动的乘坐类型场景的触觉呈现。
并且,在场景5(Scene-5)中,第0信道的触觉呈现信号针对座垫A的触觉呈现位置,第1信道的触觉呈现信号针对座垫B的触觉呈现位置。在这种情况下,例如,能够执行对应于座垫自由振动的放松场景的触觉呈现。
并且,在场景6(Scene-6)中,第0信道的触觉呈现信号针对沙发靠背左、沙发座椅左前和沙发座椅左后的触觉呈现位置,第1信道的触觉呈现信号针对沙发靠背右、沙发座椅右前和沙发座椅右后的触觉呈现位置,第2信道的触觉呈现信号针对胸左上、胸左下和腹左的触觉呈现位置,第3信道的触觉呈现信号针对胸右上、胸右下和腹右的触觉呈现位置。在这种情况下,例如,能够执行对应于使得身体能够感觉到低沉声音的音乐观看/聆听的触觉呈现。
并且,在上述实施例中,描述通过使用为各块配置的信道状态的预定位区域来添加指定由四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的示例。例如,在第一方法中,由四个信道的触觉呈现信号所针对的触觉呈现位置由映射类型指定(见图18~图20)。在这种情况下,由于大量的组合,类型的数量可能变得过多。
还可以想象,如图29所示,将指定由四个信道(第0信道、第1信道、第2信道和第3信道)的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据添加到四个信道的触觉呈现信号中的每一个,而不是通过使用为各块配置的信道状态的预定位区域来添加元数据。
在这种情况下,触觉呈现位置指定标志被赋予各信道的触觉呈现信号。各信道的触觉呈现位置指定标志包括对应于可指定的触觉呈现位置的数量的部分。示出的示例是可指定的触觉呈现位置的数量为24的情况,并且包括部分1(Part 0)~部分23(Part 23)。图30示出部分和触觉呈现位置之间的对应关系的示例。在这种情况下,通过将“1”设定到各信道中的对应部分,可以指定由信道的触觉呈现信号所针对的一个或多个触觉呈现位置。
图31示出上述图27的示例的场景1中的各部分的状态(标志配置)。并且,图32示出上述图27的示例的场景4中的各部分的状态(标志配置)。
并且,在上述实施例中,描述了由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置与一段内容中的场景同步切换的示例。然而还可以设想这样一个示例:无论一段内容中的场景如何,由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置都是固定的,并且由四个信道的触觉呈现信号中的每一个所针对的触觉呈现位置根据内容切换。
例如,在如图33(a1)所示的拳击比赛的内容中,重点放在触觉呈现对上半身前表面的表现力上,并且如图33(a2)所示,由第0信道、第1信道、第2信道和第3信道的触觉呈现信号所针对的触觉呈现位置分别是胸右、胸左、腹右和腹左。因此,能够在上半身前表面进行精细的触觉表达,诸如呈现对右胸的冲击并然后呈现对左腹的冲击。
并且,在如图33(b1)所示的动作类型电影内容中,重点放在触觉呈现对上身前后表面的表现力上,并且,如图33(a2)所示,由第0信道的触觉呈现信号所针对的触觉呈现位置为胸右和胸左,由第1信道的触觉呈现信号所针对的触觉呈现位置为腹右和腹左,由第2信道的触觉呈现信号所针对的触觉呈现位置为背部右上和背部左上,由第3信道的触觉呈现信号所针对的触觉呈现位置为背部右下和背部左下。因此,能够表达上半身上下移动的感觉,或者这种感觉来回出现的感觉。
在上述示例中,由内容的第二信道和第三信道的触觉呈现信号所针对的触觉呈现位置在背部上和背部下之间分离。然而,还假设在端子侧(音频放大器200侧)触觉呈现位置不被划分为上部和下部的情况。在这种情况下,还能够设想将端子侧的触觉呈现位置信息传送到源侧(电视接收器100)侧,在源侧对第2信道和第3信道的触觉呈现信号执行下混处理,并将经处理的触觉呈现信号传送到端子侧。在这种情况下,通过经过了下混处理的触觉呈现信号,在背部左和背部右的触觉呈现位置处执行触觉呈现再现。注意,在这种情况下,也可以设想在端子侧执行下混处理。
并且,在上述实施例中,描述了由通过元数据指定的各信道的触觉呈现信号所针对的触觉呈现位置被设置在音频放大器200侧(端子侧)。然而,也可以设想由电视接收器100侧(源侧)假定的触觉呈现位置不被设置在音频放大器200侧的情况。
在这种情况下,如图34所示,可以通过使用一些手段,例如HDMI通信线等,从音频放大器200侧向电视接收器100侧给出触觉呈现位置信息(触觉呈现器件信息)的通知,并且,电视接收器100侧可以基于触觉呈现位置信息、根据实际设置在音频放大器200侧的触觉呈现位置传送经处理的触觉呈现信号和元数据。
例如在系统控制器105的控制下由SPDIF传送电路104在电视接收器100中执行该处理。该处理包括将多个信道的触觉呈现信号添加到接近位置的触觉呈现位置处的目标的处理(下混处理)、丢弃没有适当触觉呈现位置的信道的触觉呈现信号的处理、以及将不具有相应触觉呈现位置的信道的触觉呈现信号分类到接近位置的一个或多个触觉呈现位置的处理等。
图35示出处理的示例。假设存在作为内容的触觉呈现场所(触觉呈现位置)的背心(Vest)和沙发(Sofa)。在来自端子侧(音频放大器200侧)的触觉呈现位置信息中,在存在作为触觉呈现位置的背心和沙发的情况下,SPDIF传送电路104原样输出以背心和沙发作为触觉呈现位置的预定信道的触觉呈现信号。另一方面,在在来自端子侧(音频放大器200侧)的触觉呈现位置信息中存在背心但不存在沙发作为触觉呈现位置的情况下,SPDIF传送电路104原样输出以背心作为触觉呈现位置的预定信道的触觉呈现信号,但是关于以沙发作为触觉呈现位置的预定信道的触觉呈现信号,执行将触觉呈现位置变为背心的处理,并输出触觉呈现信号。
并且,在上述实施例中,描述了多信道音频信号是两个信道的立体声音频信号并且预定数量信道的触觉呈现信号是四个信道的触觉呈现信号的示例,但本技术的应用并不局限于该组合。
并且,在上述实施例中,描述了主要使用诸如振动的表现作为触觉呈现信号的示例,但是本技术的应用不限于此,并且可能存在表达热感觉或压力感觉等的情况。
并且,在上述实施例中,描述了使用HDMI ARC作为IEC 60958传送路径的示例,但是也可以设想使用同轴线缆或光缆作为IEC60958传送路径的示例。并且,也可以设想使用HDMI传送路径作为IEC 60958传送路径的示例。在这种情况下,SPDIF信号(IEC 60958信号)被映射到音频样本包,并以与视频传送相同的正向传送。类似地,也可以设想使用IEC61883-6传送路径、MHL传送路径和显示端口传送路径(DP传送路径)等作为IEC 60958传送路径的示例。同样在这些情况下,SPDIF信号(IEC 60958信号)被映射到音频样本包,并以与视频传送相同的正向传送。
并且,以上参考附图描述了本公开的优选实施例,而本公开的技术范围不限于上述示例。本领域技术人员可以在所附权利要求书的范围内找到各种修改和变更例,并且应当理解,它们自然将属于本公开的技术范围。
并且,在本说明书中描述的效果仅仅是说明性或示例性效果,并且不是限制性的。即,通过上述效果或者作为其替代,根据本公开的技术可以实现本领域技术人员从本说明书的描述容易想到的其它效果。
并且,本技术还可以采用下面描述的配置。
(1)一种传送装置,包括:
传送信号生成单元,传送信号生成单元生成包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号;和
传送单元,传送单元经由预定的传送路径将传送信号传送到接收侧。
(2)根据(1)所述的传送装置,其中,
传送信号生成单元动态地改变元数据,以动态地改变由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置。
(3)根据(1)或(2)所述的传送装置,其中,
当元数据从第一状态变为第二状态时,传送信号生成单元对预定数量的信道的触觉呈现信号执行淡出和淡入处理。
(4)根据(1)或(2)所述的传送装置,其中,
当元数据从第一状态变为第二状态时,传送信号生成单元将静音信号插入预定数量的信道的触觉呈现信号。
(5)根据(2)~(4)中的任一项所述的传送装置,其中,
传送信号生成单元与和音频信号相关的内容场景同步地动态改变元数据。
(6)根据(1)~(5)中的任一项所述的传送装置,其中,
元数据将零个、一个或多个触觉呈现位置指定为由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置。
(7)根据(1)~(6)中的任一项所述的传送装置,其中,
传送信号包括包含多个帧的各块的传送信号,
传送单元经由预定传送路径将各块的传送信号依次传送到接收侧,并且
传送信号生成单元通过使用为各块配置的信道状态的预定位区域添加元数据。
(8)根据(7)所述的传送装置,其中,
所述多个帧包括包含预定数量的帧的多信道组的重复,以及
传送单元在预定数量的帧中的全部或一些中为各多信道组逐个信道地以时分的方式配置和传送预定数量的信道的音频信号和预定数量的信道的触觉呈现信号。
(9)根据(1)~(8)中的任一项所述的传送装置,其中,
预定传送路径包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或显示端口线缆。
(10)一种传送方法,包括:
生成包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号的步骤;和
经由预定的传送路径将传送信号传送到接收侧的步骤。
(11)一种接收装置,包括:
接收单元,接收单元经由预定的传送路径从传送侧接收包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号;和
处理单元,处理单元从传送信号提取并输出预定信道的音频信号,从传送信号提取预定信道的触觉呈现信号,并且基于元数据将预定信道的触觉呈现信号中的每一个输出为目标触觉呈现位置的触觉呈现信号。
(12)根据(11)所述的接收装置,其中,
当元数据从第一状态变为第二状态时,处理单元对预定数量的信道的触觉呈现信号执行淡出和淡入处理。
(13)根据(11)所述的接收装置,其中,
当元数据从第一状态变为第二状态时,处理单元将静音信号插入预定数量的信道的触觉呈现信号。
(14)根据(11)~(13)中的任一项所述的接收装置,其中,
传送信号包括包含多个帧的各块的传送信号,
接收单元经由预定传送路径从传送侧依次接收各块的传送信号,以及
通过使用为各块配置的信道状态的预定位区域添加元数据。
(15)根据(14)所述的接收装置,其中,
所述多个帧包括包含预定数量的帧的多信道组的重复,以及
在预定数量的帧中的全部或一些中为各多信道组逐个信道地以时分的方式配置预定数量的信道的音频信号和预定数量的信道的触觉呈现信号。
(16)根据(11)~(15)中的任一项所述的接收装置,其中,
元数据与和音频信号相关的内容场景同步地动态改变。
(17)根据(11)~(16)中的任一项所述的接收装置,其中,
元数据将零个、一个或多个触觉呈现位置指定为由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置。
(18)根据(11)~(17)中的任一项所述的接收装置,其中,
预定传送路径包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或显示端口线缆。
(19)一种接收方法,包括:
经由预定的传送路径从传送侧接收包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号的步骤;和
从传送信号提取并输出预定信道的音频信号、从传送信号提取预定信道的触觉呈现信号、以及基于元数据将预定信道的触觉呈现信号中的每一个输出为目标触觉呈现位置的触觉呈现信号的步骤。
附图标记清单
10 AV系统
100 电视接收器
101 HDMI端子
102 HDMI接收单元
103 高速总线接口
104 SPDIF传送电路
105 系统控制器
107 数字广播接收电路
108 内容再现电路
109 显示单元
110 以太网接口
111 触觉呈现信号生成单元
121 接收天线
122 BD播放器
123 因特网
200 音频放大器
201 HDMI端子
202 HDMI传送单元
203 高速总线接口
204 SPDIF接收电路
205 系统控制器
206 音频DA转换器
207 选择器
208 驱动器
210 以太网接口
250 扬声器系统
251 耳机
260 触觉呈现系统
261 触觉展示背心
262 触觉展示沙发
300 HDMI线缆

Claims (19)

1.一种传送装置,包括:
传送信号生成单元,传送信号生成单元生成包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号;和
传送单元,传送单元经由预定的传送路径将传送信号传送到接收侧。
2.根据权利要求1所述的传送装置,其中,
传送信号生成单元动态地改变元数据,以动态地改变由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置。
3.根据权利要求2所述的传送装置,其中,
当元数据从第一状态变为第二状态时,传送信号生成单元对预定数量的信道的触觉呈现信号执行淡出和淡入处理。
4.根据权利要求2所述的传送装置,其中,
当元数据从第一状态变为第二状态时,传送信号生成单元将静音信号插入预定数量的信道的触觉呈现信号。
5.根据权利要求2所述的传送装置,其中,
传送信号生成单元与和音频信号相关的内容场景同步地动态改变元数据。
6.根据权利要求1所述的传送装置,其中,
元数据将零个、一个或多个触觉呈现位置指定为由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置。
7.根据权利要求1所述的传送装置,其中,
传送信号包括包含多个帧的各块的传送信号,
传送单元经由预定传送路径将各块的传送信号依次传送到接收侧,并且
传送信号生成单元通过使用为各块配置的信道状态的预定位区域添加元数据。
8.根据权利要求7所述的传送装置,其中,
所述多个帧包括包含预定数量的帧的多信道组的重复,以及
传送单元在预定数量的帧中的全部或一些中为各多信道组逐个信道地以时分的方式配置和传送预定数量的信道的音频信号和预定数量的信道的触觉呈现信号。
9.根据权利要求1所述的传送装置,其中,
预定传送路径包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或显示端口线缆。
10.一种传送方法,包括:
生成包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号的步骤;和
经由预定的传送路径将传送信号传送到接收侧的步骤。
11.一种接收装置,包括:
接收单元,接收单元经由预定的传送路径从传送侧接收包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号;和
处理单元,处理单元从传送信号提取并输出预定信道的音频信号,从传送信号提取预定信道的触觉呈现信号,并且基于元数据将预定信道的触觉呈现信号中的每一个输出为目标触觉呈现位置的触觉呈现信号。
12.根据权利要求11所述的接收装置,其中,
当元数据从第一状态变为第二状态时,处理单元对预定数量的信道的触觉呈现信号执行淡出和淡入处理。
13.根据权利要求11所述的接收装置,其中,
当元数据从第一状态变为第二状态时,处理单元将静音信号插入预定数量的信道的触觉呈现信号。
14.根据权利要求11所述的接收装置,其中,
传送信号包括包含多个帧的各块的传送信号,
接收单元经由预定传送路径从传送侧依次接收各块的传送信号,以及
通过使用为各块配置的信道状态的预定位区域添加元数据。
15.根据权利要求14所述的接收装置,其中,
所述多个帧包括包含预定数量的帧的多信道组的重复,以及
在预定数量的帧中的全部或一些中为各多信道组逐个信道地以时分的方式配置预定数量的信道的音频信号和预定数量的信道的触觉振动信号。
16.根据权利要求11所述的接收装置,其中,
元数据与和音频信号相关的内容场景同步地动态改变。
17.根据权利要求11所述的接收装置,其中,
元数据将零个、一个或多个触觉呈现位置指定为由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置。
18.根据权利要求11所述的接收装置,其中,
预定传送路径包括同轴线缆、光缆、以太网(IEC 61883-6)线缆、HDMI线缆、MHL线缆或显示端口线缆。
19.一种接收方法,包括:
经由预定的传送路径从传送侧接收包括预定数量的信道的音频信号和预定数量的信道的触觉呈现信号、并且被添加了指定由预定数量的信道的触觉呈现信号中的每一个所针对的触觉呈现位置的元数据的传送信号的步骤;和
从传送信号提取并输出预定信道的音频信号、从传送信号提取预定信道的触觉呈现信号、以及基于元数据将预定信道的触觉呈现信号中的每一个输出为目标触觉呈现位置的触觉呈现信号的步骤。
CN202080088129.6A 2019-12-25 2020-12-10 传送装置、传送方法、接收装置和接收方法 Pending CN114830068A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019235306 2019-12-25
JP2019-235306 2019-12-25
PCT/JP2020/046175 WO2021131767A1 (ja) 2019-12-25 2020-12-10 送信装置、送信方法、受信装置および受信方法

Publications (1)

Publication Number Publication Date
CN114830068A true CN114830068A (zh) 2022-07-29

Family

ID=76575890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080088129.6A Pending CN114830068A (zh) 2019-12-25 2020-12-10 传送装置、传送方法、接收装置和接收方法

Country Status (6)

Country Link
US (1) US20230004340A1 (zh)
JP (1) JPWO2021131767A1 (zh)
KR (1) KR20220118411A (zh)
CN (1) CN114830068A (zh)
DE (1) DE112020006284T5 (zh)
WO (1) WO2021131767A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2610591A (en) * 2021-09-09 2023-03-15 Sony Interactive Entertainment Inc Apparatus, systems and methods for haptics

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9992491B2 (en) * 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
JP2015231098A (ja) * 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム
JP6977312B2 (ja) * 2016-10-07 2021-12-08 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
DE112020006284T5 (de) 2022-12-15
WO2021131767A1 (ja) 2021-07-01
JPWO2021131767A1 (zh) 2021-07-01
US20230004340A1 (en) 2023-01-05
KR20220118411A (ko) 2022-08-25

Similar Documents

Publication Publication Date Title
US20100085482A1 (en) Interface circuit and video apparatus
WO2020182020A1 (zh) 一种音频信号播放方法及显示设备
US20130053992A1 (en) Device control apparatus, device control method, and program
TW201735664A (zh) 等化助聽器
CN113196790B (zh) 发送设备、发送方法、接收设备和接收方法
CN114830068A (zh) 传送装置、传送方法、接收装置和接收方法
US11991473B2 (en) Transmitting apparatus, transmission method, receiving apparatus, and reception method
JP7452526B2 (ja) 送信装置、送信方法、受信装置および受信方法
US12003886B2 (en) Transmission device, transmission method, reception device, and reception method
US11942103B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method for transmitting and receiving an audio signal including a mixed signal simultaneously transmitted by mixing a compressed audio signal and a linear pulse code modulation signal
WO2019225449A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP2001292460A (ja) 立体映像信号処理装置
US20120148055A1 (en) Audio processing apparatus, audio receiver and method for providing audio thereof
CN114341972A (zh) 发送装置、发送方法、接收装置和接收方法
US20220303706A1 (en) Transmission device, transmission method, reception device, and reception method
CN100592791C (zh) 用于处理信息信号的设备和方法
EP2610853B1 (en) Signal processing apparatus, display apparatus having the same and signal processing method
KR100640832B1 (ko) 디지털 티브이

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination