CN112585982B - 发送装置、发送方法、接收装置和接收方法 - Google Patents

发送装置、发送方法、接收装置和接收方法 Download PDF

Info

Publication number
CN112585982B
CN112585982B CN201980054557.4A CN201980054557A CN112585982B CN 112585982 B CN112585982 B CN 112585982B CN 201980054557 A CN201980054557 A CN 201980054557A CN 112585982 B CN112585982 B CN 112585982B
Authority
CN
China
Prior art keywords
channels
signal
predetermined number
channel
transmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980054557.4A
Other languages
English (en)
Other versions
CN112585982A (zh
Inventor
市村元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112585982A publication Critical patent/CN112585982A/zh
Application granted granted Critical
Publication of CN112585982B publication Critical patent/CN112585982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4131—Peripherals receiving signals from specially adapted client devices home appliance, e.g. lighting, air conditioning system, metering devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
    • H04N5/607—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for more than one sound signal, e.g. stereo, multilanguages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrotherapy Devices (AREA)
  • Burglar Alarm Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

本发明的目的是与音频信号同步地令人满意地发送触觉振动信号。包括多个帧的每个块的发送信号通过预定的发送通道被顺序地发送到接收侧。在发送信号中包括与预定通道数量对应的音频信号和与预定通道数量对应的触觉振动信号。触觉振动信号可以基于与音频信号相关的媒体信号生成。可以将指示与预定通道数量对应的音频信号和与预定通道数量对应的触觉振动信号的配置的信息添加到发送信号。

Description

发送装置、发送方法、接收装置和接收方法
技术领域
本技术涉及发送装置、发送方法、接收装置和接收方法，并且具体来说涉及连同音频信号一起处理触觉振动信号的发送装置、发送方法、接收装置和接收方法。
背景技术
在诸如5.1通道或7.1通道应用之类的多通道音频应用中，通过对通道赋予名称以便识别如何使用各个通道的方法，根据特定规则来使用通道。这些通道例如是右通道、左通道、中心通道、LFE(低频效应)通道等。这些通道被传送到布置在由他们的名称所表示的位置处的扬声器，并期望被再现成声音。
近年来，提出了多媒体应用，并且这些提出的应用包括与传统音频视频同步使用的触觉振动应用等。例如，PTL 1描述了发送触觉振动信号(触觉信号)和基于触觉振动信号振动接收器侧的振动部件的技术。
[引文列表]
[专利文献]
[PTL 1]
JP 2018-060313A
[发明内容]
[技术问题]
在与音频视频同步使用的触觉振动应用中，期望与音频信号同步地传输触觉振动信号。然后，此时，触觉振动信号具有与音频信号的信号性质不同的信号性质，并且期望能够将触觉振动信号与音频信号清楚地区分开来。另外，此时，假设触觉振动信号本身是通过根据特定规则组合多个信号而形成的，因而期望也可以识别该多个信号。
本技术的一个目的是与音频信号同步地有利地传输触觉振动信号。
[针对问题的解决方案]
根据本技术的概念在于一种发送装置，包括：发送部件，经由预定传输线将每个包括多个帧的各个块的传输信号顺序地发送到接收器侧。传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号。
在本技术中，发送部件经由预定的传输线将每个包括多个帧的各个块的传输信号顺序地发送到接收器侧。这里，传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号。例如，预定传输线可以是同轴缆线、光缆、以太网(IEC 61883-6)缆线、HDMI缆线、MHL缆线或显示端口缆线。另外，例如，还可以包括基于与音频信号相关联的媒体信号来生成触觉振动信号的处理部件。
例如，还可以包括信息添加部件，信息添加部件将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号的配置信息添加到传输信号。在这种情况下，例如，所述配置信息可以包括用于将所述触觉振动信号与所述音频信号区分开来的标识信息。然后，在这种情况下，例如，所述标识信息可以包括由所述预定通道数量的触觉振动信号中的每一个所针对的振动位置的信息。
另外，例如，所述信息添加部件可以通过使用为所述块中的每个块形成的预定通道状态比特区域来添加所述配置信息。此外，例如，信息添加部件可以通过使用预定数量的连续帧的用户数据比特来添加所述配置信息。
此外，例如，所述多个帧可以包括多通道组的重复，每个多通道组包括预定数量的帧，以及在将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号针对每个所述多通道组以时分方式针对每个通道分开布置在所述预定数量的帧中的全部或一些帧中的状态下，发送部件可以发送所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号。
以这种方式，在本技术中，通过预定传输线将包括预定通道数量的音频信号和预定通道数量的触觉振动信号并且对于包括多个帧的每个块的传输信号顺序地发送到接收器侧。因此，可以与音频信号同步地有利地发送触觉振动信号。
另外，本技术的另一概念在于接收装置，该接收装置包括：接收部件，经由预定传输线从发送器侧顺序地接收每个包括多个帧的各个块的传输信号。传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号。
在本技术中，接收部件经由预定传输线从发送器侧顺序地接收每个包括多个帧的各个块的传输信号。在此，传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号。例如，预定传输线可以是同轴缆线、光缆、以太网(IEC 61883-6)缆线、HDMI缆线、MHL缆线或显示端口缆线。
例如，还可以包括处理部件，处理部件处理所述传输信号并输出所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号。然后，在这种情况下，例如，传输信号可以包括所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号的配置信息，以及处理部件可以基于配置信息处理信号，并输出所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号。
另外，例如，可以通过使用为每个块形成的预定通道状态比特区域来添加配置信息。另外，例如，可以通过使用预定数量的连续帧的用户数据比特来添加所述配置信息。此外，例如，所述多个帧可以包括多通道组的重复，每个多通道组包括预定数量的帧，以及可以将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号针对每个所述多通道组以时分方式对于每个通道分开布置在所述预定数量的帧中的全部或一些帧中。
这样，在本技术中，由发送器侧经由预定传输线顺序地接收包括预定通道数量的音频信号和预定通道数量的触觉振动信号并且对于包括多个帧的每个块的传输信号。因此，可以与音频信号同步地有利地接收触觉振动信号。
附图说明
图1示出了示出作为一个实施例的AV系统的配置示例的框图。
图2是示出关于动态范围、采样频率、连续性/不连续性和维度的示例在视频信号、音频信号和触觉振动信号之间的比较的图。
图3是示出电视接收器的HDMI接收部件和音频放大器的HDMI发送部件的配置示例的框图。
图4是示出在通过TMDS通道传输包括水平方向和垂直方向上的1920像素×1080行的图像数据的情况下的各种类型的传输数据时段的图。
图5是示出HDMI连接器的针(pin)阵列的图。
图6是示出电视接收器的高速总线接口的配置示例的图。
图7是示出音频放大器的高速总线接口的配置示例的图。
图8是示出IEC 60958标准中的帧配置的图。
图9是示出IEC 60958标准中的子帧配置的图。
图10是示出IEC 60958标准中的信号调制方法的图。
图11是示出IEC 60958标准中的前导的通道编码的图。
图12是示出多通道传输格式中的帧配置的一个示例的图。
图13是示意性地示出IEC 60958标准中的通道状态格式的图。
图14是示出多通道配置值与由此表示的音频通道集之间的对应关系的图。
图15是示出指定每个高度处的扬声器数量的分组的一个示例的图。
图16是示出指定在多通道组内要以发送顺序发送哪个音频通道的分组的一个示例的图。
图17是示出以多通道传输格式指定多通道组1到4的方法的具体示例的图。
图18是示出在同时传输多通道音频信号和预定通道数量的触觉振动信号的情况下，多通道传输格式的帧配置的一个示例的图。
图19是示出包括5.1通道音频和两个通道的触觉振动信号的传输信号的图。
图20是用于说明通过第二方法指定用于同时传输多通道音频信号和预定通道数量的触觉振动信号的多通道子组的示例的图。
图21示出了图示AV系统的另一配置示例的框图。
图22是用于说明包括在触觉振动信号中的X轴、Y轴和Z轴振动数据的图。
图23是用于说明根据IEC 60958-1将触觉振动信号中包括的X轴、Y轴和Z轴振动数据分配给子帧中的24比特时隙的图。
图24是用于说明代表性地发送覆盖用户的虚拟立方体空间的每个顶点的触觉振动信号的情况的图。
具体实施方式
下面，对实施本发明的模式(以下称为“实施例”)进行说明。请注意，解释按以下顺序进行。
1.实施例
2.修改示例
<1.实施例>
[AV系统的配置示例]
图1示出了作为一个实施例的AV(音频/视频)系统10的配置示例。AV系统10具有电视接收器100和音频放大器200。电视接收器100与电视广播接收天线121、BD(蓝光盘)播放器122和因特网123连接。另外，音频放大器200与双通道或多通道扬声器系统250以及单通道或多通道振动系统260连接。请注意，“蓝光”是注册商标。
电视接收器100和音频放大器200经由HDMI缆线300连接。请注意，“HDMI”是注册商标。电视接收器100设置有与HDMI接收部件(HDMI RX)102连接的HDMI端子101和包括在通信部件中的高速总线接口103。音频放大器200设置有与HDMI发送部件(HDMI TX)202连接的HDMI端子201和包括在通信部件中的高速总线接口203。HDMI缆线300的一端连接到电视接收器100的HDMI端子101，另一端连接到音频放大器200的HDMI端子201。
电视接收器100具有HDMI接收部件102、高速总线接口103和SPDIF发送电路104。另外，电视接收器100具有系统控制器105、数字广播接收电路107、内容再现电路108、显示部件109和以太网接口110。请注意，“以太网”是一个注册商标。另外，在图中所示的示例中，为了简化说明，适当地省略图像系统的每个部件。
系统控制器105控制电视接收器100的每个部件的操作。数字广播接收电路107处理从接收天线121输入的电视广播信号，并根据广播内容输出视频信号、多通道音频信号(线性PCM信号)和预定通道数量的触觉振动信号。这里，多通道音频信号包括多个通道的音频信号。
以太网接口110经由因特网123与外部服务器通信，并且根据网络内容输出视频信号、多通道音频信号(线性PCM信号)和预定通道数量的触觉振动信号。通过执行再现操作，BD播放器122根据再现内容输出视频信号、多通道音频信号(线性PCM信号)和预定通道数量的触觉振动信号。
内容再现电路108选择性地取出在数字广播接收电路107、以太网接口110或BD播放器122处获得的视频信号、多通道音频信号和预定通道数量的触觉振动信号。然后，内容再现电路108将视频信号发送到显示部件109。显示部件109显示视频信号的图像。
另外，内容再现电路108向SPDIF发送电路104发送多通道音频信号和预定通道数量的触觉振动信号。SPDIF发送电路104是根据IEC 60958标准发送数字音频传输信号(以下，视情况称为“SPDIF信号”)的电路。SPDIF发送电路104是符合IEC 60958标准的发送电路。注意，SPDIF信号的细节如下所述。
SPDIF发送电路104将多通道音频信号(线性PCM信号)和预定通道数量的触觉振动信号同时发送到音频放大器200。在这种情况下，作为SPDIF信号，顺序地发送每个包括多个帧(这里是192帧)的各个块的传输信号。然后，传输信号包括多通道音频信号(线性PCM信号)和预定通道数量的触觉振动信号。
这里，多个帧包括多通道组的重复，每个多通道组包括预定数量的帧。在多通道组中的每一个中，多通道音频信号和预定通道数量的触觉振动信号以时分方式针对每个通道分开地被布置在预定数量的帧中的全部或一些帧中。
多通道音频信号和预定通道数量的触觉振动信号的配置信息被添加到传输信号。配置信息包括用于区分触觉振动信号和音频信号的标识信息。另外，标识信息包括由预定通道数量的触觉振动信号中的每一个所针对的振动位置的信息。例如，通过使用为每个块形成的预定通道状态比特区域来添加配置信息。另外，例如，通过使用预定数量的连续帧的用户数据比特来添加配置信息。
HDMI接收部件102通过符合HDMI的通信接收经由HDMI缆线300提供给HDMI端子101的视频和音频数据。高速总线接口103是包括HDMI缆线300中包含的保留线和HPD(热插拔检测)线的双向通信路径的接口。注意，下面提及HDMI接收部件102和高速总线接口103的细节。
音频放大器200具有HDMI发送部件202、高速总线接口203和SPDIF接收电路204。另外，音频放大器200具有系统控制器205、音频放大器208、振动放大器209和以太网接口210。
系统控制器205控制音频放大器200的每个部件的操作。HDMI发送部件202通过符合HDMI的通信从HDMI端子201向HDMI缆线300发送出视频和音频数据。高速总线接口203是包括HDMI缆线300中包含的保留线和HPD(热插拔检测)线的双向通信路径的接口。注意，下面提及HDMI发送部件202和高速总线接口203的细节。
SPDIF接收电路204接收作为SDPIF信号(根据IEC 60958标准的数字音频信号)的传输信号，并获取包括在传输信号中的多通道音频信号和预定通道数量的触觉振动信号。在这种情况下，基于包括在传输信号中的配置信息，取出多通道音频信号和预定通道数量的触觉振动信号。
音频放大器208针对每个通道放大在SPDIF接收电路204处取出的多通道音频信号，并且将多通道音频信号发送到具有对应于各个通道的扬声器的扬声器系统250。因此，在扬声器系统250处执行根据多通道音频信号的音频再现。
另外，振动放大器209针对每个通道放大在SPDIF接收电路204处取出的预定通道数量的触觉振动信号，并将预定通道数量的触觉振动信号发送到具有对应于各个通道的振动设备的振动系统260。因此，在振动系统260处执行根据预定通道数量的触觉振动信号的振动再现。在这种情况下，由于如上所述，预定通道数量的触觉振动信号与多通道音频信号同时发送，因此振动再现与音频再现变得正确同步，并且还与电视接收器100的显示部件109上的运动图像显示同步。
图2示出了关于动态范围、采样频率、连续性/不连续性和维度的示例在视频信号、音频信号和触觉振动信号之间的比较。视频信号的动态范围为48至96dB，采样频率为60Hz，是不连续的二维或三维信号。此外，音频信号具有96到144dB的动态范围，具有48kHz的采样频率，并且是连续的一维信号。
然后，触觉振动信号具有40到60dB的动态范围，具有2kHz的采样频率，并且是连续的一维信号。这样，与音频信号类似，触觉振动信号具有高采样频率，并且是连续信号。因此，如上所述，通过使用用于音频信号的传输线将触觉振动信号与音频信号同时传输，可以简单且容易地实现与音频信号同步的传输。
注意，如上所述，触觉振动信号被描述为具有40到60dB的动态范围，并且具有DC-1kHz的频带，但是类似于音频信号而不是类似于视频信号。能够线性PCM传输的数字音频接口也可以传输触觉振动信号。在这种情况下，关于DC域，可以使用诸如“推(push)”之类的表达方式用于正，“拉”或“拖(draw)”之类的表达方式用于负。
“HDMI发送部件/接收部件的配置示例”
图3示出了图1所示的AV系统10中的电视接收器100的HDMI接收部件102和音频放大器200的HDMI发送部件202的配置示例。
在作为从垂直同步信号到下一垂直同步信号的时段(以下，视情况而定，称为“视频场”)的排除了水平消隐时段和垂直消隐时段的活动图像时段(以下，视情况而定，称为“有效视频时段”)中，HDMI发送部件202通过多个通道将对应于一个画面的图像数据的基带(未压缩)差分信号单向地发送到HDMI接收部件102。另外，在水平消隐时段和垂直消隐时段中，HDMI发送部件202通过多个通道单向地向HDMI接收部件102发送伴随图像数据的音频数据和控制分组(Control Packet)，此外发送与其他辅助数据相对应的差分信号等。
HDMI发送部件202具有源信号处理部件71和HDMI发送器72。向源信号处理部件71提供基带、未压缩图像(视频)和音频(Audio)数据。源信号处理部件71对提供的图像和音频数据执行必要的处理，并将图像和音频数据提供给HDMI发送器72。另外，源信号处理部件71根据需要与HDMI发送器72交换用于控制和状态通知信息(控制/状态)的信息等。
HDMI发送器72将从源信号处理部件71提供的图像数据转换成相应的差分信号，并且通过作为多个通道的三个TMDS通道#0、#1和#2单向地将差分信号发送到经由HDMI缆线300连接的HDMI接收部件102。
此外，发送器72将从源信号处理部件71提供的伴随有未压缩图像数据以及诸如垂直同步信号(VSYNC)和水平同步信号(HSYNC)之类的控制数据(控制数据)的音频数据、控制分组和其他辅助数据(辅助数据)转换成相应的差分信号，并且通过三个TMDS通道#0、#1和#2将差分信号单向地发送到经由HDMI缆线300连接的HDMI接收部件102。
另外，发送器72通过TMDS时钟通道向经由HDMI缆线300连接的HDMI接收部件102发送与通过三个TMDS通道#0、#1和#2发送的图像数据同步的像素时钟。
HDMI接收部件102在有效视频时段中接收通过多个通道从HDMI发送部件202单向发送的与图像数据相对应的差分信号，并且在水平消隐时段和垂直消隐时段中，接收通过多个通道从HDMI发送部件202发送的与辅助数据和控制数据相对应的差分信号。
HDMI接收部件102具有HDMI接收器81和同步信号处理部件82。HDMI接收器81接收通过TMDS通道#0、#1和#2从经由HDMI缆线300连接的HDMI发送部件202单向地发送给其的与图像数据相对应的差分信号以及与辅助数据和控制数据相对应的差分信号，与以相同方式从HDMI发送部件202通过TMDS时钟通道向其发送的像素时钟同步。此外，HDMI接收器81将差分信号转换为对应的图像数据、辅助数据和控制数据，并根据需要将图像数据、辅助数据和控制数据提供给同步信号处理部件82。
同步信号处理部件82对从HDMI接收器81提供的数据执行必要的处理，并输出数据。除此之外，同步信号处理部件82根据需要与HDMI接收器81交换用于控制和状态通知信息(控制/状态)的信息等。
除了用于与像素时钟同步地将图像数据、辅助数据和控制数据从HDMI发送部件202单向地和串行地传输到HDMI接收部件102的三个TMDS通道#0、#1和#2，以及作为传输像素时钟的传输通道的TMDS时钟通道之外，HDMI传输通道还包括称为DDC(显示数据通道)83的传输通道，并且进一步包括CEC线84。
DDC 83包括包含在HDMI缆线300中的两条未示出的线(信号线)，并且由源设备用于从经由HDMI缆线300连接的信宿设备读出E-EDID(增强的扩展显示标识)。也就是说，信宿设备具有EDIDROM85。源设备经由DDC 83从经由HDMI缆线300连接的信宿设备读出存储在EDIDROM 85上的E-EDID，并且基于E-EDID识别信宿设备的配置和容量。
CEC线84包括包含在HDMI缆线300中的一条未示出的线，并且用于在源设备和信宿设备之间执行用于控制的数据的双向通信。
另外，HDMI缆线300包括连接到称为HPD(热插拔检测)的针的线86。源设备可以通过使用线86来检测与信宿设备的连接。另外，HDMI缆线300包括用于从源设备向信宿设备提供电源的线87。此外，HDMI缆线300包括保留线88。
图4示出了在通过TMDS通道传输包括水平方向和垂直方向上的1920像素×1080行的图像数据的情况下的各种类型的传输数据时段。其中通过HDMI的三个TMDS通道传输传输数据的视频场包括三种类型的时段，其包括根据传输数据的类型使用的视频数据时段24、数据岛时段25和控制时段26。
这里，视频场时段是从垂直同步信号的上升沿(活动沿)到下一垂直同步信号的上升沿的时段，并且被分类为水平消隐时段22(水平消隐)、垂直消隐时段23(垂直消隐)以及有效像素时段21(有效视频)，有效像素时段21是排除水平消隐时段和垂直消隐时段的视频场时段的时段。
视频数据时段24被分配给有效像素时段21。在视频数据时段24中，传输包括在对应于一个画面的未压缩图像数据中的对应于1920像素(像素)×1080行的有效像素(有效像素)的数据。数据岛时段25和控制时段26被分配给水平消隐时段22和垂直消隐时段23。在这些数据岛时段25和控制时段26中，传输辅助数据(辅助数据)。
即，将数据岛时段25分配给水平消隐时段22和垂直消隐时段23的部分。在数据岛时段25中，例如，传输作为辅助数据中包括的数据且与控制无关的音频数据分组等。控制时段26被分配给水平消隐时段22和垂直消隐时段23的其他部分。在控制时段26中，例如，传输作为辅助数据中包括的数据并且与控制有关的垂直同步信号、水平同步信号、控制分组等。
图5示出HDMI连接器的针阵列。此针阵列是A型(A型)的一个示例。作为传输TMDS数据#i+和TMDS数据#i-(它们是TMDS通道#i的差分信号)的差分线的两条线连接到TMDS数据#i+分配到的针(针号为1、4和7的针)和TMDS数据#i-分配到的针(针号为3、6和9的针)。
另外，用于传输作为控制数据的CEC信号的CEC线84连接到具有针编号13的针，并且具有针编号14的针是保留(保留)针。另外，用于传输诸如E-EDID之类的SDA(串行数据)信号的线连接到具有针编号16的针，并且用于传输SCL(串行时钟)信号的线连接到具有针编号15的针，SCL(串行时钟)信号是在发送和接收SDA信号时用于同步的时钟信号。上述DDC83包括用于传输SDA信号的线和用于传输SCL信号的线。
另外，用于如上所述的源设备检测与信宿设备的连接的HPD线86连接到具有针编号19的针。另外，用于如上所述供应电源的电源线87连接到具有针编号18的针。
“高速总线接口的配置示例”
图6示出了图1所示的AV系统10中的电视接收器100的高速总线接口103的配置示例。以太网接口110使用HDMI缆线300中包括的多条线中的包括一对线(即保留线和HPD线)的传输线，并且执行LAN(局域网)通信，即，以太网信号的发送和接收。SPDIF发送电路104通过使用包括上述一对线的传输线来发送SPDIF信号。
电视接收器100具有LAN信号发送电路441、终端电阻器442、AC耦合电容器443和444、LAN信号接收电路445、减法电路446、加法电路449和450以及放大器451。这些被包括在高速总线接口103中。另外，电视接收器100具有包括在插头连接传输电路128中的扼流圈461、电阻器462和电阻器463。
AC耦合电容器443、终端电阻器442和AC耦合电容器444的串联电路连接在HDMI端子101的14针端子521和19针端子522之间。另外，电阻器462和电阻器463的串联电路连接在电源线(+5.0V)和地线之间。然后，电阻器462和电阻器463之间的连接点经由扼流圈461连接到19针端子522和AC耦合电容器444之间的连接点Q4。
AC耦合电容器443和终端电阻器442之间的连接点P3连接到加法电路449的输出侧，并且连接到LAN信号接收电路445的正输入侧。另外，AC耦合电容器444和终端电阻器442之间的连接点P4连接到加法电路450的输出侧，并且连接到LAN信号接收电路445的负输入侧。
加法电路449的一个输入侧连接到LAN信号发送电路441的正输出侧，并且加法电路449的另一输入侧经由放大器451被提供从SPDIF发送电路104输出的SPDIF信号。另外，加法电路450的一个输入侧连接到LAN信号发送电路441的负输出侧，并且加法电路450的另一输入侧经由放大器451被提供从SPDIF发送电路104输出的SPDIF信号。
LAN信号发送电路441的输入侧被提供来自以太网接口110的发送信号(发送数据)SG417。另外，向减法电路446的正极端子提供LAN信号接收电路445的输出信号SG418，向减法电路446的负极端子提供发送信号SG417。在减法电路446处，从LAN信号接收电路445的输出信号SG418减去发送信号SG417，并且获得接收信号(接收数据)SG419。在LAN信号(以太网信号)作为差分信号经由保留线和HPD线被发送的情况下，接收信号SG419用作LAN信号。接收信号SG419被提供给以太网接口110。
图7示出了图1所示的AV系统10中的音频放大器200的高速总线接口203的配置示例。以太网接口210使用在HDMI缆线610中包括的多条线中的包括一对线(即，保留线和HPD线)的传输线，并且执行LAN(局域网)通信，即，以太网信号的发送和接收。SPDIF接收电路204通过使用包括上述一对线的传输线来接收SPDIF信号。
音频放大器200具有LAN信号发送电路411、终端电阻器412、AC耦合电容器413和414、LAN信号接收电路415、减法电路416、加法电路419和放大器420。这些被包括在高速总线接口203中。另外，音频放大器200具有被包括在插头连接检测电路221中的下拉电阻器431、电阻器432、电容器433和比较器434。这里，电阻器432和电容器433被包括在低通滤波器中。
AC耦合电容器413、终端电阻器412和AC耦合电容器414的串联电路连接在HDMI端子201的14针端子511和19针端子512之间。AC耦合电容器413和终端电阻器412之间的连接点P1连接到LAN信号发送电路411的正输出侧，并且连接到LAN信号接收电路415的正输入侧。
AC耦合电容器414和终端电阻器412之间的连接点P2连接到LAN信号发送电路411的负输出侧，并且连接到LAN信号接收电路415的负输入侧。LAN信号发送电路411的输入侧被提供来自以太网接口210的发送信号(发送数据)SG411。
向减法电路416的正极端子提供LAN信号接收电路415的输出信号SG412，向减法电路416的负极端子提供发送信号(发送数据)SG411。在减法电路416处，从LAN信号接收电路415的输出信号SG412减去发送信号SG411，并且获得接收信号SG413。在LAN信号(以太网信号)作为差分信号经由保留线和HPD线被发送的情况下，接收信号SG413用作LAN信号。接收信号SG413被提供给以太网接口210。
AC耦合电容器414和19针端子512之间的连接点Q2经由下拉电阻器431连接到地线，并且经由电阻器432和电容器433的串联电路连接到地线。然后，将在电阻器432和电容器433之间的连接点处获得的低通滤波器的输出信号提供给比较器434的一个输入端子。在比较器434处，将低通滤波器的输出信号与提供给另一输入端子的参考电压Vref2(+1.4V)进行比较。比较器434的输出信号SG415被提供给音频放大器200的未示出的控制部件(CPU)。
另外，AC耦合电容器413和终端电阻器412之间的连接点P1连接到加法电路419的一个输入端子。另外，AC耦合电容器414和终端电阻器412之间的连接点P2连接到加法电路419的另一输入端子。加法电路419的输出信号经由放大器420被提供给SPDIF接收电路204。在经由保留线和HPD线作为同相信号发送SPDIF信号的情况下，加法电路419的输出信号用作SPDIF信号。
“SPDIF信号的详情”
首先，说明IEC 60958标准的概要。图8示出了IEC 60958标准中的帧配置。每个帧包括两个子帧。在双通道立体声音频的情况下，第一子帧包括左通道信号，第二子帧包括右通道信号。
在子帧的开始处，如下所述提供前导。左通道信号被赋予“M”作为前导，右通道信号被赋予“W”作为前导。然而，应当注意，作为每组192帧的开始的前导，给出了表示块的开始的“B”。也就是说，一个块包括192帧。块是形成下面提到的通道状态的单位。
图9示出了IEC 60958标准中的子帧配置。子帧包括第0到第31个时隙，即总共32个时隙。第0到第3个时隙表示前导(同步前导)。如上所述，前导表示“M”、“W”和“B”中的任意一个，以便区分左通道和右通道或表示块的起始位置。
第四至第27时隙是主数据字段，并且在采用24比特代码范围的情况下，整体表示音频数据。另外，在采用20比特代码范围的情况下，第八至第27时隙表示音频数据(音频采样字)。在后一情况下，第四到第七时隙可用作附加信息(辅助采样比特)。图中的例子示出了后一情况。
第28个时隙是主数据字段的有效性标志(有效性标志)。第29时隙表示一个比特的用户数据(用户数据)。通过在各个帧上累积第29时隙，可以形成一系列用户数据。以八比特信息单位(IU：信息单位)为单位形成用户数据的消息，并且一个消息包括3到129个信息单位。
信息单位之间可能有0到8比特的“0”。信息单位的开头由起始比特“1”标识。消息中的前七个信息单位被保留，并且用户可以在第八个和随后的信息单位中设定所需的信息。消息被8比特或更多比特的“0”分割。
第30个时隙表示一个比特的通道状态(通道状态)。通过在每个块的各个帧上累积第30个时隙，可以形成一系列通道状态。注意，如上所述，块的起始位置由“B”(第0到第3时隙)的前导表示。
第31时隙是奇偶校验比特(奇偶校验比特)。给出奇偶校验比特，使得包括在第四到第31时隙中的“0”和“1”的数目成为偶数。
图10示出了IEC 60958标准中的信号调制方法。在排除前导的子帧中的第4到第31时隙经受两相标记调制。在这种两相标记调制时，使用比原始信号(源编码)快两倍的时钟。如果将原始信号的时钟周期划分为第一半和第二半，则必须在第一半时钟周期的边缘处反转两相标记调制的输出。此外，当原始信号在第二半时钟周期的边缘处表示“1”时，输出被反转，并且当原始信号在第二半时钟周期的边缘处表示“0”时，输出不被反转。由此，变得能够从经过了两相标记调制的信号中提取原始信号中的时钟分量。
图11示出了IEC 60958标准中的前导的通道编码。如上所述，子帧中的第4到第31时隙经受两相标记调制。另一方面，第0至第3时隙中的前导不经受正常的两相标记调制，而是作为与快两倍的时钟同步的比特模式来处理。也就是说，通过向第0至第3时隙中的每个时隙分配2个比特，获得与图中所示的类似的8比特模式。
如果先前状态为“0”，则将“11101000”分配给前导“B”，将“11100010”分配给前导“M”，将“1100100”分配给前导“W”。另一方面，如果先前状态为“1”，则将“00010111”分配给前导“B”，将“00011101”分配给前导“M”，并且将“00011011”分配给前导“W”。
在本实施例中，使用基于IEC 60958标准的多通道传输格式来同时传输上述多通道音频信号和预定通道数量的触觉振动信号。
首先，说明多通道传输格式。图12示出了多通道传输格式中的帧配置的一个示例。一个块包括IEC 60958标准中的192个帧，并且192个帧包括多通道组(多通道组)的重复，每个多通道组包括预定数量的子帧。每个子帧部分以多通道次序(order)被包括。可以通过使用为每个块形成的预定通道状态比特区域来表示多通道组中包括多少子帧。
另外，在多通道组中形成一个或多个多通道子组，每个子组用于传输多通道音频信号。多通道子组包括一个或多个多通道次序。多通道音频信号的每个通道的信号以包括在多通道子组中的每个多通道次序顺序地排列。在多通道组中形成什么类型的多通道子组可以通过使用为每个块形成的预定通道状态比特区域来表示，并且也可以通过使用预定帧数的用户数据比特来表示。
在图中所示的示例中，一个多通道组包括八个子帧，即，多通道次序1到8。此外，在多通道组中形成四个多通道子组，即，多通道子组1到4。
多通道子组1包括多通道次序1到3，并且多通道音频信号的三个通道中的每个通道的信号(通道编号为65、66或67的信号)按每个多通道次序顺序地排列。这里，通道编号65表示左前(FL)，通道编号66表示右前(FR)，通道编号67表示前中心(FC)。
另外，多通道子组2包括多通道次序4到5，并且多通道音频信号的两个通道中的每个通道的信号(通道编号为77或78的信号)按每个多通道次序顺序地排列。这里，通道编号77表示左前高(HFL)，通道编号78表示右前(HFR)。
另外，多通道子组3包括多通道次序6，并且多通道音频信号(通道编号为80的信号)的一个通道按多通道次序排列。这里，通道编号80表示头上方中心(OhC)。
另外，多通道子组4包括多通道次序7到8，并且多通道音频信号的两个通道(通道编号为65和66的信号)按多通道次序顺序地排列。
解释指定在多通道组中形成的多通道子组的方式。指定多通道子组的方法的示例包括以下第一到第三方法。
第一方法是通过使用存储在为每个块形成的通道状态比特63到60中的多通道配置信息来直接指定多通道子组的方法。这里，多通道配置表示通过预先组合预定音频通道而形成的音频通道集。在该第一方法中，只能指定通过预先组合预定音频通道而形成的音频通道集。
第二方法是通过使用存储在为每个块形成的通道状态比特165到191中的多通道映射并在对应于适用通道的比特中设定1来指定通道子组的方法。在该第二方法中，可以指定通过组合期望的音频通道而形成的音频通道集，但是传输次序成为多通道映射上的出现次序，并且不能使其成为期望的传输次序。
图13示意性地示出了IEC 60958标准中的通道状态格式。通道状态是为每个块累积的子帧的第30时隙(参见图9)。在该图中，在垂直方向上排列的每一行表示一个字节的通道状态的内容，并且在水平方向上表示每个字节中的比特配置。注意，在这里的解释中，假设使用消费者使用(Consumer use)的格式。
第0比特(比特0)a被设定为“0”，这表示通道状态用于用户使用。此外，第一比特(比特1)b被设定为“0”，这表示它是线性PCM样本。此外，第六比特和第七比特(比特6到7)表示通道状态的模式。
另外，第44比特到第47比特(比特44到47)形成表示“多通道计数”的四比特字段，并且表示要包括在多通道组中的子帧的数目。例如，“0000”表示2ch LPCM，即表示要包括在多通道组中的子帧的数目是2，“1011”表示64ch LPCM，即，表示要包括在多通道组中的子帧的数目是64，“1100”表示32ch LPCM，即，表示要包括在多通道组中的子帧的数目是32，“1101”表示16ch LPCM，即表示要包括在多通道组中的子帧的数目是16，“1110”表示8chLPCM，即表示要包括在多通道组中的子帧的数目是8，并且进一步“1111”表示4ch LPCM，即，表示要包括在多通道组中的子帧的数目是4。
另外，第53比特到第60比特形成表示“多通道配置值”的8比特字段，并且表示用于根据第一方法指定多通道子组的多通道配置值。
图14示出了多通道配置值与由此表示的音频通道集之间的对应关系。每个音频通道集根据ISO/IEC 23001-8 2016确定，并由多通道配置值标识。注意，尽管在图14中未示出，但是也可以指定在ITU-RBS.2094-1中指定的音频通道集和IEC特有的音频通道集。
多通道配置值“10000000”表示存在具有通道配置1(ChannelConfiguration 1)的音频通道集(多通道子组)，并且该音频通道集仅包括音频通道“67:FC”。此外，多通道配置值“01000000”表示存在具有通道配置2(ChannelConfiguration 2)的音频通道集(多通道子组)，并且该音频通道集包括音频通道“65:FL”和“66:FR”，并且这些将按此次序被发送。
另外，多通道配置值“11000000”表示存在具有通道配置3(ChannelConfiguration3)的音频通道集(多通道子组)，并且该音频通道集包括音频通道“65:FL”、“66:FR”和“67:FC”，并且这些通道将按此次序被发送。另外，多通道配置值“00100000”表示存在具有通道配置4(ChannelConfiguration 4)的音频通道集(多通道子组)，并且该音频通道集包括音频通道“65:FL”、“66:FR”、“67:FC”和“184:MS”，并且这些通道将按此次序被发送。
另外，多通道配置值“10100000”表示存在具有通道配置5(ChannelConfiguration5)的音频通道集(多通道子组)，并且该音频通道集包括音频通道“65:FL”、“66:FR”、“67:FC”、“69:LS”和“70:RS”，并且这些通道将按此次序被发送。
另外，多通道配置值“01100000”表示存在具有通道配置6(ChannelConfiguration6)的音频通道集(多通道子组)，并且该音频通道集包括音频通道“65:FL”、“66:FR”、“67:FC”、“68:LFE”、“69:LS”和“70:RS”，并且这些通道将按此次序被发送。
另外，多通道配置值“11100000”表示存在具有通道配置7(ChannelConfiguration7)的音频通道集(多通道子组)，并且该音频通道集包括音频通道“65:FL”、“66:FR”、“67:FC”、“68:LFE”、“69:LS”、“70:RS”、“109:FLmid”和“110:FRmid”，并且这些通道要按该次序被发送。
这里，诸如65、66、67、68、69、70、109和110之类的编号是根据在第二方法中使用的多通道映射确定的音频通道所特有的编号，并且每个编号对应于特定的扬声器。例如，左前扬声器被赋予编号65，右前扬声器被赋予编号66。这些编号也用于第三方法。这些扬声器的位置和编号在IEC 62574中基于ITU-R BS.2094-1和ISO/IEC 23001-8确定，但这不是唯一的示例，可以有其他唯一地分配的通道。注意，在多通道配置值为“00000000”的情况下，这表示不存在通过第一方法指定的音频通道集(多通道子组)。
返回到图13，第64比特(比特64)表示是否使用第65比特到第191比特的多通道映射来指定音频通道集(多通道子组)。例如，“0”表示未指定音频通道集，“1”表示指定了音频通道集。在从第65比特到第191比特的多通道映射中，比特编号被直接用作与通道特定编号相对应的编号。
例如，第65比特对应于音频通道“65:FL”，并且在将音频通道“65:FL”包括在通过第二方法指定的音频通道集中的情况下，第65比特被设定为1。尽管没有详细说明，但是在将其他音频通道包括在通过第二方法指定的音频通道集中的情况下，也类似地设定比特。
第三方法是通过使用预定数量的连续帧的用户数据比特来指定多通道子组的方法。在该第三方法中，可以指定通过组合期望的音频通道而形成的音频通道集，并且还可以根据需要设定各个音频通道的发送次序。
在第三方法中，通过使用用户数据比特对多通道配置信息进行打包和嵌入。在这种情况下，首先，发出指定每个高度处的扬声器数量的分组。图15示出了分组的一个示例。在这里，高度的类型包括“头上方”、“高”、“中”、“底”和“LFE”。指定了每层中总共布置多少个扬声器。通过在分组内重复该机制，可以形成多个多通道子组。接下来，发出指定在多通道组内要以发送次序发送哪个音频通道的分组。图16示出了分组的一个示例。
该第三方法具有作为指定音频通道集(多通道子组)的方法的最高自由度，使得能够以特定次序发送特定音频通道，并且还使得能够多次发送它们。
图17示出了在上述图12中所示的多通道传输格式的帧配置的一个示例中指定多通道组1到4的方法的具体示例。多通道子组1通过第一方法来指定。在这种情况下，通道状态第53比特到第60比特中的值“多通道配置值”被设定为“11000000”，并且这表示存在包括“65:FL”、“66:FR”和“67:FC”的音频通道集(多通道子组)(参见图14)。
此外，多通道子组2通过第二方法来指定。在这种情况下，通道状态第64比特被设定为“1”，并且这表示存在通过使用多通道映射的第二方法指定的音频通道集(多通道子组)。此外，第77比特和第78比特被设定为1，这表示音频通道集(多通道子组)具有按所列次序包括音频通道“77:HFL”和“78:HFR”的配置。
此外，多通道子组3和4通过第三方法来指定。在这种情况下，关于多通道子组3，指定每个高度处的扬声器的数量的分组(参见图15)表示包括的头上方扬声器的数量是一个，并且指定要发送哪个音频通道的分组(参见图16)表示音频通道“80:OhC”。
另外，关于多通道子组4，指定每个高度处的扬声器的数量的分组(参见图15)表示包括的底部扬声器的数量是两个，并且指定要发送哪个音频通道的分组(参见图16)表示音频通道“65:FL”和“66:FR”。
在本实施例中，通过上述第一到第三方法指定的多通道子组用于同时传输多通道音频信号和预定通道数量的触觉振动信号。请注意，ISO/IEC 23001-8 2016目前不包括包含触觉振动信号的集的定义。然而，如果在将来定义，也可以通过第一方法指定用于同时传输多通道音频信号和预定通道数量的触觉振动信号的多通道子组。
另外，为了通过第二方法指定用于同时传输多通道音频信号和预定通道数量的触觉振动信号的多通道子组，可以在通道状态多通道映射中包括的第65比特到第191比特中的未定义比特中新定义触觉振动信号。在本实施例中，例如，如图13所示，在第120比特到第122比特中定义触觉振动信号。
作为一种多媒体信号的触觉振动信号是用于使附着到人体的执行器振动的信号。这些触觉振动信号可以通过使用未压缩音频信号传输线来传输，但是信号排列不均匀，并且集中在较低的频带。这些信号包括在某些情况下表示压力的直流分量。
如果用常规音频放大器再现这些触觉振动信号，则不能正确地再现它们，放大元件由于由热等引起的损坏而破坏，并且在连接扬声器的情况下，音圈在最坏的情况下断开。为了避免这个问题，为触觉振动信号分配了唯一的通道编号，并将其与音频通道信号区分开来。例如，右臂振动信号被赋予编号120，并且在多通道映射的第120比特中定义。另外，例如，左臂振动信号被赋予编号121并且在多通道映射的第121比特中定义。另外，用于两个腿的振动信号被赋予编号122并且在多通道映射的第122比特中定义。注意，触觉振动信号不限于这些信号，并且其他触觉振动信号仅需要被分配唯一的编号并且与音频通道信号区分开来。
此外，还可以使用在上述第二方法中确定的触觉振动信号的通道编号，从而通过第三方法指定用于同时传输多通道音频信号和预定通道数量的触觉振动信号的多通道子组。或者，也可以通过第三方法唯一地确定触觉振动信号的通道编号，并根据特定规则唯一地执行操作。
注意，可以针对每个块(192帧)来改变指定用于同时传输多通道音频信号和预定通道数量的触觉振动信号的多通道子组的方式，以及通过采用时分，也可以传输与分配给多通道子组的触觉振动信号的通道数量相比相同数量或更大数量的通道的触觉振动信号。例如，可能的情况包括许多振动单元附着到用户的整个身体并且从最低的振动单元开始到较高的振动单元每秒振动一个的情况，以及其他情况。
图18示出了在同时传输多通道音频信号和预定通道数量的触觉振动信号的情况下，多通道传输格式的帧配置的一个示例。尽管未详细说明，但图18中所示的该帧配置总体上类似于图12中所示的帧配置。
在该示例中，在包括八个子帧(即，多通道次序1到8)的多通道组中形成多通道子组1的一个多通道子组。然后，该示例是一个多通道子组传输5.1通道音频和两个通道的触觉振动信号的示例，如图19所示的那些通道。
多通道音频信号的每个通道和预定通道数量的触觉振动信号的信号(通道编号为65、66、67、68、69、78、120或121的信号)以包括在多通道子组1中的多通道次序1到8顺序地排列。
这里，通道编号65到70表示多通道音频信号中包括的各个音频通道，“65”表示左前(FL)，“66”表示右前(FR)，“67”表示前中心(FC)，“68”表示LFE，“69”表示左环绕，“70”表示右环绕。另外，通道编号120和121表示触觉振动信号的各个通道，“120”表示左手(右臂振动信号)，“121”表示右手(左臂信号信号)。
注意，尽管在图18所示的帧配置所示的示例中，在多通道组中形成了一个多通道子组，但是可以在多通道组中形成多个多通道子组，并且其他可能的情况不仅包括在所有多通道子组中顺序地排列多通道音频信号以及预定通道数量的触觉振动信号的每个通道的信号的情况，而且包括在一些多通道子组中仅排列多通道音频信号的每个通道的信号的情况，或在一些多通道子组中仅排列预定通道数量的触觉振动信号的每个通道的信号的情况。
可以通过上述第一至第三方法来指定多通道子组，其中多通道音频信号和预定通道数量的触觉振动信号的每个通道的信号被顺序地排列。在这种情况下的指定信息还用作多通道音频信号和预定通道数量的触觉振动信号的配置信息。配置信息包括用于区分触觉振动信号和音频信号的标识信息。另外，标识信息包括由预定通道数量的触觉振动信号中的每一个所针对的振动位置的信息。
图20示出了在上述图18所示的多通道传输格式的帧配置的一个示例中，通过第二方法指定多通道子组1的情况。在这种情况下，通道状态第64比特(参见图13)被设定为“1”，并且这表示存在通过使用多通道映射的第二方法指定的多通道子组。
然后，将第65比特到第70比特，以及通道状态第120比特到第121比特设定为1，并且这表示该多通道子组具有包括按所列次序的音频通道“65:FL”、“66:FR”、“67:FC”、“68:LFE”、“69:LS”和“70:RS”以及还包括按所列次序的“120:左手”和“121:左手”的触觉振动信号的通道的配置。
如上所述，在图1所示的AV系统10中，包括预定通道数量的音频信号和预定通道数量的触觉振动信号并且用于包括192帧的每个块的信号经由HDMI缆线300从电视接收器100被发送到音频放大器200。因此，触觉振动信号可以与音频信号同步地有利地从电视接收器100被传输到音频放大器200。
另外，在图1所示的AV系统10中，包括在块中的192帧是多通道组的重复，每个多通道组包括预定数量的子帧，多通道音频信号(预定通道数量的音频信号)和预定通道数量的触觉振动信号的每个通道的信号被顺序地排列在多通道子组中，该多通道子组具有由在多通道组中形成的预定通道状态比特区域或预定数量的连续用户数据比特所指定的配置，并发送这些信号。因此，基于从预定通道状态比特区域或预定数量的连续用户数据比特获取的配置信息，作为接收器侧的音频放大器200能够简单而适当地获取预定通道数量的音频信号和预定通道数量的触觉振动信号。
另外，在图1所示的AV系统10中，上述配置信息包括使得能够区分同时发送的多通道音频信号和预定通道数量的触觉振动信号的标识信息。因此，作为接收器侧的音频放大器200可以从同时发送的多通道音频信号和预定通道数量的触觉振动信号中获取各个信号，同时对它们进行区分，因此，例如，可以防止将触觉振动信号错误地提供给音频信号再现系统的操作错误并且防止其他错误。
另外，在图1所示的AV系统10中，在要发送多个通道的触觉振动信号的情况下，上述配置信息包括由触觉振动信号的各个通道所针对的振动位置的信息。因此，作为接收器侧的音频放大器200变得能够在由触觉振动信号的各个通道所针对的振动位置处适当地振动振动设备。
注意，本说明书中描述的优点仅为了说明目的而给出，并不限制本技术的优点。可以还有其他优点。
<2.修改示例>
注意，在上述实施例中，由电视接收器100发送到音频放大器200的触觉振动信号是包括在广播内容、网络内容或再现内容中的信号。然而，在这些内容中不包括触觉振动信号的情况下，可以分析与音频信号相关联的媒体信号(例如，包括在内容中的音频信号和视频信号)以生成触觉振动信号，并且可以使用该触觉振动信号。
图21示出了在这种情况下AV系统10A的配置示例。在图21中，在图1中具有其对应物的部分被赋予相同的标符，并且适当地省略其详细说明。电视接收器100还具有触觉振动信号生成部件111。触觉振动信号生成部件111分析从内容再现电路108输入的音频信号和视频信号以生成触觉振动信号，并将触觉振动信号提供给SPDIF发送电路104。在其它方面，电视接收器100具有类似于图1所示的AV系统10的电视接收器100的配置。
注意，例如，在内容包括如由MIDI(乐器数字接口)生成的振动指示信号那样的振动指示信号的情况下，触觉振动信号生成部件111可以基于这些振动指示信号生成触觉振动信号。
此外，尽管上面没有提到，触觉振动信号本身可以是多维信号。例如，在包括在触觉振动信号(参见图22)中的X轴、Y轴和Z轴的振动数据要被传输的情况下，每条数据被数字化为8比特数据，并且可以通过根据IEC 60958-1将数据分配到子帧中的24比特时隙来传输，如图23所示。子帧中从比特4到比特27的总共24比特用于线性PCM中的音频通道传输，并且这些比特通过被分成三组八比特来使用。注意，例如，Z轴被定义为垂直于皮肤，X轴和Y轴被定义为平行于皮肤。此外，可以对比特分配进行加权，并且可以非均匀地分配比特，例如，向Z轴分配10比特，向X轴和Y轴中的每一个分配7比特。
在如图23所示通过被分成三个来使用24比特时隙的情况下，即使所使用的设备仅沿Z轴驱动，也将某些比特(即24比特数据中的较低比特)视为噪声，并且可以以与一维驱动的情况兼容的方式执行驱动。另外，在这种情况下，可以分割24比特时隙，使得通道被分配给每个手指或形成更小的接触面。
另外，尽管上面没有提到，但是如图24所示，可以代表性地发送覆盖用户的假想立方体空间的顶点a到h中的每个顶点的触觉振动信号，并且可以根据每个顶点的触觉振动信号通过线性插值等来确定立方体空间中包括的实际驱动点处的触觉振动信号。在这种情况下的每个顶点的触觉振动信号的信号名称可以是前右上角、后左下角等。
另外，尽管上面没有提到，但是如果所使用的设备支持以图12所示的多通道传输格式记录和再现信号，类似地可以记录和再现包括图18所示的多通道音频信号和预定通道数量的触觉振动信号的多通道传输格式的信号。
此外，在上述实施例所示的示例中，触觉振动信号与音频信号同时传输。类似地，本技术还可应用于各种类型的传感器信号被打包在支持说话的机器人技术机器控制信号或音频麦克风信号中并且同时传输的情况。此外，本技术还可应用于汽车发动机声音、温度传感器数据等的批量同步传输。
注意，尽管在上述实施例所示的示例中HDMI ARC用作IEC 60958传输线，但是在一个可能的示例中同轴缆线或光缆被用作IEC 60958传输线。另外，在另一个可能的示例中，HDMI传输线可用作IEC 60958传输线。在这种情况下，SPDIF信号(IEC 60958信号)被映射到音频采样分组(音频采样分组)中，并且在与视频传输方向相同的向前方向上传输。类似地，在另一个可能的示例中，IEC 61883-6传输线、MHL传输线、显示端口传输线(DP传输线)等可用作IEC 60958传输线。在这些情况下，SPDIF信号(IEC 60958信号)也被映射到音频采样分组(音频采样分组)中，并且在与视频传输方向相同的向前方向上传输。
另外，尽管在参考附图的同时详细说明了本公开的适当实施例，但是本公开的技术范围不限于这些示例。显而易见，本公开的技术领域的普通技术人员可以在权利要求书所述的技术思想范围内想到各种类型的修改示例或修正示例，应当理解，各种类型的修改示例或修正示例当然也属于本公开的技术范围。
此外，本技术可以具有如下所述的配置。
(1)一种发送装置，包括：
发送部件，经由预定传输线将每个包括多个帧的各个块的传输信号顺序地发送到接收器侧，其中
传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号。
(2)根据(1)所述的发送装置，还包括：
信息添加部件，将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号的配置信息添加到传输信号。
(3)根据(2)所述的发送装置，其中所述配置信息包括用于将所述触觉振动信号与所述音频信号区分开来的标识信息。
(4)根据(3)所述的发送装置，其中所述标识信息包括以所述预定通道数量的触觉振动信号中的每一个为对象的振动位置的信息。
(5)根据(2)至(4)中的任一项所述的发送装置，其中所述信息添加部件通过使用为所述块中的每个块形成的预定通道状态比特区域来添加所述配置信息。
(6)根据(2)至(5)中的任一项所述的发送装置，其中所述信息添加部件通过使用预定数量的连续帧的用户数据比特来添加所述配置信息。
(7)根据(1)至(6)中的任一项所述的发送装置，其中
所述多个帧包括多通道组的重复，每个多通道组包括预定数量的帧，以及
在将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号针对每个所述多通道组以时分方式按照通道分开布置在所述预定数量的帧中的全部或一些帧中的状态下，发送部件发送所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号。
(8)根据(1)至(7)中的任一项所述的发送装置，还包括：
处理部件，基于与音频信号相关联的媒体信号来生成触觉振动信号。
(9)根据(1)至(8)中的任一项所述的发送装置，其中所述预定传输线是同轴缆线、光缆、以太网(IEC 61883-6)缆线、HDMI缆线、MHL缆线或显示端口缆线。
(10)一种发送方法，包括：
经由预定传输线将每个包括多个帧的各个块的传输信号顺序地发送到接收器侧的步骤，其中
传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号。
(11)一种接收装置，包括：
接收部件，经由预定传输线从发送器侧顺序地接收每个包括多个帧的各个块的传输信号，其中
传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号。
(12)根据(11)所述的接收装置，还包括：
处理部件，处理所述传输信号并输出所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号。
(13)根据(12)所述的接收装置，其中
传输信号包括所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号的配置信息，以及
处理部件基于配置信息处理传输信号，并输出所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号。
(14)根据(13)所述的接收装置，其中，通过使用为每个块形成的预定通道状态比特区域来添加配置信息。
(15)根据(13)或(14)所述的接收装置，其中，通过使用预定数量的连续帧的用户数据比特来添加所述配置信息。
(16)根据(11)至(15)中的任一项所述的接收装置，其中
所述多个帧包括多通道组的重复，每个多通道组包括预定数量的帧，以及
将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号针对每个所述多通道组以时分方式按照通道分开布置在所述预定数量的帧中的全部或一些帧中。
(17)根据(11)至(16)中的任一项所述的接收装置，其中所述预定传输线是同轴缆线、光缆、以太网(IEC 61883-6)缆线、HDMI缆线、MHL缆线或显示端口缆线。
(18)一种接收方法，包括：
经由预定传输线从发送器侧顺序地接收每个包括多个帧的各个块的传输信号的步骤，其中
传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号。
[标符列表]
10，10A:AV系统
100：电视接收器
101:HDMI终端
102:HDMI接收部件
103：高速总线接口
104:SPDIF发送电路
105：系统控制器
107：数字广播接收电路
108：内容再现电路
109:显示部件
110：以太网接口
111：触觉振动信号生成部件
121:接收天线
122:BD播放器
123:因特网
200：音频放大器
201:HDMI终端
202:HDMI发送部件
203：高速总线接口
204:SPDIF接收电路
205：系统控制器
208：音频放大器
209：振动放大器
210：以太网接口
250：扬声器系统
260：振动系统
300：HDMI缆线

Claims (15)

1.一种发送装置，包括：
发送部件，经由预定传输线将每个包括多个帧的各个块的根据IEC 60958标准的传输信号顺序地发送到接收器侧，其中，传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号；以及
信息添加部件，将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号的配置信息添加到传输信号。
2.根据权利要求1所述的发送装置，其中所述配置信息包括用于将所述触觉振动信号与所述音频信号区分开来的标识信息。
3.根据权利要求2所述的发送装置，其中所述标识信息包括以所述预定通道数量的触觉振动信号中的每一个为对象的振动位置的信息。
4.根据权利要求1所述的发送装置，其中所述信息添加部件通过使用为所述块中的每个块形成的预定通道状态比特区域来添加所述配置信息。
5.根据权利要求1所述的发送装置，其中所述信息添加部件通过使用预定数量的连续帧的用户数据比特来添加所述配置信息。
6.根据权利要求1所述的发送装置，其中
所述多个帧包括多通道组的重复，每个多通道组包括预定数量的帧，以及
在将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号针对每个所述多通道组以时分方式按照通道分开布置在所述预定数量的帧中的全部或一些帧中的状态下，发送部件发送所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号。
7.根据权利要求1所述的发送装置，还包括：
处理部件，基于与音频信号相关联的媒体信号来生成触觉振动信号。
8.根据权利要求1所述的发送装置，其中所述预定传输线是同轴缆线、光缆、以太网(IEC 61883-6)缆线、HDMI缆线、MHL缆线或显示端口缆线。
9.一种发送方法，包括：
经由预定传输线将每个包括多个帧的各个块的根据IEC 60958标准的传输信号顺序地发送到接收器侧的步骤，其中，传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号；以及
将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号的配置信息添加到传输信号的步骤。
10.一种接收装置，包括：
接收部件，经由预定传输线从发送器侧顺序地接收每个包括多个帧的各个块的根据IEC 60958标准的传输信号，其中，传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号；以及
处理部件，处理所述传输信号并输出所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号，其中
传输信号包括所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号的配置信息，以及
处理部件基于配置信息处理传输信号，并输出所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号。
11.根据权利要求10所述的接收装置，其中，通过使用为每个块形成的预定通道状态比特区域来添加配置信息。
12.根据权利要求10所述的接收装置，其中，通过使用预定数量的连续帧的用户数据比特来添加所述配置信息。
13.根据权利要求10所述的接收装置，其中
所述多个帧包括多通道组的重复，每个多通道组包括预定数量的帧，以及
将所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号针对每个所述多通道组以时分方式按照通道分开布置在所述预定数量的帧中的全部或一些帧中。
14.根据权利要求10所述的接收装置，其中所述预定传输线是同轴缆线、光缆、以太网(IEC 61883-6)缆线、HDMI缆线、MHL缆线或显示端口缆线。
15.一种接收方法，包括：
经由预定传输线从发送器侧顺序地接收每个包括多个帧的各个块的根据IEC 60958标准的传输信号的步骤，其中，传输信号包括预定通道数量的音频信号和预定通道数量的触觉振动信号；以及
处理所述传输信号并输出所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号的步骤，其中
传输信号包括所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号的配置信息，以及
其中，基于配置信息处理传输信号，并输出所述预定通道数量的音频信号和所述预定通道数量的触觉振动信号。
CN201980054557.4A 2018-08-30 2019-08-09 发送装置、发送方法、接收装置和接收方法 Active CN112585982B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018162146 2018-08-30
JP2018-162146 2018-08-30
PCT/JP2019/031547 WO2020045044A1 (ja) 2018-08-30 2019-08-09 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN112585982A CN112585982A (zh) 2021-03-30
CN112585982B true CN112585982B (zh) 2024-04-16

Family

ID=69644915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980054557.4A Active CN112585982B (zh) 2018-08-30 2019-08-09 发送装置、发送方法、接收装置和接收方法

Country Status (7)

Country Link
US (1) US11991473B2 (zh)
EP (1) EP3833039A4 (zh)
JP (1) JP7439758B2 (zh)
KR (1) KR20210049786A (zh)
CN (1) CN112585982B (zh)
TW (1) TWI802739B (zh)
WO (1) WO2020045044A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210106993A (ko) 2018-12-26 2021-08-31 소니그룹주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2023008605A1 (ko) * 2021-07-28 2023-02-02 엘지전자 주식회사 영상표시장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104012098A (zh) * 2011-12-21 2014-08-27 高通股份有限公司 使用触觉技术提供增强的媒体体验
CN107256702A (zh) * 2012-06-11 2017-10-17 株式会社东芝 视频发送器、视频接收器和电视机

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4022489B2 (ja) 2003-03-10 2007-12-19 独立行政法人科学技術振興機構 振動通知装置
US7088224B2 (en) * 2003-03-11 2006-08-08 National Institute Of Advanced Industrial Science And Technology Audio information transmitting apparatus and the method thereof, and a vibrator holding structure
US7624021B2 (en) 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
US8700791B2 (en) * 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
JP2011124925A (ja) 2009-12-14 2011-06-23 Sony Corp 出力制御装置、出力制御方法、プログラム、及び出力制御システム
WO2014055329A1 (en) * 2012-10-01 2014-04-10 Internet Services, Llc System and method for synchronization of haptic data and media data
US9997032B2 (en) * 2013-04-09 2018-06-12 Immersion Corporation Offline haptic conversion system
US9164587B2 (en) 2013-11-14 2015-10-20 Immersion Corporation Haptic spatialization system
US9946348B2 (en) * 2014-03-21 2018-04-17 Immersion Corporation Automatic tuning of haptic effects
US10073523B2 (en) * 2014-12-23 2018-09-11 Immersion Corporation Position control of a user input element associated with a haptic output device
JP2018060313A (ja) 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104012098A (zh) * 2011-12-21 2014-08-27 高通股份有限公司 使用触觉技术提供增强的媒体体验
CN107256702A (zh) * 2012-06-11 2017-10-17 株式会社东芝 视频发送器、视频接收器和电视机

Also Published As

Publication number Publication date
US11991473B2 (en) 2024-05-21
WO2020045044A1 (ja) 2020-03-05
TWI802739B (zh) 2023-05-21
CN112585982A (zh) 2021-03-30
EP3833039A1 (en) 2021-06-09
TW202015375A (zh) 2020-04-16
US20210297627A1 (en) 2021-09-23
KR20210049786A (ko) 2021-05-06
JPWO2020045044A1 (ja) 2021-08-12
EP3833039A4 (en) 2021-06-09
JP7439758B2 (ja) 2024-02-28

Similar Documents

Publication Publication Date Title
JP4434267B2 (ja) インターフェース回路
JP2010081434A (ja) インタフェース回路および映像装置
JP6863282B2 (ja) 受信装置および受信方法
US12003886B2 (en) Transmission device, transmission method, reception device, and reception method
CN112585982B (zh) 发送装置、发送方法、接收装置和接收方法
US10986070B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP4596087B2 (ja) インターフェース回路
US20230004340A1 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
JP7452526B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN112136176B (zh) 发送设备、发送方法、接收设备和接收方法
WO2019225449A1 (ja) 送信装置、送信方法、受信装置および受信方法
CN114341972A (zh) 发送装置、发送方法、接收装置和接收方法
JP6669071B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP4596085B2 (ja) インターフェース回路

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant