JP2019024228A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2019024228A5 JP2019024228A5 JP2018181077A JP2018181077A JP2019024228A5 JP 2019024228 A5 JP2019024228 A5 JP 2019024228A5 JP 2018181077 A JP2018181077 A JP 2018181077A JP 2018181077 A JP2018181077 A JP 2018181077A JP 2019024228 A5 JP2019024228 A5 JP 2019024228A5
- Authority
- JP
- Japan
- Prior art keywords
- haptic data
- data stream
- bandwidth information
- network bandwidth
- haptic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000875 corresponding Effects 0.000 claims 12
- 230000005540 biological transmission Effects 0.000 claims 2
Claims (16)
- 音声データ及び動画データの少なくとも一方を含むデジタル・コンテンツ・データを受信する工程と、
前記デジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成する工程と、
通信ネットワーク経由の伝送のために前記触覚データを符号化して、符号化された複数の触覚データ・ストリームを生成する工程であって、当該複数の触覚データ・ストリームの各々は対応する密度係数を有し、当該対応する密度係数にしたがって異なるビットレートで符号化される、工程と、
前記複数の触覚データ・ストリームのうちの1つを選択触覚データ・ストリームとして選択する工程と、
前記選択触覚データ・ストリームをマルチプレクサによって前記デジタル・コンテンツ・データと多重化して多重化データ・ストリームを生成する工程と、
前記多重化データ・ストリームを前記通信ネットワーク経由で送信する工程と、
を備える方法。 - 前記符号化された触覚データを復号するための情報を、前記多重化データ・ストリームのファイルコンテナのメタデータ内に埋め込む工程をさらに備える、請求項1に記載の方法。
- 前記ファイルコンテナは、前記触覚データのボックス構造と前記デジタル・コンテンツ・データのボックス構造とを区別するように構成されたMP4対応ファイルコンテナである、請求項2に記載の方法。
- エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信する工程と、
前記ネットワーク帯域幅情報と前記選択触覚データ・ストリームの前記対応する密度係数とにしたがって前記選択触覚データ・ストリームを決定する工程と、
をさらに備える、請求項1に記載の方法。 - 前記ネットワーク帯域幅情報の変化を検出する工程と、
新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定する工程と、
をさらに備える、請求項4に記載の方法。 - エンド・ユーザ装置から通信ネットワーク経由で前記ネットワーク帯域幅情報の変化を受信する工程と、
新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定する工程と、
をさらに備える、請求項4に記載の方法。 - 前記対応する密度係数にしたがって前記複数の触覚データ・ストリームの各々を符号化する工程は、前記触覚データの一部を取り除く工程を含む、請求項1に記載の方法。
- 前記触覚データの一部を取り除く工程は、前記触覚データの重要度の低い信号を取り除く工程を含む、請求項7に記載の方法。
- 音声データ及び動画データの少なくとも一方を含むデジタル・コンテンツ・データを受信し、
前記デジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成し、
通信ネットワーク経由の伝送のために前記触覚データを符号化して、符号化された複数の触覚データ・ストリームを生成し、当該複数の触覚データ・ストリームの各々は対応する密度係数を有し、当該対応する密度係数にしたがって異なるビットレートで符号化され、
前記複数の触覚データ・ストリームのうちの1つを選択触覚データ・ストリームとして選択し、
前記選択触覚データ・ストリームをマルチプレクサによって前記デジタル・コンテンツ・データと多重化して多重化データ・ストリームを生成し、
前記多重化データ・ストリームを前記通信ネットワーク経由で送信するように構成されたプロセッサを備える、
システム。 - 前記プロセッサはさらに、
前記符号化された触覚データを復号するための情報を、前記多重化データ・ストリームのファイルコンテナのメタデータ内に埋め込むように構成された、請求項9に記載のシステム。 - 前記ファイルコンテナは、前記触覚データのボックス構造と前記デジタル・コンテンツ・データのボックス構造とを区別するように構成されたMP4対応ファイルコンテナである、請求項9に記載のシステム。
- 前記プロセッサはさらに、
エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信し、
前記ネットワーク帯域幅情報と前記選択触覚データ・ストリームの前記対応する密度係数とにしたがって前記選択触覚データ・ストリームを決定するように構成された、
請求項9に記載のシステム。 - 前記プロセッサはさらに、
前記ネットワーク帯域幅情報の変化を検出し、
新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定するように構成された、
請求項12に記載のシステム。 - 前記プロセッサはさらに、
エンド・ユーザ装置から通信ネットワーク経由で前記ネットワーク帯域幅情報の変化を受信し、
新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定するように構成された、
請求項12に記載のシステム。 - 前記プロセッサは、前記対応する密度係数にしたがって前記複数の触覚データ・ストリームの各々を符号化する際に、前記触覚データの一部を取り除くように構成された、請求項9に記載のシステム。
- 前記プロセッサは、前記触覚データの一部を取り除く際に、前記触覚データの重要度の低い信号を取り除くように構成された、請求項15に記載のシステム。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361827341P | 2013-05-24 | 2013-05-24 | |
US61/827,341 | 2013-05-24 | ||
US201361874920P | 2013-09-06 | 2013-09-06 | |
US61/874,920 | 2013-09-06 | ||
US201361907318P | 2013-11-21 | 2013-11-21 | |
US61/907,318 | 2013-11-21 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014106684A Division JP6411069B2 (ja) | 2013-05-24 | 2014-05-23 | 触覚データを符号化及びストリーミングする方法及びシステム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019024228A JP2019024228A (ja) | 2019-02-14 |
JP2019024228A5 true JP2019024228A5 (ja) | 2019-07-25 |
JP6630798B2 JP6630798B2 (ja) | 2020-01-15 |
Family
ID=50943052
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014106684A Active JP6411069B2 (ja) | 2013-05-24 | 2014-05-23 | 触覚データを符号化及びストリーミングする方法及びシステム |
JP2018181077A Active JP6630798B2 (ja) | 2013-05-24 | 2018-09-26 | 触覚データを符号化及びストリーミングする方法及びシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014106684A Active JP6411069B2 (ja) | 2013-05-24 | 2014-05-23 | 触覚データを符号化及びストリーミングする方法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (3) | US9437087B2 (ja) |
EP (2) | EP2806353B1 (ja) |
JP (2) | JP6411069B2 (ja) |
KR (1) | KR102176391B1 (ja) |
CN (2) | CN104184721B (ja) |
Families Citing this family (39)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2806353B1 (en) * | 2013-05-24 | 2018-07-18 | Immersion Corporation | Method and system for haptic data encoding |
US9652945B2 (en) * | 2013-09-06 | 2017-05-16 | Immersion Corporation | Method and system for providing haptic effects based on information complementary to multimedia content |
US9576445B2 (en) | 2013-09-06 | 2017-02-21 | Immersion Corp. | Systems and methods for generating haptic effects associated with an envelope in audio signals |
US9619980B2 (en) | 2013-09-06 | 2017-04-11 | Immersion Corporation | Systems and methods for generating haptic effects associated with audio signals |
US9711014B2 (en) | 2013-09-06 | 2017-07-18 | Immersion Corporation | Systems and methods for generating haptic effects associated with transitions in audio signals |
US9349378B2 (en) * | 2013-11-19 | 2016-05-24 | Dolby Laboratories Licensing Corporation | Haptic signal synthesis and transport in a bit stream |
KR20170030510A (ko) * | 2014-07-07 | 2017-03-17 | 임머숀 코퍼레이션 | 제2 스크린 햅틱 |
US10268286B2 (en) | 2014-12-23 | 2019-04-23 | Immersion Corporation | Controlling power distribution to haptic output devices |
KR101790892B1 (ko) * | 2016-05-17 | 2017-10-26 | 주식회사 씨케이머티리얼즈랩 | 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치 |
EP3267288A1 (en) * | 2016-07-08 | 2018-01-10 | Thomson Licensing | Method, apparatus and system for rendering haptic effects |
JP2018060313A (ja) * | 2016-10-04 | 2018-04-12 | ソニー株式会社 | 受信装置および方法、送信装置および方法、並びにプログラム |
CN106454365B (zh) * | 2016-11-22 | 2018-07-10 | 包磊 | 多媒体数据的编码、解码方法及编码、解码装置 |
US11290755B2 (en) * | 2017-01-10 | 2022-03-29 | Qualcomm Incorporated | Signaling data for prefetching support for streaming media data |
US10075251B2 (en) | 2017-02-08 | 2018-09-11 | Immersion Corporation | Haptic broadcast with select haptic metadata based on haptic playback capability |
CN106803982A (zh) * | 2017-03-01 | 2017-06-06 | 深圳市集贤科技有限公司 | 一种带按摩功能的vr遥控器 |
US20190041987A1 (en) * | 2017-08-03 | 2019-02-07 | Immersion Corporation | Haptic effect encoding and rendering system |
CN107566847B (zh) * | 2017-09-18 | 2020-02-14 | 浙江大学 | 一种将触感数据编码为视频流进行保存和传输的方法 |
DE112019003209T5 (de) | 2018-06-28 | 2021-04-08 | Sony Corporation | Codiervorrichtung, Codierverfahren, Decodiervorrichtung, Decodierverfahren und Programm |
JP7351299B2 (ja) * | 2018-07-03 | 2023-09-27 | ソニーグループ株式会社 | 符号化装置、符号化方法、復号装置、復号方法、プログラム |
EP3896555B1 (en) * | 2018-12-13 | 2023-09-13 | Sony Group Corporation | Information processing device, information processing system, information processing method, and program |
CN113260488A (zh) * | 2019-02-01 | 2021-08-13 | 索尼集团公司 | 解码装置、解码方法和程序 |
US10921893B2 (en) * | 2019-02-04 | 2021-02-16 | Subpac, Inc. | Personalized tactile output |
EP3938867A4 (en) * | 2019-04-26 | 2022-10-26 | Hewlett-Packard Development Company, L.P. | SPATIAL AUDIO AND HAPTICS |
US10951951B2 (en) * | 2019-07-30 | 2021-03-16 | Sony Interactive Entertainment Inc. | Haptics metadata in a spectating stream |
WO2021035189A1 (en) * | 2019-08-21 | 2021-02-25 | Subpac, Inc. | Tactile audio enhancement |
DE112020004160T5 (de) * | 2019-09-03 | 2022-05-25 | Sony Group Corporation | Steuerungseinrichtung, lautsprechereinrichtung und audioausgabeverfahren |
US10984638B1 (en) * | 2019-10-17 | 2021-04-20 | Immersion Corporation | Systems, devices, and methods for encoding haptic tracks |
US11282281B2 (en) * | 2019-11-13 | 2022-03-22 | At&T Intellectual Property I, L.P. | Activation of extended reality actuators based on content analysis |
DE112021001487T5 (de) * | 2020-03-05 | 2023-01-12 | Sony Group Corporation | Bitstrom-erzeugungsverfahren, codierungsvorrichtung unddecodierungsvorrichtung |
CN115516770A (zh) * | 2020-04-29 | 2022-12-23 | 索尼集团公司 | 解码装置、解码方法、程序、编码装置以及编码方法 |
JP2022097227A (ja) * | 2020-12-18 | 2022-06-30 | 株式会社Jvcケンウッド | 情報提供装置、情報提供方法、およびプログラム |
CN114115538A (zh) * | 2021-11-23 | 2022-03-01 | 瑞声开泰声学科技(上海)有限公司 | 一种触觉反馈数据处理方法、装置及计算机可读存储介质 |
GB2615361B (en) * | 2022-02-08 | 2024-05-29 | Sony Interactive Entertainment Europe Ltd | Method for generating feedback in a multimedia entertainment system |
WO2023176928A1 (ja) * | 2022-03-18 | 2023-09-21 | ソニーグループ株式会社 | 情報処理装置および方法 |
US20240129578A1 (en) * | 2022-10-17 | 2024-04-18 | Tencent America LLC | Method and apparatus for defining frames and timed referenced network abstraction layer (nals) structure in haptics signals |
US20240129047A1 (en) * | 2022-10-17 | 2024-04-18 | Tencent America LLC | Method for creating sparse isobmff haptics tracks |
US20240129579A1 (en) * | 2022-10-17 | 2024-04-18 | Tencent America LLC | Isobmff haptic tracks with sample anchoring of haptic effects |
WO2024096812A1 (en) * | 2022-10-31 | 2024-05-10 | Razer (Asia-Pacific) Pte. Ltd. | Method and system for generating haptic effects |
CN116185172A (zh) * | 2022-12-08 | 2023-05-30 | 瑞声开泰声学科技(上海)有限公司 | 触觉效果数据的压缩和加密方法、系统和相关设备 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20020064904A (ko) * | 2000-09-22 | 2002-08-10 | 코닌클리케 필립스 일렉트로닉스 엔.브이. | 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더 |
US7016409B2 (en) * | 2003-11-12 | 2006-03-21 | Sony Corporation | Apparatus and method for use in providing dynamic bit rate encoding |
JP2006163579A (ja) * | 2004-12-03 | 2006-06-22 | Sony Corp | 情報処理システム、情報処理装置及び情報処理方法 |
WO2007117649A2 (en) * | 2006-04-06 | 2007-10-18 | Immersion Corporation | Systems and methods for enhanced haptic effects |
US8378964B2 (en) * | 2006-04-13 | 2013-02-19 | Immersion Corporation | System and method for automatically producing haptic events from a digital audio signal |
CN101507290A (zh) * | 2006-08-24 | 2009-08-12 | 皇家飞利浦电子股份有限公司 | 处理音频信号和/或视频信号以便产生触觉激励的设备和方法 |
US20090079690A1 (en) * | 2007-09-21 | 2009-03-26 | Sony Computer Entertainment America Inc. | Method and apparatus for enhancing entertainment software through haptic insertion |
US9019087B2 (en) * | 2007-10-16 | 2015-04-28 | Immersion Corporation | Synchronization of haptic effect data in a media stream |
US7911328B2 (en) * | 2007-11-21 | 2011-03-22 | The Guitammer Company | Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events |
BRPI0916770A2 (ja) * | 2008-07-15 | 2018-02-20 | Sharp Kabushiki Kaisha | A data transmission device, a data receiver, a data transmission method, a data receiving method, and a viewing-and-listening environmental control method |
ES2631916T3 (es) * | 2008-10-10 | 2017-09-06 | Internet Services, Llc | Dispositivo de salida háptica para su uso con medios con códigos hápticos |
US20110280398A1 (en) * | 2010-05-17 | 2011-11-17 | Anatoly Fradis | Secured content distribution system |
US8717152B2 (en) * | 2011-02-11 | 2014-05-06 | Immersion Corporation | Sound to haptic effect conversion system using waveform |
US9083821B2 (en) | 2011-06-03 | 2015-07-14 | Apple Inc. | Converting audio to haptic feedback in an electronic device |
CN102208188B (zh) * | 2011-07-13 | 2013-04-17 | 华为技术有限公司 | 音频信号编解码方法和设备 |
WO2013008869A1 (ja) * | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
EP2754282A1 (en) * | 2011-09-06 | 2014-07-16 | Telefonaktiebolaget LM Ericsson (PUBL) | Device and method for progressive media download with multiple layers or streams |
EP2806353B1 (en) * | 2013-05-24 | 2018-07-18 | Immersion Corporation | Method and system for haptic data encoding |
CN104980247B (zh) * | 2014-04-04 | 2019-11-22 | 北京三星通信技术研究有限公司 | 自适应调整调制编码方式和参考信号图样的方法、基站、终端和系统 |
-
2014
- 2014-05-23 EP EP14169721.9A patent/EP2806353B1/en active Active
- 2014-05-23 EP EP18180688.6A patent/EP3399763A1/en not_active Ceased
- 2014-05-23 JP JP2014106684A patent/JP6411069B2/ja active Active
- 2014-05-23 US US14/286,591 patent/US9437087B2/en active Active
- 2014-05-26 CN CN201410224872.6A patent/CN104184721B/zh active Active
- 2014-05-26 CN CN201910153699.8A patent/CN109876431A/zh active Pending
- 2014-05-26 KR KR1020140063058A patent/KR102176391B1/ko active IP Right Grant
-
2016
- 2016-08-02 US US15/226,213 patent/US10085069B2/en not_active Expired - Fee Related
-
2018
- 2018-09-24 US US16/140,088 patent/US10542325B2/en active Active
- 2018-09-26 JP JP2018181077A patent/JP6630798B2/ja active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019024228A5 (ja) | ||
JP6793231B2 (ja) | 受信方法 | |
US9805434B2 (en) | Content management based on dither-like watermark embedding | |
JP6878503B2 (ja) | 送信方法、受信方法、送信装置及び受信装置 | |
US8818021B2 (en) | Watermarking of digital video | |
KR101129387B1 (ko) | Dab 시스템에서 ip 데이터캐스팅 서비스를 제공하는방법 및 장치 | |
AU2012270417B2 (en) | Method and apparatus for transmitting/receiving media contents in multimedia system | |
US9384332B2 (en) | Watermarking method and apparatus for tracking hacked content and method and apparatus for blocking hacking of content using the same | |
KR101857089B1 (ko) | 네트워크를 통해 교환되는 파일들에 대한 에러 처리 | |
JP2011024018A5 (ja) | ||
WO2011122914A3 (ko) | 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치 | |
WO2010107625A3 (en) | Smooth, stateless client media streaming | |
JP2015501090A (ja) | ネットワークを通じてのメディアデータのストリーミングに関するセグメントの特徴のシグナリング | |
CN103069812A (zh) | 提供基于分段的多媒体流服务的方法及装置、接收基于分段的多媒体流服务的方法及装置 | |
WO2011152633A3 (en) | Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle | |
CN102982806A (zh) | 执行音频信号解码的方法及装置 | |
WO2011159128A3 (en) | Method and apparatus for providing digital broadcasting service with 3-dimensional subtitle | |
WO2008102732A1 (ja) | データ多重化/分離装置 | |
CN108885874A (zh) | 信息处理装置和方法 | |
RU2014137295A (ru) | Устройство приема, способ приема, программа, устройство обработки дешифрования, система обработки приема и устройство обработки информации | |
US20170094290A1 (en) | Method for distributed video transcoding | |
JP2022019932A (ja) | 情報処理装置および情報処理方法 | |
CN101512909B (zh) | 信号处理装置 | |
WO2009048235A3 (en) | System and method for 3d multimedia contents service using multimedia application file format | |
US20170163978A1 (en) | System and method for synchronizing audio signal and video signal |