JP2019024228A5 - - Google Patents

Download PDF

Info

Publication number
JP2019024228A5
JP2019024228A5 JP2018181077A JP2018181077A JP2019024228A5 JP 2019024228 A5 JP2019024228 A5 JP 2019024228A5 JP 2018181077 A JP2018181077 A JP 2018181077A JP 2018181077 A JP2018181077 A JP 2018181077A JP 2019024228 A5 JP2019024228 A5 JP 2019024228A5
Authority
JP
Japan
Prior art keywords
haptic data
data stream
bandwidth information
network bandwidth
haptic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018181077A
Other languages
English (en)
Other versions
JP2019024228A (ja
JP6630798B2 (ja
Filing date
Publication date
Application filed filed Critical
Publication of JP2019024228A publication Critical patent/JP2019024228A/ja
Publication of JP2019024228A5 publication Critical patent/JP2019024228A5/ja
Application granted granted Critical
Publication of JP6630798B2 publication Critical patent/JP6630798B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (16)

  1. 音声データ及び動画データの少なくとも一方を含むデジタル・コンテンツ・データを受信する工程と、
    前記デジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成する工程と、
    通信ネットワーク経由の伝送のために前記触覚データを符号化して符号化された複数の触覚データ・ストリームを生成する工程であって、当該複数の触覚データ・ストリームの各々は対応する密度係数を有し、当該対応する密度係数にしたがって異なるビットレートで符号化される、工程と、
    前記複数の触覚データ・ストリームのうちの1つを選択触覚データ・ストリームとして選択する工程と、
    前記選択触覚データ・ストリームマルチプレクサによって前記デジタル・コンテンツ・データと多重化して多重化データ・ストリームを生成する工程と、
    記多重化データ・ストリームを前記通信ネットワーク経由で送信する工程と、
    を備える方法。
  2. 前記符号化された触覚データを復号するための情報を、前記多重化データ・ストリームのファイルコンテナのメタデータ内に埋め込む工程をさらに備える、請求項1に記載の方法。
  3. 前記ファイルコンテナは、前記触覚データのボックス構造と前記デジタル・コンテンツ・データのボックス構造とを区別するように構成されたMP4対応ファイルコンテナである、請求項2に記載の方法。
  4. エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信する工程と、
    前記ネットワーク帯域幅情報と前記選択触覚データ・ストリームの前記対応する密度係数とにしたがって前記選択触覚データ・ストリームを決定する工程と、
    をさらに備える、請求項1に記載の方法。
  5. 前記ネットワーク帯域幅情報の変化を検出する工程と、
    新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定する工程と、
    をさらに備える、請求項4に記載の方法。
  6. エンド・ユーザ装置から通信ネットワーク経由で前記ネットワーク帯域幅情報の変化を受信する工程と、
    新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定する工程と、
    をさらに備える、請求項4に記載の方法。
  7. 前記対応する密度係数にしたがって前記複数の触覚データ・ストリームの各々を符号化する工程は、前記触覚データの一部を取り除く工程を含む、請求項1に記載の方法。
  8. 前記触覚データの一部を取り除く工程は、前記触覚データの重要度の低い信号を取り除く工程を含む、請求項7に記載の方法。
  9. 音声データ及び動画データの少なくとも一方を含むデジタル・コンテンツ・データを受信し、
    前記デジタル・コンテンツ・データの少なくとも一部を用いて触覚データを生成し、
    通信ネットワーク経由の伝送のために前記触覚データを符号化して、符号化された複数の触覚データ・ストリームを生成し、当該複数の触覚データ・ストリームの各々は対応する密度係数を有し、当該対応する密度係数にしたがって異なるビットレートで符号化され、
    前記複数の触覚データ・ストリームのうちの1つを選択触覚データ・ストリームとして選択し、
    前記選択触覚データ・ストリームをマルチプレクサによって前記デジタル・コンテンツ・データと多重化して多重化データ・ストリームを生成し、
    前記多重化データ・ストリームを前記通信ネットワーク経由で送信するように構成されたプロセッサを備える、
    システム。
  10. 前記プロセッサはさらに、
    前記符号化された触覚データを復号するための情報を、前記多重化データ・ストリームのファイルコンテナのメタデータ内に埋め込むように構成された、請求項9に記載のシステム。
  11. 前記ファイルコンテナは、前記触覚データのボックス構造と前記デジタル・コンテンツ・データのボックス構造とを区別するように構成されたMP4対応ファイルコンテナである、請求項9に記載のシステム。
  12. 前記プロセッサはさらに、
    エンド・ユーザ装置から通信ネットワーク経由でネットワーク帯域幅情報を受信し、
    前記ネットワーク帯域幅情報と前記選択触覚データ・ストリームの前記対応する密度係数とにしたがって前記選択触覚データ・ストリームを決定するように構成された、
    請求項9に記載のシステム。
  13. 前記プロセッサはさらに、
    前記ネットワーク帯域幅情報の変化を検出し、
    新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定するように構成された、
    請求項12に記載のシステム。
  14. 前記プロセッサはさらに、
    エンド・ユーザ装置から通信ネットワーク経由で前記ネットワーク帯域幅情報の変化を受信し、
    新しい選択触覚データ・ストリームを、前記ネットワーク帯域幅情報の変化と、前記新しい選択触覚データ・ストリームの前記対応する密度係数とにしたがって決定するように構成された、
    請求項12に記載のシステム。
  15. 前記プロセッサは、前記対応する密度係数にしたがって前記複数の触覚データ・ストリームの各々を符号化する際に、前記触覚データの一部を取り除くように構成された、請求項9に記載のシステム。
  16. 前記プロセッサは、前記触覚データの一部を取り除く際に、前記触覚データの重要度の低い信号を取り除くように構成された、請求項15に記載のシステム。
JP2018181077A 2013-05-24 2018-09-26 触覚データを符号化及びストリーミングする方法及びシステム Active JP6630798B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201361827341P 2013-05-24 2013-05-24
US61/827,341 2013-05-24
US201361874920P 2013-09-06 2013-09-06
US61/874,920 2013-09-06
US201361907318P 2013-11-21 2013-11-21
US61/907,318 2013-11-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014106684A Division JP6411069B2 (ja) 2013-05-24 2014-05-23 触覚データを符号化及びストリーミングする方法及びシステム

Publications (3)

Publication Number Publication Date
JP2019024228A JP2019024228A (ja) 2019-02-14
JP2019024228A5 true JP2019024228A5 (ja) 2019-07-25
JP6630798B2 JP6630798B2 (ja) 2020-01-15

Family

ID=50943052

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2014106684A Active JP6411069B2 (ja) 2013-05-24 2014-05-23 触覚データを符号化及びストリーミングする方法及びシステム
JP2018181077A Active JP6630798B2 (ja) 2013-05-24 2018-09-26 触覚データを符号化及びストリーミングする方法及びシステム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2014106684A Active JP6411069B2 (ja) 2013-05-24 2014-05-23 触覚データを符号化及びストリーミングする方法及びシステム

Country Status (5)

Country Link
US (3) US9437087B2 (ja)
EP (2) EP2806353B1 (ja)
JP (2) JP6411069B2 (ja)
KR (1) KR102176391B1 (ja)
CN (2) CN104184721B (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2806353B1 (en) * 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
US9652945B2 (en) * 2013-09-06 2017-05-16 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
US9576445B2 (en) 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9619980B2 (en) 2013-09-06 2017-04-11 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US9711014B2 (en) 2013-09-06 2017-07-18 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9349378B2 (en) * 2013-11-19 2016-05-24 Dolby Laboratories Licensing Corporation Haptic signal synthesis and transport in a bit stream
KR20170030510A (ko) * 2014-07-07 2017-03-17 임머숀 코퍼레이션 제2 스크린 햅틱
US10268286B2 (en) 2014-12-23 2019-04-23 Immersion Corporation Controlling power distribution to haptic output devices
KR101790892B1 (ko) * 2016-05-17 2017-10-26 주식회사 씨케이머티리얼즈랩 음향 신호를 촉각 신호로 변환하기 방법 및 이를 이용하는 햅틱 장치
EP3267288A1 (en) * 2016-07-08 2018-01-10 Thomson Licensing Method, apparatus and system for rendering haptic effects
JP2018060313A (ja) * 2016-10-04 2018-04-12 ソニー株式会社 受信装置および方法、送信装置および方法、並びにプログラム
CN106454365B (zh) * 2016-11-22 2018-07-10 包磊 多媒体数据的编码、解码方法及编码、解码装置
US11290755B2 (en) * 2017-01-10 2022-03-29 Qualcomm Incorporated Signaling data for prefetching support for streaming media data
US10075251B2 (en) 2017-02-08 2018-09-11 Immersion Corporation Haptic broadcast with select haptic metadata based on haptic playback capability
CN106803982A (zh) * 2017-03-01 2017-06-06 深圳市集贤科技有限公司 一种带按摩功能的vr遥控器
US20190041987A1 (en) * 2017-08-03 2019-02-07 Immersion Corporation Haptic effect encoding and rendering system
CN107566847B (zh) * 2017-09-18 2020-02-14 浙江大学 一种将触感数据编码为视频流进行保存和传输的方法
DE112019003209T5 (de) 2018-06-28 2021-04-08 Sony Corporation Codiervorrichtung, Codierverfahren, Decodiervorrichtung, Decodierverfahren und Programm
JP7351299B2 (ja) * 2018-07-03 2023-09-27 ソニーグループ株式会社 符号化装置、符号化方法、復号装置、復号方法、プログラム
EP3896555B1 (en) * 2018-12-13 2023-09-13 Sony Group Corporation Information processing device, information processing system, information processing method, and program
CN113260488A (zh) * 2019-02-01 2021-08-13 索尼集团公司 解码装置、解码方法和程序
US10921893B2 (en) * 2019-02-04 2021-02-16 Subpac, Inc. Personalized tactile output
EP3938867A4 (en) * 2019-04-26 2022-10-26 Hewlett-Packard Development Company, L.P. SPATIAL AUDIO AND HAPTICS
US10951951B2 (en) * 2019-07-30 2021-03-16 Sony Interactive Entertainment Inc. Haptics metadata in a spectating stream
WO2021035189A1 (en) * 2019-08-21 2021-02-25 Subpac, Inc. Tactile audio enhancement
DE112020004160T5 (de) * 2019-09-03 2022-05-25 Sony Group Corporation Steuerungseinrichtung, lautsprechereinrichtung und audioausgabeverfahren
US10984638B1 (en) * 2019-10-17 2021-04-20 Immersion Corporation Systems, devices, and methods for encoding haptic tracks
US11282281B2 (en) * 2019-11-13 2022-03-22 At&T Intellectual Property I, L.P. Activation of extended reality actuators based on content analysis
DE112021001487T5 (de) * 2020-03-05 2023-01-12 Sony Group Corporation Bitstrom-erzeugungsverfahren, codierungsvorrichtung unddecodierungsvorrichtung
CN115516770A (zh) * 2020-04-29 2022-12-23 索尼集团公司 解码装置、解码方法、程序、编码装置以及编码方法
JP2022097227A (ja) * 2020-12-18 2022-06-30 株式会社Jvcケンウッド 情報提供装置、情報提供方法、およびプログラム
CN114115538A (zh) * 2021-11-23 2022-03-01 瑞声开泰声学科技(上海)有限公司 一种触觉反馈数据处理方法、装置及计算机可读存储介质
GB2615361B (en) * 2022-02-08 2024-05-29 Sony Interactive Entertainment Europe Ltd Method for generating feedback in a multimedia entertainment system
WO2023176928A1 (ja) * 2022-03-18 2023-09-21 ソニーグループ株式会社 情報処理装置および方法
US20240129578A1 (en) * 2022-10-17 2024-04-18 Tencent America LLC Method and apparatus for defining frames and timed referenced network abstraction layer (nals) structure in haptics signals
US20240129047A1 (en) * 2022-10-17 2024-04-18 Tencent America LLC Method for creating sparse isobmff haptics tracks
US20240129579A1 (en) * 2022-10-17 2024-04-18 Tencent America LLC Isobmff haptic tracks with sample anchoring of haptic effects
WO2024096812A1 (en) * 2022-10-31 2024-05-10 Razer (Asia-Pacific) Pte. Ltd. Method and system for generating haptic effects
CN116185172A (zh) * 2022-12-08 2023-05-30 瑞声开泰声学科技(上海)有限公司 触觉效果数据的压缩和加密方法、系统和相关设备

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020064904A (ko) * 2000-09-22 2002-08-10 코닌클리케 필립스 일렉트로닉스 엔.브이. 파인-입상 스케일러빌리티의 바람직한 전송/스트리밍 오더
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
JP2006163579A (ja) * 2004-12-03 2006-06-22 Sony Corp 情報処理システム、情報処理装置及び情報処理方法
WO2007117649A2 (en) * 2006-04-06 2007-10-18 Immersion Corporation Systems and methods for enhanced haptic effects
US8378964B2 (en) * 2006-04-13 2013-02-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
CN101507290A (zh) * 2006-08-24 2009-08-12 皇家飞利浦电子股份有限公司 处理音频信号和/或视频信号以便产生触觉激励的设备和方法
US20090079690A1 (en) * 2007-09-21 2009-03-26 Sony Computer Entertainment America Inc. Method and apparatus for enhancing entertainment software through haptic insertion
US9019087B2 (en) * 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
US7911328B2 (en) * 2007-11-21 2011-03-22 The Guitammer Company Capture and remote reproduction of haptic events in synchronous association with the video and audio capture and reproduction of those events
BRPI0916770A2 (ja) * 2008-07-15 2018-02-20 Sharp Kabushiki Kaisha A data transmission device, a data receiver, a data transmission method, a data receiving method, and a viewing-and-listening environmental control method
ES2631916T3 (es) * 2008-10-10 2017-09-06 Internet Services, Llc Dispositivo de salida háptica para su uso con medios con códigos hápticos
US20110280398A1 (en) * 2010-05-17 2011-11-17 Anatoly Fradis Secured content distribution system
US8717152B2 (en) * 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9083821B2 (en) 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
CN102208188B (zh) * 2011-07-13 2013-04-17 华为技术有限公司 音频信号编解码方法和设备
WO2013008869A1 (ja) * 2011-07-14 2013-01-17 株式会社ニコン 電子機器及びデータ生成方法
EP2754282A1 (en) * 2011-09-06 2014-07-16 Telefonaktiebolaget LM Ericsson (PUBL) Device and method for progressive media download with multiple layers or streams
EP2806353B1 (en) * 2013-05-24 2018-07-18 Immersion Corporation Method and system for haptic data encoding
CN104980247B (zh) * 2014-04-04 2019-11-22 北京三星通信技术研究有限公司 自适应调整调制编码方式和参考信号图样的方法、基站、终端和系统

Similar Documents

Publication Publication Date Title
JP2019024228A5 (ja)
JP6793231B2 (ja) 受信方法
US9805434B2 (en) Content management based on dither-like watermark embedding
JP6878503B2 (ja) 送信方法、受信方法、送信装置及び受信装置
US8818021B2 (en) Watermarking of digital video
KR101129387B1 (ko) Dab 시스템에서 ip 데이터캐스팅 서비스를 제공하는방법 및 장치
AU2012270417B2 (en) Method and apparatus for transmitting/receiving media contents in multimedia system
US9384332B2 (en) Watermarking method and apparatus for tracking hacked content and method and apparatus for blocking hacking of content using the same
KR101857089B1 (ko) 네트워크를 통해 교환되는 파일들에 대한 에러 처리
JP2011024018A5 (ja)
WO2011122914A3 (ko) 2차원 컨텐트와 3차원 컨텐트를 제공하기 위한 디지털 방송 컨텐트 전송 방법 및 그 장치, 디지털 방송 컨텐트 수신 방법 및 그 장치
WO2010107625A3 (en) Smooth, stateless client media streaming
JP2015501090A (ja) ネットワークを通じてのメディアデータのストリーミングに関するセグメントの特徴のシグナリング
CN103069812A (zh) 提供基于分段的多媒体流服务的方法及装置、接收基于分段的多媒体流服务的方法及装置
WO2011152633A3 (en) Method and apparatus for processing and receiving digital broadcast signal for 3-dimensional subtitle
CN102982806A (zh) 执行音频信号解码的方法及装置
WO2011159128A3 (en) Method and apparatus for providing digital broadcasting service with 3-dimensional subtitle
WO2008102732A1 (ja) データ多重化/分離装置
CN108885874A (zh) 信息处理装置和方法
RU2014137295A (ru) Устройство приема, способ приема, программа, устройство обработки дешифрования, система обработки приема и устройство обработки информации
US20170094290A1 (en) Method for distributed video transcoding
JP2022019932A (ja) 情報処理装置および情報処理方法
CN101512909B (zh) 信号处理装置
WO2009048235A3 (en) System and method for 3d multimedia contents service using multimedia application file format
US20170163978A1 (en) System and method for synchronizing audio signal and video signal