JP2018206391A - イマーシブコンテンツ項目を消費するときに見る者をリファレンス方向の方へ回転させる方法及び装置 - Google Patents
イマーシブコンテンツ項目を消費するときに見る者をリファレンス方向の方へ回転させる方法及び装置 Download PDFInfo
- Publication number
- JP2018206391A JP2018206391A JP2018106601A JP2018106601A JP2018206391A JP 2018206391 A JP2018206391 A JP 2018206391A JP 2018106601 A JP2018106601 A JP 2018106601A JP 2018106601 A JP2018106601 A JP 2018106601A JP 2018206391 A JP2018206391 A JP 2018206391A
- Authority
- JP
- Japan
- Prior art keywords
- immersive content
- character
- reference direction
- user
- immersive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
前記イマーシブコンテンツ内の関心のあるリファレンス方向及び該リファレンス方向に関連する感情データを取得することと、
前記イマーシブコンテンツ内の位置で、少なくとも1つの目を持つキャラクタを表すオブジェクトを挿入することと
を有し、
前記位置は、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれ、
前記オブジェクトの前記少なくとも1つの目の注視方向は、前記位置及び前記リファレンス方向に従って決定され、
前記オブジェクトは、前記感情データを反映するよう決定される。
前記少なくとも1つのプロセッサが、
イマーシブコンテンツ内の関心のあるリファレンス方向及び該リファレンス方向に関連する感情データを取得し、
前記イマーシブコンテンツ内の位置で、少なくとも1つの目を持つキャラクタを表すオブジェクトを挿入する
よう構成され、
前記位置が、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれ、
前記オブジェクトの前記少なくとも1つの目の注視方向が、前記位置及び前記リファレンス方向に従って決定され、
前記オブジェクトが、前記感情データを反映するよう決定される、
レンダリング装置に関する。
・ 例えば、DSP(すなわち、Digital Signal Processor)であるマイクロプロセッサ62(又はCPU);
・ ROM(すなわち、Read Only Memory)63;
・ RAM(すなわち、Random Access Memory)64;
・ ストレージインターフェイス65;
・ アプリケーションからの、送信すべきデータの受信のためのI/Oインターフェイス66;及び
・ 電源、例えば、バッテリ。
・ ローカルメモリ(63又は64)、例えば、ビデオメモリ又はRAM(すなわち、Random Access Memory)、フラッシュメモリ、ROM(すなわち、Read Only Memory)、ハードディスク;
・ ストレージインターフェイス(65)、例えば、大容量記憶装置、RAM、フラッシュメモリ、ROM、光ディスク又は磁気担体とのインターフェイス;
・ 通信インターフェイス(66)、例えば、有線インターフェイス(例えば、バスインターフェイス、ワイドエリアネットワークインターフェイス、ローカルエリアネットワークインターフェイス)又は無線インターフェイス(例えば、IEEE802.11インターフェイス若しくはBluetooth(登録商標)インターフェイス);及び
・ ユーザインターフェイス、例えば、データを入力することをユーザに可能にするグラフィカルユーザインターフェイス
を含む組に属する。
・ モバイル装置;
・ 通信装置;
・ ゲーム機;
・ タブレット(又はタブレットコンピュータ)
を含む組に属する。
11 ユーザ
12 仮想カメラ
13 方向
14 表示部分
15 リファレンス方向
16 オブジェクト
17,22,32,42 注視方向
21,31,41 キャラクタ
50 方法
60 イマーシブレンダリング装置
Claims (15)
- レンダリング装置によってイマーシブコンテンツをレンダリングする方法であって、
前記イマーシブコンテンツ内の関心のあるリファレンス方向及び該リファレンス方向に関連する感情データを取得することと、
前記イマーシブコンテンツ内の位置で、少なくとも1つの目を持つキャラクタを表すオブジェクトを挿入することと
を有し、
前記位置は、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれ、
前記オブジェクトの前記少なくとも1つの目の注視方向は、前記位置及び前記リファレンス方向に従って決定され、
前記オブジェクトは、前記感情データを反映するよう決定される、
方法。 - 前記注視方向は、前記イマーシブコンテンツ内の前記位置から前記リファレンス方向の方向において前記キャラクタに見させるよう決定される、
請求項1に記載の方法。 - 前記オブジェクトは、前記感情データを反映するようアニメーション化される、
請求項1又は2に記載の方法。 - 前記キャラクタは、ボディ部分を有し、該ボディ部分は、前記注視方向の表れを補強するようアニメーション化される、
請求項1乃至3のうちいずれか一項に記載の方法。 - 前記位置は、前記イマーシブコンテンツの前記レンダリングされる部分における前記オブジェクトの投影のスクリーン空間ポジション及びスクリーン空間サイズに従って、決定される、
請求項1乃至4のうちいずれか一項に記載の方法。 - 前記リファレンス方向は、前記イマーシブコンテンツを符号化するデータストリームから取得される、
請求項1乃至5のうちいずれか一項に記載の方法。 - 前記リファレンス方向は、関心領域を検出するよう前記イマーシブコンテンツを解析することによって、取得される、
請求項1乃至5のうちいずれか一項に記載の方法。 - 前記リファレンス方向は、イベントが前記イマーシブコンテンツにおいて起こる前に、取得される、
請求項1乃至7のうちいずれか一項に記載の方法。 - 少なくとも1つのプロセッサに関連するメモリを有するレンダリング装置であって、
前記少なくとも1つのプロセッサは、
イマーシブコンテンツ内の関心のあるリファレンス方向及び該リファレンス方向に関連する感情データを取得し、
前記イマーシブコンテンツ内の位置で、少なくとも1つの目を持つキャラクタを表すオブジェクトを挿入する
よう構成され、
前記位置は、当該レンダリング装置によってレンダリングされる前記イマーシブコンテンツの部分において含まれ、
前記オブジェクトの前記少なくとも1つの目の注視方向は、前記位置及び前記リファレンス方向に従って決定され、
前記オブジェクトは、前記感情データを反映するよう決定される、
レンダリング装置。 - 前記注視方向は、前記イマーシブコンテンツ内の前記位置から前記リファレンス方向の方向において前記キャラクタに見させるよう決定される、
請求項9に記載のレンダリング装置。 - 前記オブジェクトは、前記感情データを反映するようアニメーション化される、
請求項9又は10に記載のレンダリング装置。 - 前記キャラクタは、ボディ部分を有し、該ボディ部分は、前記注視方向の表れを補強するようアニメーション化される、
請求項9乃至11のうちいずれか一項に記載のレンダリング装置。 - 前記位置は、前記イマーシブコンテンツの前記レンダリングされる部分における前記オブジェクトの投影のスクリーン空間ポジション及びスクリーン空間サイズに従って、決定される、
請求項9乃至12のうちいずれか一項に記載のレンダリング装置。 - 前記リファレンス方向は、前記イマーシブコンテンツを符号化するデータストリームから取得される、
請求項9乃至13のうちいずれか一項に記載のレンダリング装置。 - 前記リファレンス方向は、関心領域を検出するよう前記イマーシブコンテンツを解析することによって、取得される、
請求項9乃至14のうちいずれか一項に記載のレンダリング装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17305660.7A EP3413167A1 (en) | 2017-06-06 | 2017-06-06 | Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item |
EP17305660.7 | 2017-06-06 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2018206391A true JP2018206391A (ja) | 2018-12-27 |
JP2018206391A5 JP2018206391A5 (ja) | 2021-07-26 |
JP7177606B2 JP7177606B2 (ja) | 2022-11-24 |
Family
ID=59055161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018106601A Active JP7177606B2 (ja) | 2017-06-06 | 2018-06-04 | イマーシブコンテンツ項目を消費するときに見る者をリファレンス方向の方へ回転させる方法及び装置 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10748321B2 (ja) |
EP (2) | EP3413167A1 (ja) |
JP (1) | JP7177606B2 (ja) |
KR (1) | KR20180133326A (ja) |
CN (1) | CN109005401A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023119901A1 (ja) * | 2021-12-20 | 2023-06-29 | 株式会社Psychic VR Lab | 仮想現実表示装置、仮想現実表示システム、仮想現実表示プログラム、仮想現実表示プログラムが記録された記憶媒体、及び仮想現実表示方法 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3345184A1 (en) * | 2015-09-02 | 2018-07-11 | THOMSON Licensing | Method, apparatus and system for facilitating navigation in an extended scene |
US11595636B1 (en) * | 2021-08-23 | 2023-02-28 | At&T Intellectual Property I, L.P. | Enhanced emotive engagement with volumetric content |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0730877A (ja) * | 1993-07-12 | 1995-01-31 | Oki Electric Ind Co Ltd | 多地点間マルチメディア通信会議システム |
JPH1173289A (ja) * | 1997-08-29 | 1999-03-16 | Sanyo Electric Co Ltd | 情報処理装置 |
US20170026577A1 (en) * | 2015-06-30 | 2017-01-26 | Nokia Technologies Oy | Apparatus for video output and associated methods |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7386799B1 (en) * | 2002-11-21 | 2008-06-10 | Forterra Systems, Inc. | Cinematic techniques in avatar-centric communication during a multi-user online simulation |
US8259117B2 (en) | 2007-06-18 | 2012-09-04 | Brian Mark Shuster | Avatar eye control in a multi-user animation environment |
JP5463412B2 (ja) | 2009-04-28 | 2014-04-09 | ホルテック・インターナショナル・インコーポレーテッド | 高レベルの廃棄物を輸送および/または貯蔵するためのキャスク装置。 |
JP6040564B2 (ja) * | 2012-05-08 | 2016-12-07 | ソニー株式会社 | 画像処理装置、投影制御方法及びプログラム |
CN105103198A (zh) | 2013-04-04 | 2015-11-25 | 索尼公司 | 显示控制装置、显示控制方法以及程序 |
US9348411B2 (en) | 2013-05-24 | 2016-05-24 | Microsoft Technology Licensing, Llc | Object display with visual verisimilitude |
US9129430B2 (en) | 2013-06-25 | 2015-09-08 | Microsoft Technology Licensing, Llc | Indicating out-of-view augmented reality images |
KR20150022079A (ko) * | 2013-08-22 | 2015-03-04 | 에스케이플래닛 주식회사 | 사용자 장치, 그 제어 방법 및 컴퓨터 프로그램이 기록된 기록매체 |
US20160027218A1 (en) * | 2014-07-25 | 2016-01-28 | Tom Salter | Multi-user gaze projection using head mounted display devices |
US9791917B2 (en) * | 2015-03-24 | 2017-10-17 | Intel Corporation | Augmentation modification based on user interaction with augmented reality scene |
-
2017
- 2017-06-06 EP EP17305660.7A patent/EP3413167A1/en not_active Withdrawn
-
2018
- 2018-05-30 EP EP18174993.8A patent/EP3413169A1/en not_active Withdrawn
- 2018-06-01 KR KR1020180063339A patent/KR20180133326A/ko not_active Application Discontinuation
- 2018-06-04 JP JP2018106601A patent/JP7177606B2/ja active Active
- 2018-06-06 US US16/001,069 patent/US10748321B2/en active Active
- 2018-06-06 CN CN201810587329.0A patent/CN109005401A/zh active Pending
-
2020
- 2020-07-08 US US16/924,098 patent/US10964085B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0730877A (ja) * | 1993-07-12 | 1995-01-31 | Oki Electric Ind Co Ltd | 多地点間マルチメディア通信会議システム |
JPH1173289A (ja) * | 1997-08-29 | 1999-03-16 | Sanyo Electric Co Ltd | 情報処理装置 |
US20170026577A1 (en) * | 2015-06-30 | 2017-01-26 | Nokia Technologies Oy | Apparatus for video output and associated methods |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023119901A1 (ja) * | 2021-12-20 | 2023-06-29 | 株式会社Psychic VR Lab | 仮想現実表示装置、仮想現実表示システム、仮想現実表示プログラム、仮想現実表示プログラムが記録された記憶媒体、及び仮想現実表示方法 |
Also Published As
Publication number | Publication date |
---|---|
US10748321B2 (en) | 2020-08-18 |
EP3413169A1 (en) | 2018-12-12 |
JP7177606B2 (ja) | 2022-11-24 |
US10964085B2 (en) | 2021-03-30 |
US20200342650A1 (en) | 2020-10-29 |
KR20180133326A (ko) | 2018-12-14 |
EP3413167A1 (en) | 2018-12-12 |
US20180350125A1 (en) | 2018-12-06 |
CN109005401A (zh) | 2018-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10796469B2 (en) | Systems and methods for real-time complex character animations and interactivity | |
CN107801045B (zh) | 当播放增强现实场景时自动变焦的方法、设备和系统 | |
US9094576B1 (en) | Rendered audiovisual communication | |
CN114615486B (zh) | 用于生成合成流的方法、系统和计算机可读存储介质 | |
US11010951B1 (en) | Explicit eye model for avatar | |
CN113272870A (zh) | 用于逼真的实时人像动画的系统和方法 | |
US10964085B2 (en) | Method and apparatus for inciting a viewer to rotate toward a reference direction when consuming an immersive content item | |
AU2021290132C1 (en) | Presenting avatars in three-dimensional environments | |
US20190026935A1 (en) | Method and system for providing virtual reality experience based on ultrasound data | |
US11062476B1 (en) | Generating body pose information | |
JP2022550627A (ja) | 拡張現実に基づいた表示方法、装置、及び記憶媒体 | |
CN114514493A (zh) | 增强设备 | |
CN114026603B (zh) | 渲染计算机生成现实文本 | |
EP3133557A1 (en) | Method, apparatus, and computer program product for personalized depth of field omnidirectional video | |
US11308669B1 (en) | Shader for graphical objects | |
CN115150555B (zh) | 视频录制方法、装置、设备及介质 | |
KR20210067166A (ko) | 가상콘텐츠 체험 시스템 및 그 제어방법 | |
US11783514B2 (en) | Generating content for physical elements | |
Huynh | Development of a standardized framework for cost-effective communication system based on 3D data streaming and real-time 3D reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181220 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20181227 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210512 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210512 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220412 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220708 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221111 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7177606 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |