JP2020512723A - レイヤ化拡張型エンターテインメント体験 - Google Patents
レイヤ化拡張型エンターテインメント体験 Download PDFInfo
- Publication number
- JP2020512723A JP2020512723A JP2019544632A JP2019544632A JP2020512723A JP 2020512723 A JP2020512723 A JP 2020512723A JP 2019544632 A JP2019544632 A JP 2019544632A JP 2019544632 A JP2019544632 A JP 2019544632A JP 2020512723 A JP2020512723 A JP 2020512723A
- Authority
- JP
- Japan
- Prior art keywords
- image
- cinema
- display
- layer
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 254
- 239000010410 layer Substances 0.000 claims description 255
- 239000002356 single layer Substances 0.000 claims description 135
- 238000000034 method Methods 0.000 claims description 103
- 238000000926 separation method Methods 0.000 claims description 48
- 238000009826 distribution Methods 0.000 claims description 32
- 238000009877 rendering Methods 0.000 claims description 23
- 238000003860 storage Methods 0.000 claims description 21
- 230000033001 locomotion Effects 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 5
- 230000000712 assembly Effects 0.000 claims description 2
- 238000000429 assembly Methods 0.000 claims description 2
- 230000004438 eyesight Effects 0.000 claims description 2
- 239000003550 marker Substances 0.000 claims description 2
- 238000010586 diagram Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 24
- 238000012545 processing Methods 0.000 description 21
- 238000004891 communication Methods 0.000 description 18
- 230000004308 accommodation Effects 0.000 description 15
- 230000003190 augmentative effect Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000010361 transduction Methods 0.000 description 10
- 230000026683 transduction Effects 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 239000007787 solid Substances 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 238000013500 data storage Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000001413 cellular effect Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000001886 ciliary effect Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000010287 polarization Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010028813 Nausea Diseases 0.000 description 1
- 208000006440 Open Bite Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008693 nausea Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000001179 pupillary effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/25—Output arrangements for video game devices
- A63F13/26—Output arrangements for video game devices having at least one additional display device, e.g. on the game controller or outside a game booth
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本出願は、2017年4月11日に出願された米国特許仮出願第62/484,121号に基づく優先権の利益を主張し、この米国特許仮出願の開示の全体を本願において援用する。
1.一般的概要
2.拡張型エンターテインメント体験
3.レイヤ化画像生成
4.テンソルマップ
5.レイヤ化画像エンコーダおよび拡張型エンターテインメントシステム
6.プロセスフロー例
7.実装メカニズム−ハードウェア概要
8.均等物、拡張物、代替物およびその他
本概要は、本発明のある例示的実施形態が有するいくつかの側面について、基本的説明を提示する。本概要は、例示的実施形態が有する諸側面についての広範かつ網羅的な要約ではない、ということに留意すべきである。さらに留意すべきは、本概要は、例示的実施形態が有する任意の特に重要な側面または要素を示すものとして理解されるようには意図されておらず、その特定の例示的実施形態あるいは広く本発明の何らの範囲をも策定するものとして理解されるようにも意図されていない。本概要は、例示的実施形態に関するいくつかの概念を凝縮された簡素な形式で提示するに過ぎず、以下に続く例示的実施形態についてのより詳細な説明に対する単なる概念的な前置きとして理解されるべきである。本明細書では別個の実施形態が論じられているが、本明細書で論じられている実施形態の任意の組み合わせおよび/または部分的な実施形態は、組み合わせられてさらなる実施形態を形成し得ることに留意されたい。
幾つかの例示の実施形態では、本明細書において説明される技法は、共有ディスプレイ(例えば、シネマディスプレイ等)とウェアラブルデバイスのデバイスディスプレイとを用いて、統合された(例えば、3D、多視点等の)画像コンテンツを提示し、鑑賞者のエンターテインメント体験を拡張/強化するために用いることができる。鑑賞者は、シネマディスプレイ上のシネマ画像コンテンツを視認している間、当該鑑賞者によって用いられるウェアラブルデバイスのデバイスディスプレイを用いて描画されたデバイス画像コンテンツを同時に視認することができる。多視点非レイヤ化画像から得ることができるこれらのシネマ画像コンテンツおよびデバイス画像コンテンツは、同じ多視点非レイヤ化画像に当初描写されていた全ての視覚物体をひとまとめにして提示する。
図1Aは、多視点非レイヤ化画像に描写された3D視覚物体(例えば、118、120等)の例を示している。多視点非レイヤ化画像は、複数の異なる視点(例えば、視認方向、視野等)に対応する複数の非レイヤ化(単一)視点画像を含むことができる。多視点非レイヤ化画像の複数の非レイヤ化視点画像中の各非レイヤ化視点画像は、複数の異なる視点の中のそれぞれの視点に対応することができる。例えば、多視点非レイヤ化画像は、左視点に対応する第1の非レイヤ化視点画像(例えば、鑑賞者の左眼等に対して描画される)と、右視点に対応する第2の非レイヤ化視点画像(例えば、鑑賞者の右眼等に対して描画される)とを含むことができる。
上記のように、多視点非レイヤ化画像は、複数の異なる視点(例えば、視認方向、視野等)に対応する複数の非レイヤ化(単一)視点画像を含むことができる。幾つかの実施形態では、多視点非レイヤ化画像における各非レイヤ化視点画像の深度情報に基づいて、テンソルマップ(例えば、x、y、z次元/座標/軸等の次数3のテンソルマップ)を作成して、3D画像空間内の多視点非レイヤ化画像における非レイヤ化視点画像のピクセル分布を生成することができる。テンソルマップから生成されたピクセル分布におけるピクセルは、xおよびy次元/座標/軸(例えば、画像フレームの列、画像フレームの行等)だけでなく、z次元/座標/軸(例えば、深度等)においても表される。
図2Aは、拡張型エンターテインメントシステムの一例示の構成100を示している。この構成は、レイヤ化画像エンコーダ180、画像コンテンツ受信機110、画像レンダラ(例えば、106、108等)、デバイストラッカ122、3D空間(例えば、126等)における鑑賞者112−1のウェアラブル画像描画デバイス102−1等の1つ以上のウェアラブルデバイス等を備える。図2Aに示す構成要素/デバイスの幾つかまたは全ては、1つ以上の機械構成要素、1つ以上の電気光学構成要素、ソフトウェア、ハードウェア、ソフトウェアおよびハードウェアの組み合わせ等による1つ以上のコンピューティングデバイス、モジュール、ユニット等によって実施することができる。図2Aに示す構成要素/デバイスの幾つかまたは全ては、図2Aに示す他の幾つかの構成要素/デバイスまたは図2Aに示していない他の構成要素/デバイスと(例えば、無線、有線接続等を用いて)通信結合することができる。
図4Aは、本発明の一例示の実施形態による一例示のプロセスフローを示している。幾つかの例示の実施形態では、1つ以上のコンピューティングデバイスまたは構成要素が、このプロセスフローを実行することができる。ブロック402において、レイヤ化画像エンコーダ(例えば、図2Aの180等)は、1つ以上の多視点非レイヤ化画像に表された3次元(3D)画像空間内の複数の視覚物体の空間ロケーションを記述した空間情報にアクセスする。1つ以上の多視点非レイヤ化画像のそれぞれは、複数の視認方向に対応する複数の単視点非レイヤ化画像を含む。
1つの実施形態によれば、本明細書において説明される技法は、1つ以上の専用コンピューティングデバイスによって実施される。専用コンピューティングデバイスは、上記技法を実行するように配線接続することができ、または、上記技法を実行するように永続的にプログラムされる、1つ以上の特定用途向け集積回路(ASIC)またはフィールドプログラマブルゲートアレイ(FPGA)等のデジタル電子デバイスを含むことができ、または、ファームウェア、メモリ、他の記憶装置または組み合わせにおいてプログラム命令に従って上記技法を実行するようにプログラムされた、1つ以上の汎用ハードウェアプロセッサを含むことができる。こうした専用コンピューティングデバイスはまた、カスタムプログラミングによりカスタム配線論理、ASICまたはFPGAを結合して、上記技法を実現することもできる。専用コンピューティングデバイスは、上記技法を実施する配線および/またはプログラム論理を組み込んだ、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス、または他の任意のデバイスとすることができる。
この明細書において、態様毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲(今後のあらゆる補正を含む、特許された特定の請求項)である。当該請求項に含まれる用語について本明細書中に明示したあらゆる定義が、請求項において使用される当該用語の意味を決定する。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定的ではなく、例示的であるとみなされるべきである。
Claims (33)
- 1つ以上の多視点非レイヤ化画像のそれぞれが複数の視認方向に対応する複数の単視点非レイヤ化画像を含む、該1つ以上の多視点非レイヤ化画像に表される3次元(3D)画像空間内の複数の視覚物体の空間ロケーションを記述した空間情報にアクセスすることと、
前記1つ以上の多視点非レイヤ化画像に表される前記3D画像空間内の前記複数の視覚物体の前記空間ロケーションを記述した前記空間情報に基づいて、
前記1つ以上の多視点非レイヤ化画像から、前記複数の視覚物体における1つ以上の視覚物体の第1の真部分集合を描写した1つ以上のシングルレイヤシネマ画像を含むシネマ画像レイヤを生成することと、
前記1つ以上の多視点非レイヤ化画像から、1つ以上のデバイス画像レイヤのそれぞれが前記複数の視覚物体における1つ以上の視覚物体の1つ以上の第2の真部分集合を描写する1つ以上のシングルレイヤデバイス画像を含む、該1つ以上のデバイス画像レイヤを生成することと、
を行うことと、
前記シネマ画像レイヤにおける前記1つ以上のシングルレイヤシネマ画像と、前記1つ以上のデバイス画像レイヤにおける前記1つ以上のシングルレイヤデバイス画像とを含む多レイヤ多視点ビデオ信号を、描画を行う1つ以上の下流側デバイスに送信することと、
を含む、方法。 - 前記空間情報は、深度情報、ディスパリティ情報、視差情報、3Dメッシュ情報、エピポーラ情報、またはテンソルマップ情報のうちの1つ以上を表す、請求項1に記載の方法。
- 前記3D画像空間は、1つ以上の実世界シーン、1つ以上の仮想世界シーン、または1つ以上の実世界シーンおよび1つ以上の仮想世界シーンの組み合わせのうちの1つを表す、請求項1に記載の方法。
- 前記1つ以上の多視点非レイヤ化画像に表される前記3D画像空間における前記複数の視覚物体は、1つ以上のレイヤ分離面を用いて、前記シネマ画像レイヤと前記1つ以上のデバイス画像レイヤとに分離される、請求項1に記載の方法。
- 前記1つ以上のレイヤ分離面のうちの少なくとも1つは、前記シネマ画像レイヤにおける前記シングルレイヤシネマ画像から生成されたシネマディスプレイ画像を描画するために用いられるシネマディスプレイと一致する、請求項4に記載の方法。
- 前記1つ以上のレイヤ分離面のいずれも、前記シネマ画像レイヤにおける前記シングルレイヤシネマ画像から生成されたシネマディスプレイ画像を描画するために用いられるシネマディスプレイと一致しない、請求項4に記載の方法。
- 前記シネマ画像レイヤにおける前記シングルレイヤシネマ画像および前記1つ以上のデバイス画像レイヤにおける前記シングルレイヤデバイス画像のうちの少なくとも1つは、テンソルマップを用いて生成された3Dピクセル分布を用いて生成される、請求項1に記載の方法。
- 前記1つ以上の多視点非レイヤ化画像に表される前記3D画像空間内の前記複数の視覚物体は、3D基準空間内のディスプレイの空間ロケーション;3D基準空間内の基準空間ロケーションにおける鑑賞者の空間ロケーション;前記ディスプレイもしくは前記鑑賞者の前記空間ロケーションに対する前記3D基準空間に投影される視覚物体の空間位置;前記鑑賞者に対する前記3D基準空間内の視覚物体の空間方向;視覚物体の相対的な芸術的重要性;視覚物体の視覚的性質;視覚物体の運動特性;視覚物体の過去、現在もしくは未来の空間ロケーション;または視覚物体の過去、現在または未来の空間方向、のうちの1つ以上に基づいて前記シネマ画像レイヤと前記1つ以上のデバイス画像レイヤとに分離される、請求項1に記載の方法。
- シネマ画像レイヤにおける1つ以上のシングルレイヤシネマ画像と、1つ以上のデバイス画像レイヤにおける1つ以上のシングルレイヤデバイス画像とを含む多レイヤ多視点ビデオ信号を受信することであって、該シネマ画像レイヤにおける該シングルレイヤシネマ画像と、該1つ以上のデバイス画像レイヤにおける該シングルレイヤデバイス画像とは、1つ以上の多視点非レイヤ化画像から事前に得られていることと、
前記多レイヤ多視点ビデオ信号の前記シネマ画像レイヤから、前記1つ以上のシングルレイヤシネマ画像を取り出すことであって、該1つ以上のシングルレイヤシネマ画像は、前記1つ以上の多視点非レイヤ化画像によって当初描写されていた複数の視覚物体における1つ以上の視覚物体の第1の真部分集合を描写することと、
前記多レイヤ多視点ビデオ信号の前記1つ以上のデバイス画像レイヤから、前記1つ以上のシングルレイヤデバイス画像を取り出すことであって、該1つ以上のデバイス画像は、前記1つ以上の多視点非レイヤ化画像によって当初描写されていた前記複数の視覚物体における1つ以上の視覚物体の1つ以上の第2の真部分集合を描写することと、
前記1つ以上のシングルレイヤシネマ画像に描写される前記視覚物体の第1の真部分集合を3D空間内のシネマディスプレイ上に鑑賞者に対して描画することと、
前記1つ以上のシングルレイヤデバイス画像に描写される前記視覚物体の1つ以上の第2の真部分集合を前記3D空間内のデバイスディスプレイ上に前記鑑賞者に対して同時に描画することと、
を含み、
前記シネマディスプレイ上に描画される前記視覚物体の第1の真部分集合と、前記デバイスディスプレイ上に描画される前記視覚物体の1つ以上の第2の真部分集合とは、前記1つ以上の多視点非レイヤ化画像によって当初描写されていた3D画像空間内の同じ空間ロケーションに位置する前記複数の視覚物体をひとまとめにして描写し、
前記複数の視覚物体が位置する前記3D画像空間内の前記空間ロケーションを記述した空間情報が事前に用いられて、前記1つ以上の多視点非レイヤ化画像によって当初描写されていた前記複数の視覚物体が、前記シネマ画像レイヤと前記1つ以上のデバイス画像レイヤとに分割されている、方法。 - 前記デバイスディスプレイは、前記シネマディスプレイに対して1以上の自由度で空間的に移動可能である、請求項9に記載の方法。
- 前記デバイスディスプレイは、ウェアラブルデバイスによって用いられて画像を描画し、前記デバイスディスプレイは、前記ウェアラブルデバイスに対して空間的に固定されている、請求項9に記載の方法。
- 前記シネマディスプレイは静止ディスプレイであり、前記デバイスディスプレイは、前記鑑賞者によって用いられるウェアラブルデバイスのヘッドマウントディスプレイを表す、請求項9に記載の方法。
- 前記3D空間内の前記シネマディスプレイは、前記3D画像空間内のレイヤ分離面を画定するために用いられ、前記複数の視覚物体は、前記レイヤ分離面に対する前記複数の視覚物体の空間関係に少なくとも部分的に基づいて、前記視覚物体の第1の真部分集合と前記視覚物体の1つ以上の第2の真部分集合とに分割される、請求項9に記載の方法。
- 前記視覚物体の1つ以上の第2の真部分集合は、前記レイヤ分離面までの空間距離に基づいて前記複数の視覚物体の中から選択される、請求項13に記載の方法。
- 前記複数の視覚物体の中の少なくとも1つの視覚物体は、前記レイヤ分離面にまたがり、前記視覚物体の第1の真部分集合は、前記少なくとも1つの視覚物体の一部分を含み、前記視覚物体の1つ以上の第2の真部分集合は、前記少なくとも1つの視覚物体の残りの部分を含む、請求項13に記載の方法。
- 前記シネマディスプレイは、前記3D空間内のゼロの視差の空間表面を表し、前記シネマディスプレイの背後におけるシネマディスプレイ画像によって描写された視覚物体は正の視差を有し、前記シネマディスプレイの前面における前記シネマディスプレイ画像によって描写された視覚物体は負の視差を有し、前記複数の視覚物体は、該複数の視覚物体における個々の視覚物体の個々の視差に基づいて、前記視覚物体の第1の真部分集合と、前記視覚物体の1つ以上の第2の真部分集合とに分割される、請求項9に記載の方法。
- 前記視覚物体の1つ以上の第2の真部分集合が、前記シネマディスプレイ上に描画されたシネマディスプレイ画像によって描画される場合に、前記視覚物体の1つ以上の第2の真部分集合における全ての視覚物体は負の視差を有する、請求項16に記載の方法。
- 前記視覚物体の1つ以上の第2の真部分集合が、前記シネマディスプレイ上に描画されたシネマディスプレイ画像によって描画される場合に、前記視覚物体の1つ以上の第2の真部分集合における少なくとも1つの視覚物体は正の視差を有する、請求項16に記載の方法。
- 前記1つ以上のシングルレイヤデバイス画像に描写される前記視覚物体の1つ以上の第2の真部分集合における視覚物体の2つの異なる真部分集合を、前記鑑賞者に対して、2つの異なる距離の2つの異なる画像平面において前記デバイスディスプレイ上に描画することを更に含む、請求項9に記載の方法。
- 前記デバイスディスプレイは、前記鑑賞者の両眼転導角度に基づいて調節可能な距離の画像平面においてデバイスディスプレイ画像を描画する、請求項9に記載の方法。
- 前記デバイスディスプレイは、前記鑑賞者に対して固定された距離の画像平面においてデバイスディスプレイ画像を描画する、請求項9に記載の方法。
- 前記デバイスディスプレイを備えるウェアラブルデバイスの特定の空間位置または特定の空間方向のうちの1つ以上に基づく空間変換を用いて、前記1つ以上のシングルレイヤデバイス画像をデバイスディスプレイ画像に適合させることを更に含む、請求項9に記載の方法。
- 前記空間変換は、前記1つ以上の多視点非レイヤ化画像から前記シネマ画像レイヤおよび前記1つ以上のデバイス画像レイヤを生成するのに事前に用いられたテンソルモデルを再構築する、請求項22に記載の方法。
- 前記シネマディスプレイ上に描画されたシネマディスプレイ画像は、2次元画像または3D画像のうちの一方を表す、請求項9に記載の方法。
- 前記デバイスディスプレイを備えるウェアラブルデバイスは、シネマ画像コンテンツが前記シネマディスプレイ上に描画されているときに同時に描画されるデバイス画像コンテンツを受信するメディアシステムに自動的に登録される前記3D空間内の複数のウェアラブルデバイスの中の1つである、請求項9に記載の方法。
- 前記ウェアラブルデバイスは、該ウェアラブルデバイスの鑑賞者に発行された特定のチケットに基づく特定の座席位置、シネマ画像コンテンツもしくは前記シネマディスプレイの周囲の空間エリアに組み込まれた基準マーカー、デバイスID情報を用いて符号化された光線、無線周波数(RF)ロケーション検出、または前記3D空間内の視聴者エリアの特定のゾーンのうちの1つ以上に基づいて前記メディアシステムに自動的に登録される、請求項25に記載の方法。
- 前記デバイスディスプレイを備えるウェアラブルデバイスは、前記3D空間内の視聴者エリアにおいて複数のゾーンに分割された前記3D空間内の複数のウェアラブルデバイスの中の1つであり、前記複数のゾーンにおける第1のゾーン内の第1のウェアラブルデバイスは、第1のデバイス画像コンテンツサーバからデバイス画像コンテンツを受信し、前記複数のゾーンにおける第2のゾーン内の第2のウェアラブルデバイスは、第2のデバイス画像コンテンツサーバからデバイス画像コンテンツを受信する、請求項9に記載の方法。
- 前記3D空間内の1つ以上の空間設置ロケーションに設置されたデバイスセンサーアセンブリを用いてウェアラブルデバイスを追跡することを更に含む、請求項9に記載の方法。
- 前記デバイスセンサーアセンブリのうちの少なくとも1つは、前記3D空間内の天井、壁、床、前記シネマディスプレイに近い空間エリア、前記シネマディスプレイから離れた空間エリア、座席空間、または座席の裏側のうちの1つにある、請求項28に記載の方法。
- 請求項1〜29のいずれか1項に記載の方法を実行する、装置。
- 請求項1〜29のいずれか1項に記載の方法を実行する、システム。
- 1つ以上のプロセッサによって実行されると、請求項1〜29のいずれか1項に記載の方法の動作を行わせるソフトウェア命令を記憶する、非一時的なコンピュータ読み取り可能な記憶媒体。
- 1つ以上のプロセッサと、1つ以上のプロセッサによって実行されると、請求項1〜29のいずれか1項に記載の方法の動作を行わせる一組の命令を記憶する1つ以上の記憶媒体とを備える、コンピューティングデバイス。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020012509A JP6932796B2 (ja) | 2017-04-11 | 2020-01-29 | レイヤ化拡張型エンターテインメント体験 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762484121P | 2017-04-11 | 2017-04-11 | |
US62/484,121 | 2017-04-11 | ||
PCT/US2018/026974 WO2018191312A1 (en) | 2017-04-11 | 2018-04-10 | Layered augmented entertainment experiences |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020012509A Division JP6932796B2 (ja) | 2017-04-11 | 2020-01-29 | レイヤ化拡張型エンターテインメント体験 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6654275B1 JP6654275B1 (ja) | 2020-02-26 |
JP2020512723A true JP2020512723A (ja) | 2020-04-23 |
Family
ID=62092275
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019544632A Active JP6654275B1 (ja) | 2017-04-11 | 2018-04-10 | レイヤ化拡張型エンターテインメント体験 |
JP2020012509A Active JP6932796B2 (ja) | 2017-04-11 | 2020-01-29 | レイヤ化拡張型エンターテインメント体験 |
JP2021133460A Active JP7263451B2 (ja) | 2017-04-11 | 2021-08-18 | レイヤ化拡張型エンターテインメント体験 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020012509A Active JP6932796B2 (ja) | 2017-04-11 | 2020-01-29 | レイヤ化拡張型エンターテインメント体験 |
JP2021133460A Active JP7263451B2 (ja) | 2017-04-11 | 2021-08-18 | レイヤ化拡張型エンターテインメント体験 |
Country Status (10)
Country | Link |
---|---|
US (3) | US10991164B2 (ja) |
EP (2) | EP3610654B1 (ja) |
JP (3) | JP6654275B1 (ja) |
KR (3) | KR102087414B1 (ja) |
CN (3) | CN111406412B (ja) |
BR (2) | BR112019016820B1 (ja) |
ES (1) | ES2902979T3 (ja) |
PL (1) | PL3610654T3 (ja) |
RU (2) | RU2743518C2 (ja) |
WO (1) | WO2018191312A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
US11882267B2 (en) | 2017-04-11 | 2024-01-23 | Dolby Laboratories Licensing Corporation | Adapting video images for wearable devices |
US11095927B2 (en) * | 2019-02-22 | 2021-08-17 | The Nielsen Company (Us), Llc | Dynamic watermarking of media based on transport-stream metadata, to facilitate action by downstream entity |
TR201910049A2 (tr) * | 2019-07-05 | 2021-01-21 | Karinca Teknoloji Ve Ilet San Tic Ltd Sti | Üç boyutlu ortam aktarma, yayinlama si̇stemi̇ ve yöntemi̇ |
US11743559B2 (en) * | 2021-01-05 | 2023-08-29 | Mediatek Singapore Pte. Ltd. | Methods and systems for derived immersive tracks |
WO2023038264A1 (ko) * | 2021-09-13 | 2023-03-16 | 삼성전자 주식회사 | 복수의 카메라들로부터 획득된 이미지들에 기반하는 입체 사진을 생성하는 전자 장치 및 그 방법 |
US20230245373A1 (en) * | 2022-01-28 | 2023-08-03 | Samsung Electronics Co., Ltd. | System and method for generating a three-dimensional photographic image |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
JP2015507773A (ja) * | 2011-10-11 | 2015-03-12 | タイムプレイ エンターテイメント コーポレーション | インタラクティブ体験のためのシステム及び方法、並びにこのためのコントローラ |
JP2018142162A (ja) * | 2017-02-28 | 2018-09-13 | コニカミノルタ株式会社 | 画像形成システム |
US10078917B1 (en) * | 2015-06-26 | 2018-09-18 | Lucasfilm Entertainment Company Ltd. | Augmented reality simulation |
Family Cites Families (66)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6016150A (en) * | 1995-08-04 | 2000-01-18 | Microsoft Corporation | Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers |
CA2320694C (en) * | 1998-02-20 | 2005-07-12 | Deep Video Imaging Limited | A multi-layer display and a method for displaying images on such a display |
US6816158B1 (en) * | 1998-10-30 | 2004-11-09 | Lemelson Jerome H | Three-dimensional display system |
US7580378B2 (en) | 2000-06-06 | 2009-08-25 | Alien Technology Corporation | Distance/ranging determination using relative phase data |
KR20030029649A (ko) * | 2000-08-04 | 2003-04-14 | 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 | 화상 변환 및 부호화 기술 |
US6803912B1 (en) * | 2001-08-02 | 2004-10-12 | Mark Resources, Llc | Real time three-dimensional multiple display imaging system |
US20030038922A1 (en) * | 2001-08-22 | 2003-02-27 | Ferrell Stanford L. | Apparatus and method for displaying 4-D images |
EP1587329B1 (en) | 2003-01-20 | 2015-04-15 | Sanyo Electric Co., Ltd. | Three-dimensional video providing method and three-dimensional video display device |
EP1712981A1 (en) * | 2005-04-15 | 2006-10-18 | Herman Bailey | Interactive augmented reality system |
US20070035542A1 (en) * | 2005-07-27 | 2007-02-15 | Mediapod Llc | System, apparatus, and method for capturing and screening visual images for multi-dimensional display |
CN101292516A (zh) * | 2005-07-06 | 2008-10-22 | 米迪尔波得股份有限公司 | 捕获画面数据的系统和方法 |
US8094928B2 (en) * | 2005-11-14 | 2012-01-10 | Microsoft Corporation | Stereo video for gaming |
US7679641B2 (en) | 2006-04-07 | 2010-03-16 | Real D | Vertical surround parallax correction |
CN101653011A (zh) | 2007-03-16 | 2010-02-17 | 汤姆森许可贸易公司 | 用于将文本与三维内容相结合的系统和方法 |
JP5774985B2 (ja) * | 2008-06-06 | 2015-09-09 | トムソン ライセンシングThomson Licensing | 画像の類似検索システム及び方法 |
MX2011000728A (es) * | 2008-07-21 | 2011-03-29 | Thomson Licensing | Dispositivo de codificacion multiestandar para señales de video en 3d. |
CN101771830B (zh) * | 2008-12-30 | 2012-09-19 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
CA2707045C (en) * | 2009-01-19 | 2017-03-14 | Panasonic Corporation | Coding method, decoding method, coding apparatus, decoding apparatus, program, and integrated circuit |
CN104768031B (zh) * | 2009-01-26 | 2018-02-09 | 汤姆森特许公司 | 用于视频解码的装置 |
US8411746B2 (en) * | 2009-06-12 | 2013-04-02 | Qualcomm Incorporated | Multiview video coding over MPEG-2 systems |
JP4733785B2 (ja) * | 2009-06-17 | 2011-07-27 | パナソニック株式会社 | 3d映像を再生するための情報記録媒体、記録媒体の記録方法、再生装置、及び記録媒体再生システム |
KR20110018261A (ko) | 2009-08-17 | 2011-02-23 | 삼성전자주식회사 | 텍스트 서브타이틀 데이터 처리 방법 및 재생 장치 |
US9049431B2 (en) | 2009-12-31 | 2015-06-02 | Cable Television Laboratories, Inc. | Method and system for generation of captions over stereoscopic 3D images |
US8717360B2 (en) * | 2010-01-29 | 2014-05-06 | Zspace, Inc. | Presenting a view within a three dimensional scene |
GB2478156A (en) * | 2010-02-26 | 2011-08-31 | Sony Corp | Method and apparatus for generating a disparity map for stereoscopic images |
CN105812771B (zh) | 2010-06-27 | 2017-12-08 | Lg电子株式会社 | 数字接收器以及在数字接收器中处理字幕数据的方法 |
CN101894267B (zh) * | 2010-07-06 | 2012-07-18 | 清华大学 | 一种三维对象特征视图选取方法 |
WO2012037075A1 (en) | 2010-09-14 | 2012-03-22 | Thomson Licensing | Method of presenting three-dimensional content with disparity adjustments |
AU2012232423A1 (en) * | 2011-03-18 | 2013-09-05 | Sony Corporation | Image processing device and image processing method |
US10229538B2 (en) * | 2011-07-29 | 2019-03-12 | Hewlett-Packard Development Company, L.P. | System and method of visual layering |
US20130038685A1 (en) * | 2011-08-12 | 2013-02-14 | Alcatel-Lucent Usa Inc. | 3d display apparatus, method and structures |
US8941560B2 (en) * | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
CN103999445B (zh) | 2011-12-19 | 2018-11-13 | 杜比实验室特许公司 | 头戴式显示器 |
KR101872864B1 (ko) | 2011-12-19 | 2018-06-29 | 엘지전자 주식회사 | 전자 기기 및 전자 기기의 제어 방법 |
JP5905610B2 (ja) | 2012-03-12 | 2016-04-20 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 3d視覚的ダイナミックレンジ符号化 |
WO2013146385A1 (ja) * | 2012-03-27 | 2013-10-03 | 株式会社ニコン | 表示装置及びプログラム |
US9483853B2 (en) * | 2012-05-23 | 2016-11-01 | Glasses.Com Inc. | Systems and methods to display rendered images |
US9674501B2 (en) | 2012-07-06 | 2017-06-06 | Lg Electronics Inc. | Terminal for increasing visual comfort sensation of 3D object and control method thereof |
CN104520905A (zh) | 2012-07-27 | 2015-04-15 | 日本电气方案创新株式会社 | 三维环境共有系统及三维环境共有方法 |
US9717982B2 (en) * | 2012-12-21 | 2017-08-01 | Microsoft Technology Licensing, Llc | Client rendering of latency sensitive game features |
WO2014107066A1 (ko) * | 2013-01-04 | 2014-07-10 | 삼성전자 주식회사 | 위상차를 고려한 영상 업샘플링을 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치 |
US8951071B2 (en) | 2013-03-15 | 2015-02-10 | Apple Inc. | Contact-support mechanism for increased retention force |
US10019057B2 (en) | 2013-06-07 | 2018-07-10 | Sony Interactive Entertainment Inc. | Switching mode of operation in a head mounted display |
US10905943B2 (en) * | 2013-06-07 | 2021-02-02 | Sony Interactive Entertainment LLC | Systems and methods for reducing hops associated with a head mounted system |
US9679369B2 (en) * | 2013-09-12 | 2017-06-13 | Ventana 3D Llc | Depth key compositing for video and holographic projection |
US9405122B2 (en) * | 2014-01-29 | 2016-08-02 | Ricoh Co., Ltd | Depth-disparity calibration of a binocular optical augmented reality system |
KR20150106380A (ko) * | 2014-03-11 | 2015-09-21 | 삼성전자주식회사 | 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치 |
JP2015210580A (ja) * | 2014-04-24 | 2015-11-24 | エイディシーテクノロジー株式会社 | 表示システム及びウェアラブル機器 |
KR20170023000A (ko) * | 2014-06-20 | 2017-03-02 | 삼성전자주식회사 | 인터 레이어 비디오 부복호화를 위한 깊이 영상의 예측 모드 전송 방법 및 장치 |
US10593113B2 (en) * | 2014-07-08 | 2020-03-17 | Samsung Electronics Co., Ltd. | Device and method to display object with visual effect |
JP6394174B2 (ja) * | 2014-08-19 | 2018-09-26 | セイコーエプソン株式会社 | 頭部装着型表示装置、画像表示システム、頭部装着型表示装置を制御する方法、および、コンピュータープログラム |
US20160103330A1 (en) | 2014-10-10 | 2016-04-14 | 3DOO, Inc. | System and method for adjusting parallax in three-dimensional stereoscopic image representation |
KR101844883B1 (ko) * | 2014-12-23 | 2018-04-03 | 메타 컴퍼니 | 관심 객체의 임의의 깊이에 있는 동일한 평면으로 시각적 조절과 시각적 수렴을 결합시키는 장치, 방법 및 시스템 |
EP3265868A4 (en) | 2015-03-04 | 2018-11-14 | Song, Jay | Adjustable optical stereoscopic glasses |
US20170038598A1 (en) * | 2015-03-04 | 2017-02-09 | Jay Song | Adjustable optical stereoscopic glasses |
CN104899870B (zh) | 2015-05-15 | 2017-08-25 | 清华大学深圳研究生院 | 基于光场数据分布的深度估计方法 |
JP6917378B2 (ja) * | 2015-09-17 | 2021-08-11 | ファゾム・オプティクス・インコーポレイテッド | マルチビューディスプレイ並びに関連するシステム及び方法 |
US10511895B2 (en) | 2015-10-09 | 2019-12-17 | Warner Bros. Entertainment Inc. | Cinematic mastering for virtual reality and augmented reality |
US10330935B2 (en) | 2016-09-22 | 2019-06-25 | Apple Inc. | Predictive, foveated virtual reality system |
CN106534830B (zh) * | 2016-10-10 | 2019-04-26 | 上海蒙彤文化传播有限公司 | 一种基于虚拟现实的影院播放系统 |
US10928638B2 (en) | 2016-10-31 | 2021-02-23 | Dolby Laboratories Licensing Corporation | Eyewear devices with focus tunable lenses |
US11363250B2 (en) | 2017-04-11 | 2022-06-14 | Dolby Laboratories Licensing Corporation | Augmented 3D entertainment systems |
US11882267B2 (en) | 2017-04-11 | 2024-01-23 | Dolby Laboratories Licensing Corporation | Adapting video images for wearable devices |
US10726574B2 (en) | 2017-04-11 | 2020-07-28 | Dolby Laboratories Licensing Corporation | Passive multi-wearable-devices tracking |
GB2566744B (en) * | 2017-09-26 | 2021-03-03 | Sony Interactive Entertainment Inc | Head-mountable display system |
US10893261B2 (en) * | 2017-12-06 | 2021-01-12 | Dolby Laboratories Licensing Corporation | Positional zero latency |
-
2018
- 2018-04-10 RU RU2020117045A patent/RU2743518C2/ru active
- 2018-04-10 PL PL18721565T patent/PL3610654T3/pl unknown
- 2018-04-10 BR BR112019016820-6A patent/BR112019016820B1/pt active IP Right Grant
- 2018-04-10 BR BR122021006807-0A patent/BR122021006807B1/pt active IP Right Grant
- 2018-04-10 KR KR1020197023910A patent/KR102087414B1/ko active IP Right Grant
- 2018-04-10 EP EP18721565.2A patent/EP3610654B1/en active Active
- 2018-04-10 CN CN201880011840.4A patent/CN111406412B/zh active Active
- 2018-04-10 RU RU2019124450A patent/RU2722495C1/ru active
- 2018-04-10 WO PCT/US2018/026974 patent/WO2018191312A1/en active Application Filing
- 2018-04-10 KR KR1020207027477A patent/KR102279143B1/ko active IP Right Grant
- 2018-04-10 CN CN202110931373.0A patent/CN113709439B/zh active Active
- 2018-04-10 US US16/604,118 patent/US10991164B2/en active Active
- 2018-04-10 EP EP21206636.9A patent/EP3988187B1/en active Active
- 2018-04-10 ES ES18721565T patent/ES2902979T3/es active Active
- 2018-04-10 KR KR1020207006343A patent/KR102161734B1/ko active IP Right Grant
- 2018-04-10 CN CN202110930851.6A patent/CN113660539B/zh active Active
- 2018-04-10 JP JP2019544632A patent/JP6654275B1/ja active Active
-
2020
- 2020-01-29 JP JP2020012509A patent/JP6932796B2/ja active Active
-
2021
- 2021-04-26 US US17/240,954 patent/US11361520B2/en active Active
- 2021-08-18 JP JP2021133460A patent/JP7263451B2/ja active Active
-
2022
- 2022-04-28 US US17/731,770 patent/US11893700B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001195601A (ja) * | 2000-01-13 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
JP2015507773A (ja) * | 2011-10-11 | 2015-03-12 | タイムプレイ エンターテイメント コーポレーション | インタラクティブ体験のためのシステム及び方法、並びにこのためのコントローラ |
US10078917B1 (en) * | 2015-06-26 | 2018-09-18 | Lucasfilm Entertainment Company Ltd. | Augmented reality simulation |
JP2018142162A (ja) * | 2017-02-28 | 2018-09-13 | コニカミノルタ株式会社 | 画像形成システム |
Non-Patent Citations (1)
Title |
---|
ALJOSCHA SMOLIC ET AL.: "Three-Dimensional Video Postproduction and Processing", PROCEEDINGS OF THE IEEE, vol. Volume:99, Issue:4, JPN6019050887, 2011, pages 607 - 625, ISSN: 0004183026 * |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6932796B2 (ja) | レイヤ化拡張型エンターテインメント体験 | |
US20220078393A1 (en) | Enabling motion parallax with multilayer 360-degree video | |
CN108693970B (zh) | 用于调适可穿戴装置的视频图像的方法和设备 | |
WO2018005235A1 (en) | System and method for spatial interaction using automatically positioned cameras | |
WO2015027105A1 (en) | Virtual reality content stitching and awareness | |
US20230179756A1 (en) | Information processing device, information processing method, and program | |
Valli et al. | Advances in spatially faithful (3d) telepresence | |
US20230115563A1 (en) | Method for a telepresence system | |
TW202046716A (zh) | 表示場景之影像信號 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20190816 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190816 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20190816 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20191210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6654275 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |