JP2022171739A - 生成装置、生成方法、及びプログラム - Google Patents
生成装置、生成方法、及びプログラム Download PDFInfo
- Publication number
- JP2022171739A JP2022171739A JP2022140511A JP2022140511A JP2022171739A JP 2022171739 A JP2022171739 A JP 2022171739A JP 2022140511 A JP2022140511 A JP 2022140511A JP 2022140511 A JP2022140511 A JP 2022140511A JP 2022171739 A JP2022171739 A JP 2022171739A
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- video data
- parameters
- file
- sets
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 15
- 239000003550 marker Substances 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 abstract description 4
- 238000012545 processing Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 13
- 230000014509 gene expression Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 102100038359 Xaa-Pro aminopeptidase 3 Human genes 0.000 description 1
- 101710081949 Xaa-Pro aminopeptidase 3 Proteins 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/51—Indexing; Data structures therefor; Storage structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
- G06F16/116—Details of conversion of file system types or formats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
- H04N1/2125—Display of information relating to the still picture recording
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
- H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Generation (AREA)
Abstract
Description
[第1実施形態]
図8には、仮想視点の軌跡(図中の破線の矢印線801)を仮想視点映像に重ねて表示した場合の表示例が示されている。例えば、仮想視点パラメータ付与部105が、第二の仮想視点映像データ130、すなわち仮想視点パラメータが付与された仮想視点映像データを、不図示の表示装置に出力する。そして、不図示の表示装置が、仮想視点映像データによって示される仮想視点映像を表示する際に、該仮想視点映像データに付与された仮想視点パラメータに基づき、仮想視点の軌跡801を仮想視点映像に重ねて表示する。それにより、図8に示されるような仮想視点映像の表示を行うことが可能となる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
104 仮想視点映像生成部
105 仮想視点パラメータ付与部
Claims (14)
- 複数の撮影装置が撮影することにより取得される画像データに基づく仮想視点映像データの生成に使用される仮想視点パラメータであって仮想視点の位置を表すパラメータと前記仮想視点からの視線方向を表すパラメータとが含まれる仮想視点パラメータの複数セットを特定する特定手段と、
前記複数セットの仮想視点パラメータを特定するための情報と、前記複数セットそれぞれの仮想視点パラメータを用いて生成された仮想視点映像データと、が含まれるファイルを生成する生成手段と、を有し、
前記複数セットそれぞれの仮想視点パラメータは、前記仮想視点映像データに含まれる複数のフレームのうちの1つのフレームに対応しており、前記複数セットのうちの1つのセットには、前記仮想視点映像データに含まれる複数のフレームのうちの1つのフレームを特定するパラメータが含まれる
ことを特徴とする生成装置。 - 前記仮想視点の位置を表すパラメータは、前記仮想視点映像データに含まれる複数のフレームのうちの前記1つのフレームに対応しており、
前記仮想視点からの視線方向を表すパラメータは、前記仮想視点映像データに含まれる複数のフレームのうちの前記1つのフレームに対応する
ことを特徴とする請求項1に記載の生成装置。 - 前記ファイルは、静止画フォーマットのファイルであり、
前記複数セットの仮想視点パラメータを特定するための情報は、前記ファイルのメタデータの領域に含まれる
ことを特徴とする請求項1または請求項2に記載の生成装置。 - 前記静止画フォーマットは、Exifであり、
前記複数セットの仮想視点パラメータを特定するための情報は、前記ファイルのメタデータの領域のうち、Exif規格で定義されるIFD領域に含まれる
ことを特徴とする請求項3に記載の生成装置。 - 前記静止画フォーマットは、Exifであり、
前記複数セットそれぞれの仮想視点パラメータは、前記ファイルのメタデータの領域のうち、Exif規格で定義されていないAPPnマーカセグメントに含まれる
ことを特徴とする請求項3に記載の生成装置。 - 前記ファイルは、動画フォーマットのファイルであり、
前記生成手段は、
前記仮想視点映像データ及び前記複数セットの仮想視点パラメータを特定するための情報は、フレームの時系列順に前記ファイルに含まれる
ことを特徴とする請求項1または請求項2のいずれか1項に記載の生成装置。 - 前記ファイルは、動画フォーマットのファイルであり、
前記動画フォーマットは、Ogg Vorbisである
ことを特徴とする請求項1または請求項2に記載の生成装置。 - 前記動画フォーマットは、Ogg Vorbisである
ことを特徴とする請求項6に記載の生成装置。 - 前記1つのセットの仮想視点パラメータには、前記仮想視点の画角を表すパラメータがさらに含まれる
ことを特徴とする請求項1から請求項7のうちのいずれか1項に記載の生成装置。 - 前記ファイルに基づいて表示装置に表示される仮想視点映像には、前記ファイルにおける仮想視点パラメータに対応する仮想視点の軌跡を表す図形が含まれる
ことを特徴とする請求項1から請求項9のうちのいずれか1項に記載の生成装置。 - 前記仮想視点映像データに含まれる複数のフレームのうちの前記1つのフレームを特定する前記パラメータは、当該1つのフレームのフレーム番号である
ことを特徴とする請求項1から請求項10のうちのいずれか1項に記載の生成装置。 - 前記仮想視点映像データに含まれる複数のフレームのうちの前記1つのフレームを特定する前記パラメータは、当該1つのフレームのタイムコードである
ことを特徴とする請求項1から請求項10のうちのいずれか1項に記載の生成装置。 - 複数の撮影装置が撮影することにより取得される画像データに基づく仮想視点映像データの生成に使用される仮想視点パラメータであって仮想視点の位置を表すパラメータと前記仮想視点からの視線方向を表すパラメータとが含まれる仮想視点パラメータの複数セットを生成装置が特定する特定ステップと、
前記複数セットの仮想視点パラメータを特定するための情報と、前記複数セットそれぞれの仮想視点パラメータを用いて生成された仮想視点映像データと、が含まれるファイルを前記生成装置が生成する生成ステップと、を含み、
前記複数セットそれぞれの仮想視点パラメータは、前記仮想視点映像データに含まれる複数のフレームのうちの1つのフレームに対応しており、
前記複数セットのうちの1つのセットには、前記仮想視点映像データに含まれる複数のフレームのうちの1つのフレームを特定するパラメータが含まれる
ことを特徴とする生成装置が行う生成方法。 - コンピュータを、請求項1から請求項12のうちのいずれか1項に記載の生成装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022140511A JP7459195B2 (ja) | 2018-03-09 | 2022-09-05 | 生成装置、生成方法、及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018043459A JP7140517B2 (ja) | 2018-03-09 | 2018-03-09 | 生成装置、生成装置が行う生成方法、及びプログラム |
JP2022140511A JP7459195B2 (ja) | 2018-03-09 | 2022-09-05 | 生成装置、生成方法、及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018043459A Division JP7140517B2 (ja) | 2018-03-09 | 2018-03-09 | 生成装置、生成装置が行う生成方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022171739A true JP2022171739A (ja) | 2022-11-11 |
JP7459195B2 JP7459195B2 (ja) | 2024-04-01 |
Family
ID=67846029
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018043459A Active JP7140517B2 (ja) | 2018-03-09 | 2018-03-09 | 生成装置、生成装置が行う生成方法、及びプログラム |
JP2022140511A Active JP7459195B2 (ja) | 2018-03-09 | 2022-09-05 | 生成装置、生成方法、及びプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018043459A Active JP7140517B2 (ja) | 2018-03-09 | 2018-03-09 | 生成装置、生成装置が行う生成方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US11451759B2 (ja) |
JP (2) | JP7140517B2 (ja) |
WO (1) | WO2019171733A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022090786A (ja) | 2020-12-08 | 2022-06-20 | キヤノン株式会社 | 情報処理装置、画像生成装置、画像処理システム、情報処理方法、画像生成方法及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003242043A (ja) | 2002-02-15 | 2003-08-29 | Oki Electric Ind Co Ltd | 再生装置およびデータ管理システムにおけるコンテンツ管理方法 |
EP1501317A4 (en) * | 2002-04-25 | 2006-06-21 | Sharp Kk | Image data generation device, image data reproduction device and image data recording medium |
JP4052331B2 (ja) * | 2003-06-20 | 2008-02-27 | 日本電信電話株式会社 | 仮想視点画像生成方法及び3次元画像表示方法並びに装置 |
JP2007150747A (ja) * | 2005-11-28 | 2007-06-14 | Matsushita Electric Ind Co Ltd | 受信装置及び本線映像配信装置 |
EP2212771A4 (en) * | 2007-10-05 | 2011-06-01 | Aharon Mizrahi | SYSTEM AND METHOD FOR ENABLING A CONTENT SEARCH |
US8786596B2 (en) * | 2008-07-23 | 2014-07-22 | Disney Enterprises, Inc. | View point representation for 3-D scenes |
JP4737573B2 (ja) | 2009-02-05 | 2011-08-03 | 富士フイルム株式会社 | 3次元画像出力装置及び方法 |
CN102893613B (zh) | 2010-04-28 | 2016-06-22 | 富士胶片株式会社 | 立体图像再生装置及方法、立体摄像装置、立体显示器装置 |
CN103339947B (zh) * | 2011-02-03 | 2014-07-30 | 富士胶片株式会社 | 3d视频再现装置、3d显示装置、3d成像装置和3d视频再现方法 |
KR101926477B1 (ko) * | 2011-07-18 | 2018-12-11 | 삼성전자 주식회사 | 콘텐츠 재생 방법 및 장치 |
KR101838301B1 (ko) | 2012-02-17 | 2018-03-13 | 삼성전자주식회사 | 멀티미디어 컨텐츠 프레임 검색 방법 및 장치 |
JP2014215828A (ja) | 2013-04-25 | 2014-11-17 | シャープ株式会社 | 画像データ再生装置、および視点情報生成装置 |
WO2016167160A1 (ja) | 2015-04-17 | 2016-10-20 | シャープ株式会社 | データ生成装置および再生装置 |
-
2018
- 2018-03-09 JP JP2018043459A patent/JP7140517B2/ja active Active
- 2018-12-28 WO PCT/JP2018/048468 patent/WO2019171733A1/ja active Application Filing
-
2020
- 2020-09-03 US US17/011,579 patent/US11451759B2/en active Active
-
2022
- 2022-08-17 US US17/889,429 patent/US20220394230A1/en active Pending
- 2022-09-05 JP JP2022140511A patent/JP7459195B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
WO2019171733A1 (ja) | 2019-09-12 |
JP7459195B2 (ja) | 2024-04-01 |
US20200404240A1 (en) | 2020-12-24 |
US11451759B2 (en) | 2022-09-20 |
US20220394230A1 (en) | 2022-12-08 |
JP2019159594A (ja) | 2019-09-19 |
JP7140517B2 (ja) | 2022-09-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6950013B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20170122725A (ko) | 파라미터를 갖는 마커를 사용한 증강 현실의 장면 수정 | |
JP2007072537A (ja) | 360°画像撮影装置 | |
US10074216B2 (en) | Information processing to display information based on position of the real object in the image | |
CN108668050B (zh) | 基于虚拟现实的视频拍摄方法和装置 | |
US20200106959A1 (en) | Panoramic light field capture, processing, and display | |
US20210266511A1 (en) | Information processing system, information processing method, and storage medium | |
KR20210032549A (ko) | 화상 처리 장치, 화상 처리 방법 및 컴퓨터 프로그램 | |
JP2016071900A (ja) | 情報処理システム、その制御方法、及びプログラム | |
JP7459195B2 (ja) | 生成装置、生成方法、及びプログラム | |
CN104935866B (zh) | 实现视频会议的方法、合成设备和系统 | |
JP6011567B2 (ja) | 情報処理装置、その制御方法、及びプログラム | |
CN109863746B (zh) | 用于数据探索的沉浸式环境系统和视频投影模块 | |
KR20070010306A (ko) | 촬영장치 및 깊이정보를 포함하는 영상의 생성방법 | |
US10902554B2 (en) | Method and system for providing at least a portion of content having six degrees of freedom motion | |
JP2014215977A (ja) | 画像処理装置、画像処理方法及びプログラム | |
KR20120035321A (ko) | 증강 현실 컨텐츠 재생 시스템 및 방법 | |
WO2022230715A1 (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP2007034906A (ja) | 合成動画映像作成システム及び合成動画映像作成方法 | |
JP7378960B2 (ja) | 画像処理装置、画像処理システム、画像生成方法、および、プログラム | |
WO2023145571A1 (ja) | 情報処理装置、情報処理方法、データ構造及びプログラム | |
JP2022169177A (ja) | 情報処理装置、情報処理方法、及び、プログラム | |
JP4070057B2 (ja) | 図書情報検索空間構築・検索装置および図書情報検索空間構築・検索プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2010074437A (ja) | アノテーション付与方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 | |
JP7206591B2 (ja) | データ表示装置、方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220913 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230928 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231107 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240319 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7459195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |