JP2023090835A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2023090835A5 JP2023090835A5 JP2023073248A JP2023073248A JP2023090835A5 JP 2023090835 A5 JP2023090835 A5 JP 2023090835A5 JP 2023073248 A JP2023073248 A JP 2023073248A JP 2023073248 A JP2023073248 A JP 2023073248A JP 2023090835 A5 JP2023090835 A5 JP 2023090835A5
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- image
- model
- image processing
- processing system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Description
本発明に係る画像処理システムは、複数の撮像装置による撮像により取得された複数の撮像画像に基づく仮想視点画像の生成に用いられる複数の３Ｄモデルのうち、ユーザ操作により取得される仮想視点情報により特定された３Ｄモデルであって、前記仮想視点画像に含まれるオブジェクトの３Ｄモデルを取得する取得手段と、前記仮想視点情報と前記取得手段により取得された３Ｄモデルとに基づいて前記仮想視点画像を生成する生成手段とを有することを特徴とする。
Claims (12)
- 複数の撮像装置による撮像により取得された複数の撮像画像に基づく仮想視点画像の生成に用いられる複数の３Ｄモデルのうち、ユーザ操作により取得される仮想視点情報により特定された３Ｄモデルであって、前記仮想視点画像に含まれるオブジェクトの３Ｄモデルを取得する取得手段と、
前記仮想視点情報と前記取得手段により取得された３Ｄモデルとに基づいて前記仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理システム。 - 前記取得手段は、前記複数の３Dモデルのうち、３Dモデルを囲むバウンディングボックスに基づいて特定される前記仮想視点画像に含まれるオブジェクトの３Dモデルを取得することを特徴とする請求項１に記載の画像処理システム。
- 前記取得手段は、前記複数の３Dモデルのうち、３Dモデルを囲むバウンディングボックスの各頂点の射影することにより特定される、前記仮想視点画像に含まれるオブジェクトの３Dモデルを取得することを特徴とする請求項２に記載の画像処理システム。
- 更に、前記複数の３Dモデルのうち、前記仮想視点画像に含まれるオブジェクトの３Dモデルを特定する特定手段と、
前記特定手段により特定した３Dモデルを出力する出力手段と
を有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理システム。 - 前記複数の３Dモデルは、前記仮想視点画像のフレームを示す情報と対応づいており、
前記仮想視点情報は、前記仮想視点画像のフレームを示す情報を含み、
前記取得手段は、前記仮想視点情報に含まれるフレームを示す情報に対応する前記３Dモデルを取得することを特徴とする請求項１乃至４のいずれか１項に記載の画像処理システム。 - 前記複数の３Dモデルは、仮想視点画像の生成に用いられる複数種類の素材データをまとめたファイルに含まれており、
前記取得手段は、前記ファイルから、前記仮想視点情報に基づいて出力された前記３Dモデルを取得することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理システム。 - 前記ファイルは、前記複数種類の素材データと、前記素材データの種類を示す情報とを含むことを特徴とする請求項６に記載の画像処理システム。
- 複数の撮像装置による撮像により取得された複数の撮像画像に基づく仮想視点画像の生成に用いられる複数の前景画像および複数の背景画像の少なくともいずれかのうち、ユーザ操作により取得される仮想視点情報により特定された前記前景画像および前記背景画像の少なくともいずれかを取得する取得手段と、
前記仮想視点情報と前記取得手段により取得された前景画像および背景画像の少なくとも何れかとに基づいて前記仮想視点画像を生成する生成手段と
を有することを特徴とする画像処理システム。 - 前記取得手段は、前記仮想視点情報が示す仮想視点の位置に基づいて特定される、撮像装置による撮像により取得された撮像画像に対応する前景画像および背景画像の少なくともいずれかを取得することを特徴とする請求項８に記載の画像処理システム。
- 複数の撮像装置による撮像により取得された複数の撮像画像に基づく仮想視点画像の生成に用いられる複数の３Ｄモデルのうち、ユーザ操作により取得される仮想カメラの位置および姿勢を示す仮想視点情報に基づいて出力された前記３Ｄモデルであって、前記仮想カメラの撮像範囲に含まれる前記３Ｄモデルを取得する取得工程と、
前記仮想視点情報と前記取得工程にて取得された３Ｄモデルとに基づいて前記仮想視点画像を生成する生成工程と
を有することを特徴とする画像処理方法。 - 複数の撮像装置による撮像により取得された複数の撮像画像に基づく仮想視点画像の生成に用いられる複数の前景画像および複数の背景画像の少なくともいずれかのうち、ユーザ操作により取得される仮想カメラの位置および姿勢を示す仮想視点情報に基づいて出力された前記前景画像および前記背景画像の少なくともいずれかであって、前記仮想カメラの位置に基づいて特定される前記撮像装置により取得される前記前景画像および前記背景画像の少なくともいずれかを取得する取得工程と、
前記仮想視点情報と前記取得工程にて取得された前景画像および背景画像の少なくとも何れかとに基づいて前記仮想視点画像を生成する生成工程と
を有することを特徴とする画像処理方法。 - コンピュータに、請求項１０又は１１に記載の画像処理方法を実行させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2023073248A JP2023090835A (ja) | 2018-07-19 | 2023-04-27 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018136204A JP7271099B2 (ja) | 2018-07-19 | 2018-07-19 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
| JP2023073248A JP2023090835A (ja) | 2018-07-19 | 2023-04-27 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018136204A Division JP7271099B2 (ja) | 2018-07-19 | 2018-07-19 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023090835A JP2023090835A (ja) | 2023-06-29 |
| JP2023090835A5 true JP2023090835A5 (ja) | 2023-11-15 |
Family
ID=69163553
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018136204A Active JP7271099B2 (ja) | 2018-07-19 | 2018-07-19 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
| JP2023073248A Pending JP2023090835A (ja) | 2018-07-19 | 2023-04-27 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018136204A Active JP7271099B2 (ja) | 2018-07-19 | 2018-07-19 | ファイルの生成装置およびファイルに基づく映像の生成装置 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US11715263B2 (ja) |
| EP (1) | EP3826298A4 (ja) |
| JP (2) | JP7271099B2 (ja) |
| WO (1) | WO2020017134A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018123801A1 (ja) * | 2016-12-28 | 2018-07-05 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 三次元モデル配信方法、三次元モデル受信方法、三次元モデル配信装置及び三次元モデル受信装置 |
| JP2020134973A (ja) * | 2019-02-12 | 2020-08-31 | キヤノン株式会社 | 素材生成装置、画像生成装置および画像処理装置 |
| JP2021152724A (ja) | 2020-03-24 | 2021-09-30 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JP2021163303A (ja) | 2020-04-01 | 2021-10-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| WO2021200261A1 (ja) * | 2020-04-03 | 2021-10-07 | ソニーグループ株式会社 | 情報処理装置、生成方法、およびレンダリング方法 |
| JP2022126207A (ja) * | 2021-02-18 | 2022-08-30 | キヤノン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| JP2022126208A (ja) * | 2021-02-18 | 2022-08-30 | キヤノン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| WO2022191010A1 (ja) * | 2021-03-12 | 2022-09-15 | ソニーグループ株式会社 | 情報処理装置および情報処理方法 |
| US20230101991A1 (en) * | 2021-09-24 | 2023-03-30 | Sony Group Corporation | View-independent multi-camera volumetric capture system |
Family Cites Families (38)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5812787A (en) * | 1995-06-30 | 1998-09-22 | Intel Corporation | Video coding scheme with foreground/background separation |
| EP1612697A1 (en) * | 2004-06-28 | 2006-01-04 | Dassault Systèmes | A graphical method for navigating in a database of modelled objects |
| US7221366B2 (en) * | 2004-08-03 | 2007-05-22 | Microsoft Corporation | Real-time rendering system and process for interactive viewpoint video |
| KR101334173B1 (ko) * | 2006-01-11 | 2013-11-28 | 삼성전자주식회사 | 그래픽 데이터 부호화 및 복호화 방법과 장치 |
| JP2008177683A (ja) * | 2007-01-16 | 2008-07-31 | Kyocera Mita Corp | データ提供システム、データ受領システム、データ提供方法、データ提供プログラム及びデータ受領プログラム |
| JP2009080578A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 多視点データ生成装置、方法及びプログラム |
| JP4902569B2 (ja) * | 2008-02-19 | 2012-03-21 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
| US8878836B2 (en) * | 2008-02-29 | 2014-11-04 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding datastream including additional information on multiview image and method and apparatus for decoding datastream by using the same |
| KR101490689B1 (ko) * | 2008-05-27 | 2015-02-06 | 삼성전자주식회사 | 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치 |
| JP2011015215A (ja) | 2009-07-02 | 2011-01-20 | Canon Inc | 画像表示装置、画像表示装置の制御方法、及びプログラム |
| EP2912791B1 (en) * | 2010-03-05 | 2019-05-01 | Samsung Electronics Co., Ltd | Method and apparatus for generating and reproducing adaptive stream based on file format, and recording medium thereof |
| KR101697184B1 (ko) * | 2010-04-20 | 2017-01-17 | 삼성전자주식회사 | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 |
| RU2517299C2 (ru) * | 2010-08-09 | 2014-05-27 | Панасоник Корпорэйшн | Способ кодирования изображений, способ декодирования изображений, устройство кодирования изображений и устройство декодирования изображений |
| US20120229449A1 (en) * | 2010-11-08 | 2012-09-13 | Eyelead Sa | File structure and management in 3d authoring system |
| KR101249901B1 (ko) * | 2011-06-22 | 2013-04-09 | 엘지전자 주식회사 | 이동통신 단말기 및 그 동작방법 |
| JP2012010344A (ja) | 2011-07-13 | 2012-01-12 | Fujifilm Corp | 画像処理装置、方法およびプログラム |
| JP5773323B2 (ja) * | 2011-08-09 | 2015-09-02 | インテル・コーポレーション | 画像に基づくマルチビュー３ｄ顔生成 |
| US20150178988A1 (en) * | 2012-05-22 | 2015-06-25 | Telefonica, S.A. | Method and a system for generating a realistic 3d reconstruction model for an object or being |
| US10163261B2 (en) * | 2014-03-19 | 2018-12-25 | Matterport, Inc. | Selecting two-dimensional imagery data for display within a three-dimensional model |
| JP2014215828A (ja) | 2013-04-25 | 2014-11-17 | シャープ株式会社 | 画像データ再生装置、および視点情報生成装置 |
| JP2015136060A (ja) * | 2014-01-17 | 2015-07-27 | ソニー株式会社 | 通信装置、通信データ生成方法、および通信データ処理方法 |
| US10013157B2 (en) * | 2015-07-22 | 2018-07-03 | Box, Inc. | Composing web-based interactive 3D scenes using high order visual editor commands |
| US20170064279A1 (en) * | 2015-09-01 | 2017-03-02 | National Taiwan University | Multi-view 3d video method and system |
| JP6548542B2 (ja) * | 2015-09-29 | 2019-07-24 | 株式会社ホロン | Ｓｅｍ画像取得装置およびｓｅｍ画像取得方法 |
| CN113014930B (zh) * | 2016-01-13 | 2024-04-26 | 索尼公司 | 信息处理设备、信息处理方法和计算机可读记录介质 |
| JP6604237B2 (ja) * | 2016-03-01 | 2019-11-13 | 株式会社リコー | 情報処理装置、情報処理システム、プログラム、及び制御方法 |
| US20170286993A1 (en) * | 2016-03-31 | 2017-10-05 | Verizon Patent And Licensing Inc. | Methods and Systems for Inserting Promotional Content into an Immersive Virtual Reality World |
| JP6429829B2 (ja) | 2016-05-25 | 2018-11-28 | キヤノン株式会社 | 画像処理システム、画像処理装置、制御方法、及び、プログラム |
| JP6672075B2 (ja) * | 2016-05-25 | 2020-03-25 | キヤノン株式会社 | 制御装置、制御方法、及び、プログラム |
| US10416836B2 (en) * | 2016-07-11 | 2019-09-17 | The Boeing Company | Viewpoint navigation control for three-dimensional visualization using two-dimensional layouts |
| US10389994B2 (en) * | 2016-11-28 | 2019-08-20 | Sony Corporation | Decoder-centric UV codec for free-viewpoint video streaming |
| US10306254B2 (en) * | 2017-01-17 | 2019-05-28 | Seiko Epson Corporation | Encoding free view point data in movie data container |
| JP6834577B2 (ja) | 2017-02-22 | 2021-02-24 | 沖電気工業株式会社 | 信号情報表示装置、探知システムおよびプログラム |
| JP7205471B2 (ja) * | 2017-06-29 | 2023-01-17 | ソニーグループ株式会社 | 画像処理装置および画像処理方法 |
| JP6409107B1 (ja) | 2017-09-06 | 2018-10-17 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US20190131081A1 (en) * | 2017-10-30 | 2019-05-02 | Leedarson America Inc. | Retrofit switch |
| JP2019135617A (ja) | 2018-02-05 | 2019-08-15 | キヤノン株式会社 | 情報処理装置およびその制御方法、画像処理システム |
| US10984541B2 (en) * | 2018-04-12 | 2021-04-20 | Samsung Electronics Co., Ltd. | 3D point cloud compression systems for delivery and access of a subset of a compressed 3D point cloud |
-
2018
- 2018-07-19 JP JP2018136204A patent/JP7271099B2/ja active Active
-
2019
- 2019-05-15 EP EP19837969.5A patent/EP3826298A4/en active Pending
- 2019-05-15 WO PCT/JP2019/019226 patent/WO2020017134A1/ja active Application Filing
-
2021
- 2021-01-13 US US17/147,636 patent/US11715263B2/en active Active
-
2023
- 2023-04-27 JP JP2023073248A patent/JP2023090835A/ja active Pending
- 2023-06-12 US US18/208,341 patent/US20230351693A1/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2023090835A5 (ja) | ||
| JP2019125929A5 (ja) | ||
| JP2017212593A5 (ja) | 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム | |
| JP2017211827A5 (ja) | ||
| JP2019087229A5 (ja) | ||
| US20210241495A1 (en) | Method and system for reconstructing colour and depth information of a scene | |
| JP2018049591A5 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2018180655A5 (ja) | ||
| JP2014192613A5 (ja) | ||
| JP2018106496A5 (ja) | ||
| JP5886242B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2016529959A5 (ja) | ||
| JPWO2021140886A5 (ja) | ||
| JP6088260B2 (ja) | 処理装置、処理システム、処理方法及びプログラム | |
| JP2015154413A5 (ja) | ||
| CN107909114B (zh) | 训练有监督机器学习的模型的方法和装置 | |
| JP2019045991A5 (ja) | ||
| JP2018026064A (ja) | 画像処理装置、画像処理方法、システム | |
| JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| JP2023115088A5 (ja) | ||
| JP2022058770A5 (ja) | 画像処理システム、画像処理方法及びプログラム | |
| JP2019046055A5 (ja) | ||
| JP2022131778A5 (ja) | ||
| JP5506371B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP2003216970A5 (ja) |