JP2017211827A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2017211827A5 JP2017211827A5 JP2016104431A JP2016104431A JP2017211827A5 JP 2017211827 A5 JP2017211827 A5 JP 2017211827A5 JP 2016104431 A JP2016104431 A JP 2016104431A JP 2016104431 A JP2016104431 A JP 2016104431A JP 2017211827 A5 JP2017211827 A5 JP 2017211827A5
- Authority
- JP
- Japan
- Prior art keywords
- virtual viewpoint
- viewpoint image
- information processing
- generation
- generation method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims description 16
- 238000003672 processing method Methods 0.000 claims 5
- 238000004519 manufacturing process Methods 0.000 claims 2
- 238000000034 method Methods 0.000 claims 1
Description
上記課題を解決するため、本発明に係る情報処理装置は、例えば以下の構成を有する。すなわち、複数の撮影装置により複数の方向から撮影することで得られる画像データに基づいて生成される仮想視点画像を出力する情報処理装置であって、前記画像データから仮想視点画像を生成するために用いられる生成方式を、前記複数の撮影装置による撮影の状況に応じて複数の生成方式の中から決定する決定手段と、前記決定手段により決定された生成方式を用いて生成された仮想視点画像を出力する出力手段とを有する。
Claims (14)
- 複数の撮影装置により複数の方向から撮影することで得られる画像データに基づいて生成される仮想視点画像を出力する情報処理装置であって、
前記画像データから仮想視点画像を生成するために用いられる生成方式を、前記複数の撮影装置による撮影の状況に応じて複数の生成方式の中から決定する決定手段と、
前記決定手段により決定された生成方式を用いて生成された仮想視点画像を出力する出力手段とを有することを特徴とする情報処理装置。 - 前記撮影の状況には、前記複数の撮影装置の数、及び前記複数の撮影装置の動作状態の、少なくとも何れかが含まれることを特徴とする請求項１に記載の情報処理装置。
- 前記撮影装置の動作状態には、正常状態、故障状態、待機状態、起動準備状態、及び再起動状態の少なくとも何れかが含まれることを特徴とする請求項１に記載の情報処理装置。
- 前記決定手段は、
前記複数の撮影装置の数が閾値より多い場合には、前記画像データから仮想視点画像を生成するために用いられる生成方式を、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する第１生成方式に決定し、
前記複数の撮影装置の数が前記閾値以下である場合には、前記画像データから仮想視点画像を生成するために用いられる生成方式を、前記三次元モデルを生成するための前記複数の撮影画像より少ない１又は複数の撮影画像に変形及び合成の少なくとも何れかの処理を行うことで仮想視点画像を生成する第２生成方式に決定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。 - 複数の撮影装置により複数の方向から撮影することで得られる画像データに基づいて生成される仮想視点画像を出力する情報処理装置であって、
前記画像データから仮想視点画像を生成するために用いられる生成方式を、仮想視点画像の生成に係る仮想視点の指定のための入力に関連付けられる情報に基づいて複数の生成方式の中から決定する決定手段と、
前記決定手段により決定された生成方式を用いて生成された仮想視点画像を出力する出力手段とを有することを特徴とする情報処理装置。 - 前記仮想視点の指定のための入力に関連付けられる情報には、仮想視点の指定方法を示す情報、仮想視点を指定するための指定装置が動作させているアプリケーションを示す情報、前記指定装置の識別情報、及び仮想視点の指定操作を行うユーザの識別情報の、少なくとも何れかが含まれることを特徴とする請求項５に記載の情報処理装置。
- 前記決定手段は、前記仮想視点の指定のための入力に関連付けられる情報が示す仮想視点の指定方法が、仮想視点の高さを指定可能な指定方法である場合には、前記画像データから仮想視点画像を生成するために用いられる生成方式を、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する生成方式に決定することを特徴とする請求項５又は６に記載の情報処理装置。
- 前記決定手段は、前記画像データから仮想視点画像を生成するために用いられる生成方式を、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する第１生成方式と、前記三次元モデルを生成するための前記複数の撮影画像より少ない１又は複数の撮影画像に変形及び合成の少なくとも何れかの処理を行うことで仮想視点画像を生成する第２生成方式との、少なくとも何れかを含む前記複数の生成方式の中から決定することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
- 前記決定手段は、仮想視点画像内の複数の分割領域それぞれの生成に用いられる複数の生成方式を決定することを特徴とする請求項１乃至８の何れか１項に記載の情報処理装置。
- 前記決定手段により決定された生成方式を用いて仮想視点画像を生成する生成手段を有し、
前記出力手段は、前記生成手段により生成された仮想視点画像を出力することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。 - 複数の撮影装置により複数の方向から撮影することで得られる画像データに基づいて生成される仮想視点画像を出力する情報処理方法であって、
前記画像データから仮想視点画像を生成するために用いられる生成方式を、前記複数の撮影装置による撮影の状況に応じて複数の生成方式の中から決定する決定工程と、
前記決定工程において決定された生成方式を用いて生成された仮想視点画像を出力する出力工程とを有することを特徴とする情報処理方法。 - 複数の撮影装置により複数の方向から撮影することで得られる画像データに基づいて生成される仮想視点画像を出力する情報処理方法であって、
前記画像データから仮想視点画像を生成するために用いられる生成方式を、仮想視点画像の生成に係る仮想視点の指定のための入力に関連付けられる情報に基づいて複数の生成方式の中から決定する決定工程と、
前記決定工程において決定された生成方式を用いて生成された仮想視点画像を出力する出力工程とを有することを特徴とする情報処理方法。 - 前記決定工程は、前記画像データから仮想視点画像を生成するために用いられる生成方式を、被写体を複数の方向から撮影した複数の撮影画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する第１生成方式と、前記三次元モデルを生成するための前記複数の撮影画像より少ない１又は複数の撮影画像に変形及び合成の少なくとも何れかの処理を行うことで仮想視点画像を生成する第２生成方式との、少なくとも何れかを含む前記複数の生成方式の中から決定することを特徴とする請求項１１又は１２に記載の情報処理方法。
- コンピュータを請求項１乃至１０の何れか１項に記載の情報処理装置として動作させるためのプログラム。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016104431A JP6808357B2 (ja) | 2016-05-25 | 2016-05-25 | 情報処理装置、制御方法、及び、プログラム |
| US16/303,461 US11012674B2 (en) | 2016-05-25 | 2017-05-22 | Information processing apparatus, image generation method, control method, and program |
| CN201780032285.9A CN109565580B (zh) | 2016-05-25 | 2017-05-22 | 信息处理设备、图像生成方法、控制方法和程序 |
| KR1020187037466A KR102129792B1 (ko) | 2016-05-25 | 2017-05-22 | 정보 처리 장치, 화상 생성 방법, 제어 방법 및 프로그램 |
| PCT/JP2017/019076 WO2017204171A2 (en) | 2016-05-25 | 2017-05-22 | Information processing apparatus, image generation method, control method, and program |
| EP17727964.3A EP3466065A2 (en) | 2016-05-25 | 2017-05-22 | Information processing apparatus, image generation method, control method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016104431A JP6808357B2 (ja) | 2016-05-25 | 2016-05-25 | 情報処理装置、制御方法、及び、プログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017211827A JP2017211827A (ja) | 2017-11-30 |
| JP2017211827A5 true JP2017211827A5 (ja) | 2019-06-27 |
| JP6808357B2 JP6808357B2 (ja) | 2021-01-06 |
Family
ID=59009715
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016104431A Active JP6808357B2 (ja) | 2016-05-25 | 2016-05-25 | 情報処理装置、制御方法、及び、プログラム |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11012674B2 (ja) |
| EP (1) | EP3466065A2 (ja) |
| JP (1) | JP6808357B2 (ja) |
| KR (1) | KR102129792B1 (ja) |
| CN (1) | CN109565580B (ja) |
| WO (1) | WO2017204171A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7462085B2 (ja) | 2018-08-31 | 2024-04-04 | キヤノン株式会社 | 情報処理装置、方法、及びプログラム |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6482696B2 (ja) * | 2017-06-23 | 2019-03-13 | キヤノン株式会社 | 表示制御装置、表示制御方法、およびプログラム |
| EP3695593A4 (en) * | 2017-10-13 | 2021-06-23 | C360 Technologies, Inc. | CREATION OF PANORAMIC PROJECTIONS FROM MULTIPLE CAMERAS |
| CA3061699C (en) * | 2017-12-14 | 2023-03-07 | Canon Kabushiki Kaisha | Generation device, generation method and non-transitory computer-readable meadium storing a program for generating a three-dimensional model from an image |
| JP6513169B1 (ja) * | 2017-12-14 | 2019-05-15 | キヤノン株式会社 | 仮想視点画像を生成するシステム、方法及びプログラム |
| JP7322235B2 (ja) * | 2018-05-02 | 2023-08-07 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP7062506B2 (ja) * | 2018-05-02 | 2022-05-06 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
| JP7091133B2 (ja) * | 2018-05-09 | 2022-06-27 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP6813933B2 (ja) * | 2018-07-19 | 2021-01-13 | 日本電信電話株式会社 | 映像音声伝送システム、伝送方法、送信装置及び受信装置 |
| JP7245013B2 (ja) * | 2018-09-06 | 2023-03-23 | キヤノン株式会社 | 制御装置及び制御方法 |
| JP7250493B2 (ja) * | 2018-12-03 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、三次元形状データの生成方法およびプログラム |
| JP2022051978A (ja) * | 2019-02-15 | 2022-04-04 | ソニーグループ株式会社 | 画像処理装置、画像処理方法、及び、プログラム |
| JP7258605B2 (ja) * | 2019-03-05 | 2023-04-17 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
| JP7095628B2 (ja) * | 2019-03-07 | 2022-07-05 | 日本電信電話株式会社 | 座標系変換パラメータ推定装置、方法及びプログラム |
| US11064218B2 (en) | 2019-03-19 | 2021-07-13 | Electronics And Telecommunications Research Institute | Method and apparatus for encoding/decoding image for virtual view synthesis |
| EP3712843A1 (en) * | 2019-03-19 | 2020-09-23 | Koninklijke Philips N.V. | Image signal representing a scene |
| JP7250588B2 (ja) * | 2019-03-28 | 2023-04-03 | キヤノン株式会社 | 画像処理装置、送信方法、及びプログラム |
| JP7423251B2 (ja) * | 2019-10-25 | 2024-01-29 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN110798673B (zh) * | 2019-11-13 | 2021-03-19 | 南京大学 | 基于深度卷积神经网络的自由视点视频生成及交互方法 |
| JP7492331B2 (ja) * | 2019-12-11 | 2024-05-29 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法及びプログラム |
| JP7508277B2 (ja) * | 2020-06-03 | 2024-07-01 | キヤノン株式会社 | 伝送処理装置、伝送処理方法、及びプログラム |
| CN114079706B (zh) * | 2020-08-18 | 2024-06-14 | 京东方科技集团股份有限公司 | 一种信号处理装置、音视频显示装置和处理方法 |
| US11943565B2 (en) * | 2021-07-12 | 2024-03-26 | Milestone Systems A/S | Computer implemented method and apparatus for operating a video management system |
| US20230008871A1 (en) * | 2021-07-12 | 2023-01-12 | Milestone Systems A/S | Computer implemented method and apparatus for training an operator of a video management system |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3478606B2 (ja) * | 1994-10-12 | 2003-12-15 | キヤノン株式会社 | 立体画像表示方法および装置 |
| JP2001229402A (ja) * | 2000-02-16 | 2001-08-24 | Mitsubishi Electric Corp | ３次元画像表示装置、３次元画像表示方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP2002095018A (ja) * | 2000-09-12 | 2002-03-29 | Canon Inc | 画像表示制御装置及び画像表示システム、並びに画像データの表示方法 |
| JP2004086508A (ja) | 2002-08-26 | 2004-03-18 | Alpine Electronics Inc | ３次元形状データに基づく動画の表示制御方法及びナビゲーション装置 |
| JP2005354289A (ja) * | 2004-06-09 | 2005-12-22 | Ntt Docomo Inc | 端末装置、環境管理サーバ、カメラサーバ及び映像生成方法 |
| JP5011168B2 (ja) * | 2008-03-04 | 2012-08-29 | 日本電信電話株式会社 | 仮想視点画像生成方法、仮想視点画像生成装置、仮想視点画像生成プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 |
| JP5011224B2 (ja) | 2008-07-09 | 2012-08-29 | 日本放送協会 | 任意視点映像生成装置及び任意視点映像生成プログラム |
| GB0907870D0 (en) * | 2009-05-07 | 2009-06-24 | Univ Catholique Louvain | Systems and methods for the autonomous production of videos from multi-sensored data |
| JP5812599B2 (ja) * | 2010-02-25 | 2015-11-17 | キヤノン株式会社 | 情報処理方法及びその装置 |
| JP5725979B2 (ja) * | 2011-06-03 | 2015-05-27 | キヤノン株式会社 | 撮影装置およびその制御方法 |
| CN103650492B (zh) * | 2011-07-15 | 2017-02-22 | Lg电子株式会社 | 用于处理3d服务的方法和装置 |
| CA2861391A1 (en) * | 2012-01-18 | 2013-07-25 | Logos Technologies Llc | Method, device, and system for computing a spherical projection image based on two-dimensional images |
| JP6349637B2 (ja) | 2013-07-11 | 2018-07-04 | 株式会社デンソー | 車両用画像合成装置 |
| EP3035282A4 (en) * | 2013-09-11 | 2017-07-05 | Sony Corporation | Image processing device and method |
| WO2015054235A1 (en) * | 2013-10-07 | 2015-04-16 | Vid Scale, Inc. | User adaptive 3d video rendering and delivery |
| JP6735592B2 (ja) * | 2016-04-08 | 2020-08-05 | キヤノン株式会社 | 画像処理装置及びその制御方法、画像処理システム |
-
2016
- 2016-05-25 JP JP2016104431A patent/JP6808357B2/ja active Active
-
2017
- 2017-05-22 EP EP17727964.3A patent/EP3466065A2/en not_active Withdrawn
- 2017-05-22 WO PCT/JP2017/019076 patent/WO2017204171A2/en unknown
- 2017-05-22 CN CN201780032285.9A patent/CN109565580B/zh active Active
- 2017-05-22 US US16/303,461 patent/US11012674B2/en active Active
- 2017-05-22 KR KR1020187037466A patent/KR102129792B1/ko active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7462085B2 (ja) | 2018-08-31 | 2024-04-04 | キヤノン株式会社 | 情報処理装置、方法、及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017211827A5 (ja) | ||
| JP2017212593A5 (ja) | 情報処理装置、画像処理システム、情報処理装置の制御方法、仮想視点画像の生成方法、及び、プログラム | |
| JP2017212591A5 (ja) | ||
| JP2019125929A5 (ja) | ||
| JP2018092580A5 (ja) | 画像処理装置および画像処理方法、プログラム | |
| JP2023090835A5 (ja) | ||
| WO2017204171A3 (en) | Information processing apparatus, image generation method, control method, and program | |
| JP2013009274A5 (ja) | ||
| JP2016522923A5 (ja) | ||
| JP2012249125A5 (ja) | ||
| JP2020086983A5 (ja) | ||
| JP2019036790A5 (ja) | ||
| JP2019045991A5 (ja) | ||
| JP2014137756A5 (ja) | ||
| JP2017004464A5 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2013135341A5 (ja) | ||
| JP2019036791A5 (ja) | 画像処理装置およびその制御方法、プログラム | |
| JP2016158021A5 (ja) | ||
| JP2016097657A5 (ja) | ||
| JP2015198391A5 (ja) | ||
| JP2014007672A5 (ja) | 画像表示制御装置、画像表示制御装置の制御方法、画像表示制御システム、およびプログラム | |
| JPWO2020241142A5 (ja) | ||
| JP2018023046A5 (ja) | ||
| JP2016152023A5 (ja) | ||
| JP2018078540A5 (ja) |