JP2018142164A5 - 画像処理装置、情報処理方法及びプログラム - Google Patents
画像処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP2018142164A5 JP2018142164A5 JP2017035930A JP2017035930A JP2018142164A5 JP 2018142164 A5 JP2018142164 A5 JP 2018142164A5 JP 2017035930 A JP2017035930 A JP 2017035930A JP 2017035930 A JP2017035930 A JP 2017035930A JP 2018142164 A5 JP2018142164 A5 JP 2018142164A5
- Authority
- JP
- Japan
- Prior art keywords
- virtual
- virtual object
- viewpoint
- image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims 4
- 230000000875 corresponding Effects 0.000 claims description 5
- 238000003384 imaging method Methods 0.000 claims description 2
- 230000001419 dependent Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 1
Description
上記の課題を解決するため、本発明に係る画像処理装置は、例えば以下の構成を有する。すなわち、複数の撮影装置によりそれぞれ異なる位置から撮影することで得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の移動経路を示す視点情報を取得する取得手段と、前記仮想視点画像に表示される仮想オブジェクトであって前記複数の撮影画像に含まれない仮想オブジェクトの３次元空間における位置を、前記取得手段により取得された視点情報により特定される前記移動経路上の複数の仮想視点に基づいて決定する決定手段と、を有する。
Claims (19)
- 複数の撮影装置によりそれぞれ異なる位置から撮影することで得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の移動経路を示す視点情報を取得する取得手段と、
前記仮想視点画像に表示される仮想オブジェクトであって前記複数の撮影画像に含まれない仮想オブジェクトの３次元空間における位置を、前記取得手段により取得された視点情報により特定される前記移動経路上の複数の仮想視点に基づいて決定する決定手段と、を有することを特徴とする画像処理装置。 - 前記制御手段は、前記仮想オブジェクトの位置、大きさ、形状及び向きの少なくとも何れかを、前記移動経路上の複数の仮想視点に基づいて決定することを特徴とする請求項１に記載の画像処理装置。
- 前記３次元空間における前記仮想オブジェクトの位置は、前記仮想視点の移動に伴って変化しないことを特徴とする請求項１又は２に記載の画像処理装置。
- 前記仮想視点画像内の前記仮想オブジェクトの表示位置は、前記３次元空間における前記仮想オブジェクトの位置と前記仮想視点とに応じて決まることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
- 前記決定手段は、前記移動経路上の複数の仮想視点に対応する複数の仮想視点画像であって時間的に連続する複数の仮想視点画像すべてに前記仮想オブジェクトが表示されるように、前記３次元空間における前記仮想オブジェクトの位置を決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
- 前記決定手段は、
前記移動経路上の前記複数の仮想視点のうち、前記仮想オブジェクトの候補位置を視界内に含む仮想視点の数を、前記３次元空間内の複数の候補位置それぞれについて判定し、
前記複数の候補位置それぞれについて判定された前記仮想視点の数に基づいて、前記複数の候補位置のうち１以上の位置を前記仮想オブジェクトの位置として決定することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。 - 前記決定手段は、前記複数の候補領域のうち、前記移動経路上の最も多くの仮想視点の視界に含まれる候補領域を、前記仮想オブジェクトの位置として決定することを特徴とする請求項６に記載の画像処理装置。
- 前記制御手段は、前記仮想視点画像内の仮想オブジェクト非表示領域に前記仮想オブジェクトが表示されないように、前記３次元空間における前記仮想オブジェクトの位置を決定することを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
- 前記仮想オブジェクト非表示領域は、仮想視点画像内の所定の被写体が表示される領域であることを特徴とする請求項８に記載の画像処理装置。
- 前記仮想オブジェクト非表示領域は、前記複数の撮影画像の少なくとも何れかに含まれる実広告が表示される領域であることを特徴とする請求項９に記載の画像処理装置。
- 前記仮想オブジェクトは、前記仮想視点画像に広告を表示させるためのオブジェクトであることを特徴とする請求項１乃至１０の何れか１項に記載の画像処理装置。
- 前記決定手段は、前記移動経路上の前記複数の仮想視点に対応する複数の仮想視点画像に、前記仮想オブジェクトの面であって広告が含まれる面が表示されるように、前記３次元空間における前記仮想オブジェクトの向きを決定することを特徴とする請求項１１に記載の画像処理装置。
- 前記取得手段により取得される視点情報は、前記移動経路上の複数の仮想視点それぞれの位置及び視線方向を示す情報を含むことを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
- 前記複数の撮影画像と、前記取得手段により取得された視点情報と、前記決定手段により決定された前記仮想オブジェクトの位置とに基づいて、前記仮想オブジェクトを含む前記仮想視点画像を生成する生成手段を有することを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
- 前記決定手段により決定された前記仮想オブジェクトの位置を示す情報を、前記仮想視点画像を生成する画像生成装置へ出力する出力手段を有することを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
- 複数の撮影装置によりそれぞれ異なる位置から撮影することで得られる複数の撮影画像に基づいて生成される仮想視点画像に対応する仮想視点の移動経路を示す視点情報を取得する取得工程と、
前記仮想視点画像に表示される仮想オブジェクトであって前記複数の撮影画像に含まれない仮想オブジェクトの３次元空間における位置を、前記取得工程において取得された視点情報により特定される前記移動経路上の複数の仮想視点に基づいて決定する決定工程と、を有することを特徴とする情報処理方法。 - 前記３次元空間における前記仮想オブジェクトの位置は、前記仮想視点の移動に伴って変化しないことを特徴とする請求項１６に記載の情報処理方法。
- 前記決定工程は、
前記移動経路上の前記複数の仮想視点のうち、前記仮想オブジェクトの候補位置を視界内に含む仮想視点の数を、前記３次元空間内の複数の候補位置それぞれについて判定し、
前記複数の候補位置それぞれについて判定された前記仮想視点の数に基づいて、前記複数の候補位置のうち１以上の位置を前記仮想オブジェクトの位置として決定することを特徴とする請求項１６又は１７に記載の情報処理方法。 - コンピュータを、請求項１乃至１５の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035930A JP7086522B2 (ja) | 2017-02-28 | 2017-02-28 | 画像処理装置、情報処理方法及びプログラム |
| US15/902,790 US10705678B2 (en) | 2017-02-28 | 2018-02-22 | Image processing apparatus, image processing method, and storage medium for generating a virtual viewpoint image |
| EP18158852.6A EP3367666B1 (en) | 2017-02-28 | 2018-02-27 | Image processing apparatus, image processing method, and program for inserting a virtual object in a virtual viewpoint image |
| KR1020180023411A KR102271527B1 (ko) | 2017-02-28 | 2018-02-27 | 화상처리장치, 화상처리방법 및 기억매체 |
| CN201810165870.2A CN108510595B (zh) | 2017-02-28 | 2018-02-28 | 图像处理装置、图像处理方法和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017035930A JP7086522B2 (ja) | 2017-02-28 | 2017-02-28 | 画像処理装置、情報処理方法及びプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018142164A JP2018142164A (ja) | 2018-09-13 |
| JP2018142164A5 true JP2018142164A5 (ja) | 2020-03-26 |
| JP7086522B2 JP7086522B2 (ja) | 2022-06-20 |
Family
ID=61616748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017035930A Active JP7086522B2 (ja) | 2017-02-28 | 2017-02-28 | 画像処理装置、情報処理方法及びプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US10705678B2 (ja) |
| EP (1) | EP3367666B1 (ja) |
| JP (1) | JP7086522B2 (ja) |
| KR (1) | KR102271527B1 (ja) |
| CN (1) | CN108510595B (ja) |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11025921B1 (en) | 2016-09-22 | 2021-06-01 | Apple Inc. | Providing a virtual view by streaming serialized data |
| EP3336805A1 (en) * | 2016-12-15 | 2018-06-20 | Thomson Licensing | Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment |
| WO2020062041A1 (en) * | 2018-09-28 | 2020-04-02 | Intel Corporation | Automated generation of camera paths |
| US11204677B2 (en) * | 2018-10-22 | 2021-12-21 | Acclarent, Inc. | Method for real time update of fly-through camera placement |
| JP7237538B2 (ja) * | 2018-11-14 | 2023-03-13 | キヤノン株式会社 | 情報処理装置、それを含むシステム、情報処理方法、およびプログラム |
| JP2020101845A (ja) * | 2018-12-19 | 2020-07-02 | キヤノン株式会社 | 画像処理装置、画像処理システム、画像処理方法、およびプログラム |
| US10740960B2 (en) * | 2019-01-11 | 2020-08-11 | Microsoft Technology Licensing, Llc | Virtual object placement for augmented reality |
| JP2022051972A (ja) * | 2019-02-06 | 2022-04-04 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
| JP7403956B2 (ja) * | 2019-02-27 | 2023-12-25 | キヤノン株式会社 | 情報処理装置、制御方法、及びプログラム |
| US11057609B2 (en) * | 2019-02-27 | 2021-07-06 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and computer readable storage medium for determining a moving path of virtual viewpoint |
| JP7418101B2 (ja) * | 2019-07-26 | 2024-01-19 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| WO2021020143A1 (ja) * | 2019-07-30 | 2021-02-04 | ソニー株式会社 | 画像処理装置、画像処理方法、及び記録媒体 |
| CN114502246A (zh) * | 2019-10-10 | 2022-05-13 | 索尼集团公司 | 图像处理装置、图像处理方法和程序 |
| JP7423251B2 (ja) * | 2019-10-25 | 2024-01-29 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP7427468B2 (ja) * | 2020-02-18 | 2024-02-05 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP2022090786A (ja) * | 2020-12-08 | 2022-06-20 | キヤノン株式会社 | 情報処理装置、画像生成装置、画像処理システム、情報処理方法、画像生成方法及びプログラム |
| EP4300428A4 (en) * | 2021-02-26 | 2024-07-17 | Fujifilm Corp | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2413720B (en) * | 2003-03-14 | 2006-08-02 | British Broadcasting Corp | Video processing |
| US7116342B2 (en) | 2003-07-03 | 2006-10-03 | Sportsmedia Technology Corporation | System and method for inserting content into an image sequence |
| JP4039676B2 (ja) * | 2004-03-31 | 2008-01-30 | 株式会社コナミデジタルエンタテインメント | 画像処理装置、画像処理方法及びプログラム |
| JP5013773B2 (ja) * | 2006-08-18 | 2012-08-29 | パナソニック株式会社 | 車載画像処理装置及びその視点変換情報生成方法 |
| WO2008083500A1 (en) * | 2007-01-11 | 2008-07-17 | 360 Replays Ltd. | Method and system for generating a replay video |
| US8451380B2 (en) | 2007-03-22 | 2013-05-28 | Sony Computer Entertainment America Llc | Scheme for determining the locations and timing of advertisements and other insertions in media |
| US8416247B2 (en) | 2007-10-09 | 2013-04-09 | Sony Computer Entertaiment America Inc. | Increasing the number of advertising impressions in an interactive environment |
| GB0809631D0 (en) | 2008-05-28 | 2008-07-02 | Mirriad Ltd | Zonesense |
| US8786596B2 (en) * | 2008-07-23 | 2014-07-22 | Disney Enterprises, Inc. | View point representation for 3-D scenes |
| GB2462095A (en) | 2008-07-23 | 2010-01-27 | Snell & Wilcox Ltd | Processing of images to represent a transition in viewpoint |
| JP2010033367A (ja) | 2008-07-29 | 2010-02-12 | Canon Inc | 情報処理装置及び情報処理方法 |
| CN102598652B (zh) * | 2009-10-30 | 2015-08-12 | 佳能株式会社 | 信息处理设备和方法 |
| JP2011151773A (ja) | 2009-12-21 | 2011-08-04 | Canon Inc | 映像処理装置及び制御方法 |
| JP5302227B2 (ja) | 2010-01-19 | 2013-10-02 | 富士通テン株式会社 | 画像処理装置、画像処理システム、および、画像処理方法 |
| JP5567942B2 (ja) | 2010-08-30 | 2014-08-06 | Ｋｄｄｉ株式会社 | 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム |
| US8885023B2 (en) * | 2010-09-01 | 2014-11-11 | Disney Enterprises, Inc. | System and method for virtual camera control using motion control systems for augmented three dimensional reality |
| US20120180084A1 (en) | 2011-01-12 | 2012-07-12 | Futurewei Technologies, Inc. | Method and Apparatus for Video Insertion |
| JP5672109B2 (ja) * | 2011-03-29 | 2015-02-18 | カシオ計算機株式会社 | 撮像装置及び撮像方法、並びにプログラム |
| US9846960B2 (en) * | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
| US8826325B2 (en) | 2012-12-08 | 2014-09-02 | Joao Redol | Automated unobtrusive ancilliary information insertion into a video |
| US10140765B2 (en) * | 2013-02-25 | 2018-11-27 | Google Llc | Staged camera traversal for three dimensional environment |
| US20140278847A1 (en) * | 2013-03-14 | 2014-09-18 | Fabio Gallo | Systems and methods for virtualized advertising |
| JP6319952B2 (ja) * | 2013-05-31 | 2018-05-09 | 任天堂株式会社 | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
| US20160212455A1 (en) | 2013-09-25 | 2016-07-21 | Intel Corporation | Dynamic product placement in media content |
| WO2015111833A1 (ko) * | 2014-01-21 | 2015-07-30 | 에스케이플래닛 주식회사 | 가상 광고 제공 장치 및 방법 |
| JP6598109B2 (ja) | 2014-12-25 | 2019-10-30 | パナソニックＩｐマネジメント株式会社 | 映像受信方法及び端末装置 |
| JP6548900B2 (ja) * | 2015-01-20 | 2019-07-24 | 株式会社デンソーテン | 画像生成装置、画像生成方法及びプログラム |
| KR101975553B1 (ko) * | 2015-01-30 | 2019-05-07 | 전자부품연구원 | 로봇의 관측 시점 제어 장치 |
| US10725631B2 (en) * | 2015-04-30 | 2020-07-28 | Pixia Corp. | Systems and methods of selecting a view from a plurality of cameras |
| ES2596534B1 (es) * | 2015-07-06 | 2017-04-21 | Market Sp'94, S.L. | Procedimiento para inclusión de motivos publicitarios mediante un procesador de imágenes |
| US9858683B2 (en) | 2015-08-05 | 2018-01-02 | Intel Corporation | Method and system of planar surface detection objects in 3d space generated from captured images for image processing |
-
2017
- 2017-02-28 JP JP2017035930A patent/JP7086522B2/ja active Active
-
2018
- 2018-02-22 US US15/902,790 patent/US10705678B2/en active Active
- 2018-02-27 EP EP18158852.6A patent/EP3367666B1/en active Active
- 2018-02-27 KR KR1020180023411A patent/KR102271527B1/ko active IP Right Grant
- 2018-02-28 CN CN201810165870.2A patent/CN108510595B/zh active Active
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2018142164A5 (ja) | 画像処理装置、情報処理方法及びプログラム | |
| JP2018049591A5 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP6659924B2 (ja) | ヘッドマウントディスプレイの提示の調整 | |
| JP2018180655A5 (ja) | ||
| JP2018180654A5 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| CN108769462B (zh) | 自由视角场景漫游方法及装置 | |
| JP2018511098A5 (ja) | ||
| EP3606032A1 (en) | Method and camera system combining views from plurality of cameras | |
| JPWO2021140886A5 (ja) | ||
| JP2019152903A5 (ja) | 情報処理装置および情報処理方法 | |
| CN110956695B (zh) | 信息处理装置、信息处理方法和存储介质 | |
| EP3136204A3 (en) | Image processing device and image processing method | |
| JP2015079444A5 (ja) | ||
| JP2020086983A5 (ja) | ||
| JP2020068513A5 (ja) | 画像処理装置およびその制御方法、プログラム | |
| JP2018206025A5 (ja) | ||
| JP2017191492A5 (ja) | ||
| JPWO2019244944A5 (ja) | ||
| JP2016217944A5 (ja) | ||
| JP2020042407A5 (ja) | ||
| JP2019040229A5 (ja) | ||
| JP2023115088A5 (ja) | ||
| JP2020036116A5 (ja) | ||
| JP2020523668A5 (ja) | ||
| CN110969706A (zh) | 增强现实设备及其图像处理方法、系统以及存储介质 |