JP2020068513A5 - 画像処理装置およびその制御方法、プログラム - Google Patents

画像処理装置およびその制御方法、プログラム Download PDF

Info

Publication number
JP2020068513A5
JP2020068513A5 JP2018202077A JP2018202077A JP2020068513A5 JP 2020068513 A5 JP2020068513 A5 JP 2020068513A5 JP 2018202077 A JP2018202077 A JP 2018202077A JP 2018202077 A JP2018202077 A JP 2018202077A JP 2020068513 A5 JP2020068513 A5 JP 2020068513A5
Authority
JP
Japan
Prior art keywords
image
image processing
processing apparatus
specific position
panoramic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018202077A
Other languages
English (en)
Other versions
JP7249755B2 (ja
JP2020068513A (ja
Filing date
Publication date
Application filed filed Critical
Priority to JP2018202077A priority Critical patent/JP7249755B2/ja
Priority claimed from JP2018202077A external-priority patent/JP7249755B2/ja
Priority to PCT/JP2019/035950 priority patent/WO2020084951A1/ja
Publication of JP2020068513A publication Critical patent/JP2020068513A/ja
Priority to US17/231,036 priority patent/US11627251B2/en
Publication of JP2020068513A5 publication Critical patent/JP2020068513A5/ja
Application granted granted Critical
Publication of JP7249755B2 publication Critical patent/JP7249755B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は画像処理装置およびその制御方法、プログラムに関する。
本発明の一態様による画像処理装置は、
撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置による撮像に基づく複数の画像を取得する画像取得手段と、
前記画像取得手段により取得された複数の画像に基づいて、前記撮像領域内のオブジェクトの３次元形状モデルを生成するモデル生成手段と、
生成された前記３次元形状モデルに基づいて、前記撮像領域内の特定位置を基準とするパノラマ画像を生成するパノラマ画像生成手段と、を有する。

Claims (17)

  1. 撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置による撮像に基づく複数の画像を取得する画像取得手段と、
    前記画像取得手段により取得された複数の画像に基づいて、前記撮像領域内のオブジェクトの３次元形状モデルを生成するモデル生成手段と、
    生成された前記３次元形状モデルに基づいて、前記撮像領域内の特定位置を基準とするパノラマ画像を生成するパノラマ画像生成手段と、を有することを特徴とする画像処理装置。
  2. 前記モデル生成手段により生成された前記３次元形状モデルに基づいて、前記撮像領域内の前記特定位置からそれぞれ異なる方向を見た複数の仮想視点に対応する複数の仮想視点画像を生成する仮想視点画像生成手段を有し、
    前記パノラマ画像生成手段は、前記仮想視点画像生成手段により生成された前記複数の仮想視点画像を用いた画像処理により、前記特定位置を基準とする前記パノラマ画像を生成することを特徴とする請求項１に記載の画像処理装置。
  3. 前記仮想視点画像生成手段により生成される前記複数の仮想視点画像は、前記特定位置を含む水平面上におけるそれぞれ異なる４以上の方向に対応する４以上の仮想視点画像と、前記特定位置を含む垂直面上におけるそれぞれ異なる２以上の方向に対応する２以上の仮想視点画像とを含むことを特徴とする請求項２に記載の画像処理装置。
  4. 前記パノラマ画像生成手段により生成される前記パノラマ画像は、正距円筒図法に従った画像であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
  5. 前記パノラマ画像生成手段により生成される前記パノラマ画像は、前記特定位置を基準とする水平面上における３６０度方向の画像を含むことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
  6. 前記パノラマ画像生成手段により生成される前記パノラマ画像は、全天球画像であることを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
  7. ユーザ操作に基づいて前記特定位置を設定する設定手段をさらに有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
  8. 前記設定手段は、前記ユーザ操作に応じて入力された座標値に対応する位置を前記特定位置として設定することを特徴とする請求項７に記載の画像処理装置。
  9. 前記撮像領域の俯瞰画像を表示部に表示させる表示制御手段をさらに有し、
    前記設定手段は、前記表示制御手段により前記表示部に表示された前記俯瞰画像における前記ユーザ操作に応じた指示位置に基づいて、前記特定位置を設定する、ことを特徴とする請求項７に記載の画像処理装置。
  10. 前記表示部は、タッチパネルディスプレイであり、
    前記設定手段は、前記俯瞰画像を表示している前記タッチパネルディスプレイへのタッチ入力の位置を前記指示位置として用いて、前記特定位置を設定することを特徴とする請求項９に記載の画像処理装置。
  11. 前記撮像領域内のオブジェクトに応じた位置を、前記特定位置として設定する設定手段をさらに有することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
  12. 前記撮像領域の俯瞰画像を表示部に表示させる表示制御手段を有し、 前記設定手段は、前記表示制御手段により前記表示部に表示された前記俯瞰画像に含まれる複数のオブジェクトのうちユーザ操作に基づいて選択されたオブジェクトに応じた位置を、前記特定位置として設定する、ことを特徴とする請求項１１に記載の画像処理装置。
  13. 前記パノラマ画像生成手段により生成されるパノラマ画像の初期表示に対応する視線方向は、ユーザにより操作される仮想カメラの向き、又は、前記撮像領域内のオブジェクトの向きに基づいて決まることを特徴とする請求項１乃至１２の何れか１項に記載の画像処理装置。
  14. 前記特定位置は、前記複数の撮像装置の位置とは異なる位置であることを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
  15. 前記特定位置を連続的に移動させる制御手段を有し、
    前記パノラマ画像生成手段は、前記制御手段による前記特定位置の移動に応じた動画のパノラマ画像を生成することを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
  16. 撮像領域をそれぞれ異なる方向から撮像する複数の撮像装置による撮像に基づく複数の画像を取得する画像取得工程と、
    前記画像取得工程により取得された複数の画像に基づいて、前記撮像領域内のオブジェクトの３次元形状モデルを生成するモデル生成工程と、
    前記モデル生成工程により生成された３次元形状モデルに基づいて、前記撮像領域内の特定位置を基準とするパノラマ画像を生成するパノラマ画像生成工程と、を有することを特徴とする画像処理装置の制御方法。
  17. コンピュータを、請求項１乃至１５のいずれか１項に記載された画像処理装置の各手段として機能させるためのプログラム。
JP2018202077A 2018-10-26 2018-10-26 画像処理システムおよびその制御方法、プログラム Active JP7249755B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018202077A JP7249755B2 (ja) 2018-10-26 2018-10-26 画像処理システムおよびその制御方法、プログラム
PCT/JP2019/035950 WO2020084951A1 (ja) 2018-10-26 2019-09-12 画像処理装置および画像処理方法
US17/231,036 US11627251B2 (en) 2018-10-26 2021-04-15 Image processing apparatus and control method thereof, computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018202077A JP7249755B2 (ja) 2018-10-26 2018-10-26 画像処理システムおよびその制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2020068513A JP2020068513A (ja) 2020-04-30
JP2020068513A5 true JP2020068513A5 (ja) 2021-12-09
JP7249755B2 JP7249755B2 (ja) 2023-03-31

Family

ID=70330412

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018202077A Active JP7249755B2 (ja) 2018-10-26 2018-10-26 画像処理システムおよびその制御方法、プログラム

Country Status (3)

Country Link
US (1) US11627251B2 (ja)
JP (1) JP7249755B2 (ja)
WO (1) WO2020084951A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7237538B2 (ja) 2018-11-14 2023-03-13 キヤノン株式会社 情報処理装置、それを含むシステム、情報処理方法、およびプログラム
US20220219090A1 (en) * 2021-01-08 2022-07-14 Sony Interactive Entertainment America Llc DYNAMIC AND CUSTOMIZED ACCESS TIERS FOR CUSTOMIZED eSPORTS STREAMS
US11845011B2 (en) 2021-01-08 2023-12-19 Sony Interactive Entertainment LLC Individualized stream customizations with social networking and interactions
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
JP2022131778A (ja) 2021-02-26 2022-09-07 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP7474521B2 (ja) 2022-04-08 2024-04-25 三栄通信工業株式会社 情報処理装置及びプログラム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4148671B2 (ja) * 2001-11-06 2008-09-10 ソニー株式会社 表示画像制御処理装置、動画像情報送受信システム、および表示画像制御処理方法、動画像情報送受信方法、並びにコンピュータ・プログラム
JP3744002B2 (ja) * 2002-10-04 2006-02-08 ソニー株式会社 表示装置、撮像装置、および撮像／表示システム
JP2006352539A (ja) * 2005-06-16 2006-12-28 Sharp Corp 広視野映像システム
JP5039922B2 (ja) * 2008-03-21 2012-10-03 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像描画システム、画像描画サーバ、画像描画方法およびコンピュータ・プログラム
JP5011224B2 (ja) * 2008-07-09 2012-08-29 日本放送協会 任意視点映像生成装置及び任意視点映像生成プログラム
EP2791909A4 (en) * 2011-12-16 2015-06-24 Thomson Licensing METHOD AND DEVICE FOR PRODUCING 3D CONTENTS WITH FREE VIEWPOINT
NL2010463C2 (nl) * 2013-03-15 2014-09-16 Cyclomedia Technology B V Werkwijze voor het genereren van een panoramabeeld.
US10356393B1 (en) * 2015-02-16 2019-07-16 Amazon Technologies, Inc. High resolution 3D content
JP6688469B2 (ja) * 2015-03-05 2020-04-28 ソニー株式会社 画像処理装置および画像処理方法
WO2016140060A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 画像処理装置および画像処理方法
JP6551734B2 (ja) 2015-06-05 2019-07-31 リコーイメージング株式会社 動画像作成システム、動画像作成方法及び動画像作成プログラム
JP6164780B2 (ja) * 2015-09-30 2017-07-19 徹平 江里口 動画像処理装置、動画像処理方法、動画像処理プログラム及び動画像処理表示システム。
US10791285B2 (en) * 2015-10-05 2020-09-29 Woncheol Choi Virtual flying camera system
JP6778912B2 (ja) * 2016-02-03 2020-11-04 パナソニックＩｐマネジメント株式会社 映像表示方法及び映像表示装置
WO2017149875A1 (ja) * 2016-02-29 2017-09-08 ソニー株式会社 撮像制御装置、撮像装置及び撮像制御方法
JP6330987B2 (ja) * 2016-06-17 2018-05-30 日本電気株式会社 画像処理装置、画像処理方法、及び記憶媒体
CN112954295B (zh) * 2016-09-01 2023-08-04 松下知识产权经营株式会社 多视点摄像系统、三维空间重构系统及三维空间识别系统
JP6742869B2 (ja) * 2016-09-15 2020-08-19 キヤノン株式会社 画像処理装置および画像処理方法
JP6434947B2 (ja) * 2016-09-30 2018-12-05 キヤノン株式会社 撮像システム、画像処理装置、画像処理方法、及びプログラム
JP2018074502A (ja) * 2016-11-02 2018-05-10 キヤノン株式会社 撮像装置、情報処理装置、撮像システム、撮像方法、情報処理方法、およびプログラム
JP6948171B2 (ja) * 2016-11-30 2021-10-13 キヤノン株式会社 画像処理装置および画像処理方法、プログラム
JP6539253B2 (ja) * 2016-12-06 2019-07-03 キヤノン株式会社 情報処理装置、その制御方法、およびプログラム
JP6779139B2 (ja) * 2017-01-11 2020-11-04 キヤノン株式会社 制御装置、制御方法
JP6878014B2 (ja) * 2017-01-13 2021-05-26 キヤノン株式会社 画像処理装置及びその方法、プログラム、画像処理システム
JP6482580B2 (ja) * 2017-02-10 2019-03-13 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
WO2018147329A1 (ja) * 2017-02-10 2018-08-16 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 自由視点映像生成方法及び自由視点映像生成システム
JP6824579B2 (ja) * 2017-02-17 2021-02-03 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
US10237477B2 (en) * 2017-05-22 2019-03-19 Fyusion, Inc. Loop closure
JP6409107B1 (ja) * 2017-09-06 2018-10-17 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP6403862B1 (ja) * 2017-12-14 2018-10-10 キヤノン株式会社 ３次元モデルの生成装置、生成方法及びプログラム
JP6678313B2 (ja) * 2018-05-10 2020-04-08 パナソニックＩｐマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
JP7378243B2 (ja) 2019-08-23 2023-11-13 キヤノン株式会社 画像生成装置、画像表示装置および画像処理方法

Similar Documents

Publication Publication Date Title
JP2020068513A5 (ja) 画像処理装置およびその制御方法、プログラム
WO2015122108A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2020095729A (ja) 画像処理装置、画像処理方法及びプログラム
JP2018049591A5 (ja) 画像処理装置、画像処理方法及びプログラム
JP2018180655A5 (ja)
JP2018046448A5 (ja)
JP2018142164A5 (ja) 画像処理装置、情報処理方法及びプログラム
JP2019152903A5 (ja) 情報処理装置および情報処理方法
WO2016042926A1 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018036955A (ja) 画像処理装置、画像処理方法及びプログラム
KR102049456B1 (ko) 광 필드 영상을 생성하는 방법 및 장치
JP6812128B2 (ja) 情報処理装置および情報処理方法
JP2017191492A5 (ja)
JP2020086983A5 (ja)
JP2018011637A5 (ja)
JP2010093783A5 (ja)
JP2017151648A5 (ja)
JP2019125303A5 (ja)
JP2020004325A5 (ja)
JPWO2019171557A1 (ja) 画像表示システム
WO2018051747A1 (ja) 画像処理装置、画像生成方法及びプログラム
JP6319804B2 (ja) 投影画像生成装置、投影画像生成方法および投影画像生成プログラム
JP2020036116A5 (ja)
JP2020173529A (ja) 情報処理装置、情報処理方法、及びプログラム
CN114047831B (zh) 直接三维指向的计算系统和追踪指向/输入装置的方法