JP2017111620A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法及び画像処理プログラム Download PDFInfo
- Publication number
- JP2017111620A JP2017111620A JP2015245464A JP2015245464A JP2017111620A JP 2017111620 A JP2017111620 A JP 2017111620A JP 2015245464 A JP2015245464 A JP 2015245464A JP 2015245464 A JP2015245464 A JP 2015245464A JP 2017111620 A JP2017111620 A JP 2017111620A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image processing
- composite information
- depth
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】所定の位置を含む領域が撮影範囲となるように所定の位置を含む領域の周囲に設置された少なくとも2つの撮像装置が撮影した画像を複数の入力画像として、所定の位置を仮想的な視点である仮想視点として、仮想視点に対して設定された奥行に基づいて複数の入力画像を合成して仮想視点画像を生成する画像合成処理のための合成情報を取得する画像処理装置であって、既知の奥行の合成情報に基づいて所望の奥行の合成情報を算出することにより合成情報を取得する合成情報取得手段を備えた。
【選択図】図1
Description
しかしながら、合成情報を取得するためには、作業コストが大きくなるという問題がある。
公知文献1:山内悠嗣、外2名、「[サーベイ論文] 統計的学習手法による人検出」、電子情報通信学会技術研究報告、vol.112、no.197、PRMU2012-43、pp.113-126、2012年9月
公知文献2:Laurent Itti, Christof Koch, and Ernst Niebur,"A Model of Saliency-Based Visual Attention for Rapid Scene Analysis",IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(11):1254-1259 (1998)
g(x、y)=αIi(x、y)+(1−α)Ii+1(x、y) … (式1)
α(x)=(x−xs)/(xe−xs) … (式2)
(式2)において、xs及びxeは、図4に示すように重複領域25の両端のx座標であり、xs<xeである。
次に、本発明の第1の実施形態による画像処理装置を説明する。第1の実施形態は、前述した合成処理に用いる合成情報を求める処理について変形を加えたものである。ここで、図7を参照して仮想全天球画像の生成処理について簡単に説明する。図7は、仮想全天球画像の生成処理を示す模式図である。まず、カメラカメラCi−1、Ci、Ci+1によって入力画像を事前に獲得する。そして、得られた入力画像から前景となる切り出し画像Si−1、Si、Si+1を切り出す。ここで、iは、カメラが並んだ順に付与された順番号である。切り出し画像Sに付与されたiについてもiの値が同じカメラから切り出したことを示している。また、アフィン変換パラメータAについてもiの値が同じカメラの画像に用いるアフィン変換パラメータを示している。図7は、3枚の切り出し画像Si−1、Si、Si+1を合成する例を示している。切り出し画像の最低数は1枚である。
(1)仮想視点に実際に置いたカメラと仮想視点より外側の位置に置かれたカメラの両方で、整合する面の奥行の位置に置かれたチェスボードを撮影する。
(2)対応点に基づいて切り出し位置と変換パラメータを取得する。
次に、本発明の第2の実施形態による画像処理装置を説明する。合成における変換が(式7)のようにアフィン変換に限る場合、アフィン変換は、(式8)のように分解することができる。
次に、本発明の第3の実施形態による画像処理装置を説明する。第3の実施形態は、対応点の場所を推定するものである。前述した第1、第2の実施形態と異なる点は、外側カメラ(カメラ群3の1つ)から仮想視点11までの距離、仮想視点11からチェスボードまでの距離、カメラの撮影可能角度のそれぞれが既知のとき、1つの奥行から求めた合成情報から他の奥行での合成情報を算出できる点である。
(1)2つの奥行まで求めて、近い方からの推定値を用いる。
(2)2つの奥行まで求めて、重み付き平均にする。
Claims (6)
- 所定の位置を含む領域が撮影範囲となるように前記所定の位置を含む領域の周囲に設置された少なくとも2つの撮像装置が撮影した画像を複数の入力画像として、前記所定の位置を仮想的な視点である仮想視点として、前記仮想視点に対して設定された奥行に基づいて複数の前記入力画像を合成して仮想視点画像を生成する画像合成処理のための合成情報を取得する画像処理装置であって、
既知の奥行の前記合成情報に基づいて所望の奥行の前記合成情報を算出することにより前記合成情報を取得する合成情報取得手段を備えた画像処理装置。 - 前記合成情報取得手段は、少なくとも2つの既知の奥行の前記合成情報から内挿または外挿によって所望の前記合成情報を取得する請求項1に記載の画像処理装置。
- 前記合成情報取得手段は、前記合成情報を求めるのに用いる変換式をせん断変形、拡大・縮小、回転を表す要素に分解し、前記要素毎に所望の前記合成情報を取得するための前記変換式のパラメータを算出し、算出した前記パラメータを用いた前記変換式によって、所望の前記合成情報を取得する請求項1に記載の画像処理装置。
- 前記合成情報取得手段は、前記撮像装置と仮想視点が同一の方向を向いていることを前提条件として設定し、既知の奥行から求めた前記合成情報から所望の奥行での前記合成情報を、合成情報が求まっていない点の投影点に基づき取得する請求項1に記載の画像処理装置。
- 所定の位置を含む領域が撮影範囲となるように前記所定の位置を含む領域の周囲に設置された少なくとも2つの撮像装置が撮影した画像を複数の入力画像として、前記所定の位置を仮想的な視点である仮想視点として、前記仮想視点に対して設定された奥行に基づいて複数の前記入力画像を合成して仮想視点画像を生成する画像合成処理のための合成情報を取得する画像処理装置が行う画像処理方法であって、
既知の奥行の前記合成情報に基づいて所望の奥行の前記合成情報を算出することにより前記合成情報を取得する合成情報取得ステップを有する画像処理方法。 - コンピュータを、請求項1から4のいずれか1項に記載の画像処理装置として機能させるための画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015245464A JP6426594B2 (ja) | 2015-12-16 | 2015-12-16 | 画像処理装置、画像処理方法及び画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015245464A JP6426594B2 (ja) | 2015-12-16 | 2015-12-16 | 画像処理装置、画像処理方法及び画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017111620A true JP2017111620A (ja) | 2017-06-22 |
JP6426594B2 JP6426594B2 (ja) | 2018-11-21 |
Family
ID=59079713
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015245464A Active JP6426594B2 (ja) | 2015-12-16 | 2015-12-16 | 画像処理装置、画像処理方法及び画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6426594B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019244200A1 (ja) * | 2018-06-18 | 2019-12-26 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム |
JP2020191598A (ja) * | 2019-05-23 | 2020-11-26 | キヤノン株式会社 | 画像処理システム |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999058927A1 (en) * | 1998-05-08 | 1999-11-18 | Sony Corporation | Image generating device and method |
-
2015
- 2015-12-16 JP JP2015245464A patent/JP6426594B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999058927A1 (en) * | 1998-05-08 | 1999-11-18 | Sony Corporation | Image generating device and method |
Non-Patent Citations (1)
Title |
---|
江尻 正員, ディジタル画像処理 [改訂新版] 第一版 DIGITAL IMAGE PROCESSING, vol. 第1版, JPN6018032562, 9 March 2015 (2015-03-09), pages 166 - 167, ISSN: 0003862784 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019244200A1 (ja) * | 2018-06-18 | 2019-12-26 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム |
JPWO2019244200A1 (ja) * | 2018-06-18 | 2021-03-11 | 株式会社ソニー・インタラクティブエンタテインメント | 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム |
US11202000B2 (en) | 2018-06-18 | 2021-12-14 | Sony Interactive Entertainment Inc. | Learning apparatus, image generation apparatus, learning method, image generation method, and program |
JP2020191598A (ja) * | 2019-05-23 | 2020-11-26 | キヤノン株式会社 | 画像処理システム |
US11935157B2 (en) | 2019-05-23 | 2024-03-19 | Canon Kabushiki Kaisha | Image processing system, image processing method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6426594B2 (ja) | 2018-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11463678B2 (en) | System for and method of social interaction using user-selectable novel views | |
US10762653B2 (en) | Generation apparatus of virtual viewpoint image, generation method, and storage medium | |
US8922718B2 (en) | Key generation through spatial detection of dynamic objects | |
KR101851338B1 (ko) | 실감형 미디어 영상을 제공하는 장치 | |
JP7387434B2 (ja) | 画像生成方法および画像生成装置 | |
US11694313B2 (en) | Computer-generated image processing including volumetric scene reconstruction | |
JP6392738B2 (ja) | 情報取得装置、情報取得方法及び情報取得プログラム | |
JP6426594B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6450305B2 (ja) | 情報取得装置、情報取得方法及び情報取得プログラム | |
JP6392739B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP5906165B2 (ja) | 仮想視点画像合成装置、仮想視点画像合成方法及び仮想視点画像合成プログラム | |
JP6450306B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6416741B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP6632134B2 (ja) | 画像処理装置、画像処理方法およびコンピュータプログラム | |
JP2019057070A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2017102784A (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6411991B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6416740B2 (ja) | 画像処理装置、画像処理方法及びコンピュータプログラム | |
JP2017102715A (ja) | 合成情報テーブル作成装置、合成情報テーブル作成方法及びコンピュータプログラム | |
CN117750043A (zh) | 一种直播中背景融合方法、系统、存储介质及直播设备 | |
JP2023070220A (ja) | カメラ操作模擬装置およびそのプログラム、ならびに、カメラ映像生成装置およびそのプログラム | |
JP2020065114A (ja) | 映像処理装置、映像処理方法、及び映像処理プログラム | |
JP2019215708A (ja) | 視点変換装置及びそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170801 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180705 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180821 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181009 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6426594 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |