JP2017069920A - 自由視点画像データ生成装置および自由視点画像データ再生装置 - Google Patents
自由視点画像データ生成装置および自由視点画像データ再生装置 Download PDFInfo
- Publication number
- JP2017069920A JP2017069920A JP2015197097A JP2015197097A JP2017069920A JP 2017069920 A JP2017069920 A JP 2017069920A JP 2015197097 A JP2015197097 A JP 2015197097A JP 2015197097 A JP2015197097 A JP 2015197097A JP 2017069920 A JP2017069920 A JP 2017069920A
- Authority
- JP
- Japan
- Prior art keywords
- image
- correction
- viewpoint
- amount
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【解決手段】自由視点画像データ生成装置(100)は、複数の撮像装置(多視点撮像装置200)の撮影時の配置情報を受け付ける操作受付部(130)と、補正対象画像および参照画像に対するそれぞれの動き量を算出し、それぞれの動き量の成分の一部と複数の撮像装置の配置情報とを参照することにより動き補正量を算出し、複数の視点画像に対し、ぶれ補正をそれぞれ行う制御部110と、を備えている。
【選択図】図1
Description
以下、本明細書に添付された図面を参照して、本発明に係る自由視点画像データ生成装置100の好適な実施形態である実施形態1について詳細に説明する。なお、異なる図面においても、同じ符号を付した部材は同様のものであるとして、一度、説明した部材に関しては説明を省略することとする。
(自由視点画像データ生成装置の概要)
本実施形態に係る自由視点画像データ生成装置は、後述の実施形態2に係る自由視点画像データ再生装置が自由視点画像を再生するために参照する自由視点画像データを生成する。
図1は、本発明の一実施形態に係る自由視点画像データ生成装置100(以下、「データ生成装置100」と略称する)の構成を示すブロック図である。まず、この図を用いてデータ生成装置100の構成の概略を説明する。
また、多視点撮像装置200の各カメラは、後で行うパノラマ合成のために、隣接する2つのカメラの視点画像間で一部重なる領域が発生するような画角で撮影できるように構成されていることが好ましい。
次に、データ生成装置100を用いた自由視点画像データ生成方法について図4を参照しながら説明する。図4は、自由視点画像データ生成方法を示すフローチャートである。
ここで、xn,t,yn,t,zn,t,は、それぞれ、X軸、Y軸、Z軸に沿った動き量の成分を示しており、nは、撮影時に使用した図2の多視点撮像装置200の各カメラに対応し、カメラ201、カメラ202、カメラ203、カメラ204、カメラ205およびカメラ206の、補正量は、ぞれぞれ、M1,t、M2,t、M3,t、M4,t、M5,tおよびM6,tとする。また、tは任意の時刻を表す。
ここで、第1の補正量は、式(2)で表すように、X軸方向の動き量、およびY軸方向の動き量、ならびにヨー方向の回転の動き量、のみで構成される。
また、第2の参照画像である、カメラ205による視点画像に対する第1の補正量A5,tは式(4)となる。
また、ここで、参照画像として、多視点撮像装置200におけるすべてのカメラのうち、補正対象画像を撮影したカメラ以外のカメラ(上記の例の場合、カメラ202、203、204、205、206)による各々の撮像画像が選択され、第1の補正部114が多視点撮像装置200におけるすべてのカメラによる視点画像に対する第1の補正量を全て算出した場合は、各第1の補正量を算出後に、例えば、A1,tおよびA6,t(A3,tおよびA4,t、またはA5,tおよびA6,t)の組み合わせにおいて、一方の第1の補正量の座標系を、他方の第1の補正量の座標系に変換した後、これらの第1の補正量のそれぞれの成分の平均をとった値を、ステップS5以降に使用するための第1の補正量としてもよい。
このようにして、第2の補正部115は、カメラ201による視点画像に対するロール方向の補正量を求める。
このようにして、第3の補正部116は、カメラ201による視点画像に対するピッチ方向の補正量を求め、第2の補正量B1,tを更新する。
また、第4の補正部117は、第1の補正量A3,tのY軸成分を参照する代わりに、第1の補正量A5,tのX軸方向の成分を参照することも可能である。
また、ここで、B1,tのZ軸方向の成分として、上述したようなカメラ203による視点画像に対する第1の補正量とカメラ205による視点画像に対する第1の補正量との単純平均または重みづけ平均を用いてもよい。
ステップS8において、補正選択部113は、すべての時刻のフレームに対してステップS3からステップS7までの処理が終わったか否かを判定する。すべての時刻のフレームに対してこれらの処理が終わっている場合は、ステップS9に進み、そうでない場合は、ステップS3に戻る。
以上の説明からわかるように、データ生成装置100は、例えば、多視点撮像装置200による複数の視点画像からユーザが選択した補正対象画像と、補正対象画像を撮影したカメラの光軸に直交する光軸であって、水平方向の光軸を有するカメラによって撮影された第1の参照画像と、補正対象画像を撮影したカメラの光軸に直交する光軸であって鉛直方向の光軸を有するカメラによって撮影された画像と、の3種類の画像にそれぞれ対応する動き量の成分の一部から、第1の補正量を算出する。そして、データ生成装置100は、第1の参照画像および第2の参照画像から算出した2つの第1の補正量と、多視点撮像装置200における各カメラの配置情報と、を参照して、補正対象画像に対する第2の補正量を算出する。そして、データ生成装置100は、補正対象画像に対する、第1の補正量および第2の補正量を合成して、最終的な動き補正量を求める。そして、データ生成装置100は、動き補正量を参照して、多視点撮像装置200による複数の視点画像をそれぞれぶれ補正し、ぶれ補正した複数の視点画像をパノラマ合成する。
多視点撮像装置200は、それぞれ異なる方向に光軸を向けた複数の撮像装置を備えていればよく、上記で説明したような、立方体状の基部207の各面に直交する方向に各々の光軸を向けた6つの撮像装置を備えている構成は、その一例である。図8は、多視点撮像装置200の別の例を示す図である。
また、上記では、参照画像の候補が複数ある場合、予め定めた条件を満たす画像を選択することについて説明した。例えば、複数の候補がある場合は、その条件として、より鉛直下向きに向いているカメラを選択してもよい。通常、立方体状の基部の各面にカメラを配置する場合、立方体のいずれかの頂点を重力方向にして撮影する場合があり、この場合、当該頂点を共有する3つの面にそれぞれ配置されたカメラを鉛直下向きに向けて撮影する。
さらにステップS2において、補正選択部113は、参照画像を選択するときの別の条件として、参照画像の候補画像から、エッジのある領域を識別し、当該領域が当該候補画像全体の領域を占める割合が所定の値以上であれば、参照画像として選択する構成としてもよい。図11は、ステップS2のさらに別の態様における、所定の条件を満たす参照画像を参照画像の候補画像から選択するときの補正選択部113の動作について説明するためのフローチャートである。
さらにまた、ステップS2において、補正選択部113は、光軸方向を鉛直下向きに向けて配置されたカメラによって撮像されて、かつエッジのある領域が多い、画像を、参照画像として選択してもよい。
以下、本明細書に添付された図面を参照して、本発明に係る自由視点画像データ生成装置の好適な実施形態である実施形態1について詳細に説明する。なお、異なる図面においても、同じ符号を付した部材は同様のものであるとして、一度、説明した部材に関しては説明を省略することとする。
(自由視点画像データ再生装置500の概要)
本実施形態に係る自由視点画像データ再生装置500は、上述の実施形態1に係るデータ生成装置100とほぼ同じ構成であり、これらの違いとしては、自由視点画像データを表示するためのパノラマ表示生成部502および表示部505を備えている点と、データ生成装置100では、合成前の個々の画像に対して動き補正を行ってから、合成をおこなっていたが、自由視点画像データ再生装置500では、合成後に、算出した動き補正量を参照して補正を行う点が異なる。
図13は、自由視点画像データ再生装置500(以下、「データ再生装置500」と略称する)の構成を示すブロック図である。まず、この図を用いてデータ再生装置500の構成の概略を説明する。なお、以下の説明では、データ生成装置100と共通の部材については同じ番号で記載し、その説明は省略する。
図14は、パノラマ表示生成部502および表示部505の構成を示すブロック図である。
以下に、本実施形態におけるデータ再生装置500を用いた自由視点画像データ再生方法について説明する。なお、本態様における自由視点画像データ生成方法の各工程は、ステップS9の工程の代わりに、下記で説明するステップS600〜ステップS604を実施すること以外は、上述の自由視点画像データ生成方法の各工程と同じである。
以上の説明からわかるように、データ再生装置500は、多視点撮像装置200の各カメラによる複数の視点画像からユーザが選択した補正対象画像と、その画像を撮影したカメラの光軸に、光軸が直交して、かつそれぞれの光軸が互いに直交している2つのカメラによってそれぞれ撮影された2つの参照画像と、の3種類の画像に対する各々の第1の動き補正量を算出する。そして、データ再生装置500は、これら2つの参照画像から算出した2つの第1の動き補正量と多視点撮像装置200のカメラの配置情報とを参照して、補正画像対象に対する第2の動き補正量を算出する。次に、データ再生装置500は、補正対象画像に対する第1の動き補正量と第2の動き補正量とを合成して、最終的な動き補正量として求める。そして、データ再生装置500は、当該動き補正量を用いて、表示部505によって表示される全方位画像の部分を指示するための視線方向を制御することにより、カメラの振動による画像の揺れを軽減することができる。
データ生成装置100の制御ブロックおよびデータ再生装置500の制御ブロックは、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、CPU(CentralProcessingUnit)を用いてソフトウェアによって実現してもよい。
本発明の態様1に係る自由視点画像データ生成装置100は、複数の撮像装置(多視点撮像装置200、300および400)によりそれぞれ撮影された複数の視点画像に対してぶれ補正を行い、当該複数の視点画像によって全方位画像を生成する自由視点画像データ生成装置100であって、前記複数の撮像装置の撮影時の配置情報を受け付ける受付部(操作受付部130)と、当該複数の撮像装置によってそれぞれ撮影された複数の視点画像を受け付け、前記複数の視点画像から選択された補正対象画像を撮像した撮像装置以外の撮像装置によって撮像された前記複数の視点画像のうちから少なくとも1つ以上の画像を、参照画像として設定し、前記補正対象画像および前記参照画像に対して、現在のフレームと過去のフレームとからそれぞれの動き量を算出し、それぞれの前記動き量の成分の一部と前記配置情報とを参照することにより前記補正対象画像に対する動き補正量を算出し、当該動き補正量および前記配置情報を参照することにより、前記複数の視点画像に対し、ぶれ補正をそれぞれ行う制御部110と、を備えている。
110 制御部
118 補正量合成部
119 パノラマ生成部
200 多視点撮像装置
500 自由視点画像データ再生装置(データ再生装置)
501 制御部
502 パノラマ表示生成部
505 表示部
Claims (5)
- 複数の撮像装置によりそれぞれ撮影された複数の視点画像に対してぶれ補正を行い、当該複数の視点画像によって全方位画像を生成する自由視点画像データ生成装置であって、
前記複数の撮像装置の撮影時の配置情報を受け付ける受付部と、
当該複数の撮像装置によってそれぞれ撮影された複数の視点画像を受け付け、前記複数の視点画像から選択された補正対象画像を撮像した撮像装置以外の撮像装置によって撮像された前記複数の視点画像のうちから少なくとも1つ以上の画像を、参照画像として設定し、前記補正対象画像および前記参照画像に対して、現在のフレームと過去のフレームとからそれぞれの動き量を算出し、それぞれの前記動き量の成分の一部と前記配置情報とを参照することにより前記補正対象画像に対する動き補正量を算出し、当該動き補正量および前記配置情報を参照することにより、前記複数の視点画像に対し、ぶれ補正をそれぞれ行う制御部と、
を備えていることを特徴とする自由視点画像データ生成装置。 - 前記複数の撮像装置は、それぞれ異なる方向に光軸方向を向けている3つの撮像装置を備え、
前記制御部は、当該3つの撮像装置によってそれぞれ撮像された視点画像を、前記補正対象画像、ならびに2つの前記参照画像である第1の参照画像および第2の参照画像として、それぞれ設定し、前記補正対象画像、前記第1の参照画像および前記第2の参照画像に対する、それぞれの前記動き量を算出することを特徴とする請求項1に記載の自由視点画像データ生成装置。 - 前記3つの撮像装置は、光軸が互いに直交しており、
前記制御部は、前記補正対象画像、前記第1の参照画像および前記第2の参照画像に対する、それぞれの動き量を算出し、前記補正対象画像を撮像した前記撮像装置の光軸に垂直な面に属する動き量の成分と、当該光軸周りの回転の動き量の成分と、前記第1の参照画像を撮像した前記撮像装置の光軸に垂直な面に属する動き量の成分と、当該光軸周りの回転の動き量の成分と、前記第2の参照画像を撮像した前記撮像装置の光軸周りの回転の動き量の成分と、を参照することにより、前記補正対象画像に対する動き補正量を算出することを特徴とする請求項2に記載の自由視点画像データ生成装置。 - 前記制御部は、前記参照画像の候補となる画像が複数ある場合、前記配置情報を参照して、より鉛直下向きに向けて配置されている撮像装置により撮影された画像を、前記参照画像として設定することを特徴とする請求項1から3のいずれか1項に記載の自由視点画像データ生成装置。
- 複数の撮像装置によりそれぞれ撮影された複数の視点画像により全方位画像を生成し、当該全方位画像の一部分を表示する自由視点画像データ再生装置であって、
前記複数の撮像装置の撮影時の配置情報、および視線方向を受け付ける受付部と、
当該複数の撮像装置によってそれぞれ撮影された複数の視点画像を受け付け、前記複数の視点画像から選択された補正対象画像を撮像した撮像装置以外の撮像装置によって撮像された前記複数の視点画像のうちから少なくとも1つ以上の画像を、参照画像として設定し、前記補正対象画像および前記参照画像に対して、現在のフレームと過去のフレームとからそれぞれの動き量を算出し、それぞれの前記動き量の成分の一部と前記配置情報とを参照することにより前記補正対象画像に対する動き補正量を算出し、前記複数の視点画像により全方位画像を合成する制御部と、
前記動き補正量を参照することにより、前記視線方向を制御して、全方位画像の一部分を表示する表示部と、を備えていることを特徴とする自由視点画像データ再生装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015197097A JP6563300B2 (ja) | 2015-10-02 | 2015-10-02 | 自由視点画像データ生成装置および自由視点画像データ再生装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015197097A JP6563300B2 (ja) | 2015-10-02 | 2015-10-02 | 自由視点画像データ生成装置および自由視点画像データ再生装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017069920A true JP2017069920A (ja) | 2017-04-06 |
JP2017069920A5 JP2017069920A5 (ja) | 2018-11-08 |
JP6563300B2 JP6563300B2 (ja) | 2019-08-21 |
Family
ID=58493000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015197097A Expired - Fee Related JP6563300B2 (ja) | 2015-10-02 | 2015-10-02 | 自由視点画像データ生成装置および自由視点画像データ再生装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6563300B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109561253A (zh) * | 2018-12-18 | 2019-04-02 | 深圳岚锋创视网络科技有限公司 | 一种全景视频防抖的方法、装置及便携式终端 |
KR20190071534A (ko) * | 2017-12-14 | 2019-06-24 | 포디리플레이코리아 주식회사 | 다채널 영상 안정화 장치 및 방법 |
EP3862970A1 (en) | 2020-02-05 | 2021-08-11 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
-
2015
- 2015-10-02 JP JP2015197097A patent/JP6563300B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20190071534A (ko) * | 2017-12-14 | 2019-06-24 | 포디리플레이코리아 주식회사 | 다채널 영상 안정화 장치 및 방법 |
KR101993468B1 (ko) * | 2017-12-14 | 2019-06-27 | 포디리플레이코리아 주식회사 | 다채널 영상 안정화 장치 및 방법 |
CN109561253A (zh) * | 2018-12-18 | 2019-04-02 | 深圳岚锋创视网络科技有限公司 | 一种全景视频防抖的方法、装置及便携式终端 |
US11490010B2 (en) | 2018-12-18 | 2022-11-01 | Arashi Vision Inc. | Panoramic video anti-shake method and portable terminal |
EP3862970A1 (en) | 2020-02-05 | 2021-08-11 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and program |
US11836879B2 (en) | 2020-02-05 | 2023-12-05 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium for correcting a shift between three-dimensional positions |
Also Published As
Publication number | Publication date |
---|---|
JP6563300B2 (ja) | 2019-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10685467B2 (en) | Method and apparatus for transmitting and receiving virtual reality content | |
US11270464B2 (en) | Dynamic detection and correction of light field camera array miscalibration | |
CN108886611B (zh) | 全景立体视频系统的拼接方法和装置 | |
JP3975736B2 (ja) | 画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム | |
WO2019049421A1 (ja) | キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法 | |
US10681276B2 (en) | Virtual reality video processing to compensate for movement of a camera during capture | |
US20210021785A1 (en) | Light field camera modules and light field camera module arrays | |
US11064154B2 (en) | Device pose detection and pose-related image capture and processing for light field based telepresence communications | |
US20160191891A1 (en) | Video capturing and formatting system | |
US11812009B2 (en) | Generating virtual reality content via light fields | |
KR102412955B1 (ko) | 생성 장치, 식별 정보 생성 방법, 재생 장치 및 화상 생성 방법 | |
US20210021748A1 (en) | Temperature-related camera array calibration and compensation for light field image capture and processing | |
US11431901B2 (en) | Aggregating images to generate content | |
JP6563300B2 (ja) | 自由視点画像データ生成装置および自由視点画像データ再生装置 | |
CN110689476A (zh) | 全景图像拼接方法及其装置、可读存储介质和电子设备 | |
JP2019145059A (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
WO2021104308A1 (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
KR101148508B1 (ko) | 모바일 기기 디스플레이의 표시 장치 및 그 방법, 이를 이용하는 모바일 기기 | |
KR101725024B1 (ko) | 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법 | |
KR101704362B1 (ko) | 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법 | |
US10757345B2 (en) | Image capture apparatus | |
JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
JP2017199958A (ja) | 撮像装置、その制御方法、および制御プログラム | |
WO2013081576A1 (en) | Capturing a perspective-flexible, viewpoint-synthesizing panoramic 3d image with a multi-view 3d camera | |
WO2020245927A1 (ja) | 画像処理方法、画像処理装置、画像処理システムおよびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180927 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190702 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190724 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6563300 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |