JP2013009082A - 映像合成装置、映像合成方法、および映像合成プログラム - Google Patents
映像合成装置、映像合成方法、および映像合成プログラム Download PDFInfo
- Publication number
- JP2013009082A JP2013009082A JP2011139350A JP2011139350A JP2013009082A JP 2013009082 A JP2013009082 A JP 2013009082A JP 2011139350 A JP2011139350 A JP 2011139350A JP 2011139350 A JP2011139350 A JP 2011139350A JP 2013009082 A JP2013009082 A JP 2013009082A
- Authority
- JP
- Japan
- Prior art keywords
- light source
- video
- source position
- subject
- spherical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Generation (AREA)
Abstract
【解決手段】光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置が、光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像を記憶し、入力された入力映像に含まれる複数の被写体領域を選択し、選択した被写体領域に含まれる被写体が、球面であるか否かを判定し、被写体が球面であると判定した複数の被写体領域毎に、被写体領域における被写体に対する光源位置を算出し、既知映像を、算出した光源位置に基づいて補正し、光源位置を補正した既知映像を、入力映像に合成する。
【選択図】図1
Description
このような光源位置を算出する方法として、カメラに光源が映るように映像を撮像する方法と、直接には光源が映っていない映像から光源位置を推定する方法とが存在する。
前者の方法として、魚眼レンズや全方位カメラを用いることで、被写体と同様に光源を含めて撮像することによって相対的な光源位置を推定する方法(例えば、非特許文献1参照)がある。
後者の方法として、被写体と同じ空間に金属球をおき、その空間をカメラで撮像し、金属球に映った光源に基づいて光源位置を推定する方法(例えば、非特許文献2参照)がある。この方法は、球面における最も照度の高い領域が光源の方向を示すという特性を用いる方法(例えば、非特許文献3参照)である。例えば、図13(a)は、右上前面(破線矢印)方向から光源が照射している球が被写体として撮像された映像の例である。図13(b)は、図13(a)における線分AB上の輝度の分布を示す。線分ABの映像面上での位置は、選択した被写体領域の輪郭画素に対してクラスタリングを行い、推定する。このような分布において輝度が最も高い領域が、最も照度の高い領域であると考えられる。そこで、映像上の球において最も輝度が高い領域の方向(破線矢印方向)に基づいて、光源位置を算出することができる。
を備えたことを特徴とする。
<第1の実施形態>
図1は、本発明の第1の実施形態による映像合成装置20の構成を示すブロック図である。映像合成装置20は、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成して合成映像を生成するコンピュータ装置である。映像合成装置20は、映像入力部1と、映像出力部2と、映像・データ蓄積部3と、領域選択部4と、球面領域判定部5と、光源情報推定部6と、光源情報調整部7と、映像合成部8とを備えている。
映像出力部2は、映像合成装置20によって生成された合成画像を、ディスプレイ等の出力機器に出力し、画像を表示させる。
映像合成部8は、光源情報調整部7によって光源位置を補正した既知映像を、映像・データ蓄積部3に記憶された入力映像に合成する。
まず、映像入力部1は、映像を入力し、映像・データ蓄積部3に格納する(ステップS1)。そして、領域選択部4は、複数の被写体領域を選択する(ステップS2)。ステップS2において得られた個々の被写体領域に対して、光源情報推定部6が、映像面上の光源方向(角度φ)を推定する(ステップS3)。
次に、本発明の第2の実施形態について、図面を参照して説明する。図8は、本実施形態の映像合成装置20構成を示すブロック図である。第2の実施形態による映像合成装置20は、第1の実施形態の映像合成装置20が備える各部に加えて、光源情報補正部9を備える。以下、光源情報補正部9を中心に説明する。本実施形態は、特に、実映像を用いる場合に生じる推定誤差を映像上のハイライト領域を手がかりとして補正するものである。光源情報補正部9は、光源情報推定部6において推定された光源の位置を映像中にあるハイライト領域を用いて補正を行う。
次に、本発明の第3の実施形態について図11のブロック図および図12のフローチャートを参照しながら説明する。第3の実施形態と第1の実施形態との違いは、図11において球面領域再評価部10が追加された点のみであるため、以下、球面領域再評価部10を中心に説明する。第3の実施形態は、例えば、固定カメラによる屋外シーンの映像のように異なる光源位置での同一被写体の映像が複数存在する場合に、各映像フレームで得られた同一被写体領域に対する球面領域判定部の結果を統合することで、その被写体領域に対してより正確に球面領域か否かの判定を行う。
なお、上述の球面領域の再評価ステップにおいては、カメラが固定で光源位置のみが移動する場合のシーンを対象に説明したが、カメラや被写体が動く場合であっても被写体の局所的な領域間で対応がつけば、複数フレームに含まれる同一被写体領域に対する球面領域の判定結果に基づいて式(2)、(3)による判定結果を得ることも可能である。
Claims (7)
- 光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置であって、
光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部と、
前記既知映像と合成する入力映像が入力される映像入力部と、
前記映像入力部に入力された前記入力映像に含まれる複数の被写体領域を選択する領域選択部と、
前記領域選択部によって選択された被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定部と、
前記球面領域判定部によって前記被写体が球面であると判定された複数の被写体領域毎の光源方向を算出し、算出した複数の前記光源方向に基づいて前記被写体に対する光源位置を算出する光源位置算出部と、
前記既知映像を、前記光源位置算出部によって算出された光源位置に基づいて補正する光源位置調整部と、
前記光源位置調整部によって光源位置を補正した前記既知映像を、前記入力映像に合成する映像合成部と
を備えたことを特徴とする映像合成装置。 - 前記光源位置算出部によって算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正部
を備えたことを特徴とする請求項1に記載の映像合成装置。 - 前記球面領域判定部によって得られた球面領域に対して、当該球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価部
を備えたことを特徴とする請求項1または請求項2に記載の映像合成装置。 - 光源位置が含まれる光源情報が予め対応付けられた被写体を含む既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置の映像合成方法であって、
前記既知映像と合成する入力映像が入力される映像入力ステップと、
入力された前記入力映像に含まれる複数の被写体領域を選択する領域選択ステップと、
選択した被写体領域に含まれる被写体が、球面であるか否かを判定する球面領域判定ステップと、
前記被写体が球面であると判定した複数の被写体領域毎の光源方向を算出し、算出した複数の前記光源方向に基づいて前記被写体に対する光源位置を算出する光源位置算出ステップと、
前記既知映像を、前記光源位置算出ステップにおいて算出された光源位置に基づいて補正する光源位置調整ステップと、
光源位置を補正した前記既知映像を、前記入力映像に合成する映像合成ステップと、
を備えたことを特徴とする映像合成方法。 - 前記光源位置算出ステップと前記光源位置調整ステップとの間に、
前記光源位置算出ステップにおいて算出された光源位置に対して、映像上の近傍領域の特性を利用して推定結果の補正を行う光源位置補正ステップ
を備えたことを特徴とする請求項4に記載の映像合成方法。 - 前記球面領域判定ステップと前記光源位置算出ステップとの間に、
前記球面領域判定ステップにおいて得られた球面領域に対して、当該球面領域と同一の被写体領域を含む他の映像を用いて球面領域の再評価を行う球面領域再評価ステップ
を備えたことを特徴とする請求項4または請求項5に記載の映像合成方法。 - 光源位置が予め対応付けられた既知映像が記憶されている既知映像記憶部を備え、光源環境の異なる被写体が撮像された複数の映像から光学的整合性のある映像を合成する映像合成装置のコンピュータに、請求項4から6のいずれか1項に記載の映像合成方法を実行させる映像合成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011139350A JP5590680B2 (ja) | 2011-06-23 | 2011-06-23 | 映像合成装置、映像合成方法、および映像合成プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011139350A JP5590680B2 (ja) | 2011-06-23 | 2011-06-23 | 映像合成装置、映像合成方法、および映像合成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013009082A true JP2013009082A (ja) | 2013-01-10 |
JP5590680B2 JP5590680B2 (ja) | 2014-09-17 |
Family
ID=47676091
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011139350A Expired - Fee Related JP5590680B2 (ja) | 2011-06-23 | 2011-06-23 | 映像合成装置、映像合成方法、および映像合成プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5590680B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015166684A1 (ja) * | 2014-04-30 | 2015-11-05 | ソニー株式会社 | 画像処理装置と画像処理方法 |
KR20190130380A (ko) * | 2018-05-14 | 2019-11-22 | 이정협 | 영상 합성 방법 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033531A (ja) * | 2006-07-27 | 2008-02-14 | Canon Inc | 情報処理方法 |
WO2010004677A1 (ja) * | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
-
2011
- 2011-06-23 JP JP2011139350A patent/JP5590680B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033531A (ja) * | 2006-07-27 | 2008-02-14 | Canon Inc | 情報処理方法 |
WO2010004677A1 (ja) * | 2008-07-08 | 2010-01-14 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、画像合成方法、および画像合成装置 |
Non-Patent Citations (2)
Title |
---|
CSNJ201210019026; 徐栄: 'RGB・距離画像からの照明光源方向の推定に関する検討' 2012年度画像電子学会第40回年次大会予稿 , 20120623, 一般社団法人画像電子学会 * |
JPN6014017268; 徐栄: 'RGB・距離画像からの照明光源方向の推定に関する検討' 2012年度画像電子学会第40回年次大会予稿 , 20120623, 一般社団法人画像電子学会 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015166684A1 (ja) * | 2014-04-30 | 2015-11-05 | ソニー株式会社 | 画像処理装置と画像処理方法 |
US10229483B2 (en) | 2014-04-30 | 2019-03-12 | Sony Corporation | Image processing apparatus and image processing method for setting an illumination environment |
KR20190130380A (ko) * | 2018-05-14 | 2019-11-22 | 이정협 | 영상 합성 방법 |
KR102062982B1 (ko) * | 2018-05-14 | 2020-01-07 | 이정협 | 영상 합성 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP5590680B2 (ja) | 2014-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5820257B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
US10559095B2 (en) | Image processing apparatus, image processing method, and medium | |
US9600887B2 (en) | Techniques for disparity estimation using camera arrays for high dynamic range imaging | |
KR100793838B1 (ko) | 카메라 모션 추출장치, 이를 이용한 해상장면의 증강현실 제공 시스템 및 방법 | |
US20130335535A1 (en) | Digital 3d camera using periodic illumination | |
WO2012114639A1 (ja) | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム | |
JP5725953B2 (ja) | 撮像装置及びその制御方法、並びに情報処理装置 | |
WO2014069247A1 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
KR20110078175A (ko) | 영상 데이터 생성 방법 및 장치 | |
US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
US10097793B2 (en) | Method and system of depth data filling of shadows for image processing | |
JP2013127774A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6674643B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7378219B2 (ja) | 撮像装置、画像処理装置、制御方法、及びプログラム | |
KR102650217B1 (ko) | 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치 | |
JP5847610B2 (ja) | Ar技術を用いたコンピュータ・グラフィックス画像処理システム及び方法 | |
JP2015036841A (ja) | 画像処理装置、距離計測装置、撮像装置、画像処理方法 | |
JP5590680B2 (ja) | 映像合成装置、映像合成方法、および映像合成プログラム | |
JP2017068764A (ja) | 照明情報取得装置、照明復元装置、およびこれらのプログラム | |
JP2016114445A (ja) | 3次元位置算出装置およびそのプログラム、ならびに、cg合成装置 | |
JP2022024688A (ja) | デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム | |
JP2020173726A (ja) | 仮想視点変換装置及びプログラム | |
JP6153318B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
WO2021149509A1 (ja) | 撮像装置、撮像方法、及び、プログラム | |
WO2018150086A2 (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130606 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130611 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130801 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130926 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140701 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140722 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140725 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5590680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |