JP2014230180A - 背景画像生成装置 - Google Patents
背景画像生成装置 Download PDFInfo
- Publication number
- JP2014230180A JP2014230180A JP2013109484A JP2013109484A JP2014230180A JP 2014230180 A JP2014230180 A JP 2014230180A JP 2013109484 A JP2013109484 A JP 2013109484A JP 2013109484 A JP2013109484 A JP 2013109484A JP 2014230180 A JP2014230180 A JP 2014230180A
- Authority
- JP
- Japan
- Prior art keywords
- auxiliary
- camera
- image
- subject
- background image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims description 62
- 238000006243 chemical reaction Methods 0.000 claims description 30
- 238000004364 calculation method Methods 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 3
- 238000003384 imaging method Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 abstract description 2
- 238000004519 manufacturing process Methods 0.000 description 13
- 238000000034 method Methods 0.000 description 12
- 230000000295 complement effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Abstract
【解決手段】背景画像生成装置1は、被写体を撮影する基準カメラ3と、基準カメラ3を中心とした同一円上に上下左右に1台ずつ配置され、基準カメラ3と異なる位置から、基準カメラ3から見て被写体に隠された背景部分を撮影する4台の補助カメラ4と、基準カメラ3が撮影した基準画像3と、補助カメラ4が撮影した補助画像とを用いて、被写体が削除された背景画像を生成する。
【選択図】図1
Description
かかる構成によれば、背景画像生成装置は、マスター・スレーブ処理により、補助カメラのフォーカス及びズームを簡易に制御することができる。
かかる構成によれば、背景画像生成装置は、基準画像と補助画像との撮影タイミングが一致するので、背景部分の補完誤りを低減することができる。
本願第1発明によれば、補助カメラにより、基準カメラから見て被写体に隠された背景部分を撮影した補助画像が得られ、補助画像の画像座標系を基準画像の画像座標系に合わせてから、この補助画像を用いて補完を行うため、背景部分の欠損がない背景画像を生成することができる。
本願第4発明によれば、基準画像と補助画像との撮影タイミングが一致するので、背景部分の補完誤りを低減することができる。
図1,図2を参照し、撮影装置2の構造を説明した後、背景画像生成装置1(図3)の構成を説明する。
背景画像生成装置1は、背景部分の欠損がない背景画像を生成するものであって、撮影装置2(基準カメラ3及び補助カメラ4)と、距離計測手段5と、演算装置6(図3)とを備える。
図1に示すように、撮影装置2は、1台の基準カメラ3と、4台の補助カメラ4(4U,4D,4L,4R)とをリム構造体20に取り付けたものである。
また、図2では、図面を見易くするため、一部符号を省略すると共に、ステレオカメラ5L,5R以外を破線で図示した。
図3を参照し、背景画像生成装置1の構成について、説明する(適宜図1,図2参照)。
図3に示すように、基準カメラ3は、被写体を撮影する一般的なカメラであり、ズーム駆動手段31と、フォーカス駆動手段33とを備える。
このズーム値変換テーブルは、ズームリングの駆動量と、ズーム値とを予め対応付けたものである。
このフォーカス値変換テーブルは、フォーカスリングの駆動量と、フォーカス値とを予め対応付けたものである。
この位置変換テーブルは、ボールねじ24の回転量と、補助カメラ4の位置とを予め対応付けたものである。
この光軸方向変換テーブルは、ベルト43aの回転量と、補助カメラ4の光軸方向αとを予め対応付けたものである。
このズーム値変換テーブルは、ズーム駆動手段31と同様のものである。
このフォーカス値変換テーブルは、フォーカス駆動手段33と同様のものである。
図4を参照して、基準カメラ3及び補助カメラ4の関係について、説明する(適宜図3参照)。
図4では、説明を簡易にするため、基準カメラ3、及び、基準カメラ3の左右に配置された補助カメラ4L,4Rのみを図示した。
また、図4では、基準カメラ3及び補助カメラ4L,4Rは、背景までの距離Lが等しいこととする。
また、図4では、基準カメラ3及び補助カメラ4L,4Rの画角θが同一であり、基準カメラ3の撮影範囲Wを太線で図示し、補助カメラ4L,4Rの撮影範囲を細線で図示した。
また、図4では、基準カメラ3の光軸方向、及び、補助カメラ4L,4Rの光軸方向αを一点鎖線で図示した。
距離計測手段5は、ステレオカメラ5L,5Rから入力されたステレオ画像を用いて、被写体90から基準カメラ3までの距離P(図5)を計測するものである。例えば、距離計測手段5は、三角測量の原理により、ステレオ画像から視差情報を求め、この視差情報から、距離Pを示す距離情報(奥行情報)を生成する。そして、距離計測手段5は、生成した距離情報を演算装置6に出力する。
図5を参照して、補助画像変換手段621について、説明する(適宜図3参照)。
図5では、説明を簡易にするため、基準カメラ3、及び、基準カメラ3の右側に配置された補助カメラ4Rのみを図示した。
仮想平面91の上に補助画像を射影変換する。具体的には、補助画像変換手段621は、補助画像をθ/2だけ回転させるアフィン変換を行う。
以後、射影変換された補助画像の背景部分S´を「背景部分S」と記す。
位置制御手段623は、基準カメラ用DSP61から入力された距離情報及びサイズ情報に基づいて、基準カメラ3から補助カメラ4までの距離β(図2)が等しくなるように、補助カメラ4の位置を制御するものである。
従って、補助カメラ4U,4D,4L,4Rは、それぞれに対応する位置制御手段623により、距離βが等しくなるように制御され、同一円の円周上に位置することになる。
なお、図4では補助カメラ4U,4Dを省略したが、光軸方向制御手段625は、補助カメラ4U,4Dの光軸方向αをθ/2だけ回転させる。
ズーム制御手段627は、基準カメラ用DSP61から入力されたズーム制御信号に基づいて、基準カメラ3と同一画角になるように、補助カメラ4のズームを制御するものである。つまり、ズーム制御手段627は、基準カメラ3をマスターとし、補助カメラ4をスレーブとしたマスター・スレーブ制御により、補助カメラ4のズームを制御するためのズーム制御信号を生成する。
背景画像生成手段631は、基準画像で被写体90に隠された背景部分Sを、補助画像の背景部分Sで補完することで、背景画像を生成するものである。
図6〜図8を参照し、背景画像生成手段631による背景画像の生成について、説明する(適宜図1〜図3参照)。
図6には、基準カメラ3で撮影した基準画像92の一例を図示した。また、図6では、被写体90に隠された星型の背景部分Sを破線で図示した。
補助画像93Uは、基準カメラ3より上に配置された補助カメラ4Uが被写体90を向いた状態で撮影されている。このため、補助画像93Uでは、背景部分Sの上側が、被写体90からはみ出している。
補助画像93D,93L,93Rは、補助画像93Uと同様、基準カメラ3と異なる位置の補助カメラ4D,4L,4Rが被写体90を向いた状態で撮影されている。このため、補助画像93D,93L,93Rでも、背景部分Sの一部が、被写体90からはみ出している。
ストレージ65は、背景画像94を記憶するものであり、例えば、メモリやハードディスクである。また、ストレージ65は、基準カメラ3から入力された基準画像を記憶してもよい。
なお、TCジェネレータ64及びストレージ65は、一般的なものであるため、詳細な説明を省略する。
図9を参照し、背景画像生成装置1の動作について、説明する(適宜図3参照)。
背景画像生成装置1は、距離計測手段5によって、被写体90から基準カメラ3までの距離Pを計測する(ステップS1)。
背景画像生成装置1は、被写体サイズ算出手段611によって、被写体90のサイズを算出する(ステップS2)。
背景画像生成装置1は、光軸方向制御手段625によって、4台の補助カメラ4の光軸方向αの制御量が等しくなるように、補助カメラ4の光軸方向αを制御する(ステップS3)。
背景画像生成装置1は、フォーカス制御手段629によって、基準カメラ3のフォーカス位置に合焦するように、補助カメラ4のフォーカスを制御する(ステップS4)。
背景画像生成装置1は、補助画像変換手段621によって、補助画像93を、基準画像92と同一の仮想平面上に射影変換する(ステップS6)。
背景画像生成装置1は、背景画像生成手段631によって、被写体90に隠された基準画像92の背景部分Sを、補助画像93の背景部分Sで補完することで、背景画像を生成する(ステップS7)。
背景画像生成装置1は、補助カメラ4により、基準カメラ3から見て被写体90に隠された背景部分Sを撮影した補助画像93が得られ、補助画像93の画像座標系を基準画像92の画像座標系に合わせてから、この補助画像93を用いて補完を行うため、背景部分Sの欠損がない背景画像94を生成することができる。さらに、背景画像生成装置1は、補助画像93の画像座標系の軸方向(水平軸及び垂直軸)に沿って補助カメラ4が配置され、全ての補助カメラ4の位置及び光軸方向の制御量が等しくなるため、補助カメラ4の位置及び光軸方向の制御処理と、背景画像94の生成処理とを簡略化することができる。
例えば、本実施形態では、補助カメラ4が4台であることとして説明したが、背景画像生成装置1は、補助カメラ4が5台以上であってもよい。
また、本実施形態では、撮影装置2がボールねじ24を用いることとして説明したが、背景画像生成装置1は、リニアモータ等の駆動モータや、空気シリンダ等の駆動機構を用いてもよい。
また、本実施形態では、距離計測手段5によって被写体90(前景)を認識することとして説明したが、操作者が操作端末を用いて前景を手動で指定してもよい。
この他、背景画像生成装置1は、距離計測手段5として、レーザ又は赤外線を利用した距離計も利用してもよい。
2 撮影装置
3 基準カメラ
31 ズーム駆動手段
33 フォーカス駆動手段
4,4U,4D,4L,4R 補助カメラ
41 位置駆動手段
43 光軸方向駆動手段
45 ズーム駆動手段
47 フォーカス駆動手段
5 距離計測手段
6 演算装置(演算手段)
61 基準カメラ用DSP
611 被写体サイズ算出手段
613 ズーム制御手段
615フォーカス制御手段
62 補助カメラ用DSP
621 補助画像変換手段
623 位置制御手段
625 光軸方向制御手段
627 ズーム制御手段
629 フォーカス制御手段
63 MPU
64 TCジェネレータ
65 ストレージ
66 同期信号発生手段(カメラ同期手段)
Claims (4)
- 被写体を撮影する基準カメラと、
前記基準カメラを中心とした同一円の円周上に配置され、前記基準カメラと異なる位置から、前記基準カメラから見て前記被写体に隠された背景部分を撮影する4台以上の補助カメラと、
前記基準カメラが撮影した基準画像と、前記補助カメラが撮影した補助画像とを用いて、前記被写体が削除された背景画像を生成する演算手段と、を備える背景画像生成装置であって、
前記演算手段は、
前記補助画像を、前記基準画像と同一の仮想平面上に射影変換する補助画像変換手段と、
前記基準画像で前記被写体に隠された背景部分を、前記補助画像変換手段で射影変換された補助画像の背景部分で補完することで、前記背景画像を生成する背景画像生成手段と、
を備えることを特徴とする背景画像生成装置。 - 前記基準カメラの上下左右に前記補助カメラが1台ずつ配置され、
前記補助カメラは、前記同一円の径方向に移動可能であると共に、前記同一円の径に沿って光軸方向を変更可能であり、
前記被写体から前記基準カメラまでの距離と、前記被写体のサイズとに基づいて、前記基準カメラから前記補助カメラまでの距離が4台の前記補助カメラで等しくなるように、前記補助カメラの位置を制御する位置制御手段と、
前記被写体から前記基準カメラまでの距離と、前記被写体のサイズとに基づいて、4台の前記補助カメラの光軸方向制御量が等しくなるように、前記補助カメラの光軸方向を制御する光軸方向制御手段と、
をさらに備えることを特徴とする請求項1に記載の背景画像生成装置。 - 前記基準カメラのフォーカス位置に合焦するように、前記補助カメラのフォーカスを制御するフォーカス制御手段と、
前記基準カメラと同一画角になるように、前記補助カメラのズームを制御するズーム制御手段と、
をさらに備えることを特徴とする請求項1又は請求項2に記載の背景画像生成装置。 - 前記基準カメラが前記基準画像を撮影するタイミングと、前記補助カメラが前記補助画像を撮影するタイミングとを同期させるカメラ同期手段、
をさらに備えることを特徴とする請求項1から請求項3の何れか一項に記載の背景画像生成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013109484A JP6073187B2 (ja) | 2013-05-24 | 2013-05-24 | 背景画像生成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013109484A JP6073187B2 (ja) | 2013-05-24 | 2013-05-24 | 背景画像生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014230180A true JP2014230180A (ja) | 2014-12-08 |
JP6073187B2 JP6073187B2 (ja) | 2017-02-01 |
Family
ID=52129633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013109484A Active JP6073187B2 (ja) | 2013-05-24 | 2013-05-24 | 背景画像生成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6073187B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015002529A (ja) * | 2013-06-18 | 2015-01-05 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
KR101715563B1 (ko) * | 2016-05-27 | 2017-03-10 | 주식회사 에스,엠,엔터테인먼트 | 다면 영상용 카메라 연동 시스템 |
EP3300022A1 (en) | 2016-09-26 | 2018-03-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008281385A (ja) * | 2007-05-09 | 2008-11-20 | Olympus Corp | 画像処理装置 |
JP2010166218A (ja) * | 2009-01-14 | 2010-07-29 | Tokyo Broadcasting System Holdings Inc | カメラシステム及びその制御方法 |
-
2013
- 2013-05-24 JP JP2013109484A patent/JP6073187B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008281385A (ja) * | 2007-05-09 | 2008-11-20 | Olympus Corp | 画像処理装置 |
JP2010166218A (ja) * | 2009-01-14 | 2010-07-29 | Tokyo Broadcasting System Holdings Inc | カメラシステム及びその制御方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015002529A (ja) * | 2013-06-18 | 2015-01-05 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
KR101715563B1 (ko) * | 2016-05-27 | 2017-03-10 | 주식회사 에스,엠,엔터테인먼트 | 다면 영상용 카메라 연동 시스템 |
EP3300022A1 (en) | 2016-09-26 | 2018-03-28 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and program |
US10824895B2 (en) | 2016-09-26 | 2020-11-03 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US11657514B2 (en) | 2016-09-26 | 2023-05-23 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP6073187B2 (ja) | 2017-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5934363B2 (ja) | インタラクティブな画面閲覧 | |
JP2008140271A (ja) | 対話装置及びその方法 | |
RU2010105103A (ru) | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции | |
TW201225658A (en) | Imaging device, image-processing device, image-processing method, and image-processing program | |
JP6073187B2 (ja) | 背景画像生成装置 | |
JP2013025649A (ja) | 画像処理装置及び画像処理方法、プログラム | |
WO2018121401A1 (zh) | 一种全景视频图像的拼接方法及全景相机 | |
US8908012B2 (en) | Electronic device and method for creating three-dimensional image | |
JP2009212728A (ja) | 立体映像処理装置及び立体映像処理方法 | |
KR101801100B1 (ko) | 몰입형 콘텐츠 제작 지원용 영상 제공 장치 및 방법 | |
JP2010213249A (ja) | ビデオカメラ撮像装置 | |
JP2004364212A (ja) | 物体撮影装置、物体撮影方法及び物体撮影プログラム | |
JP2011095131A (ja) | 画像処理方法 | |
CN104700392B (zh) | 虚拟影像定位方法及其装置 | |
JP6483661B2 (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
KR20190129433A (ko) | 파노라마 영상 생성 방법 및 그 장치 | |
TWI626603B (zh) | 圖像獲取方法及圖像獲取裝置 | |
CN112312041A (zh) | 基于拍摄的图像校正方法、装置、电子设备及存储介质 | |
JP6292785B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2020086651A (ja) | 画像処理装置および画像処理方法 | |
JP2016036081A (ja) | 画像処理装置、方法及びプログラム並びに記録媒体 | |
JP2013192152A (ja) | 撮像装置、撮像システムおよび画像処理方法 | |
WO2022050159A1 (ja) | 立体撮影モデル生成システムおよび立体撮影モデル生成方法 | |
JP5787930B2 (ja) | ビデオ用の仮想ナビゲーションシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6073187 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |