JP2003018461A - 画像合成方法及び画像合成装置 - Google Patents
画像合成方法及び画像合成装置Info
- Publication number
- JP2003018461A JP2003018461A JP2001198136A JP2001198136A JP2003018461A JP 2003018461 A JP2003018461 A JP 2003018461A JP 2001198136 A JP2001198136 A JP 2001198136A JP 2001198136 A JP2001198136 A JP 2001198136A JP 2003018461 A JP2003018461 A JP 2003018461A
- Authority
- JP
- Japan
- Prior art keywords
- image
- background image
- composite
- reference area
- start time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
ことができ、特に屋外で行われることの多いスポーツ中
継などのような照明条件の不安定な環境下でも安定で信
頼性の高いストロボ合成を可能にする画像合成方法及び
画像合成装置を提供する。 【解決手段】記録媒体に格納しておいた背景画像に輝度
又は/及び色情報を参照するための参照エリアを設定す
ると共に実際に合成開始時刻の撮影画像にも同じ参照エ
リアを設定するステップと、前記背景画像及び前記撮影
画像の前記参照エリア内での輝度又は/及び色情報を計
測し、前記撮影画像と同等になるような補正を前記背景
画像全体に加えるステップと、補正後の前記背景画像を
合成背景画像とし、合成が開始された時点以降の撮影画
像と前記合成背景画像との間に差分演算を行い、それに
より切り出された差分画像を前記合成背景画像に次々と
重ね合せることによりストロボ写真状の合成画像を生成
するステップとを有する。
Description
作や映画制作などに使用される画像合成方法及び画像合
成装置に関し、更に詳しくは、特にスポーツ中継などの
場合において、被写体である選手の動作をわかりやすく
表現するのに好適な画像合成方法及び画像合成装置に関
する。
野では、被写体である選手の動作をわかりやすく表現す
るには、スローモーション再生という手法が多用されて
いる。また、他の方法として、例えば、選手の動作をス
トロボ写真のように表現し、背景画像に合成していくマ
ルチモーションという技術も過去に開発され、実際の番
組制作に使用されたことがある。
た従来のスローモーション再生手法は、スポーツ中継な
どにおいて、被写体である選手の速い動きをゆっくりと
表現するのに、非常に分かり易くて効果的ものである
が、一方、その動きがゆっくりになることで動いた軌跡
やフォームの移行がとらえにくいという問題点があっ
た。
術は、被写体である選手のみを写した静止画像を背景画
像に次々に合成していくため、残像効果で動きの経緯が
非常に分かり易く評価が高い。ところが、このマルチモ
ーションでは、背景に対して被写体を切り出すのに、背
景差分や動きベクトルなどの画像処理技術を用いなけれ
ばならない。このような画像処理技術の難易度が高いの
で、上手に合成するために、屋内のみでの使用や照明条
件の固定などの制約があるという問題点があった。
のであり、本発明の目的は、視聴者にとって分かり易い
番組制作が実現できる画像合成方法及び画像合成装置を
提供し、さらに、屋外で行われることの多いスポーツ中
継などのような照明条件の不安定な環境下でも、安定で
信頼性の高いストロボ合成を可能にする画像合成方法及
び画像合成装置を提供することにある。
をわかりやすく表現するのに好適な画像合成方法及び画
像合成装置に関し、本発明の上記目的は、記録媒体に格
納しておいた背景画像に輝度又は/及び色情報を参照す
るための参照エリアを設定すると共に、実際に合成開始
時刻の撮影画像にも同じ参照エリアを設定するステップ
又は手段と、前記背景画像の前記参照エリア内及び前記
合成開始時刻の撮影画像の前記参照エリア内での輝度又
は/及び色情報を計測し、前記背景画像が前記合成開始
時刻の撮影画像と同等になるように、計測された輝度又
は/及び色情報に基く補正を前記背景画像全体に加える
ステップ又は手段と、補正後の前記背景画像を合成背景
画像とし、合成が開始された時点以降の撮影画像と前記
合成背景画像との間に差分演算を行い、それにより切り
出された差分画像を前記合成背景画像に次々と重ね合せ
ることによりストロボ写真状の合成画像を生成するステ
ップ又は手段とを有することによって達成される。
施形態について詳細に説明する。なお、本実施形態で
は、記録媒体として画像メモリを、色情報として色温度
を用いることにより、ゴルフの中継番組の撮影を行う場
合を例として説明する。本例の被写体はゴルフのプレイ
をしているゴルフ選手で、背景画像は例えばゴルフ場で
ある。
んでおいた、背景画像(ゴルフ選手のいないゴルフ場)
に輝度及び色温度を参照するための参照エリアを設定す
ると共に、実際に合成開始時刻の撮影画像(ゴルフ選手
のいるゴルフ場)にも同じ参照エリアを設定し、前記背
景画像の前記参照エリア内及び前記合成開始時刻の前記
撮影画像の前記参照エリア内での輝度及び色温度を計測
し、前記背景画像が前記合成開始時刻の撮影画像と同等
になるように、計測された輝度及び色温度に基く補正を
前記背景画像全体に加えてから、補正後の前記背景画像
を合成背景画像とし、合成が開始された時点以降の撮影
画像と前記合成背景画像との間に差分演算を行い、それ
により切り出された差分画像(ゴルフ選手のみが写った
画像)を前記合成背景画像に次々と重ね合せることによ
りストロボ写真状の合成画像を生成するような画像合成
方法を採用している。
の構成を示す模式図である。図1に示すように、撮影用
カメラ10を用いて、背景となる風景(合成したい被写
体であるゴルフ選手がいないゴルフ場)を撮影し、撮影
した画像を撮影用カメラ10に接続されている画像メモ
リ11に保存しておく。
れた背景画像20の一例を示す模式図である。図2に示
すように、背景画像20内にある適当な目標物21(例
えば本例では白い看板)が映っているエリアを、輝度及
び色温度を参照するための参照エリア22と設定してお
く。
に入ってきた場合の画像撮影の構成を示す模式図であ
る。図3に示すように、被写体23であるゴルフ選手が
撮影エリアに入ってきてプレイをし、合成をしたいプレ
イシーンが現れたら或は合成を行いたい時刻になった
ら、図1の背景画像20を撮影する際の撮影条件と全く
同様な条件で、つまり同じ位置、同じ画角に設置された
撮影用カメラ10を用いて、画像を撮影する。
た合成開始時刻の撮影画像24の一例を示す模式図であ
る。図4に示すように、合成開始時刻の撮影画像24内
において、図2で設定したのと同様な参照エリア22を
設定する。
手順を示すブロック図である。図5に示すように、ま
ず、画像メモリ11上の背景画像20の参照エリア画像
221と合成開始時刻の撮影画像24の参照エリア画像
222とを輝度/色温度比較器30に取り込む。次に、
輝度/色温度比較器30で求められた輝度及び色温度の
各変化量に基いて補正量を演算器31での演算によって
算出する。最後に、画像メモリ11上の背景画像20の
全画像に対し、算出された補正量を用いて補正処理を施
す。このような補正処理によって、合成開始時刻の背景
画像に近い画像(補正後の背景画像25)を生成するこ
とができる。
ための模式図である。図6に示すように、画像メモリ1
1上の補正後の背景画像25(合成背景画像)と現在の
撮影画像28の間で差分演算を行うことにより、被写体
23を切り出した差分画像26を作成する。所定の合成
間隔でこのように切り出した差分画像26を合成背景画
像25に次々と重ね合せて合成していくことにより、ス
トロボ写真状の合成画像27を生成する。
す図である。図7は2フレーム毎に差分画像26を切り
出し、それらの差分画像26を合成背景画像25に合成
した例である。図示されるように、被写体23であるゴ
ルフ選手のフォームが分かり易く得られている。
は、ゴルフ中継番組の撮影を例として説明したが、本発
明はこれに限られるものではなく、他の色々な番組制作
などに適用することができる。
法及び画像合成装置によれば、屋外で行われることの多
いスポーツ中継などのような照明条件の不安定な環境下
でも、安定で信頼性の高いストロボ合成が可能になる。
視聴者がスポーツ選手の動きを容易に理解できるような
分かり易い番組制作に貢献することができる。
どの場合において、合成開始直前に被写体もいない背景
画像を取り込むことが難しい条件下でも、その合成開始
時刻に近い背景画像を生成することが可能であるため、
精度の高い差分画像を切り出すことが可能になる。よっ
て、屋外や不安定な照明条件などの悪い環境下でも、安
定した高信頼性の合成を容易に実現することができる。
マルチモーションと同等の優れた効果が様々なスポーツ
中継で得られるようになり、視聴者にとって分かり易い
番組制作を実現することができる。
す模式図である。
る。
成を示す模式図である。
す模式図である。
ック図である。
ある。
ア画像 222 合成開始時刻の撮影画像24の参照エリア画
像 23 被写体 24 合成開始時刻の撮影画像 25 補正後の背景画像(合成背景画像) 26 差分画像 27 合成画像 28 現在の撮影画像 30 輝度/色温度比較器 31 演算器
Claims (2)
- 【請求項1】記録媒体に格納しておいた背景画像に輝度
又は/及び色情報を参照するための参照エリアを設定す
ると共に、実際に合成開始時刻の撮影画像にも同じ参照
エリアを設定するステップと、 前記背景画像の前記参照エリア内及び前記合成開始時刻
の前記撮影画像の前記参照エリア内での輝度又は/及び
色情報を計測し、前記背景画像が前記合成開始時刻の前
記撮影画像と同等になるように、計測された輝度又は/
及び色情報に基く補正を前記背景画像全体に加えるステ
ップと、 補正後の前記背景画像を合成背景画像とし、合成が開始
された時点以降の撮影画像と前記合成背景画像との間に
差分演算を行い、それにより切り出された差分画像を前
記合成背景画像に次々と重ね合せることによりストロボ
写真状の合成画像を生成するステップと、 を有することを特徴とする画像合成方法。 - 【請求項2】記録媒体に格納しておいた背景画像に輝度
又は/及び色情報を参照するための参照エリアを設定す
ると共に、実際に合成開始時刻の撮影画像にも同じ参照
エリアを設定する手段と、 前記背景画像の前記参照エリア内及び前記合成開始時刻
の前記撮影画像の前記参照エリア内での輝度又は/及び
色情報を計測し、前記背景画像が前記合成開始時刻の前
記撮影画像と同等になるように、計測された輝度又は/
及び色情報に基く補正を前記背景画像全体に加える手段
と、 補正後の前記背景画像を合成背景画像とし、合成が開始
された時点以降の撮影画像と前記合成背景画像との間に
差分演算を行い、それにより切り出された差分画像を前
記合成背景画像に次々と重ね合せることによりストロボ
写真状の合成画像を生成する手段と、 を備えてなる画像合成装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001198136A JP4608139B2 (ja) | 2001-06-29 | 2001-06-29 | 画像合成方法及び画像合成装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001198136A JP4608139B2 (ja) | 2001-06-29 | 2001-06-29 | 画像合成方法及び画像合成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003018461A true JP2003018461A (ja) | 2003-01-17 |
JP4608139B2 JP4608139B2 (ja) | 2011-01-05 |
Family
ID=19035629
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001198136A Expired - Fee Related JP4608139B2 (ja) | 2001-06-29 | 2001-06-29 | 画像合成方法及び画像合成装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4608139B2 (ja) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011193414A (ja) * | 2010-03-17 | 2011-09-29 | Casio Computer Co Ltd | 撮像装置、撮像制御方法及びプログラム |
US8108934B2 (en) | 2006-09-11 | 2012-01-31 | Sony Corporation | Information processing apparatus and method, and a program |
JP2013093863A (ja) * | 2012-12-06 | 2013-05-16 | Casio Comput Co Ltd | 記録制御装置、記録制御方法及びプログラム |
WO2014155877A1 (ja) * | 2013-03-26 | 2014-10-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US9600160B2 (en) | 2013-12-09 | 2017-03-21 | Sony Corporation | Image processing device, image processing method, and program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09102910A (ja) * | 1995-10-03 | 1997-04-15 | Nippon Hoso Kyokai <Nhk> | 動画像処理装置および方法 |
JPH11331693A (ja) * | 1998-05-20 | 1999-11-30 | Casio Comput Co Ltd | 画像処理方法及びその装置 |
-
2001
- 2001-06-29 JP JP2001198136A patent/JP4608139B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09102910A (ja) * | 1995-10-03 | 1997-04-15 | Nippon Hoso Kyokai <Nhk> | 動画像処理装置および方法 |
JPH11331693A (ja) * | 1998-05-20 | 1999-11-30 | Casio Comput Co Ltd | 画像処理方法及びその装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8108934B2 (en) | 2006-09-11 | 2012-01-31 | Sony Corporation | Information processing apparatus and method, and a program |
JP2011193414A (ja) * | 2010-03-17 | 2011-09-29 | Casio Computer Co Ltd | 撮像装置、撮像制御方法及びプログラム |
JP2013093863A (ja) * | 2012-12-06 | 2013-05-16 | Casio Comput Co Ltd | 記録制御装置、記録制御方法及びプログラム |
WO2014155877A1 (ja) * | 2013-03-26 | 2014-10-02 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
US10115431B2 (en) | 2013-03-26 | 2018-10-30 | Sony Corporation | Image processing device and image processing method |
US9600160B2 (en) | 2013-12-09 | 2017-03-21 | Sony Corporation | Image processing device, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP4608139B2 (ja) | 2011-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5717453B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
CN102739955B (zh) | 能生成动态范围宽的全景图像的数据的摄像装置 | |
US9325934B2 (en) | Image processing system and method | |
Bradley et al. | Synchronization and rolling shutter compensation for consumer video camera arrays | |
US20130141521A1 (en) | Image processing system and method | |
JP5133816B2 (ja) | カメラ、画像合成方法、およびプログラム | |
US20110249095A1 (en) | Image composition apparatus and method thereof | |
US10928892B2 (en) | Optical engine time warp for augmented or mixed reality environment | |
GB2517730A (en) | A method and system for producing a video production | |
JP2010166289A (ja) | 撮像装置及び画像処理方法並びにプログラム | |
JP2012523788A (ja) | 動画の撮影及び投影方法及びその装置 | |
JP2000069352A (ja) | 画像入力方法及び画像入力装置 | |
JP2004088247A (ja) | 画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラム | |
JP2004015205A (ja) | マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法 | |
JP2000305207A (ja) | 電子スチルカメラ | |
JP2003018461A (ja) | 画像合成方法及び画像合成装置 | |
JP4302397B2 (ja) | 回転画に存在する物体を1つのウィンドウに表示する方法及び受信機 | |
JP4019785B2 (ja) | 画像表示システムと画像処理装置及び画像表示方法 | |
JP4306438B2 (ja) | 撮像装置 | |
JP2000134640A (ja) | 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置 | |
JP2009246441A (ja) | 撮像装置及びそのプログラム | |
JP2009246775A (ja) | 画像再生装置 | |
JP2002271692A5 (ja) | 画像処理方法、画像処理装置、及び、コンピュータプログラム | |
JP2003141505A (ja) | 画像合成装置およびプログラム | |
JP2000056414A (ja) | ステレオ撮影可能なカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080407 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20080407 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20080407 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100928 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101008 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141015 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |