JP2003018461A - 画像合成方法及び画像合成装置 - Google Patents

画像合成方法及び画像合成装置

Info

Publication number
JP2003018461A
JP2003018461A JP2001198136A JP2001198136A JP2003018461A JP 2003018461 A JP2003018461 A JP 2003018461A JP 2001198136 A JP2001198136 A JP 2001198136A JP 2001198136 A JP2001198136 A JP 2001198136A JP 2003018461 A JP2003018461 A JP 2003018461A
Authority
JP
Japan
Prior art keywords
image
background image
composite
reference area
start time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001198136A
Other languages
English (en)
Other versions
JP4608139B2 (ja
Inventor
Manabu Kuromori
学 黒毛利
Hiroyuki Okamoto
浩幸 岡本
Takahito Suzuki
尊人 鈴木
Taiichiro Kato
大一郎 加藤
Takao Tsuda
貴生 津田
Sukesato Hatakeyama
祐里 畠山
Seiki Inoue
誠喜 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OYO KEISOKU KENKYUSHO KK
Japan Broadcasting Corp
Original Assignee
OYO KEISOKU KENKYUSHO KK
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OYO KEISOKU KENKYUSHO KK, Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical OYO KEISOKU KENKYUSHO KK
Priority to JP2001198136A priority Critical patent/JP4608139B2/ja
Publication of JP2003018461A publication Critical patent/JP2003018461A/ja
Application granted granted Critical
Publication of JP4608139B2 publication Critical patent/JP4608139B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】視聴者にとって分かり易い番組制作を実現する
ことができ、特に屋外で行われることの多いスポーツ中
継などのような照明条件の不安定な環境下でも安定で信
頼性の高いストロボ合成を可能にする画像合成方法及び
画像合成装置を提供する。 【解決手段】記録媒体に格納しておいた背景画像に輝度
又は/及び色情報を参照するための参照エリアを設定す
ると共に実際に合成開始時刻の撮影画像にも同じ参照エ
リアを設定するステップと、前記背景画像及び前記撮影
画像の前記参照エリア内での輝度又は/及び色情報を計
測し、前記撮影画像と同等になるような補正を前記背景
画像全体に加えるステップと、補正後の前記背景画像を
合成背景画像とし、合成が開始された時点以降の撮影画
像と前記合成背景画像との間に差分演算を行い、それに
より切り出された差分画像を前記合成背景画像に次々と
重ね合せることによりストロボ写真状の合成画像を生成
するステップとを有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はテレビジョン番組制
作や映画制作などに使用される画像合成方法及び画像合
成装置に関し、更に詳しくは、特にスポーツ中継などの
場合において、被写体である選手の動作をわかりやすく
表現するのに好適な画像合成方法及び画像合成装置に関
する。
【0002】
【従来の技術】従来、スポーツ中継などの番組制作の分
野では、被写体である選手の動作をわかりやすく表現す
るには、スローモーション再生という手法が多用されて
いる。また、他の方法として、例えば、選手の動作をス
トロボ写真のように表現し、背景画像に合成していくマ
ルチモーションという技術も過去に開発され、実際の番
組制作に使用されたことがある。
【0003】
【発明が解決しようとする課題】しかしながら、上述し
た従来のスローモーション再生手法は、スポーツ中継な
どにおいて、被写体である選手の速い動きをゆっくりと
表現するのに、非常に分かり易くて効果的ものである
が、一方、その動きがゆっくりになることで動いた軌跡
やフォームの移行がとらえにくいという問題点があっ
た。
【0004】一方、上述した従来のマルチモーション技
術は、被写体である選手のみを写した静止画像を背景画
像に次々に合成していくため、残像効果で動きの経緯が
非常に分かり易く評価が高い。ところが、このマルチモ
ーションでは、背景に対して被写体を切り出すのに、背
景差分や動きベクトルなどの画像処理技術を用いなけれ
ばならない。このような画像処理技術の難易度が高いの
で、上手に合成するために、屋内のみでの使用や照明条
件の固定などの制約があるという問題点があった。
【0005】本発明は上述のような事情よりなされたも
のであり、本発明の目的は、視聴者にとって分かり易い
番組制作が実現できる画像合成方法及び画像合成装置を
提供し、さらに、屋外で行われることの多いスポーツ中
継などのような照明条件の不安定な環境下でも、安定で
信頼性の高いストロボ合成を可能にする画像合成方法及
び画像合成装置を提供することにある。
【0006】
【課題を解決するための手段】本発明は、被写体の動作
をわかりやすく表現するのに好適な画像合成方法及び画
像合成装置に関し、本発明の上記目的は、記録媒体に格
納しておいた背景画像に輝度又は/及び色情報を参照す
るための参照エリアを設定すると共に、実際に合成開始
時刻の撮影画像にも同じ参照エリアを設定するステップ
又は手段と、前記背景画像の前記参照エリア内及び前記
合成開始時刻の撮影画像の前記参照エリア内での輝度又
は/及び色情報を計測し、前記背景画像が前記合成開始
時刻の撮影画像と同等になるように、計測された輝度又
は/及び色情報に基く補正を前記背景画像全体に加える
ステップ又は手段と、補正後の前記背景画像を合成背景
画像とし、合成が開始された時点以降の撮影画像と前記
合成背景画像との間に差分演算を行い、それにより切り
出された差分画像を前記合成背景画像に次々と重ね合せ
ることによりストロボ写真状の合成画像を生成するステ
ップ又は手段とを有することによって達成される。
【0007】
【発明の実施の形態】以下、図面に基づいて本発明の実
施形態について詳細に説明する。なお、本実施形態で
は、記録媒体として画像メモリを、色情報として色温度
を用いることにより、ゴルフの中継番組の撮影を行う場
合を例として説明する。本例の被写体はゴルフのプレイ
をしているゴルフ選手で、背景画像は例えばゴルフ場で
ある。
【0008】本実施形態では、画像メモリに予め取り込
んでおいた、背景画像(ゴルフ選手のいないゴルフ場)
に輝度及び色温度を参照するための参照エリアを設定す
ると共に、実際に合成開始時刻の撮影画像(ゴルフ選手
のいるゴルフ場)にも同じ参照エリアを設定し、前記背
景画像の前記参照エリア内及び前記合成開始時刻の前記
撮影画像の前記参照エリア内での輝度及び色温度を計測
し、前記背景画像が前記合成開始時刻の撮影画像と同等
になるように、計測された輝度及び色温度に基く補正を
前記背景画像全体に加えてから、補正後の前記背景画像
を合成背景画像とし、合成が開始された時点以降の撮影
画像と前記合成背景画像との間に差分演算を行い、それ
により切り出された差分画像(ゴルフ選手のみが写った
画像)を前記合成背景画像に次々と重ね合せることによ
りストロボ写真状の合成画像を生成するような画像合成
方法を採用している。
【0009】図1は背景画像を撮影するための実施形態
の構成を示す模式図である。図1に示すように、撮影用
カメラ10を用いて、背景となる風景(合成したい被写
体であるゴルフ選手がいないゴルフ場)を撮影し、撮影
した画像を撮影用カメラ10に接続されている画像メモ
リ11に保存しておく。
【0010】図2はこのように画像メモリ11に保存さ
れた背景画像20の一例を示す模式図である。図2に示
すように、背景画像20内にある適当な目標物21(例
えば本例では白い看板)が映っているエリアを、輝度及
び色温度を参照するための参照エリア22と設定してお
く。
【0011】図3は合成したい被写体23が撮影エリア
に入ってきた場合の画像撮影の構成を示す模式図であ
る。図3に示すように、被写体23であるゴルフ選手が
撮影エリアに入ってきてプレイをし、合成をしたいプレ
イシーンが現れたら或は合成を行いたい時刻になった
ら、図1の背景画像20を撮影する際の撮影条件と全く
同様な条件で、つまり同じ位置、同じ画角に設置された
撮影用カメラ10を用いて、画像を撮影する。
【0012】図4は、図3に示される構成で、撮影され
た合成開始時刻の撮影画像24の一例を示す模式図であ
る。図4に示すように、合成開始時刻の撮影画像24内
において、図2で設定したのと同様な参照エリア22を
設定する。
【0013】図5は背景画像20を補正する補正処理の
手順を示すブロック図である。図5に示すように、ま
ず、画像メモリ11上の背景画像20の参照エリア画像
221と合成開始時刻の撮影画像24の参照エリア画像
222とを輝度/色温度比較器30に取り込む。次に、
輝度/色温度比較器30で求められた輝度及び色温度の
各変化量に基いて補正量を演算器31での演算によって
算出する。最後に、画像メモリ11上の背景画像20の
全画像に対し、算出された補正量を用いて補正処理を施
す。このような補正処理によって、合成開始時刻の背景
画像に近い画像(補正後の背景画像25)を生成するこ
とができる。
【0014】図6は合成画像27の生成手順を説明する
ための模式図である。図6に示すように、画像メモリ1
1上の補正後の背景画像25(合成背景画像)と現在の
撮影画像28の間で差分演算を行うことにより、被写体
23を切り出した差分画像26を作成する。所定の合成
間隔でこのように切り出した差分画像26を合成背景画
像25に次々と重ね合せて合成していくことにより、ス
トロボ写真状の合成画像27を生成する。
【0015】図7は合成された合成画像27の一例を示
す図である。図7は2フレーム毎に差分画像26を切り
出し、それらの差分画像26を合成背景画像25に合成
した例である。図示されるように、被写体23であるゴ
ルフ選手のフォームが分かり易く得られている。
【0016】なお、上述した本発明の実施形態において
は、ゴルフ中継番組の撮影を例として説明したが、本発
明はこれに限られるものではなく、他の色々な番組制作
などに適用することができる。
【0017】
【発明の効果】以上のように、本発明に係る画像合成方
法及び画像合成装置によれば、屋外で行われることの多
いスポーツ中継などのような照明条件の不安定な環境下
でも、安定で信頼性の高いストロボ合成が可能になる。
視聴者がスポーツ選手の動きを容易に理解できるような
分かり易い番組制作に貢献することができる。
【0018】つまり、本発明によって、スポーツ中継な
どの場合において、合成開始直前に被写体もいない背景
画像を取り込むことが難しい条件下でも、その合成開始
時刻に近い背景画像を生成することが可能であるため、
精度の高い差分画像を切り出すことが可能になる。よっ
て、屋外や不安定な照明条件などの悪い環境下でも、安
定した高信頼性の合成を容易に実現することができる。
マルチモーションと同等の優れた効果が様々なスポーツ
中継で得られるようになり、視聴者にとって分かり易い
番組制作を実現することができる。
【図面の簡単な説明】
【図1】背景画像を撮影するための実施形態の構成を示
す模式図である。
【図2】保存された背景画像の一例を示す模式図であ
る。
【図3】合成したい被写体がいる場合での画像撮影の構
成を示す模式図である。
【図4】撮影された合成開始時刻の撮影画像の一例を示
す模式図である。
【図5】背景画像を補正する補正処理の手順を示すブロ
ック図である。
【図6】合成画像の生成手順を説明するための模式図で
ある。
【図7】合成された合成画像の一例を示す図である。
【符号の説明】
10 撮影用カメラ 11 画像メモリ 20 背景画像 21 目標物 22 参照エリア 221 画像メモリ11上の背景画像20の参照エリ
ア画像 222 合成開始時刻の撮影画像24の参照エリア画
像 23 被写体 24 合成開始時刻の撮影画像 25 補正後の背景画像(合成背景画像) 26 差分画像 27 合成画像 28 現在の撮影画像 30 輝度/色温度比較器 31 演算器
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡本 浩幸 東京都大田区北千束3丁目26番12号 株式 会社応用計測研究所内 (72)発明者 鈴木 尊人 東京都大田区北千束3丁目26番12号 株式 会社応用計測研究所内 (72)発明者 加藤 大一郎 東京都世田谷区砧1丁目10番11号日本放送 協会放送技術研究所内 (72)発明者 津田 貴生 東京都世田谷区砧1丁目10番11号日本放送 協会放送技術研究所内 (72)発明者 畠山 祐里 東京都世田谷区砧1丁目10番11号日本放送 協会放送技術研究所内 (72)発明者 井上 誠喜 東京都世田谷区砧1丁目10番11号日本放送 協会放送技術研究所内 Fターム(参考) 5B057 AA20 BA24 CA01 CA08 CA12 CB08 CB12 CC03 CE08 CE20 DB02 DB06 DB09 DC22 DC25 5C023 AA11 AA14 AA27 AA31 AA37 AA38 BA02 BA11 BA16 CA03 CA08 DA04 EA03 5C076 AA02 AA11 AA12 AA14 BA05 BA06 5L096 AA02 AA06 BA20 DA04 EA35 FA14 FA15 GA08

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】記録媒体に格納しておいた背景画像に輝度
    又は/及び色情報を参照するための参照エリアを設定す
    ると共に、実際に合成開始時刻の撮影画像にも同じ参照
    エリアを設定するステップと、 前記背景画像の前記参照エリア内及び前記合成開始時刻
    の前記撮影画像の前記参照エリア内での輝度又は/及び
    色情報を計測し、前記背景画像が前記合成開始時刻の前
    記撮影画像と同等になるように、計測された輝度又は/
    及び色情報に基く補正を前記背景画像全体に加えるステ
    ップと、 補正後の前記背景画像を合成背景画像とし、合成が開始
    された時点以降の撮影画像と前記合成背景画像との間に
    差分演算を行い、それにより切り出された差分画像を前
    記合成背景画像に次々と重ね合せることによりストロボ
    写真状の合成画像を生成するステップと、 を有することを特徴とする画像合成方法。
  2. 【請求項2】記録媒体に格納しておいた背景画像に輝度
    又は/及び色情報を参照するための参照エリアを設定す
    ると共に、実際に合成開始時刻の撮影画像にも同じ参照
    エリアを設定する手段と、 前記背景画像の前記参照エリア内及び前記合成開始時刻
    の前記撮影画像の前記参照エリア内での輝度又は/及び
    色情報を計測し、前記背景画像が前記合成開始時刻の前
    記撮影画像と同等になるように、計測された輝度又は/
    及び色情報に基く補正を前記背景画像全体に加える手段
    と、 補正後の前記背景画像を合成背景画像とし、合成が開始
    された時点以降の撮影画像と前記合成背景画像との間に
    差分演算を行い、それにより切り出された差分画像を前
    記合成背景画像に次々と重ね合せることによりストロボ
    写真状の合成画像を生成する手段と、 を備えてなる画像合成装置。
JP2001198136A 2001-06-29 2001-06-29 画像合成方法及び画像合成装置 Expired - Fee Related JP4608139B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001198136A JP4608139B2 (ja) 2001-06-29 2001-06-29 画像合成方法及び画像合成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001198136A JP4608139B2 (ja) 2001-06-29 2001-06-29 画像合成方法及び画像合成装置

Publications (2)

Publication Number Publication Date
JP2003018461A true JP2003018461A (ja) 2003-01-17
JP4608139B2 JP4608139B2 (ja) 2011-01-05

Family

ID=19035629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001198136A Expired - Fee Related JP4608139B2 (ja) 2001-06-29 2001-06-29 画像合成方法及び画像合成装置

Country Status (1)

Country Link
JP (1) JP4608139B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011193414A (ja) * 2010-03-17 2011-09-29 Casio Computer Co Ltd 撮像装置、撮像制御方法及びプログラム
US8108934B2 (en) 2006-09-11 2012-01-31 Sony Corporation Information processing apparatus and method, and a program
JP2013093863A (ja) * 2012-12-06 2013-05-16 Casio Comput Co Ltd 記録制御装置、記録制御方法及びプログラム
WO2014155877A1 (ja) * 2013-03-26 2014-10-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9600160B2 (en) 2013-12-09 2017-03-21 Sony Corporation Image processing device, image processing method, and program

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102910A (ja) * 1995-10-03 1997-04-15 Nippon Hoso Kyokai <Nhk> 動画像処理装置および方法
JPH11331693A (ja) * 1998-05-20 1999-11-30 Casio Comput Co Ltd 画像処理方法及びその装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09102910A (ja) * 1995-10-03 1997-04-15 Nippon Hoso Kyokai <Nhk> 動画像処理装置および方法
JPH11331693A (ja) * 1998-05-20 1999-11-30 Casio Comput Co Ltd 画像処理方法及びその装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8108934B2 (en) 2006-09-11 2012-01-31 Sony Corporation Information processing apparatus and method, and a program
JP2011193414A (ja) * 2010-03-17 2011-09-29 Casio Computer Co Ltd 撮像装置、撮像制御方法及びプログラム
JP2013093863A (ja) * 2012-12-06 2013-05-16 Casio Comput Co Ltd 記録制御装置、記録制御方法及びプログラム
WO2014155877A1 (ja) * 2013-03-26 2014-10-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US10115431B2 (en) 2013-03-26 2018-10-30 Sony Corporation Image processing device and image processing method
US9600160B2 (en) 2013-12-09 2017-03-21 Sony Corporation Image processing device, image processing method, and program

Also Published As

Publication number Publication date
JP4608139B2 (ja) 2011-01-05

Similar Documents

Publication Publication Date Title
JP5717453B2 (ja) 撮像装置及び撮像装置の制御方法
CN102739955B (zh) 能生成动态范围宽的全景图像的数据的摄像装置
US9325934B2 (en) Image processing system and method
Bradley et al. Synchronization and rolling shutter compensation for consumer video camera arrays
US20130141521A1 (en) Image processing system and method
JP5133816B2 (ja) カメラ、画像合成方法、およびプログラム
US20110249095A1 (en) Image composition apparatus and method thereof
US10928892B2 (en) Optical engine time warp for augmented or mixed reality environment
GB2517730A (en) A method and system for producing a video production
JP2010166289A (ja) 撮像装置及び画像処理方法並びにプログラム
JP2012523788A (ja) 動画の撮影及び投影方法及びその装置
JP2000069352A (ja) 画像入力方法及び画像入力装置
JP2004088247A (ja) 画像処理装置、カメラキャリブレーション処理装置、および方法、並びにコンピュータ・プログラム
JP2004015205A (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JP2000305207A (ja) 電子スチルカメラ
JP2003018461A (ja) 画像合成方法及び画像合成装置
JP4302397B2 (ja) 回転画に存在する物体を1つのウィンドウに表示する方法及び受信機
JP4019785B2 (ja) 画像表示システムと画像処理装置及び画像表示方法
JP4306438B2 (ja) 撮像装置
JP2000134640A (ja) 受像機、その位置認識装置、その位置認識方法及び仮想画像立体合成装置
JP2009246441A (ja) 撮像装置及びそのプログラム
JP2009246775A (ja) 画像再生装置
JP2002271692A5 (ja) 画像処理方法、画像処理装置、及び、コンピュータプログラム
JP2003141505A (ja) 画像合成装置およびプログラム
JP2000056414A (ja) ステレオ撮影可能なカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080407

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101008

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141015

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees