JP2004032084A

JP2004032084A - 画像処理装置および画像処理方法

Info

Publication number: JP2004032084A
Application number: JP2002181630A
Authority: JP
Inventors: Masayuki Sugawara; 菅原　正幸; Koji Mitani; 三谷　公二; Takayuki Yamashita; 山下　誉行; Fumio Okano; 岡野　文男
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2002-06-21
Filing date: 2002-06-21
Publication date: 2004-01-29
Anticipated expiration: 2022-06-21
Also published as: JP3928939B2

Abstract

【課題】所定の間隔をあけて平行に配置された複数のカメラで撮影された画像を再生したときに生じるぶれを抑制する。
【解決手段】第一カメラ１０Ａで撮影された第一画像と第二カメラ１０Ｂで撮影された第二画像とを比較して、被写体の視差と背景体の視差とをそれぞれ特定する視差特定手段２１と、前記各視差に応じて各画像を補正する第一補正手段２４Ａ，第二補正手段２４Ｂとを備え、第二補正手段２４Ｂは、第二画像において被写体を当該被写体の視差だけ移動させるとともに、背景体を当該背景体の視差だけ移動させる。
【選択図】　　　　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および画像処理方法に関する。
【０００２】
【従来の技術】
従来、滑らかなスローモーションを撮影・録画する場合には、被写体を通常の毎秒フィールド数より多い毎秒フィールド数で撮影・録画するとともに、録画された映像を通常の毎秒フィールド数で再生している。例えば、毎秒６０フィールドで記録する通常のＮＴＳＣ（Ｎａｔｉｏｎａｌ　Ｔｅｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏｍｍｉｔｔｅｅ）のテレビ映像を２倍のスローモーションの映像にする場合には、毎秒１２０フィールドで撮影して録画し、この録画したデータを毎秒６０フィールドで再生すればよい。
【０００３】
しかし、スポーツ選手の動作や、水の流れなどの自然現象、又は爆発・破壊現象の解析をするために、高倍率のスローモーションを撮影・再生しようとすると、従来の撮影・再生方法では困難が生じる。
すなわち、従来の方法で高倍率のスローモーションを撮影する場合には、その倍率の速さで動作する撮像素子を備えたカメラや、録画装置が必要となるため、これまでの規格と異なる専用の装置が必要になるのみならず、ある倍率以上になると技術的に困難になる。
【０００４】
そこで、撮影する映像がそのカメラの１フィールド時間（図６（ａ）参照）に対して短い時間だけ開口するシャッターを備えた複数のカメラを、それぞれが同等の視野を撮影するように平行に設置するとともに、各カメラが時間的にずれた映像を撮影するように、各シャッターの開口時間のタイミングをずらして撮影・録画し（図６（ｂ）参照）、録画した各映像を撮影時の複数のカメラ全体での毎秒フィールド数より少ない毎秒フィールド数で、かつ、撮影時の順序で順次映し出す（図６（ｃ）参照）ことによりスローモーションを再生するスローモーションの撮影・再生装置が提案されている。
【０００５】
この場合、各カメラが間隔をあけて設置されているので、撮影された画像間に視差が生じる。例えば、図７（ａ）に示すように、同等の視野を撮影するように平行に設置された２台のカメラ（第一カメラ１０Ａおよび第二カメラ１０Ｂ）で被写体Ｍを撮影する場合を考えると、画像中における被写体Ｍの位置は、第一カメラ１０Ａで撮影された第一画像（図７（ｂ））と第二カメラ１０Ｂで撮影された第二画像（図７（ｃ））とで異なる。すなわち、第一カメラ１０Ａと第二カメラ１０Ｂの配置に起因して、被写体Ｍには、二つの画像間でｍ_１２の視差が生じることになる。このため、第一画像と第二画像とを交互に再生すると、被写体Ｍは、左右にぶれてしまう。
【０００６】
この場合には、第二画像全体を視差ｍ_１２だけ移動（図中右側）させて、第一画像内の被写体Ｍの位置と一致させれば、ぶれのない映像を再生することができる。
【０００７】
【発明が解決しようとする課題】
しかしながら、例えば、暗幕の前で被写体Ｍを撮影する場合には、前記のように画像全体をシフトさせることで画像のぶれを除去できるが、屋外などで撮影を行う場合であれば、撮影対象となる被写体Ｍに付随して、他の被写体Ｓ（以下、「背景体Ｓ」という）が撮影されてしまう。そして、視差の大きさは、各被写体までの距離とカメラの設置間隔とから幾何学的に定まるので、各カメラからの距離が被写体Ｍと背景体Ｓとで異なる場合（図７（ａ）参照）には、画像間に生じる視差の大きさも異なることになる。したがって、図７（ｃ）に示すように、被写体Ｍのぶれを改善すべく視差ｍ_１２で第二画像全体をシフトさせると、被写体Ｍについてのぶれは改善されるが、背景体Ｓについては、（ｍ_１２−ｓ_１２）の視差が残り（図７（ｄ）参照）、すなわち、第一画像中の背景体Ｓの位置と補正後の第二画像中の背景体Ｓの位置とが一致しないため、画像にぶれが残ることになる。
【０００８】
そこで、本発明は、被写体のみならず、これに付随して撮影される背景体のぶれを抑制することができる画像処理装置および画像処理方法を提供することを課題とする。
【０００９】
【課題を解決するための手段】
このような課題を解決するために、請求項１の発明は、所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制するための画像処理装置であって、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差と背景体の視差とをそれぞれ特定する視差特定手段と、前記各視差に応じて前記各画像を補正する補正手段とを備え、前記補正手段は、前記第二画像において、前記被写体を当該被写体の視差だけ移動させるとともに、前記背景体を当該背景体の視差だけ移動させる、ことを特徴とする。
【００１０】
かかる画像処理装置は、複数のカメラで複数の被写体（背景体）を撮影したときに、一のカメラで撮影された画像と他のカメラで撮影された画像との間に生じる視差を、被写体（背景体）ごとに補正するものである。すなわち、第一カメラで撮影された第一画像を基準として、第二カメラで撮影された第二画像中の被写体および背景体の位置を補正するものであり、第一画像と第二画像とを比較して、被写体および背景体のそれぞれについて視差を特定するとともに、第二画像において被写体および背景体の位置をそれぞれ対応する視差だけ移動させ、第一画像中の被写体の位置および背景体の位置にそれぞれ一致させるものである。これにより、第一画像および補正後の第二画像を順々に再生するときに、被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【００１１】
請求項２の発明は、請求項１に記載の画像処理装置であって、前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算手段と、前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算手段とをさらに備え、前記補正手段は、前記第三画像において、前記被写体を前記視差演算手段で演算された被写体の視差だけ移動させるとともに、前記背景体を前記視差演算手段で演算された背景体の視差だけ移動させる、ことを特徴とする。
【００１２】
かかる画像処理装置は、第一画像と第三画像との間に生じる被写体および背景体の視差を演算によって求めるとともに、演算された視差に応じて、第三画像を補正するものである。すなわち、視差特定手段により特定された第一画像と第二画像との間に生じる被写体および背景体の視差に基づいて、第一画像と第三画像との間に生じる被写体および背景体の視差を計算により求めるとともに、第三画像中の被写体と背景体の位置をそれぞれ対応する視差だけ移動させ、第一画像および第二画像の被写体の位置および背景体の位置にそれぞれ一致させるものである。これにより、第一画像、補正後の第二画像および第三画像を順々に再生するときに、被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
なお、複数のカメラが所定の間隔で配置されている場合には、カメラ群と被写体との距離は、カメラの設置間隔と各カメラで撮影された画像間に生じる視差とから幾何学的に演算することができる。
【００１３】
請求項３に記載の発明は、所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制するための画像処理装置であって、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差と背景体の視差とをそれぞれ特定する視差特定手段と、前記各視差に応じて前記各画像を補正する補正手段とを備え、前記補正手段は、前記第二画像の全体を前記被写体の視差だけ移動させるとともに、前記第二画像において前記背景体を前記被写体の視差と前記背景体の視差との差だけ移動させる、ことを特徴とする。
【００１４】
かかる画像処理装置は、第二画像の全体を被写体の視差だけ移動（シフト）させるとともに、この操作により過補償となった背景体を、被写体の視差と背景体の視差との差だけ、別途移動させるものである。これにより、補正後の第二画像中の被写体と背景体の位置は、第一画像中の被写体の位置および背景体の位置にそれぞれ一致することになり、したがって、第一画像および補正後の第二画像を順々に再生するときに、撮影対象となる被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【００１５】
請求項４に記載の発明は、請求項３に記載の画像処理装置であって、前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算手段と、前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算手段とをさらに備え、前記補正手段は、前記第三画像の全体を前記視差演算手段で演算された視差だけ移動させるとともに、前記第三画像において前記背景体を前記視差演算手段で演算された被写体の視差と前記背景体の視差との差だけ移動させる、ことを特徴とする。
【００１６】
かかる画像処理装置は、第三画像の全体を視差演算手段で演算された被写体の視差だけ移動させるとともに、この操作により過補償となる背景体を、被写体の視差と背景体の視差との差だけ、別途移動させるものである。これにより、補正後の第三画像中の被写体と背景体の位置は、第一画像中の被写体の位置および背景体の位置にそれぞれ一致することになり、したがって、第一画像、補正後の第二画像および第三画像を順々に再生するときに、撮影対象となる被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【００１７】
請求項５の発明は、請求項１乃至請求項４のいずれか一項に記載の画像処理装置であって、前記補正手段は、前記各画像の中から前記背景体を削除する、ことを特徴とする。
【００１８】
かかる画像処理装置は、各画像の中から背景体を削除するものである。すなわち、補正後の各画像中に背景体が存在しなくなるので、補正後の各画像を順々に再生するときに、背景体の「ぶれ」が気になることはない。
【００１９】
請求項６の発明は、所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制する画像処理方法であって、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体および背景体のそれぞれについて視差を特定する視差特定ステップと、前記第二画像において被写体および背景体の位置をそれぞれ対応する視差だけ移動させ、前記第一画像中の被写体の位置および背景体の位置にそれぞれ一致させる第二画像補正ステップと、を含むことを特徴とする。
【００２０】
かかる画像処理方法によると、第一画像と補正後の第二画像において、被写体の位置および背景体の位置がそれぞれ一致するので、第一画像および補正後の第二画像を順々に再生するときに、被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【００２１】
請求項７の発明は、請求項６に記載の画像処理方法であって、前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算ステップと、前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算ステップと、前記第三画像において、前記被写体を前記視差演算ステップで演算された被写体の視差だけ移動させるとともに、前記背景体を前記視差演算ステップで演算された背景体の視差だけ移動させる第三画像補正ステップと、を含むことを特徴とする。
【００２２】
かかる画像処理方法によると、第一画像と補正後の第二、第三画像において、被写体の位置および背景体の位置がそれぞれ一致するので、第一画像および補正後の第二画像を順々に再生するときに、被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【００２３】
請求項８の発明は、所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制する画像処理方法であって、第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体および背景体のそれぞれについて視差を特定する視差特定ステップと、前記第二画像の全体を前記被写体の視差だけ移動させるとともに、前記第二画像において前記背景体を前記被写体の視差と前記背景体の視差との差だけ移動させる第二画像補正ステップと、を含むことを特徴とする。
【００２４】
かかる画像処理方法によると、第一画像と補正後の第二画像において、被写体の位置および背景体の位置がそれぞれ一致するので、第一画像および補正後の第二画像を順々に再生するときに、被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【００２５】
請求項９の発明は、請求項８に記載の画像処理方法であって、前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算ステップと、前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算ステップと、前記第三画像の全体を前記視差演算ステップで演算された視差だけ移動させるとともに、前記第三画像において前記背景体を前記視差演算ステップで演算された被写体の視差と前記背景体の視差との差だけ移動させる第三画像補正ステップと、を含むことを特徴とする。
【００２６】
かかる画像処理方法によると、第一画像と補正後の第二、第三画像において、被写体の位置および背景体の位置がそれぞれ一致するので、第一画像および補正後の第二画像を順々に再生するときに、被写体の「ぶれ」だけでなく、背景体の「ぶれ」をも抑制することができる。
【００２７】
請求項１０の発明は、請求項６乃至請求項９のいずれか一項に記載の画像処理方法であって、前記各画像の中から前記背景体を削除する削除補正ステップを含むことを特徴とする。
【００２８】
かかる画像処理方法によると、補正後の各画像において被写体の位置が一致するとともに、各画像中に背景体が存在しなくなるので、補正後の各画像を順々に再生するときに、背景体の「ぶれ」が気になることがない。
【００２９】
【発明の実施の形態】
次に、本発明に係る画像処理装置の実施形態について、添付した図面を参照しつつ詳細に説明する。
【００３０】
本実施形態に係る画像処理装置は、所定の間隔をあけて平行に配置された複数のカメラで撮影された画像のそれぞれを、当該画像間に生じている視差に応じて補正するものであり、図５に示すようなスローモーション撮影・再生装置１において使用されている。
【００３１】
まず、スローモーション撮影・再生装置１（以下、単に「撮影・再生装置１」という。）について簡単に説明する。図５はスローモーションの撮影・再生装置のブロック構成図、図６（ａ）は通常のカメラのフィールド時間を示すグラフ、（ｂ）は各カメラにおけるシャッターの開口タイミングを示すグラフ、（ｃ）は撮影・再生装置で再生するときの各カメラで記録された画像の読み出しタイミングを示すグラフである。
【００３２】
撮影・再生装置１は、カメラ群１０で、被写体Ｍを順々に撮影・録画し（図４参照）、録画した各画像を撮影時の複数のカメラ全体での毎秒フィールド数より少ない毎秒フィールド数で、かつ、撮影時の順序で順次映し出すことによりスローモーションを再生するものである。
【００３３】
撮影・再生装置１は、図５に示すように、所定の間隔をあけて平行に配置されたカメラ１０ａ〜１０ｇからなるカメラ群１０（以下、カメラを特定しない場合、単に「カメラ１０」という。）と、画像処理装置２０を介してカメラ１０ａ〜１０ｇに接続された録画装置３０ａ〜３０ｇからなる録画装置３０（以下、録画装置を特定しない場合、単に「録画装置３０」という）と、各録画装置３０とモニタ４０との接続を切り替える切換機３５とを備えている。
【００３４】
カメラ１０ａ〜１０ｇは、それぞれ同一の画角φ（図３参照）および画素数を有し、同一の視野を撮影可能である。また、互いに平行かつ同一平面上に配置され、対峙する被写体Ｍのほぼ同じ面を撮影可能である。なお、カメラ１０には、公知のカメラを使用することが可能である。
カメラ１０のレンズの前、途中などには、撮影する映像を短時間に区切るシャッター１１ａ〜１１ｇ（以下、シャッターを特定しない場合、単に「シャッター１１」という）がそれぞれ設けられている。
【００３５】
シャッター１１は、機械的に光を遮断する幕、例えば一部に開口部を有する回転する円板で構成される。また、このような機械的な幕に限らず、カメラ内の受光手段であるＣＣＤからの信号を電気的にＯＮ、ＯＦＦして、映像を短時間に区切るように構成することもできる。
【００３６】
開口タイミング設定手段１５は、シャッター１１の開口時間および開口タイミング（シャッター１１を開閉させる順序）を制御するものである。ここで、開口時間は、カメラ１０の通常の１フィールドの撮影時間（以下、「標準開口時間」という。図６（ａ）参照）をカメラ台数で除した値に設定され、図６（ｂ）の場合であれば、シャッター１１は、標準開口時間の７分の１である。
なお、図６において、グラフが高い位置（ＯＮ）にあるときに撮影・再生され、低い位置（ＯＦＦ）にあるときは、映像が撮影・再生されていない。
【００３７】
録画装置３０は、公知の録画装置であり、録画した映像を１フィールドごとに間歇読み出しができる機能を有する。半導体メモリー、ビデオテープ、ＤＶＤ−ＲＡＭ、ハードディスクドライブなど、その種類は問われない。
なお、録画装置３０は、必ずしも複数台必要ではなく、各カメラ１０で撮影したデジタル画像としての各フィールドを、一台のコンピュータに取り込み、ハードディスクドライブに逐次書き込むようにしても良い。
【００３８】
切換機３５は、録画装置３０とモニタ４０との接続を切り替えるものであり、モニタ４０は、公知のモニタである。カラーかモノクロか、又はブラウン管か、液晶かなど、その種類は問われない。
【００３９】
以上のように構成された撮影・再生装置１で被写体Ｍを撮影する手順を説明する。被写体Ｍを撮影する場合には、カメラ群１０を被写体Ｍに対峙させたうえで、開口タイミング設定手段１５でシャッター１１の開口タイミングおよび開口時間を制御しつつ、各カメラ１０で被写体Ｍを順々に撮影すればよい。すなわち、図６（ｂ）に示すように、カメラ１０ａのシャッター１１ａを開口して被写体Ｍを所定の開口時間だけ撮影し、シャッター１１ａを閉口させた直後に隣のカメラ１０ｂのシャッター１１ｂを開口させて所定の開口時間だけ被写体Ｍを撮影する、といった工程を順に繰り返せばよい。なお、各シャッター１１の開口時間は、図示の場合であれば、標準開口時間の７分の１である。例えば、ＮＴＳＣのテレビ映像であれば、標準開口時間が１／６０秒なので、ＮＴＳＣのテレビ撮影用のカメラを７台使用する場合には、この１／７である１／４２０秒の開口時間でシャッター１１を開口し、カメラ１０ａ〜カメラ１０ｇで順次撮影する。
また、各カメラ１０で撮影された画像は、後述する画像処理装置２０で適宜補正されたうえで、各録画装置３０に録画される。
【００４０】
そして、被写体Ｍのスローモーションを再生する場合には、各録画装置３０に録画されている各画像を、録画時の順序で、かつ、各画像の出力時間を標準開口時間としてモニタ４０へ出力すればよい。すなわち、図６（ｃ）に示すように、録画装置３０ａに録画されたカメラ１０ａの画像をモニタ４０へ出力し、標準開口時間後に、切替装置３５を切り替えて、録画装置３０ｂに録画されたカメラ１０ｂの画像をモニタへ出力し、といった工程を順次繰り返すことでスローモーションを再生することができる。
【００４１】
次に、本発明に係る画像処理装置を説明する。画像処理装置２０は、本実施形態では、図５に示すように、カメラ群１０から出力された画像を補正すべく、カメラ群１０と録画装置３０との間に介設されている。
【００４２】
以下の説明では、カメラ１０ａ〜１０ｇのうち、カメラ１０ｄを第一カメラ１０Ａと、カメラ１０ｅを第二カメラ１０Ｂと、その他のカメラ１０ａ，１０ｂ，１０ｃ，１０ｆ，１０ｇを第三カメラ１０Ｃと称する。また、第一カメラ１０Ａで撮影された画像を第一画像（図３（ｂ）参照）、第二カメラ１０Ｂで撮影された画像を第二画像（図３（ｃ）参照）、第三カメラＣで撮影された画像を第三画像（図示せず）と称する。なお、本実施形態では、カメラ群１０のうち、中央に配置されたカメラ１０ｄを第一カメラＡと、カメラ１０ｄに隣接するカメラ１０ｅを第二カメラＢとしたが、第一カメラＡおよび第二カメラＢの組合せは、これに限定されることはなく、カメラ１０ａ〜１０ｇの中から任意に選択して差し支えない。
また、スローモーション再生の対象となる被写体を被写体Ｍ、被写体Ｍに付随して撮影される被写体を背景体Ｓと称する。
【００４３】
画像処理装置２０は、図１および図２に示すように、第一画像と第二画像との間に生じる視差を特定する視差特定手段２１、第一カメラ１０Ａで撮影された第一画像を補正する第一補正手段２４Ａ、第二カメラ１０Ｂで撮影された第二画像を補正する第二補正手段２４Ｂ（以上、図１参照）、カメラ群１０と被写体Ｍおよび背景体Ｓとの距離を演算する距離演算手段２２、第一画像と第三画像との間に生じる視差を演算する視差演算手段２３および第三カメラ１０Ｃで撮影された画像を補正する第三補正手段２４Ｃ（以上、図２参照）から構成されている。
【００４４】
図１に示す視差特定手段２１は、第一画像と第二画像とを比較して、二つの画像間における被写体Ｍの視差ｍ_１２および背景体Ｓの視差ｓ_１２（図３参照）をそれぞれ特定するものである。ここで、被写体の視差とは、画像間における被写体の移動量のことであり、この移動量は、例えば、ブロックマッチングにより特定することができる。
【００４５】
ブロックマッチングとは、二つの画像を比較して、基準となる画像内の画素ブロックに最も似ている画素ブロックを他の画像内から探し出すものである。
すなわち、図３（ｂ）（ｃ）に示すように、第一画像から被写体Ｍを含む一つの画素ブロックＢ_１を切り出すとともに、比較の対象となる第二画像の任意の箇所から、画素ブロックＢ_１と同一形状の画素ブロックＢ_２を切り出して画素ブロックＢ_１と比較する。そして、第二画像において画素ブロックＢ_２を切り出す位置を適宜変更しつつ、順次画素ブロックＢ_１と比較を行い、最も似ている画素ブロックＢ_２を探し出す。画素ブロック同士が似ているか否かは、画素ブロック内の同一の位置にある画素値同士の差の自乗を画素ブロック内の全ての画素に関して計算し、その総和を取ることで判断することができる。すなわち、総和が小さいほど画素ブロック同士が似ていることになり、このときの画素ブロックＢ_１の座標値と画素ブロックＢ_２の座標値の差が、第一画像と第二画像における被写体Ｍの視差ｍ_１２となる。また、視差ｍ_１２は、「画素数」で表される。
なお、画素ブロックＢ_１、Ｂ_２の形状としては、通常、数画素から数十画素の大きさの長方形もしくは正方形が使われる。
【００４６】
図２に示す距離演算手段２２は、視差ｍ_１２および視差ｓ_１２に基づいて、カメラ群１０と被写体Ｍとの距離Ｌ_ｍおよびカメラ群１０と背景体Ｓとの距離Ｌ_ｓを演算するものである。
【００４７】
ここで、カメラ群１０と被写体Ｍとの距離Ｌ_ｍは、第一カメラ１０Ａと第二カメラ１０Ｂとの設置間隔ｄ_１２（図４参照）および第一画像と第二画像との間に生じる視差ｍ_１２とから幾何学的に演算することができる。
【００４８】
例えば、図４において、カメラ群１０と被写体Ｍとの距離をＬ_ｍ、第一カメラ１０Ａから被写体Ｍを見たときの方向角と第二カメラ１０Ｂから被写体Ｍを見たときの方向角の差をθ、第一カメラ１０Ａと第二カメラ１０Ｂとの設置間隔をｄ_１２とすると、Ｌ_ｍがｄ_１２よりも十分に大きい場合には、幾何学的な関係から、
ｄ_１２＝Ｌ_ｍ・θ　　　（１）
となる。
また、カメラ１０の画角をφ、画素数をＰとすると、
φ／θ＝Ｐ／ｍ_１２　　　（２）
となる。ここで、式（１）と式（２）とからθを消去すると、
Ｌ_ｍ＝（ｄ_１２・Ｐ）／（ｍ_１２・φ）　　　（３）
となる。
ここで、設置間隔ｄ_１２、カメラの画角φおよび画素数Ｐはそれぞれ既知であり、視差ｍ_１２は視差特定手段２１（図１参照）によって特定されるので、式（３）により距離Ｌ_ｍを演算することができる。
また、図示は省略するが、背景体Ｓとカメラ群１０との距離Ｌ_ｓについても、設置間隔ｄ_１２、画角φ、カメラの画素数Ｐ、視差ｓ_１２とから、
Ｌ_ｓ＝（ｄ_１２・Ｐ）／（ｓ_１２・φ）　　　（４）
により演算することができる。
【００４９】
視差演算手段２３は、距離演算手段２２で演算された距離Ｌ_ｍ、Ｌ_ｓに基づいて、第一画像と第三カメラ１０Ｃで撮影された第三画像との間に生ずる被写体Ｍの視差ｍ_１３および背景体Ｓの視差ｓ_１３（図示せず）をそれぞれ演算するものである。すなわち、ブロックマッチングにより被写体や背景体の視差を特定すると、処理量が多くなるが、視差演算手段２３により、幾何学的な関係を利用して画像間に生じる視差の大きさを演算することで、処理量を少なくすることができる。
【００５０】
ここで、被写体Ｍの視差ｍ_１３は、各カメラ１０の画角φ、カメラ群１０と被写体Ｍとの距離Ｌ_ｍおよび第一カメラ１０Ａと第三カメラ１０Ｃとの設置間隔ｄ_１３から演算することができる。すなわち、第一画像と第三画像においても、前記の式（３）と同様の関係が成り立つので、第一画像と第三画像との間に生ずる被写体Ｍの視差をｍ_１３とすると、
Ｌ_ｍ＝（ｄ_１３・Ｐ）／（ｍ_１３・φ）　　　（５）
となり、これから、
ｍ_１３＝（ｄ_１３・Ｐ）／（Ｌ_ｍ・φ）　　　（６）
となる。画角φ、画素数Ｐおよび設置間隔ｄ_１３は、それぞれ既知であり、また、距離演算手段２２により距離Ｌ_ｍが演算されるので、式（６）により視差ｍ_１３を演算することができる。
また、視差ｓ_１３についても、同様に、距離演算手段２２により演算された距離Ｌ_ｓから、
ｓ_１３＝（ｄ_１３・Ｐ）／（Ｌ_ｓ・φ）　　　（７）
により演算することができる。
【００５１】
図１に示す第一補正手段２４Ａ，第二補正手段２４Ｂおよび図２に示す第三補正手段２４Ｃは、それぞれ、第一画像、第二画像および第三画像において、被写体Ｍと背景体Ｓの位置を移動させるものである。図３（ｃ）の場合であれば、第二画像中から、被写体Ｍを含む画素ブロックＢ２内の画像データを切り取るとともに、当該画像データを視差ｍ_１２だけ右にずらした位置に貼り付ければよい。
【００５２】
次に、画像処理装置２０の動作を、図１乃至図３を参照して説明する。
【００５３】
まず、第一カメラ１０Ａで撮影された第一画像および第二カメラ１０Ｂで撮影された第二画像を視差特定手段２１（図１参照）に取り込むとともに、これら二つの画像データを比較して、被写体Ｍの視差ｍ_１２および背景体Ｓの視差ｓ_１２を特定する（図３（ｂ）（ｃ）参照）。
【００５４】
視差特定手段２１で特定された視差ｍ_１２および視差ｓ_１２に関する情報は、第二画像を補正する第二補正手段２４Ｂへ送られる。
【００５５】
そして、第二補正手段２４Ｂで第二画像中の被写体Ｍおよび背景体Ｓの位置をそれぞれ補正して、第一画像中の被写体Ｍおよび背景体Ｓの位置にそれぞれ一致させる。より詳細には、図３（ｄ）に示すように、第二画像において被写体Ｍ（画素ブロックＢ２）を右にｍ_１２だけ移動させるとともに、背景体Ｓを右にｓ_１２だけ移動させる。
なお、第一画像は、本実施形態では、補正せずに録画装置３０へ送られる。
【００５６】
また、視差特定手段２１で特定された視差ｍ_１２および視差ｓ_１２に関する情報は、図２に示す距離演算手段２２にも送られる。
【００５７】
そして、距離演算手段２２では、視差特定手段２１で特定された視差ｍ_１２、視差ｓ_１２、第一カメラ１０Ａと第二カメラ１０Ｂとの設置間隔ｄ_１２、画角φおよび画素数Ｐに基づいて、カメラ群１０と被写体Ｍとの距離Ｌ_ｍおよびカメラ群１０と背景体Ｓとの距離Ｌ_ｓがそれぞれ演算され、その情報が視差演算手段２３へ送られる。
【００５８】
視差演算手段２３では、距離演算手段２２で演算された距離Ｌ_ｍ，Ｌ_ｓ、第一カメラ１０Ａと第三カメラ１０Ｃとの設置間隔ｄ_１３、画角φおよび画素数Ｐに基づいて、第一画像と第三画像との間に生じる被写体Ｍの視差ｍ_１３および背景体Ｓの視差ｓ_１３がそれぞれ演算され、その情報が第三補正手段２４Ｃに送られる。なお、視差ｍ_１３，ｓ_１３は、第一カメラ１０Ａと第三カメラ１０Ｃとの設置間隔ｄ_１３に応じて変化するので、本実施形態のように、第三カメラ１０Ｃが複数台（図１、２では５台）ある場合には、カメラごとに被写体Ｍの視差ｍ_１３と背景体Ｓの視差ｓ_１３とが演算される。
【００５９】
そして、第三補正手段２４Ｃで第三画像中の被写体Ｍおよび背景体Ｓの位置をそれぞれ補正して、第一画像中の被写体Ｍおよび背景体Ｓの位置とそれぞれ一致させる。より詳細には、図示は省略するが、被写体Ｍの位置をｍ_１３だけ移動させて第一画像中の被写体Ｍの位置と一致させるとともに、背景体Ｓをｓ_１３だけ移動させて第一画像中の背景体Ｓの位置と一致させる。
【００６０】
また、前記の各補正手段で補正された画像は、それぞれ対応する録画装置３０に送られて、記録される。すなわち、各録画装置３０には、被写体Ｍおよび背景体Ｓの位置が一致するように補正された画像が録画されることになる。
【００６１】
そして、各録画装置３０に録画されている各画像を、録画時の順序で、かつ、各画像の出力時間を標準開口時間としてモニタ４０へ出力すれば、被写体Ｍのスローモーションが得られるが、各画像において、被写体の位置および背景の位置がそれぞれ一致しているので、再生された映像にぶれが生じることはない。すなわち、違和感のない、スムーズなスローモーション映像を再生することができる。
【００６２】
また、前記の実施形態では、被写体Ｍおよび背景体Ｓのそれぞれを移動させたが、これに限定されることはなく、図示は省略するが、第二画像全体を視差ｍ_１２だけ右にシフトさせるとともに、第二画像において背景体Ｓを被写体の視差ｍ_１２と背景体の視差ｓ_１２との差（ｍ_１２−ｓ_１２）だけ移動させ、同様に、第三画像全体を視差演算手段２３で演算された被写体Ｍの視差ｍ_１３だけシフトさせるとともに、第三画像において背景体Ｓを被写体の視差ｍ_１３と背景体の視差ｓ_１３との差（ｍ_１３−ｓ_１３）だけ移動させてもよい。
【００６３】
これにより、補正後の第二画像中の被写体と背景体の位置および補正後の第三画像中の被写体と背景体の位置は、それぞれ第一画像中の被写体の位置および背景体の位置にそれぞれ一致することになり、したがって、第一画像、補正後の第二画像および補正後の第三画像を順々に再生するときに、撮影対象となる被写体Ｍの「ぶれ」だけでなく、背景体Ｓの「ぶれ」をも抑制することができる。また、被写体Ｍの周囲において画像データを切り取る必要がないので、より違和感のない画像を得ることができる。
【００６４】
また、前記の実施形態では、各画像において被写体Ｍと背景体Ｓのそれぞれ移動させたが、背景体Ｓを移動させる替わりに、各画像において背景体Ｓを削除する補正を行ってもよい。すなわち、補正後の第一画像、第二画像および第三画像から背景体Ｓの画像データを消去してもよい。また、この場合において、基準となる第一画像中の被写体Ｍの位置と第二、第三画像中の被写体Ｍの位置とを一致させるために、第二、第三画像中において被写体Ｍだけを視差に応じて移動させてもよいし、第二、第三画像全体を視差に応じてシフトさせてもよい。
【００６５】
なお、前記の実施形態では、カメラ群１０と録画装置３０との間に画像処理装置２０が設置され、各カメラ１０で撮影された画像を補正した後に、録画装置３０で録画する構成であったが、これに限定されることはなく、例えば、カメラ１０で撮影した画像を図示しない録画装置に録画しておき、録画された画像を画像処理装置２０で補正するような構成であってもよい。
【００６６】
また、カメラの台数も、図示のものに限定されることはなく、適宜変更可能である。なお、カメラが２台の場合であれば、画像処理装置には、視差特定手段２１、第一補正手段２４Ａおよび第二補正手段２４Ｂが備えられていればよい。
【００６７】
また、第三画像を視差特定手段２１に取り込み、第一画像と比較することにより、第一画像と第三画像との間に生じる視差ｍ_１３を特定しても良い。
【００６８】
【発明の効果】
本発明の画像処理装置および画像処理方法によれば、所定の間隔をあけて平行に配置された複数のカメラで撮影された画像のそれぞれを、視差に応じて補正して画像のぶれを抑制する場合に、各画像において被写体の位置だけでなく、背景体の位置を一致させることができるので、これらを順々に再生したときに、画像にぶれがなく、したがって、違和感のない、スムーズな映像を再生することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置のブロック構成図である。
【図２】本発明の画像処理装置のブロック構成図である。
【図３】（ａ）は視差を説明するための概略平面図、（ｂ）（ｃ）は視差特定手段を説明するための概略図、（ｄ）は補正手段を説明するための概略図である。
【図４】カメラ群の配置を示す概略平面図である。
【図５】スローモーション撮影・再生装置を示すブロック構成図である。
【図６】（ａ）は通常のカメラのフィールド時間を示すグラフ、（ｂ）は各カメラにおけるシャッターの開口タイミングを示すグラフ、（ｃ）は撮影・再生装置で再生するときの各カメラで記録された画像の読み出しタイミングを示すグラフである。
【図７】従来の補正方法を説明するための概略図である。
【符号の説明】
１　　　スローモーション撮影・再生装置
１０　　カメラ群
１０Ａ　第一カメラ
１０Ｂ　第二カメラ
１０Ｃ　第三カメラ
１１　　シャッター
１５　　開口タイミング設定手段
２０　　画像処理装置
２１　　視差特定手段
２２　　距離演算手段
２３　　視差演算手段
２４Ａ　第一補正手段
２４Ｂ　第二補正手段
２４Ｃ　第三補正手段
３０　　録画装置
３５　　切替機
４０　　モニタ

Claims

所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制するための画像処理装置であって、
第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差と背景体の視差とをそれぞれ特定する視差特定手段と、
前記各視差に応じて前記各画像を補正する補正手段とを備え、
前記補正手段は、前記第二画像において前記被写体を当該被写体の視差だけ移動させるとともに、前記背景体を当該背景体の視差だけ移動させる、
ことを特徴とする画像処理装置。
前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算手段と、
前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算手段とをさらに備え、
前記補正手段は、前記第三画像において、前記被写体を前記視差演算手段で演算された被写体の視差だけ移動させるとともに、前記背景体を前記視差演算手段で演算された背景体の視差だけ移動させる、
ことを特徴とする請求項１に記載の画像処理装置。
所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制するための画像処理装置であって、
第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体の視差と背景体の視差とをそれぞれ特定する視差特定手段と、
前記各視差に応じて前記各画像を補正する補正手段とを備え、
前記補正手段は、前記第二画像の全体を前記被写体の視差だけ移動させるとともに、前記第二画像において前記背景体を前記被写体の視差と前記背景体の視差との差だけ移動させる、
ことを特徴とする画像処理装置。
前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算手段と、
前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算手段とをさらに備え、
前記補正手段は、前記第三画像の全体を前記視差演算手段で演算された視差だけ移動させるとともに、前記第三画像において前記背景体を前記視差演算手段で演算された被写体の視差と前記背景体の視差との差だけ移動させる、
ことを特徴とする請求項３に記載の画像処理装置。
前記補正手段は、前記各画像の中から前記背景体を削除する、
ことを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像処理装置。
所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制する画像処理方法であって、
第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体および背景体のそれぞれについて視差を特定する視差特定ステップと、
前記第二画像において被写体および背景体の位置をそれぞれ対応する視差だけ移動させ、前記第一画像中の被写体の位置および背景体の位置にそれぞれ一致させる第二画像補正ステップと、
を含むことを特徴とする画像処理方法。
前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算ステップと、
前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算ステップと、
前記第三画像において、前記被写体を前記視差演算ステップで演算された被写体の視差だけ移動させるとともに、前記背景体を前記視差演算ステップで演算された背景体の視差だけ移動させる第三画像補正ステップと、
を含むことを特徴とする請求項６に記載の画像処理方法。
所定の間隔をあけて平行に配置された複数のカメラからなるカメラ群で撮影された画像のそれぞれを視差に応じて補正して、画像のぶれを抑制する画像処理方法であって、
第一カメラで撮影された第一画像と第二カメラで撮影された第二画像とを比較して、被写体および背景体のそれぞれについて視差を特定する視差特定ステップと、
前記第二画像の全体を前記被写体の視差だけ移動させるとともに、前記第二画像において前記背景体を前記被写体の視差と前記背景体の視差との差だけ移動させる第二画像補正ステップと、
を含むことを特徴とする画像処理方法。
前記各視差に基づいて、前記カメラ群と前記被写体との距離および前記カメラ群と前記背景体との距離をそれぞれ演算する距離演算ステップと、
前記各距離に基づいて、前記第一画像と第三カメラで撮影された第三画像との間に生ずる被写体の視差と背景体の視差とをそれぞれ演算する視差演算ステップと、
前記第三画像の全体を前記視差演算ステップで演算された視差だけ移動させるとともに、前記第三画像において前記背景体を前記視差演算ステップで演算された被写体の視差と前記背景体の視差との差だけ移動させる第三画像補正ステップと、
を含むことを特徴とする請求項８に記載の画像処理方法。
前記各画像の中から前記背景体を削除する削除補正ステップを含むことを特徴とする請求項６乃至請求項９のいずれか一項に記載の画像処理方法。