JP2007173966A - 撮像装置及びその画像データ処理方法 - Google Patents

Abstract

【課題】 ビデオカメラ本体の傾斜度を検出する傾斜センサーを必要とすることなく、撮像した画像の信号処理により、画像の水平を維持した状態で撮像出力を得る。
【解決手段】
撮像系１０により得られる画像データにフレーム単位でリアルタイムに回転処理を施す画像データ処理系３０と、上記画像データ処理部の動作を制御する制御系５０とを備え、上記制御系５０は、撮像画面のフレーム内にある直線部分を特徴抽出した複数の候補ラインの中から基準ラインを指定し、フレームの縦方向又は横方向を基準に基準ラインの傾きを指定した後、上記画像データ処理系３０により、フレーム毎に画像データの基準ラインと上記指定した基準ラインの傾きとの相対角度を算出し、上記算出した相対角度に応じて画像データをフレーム単位でリアルタイムに回転処理することにより、撮像画面のフレーム内の指定した基準ラインが上記指定した傾きを維持した画像データを生成する制御を行う。
【選択図】 図１

Description

本発明は、画像の水平を維持した状態で撮像出力を得ることのできる撮像装置及びその画像データ処理方法に関する。

通常、ビデオカメラで撮影を行う場合、意図的に構図を傾ける場合を除き、大概天地水平を合わせた構図で撮影を行う。このとき水平を合わせた構図で撮影するためには、ビデオカメラ自体が水平になるように姿勢を保つ必要がある。また、意図的に構図を傾ける場合であっても、それはビデオカメラ自体を傾けることになり、カメラの姿勢によっては撮影者が辛い姿勢を強いられることがある。撮影時の構図を安定的に保つためには三脚を用いたり、手持ちの場合はビデオカメラのストラップを使用しないで、両手でビデオカメラを包み抱えるように保持するなど、撮影テクニックを駆使しなければならず、経験の浅い撮影者には難しい撮影方法であった。

例えば、撮影時に構図の水平を補正するにあたり、三脚を使用する場合は、脚の長さや雲台角度の調節が必要で面倒であったり、運用面では三脚そのものが携帯性を損なう要因となっていた。また、手持ちの場合は、撮影者がいかなる姿勢であっても、水平となるようにカメラを構える必要があった。また、障害物によりカメラの姿勢が水平以外に限定されるような場合は、水平補正は不可能であった。

一方、撮影時に水平補正されないで撮影された映像を再生・視聴する場合、モニタ画面には映像が傾いた状態で表示されるので、視聴者は違和感を覚えることがある。

以上のように、撮影される映像の構図は、撮影時のカメラの姿勢によって決まってしまっていた。

また、従来より、放送方式で必要とする標準の撮像素子に比べ画素数の多い撮像素子を用いて、放送方式標準サイズを切り出す技術としては、ビデオカメラ等に像振れ補正機能として搭載されている電子的振れ補正方式がある。しかし、この方法はレンズ光軸を基準にして水平方向、垂直方向の画像の振れの防止技術であり、回転方向に関するものは少ない。

さらに、水平位置のずれを修正可能にするために、ビデオカメラ本体の傾斜度を検出する傾斜センサーと、この傾斜センサーで検出された傾斜度だけ前記画像メモリに記憶される画像データを回転補正し、画像の傾き補正を行う手段との組合せによる画像補正を行うことが提案されている(例えば、特許文献１参照)。

特開２０００−１１５６０２号公報

しかしながら、特許文献１のようにビデオカメラ本体の傾斜度を検出する傾斜センサーを設けるのでは、傾斜センサーを必要とすることから、コストアップやカメラの大型化につながる。

回転振れは、各画素単位は一応焦点が適正でありながら、画素単位の位置ずれが生じていることから、ビデオカメラ内での画素単位の位置変換、すなわちフレーム単位の画像回転が必要となる。

こうした画像回転の方法や装置は多数提案されているが、いずれもビデオカメラの撮像部を回転に応じて回転補正するもので、どうしてもビデオカメラを大型化してしまう問題がある。また、電気的に処理するには、ごく短時間に次々と取込まれるフレームとの関係で、画像回転に要する処理時間の短縮が必要になる。

そこで、本発明の目的は、上述の如き従来の問題点に鑑み、ビデオカメラ本体の傾斜度を検出する傾斜センサーを必要とすることなく、撮像した画像の信号処理により、画像の水平を維持した状態で撮像出力を得ることのできる撮像装置及びその画像データ処理方法を提供することにある。

本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。

本発明では、撮影しながら逐次取込まれるフレーム個々を指定した角度で出力されるように画像回転し、動画としての回転振れを取り除くための画像補正を行う。

すなわち、本発明に係る撮像装置は、撮像部と、上記撮像部により得られる画像データにフレーム単位でリアルタイムに回転処理を施す画像データ処理部と、上記画像データ処理部の動作を制御する制御部とを備え、上記制御部は、撮像画面のフレーム内にある直線部分を特徴抽出した複数の候補ラインの中から基準ラインを指定し、フレームの縦方向又は横方向を基準に基準ラインの傾きを指定した後、上記画像データ処理部により、フレーム毎に画像データの基準ラインと上記指定した基準ラインの傾きとの相対角度を算出し、上記算出した相対角度に応じて画像データをフレーム単位でリアルタイムに回転処理することにより、撮像画面のフレーム内の指定した基準ラインが上記指定した傾きを維持した画像データを生成する制御を行うことを特徴とする。

また、本発明に係る画像データ処理方法は、撮像画面のフレーム内にある直線部分を特徴抽出した複数の候補ラインの中から基準ラインを指定し、フレームの縦方向又は横方向を基準に基準ラインの傾きを指定した後、フレーム毎に画像データの基準ラインと上記指定した基準ラインの傾きとの相対角度を算出し、上記算出した相対角度に応じて画像データをフレーム単位でリアルタイムに回転処理することにより、撮像画面のフレーム内の指定した基準ラインが上記指定した傾きを維持した画像データを生成して出力することを特徴とする。

本発明では、ビデオカメラにおける回転振れをリアルタイムに補正することによって、手持ちによる回転振れや、三脚撮影においても船上などの回転方向の振動の多い場所でより良好な動画像の撮影を行うことができる。

また、本発明では、従来とは異なり、取込む画像に対して直接電気的な補正を施すので、ビデオカメラを大型化することがない利点もある。さらに、回転処理前の画像データのから抽出したラインと撮像素子のＸ、Ｙ軸との相対角から回転角を算出するので、カメラ自体の姿勢を検知するジャイロセンサーや加速度センサーなどの追加ハードウエアの搭載が不要となり、コストダウンを図ることができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。

本発明は、例えば図１に示すような構成のデジタルビデオカメラ１００に適用される。

図１は、本発明適用したデジタルビデオカメラ１００の内部構成を示すブロック図である。

このビデオカメラ１００は、大別してカメラ系１０、オーディオ系２０、画像処理系３０、記録再生系４０及び制御・操作系５０から構成されている。

カメラ系１０は、光学レンズユニット（ズームレンズ、絞り部、オートフォーカスレンズなどを含む）１１、撮像素子１２、カメラ系信号処理回路１３などからなる。

光学レンズユニット１１は、レンズ駆動部１４により駆動され、被写体からの撮像光による被写体像を撮像素子１２の撮像面上に結像する。

撮像素子１２は、例えば数百万画素のＣＣＤ（charge coupled device）やＣＭＯＳ等のイメージセンサであり、放送方式で必要とする標準の撮像素子に比べ画素数の多い撮像素子を用いており、光学レンズユニット１１を介して入射した被写体像を光電変換することにより撮像出力として得られる撮像信号をカメラ系信号処理回路１３に供給する。

カメラ系信号処理回路１３は、撮像素子１２から供給される撮像信号にカメラ系信号処理を施し、処理済みの撮像信号を画像処理系３０である画像データ処理回路３１に供給する。

オーディオ系２０は、マイクロフォン２１とオーディオ系信号処理回路２２からなる。マイクロフォン２１を介して入力された音声信号には、オーディオ系信号処理回路２２によりオーディオ系信号処理が施される。

画像処理系３０は、画像データ処理回路３１、ビデオエンコーダ３２及びビデオデコーダ３３からなる。この画像処理系３０では、カメラ系１０から供給される撮像信号、及び、記録再生系４０から供給される再生信号に対して、画像データ処理回路３１により、画像圧縮前および画像伸長後の画像処理を施す。ビデオエンコーダ３２及びビデオデコーダ３３は、画像データに対して例えばＨＤＶ方式の画像圧縮及び画像伸長の各処理を施す。

記録再生系４０は、磁気テープ４２を介して信号の記録／再生を行う電磁変換系４１を備える。記録時には、ビデオエンコーダで圧縮された圧縮画像データやオーディオデータを電磁変換系４１により記録媒体である磁気テープ４２に記録する。また、再生時には、磁気テープ４２から読み取った再生信号を電磁変換系４１により画像処理系３０で扱うための信号に変換する。

制御・操作系５０は、制御部５１、操作部５２、パネル５３、パネル・ライン出力処理回路５４などからなる。

制御部５１は、単一又は複数のマイクロプロセッサ（ＣＰＵ）から構成され、各構成要素を制御する制御回路であり、操作部５２からの指示／操作信号を入力し、パネル５３に表示データを出力するなどの制御動作を実行する。また、この制御部５１は、後述する画像回転制御を実行する。

操作部５２は、各種の指示／操作用のボタンやスイッチを備える。パネル５３は、ＬＣＤ（liquid crystal display）モニタからなり、パネル・ライン出力処理回路５４の出力として、撮影時の撮影画像（スルー画像）、再生画像、または操作用メニュ画面等を表示する。また、パネル５３によりタッチパネル操作が可能である場合は、パネル５３のタッチパネル機能は操作部５２に含まれる。

このような構成のビデオカメラ１００において、画像処理系３０の画像データ処理回路３１では、以下に述べる画像データの回転振れ補正処理を行う。

以下図１と共に、図２乃至図７を参照して画像データの回転振れ補正処理について説明する。

このビデオカメラ１００における回転振れ補正は、図２のフローチャートを示す手順にしたがって実行される。

すなわち、制御部５１は、撮影者によって傾き補正が指示されることにより回転振れ補正を開始する（ステップＳ１）。

回転振れ補正処理では、フレーム内の画素値から所定の画素群を規定する。画素群は、デジタル画像の物理的に隣接した画素の集合として規定される必要はなく、デジタル画像上で１以上の画素をはさんだ飛び飛びに存在する複数の画素であって、複数の画素であってもよい。「画素値」とは画素群の画素それぞれが有する輝度値と色差値である。画素群の隣接する２画素間で画素値の偏差（差分）が算出される。なお、画素群はデジタル画像上で飛び飛びに存在する複数の画素であってもよいので、「画素群の隣接する２画素」も当然に物理的に隣接する２画素のみならず、画素群に含まれる複数の画素の中で位置的に最も近い２つの画素をも含む。画素値の偏差は、輝度値と色差値の各値について算出され、ある一定の閾値を超える画素群、すなわち、被写体の輪郭部のような画素値の変化が大きい画素群から、被写体の直線部分を検出する。

具体的に説明すると、この実施の形態では、上述の「所定の画素群」は、図３に示すようにフレーム内を複数のブロックに分割し、各ブロック内で画素値の偏差を算出し、その値に閾値を設けることにより、直線部分を検出された場合は、候補ライン１６の対象とする。フレーム内で候補ライン１６が１つしか検出できなかった場合は、その候補ライン１６を基準ラインとする。フレーム内で複数の候補ライン１６が検出された場合は、ラインの長さ順に優先番号が割り当てられる。また、図３のようにフレーム内の候補ラインが同じ方向に連続して繋がっている部分は、それらを図４のように１つの候補ラインに置き換えることで、直線部分の検出精度を向上することができる。なお、図３、図４で示した候補ライン１６は本発明の説明の為に明示したものであって、候補ライン選択の為の表示に関わる部分は後述する。

次に、候補ラインからから画像の傾きの基準となる基準ラインを決定する方法を説明する。

基準ライン選択操作では、候補ラインには優先番号順に順次直線のガイドライン（例えば図４の候補ライン１６のような矢印ラインが実際に表示される）が表示され（ステップＳ２）、撮影者が選択して図５のように基準ライン１７を決定する（ステップＳ３）。なお、タッチパネルの場合は、候補ラインが優先番号に関連した色分けされたガイドラインが複数表示され、直接選択できるようにしてもよい。また、傾き補正を指示する前に回転振れが激しく、タッチパネルで候補ラインを直接選択し辛い場合を考慮して、順次候補ラインを切り替えることができる操作手段（釦やタッチパネル上のアイコンなど）を設けても良い。

続いて、決定した基準ラインの傾きに応じて画像を回転させる方向を決定し、その方向に画像を回転させる処理を説明する。

図５、図７におけるＸ軸、Ｙ軸は、カメラ系信号処理回路１３の出力として得られる回転処理前の画像において適用されるもので、撮像素子１２の水平・垂直に相当する。図６、図７におけるＸＸ軸、ＹＹ軸は、回転処理後の画像において適用されるもので、撮影者が傾き補正を指示したときに出力される画像の水平・垂直に相当する（例えば、撮影者が傾き補正を指示したときに表示されるモニタ用のパネルやライン出力など）。まず、図５における基準ライン１７を被写体の水平直線に選択した場合、図５に示すように、基準ラインはＸ軸に対してθ傾いた状態である。撮影者により、基準ラインの水平合わせが指示されると、図６のように基準ライン１７がＸＸ軸に平行になるように画像データを角度θ分回転処理する。

この回転量θから、１フレーム毎に定まる変位量をＹ方向及びＸ方向に分解して表すことができる。（１）式は回転量θに従うＹ方向変位量を表す式（Ｙ方向変位関数）、（２）式は回転量θに従うＸ方向変位量を表す式（Ｘ方向変位関数）である。ここで、Ｙ方向変位関数（（１）式）の左辺Ｄ（ｘ，ｙ）から右辺Ｄ（ｘ’，ｙ’）を求めればＹ方向変位量が、Ｘ方向変位関数（（２）式）の左辺Ｄ（ｘ’，ｙ’）から右辺Ｄ（ｘ”，ｙ”）を求めればＸ方向変位量を取り除くことができる。これらの計算は、ソフトウェア的又はハードウエア的に実現できる。

以上のように撮影者によって選択、決定された基準ライン１７を水平合わせする操作を行うことにより、基準ラインがＸ軸に対して平行にする為に画像データを回転処理する一連の流れを説明したが、基準ラインを垂直合わせする場合や任意の方向へ合わせる場合の機能を設けてもよい。このとき、Ｘ軸方向を０°、Ｙ軸方向を９０°とする座標において、前記任意の方向の角度のことを図２のフローチャートではで合成角度と称している（ステップＳ４）。

以降は図２で示す通り、パンすることで基本ライン検出の為の対象部分が撮影画角から外れるか、または撮影者の操作により回転振れ補正が解除されるまで、フレーム毎に画像データの基準ライン１７と合成角度との相対角度θを算出し、画像データの回転処理を行う。

本発明においては、撮像素子１２に高速撮像可能な、例えばＣＭＯＳ等のイメージセンサを使用することで、回転振れ補正の追従性を良好にし、後段への出力時には放送方式毎に決められているフレームレートで安定して補正をかけることが可能となる。

これら一連の画像処理で扱う画像データは前述した通り、図１の放送方式で必要とする標準の撮像素子に比べ画素数の多い撮像素子１２から入力された画像データであり、画像データ処理回路３１で回転処理を行った後、図７のように画像データから放送方式標準サイズを切り出してパネル、ライン出力処理回路５４やビデオエンコーダ３３などの後段へ出力される。

なお、画像回転処理を行うにあたり、最終段の出力がインタレース画像の場合でも、図１の画像データ処理回路３１に入力する画像データをプログレッシブ画像にする、もしくは画像データ処理回路３１でプログレッシブ画像に変換してから回転処理することにより、フレーム内にくし状のノイズが発生するのを防ぐことができる。

また、撮像素子１２に高速撮像可能な、例えばＣＭＯＳ等のイメージセンサを使用し、多くのフレームから候補ラインの動き予測することなどで、回転振れ補正の精度が向上し、後段への出力時には放送方式毎に決められているフレームレートで安定して補正をかけることが可能となる。

また、本発明の一連の回転補正は基準ラインと撮像素子のＸ軸から指定された角度の相対角度を維持するので、カメラの姿勢を検知するセンサーを必要としない。

ここで、次の説明するように、図２に示したフローチャートのステップＳ３において、候補ラインに設けられた優先順位を利用するようにしてもよい。

図８は、撮影者により基準ラインが選択され、合成角度が水平（ＸＸ軸に対して０°）になるように回転補正された画像を現している。

撮影者による基準ライン選択操作の際、基準ラインの選択肢となる候補ラインには、優先順位が割り当てられている。図８では候補ラインの優先順位順がＬ１、Ｌ２、Ｌ３の順になっているとする。撮影者は候補ラインＬ１を基準ラインとし、合成角度を０°に設定している。撮影者が選択した基準ライン（Ｌ１）が画面外に外れたり、コントラストの変化により、基準ラインの検出が続行できない場合は、他の候補ラインが検出可能であれば、優先順位の大きい候補ライン順に以下に述べる方法によって、候補ラインが基準ラインの代替ラインとして、基準ラインに昇格させ、回転振れ補正を続行する。

図９は、図８における基準ラインＬ１が検出できなくなり、候補ベクトルＬ２が基準ベクトルに昇格した例を示している。

新しく昇格する基準ラインは、優先順位の大きい候補ラインから順に元の基準ライン（Ｌ１）との相対角度が変化していないかが判別される。相対角度変化量には閾値が設けられ、判別時に閾値を越えていれば、次の順位の候補ラインの判別に移る。相対角度変化量が閾値内であれば、候補ラインを基準ラインに昇格させ、元々の基準ラインとの相対角度分αを加算して補正した、新たな合成角度を用いて、図２のフローチャートにおけるステップＳ５の処理を行う。図９において、合成角度はα°となり、ＸＸ軸に対して新たな基準ラインＬ２がα°となるように画像の回転処理が行われる。

このような処理を行う場合の画像処理によるフレームの欠損（ドロップフレーム）を回避する為に、回転処理前の撮像画像を図示しないメモリバッファに取り込む。また、新たに基準ラインとなる候補ラインと元の基準ライン（Ｌ１）との相対角度が変化していないか判別する際も、メモリバッファに取り込んだ複数フレームの画像を利用することで、判別精度を向上することができる。さらに、撮像素子に高速撮像可能な、例えばＣＭＯＳ等のイメージセンサを使用することで、前述の判別精度を向上させることができ、後段への出力時には放送方式毎に決められているフレームレートで出力することで、実際の被写体の動きに対し、モニタ画面に表示される回転補正時の被写体の動きが遅延することを抑制することができる。

なお、上記説明では候補ベクトルの優先順位が撮影者による基準ライン選択操作の際に決定される場合を述べたが、回転補正中は候補ベクトルの優先順位を１フレーム〜複数フレーム毎に割り当て直すようにしても良い。または、基準ベクトルが検出できなくなる直前のメモリバッファに取り込まれた数フレームから、候補ベクトルの優先順位を割り当て直すようにしても良い。

本発明を適用したビデオカメラの構成を示すブロック図である。 回転振れ補正の手順を示すフローチャートである。 フレーム内の候補ラインを模式的に示す図である。 フレーム内の候補ラインが同じ方向に連続して繋がっている部分を１つの候補ラインに置き換えた状態を模式的に示す図である。 基準ラインを決定した状態を模式的に示す図である。 画像データを分回転処理の様子を模式的に示す図である。 画像データ処理回路で回転処理を行った後の画像データから、放送方式標準サイズを切り出して後段へ出力される様子を模式的に示す図である。 撮影者により基準ラインが選択され、合成角度が水平（ＸＸ軸に対して０°）になるように回転補正された画像を模式的に示す図である。 図８における基準ラインが検出できなくなり、候補ベクトルが基準ベクトルに昇格した例を模式的に示す図である。

符号の説明

１０ カメラ系、１１ 光学レンズユニット、１２ 撮像素子、１３ カメラ系信号処理回路、１４ レンズ駆動部、２０ オーディオ系、２１ マイクロフォン、２２ オーディオ系信号処理回路、３０ 画像処理系、３１ 画像データ処理回路、３２ ビデオエンコーダ、３３ ビデオデコーダ、４０ 記録再生系、４１ 電磁変換系、４２ 磁気テープ、５０ 制御・操作系、５１ 制御部、５２ 操作部、５３ パネル、５４ パネル・ライン出力処理回路、１００ ビデオカメラ

Claims (4)

1. 撮像部と、
   上記撮像部により得られる画像データにフレーム単位でリアルタイムに回転処理を施す画像データ処理部と、
   上記画像データ処理部の動作を制御する制御部とを備え、
   上記制御部は、撮像画面のフレーム内にある直線部分を特徴抽出した複数の候補ラインの中から基準ラインを指定し、フレームの縦方向又は横方向を基準に基準ラインの傾きを指定した後、上記画像データ処理部により、フレーム毎に画像データの基準ラインと上記指定した基準ラインの傾きとの相対角度を算出し、上記算出した相対角度に応じて画像データをフレーム単位でリアルタイムに回転処理することにより、撮像画面のフレーム内の指定した基準ラインが上記指定した傾きを維持した画像データを生成する制御を行うことを特徴とする撮像装置。
2. 上記撮像部は、放送方式で必要とする標準の撮像素子に比べ画素数の多い撮像素子を備え、
   上記画像データ処理部は、放送方式標準サイズを切り出すことで回転処理した画像データを得ることを特徴とする請求項１記載の撮像装置。
3. 上記画像データ処理部には、プログレッシブ走査画像データを入力することを特徴とする請求項１記載の撮像装置。
4. 撮像画面のフレーム内にある直線部分を特徴抽出した複数の候補ラインの中から基準ラインを指定し、
   フレームの縦方向又は横方向を基準に基準ラインの傾きを指定した後、
   フレーム毎に画像データの基準ラインと上記指定した基準ラインの傾きとの相対角度を算出し、
   上記算出した相対角度に応じて画像データをフレーム単位でリアルタイムに回転処理することにより、撮像画面のフレーム内の指定した基準ラインが上記指定した傾きを維持した画像データを生成して出力することを特徴とする画像データ処理方法。

Images