JP2005143063A

JP2005143063A - 映像形成方法

Info

Publication number: JP2005143063A
Application number: JP2003411012A
Authority: JP
Inventors: Mitsuo Matsuda; 充夫松田
Original assignee: Individual
Current assignee: Individual
Priority date: 2003-11-04
Filing date: 2003-11-04
Publication date: 2005-06-02

Abstract

【課題】異なる距離にある被写体を撮影して各被写体の鮮明な映像を形成する。
【解決手段】異なる複数の距離にある被写体Ｔ、Ｐ、Ｍを合焦して撮影した映像を細分して各映像の小領域ごとに画素値から同時生起行列の生成を経てテクスチャ特徴量が求められる。このテクスチャ特徴量に基づき各映像のうち最も鮮明な映像の小領域が決定される。こように決定された最も鮮明な映像の小領域を結合して被写体の映像を形成する。各距離の映像の小領域について最も鮮明である小領域をテクスチャ特徴量に基づき判定しているので、映像にノイズなどの外乱が含まれていても正確に鮮明度を判定することができる。
【選択図】図１

Description

発明の詳細な説明

本発明は、異なる距離にある複数の被写体を撮影した映像から、各被写体に対して合焦した映像を形成する映像形成の方法に関する。

光学式またはデジタルカメラやビデオカメラで被写体を撮影した場合、有限の開口径をもつレンズで撮影した映像や画像には、奥行きに関する情報がぼけとして現れる。すなわち焦点距離の長いレンズを用いて近距離の被写体物を撮影し、それに合焦すれば得られた遠距離にある背景像はボケて写し出される。逆に遠距離の背景に合焦すれば近距離の被写体物はボケた像になってしまう。

焦点距離の短い広角レンズを用いて近距離および遠距離の被写体の全てにピントを合わせる方法が考えられるが、この場合には倍率が用途に適さないことがあり、あらゆる場面で利用できる解決方法にならない。

以上に述べた問題点を解消するために、同一の光学系で焦点を遂次ずらして画像メモリに入力し、画像処理をして全領域について焦点の合った画像を合成する手法が提案されている。このような手法を採った場合は、焦点を逐次ずらす機構などの開発が必要となる。

あるいは、例えば特開平３−８０６７６号公報にあるように、近距離、中距離、それに遠距離の３つの異なる距離に合焦した１つの撮影系を使ってそれぞれの被写体を撮影して、後で近距離、中距離、遠距離にピントのあった映像を抽出して、各映像の高周波成分を利用して合成する方式も考えられている。

また、特開２００１−２９８６５７号公報にあるように、近距離、中距離、それに遠距離の３つの異なる距離に合焦した撮影系を使ってそれぞれの被写体を撮影して、近距離、中距離、遠距離にピントのあった映像を抽出して、各映像の輝度値とその移動平均値との差波形を利用して合成する方式も考えられている。

しかしながら、高周波成分の多い領域を各映像から抽出して合成する場合の問題点の一つは、ノイズ等の外乱を含む映像に対して良好な合焦した映像を得ることは難しいことである。それはノイズの高周波成分と合焦のそれとが区別できないために生じており、同じような欠点は各映像の輝度値とその移動平均値との差である差波形を利用した場合も残っている。

高周波成分の多い領域を各映像から抽出して合成する場合の第２の問題点は、周波数の算出に一般的に使われているＦＦＴあるいはＤＣＴでは、周波数の分離精度を良くするためには、小領域のサイズをある程度大きくする必要があり、したがって小領域をあまり小さくすることができない。またこれらの計算方法では有限な領域から周波数成分の算出するため問題点も内包している。

従って、本発明は、このような問題点を解決するためになされたもので、異なる距離にある被写体に合焦した複数の映像を容易にしかも正確に合成して異なる距離にある各被写体の鮮明な映画像を得ることが可能な映像形成方法を提供することをその課題とする。

本発明は、異なる複数の距離にある被写体をそれぞれ撮影して被写体の映像を形成する映像形成方法において、各距離にある被写体を合焦して撮影し、合焦して撮影された各距離の映像をそれぞれ複数の小領域に細分して小領域ごとに画素値のテクスチャ特徴量を各距離の映像に対して形成し、そのテクスチャ特徴量に基づき各距離の映像の小領域のうち最も映像が鮮明な領域を小領域ごとに求め、小領域ごとに求めた最も鮮明な映像の小領域を結合して被写体の映像を形成することを特徴としている。

このようにして得られた映像は、複数の細分した領域の映像それぞれが異なる距離の映像のうち最も鮮明とされた映像で構成されているので、全体としてすべての距離にある被写体が鮮明に映し出される。その場合、各小領域ごとに画素値のテクスチャ特徴量を各距離の映像に対して形成し、そのテクスチャ特徴量に基づき各距離の映像の小領域のうちどれが最も鮮明であるかを判定しているので、ノイズなどの外乱が含まれていても正確に鮮明度を判定することができる。

本発明と、周波数の性質を利用した場合や各映像の輝度値とその移動平均値との差である差波形を利用した場合とを比較すると、周波数の分離精度からの制限が少ないので小領域の大きさをかなり小さくすることができるし、その小領域の形状を矩形、３角形を含む多角形、或いは円形とかなり自由にとることもできる。しかもテクスチャ特徴量を利用する本発明では有限の小領域から周波数成分の算出をするために生じる問題は発生しない。

また周波数成分や各映像の輝度値とその移動平均値との差波形を利用して合成する方式では、映像に対する単一（または少数）の情報しか持たないが、テクスチャ特徴量による場合は、映像や画像の粗さや細かさ、画像の明確さ、平坦度など画像の特徴を複合的または総合的に評価・判断できる指標を与えることができ、さまざまな周波数成分を含んだ自然画像の映像やノイズなどの外乱を含んだ映像に対して適用できる利点を有している。

発明の実施するための最良の形態

以下、図面を参照して本発明を詳細に説明する。
本発明は、図２に示すように異なる複数の距離にある被写体、すなわち近距離にある木Ｔ、中距離にある人物Ｐ、及び遠距離にある山Ｍ、をそれぞれ撮影して各被写体に合焦した映像は、前記特開平３−８０６７６号公報のように、近距離、中距離、それに遠距離の３つの異なる距離に合焦した撮影を繰返す方法、もしくは特開２００１−２９８６５７号公報にような近距離、中距離、それに遠距離の３つの異なる距離に合焦した１つ撮影系の装置を使う方法により得る。

図２において、符号１〜３は、近距離にある木の被写体Ｔ、中距離にある人及び遠距離にある山の被写体をそれぞれＰ、Ｍを同時に撮影し、各距離に合焦した近映像、中映像、遠映像である。

本発明により合焦した映像を形成するに際し、各映像は前処理を行なうことが望ましい。すなわち光学系の光軸のずれ、傾きあるいは倍率（大きさ、ひずみ）に相違があると、各映像の中心、傾き、大きさが相違することにより映像の合成ができない場合が生じたり或いは不正確な合成が生じたりするからである。その前処理について前記特開２００１−２９８６５７号公報のような方法がある。

以下に、図１の流れを参照して、各距離映像からピントの合った部分を抽出してすべて被写体に合焦した鮮明な映像を形成する方法を説明する。

本発明では、各映像を複数の小領域に細分して、各小領域ごとに最も鮮明な小領域を各映像から抽出し、それを合成することにより鮮明な映像を得る。

各映像を複数の小領域に細分して、各小領域ごとに最も鮮明な小領域を各映像から抽出し、それを合成することにより鮮明な映像を得る場合は、あらかじめ近、中、遠距離の各映像を分割するための分割数を設定することが行われる。本発明においてもその方式を用いてもよいが、本発明では必ずしもその方式を採る必要はない。

本発明は、各映像の小領域ごとのテクスチャ特徴量を計算するための同時生起行列（または共起行列という）を必要とする。

このために、まずステップＳ１で小領域のサイズ、生起行列の演算に必要となる相対的な位置ｄ（方向と距離をもつベクトル量）、走査の方法を設定する。また図１では省いているが画素値から諧調化するための量子化ステップ量はこのステップＳ１で設定する。図３は、メモリに格納されている近（中、遠）映像をラスタ走査した状態が示しており、小領域４のサイズは３×３の大きさの画素としている。

このステップＳ４において、各映像の小領域４の画素値は量子化の操作によってｑ階調の映像に変換される。次のステップＳ４では、図４に示すような小領域４のｑ階調の映像から、階調値ｉの点から相対的な位置がｄである点の階調値がｊである割合Ｍ_ｄ（ｉ，ｊ），（ｉ，ｊ＝０，１，・・・，ｑ−１）をｉｊ要素とする同時生起行列を求める。

図５は、図４に示すような０、１、２の階調値６をもつ小領域４に対して、水平方向上にあって左から右にｄ＝１の相対距離をもつ画素のみを考えて作成された生起行列の要素値Ｍ_ｄ（ｉ，ｊ）の例を示している。点線で囲まれた階調値（２，１）の対は、図４の例では１組しか現れないので、図５の生起行列の（ｉ，ｊ）＝（２，１）の要素値７のＭ_ｄ（２，１）は１となる。ここで、図４の符号５は小領域の局所座標、符号６は映像の画素値から量子化された階調値を表し、図５の符号７は、より圧縮された画素値（階調値）の統計量となる同時生起行列の要素値Ｍ_ｄ（ｉ，ｊ）である。

次のステップＳ５では、図５に示す生起行列から複数個のテクスチャ特徴量を算出する。代表的なテクスチャ特徴量として角２次モーメント、コントラスト、エントロピ、相関、分散などを含め１３種類の量がある。

しかしテクスチャ特徴量に基づき各距離の映像の小領域のうち最も映像が鮮明な領域を小領域ごとに求める上で、これらのテクスチャ特徴量をすべて用いる必要はなく、映像の性質に応じて選択すればよい。一般的な映像の場合は角２次モーメント、コントラスト、エントロピを使う。

角２次モーメントｆ_１は式１から計算され、画像中の変化の乏しい度合いを示す。この値は階調値の変化が乏しいと同時生起行列の要素値７のＭ_ｄ（ｉ、ｊ）に偏りが生じてｆ_１は大きな値になる。

コントラストｆ_２は式２から計算され、ｆ_２は局所的な変化が大きい場合に大きな値になる。

エントロピｆ_３は式３から計算され、画像の複雑さの測度を表し、画素値が偏りなく現れる場合は大きな値になる。

相関ｆ_４は式４から計算され、画素値に一様な部分が多いとｆ_４は大きな値をとり、ランダムノイズが多く含まれる場合にｆ_４は小さくなる。したがってステップ６の判定の項目に相関ｆ_４を入れることでノイズなどの外乱の影響を少なくできる。

ここでそれぞれｉ、ｊ方向の平均階調値をμ_ｘ、μ_ｙで表し、数５及び数６から計算される。
同様にｊ、ｊ方向の偏差をσ_ｘ、σ_ｙで表し、数７から計算される。

ホモジニティｆ_５は式８から計算し、局所的に変化に乏しいときに大きな値になる。

その他の８つのテクスチャ特徴量を以下に示す。残る８つの特徴量を求める場合に共通して使用する２つの式を数９と式１０に示す。

またテクスチャ特徴量としての分散ｆ_６は式１１、総和平均ｆ_７は式１２、総和分散ｆ_８は式１３、総和エントロピｆ_９は式１４からそれぞれ計算される。

またテクスチャ特徴量としての差分分散ｆ_１０は式１５、差分エントロピｆ_１１は式１６、相関情報測度ｆ_１２はとｆ_１３はそれぞれ式１７および式１８から計算される。

ただし、Ｈ_ｘ、Ｈ_ｙ、Ｈ_ｘｙ１、Ｈ_ｘｙ２はそれぞれ式１９、式２０、式２１、式２２から求めた値である。

ステップＳ６では各映像の小領域４ごとに求めたテクスチャ特徴量から、各映像の小領域４のうち最も鮮明な映像を決定する。この決定はテクスチャ特徴量のうち１つの項目、例えばコントラストｆ_２のみから決定してもよいし、あるいは角２次モーメントｆ_１、コントラストｆ_２とエントロピｆ_３の３つの組合せのように複数個の項目から総合的に評価し決定してもよい。

さらに各映像の鮮明な領域と映像がぼけており鮮明でない領域において、各映像の小領域４でのコントラストｆ_２のテクスチャ特徴量分布を取りその分布状態を比較すると、後者の領域は平坦な分布やまばら分布を示し明らかに分布状態は異なる。

この事実を利用するならば、このステップＳ６でテクスチャ特徴量の単独または複数の組合せで各映像の小領域４のうち最も鮮明な映像を決定するだけでなく、請求項４から請求項６に記載したように小領域と当該小領域近傍のテクスチャ特徴量の分布を求め、その分布を評価して各映像の小領域のうち最も鮮明な映像を決定するといっそう正確度は向上する。

ところでこの各映像の小領域４を一種の演算窓とみなし、走査種類の設定に基づき小領域４の演算窓の範囲を走査させ、その中に含まれる映像の画素値データから共起行列の作成とテクスチャ特徴量の算出をおこなえば各映像を分割する過程が省略できる。

この演算窓とみなした方式を採った場合には、テクスチャ特徴量の算出を一点ごとにできるし、また図３のように小領域４をラスタ走査させるだけでなく、ジグザグ走査、またはヒルベルト走査のような複雑な走査をして最も鮮明な映像を得ることも容易になる。

また、ステップＳ６で求めた各小領域のデータは、最も鮮明な各映像の小領域４の画素値を直接に表示用のメモリに格納するか、もしくは各小領域を識別する記号や数字に置換して、抽出された各小領域に対応する識別記号や数字だけをメモリに記録し、合成するときその識別記号や数字を参照して対応する映像データを読み出すようにしてもよい。

以上の説明は映像データが画素値（カラー画像であれば一般的にはＲ、Ｇ、Ｂ値）として述べてきたが、映像データが本請求項２項と請求項３項にある輝度値Ｙおよび明度値Ｖである場合でも、テクスチャ特徴量に基づいて最も鮮明な小領域を求める基本的な過程（プロセス）は変わらない。

各映像の小領域の輝度値Ｙにおけるテクスチャ特徴量から合焦した鮮明な小領域４を求める場合、ＲＧＢのカラー画像のＲＧＢ画素値からＮＴＳＣ方式の輝度値Ｙを求めるには数２３が使われる。ここでＩとＱは色差値である。

また請求項３項および請求項６項に記載の明度値ＶについてはＲＧＢ画像からＨＳＶ値への変換はやや複雑ではあるけれども変換の式が考案されている。

発明の効果

以上説明したように、本発明によれば、複数の細分した領域の各映像が異なる距離の映像のうち最も鮮明とされた映像で構成されているので、全体としてすべての距離にある被写体が鮮明に映し出される。

その場合、各小領域ごとに画素値のテクスチャ特徴量を各距離の映像に対して形成し、そのテクスチャ特徴量に基づき各距離の映像の小領域のうちどれが最も鮮明であるかを判定しているので、ノイズなどの外乱に対しても正確に鮮明度を判定することができる。

周波数の性質を利用した場合や各映像の輝度値とその移動平均値との差波形を利用した場合に比較して、小領域の大きさをかなり小さくすることができるし、またその小領域の形状を比較的に自由にとることもできる。しかもテクスチャ特徴量に基づく場合は有限の小領域から周波数成分の算出をするために生じる問題点がまったく生じない。

また高周波数成分および各映像の輝度値とその移動平均値との差波形を利用して合成する方法では、映像に対する単一（または小数）の情報しか持たないが、テクスチャ特徴量は、映像や画像の粗さや細かさ、画像の明確さ、平坦度など画像の特徴を複合的に評価・判断できる指標を与えるのでさまざまな周波数成分を含んだ自然画像の映像やノイズなどの外乱を含んだ種々の性質の映像に対して適用できる。

各映像を小領域４に細分し鮮明な小領域４を結合して被写体の映像を形成する流れを示したフローチャート図である。近距離、中距離、遠距離にあるそれぞれの被写体に合焦した映像を示した図である。近映像１の小領域４をラスタ走査させた状態を示した図である。小領域４の画素値またはその階調値を例示した図である。実施例の小領域４の階調値から水平方向について求めた同時生起行列の要素値７Ｍ_ｄ（ｉ，ｊ）を説明した図である。

符号の説明

１近映像
２中映像
３遠映像
４小領域
５局所座標
６映像の画素値から量子化された階調値
７同時生起行列の要素値Ｍ_ｄ（ｉ，ｊ）

Claims

異なる複数の距離にある被写体をそれぞれ撮影して被写体の映像を形成する映像形成方法において、各距離にある被写体を合焦して撮影し、合焦して撮影された各距離の映像をそれぞれ複数の小領域４に細分して小領域４ごとに画素値のテクスチャ特徴量を各距離の映像に対して形成し、各距離の映像のテクスチャ特徴量に基づき各距離の映像の小領域４のうち最も映像が鮮明な小領域４を小領域４ごとに求め、小領域４ごとに求めた最も鮮明な映像の小領域４を結合して被写体の映像を形成することを特徴とする映像形成方法。
前記各距離の映像の輝度値Ｙからテクスチャ特徴量を求めて、どの距離の映像小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。
請求項１項に記載する各距離の映像の明度値Ｖからテクスチャ特徴量を求めて、どの距離の映像の小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。
請求項１項に記載する各距離映像の画素値のテクスチャ特徴量を求め、そのテクスチャ特徴量の分布に基づきどの距離の映像の小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。
請求項１項に記載する各距離の映像の輝度値Ｙのテクスチャ特徴量を求め、そのテクスチャ特徴量の分布に基づきどの距離の映像の小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。
請求項１項に記載する各距離の映像の明度値Ｖのテクスチャ特徴量を求め、そのテクスチャ特徴量の分布に基づきどの距離の映像の小領域４が最も鮮明であるかを判定することを特徴とする請求項１に記載の映像形成方法。