JP2011039795A - 動画像強調処理システムおよび方法 - Google Patents

Abstract

【課題】モーションシャープニングを考慮した動画像強調処理を実現する。
【解決手段】撮影された動画像の複数のフレーム画像をメモリに記憶する（ステップＳ１００）。記憶された複数のフレーム画像の画像データを用いて、各画素に対する画素値の時間軸方向の平均ｆ_ａｖを求める（ステップＳ１０４）。処理対象となるフレームの各画素の画素値の平均ｆ_ａｖに対する偏差ｆ_ｄｅを算出する(ステップＳ１０６)。記憶された複数のフレーム画像の画像データを用いて、処理対象となるフレームの各画素に対するオプティカルフローを算出する（ステップＳ１１０）。オプティカルフローに基づいて、各画素に対する重み係数αを算出する（ステップＳ１１２）。重み係数αで増幅された各画素の偏差ｆ_ｄｅを各画素の時間軸平均ｆ_ａｖに加算し強調画像を得る（ステップＳ１０８）。
【選択図】図２

Description

本発明は、動画像に対する画像処理に関し、特に人の視覚機能に特徴的なモーションシャープニングを考慮した動画像の画像処理に関する。

画像の鮮鋭化に関しては様々な手法が提案されており、例えば動画においてエッジや色コントラストを強調する方法として、各画素において周囲の画素の平均値との差を求め、これを増幅して元の値に加算する方法が知られている（特許文献１）。また、動画の中で運動（変化）している被写体を強調する手法として、各画素において時間平均値との偏差を求め、これを増幅した上で表示する構成が提案されている（非特許文献１）。

特開２００７−３０６９７４号公報

H. Miike et al., Motion enhancement for preprocessing of optical flow detection and scientific visualization, Pattern Recognition Letters, 20(1999), pp.451-461

しかし、特許文献１のような空間的な情報のみを用いた画像の鮮鋭化では、動画中では見えていたものが静止画にすると見えなくなると言う現象が発生する。これは、人の視覚機能の１つであるモーションシャープニングにより、動画観察中では知覚されていたものが、時系列情報を失った静止画では知覚できなくなることによる。

一方、非特許文献１は、運動している被写体のみを強調して表示するものであり、元画像との統合は図られていない。そのため静止している被写体が表示されないなど、通常の動画像や静止画像としては使用できない。通常の動画像、静止画像として使用するには元画像との統合を図る必要があるが、非特許文献１の手法で得られる画像を元画像と単純に統合すると、動きの速い被写体の周り（運動境界近傍）における残像が強調されてしまい、その部分において画像は逆に不鮮明となり、モーションシャープニングの観点からは問題となる。

本発明は、モーションシャープニングを考慮した動画像強調処理を実現することを課題としている。

本発明の動画像強調処理システムは、動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶する記憶手段と、複数の画像の各画素に対して、画像データの時間軸方向の平均を算出する時間軸平均算出手段と、複数の画像の中で処理対象とする画像の画像データの平均からの偏差を算出する偏差算出手段と、偏差を増幅するとともに処理対象とする画像の画像データに加算して強調画像を得る強調画像生成手段とを備えることを特徴としている。

偏差の増幅は、処理対象画像のオプティカルフローに基づき重み付けられる。複数の画像の画像データは、その大小に基づきソートされるとともに、複数の画像の画像データの中で、中央値の周りの一部の画像データのみが時間軸方向の平均の算出に用いられる。

重み付けは、オプティカルフローの各画素における移動速度ベクトルの大きさに基づき調整される。あるいは重み付けは、オプティカルフローの速度場における各画素での拡散に基づき調整される。また、画像データは、Ｒ、Ｇ、Ｂ画素値の少なくとも何れかを含む。

本発明の動画像強調処理方法は、動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶し、複数の画像の各画素に対して、画像データの時間軸方向の平均を算出し、複数の画像の中で処理対象とする画像の画像データの平均からの偏差を算出し、偏差を増幅するとともに処理対象とする画像の画像データに加算して強調画像を得ることを特徴としている。

本発明によれば、モーションシャープニングを考慮した動画像強調処理を実現することができる。

本発明の一実施形態である動画像強調処理システムの構成を示すブロック図である。 本実施形態の動画像強調処理の手順を示すフローチャートである。 本実施形態におけるソート処理の概念を模式的に示す図である。 重み係数の関数ｇ（ｕ）の一例を示すグラフである。 シャーレ内のベロウソフ・ジャボチンスキー反応を撮影した動画の１フレームを静止画として出力した写真である。 図５の写真に対して、従来あるいは本実施形態の画像処理など、各種画像処理を施し、静止画像を生成するときの比較写真である。 動画像観察に本実施形態の動画像強調処理が及ぼす効果を説明するための写真である。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である動画像強調処理システムの構成を示すブロック図である。

動画像強調処理システム１０は、例えば前段処理回路１１、画像メモリ１２、画像信号処理部１３、オプティカルフロー算出部１４、後段処理部１５から主に構成される。前段処理回路１１には、例えばアナログまたはデジタルの動画像信号が順次入力され、ゲイン補正など従来周知の所定の信号処理が施される。また、入力がアナログの画像信号の場合には、デジタル画像信号へと変換される。デジタルの動画像信号は画像メモリ１２へと出力され、画像メモリ１２では、フレーム画像（あるいはフィールド画像）を単位に所定のコマ数の画像が順次記録・更新される。

画像メモリ１２に記憶された画像データは、それぞれ画像信号処理部１３およびオプティカルフロー算出部１４へと送られる。なお、画像メモリ１２への書き込み、読み出しのタイミング等は、動画像強調処理システム１０全体を制御するＣＰＵ（図示せず）によって制御される。

画像信号処理部１３では、所定のコマ数の画像データを利用して後述する時間軸をベースとした画像強調処理が施され、後段処理回路１５へと出力される。一方、オプティカルフロー算出部１４では、後述するように、画像強調処理の対象となるフレームにおけるオプティカルフロー（移動速度場）が算出されるとともに、これに基づき画像強調処理における各画素に対する強調の度合いを制御する係数が算出され、画像信号処理部１３へと出力される。

すなわち、画像信号処理部１３では、オプティカルフロー算出部１４において各画素に対して算出された係数を用いて動画像に対する画像強調処理が行われる。後段処理回路１５では、例えばガンマ補正など従来周知の所定の信号処理が施された後、所定のデジタルあるいはアナログ形式の画像信号として出力される。

図２は、本実施形態の動画像強調処理の手順を示すフローチャートである。まず、ステップＳ１００では、処理対象となるフレームを含む所定数のフレーム画像が画像メモリ１２に記憶される。例えば本実施形態では、処理対象フレームを中心とするδＴ時間内のフレーム画像のＲ、Ｇ、Ｂ画素値が記憶される。

ここでｆ（ｘ，ｙ，ｔ）は、Ｒ、Ｇ、Ｂの画素値を代表するもので、（ｘ，ｙ）は画素の位置に対応し、ｔは時間に対応する。すなわち、本実施形態では、処理対象画像の画素値をｆ（ｘ，ｙ，ｔ）とするとき、ｆ（ｘ，ｙ，ｔ−δＴ／２）からｆ（ｘ，ｙ，ｔ＋δＴ／２）までの各画素値が記憶される。

画像メモリ１２に記憶された複数のフレームのＲＧＢの画素値は、画像信号処理部１３に送られステップＳ１０２〜Ｓ１０６の画素値偏差算出処理に用いられる。また、同時にＲＧＢの画素値は、オプティカルフロー算出部１４に送られステップＳ１１０のオプティカルフロー算出処理に用いられる。

画素値偏差算出処理では、まずステップＳ１０２においてソート処理が行われる。図３に本実施形態におけるソート処理の概念を模式的に示す。図３の例では、各フレームの撮影間隔がｄｔとして、δＴ＝４・ｄｔとした場合が示される。すなわち、時刻ｔのフレーム画像を処理対象として、その前後２フレーム（時刻（ｔ−２・ｄｔ）、（ｔ−ｄｔ）、（ｔ＋ｄｔ）、（ｔ＋２・ｄｔ））の画像（全体で５フレーム）が記憶される状態が模式的に示される。

ソート処理では、５フレームの画像に対して、各画素においてＲＧＢ毎に画素値が、その大きさ順に並べ替えられる。例えば、画素（ｘ，ｙ）におけるｔを中心とする５フレームを画素値をそれぞれｆ_−２、ｆ_−１、ｆ_０、ｆ_＋１、ｆ_＋２とすると、これらの大小関係が比較される。図３では、ｆ_−２＜ｆ_＋２＜ｆ_０、ｆ_＋１＜ｆ_−１の場合が例示される。

ステップＳ１０４では、各画素においてＲＧＢ毎に画素値の時間平均が求められる。本実施形態では、ソート処理で並べ替えられた画素値の内、中央の所定数の画素値を用いて平均値が求められる。すなわち、並べ替えられた画素値を、中央の値の画素値の添え字が０となるようにｆ_ｊと付番し直し、平均値算出に用いられる画素値の数をｉ（奇数）とすると、ｆ（ｘ，ｙ，ｔ）を対象とした平均値ｆ_ａｖ（ｘ，ｙ，ｔ）は（１）式として求められる。
なお、並べ替えられた画素値の内の中央の所定数の画素値のみを平均値の算出に用いるのは、ノイズなどにより画素値が他の画素値から大きく異なる場合に、その画素値が平均値に影響するのを防止するため（ノイズ対策）、および物体運動境界での動画像強調処理エラーの低減のためである。

次にステップＳ１０６では、時間軸方向の平均値ｆ_ａｖ（ｘ，ｙ，ｔ）を用いて、各画素（ｘ，ｙ）におけるＲＧＢ毎の画素値ｆ（ｘ，ｙ，ｔ）の偏差ｆ_ｄｅ（ｘ，ｙ，ｔ）が、ｆ（ｘ，ｙ，ｔ）−ｆ_ａｖ（ｘ，ｙ，ｔ）として求められる。ステップＳ１０８では、ステップＳ１０６で求められた画素値偏差ｆ_ｄｅ（ｘ，ｙ，ｔ）を用いて、本実施形態における動画像強調処理による画素値ｆ’（ｘ，ｙ，ｔ）が各画素（ｘ，ｙ）のＲＧＢに対して求められ、この処理は終了する。

すなわち、ステップＳ１０８では、画素値ｆ’（ｘ，ｙ，ｔ）は、画素値時間軸平均ｆ_ａｖ（ｘ，ｙ，ｔ）と重み付けを行った画素値偏差ｆ_ｄｅ（ｘ，ｙ，ｔ）との和：ｆ_ａｖ（ｘ，ｙ，ｔ）＋α・ｆ_ｄｅ（ｘ，ｙ，ｔ）として求められる。ここで、αは重み係数であり、ステップＳ１１２において、ステップＳ１１０で算出されるオプティカルフローの移動速度（ベクトル）ｕに基づいて、各画素に対して求められる。なお、オプティカルフローは、例えば時刻ｔのフレーム前後の画像を利用して、従来周知のブロックマッチング法、勾配法、フィルタリング法などを用いて算出される。

重み係数αは、残像の影響が大きいと考えられる領域での画素値偏差ｆ_ｄｅ（ｘ，ｙ，ｔ）による強調を抑制するもので、移動速度ベクトルｕの関数ｇ（ｕ）として例えば与えられる。図４は、関数ｇ（ｕ）の一例を示すグラフである。

図４の例では、重み係数αには、各画素における移動速度ベクトルｕの大きさ｜ｕ｜の関数ｇ_１（｜ｕ｜）が用いられる。ここで、移動速度ベクトルｕのｘ、ｙ成分をｕ_ｘ、ｕ_ｙ、すなわちｕ＝（ｕ_ｘ，ｕ_ｙ）とすると、｜ｕ｜＝（ｕ_ｘ ^２＋ｕ_ｙ ^２）^１／２で定義される。図４の例では、関数ｇ_１（｜ｕ｜）は、｜ｕ｜の値が所定値ａ以下の画素（｜ｕ｜≦ａ）ではｇ_１（｜ｕ｜）＝α_Ｃ（一定値）とされ、｜ｕ｜の値が所定値ａよりも大きい画素（｜ｕ｜＞ａ）では、｜ｕ｜の増大にともない単調に減少する関数が採用される。なお、単調減少領域は、α＝０に漸近する関数などが好ましく、原点側に凹んだグラフであることが好ましい。例えば｜ｕ｜^−１に比例する。

また、α＝ｇ（ｕ）の別の例としては、移動速度ベクトル場の発散（ｄｉｖ）を用いることが考えられる。オプティカルフローにおける発散の値は、運動境界付近でその絶対値が大きくなり、プラスの領域で残像が発生するので、例えば、ｄｉｖ（ｕ）＝∂ｕ_ｘ／∂ｘ＋∂ｕ_ｙ／∂ｙの値が０以下となる画素ではαの値を一定値とし、０よりも大きいときには、αの値がｄｉｖ（ｕ）の値に反比例するようにしてもよい。

次に、図５〜図７を参照して、本実施形態の動画像強調処理の効果（静止画作成時の効果および動画再生時における効果）について説明する。図５、図６は、シャーレ内のＢＺ反応（ベロウソフ・ジャボチンスキー反応）を撮影した動画に対する動画像強調処理を用いて静止画を作成するときの効果を説明するための図である。

図５は、動画像の１枚を静止画としたときの写真であり、図６（ａ）は、図５の画像に従来のアンシャープマスクを施した写真である。また、図６（ｂ）は、時間平均に対す偏差のみを用いて運動する被写体のみを強調した従来の画像処理（先行技術の非特許文献１）を図５の画像に施したときの写真であり、図６（ｃ）は、本実施形態の動画像強調処理を図５の画像に施したときの写真である。

撮影されたＢＺ反応は、シャーレ全体に略同心円的な細かいピッチの縞状のパターンを形成するとともに、シャーレ側面近くに、周縁部に沿って連なる小径の同心縞状パターンを形成する。また同時に動画上では、シャーレ全体に広がる同心円的な縞状のパターンの上に、シャーレ４分の１程度の大きさの明るい領域が時計周りにシャーレの中を移動する。

動画の観察においては、モーションシャープニングの効果により細かい縞のパターンや、シャーレ内を移動する明るい領域も認識できる。しかし、図５に示されるように、動画像の１枚を静止画像とすると、細かい縞模様はボケ、移動する明るい領域も知覚できない。これに対して図６（ａ）のように従来のアンシャープマスクを掛けると、細かい縞模様は鮮明に知覚できるように画像は鮮鋭化されるが、移動する明るい領域を知覚することはできない。

一方、図６（ｂ）のように、フレーム間における時間軸での偏差を強調すると、細かい同心円的な縞模様とともに、その上を移動する明るい領域が静止画において鮮鋭化される。しかし、図６（ｂ）では、移動しないシャーレが画像から消失してしまい、通常の静止画や、動画としては使用できない。

これに対して図６（ｃ）に示されるように、本実施形態の動画像強調処理を適用すれば、処理対象となるフレーム画像において、同心円的な細かい縞状のパターンが十分に鮮鋭化されるとともにシャーレの中を移動する明るい領域も鮮明に表示され、かつシャーレが消失することもない。したがって、このような画像を静止画とすれば動画観察中のモーションシャープニングによる効果を静止画においても反映することができる。

次に図７を参照して、本実施形態の動画強調処理の動画再生時の効果について説明する。図７（ａ）は競馬中継の動画の１フレームを静止画とした元画像であり、図７（ｂ）は、動画の１フレーム画像に従来周知のアンシャープマスクを施した画像である。また、図７（ｃ）は、動画の１フレーム画像に対して、重み係数αをオプティカルフローにより調整することなく、全ての画素で固定値として、時間軸偏差と平均を用いた本実施形態の画像処理を施した画像である。そした図７（ｄ）は、上述した方法で、重み係数αを移動速度ベクトル場の発散に対応して調整したときに得られる結果を示したものである。

図７の画像は、３つの異なる特徴をもつ領域を含む。すなわち、動画は馬と騎手を追って撮影されているので、馬体と騎手はあまり動きのない領域を構成する。一方、遠景である背景は、動きは速いが一様に一方向へと流れる領域を構成する。また、馬の足周辺は、局所的に動きが極端に速く、移動速度の大きさや方向が著しく異なる領域を構成する（運動境界領域）。

図７（ｂ）に示される従来のアンシャープマスクでは、各領域は一様に強調され鮮鋭化されてしまうため、遠景と近景でのボケ具合に違いがなくなり、奥行き感や立体感が低下した画像となる。したがって、各フレームに対してこのような処理を施し動画像とした場合、動画自体においても奥行き感や立体感の低い動画となる。

次に図７（ｃ）の場合、足の残像も強調されることとなり、このような処理を施した画像を用いて動画を作成すると、各フレームで強調された残像が更に動画において強調されることとなり、足元周りの画像が不鮮明、不自然となり、モーションシャープニングの観点からは好ましくない。

一方、図７（ｄ）では、運動境界領域での残像が強調されることなく、動画における残像の影響が抑制される。また同時に、遠景と近景がメリハリを付けて強調され、奥行き感、立体感が保存され、より視覚印象に近い動画再生を実現できる。

なお、本実施形態の動画像強調処理システムは、独立した動画像処理装置や静止画作成装置として構成することもできるが、例えばビデオカメラや電子内視鏡の一部として構成することも可能である。また、本実施形態では、Ｒ、Ｇ、Ｂの各画素値に対して動画像強調処理を施したが、一部の色の信号に対して処理を施すことも可能であり、また、輝度色差信号の、輝度信号のみ、色差信号のみ、あるいは両者に施すことも可能である。またあるいは、Ｌａｂ空間の明度や彩度の一方または双方に同様の処理を施すことも可能である。画素値以外が用いられる場合には、メモリには、複数の画像(フレーム)の各画素に対応する必要な情報（データ）のみが記憶される。

また、本実施形態では、処理対象画像(フレーム)を中心として時間軸方向に前後複数の画像が画像処理に利用されたが、最も新しい画像（フレーム）を処理対象としてもよいし、最も古い画像(フレーム)を処理対象としてもよい。

１０ 動画像強調処理システム
１２ 画像メモリ
１３ 画像信号処理部
１４ オプティカルフロー算出部

Claims (7)

1. 動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶する記憶手段と、
   前記複数の画像の各画素に対して、前記画像データの時間軸方向の平均を算出する時間軸平均算出手段と、
   前記複数の画像の中で処理対象とする画像の前記画像データの前記平均からの偏差を算出する偏差算出手段と、
   前記偏差を増幅するとともに前記処理対象とする画像の画像データに加算して強調画像を得る強調画像生成手段と
   を備えることを特徴とする動画像強調処理システム。
2. 前記偏差の増幅が、処理対象画像のオプティカルフローに基づき重み付けられることを特徴とする請求項１に記載の動画像強調処理システム。
3. 前記複数の画像の画像データが、その大小に基づきソートされるとともに、前記複数の画像の画像データの中で、中央値の周りの一部の画像データのみが、前記時間軸方向の平均の算出に用いられることを特徴とする請求項２に記載の動画像強調処理システム。
4. 前記重み付けが、前記オプティカルフローの各画素における移動速度ベクトルの大きさに基づき調整されることを特徴とする請求項２に記載の動画像強調処理システム。
5. 前記重み付けが、前記オプティカルフローの速度場における各画素での拡散に基づき調整されることを特徴とする請求項２に記載の動画強調処理システム。
6. 前記画像データが、Ｒ、Ｇ、Ｂ画素値の少なくとも何れかを含むことを特徴とする請求項２に記載の動画像強調処理システム。
7. 動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶し、
   前記複数の画像の各画素に対して、前記画像データの時間軸方向の平均を算出し、
   前記複数の画像の中で処理対象とする画像の前記画像データの前記平均からの偏差を算出し、
   前記偏差を増幅するとともに前記処理対象とする画像の画像データに加算して強調画像を得る
   ことを特徴とする動画像強調処理方法。