JP2012003584A - 動画像強調処理システムおよび方法 - Google Patents

Abstract

【課題】モーションシャープニングを考慮した動画像強調処理を実現する。
【解決手段】撮影された動画像のＮ個のフレーム画像をメモリに記憶する。記憶されたＮフレームの画像の中から動画像強調処理の基準画像とするのに適したフレーム画像を選択する。Ｎフレーム画像において各画素に対する画素値の時間軸方向の平均ｆ_ａｖを求める（ステップＳ２０６）。基準画像であるフレームの各画素における平均ｆ_ａｖに対する偏差ｆ_ｄｅを算出する(ステップＳ２０２)。各画素の偏差ｆ_ｄｅを重み係数αで増幅し、時間軸平均ｆ_ａｖに加算し強調画像Ｆを得る（ステップＳ２０４）。
【選択図】図３

Description

本発明は、動画像に対する画像処理に関し、特に人の視覚機能に特徴的なモーションシャープニングを考慮した動画像の画像処理に関する。

画像の鮮鋭化に関しては様々な手法が提案されており、例えば動画においてエッジや色コントラストを強調する方法として、各画素において周囲の画素の平均値との差を求め、これを増幅して元の値に加算する方法が知られている（特許文献１）。また、動画の中で運動（変化）している被写体を強調する手法として、各画素において時間平均値との偏差を求め、これを増幅した上で表示する構成が提案されている（非特許文献１）。

特開２００７−３０６９７４号公報

H. Miike et al., Motionenhancement for preprocessing of optical flow detection and scientificvisualization, Pattern Recognition Letters, 20(1999), pp.451-461

しかし、特許文献１のような空間的な情報のみを用いた画像の鮮鋭化では、動画中では見えていたものが静止画にすると見えなくなると言う現象が発生する。これは、人の視覚機能の１つであるモーションシャープニングにより、動画観察中では知覚されていたものが、時系列情報を失った静止画では知覚できなくなることによる。

一方、非特許文献１は、運動している被写体のみを強調して表示するものであり、元画像との統合は図られていない。そのため静止している被写体が表示されないなど、通常の動画像や静止画像としては使用できない。通常の動画像、静止画像として使用するには元画像との統合を図る必要があるが、非特許文献１の手法で得られる画像を元画像と単純に統合すると、動きの速い被写体の周り（運動境界近傍）における残像が強調されてしまい、その部分において画像は逆に不鮮明となり、モーションシャープニングの観点からは問題となる。

本発明は、モーションシャープニングを考慮した動画像強調処理を実現することを課題としている。

本発明の動画像強調処理システムは、動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶する記憶手段と、複数の画像の各画素に対して、画像データの時間軸方向の平均を算出する時間軸平均算出手段と、複数の画像の中で処理対象とする画像の画像データの平均からの偏差を算出する偏差算出手段と、複数の画像の中から像ぶれの少ない画像である基準画像を選択する基準画像選択手段と、偏差を増幅するとともに増幅され偏差を基準画像の画像データに加算して強調画像を得る強調画像生成手段と備えたことを特徴としている。

基準画像を選択するための評価には、例えば１次空間微分の絶対値が用いられる。また、基準画像を選択するための評価に、例えばオプティカルフローの速度の絶対値が用いられてもよい。

偏差の増幅は、例えば基準画像のオプティカルフローに基づき重み付けられる。

本発明の電子内視鏡システムは、上記何れかに記載の動画像強調処理システムを備えたことを特徴とする。

また本発明の動画像強調処理方法は、動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶し、複数の画像の各画素に対して、画像データの時間軸方向の平均を算出し、複数の画像の中で処理対象とする画像の前記画像データの前記平均からの偏差を算出し、複数の画像の中から像ぶれの少ない画像である基準画像を選択し、偏差を増幅するとともに増幅され偏差を基準画像の画像データに加算して強調画像を得ることを特徴としている。

本発明によれば、モーションシャープニングを考慮した動画像強調処理を実現することができる。

本発明の一実施形態である動画像強調処理システムを備えた電子内視鏡システムの構成を示すブロック図である。 本実施形態の基準画像選択処理の手順を示すフローチャートである。 本実施形態における画像強調処理処理の手順を示すフローチャートである。

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の一実施形態である動画像強調処理システムの構成を示すブロック図である。

本実施形態の動画像強調処理システムは、例えば電子内視鏡システム１０である。電子内視鏡システム１０は、主にスコープ本体１１、プロセッサ装置１２、モニタ装置１３から構成される。スコープ本体１１は、体内などに挿入される可撓管からなる挿入部１４と、挿入部１４を操作する操作部１５と、操作部１５とプロセッサ装置１２を接続するユニバーサルコード１６から主に構成される。挿入部１４の先端には撮像素子が設けられ、先端から照射される光を照明として動画像が撮影される。撮像素子で得られた映像は、プロセッサ装置１２へと送られ、各種画像処理を施された後、モニタ装置１３へと出力され表示される。

また、プロセッサ装置１２は、映像処理部１７、映像出力部１８、画像メモリ１９、動画像強調処理部２０、コントローラ２１、外部メモリ２２等を備える。映像処理部１７には、撮像素子から動画像信号が順次入力され、ゲイン補正、ホワイトバランス処理など従来周知の所定の信号処理が施される。また、動画像信号が映像処理部１７にアナログ信号として入力されるの構成では、映像処理部１７においてデジタルの画像信号に変換される。

デジタル画像信号は、映像処理部１７から画像メモリ１９へと出力され、画像メモリ１９では、フレーム画像（あるいはフィールド画像）を単位に所定のフレーム数（Ｎフレーム。Ｎは例えば奇数）の画像データが順次記録・更新される。

また、映像処理部１７で処理された動画像信号は、内視鏡観察中の通常の状態では、映像出力部１８へ出力される。映像出力部１８では、入力された動画像信号を例えばコンポジット信号や輝度色差信号などの所定規格のアナログ映像信号に変換し、モニタ装置１３へ出力する。すなわち、モニタ装置１３の画面には、撮像素子で撮影される動画像がリアルタイムで表示される。

一方、画像強調処理部２０は、例えば操作部１５に設けられた静止画取得ボタン１５Ａの操作に対応して駆動され、このとき映像出力部１８からモニタ装置１３へ出力される映像信号は、映像処理部１７から動画像強調処理部２０へと一時的に（所定時間）切り替えられる。なお動画像強調処理部２０では、後述する本実施形態の動画像強調処理が実行され、画像メモリ１９に記憶された画像データから動画像強調処理が施された静止画像が作成される。また、動画像強調処理部２０で作成された静止画像データは、例えばハードディスクやメモリカードなどの不揮発性の外部メモリ２２にも記憶され得る。

なお、コントローラ２１は、プロセッサ装置１２全体の処理を制御する回路であり、静止画取得ボタン１５Ａの操作に対応する映像出力部１８における出力信号の切替えは、例えばコントローラ２１によって制御される。

動画像強調処理部２０は、前段処理部２３と強調処理部２４を備える。前段処理部２３には、最新のフレームから（Ｎ−１）／２フレーム分遅延されたフレームの画像データが随時映像処理部１７から入力される。前段処理部２３では、入力されたフレーム画像に対して、後述するベストショットレベルが算出され保存される。なおベストショットレベルは、過去所定フレーム数分（例えば１０フレーム分）の値が、随時メモリに上書き保存され、更新される。更に、前段処理部２３では、ベストショットレベルに基づき後述する基準画像選択処理が実行される。

一方、強調処理部２４では、静止画取得ボタン１５Ａが操作され、動画像強調処理が実行される際に、前段処理部２３における基準画像の選択と画像メモリ１９に記録された各フレームの画像データに基づいて強調処理（アンシャープマスク）が実行される。

次に図２を参照して、前段処理部２３で実行される本実施形態の基準画像選択処理について説明する。なお、図２は基準画像選択処理の手順を示すフローチャートであり、映像処理部１７におけるフレームが更新される毎に前段処理部２３において実行される。

まず、ステップＳ１００では、強調処理（アンシャープマスク）における基準画像を選択するため、各画像の評価値として利用されるベストショットレベルＶ（ｎ）が、、最新のフレームから（Ｎ−１）／２フレーム分遅延されたフレーム画像に対して計算される。ここでｎ＝（Ｎ−１）／２に対応する。本実施形態においてベストショットレベルＶ（ｎ）は、フレームｎにおける画素（ｘ，ｙ）の画素値ｆ（ｘ，ｙ，ｎ）の１次空間微分の絶対値をそのフレーム全体に渡って合計した値として定義される。すなわち、Ｖ（ｎ）＝Σ（｜∂ｆ（ｘ，ｙ，ｎ）／∂ｘ｜＋｜∂ｆ（ｘ，ｙ，ｎ）／∂ｙ｜）である。

ステップＳ１０２では、ステップＳ１００で計算されたベストショットレベルＶ（ｎ）の値が、メモリに保存され、１０フレームのうち最も古いベストショットレベルの値が削除される。本実施形態では、暫定的にフレームｎがベストショット画像（基準画像となるフレーム）とされ、フレーム番号ｎがベストショット画像のフレーム番号Ｎｂとして保持される。以下ステップＳ１０４〜Ｓ１１０において、過去１０フレームの中でベストショットレベルＶの値が最大となるフレームが探索される。

ステップＳ１０４では、初期値１からカウントアップされる変数ｉが１０以下であるか否かが判定される。すなわち、過去１０フレーム全てに対するベストショットレベルの比較が終了したか否かが判定される。変数ｉが１０以下であれば、１０フレーム全ての比較が終了していないので、ステップＳ１０６において、Ｖ（ｎ−ｉ）の値がメモリから読み出され、ステップＳ１０８において、Ｖ（ｎ−ｉ）がＶ（ｎ）よりも大きいか否かが判定される。Ｖ（ｎ−ｉ）＞Ｖ（ｎ）と判定されると、処理はステップＳ１１０へ進み、フレーム（ｎ−ｉ）が暫定的にベストショット画像であるとされ、（ｎ−ｉ）の値がＮｂとして保持される。その後、変数ｉが１インクリメントされ（ｉ＝ｉ＋１）、処理はステップＳ１０４に戻る。

一方、ステップＳ１０８においてＶ（ｎ−ｉ）＞Ｖ（ｎ）でないと判定された場合には、直ちに変数ｉがインクリメントされ、ステップＳ１０４に戻る。これらステップＳ１０４〜Ｓ１１０の処理は、ステップＳ１０４においてｉ≦１０でないと判定されるまで繰り返され、ステップＳ１０４においてｉ≦１０でない判定されると、現在ベストショット画像として保持されているフレーム番号Ｎｂが強調処理部２４へ出力され、この処理は終了する。

以上のように、基準画像選択処理により過去１０フレームの中からベストショットレベルＶが最も大きいフレームが基準画像として選択される。

次に図３を参照して、強調処理部２４において実行される本実施形態の画像強調処理について説明する。なお、図３は、本実施形態の画像強調処理のフローチャートであり、静止画取得スイッチ１５Ａ（図１参照）が操作されると開始される。

本実施形態の画像強調処理では、基準画像とＮフレームの画像の時間軸平均との偏差に基づきアンシャープマスク処理を行う。ステップＳ２００では、フレームＮｂを基準画像とするＮフレームの画像の各画素の時間軸平均値の算出が、全ての画素（ｘ，ｙ）に対して終了したか否かが判定される。全ての画素の時間軸平均値が算出されていないときには、ステップＳ２０６において各画素の時間軸平均値が計算される。

ｆ（ｘ，ｙ，ｔ）を、ｔフレームの画素（ｘ，ｙ）におけるＲ、Ｇ、Ｂの画素値を代表するものとし、基準画像（フレームＮｂ）の画素値をｆ（ｘ，ｙ，Ｎｂ）とするとき、ステップＳ２０６では、ｆ（ｘ，ｙ，Ｎｂ）を除く、ｆ（ｘ，ｙ，−（Ｎ−１）／２）からｆ（ｘ，ｙ，（Ｎ＋１）／２）までの（Ｎ−１）個のフレームの平均値がフレームＮｂを基準画像とする画素（ｘ，ｙ）の時間軸平均値ｆ_ａｖ（ｘ，ｙ，Ｎｂ）として求められる。

ステップＳ２００において、全画素の時間軸平均値ｆ_ａｖ（ｘ，ｙ，Ｎｂ）が求められたと判断されるときには、ステップＳ２０２において、基準画像の画素値ｆ（ｘ，ｙ，Ｎｂ）の時間軸平均値ｆ_ａｖ（ｘ，ｙ，Ｎｂ）からの偏差ｆ_ｄｅ（ｘ，ｙ，Ｎｂ）が算出される。すなわち、各画素に対してｆ_ｄｅ（ｘ，ｙ，Ｎｂ）＝ｆ（ｘ，ｙ，Ｎｂ）−ｆ_ａｖ（ｘ，ｙ，Ｎｂ）が算出される。

その後ステップＳ２０４において、偏差ｆ_ｄｅ（ｘ，ｙ，Ｎｂ）に重みを付けて時間軸平均値ｆ_ａｖ（ｘ，ｙ，Ｎｂ）に加え、フレームＮｂを基準画像とした強調画像の画素値Ｆ（ｘ，ｙ，Ｎｂ）が算出され、この処理は終了する。すなわち、ステップＳ２０４では、Ｆ（ｘ，ｙ，Ｎｂ）＝ｆ_ａｖ（ｘ，ｙ，Ｎｂ）＋α・ｆ_ｄｅ（ｘ，ｙ，Ｎｂ）が各画素（ｘ，ｙ）に対して求められる。ここでαは重み係数であり、例えば像ぶれの大きいところほど小さい値とされる。例えば重み係数αは、例えば基準画像を対象とするオプティカルフローの各画素における流速に基づいて（例えば流速の絶対値に基づいて）決定される。

以上のように、本実施形態によれば、モーションシャープニングを考慮したアンシャープマスクを動画像に施すことができる。更に、本実施形態では、動画像強調処理の基準画像に適切なフレームを探索、選択しているので、モーションシャープニングを考慮したより精細な静止画像が得られる。

また、本実施形態では、各フレームの基準画像としての適正を評価するベストショットレベルに、１次空間微分の絶対値の合計を用いたが、ベストショットレベルとしては、他にも様々な評価方法が考えられ、ボケなどの画像不良を評価する指標であればどのような評価方法であってもよい。例えば、各フレームにおけるオプティカルフローを用いることもできる。この場合例えば、各フレームのオプティカルフローから、速度の絶対値の総和をベストショットレベルとし、前後で動きが少ないフレームを選択することも考えられる。また、１次空間微分の絶対値の和に基づくレベルとオプティカルフローに基づくレベルを組み合わせてフレーム画像の評価に用いることも可能である。この場合例えば、各ベストショットレベルを各々その最大値で規格化し、これらを足し合わせたものを新たなベストショットレベルとする。

また、本実施形態の動画像強調処理システムは、電子内視鏡装置の一部として説明されたが、独立した動画像処理装置や静止画作成装置として構成することもでき、またビデオカメラの一部として構成することも可能である。また、本実施形態では、Ｒ、Ｇ、Ｂの各画素値に対して動画像強調処理を施したが、一部の色の信号に対して処理を施すことも可能であり、また、輝度色差信号の、輝度信号のみ、色差信号のみ、あるいは両者に施すことも可能である。またあるいは、Ｌａｂ空間の明度や彩度の一方または双方に同様の処理を施すことも可能である。画素値以外が用いられる場合には、メモリには、複数の画像(フレーム)の各画素に対応する必要な情報（データ）のみが記憶される。

また、本実施形態では、処理対象画像(フレーム)を中心として時間軸方向に前後複数の画像が画像処理に利用されたが、最も新しい画像（フレーム）を処理対象としてもよいし、最も古い画像(フレーム)を処理対象としてもよい。

１０ 電子内視鏡システム
１７ 映像処理部
１９ 画像メモリ
２０ 動画像強調処理部
２３ 前段処理部
２４ 強調処理部

Claims (6)

1. 動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶する記憶手段と、
   前記複数の画像の各画素に対して、前記画像データの時間軸方向の平均を算出する時間軸平均算出手段と、
   前記複数の画像の中で処理対象とする画像の前記画像データの前記平均からの偏差を算出する偏差算出手段と、
   前記複数の画像の中から像ぶれの少ない画像である基準画像を選択する基準画像選択手段と、
   前記偏差を増幅するとともに増幅され偏差を前記基準画像の画像データに加算して強調画像を得る強調画像生成手段と
   を備えることを特徴とする動画像強調処理システム。
2. 前記基準画像を選択するための評価に、１次空間微分の絶対値が用いられることを特徴とする請求項１に記載の動画像強調処理システム。
3. 前記基準画像を選択するための評価に、オプティカルフローの速度の絶対値が用いられることを特徴とする請求項１に記載の動画像強調処理システム。
4. 前記偏差の増幅が、前記基準画像のオプティカルフローに基づき重み付けられることを特徴とする請求項１又は２の何れか一項に記載の動画像強調処理システム。
5. 請求項１〜請求項４の何れか一項に記載の動画像強調処理システムを備えたことを特徴とする電子内視鏡システム。
6. 動画を形成する時系列に撮影された複数の画像の各画素に対応する画像データを記憶し、
   前記複数の画像の各画素に対して、前記画像データの時間軸方向の平均を算出し、
   前記複数の画像の中で処理対象とする画像の前記画像データの前記平均からの偏差を算出し、
   前記複数の画像の中から像ぶれの少ない画像である基準画像を選択し、
   前記偏差を増幅するとともに増幅され偏差を前記基準画像の画像データに加算して強調画像を得ることを特徴とする動画像強調処理方法。
   

Images