JP2010187723A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】複数の被写体の動きをとらえた動画像を対象として、複数の被写体の動きを見易くすることが可能な技術を提供する。
【解決手段】被写体の時間的な変動をとらえた複数フレームの画像データを有する動画像データを受け付ける。そして、該動画像データを対象として、複数フレームの画像データの画素値に係る時間的な変動を示す情報から複数の周波数帯域の成分をそれぞれ取り出すフィルタ処理を行い、それぞれ異なる周期的な動きを行う複数の被写体が強調された動き強調動画像データを生成する。
【選択図】図４

Description

本発明は、被写体の動きをとらえた動画像を対象とした画像処理技術に関する。

近年、フラットパネルディテクタ（ＦＰＤ：Flat Panel Detector）と称される薄型パネル状のデジタルＸ線イメージセンサが実用化されている。

このＦＰＤの利用により、例えば、医療現場等では、患者の体内の各種部位（例えば、臓器）の動きをとらえた動画像を取得することができる。そして、医師は、動画像でとらえられた注目部位の動きを周囲の他の部位と区別しつつ、該注目部位の動きを視認することで、診断を行うことができる。

このような診断時には、動画像でとらえられた被写体の動きが強調されれば、非常に有用である。そして、この様な強調を行う処理に関しては、映像に対して時間周波数フィルタを適用して、動きの鮮鋭性を高める技術が提案されている（例えば、非特許文献１）。

竹内龍人、"動きによる映像の鮮明化"、ＮＴＴ技術ジャーナル、2005，vol.17，No.10，p.50-53、［online］、［平成20年11月4日検索］、インターネット〈URL：http://www.ntt.co.jp/journal/0510/files/jn200510050.pdf〉。

しかしながら、上記非特許文献１の技術では、１つの被写体の動きに着目して、該被写体の動きの鮮鋭性を高めることは可能であるが、人間の胸部の様に、肺と心臓等といった複数の被写体が異なる動きを行うものについては、特に考慮されていなかった。

このような問題は、患者の体内の各種部位の動きをとらえた動画像に限られず、複数の被写体の動きをとらえた動画像一般に共通する。

本発明は、上記課題に鑑みてなされたものであり、複数の被写体の動きをとらえた動画像を対象として、複数の被写体の動きを見易くすることが可能な技術を提供することを目的とする。

上記の課題を解決するために、第１の態様に係る画像処理装置は、被写体の時間的な変動をとらえた複数フレームの画像データを有する動画像データを受け付ける動画像受付手段と、前記動画像データを対象として、前記複数フレームの画像データの画素値に係る時間的な変動を示す情報から複数の周波数帯域の成分をそれぞれ取り出すフィルタ処理を行い、それぞれ異なる周期的な動きを行う複数の被写体が強調された動き強調動画像データを生成する動き強調動画像生成手段とを備えることを特徴とする。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記フィルタ処理が、前記複数フレームの画像データの画像領域および画素のうちの何れか一方毎に行われることを特徴とする。

第３の態様に係る画像処理装置は、第１または第２の態様に係る画像処理装置であって、外部装置を用いて得られた前記複数の被写体の動きの周期をそれぞれ示す情報に基づいて、前記複数の周波数帯域をそれぞれ設定する帯域設定手段を更に備えることを特徴とする。

第４の態様に係る画像処理装置は、第１から第３の何れか１つの態様に係る画像処理装置であって、前記動き強調動画像生成手段が、前記複数フレームの画像データの画素値に係る時間的な変動を示す情報から第１周波数帯域の成分を取り出すフィルタ処理を行うことで、該第１周波数帯域に対応する周期的な動きを行う被写体の動きに係る第１動きデータを生成するとともに、前記複数フレームの画像データの画素値に係る時間的な変動を示す情報から第２周波数帯域の成分を取り出すフィルタ処理を行うことで、該第２周波数帯域に対応する周期的な動きを行う被写体の動きに係る第２動きデータを生成し、前記第１および第２動きデータを用いて、前記動き強調動画像データを生成することを特徴とする。

第５の態様に係る画像処理装置は、第４の態様に係る画像処理装置であって、前記動き強調動画像生成手段が、前記第１動きデータに第１係数を乗じて得られる情報と、前記第２動きデータに第２係数を乗じて得られる情報とを用いて、前記動き強調動画像データを生成することを特徴とする。

第６の態様に係る画像処理装置は、第５の態様に係る画像処理装置であって、前記第１係数が、０および１のうちの何れか一方の値であり、前記第２係数が、０および１のうちの何れか一方の値であることを特徴とする。

第７の態様に係る画像処理装置は、第５または第６の態様に係る画像処理装置であって、前記第１および第２係数が、前記複数フレームの画像データの画像領域および画素のうちの何れか一方毎に設定されることを特徴とする。

第８の態様に係る画像処理装置は、第４から第７の何れか１つの態様に係る画像処理装置であって、前記第１動きデータが、前記第１周波数帯域に対応する周期的な動きを行う被写体の動きに係る第１動き動画像データを含み、前記第２動きデータが、前記第２周波数帯域に対応する周期的な動きを行う被写体の動きに係る第２動き動画像データを含むことを特徴とする。

第９の態様に係る画像処理装置は、第１から第８の何れか１つの態様に係る画像処理装置であって、前記動画像データが、患部および検査対象部位のうちの少なくとも一方を含む被写体の時間的な変動をとらえた複数フレームの画像データを有する動画像データを含むことを特徴とする。

第１０の態様に係る画像処理方法は、(ａ)被写体の時間的な変動をとらえた複数フレームの画像データを有する動画像データを受け付けるステップと、(ｂ)ステップ(ａ)で受け付けられた前記動画像データを対象として、前記複数フレームの画像データの画素値に係る時間的な変動を示す情報から複数の周波数帯域の成分をそれぞれ取り出すフィルタ処理を行い、それぞれ異なる周期的な動きを行う複数の被写体が強調された動き強調動画像データを生成するステップとを備えることを特徴とする。

第１１の態様に係るプログラムは、画像処理装置に含まれるコンピュータによって実行されることにより、前記画像処理装置を、第１から第９のうちの何れか１つの態様に係る画像処理装置として機能させる。

第１から第９の何れの態様に係る画像処理装置によっても、複数の被写体の動きをとらえた動画像を対象として、複数の被写体の動きを見易くすることが可能となる。

第３の態様に係る画像処理装置によれば、被写体の動きに適したフィルタ処理を行うことができる。

第４から第７の何れの態様に係る画像処理装置によっても、各被写体の動きを適宜強調した動画像を得ることができる。

第５または第６の態様に係る画像処理装置によれば、複数の被写体のうちの注目度に応じて、各被写体の動きを適宜強調した動画像を得ることができる。

第９の態様に係る画像処理装置によれば、動画像でとらえられた複数の注目する部位の動きを周囲の他の部位と容易に区別することができる。このため、例えば、医師が容易に診断を行うことができる。

第１０の態様に係る画像処理方法および第１１の態様に係るプログラムのうちの何れによっても、複数の被写体の動きをとらえた動画像を対象として、複数の被写体の動きを見易くすることが可能となる。

本発明の一実施形態に係る撮影システムの概略構成を示す図である。 本発明の一実施形態に係る撮影システムの機能的な構成を示す図である。 医療用画像撮影装置で取得される透過動画像を示すイメージ図である。 制御部で実現される機能的な構成を示す図である。 動き強調動画像生成部の機能的な構成を示す図である。 動き強調動画像生成部における画像処理の流れを示す図である。 画像上における注目画素を例示する図である。 注目画素における画素値の時間的な変動を例示する折れ線グラフである。 画像上における注目画素を例示する図である。 注目画素における画素値の時間的な変動を例示する折れ線グラフである。 フーリエ変換後の周波数に対するパワースペクトルを示す図である。 フーリエ変換後の周波数に対するパワースペクトルを示す図である。 第１のバンドパスフィルタの周波数特性を例示する図である。 第２のバンドパスフィルタの周波数特性を例示する図である。 フィルタ処理後の周波数に対するパワースペクトルを示す図である。 フィルタ処理後の周波数に対するパワースペクトルを示す図である。 逆フーリエ変換後の画素値の時間的な変動を示す図である。 逆フーリエ変換後の画素値の時間的な変動を示す図である。 変形例１に係る係数の設定を説明するための図である。 変形例１に係る係数の設定を説明するための図である。 変形例２に係る動き強調動画像生成部の機能的な構成を示す図である。 時間経過に対する画素値の変動量を例示する図である。 時間経過に対する画素値の変動量を例示する図である。 変形例３に係る動き強調動画像生成部の機能的な構成を示す図である。 変形例３に係るフィルタ処理の対象領域を例示する図である。

以下、本発明の一実施形態を図面に基づいて説明する。

＜撮影システムの全体構成＞
図１は、本発明の一実施形態に係る撮影システム１の全体構成を例示する図である。また、図２は、撮影システム１の機能的な構成を示すブロック図である。

図１で示されるように、撮影システム１は、主に、制御部２、表示部３、操作部４、医療用画像撮影装置５、心電計６、およびデジタルカメラ７を備えて構成されている。

また、図２で示されるように、制御部２は、ＣＰＵ２０１、ＲＡＭ２０２、およびＲＯＭ２０３がバスライン１００に接続された一般的なコンピュータの構成を有している。そして、バスライン１００には、画像データ等を可視的に出力する表示部３、ユーザからの入力を受け付けるキーボードとマウスとを含む操作部４、各種データを保存する固定ディスク２０４が、インターフェイス（不図示）を適宜介して接続されている。更に、バスライン１００には、伝送ケーブルおよびインターフェース（不図示）等を介して医療用画像撮影装置５、心電計６、およびデジタルカメラ７がそれぞれ接続されている。

なお、医療用画像撮影装置５で取得される動画像データ、心電計６で取得される情報、およびデジタルカメラ７で取得される動画像データは、ＣＰＵ２０１で実現される機能によって、固定ディスク２０４に記憶される。

制御部２では、ＣＰＵ２０１が固定ディスク２０４に格納されているプログラムＰＧを読み込んで、該プログラムＰＧに従って動作することにより、各種機能が実現される。

医療用画像撮影装置５は、例えば、いわゆるフラットパネルディテクタ（ＦＰＤ）等のデジタルＸ線イメージセンサを備えて構成されている。この医療用画像撮影装置５は、撮影の対象（被写体）である人物（撮影対象者）の内蔵等に含まれる所定部位の動きをとらえた透過像のデータ（以下「透過動画像データ」とも称する）を取得する。つまり、透過動画像データには、被写体の時間的な変動をとらえた複数フレームの画像データが含まれる。また、所定部位には、検査の対象となっている部位（検査対象部位）および患部のうちの何れか一方等が含まれる。

図３は、医療用画像撮影装置５で取得される透過動画像データＤ１のイメージを示す図である。なお、図３および図３以降の図では、時間の経過に沿った方向が矢印Ａｘ１で適宜示されている。透過動画像データは、いわゆるフレームレートが所定値（例えば、６０フレーム／秒）の動画を示すデータであり、ｎ枚（ｎは２以上の自然数）のフレームの画像データ（以下「フレーム画像データ」とも称する）Ｐ₁〜Ｐ_nを有して構成される。ここでは、ｎは、フレームの順番を示す番号（フレーム番号）となっている。

心電計６は、心臓の動きをコントロールしている電気信号の変動を検出する。この心電計６は、例えば、ＣＰＵ２０１からの制御信号に応答して、医療用画像撮影装置５による撮影動作と並行して、心臓の動きをコントロールしている電気信号の変動を検出する。

デジタルカメラ７は、撮影対象者の外観の動きをとらえた動画像のデータ（以下「外観動画像データ」とも称する）を取得する。

なお、心電計６およびデジタルカメラ７は、制御部２に対する外部装置として構成されている。

＜制御部で実現される機能的な構成＞
図４は、ＣＰＵ２０１がプログラムＰＧに従って動作することにより制御部２で実現される機能的な構成を周辺の他の構成とともに示す図である。図４で示す構成のうち、撮影制御部２１、計測制御部２２、心電図解析部２３、カメラ制御部２４、形状解析部２５、および画像処理部２６が、ＣＰＵ２０１等によって実現される機能にあたる。

撮影制御部２１は、例えば、操作部４からの入力信号に応答して、医療用画像撮影装置５による所定部位の動画撮影の開始ならびに終了タイミングを制御する。

計測制御部２２は、医療用画像撮影装置５における撮影対象者の動画撮影時に、撮影対象者の心臓の動きをコントロールしている電気信号の変動を心電計６によって検出するように制御する。なお、計測制御部２２は、医療用画像撮影装置５による透過動画像データの取得（すなわち撮影）の開始ならびに終了のタイミングを示す信号を撮影制御部２１から取得する。

心電図解析部２３は、心電計６によって検出される電気信号の変動を示すデータを解析することで、撮影対象者の心拍の周波数（以下「心拍周波数」と称する）を検出する。このように、心電図解析部２３は、心電計６を用いて得られた情報に基づいて、被写体である心臓の動きの周期を示す情報を得る。

カメラ制御部２４は、医療用画像撮影装置５における撮影対象者の動画撮影時に、撮影対象者の外観の動きをデジタルカメラ７によって撮影するように制御する。なお、カメラ制御部２４は、医療用画像撮影装置５による透過動画像データの取得（すなわち撮影）の開始ならびに終了のタイミングを示す信号を撮影制御部２１から取得する。なお、ここでは、医療用画像撮影装置５によって、撮影対象者の胸部に係る透過動画像データが取得され、デジタルカメラ７によって、撮影対象者の胸部の外観に係る動画像（外観動画像データ）が取得される。

形状解析部２５は、デジタルカメラ７によって取得される外観動画像データを解析することで、撮影対象者の外観（ここでは、胸部の外観）の周期的な動きの周波数を検出する。例えば、呼吸（肺換気）に応じた周期的な胸部の外観の動きが解析されて、肺の膨張および収縮の周波数（以下「呼吸周波数」と称する）が検出される。このように、形状解析部２５は、デジタルカメラ７を用いて得られた情報に基づいて、被写体である肺の動きの周期を示す情報を得る。

画像処理部２６は、フィルタ設定部２６１、画像受付部２６２、および動き強調動画像生成部２６３といった機能的な構成を備えている。なお、本実施形態では、画像処理部２６を含む制御部２が、本発明の「画像処理装置」に相当する。

フィルタ設定部２６１は、心電図解析部２３で検出された心拍周波数、および形状解析部２５で検出された呼吸周波数に応じて、動き強調動画像生成部２６３におけるフィルタ処理（後述）で使用されるバンドパスフィルタの周波数特性を設定する。

画像受付部２６２は、医療用画像撮影装置５で得られた透過動画像データを受け付ける。

動き強調動画像生成部２６３は、画像受付部２６２から入力される透過動画像データを対象として、該透過動画像データを構成する複数のフレーム画像データＰ₁〜Ｐ_nの画素値に係る時間的な変動を示す情報から、複数の周波数帯域の成分をそれぞれ取り出すフィルタ処理を行う。そして、動き強調動画像生成部２６３は、このフィルタ処理によって得られた情報に基づいて、それぞれ異なる周期的な動きを行う複数の被写体が強調された動画像のデータ（以下「動き強調動画像データ」とも称する）を生成する。なお、フィルタ処理および動き強調動画像データの生成を含む動き強調動画像生成部２６３における各種処理内容については、更に後述する。

動き強調動画像生成部２６３によって生成される動き強調動画像データは、固定ディスク２０４に対して記憶されるとともに、表示部３に対して転送されて、該表示部３において可視的に出力される。

＜動き強調動画像生成部における各種処理内容＞
図５は、動き強調動画像生成部２６３の機能的な構成を周辺の他の構成とともに示す図である。また、図６は、動き強調動画像生成部２６３における画像処理の流れを示す図である。

図５で示されるように、動き強調動画像生成部２６３は、画素値変動認識部２６３１、フーリエ変換部２６３２、フィルタ処理部２６３３、逆フーリエ変換部２６３４、画素情報統合部２６３５、係数乗算部２６３６、および動画像合成部２６３７といった機能的な構成を備えている。以下、図６で示されている画像処理の流れに沿って、動き強調動画像生成部２６３の機能的な構成について説明する。

画素値変動認識部２６３１は、透過動画像データを対象として、各画素における画素値の時間的な変動を認識する。なお、画素値は、各フレーム画像データを構成する各画素の濃淡を表す階調に相当する。

図７は、透過動画像データにおける注目する画素（注目画素）Ａ１を例示する図である。図７では、肺をとらえた領域に含まれる注目画素Ａ１が例示されている。図８は、注目画素Ａ１における画素値の時間的な変動を例示する折れ線グラフである。図８で示されるように、注目画素Ａ１については、画素値変動認識部２６３１によって、時刻の経過に対して肺換気に係る肺の動きに応じた画素値の周期的な変動とその他の画素値の変動とが合成されたような画素値の変動が認識される。

図９は、透過動画像データにおける注目画素Ａ２を例示する図である。図９では、心臓をとらえた領域に含まれる注目画素Ａ２が例示されている。図１０は、注目画素Ａ２における画素値の時間的な変動を例示する折れ線グラフである。図１０で示されるように、注目画素Ａ２については、画素値変動認識部２６３１によって、時刻の経過に対して心拍に応じた画素値の周期的な変動とその他の画素値の変動とが合成されたような画素値の変動が認識される。

フーリエ変換部２６３２は、画素毎に画素値変動認識部２６３１で認識された画素値の時間的な変動に対してフーリエ変換を行う。

図１１は、図８で示された注目画素Ａ１に係る画素値の時間的な変動に対してフーリエ変換が施された結果を示す模式図である。図１２は、図１０で示された注目画素Ａ２に係る画素値の時間的な変動に対してフーリエ変換が施された結果を示す模式図である。図１１および図１２では、横軸が周波数を示すとともに、縦軸がスペクトルの強度を示し、周波数に対するパワースペクトルが太線で描かれた曲線で示されている。

フィルタ処理部２６３３は、フーリエ変換部２６３２で得られた画素毎のパワースペクトルに対して、複数の周波数帯域の成分をそれぞれ取り出すフィルタ処理を行う。具体的には、複数のバンドパスフィルタによるフィルタ処理がそれぞれ行われる。

図１３および図１４は、フィルタ処理で採用されるバンドパスフィルタの周波数特性を例示する図である。図１３には、呼吸周波数に応じた第１のバンドパスフィルタの周波数特性が示され、図１４には、心拍周波数に応じた第２のバンドパスフィルタの周波数特性が示されている。

図１３で示されるように、第１のバンドパスフィルタは、各画素の周波数に対するパワースペクトルのうち、呼吸周波数を中心とした所定範囲（例えば、±５％の範囲）の第１の周波数帯域Ｐａ１に含まれる成分を取り出す特性を有する。また、図１４で示されるように、第２のバンドパスフィルタは、各画素の周波数に対するパワースペクトルのうち、心拍周波数を中心とした所定範囲（例えば、±５％の範囲）の第２の周波数帯域Ｐａ２に含まれる成分を取り出す特性を有する。

したがって、フィルタ処理部２６３３では、透過動画像データを構成する複数のフレーム画像データの画素値に係る時間的な変動を示す情報から第１の周波数帯域Ｐａ１の成分を取り出す第１のフィルタ処理と、透過動画像データを構成する複数のフレーム画像データの画素値に係る時間的な変動を示す情報から第２の周波数帯域Ｐａ２の成分を取り出す第２のフィルタ処理とが行われる。

ここで、複数のバンドパスフィルタの周波数特性については、フィルタ設定部２６１によって設定される。具体的には、フィルタ設定部２６１によって、第１のバンドパスフィルタの第１の周波数帯域Ｐａ１（すなわち周波数特性）が呼吸周波数に基づいて設定され、第２のバンドパスフィルタの第２の周波数帯域Ｐａ２（すなわち周波数特性）が心拍周波数に基づいて設定される。

図１５および図１６は、フィルタ処理後の周波数に対するパワースペクトルを例示する図である。具体的には、図１５では、図１１で示された周波数に対するパワースペクトルから、第１のバンドパスフィルタによって第１の周波数帯域Ｐａ１に係る成分が抽出された結果が太線の曲線で示されている。なお、図示を省略するが、第１のフィルタ処理前のパワースペクトルにおいて第１の周波数帯域Ｐａ１に含まれる成分がほとんど存在していない場合には、第１のフィルタ処理後のパワースペクトルにも、強度のピークがほとんど存在しない。

また、図１６では、図１２で示された周波数に対するパワースペクトルから、第２のバンドパスフィルタによって第２の周波数帯域Ｐａ２に係る成分が抽出された結果が太線の曲線で示されている。なお、図示を省略するが、第２のフィルタ処理前のパワースペクトルにおいて第２の周波数帯域Ｐａ２に含まれる成分がほとんど存在していない場合には、第２のフィルタ処理後のパワースペクトルにも、強度のピークがほとんど存在しない。

そして、本実施形態では、フィルタ処理部２６３３により、透過動画像データの全画素について、画素値の変動のうちの第１の周波数帯域Ｐａ１に係る成分が抽出される第１のフィルタ処理が行われる。また、第１のフィルタ処理とは別に、フィルタ処理部２６３３により、透過動画像データの全画素について、画素値の変動のうちの第２の周波数帯域Ｐａ２に係る成分が抽出される第２のフィルタ処理が行われる。

逆フーリエ変換部２６３４は、画素毎にフィルタ処理部２６３３で抽出されたパワースペクトルの成分に対して逆フーリエ変換を行う。具体的には、逆フーリエ変換部２６３４では、画素毎にフィルタ処理部２６３３による第１のフィルタ処理の結果に対して逆フーリエ変換が行われて、画素値の時間的な変動を示す情報（以下「第１の処理後画素値変動情報」とも称する）が得られる。また、逆フーリエ変換部２６３４では、画素毎にフィルタ処理部２６３３による第２のフィルタ処理の結果に対して逆フーリエ変換が行われて、画素値の時間的な変動を示す情報（以下「第２の処理後画素値変動情報」とも称する）が得られる。

図１７および図１８は、逆フーリエ変換後の画素値の時間的な変動を示す図である。具体的には、図１７では、図１５で示された周波数に対するパワースペクトルに対して逆フーリエ変換が行われた結果が太線の曲線で示され、図１８では、図１６で示された周波数に対するパワースペクトルに対して逆フーリエ変換が行われた結果が太線の曲線で示されている。

画素情報統合部２６３５は、逆フーリエ変換部２６３４で得られた各画素に係る画素値の時間的な変動を示す情報を統合することで、動画像データを生成する。具体的には、画素情報統合部２６３５は、逆フーリエ変換部２６３４で得られた画素毎の第１の処理後画素値変動情報を統合することで、動画像データ（以下「第１の処理後動画像データ」とも称する）Ｄ１１を生成する。また、逆フーリエ変換部２６３４で得られた画素毎の第２の処理後画素値変動情報を統合して、動画像データ（以下「第２の処理後動画像データ」とも称する）Ｄ１２を生成する。

第１の処理後動画像データＤ１１は、第１の周波数帯域Ｐａ１に対応する周期的な動きを行う被写体（ここでは、肺）の動きを示し、第２の処理後動画像データＤ１２は、第２の周波数帯域Ｐａ２に対応する周期的な動きを行う被写体（ここでは、心臓）の動きを示す。なお、本実施形態では、第１の処理後動画像データＤ１１が、本発明の「第１動き動画像データ」に相当し、第２の処理後動画像データＤ１２が、本発明の「第２動き動画像データ」に相当する。

係数乗算部２６３６は、画素情報統合部２６３５で生成された各動画像データを構成する各画素値に対して所定の係数を乗じる。具体的には、係数乗算部２６３６は、第１の処理後動画像データＤ１１に第１の係数を乗じた動画像データ（以下「第１の合成用動画像データ」とも称する）を生成する。また、係数乗算部２６３６は、第２の処理後動画像データＤ１２に第２の係数を乗じた動画像データ（以下「第２の合成用動画像データ」とも称する）を生成する。第１および第２の係数は、ユーザによる操作部４からの情報の入力に応じて、所定の値域範囲（例えば、０〜１）内で適宜設定される。

ここで、第１の周波数帯域Ｐａ１に対応する周期的な動きを行う被写体（ここでは、肺）の動きを強調した画像をユーザが得たい場合には、第１の係数が比較的大きな数値（例えば、約１）に設定されることが好ましい。逆に、第１の周波数帯域Ｐａ１に対応する被写体の動きが強調されていない画像をユーザが得たい場合には、第１の係数が比較的小さな数値（例えば、約０）に設定されることが好ましい。

また、第２の周波数帯域Ｐａ２に対応する周期的な動きを行う被写体（ここでは、心臓）の動きを強調した画像をユーザが得たい場合には、第２の係数が比較的大きな数値（例えば、約１）に設定されることが好ましい。逆に、第２の周波数帯域Ｐａ２に対応する被写体の動きが強調されていない画像をユーザが得たい場合には、第２の係数が比較的小さな数値（例えば、約０）に設定されることが好ましい。

動画像合成部２６３７は、係数乗算部２６３６で得られた複数の動画像データを合成することで、動き強調動画像データＤ２を生成する。具体的には、動画像合成部２６３７は、第１および第２の合成用動画像データを合成することで、動き強調動画像データＤ２を生成する。より詳細には、第１および第２の合成用動画像データの対応するフレーム毎に、各画素の画素値が足し合わされることで、動き強調動画像データＤ２が生成される。

以上のように、本実施形態に係る撮影システム１では、被写体の時間的な変動をとらえた透過動画像データを対象として、複数のフレーム画像データの画素値に係る時間的な変動を示す情報から複数の周波数帯域の成分をそれぞれ取り出すフィルタ処理が行われて、それぞれ異なる周期的な動きを行う複数の被写体が強調された動き強調動画像データＤ２が生成される。

したがって、複数の被写体の動きをとらえた動画像を対象として、複数の被写体の動きを見易くすることが可能となる。このため、ユーザは、所望の動きを強調させた動画像を表示部３に表示させることが可能であり、動きの視認性を向上させることができる。そして、ユーザが医師である場合には、動画像でとらえられた複数の注目する部位の動きを周囲の他の部位と容易に区別することができるため、容易に診断を行うことができる。

また、透過動画像データを対象として、複数のフレーム画像データの画素値に係る時間的な変動を示す情報から第１の周波数帯域Ｐａ１の成分を取り出す第１のフィルタ処理が行われることで、第１の周波数帯域Ｐａ１に対応する周期的な動きを行う被写体（ここでは、肺）の動きを示す第１の処理後動画像データＤ１１が生成される。また、透過動画像データを対象として、複数のフレーム画像データの画素値に係る時間的な変動を示す情報から第２の周波数帯域Ｐａ２の成分を取り出す第２のフィルタ処理が行われることで、第２の周波数帯域Ｐａ２に対応する周期的な動きを行う被写体（ここでは、肺）の動きを示す第２の処理後動画像データＤ１２が生成される。そして、第１および第２の処理後動画像データＤ１１，Ｄ１２が用いられて、動き強調動画像データＤ２が生成される。このため、動きの異なる複数の被写体に係る動きを示す第１および第２の処理後動画像データＤ１１，Ｄ１２を用いて、各被写体の動きを適宜強調した動画像を得ることができる。

また、第１の処理後動画像データＤ１１に第１の係数を乗じて得られる第１の合成用動画像データと、第２の処理後動画像データＤ１２に第２の係数を乗じて得られる第２の合成用動画像データとを用いて、動き強調動画像データＤ２が生成される。このため、複数の被写体のうちの注目度に応じて、各被写体の動きを適宜強調した動画像を得ることができる。

また、心電計６およびデジタルカメラ７等といった外部装置を用いて得られた複数の被写体の動きの周期をそれぞれ示す情報に基づいて、バンドパスフィルタに係る複数の周波数帯域Ｐａ１，Ｐａ２がそれぞれ設定される。このため、被写体の動きに適したフィルタ処理を行うことができる。

本発明は上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更、改良等が可能である。

＜変形例１＞
◎上記実施形態では、第１および第２の処理後動画像データＤ１１，Ｄ１２、すなわちフィルタ処理後の各動画像データに係る画像全体の画素値に対して所定の係数が一様に乗じられた上で合成されて、動き強調動画像データＤ２が生成されたが、これに限られない。例えば、画像領域および画素のうちの何れか一方毎に異なる係数が乗じられるように設定されても良い。具体的には、第１および第２の係数が、複数のフレーム画像データの画像領域および画素のうちの何れか一方毎に設定されても良い。以下、本変形例１の具体例を挙げて説明する。

図１９および図２０は、変形例１に係る係数の設定を説明するための図である。

図１９および図２０で示されるように、フィルタ処理後の動画像データに対して、肺が存在していると予測される画像領域Ａ１１ａ，Ａ１１ｂと、心臓が存在していると予測される画像領域Ａ１２とが設定される。これらの画像領域Ａ１１ａ，Ａ１１ｂ，Ａ１２については、例えば、ユーザによる操作部４からの情報の入力に応じて設定されても良いし、肺および心臓が存在する位置に係る統計的な情報に基づいて設定されても良い。また、画像領域Ａ１１ａ，Ａ１１ｂに対して第１の係数が設定され、画像領域Ａ１２に対して第２の係数が設定される。これらの第１および第２の係数については、ユーザによる操作部４からの情報の入力に応じて設定される。そして、第１の処理後動画像データＤ１１の画像領域Ａ１１ａ，Ａ１１ｂに対して第１の係数を乗じて得られる第１の合成用動画像データと、第２の処理後動画像データＤ１２の画像領域Ａ１２に対して第２の係数を乗じて得られる第２の合成用動画像データとを用いて、動き強調動画像データＤ２が生成される。

このような構成によれば、画像領域毎に、着目する被写体の動きを強調した動画像を得ることができる。

＜変形例２＞
◎上記実施形態では、第１および第２の処理後動画像データＤ１１，Ｄ１２に対して第１および第２の係数をそれぞれ乗じた上で合成することで、動き強調動画像データＤ２が生成されたが、これに限られない。例えば、透過動画像データから、第１および第２周波数帯域Ｐａ１，Ｐａ２にそれぞれ対応する周期的な動きを行う各被写体の動きを示す情報をそれぞれ取得して、これらの情報を元の透過像データに付加することで、異なる周期的な動きを行う複数の被写体が強調された動き強調動画像データを取得するようにしても良い。以下、本変形例２の具体例を挙げて説明する。

図２１は、変形例２に係る動き強調動画像生成部２６３Ａの機能的な構成を示す図である。変形例２に係る撮影システム１Ａは、上記実施形態に係る撮影システム１と比較して、動き強調動画像生成部２６３が、動き強調動画像生成部２６３Ａに変更されたことにより、画像処理部２６が画像処理部２６Ａに変更されるとともに、制御部２が制御部２Ａに変更されたものである。なお、図２１では、変形例２に係る動き強調動画像生成部２６３Ａの機能的な構成のうち、上記実施形態に係る強調動画像生成部２６３の機能的な構成と同様な部分については、同じ符号が付されている。そして、該同様な部分については、重複説明を避けるために、説明を適宜省略する。

図２１で示されるように、動き強調動画像生成部２６３Ａは、画素値変動認識部２６３１、フーリエ変換部２６３２、フィルタ処理部２６３３、逆フーリエ変換部２６３４、変動量検出部２６３５Ａ、係数乗算部２６３６Ａ、および動画像生成部２６３７Ａといった機能的な構成を備えている。

変動量検出部２６３５Ａは、逆フーリエ変換部２６３４で得られた各画素に係る画素値の時間的な変動を示す情報から、時間経過に対する画素値の変動量を検出する。具体的には、各画素について、画素値の時間的な変動を示す情報のうち、画素値の最小値を基準として、時間経過に対する画素値の変動量を検出する。

例えば、変動量検出部２６３５Ａは、図１７で示された画素値の時間的な変動を示す第１の処理後画素値変動情報のうち、画素値の最小値を基準として、時間経過に対する画素値の変動量を示す情報（以下「第１の画素値変動量情報」とも称する）を生成する。図２２は、第１の画素値変動量情報で示される時間経過に対する画素値の変動量を例示する図である。このように、画素値変動認識部２６３１、フーリエ変換部２６３２、フィルタ処理部２６３３、逆フーリエ変換部２６３４、および変動量検出部２６３５Ａにより、画素毎に、第１のフィルタ処理を経て、第１の周波数帯域Ｐａ１に対応する周期的な動きを行う被写体（ここでは、肺）の動きを示す第１の画素値変動量情報が生成される。なお、本変形例２では、画素毎の第１の画素値変動量情報が、本発明の「第１動きデータ」に相当する。

また、変動量検出部２６３５Ａは、図１８で示された画素値の時間的な変動を示す第２の処理後画素値変動情報のうち、画素値の最小値を基準として、時間経過に対する画素値の変動量を示す情報（以下「第２の画素値変動量情報」とも称する）を生成する。図２３は、第２の画素値変動量情報で示される時間経過に対する画素値の変動量を例示する図である。このように、画素値変動認識部２６３１、フーリエ変換部２６３２、フィルタ処理部２６３３、逆フーリエ変換部２６３４、および変動量検出部２６３５Ａにより、画素毎に、第２のフィルタ処理を経て、第２の周波数帯域Ｐａ２に対応する周期的な動きを行う被写体（ここでは、心臓）の動きを示す第２の画素値変動量情報が生成される。なお、本変形例２では、画素毎の第２の画素値変動量情報が、本発明の「第２動きデータ」に相当する。

係数乗算部２６３６Ａは、変動量検出部２６３５Ａで生成された各画素値変動量情報に対して所定の係数を乗じる。具体的には、係数乗算部２６３６Ａは、第１の画素値変動量情報に第１の係数を乗じて得られる情報（以下「第１の動き強調用データ」と称する）を生成する。また、係数乗算部２６３６Ａは、第２の画素値変動量情報に第２の係数を乗じて得られる情報（以下「第２の動き強調用データ」と称する）を生成する。

動画像生成部２６３７Ａは、係数乗算部２６３６Ａで生成された第１および第２の動き強調用データを、画像受付部２６２から入力された元の透過動画像データＤ１に付加することで、動き強調動画像データを生成する。具体的には、動画像生成部２６３７Ａは、透過動画像データＤ１を構成する各フレーム画像データの各画素値に対して、対応する各フレーム画像データ毎に、第１および第２の動き強調用データで示される各画素値の変動量を加算することで、動き強調動画像データを生成する。

このように、本変形例２では、第１および第２の画素値変動量情報を用いて、動き強調動画像データが生成される。より具体的には、第１および第２の画素値変動量情報を用いて第１および第２の動き強調用データが生成され、該第１および第２の動き強調用データを用いて、動き強調動画像データが生成される。

以上のように、変形例２に係る撮影システム１Ａでは、画像処理の途中の段階で、上記実施形態のように第１および第２の処理後動画像データＤ１１，Ｄ１２が生成されることなく、透過動画像データＤ１から動き強調動画像データが生成される。

＜変形例３＞
◎上記実施形態では、フーリエ変換部２６３２で得られた画素毎のパワースペクトルに対する第１のフィルタ処理が、透過動画像データＤ１の全画素を対象として行われるともに、フーリエ変換部２６３２で得られた画素毎のパワースペクトルに対する第２のフィルタ処理が、透過動画像データＤ１の全画素を対象として行われたが、これに限られない。例えば、フーリエ変換部２６３２で得られた画素毎のパワースペクトルに対して、画像領域毎に異なるフィルタ処理が行われても良い。このような構成では、画像処理の途中の段階で、上記実施形態のように第１および第２の処理後動画像データＤ１１，Ｄ１２が生成されず、上記変形例２のように第１および第２の画素値変動量情報が生成されないようにすることが可能である。以下、本変形例３の具体例を挙げて説明する。

図２４は、変形例３に係る動き強調動画像生成部２６３Ｂの機能的な構成を示す図である。変形例３に係る撮影システム１Ｂは、上記実施形態に係る撮影システム１と比較して、動き強調動画像生成部２６３が、動き強調動画像生成部２６３Ｂに変更されたことにより、画像処理部２６が画像処理部２６Ｂに変更されるとともに、制御部２が制御部２Ｂに変更されたものである。なお、図２４では、変形例３に係る動き強調動画像生成部２６３Ｂの機能的な構成のうち、上記実施形態に係る強調動画像生成部２６３の機能的な構成と同様な部分については、同じ符号が付されている。そして、該同様な部分については、重複説明を避けるために、説明を適宜省略する。

図２４で示されるように、動き強調動画像生成部２６３Ｂは、画素値変動認識部２６３１、フーリエ変換部２６３２、フィルタ処理部２６３３Ｂ、逆フーリエ変換部２６３４Ｂ、および画素情報統合部２６３５Ｂといった機能的な構成を備えている。

フィルタ処理部２６３３Ｂは、フーリエ変換部２６３２で得られた画素毎のパワースペクトルに対して、予め設定された画像領域毎に、所定の周波数帯域の成分をそれぞれ取り出すフィルタ処理を行う。

図２５は、変形例３に係るフィルタ処理の対象となる画像領域を例示する模式図である。図２５では、各フレーム画像データについて、第１の周波数帯域Ｐａ１に含まれる成分を取り出すフィルタ処理の対象となる画像領域Ａ２１と、第２の周波数帯域Ｐａ２に含まれる成分を取り出すフィルタ処理の対象となる画像領域Ａ２２とが示されている。なお、図２５では、画像領域Ａ２１の外縁が一点鎖線で描かれ、画像領域Ａ２２の外縁が破線で示されている。

図２５で示されるように、肺の全体をとらえた全画素が含まれるように画像領域Ａ２１が設定され、心臓の全体をとらえた全画素が含まれるように画像領域Ａ２２が設定される。なお、これらの画像領域Ａ２１，Ａ２２については、例えば、ユーザによる操作部４からの情報の入力に応じて設定されても良いし、肺および心臓が存在する位置に係る統計的な情報に基づいて設定されても良い。

フィルタ処理部２６３３Ｂは、画像領域Ａ２１に含まれ、且つ画像領域Ａ２２に含まれていない画素のパワースペクトルに対して、第１の周波数帯域Ｐａ１に含まれる成分を取り出すフィルタ処理を行う。また、フィルタ処理部２６３３Ｂは、画像領域Ａ２１および画像領域Ａ２２の双方に共通して含まれる画素のパワースペクトルに対して、第１および第２の周波数帯域Ｐａ１，Ｐａ２に含まれる成分を取り出すフィルタ処理を行う。

逆フーリエ変換部２６３４Ｂは、画素毎にフィルタ処理部２６３３Ｂで抽出されたパワースペクトルの成分に対して逆フーリエ変換を行う。すなわち、逆フーリエ変換部２６３４Ｂによって、画像領域Ａ２１および画像領域Ａ２２に含まれる各画素について、画素値の時間的な変動を示す情報が得られる。

画素情報統合部２６３５Ｂは、逆フーリエ変換部２６３４Ｂで得られた各画素における画素値の時間的な変動を示す情報を統合することで、動画像データを生成する。本変形例３では、画素情報統合部２６３５Ｂによって生成される動画像データが、動き強調動画像データに相当する。

なお、本変形例３では、画像領域Ａ２１および画像領域Ａ２２の何れかの画像領域に含まれている画素に対してのみフィルタ処理が行われる。このため、画素値変動認識部２６３１における画素値の時間的な変動の認識、およびフーリエ変換部２６３２におけるフーリエ変換については、画像領域Ａ２１および画像領域Ａ２２の何れかの画像領域に含まれている画素に対してのみ行われても良い。このような構成を採用することで、演算量の低減による演算速度の向上が図られる。

＜その他の変形例＞
◎例えば、上記実施形態では、外部装置を用いて得られた呼吸周波数および心拍周波数に応じて、第１および第２の周波数帯域Ｐａ１，Ｐａ２がそれぞれ設定されたが、これに限られない。例えば、画素毎に認識された画素値の時間的な変動に対してフーリエ変換を施した結果に応じてバンドパスフィルタの周波数特性が設定されても良い。

具体的には、画素毎に、フーリエ変換によって周波数に対するパワースペクトルが得られ、該パワースペクトルの強度が所定値以上となるピーク値を中心とした所定範囲（例えば、±５％の範囲）が、バンドパスフィルタによってパワースペクトルの成分が取り出される周波数帯域として自動的に設定されても良い。

また、第１および第２の周波数帯域Ｐａ１，Ｐａ２が予め準備されており、各画素について、フーリエ変換によって周波数に対するパワースペクトルが得られ、該パワースペクトルの強度が所定値以上となるピーク値が、第１の周波数帯域Ｐａ１に含まれていれば、該第１の周波数帯域Ｐａ１の成分を取り出すバンドパスフィルタが自動的に設定され、該パワースペクトルの強度が所定値以上となるピーク値が、第２の周波数帯域Ｐａ２に含まれていれば、該第２の周波数帯域Ｐａ２の成分を取り出すバンドパスフィルタが自動的に設定されても良い。

なお、バンドパスフィルタの周波数特性が、ユーザによる操作部４からの情報の入力に応じて設定されても良し、肺および心臓の動きの周期に関する統計的な情報に基づいて自動的に設定されても良い。

◎また、上記実施形態では、人間の胸部に含まれる肺および心臓といった２つの被写体を対象として、各被写体の動きが強調された動き強調動画像データが生成されたが、これに限られない。例えば、その他の被写体の動きが強調されても良いし、３つ以上の被写体の動きが強調された動き強調動画像データが生成されても良い。

◎また、上記実施形態では、第１および第２の処理後動画像データＤ１１，Ｄ１２にそれぞれ乗じる第１および第２の係数が、ユーザによる操作部４からの情報の入力に応じて、所定の値域範囲（例えば、０〜１）内で適宜設定されたが、これに限られない。例えば、第１および第２の係数が、ユーザによる操作部４からの情報の入力に応じて、０および１のうちの何れか一方の値にそれぞれ設定されても良い。このような構成では、ユーザーは、着目したい被写体の動きが強調されつつ、着目しない被写体の動きが強調されない等といった様々な態様に係る動き強調動画像データを生成することができる。

◎また、上記実施形態では、フーリエ変換部２６３２で得られた画素毎のパワースペクトルに対して、複数の周波数帯域の成分がそれぞれ取り出されるフィルタ処理が行われたが、これに限られない。例えば、フィルタ処理が、複数の画素を含む画像領域毎に行われても良い。例えば、所定数（例えば、４つ）の画素によって構成される画像領域毎の画素値の平均値の変動に対して、フーリエ変換が施された後に、該画像領域毎にフィルタ処理が行われても良い。このような構成では、フーリエ変換、フィルタ処理、および逆フーリエ変換が、それぞれ画像領域毎に行われるため、演算量の低減および演算速度の向上が図られる。

このように、画素値の変動の認識、フーリエ変換、フィルタ処理、および逆フーリエ変換については、透過動画像データを構成する複数のフレーム画像データの画像領域および画素のうちの何れか一方毎に行われれば良い。

◎また、上記実施形態では、医療用画像撮影装置５が、フラットパネルディテクタ（ＦＰＤ）等のデジタルＸ線イメージセンサを備えて構成されていたが、これに限られない。例えば、医療用画像撮影装置５は、いわゆるＣＴ（Computed Tomography）およびＭＲＩ（Magnetic Resonance Imaging）等のその他の撮影装置によって構成されても良い。

◎また、上記実施形態では、患部および検査対象部位のうちの少なくとも一方を含む被写体の時間的な変動をとらえた複数のフレーム画像データを有する透過動画像データを対象とした画像処理を例示して説明したが、これに限られない。本発明に係る画像処理は、医療用の透過動画像データ以外の各種動画像データに対して適用することも可能である。つまり、本発明に係る画像処理の対象となる動画像データは、患者の体内の各種部位の動きをとらえた動画像に限られず、複数の被写体の動きをとらえた種々の動画像データであっても良い。

◎なお、上記実施形態および上記変形例をそれぞれ構成する一部の構成が、矛盾しない範囲で適宜組み合わされても良い。

１，１Ａ，１Ｂ 撮影システム
２，２Ａ，２Ｂ 制御部
４ 固定ディスク
５ 医療用画像撮影装置
６ 心電計
７ デジタルカメラ
２１ 撮影制御部
２２ 計測制御部
２３ 心電図解析部
２４ カメラ制御部
２５ 形状解析部
２６，２６Ａ，２６Ｂ 画像処理部
２６１ フィルタ設定部
２６２ 画像受付部
２６３，２６３Ａ，２６３Ｂ 強調動画像生成部
２６３１ 画素値変動認識部
２６３２ フーリエ変換部
２６３３，２６３３Ｂ フィルタ処理部
２６３４，２６３４Ｂ 逆フーリエ変換部
２６３５，２６３５Ｂ 画素情報統合部
２６３５Ａ 変動量検出部
２６３６，２６３６Ａ 係数乗算部
２６３７ 動画像合成部
２６３７Ａ 動画像生成部
ＰＧ プログラム

Claims (11)

1. 被写体の時間的な変動をとらえた複数フレームの画像データを有する動画像データを受け付ける動画像受付手段と、
   前記動画像データを対象として、前記複数フレームの画像データの画素値に係る時間的な変動を示す情報から複数の周波数帯域の成分をそれぞれ取り出すフィルタ処理を行い、それぞれ異なる周期的な動きを行う複数の被写体が強調された動き強調動画像データを生成する動き強調動画像生成手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記フィルタ処理が、
   前記複数フレームの画像データの画像領域および画素のうちの何れか一方毎に行われることを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   外部装置を用いて得られた前記複数の被写体の動きの周期をそれぞれ示す情報に基づいて、前記複数の周波数帯域をそれぞれ設定する帯域設定手段、
   を更に備えることを特徴とする画像処理装置。
4. 請求項１から請求項３の何れか１つの請求項に記載の画像処理装置であって、
   前記動き強調動画像生成手段が、
   前記複数フレームの画像データの画素値に係る時間的な変動を示す情報から第１周波数帯域の成分を取り出すフィルタ処理を行うことで、該第１周波数帯域に対応する周期的な動きを行う被写体の動きに係る第１動きデータを生成するとともに、前記複数フレームの画像データの画素値に係る時間的な変動を示す情報から第２周波数帯域の成分を取り出すフィルタ処理を行うことで、該第２周波数帯域に対応する周期的な動きを行う被写体の動きに係る第２動きデータを生成し、前記第１および第２動きデータを用いて、前記動き強調動画像データを生成することを特徴とする画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記動き強調動画像生成手段が、
   前記第１動きデータに第１係数を乗じて得られる情報と、前記第２動きデータに第２係数を乗じて得られる情報とを用いて、前記動き強調動画像データを生成することを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置であって、
   前記第１係数が、
   ０および１のうちの何れか一方の値であり、
   前記第２係数が、
   ０および１のうちの何れか一方の値であることを特徴とする画像処理装置。
7. 請求項５または請求項６に記載の画像処理装置であって、
   前記第１および第２係数が、
   前記複数フレームの画像データの画像領域および画素のうちの何れか一方毎に設定されることを特徴とする画像処理装置。
8. 請求項４から請求項７の何れか１つの請求項に記載の画像処理装置であって、
   前記第１動きデータが、
   前記第１周波数帯域に対応する周期的な動きを行う被写体の動きに係る第１動き動画像データを含み、
   前記第２動きデータが、
   前記第２周波数帯域に対応する周期的な動きを行う被写体の動きに係る第２動き動画像データを含むことを特徴とする画像処理装置。
9. 請求項１から請求項８の何れか１つの請求項に記載の画像処理装置であって、
   前記動画像データが、
   患部および検査対象部位のうちの少なくとも一方を含む被写体の時間的な変動をとらえた複数フレームの画像データを有する動画像データを含むことを特徴とする画像処理装置。
10. (ａ)被写体の時間的な変動をとらえた複数フレームの画像データを有する動画像データを受け付けるステップと、
    (ｂ)ステップ(ａ)で受け付けられた前記動画像データを対象として、前記複数フレームの画像データの画素値に係る時間的な変動を示す情報から複数の周波数帯域の成分をそれぞれ取り出すフィルタ処理を行い、それぞれ異なる周期的な動きを行う複数の被写体が強調された動き強調動画像データを生成するステップと、
    を備えることを特徴とする画像処理方法。
11. 画像処理装置に含まれるコンピュータによって実行されることにより、前記画像処理装置を、請求項１から請求項９の何れか１つの請求項に記載の画像処理装置として機能させるプログラム。

Images