JP2009071380A - 画像処理装置 - Google Patents

Abstract

【課題】静止画像を記憶するメモリの容量を最小化しても、ブレの少ない最適なフリーズ画像を生成する。
【解決手段】カメラコントロールユニットのフリーズ機能を実現するフリーズ回路１００は、静止画像生成手段としての画像メモリ１０１、ブレ補正回路１０２、動き量検出手段としてのズレ量検出回路１０３、記憶手段としてのメモリ１０４、タイミング信号出力手段としての周期性予測回路１０５及び制御手段としてのフリーズ画像選択回路１０６と、を備えて構成されている。
【選択図】図２

Description

本発明は、動画を的確なタイミングでフリーズすることのできる画像処理装置に関するものである。

例えば、医療現場において、内視鏡の先端にＣＣＤ等の固体撮像素子を設け、体腔内を照明して体腔内の画像をカラー撮像し、モニタ装置に表示されたカラー画像をもとに診断を行う、内視鏡装置が広く用いられるようになっている。

このような内視鏡装置では、静止画像を観察する場合、静止画に色ズレまたは画像ブレが発生するといった問題があった。

そこで、従来、例えば特開平７−２８９５０７号公報（特許文献１）等には、色ズレまたは画像ブレの最小画像を検出することで、静止指示がなされてから画像を出力するまでのタイムラグを防ぐことのできるフリーズ装置が提案されている。

この特許文献１のフリーズ装置では、特許文献１の図２及び図３に示されるように、色ズレ防止フリーズ回路が設けられ、この色ズレ防止フリーズ回路は、色ズレ補正回路の拡張処理部から出力される１画素毎の色ズレ補正量を画面内の５４ラインから２３０ラインまでを累積加算し１フィールド分の色ズレ量として検出する色ズレ量検出回路と、色ズレ量検出回路で検出された色ズレ量を１６フィールド分記憶するラインメモリ及び１６フィールド分の色ズレ量を比較して色ズレ量が最小のフィールドを求める比較器とからなる比較回路と、ＲＧＢ各色の１６枚のフィールド画像を記憶するメモリと、フリーズ信号により基準となる画像の位置を選択する基準位置選択回路と、比較回路の出力と基準位置選択回路の出力により、色ズレ量が最小であるフィールドの画像のアドレスを選択する画像選択回路とを備え、メモリは画像選択回路により選択されたアドレスの画像を出力するようになっている。

特許文献１のフリーズ装置において、基準位置選択回路による操作者本人の反応時間を考慮した基準位置である、比較動作の対象位置の選択例を図９ないし図１１に示す。この対象位置は操作者により選択可能となっている。

図９は、人間の反応時間を考慮した最適画像を、特許文献１のフリーズ装置のメモリより出力する場合の対象位置の選択例であり、この例ではフリーズをかけた時の画像を”０”とし、１５フィールド前（約０．２５ｓ）までの１６フィールド分の中での色ズレ最小フィールドを検出する。

図１０は、フリーズをかけた付近での最適画像を、特許文献１のフリーズ装置のメモリより出力する場合の対象位置の選択例であり、この例では”０：をまたいで前後の合計１６フィールド分の画像の色ズレ最小フィールドを検出する。

図１１は、例えば特開平５−１５４１００号公報（特許文献２）の色ズレ防止フリーズに対応させる場合の対象位置の選択例であり、この例では”０”から１５フィールド後までの１６フィールド分の中での色ズレ最小フィールドを検出する。
特開平７−２８９５０７号公報 特開平５−１５４１００号公報

しかしながら、上述したように、例えば特許文献１、２を含む従来のフリーズ装置では、ズレ量の少ない画像を出力するためには、例えば１６フィールド分の画像データをメモリに格納する必要があり、大容量のメモリが必要となるといった課題がある。

本発明は、上記事情に鑑みてなされたものであり、動画の静止画像を記憶するメモリの容量を最小化しても、ブレの少ない最適なフリーズ画像を生成することのできる画像処理装置を提供することを目的としている。

本発明の画像処理装置は、
撮像手段で被写体像を撮像して得られる映像信号に基づいて、静止画像信号を生成する静止画像生成手段と、
前記映像信号に基づいて、１の画像期間における前記被写体像の動き量を検出し、前記動き量に応じた動き量データを生成する動き量検出手段と、
複数の画像期間の前記動き量データを記憶する記憶手段と、
前記記憶手段に記憶される前記複数の画像期間の前記動き量データに基づいて、タイミング信号を出力するタイミング信号出力手段と、
前記映像信号に基づく前記静止画像信号の生成を指示するためのフリーズ指示信号を検知し、かつ前記タイミング信号が入力されたことを検知した、検知タイミングにて、前記映像信号に基づく前記静止画像信号の生成を実行するように、前記静止画像生成手段を制御する制御手段と
を備えて構成される。

本発明によれば、静止画像を記憶するメモリの容量を最小化しても、ブレの少ない最適なフリーズ画像を生成することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図８は本発明の実施例１に係わり、図１は内視鏡装置の構成を示す構成図、図２は図１のカメラコントロールユニットのフリーズ機能を実現するフリーズ回路の構成を示すブロック図、図３は図２のズレ量検出回路の構成を示すブロック図、図４は図２のフリーズ回路の作用を説明するフローチャート、図５は図４の処理を説明する図、図６は図４の処理の変形例を説明する第１の図、図７は図４の処理の変形例を説明する第２の図、図８は図２のフリーズ回路の変形例の構成を示すブロック図である。

（構成）
内視鏡装置１は、図１に示すように、電子内視鏡１２、光源装置１３及び画像処理装置としてのカメラコントロールユニット１５と、を備えて構成される。

前記電子内視鏡１２は、細長な挿入部１１の先端に図示しない撮像手段としての固体撮像素子、例えばＣＣＤにより管腔内の被写体を撮像する内視鏡である。また、前記光源装置１３は、電子内視鏡１２に照明光を供給する光源である。前記カメラコントロールユニット１５は、電子内視鏡１２からの撮像信号を信号処理して画像情報を生成しこの画像信号を例えば標準的なＴＶ信号（ＮＴＳＣ信号等）を変換してモニタ１４に出力する信号処理装置である。

ここで、前記カメラコントロールユニット１５は、画像信号を入力して画像のずれを検出しフリーズ信号により静止画を生成するフリーズ機能を有している。

なお、電子内視鏡１２が撮像する被写体が生体組織である場合、画像は周期的に変動する周期性を有する画像となる。

また、このカメラコントロールユニット１５における、フリーズ機能を除く、その他の画像処理（ホワイトバランス処理、エンハンス処理、拡大／縮小処理等）は公知であるので、説明は省略する。

図２に示すように、前記カメラコントロールユニット１５のフリーズ機能を実現するフリーズ回路１００は、静止画像生成手段としての画像メモリ１０１、ブレ補正回路１０２、動き量検出手段としてのズレ量検出回路１０３、記憶手段としてのメモリ１０４、タイミング信号出力手段としての周期性予測回路１０５及び制御手段としてのフリーズ画像選択回路１０６と、を備えて構成されている。

前記画像メモリ１０１は、前記電子内視鏡１２からの撮像信号をサンプリングし、公知の画像処理を施した画像データ、例えば最新の１フレーム分の画像データを更新しながら記憶するメモリである。

前記ブレ補正回路１０２は、前記画像メモリ１０１に記憶された１フレーム分の画像データに画像データに対してブレ補正処理を実施し、静止画データとして前記カメラコントロールユニット１５内の後段の処理部（例えば、フリーズ画像を記憶する記憶手段に記憶させる公知の記憶制御手段：図示せず）に出力する、公知の補正回路である。

前記ズレ量検出回路１０３は、入力された画像データより、連続する画像間のズレ量（動き量）を検出する検出回路である。

前記メモリ１０４は、前記ズレ量検出回路１０３がズレ量（動き量）の検出に用いる各種データを一時格納するメモリである。

前記周期性予測回路１０４は、前記ズレ量検出回路１０３が検出したズレ量（動き量）の周期性を予測し周期タイミングデータを生成し、前記メモリ１０４にこの周期タイミングデータを格納すると共に、予測した前記周期タイミングデータをフリーズ画像選択回路１０６に出力する回路である。

前記フリーズ画像選択回路１０６は、前記周期性予測回路１０５からの周期タイミングデータ及び前記電子内視鏡１２の操作部に設けられたフリーズスイッチ（図示せず）からのフリーズ信号と、に基づきフリーズ指示信号を生成して、前記画像メモリ１０１に記憶された、１フレームの画像データの出力を選択／制御する回路である。

なお、フリーズ指示信号は、静止画像格納指示信号と、静止画像出力指示信号とからなる。

前記周期性予測回路１０５は、閾値設定部１１０、及び（推定手段あるいは算出手段としての）周期性解析部１１１とから構成される。

前記周期性解析部１１１は、ズレ量検出回路１０３が検出したズレ量（動き量）と、前記閾値設定部１１０にて設定されている所定の閾値とにより、ズレ量（動き量）の周期性を解析し周期タイミングデータ生成する解析部である。

図３に示すように、ズレ量検出回路１０３は、画像の特徴点を含む検出範囲の特徴量としての、例えば画像重心のズレ量（動き量）を検出する回路であり、X重心検出部１２０、Y重心検出部１２１、遅延手段としての距離算出部１２２及び比較器１２３と、から構成される。

前記X重心検出部１２０は、乗算器１３１、累積加算器１３２，１３３及び除算器１３４とからなり、検出範囲の中心からX方向の画像重心Xg（＝Σm・X／M）の位置データを検出する検出部である（m：サンプル画素の重み係数、M：重み係数の総量）。

前記Y重心検出部１２１は、乗算器１４１、累積加算器１４２，１４３及び除算器１４４とからなり、検出範囲の中心からY方向の画像重心Yg（＝Σm・Y／M）の位置データを検出する検出部である。

前記距離算出部１２２は、乗算器１５１、１５２及び加算器１５３とからなり、検出範囲の中心と重心の位置までの距離f（＝Xg・Xg＋Y g・Y g）を算出する算出部である。

前記比較器１２３は、前フィールドの距離fの算出結果と現フィールドの距離fの算出結果とを比較し、ズレ量（動き量）を算出する比較器である。

なお、ズレ量検出回路１０３は、本実施例では、画像重心を用いて算出したが、これに限らず、公知の技術回路である、例えば特徴量として、画像の画素データを微分する微分回路、微分結果をパターン解析するパターン解析回路等を用いて、画像の特徴量としてエッジ部を検出し、エッジの移動量をズレ量（動き量）として算出してもよい。

（作用）
このように構成された本実施例の作用について説明する。

図４に示すように、フリーズ回路１００において、ズレ量検出回路１０３は、ステップS１にて、入力された画像データより動きを検出し、ステップS２にて、ズレ量（動き量）を算出する。そして、ズレ量検出回路１０３は、ステップS３にて、算出したズレ量（動き量）をメモリ１０４に格納（蓄積）する。

その後、フリーズ回路１００において、周期性予測回路１０５は、ステップS４にて、ズレ量（動き量）の周期性を予測し周期タイミングデータを生成し、前記メモリ１０４にこの周期タイミングデータを格納する。そして、周期性予測回路１０５は、ステップS５にて、予測した前記周期タイミングデータをフリーズ画像選択回路１０６に出力する。

ここで、図５を用いて、周期性予測回路１０５の動作の一例を説明する。周期性予測回路１０５の周期性解析部１１１は、各フィールドにて、メモリ１０４に格納されている前フィールドからのズレ量（動き量）と、閾値設定部１１０にて設定されている所定の閾値とを比較し、例えば、
ズレ量（動き量）＞所定の閾値ならば、High
ズレ量（動き量）＜所定の閾値ならば、Low
となる周期性パルスを生成する。そして、周期性解析部１１１は、周期性パルスの立ち下がりエッジを検出し、この立ち下がりエッジを基準に、立ち下がりエッジが検出されてから次の立ち下がりエッジまでの期間（周期T）をカウントする。

つまり、パルスがLowの期間の画像はズレ量（動き量）が所定の閾値より小さいブレの少ない（ズレ量の小さい）画像になる。

また、周期性解析部１１１は、立ち下がりエッジと立ち上がりエッジの中点を求め、この中点を静止画格納タイミングとする。そして、周期性解析部１１１は、静止画格納タイミングの発生時刻情報に基づく、周期タイミングデータを生成し、メモリ１０４にこの周期タイミングデータを格納すると共に、周期タイミングデータをフリーズ画像選択回路１０６に出力する。

フリーズ画像選択回路１０６は、この周期タイミングデータのタイミングに基づいたフリーズ指示信号（静止画像格納指示信号）により、ブレの少ない（ズレ量の小さい）画像を、画像メモリ１０１に記憶する。

このようにして、フリーズ画像選択回路１０６は、画像メモリ１０１に対して、時間的に連続した前後の、ブレの少ない（ズレ量の小さい）画像を１フレーム分、更新／記憶させる。

次に、図４に戻り、フリーズ回路１００において、フリーズ画像選択回路１０６は、ステップS６にて、周期性予測回路１０５からの周期タイミングデータ及び電子内視鏡１２からのフリーズ信号に基づく、トリガ信号であるフリーズ指示信号を生成して、前記画像メモリ１０１に記憶された、１フレームの画像データの出力を選択／制御する。

具体的に、電子内視鏡１２からのフリーズ信号に基づくフリーズ画像選択回路１０６の動作を、再び図５を用いて説明する。フリーズ画像選択回路１０６は、電子内視鏡１２からのフリーズ信号を検知すると、フリーズ信号の発生時刻（のタイミング）と、静止画格納タイミングの生成時刻（のタイミング）とを比較する。

静止画格納タイミングの生成時刻は、周期データであって、周期タイミングデータとしてメモリ１０４に格納されている。そこで、フリーズ画像選択回路１０６は、フリーズ信号の発生時刻及びこの時刻前の静止画格納タイミングの生成時刻との時間差Δt１と、フリーズ信号の発生時刻及びこの時刻後の（周期性により）予測される静止画格納タイミングの生成時刻との時間差Δt２と、をと比較し、Δt１、Δt２が小さい方、すなわち、フリーズ画像選択回路１０６は、
（１） フリーズ信号の発生時刻に近い静止画格納タイミングがフリーズ信号の発生時刻前の静止画格納タイミングならば（Δt１＜Δt２）、画像メモリ１０１に格納されている１フレームの画像をフリーズ指示信号（静止画像出力指示信号）により、画像メモリ１０１より静止画像として出力させる。

（２） フリーズ信号の発生時刻に近い静止画格納タイミングがフリーズ信号の発生時刻後の静止画格納タイミングならば（Δt１＞Δt２）、予測される次の静止画格納タイミングまで処理を待ち、静止画格納タイミングが発生したときにフリーズ指示信号（静止画像格納指示信号）により、画像メモリ１０１に１フレームの画像を格納すると共に、このとき画像メモリ１０１に格納された１フレームの画像をフリーズ指示信号（静止画像出力指示信号）により、画像メモリ１０１より静止画像として出力させる。

（効果）
このように本実施例によれば、フリーズ回路１００において、画像の周期性を検出し、周期性に基づき、静止画像の静止画格納タイミングを予測／生成してフリーズ処理を行うので、静止画像を格納するためのメモリは、１フレーム分という容量ですみ、静止画像を記憶するメモリの容量を最小化しても、ブレの少ない最適なフリーズ画像を生成／出力することができる。

なお、本実施例では、フリーズする画像を生体の画像とし、生体の周期性を利用して静止画像を生成／出力するとしたが、これに限らず、撮像手段を保持する際の手ぶれ画像についても、本実施例の構成及び作用により手ぶれ画像の周期性を検出することで、静止画像を記憶するメモリの容量を最小化しても、ブレの少ない最適なフリーズ画像を生成／出力することができる。

変形例：
（変形例１）
周期性予測回路１０５の動作は、図５に示した動作に限らず、図６及び図７に示すような動作により画像の周期性を予測し、フリーズ画像を生成／出力するようにしてもよい。

すなわち、周期性予測回路１０５は、ズレ量（動き量）が最小となるポイント（タイミング）を求める。そして、周期性予測回路１０５は、このタイミングでの画像を、静止画格納タイミングによりフリーズ画像選択回路１０６を制御する。フリーズ画像選択回路１０６は、静止画格納タイミングに基づくフリーズ指示信号（静止画像格納指示信号）により、画像メモリ１０１に１フレームの画像を格納する。

周期性予測回路１０５は、電子内視鏡１２からのフリーズ信号を検知すると、図６に示すズレ量（動き量）と時間の関係を、図７に示すFFT変換によりズレ量（動き量）と周波数の関係に変換し、ズレ量（動き量）のピーク周波数を算出し、メモリ１０４に記憶する。なお、ピーク周波数が複数、例えばピーク周波数が２つある場合には、その２つのピーク周波数をメモリ１０４に記憶する。

次に、周期性予測回路１０５は、遅いピーク周波数の期間で、ズレ量（動き量）の最小となるポイントを求める。

そして、フリーズ信号が入力されたときに、フリーズ信号が入力される前のズレ量（動き量）の小さい画像の位置（時刻）と、フリーズ信号が入力される後のズレ量（動き量）の小さい画像の位置（時刻）とを比較し、フリーズ信号（の発生時刻）に近い位置（時刻）の画像を静止画像として出力する。

（変形例２）
上記実施例では、周期性予測回路１０５は、閾値設定部１１０が設定する閾値に基づいて周期性パルスを生成して、ズレ量（動き量）の周期性を算出していたが、これに限らず、例えば、図８に示すように、電子内視鏡１２が挿入される患者のバイタルサインである生体モニタリング信号を、図示しない生体モニタリング装置より周期性予測回路１０５に入力し、周期性予測回路１０５は、この生体モニタリング信号とズレ量（動き量）との変化により、ズレ量（動き量）の周期性を算出するようにしてもよい。

なお、図示はしないが、カメラコントロールユニット１５において、動画あるいは静止画像を格納するためのメディアを着脱自在に装着できるスロットを複数、設けることができる。

カメラコントロールユニット１５は複数のスロットに、それぞれメディアが装着された場合、以下の（手順１−１）〜（手順１−６）に従って処理を実行する。

（手順１−１）メディアが装着されたかどうか判定
（手順１−２）現在選択されているメディアの容量の算出
（手順１−３）画像の記録の開始
（手順１−４）記録した画像の容量を計算し、メディアの容量がなくなるタイミングを算出
（手順１−５）メディアの空き容量がなくなる直前に、別のメディアに書き込むように切り替える
（手順１−６）メディアの空き容量がなくなったことをモニタ等に表示
また、上記（手順１−１）〜（手順１−６）の変形例として、以下の（手順２−１）〜（手順２−７）に従って処理を実行してもよい。

（手順２−１）メディアが装着されたかどうか判定
（手順２−２）接続されているメディアの容量の算出
（手順２−３）使用するメディアの選択
（手順２−４）画像の記録の開始
（手順２−５）記録した画像の容量を計算し、メディアの容量がなくなるタイミングを算出
（手順２−６）メディアの空き容量がなくなる直前に、別のメディアに書き込むように切り替える
（手順２−７）メディアの空き容量がなくなったことをモニタ等に表示
このような（手順１−１）〜（手順１−６）あるいは（手順２−１）〜（手順２−７）の処理を実行することにより、カメラコントロールユニット１５では、１つのメディアの空き容量が足りなくなったとしても、画像を途切れることなく記録することが可能となる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る内視鏡装置の構成を示す構成図 図１のカメラコントロールユニットのフリーズ機能を実現するフリーズ回路の構成を示すブロック図 図２のズレ量検出回路の構成を示すブロック図 図２のフリーズ回路の作用を説明するフローチャート 図４の処理を説明する図 図４の処理の変形例を説明する第１の図 図４の処理の変形例を説明する第２の図 図２のフリーズ回路の変形例の構成を示すブロック図 従来のフリーズ回路を説明する第１の図 従来のフリーズ回路を説明する第２の図 従来のフリーズ回路を説明する第３の図

符号の説明

１１…挿入部
１２…電子内視鏡
１３…光源装置
１４…モニタ
１５…カメラコントロールユニット
１００…フリーズ回路
１０１…画像メモリ
１０２…ブレ補正回路
１０３…ズレ量検出回路
１０４…メモリ
１０５…周期性予測回路
１０６…フリーズ画像選択回路
１１０…閾値設定部
１１１…周期性解析部

Claims (10)

1. 撮像手段で被写体像を撮像して得られる映像信号に基づいて、静止画像信号を生成する静止画像生成手段と、
   前記映像信号に基づいて、１の画像期間における前記被写体像の動き量を検出し、前記動き量に応じた動き量データを生成する動き量検出手段と、
   複数の画像期間の前記動き量データを記憶する記憶手段と、
   前記記憶手段に記憶される前記複数の画像期間の前記動き量データに基づいて、タイミング信号を出力するタイミング信号出力手段と、
   前記映像信号に基づく前記静止画像信号の生成を指示するためのフリーズ指示信号を検知し、かつ前記タイミング信号が入力されたことを検知した、検知タイミングにて、前記映像信号に基づく前記静止画像信号の生成を実行するように、前記静止画像生成手段を制御する制御手段と
   を備えたことを特徴とする画像処理装置。
2. 前記動き量データに基づいて、前記被写体像の動き量が所定量より小さくなる周期を推定する推定手段をさらに備え、
   前記タイミング信号出力手段は、前記推定手段により推定された周期にて、周期的にタイミング信号を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記動き量データが所定値より小さくなるタイミングを検出するタイミング検出手段と、
   前記タイミング検出手段の検出結果に基づいて、前記動き量データが前記所定値より小さくなる周期を算出する算出手段と
   をさらに備え、
   前記タイミング検出手段は、前記算出手段により算出された前記周期にて、周期的にタイミング信号を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記静止画像生成手段は、前記映像信号を所定の画像期間分遅延させて特徴量を算出し、前記特徴量を出力する遅延手段を備え、
   前記動き量検出手段は、前記映像信号と前記遅延手段から出力される映像信号とに基づいて、前記動き量を検出する
   ことを特徴とする請求項１ないし３のいずれか１つに記載の画像処理装置。
5. 前記遅延手段は、前記映像信号を前記１の画像期間遅延させる
   ことを特徴とする請求項４に記載の画像処理装置。
6. 前記撮像手段は、体腔内を撮像する内視鏡の先端に設けられ、周期性を有する生体像を前記被写体像として撮像する
   ことを特徴とする請求項１ないし５のいずれか１つに記載の画像処理装置。
7. 撮像手段で被写体像を撮像して得られる映像信号に基づいて、静止画像信号を生成する静止画像生成ステップと、
   前記映像信号に基づいて、１の画像期間における前記被写体像の動き量を検出し、前記動き量に応じた動き量データを生成する動き量検出ステップと、
   複数の画像期間の前記動き量データを記憶する記憶ステップと、
   前記記憶ステップにて記憶される前記複数の画像期間の前記動き量データに基づいて、タイミング信号を出力するタイミング信号出力ステップと、
   前記映像信号に基づく前記静止画像信号の生成を指示するためのフリーズ指示信号を検知し、かつ前記タイミング信号が入力されたことを検知した、検知タイミングにて、前記映像信号に基づく前記静止画像信号の生成を実行するように、前記静止画像生成手段を制御する制御ステップと
   を備えたことを特徴とする画像処理方法。
8. 前記動き量データに基づいて、前記被写体像の動き量が所定量より小さくなる周期を推定する推定ステップをさらに備え、
   前記タイミング信号出力ステップは、前記推定ステップにより推定された周期にて、周期的にタイミング信号を出力する
   ことを特徴とする請求項７に記載の画像処理方法。
9. 前記動き量データが所定値より小さくなるタイミングを検出するタイミング検出ステップと、
   前記タイミング検出ステップの検出結果に基づいて、前記動き量データが前記所定値より小さくなる周期を算出する算出ステップと
   をさらに備え、
   前記タイミング検出ステップは、前記算出ステップにより算出された前記周期にて、周期的にタイミング信号を出力する
   ことを特徴とする請求項７に記載の画像処理方法。
10. 前記撮像手段は、体腔内を撮像する内視鏡の先端に設けられ、周期性を有する生体像を前記被写体像として撮像する
    ことを特徴とする請求項７ないし９のいずれか１つに記載の画像処理方法。

Images