JP2016002374A - 画像処理装置及び画像処理装置の作動方法 - Google Patents

Abstract

【課題】処理の負荷を低減し、かつ、色ずれを低減することができる画像処理装置を提供する。
【解決手段】画像処理装置は、第１の照明光で照明された被写体を撮像した第１のフレーム画像を取得し、第１のフレーム画像を取得後に、第１の照明光で照明された被写体を撮像した第２のフレーム画像を取得する撮像素子１２と、第１のフレーム画像と第２のフレーム画像とに基づいて、第１のフレーム画像に対する第２のフレーム画像の動き量を検出する移動ベクトル検出部３４と、検出した動き量に基づいて、第１のフレーム画像と第２のフレーム画像との間に、第２の照明光で照明された被写体を撮像して得られる第３のフレーム画像の動き量を推定する演算部３５と、推定された第３のフレーム画像の動き量に基づいて、第３のフレーム画像を第２のフレーム画像に同時化する際の同時化位置を補正する補正部３７と、を備える。
【選択図】図２

Description

本発明は、画像処理装置及び画像処理装置の作動方法に関し、特に、面順次方式における色ずれを低減することができる画像処理装置及び画像処理装置の作動方法に関するものである。

従来、被検体の内部の被写体を撮像する内視鏡、及び、内視鏡により撮像された被写体の観察画像を生成するプロセッサ等を具備する内視鏡システムが、医療分野及び工業分野等において広く用いられている。

このような内視鏡システムとして、例えば赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の照明光を順次に被写体に照射し、各色毎の被写体の像をＣＣＤ等の撮像素子において時系列に撮像し、カラー画像をモニタ画面上に表示する面順次方式の内視鏡システムが知られている。

この面順次方式の内視鏡システムでは、面順次方式でＣＣＤを駆動する場合、Ｒ、Ｇ及びＢの各色の画像信号が時系列に取り込まれることから、被写体側、及び、撮像素子側のいずれか一方、あるいは、両方が動いた場合、各色の画像信号を重ね合わせた後のカラー画像に色ずれが発生してしまう。

そのため、例えば、特許文献１には、面順次方式の画像信号の各色の重心座標を算出し、順次入力されてくる最新のある一色の面順次方式の画像信号の重心座標と、以前に自ら保持していた他の異なる色の各色画像信号の重心座標から、各色毎の移動量を算出する画像信号処理装置が開示されている。

そして、この画像信号処理装置は、各色画像信号毎の移動量（移動ベクトル）を考慮し、同時化された画像信号を出力することで、色ずれが少ないＲ、Ｇ及びＢ同時化画像信号を出力する。

特開２００４−３２９５１４号公報

しかしながら、特許文献１に開示されている画像信号処理装置は、Ｒ、Ｇ及びＢの各色画像信号毎に重心座標の算出、及び、移動量の算出を行い、同時化を行っているため、処理の負担が増大するという問題があった。

そこで、本発明は、処理の負荷を低減し、かつ、色ずれを低減することができる画像処理装置及び画像処理装置の作動方法を提供することを目的とする。

本発明の一態様の画像処理装置は、被写体をフレーム単位で撮像する撮像部と、前記被写体に向けて第１の照明光、及び、前記第１の照明光と波長の異なる第２の照明光を前記フレーム単位で時系列に順次出射する光源部と、を具備する画像処理装置であって、前記第１の照明光で照明された被写体を撮像した第１のフレーム画像を取得し、前記第１のフレーム画像を取得後に、前記第１の照明光で照明された被写体を撮像した第２のフレーム画像を取得する画像取得部と、前記第１のフレーム画像と前記第２のフレーム画像とに基づいて、前記第１のフレーム画像に対する前記第２のフレーム画像の動き量を検出する動き量検出部と、前記動き量検出部で検出した動き量に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との間に、前記第２の照明光で照明された被写体を撮像して得られる第３のフレーム画像の動き量を推定する第１の動き量推定部と、前記第１の動き量推定部で推定された前記第３のフレーム画像の動き量に基づいて、前記第３のフレーム画像を前記第２のフレーム画像に同時化する際の同時化位置を補正するための第１の補正量を算出し、前記第３のフレーム画像の同時化位置を補正する第１の同時化位置補正部と、を備える。

また、本発明の一態様の画像処理装置の作動方法は、被写体をフレーム単位で撮像する撮像部と、前記被写体に向けて第１の照明光、及び、前記第１の照明光と波長の異なる第２の照明光を前記フレーム単位で時系列に順次出射する光源部と、を具備する画像処理装置の作動方法であって、前記第１の照明光で照明された被写体を撮像して第１のフレーム画像を取得する第１フレーム取得ステップと、前記第１のフレーム取得ステップの後に、前記第１の照明光で照明された被写体を撮像して第２のフレーム画像を取得する第２フレーム取得ステップと、前記第１のフレーム画像と前記第２のフレーム画像とに基づいて、前記第１のフレーム画像に対する前記第２のフレーム画像の動き量を検出する動き量検出ステップと、前記動き量検出ステップで検出した動き量に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との間に、前記第２の照明光で照明された被写体を撮像して得られる第３のフレーム画像の動き量を推定する第１の動き量推定ステップと、前記第１の動き量推定ステップで推定された前記第３のフレーム画像の動き量に基づいて、前記第３のフレーム画像を前記第２のフレーム画像に同時化する際の同時化位置を補正するための第１の補正量を算出し、前記第３のフレーム画像の同時化位置を補正する第１の同時化位置補正ステップと、を備える。

本発明の画像処理装置及び画像処理装置の作動方法によれば、処理の負荷を低減し、かつ、色ずれを低減することができる。

一実施形態に係る画像処理装置を有する内視鏡システムの構成を示す図である。 画像処理回路２５の詳細な構成を示す図である。 画像処理回路２５による同時化処理の例を説明するための図である。 画像処理回路２５による同時化処理の流れの例を説明するためのフローチャートである。

以下、図面を参照して本発明の実施形態を説明する。

まず、図１を用いて一実施形態の画像処理装置を有する内視鏡システムの構成について説明する。図１は、一実施形態に係る画像処理装置を有する内視鏡システムの構成を示す図である。

図１に示すように、内視鏡システム１は、内視鏡２と、プロセッサ３と、モニタ４とを備えて構成されている。内視鏡２は、被検体内に挿入される細長な挿入部１０を有し、図示しないコネクタを介してプロセッサ３に着脱自在に構成されている。本実施形態の画像処理装置は、内視鏡２及びプロセッサ３により構成される。

挿入部１０の先端には、対物レンズ１１と、この対物レンズ１１の結像位置に配置された、例えばＣＣＤ等の撮像素子１２と、挿入部１０の先端まで照明光を伝達するライトガイド１３とが設けられている。ライトガイド１３の入射端には、後述するプロセッサ３の光源部１４からの照明光が入射される。

プロセッサ３は、光源部１４と、画像処理部１５とが一体となったプロセッサである。光源部１４は、光源ランプ１６と、回転フィルタ１７とを有して構成されている。また、画像処理部１５は、タイミング信号発生回路２１と、撮像素子駆動回路２２と、プリプロセス回路２３と、Ａ／Ｄ変換器２４と、画像処理回路２５と、Ｄ／Ａ変換器２６とを有して構成されている。

回転フィルタ１７は、赤色（Ｒ）、緑色（Ｇ）及び青色（Ｂ）の色透過フィルタを有し、図示しないモータによって所定の周波数で回転駆動する。光源ランプ１６は白色光を出射し、この光源ランプ１６から出射された白色光は、光路中に配置された回転フィルタ１７を透過して、順次、Ｒ、Ｇ、Ｂの各波長の照明光にされた後、ライトガイド１３に入射端に入射される。Ｒ、Ｇ、Ｂの各照明光は、ライトガイド１３により導光され、ライトガイド１３の出射端から被写体に出射される。このように、光源部１４は、それぞれが波長の異なる第１の照明光、第２の照明光、及び、第３の照明光を、フレーム単位で順次出射するものである。

タイミング信号発生回路２１は、撮像素子駆動回路２２及びプリプロセス回路２３において適切な信号処理が行われるようにタイミング信号を出力する。撮像素子駆動回路２２は、タイミング信号発生回路２１からのタイミング信号に応じて、撮像素子１２を駆動するための駆動信号を発生し、撮像素子１２に供給する。

被写体からの戻り光は、対物レンズ１１により撮像素子１２の撮像面に結像され、撮像素子１２により撮像される。撮像素子１２は、Ｒ、Ｇ、Ｂの各照明光で照明された被写体をフレーム単位で撮像し、撮像した撮像信号をプリプロセス回路２３に出力する。このように、撮像素子１２は、Ｒ、Ｇ、Ｂの各照明光で照明された被写体を撮像した各フレーム画像を取得する画像取得部を構成する。

プリプロセス回路２３は、撮像素子１２からの撮像信号に、信号増幅及び波形整形等の所定の処理を施し、所定の処理を施した撮像信号をＡ／Ｄ変換器２４に出力する。Ａ／Ｄ変換器２４は、プリプロセス回路２３からの撮像信号をアナログ信号からデジタル信号に変換し、デジタル信号に変換した撮像信号を画像処理回路２５に出力する。

画像処理回路２５は、面順次方式で入力される各色の撮像信号を同時化し、Ｄ／Ａ変換器２６に出力する。なお、画像処理回路２５の詳細な構成、及び、同時化処理の内容については、後述する図２及び図３を用いて説明する。

Ｄ／Ａ変換器２６は、画像処理回路２５からの撮像信号をデジタル信号からアナログ信号に変換し、アナログ信号に変換した撮像信号をモニタ４に出力する。これにより、モニタ４の表示画面上に被検体の画像が表示される。

図２は、画像処理回路２５の詳細な構成を示す図であり、図３は、画像処理回路２５による同時化処理の例を説明するための図である。

図２に示すように、画像処理回路２５は、振分部３０と、レジスタ３１と、メモリ３２と、選択部３３と、移動ベクトル検出部３４と、演算部３５と、演算部３６と、補正部３７と、補正部３８と、同時化部３９とを有して構成されている。

メモリ３２は、それぞれが１フレーム分の撮像信号（フレーム画像）を格納することができる、４つの領域３２ａ、３２ｂ、３２ｃ及び３２ｄにより構成されている。すなわち、メモリ３２には、最新のフレーム画像、１フレーム前のフレーム画像、２フレーム前のフレーム画像、及び、３フレーム前のフレーム画像の４つのフレーム画像が格納される。

振分部３０は、Ａ／Ｄ変換器２４から面順次方式で入力される撮像信号をフレーム毎にメモリ３２の４つの領域３２ａ〜３２ｄに振り分ける。具体的には、振分部３０は、順次入力されるフレーム画像を、例えば領域３２ａ、３２ｂ、３２ｃ、３２ｄの順に振り分け、さらにフレーム画像が入力されると、入力されたフレーム画像を一番古いフレーム画像が格納されている領域３２ａに振り分ける。また、振分部３０は、最新のフレーム画像が格納されている領域、すなわち、領域３２ａ〜３２ｄのいずれかを示すデータをレジスタ３１に格納する。

例えば、図３（ａ）に示すように、円形物体が図３に向かって左から右に移動する場合、図３（ｂ）に示すように、赤色のフレーム画像Ｒ０、緑色のフレーム画像Ｇ０、青色のフレーム画像Ｂ０、赤色のフレーム画像Ｒ１の順に撮像素子１２で撮像され、振分部３０に入力される。そして、領域３２ａに３フレーム前のフレーム画像Ｒ０が格納され、領域３２ｂに２フレーム前のフレーム画像Ｇ０が格納され、領域３２ｃに１フレーム前のフレーム画像Ｂ０が格納され、領域３２ｄに最新のフレーム画像Ｒ１が格納される。この場合、レジスタ３１には、領域３２ｄに最新のフレーム画像Ｒ１が格納されていることを示すデータが格納される。

選択部３３には、メモリ３２の領域３２ａ〜３２ｄから４つのフレーム画像が入力されるとともに、レジスタ３１から最新のフレーム画像Ｒ１が格納されている領域（領域３２ａ〜３２ｄのいずれか）を示すデータ（index信号）が入力される。選択部３３は、レジスタ３１からのindex信号に基づいて、４つのフレーム画像の出力先を選択する。このindex信号は、最新のフレーム画像Ｒ１が格納されている領域３２ａ〜３２ｄのいずれかを示す信号であり、選択部３３は、index信号に基づいて、１フレーム前から３フレーム前のフレーム画像が格納されている領域を判定し、各フレーム画像Ｒ０、Ｇ０、Ｂ０の出力先を選択する。

例えば、選択部３３は、最新のフレーム画像Ｒ１が領域３２ｄに格納されていることを示すindex信号が入力された場合、領域３２ｃに１フレーム前のフレーム画像Ｂ０が格納され、領域３２ｂに２フレーム前のフレーム画像Ｇ０が格納され、領域３２ａに３フレーム前のフレーム画像Ｒ０が格納されていると判定する。

選択部３３は、index信号に基づいて、最新のフレーム画像Ｒ１と、フレーム画像Ｒ１と同色の３フレーム前のフレーム画像Ｒ０とを移動ベクトル検出部３４に出力し、１フレーム前のフレーム画像Ｂ０を補正部３７に出力し、２フレーム前のフレーム画像Ｇ０を補正部３８に出力する。

移動ベクトル検出部３４は、図３（ｃ）に示すように、選択部３３から入力された最新のフレーム画像Ｒ１と、フレーム画像Ｒ１と同色の３フレーム前のフレーム画像Ｒ０との移動ベクトルＶ１（動き量）を検出する。このように、移動ベクトル検出部３４は、同色の照明光で照明された第１のフレーム画像と第２のフレーム画像とに基づいて、第１のフレーム画像に対する第２のフレーム画像の動き量を検出する動き量検出部を構成する。

ここでは、移動ベクトル検出部３４は、オプティカルフローで用いられる勾配法を使用して移動ベクトルＶ１を検出してもよいし、注目画素を含むN×N（Nは整数）の窓間の差分の評価値を使用して移動ベクトルＶ１を検出してもよい。また、移動ベクトル検出部３４は、フレーム画像Ｒ１とフレーム画像Ｒ０との全画素に対して移動ベクトルＶ１を検出してもよいし、画素を間引きして、所定の画素のみに対して移動ベクトルＶ１を検出してもよい。移動ベクトル検出部３４により検出された移動ベクトルＶ１は、演算部３５及び演算部３６に入力される。

演算部３５は、移動ベクトル検出部３４で検出された移動ベクトルＶ１を１／３倍した移動ベクトルＶ２を演算し、補正部３７に出力する。補正部３７は、図３（ｄ）に示すように、１フレーム前のフレーム画像Ｂ０を１／３倍した移動ベクトルＶ２で補正することで、最新のフレーム画像Ｒ１と略同等の位置のフレーム画像Ｂ０’を得て、同時化部３９に出力する。

また、演算部３６は、移動ベクトル検出部３４で検出された移動ベクトルを２／３倍した移動ベクトルＶ３を演算し、補正部３８に出力する。補正部３８は、図３（ｅ）に示すように、２フレーム前のフレーム画像Ｇ０を２／３倍した移動ベクトルＶ３で補正することで、最新のフレーム画像Ｒ１と略同等の位置のフレーム画像Ｇ０’を得て、同時化部３９に出力する。

本実施形態では、演算部３５及び演算部３６のいずれか一方が第２の照明光で照明された被写体を撮像して得られる第３のフレーム画像の動き量を推定する第１の動き量推定部を構成し、他方が第３の照明光で照明された被写体を撮像して得られる第４のフレーム画像の動き量を推定する第２の動き量推定部を構成する。

また、補正部３７及び補正部３８のいずれか一方が第３のフレーム画像を第２のフレーム画像に同時化する際の同時化位置を補正するための第１の補正量を算出し、第３のフレーム画像の同時化位置を補正する第１の同時化位置補正部を構成し、他方が第４のフレーム画像を第２のフレーム画像に同時化する際の同時化位置を補正するための第２の補正量を算出し、第４のフレーム画像の同時化位置を補正する第２の同時化位置補正部を構成する。

同時化部３９は、図３（ｆ）に示すように、最新のフレーム画像Ｒ１と、補正部３７で補正されたフレーム画像Ｂ０’と、補正部３８で補正されたフレーム画像Ｇ０’とを同時化し、Ｄ／Ａ変換器２６に出力する。物体が移動している場合、フレーム画像Ｇ０、Ｂ０、Ｒ１を同時化すると色ずれが発生するが、本実施形態の手法を用いることで、最新のフレーム画像Ｒ１と、補正されたフレーム画像Ｇ０’、Ｂ０’が同時化されるため、色ずれが軽減された同時化画像を得ることができる。

なお、物体が非線形に移動する場合、本実施形態の手法を用いると、色ずれが大きくなってしまう場合がある。すなわち、物体の移動の仕方によっては、フレーム画像Ｇ０’、Ｂ０’、Ｒ１を同時化するよりも、フレーム画像Ｇ０、Ｂ０、Ｒ１をそのまま同時化した方が色ずれが少なくなる場合がある。

そのため、同時化部３９には、図２に示すように、最新のフレーム画像Ｒ１、１フレーム前のフレーム画像Ｂ０、及び、２フレーム前のフレーム画像Ｇ０が入力される。そして、同時化部３９は、最新のフレーム画像Ｒ１及び１フレーム前のフレーム画像Ｂ０の同時化結果と、最新のフレーム画像Ｒ１及び補正部３７で補正された１フレーム前のフレーム画像Ｂ０’の同時化結果とを比較し、色ずれ量の少ない同時化結果を採用する。

同様に、同時化部３９は、最新のフレーム画像Ｒ１及び２フレーム前のフレーム画像Ｇ０の同時化結果と、最新のフレーム画像Ｒ１及び補正部３８で補正された２フレーム前のフレーム画像Ｇ０’の同時化結果とを比較し、色ずれ量の少ない同時化結果を採用する。

例えば、フレーム画像Ｒ１、Ｇ０、Ｇ０’に対してエッジ検出処理を施し、フレーム画像Ｒ１のエッジ画像及びフレーム画像Ｇ０のエッジ画像間での差分の絶対値の総和を、フレーム画像Ｇ０の色ずれ評価値Ｅ１とし、フレーム画像Ｒ１のエッジ画像及びフレーム画像Ｇ０’のエッジ画像間での差分の絶対値の総和を、フレーム画像Ｇ０’の色ずれ評価値Ｅ１’とする。同時化部３９は、色ずれ評価値Ｅ１と色ずれ評価値Ｅ１’と比較し、色ずれ評価値Ｅ１’が色ずれ評価値Ｅ１よりも小さい値の場合、フレーム画像Ｇ０’を選択して同時化を行い、色ずれ評価値Ｅ１’が色ずれ評価値Ｅ１よりも大きい値の場合、フレーム画像Ｇ０を選択して同時化を行う。

同様に、フレーム画像Ｒ１のエッジ画像及びフレーム画像Ｂ０のエッジ画像間での差分の絶対値の総和を、フレーム画像Ｂ０の色ずれ評価値Ｅ２とし、フレーム画像Ｒ１のエッジ画像及びフレーム画像Ｂ０’のエッジ画像間での差分の絶対値の総和を、フレーム画像Ｂ０’の色ずれ評価値Ｅ２’とする。同時化部３９は、色ずれ評価値Ｅ２と色ずれ評価値Ｅ２’と比較し、色ずれ評価値Ｅ２’が色ずれ評価値Ｅ２よりも小さい値の場合、フレーム画像Ｂ０’を選択して同時化を行い、色ずれ評価値Ｅ２’が色ずれ評価値Ｅ２よりも大きい値の場合、フレーム画像Ｂ０を選択して同時化を行う。このように、同時化部３９は、このような色ずれ評価を行って、補正前または補正後のフレーム画像を用いて同時化することで、色ずれの少ない同時化画像を出力するようにする。

ここで、画像処理回路２５による同時化処理の流れについて説明する。図４は、画像処理回路２５による同時化処理の流れの例を説明するためのフローチャートである。なお、図４におけるフローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。また、図４のフローチャートでは、最新のフレーム画像、１フレーム前のフレーム画像、２フレーム前のフレーム画像、及び、３フレーム前のフレーム画像を、それぞれ画像Image_3、画像Image_2、画像Image_1、及び、画像Image_0と呼んで説明する。

まず、撮像素子１２により画像Image_0、Image_1、Image_2及びImage_3が取得され、これらの画像Image_0、Image_1、Image_2及びImage_3がメモリ３２に格納される（ステップＳ１）。これらの画像Image_0、Image_1、Image_2及びImage_3は、振分部３０によりメモリ３２の領域３２ａ〜３２ｄのいずれかに振り分けられて格納される。このステップＳ１が第１フレーム取得ステップ及び第２フレーム取得ステップを構成する。

次に、最新フレームの画像Image_3がメモリ３２からリードされ（ステップＳ２）、３フレーム前の画像Image_0がメモリ３２からリードされる（ステップＳ３）。次に、２フレーム前の画像Image_1がメモリ３２からリードされ（ステップＳ４）、１フレーム前の画像Image_2がメモリ３２からリードされる（ステップＳ５）。

次に、移動ベクトル検出部３４により、画像Image_3と画像Image_0との間で移動ベクトルＶ１が検出される（ステップＳ６）。このステップＳ６が動き量検出ステップを構成する。次に、補正部３８により、移動ベクトルＶ１を２／３倍した移動ベクトルＶ３が画像Image_1に適用され、結果を画像Image_1’とする（ステップＳ７）。次に、補正部３７により、移動ベクトルＶ１を１／３倍した移動ベクトルＶ２が画像Image_2に適用され、結果を画像Image_2’とする（ステップＳ８）。

次に、同時化部３９により、画像Image_1と画像Image_1’に対し、色ずれ評価値Ｅ１、Ｅ１’が算出され（ステップＳ９）、画像Image_2と画像Image_2’に対し、色ずれ評価値Ｅ２、Ｅ２’が算出される（ステップＳ１０）。これらのステップＳ７及びＳ８と、ステップＳ９及びＳ１９の一方が第１の動き量推定ステップ及び第１の同時化位置補正ステップを構成し、他方が第２の動き量推定ステップ及び第２の同時化位置補正ステップを構成する。

次に、同時化部３９により、色ずれ評価値Ｅ１が色ずれ評価値Ｅ１’より高いか否かが判定される（ステップＳ１１）。同時化部３９により、色ずれ評価値Ｅ１が色ずれ評価値Ｅ１’よりも高いと判定された場合、同時化用のフレーム画像として、画像Image_1’が選択される（ステップＳ１２）。一方、同時化部３９により、色ずれ評価値Ｅ１が色ずれ評価値Ｅ１’以下と判定された場合、同時化用のフレーム画像として、画像Image_1が選択される（ステップＳ１３）。

次に、同時化部３９により、色ずれ評価値Ｅ２が色ずれ評価値Ｅ２’より高いか否かが判定される（ステップＳ１４）。同時化部３９により、色ずれ評価値Ｅ２が色ずれ評価値Ｅ２’より高いと判定された場合、同時化用のフレーム画像として、画像Image_2’が選択される（ステップＳ１５）。一方、同時化部３９により、色ずれ評価値Ｅ２が色ずれ評価値Ｅ２’以下と判定された場合、同時化用のフレーム画像として、画像Image_2が選択される（ステップＳ１６）。

最後に、同時化部３９により、同時化用のフレーム画像として、画像Image_3が選択され（ステップＳ１７）、ステップＳ１２またはＳ１３により選択された画像Image_1または画像Image_1’と、ステップＳ１５またはＳ１６により選択された画像Image_2または画像Image_2’と、ステップＳ１７により選択された画像Image_3とが同時化され（ステップＳ１８）、処理を終了する。

以上のように、画像処理装置を構成する内視鏡２及びプロセッサ３は、最新のフレーム画像と、最新のフレーム画像と同色の３フレーム前のフレーム画像との移動ベクトルＶ１を算出し、移動ベクトルを１／３倍した移動ベクトルＶ２で１フレーム前のフレーム画像を補正し、移動ベクトルを２／３倍した移動ベクトルＶ３で２フレーム前のフレーム画像を補正し、同時化するようにした。

これにより、プロセッサ３は、移動ベクトルＶ１を１／３倍及び２／３倍した移動ベクトルＶ２及びＶ３に基づいて、１フレーム前及び２フレー前のフレーム画像の同時化位置を補正することができる。この結果、プロセッサ３は、従来のように、各フレーム画像間でそれぞれ移動ベクトルを算出して各フレーム画像を補正する必要がなくなり、処理量を減らすことができる。

よって、本実施形態の画像処理装置によれば、処理の負荷を低減し、かつ、色ずれを低減することができる。

なお、本実施形態では、Ｒ、Ｇ、Ｂの３色のフレーム画像を同時化する画像処理装置について説明したが、同時化するフレーム画像は、３色に限定されることなく、２色あるいは４色以上であってもよい。

また、被写体をズームアウトした場合、移動ベクトル検出部３４で検出される移動ベクトルが全てフレーム画像の中心方向を向くことになる。このような移動ベクトルを用いてフレーム画像を補正すると、補正後のフレーム画像の周辺部の領域がブランクとなってしまうことになる。そこで、例えば、フレーム画像の周辺部の領域をマスク（すなわち、フレーム画像の有効画素領域を内側に設ける）するマスク手段を同時化部３９の出力段に設けるようにしてもよい。

本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

１…内視鏡システム、２…内視鏡、３…プロセッサ、４…モニタ、１０…挿入部、１１…対物レンズ、１２…撮像素子、１３…ライトガイド、１４…撮像装置、１５…光源部、１６…光源、１７…フィルタ、２１…タイミング信号発生回路、２２…撮像素子駆動回路、２３…プリプロセス回路、２４…Ａ／Ｄ変換器、２５…画像処理部、２６…Ｄ／Ａ変換器、３０…振分部、３１…レジスタ、３２…メモリ、３２ａ〜３２ｄ…領域、３３…選択部、３４…移動ベクトル検出部、３５，３６…演算部、３７，３８…補正部、３９…同時化部。

Claims (10)

1. 被写体をフレーム単位で撮像する撮像部と、前記被写体に向けて第１の照明光、及び、前記第１の照明光と波長の異なる第２の照明光を前記フレーム単位で時系列に順次出射する光源部と、を具備する画像処理装置であって、
   前記第１の照明光で照明された被写体を撮像した第１のフレーム画像を取得し、前記第１のフレーム画像を取得後に、前記第１の照明光で照明された被写体を撮像した第２のフレーム画像を取得する画像取得部と、
   前記第１のフレーム画像と前記第２のフレーム画像とに基づいて、前記第１のフレーム画像に対する前記第２のフレーム画像の動き量を検出する動き量検出部と、
   前記動き量検出部で検出した動き量に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との間に、前記第２の照明光で照明された被写体を撮像して得られる第３のフレーム画像の動き量を推定する第１の動き量推定部と、
   前記第１の動き量推定部で推定された前記第３のフレーム画像の動き量に基づいて、前記第３のフレーム画像を前記第２のフレーム画像に同時化する際の同時化位置を補正するための第１の補正量を算出し、前記第３のフレーム画像の同時化位置を補正する第１の同時化位置補正部と、
   を備えることを特徴とする画像処理装置。
2. 前記第１の補正量を用いて補正した前記第３のフレーム画像を前記第２のフレーム画像に同時化した第１の補正同時化画像と、前記第１の補正量を用いずに前記第３のフレーム画像を前記第２のフレーム画像に同時化した第１の補正無し同時化画像とを比較し、前記比較結果に基づいて、前記第１の補正同時化画像と前記第１の補正無し同時化画像とのいずれか一方を選択して出力する同時化部をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
3. 前記光源部は、前記第１の照明光、前記第２の照明光、及び、第３の照明光を、前記フレーム単位で順次出射するものであり、
   前記動き量検出部で検出された動き量に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との間に前記第３の照明光で照明された被写体を撮像して得られる第４のフレーム画像の動き量を推定する第２の動き量推定部と、
   前記第２の動き量推定部で推定された前記第４のフレーム画像の動き量に基づいて、前記第４のフレーム画像を前記第２のフレーム画像に同時化する際の同時化位置を補正するための第２の補正量を算出し、前記第４のフレーム画像の同時化位置を補正する第２の同時化位置補正部と、
   をさらに備えることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記同時化部は、前記第１及び前記第２の補正量を用いて補正した前記第３のフレーム画像及び前記第４のフレーム画像を前記第２のフレーム画像に同時化した第２の補正同時化画像と、前記第１及び前記第２の補正量を用いずに前記第３のフレーム画像及び前記第４のフレーム画像を前記第２のフレーム画像に同時化した第２の補正無し同時化画像とを比較し、前記比較結果に応じて、前記第２の補正同時化画像と前記第２の補正無し同時化画像とのいずれか一方を選択して出力することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記第３の照明光は、前記第１、前記第２の照明光のいずれとも波長の異なる光であることを特徴とする請求項４に記載の画像処理装置。
6. 被写体をフレーム単位で撮像する撮像部と、前記被写体に向けて第１の照明光、及び、前記第１の照明光と波長の異なる第２の照明光を前記フレーム単位で時系列に順次出射する光源部と、を具備する画像処理装置の作動方法であって、
   前記第１の照明光で照明された被写体を撮像して第１のフレーム画像を取得する第１フレーム取得ステップと、
   前記第１のフレーム取得ステップの後に、前記第１の照明光で照明された被写体を撮像して第２のフレーム画像を取得する第２フレーム取得ステップと、
   前記第１のフレーム画像と前記第２のフレーム画像とに基づいて、前記第１のフレーム画像に対する前記第２のフレーム画像の動き量を検出する動き量検出ステップと、
   前記動き量検出ステップで検出した動き量に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との間に、前記第２の照明光で照明された被写体を撮像して得られる第３のフレーム画像の動き量を推定する第１の動き量推定ステップと、
   前記第１の動き量推定ステップで推定された前記第３のフレーム画像の動き量に基づいて、前記第３のフレーム画像を前記第２のフレーム画像に同時化する際の同時化位置を補正するための第１の補正量を算出し、前記第３のフレーム画像の同時化位置を補正する第１の同時化位置補正ステップと、
   を備えることを特徴とする画像処理装置の作動方法。
7. 前記第１の補正量を用いて補正した前記第３のフレーム画像を前記第２のフレーム画像に同時化した第１の補正同時化画像と、前記第１の補正量を用いずに前記第３のフレーム画像を前記第２のフレーム画像に同時化した第１の補正無し同時化画像とを比較する第１の比較ステップと、
   前記第１の比較ステップでの比較結果に基づいて、前記第１の補正同時化画像と前記第１の補正無し同時化画像とのいずれか一方を選択して出力する第１の出力ステップと、
   をさらに備えたことを特徴とする請求項６に記載の画像処理装置の作動方法。
8. 前記光源部は、前記第１の照明光、前記第２の照明光、及び、第３の照明光を、前記フレーム単位で順次出射するものであり、
   前記動き量検出ステップで検出された動き量に基づいて、前記第１のフレーム画像と前記第２のフレーム画像との間に前記第３の照明光で照明された被写体を撮像して得られる第４のフレーム画像の動き量を推定する第２の動き量推定ステップと、
   前記第２の動き量推定ステップで推定された前記第４のフレーム画像の動き量に基づいて、前記第４のフレーム画像を前記第２のフレーム画像に同時化する際の同時化位置を補正するための第２の補正量を算出し、前記第４のフレーム画像の同時化位置を補正する第２の同時化位置補正部ステップと、
   をさらに備えることを特徴とする請求項６または７に記載の画像処理装置の作動方法。
9. 前記第１及び前記第２の補正量を用いて補正した前記第３のフレーム画像及び前記第４のフレーム画像を前記第２のフレーム画像に同時化した第２の補正同時化画像と、前記第１及び前記第２の補正量を用いずに前記第３のフレーム画像及び前記第４のフレーム画像を前記第２のフレーム画像に同時化した第２の補正無し同時化画像とを比較する第２の比較ステップと、
   前記第２の比較ステップでの比較結果に応じて、前記第２の補正同時化画像と前記第２の補正無し同時化画像とのいずれか一方を選択して出力する第２の出力ステップと、
   をさらに備えることを特徴とする請求項８に記載の画像処理装置の作動方法。
10. 前記第３の照明光は、前記第１、前記第２の照明光のいずれとも波長の異なる光であることを特徴とする請求項９に記載の画像処理装置の作動方法。

Images