JP2009081695A - 色変換定義作成方法、色変換定義作成装置、および内視鏡システム - Google Patents

Abstract

【課題】記憶容量の増加などを抑え、画像の色を精度良く補正することができる色変換定義作成装置、および内視鏡システムを提供する。
【解決手段】複数のパッチ色データを取得するパッチ色データ取得過程と、複数のパッチ色データと、複数の色パッチそれぞれに対する目標色を色空間上の座標で表現した複数の目標色データとの差分に基づいて、色空間の線形変換を表した補正マトリクスを生成するマトリクス生成過程と、複数のパッチ色データが補正マトリクスによって変換された複数の変換パッチ色データを複数の目標色データに変換するとともに、色空間上の各座標を表した各色データに対しては、複数の変換パッチ色データと複数の目標色データとの差分に基づいて線形的な補間で求められる補正量の色補正を行う色変換を定義した色変換定義を生成する色変換定義生成過程とを有する。
【選択図】 図５

Description

本発明は、画像の色を変換する色変換定義を作成する色変換定義作成方法、色変換定義作成装置、および内視鏡システムに関する。

従来から、医療の分野においては、先端に光学部材や撮像素子などが取り付けられた細長い管を被検体の体内に挿入し、被検者の体内を撮影して腫瘍や血栓などを観察する内視鏡装置が広く利用されている。被検者の体内を直接撮影することによって、被検者に外的なダメージを与えることなく、放射線画像では分かりにくい病巣の色や形状などを把握することができ、治療方針の決定などに必要な情報を手軽に得ることができる。

また、近年では、消化器官等の分光反射率に基づいた複数の狭（波長）帯域のバンドパスフィルタを備え、これら狭帯域バンドパスフィルタを通過してきた被写体光に基づいて分光画像を得る内視鏡装置が広く利用されてきている。この狭帯域バンドパスフィルタを使った内視鏡装置によると、胃、大腸などといった消化器の微細な構造を観察することができ、より正確な診断を行うことができる。

一方、狭帯域バンドパスフィルタを用いずに、撮像素子にＲ（赤）、Ｇ（緑）、Ｂ（青）各色の色フィルタを装着し、色フィルタを通過してきた被写体光に基づいて得られたカラー画像に所定の演算処理を施して、狭帯域バンドパスフィルタを介して得られる分光画像を擬似的に生成する内視鏡装置も利用されてきている。通常は、内視鏡装置におけるＲ，Ｇ，Ｂそれぞれのカラー感度値と、所定の狭帯域バンドパスにおける分光特性値との対応関係を示す分光マトリクスが予め用意されており、撮像素子で得られたカラー画像が分光マトリクスを使って分光画像に変換されることが一般的である。色フィルタを使った内視鏡装置では、観察対象である胃や腸の分光反射率に合わせて狭帯域バンドパスフィルタを交換する必要がないため、装置の大型化やコストの上昇を抑えることができるという利点がある。

ここで、内視鏡装置は、光を発する光源と、被検体の体内に挿入される光プローブと、被検体の体内が撮影されて得られた画像信号に画像処理を施す画像処理装置と、画像を表示する表示装置とで構成されていることが一般的である。この光プローブは、光源から発せられた光を導く導光線や、導光線によって導かれた光を被検体の体内に集光する光学部材や、光学部材によって照射された光が被検体で反射した反射光を受光して画像信号を生成する撮像素子などが内部に搭載されており、撮影時には、撮影箇所（例えば、胃と腸）の位置や形状等に合った光プローブに交換されることが一般的である。しかし、光プローブを交換すると分光感度特性が変わってしまうため、同じ被検体の同じ箇所を撮影しても、得られるカラー画像の色が微妙に異なってしまうことがある。上述したように、内視鏡装置では、カラー画像が分光画像に変換されて利用されることが多く、カラー画像の色が変わってしまうと目的の観察物に応じた波長帯域とは全く異なる波長帯域にピークが発生してしまい、正しい診断ができなくなってしまう恐れがある。このため、画像信号に色変換処理を施して、カラー画像の色を目標の色に近づける必要がある。カラー画像に色変換処理を施す方法としては、画像の色を色空間ごと線形変換するマトリクスを利用する方法や、画像の色と目標の色とを直接的に対応付けるルックアップテーブルを利用する方法などが知られている。マトリクスを利用した色変換処理では、画像の色が簡単な一次式を使って補正されるため、マトリクスを設計する手間や、色補正にかかる処理時間や、マトリクスを記憶しておくための記憶容量などが少なくてすむという利点があるが、色空間の非線形的な歪みを補正することができないため、画像の色を十分には補正することができない。一方、ルックアップテーブルを利用した色変換処理では、自由度の高い色変換が可能であるという利点がある。しかし、色変換処理の精度を向上させるために、ルックアップテーブル中で多くの色を目標の色と対応付けようとすると、ルックアップテーブルを記憶しておくための記憶容量が大幅に増加してしまったり、ルックアップテーブルの設計に手間がかかってしまうという問題があり、その逆に、ルックアップテーブル中で定義する色の数を抑えようとすると、その定義された色以外の色の補間処理によって色補正精度が劣化してしまうという問題がある。内視鏡装置においては、複数の光プローブそれぞれの分光感度特性に応じた複数のルックアップテーブルを用意しなければならないうえ、画像をリアルタイムに表示することが求められており、記憶容量の増加や設計の手間を抑えて、画像の色を精度良くかつ高速に補正することができる技術の開発が望まれている。

この点に関し、特許文献１には、画像の色の階調を補正するガンマ処理の前に輝度を調整するリニアマトリクスを使った色変換を実行し、ガンマ処理の後に色相や彩度を調整するための色差マトリクスを使った色変換を実行する例について記載されており、特許文献２には、複数の光源のうちの１つの光源が選択されて得られたカラー画像に対して、マトリクスとルックアップテーブルとの両方を使って色変換処理を実行する画像処理装置において、複数の光源それぞれの色温度に応じてマトリクスの係数を調整することによって、ルックアップテーブルを共通に、かつ簡素化する技術について記載されている。これら特許文献１および特許文献２に記載された技術によると、記憶容量の増加を抑えることができるとともに、色変換の精度を向上させることができる。
特開２００１−８６５１９号公報 特開２００４−４０５４４号公報

しかし、特許文献１に記載された技術では、色空間の線形変換が２度実行されるが、色空間の非線形的な歪みは補正することができず、内視鏡装置に適用するには色変換の精度が不十分である。また、特許文献２に示すように、複数の光源の色温度の違い程度であればマトリクスを使って補正することができるが、撮像素子、光学部材、光源、導光線それぞれの光学特性が複雑に絡んだ複数の光プローブの分光感度の違いはマトリクスだけでは吸収することができない。このため、特許文献２に記載された技術を内視鏡装置に適用すると、複数の光プローブにおける分光感度特性の違いが補正されないまま、共通のルックアップテーブルを使った色変換処理が実行されることとなり、画像の色を十分には補正することができないという問題がある。

本発明は、上記事情に鑑み、記憶容量の増加などを抑え、画像の色を精度良く補正することができる色変換定義作成装置、および内視鏡システムを提供することを目的とする。

上記目的を達成する本発明の色変換定義作成方法は、画像を読み取って画像を表わす画像データを生成する入力デバイスによって相互に色が異なる複数の色パッチそれぞれが読み取られて得られる、複数の色パッチそれぞれの色を所定の色空間上の座標で表現した複数のパッチ色データを取得するパッチ色データ取得過程と、
複数のパッチ色データと、複数の色パッチそれぞれに対する目標色を色空間上の座標で表現した複数の目標色データとの差分に基づいて、複数のパッチ色データを複数の目標色データに近似させる、色空間の線形変換を表した補正マトリクスを生成するマトリクス生成過程と、
複数のパッチ色データが補正マトリクスによって変換された複数の変換パッチ色データを複数の目標色データに変換するとともに、色空間上の各座標を表した各色データに対しては、複数の変換パッチ色データと複数の目標色データとの複数の差分のうち、座標に応じた一部の差分に基づいて線形的な補間で求められる補正量の色補正を行う色変換を定義した色変換定義を生成する色変換定義生成過程とを有することを特徴とする。

本発明の色変換定義作成方法によると、所定の色空間上の座標で色が表現された色データを色空間ごと線形変換する補正マトリクスと、予め用意されている複数の色パッチが読み取られて得られた複数のパッチ色データを複数の目標色データに変換するとともに、それらパッチ色データを除く色データについては、パッチ色データと目標色データとの差分に基づいて線形的な補間で求められる補正量の色補正を行う色変換定義とが生成される。ここで用いられる補間は線形的であるが、補間に用いられる差分は一部の差分であるので、線形性は局所的であり、全色空間では、全パッチの色を精度良く再現する非線形な色変換が実現する。補正マトリクスによって色空間の線形的な歪みが補正された後で、色変換定義によって局所的に線形的な色変換で画像の色が個々に補正されることにより、色変換定義を保存しておくための記憶容量の増加を抑えることができるとともに、高精度な色補正処理を実現することができる。

また、本発明の色変換定義作成方法において、上記色変換定義生成過程は、色空間上の座標で色が表現された色データを、座標軸と、座標軸周りの角度と、座標軸からの距離とで明度、色相、彩度を表した円筒座標色空間上の座標で色が表現された色データに変換し、円筒座標色空間上で補間を行うものであることが好ましい。

また、本発明の色変換定義作成方法において、上記円筒座標色空間は、明度および彩度が色の輝度にリニアな色空間であることが好ましい。

明度および彩度が色の輝度にリニアな円筒座標色空間が用いられることによって、線形的な補間処理を容易に実行することができる。

また、本発明の色変換定義作成方法において、上記色変換定義生成過程は、
補間対象の色データについては、複数の変換パッチ色データのうち、その補間対象の色データの色相を挟む２つの変換パッチ色データを選択する選択過程と、
選択過程で選択された２つの変換パッチ色データを、２つの変換パッチ色データと補間対象の色データとの間の色相比で明度、彩度のそれぞれについて線形補間することにより基準データを生成する基準生成過程と、
選択過程で選択された２つの変換パッチ色データと補間対象の色データとの間の色相比で２つの変換パッチ色データとそれら２つの変換パッチ色データに対応した２つの目標色データとの各差分を線形補間することにより、基準データに対する補正量を表した基準補正データを生成する基準補正過程と、
彩度が０のときに彩度補正量が０で、かつ彩度が前記基準データの彩度と同じであるときに彩度補正量が基準補正データが表わす彩度補正量に等しくなる１次関数に前記補間対象の色データの彩度を適用して彩度補正量を算出する彩度量算出過程と、
彩度が０のときに明度補正量が０で、かつ彩度が前記基準データの彩度と同じであるときに明度補正量が基準補正データが表わす明度補正量に等しくなる１次関数に補間対象の色データの彩度を適用して明度補正量を算出する明度量算出過程とを有するものであることが好ましい。

彩度に関する一次関数に従って彩度補正量や明度補正量が算出されることにより、補間処理にかかる負荷や処理速度の増加を抑え、十分に高い精度で色変換処理を実行することができる。

また、本発明の色変換定義作成方法において、上記色変換定義は、色変換の前の色データと色変換の後の色データとが対応付けられたルックアップテーブルであることが好ましい。

ここで、本発明にいう色変換定義には、ルックアップテーブル以外の関数などであってもよい。ルックアップテーブルは、単純な形式であるが高い自由度を有するため、本発明に好ましく適用することができる。

また、本発明の色変換定義作成方法において、
上記補正マトリクスおよび上記色変換定義生成が、補正マトリクスを使った色補正と色変換定義に従った色変換との間に他の色処理が施される一連の色変換処理に用いられるものであり、
上記色変換定義生成過程は、
前記色空間の格子点を表わす格子点データに、前記色処理の逆変換処理を施す逆変換過程と、
逆変換処理が施された格子点データに対する補正量を線形的な補間で算出し、格子点データに補正量の色補正を施して補正格子点データを生成する色補正過程と、
補正格子点データに、色変換との間の色処理を施す順変換過程と、
順変換過程で色処理が施された補正格子点データを色変換処理前の格子点データと対応付ける対応過程とを有することが好ましい。

この好ましい色変換定義作成方法によると、色空間の格子点を表わす色データと、その色データにおける目標色データである補正格子点データとが対応付けられた色変換定義を生成することができ、それらを使った色補間処理の精度を向上させることができる。

また、上記目的を達成する本発明の色変換定義作成装置は、画像を読み取って該画像を表わす画像データを生成する入力デバイスによって相互に色が異なる複数の色パッチそれぞれが読み取られて得られる、複数の色パッチそれぞれの色を所定の色空間上の座標で表現した複数のパッチ色データを取得するパッチ色データ取得部と、
複数のパッチ色データと、複数の色パッチそれぞれに対する目標色を色空間上の座標で表現した複数の目標色データとの差分に基づいて、複数のパッチ色データを複数の目標色データに近似させる、色空間の線形変換を表した補正マトリクスを生成するマトリクス生成部と、
複数のパッチ色データが補正マトリクスによって変換された複数の変換パッチ色データを複数の目標色データに変換するとともに、色空間上の各座標を表した各色データに対しては、複数の変換パッチ色データと複数の目標色データとの複数の差分のうち、座標に応じた一部の差分に基づいて線形的な補間で求められる補正量の色補正を行う色変換を定義した色変換定義を生成する色変換定義生成部とを備えたことを特徴とする。

本発明の色変換定義作成装置によると、記憶容量の増加などを抑え、画像の色を精度良く補正することができる色変換定義を生成することができる。

尚、色変換定義作成装置については、ここではそれらの基本形態のみを示すのにとどめるが、これは単に重複を避けるためであり、本発明にいう色変換定義作成装置には、上記の基本形態のみではなく、前述した色変換定義作成方法の各形態に対応する各種の形態が含まれる。

また、上記目的を達成する本発明の内視鏡システムは、光を発する光源と、入力デバイスとを備えた光プローブと、
上記色変換定義作成装置と、
色変換定義作成装置で生成された補正マトリクスおよび色変換定義を使って、入力デバイスで得られた画像データに色変換処理を施す色変換装置と、
色変換装置で色変換処理が施された画像データが表わす画像を表示する表示装置とを備えたことを特徴とする。

本発明の内視鏡システムによると、光プローブが交換された場合であっても、画像の色を精度良く補正することができ、表示装置上に高画質な医用画像を表示することができる。

本発明によれば、光プローブが交換される内視鏡装置においても、画像の色を精度良く調整することができる。

以下、図面を参照して本発明の実施の形態を説明する。

図１は、本発明の一実施形態が適用された内視鏡システムの概略構成図である。

図１に示す内視鏡システム１は、被検体Ｐの体内に光を導いて照射し、その反射光に基づいて画像信号を生成する光プローブ１０と、光を発する光源装置２０と、光プローブ１０で得られた画像信号に所定の画像処理を施して、被検体Ｐの体内を撮影した医用画像を生成する画像処理装置３０と、画像処理装置３０で生成された医用画像を表示モニタ４１上に表示する表示装置４０とを備えている。この内視鏡システム１は、光プローブ１０が光源２０および画像処理装置３０に対して着脱自在に装着される。光プローブ１０は、本発明にいう光プローブの一例にあたり、表示装置４０は、本発明にいう表示装置の一例に相当する。また、光源装置２０は、本発明にいう光源の一例に相当する。

光プローブ１０は、可撓性を有する細長のプローブ部１１と、プローブ部１１を操作する操作部１２と、光源装置２０および画像処理装置３０と光プローブ１０とを接続する光／信号ガイド１３で構成されている。以下では、光プローブ１０の、被検体Ｐの体内に挿入される側を先端、その先端の逆側を後端と称して説明する。

操作部１２には、プローブ部１１を湾曲させるための湾曲操作レバー１２１、静止画を撮影するための撮影ボタン１２２、および表示されている画像の色味を調整するための色調整ボタン１２３などが設けられている。

光／信号ガイド１３は、光を伝達するライトガイド１３１と、信号を伝達する信号線１３２とで構成されている。ライトガイド１３１は、後端が光源装置２０に接続され、光源装置２０から発せられた光をプローブ部１１内にまで導き、その光をプローブ部１１の先端に設けられた照射窓１１ａから被検体Ｐに向けて照射する。信号線１３２は、先端にＣＣＤ１３３が取り付けられており、後端側が画像処理装置３０に接続される。ライトガイド１３１の照射窓１１ａから照射された光が被検体Ｐの体内で反射した反射光は、プローブ部１１の先端に設けられた光学部材１３４によって集光され、ＣＣＤ１３３で受光されて、反射光を表わす画像データが生成される。ＣＣＤ１３３は、複数の受光センサが並べて配置されたものであり、それら複数の受光センサそれぞれで光が受光されることにより、画像が複数の画素で表現された画像データが生成される。本実施形態においては、ＣＣＤ１３３を構成する複数の受光センサそれぞれに対応する位置に、Ｒ，Ｇ，Ｂ各色が規則的な色パターンで配置された色フィルタ（図２参照）が取り付けられており、色フィルタを通過してきた光がＣＣＤ１３３で受光されることによって、色フィルタの色パターンと同じ色パターンでＲ，Ｇ，Ｂ各色の画素が並んだ色モザイク画像を表わす画像データが生成される。ＣＣＤ１３３は、本発明にいう入力デバイスの一例に相当する。

生成された画像データは、信号線１３２を通って画像処理装置３０に伝達され、画像処理装置３０において所定の画像処理が施された後で表示装置４０に伝えられる。

図２は、内視鏡システム１の概略的な機能ブロック図である。

尚、図２では、表示モニタ４１や、光プローブ１０の操作部１２などの図示を省き、画像信号の生成に関連する主要要素のみを示している。

図１にも示す光源装置２０は、白色光を発するものであり、画像処理装置３０の全体制御部３６０によって制御されている。

光プローブ１０には、図１にも示すＣＣＤ１３３に加えて、Ｒ，Ｇ，Ｂ各色が規則的な色パターンでモザイク状に配置された色フィルタ１４０、ＣＣＤ１３３で生成された画像信号をデジタルの画像データに変換するＡ／Ｄ変換部１５０、光プローブ１０内の各種要素における処理を制御する撮像制御部１６０などが備えられている。尚、本実施形態では、光プローブ１０において、Ｒ，Ｇ，Ｂ３色で画像の色が表現されるとともに、Ｒ，Ｇ，Ｂ各色の成分が輝度リニアなＲＧＢ色空間の画像データが生成されるものとして説明する。

画像処理装置３０には、信号線１３２を通って光プローブ１０から送られてきる画像データの黒点を補正する暗補正部３１０と、画像データのホワイトバランスを補正するＡＷＢ補正部３２０と、画像データにリニアマトリクス３３１を使った画像補正処理を施すことによって、ＣＣＤ１３３を含む光プローブ１０の分光特性におけるリニアな成分を補正するマトリクス補正部３３０と、リニアマトリクス３３１を生成するマトリクス生成部３４０と、画像データに階調補正処理を施すガンマ補正部３５０と、画像データに３次元ルックアップテーブル（３Ｄ−ＬＵＴ）３７１を使った色補正処理を施すことによって、画像の色を調整する３Ｄ−ＬＵＴ補正部３７０と、３Ｄ−ＬＵＴ３７１を生成する３Ｄ−ＬＵＴ生成部３８０と、画像データに、モザイク画像に基づいて各画素がＲ，Ｇ，Ｂ３色の混色で表現されたカラー画像を生成する同時化処理や、色のメリハリを調整するシャープネス処理や、偽色などといった画像中のノイズを低減するノイズ低減処理や、画像中の血管を抽出する抽出処理などを施すとともに、表示用ＬＵＴ３９１を使って画像データを表示モニタ４１用の表示画像データに変換する画像処理部３９０と、光プローブ１０および画像処理装置３０全体の処理を制御する全体制御部３６０などが備えられている。

図３は、光プローブ１０が画像処理装置３０および光源装置２０に装着されて被検体Ｐが撮影され、その撮影された医用画像が表示モニタ４１上に表示されるまでの一連の処理の流れを示すフローチャート図である。

画像処理装置３０および光源装置２０に光プローブ１０が装着されると（図３のステップＳ１）、実際に被検体Ｐの撮影が行われる前に、その光プローブ１０の分光感度特性に応じたリニアマトリクス３３１および３Ｄ−ＬＵＴ３７１が生成される。まずは、光プローブ１０で、後述するチャート画像が読み取られ（図３のステップＳ２）、その読取結果に基づいて、光プローブ１０の分光特性を補正するリニアマトリクス３３１が生成される（図３のステップＳ３）。

光源などの影響が排除され、被検体Ｐの分光反射率にのみ依存した状態で撮影された理想的なＲＧＢデータＣ（Ｒ，Ｇ，Ｂ）と、そのＲＧＢデータから抽出される分光データの波長帯域Ｆ（λ１，λ２，λ３）との関係は、以下のように示される。

また、保存部３００には、被検体Ｐの撮影箇所それぞれについて、その撮影箇所の分光反射率に基づいた３つの波長帯域Ｆ（λ１，λ２，λ３）と、式（１）に示す基本分光マトリクスＡを構成する分光用パラメータとが対応付けて保存されている。

例えば、内視鏡装置１で胃の中を撮影するときには、胃における分光反射率に基づいた３つの波長帯域λ１，λ２，λ３が取得され、さらに、それら３つの波長帯域λ１，λ２，λ３と対応付けられた分光用パラメータａ１，ａ２，…，ａ９に基づいて、式（１）に示す基本分光マトリクスＡが生成される。

続いて、内視鏡装置１を使って、予めＲ，Ｇ，Ｂそれぞれの目標色データＴ（ｒ，ｇ，ｂ）が分かっている複数の色パッチが配置されたチャート画像が撮影され、光プローブ１０で生成された各パッチ色データＤ（ｄｒ，ｄｇ，ｄｂ）が画像処理装置２０の暗補正部３１０およびＡＷＢ補正部３２０を介してマトリクス生成部３３０に伝えられる。パッチ色データＤ（ｄｒ，ｄｇ，ｄｂ）が取得される。パッチ色データＤが取得されるステップＳ２の処理は、本発明にいうパッチ色データ取得過程の一例にあたる。

図４は、チャート画像の一例を示す図である。

図４に示すチャート画像５００は、黒い背景上に、Ｃ（シアン），Ｍ（マゼンタ），Ｙ（イエロー），Ｒ（赤），Ｇ（緑），Ｂ（青），白，肌色それぞれの色パッチ５０１が配置されている。複数の色パッチ５０１は、本発明にいう複数の色パッチの一例に相当する。図２の保存部３００には、複数の色パッチ５０１それぞれが撮影されて得られる各パッチ色データに対する各目標色データが用意されている。この目標色データＴは、光源などの影響が排除され、各色パッチ５０１の分光反射特性にのみ依存した状態で得られた理想的な色データである。目標色データＴ（ｒ，ｇ，ｂ）およびパッチ色データＤ（ｄｒ，ｄｇ，ｄｂ）は、基本分光マトリクスＡによって以下に示す目標分光データＦｔ，パッチ分光データＦｄに変換される。

ここで、各パッチ色データＤ（ｄｒ，ｄｇ，ｄｂ）には、図２に示す光源装置２０の分光感度特性Ｓ（λ）や、ＣＣＤ１３３の分光感度特性Ｒ（λ），Ｇ（λ），Ｂ（λ）などの影響によって、それぞれの目標色データＴ（ｒ，ｇ，ｂ）とは一致していないことが一般的である。光プローブ１０で生成されたパッチ色データＤ（ｄｒ，ｄｇ，ｄｂ）と目標色データＴ（ｒ，ｇ，ｂ）との関係は、光源装置２０の分光感度特性Ｓ（λ）や、ＣＣＤ１３３の分光感度特性Ｒ（λ），Ｇ（λ），Ｂ（λ）などによって決定される補正係数Ｋ（ｋｒ，ｋｇ，ｋｂ）を使って、

と表わすことができる。

図４に示す複数の色パッチ５０１それぞれに対して、パッチ色データＤ（ｄｒ，ｄｇ，ｄｂ）と目標色データＴ（ｒ，ｇ，ｂ）とを使って補正係数Ｋ（ｋｒ，ｋｇ，ｋｂ）が求められ、それら複数の補正係数Ｋ（ｋｒ，ｋｇ，ｋｂ）の平均値が光プローブ１０の補正係数Ｋ（Ｋｒ、Ｋｇ，Ｋｂ）と決定される。この補正係数Ｋ（Ｋｒ、Ｋｇ，Ｋｂ）を表わす感度補正マトリクスＫは、式（６）のようになる。

式（５）を式（３）に代入すると、パッチ色データＤが分光データに変換され、さらに色補正が施された補正後のパッチ分光データＦｔ´は、

となり、式（１）および式（６）を式（７）に代入すると、補正後のパッチ分光データＦｔ´（λ１´，λ２´，λ３´）に関して以下の式（８）が生成される。

図２のマトリクス生成部３４０は、感度補正マトリクスＫと基本分光マトリクスＡとを合成してリニアマトリクス３３１を生成する。リニアマトリクス３３１は、本発明にいう補正マトリクスの一例にあたり、リニアマトリクス３３１を生成するステップＳ３の処理は、本発明にいうマトリクス生成過程の一例に相当する。

このリニアマトリクス３３１は、ＲＧＢ色空間の色データを分光データに変換するとともに、輝度リニアなＲＧＢ色空間の線形変換を行うものである。また、本来は、式（３）で得られる目標分光データＦｔ（λ１，λ２，λ３）と、式（７）で得られる補正後のパッチ分光データＦｔ´（λ１´，λ２´，λ３´）とが一致することが理想であるが、リニアマトリクス３３１では非線形な色空間の歪みを補正することはできないため、これらは一致していない。

生成されたリニアマトリクス３３１は、マトリクス補正部３３０に伝えられる。マトリクス補正部３３０は、式（３）に示す目標分光データＦｔ（λ１，λ２，λ３）を構成する３つの波長成分λ１，λ２，λ３を順にＲ，Ｇ，Ｂ各色チャンネルに割り当てるとともに、式（７）で得られる補正後のパッチ分光データＦｔ´（λ１´，λ２´，λ３´）を構成する３つの波長成分λ１´，λ２´，λ３´も順にＲ，Ｇ，Ｂ各色チャンネルに割り当てる。

以下では、目標分光データＦｔがＲ，Ｇ，Ｂ各色チャンネルに割り当てられた、式（９）に示す目標色データＴｆを各色パッチ５０１における目標色データ、補正後のパッチ分光データＦｔ´がＲ，Ｇ，Ｂ各色チャンネルに割り当てられた、式（１０）に示す補正後のパッチ色データＤａｆを各色パッチ５０１におけるパッチ色データとして説明する。

以上のようにしてリニアマトリクス３３１が生成されると、３Ｄ−ＬＵＴ生成部３８０において３Ｄ−ＬＵＴ３７１が生成される（図３のステップＳ４）。

図５は、３Ｄ−ＬＵＴ３７１を生成する一連の処理の流れを示すフローチャート図である。

ここで、図３のフローチャート図の説明を中断し、図５に示すフローチャート図に従って３Ｄ−ＬＵＴ３７１を生成する一連の処理について説明する。

３Ｄ−ＬＵＴ３７１では、まず、リニアマトリクス３３１を使って色補正処理が施された複数のパッチ色データＤａｆと複数の目標色データＴｆが、座標軸が輝度リニアな明度（Ｙ）を表し、座標軸周りの角度が色相（Ｈ）を表し、座標軸からの距離が彩度（Ｃ）を表したＹＨＣ色空間上のデータに変換される（図５のステップＳ１１）。ＹＨＣ色空間は、本発明にいう円筒座標色空間の一例に相当する。

続いて、３Ｄ−ＬＵＴ３７１における入力値となるＲＧＢ色空間上の格子点を表わす格子点データＮ（Ｒｎ，Ｂｎ，Ｇｎ）が取得され（図５のステップＳ１２）、それら格子点データＮ（Ｒｎ，Ｂｎ，Ｇｎ）に対して、図２に示すマトリクス補正部３３０の後段から３Ｄ−ＬＵＴ補正部３７０の前段までの間の色処理の逆変換処理が施される（図５のステップＳ１３）。この例では、マトリクス補正部３３０と３Ｄ−ＬＵＴ補正部３７０との間にはガンマ補正部３５０が存在するため、格子点データＮ（Ｒｎ，Ｂｎ，Ｇｎ）にガンマ補正部３５０におけるガンマ補正の逆変換処理が施される。格子点データＮ（Ｒｎ，Ｂｎ，Ｇｎ）に色処理の逆変換処理を施すステップＳ１３の処理は、本発明にいう逆変換過程の一例に相当する。

続いて、逆変換処理が施された格子点データＮ（Ｒｎ＿ｒ，Ｂｎ＿ｒ，Ｇｎ＿ｒ）がＹＨＣ色空間上の格子点データＮ（Ｙｎ，Ｈｎ，Ｃｎ）に変換される（図５のステップＳ１４）。

次に、ステップＳ１１で変換されたＹＨＣ色空間上の複数のパッチ色データＤａｆのうち、ステップＳ１４で変換されたＹＨＣ色空間上の格子点データＮ（Ｙｎ，Ｈｎ，Ｃｎ）の色相「Ｈｎ」を挟む２つのパッチ色データＤａｄが探索される（図５のステップＳ１５）。格子点データＮの色相を挟む２つのパッチ色データＤａｄを探索するステップＳ１５の処理は、本発明にいう選択過程の一例に相当する。

図６は、ＹＨＣ色空間上のパッチ色データＤａｆ、目標色データＴｆ、および格子点データＮを示す図である。

図６では、図面の前後方向に延びる輝度軸によって明度を表わし、輝度軸周りの角度で色相を表わし、輝度軸からの距離で彩度を表したＹＨＣ色空間が示されている。また、パッチ色データＤａｆが黒丸で示され、目標色データＴｆが白抜き丸で示され、格子点データＮが星印で示されている。

図６には、複数の格子点データＮのうちの１つの格子点データＮが代表して示されている。この格子点データＮは、Ｙ（イエロー）色の色パッチ５０１が読み取られたパッチ色データＤａｆ＿ｙと、Ｒ（レッド）色の色パッチ５０１が読み取られたパッチ色データＤａｆ＿ｒによって色相方向に挟まれており、これら２つのパッチ色データＤａｆ＿ｙ，Ｄａｄ＿ｒが探索される。

続いて、探索された２つのパッチ色データＤａｆとそれらの目標色データＴｆを用いて、格子点データＮに対する補間処理が行われる（図５のステップＳ１６）。本実施形態においては、格子点データＮと２つのパッチ色データＤａｆそれぞれとの色相差の比で、それらパッチ色データＤａｆの明度および彩度が補間された補間データＮ＿Ｈと、格子点データＮと２つのパッチ色データＤａｆそれぞれとの色相差の比で、各パッチ色データＤａｆと目標色データＴｆの明度、彩度、色相それぞれの差分が補間された差分補間データＮ＿ａｌｌとが生成される。補間データＮ＿Ｈは、本発明にいう基準データの一例にあたり、差分補間データＮ＿ａｌｌは、本発明にいう基準補正データの一例に相当する。また、補間データＮ＿Ｈを生成する処理は、本発明にいう基準生成過程の一例にあたり、差分補間データＮ＿ａｌｌを生成する処理は、本発明にいう基準補正過程の一例に相当する。図６の例では、格子点データＮと２つのパッチ色データＤａｄ＿ｙ，Ｄａｄ＿ｒそれぞれとの色相差がθ１，θ２であり、パッチ色データＤａｄ＿ｙ，Ｄａｄ＿ｒの明度および彩度それぞれが以下に示す式（１１）に代入されて得られた明度および彩度と、格子点データＮの色相「Ｈｎ」を有する補間データＮ＿Ｈと、２つのパッチ色データＤａｄ＿ｙ，Ｄａｄ＿ｒとそれらの目標色データＴｆ＿ｙ，Ｔｆ＿ｒの明度、彩度、色相それぞれの差分が式（１１）に代入されて得られた差分補間データＮ＿ａｌｌが生成される。

さらに、差分補間データＮ＿ａｌｌと補間データＮ＿Ｈとに基づいて、格子点データＮの色を補正するための一次関数が生成される（図５のステップＳ１７）。

図７は、生成された一次関数の一例を示す図である。

この図７には、彩度が「０」のときに補正量が「０」で、彩度が補間データＮ＿Ｈの彩度値のときに、補正量が差分補間データＮ＿ａｌｌの彩度差分値となる１次関数ｑ＿１と、彩度が「０」のときに補正量が「０」で、彩度が補間データＮ＿Ｈの彩度値のときに、補正量が差分補間データＮ＿ａｌｌの明度差分値となる一次関数ｑ＿２とが示されている。

１次関数が生成されると、格子点データＮが一次関数ｑ＿１，ｑ＿２を使って色補正される（図５のステップＳ１８）。まず、図７に示すように、格子点データＮの彩度値が取得され、上の一次関数ｑ＿１に取得された彩度値が代入されることによって彩度補正量が算出され、下の一次関数ｑ＿２に取得された彩度値が代入されることによって明度補正量が算出される。彩度補正量が算出される処理は、本発明にいう彩度量算出過程の一例にあたり、明度補正量を算出する処理は、本発明にいう明度量算出過程の一例に相当する。また、色相補正量として、差分補間データＮ＿ａｌｌの補正色相量が取得される。続いて、格子点データＮの彩度、明度、色相に、算出された彩度補正量、明度補正量、色相補正量が加算され、補正格子点データＮが生成される。補正格子点データＮが生成される過程は、本発明にいう色補正過程の一例に相当する。

補正格子点データＮが生成されると、その補正格子点データＮがＲＧＢ色空間の補正格子点データＮに変換される（図５のステップＳ１９）。さらに、補正格子点データＮに、図２に示すマトリクス補正部３３０の後段から３Ｄ−ＬＵＴ補正部３７０の前段までの間の処理が順次に施される（図５のステップＳ２０）。本実施形態においては、マトリクス補正部３３０と３Ｄ−ＬＵＴ補正部３７０との間にはガンマ補正部３５０が存在するため、補正格子点データＮにはガンマ補正部３５０におけるガンマ補正処理が施される。補正格子点データＮに順変換処理が施されるステップＳ２０の処理は、本発明にいう順変換処理の一例に相当する。

さらに、パッチ色データＤａｆと目標色データＴｆとが対応付けられるとともに、図５のステップＳ１２において取得された格子点データＮと、ステップＳ２０においてガンマ補正処理が施された補正格子点データＮとが対応付けられて３Ｄ−ＬＵＴ３７１が生成される（図５のステップＳ２１）。格子点データＮと補正格子点データＮとが対応付けられるステップＳ２１の処理は、本発明にいう対応過程の一例に相当する。この格子点データＮを取得して、補正格子点データＮと対応付けられるまでの一連の処理は、全ての格子点に対して実行される（図５のステップＳ２２：Ｙｅｓ）。

以上のような処理によって、パッチ色データＤａｆは目標色データＴｆに色補正されるとともに、格子点データが、パッチ色データＤａｆと目標色データＴｆとの差分に基づいて１次関数ｑ＿１，ｑ＿２に従って色補正される３Ｄ−ＬＵＴ３７１が生成される。３Ｄ−ＬＵＴ３７１は、本発明にいう色変換定義の一例にあたり、図５に示す３Ｄ−ＬＵＴ３７１を生成する一連の処理は、本発明にいう色変換定義生成過程の一例に相当する。生成された３Ｄ−ＬＵＴ３７１は、図２の３Ｄ−ＬＵＴ補正部３７０に伝えられる。

図５のフローチャート図の説明を終了し、図３のフローチャート図に戻って説明する。

光プローブ１０が装着されて３Ｄ−ＬＵＴ３７１が生成されると（図５のステップＳ４）、被検体Ｐの撮影が開始される（図５のステップＳ５）。

光源２０から発せられた光は、ライトガイド１３１の先端から照射され、その反射光がＣＣＤ１３３で受光されて画像データが生成される。画像データは信号線１３２を通って画像処理装置３０に伝達され、暗補正部３１０において黒点補正処理が施された後、ＡＷＢ補正部３２０においてホワイトバランス補正処理が施されて、マトリクス補正部３３０に伝達される。

マトリクス補正部３３０では、リニアマトリクス３３１を使って、画像データが分光データに変換されるとともに、画像データに対して色空間の線形変換が施される。マトリクス補正部において色補正処理が施された画像データは、ガンマ補正部３５０において階調補正処理が施され、３Ｄ−ＬＵＴ補正部３７０に伝達される。

３Ｄ−ＬＵＴ補正部３７０では、３Ｄ−ＬＵＴ３７１を使って色補正処理が施される（図３のステップＳ６）。本実施形態においては、マトリクス補正部３３０において画像データの色空間が線形変換された後で、３Ｄ−ＬＵＴ補正部３７０において局所的に線形的な色変換で画像の色が個々に補正されるため、３Ｄ−ＬＵＴ３７１のサイズを抑えることができるとともに、高速で高精度な色補正処理を実行することができる。

３Ｄ−ＬＵＴ補正部３７０において色補正処理が施された画像データは、画像処理部３９０において、予め用意されている表示用ＬＵＴ３９１を使って、同時化処理、ノイズ低減処理、血管抽出処理などが施され、表示装置４０に送られて、表示モニタ４１上に画像データに基づいた医用画像が表示される。

以上のような処理が、撮影が終了するまで続けられる。

このように、本実施形態の内視鏡システム１によると、光プローブ１０が交換されても画像データが表わす画像の色を精度良く補正することができ、画像中の異常陰影を精度良く映し出すことができる。

以上で、本発明の第１実施形態の説明を終了し、本発明の第２実施形態について説明する。本発明の第２実施形態は、図２に示す第１実施形態の内視鏡システム１とほぼ同様の構成を有している。このため、第１実施形態と同じ要素には同じ符号を付して説明を省略し、第１実施形態との相違点についてのみ説明する。

図８は、本実施形態における内視鏡システム１´の概略的な機能ブロック図である。

本実施形態の内視鏡システム１´は、図２に示す第１実施形態の内視鏡システム１とほぼ同様な構成を有してるが、本実施形態の内視鏡システム１´は、３Ｄ−ＬＵＴ３７１と表示用ＬＵＴ３９１とが合成される点が第１実施形態とは異なる。

本実施形態の内視鏡システム１´においては、３Ｄ−ＬＵＴ３８０において図２に示す３Ｄ−ＬＵＴ３７１が生成されると、その３Ｄ−ＬＵＴ３７１が表示用ＬＵＴ３９１と合成される。合成された合成ＬＵＴ３７２は、３Ｄ−ＬＵＴ補正部３７０´に伝えられる。

３Ｄ−ＬＵＴ補正部３７０´では、光プローブ１０で得られた画像データに合成ＬＵＴ３７２を使った色処理が施されることによって、画像の色を補正する色補正処理と、図２の画像処理部３９０で行われていた表示モニタ４１用の画像データに変換する処理とが同時に実行されることとなる。

このように、３Ｄ−ＬＵＴの後段にも表示用ＬＵＴ等が存在する場合には、それらを合成した合成ＬＵＴを生成しておくことによって、ルックアップテーブルを保存する記憶容量を抑えることができるとともに、処理を高速化することができる。

ここで、上記では、光プローブが装着されるたびにリニアマトリクス３３１と３Ｄ−ＬＵＴを生成する例について説明したが、例えば、光プローブを識別する識別番号とリニアマトリクス３３１および３Ｄ−ＬＵＴとを対応付けて保存しておき、光プローブの装着によって識別番号を検出し、その識別番号と対応付けられたリニアマトリクス３３１および３Ｄ−ＬＵＴを利用するものであってもよい。

本発明の第１実施形態における内視鏡システムの概略構成図である 内視鏡システムの概略的な機能ブロック図である。 光プローブが画像処理装置および光源装置に装着されて被検体Ｐが撮影され、その撮影された医用画像が表示画面上に表示されるまでの一連の処理の流れを示すフローチャート図である。 チャート画像の一例を示す図である。 ３Ｄ−ＬＵＴを生成する一連の処理の流れを示すフローチャート図である。 ＹＨＣ色空間上のパッチ色データＤａｆ、目標色データＴｆ、および格子点データＮを示す図である。 生成された一次関数の一例を示す図である。 第２実施形態における内視鏡システムの概略的な機能ブロック図である。

符号の説明

１，１´ 内視鏡システム
１０ 光プローブ
２０ 光源装置
３０ 画像処理装置
４０ 表示装置
１１ プローブ部
１２ 操作部
１３ 光／信号ガイド
１２１ 湾曲操作レバー
１２２ 撮影ボタン
１２３ 選択ボタン
１３１ ライトガイド
１３２ 信号線
１３３ ＣＣＤ
１４０ 色フィルタ
１５０ Ａ／Ｄ変換部
１６０ 撮像制御部
３００ 保存部
３１０ 暗補正部
３２０ ＡＷＢ補正部
３３０ マトリクス補正部
３３１ リニアマトリクス
３４０ マトリクス生成部
３５０ ガンマ補正部
３６０ 全体制御部
３７０ ３Ｄ−ＬＵＴ補正部
３７１ ３Ｄ−ＬＵＴ
３８０ ３Ｄ−ＬＵＴ生成部
３９０ 画像処理部
３９１ 処理用ＬＵＴ

Claims (8)

1. 画像を読み取って該画像を表わす画像データを生成する入力デバイスによって相互に色が異なる複数の色パッチそれぞれが読み取られて得られる、該複数の色パッチそれぞれの色を所定の色空間上の座標で表現した複数のパッチ色データを取得するパッチ色データ取得過程と、
   前記複数のパッチ色データと、前記複数の色パッチそれぞれに対する目標色を前記色空間上の座標で表現した複数の目標色データとの差分に基づいて、該複数のパッチ色データを該複数の目標色データに近似させる、前記色空間の線形変換を表した補正マトリクスを生成するマトリクス生成過程と、
   前記複数のパッチ色データが前記補正マトリクスによって変換された複数の変換パッチ色データを前記複数の目標色データに変換するとともに、前記色空間上の各座標を表した各色データに対しては、該複数の変換パッチ色データと該複数の目標色データとの複数の差分のうち、該座標に応じた一部の差分に基づいて線形的な補間で求められる補正量の色補正を行う色変換を定義した色変換定義を生成する色変換定義生成過程とを有することを特徴とする色変換定義作成方法。
2. 前記色変換定義生成過程は、前記色空間上の座標で色が表現された色データを、座標軸と、該座標軸周りの角度と、該座標軸からの距離とで明度、色相、彩度を表した円筒座標色空間上の座標で色が表現された色データに変換し、該円筒座標色空間上で前記補間を行うものであることを特徴とする請求項１記載の色変換定義作成方法。
3. 前記円筒座標色空間は、明度および彩度が色の輝度にリニアな色空間であることを特徴とする請求項１又は２記載の色変換定義作成方法。
4. 前記色変換定義生成過程は、
   補間対象の色データについては、複数の変換パッチ色データのうち、その補間対象の色データの色相を挟む２つの変換パッチ色データを選択する選択過程と、
   前記選択過程で選択された２つの変換パッチ色データを、該２つの変換パッチ色データと前記補間対象の色データとの間の色相比で明度、彩度のそれぞれについて線形補間することにより基準データを生成する基準生成過程と、
   前記選択過程で選択された２つの変換パッチ色データと前記補間対象の色データとの間の色相比で該２つの変換パッチ色データとそれら２つの変換パッチ色データに対応した２つの目標色データとの各差分を線形補間することにより、前記基準データに対する補正量を表した基準補正データを生成する基準補正過程と、
   彩度が０のときに彩度補正量が０で、かつ彩度が前記基準データの彩度と同じであるときに彩度補正量が前記基準補正データが表わす彩度補正量に等しくなる１次関数に前記補間対象の色データの彩度を適用して彩度補正量を算出する彩度量算出過程と、
   彩度が０のときに明度補正量が０で、かつ彩度が前記基準データの彩度と同じであるときに明度補正量が前記基準補正データが表わす明度補正量に等しくなる１次関数に前記補間対象の色データの彩度を適用して明度補正量を算出する明度量算出過程とを有するものであることを特徴とする請求項２又は３記載の色変換定義作成方法。
5. 前記色変換定義は、前記色変換の前の色データと色変換の後の色データとが対応付けられたルックアップテーブルであることを特徴とする請求項１から４のうちいずれか１項記載の色変換定義作成方法。
6. 前記補正マトリクスおよび前記色変換定義生成が、該補正マトリクスを使った色補正と該色変換定義に従った色変換との間に他の色処理が施される一連の色変換処理に用いられるものであり、
   前記色変換定義生成過程は、
   前記色空間の格子点を表わす格子点データに、前記色処理の逆変換処理を施す逆変換過程と、
   前記逆変換処理が施された格子点データに対する前記補正量を線形的な補間で算出し、該格子点データに該補正量の色補正を施して補正格子点データを生成する色補正過程と、
   前記補正格子点データに、前記色変換との間の色処理を施す順変換過程と、
   前記順変換過程で前記色処理が施された補正格子点データを前記色変換処理前の格子点データと対応付ける対応過程とを有することを特徴とする請求項１から５のうちいずれか１項記載の色変換定義作成方法。
7. 画像を読み取って該画像を表わす画像データを生成する入力デバイスによって相互に色が異なる複数の色パッチそれぞれが読み取られて得られる、該複数の色パッチそれぞれの色を所定の色空間上の座標で表現した複数のパッチ色データを取得するパッチ色データ取得部と、
   前記複数のパッチ色データと、前記複数の色パッチそれぞれに対する目標色を前記色空間上の座標で表現した複数の目標色データとの差分に基づいて、該複数のパッチ色データを該複数の目標色データに近似させる、前記色空間の線形変換を表した補正マトリクスを生成するマトリクス生成部と、
   前記複数のパッチ色データが前記補正マトリクスによって変換された複数の変換パッチ色データを前記複数の目標色データに変換するとともに、前記色空間上の各座標を表した各色データに対しては、該複数の変換パッチ色データと該複数の目標色データとの複数の差分のうち、該座標に応じた一部の差分に基づいて線形的な補間で求められる補正量の色補正を行う色変換を定義した色変換定義を生成する色変換定義生成部とを備えたことを特徴とする色変換定義作成装置。
8. 光を発する光源と、前記入力デバイスとを備えた光プローブと、
   請求項７に記載の色変換定義作成装置と、
   前記色変換定義作成装置で生成された補正マトリクスおよび色変換定義を使って、前記入力デバイスで得られた画像データに色変換処理を施す色変換装置と、
   前記色変換装置で色変換処理が施された画像データが表わす画像を表示する表示装置とを備えたことを特徴とする内視鏡システム。

Images