JP2023008344A - 眼科用画像処理プログラム - Google Patents

Abstract

【課題】検者にとって違和感の少ないカラー眼底画像を生成すること。【解決手段】眼科用画像処理プログラムであって、コンピュータのプロセッサによって実行されることにより、カラー眼底画像として第１画像を取得する第１画像取得ステップと、カラー眼底画像に適用するために予め定められた色域を特定する色域情報に基づいて、前記第１画像における少なくともいずれかの色成分の画素値を補正して色域補正画像を生成する、色域補正画像生成ステップと、を前記コンピュータに実行させる。【選択図】図４

Description

本開示は、被検眼の眼底画像を処理する眼科用画像処理プログラムに関する。

これまで長い間、眼科分野では、眼底カメラで撮影されたカラー眼底画像（以下、眼底写真という）が、眼底検査において利用されてきた。

近年、従来の眼底カメラに対して共焦点性の高い方式の装置が眼科施設に浸透してきている。該装置で撮影されたカラー眼底画像も、眼底検査で活用されている。共焦点性の高い方式の装置で撮影されるカラー眼底画像は、例えば、より高いコントラストで各部が描写されるが、眼底写真とは色味が異なっている。

共焦点性の高い方式の装置で撮影されたカラー眼底画像の色味を、眼底写真に近づけるための技術として、特許文献１には、共焦点性の高い方式の装置で撮影されたカラー眼底画像の色調を、予め定められた色毎のヒストグラムの目標パターンに基づいて補正する技術が開示されている。これによれば、共焦点性の高い方式の装置では、照明光の波長、眼底形状の個人差、および、アライメント状態に関わらず、一定の色調によるカラー眼底画像が生成される。

特開２０２０－０５４４７９号公報

しかしながら、眼底カメラの撮影方式と、それとは異なる撮影方式と、の違いに起因して、後者の方式が採用された装置で得られた眼底画像は、上記の特許文献１の手法を用いて色調補正を行ったとしても、眼底写真を基準とすると不自然な発色が、画像の一部で生じる場合がある。当該発色は、眼底の状態を理解するうえで有用な指標となり得るものだが、眼底写真に慣れ親しんだ検者には違和感を与えてしまう場合があった。

本開示は、従来技術の問題点の少なくともいずれかに鑑みてなされたものであり、検者にとって違和感の少ないカラー眼底画像を生成すること、を技術課題とする。

本開示の第１態様に係る眼科用画像処理プログラムは、コンピュータのプロセッサによって実行されることにより、コンピュータのプロセッサによって実行されることにより、カラー眼底画像として第１画像を取得する第１画像取得ステップと、カラー眼底画像に適用するために予め定められた色域を特定する色域情報に基づいて、前記第１画像における少なくともいずれかの色成分の画素値を補正して色域補正画像を生成する、色域補正画像生成ステップと、を前記コンピュータに実行させる。

本開示によれば、検者にとって違和感の少ないカラー眼底画像を生成できる。

実施形態に係る眼底撮影装置の概略構成を示す図である。 本実施形態に係る眼科用画像処理方法を示したフローチャートである。 色補正用のＧＵＩと眼底画像の表示レイアウトを示した図である。 色調の補正方法を説明するための図であって、目標パターンを用いた場合の補正前後の眼底画像および各チャンネルのヒストグラムを示している。 実施例における色域の補正方法として、クリッピングを説明するための図である。 目標色域を手動で調整するためのＧＵＩを示した図である。 調整後の目標色域の一例を示した図である。 第２画像の表示態様の一例として、単色眼底画像との同時表示が行われる場合を示した図であり、第２画像と組み合わせて表示される単色眼底画像を示している。 変形例における色域補正の概要を説明するための図である。

「概要」
以下、本開示を、実施形態に基づいて説明する。便宜上、以下では、特に断りが無い限り、実施形態に係る眼科用画像処理プログラムの処理内容、および、眼科用画像処理方法は、コンピュータによって実行されるものとして説明する。コンピュータは画像処理装置を含む眼科撮影装置であってもよいし、眼科撮影装置とは別体であってもよい。

本実施形態の眼科用画像処理プログラムは、第１画像取得ステップと、色域補正画像生成ステップと、を少なくともコンピュータに実行させる。第１画像取得ステップでは、カラー眼底画像が、第１画像として取得される。色域補正画像生成ステップでは、第１画像における少なくともいずれかの色成分の画素値が、色域情報に基づいて補正される。その結果として、第１画像から色域補正画像が生成される。色域情報は、カラー眼底画像に適用するために予め定められた色域を特定する情報である。よって、色域補正画像では、各組織の色味が予め定められた色域で表現される。

なお、本実施形態における色域情報において特定される色域は、画像出力装置毎の色再現域（色域）とは異なる。つまり、色域情報において特定される色域は、ディスプレイおよびプリンタ等の画像出力装置に由来しない。よって、色域補正画像は、第１画像本来の色域とも、ディスプレイおよびプリンタ等の画像出力装置に由来した色域とも異なる予め定められた色域で表現される。

本実施形態において、色域情報は、補正後（色域変換後）の目標とする色相区間を特定する情報であってもよい。より具体的には、補正後（色域変換後）の目標とする色域そのものを規定する情報であってもよいし、マッピングテーブルのような補正前後の色域の対応関係を示す情報であってもよいし、その他であってもよい。本実施形態では、少なくとも、第１画像において目標とする色相区間からはみ出た色が、目標とする色相区間内に含まれるように、又は、目標とする色相区間との差が低減されるように、第１画像における少なくともいずれかの色成分の画素値が補正される。その結果、色域補正画像では目標に対して不自然な色が適切に低減できる。

また、第１画像は、第１の撮影方式によるカラー眼底画像であってもよい。色域情報において目標とする色相区間は、適宜定められてもよい。例えば、第１の撮影方式と異なる第２の撮影方式によるカラー眼底画像の色相区間が、目標とする色域として定められていてもよい。この場合、目標とする色域は、第２の撮影方式で撮影されたカラー眼底画像と、第１画像と、の間における色合いの違いを抑制するために定められており、第２の撮影方式で撮影されたカラー眼底画像そのものにおける色域との完全な一致は、必ずしも要求されない。第２の撮影方式に対応する色域は、第２の撮影方式で撮影されたカラー眼底画像における各画素の色相の平均および分散に基づいて定められていてもよい。

また、第１の撮影方式は共焦点方式であってもよく、第２の撮影方式は非共焦点方式であってもよい。共焦点方式と非共焦点方式との間には、以下のようないくつかの違いがある。例えば、共焦点方式では、眼底カメラ等の非共焦点方式に比べて不要な散乱光が受光素子に導かれることが抑制される。このため、第１画像は、コントラストに優れた画像となる。また、例えば、共焦点方式では眼底カメラで広く利用されているフラッシュランプのような白色光源と比べて、波長域の狭い光源（例えば、単色光源等）が利用される。眼底は組織毎（例えば、層毎）で分光反射特性が異なるから、２つの撮影方式で得られたカラー眼底画像の間では、強調して描写される組織が互いに異なり得る。

撮影光学系が共焦点方式である場合、アライメントおよびフォーカス等の撮影条件の違いに応じて、眼底画像の画像全体の色調（各色成分のバランス）が、撮影毎に異なってしまう場合があり得る。よって、特定の被検眼を撮影する場合であっても、各撮影で画像全体の色調が安定し難い。

これに対し、本実施形態では、第１画像は、共焦点方式で撮影されたカラー眼底画像（原画像という）に対して、色域補正画像生成ステップとは異なる処理によって変換を行うことで第１画像を取得してもよい。例えば、手動または自動で変換が行われてもよい。

具体例として、原画像における色成分毎の画素値が、色成分毎に予め定められたヒストグラムの目標パターンに基づいて補正されてもよい。これにより、撮影条件の違いに関わらず、第１画像は、色成分毎に予め定められたヒストグラムの目標パターンによって規定された色調の画像となる。目標パターンは、例えば、眼底写真の色味に近づけるための目標パターンであってもよい。

但し、第１画像における色調が予め補正されていたとしても、画像の一部分における色味が目標とする色味とは異なってしまう場合があり得る。

例えば、眼底写真の色味に近づけるために第１画像の色調が予め補正されていたとしても、乳頭等の周囲とは形状が異なる組織や、病変等における発色が、眼底写真とは異なった不自然なものとなりやすい。より詳しくは、上記一部の組織や病変における赤色成分が相対的に少なく、緑がかって描写されてしまう場合がある。この現象は、上記例示した、或いは、また別の、共焦点方式と非共焦点方式との違いを要因とするものと考えられる。

これに対し、共焦点方式で得られた第１画像が、非共焦点方式で得られたカラー眼底画像と対応する色域に基づいて補正された結果、非共焦点方式で得られたカラー眼底画像と比べて不自然な色味の箇所が生じることが低減される。

その際、第１画像における少なくとも赤色成分の画素値が、色域情報に基づいて補正されることが好ましい。すなわち、第１画像のうち緑がかって描写される部位では、赤色成分が相対的に少ないので、赤色成分の画素値が高輝度側に補正されることで、非共焦点方式によるカラー眼底画像を基準としたときに、より自然な発色で組織が描写される。

本実施形態では、色域情報によって特定される色域の変更操作を受け付けるためのＧＵＩが表示されてもよい。該ＧＵＩを介した変更操作に基づいて色域情報は変更可能であってもよい。これにより、色域補正画像を検者は所望の色味に調整できる。

本実施形態では、色域補正画像と共に第１画像における色成分毎の眼底画像である色成分画像が表示されるように、色域補正画像と第１画像と対応する色成分画像とを画像出力装置へ出力してもよい。ここで、色域補正画像における色成分毎の眼底画像は、色域補正の結果として、色成分が補正された画素に、本来存在しない像が描写されてしまう場合がある。そこで、色域補正画像と共に色成分画像を表示する際には、色成分画像として第１画像の色成分画像を用いることで、色成分画像を適切に検者に確認させることができる。

以上の実施形態では、色域情報は、第２の撮影方式に対応する色域を示す情報として説明したが、必ずしもこれに限定されるものではない。例えば、第１画像そのものに基づいて色域情報が設定されてもよい。例えば、第１画像において、自然な色（すなわち、所望する色相区間に含まれる色）の方が支配的であることが経験的に明らかであれば、第１画像における各画素の色相の平均、分散等に基づいて色相区間を求めることで、該色相区間から外れ値である不自然な色を除外できると考えられる。よって、このようにして第１画像そのものに基づく色域情報を利用して色域補正を行っても第１画像における不自然な色が軽減された色域補正画像を生成できると考えられる。

「実施例」
＜全体構成＞
実施形態に係る眼底撮影装置１（以下、「本装置１」と省略する）は、撮影光学系１０，２０と、画像処理器８０と、を少なくとも備える。画像処理器８０を有することによって、本装置１は、各種画像処理を実行するコンピュータとなる。画像処理器８０は、装置全体の動作を司るプロセッサによって兼用されてもよい。画像処理器８０は、装置全体の動作を司るプロセッサとは別体であってもよい。画像処理器８０のプロセッサからアクセス可能なメモリには、眼科用画像処理プログラムが格納されていてもよい。

本装置１は、例えば、図１に示すように、光学ユニット１ａと、制御ユニット１ｂと、に大別されており、撮影光学系１０，２０は光学ユニット１ａに、画像処理器８０は制御ユニット１ｂに、それぞれ格納されていてもよい。制御ユニット１ｂには、プロセッサ（ＣＰＵ）７１の他、各種メモリ７２を有している。眼科用画像処理プログラムは、メモリ７２に格納されていてもよい。また、制御ユニット１ｂには、操作部７５（ユーザインターフェース）が接続されていてもよい。操作部７５は、マウスおよびタッチパネル等のポインティングデバイスであってもよいし、その他のユーザインターフェースであってもよい。制御ユニット１ｂとして、例えば、ＰＣが利用されてもよい。

また、本装置１は、モニタ９０を有していてもよい。モニタ９０には、例えば、撮影された眼底画像が表示される。その他に、モニタ９０には、各種ＧＵＩが表示されてもよい。

＜撮影光学系＞
撮影光学系１０，２０は、眼底画像の一種であるカラー眼底画像を少なくとも撮影する。本実施形態において眼底画像は、眼底の正面画像である。また、カラー眼底画像は、各画素が色情報を有している。撮影光学系１０，２０は、照射光学系１０と、受光光学系２０と、を含む（図１参照）。なお、追加的に、撮影光学系１０，２０は、モノクロ眼底画像を撮影してもよい。

照射光学系１０は、波長が互いに異なる複数の単色光を眼底へ照射する。受光光学系２０は、複数の単色光の眼底反射光を受光する受光素子２５を、少なくとも有する。受光素子２５からの信号は画像処理器８０へ入力され、その結果として、カラー眼底画像が、画像処理器８０によって生成される。受光光学系２０において、受光素子２５は、単色光の波長毎に複数設けられていてもよい。この場合、波長が異なる複数の眼底反射光が複数の受光素子２５によって、複数の単色光による眼底反射光が、同時に受光されてもよい。また、波長が異なる複数の眼底反射光が時分割で（換言すれば、互いに異なるタイミングで）１つの受光素子２５に受光されてもよい。受光素子２５としては、点受光素子、一次元撮像素子（ラインセンサ）、二次元撮像素子等のいずれかが用いられてもよい。いずれが採用されるかは、撮影方式に応じて適宜選択される。

照射光学系１０は、波長毎に光源１１を有していてもよい。例えば、光源１１として、単色ＬＥＤ、および、レーザー光源等の各種光源のうちいずれかが用いられてもよい。ここで、「単色光」には、スペクトル分解できない光という狭義の意味があるが、本開示では必ずしもこれに限定されない。本開示における「単色光」は、眼底撮影装置の技術分野において、特定の一色と扱われる程度の波長分布の幅を有していてもよい。但し、単色光における波長分布の幅は、眼底撮影装置の技術分野における白色光と明確に区別できる程度に、十分に狭いものである。

例えば、撮影光学系１０，２０は、カラー眼底画像を撮影する際に、Ｒ（赤），Ｇ（緑），Ｂ（青）の３色を眼底へ照射するものであってもよい。このとき、追加的に、または、Ｒの光と代替的に、ＩＲ（赤外）の光が、眼底へ照射されてもよい。ここでは、カラー眼底画像を撮影する際に３色ないし４色の光が眼底へ照射されるが、必ずしもこれに限られるものではなく、眼底へ照射される光は２色であってもよいし、５色以上であってもよい。また、上記の色の組み合わせは一例に過ぎず、他の色の組み合わせによって、カラー眼底画像が撮影されてもよい。

撮影光学系１０，２０は、共焦点光学系であってもよい。共焦点光学系の場合、照射光学系１０は、光スキャナを有し、眼底上でポイント状またはライン状に照明光（ここでは、単色光）を集光させると共に、光スキャナによって、照明光を眼底上で走査させる。また、受光光学系２０には、有害光除去部（例えば、ピンホールおよびスリットアパーチャ等）が、眼底共役位置に設けられる。有害光除去部は、照明光が照射された領域からの眼底反射光を受光素子２５へ導き、それ以外を除去する。そして、受光素子２５による逐次受光の結果として、眼底の正面画像が取得される。なお、ラインスキャン方式では、受光素子２５が有害光除去部を兼用する場合がある。この場合、受光素子２５として利用されるラインセンサが、眼底共役位置に配置される。非共焦点方式の撮影光学系の一例としては、一般的な眼底カメラの光学系等が挙げられる。共焦点光学系のより詳細については、例えば、本出願人による特開２０１６－０５９５３９号公報等を参照されたい。この文献には、共焦点光学系を持つ眼底撮影装置の一例である走査型レーザー検眼鏡が開示されている。

＜画像処理器＞
前述したように、画像処理器８０は、受光素子２５からの信号に基づいて眼底画像を生成する。本実施形態では、眼底画像として、少なくともカラー眼底画像が生成される。但し、必ずしもこれに限られるものではなく、追加的に、画像処理器８０は、モノクロ眼底画像を受光素子２５からの信号に基づいて生成してもよい。

また、画像処理器は、共焦点方式が採用された本装置１で撮影されたカラー眼底画像を、眼底写真（非共焦点方式かつ白色光を用いて撮影されたカラー眼底画像）の色味に近づけるための補正処理を行う。例えば、画像処理器は、カラー眼底画像を撮影した場合において、第１画像（色調補正画像）、および、第２画像（色域補正画像）を生成する。撮影の結果として得られたカラー眼底画像を処理対象（つまり、原画像）として該原画像の画素値が補正されることによって、第１画像、および、第２画像は生成される。なお、本実施例における第１画像、および、第２画像は、いずれもＲ，Ｇ，Ｂの色成分を有するカラー眼底画像である。

なお、以下では、説明の便宜のために、眼底写真において経験的に存在しない色を「不自然な色」と称し、存在する色を「自然な色」と称する。但し、自然、不自然の区別は、異なる撮影方式の間の色味の違いを表すための便宜的なものに過ぎず、それぞれの撮影方式において、本来あるべき特徴が適切に描写されているか否かという問題とは無関係であることに十分に留意されたい。

図２～図８を参照して、本実施例のカラー眼底画像に対する色補正の手法を説明する。

本実施例では、図２に示すように、まず、原画像となるカラー眼底画像が撮影された後、原画像の色調が補正されることで第１画像が生成および取得される。更に、第１画像における色域が補正されることで、第２画像が生成および取得される。

その際、図３に示すように、画面上には、カラー眼底画像２００と共に、色調補正用のＧＵＩ２１０と、色域補正用のＧＵＩ２２０，２３０が表示される。ＧＵＩ２１０～２３０に対する操作に応じて、画面上に表示されるカラー眼底画像２００における色が補正される。

最初に、画面上には、カラー眼底画像２００として、原画像が画面上に表示される。検者は、まず、色調補正用のＧＵＩ２１０を操作する。これによって、原画像の色調が補正されることで第１画像が生成されて、画面上に表示される。

＜色調補正＞
本実施例における撮影光学系１０，２０で得られるカラー眼底画像は、照明光として単色光が利用されているため、眼底写真等の白色光を用いて撮影された画像と比べて、眼底の反射特性が色調へ影響しやすく、色調が安定し難い。また、本実施例における撮影光学系１０，２０は眼底カメラと比べて共焦点性が高いため、眼底形状の個人差、および、アライメント状態が色調に大きく影響する。結果、本実施例における撮影光学系１０，２０で得られるカラー眼底画像は、一定の色調で再現されにくい。また、眼底検査の分野において、白色光で撮影されたカラー眼底画像が、長年活用されてきた結果、白色光で撮影されたカラー眼底画像の色調は、広く検者に浸透している。これと比較し、単色光を用いて撮影したカラー眼底画像の色調については、検者に十分浸透しているとは言い難い。

これに対し、本実施例において、第１画像（色調補正画像）は、被検眼および撮影条件にかかわらず、予め定められた色調で表現されるカラー眼底画像である。原画像における画素の階調値の分布に基づく特徴値であって色成分毎の特徴値が、色成分毎の目標パターンとして予め定められた特徴値へフィットするように、原画像における各画素の階調値を補正することによって、第１画像は生成される。

本実施例における目標パターンは、眼底写真における、各色成分（Ｒ，Ｇ，Ｂの各色成分）のヒストグラムのパターンを表すものである。白色光を発する光源は、キセノンランプ、および、白色ＬＥＤ等のうちいずれかであってもよい。また、カラー眼底画像は、例えば、眼底カメラによって撮影される画像であってもよい。例えば、実際の眼底写真における平均的な輝度分布に基づいて目標パターンが予め定められていてもよい。

目標パターンとして定められる特徴値は、各画素の階調値の分布に基づくヒストグラムを規定する値である。一例として、本実施例では、明るさの目標値と、コントラストの目標値と、が特徴値として色成分毎に予め定められていてもよい。一例として、明るさの目標値としては、目標とする階調分布における、階調値の平均値、中央値および最頻値のうちいずれかの値を用いられてもよい。また、コントラストの目標値は、目標とする階調分布における、標準偏差、分散、および半値幅のうちいずれかの値が用いられてもよい。

ここで、図４を参照して、本実施例における目標パターンを適用して色調が補正された色調補正画像における特徴を詳細に説明する。図４の各グラフは、色成分毎（Ｒ，Ｇ，Ｂの色成分毎）のヒストグラムを示している。

図４に示した色調補正画像は、次の目標値によって規定される目標パターンへフィットするように、色成分毎のヒストグラムが補正されている。
［明るさの目標値（階調分布の平均値）］
Ｒ：１２２
Ｇ：６６
Ｂ：３２
［コントラストの目標値（標準偏差）］
Ｒ：４０
Ｇ：２７．５
Ｂ：１６．６
但し、各目標値は、２５６階調における階調値を単位とする。

一例として示した、これらの目標値は、眼底写真に基づいて定められている。このようにして得られる第１画像は、検者に馴染みのある色調で再現性が担保されているので、有意義である。

＜色域補正＞
しかし、第１画像は、眼底写真等と見比べても違和感のない色で描写されるものの、一部の画像の一部の領域において、眼底写真では馴染みのない不自然な色で描写されてしまう場合があり得た。一例としては、乳頭等の周囲とは形状が異なる組織や、病変等において、不自然な色が生じやすかった。不自然が生じる部分では、眼底写真と比較して、赤色成分が少ない傾向があり、その結果として、乳頭等が眼底写真では馴染みのない緑がかった（或いは、青味がかった）色で描写されてしまい、違和感の原因となってしまった。

但し、第１画像において、乳頭や病変部における緑色がかった色は、乳頭の形状や病変の有無についての指標として活用されうる。そこで、第１画像を表示するか、第２画像を表示するかを、検者の操作に応じて選択可能であってもよい。そこで、本実施例では、ＧＵＩ２２０を介して、色域補正を有効／無効に切り替えることができる。

ＧＵＩ２２０が操作され、色域補正を有効された場合、第１画像の色情報が補正され、第２画像がカラー眼底画像２００として画面上に表示されるようになる。

本発明者の検討によれば、不自然な色の領域（緑がかった色で表現される領域）に対しては、赤色成分を補うことによって発色の不自然さが軽減される。但し、例えば、仮に、画像全体における赤色成分のバランスを変更してしまうと、第１画像において自然な色で表現されていた画像の大部分の色が変化してしまう。

これに対し、本実施例において、第２画像は、予め定められた色域に基づいて、第１画像における少なくともいずれかの色成分の画素値を補正することによって生成される。本実施例では、予め定められた色域を示す色域情報に基づいて第１画像の色域をクリッピング（詳細は後述）することによって、補正が行われる。ここで、色域情報は、カラー眼底画像に適用するために予め定められた色域であり、本実施例では、目標とする色域（以下、便宜上、「目標色域」と称する）を特定する。目標色域は、画像出力装置におけるハードウェア性能（つまり、例えば、モニタ９０等における色再現域）に依存しない。

色域情報が示す目標色域は、経験的に設定されてもよい。例えば、本実施例における目標色域は、不自然な色の領域が生じなかった第１画像における色相（色相の分散の平均値）に基づいて設定されてもよい。これによれば、第１画像は色調を眼底写真に近づけた画像であるから、間接的に、カラー眼底画像の色相区間を考慮して設定される。また、目標色域は、眼底写真そのものにおける色相（色相の分散の平均値）に基づいて設定されてもよい。第１画像の中で不自然な色は、目標とする眼底写真等には存在しない故に違和感を一部の検者に感じさせるところ、そのような色は、眼底写真等における色相区間には含まれ難い。一方で、第１画像におけるほとんどの画素は、自然な色で描写されるので、それらほとんどの画素は、眼底写真等における色相区間に含まれやすい。従って、第１画像の中で不自然な色は、眼底写真等における色相区間を考慮して設定される目標色域から適切に除外でき、第１画像に用いられる色の大部分は、本実施例の目標色域にほぼそのまま含まれることになる。

ここで、図５参照し、本実施例における色域の補正手法を詳細に説明する。本実施例では、クリッピングによって、色域が補正される。本実施例に示すクリッピングでは、目標色域からはみ出た色情報を持つ画素が、目標色域における色域境界の色に補正される。

図５の左側のグラフには、色空間上での色域情報の例が示されている。図５において、点線で囲まれる立方体の領域が、画像を表現可能な本来の色域を示している。

一方、実線で囲まれる四角錐の領域が目標色域を示している。一例として、図５における四角錐の領域は、ＨＳＶ色空間において色相Ｈが－６０°から＋６０°までの値をとる色相区間に相当する。当該色相区間では、マゼンタからイエローの範囲の色で画像が表現される。一般的な眼底写真における各画素は、この色相区間で表現される。但し、目標色域は、必ずしもこれに限定されるものでは無い。例えば、実際の眼底写真等における各画素の色相の平均および分散に基づいて目標色域が設定されてもよい。

図５においてグラフの右側の眼底画像は、色域補正の対象となる眼底画像（つまり、本実施例では第１画像）を示している。本実施例の色域補正処理では、第１画像のそれぞれの画素に対して、画素の色情報が目標色域の外側にあるか否かが判定される。この判定では、目標色域と比較する際に、各画素のＲ，Ｇ，Ｂの画素値が参照されてもよいし、各画素のＨＳＶに変換してHの値が参照されてもよい。

なお、色相Ｈの値は、以下の「数１」の変換式によってＲ，Ｇ，Ｂから求めることができる。すなわち、Ｒ，Ｇ，Ｂの比率に基づいて色相Ｈは導出される。

ここで、第１画像の中で不自然な色の数は十分少数である。特に、本実施例では、事前に行われた色調補正と相まって十分少数となっている。例えば、図５の眼底画像において乳頭にある画素のように、そのような少数の色を持つ画素が、第１画像において目標色域の外側にあると判定されて、当該画素の画素値が目標色域内に収まるように変更される。このとき、本実施例では、少なくとも赤色成分の画素値が高輝度側に変更される。本実施例では、以下の「数２」に基づいて画素値が変更される。

ここで、「数２」の左辺におけるR´は、補正後のR成分の画素値である。「数２」の右辺におけるＲ，Ｇ，Ｂは、補正前の色成分毎の画素値である。「数２」によれば、色情報が目標色域の外側にあると判定された画素に対して、Ｒ成分のみ画素値が変更されることによって、色域境界の色に補正される。

なお、本実施例のように、ＨＳＶ色空間における色相Hが－６０°から＋６０°までの色相区間として目標色域が規定されていると、目標色域の外側では、Ｒ成分の階調値が、Ｇ，Ｂのうち少なくともいずれかの階調値に対して、常に低輝度側の値となる。よって、第１画像において目標色域の外側にあるか否かを判定することなく、第１画像の全画素に対して「数２」を適用しても、判定を経た場合と同様の結果が得られる。よって、目標色域の設定次第では、上記の判定は、必ずしも必要ではない。

一方、例えば、図５の眼底画像において血管や多くの眼底組織と対応する画素のように、第１画像において目標色域の内側にあると判定された画素は、そのままの画素値が維持される。第１画像は、このような画素が多数を占めているので、当該画素の色情報は第２画像において維持される。

以上のように、色調補正処理によって、第１画像のうち不自然な色を持つ画素に対象を限定して、当該画素が表現される色がマゼンタからイエローの範囲の色（つまり、眼底写真を基準としたときに違和感の少ない色）へ置き換えられる。その結果、本装置１で撮影されたカラー眼底画像が、自然な色のみを用いつつも適切に表現される。

＜手動補正＞
本実施例では、更に、ユーザーの操作に基づいて、目標色域を設定（変更）可能である。例えば、ＧＵＩ２３０を介して、目標色域の設定（変更）操作を受け付ける。本実施例において、ＧＵＩ２３０はスライダーであり、ツマミを矢印に沿って移動させることで、色相区間が設定される。本実施例では、色相Ｈの色相区間は、一般に、青側と緑側との２つの端点が存在するが、第１画像には青色はほとんど無いので、青側は固定値（本実施例では－６０°）とし、緑側の端点がＧＵＩ２３０を介して変更される。なお、ＧＵＩ２３０において、緑側の端点の調整範囲は、０°～６０°の間で定められている。一般に、ある色相の色相区間は－１８０°～１８０°までの範囲であるが、眼底写真の色相区間は前述の通り、その一部である。本実施例では、眼底写真の色味を再現するうえで必要十分な調整範囲に制限されているので、検者は目標とする色相区間を適切に調整できる。

ＧＵＩ２３０を操作に基づいて色相区間が変更された第２画像は、逐次画面に表示される。また、本実施例では、ＧＵＩ２３０のツマミの移動に連動して、設定後の色相区間の端点を示す値が表示される。また、ＧＵＩ２３０では、設定した色相区間と対応する色で（色のグラデーションで）、スライダーが表示される。これにより、検者が直感的に設定後の色域を理解しやすい。これにより、ユーザーは、カラー眼底画像を、直感的に所望の色味に変更できる。

また、ＧＵＩ２３０に代えて、図６に示すＧＵＩ３００が用いられてもよい。図６に示すＧＵＩ３００は色相環を模しており、ユーザーは、色間の端点３１０ａ，３１０ｂを操作によって移動させる。２つの端点３１０ａ，３１０ｂの間の色相区間が、目標色域として設定される。本実施例では、操作に基づいて変更された色相区間による第２画像は、逐次画面に表示される。これにより、ユーザーは、カラー眼底画像を、直感的に所望の色味に変更できる。

ここで、例えば、図５の説明において、予め設定された目標色域は、色相Hが－６０°から＋６０°までの色相区間であったが、実際の眼底写真では、それよりもさらに狭い色相区間で表現される傾向にある。このため、本装置１で撮影されたカラー眼底画像を、より眼底写真に近い色いで描写するために、色相Hが－６０°から＋６０°までの色相区間に対して、目標区間を狭めてもよい。この場合、次の「数３」に基づいて画素値が変更される。

但し、ｆ（Ｈ）は、「数３」による変換後の色の目標色相（色相の目標値）である。ｆ（Ｈ）は、数４で表される。

ここで、Ｈは変換前の画素の色相である。Ｈ_Ｂは、色相区間の端点３１０ａ，３１０ｂのうちより青に近い一方、Ｈ_Ｇはより緑に近い残り一方である。この時の目標色域を図７に示す。なお、色相区間の設定と変換前の画素値と組み合わせによっては、変換後の画素値が表現可能な最大値を超える場合（Ｒ´＞２５５となる場合）があるが、その際は、最大値（Ｒ´＝２５５）に置き換えてもよい。

これにより、目標色域を変更しても、目標色域からはみ出た色情報を持つ画素が、赤色成分の画素値が少なくとも変更されることによって、目標色域における色境界の色へと適切に補正される。

＜第２画像と各色成分の色成分画像との同時表示＞
本実施例において、カラー眼底画像は、それぞれの色成分に対応するモノクロ眼底画像（色成分画像）と共に表示されてもよい。このとき、カラー眼底画像と色成分画像とは同一画面上で並べて同時に表示されてもよいし、１つのウィンドウにおいて切換表示されてもよい。

本装置１から照射されるＲ（赤），Ｇ（緑），Ｂ（青）の光のそれぞれに対する分光反射率が、組織毎（例えば、層毎）に異なっている。このため、Ｒ（赤），Ｇ（緑），Ｂ（青）のそれぞれの色成分画像には、互いに異なる特徴が描写され得る。よって、カラー眼底画像と共にそれぞれの色成分に対応する色成分画像が表示されることで、検者は、眼底の構造を多角的に把握できる。

ここで、図８（ａ），（ｂ）には、色域補正が行われる前後の、カラー眼底画像（補正前：４０１，補正後：４０２）とそのカラー眼底画像の各色成分による色成分画像（補正前：４０１Ｒ，４０１Ｇ，４０１Ｂ，補正後：４０２Ｒ，４０２Ｇ，４０２Ｂ）とを示している。図８（ｂ）に示した第２画像のＲ成分による色成分画像４０２Ｒには、色相補正処理によってＲ成分の階調値が補正された結果、点線で囲まれた階調値の補正が行われた箇所（特に、乳頭や病変部）に、本来は存在しない像が描出されてしまっている。

そこで、本実施例では、第２画像が表示される場合には、図８（ｃ）の組み合わせ、すなわち、第２画像４０２と第１画像における各色成分の色成分画像４０１Ｒ，４０１Ｇ，４０１Ｂとを同時に表示する。これにより、本実施例では少なくともＲ成分についても、適切な色成分画像が表示される。結果、第２画像が表示される場合であっても、適切な色成分画像を用いて、検者は、眼底の構造を把握できる。

「変容例」
上記実施例では、色域を補正（色域を圧縮）する１手法として、目標色域からはみ出た色情報を持つ画素を、目標色域における色域境界の色に補正する手法を説明した。但し、色域を補正する手法は、必ずしもこれに限定されるものではない。例えば、以下のように、非線形的に色域を圧縮することによって第２画像を生成してもよい。

図９を参照して非線形的に色域を圧縮する手法を説明する。
図９は、ある色相における（例えば、色相Ｈ）、第１画像の色相を横軸において示しており、色域情報によって特定される目標色相（色相の目標値）を縦軸において示している。

前述した実施例の手法では、目標色域内の色に対してはそのままにし、目標色域外の色に対しては目標色域境界の色に置き換えられる。これに対し、本変形例の手法は、目標色域内の色に対しても色の置き換えを行うことで、目標色域外の色相の違いが補正後の画像にも反映される手法である。
この場合、上記の「数３」における色相ｆ（Ｈ）に以下の「数５」が適用されてもよい。

ここでは、色域の境界が、傾き1の直線とシグモイド曲線の組み合わせとして設定された場合を示しているが、必ずしもこの組み合わせに限定されるものではない。また、Ｈ_Ｇ′は、緑側における直線と曲線の切り替え点を示し、Ｈ_Ｂ′は、青側における直線と曲線の切り替え点を示す。

また、上記実施例において、原画像から第１画像への変換は、予め定められた色成分毎のヒストグラムの目標パターンに基づいて行われたが、必ずしもこれに限られるものではなく、各色成分の明るさ、コントラスト、および、ガンマ、等のうち少なくともいずれかが、手動で調整可能であってもよい。これらのパラメータは、装置毎に予め設定されていてもよい。

同様に、第１画像から第２画像への変換における目標色域についても、事前に検者によって定められた値が用いられてもよい。

また、上記実施例では、第１画像の画像全体における色域が補正されたが、必ずしもこれに限られるものではなく、第１画像の一部の領域における色域が補正されてもよい。一部の領域として、少なくとも乳頭領域における色域が補正されてもよい。例えば、第１画像における乳頭領域の色域が本実施例における手法によって補正され、乳頭領域の外側については第１画像の色が維持されてもよい。第１画像と眼底写真と比較したときに乳頭の色味の違いが目立ちやすいところ、乳頭領域の色域が本実施例における手法によって補正され、眼底写真の色味で表現されることによって、検者が受ける違和感が抑制される。更に、乳頭領域の外側については第１画像の色が維持されることで、病変部等を眼底写真とは異なる色味で表現して目立たせることができる。なお、この場合において乳頭領域は画像処理によって検出されてもよいし、手動で設定されてもよいし、画像上において予め定められた位置に設定されてもよい。

１ コンピュータ
７１ ＣＰＵ

Claims (9)

1. 眼科用画像処理プログラムであって、
   コンピュータのプロセッサによって実行されることにより、
   カラー眼底画像として第１画像を取得する第１画像取得ステップと、
   カラー眼底画像に適用するために予め定められた色域を特定する色域情報に基づいて、前記第１画像における少なくともいずれかの色成分の画素値を補正して色域補正画像を生成する、色域補正画像生成ステップと、を前記コンピュータに実行させる眼科用画像処理プログラム。
2. 前記第１画像は、第１の撮影方式によるカラー眼底画像であり、
   前記色域情報は、前記第１の撮影方式と異なる第２の撮影方式によって得られるカラー眼底画像と対応する色域を示す、請求項１記載の眼科用画像処理プログラム。
3. 前記第１の撮影方式は共焦点方式であり、第２の撮影方式は非共焦点方式である、請求項２記載の眼科用画像処理プログラム。
4. 前記色域情報は、色相の区間として規定されている、請求項１から３の何れかに記載の眼科用画像処理プログラム。
5. 前記色域情報は、前記第１画像における各画素の色相に基づいて設定される、請求項１記載の眼科用画像処理プログラム。
6. 前記第１の撮影方式で撮影されたカラー眼底画像として原画像を取得する原画像取得ステップと、
   前記原画像における色成分毎の画素値を、前記色域補正画像生成ステップとは異なる処理によって変換を行うことで前記第１画像を生成する色調補正画像生成ステップと、
   を更に前記コンピュータに実行させる請求項３記載の眼科用画像処理プログラム。
7. 色域補正画像生成ステップは、前記第１画像における少なくとも赤色成分の画素値を色域情報に基づいて補正する、請求項３又は６記載の眼科用画像処理プログラム。
8. 前記色域情報によって特定される色域の変更操作を受け付けるためのＧＵＩを表示させ、前記ＧＵＩを介した変更操作に基づいて前記色域情報を変更する色域情報変更ステップを更に実行する、請求項１から７のいずれかに記載の眼科用画像処理プログラム。
9. 前記色域補正画像と共に前記第１画像における色成分毎の眼底画像である色成分画像が表示されるように、前記色域補正画像と前記第１画像と対応する色成分画像とを前記画像出力装置へ出力する、請求項１から８のいずれかに記載の眼科用画像処理プログラム。
   

Images