JP2000210260A - 眼底画像システム - Google Patents
眼底画像システムInfo
- Publication number
- JP2000210260A JP2000210260A JP1393999A JP1393999A JP2000210260A JP 2000210260 A JP2000210260 A JP 2000210260A JP 1393999 A JP1393999 A JP 1393999A JP 1393999 A JP1393999 A JP 1393999A JP 2000210260 A JP2000210260 A JP 2000210260A
- Authority
- JP
- Japan
- Prior art keywords
- fundus
- image
- model
- image plane
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Medical Treatment And Welfare Office Work (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 従来の眼底画像作成手法は複数の三次元形状
の眼底を二次元平面上に貼り合わせているため、画像の
スケール、歪みの違いなどにより画像の結合部に不連続
が生じる。 【解決手段】 患者の眼底を撮影した眼底画像と、眼底
の形状を模擬し、予め作成された眼底形状モデルと、眼
底画像の撮影条件を表すパラメータである画像平面パラ
メータを計算するための画像平面パラメータ計算手段
と、画像平面パラメータにしたがって眼底画像を眼底形
状モデル上に投影し眼底モデルを作成するための眼底モ
デル生成手段と、その眼底モデルを表示するための眼底
モデル表示手段とを有する。
の眼底を二次元平面上に貼り合わせているため、画像の
スケール、歪みの違いなどにより画像の結合部に不連続
が生じる。 【解決手段】 患者の眼底を撮影した眼底画像と、眼底
の形状を模擬し、予め作成された眼底形状モデルと、眼
底画像の撮影条件を表すパラメータである画像平面パラ
メータを計算するための画像平面パラメータ計算手段
と、画像平面パラメータにしたがって眼底画像を眼底形
状モデル上に投影し眼底モデルを作成するための眼底モ
デル生成手段と、その眼底モデルを表示するための眼底
モデル表示手段とを有する。
Description
【０００１】
【発明の属する技術分野】この発明は、医療／医学分野
における眼底画像を表示／診断／記録するシステムに関
するものである。
における眼底画像を表示／診断／記録するシステムに関
するものである。
【０００２】
【従来の技術】眼底画像は、眼前より水晶体を通して撮
影するので、一度に撮影できる範囲は限られる。従っ
て、従来では複数回に分けて撮影した眼底画像を手作業
で位置合わせし貼付けることで、広範囲の眼底画像を作
成し保存している。その際、画像毎に貼付け位置や画像
の倍率などを調整して眼底画像を作成する。 図１７に
従来の手法で結合した眼底画像模した図を示す。
影するので、一度に撮影できる範囲は限られる。従っ
て、従来では複数回に分けて撮影した眼底画像を手作業
で位置合わせし貼付けることで、広範囲の眼底画像を作
成し保存している。その際、画像毎に貼付け位置や画像
の倍率などを調整して眼底画像を作成する。 図１７に
従来の手法で結合した眼底画像模した図を示す。
【０００３】特開平4-336677号公報には、テンプレート
マッチングにより画像を貼り合わせる手法が記載されて
いる。これは、画像上で特徴点を指定し、それらの特徴
点をテンプレートマッチングにより、他の画像の点と対
応付けることで、アフィンパラメータを計算し画像を貼
り合わせる。
マッチングにより画像を貼り合わせる手法が記載されて
いる。これは、画像上で特徴点を指定し、それらの特徴
点をテンプレートマッチングにより、他の画像の点と対
応付けることで、アフィンパラメータを計算し画像を貼
り合わせる。
【０００４】特開平9-173298号公報には、固視灯の撮影
位置を変化させて被検眼を誘導し、パノラマ画像を生成
する手法が記載されている。この手法は、まず、検者は
固視灯の投影位置を変化させて被検眼を誘導し、所望の
観察撮影部位を選択する。次に、撮影した眼底像と固視
灯の位置データからパノラマ眼底画像を生成する。
位置を変化させて被検眼を誘導し、パノラマ画像を生成
する手法が記載されている。この手法は、まず、検者は
固視灯の投影位置を変化させて被検眼を誘導し、所望の
観察撮影部位を選択する。次に、撮影した眼底像と固視
灯の位置データからパノラマ眼底画像を生成する。
【０００５】特開平6-331316号公報には、円パターンを
眼底に投影することで、画像面の傾きを補正する手法が
記載されている。具体的には、円パターンを眼底に投影
したまま眼底を撮影し、画像間のパターンをステレオマ
ッチングすることで画像面の傾きやアフィンパラメータ
を計算し補正する。
眼底に投影することで、画像面の傾きを補正する手法が
記載されている。具体的には、円パターンを眼底に投影
したまま眼底を撮影し、画像間のパターンをステレオマ
ッチングすることで画像面の傾きやアフィンパラメータ
を計算し補正する。
【０００６】特開平8-567号公報には、ステレオ画像の
対応点マッチングにより眼底の三次元形状を復元する手
法が記載されている。マッチング(一致)度を定量的に把
握する手法としては、残差逐次検定法や相互相関計数法
が示されている。
対応点マッチングにより眼底の三次元形状を復元する手
法が記載されている。マッチング(一致)度を定量的に把
握する手法としては、残差逐次検定法や相互相関計数法
が示されている。
【０００７】「"ES NOW illustrated 2 黄班部手術"
(第１刷), 樋田哲夫, 大橋裕一, 桑山泰明, 大鹿哲朗
編, MEDICAL VIEW, pp.102 - 103, 1996．」には、網膜
厚の評価を行うためのHeidenberg Retina Tomograph が
紹介されている。これは、網膜の画像計測とともに、レ
ーザを走査しそれをカメラで撮影することにより網膜の
三次元形状を計測し、相対的な網膜厚の情報を得るもの
である。
(第１刷), 樋田哲夫, 大橋裕一, 桑山泰明, 大鹿哲朗
編, MEDICAL VIEW, pp.102 - 103, 1996．」には、網膜
厚の評価を行うためのHeidenberg Retina Tomograph が
紹介されている。これは、網膜の画像計測とともに、レ
ーザを走査しそれをカメラで撮影することにより網膜の
三次元形状を計測し、相対的な網膜厚の情報を得るもの
である。
【０００８】
【発明が解決しようとする課題】眼底画像の撮影条件
は．眼底の中心部と周辺部の画像ではカメラの位置や向
き、倍率が異なるなど、画像毎に決められる。従来の眼
底画像の作成手法では画像毎に撮影条件を調整して、画
像間の補正はある程度行っているものの、一枚の画像内
での補正はできない。そのため、画像の結合部において
スケールや歪みの違いによる不連続が生じ、全ての眼底
画像をずれなく貼付けていくことは不可能である。
は．眼底の中心部と周辺部の画像ではカメラの位置や向
き、倍率が異なるなど、画像毎に決められる。従来の眼
底画像の作成手法では画像毎に撮影条件を調整して、画
像間の補正はある程度行っているものの、一枚の画像内
での補正はできない。そのため、画像の結合部において
スケールや歪みの違いによる不連続が生じ、全ての眼底
画像をずれなく貼付けていくことは不可能である。
【０００９】画像面に対して奥行き方向の形状変化を持
つ物体（例えば球面）上の距離は、そのままでは平面
（画像面）上で正確に表現できず、何らかの工夫が必要
である。例えば、地球儀を沢山の方向から写真撮影した
時、それらの写真をそのままずれなく貼り合わせること
ができないのと同じである。それらを平面上でずれなく
貼り合わせるためには、地図のメルカトル図法のように
周辺部のスケールを大きくする（距離の正確さを放棄す
る）か、地図の正距方位図法のように２点間の距離や方
向の正確さを保持する（正確には、正距方位図法では中
心からの距離と方位が正しい）ため画像を歪める（形の
正確さを放棄する）必要がある。
つ物体（例えば球面）上の距離は、そのままでは平面
（画像面）上で正確に表現できず、何らかの工夫が必要
である。例えば、地球儀を沢山の方向から写真撮影した
時、それらの写真をそのままずれなく貼り合わせること
ができないのと同じである。それらを平面上でずれなく
貼り合わせるためには、地図のメルカトル図法のように
周辺部のスケールを大きくする（距離の正確さを放棄す
る）か、地図の正距方位図法のように２点間の距離や方
向の正確さを保持する（正確には、正距方位図法では中
心からの距離と方位が正しい）ため画像を歪める（形の
正確さを放棄する）必要がある。
【００１０】上記の貼り付けを自動化した特開平4-3366
77号公報では、アフィンパラメータしか補正しない。実
際には、画像結合部の不連続や画像のスケール、歪みの
違いなどが存在するが、平面上での補正であるのでこれ
らを正確に補正できない。
77号公報では、アフィンパラメータしか補正しない。実
際には、画像結合部の不連続や画像のスケール、歪みの
違いなどが存在するが、平面上での補正であるのでこれ
らを正確に補正できない。
【００１１】上記の貼り付けを自動化した別な従来手法
特開平9-173298号公報では、固視灯の位置データを用い
て貼り合わせを行っている。注視点の位置という有効な
情報があるにも関わらず、二次元平面上の貼り合わせを
行っているため、画像のスケール、歪みの違いなどによ
る画像の結合部における不連続が生じる問題は解決でき
ていない。なお、この公報において画像間の不連続補正
についての記述は一切なされていない。
特開平9-173298号公報では、固視灯の位置データを用い
て貼り合わせを行っている。注視点の位置という有効な
情報があるにも関わらず、二次元平面上の貼り合わせを
行っているため、画像のスケール、歪みの違いなどによ
る画像の結合部における不連続が生じる問題は解決でき
ていない。なお、この公報において画像間の不連続補正
についての記述は一切なされていない。
【００１２】二次元平面上で画像結合を行っている従来
の手法では、画像面に対する眼底面の傾斜によって生じ
る明度や色の変化を考慮していないため、画像面の明度
や色は必ずしも実際のものと一致していない。さらに、
これは画像間の結合部において生じている明度や色に関
する不連続の原因でもある。
の手法では、画像面に対する眼底面の傾斜によって生じ
る明度や色の変化を考慮していないため、画像面の明度
や色は必ずしも実際のものと一致していない。さらに、
これは画像間の結合部において生じている明度や色に関
する不連続の原因でもある。
【００１３】また、二次元平面上で画像結合を行ってい
る従来の手法では、眼底画像上における二点間の距離
（二次元平面上の距離）は実際の眼球内における距離
（三次元空間内の距離）とは異なる。このため、この眼
底画像上で測定した臨床的に興味のある長さは撮影状態
に大きく依存し、必ずしも信頼性のある値とはなってい
ない。
る従来の手法では、眼底画像上における二点間の距離
（二次元平面上の距離）は実際の眼球内における距離
（三次元空間内の距離）とは異なる。このため、この眼
底画像上で測定した臨床的に興味のある長さは撮影状態
に大きく依存し、必ずしも信頼性のある値とはなってい
ない。
【００１４】さらに、二次元平面上で画像結合を行って
いる従来の手法では、医師が診断機器あるいは手術顕微
鏡などで眼底を診察しているように、眼底を立体的に表
示し観察することは困難である。
いる従来の手法では、医師が診断機器あるいは手術顕微
鏡などで眼底を診察しているように、眼底を立体的に表
示し観察することは困難である。
【００１５】従来の特開平6-331316号公報は、画像面の
傾きとアフィンパラメータしか補正しておらず、眼底の
三次元形状に基づく補正を行っていない。故に基本的に
二次元平面補正の枠内での補正である。
傾きとアフィンパラメータしか補正しておらず、眼底の
三次元形状に基づく補正を行っていない。故に基本的に
二次元平面補正の枠内での補正である。
【００１６】眼底の三次元形状を計測しようとする特開
平8-567号公報では、ステレオマッチングによる三次元
形状復元を行っている。しかし、上記したように眼底画
像には様々な歪みが存在するため、ステレオ画像を良好
な条件で得ることができる眼底の領域は限定される。
平8-567号公報では、ステレオマッチングによる三次元
形状復元を行っている。しかし、上記したように眼底画
像には様々な歪みが存在するため、ステレオ画像を良好
な条件で得ることができる眼底の領域は限定される。
【００１７】網膜の三次元形状を計測する Heidenberg
Retina Tomograph は、網膜の細かい形状変化を計測で
きるが、その計測領域は狭い範囲に限定されている。ま
た、計測時に特別な手段を必要とするため、現在一般の
医療機関で撮影している画像や、過去に撮影した眼底画
像を活用できない。
Retina Tomograph は、網膜の細かい形状変化を計測で
きるが、その計測領域は狭い範囲に限定されている。ま
た、計測時に特別な手段を必要とするため、現在一般の
医療機関で撮影している画像や、過去に撮影した眼底画
像を活用できない。
【００１８】従来の手法を単純に拡張した遠隔診断シス
テムでは、診断側の医師と撮影側の医師がお互いに通信
による意思疏通をしながら眼底の撮影を行う必要があ
る。従来の手法は、システムの構成上、診断する医師は
インタラクティブに操作を行えないため、遠隔医療シス
テムという観点からは診断効率の面で問題が残る。
テムでは、診断側の医師と撮影側の医師がお互いに通信
による意思疏通をしながら眼底の撮影を行う必要があ
る。従来の手法は、システムの構成上、診断する医師は
インタラクティブに操作を行えないため、遠隔医療シス
テムという観点からは診断効率の面で問題が残る。
【００１９】従来の眼底の三次元形状を計測する手法で
は、形状に関する予備知識を持たない。そのため、遠隔
医療やデータベースへの拡張を考えた場合、形状情報の
全てを症例毎に通信／保存する必要があり、必ずしも効
率的でない。
は、形状に関する予備知識を持たない。そのため、遠隔
医療やデータベースへの拡張を考えた場合、形状情報の
全てを症例毎に通信／保存する必要があり、必ずしも効
率的でない。
【００２０】従来の眼底の三次元形状を計測する手法で
は、観察領域が限定されている。そのため、一般の診断
のために十分な範囲を確保できる保証がない。
は、観察領域が限定されている。そのため、一般の診断
のために十分な範囲を確保できる保証がない。
【００２１】また、従来の眼底の三次元形状を計測する
手法では、特別な機器を必要とするため、現在一般の医
療機関で撮影している画像や、過去に撮影した画像を利
用できない。
手法では、特別な機器を必要とするため、現在一般の医
療機関で撮影している画像や、過去に撮影した画像を利
用できない。
【００２２】
【問題を解決するための手段】本発明の請求項１に係る
眼底画像システムは、患者の眼底を撮影した眼底画像
と、眼底の形状を模擬し、予め作成された眼底形状モデ
ルと、眼底画像の撮影条件を表すパラメータである画像
平面パラメータを計算するための画像平面パラメータ計
算手段と、画像平面パラメータにしたがって眼底画像を
眼底形状モデル上に投影し眼底モデルを作成するための
眼底モデル生成手段と、その眼底モデルを表示するため
の眼底モデル表示手段とを有する。
眼底画像システムは、患者の眼底を撮影した眼底画像
と、眼底の形状を模擬し、予め作成された眼底形状モデ
ルと、眼底画像の撮影条件を表すパラメータである画像
平面パラメータを計算するための画像平面パラメータ計
算手段と、画像平面パラメータにしたがって眼底画像を
眼底形状モデル上に投影し眼底モデルを作成するための
眼底モデル生成手段と、その眼底モデルを表示するため
の眼底モデル表示手段とを有する。
【００２３】本発明の請求項２に係る眼底画像システム
は、前記眼底形状モデルとして、標準的な眼底形状モデ
ルまたは症例や年齢、性別など患者の属性を考慮した眼
底形状モデルを使用する。
は、前記眼底形状モデルとして、標準的な眼底形状モデ
ルまたは症例や年齢、性別など患者の属性を考慮した眼
底形状モデルを使用する。
【００２４】本発明の請求項３に係る眼底画像システム
は、前記画像平面パラメータ計算手段は、眼底の特徴点
の対応点データを使用して画像平面パラメータを計算す
る。
は、前記画像平面パラメータ計算手段は、眼底の特徴点
の対応点データを使用して画像平面パラメータを計算す
る。
【００２５】本発明の請求項４に係る眼底画像システム
は、前記画像平面パラメータ計算手段は、眼底中央部の
画像の画像平面パラメータと、眼底中央部と眼底周辺部
の画像における対応点から、眼底周辺部の画像の画像平
面パラメータを計算する。
は、前記画像平面パラメータ計算手段は、眼底中央部の
画像の画像平面パラメータと、眼底中央部と眼底周辺部
の画像における対応点から、眼底周辺部の画像の画像平
面パラメータを計算する。
【００２６】本発明の請求項５に係る眼底画像システム
は、前記画像平面パラメータ計算手段は、眼底中央部の
画像の画像平面パラメータと、眼底中央部と眼底周辺部
の画像における対応点をオプティカルフローに基づいて
求め、眼底周辺部の画像の画像平面パラメータを計算す
る。
は、前記画像平面パラメータ計算手段は、眼底中央部の
画像の画像平面パラメータと、眼底中央部と眼底周辺部
の画像における対応点をオプティカルフローに基づいて
求め、眼底周辺部の画像の画像平面パラメータを計算す
る。
【００２７】本発明の請求項６に係る眼底画像システム
は、前記眼底モデル生成手段は、眼底形状モデルの表面
上で、複数の眼底画像の結合処理を行う画像結合手段を
有する。
は、前記眼底モデル生成手段は、眼底形状モデルの表面
上で、複数の眼底画像の結合処理を行う画像結合手段を
有する。
【００２８】本発明の請求項７に係る眼底画像システム
は、前記画像結合手段は、投影された複数の眼底画像の
重なり部分を判断し、その領域内でオプティカルフロー
を用いた画像の結合処理を行う。
は、前記画像結合手段は、投影された複数の眼底画像の
重なり部分を判断し、その領域内でオプティカルフロー
を用いた画像の結合処理を行う。
【００２９】本発明の請求項８に係る眼底画像システム
は、前記眼底モデル生成手段は、前記画像結合手段によ
って画像の結合処理を行う際に、眼底形状モデルの形状
と、画像平面パラメータに基づいて、眼底画像の明度や
色の補正を行うための眼底画像明度／色補正手段を有す
る。
は、前記眼底モデル生成手段は、前記画像結合手段によ
って画像の結合処理を行う際に、眼底形状モデルの形状
と、画像平面パラメータに基づいて、眼底画像の明度や
色の補正を行うための眼底画像明度／色補正手段を有す
る。
【００３０】本発明の請求項９に係る眼底画像システム
は、前記眼底モデル表示手段は、眼底モデル上に指定し
た二点間の距離を三次元空間内の距離として測定する眼
底距離測定手段を有する。
は、前記眼底モデル表示手段は、眼底モデル上に指定し
た二点間の距離を三次元空間内の距離として測定する眼
底距離測定手段を有する。
【００３１】本発明の請求項１０に係る眼底画像システ
ムは、前記眼底モデル生成手段によって作成された眼底
モデルを記録・管理する眼底モデル記録手段を有する。
ムは、前記眼底モデル生成手段によって作成された眼底
モデルを記録・管理する眼底モデル記録手段を有する。
【００３２】本発明の請求項１１に係る眼底画像システ
ムは、前記眼底モデル記録手段に蓄積された複数のデー
タを同時に表示する、又はそれらデータの違いを定量計
算する眼底モデル比較手段を有する。
ムは、前記眼底モデル記録手段に蓄積された複数のデー
タを同時に表示する、又はそれらデータの違いを定量計
算する眼底モデル比較手段を有する。
【００３３】本発明の請求項１２に係る眼底画像システ
ムは、前記眼底モデル生成手段によって作成された眼底
モデルに関する情報を通信するための通信手段を有す
る。
ムは、前記眼底モデル生成手段によって作成された眼底
モデルに関する情報を通信するための通信手段を有す
る。
【００３４】
【発明の実施の形態】実施の形態１ 図１に本発明の実施の形態１の構成図を示す。眼底画像
１０１は、患者の眼底を撮影した画像である。図２に眼
底画像の一例を示す。眼底形状モデル１０２は、眼底の
形状を模擬した形状モデルであり、例えば日本にあって
は標準的な日本人の眼底形状を模擬して予め作成され
る。図３に眼底形状モデルの一例を示す。これは、その
表面上に視神経乳頭の輪郭線や網膜中心窩などの特徴点
の位置情報を併せ持つ。なお、眼底形状モデル１０２
は、症例や年齢、性別などの属性に対応して複数種類を
用意しておき、患者の属性を考慮した眼底形状モデルを
選択して使用することも考えられる。
１０１は、患者の眼底を撮影した画像である。図２に眼
底画像の一例を示す。眼底形状モデル１０２は、眼底の
形状を模擬した形状モデルであり、例えば日本にあって
は標準的な日本人の眼底形状を模擬して予め作成され
る。図３に眼底形状モデルの一例を示す。これは、その
表面上に視神経乳頭の輪郭線や網膜中心窩などの特徴点
の位置情報を併せ持つ。なお、眼底形状モデル１０２
は、症例や年齢、性別などの属性に対応して複数種類を
用意しておき、患者の属性を考慮した眼底形状モデルを
選択して使用することも考えられる。
【００３５】画像面パラメータ計算手段１０３は、眼底
形状モデル１０２のローカル座標系における画像平面の
パラメータを計算する手段である。画像平面のパラメー
タとしては、例えば、焦点距離、アスペクト比、画像中
心座標（焦点から画像平面へおろした垂線と画像平面の
交点の画像平面上における二次元座標）、カメラの位置
姿勢を記述したマトリクスなどがある。
形状モデル１０２のローカル座標系における画像平面の
パラメータを計算する手段である。画像平面のパラメー
タとしては、例えば、焦点距離、アスペクト比、画像中
心座標（焦点から画像平面へおろした垂線と画像平面の
交点の画像平面上における二次元座標）、カメラの位置
姿勢を記述したマトリクスなどがある。
【００３６】眼底モデル生成手段１０４は、画像平面パ
ラメータ計算手段１０３で計算した画像平面パラメータ
にしたがって、眼底画像１０１を眼底形状モデル１０２
に投影マッピングし、眼底モデル１０５を生成する手段
である。眼底モデル表示手段１０６は、眼底モデル生成
手段１０４によって生成された眼底モデル１０５を表示
する手段である。眼底モデル表示手段１０６において、
ユーザは眼底モデル１０５を任意に移動、回転、拡大縮
小することができる。
ラメータ計算手段１０３で計算した画像平面パラメータ
にしたがって、眼底画像１０１を眼底形状モデル１０２
に投影マッピングし、眼底モデル１０５を生成する手段
である。眼底モデル表示手段１０６は、眼底モデル生成
手段１０４によって生成された眼底モデル１０５を表示
する手段である。眼底モデル表示手段１０６において、
ユーザは眼底モデル１０５を任意に移動、回転、拡大縮
小することができる。
【００３７】次に画像平面パラメータ計算手段１０３に
ついて詳細に述べる。画像平面のパラメータは以下のよ
うに計算できる。 １．眼底形状モデル１０２の特徴点に関して、眼底画像
１０１上の二次元座標とそれに対応する眼底形状モデル
１０２表面上の三次元座標をデータとして対応点データ
を作成する。 ２．対応点データから画像平面パラメータを計算する。
計算方法は、例えば「Juyang Weng, Paul Cohen, and M
arc Heriniou : “CALIBRATION OF STEREO CAMERAS USI
NG A NON-LINEAR DISTORTION MODEL”, IEEE ICPR '90,
pp.246 - 253,1990．」や、「G．Chanpleboux, S.Lava
llee, P.Sautot, and P.Cinoquin: “Acculate Calibra
tion of Cameras and Range Imaging Sensors, The NPB
S Method”,IEEE International Conference on Roboti
cs and Automation, Nice, France, pp.1552- 1558, 19
92.」などに詳細に述べられている。
ついて詳細に述べる。画像平面のパラメータは以下のよ
うに計算できる。 １．眼底形状モデル１０２の特徴点に関して、眼底画像
１０１上の二次元座標とそれに対応する眼底形状モデル
１０２表面上の三次元座標をデータとして対応点データ
を作成する。 ２．対応点データから画像平面パラメータを計算する。
計算方法は、例えば「Juyang Weng, Paul Cohen, and M
arc Heriniou : “CALIBRATION OF STEREO CAMERAS USI
NG A NON-LINEAR DISTORTION MODEL”, IEEE ICPR '90,
pp.246 - 253,1990．」や、「G．Chanpleboux, S.Lava
llee, P.Sautot, and P.Cinoquin: “Acculate Calibra
tion of Cameras and Range Imaging Sensors, The NPB
S Method”,IEEE International Conference on Roboti
cs and Automation, Nice, France, pp.1552- 1558, 19
92.」などに詳細に述べられている。
【００３８】対応点データの計算は、例えば図５に示す
ような眼底の特徴点に基づいて計算し対応点データを決
定する。図５には、眼底のほぼ中央に位置する中心窩
と、視神経の集中する視神経乳頭、そして血管の様式図
が示されている。標準的な眼球は、概ね以下の情報に合
致する。眼球の直径は２４ｍｍ（図４（ａ））、網膜中
心窩は、眼球のほぼ中央に位置する（図４（ａ））、視
神経乳頭は、網膜中心窩から人体の鼻側に向かって３０
〜４０ｍｍに位置し（図４（ｂ））、眼球中央から網膜
中心窩と視神経乳頭にそれぞれ延びる直線のなす角は１
５ｄｅｇ（図４（ａ））である。また、視神経乳頭は、
縦が１３〜１４ｍｍ、横が１５ｍｍの楕円である。図４
（ｂ）において、視神経乳頭から延びる２本の曲線分は
網膜の血管を模している。
ような眼底の特徴点に基づいて計算し対応点データを決
定する。図５には、眼底のほぼ中央に位置する中心窩
と、視神経の集中する視神経乳頭、そして血管の様式図
が示されている。標準的な眼球は、概ね以下の情報に合
致する。眼球の直径は２４ｍｍ（図４（ａ））、網膜中
心窩は、眼球のほぼ中央に位置する（図４（ａ））、視
神経乳頭は、網膜中心窩から人体の鼻側に向かって３０
〜４０ｍｍに位置し（図４（ｂ））、眼球中央から網膜
中心窩と視神経乳頭にそれぞれ延びる直線のなす角は１
５ｄｅｇ（図４（ａ））である。また、視神経乳頭は、
縦が１３〜１４ｍｍ、横が１５ｍｍの楕円である。図４
（ｂ）において、視神経乳頭から延びる２本の曲線分は
網膜の血管を模している。
【００３９】計算は、具体的には(1.1)視神経乳頭輪郭
線の眼底画像上における二次元座標と、眼底形状モデル
表面上における三次元座標、(1.2)網膜中心窩の眼底画
像上における二次元座標と、眼底形状モデル表面上にお
ける三次元座標、などを対応点データとする。
線の眼底画像上における二次元座標と、眼底形状モデル
表面上における三次元座標、(1.2)網膜中心窩の眼底画
像上における二次元座標と、眼底形状モデル表面上にお
ける三次元座標、などを対応点データとする。
【００４０】眼底中央部における画像平面パラメータ計
算のための対応点データは以下の手順で入力し計算す
る。 （2.1）予め眼底形状モデル１０２表面上に眼底形状モ
デル１０２の視神経乳頭５０１の輪郭線と網膜中心窩５
０２の位置（三次元座標）を定めておく。 （2.2）ユーザは眼底画像１０１上に眼底画像１０１の
視神経乳頭５０１の輪郭線と網膜中心窩５０２の位置を
指定する（図５）。 （2.3）ユーザが眼底画像１０１上に指定した眼底画像
１０１の視神経乳頭５０１の輪郭線と網膜中心窩５０２
の位置から、それらの二次元座標を計算し、その二次元
座標のそれぞれに対応する前記（2.1）で定めた眼底形
状モデル１０２の視神経乳頭５０１の輪郭線と網膜中心
窩５０２の三次元座標を求め、対応点データを作成す
る。 （2.4）これを全ての二次元座標に対して計算し、対応
点データを作成する。
算のための対応点データは以下の手順で入力し計算す
る。 （2.1）予め眼底形状モデル１０２表面上に眼底形状モ
デル１０２の視神経乳頭５０１の輪郭線と網膜中心窩５
０２の位置（三次元座標）を定めておく。 （2.2）ユーザは眼底画像１０１上に眼底画像１０１の
視神経乳頭５０１の輪郭線と網膜中心窩５０２の位置を
指定する（図５）。 （2.3）ユーザが眼底画像１０１上に指定した眼底画像
１０１の視神経乳頭５０１の輪郭線と網膜中心窩５０２
の位置から、それらの二次元座標を計算し、その二次元
座標のそれぞれに対応する前記（2.1）で定めた眼底形
状モデル１０２の視神経乳頭５０１の輪郭線と網膜中心
窩５０２の三次元座標を求め、対応点データを作成す
る。 （2.4）これを全ての二次元座標に対して計算し、対応
点データを作成する。
【００４１】また、眼底周辺部における対応点データは
以下の手順で入力し計算する。 （3.1）中央部の眼底画像（図６(ａ））と周辺部の眼底
画像（図６(b））において、二つの画像で対応する点
（図中＋印）をそれぞれの画像上で指定する（図６）。 （3.2）中央部の眼底画像（図６(ａ））において、前述
したように指定された点（図中＋印）の三次元座標を求
める。 （3.3）前記（3.1）の対応関係より、前記（3.2）で求
めた三次元座標から周辺部の眼底画像（図６(b）)の二
次元座標に対応する三次元座標を対応付ける。 （3.4）これを全ての二次元座標について行い、対応点
データ作成する。
以下の手順で入力し計算する。 （3.1）中央部の眼底画像（図６(ａ））と周辺部の眼底
画像（図６(b））において、二つの画像で対応する点
（図中＋印）をそれぞれの画像上で指定する（図６）。 （3.2）中央部の眼底画像（図６(ａ））において、前述
したように指定された点（図中＋印）の三次元座標を求
める。 （3.3）前記（3.1）の対応関係より、前記（3.2）で求
めた三次元座標から周辺部の眼底画像（図６(b）)の二
次元座標に対応する三次元座標を対応付ける。 （3.4）これを全ての二次元座標について行い、対応点
データ作成する。
【００４２】次に、以上のように中央部の眼底画像と周
辺部の眼底画像の対応点をユーザがマニュアルで指定す
ることで、対応点データを生成し求められた画像平面の
パラメータを、より高精度且つ高信頼の画像平面パラメ
ータに修正する手法について述べる。
辺部の眼底画像の対応点をユーザがマニュアルで指定す
ることで、対応点データを生成し求められた画像平面の
パラメータを、より高精度且つ高信頼の画像平面パラメ
ータに修正する手法について述べる。
【００４３】図７に本手法の概念図を示す。眼底周辺部
における対応点データは前述のように、中央部の眼底画
像と周辺部の眼底画像の対応点から得ることができる。
本手法では、前記で求められた画像平面のパラメータか
ら重なり領域７０３のオプティカルフローを計算するこ
とで、眼底周辺部における画像平面のパラメータを修正
し、より高精度且つ高信頼の画像平面パラメータ得る。
における対応点データは前述のように、中央部の眼底画
像と周辺部の眼底画像の対応点から得ることができる。
本手法では、前記で求められた画像平面のパラメータか
ら重なり領域７０３のオプティカルフローを計算するこ
とで、眼底周辺部における画像平面のパラメータを修正
し、より高精度且つ高信頼の画像平面パラメータ得る。
【００４４】以下動作手順を述べる。 （4.1）中央部画像７０１と周辺部画像７０２の重なり
領域７０３を計算し、中央重なり領域画像７０４と周辺
重なり領域画像７０５を生成する。 （4.2）中央重なり領域画像７０４と周辺重なり領域画
像７０５のオプティカルフローを計算する。オプティカ
ルフローの計算は、例えば「B.K.P.Horn and B.G.Schun
ck:“Determining Optical Flow”,Artif.Intel,Vol.1
7,pp.185-204,1981.」などに詳細に述べられている。 （4.3）オプティカルフローは中央重なり領域画像７０
４と周辺重なり領域画像７０５の画素の対応関係を表し
ているので，周辺部画像７０２の各画素に対応する中央
部画像７０１の画素を求める。 （4.4）前記（4.3）で求められた対応関係より，ユーザ
がマニュアル指定で、対応点データを生成し求めた眼底
周辺部における対応点データにおける三次元座標部分
を、対応する中央部画像７０１上の画素の三次元座標に
置き換える。 （4.5）これを周辺重なり領域画像７０５上の全ての二
次元座標に対して行い、対応点データを修正する。
領域７０３を計算し、中央重なり領域画像７０４と周辺
重なり領域画像７０５を生成する。 （4.2）中央重なり領域画像７０４と周辺重なり領域画
像７０５のオプティカルフローを計算する。オプティカ
ルフローの計算は、例えば「B.K.P.Horn and B.G.Schun
ck:“Determining Optical Flow”,Artif.Intel,Vol.1
7,pp.185-204,1981.」などに詳細に述べられている。 （4.3）オプティカルフローは中央重なり領域画像７０
４と周辺重なり領域画像７０５の画素の対応関係を表し
ているので，周辺部画像７０２の各画素に対応する中央
部画像７０１の画素を求める。 （4.4）前記（4.3）で求められた対応関係より，ユーザ
がマニュアル指定で、対応点データを生成し求めた眼底
周辺部における対応点データにおける三次元座標部分
を、対応する中央部画像７０１上の画素の三次元座標に
置き換える。 （4.5）これを周辺重なり領域画像７０５上の全ての二
次元座標に対して行い、対応点データを修正する。
【００４５】（4.6）対応点データから画像平面のパラ
メータを計算する。計算方法は、例えば「Juyang Weng,
Paul Cohen,and Marc Heriniou:“CALIBRATION OF STER
EO CAMERAS USING A NON-LINEAR DISTORTION MODER”,I
EEE ICPR ’90,pp.246-253,1990」や「G.Chanpleboux ,
S.Lavallee,P.Sautot,and P.Cinoquin; “Acculate Cal
ibration of Cameras and Range Imaging Sensors,The
NPBS Method”,IEEE International Conference on Rob
otics and Automaition,Nice,France,PP1552-1558,199
2」などに詳細に述べられている。 （4.7）前記（4.2）から（4.6）の修正を計算が収束す
る（オプティカルフローの二乗和が十分小さくなる）ま
で繰り返し行う。
メータを計算する。計算方法は、例えば「Juyang Weng,
Paul Cohen,and Marc Heriniou:“CALIBRATION OF STER
EO CAMERAS USING A NON-LINEAR DISTORTION MODER”,I
EEE ICPR ’90,pp.246-253,1990」や「G.Chanpleboux ,
S.Lavallee,P.Sautot,and P.Cinoquin; “Acculate Cal
ibration of Cameras and Range Imaging Sensors,The
NPBS Method”,IEEE International Conference on Rob
otics and Automaition,Nice,France,PP1552-1558,199
2」などに詳細に述べられている。 （4.7）前記（4.2）から（4.6）の修正を計算が収束す
る（オプティカルフローの二乗和が十分小さくなる）ま
で繰り返し行う。
【００４６】以下に眼底モデル生成手段１０４としての
画像結合手段について説明する。眼底画像の結合は以下
の手順によって行う。 （5.1）眼底画像の明度や色の変化を補正する（眼底画
像は傾きにより、照射光の反射率が異なることにより、
明度や色の変化するので、結合する眼底画像の明度や色
相を結合される眼底画像の明度や色相に合わせるよう補
正する。眼底画像の明度／色補正方法については後述す
る）。また、画像補正の代りとして、二次微分画像や固
有値画像を対応点計算アルゴリズムへの入力画像として
も良い。 （5.2）結合する二枚の画像間において対応点を検索す
る。まず、一枚目の画像において二枚目の画像との重な
り領域を細分割する。細分割された領域の位置をシフト
させながら、二枚目の画像との相関をとり、細分割領域
と最も相関が高い位置すなわち細分割領域に対応する二
枚目の画像上の領域を検索する。これを全ての細分割領
域について行う。 （5.3）求めた対応データに基づき、従来の Morphing
などの手法によって画像の重なり領域を自然に融合す
る。
画像結合手段について説明する。眼底画像の結合は以下
の手順によって行う。 （5.1）眼底画像の明度や色の変化を補正する（眼底画
像は傾きにより、照射光の反射率が異なることにより、
明度や色の変化するので、結合する眼底画像の明度や色
相を結合される眼底画像の明度や色相に合わせるよう補
正する。眼底画像の明度／色補正方法については後述す
る）。また、画像補正の代りとして、二次微分画像や固
有値画像を対応点計算アルゴリズムへの入力画像として
も良い。 （5.2）結合する二枚の画像間において対応点を検索す
る。まず、一枚目の画像において二枚目の画像との重な
り領域を細分割する。細分割された領域の位置をシフト
させながら、二枚目の画像との相関をとり、細分割領域
と最も相関が高い位置すなわち細分割領域に対応する二
枚目の画像上の領域を検索する。これを全ての細分割領
域について行う。 （5.3）求めた対応データに基づき、従来の Morphing
などの手法によって画像の重なり領域を自然に融合す
る。
【００４７】以下にオプティカルフローの計算による画
像結合手法について説明する。オプティカルフローの計
算による眼底画像の結合は以下の手順によって行う。手
法の概念図を図１０、図 １１、 図 １２に示す。 （6.1）図１０に示すように、二枚の画像Ａ１００１
と，画像Ｂ１００２の重なり領域１００３を抽出する。 （6.2）眼底画像の明度や色の変化を補正する。（眼底
画像は傾きにより、照射光の反射率が異なることによ
り、明度や色の変化するので、結合する眼底画像の明度
や色相を結合される眼底画像の明度や色相に合わせるよ
う補正する。眼底画像の明度／色補正方法については後
述する）。
像結合手法について説明する。オプティカルフローの計
算による眼底画像の結合は以下の手順によって行う。手
法の概念図を図１０、図 １１、 図 １２に示す。 （6.1）図１０に示すように、二枚の画像Ａ１００１
と，画像Ｂ１００２の重なり領域１００３を抽出する。 （6.2）眼底画像の明度や色の変化を補正する。（眼底
画像は傾きにより、照射光の反射率が異なることによ
り、明度や色の変化するので、結合する眼底画像の明度
や色相を結合される眼底画像の明度や色相に合わせるよ
う補正する。眼底画像の明度／色補正方法については後
述する）。
【００４８】また、画像補正の代りとして、二次微分画
像や固有値画像を対応点計算アルゴリズムへの入力画像
としても良い。 （6.3）結合する二枚の画像間において対応点を計算す
る。二枚の画像を入力としてオプティカルフローを計算
する。オプティカルフローの計算は、例えば「B.K.P.Ho
rn and B.G. Schunck: “Determining Optical Flow001
3800138”, Artif.Intell., Vol.17, pp.185 - 204, 19
81.」などに詳細に述べられている。 （6.4）求めた対応データに基づき、画像の重なり領域
を融合する。
像や固有値画像を対応点計算アルゴリズムへの入力画像
としても良い。 （6.3）結合する二枚の画像間において対応点を計算す
る。二枚の画像を入力としてオプティカルフローを計算
する。オプティカルフローの計算は、例えば「B.K.P.Ho
rn and B.G. Schunck: “Determining Optical Flow001
3800138”, Artif.Intell., Vol.17, pp.185 - 204, 19
81.」などに詳細に述べられている。 （6.4）求めた対応データに基づき、画像の重なり領域
を融合する。
【００４９】オプティカルフローの手法を以下に示す。
説明の便宜上、以下ではオプティカルフローは画像Ａか
ら画像Ｂへ画像が変化したと仮定したときのオプティカ
ルフローとする。また、画像融合の対象となるのは画素
の明度と色であるが、説明の簡単化のため、以下では画
素の明度の融合手法についてのみ説明する。色について
も明度と同様の手法で融合できる。
説明の便宜上、以下ではオプティカルフローは画像Ａか
ら画像Ｂへ画像が変化したと仮定したときのオプティカ
ルフローとする。また、画像融合の対象となるのは画素
の明度と色であるが、説明の簡単化のため、以下では画
素の明度の融合手法についてのみ説明する。色について
も明度と同様の手法で融合できる。
【００５０】（7.1）図１０において、計算の対象とな
っている点(x, y)における画像Ａの重なり領域１００４
上の画素の明度をIＡ (x, y)，画像Ｂの重なり領域１０
０５上の画素の明度をIＢ(x, y)とする。ただし，ここ
での座標(x, y)は画像Ａ１００１上や画像Ｂ１００２上
あるいは画像Ａの重なり領域１００４上や図画像Ｂの重
なり領域１００５上での点の座標とは異なる。例えば、
画像の結合処理を眼底モデル表面上で行う場合には、x,
yをそれぞれ緯度、経度と定義すると都合が良い。
っている点(x, y)における画像Ａの重なり領域１００４
上の画素の明度をIＡ (x, y)，画像Ｂの重なり領域１０
０５上の画素の明度をIＢ(x, y)とする。ただし，ここ
での座標(x, y)は画像Ａ１００１上や画像Ｂ１００２上
あるいは画像Ａの重なり領域１００４上や図画像Ｂの重
なり領域１００５上での点の座標とは異なる。例えば、
画像の結合処理を眼底モデル表面上で行う場合には、x,
yをそれぞれ緯度、経度と定義すると都合が良い。
【００５１】また、点(x, y)における 画像Ａの重なり
領域１００４の画像端からの最短距離を dA 、画像Ｂの
重なり領域１００５の画像端からの最短距離をdBとし、 α(x, y) = dA / (dA + dB ) とする。ここで、α(x, y)は点(x, y)における画像Ａの
重なり領域１００４上の画素(明度や色)の信頼度と画像
Ｂの重なり領域１００５上の画素(明度や色)の信頼度と
の関係を表す。
領域１００４の画像端からの最短距離を dA 、画像Ｂの
重なり領域１００５の画像端からの最短距離をdBとし、 α(x, y) = dA / (dA + dB ) とする。ここで、α(x, y)は点(x, y)における画像Ａの
重なり領域１００４上の画素(明度や色)の信頼度と画像
Ｂの重なり領域１００５上の画素(明度や色)の信頼度と
の関係を表す。
【００５２】（7.2）また、点(x, y)における画像Ａの
重なり領域１００４から画像Ｂの重なり領域１００５へ
のオプティカルフローを v(x, y) =( u(x, y), v(x,
y))とする。
重なり領域１００４から画像Ｂの重なり領域１００５へ
のオプティカルフローを v(x, y) =( u(x, y), v(x,
y))とする。
【００５３】（7.3）画像Ａの重なり領域１００４上に
おける点(x - (1 - α)u, y - (1 - α)v)の明度: I´A(x, y) = IA(x - (1 - α) u, y - (1 - α) v)， 画像Ｂの重なり領域１００５上における点(x + αu, y
+ αv)の明度: I´B(x, y) = IB(x + αu, y + αv) をそれぞれ計算する。ここで、αは点(x, y)における画
素の明度の信頼性係数α(x, y)，u,vはそれぞれ点(x,
y)におけるオプティカルフローの成分u(x, y),v(x, y)
である。
おける点(x - (1 - α)u, y - (1 - α)v)の明度: I´A(x, y) = IA(x - (1 - α) u, y - (1 - α) v)， 画像Ｂの重なり領域１００５上における点(x + αu, y
+ αv)の明度: I´B(x, y) = IB(x + αu, y + αv) をそれぞれ計算する。ここで、αは点(x, y)における画
素の明度の信頼性係数α(x, y)，u,vはそれぞれ点(x,
y)におけるオプティカルフローの成分u(x, y),v(x, y)
である。
【００５４】この計算の意味を以下に示す。画像Ａの重
なり領域１００４上において画像Ｂの重なり領域１００
５上の点(x, y)の画素明度と対応する点は点(x - u, y
- v)であり、画像Ｂの重なり領域１００５上において画
像Ａの重なり領域１００４上の点(x, y)の画素明度と対
応する点は点(x + u, y + v)である。すなわち、 IA(x, y) ≒ IB(x + u, y + v) IA(x - u, y - v) ≒ IB(x, y) が成り立つ。よって、画像Ａの重なり領域１００４上に
おける点(x, y)の画素明度は、IA(x, y)とIA(x - u, y
- v)を結ぶ線分上にあり、その線分を1 - α : α に分
割する点における画素明度: I′A(x, y) = IA(x - (1 - α) u, y - (1 - α) v)， で近似できる。同様に画像Ｂの重なり領域１００５にお
ける点(x, y)の画素明度は I´B(x, y) = IB(x + αu, y + αv) で近似できる。
なり領域１００４上において画像Ｂの重なり領域１００
５上の点(x, y)の画素明度と対応する点は点(x - u, y
- v)であり、画像Ｂの重なり領域１００５上において画
像Ａの重なり領域１００４上の点(x, y)の画素明度と対
応する点は点(x + u, y + v)である。すなわち、 IA(x, y) ≒ IB(x + u, y + v) IA(x - u, y - v) ≒ IB(x, y) が成り立つ。よって、画像Ａの重なり領域１００４上に
おける点(x, y)の画素明度は、IA(x, y)とIA(x - u, y
- v)を結ぶ線分上にあり、その線分を1 - α : α に分
割する点における画素明度: I′A(x, y) = IA(x - (1 - α) u, y - (1 - α) v)， で近似できる。同様に画像Ｂの重なり領域１００５にお
ける点(x, y)の画素明度は I´B(x, y) = IB(x + αu, y + αv) で近似できる。
【００５５】(7.4)前記(7.3)で求めた値より、点(x, y)
の画素の推定明度: I′(x, y) = αI′A (x, y) + (1 - α) I´B(x, y) = αIA(x - (1 - α) u, y - (1 - α) v) + (1 - α) IB(x + αu, y + αv) を計算する。
の画素の推定明度: I′(x, y) = αI′A (x, y) + (1 - α) I´B(x, y) = αIA(x - (1 - α) u, y - (1 - α) v) + (1 - α) IB(x + αu, y + αv) を計算する。
【００５６】この概念図を図１２に示す。まず、画像Ａ
の重なり領域１００４上における推定明度αI′A と画
像Ｂの重なり領域１００５上における推定明度I´Bを結
ぶ線分l′上における画素明度の線形補間を考える。次
に、線分l′と画像Ａの重なり領域１００４と画像Ｂの
重なり領域１００５上の点(x, y)を結ぶ線分lとの交点
を考え、線分l′上のこの交点における画素の明度が
I′(x, y)である。従来のIA(x, y)とIB(x, y)を単純に
線形補間する手法に比べ、本発明では空間位置移動を考
慮しているので精度と信頼性の向上が期待できる。 (7.5)上記の計算を全ての点において行う。
の重なり領域１００４上における推定明度αI′A と画
像Ｂの重なり領域１００５上における推定明度I´Bを結
ぶ線分l′上における画素明度の線形補間を考える。次
に、線分l′と画像Ａの重なり領域１００４と画像Ｂの
重なり領域１００５上の点(x, y)を結ぶ線分lとの交点
を考え、線分l′上のこの交点における画素の明度が
I′(x, y)である。従来のIA(x, y)とIB(x, y)を単純に
線形補間する手法に比べ、本発明では空間位置移動を考
慮しているので精度と信頼性の向上が期待できる。 (7.5)上記の計算を全ての点において行う。
【００５７】次に画像結合手段で眼底画像を結合する
際、撮影時における輝度、色相変化を補正する眼底画像
明度／色補正手段について述べる。図８(a)に示すよう
に、眼底画像上の画素の明度はその画素の位置に従い変
化する。これは、図９に示すように、画像平面９０１に
対する眼底形状モデルの表面９０２と傾きにより、照射
光の反射率が異なることによる。例えば、眼底をランバ
ート面と仮定すれば、その明度はcos θ に比例する。
本発明では画像平面と眼底形状モデル表面との関係は既
知であるため、この傾き変化による明度や色の変化を計
算し、眼底上の組織の明度や色を計算し、補正する。従
来の装置では、眼底の面の傾き（眼底の形状）と、撮影
の方向（画像平面のパラメータ）が未知であったため、
本発明のように撮影方向と面の傾きを情報とする補正が
できなかった。
際、撮影時における輝度、色相変化を補正する眼底画像
明度／色補正手段について述べる。図８(a)に示すよう
に、眼底画像上の画素の明度はその画素の位置に従い変
化する。これは、図９に示すように、画像平面９０１に
対する眼底形状モデルの表面９０２と傾きにより、照射
光の反射率が異なることによる。例えば、眼底をランバ
ート面と仮定すれば、その明度はcos θ に比例する。
本発明では画像平面と眼底形状モデル表面との関係は既
知であるため、この傾き変化による明度や色の変化を計
算し、眼底上の組織の明度や色を計算し、補正する。従
来の装置では、眼底の面の傾き（眼底の形状）と、撮影
の方向（画像平面のパラメータ）が未知であったため、
本発明のように撮影方向と面の傾きを情報とする補正が
できなかった。
【００５８】以下に、眼底モデル表示手段１０６につい
て述べる。眼底モデル表示手段１０６は、表示された眼
底画像上に指定した二点間の距離を測定するための眼底
距離測定手段を有している。図１３に示すように、眼底
画像平面上の二点間の距離（図１３(a)）は二次元平面
上での距離であり、実際の眼球内の距離である三次元空
間内の距離（図1３(b)）とは異なる。本実施の形態によ
る眼底モデル表示手段１０６は、表示のために眼底モデ
ル生成手段１０４から送られてくるデータとして眼底形
状を有するため、二点間の距離を三次元空間内の距離と
して測定できる。
て述べる。眼底モデル表示手段１０６は、表示された眼
底画像上に指定した二点間の距離を測定するための眼底
距離測定手段を有している。図１３に示すように、眼底
画像平面上の二点間の距離（図１３(a)）は二次元平面
上での距離であり、実際の眼球内の距離である三次元空
間内の距離（図1３(b)）とは異なる。本実施の形態によ
る眼底モデル表示手段１０６は、表示のために眼底モデ
ル生成手段１０４から送られてくるデータとして眼底形
状を有するため、二点間の距離を三次元空間内の距離と
して測定できる。
【００５９】例えば、三次元空間内に配置された部分
は、図１４に示すように、撮影の方向によって撮影画像
上での長さが変化するので、正確な長さを得るためには
三次元の形状（端点の三次元位置）を知る必要がある。
この例を用いて説明すれば、従来の二次元平面上での距
離計測は撮影画像上で距離を測るのに相当し、本発明の
距離計測は三次元の形状の長さを測るのに相当する。
は、図１４に示すように、撮影の方向によって撮影画像
上での長さが変化するので、正確な長さを得るためには
三次元の形状（端点の三次元位置）を知る必要がある。
この例を用いて説明すれば、従来の二次元平面上での距
離計測は撮影画像上で距離を測るのに相当し、本発明の
距離計測は三次元の形状の長さを測るのに相当する。
【００６０】実施の形態２ 図１５に本発明の実施の形態２を示す。この実施の形態
２は、前記実施の形態１で説明した眼底画像システム１
５０１に眼底画像の記録や管理のための眼底モデル記録
／管理手段１５０２を付加したものである。この眼底モ
デル記録／管理手段１５０２は、眼底画像システム１５
０１とネットワーク１５０３を介して接続される。また
眼底モデル記録／管理手段１５０２は眼底モデル比較手
段を有している。これは、複数の眼底モデルの違いを比
較する手段である。具体的には、半透明表示による重ね
合わせ表示機能、差分成分の表示機能などを有する。ま
た、表示方法として、モノクロ表示した眼底モデルの上
に、カラーで情報を示す方法などを用いてもよい。
２は、前記実施の形態１で説明した眼底画像システム１
５０１に眼底画像の記録や管理のための眼底モデル記録
／管理手段１５０２を付加したものである。この眼底モ
デル記録／管理手段１５０２は、眼底画像システム１５
０１とネットワーク１５０３を介して接続される。また
眼底モデル記録／管理手段１５０２は眼底モデル比較手
段を有している。これは、複数の眼底モデルの違いを比
較する手段である。具体的には、半透明表示による重ね
合わせ表示機能、差分成分の表示機能などを有する。ま
た、表示方法として、モノクロ表示した眼底モデルの上
に、カラーで情報を示す方法などを用いてもよい。
【００６１】実施の形態３ 図１６に本発明の実施の形態３を示す。これは、前記眼
底画像システム１５０１にネットワーク通信機能を付加
したものである。従来の手法を用いて遠隔診断を行おう
とする場合、診断する医師（以下、診断医師と称す）と
眼底画像を撮影する医師（以下、撮影医師と称す）は、
お互いの意思疏通を正確に図る必要があり、遠隔診断シ
ステムの観点から見ると、診断効率の面で問題がある。
底画像システム１５０１にネットワーク通信機能を付加
したものである。従来の手法を用いて遠隔診断を行おう
とする場合、診断する医師（以下、診断医師と称す）と
眼底画像を撮影する医師（以下、撮影医師と称す）は、
お互いの意思疏通を正確に図る必要があり、遠隔診断シ
ステムの観点から見ると、診断効率の面で問題がある。
【００６２】本実施の形態３においては、撮影側の眼底
画像システム１５０１は眼底モデルを構成するための情
報をネットワーク１５０３を介して送信し、診断側の眼
底モデル表示手段１６０２はその情報から眼底モデルを
再構成する。このように眼底モデルを構成するための情
報を診断側の眼底モデル表示手段１６０２に送信するこ
とにより、視点、視方向などの変更や立体表示の度毎の
インタラクティブなデータ通信を撮影側の眼底画像シス
テム１５０１と診断側の眼底モデル表示手段１６０２と
で必要としないため、リアルタイムに自由な視点、視方
向で眼底画像を診断できる。
画像システム１５０１は眼底モデルを構成するための情
報をネットワーク１５０３を介して送信し、診断側の眼
底モデル表示手段１６０２はその情報から眼底モデルを
再構成する。このように眼底モデルを構成するための情
報を診断側の眼底モデル表示手段１６０２に送信するこ
とにより、視点、視方向などの変更や立体表示の度毎の
インタラクティブなデータ通信を撮影側の眼底画像シス
テム１５０１と診断側の眼底モデル表示手段１６０２と
で必要としないため、リアルタイムに自由な視点、視方
向で眼底画像を診断できる。
【００６３】従来の装置では、ネットワークなどの通信
手段により遠隔診断を行う際に、音声などの手段により
撮影側と診断側の医師の意思疏通を図りながら、診断を
行っていた。これらの意思疏通を効率よく行うためには
経験を要し、例えば診断している眼底画像の位置を変更
するだけでも意思を的確に伝達する必要があった。本実
施の形態３では形状情報を含む眼底画像データを伝達す
るため、診断する医師は自由にその視点／視方向を変更
でき、視点／視方向の変更のためだけに意思疏通を図る
必要がない。そのため、遠隔診断の効率を大幅に向上で
きる。また、診断側のシステムを立体表示のシステムに
変更しても通信負荷は変化しない。
手段により遠隔診断を行う際に、音声などの手段により
撮影側と診断側の医師の意思疏通を図りながら、診断を
行っていた。これらの意思疏通を効率よく行うためには
経験を要し、例えば診断している眼底画像の位置を変更
するだけでも意思を的確に伝達する必要があった。本実
施の形態３では形状情報を含む眼底画像データを伝達す
るため、診断する医師は自由にその視点／視方向を変更
でき、視点／視方向の変更のためだけに意思疏通を図る
必要がない。そのため、遠隔診断の効率を大幅に向上で
きる。また、診断側のシステムを立体表示のシステムに
変更しても通信負荷は変化しない。
【００６４】
【発明の効果】以上述べたように本発明の請求項１乃至
請求項５に記載の眼底画像システムによれば、眼底画像
を眼球形状モデルに投影して貼り付けるため、従来では
不可能であった視点や視方向の変更、立体表示が可能に
なる。撮影時に特別な機器を必要としないため、一般の
医療施設で撮影した眼底画像や過去に撮影した眼底画像
に対しても適用できる。
請求項５に記載の眼底画像システムによれば、眼底画像
を眼球形状モデルに投影して貼り付けるため、従来では
不可能であった視点や視方向の変更、立体表示が可能に
なる。撮影時に特別な機器を必要としないため、一般の
医療施設で撮影した眼底画像や過去に撮影した眼底画像
に対しても適用できる。
【００６５】また、請求項６乃至請求項７に記載の眼底
画像システムによれば、眼底モデルと、それを撮影した
画像平面のパラメータを保有するため、眼底形状モデル
の表面上で画像結合を行うため、従来と比較して画像の
結合を高精度で行える。
画像システムによれば、眼底モデルと、それを撮影した
画像平面のパラメータを保有するため、眼底形状モデル
の表面上で画像結合を行うため、従来と比較して画像の
結合を高精度で行える。
【００６６】また、請求項８に載の眼底画像システムに
よれば、眼底モデルと、それを撮影した画像平面のパラ
メータを保有するため、従来では困難であった眼底画像
の明度や色の補正を高精度で行える。
よれば、眼底モデルと、それを撮影した画像平面のパラ
メータを保有するため、従来では困難であった眼底画像
の明度や色の補正を高精度で行える。
【００６７】また、請求項９に記載の眼底画像システム
によれば、眼底モデルと、それを撮影した画像平面のパ
ラメータを保有するため、二点の間の距離を三次元空間
内の距離として測定できる。
によれば、眼底モデルと、それを撮影した画像平面のパ
ラメータを保有するため、二点の間の距離を三次元空間
内の距離として測定できる。
【００６８】また、請求項１０乃至請求項１１に記載の
眼底画像システムによれば、撮影条件を考慮したモデル
をデータとして記録するため、モデル形状を情報として
データ間の位置合わせができるため複数のデータを定量
的に比較でき、症状の時経変化の定量解析に役立つ。
眼底画像システムによれば、撮影条件を考慮したモデル
をデータとして記録するため、モデル形状を情報として
データ間の位置合わせができるため複数のデータを定量
的に比較でき、症状の時経変化の定量解析に役立つ。
【００６９】また、請求項１２に記載の眼底画像システ
ムによれば、ネットワークなどの通信手段により遠隔診
断を行う際に、従来手段により撮影側と診断側の医師の
意思疏通を図りながら、診断を行っていた。これらの意
思疏通を効率よく行うためには経験を要し、例えば診断
している眼底画像の位置を変更するだけでも意思を的確
に伝達する必要があった。本発明では形状情報を含む眼
底画像データを伝達するため、診断する医師は自由にそ
の視点／視方向を変更でき、視点／視方向の変更のため
だけに意思疏通を図る必要がない。そのため、遠隔診断
の効率を大幅に向上できる。また、診断側のシステムを
立体表示のシステムに変更しても通信負荷は変化しな
い。
ムによれば、ネットワークなどの通信手段により遠隔診
断を行う際に、従来手段により撮影側と診断側の医師の
意思疏通を図りながら、診断を行っていた。これらの意
思疏通を効率よく行うためには経験を要し、例えば診断
している眼底画像の位置を変更するだけでも意思を的確
に伝達する必要があった。本発明では形状情報を含む眼
底画像データを伝達するため、診断する医師は自由にそ
の視点／視方向を変更でき、視点／視方向の変更のため
だけに意思疏通を図る必要がない。そのため、遠隔診断
の効率を大幅に向上できる。また、診断側のシステムを
立体表示のシステムに変更しても通信負荷は変化しな
い。
【図１】 本発明の実施の形態１の構成を示すブロック
図。
図。
【図２】 眼底画像の一例を示す模式図。
【図３】 本発明の実施の形態１における眼底形状モデ
ルの一例を示す図。
ルの一例を示す図。
【図４】 眼底の特徴点の一例を示す図。
【図５】 本発明の実施の形態１における眼底中央部の
眼底画像上における特徴点の入力の一実施例の説明図。
眼底画像上における特徴点の入力の一実施例の説明図。
【図６】 本発明の実施の形態１における眼底中央部の
眼底画像と眼底周辺部の眼底画像との対応点入力の一実
施例の説明図。
眼底画像と眼底周辺部の眼底画像との対応点入力の一実
施例の説明図。
【図７】 本発明の実施の形態１における画像面パラメ
ータ計算手段の説明図。
ータ計算手段の説明図。
【図８】 本発明の実施の形態１における眼底画像の明
度や色の補正の説明図。
度や色の補正の説明図。
【図９】 本発明の実施の形態１における眼底における
画像の明度や色の変化の例の説明図。
画像の明度や色の変化の例の説明図。
【図１０】 本発明の実施の形態１における画像結合手
段の説明図。
段の説明図。
【図１１】 本発明の実施の形態１における画像結合手
段の説明図。
段の説明図。
【図１２】 本発明の実施の形態１における画像結合手
段の説明図。
段の説明図。
【図１３】 本発明の実施の形態１による眼底モデルに
おける二点間の距離測定の説明図。
おける二点間の距離測定の説明図。
【図１４】 撮影方向による三次元空間内物体の撮影画
像上における長さ変化の説明図。
像上における長さ変化の説明図。
【図１５】 本発明の実施の形態２の構成を示すブロッ
ク図。
ク図。
【図１６】 本発明の実施の形態３の構成を示すブロッ
ク図。
ク図。
【図１７】 従来の方法による眼底画像の説明図。
１０１：眼底画像、１０２：眼底形状モデル、１０３：
画像面パラメータ計算手段、１０４：眼底モデル生成手
段、１０５：眼底モデル、１０６：眼底モデル表示手
段、５０１：視神経乳頭、５０２：網膜中心窩、７０
１：中央部画像、７０２：周辺部画像、７０３：重なり
領域、７０４と：央重なり領域画像、７０５：周辺重な
り領域画像、１５０１：眼底画像システム、１５０２：
眼底モデル記録／管理手段、１５０３：ネットワーク、
１６０２：診断側の眼底モデル表示手段。
画像面パラメータ計算手段、１０４：眼底モデル生成手
段、１０５：眼底モデル、１０６：眼底モデル表示手
段、５０１：視神経乳頭、５０２：網膜中心窩、７０
１：中央部画像、７０２：周辺部画像、７０３：重なり
領域、７０４と：央重なり領域画像、７０５：周辺重な
り領域画像、１５０１：眼底画像システム、１５０２：
眼底モデル記録／管理手段、１５０３：ネットワーク、
１６０２：診断側の眼底モデル表示手段。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 郭 清蓮 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 多田 美恵子 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 (72)発明者 前田 満雄 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5B057 AA07 CA01 CA13 CB01 CB13 CE10 CE17 DA16 DB03 DB06 DC09
Claims (12)
- 【請求項１】 患者の眼底を撮影した眼底画像と、眼底
の形状を模擬して予め作成された眼底形状モデルと、眼
底画像の撮影条件を表すパラメータである画像平面パラ
メータを計算するための画像平面パラメータ計算手段
と、画像平面パラメータにしたがって眼底画像を眼底形
状モデル上に投影し眼底モデルを作成するための眼底モ
デル生成手段と、その眼底モデルを表示するための眼底
モデル表示手段とを有することを特徴とする眼底画像シ
ステム。 - 【請求項２】 前記眼底形状モデルとして、標準的な眼
底形状モデルまたは症例や年齢、性別など患者の属性を
考慮した眼底形状モデルを使用することを特徴とする請
求項１記載の眼底画像システム。 - 【請求項３】 前記画像面パラメータ計算手段は、眼底
の特徴点の対応点データを使用して画像面パラメータを
計算することを特徴とする請求項１又は請求項２記載の
眼底画像システム。 - 【請求項４】 前記画像平面パラメータ計算手段は、眼
底中央部の画像の画像平面パラメータと、眼底中央部と
眼底周辺部の画像における対応点から、眼底周辺部の画
像の画像平面パラメータを計算することを特徴とする請
求項３記載の眼底画像システム。 - 【請求項５】 画像平面パラメータ計算手段は、眼底中
央部の画像の画像平面パラメータと、眼底中央部と眼底
周辺部の画像における対応点をオプティカルフローに基
づいて求め、眼底周辺部の画像の画像平面パラメータを
計算することを特徴とする請求項４記載の眼底画像シス
テム。 - 【請求項６】 前記眼底モデル生成手段は、眼底形状モ
デルの表面上で、複数の眼底画像の結合処理を行う画像
結合手段を有することを特徴とする請求項１乃至請求項
５の何れかに記載の眼底画像システム。 - 【請求項７】 前記画像結合手段は、投影された複数の
眼底画像の重なり部分を判断し、その領域内でオプティ
カルフローを用いた画像の結合処理を行うことを特徴と
する請求項６記載の眼底画像システム。 - 【請求項８】 前記眼底モデル生成手段は、前記画像結
合手段によって画像の結合処理を行う際に、眼底形状モ
デルの形状と、画像平面のパラメータに基づいて、眼底
画像の明度や色の補正を行うための眼底画像明度／色補
正手段を有することを特徴とする請求項６又は請求項７
に記載の眼底画像システム。 - 【請求項９】 前記眼底モデル表示手段は、眼底モデ
ル上に指定した二点間の距離を三次元空間内の距離とし
て測定する眼底距離測定手段を有することを特徴とする
請求項１乃至請求項８の何れかに記載の眼底画像システ
ム。 - 【請求項１０】 前記眼底モデル生成手段によって作
成された眼底モデルを記録・管理する眼底モデル記録手
段を有することを特徴とする請求項１乃至請求項９の何
れかに記載の眼底眼底画像システム。 - 【請求項１１】前記眼底モデル記録手段に蓄積された複
数のデータを同時に表示する、又はそれらデータの違い
を定量計算する眼底モデル比較手段を有することを特徴
とする請求項１０記載の眼底画像システム。 - 【請求項１２】 前記眼底モデル生成手段によって作
成された眼底モデルに関する情報を通信するための通信
手段を有することを特徴とする請求項１乃至請求項１１
の何れかに記載の眼底画像システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1393999A JP2000210260A (ja) | 1999-01-22 | 1999-01-22 | 眼底画像システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1393999A JP2000210260A (ja) | 1999-01-22 | 1999-01-22 | 眼底画像システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2000210260A true JP2000210260A (ja) | 2000-08-02 |
Family
ID=11847185
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1393999A Pending JP2000210260A (ja) | 1999-01-22 | 1999-01-22 | 眼底画像システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2000210260A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003016212A (ja) * | 2001-07-04 | 2003-01-17 | Hitachi Medical Corp | 医用装置のリモートサービスシステム及びプログラム |
| JP2003187223A (ja) * | 2001-12-19 | 2003-07-04 | Hitachi Ltd | 画像診断装置，画像診断システム及び画像診断方法 |
| JP2004024739A (ja) * | 2002-06-28 | 2004-01-29 | Inst Of Physical & Chemical Res | 眼底の立体表示および座標計測方法と装置 |
| WO2019074077A1 (ja) * | 2017-10-13 | 2019-04-18 | 株式会社ニコン | 眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法 |
| JP2019088823A (ja) * | 2013-05-02 | 2019-06-13 | オプトス ピーエルシー | 眼の画像処理の改良 |
| JP2020000472A (ja) * | 2018-06-28 | 2020-01-09 | 眞 竹田 | 眼底画像球面投影システム |
| KR102156909B1 (ko) * | 2020-03-10 | 2020-09-16 | 아이트로스 주식회사 | 안질환 진단을 위한 영상 처리장치 및 방법 |
| WO2021079504A1 (ja) * | 2019-10-25 | 2021-04-29 | 株式会社ニコン | 画像処理方法、画像処理装置、及びプログラム |
-
1999
- 1999-01-22 JP JP1393999A patent/JP2000210260A/ja active Pending
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003016212A (ja) * | 2001-07-04 | 2003-01-17 | Hitachi Medical Corp | 医用装置のリモートサービスシステム及びプログラム |
| JP2003187223A (ja) * | 2001-12-19 | 2003-07-04 | Hitachi Ltd | 画像診断装置，画像診断システム及び画像診断方法 |
| JP2004024739A (ja) * | 2002-06-28 | 2004-01-29 | Inst Of Physical & Chemical Res | 眼底の立体表示および座標計測方法と装置 |
| US11259696B2 (en) | 2013-05-02 | 2022-03-01 | Optos Plc | Imaging of the eye |
| JP2019088823A (ja) * | 2013-05-02 | 2019-06-13 | オプトス ピーエルシー | 眼の画像処理の改良 |
| WO2019074077A1 (ja) * | 2017-10-13 | 2019-04-18 | 株式会社ニコン | 眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法 |
| US11900533B2 (en) | 2017-10-13 | 2024-02-13 | Nikon Corporation | Ophthalmic system, image signal output method, image signal output device, program, and three-dimensional fundus image generation method |
| JPWO2019074077A1 (ja) * | 2017-10-13 | 2020-11-26 | 株式会社ニコン | 眼科システム、画像信号出力方法、画像信号出力装置、プログラム、及び三次元眼底画像生成方法 |
| JP7334621B2 (ja) | 2017-10-13 | 2023-08-29 | 株式会社ニコン | 眼科システム、画像処理方法、画像処理装置及びプログラム |
| JP2020000472A (ja) * | 2018-06-28 | 2020-01-09 | 眞 竹田 | 眼底画像球面投影システム |
| JPWO2021079504A1 (ja) * | 2019-10-25 | 2021-04-29 | ||
| WO2021079504A1 (ja) * | 2019-10-25 | 2021-04-29 | 株式会社ニコン | 画像処理方法、画像処理装置、及びプログラム |
| JP7472914B2 (ja) | 2019-10-25 | 2024-04-23 | 株式会社ニコン | 画像処理方法、画像処理装置、及びプログラム |
| KR102156909B1 (ko) * | 2020-03-10 | 2020-09-16 | 아이트로스 주식회사 | 안질환 진단을 위한 영상 처리장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6276799B1 (en) | Stereo optic disc analyzer | |
| US5912720A (en) | Technique for creating an ophthalmic augmented reality environment | |
| KR102144671B1 (ko) | 증강현실 안경을 활용한 인공지능형 초음파 자가 진단을 위한 초음파 스캐너 자세 교정 장치 및 이를 이용한 원격 의료 진단 방법 | |
| US8636364B2 (en) | Systems and methods for widefield mapping of the retina | |
| US12099200B2 (en) | Head wearable virtual image module for superimposing virtual image on real-time image | |
| US20230355089A1 (en) | Image signal output device and method, and image data conversion device, method, and program | |
| JP3625064B2 (ja) | 眼底の立体表示および座標計測装置 | |
| EP4355876A1 (en) | Augmented reality system for real space navigation and surgical system using the same | |
| Berger et al. | Computer-vision-enabled augmented reality fundus biomicroscopy | |
| JP2000210260A (ja) | 眼底画像システム | |
| WO2022249190A1 (en) | System and method for verification of conversion of locations between coordinate systems | |
| CN111989030B (zh) | 图像处理方法、程序及图像处理装置 | |
| JP2002034925A (ja) | 多方向から撮影した眼底画像の重合せによる眼底３次元パターンの復元法及び装置 | |
| WO2021074962A1 (ja) | 画像処理方法、画像処理装置、およびプログラム | |
| US12121308B2 (en) | Augmented reality system for real space navigation and surgical system using the same | |
| TWI851916B (zh) | 疊合虛擬影像於即時影像的系統與方法 | |
| JP7472914B2 (ja) | 画像処理方法、画像処理装置、及びプログラム | |
| US11954872B2 (en) | Image processing method, program, and image processing device | |
| AU767947B2 (en) | Stereo display with colour matching and positional registering | |
| AU744773C (en) | Stereo optic disc analyser |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040623 |