JP6604743B2 - 情報処理装置、その作動方法、及びコンピュータプログラム - Google Patents

情報処理装置、その作動方法、及びコンピュータプログラム Download PDF

Info

Publication number
JP6604743B2
JP6604743B2 JP2015093538A JP2015093538A JP6604743B2 JP 6604743 B2 JP6604743 B2 JP 6604743B2 JP 2015093538 A JP2015093538 A JP 2015093538A JP 2015093538 A JP2015093538 A JP 2015093538A JP 6604743 B2 JP6604743 B2 JP 6604743B2
Authority
JP
Japan
Prior art keywords
image
confocal
images
confocal image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015093538A
Other languages
English (en)
Other versions
JP2016209132A5 (ja
JP2016209132A (ja
Inventor
裕之 今村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015093538A priority Critical patent/JP6604743B2/ja
Priority to US15/139,117 priority patent/US10123688B2/en
Publication of JP2016209132A publication Critical patent/JP2016209132A/ja
Publication of JP2016209132A5 publication Critical patent/JP2016209132A5/ja
Application granted granted Critical
Publication of JP6604743B2 publication Critical patent/JP6604743B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016Operational features thereof
    • A61B3/0025Operational features thereof characterised by electronic signal processing, e.g. eye models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/1025Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1225Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
    • A61B3/1233Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14Arrangements specially adapted for eye photography

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Hematology (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)

Description

本発明は、眼科診療に用いられる情報処理装置、その作動方法、及びコンピュータプログラムに関する。
生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザー顕微鏡の原理を利用した眼科装置である走査型レーザー検眼鏡(SLO;Scanning Laser Ophthalmoscope)は、測定光であるレーザーを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。開口部(ピンホール)内を通過した光のみを検出することで、特定の深度位置の戻り光のみを画像化でき、眼底カメラ等に比べてコントラストの高い画像を取得できる。以下、このような平面画像を撮像する装置をSLO装置、該平面画像をSLO画像と記す。
近年、SLO装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のSLO画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のSLO画像の取得において、被検眼の収差によるSLO画像のS/N比及び分解能の低下が問題になってきた。それを解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学SLO装置が開発され、高横分解能なSLO画像の取得を可能にしている。
このような高横分解能なSLO画像は動画像として取得することができ、たとえば血流動態を非侵襲に観察するために、各フレームから網膜血管を抽出した上で毛細血管における血球の移動速度などが計測される。また、SLO画像を用いて視機能との関連を評価するために視細胞Pを検出した上で視細胞Pの密度分布や配列の計測が行われている。図6(b)に高横分解能なSLO画像の例を示す。視細胞Pや毛細血管の位置に対応した低輝度領域Q、白血球の位置に対応した高輝度領域Wが観察できる。前記SLO画像において、視細胞Pを観察する場合にはフォーカス位置を網膜外層(図6(a)のB5)付近に設定して図6(b)のようなSLO画像を撮影する。一方、網膜内層(図6(a)のB2からB4)には網膜血管や分岐した毛細血管が走行している。フォーカス位置を網膜内層に設定して補償光学SLO画像を取得すると、例えば網膜血管壁を直接観察できる。
しかし、網膜内層を撮影した共焦点画像では神経線維層から反射する光の影響でノイズ信号が強く、血管壁の観察や壁境界の検出が難しい場合があった。そこで、近年は受光部手前にあるピンホールの径や形状、位置を変えることにより散乱光を取得して得られた非共焦点画像を観察する方法が用いられるようになってきている(非特許文献1)。非共焦点画像ではフォーカス深度が大きいために血管のように深度方向に凹凸のある物体の観察がしやすく、また、神経線維層からの反射光を直接受光しにくくなるためノイズが低減される。また、網膜外層の視細胞を観察する場合でも、これまで共焦点画像では主に視細胞外節が画像化されていたのに対し、Split Detectorと呼ばれる非共焦点画像では視細胞内節の凹凸が画像化されることがわかってきている(非特許文献2)。初期障害で外節は欠損しているものの内節は生存している視細胞が存在する領域については、共焦点画像では黒く欠損する(図6(k)のDc5)のに対しSplit Detector画像では高輝度な粒状の物体が存在する領域として観察できる(図6(l)のDn5)。これまで、補償光学SLO装置を用いて網膜血管の複数種類の非共焦点画像を取得する技術が非特許文献1に、また補償光学SLO装置を用いて共焦点画像と非共焦点画像を同時に取得する技術が非特許文献2に開示されている。
Sulai,Dubura et al.;"Visualization of retinal vascular structure and perfusion with a nonconfocal adaptive optics scanning light ophthalmoscope",J.Opt.Soc.Am.A,Vol.31,No.3,pp.569−579,2014. Scoles,Dubura et al.;"In vivo Imaging of Human Cone Photoreceptor Inner Segment",IOVS,Vol.55,No.7,pp.4244−4251,2014.
共焦点画像及び非共焦点画像を取得するSLO装置においては、全ての画像に対して同じデータ量及びフォーマットで保存するのが一般的である。このとき、保存できるデータ容量に対して保存しようとする画像のデータ量が多くなってしまう可能性がある。そこで、検査を効率的に行うためには、データを効率的に活用する必要があるため、限られた容量を効率的に活用することが求められる。
本発明の目的の一つは、上記の課題に鑑みてなされたものであり、眼部の非共焦点画像を含む眼部の複数種類の画像を効率的に保存することである。
発明の目的を達成するために、例えば本発明の情報処理装置及びその作動方法は以下の構成を備える。
本発明の一態様による情報処理装置は、
眼部の共焦点画像と非共焦点画像とを含む前記眼部の複数種類の画像を取得する画像取得手段と、
前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を独立に決定する決定手段と、
前記決定された保存形式に基づいて、前記取得された複数種類の画像の少なくとも一つを前記記憶領域に保存する保存手段と、を有する。
また、本発明の一態様による情報処理装置の作動方法は、
眼部の共焦点画像と非共焦点画像とを含む前記眼部の複数種類の画像を取得する工程と、
前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を独立に決定する工程と、
前記決定された保存形式に基づいて、前記取得された複数種類の画像の少なくとも一つを前記記憶領域に保存する工程と、を有する。
本発明の一つによれば、眼部の非共焦点画像を含む眼部の複数種類の画像を効率的に保存することができる。
第一の実施形態に係る情報処理装置10の機能構成例を示すブロック図である。 第一の実施形態に係る情報処理装置10を含むシステムの構成例を示すブロック図である。 第一の実施形態に係るSLO像撮像装置20の全体の構成について説明する図である。 記憶部120、画像処理部130に相当するハードウェアを有し、且つその他の各部をソフトウェアとして保持し、実行するコンピュータのハードウェア構成例を示すブロック図である。 第一の実施形態に係る情報処理装置10が実行する処理のフローチャートである。 第一の実施形態での情報処理内容を説明する図である。 第一の実施形態でのS530で実行される処理の詳細を示すフローチャートである。 第二の実施形態に係る情報処理装置10の機能構成例を示すブロック図である。 第三の実施形態に係る情報処理装置10の機能構成例を示すブロック図である。 第四の実施形態に係る情報処理装置10の機能構成例を示すブロック図である。
本実施形態の一態様は、眼部の少なくとも1種類の非共焦点画像を含む眼部の複数種類の画像を取得する画像取得手段(一例として、図1のデータ取得部110)を有する。また、本実施形態の一態様は、取得された複数種類の画像の種類毎に異なる保存方法を決定する決定手段(一例として、図1の決定部134)を有する。そして、本実施形態の一態様は、該決定された保存方法に基づいて該複数種類の画像の少なくとも一つを記憶領域に保存する保存手段(一例として、図1の保存部135)を有する。これにより、眼部の少なくとも1種類の非共焦点画像を含む眼部の複数種類の画像を効率的に保存することができる。
また、別の本実施形態の一態様は、眼部の共焦点画像と少なくとも1種類の非共焦点画像とを含む眼部の複数種類の画像を取得する画像取得手段(一例として、図1のデータ取得部110)を有する。また、別の本実施形態の一態様は、共焦点画像及び少なくとも1種類の非共焦点画像を記憶領域に保存する保存形式を決定する決定手段(一例として、図1の決定部134)を有する。そして、別の本実施形態の一態様は、決定された保存形式に基づいて、取得された複数種類の画像の少なくとも一つを記憶領域に保存する保存手段(一例として、図1の保存部135)を有する。これにより、眼部の共焦点画像と少なくとも1種類の非共焦点画像とを含む眼部の複数種類の画像を効率的に保存することができる。なお、保存形式は、本明細書において保存方法とも呼ぶ。
なお、別の本実施形態の一態様としては、撮影された画像が解剖学的特徴や病変部位を含むか否か、あるいは撮像された画像の良し悪し(画質や撮像予定部位をどの程度含むか)によって保存するデータ量やフォーマット、圧縮方法などを決定した上で画像を保存することが望ましい。すなわち、受光方法の異なる多種類の画像を取得する装置で、観察・解析上重要性の高い(低い)画像に対してより多く(少ない)のデータ量で保存することで、多数の画像をより効率的に保存する技術が必要となる。ここで、上述した非特許文献1に記載の技術では、多チャンネルの非共焦点画像を取得する補償光学SLO装置に関する技術が開示されているものの、多種類の非共焦点画像を効率的に保存する方法については開示されていない。また、非特許文献2に記載の技術は、共焦点画像及び非共焦点画像を同時に取得しているものの、共焦点画像及び非共焦点画像を効率的に保存する方法については開示されていない。
以下、添付図面に従って本発明に係る情報処理装置、その作動方法、及びコンピュータプログラムの好ましい実施形態について詳説する。ただし、本発明はこれに限定されるものではない。
[第1の実施形態:画像の種類毎に保存方法を予め決定]
本実施形態に係る情報処理装置は、共焦点画像と非共焦点画像を略同時に取得する眼科撮像装置の一例であるSLO装置を用いて、観察対象の一例である眼部の視細胞を撮影する場合に、画像の種類毎に指定された保存方法(保存形式)で、一律に保存するよう構成したものである。ここで、共焦点画像と非共焦点画像とは、同一の眼部を略同一のタイミングで取得した画像である。具体的には、図3(a)(b)に示すような共焦点画像Dcと非共焦点画像Dnを同時に取得するSLO装置で視細胞に関する共焦点画像Dcおよび非共焦点画像Dn(Dnr及びDnl)を取得する。共焦点画像については動画像及び重ね合わせ画像を、非共焦点画像DnはSplit Detectorの重ね合わせ画像として保存する場合について説明する。
(全体構成)
図2は、本実施形態に係る情報処理装置10を含むシステムの構成図である。図2に示すように情報処理装置10は、眼科撮像装置の一例であるSLO像撮像装置20やデータサーバ40、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して通信可能に接続されている。なお、これらの機器との接続は、インターネット等の外部ネットワークを介して通信可能に接続される構成であってもよいし、あるいは情報処理装置10と直接接続されている構成であってもよい。また、情報処理装置が眼科撮像装置に内蔵されて一体として構成されても良い。
また、SLO像撮像装置20は、眼部の広画角画像Dlや高倍率画像である共焦点画像Dcと非共焦点画像Dnを撮像する装置である。SLO像撮像装置20は、広画角画像Dlや共焦点画像Dc、非共焦点画像Dn、及びその撮影時に用いた固視標位置Fl、Fcnの情報を情報処理装置10及びデータサーバ40へ送信する。なお、各画像を異なる撮影位置で取得する場合にはDli,Dcj,Dnkのように表す。すなわちi,jは各々撮影位置番号を示す変数であり、i=1,2,...,imax、j=1,2,...,jmax、k=1,2,...,kmaxとする。また、共焦点画像Dcや非共焦点画像Dnを異なる倍率で取得する場合には、最も倍率の高い画像から順にDc1m,Dc2o,...(Dn1m,Dn2o,...)のように表記する。Dc1m(Dn1m)のことを高倍率共焦点(非共焦点)画像、Dc2o,...(Dn2o,...)を中間倍率共焦点(非共焦点)画像と表記する。
また、データサーバ40は、被検眼の広画角画像Dlや共焦点画像Dc、非共焦点画像Dn、及びその撮影時に用いた固視標位置Fl、Fcnのような撮像条件データ、眼部の画像特徴などを保持する。ここで、データサーバ40における外部記憶装置は、本発明に係る記憶領域の一例である。眼部の画像特徴として、本発明では視細胞Pや毛細血管Q、血球W、網膜血管壁に関する画像特徴を扱う。SLO像撮像装置20が出力する広画角画像Dl、共焦点画像Dc、非共焦点画像Dn、撮影時に用いた固視標位置Fl、Fcn、情報処理装置10が出力する眼部の画像特徴を該サーバに保存する。また情報処理装置10からの要求に応じ、広画角画像Dl、共焦点画像Dc、非共焦点画像Dn、眼部の画像特徴を情報処理装置10に送信する。
次に、図1を用いて本実施形態に係る情報処理装置10の機能構成を説明する。図1は情報処理装置10の機能構成を示すブロック図であり、情報処理装置10はデータ取得部110、記憶部120、画像処理部130、指示取得部140を有する。また、データ取得部110は共焦点データ取得部111、非共焦点データ取得部112、属性データ取得部113を備える。画像処理部130は演算部131、位置合わせ部132、表示制御部133、決定部134、保存部135を備える。さらに、決定部134は保存法決定部1341を有する。
ここで、図3(a)(b)を用いて補償光学を適用したSLO撮像装置20を説明する。SLO撮像装置20はSLD201、シャックハルトマン波面センサ206、補償光学系204、ビームスプリッタ(202、203)、X−Y走査ミラー205、フォーカスレンズ209、絞り210、光センサ211、画像形成部212、出力部213を有する。
光源であるSLD(Super Luminescent Diode)201から照射された光は眼底で反射され、一部が第二のビームスプリッタ203経由でシャックハルトマン波面センサ206へ、それ以外は第一のビームスプリッタ202経由で光センサ211へ入力される。ここで、光源は、共焦点画像を取得するための光源と、非共焦点画像とを取得するための光源とが兼用であるが、異なる波長によって構成された複数の光源等を用いても良い。シャックハルトマン波面センサ206は眼の収差を測定するためのデバイスであり、レンズアレイ207にCCD208が接続されている。入射光がレンズアレイ207を透過するとCCD208に輝点群が現れ、該投影された輝点の位置ずれに基づき波面収差が測定される。補償光学系204はシャックハルトマン波面センサ206で測定された波面収差に基づき、収差補正デバイス(可変形状ミラーもしくは空間光位相変調器)を駆動して収差を補正する。該収差補正された光はフォーカスレンズ209、絞り210を経由し光センサ211にて受光される。ここで、絞り210、光センサ211は、各々本発明に係る開口部、受光部の一例である。なお、開口部は、受光部の前段で且つ受光部付近に設けられていることが好ましい。X―Y走査ミラー205を動かすことで眼底上の走査位置を制御でき、操作者が予め指定した撮影対象領域、時間(フレームレート×フレーム数)のデータを取得する。該データを画像形成部212へ伝送し、走査速度のばらつきに起因する画像歪みの補正や、輝度値の補正を行って画像データ(動画像もしくは静止画像)を形成する。出力部213は画像形成部212が形成した画像データを出力する。眼底上の特定の深さ位置にフォーカスを合わせるためには、補償光学系204内の収差補正デバイスを用いた調整か、光学系内に不図示のフォーカス調整用レンズを設置し、該レンズを移動することによる調整かの少なくともいずれかを用いることができる。
SLO撮像装置20において、共焦点画像Dcと非共焦点画像Dnを取得可能な構成であれば、図3(a)における絞り210及び光センサ211の部分は任意の構成にしてよい。本実施形態では、遮光部210−1(図3(b)・図3(e))及び光センサ211−1、211−2、211−3(図3(b))で構成する。図3(b)において戻り光は、結像面に配置された遮光部210−1に入射した一部光は反射して光センサ211−1へ入射する。ここで、図3(e)を用いて遮光部210−1の説明を行う。遮光部210−1は透過領域210−1−2及び210−1−3、遮光領域(不図示)、反射領域210−1−1で構成され、中心は戻り光の光軸中心に位置するように配置される。遮光部210−1は戻り光の光軸に対して斜めに配置されたときに、光軸方向から見て円形になるような楕円形状のパターンを持っている。遮光部210−1で分割された戻り光は光センサ211−1に入射する。遮光部210−1の透過領域210−1−2及び210−1−3を通過した光は、結像面に配置されたプリズム210−2によって分割され、図3(b)に示すように、光センサ211−2、211−3へそれぞれ入射する。各光センサで得られた電圧信号は、画像形成部212内のADボードにてデジタル値に変換され、2次元画像として形成される。光センサ211−1に入射された光に基づく画像は、特定の狭い範囲に焦点を合わせた共焦点画像となる。また、光センサ211−2及び211−3に入力される光に基づく画像は、広い範囲に焦点を合わせた非共焦点画像となる。ここで、遮光部210−1は、光源からの光が照射された眼部からの戻り光を、共焦点領域を通る戻り光と非共焦点領域を通る戻り光とに分割する光学部材の一例である。また、透過領域210−1−2及び210−1−3は、非共焦点領域の一例であり、非共焦点領域を通る戻り光に基づいて非共焦点画像が取得される。また、反射領域210−1−1は、共焦点領域の一例であり、共焦点領域を通る戻り光に基づいて共焦点画像が取得される。
なお、非共焦点信号の分割法はこれに限られるものではなく、例えば図3(f)のように4つに分割して受信するよう構成してもよい。また、共焦点信号及び非共焦点信号の受信方法はこれに限定されるものではなく、例えば、絞り210(開口部)の径や位置が可変となる機構を有することが好ましい。このとき、図3(c)のように共焦点信号として受信したり、図3(d)のように非共焦点信号を受信するように、開口部の径と光軸方向における位置とのうち少なくとも一つを調整可能に構成されることが好ましい。なお、開口部の径や移動量は任意に調節して良く、例えば、図3(c)では開口部の径を1ADD(Airy Disc Diameter)、図3(d)では開口部の径を10ADD程度、移動量を6ADD程度に調節できる。あるいは、図3(g)や(h)のように、複数の非共焦点信号を略同時に受信するよう構成してもよい。本実施形態では、非共焦点信号が2種類あることから、片側をRチャンネル画像の意味でDnr、もう一方をLチャンネル画像の意味でDnlと表記する。非共焦点画像Dnと標記する場合は、Rチャンネル画像Dnr及びLチャンネル画像Dnlの両方を指している。
なお、図3(a)の構成で走査光学系の振り角を大きくし、補償光学系204が収差補正を行わないよう指示することによってSLO像撮像装置20は通常のSLO装置としても動作し、広画角な共焦点画像および非共焦点画像を撮像できる。なお、以下では高倍率画像Dc、Dnよりも低倍率で、データ取得手段110が取得した画像の中で最も低倍率な画像のことを広画角画像Dl(Dlc、Dlr、Dll)と呼ぶ。従って、広画角画像Dlは補償光学が適用されたSLO画像の場合もあるし、単なるSLO画像の場合も含まれる。なお、共焦点の広画角画像と非共焦点の広画角画像を区別する場合は、各々Dlc、Dlr、Dllと表記する。
次に、図4を用いて情報処理装置10のハードウェア構成について説明する。図4において、301は中央演算処理装置(CPU)、302はメモリ(RAM)、303は制御メモリ(ROM)、304は外部記憶装置、305はモニタ、306はキーボード、307はマウス、308はインターフェースである。ここで、外部記憶装置304は本発明に係る記憶領域の一例である。本実施形態に係る情報処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置304に記憶されている。これらの制御プログラムやデータは、CPU301による制御のもと、バス309を通じて適宜RAM302に取り込まれ、CPU301によって実行され、以下に説明する各部として機能する。情報処理装置10を構成する各ブロックの機能については、図5(a)のフローチャートに示す情報処理装置10の具体的な実行手順と関連付けて説明する。
<ステップ510:画像取得>
データ取得部110はSLO像撮像装置20に対して図6(i)に示すような広画角画像Dl(Dlc、Dlr、Dll)と、図6(i)のPr1に示すような黄斑部の矩形領域で高倍率画像(共焦点画像Dcj、非共焦点画像DnrkおよびDnlk)を取得する。また、対応する固視標位置Fl、Fcnの取得を要求する。SLO像撮像装置20は該取得要求に応じて広画角画像Dlc、Dlr、Dll、共焦点画像Dcjや非共焦点画像Dnrk、Dnlk、対応する固視標位置Fl、Fcnを取得し送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像Dnrk、Dnlk、及び固視標位置Fl、Fcnを受信し、記憶部120に格納する。
<ステップ520:表示>
指示部140経由で指示された演算内容で演算部131が非共焦点データ(DlnもしくはDn)間の演算を行い、非共焦点画像を追加生成する。次に位置合わせ部132が画像位置合わせを行い、表示制御部133が共焦点画像及び非共焦点画像を表示する。本実施形態では、指示部140より演算内容としてSplit Detector((Lチャンネル画像の画素値−Rチャンネル画像の画素値)/(Rチャンネル画像の画素値+Lチャンネル画像の画素値)の演算)が指示されているものとする。演算部131はSplit Detector画像(Dlns及びDns)を生成する。演算部131による演算はこれに限定されず、任意の演算処理を行ってよい。視細胞を撮影した場合の共焦点画像Dc、Split Detector画像Dnsの例を図6(g)及び(h)に示す。位置合わせ部132は、広画角画像Dlc及び非共焦点画像Dcにおけるフレーム間位置合わせを行う。具体的には、
i)位置合わせ部132は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。
ii)位置合わせ部132は、フレーム間の大まかな位置の対応付け(粗位置合わせ)を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてAffine変換を用いて粗位置合わせを行う。
iii)位置合わせ部132は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。
本実施形態ではii)で得られた粗位置合わせ済動画像に対し、非剛体位置合わせ手法の一種であるFFD(Free Form Deformation)法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法はこれに限らず、任意の位置合わせ手法を用いて良い。また、広画角画像Dlcや非共焦点画像Dcに対して決定されたフレーム間位置合わせパラメータ値をDlcやDcだけでなく各々広画角画像Dlr、Dll、Dlns、共焦点画像Dnr、Dnl、Dnsに対しても適用し、フレーム間位置合わせを行う。さらに、フレーム間位置合わせ済みの動画像Dlc、Dlr、Dll、Dlns、Dc、Dnr、Dnl、Dnsに対して重ね合わせ処理を行う。
次に、位置合わせ部132は、広画角画像Dlcの重ね合わせ画像と高倍率画像Dcjの重ね合わせ画像との位置合わせを行い、Dlc上のDcjの相対位置を求める。位置合わせ部131は、記憶部120から高倍率非共焦点画像Dcjの撮影時に用いた固視標位置Fcnを取得し、広画角画像Dlcと共焦点画像Dcjとの位置合わせにおける位置合わせパラメータの探索初期点とする。該パラメータ値の組み合わせを変化させながら広画角画像Dlcと高倍率非共焦点画像Dcjとの位置合わせを行う。広画角画像Dlcの重ね合わせ画像と高倍率共焦点画像Dcjの重ね合わせ画像との類似度が最も高い位置合わせパラメータ値の組み合わせを広画角画像Dlcに対する共焦点画像Dcjの相対位置として決定する。位置合わせ手法はこれに限らず、任意の位置合わせ手法を用いて良い。
また、S510において中間倍率の画像が取得されている場合には、より低倍率な画像から順に位置合わせを行う。例えば高倍率非共焦点画像Dc1mと中間倍率非共焦点画像Dc2oが取得されている場合にはまず広画角画像Dlcと中間倍率画像Dc2oとの間で位置合わせを行い、次いで中間倍率画像Dc2oと高倍率画像Dc1mとの間で位置合わせを行う。
さらに、広画角共焦点画像Dlcと共焦点画像Dcjに対して決定された画像貼り合わせパラメータ値を非共焦点画像(DlrとDnrk、DllとDnlk、DlnsとDnsk)の貼り合わせに対しても適用する。広画角非共焦点画像Dlr、Dll、Dlns上の高倍率非共焦点画像Dnrk、Dnlk、Dnskの相対位置が各々決定される。
表示制御部133は、形成された画像群をモニタ305上に表示する。ここでは、各重ね合わせ画像を、前述した位置合わせパラメータ値を用いて貼り合わせ表示する。また、指示取得部140を経由して指示された撮影位置において、前述したフレーム間位置合わせパラメータ値を用いて重ね合わせ画像もしくはフレーム間位置合わせ済み動画像を表示する。ここで、表示する画像の種類はGUIを用意して切り替える。本実施形態ではラジオボタンを用いて表示を切り替えるが、任意のGUIを用いて切り替えてよい。切り替える画像種としては、共焦点画像Dc及びRチャンネル画像Dnr、Lチャンネル画像Dnl、SplitDetector画像Dnsの4種類を切替え表示する。ここで、表示制御部133は、複数の共焦点画像Dcj及び非共焦点画像Dnkが取得されている場合に共焦点画像Dcj間、及び非共焦点画像Dnk間の濃度差を補正して表示してもよい。任意の公知の輝度補正法を適用でき、本実施形態では各画像Dcj及びDnkにおいてヒストグラムHj及びHkを生成する。ヒストグラムHjとHkの各平均と各分散が画像Dcj間及びDnk間で共通した値になるように各画像Dcj及びDnkの輝度値を線形変換することにより濃度差を補正する。なお、共焦点画像間及び非共焦点画像間の輝度補正法はこれに限らず、任意の公知の輝度補正法を用いてよい。さらに、表示倍率については、指示取得部140を通じて操作者が指定した画像を拡大してモニタ305に表示する。
<ステップ530:データの保存方法を決定>
保存法決定部1341は、属性情報取得部113から撮影済画像の属性情報を取得する。次に、保存法決定部1341は、指示部140より指示された、データサーバ40に保存すべき画像種に対して保存用画像フォーマットやデータ圧縮法、ファイル名や保存場所(path)を決定する。本実施形態では、保存すべき画像種として共焦点画像とSplit Detector画像が指示されているものとする。なお、保存するファイル名や保存場所については必ずしも保存法決定部1341が決定する必要はなく、例えばユーザが指定したファイル名や保存場所(path)を指示取得部140経由で取得することにより決定してもよい。具体的な保存法決定処理についてはS710からS720で詳述する。
<ステップ540:結果の保存>
保存部135は検査日時、披検眼を同定する情報、固視標位置Fl、Fcn、位置合わせパラメータ値と、S530で決定した保存対象の画像種と保存法に基づき、動画像DlcやDcと、DlnsやDnsの重ね合わせ画像とを関連付けてデータサーバ40へ送信する。データサーバ40へ送信された上記データは、データサーバ40内の外部記憶装置内の指定された場所(path)に保存される。なお、保存部135が保存するデータ(画像等)の保存場所はデータサーバ40(に内蔵された外部記憶装置)に限定されない。例えば情報処理装置10の外部記憶装置304でもよい。あるいは、データサーバ40や外部記憶装置304に接続された外付けの外部記憶装置でもよい。また外部記憶装置としては、ハードディスクドライブ(HDD)、半導体を用いた記憶装置(SSDやUSBメモリ)、磁気テープを用いた記憶装置、光学ディスクを用いた記憶装置のいずれであってもよい。
<ステップ550:終了か否かを決定>
指示取得部140は情報処理装置10による広画角画像Dlと高倍率共焦点画像Dcj、高倍率非共焦点画像Dnkに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やマウス307を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS510に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。さらに、図7(a)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
<ステップ710:撮影済画像の属性情報を取得>
保存法決定部1341は、属性情報取得部113から撮影済画像の属性情報を取得する。具体的には、属性情報として各画像の画像種(共焦点画像/Rチャンネル画像/Lチャンネル画像/Split Detector画像)、解像度、階調数、フレーム数を取得する。
<ステップ720:保存用の画像フォーマットを決定>
保存法決定部1341は、保存すべき画像種と保存用の画像フォーマット、データ圧縮法を決定する。一般的に、視細胞を観察する場合には視細胞外節の有無を観察できる共焦点画像と、視細胞内節の有無を観察できるSplit Detector画像が用いられる。そこで、本実施形態では保存すべき画像種として共焦点画像とSplit Detector画像のみが指示されているものとする。次に、保存法決定部1341は保存対象画像種の画像に対して以下の項目を決定する。
・階調数
・解像度
・フレーム数(フレームレート)
・画像フォーマットもしくは画像生成法
・データ圧縮法
一般に、視細胞を観察する場合には主に共焦点画像を観察し、共焦点画像上の低輝度領域に関して、補助的にSplit Detector画像上の対応する領域を観察する。そのため、共焦点画像に対して保存するデータ量を多く、SplitDetector画像に対してデータ量を少なく割り当てるのが効率的である。そこで、本実施形態では、全ての共焦点画像に関して一律に
・16bit
・原画像と同じ解像度
・原画像と同じフレーム数
・動画像(AVI)
・非圧縮
として保存するよう決定する。さらに、全てのSplit Detector画像に対して一律に
・16bit
・原画像と同じ解像度
・1
・重ね合わせ画像
・非圧縮
として保存するように決定する。これらの指示はモニタ305に表示される保存メニューからユーザが保存すべき画像種や画像フォーマット、圧縮法をキーボード306やマウス307で指定することで指示部140経由で画像処理部130に入力してもよい。あるいは、既定の保存法としてユーザ指定なしで実行してもよい。また、本実施形態では共焦点画像及びSplitDetector画像とも同じ階調数、解像度、圧縮法で保存するよう決定したが、本発明はこれに限定されない。例えば共焦点画像を16bit画像として、Split Detector画像を8bit画像として保存するように決定してもよい。あるいは、共焦点の重ね合わせ画像をBitmapのような非圧縮データとして保存し、Split Detectorの重ね合わせ画像をJPEGの圧縮データとして保存するよう決定してもよい。さらに、共焦点画像をフレームレート32の動画像として、SplitDetector画像をフレームレート16の動画像として保存するよう決定してよい。あるいは、共焦点画像の解像度を400画素×400画素、SplitDetector画像を200画素×200画素の解像度で保存するよう決定してもよい。なお、画像等のデータを保存するために必要となるファイル名や外部記憶装置内の保存場所(実際にはコンピュータ名やドライブ名、フォルダ名、ファイル名を含むパス(path))については、本実施形態では保存法決定部1341が所定のファイル名や保存場所を指定する。ただしこれに限らず、ユーザが指定したファイル名や保存場所に関する情報(path)を指示取得部140経由で取得することにより決定してもよい。以上述べた構成によれば、情報処理装置10は共焦点画像と非共焦点画像を同時に取得するSLO装置を用いて視細胞を撮影する場合に、画像種ごとに指定された保存方法で一律に画像を保存する。これにより、観察・解析上重要な眼部画像を効率的に保存できる。
なお、本実施形態では、複数種類の画像の種類毎に保存形式(保存方法)が予め決定されているが、ユーザの指定(例えば、保存形式の選択)に応じて複数の種類の画像の種類毎に保存形式を変更可能に構成されても良い。また、複数の種類の画像の種類毎に異なる保存形式が決定されていることが好ましい。例えば、共焦点画像を非共焦点画像に対して優先的に保存しても良く、このとき、非共焦点画像を保存しない、として保存形式が決定されても良い。また、逆に、非共焦点画像を共焦点画像に対して優先的に保存しても良く、このとき、共焦点画像を保存しない、として保存形式が決定されても良い。また、決定される保存形式としては、画像を保存しない、という保存形式も含むことが好ましい。すなわち、保存形式の決定は、画像を保存するか否かの決定も含むことが好ましい。また、複数種類の画像における観察対象(例えば、視細胞や血管)に応じて、保存形式を決定することが好ましい。例えば、観察対象に応じて、共焦点画像が記憶領域に保存されるフレーム数(データ量の一例)と非共焦点画像が記憶領域に保存されるフレーム数との大小関係が異なるように、保存形式を決定することが好ましい。このとき、観察対象が視細胞である場合には、共焦点画像が非共焦点画像よりも適した画像であるため、共焦点画像のフレーム数をより多く保存することが好ましい。また、観察対象が血管である場合には、非共焦点画像が共焦点画像よりも適した画像であるため、共焦点画像のフレーム数を少なく保存することが好ましい。なお、上述した実施形態については、後述する実施形態においても適用可能である。
[第2の実施形態:画像における特徴領域により保存方法を決定]
本実施形態に係る情報処理装置は、共焦点画像と非共焦点画像を同時に取得するSLO装置で撮影する場合に、以下の処理を行う。すなわち、第1実施形態のように画像種ごとに指定された保存方法で一律に保存するのではなく、画像上で取得された画像特徴または病変候補領域に基づき、観察または画像解析上重要な部位を含む画像ほどデータ量を多く割り当てて保存するよう構成したものである。具体的には、図3(a)(b)に示すような共焦点画像Dcjと非共焦点画像Dnkを同時に取得するSLO装置で図6(j)に示すような取得位置で、観察対象の一例である網膜血管の共焦点動画像Dcjと非共焦点動画像Dnkを取得する。網膜静脈閉塞の好発部位である動静脈交差部を含む画像ほどデータ量を多く割り当てて保存する場合について説明する。
本実施形態に係る情報処理装置10と接続される機器の構成を図2(b)に示す。本実施形態ではSLO像撮像装置20に加えて、時相データ取得装置50と接続される点が第1実施形態と異なっている。時相データ取得装置50は、自律的かつ周期的に変化する生体信号データ(時相データ)を取得する装置であり、例えば脈波計もしくは心電計からなる。時相データ取得装置50は不図示の操作者による操作に応じ、高倍率画像Dnkの取得と同時に時相データSjを取得する。得られた時相データSjは、情報処理装置10、データサーバ40へ送信される。なお、時相データ取得装置50は、SLO像撮像装置20に直接接続されている構成であってもよい。
また、データサーバ40は被検眼の広画角画像Dlr、Dll、高倍率画像Dnrk、Dnlk、及びその取得時に用いた固視標位置Fl、Fcnのような取得条件データ以外に、眼部の画像特徴も保持する。眼部の画像特徴としては任意のものを保持できるが、本実施形態では網膜血管及び毛細血管Q、視細胞欠損領域を扱う。時相データ取得装置50が出力する時相データSjや情報処理装置10が出力する眼部の画像特徴は該サーバに保存される。また情報処理装置10からの要求に応じて時相データSj、眼部の画像特徴が情報処理装置10に送信される。
次に、本実施形態に係る情報処理装置10の機能ブロックを図8に示す。データ取得部110に時相データ取得部114を、決定部134に画像特徴取得部1342と、判定部1343を備える点が実施形態1と異なっている。また、本実施形態での画像処理フローは図5に示す通りであり、S510、S520、S530以外は実施形態1の場合と同様である。そこで、本実施形態ではS510、S520、S530の処理のみ説明する。
<ステップ510:画像取得>
データ取得部110は、広画角画像Dlc、Dln、共焦点画像Dcj、非共焦点画像Dnk及び時相データを取得する。本実施形態では、図6(j)に示すように、網膜動脈アーケードAに沿って共焦点画像Dcj、非共焦点画像Dnkを取得するものとする。時相データ取得部114は時相データ取得装置50に対し生体信号に関する時相データSjの取得を要求する。本実施形態では時相データ取得装置として脈波計を用い、被験者の耳垂(耳たぶ)から脈波データSjを取得する。ここで脈波データSjは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ周期的な点列として表現される。時相データ取得装置50は該取得要求に応じて対応する時相データSjを取得し送信するので、時相データ取得部114は時相データ取得装置50からLAN30を介して当該脈波データSjを受信する。時相データ取得部114は受信した時相データSjを記憶部120に格納する。
ここで、時相データ取得装置50が取得する時相データSjのある位相に合わせて共焦点データ取得部111もしくは非共焦点データ取得部112が画像を取得開始する場合と、画像の取得要求後直ちに脈波データPiと画像取得を同時に開始する場合が考えられる。本実施形態では画像取得要求後直ちに時相データPiと画像取得を開始する。時相データ取得部114より各画像の時相データPiを取得し、各々の時相データPiの極値を検出して心拍動の周期及び心時相の相対値(relative cardiac cycle)を算出する。なお、心時相の相対値は、心拍動の周期を1とした場合に0から1までの浮動小数点数で表わされる相対値である。
データ取得部110はSLO像撮像装置20に対して広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像DnrkおよびDnlk、対応する固視標位置Fl、Fcnデータの取得を要求する。SLO像撮像装置20は該取得要求に応じて広画角画像Dlc、Dlr、Dll、共焦点画像Dcjや非共焦点画像Dnrk、Dnlk、対応する固視標位置Fl、Fcnを取得し送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像Dnrk、Dnlk、及び固視標位置Fl、Fcnを受信し、記憶部120に格納する。なお、網膜血管を撮影した場合の共焦点画像Dc、非共焦点画像Dnrの例を図6(c)及び(d)に示す。共焦点画像Dcでは背景の神経線維層の反射が強く、背景部分のノイズにより位置合わせが難しくなりやすい。また、Rチャンネル(Lチャンネル)の非共焦点画像Dnr(Dnl)では、右側(左側)の血管壁のコントラストが高くなる。
一方、非共焦点画像の例はこれに留まらない。例えば非共焦点画像DnrとDnlとの加算処理画像Dnr+l、差分処理の1種((L−R)/(R+L))を適用したSplit Detector画像Dnsdを生成してもよい。Dnr+lとDnsdの例を各々図6(e)と(f)に示す。以下では、非共焦点画像Dnkと表記した場合にはいずれの非共焦点画像Dnkも位置合わせに適用できるが、特に断らない場合はDnr+lを用いるものとして説明を進める。
<ステップ520:表示>
指示部140経由で指示された演算内容で、演算部131が非共焦点データ(DlnもしくはDn)間の演算を行い、非共焦点画像を追加生成する。次に、位置合わせ部132が画像位置合わせを行い、表示制御部133が共焦点画像及び非共焦点画像を表示する。本実施形態では、指示部140より演算内容としてR+L、すなわち(Rチャンネル画像の画素値+Lチャンネル画像の画素値)が指示されているものとする。演算部131は(R+L)画像(Dlnr+l及びDnr+l)を生成する。演算部131による演算はこれに限定されず、任意の演算処理を行ってよい。位置合わせ部132は、広画角画像Dlr+l及び非共焦点画像Dnr+lにおけるフレーム間位置合わせ、重ね合わせ、さらに広画角画像Dlr+lの重ね合わせ画像と高倍率画像Dnr+lkの重ね合わせ画像との貼り合わせ処理を行う。具体的なフレーム間位置合わせ処理や重ね合わせ処理、貼り合わせ処理の手順は第1実施形態の場合と同様であるので省略する。
ここで、決定したフレーム間位置合わせパラメータを他の画像種の画像(広画角画像及び高倍率画像)に対して適用し、フレーム間位置合わせ済み動画像を重ね合わせる点も第1実施形態と変わらない。また広画角共焦点画像Dlr+lと共焦点画像Dnr+lに対して決定された画像貼り合わせパラメータ値を非共焦点画像(DlrとDnrk、DllとDnlk、DlnsとDnsk)の貼り合わせに対しても適用する点も第1実施形態の場合と同様である。表示制御部133は、形成された画像群をモニタ305上に表示する。ここでは、各重ね合わせ画像を、前述した位置合わせパラメータ値を用いて貼り合わせ表示する。また、指示取得部140を経由して指示された撮影位置について、前述したフレーム間位置合わせパラメータ値を用いて重ね合わせ画像もしくはフレーム間位置合わせ済み動画像を表示する。
<ステップ530:データ保存方法を決定>
画像特徴取得部1342が広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を取得し、保存法決定部1341は、該画像特徴に基づいてデータ保存用の画像フォーマットを決定する。具体的な保存法決定処理についてはS711からS721で詳述する。
なお、本実施形態ではステップ530において画像特徴を取得したが、画像特徴を取得するのは本ステップに限定されるものではない。例えば、ステップ510において画像取得後直ちに画像特徴を取得する場合や、ステップ520において画像特徴を取得する場合も本発明に含まれる。
次に、図7(b)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
<ステップ711:画像特徴を取得>
画像特徴取得部1342は、広画角画像Dlnから網膜血管領域及び動静脈交差部を検出する。なお、画像特徴を取得する画像は広画角画像に限定されるものではなく、例えば高倍率画像Dnkから直接取得した画像特徴に基づいてデータ保存法を決定する場合も本発明に含まれる。網膜血管は線状構造を有しているため、網膜血管領域の検出法として本実施形態では線状構造を強調するフィルタを用いて網膜血管を抽出する。具体的には、広画角画像Dlnをアーケード血管の半径に相当するサイズσのガウス関数により平滑化した上でヘッセ行列に基づく線強調フィルタを適用し、閾値Taにより二値化することでアーケード血管を抽出する。ただし、網膜血管領域の検出法はこれに限らず、任意の公知の網膜血管抽出手法を用いてよい。
また、動静脈交差部の検出法としては、本実施形態では特開2001−070247号公報に示す交差検出フィルタを用いる。具体的には、フィルタ外周部における血管領域数が4以上で、かつフィルタ中心部に血管領域が存在する場合に交差部と判定する。網膜動脈の方がヘモグロビンを多く含む関係で網膜静脈よりも高輝度であるため、検出された交差部のうち、交差している各々の血管領域内の最低輝度値を算出して該最低輝値間の差の絶対値が閾値T1以上である場合に動静脈交差と判定する。ただし、交差検出法はこれに限らず、任意の公知の交差検出法を用いてよい。
なお、本実施形態では画像特徴取得部1342が動静脈交差部のような解剖学的特徴を取得する場合について説明したが、本発明はこれに限定されない。例えば、画像特徴として図6(k)の視細胞欠損部Dc5のような病変候補領域を取得してもよい。視細胞欠損領域の検出法は任意の公知の検出法を用いることができるが、本実施形態では以下の手順で検出する。すなわち、共焦点画像Dcjをフーリエ変換し、低域通過フィルタを適用して高周波成分の信号値をカットした後に逆フーリエ変換を行った画像における画素値が閾値T2未満である領域を視細胞欠損領域として検出する。
<ステップ721:保存用の画像フォーマット決定>
保存法決定部1341は、画像特徴取得部1342がステップ711で取得した画像特徴に基づいて、各撮影済みの画像に対して保存する画像種及び保存用の画像フォーマットを決定する。主要な眼疾患の一つである網膜静脈閉塞症において動静脈交差部は病変(網膜静脈の閉塞)の好発部位であることから、本実施形態では動静脈交差部を含む画像では保存するデータ量を多く割り当てる。具体的には、判定部1343が動静脈交差部を含む画像における保存対象の画像種をRチャンネル画像Dnr及びLチャンネル画像Dnl及び(R+L)画像Dnr+lと判定する。さらに、動静脈交差部を含む画像の保存用フォーマットとしては保存法決定部1341がいずれの画像も16bitの非圧縮動画像と決定する。動静脈交差部を含まない画像では保存するデータ量を少なくするために判定部1343が(R+L)画像Dnr+lのみを保存対象と判定し、保存法決定部1341が画像フォーマットとして16bitの非圧縮動画像として決定する。ただし、保存する画像種や画像フォーマットはこれに限らず任意の保存法を指定してよい。
例えば、動静脈交差部を含む画像Dnr、Dnl、Dnr+lに関しては、16bitの非圧縮(R+L)動画像Dnr+lを決定し、それ以外の画像では16bitの非圧縮(R+L)重ね合わせ画像Dnr+lとして決定してもよい。あるいは、判定部1343が保存する画像種を全てDnr及びDnlと判定した上で、保存法決定部1341が動静脈交差部を含む画像Dnr、Dnlに関しては16bitの非圧縮動画像として、それ以外の画像Dnr、Dnlに関しては8bitの非圧縮動画像と決定してもよい。あるいは保存する画像フォーマットとして動静脈交差部を含む画像Dnr、Dnl、Dnr+lに関して非圧縮のAVIファイルとして、それ以外の画像Dnr、Dnl、Dnr+lに関して所定のコーデック(例えばMotion JPEG)で符号化されたAVIファイルとして決定してもよい。
なお、ステップ711で画像特徴として視細胞欠損領域のような病変候補を取得する場合には、非共焦点画像からのみ視細胞が検出される領域が含まれる可能性があるため、以下の手順で各画像の保存法を決定する。すなわち、Is=(共焦点画像Dcj、非共焦点画像Dnkのいずれかからのみ検出した視細胞位置数)/((両種類の画像から視細胞が検出された位置の数)+(共焦点画像Dcj、非共焦点画像Dnkのいずれかからのみ検出した視細胞位置数))を算出する。ただし、ここでは非共焦点画像DnkとしてSplit Detector画像を生成しているものとする。
一般に、視細胞は外節から欠損し始め、次第に内節も欠損して最終的に死滅するとされており、非特許文献2によると共焦点画像Dcjは視細胞外節の欠損の有無、非共焦点画像Dnkは視細胞内節の欠損の有無を観察できるとされている。従って図6(k)に示すような共焦点画像Dc5から視細胞が視認できず非共焦点画像Dn5(図6(l))からのみ視細胞を視認できる位置では視細胞外節は欠損しているが内節は健全であり、回復可能性を有する観察・解析上重要な画像であることを示している。
従って、Isが閾値T3以上の場合に判定部1343がDcj及びDnkを保存対象と判定し、保存法決定部1341がDcjは16bit、非圧縮の動画像及び重ね合わせ画像として、Dnkは16bit、非圧縮の重ね合わせ画像として保存するよう決定する。一方Isが閾値T3未満の画像及び共焦点画像Dcjにおいて視細胞欠損領域を含まない画像については、判定部1343が観察・解析上重要でないとみなして共焦点画像Dcjのみ保存対象と判定し、保存法決定部1341が16bit、非圧縮の重ね合わせ画像として保存するよう決定する。なお、Isの大小に関わらず非共焦点画像Dcj、非共焦点画像Dnkとも所定のフォーマットの画像(例えば重ね合わせ画像)のみ保存し、Isが閾値T3以上の画像は16bitで、閾値T3未満の画像及び視細胞欠損領域を含まない画像は8bitで保存するよう決定してもよい。またはIsの値に関わらずDcj、Dnkとも動画像として保存し、Isが閾値T3以上の画像は非圧縮AVI、閾値T3未満の画像及び視細胞欠損領域を含まない画像は所定のコーデックで符号化されたAVIファイルとして保存するよう決定してよい。本発明に係る圧縮法や画像フォーマットは任意の公知の圧縮法・画像フォーマットを用いることができる。
以上述べた構成によれば、情報処理装置10は共焦点画像と非共焦点画像を取得する装置で撮影する場合に、画像上で取得された画像特徴または病変候補領域に基づいて観察・画像解析上重要な部位を含む画像ほどデータ量を多く割り当てて保存する。これにより、観察・解析上重要な眼部画像を効率的に保存できる。
[第3の実施形態:画像の解析結果により保存方法を決定]
本実施形態に係る情報処理装置は、画像の属性もしくは画像から取得される画像特徴(病変候補)だけでなく、画像を解析した解析結果、すなわち画質や撮像対象領域を画像中に含む割合も用いて保存方法を決定するよう構成したものである。具体的には同一の網膜血管に対して撮影した共焦点画像Dcjと2種類の非共焦点画像Dnk(開口部を大径化し網膜血管の走行に対して右側及び左側に移動させて撮影した非共焦点画像)のデータ保存法を画像の解析結果に基づいて決定する場合について説明する。本実施形態に係る情報処理装置10と接続される機器の構成は第2実施形態の場合と同様である。次に、本実施形態に係る情報処理装置10の機能ブロックを図9に示す。決定部134に適合度算出部1344を備える点が第2実施形態の場合と異なっている。また、本実施形態での画像処理フローは図5と同様であり、S530以外は実施形態2の場合と同様である。そこで、本実施形態ではS530のみ説明する。なお、本実施形態では2種類の非共焦点画像のうち大きな開口部(ピンホール)径で開口部の位置を網膜血管の走行に対して右側に移動して取得された画像をDnr、網膜血管の走行に対して左側に移動して取得された画像をDnlと表記する。
<ステップ530:データの保存方法を決定>
画像特徴取得部1342が広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を取得する。さらに、適合度算出部1344が取得された画像の画質や、撮影対象領域に対する実際撮影された領域の割合に基づいて適合度を算出した上で、保存法決定部1341が該画像特徴及び適合度に基づいてデータ保存用の画像フォーマットを決定する。なお、本ステップにおいて画像特徴部1342が画像特徴を取得するのではなく属性データ取得部113が画像の属性データを取得する場合も本発明に含まれる。具体的な保存法決定処理についてはS712、S722、S732で詳述する。
次に、図7(c)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
<ステップ712:属性情報または画像特徴取得>
画像特徴取得部1342が広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を取得する。網膜血管領域及び動静脈交差部の取得法については第2実施形態の場合と同様であるので説明は省略する。なお、画像特徴取得部1342が第2実施形態のステップ711のように、視細胞欠損領域のような病変候補を取得する場合も本発明に含まれる。具体的な病変候補の取得方法は第2実施形態の場合と同様であるので説明は省略する。また本発明では、画像特徴ではなく属性データを取得してもよい。すなわち、属性データ取得部113が各画像に関する属性データを取得する。例えば属性データとして各画像の画像種(共焦点画像/Rチャンネル画像/Lチャンネル画像)、解像度、階調数、フレーム数を取得する。
<ステップ722:画像の適合度を算出>
適合度算出部1344が各画像の画質や撮影対象領域に対して実際撮影された領域の割合に基づいて適合度を算出する。画質として、本実施形態ではS/N比を算出する。画質に関する指標はこれに限らず、任意の公知の画質指標を用いてよい。例えばCNR(Contrast−Noise Ratio)を算出してもよい。また、本実施形態では撮影対象領域が十分撮影されたかどうかを示す値として(全フレームで撮影された領域の面積)/(撮影対象領域の面積)を算出する。本実施形態では、適合度としてω1・Iq+ω2・Icとし、IqはS/N比が閾値T4以上であれば1、S/N比が閾値T4未満であれば0とする。Icは(全フレームで撮影された領域の面積)/(撮影対象領域の面積)とする。ω1とω2は重みづけパラメータで0〜1までの任意の値を指定でき、本実施形態では両方とも0.5とする。
<ステップ732:保存用の画像フォーマット決定>
保存法決定部1341は、画像特徴取得部1342が取得した画像特徴や適合度算出部1344が算出した適合度に基づいてデータ保存用の画像フォーマットを決定する。本実施形態では、判定部1343が閾値T5以上の適合度を持つRチャンネルDnr及びLチャンネル画像Dnlを保存対象と判定する。また、保存法決定部1341が保存対象画像のうち動静脈交差部を含む画像Dnr、Dnlについては動画像及び重ね合わせ画像、動静脈交差部を含まない画像Dnr、Dnlについては重ね合わせ画像として保存するよう決定する。さらに動静脈交差部を含む動画像Dnr、Dnlに対しては閾値T6以上の適合度を持つ画像を非圧縮AVIで、閾値T6未満の適合度を持つ画像を所定のコーデックで符号化されたAVIファイルとして保存するよう決定する(ただしT5<T6とする)。なお、本実施形態では画像特徴と適合度に基づいてデータ保存用の画像フォーマットを決定したが、本発明はこれに限定されない。例えば、S712で取得した画像の属性データと適合度に基づいてデータ保存用の画像フォーマットを決定してもよい。
また、本実施形態では適合度算出部1344が画質や撮像対象領域を含む割合に基づいて適合度を算出したが、適合度の算出法はこれに限定されず、撮影された画像の座標や画素値に基づく算出法であれば任意の算出法を用いて良い。例えば、撮像された画像の輝度特性、すなわち輝度値や該輝度値に関する統計値に基づいて決定してもよい。具体的には、撮像された画像の平均輝度値を算出して該平均輝度値に重みづけした値を適合度として算出してもよい。あるいは、撮像された画像のコントラスト((最大輝度値−最小輝度値)/(最大輝度値+最小輝度値))を適合度として算出してもよい。
以上述べた構成によれば、情報処理装置10は、画像の属性もしくは画像から取得される画像特徴(病変候補)だけでなく、画像の取得結果、すなわち画質や撮像対象領域を含む割合も用いて保存法を決定する。これにより、観察・解析上重要な眼部画像を効率的に保存できる。
[第4の実施形態:検査日時毎の保存結果に基づいて保存方法を決定]
本実施形態に係る情報処理装置は、異なる検査日時に取得された画像の属性に基づき、多くの検査日時で保存された属性の画像ほどデータ量を多く割り当てて保存するよう構成したものである。具体的には、視細胞外節欠損領域を含む共焦点画像及び非共焦点画像が異なる検査日時で取得されている場合に、以下のような処理を行う。すなわち、該異なる検査日時で取得された画像群の属性を取得し、多くの検査日時で保存されている属性を持つ画像ほどデータ量を多く割り当てて保存する場合について説明する。本実施形態に係る情報処理装置10と接続される機器の構成は第1実施形態の場合と同様である。本実施形態に係る情報処理装置10の機能ブロックの構成についてはデータ取得部110が異なる検査日時のデータを取得すること、時相データ取得部114を含まないこと、決定部134に画像特徴取得部1342を含まないこと、適合度算出部1344が異なる検査日時の画像の属性に基づき過去検査画像との適合度を算出する点が第3実施形態の場合と異なる。また、本実施形態での情報処理フローを図5に示す。S510、S520、S530以外は実施形態3の場合と同様である。そこで、本実施形態ではS510、S520、S530の処理のみ説明する。なお、本実施形態では過去検査における共焦点画像及び非共焦点画像を各々Dcjf、Dnkf(f=1,2,...,e−1であり、fは何回目の検査かを示す自然数)、現検査における共焦点画像及び非共焦点画像を各々Dcje、Dnkeと表記する。
<ステップ510:画像取得>
データ取得部110はSLO像撮像装置20に対して現検査に対応する広画角画像Dlce、Dlne、共焦点画像Dcjeおよび非共焦点画像Dnke、固視標位置Fle、Fcneの取得を要求する。本実施形態では、中心窩に固視標位置Fle、中心窩及び傍中心窩領域に固視標位置Fcneを設定して広画角画像Dlce、Dlne、共焦点画像Dcje,非共焦点画像Dnkeを取得する。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。SLO像撮像装置20は該取得要求に応じて広画角画像Dlce、Dlne、共焦点画像Dcje、非共焦点画像Dnke、固視標位置Fle、固視標位置Fcneを取得して送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlce、Dlne、共焦点画像Dcje、非共焦点画像Dnke及び固視標位置Fle、固視標位置Fcneを受信する。データ取得部110は受信した広画角画像Dlce、Dlne、共焦点画像Dcje、非共焦点画像Dnke及び固視標位置Fle、Fcneを記憶部120に格納する。
<ステップ520:表示>
非共焦点データ取得部112は非共焦点画像としてSplit Detector画像Dlns及びDnskを追加生成し、記憶部120に格納する。次に、位置合わせ部132は現検査の広画角画像Dlce、Dlne、共焦点画像Dcje、Dnkeに対してフレーム間位置合わせと画像貼り合わせ処理を行う。具体的な処理手順は第1実施形態のS520と同様であるので、説明を省略する。表示制御部133は、これまでに形成された画像群をモニタ305上に表示する。ここでは、各重ね合わせ画像を、前述した位置合わせパラメータ値を用いて貼り合わせ表示する。また、指示取得部140を経由して指示された撮影位置について、前述したフレーム間位置合わせパラメータ値を用いて重ね合わせ画像もしくはフレーム間位置合わせ済み動画像を表示する。
<ステップ530:データの保存方法を決定>
属性データ取得部113が全検査画像に関する属性データを取得する。さらに、適合度算出部1344が過去検査画像の属性情報に基づいて現検査の各画像の過去検査画像との適合度を算出した上で、保存法決定部1341が該適合度に基づいてデータ保存用の画像フォーマットを決定する。具体的な保存法決定処理についてはS713、S723、S733で詳述する。
次に、図7(d)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
<ステップ713:全検査画像の属性情報を取得>
属性データ取得部113が全検査画像に関する属性データを取得する。本実施形態では、属性データとして各画像の画像種(共焦点画像/Rチャンネル画像/Lチャンネル画像/Split Detector画像)、解像度、階調数、フレーム数、データ圧縮形式を取得する。
<ステップ723:画像の適合度を算出>
適合度算出部1344が過去検査画像の属性情報に基づいて現検査の各画像と対応する過去検査画像との適合度を算出する。本実施形態では、過去検査画像との適合度IrnをIrn=(取得位置・合焦位置・画像種が同一で実際に保存された全検査にわたる延べ画像数)/(全検査回数)とする。
<ステップ733:保存用の画像フォーマット決定>
保存法決定部1341がS723で算出した過去検査画像との適合度に基づいてデータ保存用の画像フォーマットを決定する。本実施形態では、判定部1343がS723で算出された適合度が閾値T7以上の画像は共焦点画像Dcj及びSplit Detector画像Dnkを、該閾値T7未満の画像は共焦点画像Dcjのみを保存対象と判定する。また、保存法決定部1341が前者を動画像及び重ね合わせ画像として、後者を重ね合わせ画像として保存するよう決定する。さらに、保存法決定部1341はS723で算出された適合度に基づき、多くの検査日時で保存された属性を持つ画像ほどデータ量を多く割り当てるよう決定する。本実施形態ではS723で算出した適合度が閾値T8未満の画像は8bitで可逆圧縮、原画像の半分の解像度、原画像と同じフレーム数で保存するよう決定する。また、該適合度が閾値T8以上閾値T9未満の画像は16bitで可逆圧縮、原画像と同じ解像度及びフレーム数で、該適合度が閾値T9以上の画像は16bitで非圧縮、原画像と同じ解像度及びフレーム数として保存するよう決定する。なお、算出された適合度に基づいて決定する保存用の画像フォーマットは、これに限らず任意の画像フォーマットに決定してよい。
以上述べた構成によれば、情報処理装置10は異なる検査日時に取得された画像の属性に基づき、多くの検査日時で保存されている画像属性を持つ画像ほどデータ量を多く割り当てて保存する。これにより、異なる検査日時の画像を比較観察する場合に、観察・解析上重要な眼部画像を効率的に保存できる。
[その他の実施形態]
上述の実施形態では本発明を情報処理装置として実現したが、本発明の実施形態は情報処理装置のみに限定されない。例えばコンピュータのCPUにより実行されるソフトウェアとして実現しても良い。本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。

Claims (15)

  1. 眼部の共焦点画像と非共焦点画像とを含む前記眼部の複数種類の画像を取得する画像取得手段と、
    前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を独立に決定する決定手段と、
    前記決定された保存形式に基づいて、前記取得された複数種類の画像の少なくとも一つを前記記憶領域に保存する保存手段と、
    を有することを特徴とする情報処理装置。
  2. 前記決定手段は、前記記憶領域に保存される前記共焦点画像と前記非共焦点画像との間におけるフレーム数とデータ量との少なくとも一方の大小関係が異なるように、前記保存形式を決定することを特徴とする請求項1に記載の情報処理装置。
  3. 前記決定手段は、前記取得された複数種類の画像における観察対象であって、前記眼部の異なる複数の合焦位置に対応する複数の観察対象のうちのいずれかの観察対象に基づいて、前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を決定することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記決定手段は、前記観察対象が視細胞である場合には、前記記憶領域に保存される前記共焦点画像のフレーム数が、前記記憶領域に保存される前記非共焦点画像のフレーム数よりも多くなるように、前記観察対象が血管である場合には、前記記憶領域に保存される前記共焦点画像のフレーム数が、前記記憶領域に保存される前記非共焦点画像のフレーム数よりも少なくなるように、前記保存形式を決定することを特徴とする請求項に記載の情報処理装置。
  5. 前記決定手段は、前記観察対象が視細胞である場合には、前記記憶領域に保存される前記共焦点画像のデータ量が、前記非共焦点画像が前記記憶領域に保存される前記非共焦点画像のデータ量よりも多くなるように、前記観察対象が血管である場合には、前記記憶領域に保存される前記共焦点画像のデータ量が、前記記憶領域に保存される前記非共焦点画像のデータ量よりも少なくなるように、前記保存形式を決定することを特徴とする請求項3または4に記載の情報処理装置。
  6. 前記取得された複数種類の画像の種類毎に異なる保存形式を指定する指定手段を更に有し、
    前記決定手段は、前記指定された保存形式を決定することを特徴とすることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 前記指定手段は、前記取得された複数種類の画像を前記記憶領域に保存するか否かを、前記保存形式として指定することを特徴とする請求項6に記載の情報処理装置。
  8. 前記決定手段は、前記取得された複数種類の画像の属性、解剖学的特徴、病変候補、画質、輝度特性、指示された撮像条件に対する適合度、過去検査の画像属性に対する適合度、解析結果との少なくとも一つに基づいて、前記保存形式を決定することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
  9. 前記決定手段は、前記記憶領域に保存される画像の種類、フォーマット、階調数、圧縮法の少なくとも一つを、前記保存形式として決定することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 前記眼部の複数種類の画像を撮る眼科撮像装置と通信可能に接続され、
    前記画像取得手段は、前記眼部を略同時に撮像して得た複数種類の画像を取得することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
  11. 前記眼科撮像装置は、前記眼部の共焦点画像と非共焦点画像とを取得するための兼用の光源と、前記光源からの光が照射された前記眼部からの戻り光を、共焦点領域を通る戻り光と非共焦点領域を通る戻り光とに分割する光学部材とを有し、
    前記画像取得手段は、前記共焦点領域を通る戻り光に基づいて前記共焦点画像を取得し、前記非共焦点領域を通る戻り光に基づいて前記非共焦点画像を取得することを特徴とする請求項10に記載の情報処理装置。
  12. 前記画像取得手段は、前記共焦点領域を通る戻り光と前記非共焦点領域を通る戻り光とのうち少なくとも一つを受光する受光部の前段に設けられた開口部の位置と形状とのうち少なくとも一つが調整されて得た前記眼部の共焦点画像と非共焦点画像とを取得することを特徴とする請求項11に記載の情報処理装置。
  13. 前記眼部における前記共焦点画像の取得位置と前記非共焦点画像の取得位置とが同じであることを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
  14. 眼部の共焦点画像と非共焦点画像とを含む前記眼部の複数種類の画像を取得する工程と、
    前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を独立に決定する工程と、
    前記決定された保存形式に基づいて、前記取得された複数種類の画像の少なくとも一つを前記記憶領域に保存する工程と、
    を有することを特徴とする情報処理装置の作動方法。
  15. 請求項14に記載の情報処理装置の作動方法をコンピュータで実行するためのプログラム。
JP2015093538A 2015-04-30 2015-04-30 情報処理装置、その作動方法、及びコンピュータプログラム Active JP6604743B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015093538A JP6604743B2 (ja) 2015-04-30 2015-04-30 情報処理装置、その作動方法、及びコンピュータプログラム
US15/139,117 US10123688B2 (en) 2015-04-30 2016-04-26 Information processing apparatus, operation method thereof, and computer program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015093538A JP6604743B2 (ja) 2015-04-30 2015-04-30 情報処理装置、その作動方法、及びコンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2016209132A JP2016209132A (ja) 2016-12-15
JP2016209132A5 JP2016209132A5 (ja) 2018-06-07
JP6604743B2 true JP6604743B2 (ja) 2019-11-13

Family

ID=57203848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015093538A Active JP6604743B2 (ja) 2015-04-30 2015-04-30 情報処理装置、その作動方法、及びコンピュータプログラム

Country Status (2)

Country Link
US (1) US10123688B2 (ja)
JP (1) JP6604743B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116807381A (zh) * 2017-12-28 2023-09-29 株式会社尼康 图像处理方法、图像处理程序、图像处理装置、图像显示装置、以及图像显示方法
JP7406901B2 (ja) * 2019-03-29 2023-12-28 キヤノン株式会社 情報処理装置及び情報処理方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001083432A (ja) * 1999-07-09 2001-03-30 Olympus Optical Co Ltd 共焦点顕微鏡
US6341035B1 (en) * 1999-07-09 2002-01-22 Olympus Optical Co., Ltd. Confocal microscope
JP2001070247A (ja) 1999-09-07 2001-03-21 Takku Kk 眼底画像における血管交叉部の検出方法
AU1542700A (en) * 1999-12-09 2001-06-18 Oti Ophthalmic Technologies Inc. Optical mapping apparatus with adjustable depth resolution
JP2001175844A (ja) * 1999-12-16 2001-06-29 Canon Inc 医療用画像処理装置及び医療用画像処理方法及びコンピュータ読み取り可能な記憶媒体
JP2005006894A (ja) * 2003-06-19 2005-01-13 Canon Inc 眼科画像生成システム
US7425067B2 (en) * 2003-11-14 2008-09-16 Ophthonix, Inc. Ophthalmic diagnostic instrument
JP2005278747A (ja) * 2004-03-29 2005-10-13 Canon Inc 眼科撮影装置
JP5269396B2 (ja) * 2007-09-29 2013-08-21 株式会社ニデック 眼底撮影装置
JP5928844B2 (ja) * 2010-09-28 2016-06-01 サイファイ メドテック エッセ.エッレ.エッレ. 角膜共焦点顕微鏡(ccm)

Also Published As

Publication number Publication date
US20160317017A1 (en) 2016-11-03
US10123688B2 (en) 2018-11-13
JP2016209132A (ja) 2016-12-15

Similar Documents

Publication Publication Date Title
US20180173950A1 (en) Image processing apparatus and image processing method
KR101736728B1 (ko) 정보처리장치, 정보처리방법, 및 컴퓨터 판독 가능한 기억매체
US9320424B2 (en) Image display apparatus, image display method and imaging system
JP6438216B2 (ja) 画像生成装置および画像生成方法
US9820650B2 (en) Image processing apparatus and image processing method
US9351650B2 (en) Image processing apparatus and image processing method
US9918625B2 (en) Image processing apparatus and control method of image processing apparatus
JP6463047B2 (ja) 眼科装置及び眼科装置の作動方法
JP2020089768A (ja) 画像処理装置及び画像処理方法
US10383514B2 (en) Ophthalmologic imaging apparatus, operation method thereof, and computer program
JP6604743B2 (ja) 情報処理装置、その作動方法、及びコンピュータプログラム
JP6516597B2 (ja) 画像処理装置及び画像処理方法
US10674902B2 (en) Information processing apparatus, operation method thereof, and computer program
JP2022189963A (ja) 眼科装置
JP6468907B2 (ja) 画像処理装置及び画像処理方法及びプログラム
JP6470604B2 (ja) 画像処理装置及び画像処理方法及びプログラム
JP6602043B2 (ja) 情報処理装置、その作動方法、及びコンピュータプログラム
JP6711617B2 (ja) 画像形成装置、画像形成方法及びそのプログラム
JP2024003558A (ja) 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180420

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191015

R151 Written notification of patent or utility model registration

Ref document number: 6604743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151