JP6604743B2 - 情報処理装置、その作動方法、及びコンピュータプログラム - Google Patents
情報処理装置、その作動方法、及びコンピュータプログラム Download PDFInfo
- Publication number
- JP6604743B2 JP6604743B2 JP2015093538A JP2015093538A JP6604743B2 JP 6604743 B2 JP6604743 B2 JP 6604743B2 JP 2015093538 A JP2015093538 A JP 2015093538A JP 2015093538 A JP2015093538 A JP 2015093538A JP 6604743 B2 JP6604743 B2 JP 6604743B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- confocal
- images
- confocal image
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/1025—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for confocal scanning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
- A61B3/1225—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation
- A61B3/1233—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes using coherent radiation for measuring blood flow, e.g. at the retina
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Ophthalmology & Optometry (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Hematology (AREA)
- Signal Processing (AREA)
- Eye Examination Apparatus (AREA)
Description
眼部の共焦点画像と非共焦点画像とを含む前記眼部の複数種類の画像を取得する画像取得手段と、
前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を独立に決定する決定手段と、
前記決定された保存形式に基づいて、前記取得された複数種類の画像の少なくとも一つを前記記憶領域に保存する保存手段と、を有する。
眼部の共焦点画像と非共焦点画像とを含む前記眼部の複数種類の画像を取得する工程と、
前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を独立に決定する工程と、
前記決定された保存形式に基づいて、前記取得された複数種類の画像の少なくとも一つを前記記憶領域に保存する工程と、を有する。
本実施形態に係る情報処理装置は、共焦点画像と非共焦点画像を略同時に取得する眼科撮像装置の一例であるSLO装置を用いて、観察対象の一例である眼部の視細胞を撮影する場合に、画像の種類毎に指定された保存方法(保存形式)で、一律に保存するよう構成したものである。ここで、共焦点画像と非共焦点画像とは、同一の眼部を略同一のタイミングで取得した画像である。具体的には、図3(a)(b)に示すような共焦点画像Dcと非共焦点画像Dnを同時に取得するSLO装置で視細胞に関する共焦点画像Dcおよび非共焦点画像Dn(Dnr及びDnl)を取得する。共焦点画像については動画像及び重ね合わせ画像を、非共焦点画像DnはSplit Detectorの重ね合わせ画像として保存する場合について説明する。
図2は、本実施形態に係る情報処理装置10を含むシステムの構成図である。図2に示すように情報処理装置10は、眼科撮像装置の一例であるSLO像撮像装置20やデータサーバ40、光ファイバ、USBやIEEE1394等で構成されるローカル・エリア・ネットワーク(LAN)30を介して通信可能に接続されている。なお、これらの機器との接続は、インターネット等の外部ネットワークを介して通信可能に接続される構成であってもよいし、あるいは情報処理装置10と直接接続されている構成であってもよい。また、情報処理装置が眼科撮像装置に内蔵されて一体として構成されても良い。
データ取得部110はSLO像撮像装置20に対して図6(i)に示すような広画角画像Dl(Dlc、Dlr、Dll)と、図6(i)のPr1に示すような黄斑部の矩形領域で高倍率画像(共焦点画像Dcj、非共焦点画像DnrkおよびDnlk)を取得する。また、対応する固視標位置Fl、Fcnの取得を要求する。SLO像撮像装置20は該取得要求に応じて広画角画像Dlc、Dlr、Dll、共焦点画像Dcjや非共焦点画像Dnrk、Dnlk、対応する固視標位置Fl、Fcnを取得し送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlc、Dlr、Dll、共焦点画像Dcj、非共焦点画像Dnrk、Dnlk、及び固視標位置Fl、Fcnを受信し、記憶部120に格納する。
指示部140経由で指示された演算内容で演算部131が非共焦点データ(DlnもしくはDn)間の演算を行い、非共焦点画像を追加生成する。次に位置合わせ部132が画像位置合わせを行い、表示制御部133が共焦点画像及び非共焦点画像を表示する。本実施形態では、指示部140より演算内容としてSplit Detector((Lチャンネル画像の画素値−Rチャンネル画像の画素値)/(Rチャンネル画像の画素値+Lチャンネル画像の画素値)の演算)が指示されているものとする。演算部131はSplit Detector画像(Dlns及びDns)を生成する。演算部131による演算はこれに限定されず、任意の演算処理を行ってよい。視細胞を撮影した場合の共焦点画像Dc、Split Detector画像Dnsの例を図6(g)及び(h)に示す。位置合わせ部132は、広画角画像Dlc及び非共焦点画像Dcにおけるフレーム間位置合わせを行う。具体的には、
i)位置合わせ部132は、位置合わせの基準となる基準フレームを設定する。本実施形態では、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。
ii)位置合わせ部132は、フレーム間の大まかな位置の対応付け(粗位置合わせ)を行う。任意の位置合わせ手法を利用できるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてAffine変換を用いて粗位置合わせを行う。
iii)位置合わせ部132は、フレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。
保存法決定部1341は、属性情報取得部113から撮影済画像の属性情報を取得する。次に、保存法決定部1341は、指示部140より指示された、データサーバ40に保存すべき画像種に対して保存用画像フォーマットやデータ圧縮法、ファイル名や保存場所(path)を決定する。本実施形態では、保存すべき画像種として共焦点画像とSplit Detector画像が指示されているものとする。なお、保存するファイル名や保存場所については必ずしも保存法決定部1341が決定する必要はなく、例えばユーザが指定したファイル名や保存場所(path)を指示取得部140経由で取得することにより決定してもよい。具体的な保存法決定処理についてはS710からS720で詳述する。
保存部135は検査日時、披検眼を同定する情報、固視標位置Fl、Fcn、位置合わせパラメータ値と、S530で決定した保存対象の画像種と保存法に基づき、動画像DlcやDcと、DlnsやDnsの重ね合わせ画像とを関連付けてデータサーバ40へ送信する。データサーバ40へ送信された上記データは、データサーバ40内の外部記憶装置内の指定された場所(path)に保存される。なお、保存部135が保存するデータ(画像等)の保存場所はデータサーバ40(に内蔵された外部記憶装置)に限定されない。例えば情報処理装置10の外部記憶装置304でもよい。あるいは、データサーバ40や外部記憶装置304に接続された外付けの外部記憶装置でもよい。また外部記憶装置としては、ハードディスクドライブ(HDD)、半導体を用いた記憶装置(SSDやUSBメモリ)、磁気テープを用いた記憶装置、光学ディスクを用いた記憶装置のいずれであってもよい。
指示取得部140は情報処理装置10による広画角画像Dlと高倍率共焦点画像Dcj、高倍率非共焦点画像Dnkに関する処理を終了するか否かの指示を外部から取得する。この指示はキーボード306やマウス307を介して操作者により入力される。処理終了の指示を取得した場合は処理を終了する。一方、処理継続の指示を取得した場合にはS510に処理を戻し、次の披検眼に対する処理(または同一披検眼に対する再処理を)行う。さらに、図7(a)に示すフローチャートを参照しながら、S530で実行される処理の詳細について説明する。
保存法決定部1341は、属性情報取得部113から撮影済画像の属性情報を取得する。具体的には、属性情報として各画像の画像種(共焦点画像/Rチャンネル画像/Lチャンネル画像/Split Detector画像)、解像度、階調数、フレーム数を取得する。
保存法決定部1341は、保存すべき画像種と保存用の画像フォーマット、データ圧縮法を決定する。一般的に、視細胞を観察する場合には視細胞外節の有無を観察できる共焦点画像と、視細胞内節の有無を観察できるSplit Detector画像が用いられる。そこで、本実施形態では保存すべき画像種として共焦点画像とSplit Detector画像のみが指示されているものとする。次に、保存法決定部1341は保存対象画像種の画像に対して以下の項目を決定する。
・階調数
・解像度
・フレーム数(フレームレート)
・画像フォーマットもしくは画像生成法
・データ圧縮法
一般に、視細胞を観察する場合には主に共焦点画像を観察し、共焦点画像上の低輝度領域に関して、補助的にSplit Detector画像上の対応する領域を観察する。そのため、共焦点画像に対して保存するデータ量を多く、SplitDetector画像に対してデータ量を少なく割り当てるのが効率的である。そこで、本実施形態では、全ての共焦点画像に関して一律に
・16bit
・原画像と同じ解像度
・原画像と同じフレーム数
・動画像(AVI)
・非圧縮
として保存するよう決定する。さらに、全てのSplit Detector画像に対して一律に
・16bit
・原画像と同じ解像度
・1
・重ね合わせ画像
・非圧縮
として保存するように決定する。これらの指示はモニタ305に表示される保存メニューからユーザが保存すべき画像種や画像フォーマット、圧縮法をキーボード306やマウス307で指定することで指示部140経由で画像処理部130に入力してもよい。あるいは、既定の保存法としてユーザ指定なしで実行してもよい。また、本実施形態では共焦点画像及びSplitDetector画像とも同じ階調数、解像度、圧縮法で保存するよう決定したが、本発明はこれに限定されない。例えば共焦点画像を16bit画像として、Split Detector画像を8bit画像として保存するように決定してもよい。あるいは、共焦点の重ね合わせ画像をBitmapのような非圧縮データとして保存し、Split Detectorの重ね合わせ画像をJPEGの圧縮データとして保存するよう決定してもよい。さらに、共焦点画像をフレームレート32の動画像として、SplitDetector画像をフレームレート16の動画像として保存するよう決定してよい。あるいは、共焦点画像の解像度を400画素×400画素、SplitDetector画像を200画素×200画素の解像度で保存するよう決定してもよい。なお、画像等のデータを保存するために必要となるファイル名や外部記憶装置内の保存場所(実際にはコンピュータ名やドライブ名、フォルダ名、ファイル名を含むパス(path))については、本実施形態では保存法決定部1341が所定のファイル名や保存場所を指定する。ただしこれに限らず、ユーザが指定したファイル名や保存場所に関する情報(path)を指示取得部140経由で取得することにより決定してもよい。以上述べた構成によれば、情報処理装置10は共焦点画像と非共焦点画像を同時に取得するSLO装置を用いて視細胞を撮影する場合に、画像種ごとに指定された保存方法で一律に画像を保存する。これにより、観察・解析上重要な眼部画像を効率的に保存できる。
本実施形態に係る情報処理装置は、共焦点画像と非共焦点画像を同時に取得するSLO装置で撮影する場合に、以下の処理を行う。すなわち、第1実施形態のように画像種ごとに指定された保存方法で一律に保存するのではなく、画像上で取得された画像特徴または病変候補領域に基づき、観察または画像解析上重要な部位を含む画像ほどデータ量を多く割り当てて保存するよう構成したものである。具体的には、図3(a)(b)に示すような共焦点画像Dcjと非共焦点画像Dnkを同時に取得するSLO装置で図6(j)に示すような取得位置で、観察対象の一例である網膜血管の共焦点動画像Dcjと非共焦点動画像Dnkを取得する。網膜静脈閉塞の好発部位である動静脈交差部を含む画像ほどデータ量を多く割り当てて保存する場合について説明する。
データ取得部110は、広画角画像Dlc、Dln、共焦点画像Dcj、非共焦点画像Dnk及び時相データを取得する。本実施形態では、図6(j)に示すように、網膜動脈アーケードAに沿って共焦点画像Dcj、非共焦点画像Dnkを取得するものとする。時相データ取得部114は時相データ取得装置50に対し生体信号に関する時相データSjの取得を要求する。本実施形態では時相データ取得装置として脈波計を用い、被験者の耳垂(耳たぶ)から脈波データSjを取得する。ここで脈波データSjは一方の軸に取得時刻、他方の軸に脈波計が計測した脈波信号値を持つ周期的な点列として表現される。時相データ取得装置50は該取得要求に応じて対応する時相データSjを取得し送信するので、時相データ取得部114は時相データ取得装置50からLAN30を介して当該脈波データSjを受信する。時相データ取得部114は受信した時相データSjを記憶部120に格納する。
指示部140経由で指示された演算内容で、演算部131が非共焦点データ(DlnもしくはDn)間の演算を行い、非共焦点画像を追加生成する。次に、位置合わせ部132が画像位置合わせを行い、表示制御部133が共焦点画像及び非共焦点画像を表示する。本実施形態では、指示部140より演算内容としてR+L、すなわち(Rチャンネル画像の画素値+Lチャンネル画像の画素値)が指示されているものとする。演算部131は(R+L)画像(Dlnr+l及びDnr+l)を生成する。演算部131による演算はこれに限定されず、任意の演算処理を行ってよい。位置合わせ部132は、広画角画像Dlr+l及び非共焦点画像Dnr+lにおけるフレーム間位置合わせ、重ね合わせ、さらに広画角画像Dlr+lの重ね合わせ画像と高倍率画像Dnr+lkの重ね合わせ画像との貼り合わせ処理を行う。具体的なフレーム間位置合わせ処理や重ね合わせ処理、貼り合わせ処理の手順は第1実施形態の場合と同様であるので省略する。
画像特徴取得部1342が広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を取得し、保存法決定部1341は、該画像特徴に基づいてデータ保存用の画像フォーマットを決定する。具体的な保存法決定処理についてはS711からS721で詳述する。
画像特徴取得部1342は、広画角画像Dlnから網膜血管領域及び動静脈交差部を検出する。なお、画像特徴を取得する画像は広画角画像に限定されるものではなく、例えば高倍率画像Dnkから直接取得した画像特徴に基づいてデータ保存法を決定する場合も本発明に含まれる。網膜血管は線状構造を有しているため、網膜血管領域の検出法として本実施形態では線状構造を強調するフィルタを用いて網膜血管を抽出する。具体的には、広画角画像Dlnをアーケード血管の半径に相当するサイズσのガウス関数により平滑化した上でヘッセ行列に基づく線強調フィルタを適用し、閾値Taにより二値化することでアーケード血管を抽出する。ただし、網膜血管領域の検出法はこれに限らず、任意の公知の網膜血管抽出手法を用いてよい。
保存法決定部1341は、画像特徴取得部1342がステップ711で取得した画像特徴に基づいて、各撮影済みの画像に対して保存する画像種及び保存用の画像フォーマットを決定する。主要な眼疾患の一つである網膜静脈閉塞症において動静脈交差部は病変(網膜静脈の閉塞)の好発部位であることから、本実施形態では動静脈交差部を含む画像では保存するデータ量を多く割り当てる。具体的には、判定部1343が動静脈交差部を含む画像における保存対象の画像種をRチャンネル画像Dnr及びLチャンネル画像Dnl及び(R+L)画像Dnr+lと判定する。さらに、動静脈交差部を含む画像の保存用フォーマットとしては保存法決定部1341がいずれの画像も16bitの非圧縮動画像と決定する。動静脈交差部を含まない画像では保存するデータ量を少なくするために判定部1343が(R+L)画像Dnr+lのみを保存対象と判定し、保存法決定部1341が画像フォーマットとして16bitの非圧縮動画像として決定する。ただし、保存する画像種や画像フォーマットはこれに限らず任意の保存法を指定してよい。
本実施形態に係る情報処理装置は、画像の属性もしくは画像から取得される画像特徴(病変候補)だけでなく、画像を解析した解析結果、すなわち画質や撮像対象領域を画像中に含む割合も用いて保存方法を決定するよう構成したものである。具体的には同一の網膜血管に対して撮影した共焦点画像Dcjと2種類の非共焦点画像Dnk(開口部を大径化し網膜血管の走行に対して右側及び左側に移動させて撮影した非共焦点画像)のデータ保存法を画像の解析結果に基づいて決定する場合について説明する。本実施形態に係る情報処理装置10と接続される機器の構成は第2実施形態の場合と同様である。次に、本実施形態に係る情報処理装置10の機能ブロックを図9に示す。決定部134に適合度算出部1344を備える点が第2実施形態の場合と異なっている。また、本実施形態での画像処理フローは図5と同様であり、S530以外は実施形態2の場合と同様である。そこで、本実施形態ではS530のみ説明する。なお、本実施形態では2種類の非共焦点画像のうち大きな開口部(ピンホール)径で開口部の位置を網膜血管の走行に対して右側に移動して取得された画像をDnr、網膜血管の走行に対して左側に移動して取得された画像をDnlと表記する。
画像特徴取得部1342が広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を取得する。さらに、適合度算出部1344が取得された画像の画質や、撮影対象領域に対する実際撮影された領域の割合に基づいて適合度を算出した上で、保存法決定部1341が該画像特徴及び適合度に基づいてデータ保存用の画像フォーマットを決定する。なお、本ステップにおいて画像特徴部1342が画像特徴を取得するのではなく属性データ取得部113が画像の属性データを取得する場合も本発明に含まれる。具体的な保存法決定処理についてはS712、S722、S732で詳述する。
画像特徴取得部1342が広画角画像Dlnから画像特徴として網膜血管領域及び動静脈交差部を取得する。網膜血管領域及び動静脈交差部の取得法については第2実施形態の場合と同様であるので説明は省略する。なお、画像特徴取得部1342が第2実施形態のステップ711のように、視細胞欠損領域のような病変候補を取得する場合も本発明に含まれる。具体的な病変候補の取得方法は第2実施形態の場合と同様であるので説明は省略する。また本発明では、画像特徴ではなく属性データを取得してもよい。すなわち、属性データ取得部113が各画像に関する属性データを取得する。例えば属性データとして各画像の画像種(共焦点画像/Rチャンネル画像/Lチャンネル画像)、解像度、階調数、フレーム数を取得する。
適合度算出部1344が各画像の画質や撮影対象領域に対して実際撮影された領域の割合に基づいて適合度を算出する。画質として、本実施形態ではS/N比を算出する。画質に関する指標はこれに限らず、任意の公知の画質指標を用いてよい。例えばCNR(Contrast−Noise Ratio)を算出してもよい。また、本実施形態では撮影対象領域が十分撮影されたかどうかを示す値として(全フレームで撮影された領域の面積)/(撮影対象領域の面積)を算出する。本実施形態では、適合度としてω1・Iq+ω2・Icとし、IqはS/N比が閾値T4以上であれば1、S/N比が閾値T4未満であれば0とする。Icは(全フレームで撮影された領域の面積)/(撮影対象領域の面積)とする。ω1とω2は重みづけパラメータで0〜1までの任意の値を指定でき、本実施形態では両方とも0.5とする。
保存法決定部1341は、画像特徴取得部1342が取得した画像特徴や適合度算出部1344が算出した適合度に基づいてデータ保存用の画像フォーマットを決定する。本実施形態では、判定部1343が閾値T5以上の適合度を持つRチャンネルDnr及びLチャンネル画像Dnlを保存対象と判定する。また、保存法決定部1341が保存対象画像のうち動静脈交差部を含む画像Dnr、Dnlについては動画像及び重ね合わせ画像、動静脈交差部を含まない画像Dnr、Dnlについては重ね合わせ画像として保存するよう決定する。さらに動静脈交差部を含む動画像Dnr、Dnlに対しては閾値T6以上の適合度を持つ画像を非圧縮AVIで、閾値T6未満の適合度を持つ画像を所定のコーデックで符号化されたAVIファイルとして保存するよう決定する(ただしT5<T6とする)。なお、本実施形態では画像特徴と適合度に基づいてデータ保存用の画像フォーマットを決定したが、本発明はこれに限定されない。例えば、S712で取得した画像の属性データと適合度に基づいてデータ保存用の画像フォーマットを決定してもよい。
本実施形態に係る情報処理装置は、異なる検査日時に取得された画像の属性に基づき、多くの検査日時で保存された属性の画像ほどデータ量を多く割り当てて保存するよう構成したものである。具体的には、視細胞外節欠損領域を含む共焦点画像及び非共焦点画像が異なる検査日時で取得されている場合に、以下のような処理を行う。すなわち、該異なる検査日時で取得された画像群の属性を取得し、多くの検査日時で保存されている属性を持つ画像ほどデータ量を多く割り当てて保存する場合について説明する。本実施形態に係る情報処理装置10と接続される機器の構成は第1実施形態の場合と同様である。本実施形態に係る情報処理装置10の機能ブロックの構成についてはデータ取得部110が異なる検査日時のデータを取得すること、時相データ取得部114を含まないこと、決定部134に画像特徴取得部1342を含まないこと、適合度算出部1344が異なる検査日時の画像の属性に基づき過去検査画像との適合度を算出する点が第3実施形態の場合と異なる。また、本実施形態での情報処理フローを図5に示す。S510、S520、S530以外は実施形態3の場合と同様である。そこで、本実施形態ではS510、S520、S530の処理のみ説明する。なお、本実施形態では過去検査における共焦点画像及び非共焦点画像を各々Dcjf、Dnkf(f=1,2,...,e−1であり、fは何回目の検査かを示す自然数)、現検査における共焦点画像及び非共焦点画像を各々Dcje、Dnkeと表記する。
データ取得部110はSLO像撮像装置20に対して現検査に対応する広画角画像Dlce、Dlne、共焦点画像Dcjeおよび非共焦点画像Dnke、固視標位置Fle、Fcneの取得を要求する。本実施形態では、中心窩に固視標位置Fle、中心窩及び傍中心窩領域に固視標位置Fcneを設定して広画角画像Dlce、Dlne、共焦点画像Dcje,非共焦点画像Dnkeを取得する。なお、撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。SLO像撮像装置20は該取得要求に応じて広画角画像Dlce、Dlne、共焦点画像Dcje、非共焦点画像Dnke、固視標位置Fle、固視標位置Fcneを取得して送信する。データ取得部110はSLO像撮像装置20からLAN30を介して当該広画角画像Dlce、Dlne、共焦点画像Dcje、非共焦点画像Dnke及び固視標位置Fle、固視標位置Fcneを受信する。データ取得部110は受信した広画角画像Dlce、Dlne、共焦点画像Dcje、非共焦点画像Dnke及び固視標位置Fle、Fcneを記憶部120に格納する。
非共焦点データ取得部112は非共焦点画像としてSplit Detector画像Dlns及びDnskを追加生成し、記憶部120に格納する。次に、位置合わせ部132は現検査の広画角画像Dlce、Dlne、共焦点画像Dcje、Dnkeに対してフレーム間位置合わせと画像貼り合わせ処理を行う。具体的な処理手順は第1実施形態のS520と同様であるので、説明を省略する。表示制御部133は、これまでに形成された画像群をモニタ305上に表示する。ここでは、各重ね合わせ画像を、前述した位置合わせパラメータ値を用いて貼り合わせ表示する。また、指示取得部140を経由して指示された撮影位置について、前述したフレーム間位置合わせパラメータ値を用いて重ね合わせ画像もしくはフレーム間位置合わせ済み動画像を表示する。
属性データ取得部113が全検査画像に関する属性データを取得する。さらに、適合度算出部1344が過去検査画像の属性情報に基づいて現検査の各画像の過去検査画像との適合度を算出した上で、保存法決定部1341が該適合度に基づいてデータ保存用の画像フォーマットを決定する。具体的な保存法決定処理についてはS713、S723、S733で詳述する。
属性データ取得部113が全検査画像に関する属性データを取得する。本実施形態では、属性データとして各画像の画像種(共焦点画像/Rチャンネル画像/Lチャンネル画像/Split Detector画像)、解像度、階調数、フレーム数、データ圧縮形式を取得する。
適合度算出部1344が過去検査画像の属性情報に基づいて現検査の各画像と対応する過去検査画像との適合度を算出する。本実施形態では、過去検査画像との適合度IrnをIrn=(取得位置・合焦位置・画像種が同一で実際に保存された全検査にわたる延べ画像数)/(全検査回数)とする。
保存法決定部1341がS723で算出した過去検査画像との適合度に基づいてデータ保存用の画像フォーマットを決定する。本実施形態では、判定部1343がS723で算出された適合度が閾値T7以上の画像は共焦点画像Dcj及びSplit Detector画像Dnkを、該閾値T7未満の画像は共焦点画像Dcjのみを保存対象と判定する。また、保存法決定部1341が前者を動画像及び重ね合わせ画像として、後者を重ね合わせ画像として保存するよう決定する。さらに、保存法決定部1341はS723で算出された適合度に基づき、多くの検査日時で保存された属性を持つ画像ほどデータ量を多く割り当てるよう決定する。本実施形態ではS723で算出した適合度が閾値T8未満の画像は8bitで可逆圧縮、原画像の半分の解像度、原画像と同じフレーム数で保存するよう決定する。また、該適合度が閾値T8以上閾値T9未満の画像は16bitで可逆圧縮、原画像と同じ解像度及びフレーム数で、該適合度が閾値T9以上の画像は16bitで非圧縮、原画像と同じ解像度及びフレーム数として保存するよう決定する。なお、算出された適合度に基づいて決定する保存用の画像フォーマットは、これに限らず任意の画像フォーマットに決定してよい。
上述の実施形態では本発明を情報処理装置として実現したが、本発明の実施形態は情報処理装置のみに限定されない。例えばコンピュータのCPUにより実行されるソフトウェアとして実現しても良い。本ソフトウェアを記憶した記憶媒体も本発明を構成することは言うまでもない。
Claims (15)
- 眼部の共焦点画像と非共焦点画像とを含む前記眼部の複数種類の画像を取得する画像取得手段と、
前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を独立に決定する決定手段と、
前記決定された保存形式に基づいて、前記取得された複数種類の画像の少なくとも一つを前記記憶領域に保存する保存手段と、
を有することを特徴とする情報処理装置。 - 前記決定手段は、前記記憶領域に保存される前記共焦点画像と前記非共焦点画像との間におけるフレーム数とデータ量との少なくとも一方の大小関係が異なるように、前記保存形式を決定することを特徴とする請求項1に記載の情報処理装置。
- 前記決定手段は、前記取得された複数種類の画像における観察対象であって、前記眼部の異なる複数の合焦位置に対応する複数の観察対象のうちのいずれかの観察対象に基づいて、前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を決定することを特徴とする請求項1または2に記載の情報処理装置。
- 前記決定手段は、前記観察対象が視細胞である場合には、前記記憶領域に保存される前記共焦点画像のフレーム数が、前記記憶領域に保存される前記非共焦点画像のフレーム数よりも多くなるように、前記観察対象が血管である場合には、前記記憶領域に保存される前記共焦点画像のフレーム数が、前記記憶領域に保存される前記非共焦点画像のフレーム数よりも少なくなるように、前記保存形式を決定することを特徴とする請求項3に記載の情報処理装置。
- 前記決定手段は、前記観察対象が視細胞である場合には、前記記憶領域に保存される前記共焦点画像のデータ量が、前記非共焦点画像が前記記憶領域に保存される前記非共焦点画像のデータ量よりも多くなるように、前記観察対象が血管である場合には、前記記憶領域に保存される前記共焦点画像のデータ量が、前記記憶領域に保存される前記非共焦点画像のデータ量よりも少なくなるように、前記保存形式を決定することを特徴とする請求項3または4に記載の情報処理装置。
- 前記取得された複数種類の画像の種類毎に異なる保存形式を指定する指定手段を更に有し、
前記決定手段は、前記指定された保存形式を決定することを特徴とすることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。 - 前記指定手段は、前記取得された複数種類の画像を前記記憶領域に保存するか否かを、前記保存形式として指定することを特徴とする請求項6に記載の情報処理装置。
- 前記決定手段は、前記取得された複数種類の画像の属性、解剖学的特徴、病変候補、画質、輝度特性、指示された撮像条件に対する適合度、過去検査の画像属性に対する適合度、解析結果との少なくとも一つに基づいて、前記保存形式を決定することを特徴とする請求項1乃至7のいずれか1項に記載の情報処理装置。
- 前記決定手段は、前記記憶領域に保存される画像の種類、フォーマット、階調数、圧縮法の少なくとも一つを、前記保存形式として決定することを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
- 前記眼部の複数種類の画像を撮る眼科撮像装置と通信可能に接続され、
前記画像取得手段は、前記眼部を略同時に撮像して得た複数種類の画像を取得することを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。 - 前記眼科撮像装置は、前記眼部の共焦点画像と非共焦点画像とを取得するための兼用の光源と、前記光源からの光が照射された前記眼部からの戻り光を、共焦点領域を通る戻り光と非共焦点領域を通る戻り光とに分割する光学部材とを有し、
前記画像取得手段は、前記共焦点領域を通る戻り光に基づいて前記共焦点画像を取得し、前記非共焦点領域を通る戻り光に基づいて前記非共焦点画像を取得することを特徴とする請求項10に記載の情報処理装置。 - 前記画像取得手段は、前記共焦点領域を通る戻り光と前記非共焦点領域を通る戻り光とのうち少なくとも一つを受光する受光部の前段に設けられた開口部の位置と形状とのうち少なくとも一つが調整されて得た前記眼部の共焦点画像と非共焦点画像とを取得することを特徴とする請求項11に記載の情報処理装置。
- 前記眼部における前記共焦点画像の取得位置と前記非共焦点画像の取得位置とが同じであることを特徴とする請求項1乃至12のいずれか1項に記載の情報処理装置。
- 眼部の共焦点画像と非共焦点画像とを含む前記眼部の複数種類の画像を取得する工程と、
前記共焦点画像及び前記非共焦点画像を記憶領域に保存する保存形式を独立に決定する工程と、
前記決定された保存形式に基づいて、前記取得された複数種類の画像の少なくとも一つを前記記憶領域に保存する工程と、
を有することを特徴とする情報処理装置の作動方法。 - 請求項14に記載の情報処理装置の作動方法をコンピュータで実行するためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093538A JP6604743B2 (ja) | 2015-04-30 | 2015-04-30 | 情報処理装置、その作動方法、及びコンピュータプログラム |
US15/139,117 US10123688B2 (en) | 2015-04-30 | 2016-04-26 | Information processing apparatus, operation method thereof, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015093538A JP6604743B2 (ja) | 2015-04-30 | 2015-04-30 | 情報処理装置、その作動方法、及びコンピュータプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016209132A JP2016209132A (ja) | 2016-12-15 |
JP2016209132A5 JP2016209132A5 (ja) | 2018-06-07 |
JP6604743B2 true JP6604743B2 (ja) | 2019-11-13 |
Family
ID=57203848
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015093538A Active JP6604743B2 (ja) | 2015-04-30 | 2015-04-30 | 情報処理装置、その作動方法、及びコンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10123688B2 (ja) |
JP (1) | JP6604743B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116807381A (zh) * | 2017-12-28 | 2023-09-29 | 株式会社尼康 | 图像处理方法、图像处理程序、图像处理装置、图像显示装置、以及图像显示方法 |
JP7406901B2 (ja) * | 2019-03-29 | 2023-12-28 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001083432A (ja) * | 1999-07-09 | 2001-03-30 | Olympus Optical Co Ltd | 共焦点顕微鏡 |
US6341035B1 (en) * | 1999-07-09 | 2002-01-22 | Olympus Optical Co., Ltd. | Confocal microscope |
JP2001070247A (ja) | 1999-09-07 | 2001-03-21 | Takku Kk | 眼底画像における血管交叉部の検出方法 |
AU1542700A (en) * | 1999-12-09 | 2001-06-18 | Oti Ophthalmic Technologies Inc. | Optical mapping apparatus with adjustable depth resolution |
JP2001175844A (ja) * | 1999-12-16 | 2001-06-29 | Canon Inc | 医療用画像処理装置及び医療用画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
JP2005006894A (ja) * | 2003-06-19 | 2005-01-13 | Canon Inc | 眼科画像生成システム |
US7425067B2 (en) * | 2003-11-14 | 2008-09-16 | Ophthonix, Inc. | Ophthalmic diagnostic instrument |
JP2005278747A (ja) * | 2004-03-29 | 2005-10-13 | Canon Inc | 眼科撮影装置 |
JP5269396B2 (ja) * | 2007-09-29 | 2013-08-21 | 株式会社ニデック | 眼底撮影装置 |
JP5928844B2 (ja) * | 2010-09-28 | 2016-06-01 | サイファイ メドテック エッセ.エッレ.エッレ. | 角膜共焦点顕微鏡(ccm) |
-
2015
- 2015-04-30 JP JP2015093538A patent/JP6604743B2/ja active Active
-
2016
- 2016-04-26 US US15/139,117 patent/US10123688B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160317017A1 (en) | 2016-11-03 |
US10123688B2 (en) | 2018-11-13 |
JP2016209132A (ja) | 2016-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180173950A1 (en) | Image processing apparatus and image processing method | |
KR101736728B1 (ko) | 정보처리장치, 정보처리방법, 및 컴퓨터 판독 가능한 기억매체 | |
US9320424B2 (en) | Image display apparatus, image display method and imaging system | |
JP6438216B2 (ja) | 画像生成装置および画像生成方法 | |
US9820650B2 (en) | Image processing apparatus and image processing method | |
US9351650B2 (en) | Image processing apparatus and image processing method | |
US9918625B2 (en) | Image processing apparatus and control method of image processing apparatus | |
JP6463047B2 (ja) | 眼科装置及び眼科装置の作動方法 | |
JP2020089768A (ja) | 画像処理装置及び画像処理方法 | |
US10383514B2 (en) | Ophthalmologic imaging apparatus, operation method thereof, and computer program | |
JP6604743B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
JP6516597B2 (ja) | 画像処理装置及び画像処理方法 | |
US10674902B2 (en) | Information processing apparatus, operation method thereof, and computer program | |
JP2022189963A (ja) | 眼科装置 | |
JP6468907B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP6470604B2 (ja) | 画像処理装置及び画像処理方法及びプログラム | |
JP6602043B2 (ja) | 情報処理装置、その作動方法、及びコンピュータプログラム | |
JP6711617B2 (ja) | 画像形成装置、画像形成方法及びそのプログラム | |
JP2024003558A (ja) | 眼科情報処理装置、眼科装置、眼科情報処理方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180420 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180420 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190219 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190917 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191015 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6604743 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |