JP5947561B2 - 画像形成装置及び画像形成方法 - Google Patents

Description

本発明は画像形成装置及び画像形成方法に関し、特に眼科診療に用いられる画像形成装置及び画像形成方法に関する。

生活習慣病や失明原因の上位を占める疾病の早期診療を目的として、眼部の検査が広く行われている。共焦点レーザ顕微鏡の原理を利用した眼科装置である走査型レーザ検眼鏡（ＳＬＯ：Scanning Laser Ophthalmoscope）は、測定光であるレーザを眼底に対してラスター走査し、その戻り光の強度から平面画像を高分解能かつ高速に得る装置である。以下、このような平面画像を撮像する装置をＳＬＯ装置、該平面画像をＳＬＯ画像と記す。

近年、ＳＬＯ装置において測定光のビーム径を大きくすることにより、横分解能を向上させた網膜のＳＬＯ画像を取得することが可能になってきた。しかし、測定光のビーム径の大径化に伴い、網膜のＳＬＯ画像の取得において、被検眼の収差によるＳＬＯ画像の信号雑音比（Ｓ／Ｎ比）及び分解能の低下が課題になってきた。そのような課題を解決するために、被検眼の収差を波面センサでリアルタイムに測定し、被検眼にて発生する測定光やその戻り光の収差を波面補正デバイスで補正する補償光学系を有する補償光学ＳＬＯ装置が開発され、高横分解能なＳＬＯ画像の取得を可能にしている。

このような高横分解能なＳＬＯ画像は、図５（ａ）に示すように、複数フレームからなる動画像として取得することができる。そして、たとえば血流動態を非侵襲に観察するために、各フレームから網膜血管を抽出（図５（ｂ））した上で毛細血管における血球の移動速度などが計測される。また、ＳＬＯ画像から視機能との関連を評価するために視細胞を検出した上で視細胞の密度分布や配列の計測が行われている。

ＳＬＯ動画像において血球動態や血管の形状変化、視細胞の形態や輝度の変化を観察、計測する場合に、眼球、眼瞼運動の影響もしくは撮像装置に起因する画像特性の違いにより対象組織、細胞、病変の視認、計測が困難な例外フレームが生じることがある。例えば図５（ｃ）に示すような固視ずれにより全フレームを通じて観察、計測が可能な領域が狭小化（図５（ｄ））したり、瞬目により低輝度フレームが発生したりする場合（図５（ｅ）の５９１）がある。あるいは、収差補正不良等の装置の特性により動画像中にＳ／Ｎ比の低下したフレームが含まれる場合がある。特に患眼のＳＬＯ画像には瞬目や固視ずれのフレームが含まれやすいことや、収差補正ＳＬＯでは画角が狭く固視微動の影響が大きいために、フレーム間の位置合わせを行うだけでは経時変化の観察や計測に必要な領域やフレーム数が十分得られない場合があった。

ＳＬＯ動画像中に上記のような例外フレームが発生するのを防ぐために、撮像時に例外フレームの発生を防ぐための追尾機能を装置に設ける方法が考えられる。しかし、別途広画角ＳＬＯ画像撮影のための構成を備える必要があることや、固視微動が大きい場合には完全な追尾を実現することが困難である、といった課題がある。

そこで、ＳＬＯ動画像に例外フレームが発生した場合（図５（ｃ）や（ｅ））に、例外フレームを判定して削除もしくは補正し、対象組織・細胞・病変を観察もしくは計測可能なＳＬＯ動画像（図５（ａ））を自動形成する技術が必要となる。

特許文献１には、眼部の動画像の各フレームの位置を正確に対応付けて対象物の観察・計測を可能にする方法として、眼底の動脈血管を流れる蛍光剤の流れを見やすくするために、フレーム毎に位置合わせした動画を再生する技術が記載されている。また特許文献２には、ＯＣＴ断層像（静止画像）同士の類似度等から瞬目、固視ずれを検知する方法が記載されている。

特開２００４−１５９７６７号公報 特開２０１０−１１０６５６号公報

しかしながら特許文献１は、眼底の動きによる動画像のブレのみ考慮しているため、フレームの位置合わせしか言及しておらず、例外フレーム（特に、計測範囲が観察できないほどの動きのフレーム）の判定及び除外方法については何ら記載されていない。また、特許文献２には、高精細な平面画像に関する瞬目、固視ずれの検知法や瞬目や固視ずれのフレームを含まない動画像の取得（撮影・フレーム選択）技術についての記載はない。

本発明は上記の課題に鑑みてなされたものであり、眼底の動画像から眼科診断等に適した動画像を生成可能にすることを目的とする。

本発明の目的を達成するために、例えば本発明の画像形成装置は以下の構成を備える。すなわち、
画像形成装置であって、
被検者の眼部の動画像を構成する複数フレームから、各フレームの画像特徴に基づいて例外フレームを判定する判定手段と、
前記被検者の生体信号に基づく時相データを取得する取得手段と、
前記時相データに基づいて、前記判定手段が判定した例外フレームを含まないように抽出されたフレームからなるフレーム系列を抽出して新たな動画像を生成する生成手段と、を備える。

本発明によれば、眼底の動画像から眼科診断等に適した動画像が生成可能になる。

第１実施形態に係る画像形成装置の機能構成例を示すブロック図。 第１、第２、第４実施形態に係る撮影システムの構成例を示すブロック図。 実施形態の画像形成装置として機能するコンピュータのハードウェア構成例を示すブロック図。 第１実施形態に係る画像形成装置が実行する処理のフローチャート。 第１実施形態の画像形成内容を説明する図である。 第１実施形態における、ステップＳ４２０の処理を示すフローチャート。 第１実施形態における、ステップＳ４３０の処理を示すフローチャート。 第２実施形態に係る画像形成装置の機能構成例を示すブロック図。 第２実施形態に係る画像形成装置が実行する処理のフローチャート。 第２実施形態における、ステップＳ９２０の処理を示すフローチャート。 第３実施形態に係る画像形成装置の機能構成例を示すブロック図。 第３実施形態に係る撮影システムの構成例を示すブロック図。 第３実施形態におけるステップＳ９３０の処理を示すフローチャート。 第３実施形態におけるステップＳ１３４０で実行される処理を説明する図。 第４実施形態に係る画像形成装置の機能構成例を示すブロック図。 第４実施形態に係る画像形成装置が実行する処理のフローチャート。 第４実施形態におけるステップＳ１６２０の処理を示すフローチャート。

以下、添付図面に従って本発明に係る画像形成装置及び方法の好ましい実施形態について詳説する。ただし本発明は以下の実施形態に限定されるものではない。

［第１実施形態］
本実施形態に係る画像形成装置は、あらかじめ観察・計測に必要なフレーム数より多い数の複数フレームを有する単一のＳＬＯ動画像から、このＳＬＯ動画像に含まれる画像特徴に基づいて基準フレームからの変位量が大きい例外フレームを判定する。なお、ＳＬＯ動画像とは、ＳＬＯ装置により動画撮影を行なって得られた動画像である。そして、判定された例外フレームを含まない連続した最長のフレーム系列から所定数のフレーム（形成予定フレーム数分のフレーム）だけ切り出して、観察・計測用のＳＬＯ動画像として形成する。

具体的には、観察・計測に必要なフレーム数Ｔｆ（形成予定フレーム数）よりも多い複数フレームを持つＳＬＯ動画像Ｄを撮影しておく。次にＳＬＯ動画像Ｄから画像特徴に基づいて例外フレームＥｊ（ｊ＝１，．．．，ｎ１）判定する。ここで、例外フレームＥｊとは、拍動や瞬目のような眼球・眼瞼運動の影響や、収差補正位置のずれのような撮像条件の違いに起因する画像特性のばらつきが認められるフレームである。ＳＬＯ動画像Ｄにおける例外フレームＥｊを含まない複数フレームが連続したフレーム系列（以下サブ動画像Ｓｋ（ｋ＝１，．．．，ｎ２）とする）のうち、最長のフレーム系列（サブ動画像Ｓｌ）を抽出して新たなＳＬＯ動画像として形成する。

以上のようにして、拍動や瞬目のような眼球・眼瞼運動の影響及び収差補正位置のずれのような撮像条件の違いに起因する画像特性のばらつきに影響されない、観察・計測に必要な領域（広さ）とフレーム数（長さ）を持つＳＬＯ動画像が自動的に形成される。

図２は第１実施形態に係る画像形成装置１０を含む撮影システムの構成例を示す図である。図２に示すように画像形成装置１０は、ＳＬＯ装置２０やデータサーバ４０と、光ファイバ、ＵＳＢやＩＥＥＥ１３９４等で構成されるローカル・エリア・ネットワーク（ＬＡＮ３０）を介して接続されている。なおこれらの機器との接続は、インターネット等の外部ネットワークを介して接続される構成であってもよい。また、これら画像形成装置１０、ＳＬＯ装置２０、データサーバ４０のうちの複数のいくつかが一つの装置において実現されてもよい。たとえば、画像形成装置１０とデータサーバ４０が一つの情報処理装置によって実現されてもよい。

ＳＬＯ装置２０は、走査型レーザ検眼鏡であり、眼底部の平面画像（ＳＬＯ動画像Ｄ）を撮像し、ＳＬＯ動画像Ｄ及びその撮影時に用いた固視標位置Ｆの情報を画像形成装置１０やデータサーバ４０へ送信する。なお、ＳＬＯ装置２０は、補償光学系を有し、収差補正を行なう補償光学走査型レーザ検眼鏡（ＡＯ−ＳＬＯ）である。ＳＬＯ装置２０はＳＬＤ、シャックハルトマン波面センサ、補償光学系、第一及び第二のビームスプリッタ、Ｘ−Ｙ走査ミラー、フォーカスレンズ、絞り、光センサ、画像形成部、出力部を有する。光源であるＳＬＤ（Super Luminescent Diode）から照射された光は眼底で反射され、一部が第二のビームスプリッタ経由でシャックハルトマン波面センサへ、それ以外は第一のビームスプリッタ経由で光センサへ入力される。シャックハルトマン波面センサは眼の収差を測定するためのデバイスであり、レンズアレイにＣＣＤが接続されている。入射光がレンズアレイを透過するとＣＣＤに輝点群が現れ、該投影された輝点の位置ずれに基づき波面収差が測定される。補償光学系はシャックハルトマン波面センサで測定された波面収差に基づき、収差補正デバイス(可変形状ミラーもしくは空間光位相変調器)を駆動して収差を補正する。該収差補正された光はフォーカスレンズ、絞りを経由し光センサにて受光される。Ｘ／Ｙ走査ミラーを動かすことで眼底上の走査位置を制御でき、操作者が予め指定した撮影対象領域、時間（フレームレート×フレーム数）のデータを取得する。該データを画像形成部へ伝送し、走査速度のばらつきに起因する画像歪みの補正や、輝度値の補正を行って画像データ（動画像もしくは静止画像）を形成する。出力部は画像形成部が形成した画像データを出力する。眼底上の特定の深さ位置にフォーカスを合わせるためには、補償光学系内の収差補正デバイスを用いた調整か、光学系内に不図示のフォーカス調整用レンズを設置し、該レンズを移動することによる調整かの少なくともいずれかを用いることができる。なお、ＳＬＯ装置２０の代わりに補償光学系または収差補正デバイスを有する眼底カメラ等の眼科撮影装置を用いることもできる。

データサーバ４０は被検眼のＳＬＯ動画像Ｄや固視標位置Ｆのような撮像条件データ、眼部の画像特徴などを保持する。すなわち、ＳＬＯ装置２０が出力するＳＬＯ動画像Ｄ、固視標位置Ｆ、画像形成装置１０が出力する眼部の画像特徴がデータサーバ４０に保存される。また、データサーバ４０は、画像形成装置１０からの要求に応じて、ＳＬＯ動画像Ｄ、眼部の画像特徴及び該画像特徴の正常値データを画像形成装置１０に送信する。

次に、図３を用いて画像形成装置１０のハードウェア構成について説明する。図３において、３０１は中央演算処理装置（ＣＰＵ）、３０２はメモリ（ＲＡＭ）、３０３は制御メモリ（ＲＯＭ）、３０４は外部記憶装置である。また、３０５はモニタ、３０６はキーボード、３０７はポインティングデバイス（たとえば、マウス）、３０８はＬＡＮ３０と接続するためのインターフェースである。本実施形態に係る画像処理機能を実現するための制御プログラムや、当該制御プログラムが実行される際に用いられるデータは、外部記憶装置３０４に記憶されている。これらの制御プログラムやデータは、ＣＰＵ３０１による制御のもと、バス３０９を通じて適宜ＲＡＭ３０２に取り込まれ、ＣＰＵ３０１によって実行され、以下に説明する各部として機能する。

次に、図１を用いて第１実施形態に係る画像形成装置１０の機能構成を説明する。図１は画像形成装置１０の機能構成例を示すブロック図であり、画像形成装置１０は画像取得部１１０、記憶部１２０、画像形成部１３０、指示取得部１４０を有する。画像形成部１３０は更に例外フレーム判定部１３１、画像形成法変更部１３２を有する。例外フレーム判定部１３１は画像特徴取得部１３１１、基準領域設定部１３１２、変位量取得部１３１３を有する。また、画像形成法変更部１３２は画像選択部１３２１、例外フレーム置換法指示部１３２２を有する。以下、画像形成装置１０を構成する各ブロックの機能について、図４のフローチャートに示す画像形成装置１０の具体的な実行手順と関連付けて説明する。

＜ステップＳ４１０＞ 画像取得部１１０はＳＬＯ装置２０に対して、ＳＬＯ動画像Ｄ、固視標位置Ｆの取得を要求する。本実施形態では、黄斑部の傍中心窩に固視標位置を設定してＳＬＯ動画像Ｄを取得する。なお、本実施形態では形成するべきＳＬＯ動画像Ｄｆのフレーム数をＴｎとし、ＳＬＯ動画像Ｄのフレーム数ｎ０はＴｎよりも十分多いものとする。すなわち、ＳＬＯ動画像Ｄに数回の瞬目または短時間の固視微動が含まれていても非例外フレーム（正常フレーム）がＴｎ以上残るようにする。なお、撮影位置として黄斑部の傍中心窩を示したがこれに限定されず、任意の位置に設定してよいことは言うまでもない。

ＳＬＯ装置２０は画像取得部１１０からの取得要求に応じてＳＬＯ動画像Ｄ、固視標位置Ｆを取得し送信する。そして、画像取得部１１０はＳＬＯ装置２０からＬＡＮ３０を介してこれらＳＬＯ動画像Ｄ、固視標位置Ｆを受信する。画像取得部１１０は受信したＳＬＯ動画像Ｄ、固視標位置Ｆを記憶部１２０に格納する。

＜ステップＳ４２０＞ 例外フレーム判定部１３１は、画像取得部１１０が取得したＳＬＯ動画像Ｄの各フレームＤｉ（ｉ＝１，．．．，ｎ０）から画像特徴を取得し、取得した画像特徴を用いて例外フレーム判定を行う。次に、例外フレーム以外のフレームで最もフレーム番号の小さい画像を基準フレームとして設定する。そして、各フレームから得られた画像特徴群のフレーム間変位量に基づいて例外フレーム判定を行う。以上のような例外フレーム判定の具体的な処理については図６のフローチャートにより詳述する。

＜ステップＳ４３０＞ 画像形成法変更部１３２は、例外フレーム判定部１３１から例外フレーム番号リストを取得する。例外フレームがなければ、画像形成部１３０は、ＳＬＯ動画像Ｄの先頭からＴｎフレーム分を選択し、選択された画像に対して画像ヘッダ（属性情報）を追加して観察・計測用のＳＬＯ動画像Ｄｆを形成する。他方、例外フレームが含まれる場合は、画像形成法変更部１３２は上記画像形成法を変更し、画像形成部１３０は変更された画像形成法にしたがって観察・計測用のＳＬＯ動画像Ｄｆを形成する。すなわち、画像形成部１３０は、ステップＳ４２０で例外フレーム判定部１３１が判定した例外フレームを含まない連続したフレーム列をＳＬＯ動画像Ｄから抽出して新たな動画像を生成するように画像形成法変更部１３２により画像形成法が変更される。なお、ステップＳ４３０における処理のより具体的な手順については、図７のフローチャートにより詳述する。

＜ステップＳ４４０＞ 指示取得部１４０は、ステップＳ４３０において形成された観察・計測用のＳＬＯ動画像Ｄｆ、固視標位置Ｆをデータサーバ４０へ保存するか否かの指示を外部から取得する。この指示は例えばキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。保存が指示された場合はステップＳ４５０へ、保存が指示されなかった場合はステップＳ４６０へ処理を進める。

＜ステップＳ４５０＞ 画像形成部１３０は、検査日時、披検眼を同定する情報、ＳＬＯ動画像Ｄｆと該画像群の固視標位置Ｆ、を関連付けてデータサーバ４０へ送信する。

＜ステップＳ４６０＞ 指示取得部１４０は画像形成装置１０によるＳＬＯ動画像Ｄｆの形成処理を終了するか否かの指示を外部から取得する。この指示は例えばキーボード３０６やポインティングデバイス３０７を介して操作者により入力される。処理終了の指示を取得した場合は解析処理を終了する。一方、処理継続の指示を取得した場合にはステップＳ４１０に処理を戻し、次の披検眼に対する処理（または同一披検眼に対する再処理を）行う。

次に図６を参照して、ステップＳ４２０で実行される例外フレーム判定処理の詳細について説明する。

＜ステップＳ６１０＞ 画像特徴取得部１３１１がＳＬＯ画像Ｄから画像特徴を取得する。本実施形態では、ＳＬＯ動画像Ｄの各フレームＤｉにおける平均輝度値Ａｉ、信号雑音比（ＳＮ比）及び血管領域Ｖｉを画像特徴として取得する。血管領域の取得方法は任意の公知の血管抽出法を用いることができ、本実施形態では輝度値が閾値Ｔ１以下の領域とする。また、血管領域Ｖｉを細線化して得られる点列Ｂｉｍ（ｍ＝１，２，．．．，ｎ３）の交差部Ｃｉｎ（ｎ＝１，．．．，ｎ４≧３）も取得しておく。なお、取得される特徴量は上記に限られるものではなく、後続の例外フレーム判定に必要な画像特徴が取得されることになる。

＜ステップＳ６２０＞ 例外フレーム判定部１３１は、ステップＳ６１０で取得した画像特徴を用いて単独フレームの画像特徴や隣接フレームとの画像特徴の比較により例外フレームを判定する。例えば、例外フレーム判定部１３１は、ＳＬＯ動画像Ｄの各フレームＤｉに対し、瞬目により輝度が極端に低いフレームや固視微動により画像歪みが生じているフレーム、収差補正不良によりＳ／Ｎ比が低いフレームを例外フレームＥｊとして検出する。本実施形態では、平均輝度値Ａｉが閾値Ｔ２以下であるフレームをＤｉを瞬目による輝度異常とみなし、例外フレームＥｊと判定する。また、フレームＤｉにおける血管交差部Ｃｉｎ間の距離の二乗和の値が隣接フレーム間で閾値Ｔ３以上異なっていれば、固視微動による画像歪みとみなして、フレームＤｉを例外フレームと判定する。さらに、フレームＤｉのＳ／Ｎ比が閾値Ｔ４以下であれば収差補正不良とみなして、フレームＤｉを例外フレームと判定する。

なお、ステップＳ６１０，Ｓ６２０による例外フレームの判定法は上記に限られるものではなく、上記の判定法に代えて或いは上記の判定法に加えて、任意の例外判定法を用いて良い。例えば、各フレームに対し微分処理を行うことにより得られる微分画像の輝度統計量（平均値、最頻値、もしくは最大値）を算出し、それが閾値Ｔ５以下であれば被写体の動きによるボケが発生しているとみなして例外フレームと判定するようにしても良い。

＜ステップＳ６３０＞ 基準領域設定部１３１２は、動画像Ｄにおける固視ずれフレーム（例外フレーム）を判定するための基準となる領域を設定する。本実施形態では、ステップＳ６２０において例外フレームと判定されたフレーム以外で、最もフレーム番号の小さいフレームを基準フレームとし、その基準フレームの全体或いは一部を基準領域とする。

なお、基準領域の設定法はこれに限るものではなく、任意の設定法を用いて良い。例えば、ユーザが指定した基準フレーム番号を指示取得部１４０から取得して該基準フレームの全体を基準領域として設定してもよい。あるいは、ユーザが指定した領域（ユーザが指定したフレーム内のユーザが指定した領域）を基準領域して設定しても良い。あるいは、画像特徴取得部１３１１が任意の公知の画像処理法により特定部位（中心窩）もしくは病変を検出しておき、最もフレーム番号の小さい非例外フレームにおいて検出された該部位もしくは病変領域を基準領域として設定してもよい。

＜ステップＳ６４０＞ 変位量取得部１３１３は、ステップＳ６３０で設定した基準フレームにおける画像特徴（血管交差部Ｃｉｎ）と非基準フレームにおける画像特徴との変位量を算出し、変位量が許容値より大きいフレームを例外フレームと判定する。本実施形態では、あるフレームの基準フレームに対する変位量として並進（ｘ、ｙ）、回転θ、拡大率（ｓｘ、ｓｙ）を成分として持つ変位量ベクトル（ｘ，ｙ，θ，ｓｘ、ｓｙ）を定義する。そして、ｘ＞Ｔｘ、ｙ＞Ｔｙ、θ＞Ｔθ、ｓｘ＞Ｔｓｘ、ｓｙ＞Ｔｓｙの少なくとも一つが成り立つ場合にそのフレームを例外フレームと判定する（Ｔｘ、Ｔｙ、Ｔθ、Ｔｓｘ、Ｔｓｙはそれぞれ予め定められた閾値）。

なお、変位量の定義はこれに限らず、変位の程度を示す量（スカラ量またはベクトル量）であれば任意の値を用いてよい。例えば、観察・計測対象となる基準領域が各フレームにおいて含まれる割合（例えば、(基準領域全体の面積)／(各フレームＤｉに含まれる基準領域の面積)）を変位量として定義しても良い。

次に、図７（ａ）を参照して、ステップＳ４３０で実行される処理の詳細について説明する。
＜ステップＳ７１０＞ 画像形成法変更部１３２は、例外フレーム判定部１３１よりＳＬＯ動画像Ｄに含まれる例外フレーム番号リストを取得する。例外フレームリストが空（例外フレームなし）の場合はステップＳ７３０に処理を進め、例外フレームが１枚以上存在する場合にはステップＳ７２０に処理を進める。

＜ステップＳ７２０＞ 画像形成法変更部１３２はＳＬＯ動画像Ｄから例外フレームが含まれないサブ動画像Ｓｋのフレーム数Ｎｓｋを算出し、Ｎｓｋの最大値Ｎｓｌを算出する。もし最大値Ｎｓｌ≧Ｔｎであれば、画像形成法変更部１３２はサブ動画像Ｓｋのうち最長のサブ動画像Ｓｌを選択して新たなＳＬＯ動画像Ｄと再定義する。他方、もし最大値Ｎｓｌ＜Ｔｎであれば、画像形成法変更部１３２はサブ動画像Ｓｌに隣接する例外フレーム系列を前後のサブ動画像を用いて補間処理を行うことで例外フレームを置き換えるよう画像形成部１３０に対して指示する。この指示によって定義される最長のサブ動画像を新たなＳＬＯ動画像Ｄとし、ステップＳ７３０に処理を進める。なお、ステップＳ７２０における画像形成法変更部１３２の処理の詳細は、図７（ｂ）のフローチャートを参照して後述する。

＜ステップＳ７３０＞ 画像形成部１３０は、ステップＳ７２０で定義されたＳＬＯ動画像Ｄの先頭からＴｎフレーム分を選択し、画像ヘッダ（属性情報）を追加することで、観察・計測用のＳＬＯ動画像Ｄｆを形成する。ここで、もしステップＳ７２０で画像補間による例外フレームの置き変えが指示されている場合は、画像形成部１３０は、指示された画像補間法を用いて例外フレームを置き換えてＳＬＯ動画像Ｄｆを形成する。

さらに図７（ｂ）を参照して、ステップＳ７２０で実行される処理の詳細について説明する。
＜ステップＳ７２１＞ 画像形成法変更部１３２は、例外フレーム判定部１３１から例外フレーム番号リストを取得し、ＳＬＯ動画像Ｄに含まれる、例外フレームでない連続したフレームからなるフレーム系列（サブ動画像Ｓｋ）群の長さＮｓｋの最大値Ｎｓｌを算出する。
＜ステップＳ７２２＞ Ｎｓｌ≧Ｔｎであれば処理はステップＳ７２３に進み、Ｎｓｋ＜Ｔｎであれば処理はステップＳ７２４に進む。

＜ステップＳ７２３＞ ＳＬＯ動画像Ｄから最長のフレーム系列（サブ動画像Ｓｌ）を選択し、新たにＳＬＯ動画像Ｄと再定義する。
＜ステップＳ７２４＞ 画像形成部１３０は、最長の連続したフレーム系列に所定数（Ｔｎ）のフレームが含まれていない場合には、例外フレームと判定されたフレームの前後の非例外フレームを用いて補間フレームを生成する。そして、画像形成部１３０は、生成した補間フレームを非例外フレームとして用いることで所定数のフレームを有する連続したフレーム系列を生成する。例えば、画像形成部１３０は、ＳＬＯ動画像Ｄ中の最長のサブ動画像Ｓｌに隣接する例外フレーム系列を該例外フレーム系列の前後に隣接するサブ動画像を用いて画像補間処理により置換し、再びＮｓｌを算出する。本実施形態では画像補間法として線形補間法を用いるものとするが、補間方法はこれに限らず、任意の公知の画像補間法を用いてよい。こうして、Ｎｓｌ≧Ｔｎとなるまで該補間処理（ステップＳ７２４）を繰り返すことにより得られた最長のサブ動画像Ｓｌ’を新たにＳＬＯ動画像Ｄと再定義する。

なお、上記実施形態においてはサブ動画像Ｓｋのフレーム数Ｎｓｋの最大値ＮｓｌがＴｎよりも小さい場合に画像補間処理を行ったが、これに限定されない。例えば、Ｎｓｌ＜Ｔｎの場合に、ＳＬＯ動画像Ｄｆの形成を中止して不図示の表示部に再撮像を促すメッセージを表示するように構成しても良い。

また、補間するフレーム数に許容値を設け、ステップＳ７２４において該許容値を超えるフレーム数を補間する必要がある場合に、不図示の表示部に警告を表示してＳＬＯ動画像Ｄｆの形成を中止するように構成しても良い。

また、本実施形態では形成するＳＬＯ動画像Ｄｆのフレーム数を固定値（Ｔｎ）としたが、これに限定されない。例えばステップＳ７２３もしくはステップＳ７３０において、最長のサブ動画像Ｓｌをそのまま新たにＳＬＯ動画像Ｄと再定義し、画像ヘッダを追加して観察・計測用ＳＬＯ動画像Ｄｆとして形成しても良い。また、固定値（Ｔｎ）以上のフレームを含むフレーム系列を複数取得できた場合には、それら複数のフレーム系列のうち、フレーム系列を構成するフレーム間における変位量の統計量が最小となるフレーム系列を選択するようにしてもよい。

以上述べたように、第１実施形態によれば、画像形成装置１０は、ＳＬＯ動画像Ｄから、画像特徴に基づいて例外フレームを判定し、判定された例外フレームを含まない連続した最長フレーム系列からＳＬＯ動画像Ｄｆを形成する。これにより、拍動や瞬目のような眼球・眼瞼運動、及び収差補正位置のずれのような撮像条件の違いに起因する画像特性のばらつきに影響されない、観察・計測に必要な領域（空間的な広さ）とフレーム数（時間的な長さ）を持つＳＬＯ動画像Ｄｆを自動形成できる。

［第２実施形態］
第２実施形態では、位置合わせ部１３４が、単独のフレームの画像特徴に基づいて例外フレームを判定し、例外フレームを除いた動画像からフレーム間の位置合わせを行なう。そして、更に位置合わせを行なった後では、フレーム間の画像特徴の差に基づいて例外フレームが判定される。第２実施形態の構成によれば、より正確に基準フレームに対する変位量を算出して例外フレームを判定し、必要な領域とフレーム数を持つ観察・計測用のＳＬＯ動画像Ｄｆを自動形成することができる。

第２実施形態に係る画像形成装置１０の機能構成例を図８に示す。画像形成部１３０に位置合わせ部１３４を備え、位置合わせ部１３４に例外フレーム判定部１３１が設けられている点が第１実施形態（図１）と異なっている。以下、第２実施形態による画像形成処理を図９に示すフローチャートを参照して説明する。なお、図９において、ステップＳ９２０以外は第１実施形態（図４）と同様である（すなわち、ステップＳ９１０、Ｓ９３０〜Ｓ９６０は、ステップＳ４１０、Ｓ４３０〜Ｓ４６０と同様の処理である）。そこで、第２実施形態では、ステップＳ９２０における処理について説明する。

＜ステップＳ９２０＞ 位置合わせ部１３４は、記憶部１２０からＳＬＯ動画像Ｄを読み込んでＳＬＯ動画像Ｄにおけるフレーム間位置合わせを行う。なお、フレーム間位置合わせとは、隣接するフレーム間で画像が同じ位置になるように調整することであり、周知の技術により実現される。次に、図１０に示すフローチャートを参照して、ステップＳ９２０で実行される位置合わせ処理について説明する。

＜ステップＳ１０１０＞ 例外フレーム判定部１３１は、ＳＬＯ動画像Ｄの各フレームにおいて、単独フレームでの例外フレーム判定（単独のフレームの画像特徴を用いた例外フレームの判定）を行う。本実施形態においては、画像特徴取得部１３１１が各フレームの平均輝度値Ａｉ及びＳ／Ｎ比ＳＮｉを算出する。そして、例外フレーム判定部１３１が、Ａｉが閾値Ｔ２以下であれば輝度異常、もしくはＳ／Ｎ比ＳＮｉがＴ４以下であれば低画質であるとして例外フレームと判定する。但し、単独のフレームの画像特徴を用いた例外フレームの判定法はこれに限るものではなく、任意の例外判定法を用いて良い。

＜ステップＳ１０２０＞ 位置合わせ部１３４は、位置合わせの基準となる基準フレームを設定する。本実施形態では、ステップＳ１０１０において例外フレームと判定されたフレーム以外で、最もフレーム番号の小さいフレームを基準フレームとする。なお、基準フレームの設定法はこれに限るものではなく、任意の設定法を用いて良い。例えば、ユーザが指定した基準フレーム番号を指示取得部１４０から取得し、これに対応するフレームを基準フレームに設定してもよい。

＜ステップＳ１０３０＞ 位置合わせ部１３４は、フレーム間の大まかな位置の対応付け（粗位置合わせ）を行う。任意の位置合わせ手法を用いることができるが、本実施形態では、画像間類似度評価関数として相関係数、座標変換手法としてＡｆｆｉｎｅ変換を用いて粗位置合わせを行う。なお、ステップＳ１０３０の粗位置合わせとステップＳ１０４０の精密位置合わせの対象となるフレームは、ステップＳ１０１０で例外フレームと判定されなかったフレームである。

＜ステップＳ１０４０＞ 位置合わせ部１３４は、Ｓ１０３０で得られたフレーム間の大まかな位置の対応関係のデータに基づいて精密位置合わせを行う。本実施形態では、ステップＳ１０３０で得られた粗位置合わせ済みの動画像に対し、非剛体位置合わせ手法の一種であるＦＦＤ（Free Form Deformation）法を用いてフレーム間の精密位置合わせを行う。なお、精密位置合わせの手法はこれに限られるものではなく、任意の位置合わせ手法を用いて良い。

＜ステップＳ１０５０＞ 例外フレーム判定部１３１は、ステップＳ１０４０の精密位置合わせによって得られた精密位置合わせ済み動画像の各フレームに対して、フレーム間の画像特徴の差に基づく例外フレーム判定を行う。本実施形態では、基準領域設定部１３１２が基準フレームを設定し、変位量取得部１３１３が基準フレームと（基準フレーム以外の）各フレームとの差分演算を行って該差分画像のヒストグラムを求める。そして、例外フレーム判定部１３１は、このヒストグラムの平均値及び分散がそれぞれ閾値Ｔ６以上かつ閾値Ｔ７以上であれば固視微動により一時的に眼底上の異なる位置が撮影されたとみなして例外フレームと判定する。

なお、フレーム間の画像特徴の差を利用した例外フレームの判定法はこれに限らず任意の判定法を用いて良い。例えば精密位置合わせ済動画像の各フレームに対して、第１実施形態と同様に血管抽出及び血管交差部Ｃｉｎの検出を行う。そして、各フレームにおいて血管交差部Ｃｉｎ間の距離の二乗和を求めて該距離の二乗和の値が隣接フレーム間で閾値Ｔ３以上異なっていれば画像歪みが発生したとみなして例外フレームと判定する。

なお、本実施形態では、画素値ベースの画像間類似度を用いて、ＳＬＯ動画像Ｄのフレーム全体が基準フレームに最も類似する位置合わせパラメータの組み合わせを求めたが、これに限定されるものではない。例えば、ＳＬＯ動画像Ｄの各フレームにおいて観察対象の画像特徴（病変や中心窩などの部位、血管の分岐などの特徴点）を検出し、該画像特徴の位置が最も精密に合うようにＳＬＯ動画像Ｄのフレーム間で位置合わせを行うようにしても良い。また、フレーム間位置合わせで得られた画像特徴を例外フレームの判定に流用してもよいし、例外フレームの判定のために取得した画像特徴をフレーム間位置合わせに流用するようにしてもよい。このように、画像特徴を例外フレームの判定とフレーム間位置合わせで共有することにより、処理を効率化することができる。

以上のように、第２実施形態によれば、画像形成装置１０は例外フレームを除外してからフレーム間の位置合わせが行なわれる。そのため、位置合わせが不要なフレーム（例外フレーム）に対して実行されてしまうといった無駄が排除される。また、フレーム間の位置合わせにおいて、固視微動や瞬目等の影響の排除が可能となる。更に、位置合わせの後に、基準フレームを利用した例外フレームの判定を行なうので、より正確に基準フレームに対する変位量を算出して例外フレームを判定できる。そのため、観察・計測に適した領域と必要なフレーム数を持つＳＬＯ動画像Ｄｆを自動形成できる。

［第３実施形態］
図１１は第３実施形態による画像形成装置１０の機能構成例を示すブロック図である。第３実施形態の画像形成装置１０は、第２実施形態（図８）に対して、時相データ取得部１５０を備えるとともに、画像形成法変更部１３２において例外フレーム置換法指示部１３２２を持たず、輝度補正部１３６と連結部１３８を備える点が異なっている。より具体的には、画像取得部１１０が同一撮影位置のＳＬＯ動画像を繰返し撮影し（ＳＬＯ動画像Ｄｎ（ｎ＝１，２，...，ｎ５）とする）、同時に時相データ取得部１５０が脈波のような生体信号データ（時相データ）を時相データＰｎとして取得しておく。輝度補正部１３６は、各ＳＬＯ動画像Ｄｎから最長のフレーム系列（サブ動画像Ｓｎｌ）を切り出し、サブ動画像Ｓｎｌ間の輝度調整を行う。さらに連結部１３８は、時相データＰｎを参考に輝度調整済のサブ動画像Ｓｎｌを連結し、観察・計測に必要な領域とフレーム数を持つＳＬＯ動画像Ｄｆを形成する。このような構成によれば、必要な領域（空間的な広さ）を持ち、より長時間の観察・計測が可能なＳＬＯ動画像Ｄｆを自動形成することができる。

本実施形態における撮影システムの構成例を図１２に示す。時相データ取得装置５０がＬＡＮ３０と接続されている点が第２実施形態（図２）と異なっている。時相データ取得装置５０は、自律的に変化する生体信号データ（時相データ）を取得する装置であり、例えば脈波計もしくは心電計からなる。本実施形態では脈波計を用いる。時相データ取得装置５０は不図示の操作者による操作に応じて、ＳＬＯ動画像Ｄｎの取得と同時に時相データＰｎを取得し、得られた時相データＰｎを画像形成装置１０、データサーバ４０へ送信する。

また、第３実施形態の画像形成処理のフローは図９に示した通りであり、ステップＳ９１０、Ｓ９２０及びＳ９３０以外は第２実施形態と同様である。したがって、以下では、ステップＳ９１０、Ｓ９２０及びＳ９３０における処理について説明する。

＜ステップＳ９１０＞ 画像取得部１１０は、ＳＬＯ装置２０に対して、同一検査内で複数回撮影されたＳＬＯ動画像Ｄｎ、固視標位置Ｆの取得を要求する。本実施形態では、黄斑部の傍中心窩に固視標位置を設定してＳＬＯ動画像Ｄｎを取得する。なお、本実施形態では最終的に形成するＳＬＯ動画像Ｄｆのフレーム数をＴｎとする。また、撮影位置や撮影位置の設定方法はこれに限定されず、任意の位置に設定してよい。

ＳＬＯ装置２０は、画像取得部１１０が出力した取得要求に応じてＳＬＯ動画像Ｄｎ、固視標位置Ｆを取得して送信する。画像取得部１１０はＳＬＯ装置２０からＬＡＮ３０を介してこれらＳＬＯ動画像Ｄｎ、固視標位置Ｆを受信する。画像取得部１１０は受信したＳＬＯ動画像Ｄｎ、固視標位置Ｆを記憶部１２０に格納する。

＜ステップＳ９２０＞ 位置合わせ部１３４は、記憶部１２０からＳＬＯ動画像Ｄｎを読み込んでＳＬＯ動画像Ｄｎにおけるフレーム間位置合わせを行う。本実施形態においては、基準フレームの設定法が第２実施形態と異なっており、最初に撮像したＳＬＯ動画像Ｄ１における基準フレームが他のＳＬＯ動画像Ｄ２〜Ｄｎにおいても位置合わせの基準フレームとして用いられる。

なお、基準フレームの設定法はこれに限らず任意の設定法を用いて良い。例えば、以下のような手順の設定方法を用いてもよい。
処理Ｐ１：第２実施形態と同様の方法でＳＬＯ動画像Ｄｎごとにフレーム間位置合わせを行って例外フレーム判定を行い、
処理Ｐ２：処理Ｐ１の後、例外フレーム数の最も少ないＳＬＯ動画像Ｄｎにおける基準フレームを他のＳＬＯ動画像においても基準フレームとして設定し、
処理Ｐ３：その他のＳＬＯ動画像について、処理Ｐ２で設定された基準フレームを用いて再度位置合わせ処理を行う。

＜ステップＳ９３０＞ 画像形成法変更部１３２は、例外フレーム判定部１３１から各ＳＬＯ動画像Ｄｎに関する例外フレーム番号リストを取得する。各ＳＬＯ動画像Ｄｎに関して例外フレームがなければ、画像形成部１３０は時相データ取得部１５０より取得した時相データＰｎに基づき、事前に指定された時相データの位相から時相データの周期単位で最長のフレーム数分選択したサブ動画像Ｓｎｌを生成する。そして、サブ動画像Ｓｎｌを撮影時刻順に連結する。連結された動画像のフレーム数がＴｎ以上であれば、該連結した動画像の先頭からＴｎフレーム分を切り出し、画像ヘッダ（属性情報）を追加して観察・計測用のＳＬＯ動画像Ｄｆを形成する。もし連結して得られた動画像のフレーム数がＴｎよりも小さければ、再撮影或いは撮影の継続を促す警告表示を行う。他方、ＳＬＯ動画像Ｄｎに例外フレームが含まれる場合、画像形成法変更部１３２は、例外フレームを含まないように画像形成法を変更して観察・計測用のＳＬＯ動画像Ｄｆを形成する。

以下、図１３に示すフローチャート及び図１４を参照しながら、ステップＳ９３０で実行される画像形成処理の詳細について説明する。
＜ステップＳ１３１０＞ 画像形成法変更部１３２は、例外フレーム判定部１３１から例外フレーム番号リストを受信する。例外フレームが１枚以上存在する場合は、ステップＳ１３２０に処理を進め、全く存在しない場合にはステップＳ１３３０へと処理を進める。

＜ステップＳ１３２０＞ 画像選択部１３２１は、例外フレームを含むＳＬＯ動画像Ｄｎからサブ動画像Ｄｎｌを選択する。図１４において、繰り返し撮像したＳＬＯ動画像Ｄ１〜Ｄ４の正常フレームを白色、例外フレームを灰色（ハッチング）で表す。図１４の最上部には撮像時に同時に取得された時相データが示されている。各ＳＬＯ動画像Ｄｎの撮影開始時と同時に時相データの取得を開始するので、ＳＬＯ動画像の初期フレームに対応する時相データの位相は異なっている。画像選択部１３２１は、各ＳＬＯ動画像Ｄｎから例外フレームを除く最長のフレーム系列をサブ動画像Ｄｎｌとして選択する。図１４では、Ｄ１ｌ、Ｄ２ｌ、Ｄ３ｌ、Ｄ４ｌが選択される。

＜ステップＳ１３３０＞ 輝度補正部１３６は、サブ動画像Ｄｎｌ間の輝度を調整する。本実施形態では、サブ動画像Ｄｎｌのヒストグラムを求め、模型眼を撮影して得られる輝度平均値Ｇａと輝度分散値Ｊａに最も近い輝度特性を持つサブ動画像Ｄｎｌの輝度平均Ｇｎと輝度分散Ｊｎに一致するようにその他のサブ動画像の輝度値を線形変換する。

なお、輝度調整の方法はこれに限るものではなく、任意の輝度調整法を用いて良い。例えば、模型眼を撮影して得られる輝度平均値Ｇａと輝度分散値Ｊａに一致するように各サブ動画像の輝度値を線形変換しても良い。

あるいは、
・各ＳＬＯ動画像Ｄｎから公知の血管抽出法を用いて血管領域Ｖｎを抽出し、
・血管領域Ｖｎのみに限定したヒストグラムＫｖｎを生成して、該ヒストグラムＫｖｎから算出される輝度統計量（平均と分散）が血管領域Ｖｎを視認しやすい特定の値（ＧｖとＪｖ）に一致するように輝度値を調整する、ようにしても良い。

＜ステップＳ１３４０＞ 連結部１３８は、最長のサブ動画像Ｄｎｌと同時刻に取得した時相データＰｎに基づき、サブ動画像Ｓｎｌの切り出し及び連結を行う。本実施形態では脈波信号値のピーク間隔を１周期とみなし、サブ動画像Ｄｎｌから周期単位で切り出した最長のサブ動画像Ｓｎｌ（以下、サブ動画像Ｃｎとする）を撮影時刻順に連結する。すなわち、同図でＤ１〜Ｄ４に対して切り出したサブ動画像Ｃ１〜Ｃ４を、Ｃ１＋Ｃ２＋Ｃ３＋Ｃ４の順で連結し、新たにＳＬＯ動画像Ｄとする。なお、本実施形態では、時相データのピーク位置を用いたが、時相データの任意の時相を用いて動画像を連結してもよい。

ここで、連結により得られた新たなＳＬＯ動画像Ｄのフレーム数がＴｎ以上であれば、該連結したＳＬＯ動画像Ｄの先頭からＴｎフレーム分切り出し、画像ヘッダ（属性情報）を追加して観察・計測用のＳＬＯ動画像Ｄｆを形成する。他方、連結により得られた新たなＳＬＯ動画像Ｄのフレーム数がＴｎよりも小さければ、再撮影を促す警告表示を行う。

なお、サブ動画像Ｃｎの切り出し法はこれに限らず、任意の方法を用いて良い。例えば、サブ動画像Ｄ１ｌをそのままサブ動画像Ｃ１とし、サブ動画像Ｄ２ｌに対してはサブ動画像Ｃ１の最終フレームに対応する時相データの位相を持つフレームをサブ動画像Ｃ２の開始フレームとしてサブ動画像Ｃ２を切り出す。すなわち、サブ動画像Ｃｎの開始フレームをサブ動画像Ｃｎ−１の最終フレームの持つ時相データの位相に合わせて設定し、サブ動画像Ｃｎの最終フレームをサブ動画像Ｄｎｌの最終フレームの持つ時相データの位相に合わせて設定して切り出しても良い。また、図１４ではＳＬＯ動画像Ｄ１〜Ｄ４が別々の動画像であったが、一つのＳＬＯ動画像について上記のようなフレーム系列の切り出し、連結を行って必要な長さの動画像を得るようにしてもよい。

以上のように、第３実施形態によれば、画像形成装置１０は繰返し撮像したＳＬＯ動画像Ｄｎから例外フレームを含まない最長のフレーム系列からなるサブ動画像Ｄｎｌを切り出し、輝度補正部１３６がサブ動画像Ｄｎｌ間の輝度調整を行う。さらに連結部１３８は、時相データの位相に基づき上記輝度調整済のサブ動画像Ｄｎｌから連結を行なうために、部分画像Ｃｎを切り出す。そして、切り出された部分画像Ｃｎを連結し、観察・計測に必要な領域とフレーム数を持つＳＬＯ動画像Ｄｆを形成する。これにより、必要な領域（空間的な広さ）を持ち、より長時間観察・計測可能なＳＬＯ動画像Ｄｆを自動形成できる。

［第４実施形態］
第４実施形態は、ＳＬＯ装置２０によるＳＬＯ画像の取得を行ないながら例外フレーム判定を行う。そして、例外フレームを含まない連続したフレーム系列Ｓｌが規定のフレーム数ＴｎとなるまでＳＬＯ装置２０に対して撮影継続を指示し、観察・計測に必要なフレーム数Ｔｎを満たしたＳＬＯ動画像Ｄｆを形成する。これにより、例外フレームや画像補間されたフレームを含まず、かつ高速に観察・計測に必要な領域（空間的な広さ）及びフレーム数（時間）を持つＳＬＯ動画像Ｄｆを自動形成することができる。

第４実施形態に係る画像形成装置１０の機能ブロック図を図１５に示す。画像形成法変更部１３２において、例外フレーム置換法指示部１３２２の代わりに撮影指示部１３２３を持つ点が第２実施形態（図８）と異なっている。また第４実施形態による画像形成処理のフローは図１６に示す通りであり、ステップＳ１６７０における処理は第２実施形態（図９のＳ９６０）と同様である。以下、第４実施形態における各処理について説明する。

＜ステップＳ１６１０＞ 画像取得部１１０はＳＬＯ装置２０に対してＳＬＯ動画像Ｄ、固視標位置Ｆの取得を要求する。ＳＬＯ装置２０は、画像取得部１１０からの要求に応じてＳＬＯ動画像ＤのフレームＤｉの撮影を行う。

より、具体的には、ＳＬＯ装置２０は画像取得部１１０からの取得要求に応じてＳＬＯ動画像ＤのフレームＤｉとその時の固視標位置Ｆを取得し、送信する。なお、固視標位置Ｆが、第１フレームＤ１を取得する際にのみ取得、送信されるようにしてもよい。画像取得部１１０はＳＬＯ装置２０からＬＡＮ３０を介して当該ＳＬＯ動画像Ｄｉ、固視標位置Ｆを受信する。画像取得部１１０は受信したＳＬＯ動画像Ｄｉ、固視標位置Ｆを記憶部１２０に格納する。さらに、画像形成部１３０は、連続した非例外フレーム系列のフレーム数Ｎｓｋの値に１を加える。なお、フレーム数Ｎｓｋは図１６の処理の開始に先立って０に初期化されているものとする。

＜ステップＳ１６２０＞ 位置合わせ部１３４は、ステップＳ１６１０で受信したＳＬＯ動画像Ｄの１フレーム分の位置合わせと例外フレーム判定を行う。なお、ステップＳ１０８０における処理の詳細は図１７のフローチャートにより後述する。

＜ステップＳ１６３０＞ 画像形成法変更部１３２は、例外フレーム判定部１３１からステップＳ１６１０で受信したフレームが例外フレームか否かの判定結果を受信する。ステップＳ１６１０で受信したＳＬＯ動画像のフレームが例外フレームであった場合はステップＳ１６４０へ処理を進め、そうでない場合はステップＳ１６５０へ処理を進める。

＜ステップＳ１６４０＞ 画像形成法変更部１３２は、ステップＳ１６３０において例外フレームと判定された場合に、連続した非例外フレーム系列（サブ動画像）のフレーム数Ｎｓｋに０を代入してステップＳ１６５０へ処理を進める。フレームＤｉが例外フレームと判定されなかった場合はそのままステップＳ１６５０へと処理を進める。

＜ステップＳ１６５０＞ 画像形成法変更部１３２は、非例外フレーム系列のフレーム数Ｎｓｋを参照する。Ｎｓｋ≧Ｔｎであれば、撮影指示部１３２３が画像取得部１１０を通じてＳＬＯ装置２０に対して撮像終了を指示し、ステップＳ１６６０へと処理を進める。他方、非例外フレーム系列のフレーム数ＮｓｋがＴｎよりも小さい場合は、撮影指示部１３２３が画像取得部１１０を通じてＳＬＯ装置２０に対して撮影の継続、或いは再撮影を指示する。

＜ステップＳ１６６０＞ 画像形成部１３０は、得られた非例外フレーム系列にヘッダ部を追加し、観察・計測用のＳＬＯ動画像Ｄｆとして画像形成する。形成されたＳＬＯ動画像Ｄｆはデータサーバ４０に保存される。
＜ステップＳ１６７０＞ ステップＳ４６０（図４）、ステップＳ９６０（図９）と同様。

次に、図１７に示すフローチャートを参照しながら、ステップＳ１６２０で実行される位置合わせ処理の詳細について説明する。
＜ステップＳ１７１０＞ 例外フレーム判定部１３１は、取得されたＳＬＯ動画像Ｄの一つのフレームＤｉ単独での例外判定を行う。具体的な例外判定法は第２実施形態（図１０のステップＳ１０１０）と同様である。ここで、取得されたＳＬＯ動画像ＤのフレームＤｉが例外フレームであれば基準フレーム番号は未設定にする。

＜ステップＳ１７２０＞ 基準領域設定部１３１２は基準フレーム番号を参照し、基準フレーム番号が設定済であればステップＳ１７４０へと処理を進め、基準フレーム番号が未設定であればステップＳ１７３０へと処理を進める。
＜ステップＳ１７３０＞ 取得されたＳＬＯ動画像ＤのフレームＤｉが例外フレームでなければ該フレームＤｉを基準フレームに設定して位置合わせ処理を終了する。他方、該フレームＤｉが例外フレームであれば何もせずに位置合わせ処理を終了する。

＜ステップＳ１７４０＞ 位置合わせ部１３４は、基準フレームとＳＬＯ動画像ＤのフレームＤｉ（非例がフレーム）との位置合わせを行う。具体的な位置合わせ方法は、第２実施形態のステップＳ１０３０及びＳ１０４０で述べたような位置合わせ手法を用いて当該１フレーム分だけ位置合わせ処理を実行すればよい。なお、位置合わせ方法はこれに限るものではなく、例えば位置合わせ処理の高速化のために精密位置合わせ処理を省略しても良い。

＜ステップＳ１７５０＞ ステップＳ１７４０において得られた位置合わせ済のフレームＤｉに対して例外フレーム判定を行う。ここでの例外フレーム判定の具体的な方法としては、第２実施形態のステップＳ１０５０で述べたような例外フレーム判定処理を当該１フレーム分だけ実行すればよい。

以上のように、第４実施形態によれば、画像形成装置１０はフレーム単位でＳＬＯ装置２０によるＳＬＯ画像Ｄｉの取得及び例外フレーム判定を行う。そして、非例外フレーム系列が規定のフレーム数Ｔｎに満たない場合には、画像形成装置１０は撮影継続を指示して次フレームを撮像する。そして、該非例外フレーム系列が観察・計測に必要な規定のフレーム数Ｔｎを満たすと、画像形成装置１０はＳＬＯ動画像Ｄｆを形成する。これにより、例外フレームや画像補間されたフレームを含まず、かつ高速に観察・計測に必要な領域（空間的な広さ）及びフレーム数（時間）を持つＳＬＯ動画像Ｄｆを自動形成することができる。

以上のように、上述した各実施形態によれば、ＳＬＯ動画像から組織・細胞・病変の観察・計測には適さない例外フレームを含まず、かつ観察や計測に必要な領域やフレーム数を持つようなＳＬＯ動画像を自動形成することが可能となる。

［その他の実施形態］
上述の実施形態では、例外フレームを含まない、連続したフレームからなるフレーム系列を生成することとしているが、医師、症例、診断部位から要求されるフレームレートに合わせるために、設定情報に応じて適宜フレームレートを変更することができる。例えば画像形成部１３０は、設定情報に応じて一部のフレームを間引くことで、フレームレートを下げることができる。また画像形成部１３０は設定に応じてフレームを補間することでフレームレートを上げることができる。

上述の実施形態では、例外フレームを含まないフレーム系列を生成することとしたが、図５（ｃ）に示すような固視ずれにより全フレームを通じて観察、計測が可能な領域が狭小化（図５（ｄ））した場合には、当該狭小化したフレームも含めた動画像を生成することができる。画像形成部１３０は、上述の実施形態で得られた第一のフレーム系列と第二のフレーム系列との間にある例外フレーム群について、例外フレームとなった原因が固視ずれ等による計測可能領域の狭小化であるか否かを判定する。狭小化が原因となっていると判定された場合には、画像形成部１３０は第一のフレーム系列と第二のフレーム系列との間に狭小化された第三のフレーム系列を挿入する。そして、第一乃至第三のフレーム系列を結合し動画像を生成する。画像形成装置１０は生成された動画像をモニタ３０５に表示させる。以上の処理により、動画像の時間的な連続性を確保しつつ、観測や計測に必要な領域をユーザに提示することができる。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (14)

1. 画像形成装置であって、
   被検者の眼部の動画像を構成する複数フレームから、各フレームの画像特徴に基づいて例外フレームを判定する判定手段と、
   前記被検者の生体信号に基づく時相データを取得する取得手段と、
   前記時相データに基づいて、前記判定手段が判定した例外フレームを含まないように抽出されたフレームからなるフレーム系列を抽出して新たな動画像を生成する生成手段と、を備えることを特徴とする画像形成装置。
2. 前記画像特徴は、輝度、歪み量、信号雑音比の少なくとも一を含むことを特徴とする請求項１に記載の画像形成装置。
3. 前記判定手段は、前記複数フレームのうちの一つのフレームに設定された基準領域に対する変位量に基づいて例外フレームを判定することを特徴とする請求項１または２に記載の画像形成装置。
4. 前記基準領域は、前記一つのフレームの全体、該一つのフレームの画像処理もしくはユーザにより特定された部分であることを特徴とする請求項３に記載の画像形成装置。
5. 前記複数フレームのフレーム間位置合わせを行なう位置合わせ手段をさらに備え、
   前記判定手段は、前記フレーム間位置合わせにおいて得られる画像特徴もしくは位置合わせ済みのフレームから得られる画像特徴に基づいて例外フレームを判定することを特徴とする請求項１乃至４のいずれか１項に記載の画像形成装置。
6. 前記判定手段は、前記フレーム間位置合わせを行う前に単独のフレームの画像特徴に基づいた例外判定を実行し、前記フレーム間位置合わせを行った後にフレーム間の画像特徴の差に基づいた例外判定を実行することを特徴とする請求項５に記載の画像形成装置。
7. 前記生成手段は、前記複数フレームのうち例外フレームを含まない、最長の連続したフレーム系列を抽出することを特徴とする請求項１乃至６のいずれか１項に記載の画像形成装置。
8. 前記生成手段は、前記最長の連続したフレーム系列に所定数のフレームが含まれていない場合に、例外フレームと判定されたフレームの前後の非例外フレームを用いて補間フレームを生成し、該補間フレームを非例外フレームとして用いることで前記所定数のフレームを有する連続したフレーム系列を生成することを特徴とする請求項７に記載の画像形成装置。
9. 前記生成手段は、所定数を超えるフレームを含む複数のフレーム系列が得られた場合に、フレーム系列を構成するフレーム間における変位量の統計量が最小となるフレーム系列を用いて新たな動画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像形成装置。
10. 前記動画像は、その撮影時に取得された前記時相データに関連付けられており、
    前記生成手段は、前記例外フレームを含まない連続したフレームからなるフレーム系列を前記時相データにより時相が一致する部分で接続することにより前記新たな動画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の画像形成装置。
11. 前記生成手段が抽出したフレーム系列のフレーム数が所定数に満たない場合に、再撮影もしくは撮影の継続を指示する指示手段を更に備えることを特徴とする請求項１乃至６のいずれか１項に記載の画像形成装置。
12. 画像形成装置であって、
    撮像手段により撮像された被検者の眼部の動画像を構成する複数フレームから、各フレームの画像特徴に基づいて例外フレームを判定する判定手段と、
    前記例外フレーム以外のフレームが連続する枚数が所定値以上になるまで前記撮像手段に撮影指示を出力する指示手段と、
    前記所定値以上の枚数の連続するフレームに基づいて、前記例外フレームを含まない新たな動画像を生成する生成手段と、
    を備えることを特徴とする画像形成装置。
13. 画像形成装置による画像形成方法であって、
    判定手段が、被検者の眼部の動画像を構成する複数フレームから、各フレームの画像特徴に基づいて例外フレームを判定する工程と、
    取得手段が、前記被検者の生体信号に基づく時相データを取得する取得工程と、
    生成手段が、前記時相データに基づいて、前記判定する工程で判定した例外フレームを含まないように抽出したフレームからなるフレーム系列を抽出して新たな動画像を生成する工程と、を有することを特徴とする画像形成方法。
14. コンピュータを請求項１乃至１２のいずれか１項に記載の画像形成装置の各手段として機能させるためのプログラム。