JP2009008846A - 多次元画像の閲覧装置 - Google Patents

Abstract

【課題】複数の画像取得条件により撮像された多次元の画像中から目的の画像を容易、且つ迅速に検索して画像表示する事ができる多次元画像の閲覧装置を提供すること。
【解決手段】複数の画像取得条件により電子カメラで取得された複数の画像データを前記画像取得条件とリンクさせて記憶する記憶手段と、前記記憶手段に記憶された前記複数の画像の階層化を行うために、所定の階層化条件を前記画像取得条件に従って設定する階層化設定手段と、前記階層化設定手段により設定された前記所定の階層化条件にしたがって前記複数の画像を検索、並べ替えを行い階層構造を有すツリーを作成し、前記階層化条件で形成された前記ツリーの最下層のデータとしてサムネイル画像を生成する制御手段と、前記制御手段で生成された前記サムネイル画像と、前記ツリーとを表示する表示手段とを有する多次元画像の閲覧装置。
【選択図】図４

Description

本発明は、顕微鏡等で取得される多数の画像を効率的に閲覧するために好適な多次元画像の閲覧装置に関する。

近年、顕微鏡観察にデジタルカメラを用い長時間の観察画像を取得、保存するタイムラプス観察装置などが提案されている（例えば、特許文献１参照）。
特開２００２−２７７７５４号公報

従来のタイムラプス観察装置などで取得された多数の画像を、付属のアプリケーションで閲覧しようとした場合、一度にモニタ画面に表示できる画像は１枚、或いは多くてもある次元（時間、位置、焦点面、或いは波長など）をグループ化してタイリング形式で表示することしかできないため、膨大な多次元画像データ中から目的とする画像を探査する作業に時間がかかるという問題がある。

上記課題を解決するため、本発明は、複数の画像取得条件により電子カメラで取得された複数の画像データを前記画像取得条件とリンクさせて記憶する記憶手段と、前記記憶手段に記憶された前記複数の画像の階層化を行うために、所定の階層化条件を前記画像取得条件に従って設定する階層化設定手段と、前記階層化設定手段により設定された前記所定の階層化条件にしたがって前記複数の画像を検索、並べ替えを行い階層構造を有すツリーを作成し、前記階層化条件で形成された前記ツリーの最下層のデータとしてサムネイル画像を生成する制御手段と、前記制御手段で生成された前記サムネイル画像と、前記ツリーとを表示する表示手段とを有することを特徴とする多次元画像の閲覧装置を提供する。

本発明によれば、複数の画像取得条件（例えば、時間、位置、焦点面、或いは波長など）により撮像された多次元の画像中から目的の画像を容易、且つ迅速に検索して画像表示する事ができる多次元画像の閲覧装置を提供することができる。

本発明の一実施の形態にかかる多次元画像の閲覧装置について図面を参照しつつ説明する。なお、以下の説明ではタイムラプス装置を代表として説明するがこれに限定されないことは言うまでも無い。

図１は、実施の形態にかかる多次元画像の閲覧装置をタイムラプス装置に用いた例の概略構成図を示す。図２は、取得された多次元画像のデータテーブルの例を示す。図３は、多次元画像の閲覧装置のおける画像検索処理のフローを示す。図４は、実施の形態にかかる多次元画像の閲覧装置の画像表示部の表示の例を示す。図５は、図４のツリービューを拡大して示したものである。図６は階層化順序を変更した場合の変更後のツリービューを示す。図７（ａ）は、検索条件設定画面を示し、図７（ｂ）は（ａ）に示す検索条件設定画面で位置Ｐを設定した場合のツリービュー画面を示し、図７（ｃ）は焦点位置Ｚを指定した例をそれぞれ示す。

図１において、実施の形態にかかる多次元画像の閲覧装置（以後、単に閲覧装置と記す）１は、タイムラプス装置２に接続されて用いられる。タイムラプス装置２は、顕微鏡２ａと、顕微鏡２ａから画像を取得するカメラ２ｂと、顕微鏡２ａの動作を制御する制御装置（例えば、パーソナルコンピュータＰＣ）１ａとから構成されている。

閲覧装置１は、アプリケーションソフトを搭載したＰＣ１ａと画像を表示するモニタ１ｂと、検索条件などを入力する入力装置１ｃと、表示装置上のポインタを操作するマウス１ｄ等から構成されている。ＰＣ１ａは、タイムラプス装置２の制御装置と兼用されている。

タイムラプス装置２は、ＰＣ１ａの制御に基づき、所定の時間、標本の位置、焦点位置、及び観察波長等の次元を所定の手順に従って変更しながら、カメラ２ｂで標本の画像を連続的に撮影し、ＰＣ１ａに内蔵された例えばＨＤＤ等の記憶装置１ｅに保存される。

従来、これらの画像データは、時間Ｔなどの各次元で取得した画像ごとに１つのファイル名が付けられて記憶装置１ｅに保存されていた。このため、画像取得後、取得した多次元画像を閲覧しようとすると、それぞれの画像ファイルをＷｉｎｄｏｗｓ（登録商標）のファイル名から探し出してモニタ１ｂに表示させるため、観察したい画像を探し出すために多大な時間と労力が必要であった。

本実施の形態にかかる閲覧装置１は、短時間で所望の画像を検索して表示できるようにしたものである。なお、以下の説明では、時間Ｔ、位置Ｐ、焦点位置Ｚ、波長Λの４次元の場合について説明するが次元数について制限がないことは言うまでも無い。

閲覧装置１のＰＣ１ａには、タイムラプス装置２で得られた多数の画像データが図２に示す｛実験１｝あるいは｛実験２｝のような管理データと共に、それぞれ一つのデータファイルとして記憶装置１ｅに保存されている。即ち、記憶装置１ｅには、｛実験１｝のデータファイル、｛実験２｝のデータファイルがそれぞれ保存されている。

｛実験１｝のデータファイルには、取得した画像データに対応する画像ＮＯ．（例えば、＃１〜＃ｎ）、そしてこの画像データの取得された各次元データである、時間Ｔ、位置Ｐ、焦点座標Ｚ、観察波長Λ、それぞれのデータが、画像ＮＯ．と一対のデータとして管理されている。｛実験１｝には、画像ＮＯ．＃１〜＃ｎまでの画像とこれに対応する次元データが格納されている。｛実験２｝のデータファイルも次元のデータが異なるだけであり説明を省略する。そして、記憶装置１ｅには、タイムラプス装置２で取得された複数の｛実験ＮＯ．｝の管理情報と、これに対応する画像データが保存されている。

以下、閲覧処理工程を図３に示すフローに従って説明する。

（ステップＳ１）
タイムラプス装置２の測定環境等を設定する。ＰＣ１ａの設定、顕微鏡２ａの設定、標本のタイムラプス測定準備などが行われる。

（ステップＳ２）
ＰＣ１ａに対して、時間Ｔ、位置Ｐ、焦点位置Ｚ、波長Λなどのタイムラプス画像取得条件を設定し、顕微鏡２ａの不図示の顕微鏡制御装置で制御する。

（ステップＳ３）
設定した多次元画像取得条件に従って、顕微鏡２ａが標本の多次元画像を取得し、ＰＣ１ａの記憶装置１ｅに図２に示すデータファイルの形式で保存する。

（ステップＳ４）
多次元画像取得中或いは取得完了後、取得した多次元画像をモニタ１ｂに表示する。｛実験１｝の表示状態を図４に示す。

図４において、１０はモニタ１ｂ上のメインウィンドウである。画像ウィンドウ１１は、所得した画像を表示する画面であり、画像表示部１１ａと各次元位置をスライドボタンで選択可能な次元選択部１１ｂとから構成されている。ここで、Ｔ３は、時間Ｔの３番目、Ｐ２は位置Ｐの２番目、Ｚ２は焦点位置Ｚの２番目、ｃｈ１は波長Λの１番目をそれぞれ選択したことを示している。各次元表示に設けられているスライドボタン１１ｃを左右にスライドさせることで、各次元中の画像を選択することができる。

また、メインウィンドウ１０には、ツリービュー２０も表示されている。図５は、ツリービュー２０を拡大して示した図である。なお、画像ウィンドウ１１とツリービュー２０とは、同時表示、交互に表示と切換えることが可能である。

ツリービュー２０は、取得した多次元画像を初期設定で設定されている次元（時間Ｔ、位置Ｐ、焦点位置Ｚ、波長Λ）階層に従って、多次元画像をツリー状に構成して示す画面である。ツリービュー２０には、画面拡大・縮小ボタン２１、最小化ボタン２２、消去ボタン２３が設けられている。

また、取得した多次元画像の階層順を指定する階層選択ウィンドウ２４と、選択された階層のツリー構造を示すツリー画面２５と、後述する検索キー３１、編集キー３２、画像処理キー３３のそれぞれのボタンを有している。

階層選択ウィンド２４は、多次元画像の次元に対応した数のウィンドウが表示される。今の場合４次元であるので、４つのウィンドウで第１階層２４ａ、第２階層２４ｂ、第３階層２４ｃ、及び第４階層２４ｄがそれぞれ表示されている。例えば、６次元の場合には６個のウィンドウが表示されることになる。初期設定では、第１階層が時間Ｔ、第２階層２４ｂが位置Ｐ、第３階層２４ｃが焦点位置Ｚ、第４階層２４ｄが波長Λに設定されている。従って、初期設定状態では、ツリー画面２５に、時間Ｔ−位置Ｐ−焦点位置Ｚ−波長Λの階層順でツリーが構成されて表示される。

また、階層選択ウィンドウ２４の各階層ウィンドウ２４ａ、２４ｂ、２４ｃ、２４ｄには、矢印ボタン２４ｅがそれぞれ設けられ、この矢印を操作することで、Ｔ，Ｐ、Ｚ、Λのいずれかをそのウィンドウに設定することができる。

また、ツリー画面２５において、最下層の第４階層のΛデータ欄には、この波長に対応する画像のサムネイル画像２６が表示され、観察者に画像の概ねの状態が観察でき、拡大して表示したい画像を素早く選択することを可能にしている。

図４の表示では、ツリー画面２５の実験データ１のΛ１が選択されて、画像表示部１１ａに表示された状態が示されている。

（ステップＳ５）
階層選択ウィンドウ２４の各設定を変更して、階層（次元）の順序を入れ替え、観察したい条件の画像を第４階層に設定することが可能である。例えば、第３階層２４ｃの焦点位置Ｚと第４階層２４ｄの波長Λを入れ替えることで、図６に示すように第４階層２４ｄに焦点位置Ｚのサムネイル画像２６を表示し、観察目的の画像を短時間で選択することが可能になる。変更の順序は上記に限定されず観察者の目的に応じて設定することができる。

（ステップＳ６）
次元の順序の変更が終わったのち、ツリー画面２５で所望の焦点位置Ｚ（例えば、Ｚ１）を選択する。

（ステップＳ７）
ステップＳ６で選択された画像が、図４の画像表示部１１ａに表示され、観察者に拡大して観察可能になる。

このように、実施の形態にかかる閲覧装置１では、取得された多数の画像データを観察者が観測したい次元の階層順に編集してツリー画面２５に表示し、所望の画像を容易に選択することが可能になる。

また、ツリー画面２５において、最下層の画像データそれぞれのサムネイル画像２６を表示することができるため、観察者はサムネイル画像２６を見て簡単に画像を選択することができる。

また、選択した画像を、画像表示部１１ａに拡大して表示することで、画像の細部を観察することができる。

また、画像表示部１１ａに拡大表示されている画像とサムネイル画像２６とは双方にリンクされており、拡大表示されてる画像をクリックすることでツリー画面２５の対応するサムネイル画像２６が自動的に選択され点滅するなどして明示することができる。

また、階層順序を変更したツリーをリストに登録して記憶装置１ｅに保存しておき、適宜読み出して表示する事ができる。

また、リストを登録した順番を記憶装置１ｅに記憶しておき、登録した順番に画像表示部１１ａに表示する事ができる。

また、図７に示すように、検索キー３１を選択して、条件入力画面を表示し（図７（ａ）参照）、多次元画像中から条件に一致する画像データを抽出し、ツリー画面２５に表示することも可能である（図７（ｂ）参照）。ここでは、位置Ｐ１を例に示している。位置Ｐ１は、Ｔ３、Ｔ４、Ｔ５に存在することが一見して分かる。これらの画像データを図１に示すマウス１ｄを操作して逐次ポインタ（図７（ｂ）中の白抜き矢印）で選択して、画像表示部１１ａに表示して観察することができる。

また、図７（ｃ）に示すように、検索条件を焦点位置ＺのＺ＝５．００μｍに設定して検索することで、実験データ１中のＺ＝５．００μｍに対応する全ての画像データを選択することができる。

また、選択した全ての画像データを、編集キー３２の機能を使用して、ＡＶＩ形式などの動画ファイルにエクスポートして、画像表示部１１ａで動画再生を行わせることも可能である。

また、編集キー３２の機能には、ツリー画面２５で選択した画像、或いは次元を一括して削除することや、一括して切り出して別ファイルに登録録することが可能である。

また、選択した全ての画像に対して、画像処理キー３３の機能を使用して、一括して同一の画像処理を施すことが可能である。同一の画像処理を施すことによって、画像の見え方を一定にすることが可能となり、画像の変化を早く捉えることが可能になる。

以上述べたように、実施の形態のよれば、複数の画像取得条件（例えば、時間、位置、焦点面、或いは波長など）により撮像された多次元の画像中から目的の画像を容易、且つ迅速に検索して画像を表示する事ができる。

なお、上述の実施の形態は例に過ぎず、上述の構成や形状に限定されるものではなく、本発明の範囲内において適宜修正、変更が可能である。

実施の形態にかかる多次元画像の閲覧装置をタイムラプス装置に用いた例の概略構成図を示す。 取得された多次元画像のデータテーブルの例を示す。 多次元画像の閲覧装置のおける画像検索処理のフローを示す。 実施の形態にかかる多次元画像の閲覧装置の画像表示部の表示の例を示す。 図４のツリービューを拡大して示したものである。 階層の検索順序を変更した場合の変更後のツリービューを示す。 条件検索を説明する図であり、（ａ）は、検索条件設定画面を示し、（ｂ）は（ａ）に示す検索条件設定画面でＰ１を設定した場合のツリービュー画面を示し、（ｃ）は焦点位置Ｚを指定した例をそれぞれ示す。

符号の説明

１ 多次元画像の閲覧装置
２ タイムラプス装置
１０ メインウィンドウ
１１ 画像ウィンドウ
２０ ツリービュー
２４ 階層選択ウィンドウ
２５ ツリー画面
３１ 検索キー
３２ 編集キー
３３ 画像処理キー

Claims (7)

1. 複数の画像取得条件により電子カメラで取得された複数の画像データを前記画像取得条件とリンクさせて記憶する記憶手段と、
   前記記憶手段に記憶された前記複数の画像の階層化を行うために、所定の階層化条件を前記画像取得条件に従って設定する階層化設定手段と、
   前記階層化設定手段により設定された前記所定の階層化条件にしたがって前記複数の画像を検索、並べ替えを行い階層構造を有すツリーを作成し、前記階層化条件で形成された前記ツリーの最下層のデータとしてサムネイル画像を生成する制御手段と、
   前記制御手段で生成された前記サムネイル画像と、前記ツリーとを表示する表示手段とを有することを特徴とする多次元画像の閲覧装置。
2. 前記制御手段は、前記ツリーを前記階層化条件単位で階層化し、前記階層化条件の順序を変えることで前記階層の順序を変更可能であることを特徴とする請求項１に記載の多次元画像の閲覧装置。
3. 前記制御手段は、前記ツリーで選択した少なくとも１つの画像に対して、一括して画像処理を行うことを特徴とする請求項１または２に記載の多次元画像の閲覧装置。
4. 前記制御手段は、前記ツリーで選択した複数の画像を、前記表示装置に連続して表示することを特徴とする請求項１から３のいずれか１項に記載の多次元画像の閲覧装置。
5. 前記階層化設定手段は、前記表示手段の表示画面を使用して前記階層化条件の入力ウィンドウから前記画像取得条件を入力することを特徴とする請求項１または４のいずれか一項に記載の多次元画像の閲覧装置。
6. 前記制御装置は、前記サムネイル画像から指定された画像の拡大画像を生成し、前記拡大画像と前記ツリーを切換えて前記表示装置に表示することを特徴とする請求項１から５のいずれか一項に記載の多次元画像の閲覧装置。
7. 前記制御装置は、前記表示装置に表示されている画像の拡大画像とリンクする前記サムネイル画像を前記ツリーから自動的に選択して明示することを特徴とする請求項１から５のいずれか一項に記載の多次元画像の閲覧装置。

Images