JP2013162522A

JP2013162522A - ステレオスコピック画像の表示システム

Info

Publication number: JP2013162522A
Application number: JP2013019127A
Authority: JP
Inventors: Ulrich Sander; ザンダーウルリヒ
Original assignee: Leica Microsystems Schweiz AG
Current assignee: Leica Microsystems Schweiz AG
Priority date: 2012-02-02
Filing date: 2013-02-04
Publication date: 2013-08-19
Also published as: US20130201304A1; CN103246054A; DE102012201564B3

Abstract

【課題】不正確な立体視調整及び／又は過大な視差が存在する場合であっても可能な限りステレオスコピック画像を生成可能にする表示システム及び表示方法の提供。
【解決手段】ステレオスコピック顕微鏡画像を表示するためのシステムは、表示スクリーンと、モノスコピック画像からステレオスコピック画像を計算ないし提供するコンピュータ装置とを含み、該コンピュータ装置は、計算ないし提供されたステレオスコピック画像のステレオスコピック知覚可能性を評価するための及びステレオスコピック画像の少なくとも１つの領域がステレオスコピックに知覚できないと決定される場合には、この領域において、計算ないし提供されたステレオスコピック画像をモノスコピック画像で置換するための評価手段を有する。
【選択図】図１

Description

本発明は、ステレオスコピック（stereoscopic）画像（立体画像）を表示するためのシステム（ステレオスコピック画像の表示システム）に関する。

表示スクリーン上でのステレオスコピック顕微鏡画像の表示はますます重要になっており、今や多くのアプリケーションのためにユーザから望まれている。現在広く普及しているのは、観察するためにアクティブ又はパッシブ眼鏡の使用を必要とするステレオスコピック表示のための表示スクリーンを有するシステムである。一例としては、True Vision 3D Surgical社の“True Vision”システムが挙げられる。

より最近では、眼鏡を必要としない表示システムも既に開発されている。

ステレオスコピック顕微鏡画像を表示するための従来のシステムは立体視（stereopsis）を不正確に評価ないし調整するという重大な欠点を有している。ここに、「立体視」は、ステレオスコピックに相互に関連付けられるモノスコピック画像ペアから奥行き（depth）情報を取得する能力を意味すると理解される。そのような画像ペアは少々異なる観察角（viewing angle）からの同じ対象ないし同じモチーフを示す。その結果、対象及び表面の位置、配向（orientation）、更にはシェーディング（shading）も２つのモノスコピック画像間で異なり、ステレオスコピック観察に必要とされる奥行きの印象がこれらの相違から取得することができる。

立体視と密接に関連しているものとしては、視差（parallax）として知られるものがある。用語「視差」は、観察者の位置のズレないし変化（shift）即ち観察角の変化により生成される観察対象の位置の見掛けの変化に関する。従って、ステレオスコピックな奥行き知覚（認知）は２つの眼のモノスコピック画像間の視差に関連する差異に基づく。ちなみに、用語「モノスコピック画像」は、各眼によって見られるような、観察されるシーンの個別の画像を意味すると理解される。そのような２つの画像を観察者の相応の脳活動によって計算的に結合ないし融合することにより、ステレオスコピックな奥行き知覚即ち三次元知覚が得られる。

従って、立体視と視差はステレオスコピック画像ペアのステレオスコピック知覚可能性（能力）の評価の基準を構成する。

ＤＥ１０２５５９６１Ａ１（特開２００４−１８５００３）ＤＥ１０３３２６０３Ａ１（特開２００５−３７９５２）ＤＥ１０２００４０２２３３０Ａ１（特表２００７−５３６５８４）ＤＥ１０２０１０００３６４０Ａ１

以下の分析は、本発明者によって与えられるものである。
不正確な立体視調整（adjustment）及び／又は過大な視差により、表示スクリーンに表示されるステレオ画像ペアは最早観察者によって融合不可能になる。その結果、実用上、そのような表示システムは、不適合（incompatible）ないし役に立たない視覚的印象を与えるので、ユーザによって受け入れられない。そのような誤った視覚的印象は、例えば狭チャンネル（複数）がマイクロスコピックに取り込まれた画像（複数）の表示スクリーン（モニタ）上での表示と関連して使用されるとき、引き起こされる。この場合、左右の（モノスコピック）画像は、表示スクリーン上で余りにも大きく互いに引き離されるので、最早互いに融合されることはできない。

本発明の課題は、上述の不適合性を可能な限り克服するステレオスコピック顕微鏡画像を表示するシステムを提供することである。

上記の課題を解決するために、本発明の第１の視点により、ステレオスコピック顕微鏡画像を表示するためのシステムが提供される。該システムは、表示スクリーンと、モノスコピック画像（複数）からステレオスコピック画像（複数）を計算ないし提供（生成）するコンピュータ装置とを含み、
前記コンピュータ装置は、計算ないし提供されたステレオスコピック画像（複数）のステレオスコピック知覚可能性（perceptibility）を評価するための及び（１つの）ステレオスコピック画像の少なくとも１つの領域がステレオスコピックに知覚できないと決定される場合には、この領域において、計算ないし提供されたステレオスコピック画像をモノスコピック画像で置換するための評価手段を有する（形態１・第１基本構成）。
更に、上記の課題を解決するために、本発明の第２の視点により、ステレオスコピック顕微鏡画像（複数）を表示スクリーンに表示するための方法が提供される。該方法において、ステレオスコピック画像（複数）がモノスコピック画像（複数）に基づきコンピュータ装置によって計算ないし提供（生成）され、
計算ないし提供されたステレオスコピック画像（複数）のステレオスコピック知覚可能性（perceptibility）が前記コンピュータ装置によって評価され、及び（１つの）ステレオスコピック画像の少なくとも１つの領域がステレオスコピックに知覚できないと決定される場合には、この領域において、計算ないし提供されたステレオスコピック画像がモノスコピック画像で置換される（形態４・第２基本構成）。

本発明の第１の視点に係る表示システム及び本発明の第２の視点に係る表示方法により、上記課題に対応する効果が夫々達成される。即ち、本発明の表示システム及び表示方法により、不正確な立体視調整（adjustment）及び／又は過大な視差が存在する場合であっても可能な限りステレオスコピック画像が生成可能になる。
更に、各従属請求項に係る発明により付加的な効果が夫々達成される。

ここに、本発明の好ましい実施の形態を示す。
（形態１）上掲第１の視点のとおり。
（形態２）上記形態１のシステムにおいて、前記評価手段は、前記計算ないし提供されたステレオスコピック画像の視差が、ステレオスコピック知覚可能性と関連付け可能な所定の閾値を超過したか否かを決定することが好ましい。
（形態３）上記形態１又は２のシステムにおいて、前記評価手段は、１つのステレオスコピック画像を、複数のモノスコピック画像の１つによって又は２つのモノスコピック画像から計算された１つの合成モノスコピック画像によって置換することができることが好ましい。
（形態４）上掲第２の視点のとおり。
（形態５）上記形態４の方法において、前記計算ないし提供されたステレオスコピック画像の視差が、ステレオスコピック知覚可能性と関連付け可能な所定の閾値を超過したか否かが決定されることが好ましい。
（形態６）上記形態４又は５の方法において、計算ないし提供されたステレオスコピック画像がモノスコピック画像によって少なくとも部分的に置換される場合、複数のモノスコピック画像の１つ又は２つのモノスコピック画像から計算された１つの合成モノスコピック画像が、当該モノスコピック画像として使用されることが好ましい。

本発明の特徴の１つは、（１つの）ステレオスコピック画像の（を構成する）全ての又は少なくとも幾つかのステレオスコピック画像ペアについて、これらが観察者に対しステレオスコピックに知覚可能であるかを決定することである。そのように知覚可能でない場合には、（１つの）モノスコピック画像（例えば右側又は左側モノスコピック画像）が、ステレオスコピックに解像（ないし合成）可能ないし知覚可能でない画像ペアの代わりに表示スクリーンに表示される。

従って、全体的には、（１つの）シーンないし画像が、部分的にステレオスコピックとしてかつ部分的にモノスコピックな表示態様として表示スクリーンに表示されることができる。尤も、ステレオスコピック部分画像とモノスコピック部分画像のそのような結合は如何なる不適合ないし不快な視覚的印象をも引き起こさないことが判明した。

本発明のとりわけ好ましい一実施形態では、提供（生成）ないし計算されたステレオスコピック画像（複数）の視差（parallax）が、ステレオスコピック知覚可能性（perceptibility）と関連付け可能な（associatable）所定の閾値を超過したか否かが決定される。そして、（１つの）モノスコピック画像が、この閾値を超過する領域（複数も含む）において若しくは画像ペア（複数も含む）のために生成され及び／又は利用可能にされることができ、かつ、（１つの）ステレオスコピック画像が、この閾値が超過されない領域においては生成及び利用可能にされることができる。これら２つの状態は、１つのステレオスコピック・モノスコピック混合（合成）画像が観察者に対し生成されるように、互いに重ね合わせられることができる。例えば、モノスコピックに表示される画像領域（複数も含む）がステレオスコピックに表示される画像領域（複数も含む）と比べて非常に小さい場合、モノスコピック及びステレオスコピック画像領域の重ね合わせは、観察者には殆ど知覚できない。全体として、該画像は実質的に１つのステレオスコピック画像として現れる（表示される）。

評価手段は、１つのステレオスコピック画像を、複数のモノスコピック画像の１つによって即ち例えば左側又は右側画像によって、又は２つの（モノスコピック）画像から計算された１つの合成（composite）モノスコピック画像によって置換することができることが好ましい。そのような合成モノスコピック画像は、例えば、その位置が各自の右側モノスコピック画像の位置と左側モノスコピック画像の位置の間にある位置を有する（１つの）モノスコピック画像であってもよい。

本発明の更なる利点及び実施形態は、明細書及び添付の図面から明らかとなる。

上述の特徴及び後述の特徴は、本書に特定された組み合わせのみならず、本発明の範囲を逸脱しない限りにおいてその他の組み合わせ又は単独でも使用可能である。

以下に、本発明の実施例を図面を参照して詳細に説明する。なお、特許請求の範囲に付した図面参照符号は専ら発明の理解を助けるためのものであり、本発明を以下の実施例に限定することは意図していない。

本発明のシステムの好ましい一実施例の本質的構成要素の模式図。表示されるモチーフの２つのモノスコピック画像を示す表示スクリーン及び観察者に対し生成され得る画像の一例の模式図。

図１は、本発明のシステムの好ましい一実施例をこれに図面参照符号１００を付して極めて模式的に示す。システム１００は、観察対象をステレオスコピックに観察するためのステレオ顕微鏡１１０を含む。ステレオ顕微鏡１１０は、観察対象の直接的なステレオスコピック観察のための接眼鏡（不図示）を備えてもよい。ステレオ顕微鏡の基本構成は当業者には既知であり、従って本書では詳細には説明しない。これに関し、参照され得る例としては、例えば、特許公報ＤＥ１０２５５９６１Ａ１（特許文献１）、ＤＥ１０３３２６０３Ａ１（特許文献２）、ＤＥ１０２００４０２２３３０Ａ１（特許文献３）及びＤＥ１０２０１０００３６４０Ａ１（特許文献４）に記載されたステレオ顕微鏡が挙げられる。

ステレオ顕微鏡１１０は、例えば、各ステレオスコピック観察チャンネル（不図示）のためのＣＣＤチップを有する記録装置１１５に接続される。図示されていないが、例えば半透過性ミラーのような分岐出射装置もこれに関連して使用してもよい。

上記ＣＣＤチップ（複数）は、観察対象の対応する画像即ち左側及び右側モノスコピック画像を夫々検出（ないし記録）するために使用される。検出（記録）装置１１５のＣＣＤチップ（不図示）は、コンピュータ装置１２０に接続される。コンピュータ装置１２０は、対応するＣＣＤチップ（複数）によって検出（記録）された画像（複数）に基づいて、（１つの）ステレオスコピックに知覚可能な画像を計算ないし生成することができる。コンピュータ装置１２０は、例えば、２つの画像に及び／又は１つの合成ないし計算ステレオスコピック画像に１つのアルゴリズムを適用するよう構成可能であり、該アルゴリズムは、ステレオ画像ペア間の距離を測定し、予め設定された閾値が超過される場合２つのモノスコピック画像の一方を低減ないし抑止する（suppress）。このステレオスコピック画像は、コンピュータ装置１２０に接続された表示スクリーン１３０に表示可能である。ステレオスコピックに知覚可能な画像については、例えば、高速に交互に表示スクリーンに表示されるモノスコピック画像（複数）を用いることができる。各画像が凡そ６０回／秒で表示されるとすれば、個別画像の総計は１秒当り１２０になる。そのように交互に表示される画像がステレオスコピックに知覚されるために、典型的には、各眼に対し正確なハーフ画像（half-image）を選別（フィルタ）することが可能ないわゆるシャッタ眼鏡が必要とされる。眼鏡の不使用が意図される場合は、他の選択肢（手段）としては、２つの画像をインターリーブラインパターン（interleaved line pattern；右眼用のラインと左眼用のラインを一ラインずつ交互に並列に並べたラインのパターン。インターレースラインパターンともいう。）で同時に表示することがある。この場合、表示スクリーン上に又は表示スクリーンの前方に配される相応にパターン形成されたフィルムは、２つの画像を選別（フィルタ）し、これらを互いに対し特定の角度で表示することができ、これにより、ステレオスコピックな観察（立体的観察）を可能にする。更に、観察者の視線方向が求められ使用されるいわゆるアイトラッキング法も参照される。

本発明の特徴の１つは、コンピュータ装置１２０が、計算されたステレオスコピック画像の幾つかの又は全ての領域について、２つのモノスコピック画像の間の視差が、この領域のための予め設定可能又は選択可能な閾値を超過したか否かを決定することである。この視差が閾値を超過しない領域については、ステレオスコピック画像（を表す信号）が表示スクリーン１３０に提供される。これに対し、視差が閾値に到達又は超過する領域については、最初に提供（生成）されるステレオスコピック画像（を表す信号）は、モノスコピック画像即ち例えば左側又は右側（モノスコピック）画像（を表す信号）で置換され、この領域については、対応するモノスコピック画像が表示スクリーン１３０に表示される。従って、全体としては、１つのステレオスコピック・モノスコピック合成画像が表示スクリーン１３０に生成されることができ、しかも、この画像は観察者にとって不快なもの（観察に堪えないもの）ではない。

上記の関係を図２ａ〜図２ｃを参照して更に説明する。図２ａは、一例として、１つの対象ないし１つの相応の観察領域の左側モノスコピック画像Ｌ及び右側モノスコピック画像Ｒが表示スクリーン１３０に表示されている様子を示す。上述のように、そのような画像の重ね合わせを実行するための方法は実用上種々存在する。視差は、例えば、２つの画像の中心間の距離Ｐによって与えられる。この視差が、一群のユーザに対して又は個別のユーザに対して決定可能な所定の閾値より小さい場合、観察者は、２つの画像が１つのステレオスコピック画像Ｓとして現れるように該２つの画像を処理することができる。この状態を図２ｂに示す。

これに対し、視差Ｐがこの閾値より大きい場合、観察者は最早これら２つの画像を融合することはできない。この場合、観察者は、図２ｃに示した一例のように、モノスコピック画像Ｌ及びＲが融合することができず、ぼやけて（不鮮明に）現れる二重画像を見ることになるであろう。その場合、２つの画像の中心間の距離Ｐによって与えられる視差を有する領域に対しては、２つの画像に代わり、一方のモノスコピック画像（Ｒ又はＬ）を表示するか、又は、両者の中間の位置にあるモノスコピック画像が提供される。そのことにより、全体としての視認鮮明画像の一体性は、立体視不鮮明の領域を含むことなく良好に維持される。

本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素（各請求項の各要素、各実施例の各要素、各図面の各要素等を含む）の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１００システム
１１０ステレオ顕微鏡
１１５検出（記録）装置
１２０コンピュータ装置
１３０表示スクリーン
Ｐ視差
Ｌ左側モノスコピック画像
Ｒ右側モノスコピック画像
Ｓステレオスコピック画像

Claims

ステレオスコピック顕微鏡画像を表示するためのシステムであって、
該システムは、表示スクリーン（１３０）と、モノスコピック画像（複数）からステレオスコピック画像（複数）を計算ないし提供するコンピュータ装置（１２０）とを含み、
前記コンピュータ装置（１２０）は、計算ないし提供されたステレオスコピック画像（複数）のステレオスコピック知覚可能性（perceptibility）を評価するための及び（１つの）ステレオスコピック画像の少なくとも１つの領域がステレオスコピックに知覚できないと決定される場合には、この領域において、計算ないし提供されたステレオスコピック画像をモノスコピック画像で置換するための評価手段を有する、システム。
前記評価手段は、前記計算ないし提供されたステレオスコピック画像の視差が、ステレオスコピック知覚可能性と関連付け可能な所定の閾値を超過したか否かを決定する、請求項１に記載のシステム。
前記評価手段は、１つのステレオスコピック画像を、複数のモノスコピック画像の１つによって又は２つのモノスコピック画像から計算された１つの合成モノスコピック画像によって置換することができる、請求項１又は２に記載のシステム。
ステレオスコピック顕微鏡画像（複数）を表示スクリーン（１３０）に表示するための方法であって、
ステレオスコピック画像（複数）がモノスコピック画像（複数）に基づきコンピュータ装置（１２０）によって計算ないし提供され、
計算ないし提供されたステレオスコピック画像（複数）のステレオスコピック知覚可能性（perceptibility）が前記コンピュータ装置（１２０）によって評価され、及び（１つの）ステレオスコピック画像の少なくとも１つの領域がステレオスコピックに知覚できないと決定される場合には、この領域において、計算ないし提供されたステレオスコピック画像がモノスコピック画像で置換される、方法。
前記計算ないし提供されたステレオスコピック画像の視差が、ステレオスコピック知覚可能性と関連付け可能な所定の閾値を超過したか否かが決定される、請求項４に記載の方法。
計算ないし提供されたステレオスコピック画像がモノスコピック画像によって少なくとも部分的に置換される場合、複数のモノスコピック画像の１つ又は２つのモノスコピック画像から計算された１つの合成モノスコピック画像が、当該モノスコピック画像として使用される、請求項４又は５に記載の方法。