JP2020027957A - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Abstract

【課題】装置の小型化を可能にすると共に、得られる立体感を調整可能にする。【解決手段】画像処理装置は、左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、左目視点画像と右目視点画像を生成する画像生成部と、類似する、左目視点画像の部分画像と右目視点画像の部分画像、のペアを検出する検出部と、１つのペア又は複数のペアの各々における、左目視点画像の部分画像と右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行う画像調整処理部と、左目視点画像又は画像調整処理後の左目視点画像を左目で観察可能に表示すると共に、右目視点画像又は画像調整処理後の右目視点画像を右目で観察可能に表示する表示部と、を備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理装置において実行される画像処理方法、及び画像処理装置において実行される画像処理プログラムに関する。

従来、立体感が得られる画像を表示可能にした装置が知られている。
例えば、特許文献１には、被写体に対応する２つの像を結像する大口径光学系と、この大口径光学系で結像された２つの像を第１像と第２像に分離させる第１レンチキュラーレンズと、この第１レンチキュラーレンズに依り分離される第１像と第２像に該当する電気的な信号を出力する撮像部と、この撮像部から出力される電気的な信号を処理して第１像に該当する第１映像信号と第２像に該当する第２映像信号とを生成し、第１映像信号と第２映像信号を相互に合成して１フレームの映像信号を生成する信号処理部と、この信号処理部から出力される１フレームの映像信号に従って駆動されて該当する１フレームの映像を表示する表示部と、この表示部で表示される映像を立体的に見せるための第２レンチキュラーレンズとを含んでなる立体映像表示装置が開示されている。

特開平１１−１５５１５３号公報

特許文献１に開示の上記装置では、大口径光学系が必要とされることから、装置の小型化が困難である。また、被写体までの距離の違いに因って、実際の被写体とは異なる立体感が得られてしまう虞がある。例えば、顕微鏡観察を行う場合の試料から対物レンズまでの距離といった、被写体までの距離が極端に短い場合には、被写体の凹凸に対して、実際よりも大きな奥行き感が得られてしまう虞がある。

本発明は、上記実状に鑑み、装置の小型化を可能にすると共に、得られる立体感を調整することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。

本発明の第１の態様は、画像処理装置であって、左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、前記左目視点画像と前記右目視点画像を生成する画像生成部と、類似する、前記左目視点画像の部分画像と前記右目視点画像の部分画像、のペアを検出する検出部と、１つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行う画像調整処理部と、前記左目視点画像又は前記画像調整処理後の前記左目視点画像を左目で観察可能に表示すると共に、前記右目視点画像又は前記画像調整処理後の前記右目視点画像を右目で観察可能に表示する表示部と、を備えることを特徴とする。

本発明の第２の態様は、第１の態様において、前記画像調整処理部は、前記画像調整処理として、画像変形処理、又は、前記画像変形処理及び画像補間処理を行う、ことを特徴とする。

本発明の第３の態様は、第２の態様において、前記画像補間処理は、補間対象領域の周辺の画像又は画素、及び又は、前記補間対象領域を含まない方の前記左目視点画像又は前記右目視点画像を利用して行われる、ことを特徴とする。

本発明の第４の態様は、第１乃至３の何れか１つの態様において、前記画像調整処理部は、前記検出部が検出したペア毎の、前記左目視点画像の部分画像と前記右目視点画像の部分画像の位置関係に基づいて、１つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、前記画像調整処理を行う、ことを特徴とする。

本発明の第５の態様は、第１乃至４の何れか１つの態様において、前記立体感の調整レベルを指示するための操作部を更に備え、前記画像調整処理部は、前記操作部の操作に応じた調整レベルに従って前記画像調整処理を行う、ことを特徴とする。

本発明の第６の態様は、第1乃至５の何れか１つの態様において、前記表示部は、更に、奥行き感の指標となる左目用指標を前記左目で観察可能に表示すると共に、前記奥行き感の指標となる右目用指標を前記右目で観察可能に表示する、ことを特徴とする。

本発明の第７の態様は、第１乃至６の何れか１つの態様において、複数の画素部を有する撮像部を更に備え、前記複数の画素部の各々は、１つのマイクロレンズと複数の光電変換素子とを含み、前記左目視点画像を構成可能な画像情報と前記右目視点画像を構成可能な画像情報は、前記撮像部から取得される、ことを特徴とする。

本発明の第８の態様は、画像処理装置において実行される画像処理方法であって、左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、前記左目視点画像と前記右目視点画像を生成し、類似する、前記左目視点画像の部分画像と前記右目視点画像の部分画像、のペアを検出し、１つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行い、前記左目視点画像又は前記画像調整処理後の前記左目視点画像を左目で観察可能に表示すると共に、前記右目視点画像又は前記画像調整処理後の前記右目視点画像を右目で観察可能に表示する、ことを特徴とする。

本発明の第９の態様は、画像処理プログラムであって、画像処理装置のコンピュータに、左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、前記左目視点画像と前記右目視点画像を生成し、類似する、前記左目視点画像の部分画像と前記右目視点画像の部分画像、のペアを検出し、１つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行い、前記左目視点画像又は前記画像調整処理後の前記左目視点画像を左目で観察可能に表示すると共に、前記右目視点画像又は前記画像調整処理後の前記右目視点画像を右目で観察可能に表示する、という処理を実行させることを特徴とする。

本発明に依れば、装置の小型化を可能にすると共に、得られる立体感を調整することができる、という効果を奏する。

一実施の形態に係る画像処理装置を含む顕微鏡システムの構成例を示す図である。 図１の対物レンズに図示した位置の異なる２つの瞳面領域を通った光束による像による測距を、一般的な三角測量に即して説明した図である。 図２を補足する図である。 画像調整処理部が行う画像調整処理の一例を模式的に示す図である。 顕微鏡システムにおいて実行される処理の流れを示すフローチャートである。 画像処理（Ｓ５０４）の処理の流れを示すフローチャートである。 表示部の表示例を示す図（その１）である。 表示部の表示例を示す図（その２）である。 表示部の表示例を示す図（その３）である。 変形例に係る画像処理（Ｓ５０４）の流れを示すフローチャートである。 ＵＩ表示の一例を示す図である。 制御部のハードウェア構成例を示す図である。

以下、図面を参照しながら、本発明の実施の形態について説明する。
図１は、一実施の形態に係る画像処理装置を含む顕微鏡システムの構成例を示す図である。

図１に示したとおり、顕微鏡システム１は、撮像部２、制御部３、表示部４、記録部５、通信部６、及び操作部７を備える。
撮像部２は、対物レンズ２１と、撮像素子２２を含む。

撮像素子２２は、ＸＹ方向の２次元状に配列された複数の画素部２２１を含み、各画素部２２１は、１つのマイクロレンズ２２１１と、２つの光電変換素子２２１２Ｒ、２２１２Ｌを有する。各画素部２２１において、２つの光電変換素子２２１２Ｒ、２２１２Ｌは、Ｘ方向に配列される。なお、図１では、説明の便宜のため、一部の画素部２２１のみを示す。

撮像部２では、対物レンズ２１を通過した試料Ｓからの光が撮像素子２２に入射する。詳しくは、対物レンズ２１の瞳面内の瞳面領域２１１Ｒを通過した試料Ｓからの光は、各画素部２２１において、マイクロレンズ２２１１に依り光路が制限されて光電変換素子２２１２Ｒに入射する。また、対物レンズ２１の瞳面内の瞳面領域２１１Ｌを通過した試料Ｓからの光は、各画素部２２１において、マイクロレンズ２２１１に依り光路が制限されて光電変換素子２２１２Ｌに入射する。この構成に依り、対物レンズ２１の光軸に対して偏心した光路を辿る試料Ｓからの光を観察可能にしている。なお、図１、並びに後述する図２及び図３では、瞳面領域２１１Ｒと瞳面領域２１１Ｌを、瞳面領域２１１Ｒの瞳面を有するレンズと瞳面領域２１１Ｌの瞳面を有するレンズの如く模式的に示している。

各画素部２２１において、光電変換素子２２１２Ｒでは、入射した光が電気信号に変換され、画素信号Ｒとして出力され、光電変換素子２２１２Ｌでは、入射した光が電気信号に変換され、画素信号Ｌとして出力される。出力された画素信号Ｒと画素信号Ｌは、撮像部２において、更に、Ａ／Ｄ変換処理等の所定の信号処理が行われて、画素データＲと画素データＬとして制御部３へ出力される。

制御部３は、顕微鏡システム１の全体動作を制御する。
制御部３は、画像処理部３１、インターフェース部３２、及び操作入力部３３を含む。
画像処理部３１は、画像生成部３１１、検出部３１２、及び画像調整処理部３１３を含む。

画像生成部３１１は、撮像部２から出力された複数の画素データＬと複数の画素データＲを取得し、複数の画素データＬに基づく左目視点画像と、複数の画素データＲに基づく右目視点画像を生成する。ここで、複数の画素データＬは、左目視点画像を構成可能な画像情報に対応し、複数の画素データＲは、右目視点画像を構成可能な画像情報に対応する。

検出部３１２は、画像生成部３１１が生成した左目視点画像及び右目視点画像において、類似する、左目視点画像の部分画像と右目視点画像の部分画像、のペアを検出する。この検出は、例えば、左目視点画像と右目視点画像において、一方の画像を複数のブロックに区分けし、各ブロックの部分画像に類似する部分画像を、他方の画像から探し出すことに依って行われる。なお、類似するとは、例えば、画像の類似度が所定の閾値以上であることをいう。

画像調整処理部３１３は、検出部３１２が検出した１つのペア又は複数のペアの各々における、左目視点画像の部分画像と右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行う。本実施形態では、この画像調整処理を、検出部３１２が検出したペア毎の、左目視点画像の部分画像と右目視点画像の部分画像の位置関係に基づいて決定した、１つのペア又は複数のペアの各々における、左目視点画像の部分画像と右目視点画像の部分画像の一方又は両方に対して行う。この詳細については、図２、図３、及び図４を用いて後述する。画像調整処理は、例えば、画像変形処理、又は、画像変形処理及び画像補間処理等である。画像変形処理は、例えば、画像又は画素の引き伸ばしや移動等を行う処理である。画像補間処理は、例えば、画像変形処理により画像情報が欠落又は不足した部分に対して画像又は画素を補間する処理である。画像補間処理では、画像情報が欠落又は不足した部分である補間対象領域の周辺の画像又は画素、及び又は、補間対象領域を含まない方の左目視点画像又は右目視点画像を利用して、画像又は画素の補間が行われる。例えば、左目視点画像の部分画像に対して画像補間処理が行われる場合は、補間対象領域を含まない方の左目視点画像又は右目視点画像として、右目視点画像が利用される。

また、画像調整処理部３１３は、操作部７の操作に応じて操作入力部３３から入力された指示信号に応じた立体感の調整レベルに従って画像調整処理を行うことも可能である。この場合は、ユーザが操作部７を操作することに依って、得られる立体感を自由に調整することができる。

なお、画像処理部３１は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）等の回路に依って構成することができる。

インターフェース部３２は、表示部４、記録部５、及び通信部６との間でデータの入出力を行うインターフェースである。例えば、インターフェース部３２は、画像処理部３１で得られた、左目視点画像又は画像調整処理後の左目視点画像と、右目視点画像又は画像調整処理後の右目視点画像とを、表示部４、記録部５、及び通信部６の少なくとも１つに出力する。但し、記録部５及び通信部６の少なくとも１つに出力する場合は、左目視点画像又は画像調整処理後の左目視点画像と、右目視点画像又は画像調整処理後の右目視点画像とが１つの画像ファイルとしてファイル化された上で出力される。

操作入力部３３は、操作部７の操作に応じて、立体感の調整レベルを指示する指示信号を画像調整処理部３１３に入力する入力インターフェースである。
表示部４は、インターフェース部３２を経由して入力された左目視点画像又は画像調整処理後の左目視点画像を左目で観察可能に表示すると共に、インターフェース部３２を経由して入力された右目視点画像又は画像調整処理後の右目視点画像を右目で観察可能に表示する表示装置である。例えば、表示部４は、左目視点画像又は画像調整処理後の左目視点画像を表示する左目用ＬＣＤ（Liquid Crystal Display）と、右目視点画像又は画像調整処理後の右目視点画像を表示する右目用ＬＣＤを備え、左目用ＬＣＤに表示された画像を左目で観察可能に構成されると共に、右目用ＬＣＤに表示された画像を右目で観察可能に構成される。すなわち、この場合は、表示部４が、双眼顕微鏡の接眼部の如くに構成される。

記録部５は、ハードディスクドライブ等の記録装置である。記録部５は、例えば、１つの画像ファイルとしてファイル化され、インターフェース部３２を経由して入力された、左目視点画像又は画像調整処理後の左目視点画像と、右目視点画像又は画像調整処理後の右目視点画像とを記録する。

通信部６は、有線又は無線に依り、外部装置と通信を行う通信装置である。通信部６は、例えば、１つの画像ファイルとしてファイル化され、インターフェース部３２を経由して入力された、左目視点画像又は画像調整処理後の左目視点画像と、右目視点画像又は画像調整処理後の右目視点画像とを、外部装置へ送信する。

操作部７は、画像調整処理部３１３に対して立体感の調整レベルを指示するための操作機構であって、例えば回転式のハンドルである。
次に、図２、図３、及び図４を用いて、画像調整処理部３１３が行う画像調整処理について詳細に説明する。

図２は、図１の対物レンズ２１に図示した位置の異なる２つの瞳面領域２１１Ｌ、２１１Ｒを通った光束による像による測距を、一般的な三角測量に即して説明した図である。
試料Ｓの異なる観測点から対物レンズ２１の瞳面領域２１１Ｒ、２１１Ｌを通過して光電変換素子２２１２Ｒ、２２１２Ｌに入射する光線の一例を模式的に示す図でもある。但し、図２では、説明の便宜のため、光電変換素子２２１２Ｒ、２２１２ＬのＸ方向の配列を、右目視点画像と左目視点画像に合わせた配列で示し、実際の配列とは異なる配列で示している。

図２において、（ａ）は、観測点ｓ１から光電変換素子２２１２Ｒ、２２１２Ｌに入射する光線の一例を模式的に示し、（ｂ）は、観測点ｓ２から光電変換素子２２１２Ｒ、２２１２Ｌに入射する光線の一例を模式的に示している。

図２の（ａ）において、瞳面領域２１１Ｒの中心を通過した観測点ｓ１からの光線が入射する光電変換素子２２１２Ｒと、瞳面領域２１１Ｌの中心を通過した観測点ｓ１からの光線が入射する光電変換素子２２１２Ｌとの間のＸ方向の距離をＸｎとする。瞳面領域２１１Ｒの中心と瞳面領域２１１Ｌの中心との間のＸ方向の距離をＰｘとする。このＰｘは、視差に対応する。瞳面領域２１１Ｒ、２１１Ｌと光電変換素子２２１２Ｒ、２２１２Ｌとの間のＺ方向の距離をＦとする。観測点ｓ１と瞳面領域２１１Ｒ、２１１Ｌとの間のＺ方向の距離をＤｎとする。

この場合、Ｘｎは、次式（１）に依り求めることができる。
Ｘｎ＝（Ｆ＋Ｄｎ）×Ｐｘ／Ｄｎ 式（１）
図２の（ｂ）においても同様に、瞳面領域２１１Ｒの中心を通過した観測点ｓ２からの光線が入射する光電変換素子２２１２Ｒと、瞳面領域２１１Ｌの中心を通過した観測点ｓ２からの光線が入射する光電変換素子２２１２Ｌとの間のＸ方向の距離をＸｆとする。また、観測点ｓ２と瞳面領域２１１Ｒ、２１１Ｌとの間のＺ方向の距離をＤｆとする。なお、Ｄｆ＞Ｄｎである。

この場合、Ｘｆは、次式（２）に依り求めることができる。
Ｘｆ＝（Ｆ＋Ｄｎ）×Ｐｘ／Ｄｆ 式（２）
なお、図２の（ｂ）では、比較のため、Ｚ方向の位置が観測点ｓ１と同じである位置からの光線も併せて示している。

このＸｎ及びＸｆから明らかなとおり、観測点と瞳面領域２１１Ｒ、２１１Ｌとの間のＺ方向の距離Ｄが短くなるほど、観測点からの光線が入射する、光電変換素子２２１２Ｌと光電変換素子２２１２Ｒとの間のＸ方向の距離Ｘが長くなることになる。

図３は、図２を補足する図である。但し、図３では、試料Ｓの形状が多少異なるが、説明に支障を来たすものではない。
図３の（ａ）には、更に、観測点ｓ１からの光線が入射した光電変換素子２２１２Ｒから出力された電気信号に基づく画像８１ｎＲと、観測点ｓ１からの光線が入射した光電変換素子２２１２Ｌから出力された電気信号に基づく画像８１ｎＬと、複数の光電変換素子２２１２Ｒから出力された電気信号の信号レベルの分布８２Ｒと、複数の光電変換素子２２１２Ｌから出力された電気信号の信号レベルの分布８２Ｌを、模式的に示している。

図３の（ｂ）にも同様に、更に、観測点ｓ２からの光線が入射した光電変換素子２２１２Ｒから出力された電気信号に基づく画像８１ｆＲと、観測点ｓ２からの光線が入射した光電変換素子２２１２Ｌから出力された電気信号に基づく画像８１ｆＬと、上述の分布８２Ｒ、８２Ｌを、模式的に示している。

図３から明らかなとおり、観測点と瞳面領域２１１Ｒ、２１１Ｌとの間のＺ方向の距離Ｄが短くなるほど、その瞳面領域２１１Ｒ、２１１Ｌを通過した光線に基づく画像間の距離が離れることになる。これは、すなわち、その距離Ｄが短くなるほど、類似する、左目視点画像の部分画像と右目視点画像の部分画像が離れることを示す。このため、例えば、試料Ｓにおける観測点ｓ１と観測点ｓ２を含む段差部分に関しては、類似する部分画像間の位置関係に大きな変化が生じ、結果として、左目視点画像と右目視点画像の観察に依り生じる立体感が、実際の段差部分とは異なる立体感になってしまう虞がある。例えば、実際の段差部分よりも大きな奥行き感を生じさせる虞がある。

そこで、図４を用いて説明するとおり、画像調整処理部３１３は、左目視点画像と右目視点画像の観察に依り生じる立体感を実際の試料Ｓの如くに近づけるために、その立体感を調整するための画像調整処理を行う。

図４は、画像調整処理部３１３が行う画像調整処理の一例を模式的に示す図である。
図４において、符号８３は、図３に示した配列の光電変換素子２２１２Ｒ、２２１２Ｌに対応する、右目視点画像及び左目視点画像を示している。ＤｆＲとＤｆＬや、ＤｎＲとＤｎＬは、類似する右目視点画像の部分画像と左目視点画像の部分画像である。ここで、ＤｆＲは８１ｆＲを含む画像でもあり、ＤｎＲは８１ｎＲを含む画像でもあり、ＤｆＬは８１ｆＬを含む画像でもあり、ＤｎＬは８１ｎＬを含む画像でもある。

画像調整処理部３１３は、ＤｆＲとＤｆＬや、ＤｎＲとＤｎＬ等といった、類似する右目視点画像の部分画像と左目視点画像の部分画像のペアのそれぞれについての、部分画像間の位置関係から、例えば、図４の（ａ）に示した矢印のとおり、ＤｆＬがＤｆＲに近づきすぎであり、且つ、ＤｎＬがＤｎＲから離れすぎであると判定したとする。

この場合、画像調整処理部３１３は、例えば、図４の（ｂ）に示した矢印のとおり、ＤｆＬをＤｆＲから遠ざけ、且つ、ＤｎＬをＤｎＲに近づけるために、ＤｆＬ及びＤｎＬの各々に対し、画像変形処理、又は画像変形処理及び画像補間処理、といった画像調整処理を行う。これに依り、例えば、信号レベルの分布８２Ｌが、破線で示す分布８４Ｌの如くに変形される。なお、この場合の例は、左目視点画像に対して画像調整処理が行われ、右目視点画像に対して画像調整処理が行われない例である。これに依り、右目視点画像を右目で観察すると共に、画像調整処理後の左目視点画像を左目で観察することに依って、実際の試料Ｓの如くの立体感を得ることができる。

次に、顕微鏡システム１において実行される処理について説明する。
図５は、顕微鏡システム１において実行される処理の流れを示すフローチャートである。この処理は、例えば、顕微鏡システム１に試料Ｓがセットされた後、顕微鏡システム１の電源がＯＮされると開始する処理である。図６は、画像処理（Ｓ５０４）の処理の流れを示すフローチャートである。図７、図８、及び図９は、表示部４の表示例を示す図である。

図５に示したとおり、本処理が開始すると、まず、Ｓ５０１において、制御部３は、動作モードが観察モードであるか否かを判定する。なお、初期設定では、動作モードとして観察モードが設定されている。

Ｓ５０１の判定結果がＹＥＳの場合、Ｓ５０２において、画像生成部３１１は、撮像部２から出力された複数の画素データＬと複数の画素データＲを用いて、試料Ｓに対する左目視点画像と右目視点画像を生成する。

Ｓ５０３において、制御部３は、試料Ｓの観測点にピントを合わせるため、Ｓ５０２で生成した左目視点画像と右目視点画像に基づいて対物レンズ２１のピント位置制御を行う。なお、このピント位置制御は、いわゆる像面位相差ＡＦ（Auto Focus）方式に依るピント合わせのための制御でもある。

Ｓ５０４において、画像処理部３１は、対物レンズ２１のピント位置制御が終了した後に撮像部２から出力された複数の画素データＬと複数の画素データＲを用いて、左目視点画像又は画像調整処理後の左目視点画像と、右目視点画像又は画像調整処理後の右目視点画像を生成するための画像処理を行う。この処理の詳細を、図６を用いて説明する。

図６に示したとおり、画像処理（Ｓ５０４）では、まず、Ｓ６０１において、画像生成部３１１が、撮像部２から出力された複数の画素データＬと複数の画素データＲを用いて、試料Ｓに対する左目視点画像と右目視点画像を生成する。

Ｓ６０２において、検出部３１２は、Ｓ６０１で画像生成部３１１が生成した左目視点画像及び右目視点画像において、類似する、左目視点画像の部分画像と右目視点画像の部分画像、のペアを検出する。

Ｓ６０３において、画像調整処理部３１３は、Ｓ６０２で検出部３１２が検出したペア毎の、左目視点画像の部分画像と右目視点画像の部分画像の位置関係に基づいて決定した、１つのペア又は複数のペアの各々における、左目視点画像の部分画像と右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行う。

Ｓ６０３が終了すると、図６に示した処理、すなわち、図５のＳ５０４が終了する。
Ｓ５０４が終了すると、Ｓ５０５において、表示部４は、制御部３の制御の下、Ｓ５０４で生成された、右目視点画像又は画像調整処理後の右目視点画像を右目で観察可能に表示すると共に、左目視点画像又は画像調整処理後の左目視点画像を左目で観察可能に表示する。

Ｓ５０６において、表示部４は、表示されている、右目視点画像上又は画像調整処理後の右目視点画像上と、左目視点画像上又は画像調整処理後の左目視点画像上に、更に、ユーザインターフェース表示（以下「ＵＩ表示」と称す）を行う。ＵＩ表示は、試料Ｓの大きさや形状を認識し易くするための補助表示であり、例えば、等高線、試料断面、スケール等の表示である。なお、ＵＩ表示は、奥行き感の指標となる表示の一例でもある。

図７、図８、及び図９は、ＵＩ表示が行われた時の表示部４の表示例を示す図である。
図７は、ＵＩ表示として等高線が表示された例であり、図８は、ＵＩ表示として等高線及びスケールが表示された例である。図７及び図８では、比較のために、画像調整処理前の、左目視点画像と右目視点画像を（ａ）に示し、画像調整処理後の、左目視点画像と右目視点画像を（ｂ）に示している。但し、図７の例では、矢印に示したとおり、右目視点画像（Ｒ）に対してのみ画像調整処理が行われ、図８の例では、矢印に示したとおり、左目視点画像（Ｌ）と右目視点画像（Ｒ）の両方に対して画像調整処理が行われている。図９は、ＵＩ表示として等高線と試料断面が表示された例である。

図５のＳ５０６の後、Ｓ５０７において、制御部３は、表示部４に表示されている画像の記録指示が有るか否かを判定する。この記録指示は、例えば、操作部７とは別の図示しない操作部の操作に応じて行われる。

Ｓ５０７の判定結果がＹＥＳの場合、Ｓ５０８において、制御部３は、表示部４に表示されている画像を、１つの画像ファイルとしてファイル化して記録部５に記録する。ここでファイル化される画像は、少なくとも、表示部４に表示されている、右目視点画像又は画像調整処理後の右目視点画像と、左目視点画像又は画像調整処理後の左目視点画像であり、更にＵＩ表示を含むものであってもよい。Ｓ５０８の後は、Ｓ５０９へ進む

一方、Ｓ５０７の判定結果がＮＯの場合は、Ｓ５０９へ進む。
Ｓ５０９において、制御部３は、顕微鏡システム１の電源ＯＦＦ指示が有るか否かを判定する。この電源ＯＦＦ指示は、例えば、操作部７とは別の図示しない操作部の操作に応じて行われる。

Ｓ５０９の判定結果がＹＥＳの場合、Ｓ５１０において、制御部３は、顕微鏡システム１の電源をＯＦＦし、図５に示した処理が終了する。
一方、Ｓ５０９の判定結果がＮＯの場合、Ｓ５１１において、制御部３は、動作モードの変更操作を受け付ける。動作モードの変更操作は、例えば、操作部７とは別の図示しない操作部の操作に依り行われる。Ｓ５１１の後は、Ｓ５０１へ戻る。

一方、Ｓ５０１の判定結果がＮＯの場合、Ｓ５１２において、制御部３は、動作モードが再生モードであるか否かを判定する。
Ｓ５１２の判定結果がＹＥＳの場合、Ｓ５１３において、制御部３は、記録部５に記録されている画像ファイルの一覧を、例えば、表示部４とは別の図示しない表示部に表示する。

Ｓ５１４において、制御部３は、表示された画像ファイルの一覧の中から、画像ファイルが選択されたか否かを判定する。画像ファイルの選択は、例えば、操作部７とは別の図示しない操作部の操作に応じて行われる。

Ｓ５１４の判定結果がＹＥＳの場合、Ｓ５１５において、制御部３は、選択された画像ファイルを再生、すなわち、選択された画像ファイルを表示部４に表示させる。これに依り、選択された画像ファイルに基づいて、Ｓ５０５又はＳ５０６での表示と同様の表示が行われる。Ｓ５１５の後は、Ｓ５１２へ戻る。

一方、Ｓ５１４の判定結果がＮＯの場合、Ｓ５１６において、制御部３は、再生モードの終了指示が有るか否かを判定する。再生モードの終了指示は、例えば、操作部７とは別の図示しない操作部の操作に応じて行われる。

Ｓ５１６の判定結果がＹＥＳの場合は、Ｓ５０９へ進む。
一方、Ｓ５１６の判定結果がＮＯの場合は、Ｓ５１３へ戻る。
一方、Ｓ５１２の判定結果がＮＯの場合、Ｓ５１７において、制御部３は、設定されている動作モードに応じた処理を行い、その後、Ｓ５０１へ戻る。

以上のとおり、本実施形態によれば、試料Ｓに対する左目視点画像と右目視点画像を生成して、その一方又は両方に対して画像調整処理を行い、左目視点画像又は画像調整処理後の左目視点画像を左目で観察可能に表示すると共に右目視点画像又は画像調整処理後の右目視点画像を右目で観察可能に表示することに依り、実際の試料Ｓの如くの立体感を得ることができる。また、得られる立体感は、画像調整処理に依り調整されるので、対物レンズ２１として大口径の対物レンズが必要無く、結果として装置の小型化が可能である。

本実施形態においては、各種の変形が可能である。
例えば、図５のＳ５０４の画像処理では、画像調整処理部３１３が、操作部７の操作に応じて操作入力部３３から入力された指示信号に応じた立体感の調整レベルに従って画像調整処理を行ってもよい。この場合、画像処理（Ｓ５０４）では、図６に示した処理に代わって、例えば、図１０に示した処理が行われる。

図１０は、変形例に係る画像処理（Ｓ５０４）の流れを示すフローチャートである。
図１０に示したとおり、変形例に係る画像処理（Ｓ５０４）では、まず、図６に示した処理と同様に、Ｓ６０１及びＳ６０２が行われる。

Ｓ６０２の後は、Ｓ１００１において、画像調整処理部３１３は、Ｓ６０２で検出部３１２が検出したペア毎の、左目視点画像の部分画像と右目視点画像の部分画像の位置関係に基づいて決定した、１つのペア又は複数のペアの各々における、左目視点画像の部分画像と右目視点画像の部分画像の一方又は両方に対して、操作部７の操作に応じて操作入力部３３から入力された指示信号に応じた調整レベルに従って、得られる立体感を調整するための画像調整処理を行う。この場合、調整レベルは、例えば、操作部７の操作量に対応するものであってもよい。

これに依り、ユーザは、操作部７の操作に依り、得られる立体感を自由に調整することができる。
また、本実施形態において、Ｓ５０６で行われるＵＩ表示は、図７、図８、及び図９に示したものに限らず、例えば、奥行き感を表すためのスケールやアイコン等の表示であってもよい。

図１１は、ＵＩ表示の一例を示す図であって、奥行き感が大、小それぞれの場合の、右目用ＵＩ表示（Ｒ）と左目用ＵＩ表示（Ｌ）を示している。なお、ここでは、ＵＩ表示として、アイコンとスケールの両方が表示される例を示すが、いずれか一方だけが表示されてもよい。

図１１において、８５Ｌは、左目用ＵＩ表示としてのアイコンを示し、８５Ｒは、右目用ＵＩ表示としてのアイコンを示し、８６Ｌは、左目用ＵＩ表示としてのスケールを示し、８６Ｒは、右目用ＵＩ表示としてのスケールを示す。

図１１に示したとおり、アイコン８５とスケール８６は、奥行き感に応じて変化する。詳しくは、アイコン８５は、奥行き感に応じて、奥側の部位を表す画像領域と手前側の部位を表す画像領域が変化する。スケール８６は、奥行き感に応じて、形状並びに目盛りの間隔が変化する。なお、図１１には、説明の便宜上、「奥」、「手前」を記しているが、実際には表示されるものではない。

図１１に示したアイコン８５とスケール８６に依り、ユーザは、奥行き感を認識し易くなる。
また、本実施形態において、制御部３は、例えば、図１２に示すハードウェア構成に依り実現されてもよい。

図１２は、制御部３のハードウェア構成例を示す図である。
図１２に示したとおり、制御部３は、ＣＰＵ（Central Processing Unit）３４１、メモリ３４２、入力インターフェース３４３、入出力インターフェース３４４、及び入力装置３４５を備え、これらはバス３４６を経由して互いに接続されている。

ＣＰＵ３４１は、制御部３が行う処理のためのプログラムを実行する演算装置である。メモリ３４２は、例えば、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）であり、ＲＡＭはＣＰＵ３４１のワークエリア等として使用され、ＲＯＭはプログラムやプログラムの実行に必要な情報を不揮発的に記憶する。

入力インターフェース３４３は、撮像部２から出力された複数の画素データＬと複数の画素データＲを入力する。入出力インターフェース３４４は、表示部４、記録部５、及び通信部６との間でデータの入出力を行う。入力装置３４５は、操作部７の操作に応じて、立体感の調整レベルを指示する指示信号を入力する。

以上のとおり実施形態について説明したが、本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせに依り、様々の発明を形成できる。例えば、実施形態に示される全構成要素のいくつかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１ 顕微鏡システム
２ 撮像部
３ 制御部
４ 表示部
５ 記録部
６ 通信部
７ 操作部
２１ 対物レンズ
２２ 撮像素子
３１ 画像処理部
３２ インターフェース部
３３ 操作入力部
８１ｎＲ、８１ｎＬ、８１ｆＲ、８１ｆＬ 画像
８２Ｒ、８２Ｌ 分布
８３ 右目視点画像及び左目視点画像
８４Ｌ 分布
８５、８５Ｌ、８５Ｒ アイコン
８６、８６Ｌ、８６Ｒ スケール
２１１Ｒ、２１１Ｌ 瞳面領域
２２１ 画素部
３１１ 画像生成部
３１２ 検出部
３１３ 画像調整処理部
３４１ ＣＰＵ
３４２ メモリ
３４３ 入力インターフェース
３４４ 入出力インターフェース
３４５ 入力装置
３４６ バス
２２１１ マイクロレンズ
２２１２Ｒ、２２１２Ｌ 光電変換素子

Claims (9)

1. 左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、前記左目視点画像と前記右目視点画像を生成する画像生成部と、
   類似する、前記左目視点画像の部分画像と前記右目視点画像の部分画像、のペアを検出する検出部と、
   １つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行う画像調整処理部と、
   前記左目視点画像又は前記画像調整処理後の前記左目視点画像を左目で観察可能に表示すると共に、前記右目視点画像又は前記画像調整処理後の前記右目視点画像を右目で観察可能に表示する表示部と、
   を備えることを特徴とする画像処理装置。
2. 前記画像調整処理部は、前記画像調整処理として、画像変形処理、又は、前記画像変形処理及び画像補間処理を行う、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像補間処理は、補間対象領域の周辺の画像又は画素、及び又は、前記補間対象領域を含まない方の前記左目視点画像又は前記右目視点画像を利用して行われる、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像調整処理部は、前記検出部が検出したペア毎の、前記左目視点画像の部分画像と前記右目視点画像の部分画像の位置関係に基づいて、１つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、前記画像調整処理を行う、
   ことを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
5. 前記立体感の調整レベルを指示するための操作部を更に備え、
   前記画像調整処理部は、前記操作部の操作に応じた調整レベルに従って前記画像調整処理を行う、
   ことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 前記表示部は、更に、奥行き感の指標となる左目用指標を前記左目で観察可能に表示すると共に、前記奥行き感の指標となる右目用指標を前記右目で観察可能に表示する、
   ことを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
7. 複数の画素部を有する撮像部を更に備え、
   前記複数の画素部の各々は、１つのマイクロレンズと複数の光電変換素子とを含み、
   前記左目視点画像を構成可能な画像情報と前記右目視点画像を構成可能な画像情報は、前記撮像部から取得される、
   ことを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
8. 画像処理装置において実行される画像処理方法であって、
   左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、前記左目視点画像と前記右目視点画像を生成し、
   類似する、前記左目視点画像の部分画像と前記右目視点画像の部分画像、のペアを検出し、
   １つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行い、
   前記左目視点画像又は前記画像調整処理後の前記左目視点画像を左目で観察可能に表示すると共に、前記右目視点画像又は前記画像調整処理後の前記右目視点画像を右目で観察可能に表示する、
   ことを特徴とする画像処理方法。
9. 画像処理装置のコンピュータに、
   左目視点画像を構成可能な画像情報と右目視点画像を構成可能な画像情報を取得して、前記左目視点画像と前記右目視点画像を生成し、
   類似する、前記左目視点画像の部分画像と前記右目視点画像の部分画像、のペアを検出し、
   １つの前記ペア又は複数の前記ペアの各々における、前記左目視点画像の部分画像と前記右目視点画像の部分画像の一方又は両方に対して、立体感を調整するための画像調整処理を行い、
   前記左目視点画像又は前記画像調整処理後の前記左目視点画像を左目で観察可能に表示すると共に、前記右目視点画像又は前記画像調整処理後の前記右目視点画像を右目で観察可能に表示する、
   という処理を実行させることを特徴とする画像処理プログラム。