(実施の形態1の内容に至る経緯)
上述した医療用カメラシステムでは、手術や処置などが行われる対象部位の鮮明な視野を確保するため、できる限り高精細で視認性の良好な表示映像が望まれる。また、対象部位の立体視によって観察対象物の大きさや状態などの把握がより正確かつ容易にできるため、観察者に立体的な観察映像を提供する3D映像の要求が高まっている。特に微細部位の手術用途においては、高精細の3D映像が必要となるが、特許文献1のような従来技術では、観察映像の細部が鮮明に視認することが困難であるなどの課題があった。また、医療分野にて要求される高精細の3D映像を生成するために、視差を有する左眼用の画像(左眼画像)及び右眼用の画像(右眼画像)の撮像用に異なる2つのカメラを用いる必要があった。
また、高精度な3D映像をモニタに表示するためには、3D映像を構成する左眼画像及び右眼画像を高精度に生成する必要がある。しかし、高精度な左眼画像及び右眼画像を生成することは、実際の撮像光学系の設計上、必ずしも容易ではない。例えば、左眼画像の撮像用の左眼用レンズ、右眼画像の右眼用レンズのそれぞれの位置決め(例えば、平行に配置されているかどうかなど)やレンズ自体の製造ばらつきが原因となり、高精度な左眼画像及び右眼画像の生成が困難となることがある。このような位置決めや製造ばらつきの原因を完全に取り除くことは現実的には困難である。上述した特許文献1のような従来技術では、位置決めや製造ばらつきなどにより左眼用レンズ及び右眼用レンズが適正に配置されない場合、左眼画像及び右眼画像の一部の画質が劣化して3D映像の画質に影響を及ぼし、観察者にとって詳細な対象部位(例えば患部)の把握が困難となっていた。
そこで、以下の実施の形態1では、上述した従来の事情に鑑みて、簡易なユーザ操作により、3D映像を構成する左眼画像及び右眼画像のそれぞれから画質の良好な部分を電子的に切り出し、1つのカメラにより高精細の3D映像を撮像して出力することが可能な画像処理装置、カメラ装置及び画像処理方法の例を説明する。
(実施の形態1)
以下、適宜図面を参照しながら、本開示に係る画像処理装置、カメラ装置及び画像処理方法を具体的に開示した各実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
また、以下の各実施の形態では、各実施の形態に係る画像処理装置あるいはカメラ装置を含む医療用カメラシステムの構成例について説明する。各実施の形態の具体的な適用例として、手術顕微鏡システムにおけるカメラ装置の構成を例示する。但し、本開示に係るカメラ装置の実施の形態は、後述する各実施の形態の内容に限定されない。
各実施の形態に係るカメラ装置は、高精細の観察映像として、例えば4K解像度(言い換えると、例えば4K画素に相当する「2160画素×3840画素」)の平面視が可能な観察映像(以下、「2D映像」という)と、フルハイビジョン(FHD:Full High Definition)解像度(言い換えると、例えば2K画素に相当する「1080画素×1920画素」)の立体視が可能な観察映像(以下、「3D映像」という)とを撮像して出力可能な構成である。なお、フルハイビジョン(FHD)相当の解像度を「2K画素」と称している。
図1は、各実施の形態のカメラ装置を含む医療用カメラシステムを手術顕微鏡システムに適用した構成例を示すシステム構成図である。手術顕微鏡システムは、手術顕微鏡10(光学機器の一例)と、カメラ装置20と、モニタ30とを含む構成である。カメラ装置20は、手術顕微鏡10により得られた対象部位の観察画像を撮像するカメラヘッド21と、カメラヘッド21を制御して撮像した観察映像の信号処理を行うCCU(カメラコントロールユニット:Camera Control Unit)22とを有する。カメラ装置20では、カメラヘッド21とCCU22とが信号ケーブル25により接続される。カメラヘッド21は、手術顕微鏡10のカメラ装着部15に装着されて接続される。CCU22の出力端子には、観察映像を表示するためのモニタ30が接続される。
手術顕微鏡10は、双眼の顕微鏡であり、対物レンズ11と、観察者の左右の眼に対応するように設けられた観察光学系12と、接眼部13と、カメラ撮影用光学系14と、カメラ装着部15とを有する構成である。観察光学系12は、観察者の左右の眼に対応するように、ズーム光学系101R,101L、結像レンズ102R,102L、接眼レンズ103R,103Lを有する。ズーム光学系101R,101L、結像レンズ102R,102L、接眼レンズ103R,103Lは、対物レンズ11の光軸を挟んでそれぞれ配置される。被写体からの光(例えば観察対象部位からの光)は、対物レンズ11に入射した後、ズーム光学系101R,101L、結像レンズ102R,102L及び接眼レンズ103R,103Lを介して得られた、視差を持つ左右の観察画像を接眼部13に導く。観察者は、接眼部13を両眼で覗くことで、観察対象部位の被写体40を立体的に視認可能となっている。
カメラ撮影用光学系14は、ビームスプリッタ104R,104L、ミラー105R,105Lを有する。カメラ撮影用光学系14は、ビームスプリッタ104R,104Lによって観察光学系12を通過する左右の観察画像の光を偏向して分離し、ミラー105R,105Lによって反射して視差を持つ左右の観察画像をカメラ装着部15に導く。カメラ装着部15にカメラ装置20のカメラヘッド21を装着して撮像することで、カメラ装置20は、3D表示用の立体視が可能な観察映像を取得可能となっている。
図2は、各実施の形態の手術顕微鏡システムの外観例を示す図である。手術顕微鏡10は、顕微鏡本体の上部に接眼部13が設けられ、接眼部13の基端部より側方にカメラ撮影用光学系14の筐体が延出し、カメラ装着部15が設けられている。カメラ装着部15は、上方に向かって開口し、カメラヘッド21の撮像レンズ部23が装着可能に形成されている。撮像レンズ部23は、カメラヘッド21の本体に対して着脱して交換可能であり、用途に応じて異なる光学特性を持つ撮像光学系を使用できる構成となっている。カメラヘッド21は、例えば被写体像をRGB(Red Green Blue)の各色に分光する分光プリズムと、RGBの各色の被写体像をそれぞれ撮像する3つのイメージセンサとを有する3板式の撮像部により構成される。なお、1つのイメージセンサを有する単板式の撮像部を用いてもよい。
手術顕微鏡システムは、対象部位を照明する光源装置31、カメラ装置20にて撮像した観察映像を記録するレコーダ32、手術顕微鏡システムを操作するための操作ユニット33、観察者が足で操作入力を行うフットスイッチ37を含む構成である。操作ユニット33、CCU22(画像処理装置の一例)、光源装置31及びレコーダ32は、制御ユニット筐体35に収納されている。制御ユニット筐体35の近傍には、モニタ30が配置される。手術顕微鏡10は、変位可能な支持アーム34に取り付けられ、支持アーム34を介して制御ユニット筐体35に連結されている。
図3(A)及び図3(B)は、各実施の形態のカメラ装置の外観構成を示す図である。図3(A)は、各実施の形態のカメラ装置のカメラヘッド、及びCCUの前面側の外観例を示す図である。図3(B)は、各実施の形態のカメラ装置のCCUの背面側の外観例を示す図である。カメラヘッド21は、信号ケーブル25を介してCCU22の筐体の背面に接続される。カメラヘッド21は、高精細の観察映像を撮像可能であり、3D映像を撮像する場合には、例えば3板式又は単板式の撮像部により、視差を有する左眼画像及び右眼画像の1画面上への撮像が可能に構成される。
CCU22は、前面パネル221に、電源スイッチ222、プロファイル選択スイッチ223、メニュースイッチ224、ページ切替スイッチ225、上下左右の移動スイッチ226、選択スイッチ227、画質調整スイッチ228が設けられる。CCU22は、背面パネル241に、カメラ端子242、SDI(Serial Digital Interface)映像出力端子243,244、HDMI(登録商標)(High-Definition Multimedia Interface)映像出力端子245,246、フットスイッチ端子247、モードスイッチ248、DC電源入力端子249が設けられる。
CCU22(画像処理装置の一例)は、モードの切り替えによって、4K画素の2D映像又は2K画素の3D映像を出力可能である。プロファイル選択スイッチ223は、CCU22のモードを設定したプリセットのプロファイルを選択するスイッチである。プロファイルとは、例えばモニタ30,130(後述参照)に表示される映像の表示に関するパラメータの設定値であって、ユーザ毎に設けられる。2D映像の出力が可能なモード(以下、「2Dモード」という)と3D映像の出力が可能なモード(以下、「3Dモード」という)の切替設定は、例えば、観察者などのユーザ操作により、プロファイル選択スイッチ223によってプロファイルが選択される、メニュースイッチ224及び選択スイッチ227によってモードが選択される、あるいは、背面のモードスイッチ248によってモードが設定される、などによって可能である。
SDI映像出力端子243,244は、3G−SDI規格に対応するチャネルCH1(第1のチャネルの一例)とチャネルCH2(第2のチャネルの一例)の2系統の出力端子に相当する。チャネルCH1のSDI映像出力端子243は、4つの端子を有し、4K映像とFHD映像の双方を出力可能である。チャネルCH2のSDI映像出力端子244は、FHD映像を出力可能である。HDMI(登録商標)映像出力端子245,246は、チャネルCH1(第1のチャネルの一例)とチャネルCH2(第2のチャネルの一例)の2系統の出力端子に相当する。チャネルCH1のHDMI(登録商標)映像出力端子245は、HDMI(登録商標)2.0規格に対応し、4K映像とFHD映像の双方を出力可能である。チャネルCH2のHDMI(登録商標)映像出力端子246は、HDMI(登録商標)1.4規格に対応し、FHD映像を出力可能である。なお、映像出力端子は、2系統の出力端子のいずれにおいても4K映像とFHD映像の双方を出力可能に構成してもよい。また、映像出力端子の形態及び数は図示例に限定されるものではなく、他の規格に対応するものであっても同様に適用可能である。
カメラ端子242には、カメラヘッド21の信号ケーブル25が接続される。SDI映像出力端子243,244とHDMI(登録商標)映像出力端子245,246の少なくとも一つに、映像信号ケーブル(図示略)を介してモニタ30が接続される。DC電源入力端子249には、電源ケーブル(図示略)を介してDC電源を供給する電源装置が接続される。フットスイッチ端子247には、フットスイッチ37が接続される。
図4は、各実施の形態のカメラ装置における2D映像撮像時の機能構成例を示すブロック図である。カメラ装置20によって4K画素の2D映像を撮像する場合、例えばカメラヘッド21の撮像レンズ部23に、被写体像を結像するための単眼のレンズ211を装着した状態で、カメラヘッド21を手術顕微鏡10のカメラ装着部15に取り付ける。被写体40からの光は、レンズ211を通過して3板式の撮像部213の3つのイメージセンサの撮像面に結像され、RGBの被写体像が撮像される。すなわち、カメラヘッド21は、手術顕微鏡10からの観察画像を撮像して高精細(例えば2K画素)の観察映像を得る撮像部213を備える。撮像部213は、高精細の撮像映像を取得可能であり、RGBの各色においてそれぞれ2K画素の映像を撮像可能な3板式のFHDイメージセンサにより構成される。FHDイメージセンサは、CCD(Charged-Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子により構成される。なお、単板式の撮像部を用いる場合、4K画素の映像を撮像可能な4Kイメージセンサとカラーフィルタとにより撮像部を構成すればよい。カメラヘッド21にて撮像した被写体の撮像映像の映像信号は、信号ケーブル25を介してCCU22に伝送される。
CCU22(画像処理装置の一例)は、カメラヘッド21にて撮像した映像信号を処理する信号処理回路を含む画像処理部261と、画像処理部261及び撮像部213の動作に関するモードの設定、各動作の制御を行う制御ユニットを構成するCPU(Central Processing Unit)262(プロセッサの一例)とを含む。画像処理部261は、例えばFPGA(Field-Programmable Gate Array)を用いて構成され、プログラムによって回路構成及び動作の設定、変更が可能となっている。画像処理部261は、カメラヘッド21から伝送されるRGB各色の2K映像R,G,B(4K用映像R,G,B)から高精細(ここでは4K解像度)の2D映像(4Kの2D映像)を生成し、映像出力としてモニタ30に出力する。
図5は、各実施の形態のカメラ装置における3D映像撮像時の機能構成例を示すブロック図である。カメラ装置20によって2K画素の3D映像(つまり、2K左視差映像及び2K右視差映像)を撮像する場合、例えばカメラヘッド21の撮像レンズ部23に、視差を有する左右の被写体像をそれぞれ結像する双眼のレンズ212を装着した状態で、カメラヘッド21を手術顕微鏡10のカメラ装着部15に取り付ける。なお、単眼のレンズを用いて左右の視差を有する被写体の映像を撮像することも可能である。被写体40からの光は、レンズ212を通過して視差を持った左右2つの被写体像として3板式の撮像部213の3つのイメージセンサの撮像面にそれぞれ左右隣り合って結像され、3D映像用の左右のRGBの被写体像が撮像される。すなわち、カメラヘッド21は、手術顕微鏡10からの視差を持つ左右の観察画像を撮像して1画面において左右の視差映像を含む高精細(例えば2K画素)の観察映像を得る撮像部213を備える。カメラヘッド21にて撮像した被写体の3D映像用の映像信号は、信号ケーブル25を介してCCU22に伝送される。
なお、カメラヘッド21により3D映像を撮像する場合、撮像レンズ部23のレンズを2D用から3D用に交換するのに代えて、手術顕微鏡10のカメラ装着部15にアダプタを設け、アダプタの光学系を2D用から3D用に交換して用いてもよい。あるいは、カメラヘッド21を接続する手術顕微鏡10等の光学機器自体を取り換えて使用し、2D用の観察光学系を持つ機器に装着して2D映像を撮像し、3D用の観察光学系を持つ機器に装着して3D映像を撮像することも可能である。
CCU22の画像処理部261は、カメラヘッド21から伝送されるRGB各色の3D表示用の左右の2K映像R,G,B(具体的には、3D左用及び3D右用の2K映像R,G,B)から高精細(例えば2K画素)の3D映像を生成し、3D表示用の左右2つの映像出力1,2としてモニタ30に出力する。4K画素の2D映像又は2K画素の3D映像を生成する画像処理部261の構成及び動作の詳細は後述する。観察映像の立体視を行う場合は、例えば3D観察用のメガネを観察者が装着した状態で、左視差映像と右視差映像をそれぞれの眼で観察可能なように、モニタ30に3D映像を表示する。
図6は、実施の形態1のカメラ装置20の画像処理部261の機能構成例を示すブロック図である。画像処理部261は、4K映像処理部264、2K左視差映像切り出し部265、2K右視差映像切り出し部266、映像出力切替部267,268を含む構成である。なお、フレームバッファFB1(メモリ)及び設定値記憶部262Mは、CCU22内に設けられていれば、画像処理部261の内外のどちらに設けられてもよい。
4K映像処理部264は、撮像映像の高解像度化処理として、3板式のカメラヘッド21にて撮像されたRGB各色の2K映像R,G,Bを入力し、4K画素の映像を生成する。4K映像処理部264は、生成された4K画素の映像をフレームバッファFB1に保存するとともに、映像出力切替部267,268に出力する。また、フレームバッファFB1は、2K左視差映像切り出し部265,2K右視差映像切り出し部266からの切り出し制御信号により、保存された4K画素の映像から切り出した2K左視差映像及び2K右視差映像を、それぞれ映像出力切替部267,268に出力する。なお、保存された4K画素の映像から2K左視差映像及び2K右視差映像へのそれぞれの切り出しは、2K左視差映像切り出し部265,2K右視差映像切り出し部266と同様に行われる。4K映像化の方法としては、例えば公知の「画素ずらし」処理を用いる。4K映像処理部264は、2K映像Gの各画素に対して、2K映像Rと2K映像Bの画素を水平及び垂直方向に1/2画素ずらす処理を行い、4K画素のカラー映像を生成する。4K画素の2D映像を撮像する場合は、2D表示用の2K映像R,G,Bから2Dのカラーの4K映像を生成する。2K画素の3D映像を撮像する場合は、イメージセンサに左右隣接して撮像された3D表示のための左眼用及び右眼用の2K映像R,G,Bから2K画素の左右の視差映像を含む4K映像(3D左視差映像及び3D右視差映像)を生成する。なお、単板式の撮像部を用いる場合は、画像処理部261において4K映像処理部264を設けず、カメラヘッド21にて撮像したカラーの4K画素の映像信号を画像処理部261に入力して処理する。
2K左視差映像切り出し部265(画像処理部の一例)は、カメラヘッド21により撮像された左眼画像に対して所定の信号処理を施す。例えば、2K左視差映像切り出し部265は、4K映像処理部264から出力される2K画素の左右の視差映像を含む4K映像より、半分の左眼画像用の領域に相当する2K左視差映像を切り出し、3D表示のための左眼画像用のFHD映像(3D左視差映像)を生成する。また、2K左視差映像切り出し部265は、ユーザの操作に基づく調整信号(後述参照)に応じて、4K映像から2K左視差映像(言い換えると、撮像面上の左眼画像)を切り出すための切り出し範囲を、上下、左右の各方向のいずれかの方向に移動することで調整する。2K左視差映像切り出し部265は、調整結果を設定値記憶部262Mに保存するとともに、調整結果に対応した2K左視差映像(左眼画像)を切り出して出力する。
2K右視差映像切り出し部266(画像処理部の一例)は、カメラヘッド21により撮像された右眼画像に対して所定の信号処理を施す。例えば、2K右視差映像切り出し部266は、4K映像処理部264から出力される2K画素の左右の視差映像を含む4K映像より、残り半分の右眼画像用の領域に相当する2K右視差映像を切り出し、3D表示のための右眼画像用のFHD映像(3D右視差映像)を生成する。また、2K右視差映像切り出し部266は、ユーザの操作に基づく調整信号(後述参照)に応じて、4K映像から2K右視差映像(言い換えると、撮像面上の右眼画像)を切り出すための切り出し範囲を、上下、左右の各方向のいずれかの方向に移動することで調整する。2K右視差映像切り出し部266は、切り出し範囲の調整結果を設定値記憶部262Mに保存するとともに、調整結果に対応した2K右視差映像(右眼画像)を切り出して出力する。
2K左視差映像切り出し部265,2K右視差映像切り出し部266は、それぞれユーザの操作に基づく調整信号(後述参照)に応じて、2K左視差映像(左眼画像),2K右視差映像(右眼画像)のそれぞれの切り出し範囲を同一の方向に移動して調整してもよいし、異なる方向に移動して個々に調整してもよい。
映像出力切替部267(出力制御部の一例)は、映像信号出力の切り替えを行い、2K左視差映像切り出し部265からの2K画素の2D左視差映像、又は4K映像処理部264からの4K画素の2D映像の映像信号を、チャネルCH1(第1のチャネルの一例)を介して出力する。映像出力切替部268(出力制御部の一例)は、映像信号出力の切り替えを行い、2K右視差映像切り出し部266からの2K画素の2D右視差映像、又は4K映像処理部264からの4K画素の2D映像の映像信号を、チャネルCH2(第2のチャネルの一例)を介して出力する。4K画素の2D映像を出力する場合、チャネルCH1の映像出力1とチャネルCH2の映像出力2の両方に映像信号を出力してもよいし、いずれか一方のみに映像信号を出力してもよい。また、チャネルCH1とチャネルCH2のいずれか一方に4K画素の2D映像を出力し、他方に2K画素の2D映像を出力してもよい。
フレームバッファFB1は、例えばDRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などの半導体メモリを用いて構成され、映像データを保持する。例えば、フレームバッファFB1は、4K映像処理部264により生成された4K画素の2D映像のデータを保存する。
設定値記憶部262Mは、例えばEEPROM(Electrically Erasable Programmable Read-Only Memory)などの半導体メモリを用いて構成され、2K左視差画像切り出し部265及び2K右視差映像切り出し部266により調整された2K左視差映像及び2K右視差映像の切り出し範囲の調整結果のデータを保存する。なお、2K左視差画像切り出し部265及び2K右視差映像切り出し部266は、フレームバッファFB1に保存されている4K画素の2D映像のデータを読み出し、さらに設定値記憶部262Mに保存されている切り出し範囲の調整結果を用いて、2K左視差映像及び2K右視差映像の切り出し範囲を調整してよい。
図7は、各実施の形態における2D映像の生成動作の概要例を示す説明図であり、4K画素の2D映像を生成する処理を模式的に示したものである。カメラ装置20によって4K画素の2D映像を撮像する場合、3板式のカメラヘッド21により、2Dの4K用映像R,G,Bとして、RGB各色の2K映像R,G,Bを撮像する。次に、画像処理部261の4K映像処理部264により、2K映像R,G,Bの映像信号に対して画素ずらし処理を行って4K映像化し、2Dのカラーの4K映像を生成する。
図8は、各実施の形態における3D映像の生成動作の概要例を示す説明図であり、2K画素の3D映像を生成する処理を模式的に示したものである。カメラ装置20によって2K画素の3D映像を撮像する場合、3板式のカメラヘッド21により、イメージセンサの左右隣接した1/2ずつの領域に、3D表示のための左眼用及び右眼用のRGB各色の2K映像R,G,B(3D左眼用及び3D右眼用)を撮像する。次に、画像処理部261の4K映像処理部264により、左右の視差映像を含む2K映像R,G,Bの映像信号に対して画素ずらし処理を行って4K映像化し、3D表示用のカラーの4K映像(3D用の2K左視差映像及び3D用の2K右視差映像)を生成する。続いて、2K左視差映像切り出し部265及び2K右視差映像切り出し部266により、それぞれ2Kの左視差映像と2Kの右視差映像の切り出し処理を行い、3D表示のためのFHD映像(3D用の2K左視差映像及び3D用の2K右視差映像)を生成する。
ここで、上述したように、高精度な3D映像をモニタ30に表示するために、3D映像を構成する2K左視差映像(左眼画像)及び2K右視差映像(右眼画像)を高精度に生成する必要がある。しかし、高精度な2K左視差映像及び2K右視差映像を生成することは、実際の観察光学系12の設計上、必ずしも容易ではない。例えば、2K左視差映像を得るための被写体光の結像用のズーム光学系101R,2K右視差映像を得るための被写体光の結像用のズーム光学系101Lのそれぞれの位置決め(例えば、平行に配置されているかどうかなど)やレンズ自体の製造ばらつきが原因となり、高精度な2K左視差映像及び2K右視差映像の生成が困難となることがある。このような位置決めや製造ばらつきの原因を完全に取り除くことは現実的には困難である。
そこで、実施の形態1では、例えば手術顕微鏡システムの初期設定時などにおいて、ユーザ(例えば医者などの観察者)は、3Dモード(つまり、3D映像をモニタ30に表示するモード)下で3D観察用のメガネを装着した状態で、モニタ30に表示(出画)された2K左視差映像及び2K右視差映像に基づく3D映像を実際に閲覧する。その際、CCU22の画像処理部261は、モニタ30に表示(出画)された3D映像に基づくユーザ操作(例えばユーザによる移動スイッチ226の操作)によって生成された調整信号(ユーザの操作に基づく調整信号の一例)に応じて、2K左視差映像(左眼画像)及び2K右視差映像(右眼画像)のうち少なくとも一方の切り出し位置を調整する。なお、図8の4K映像が撮像された撮像面(図8の紙面左下の撮像面)は、所謂、Top View(つまり、物体側から撮像面側を見た時)の撮像面である。
(切り出し範囲の第1調整例)
図9Aは、理想的な観察光学系の下での左眼画像及び右眼画像の切り出し位置の一例の説明図である。図9Bは、現実的な観察光学系12の下での左眼画像及び右眼画像のデフォルトの切り出し位置の第1例の説明図である。図9Cは、図9Bに示される左眼画像及び右眼画像の撮像領域に対する、ユーザ操作に基づく切り出し位置の調整例の説明図である。
図9A,図9B,図9Cにおいて、カメラヘッド21内のイメージセンサのセンサ実効画素エリアEFM1を「E画素×F画素」とし(E,F:F<Eの既定値)、センサ実効画素エリアEFM1の水平方向及び垂直方向をそれぞれx軸方向及びy軸方向とし、x軸方向及びy軸方向に垂直であって観察光学系の光軸方向をz軸方向とする。また、図9A,図9B,図9Cに示されるセンサ実効画素エリアEFM1は、所謂、Bottom View(つまり、撮像面側から物体側を見た時)のセンサ実効画素エリアである。x軸方向、y軸方向、z軸方向の定義並びにBottom Viewのセンサ実効画素エリアであることは、図9D,図9Eの説明においても同様に適用される。
図9Aでは、理想的な観察光学系が配置されており、2K左視差映像を得るための被写体光の結像用のズーム光学系,2K右視差映像を得るための被写体光の結像用のズーム光学系のそれぞれの位置決めが適正になされ、レンズ自体の製造ばらつきが無いとしている。このため、イメージセンサの撮像により得られた2K左視差映像LF1(左眼画像)及び2K右視差映像RG1(右眼画像)は、ともに初期の切り出し範囲であるデフォルト切り出し範囲LFC1,RGC1の分の映像が切り出されて抽出される。デフォルト切り出し範囲LFC1,RGC1はともに「B画素×C画素」である(B,C:C<Bの既定値であり、E,Fより小さい)。
言い換えると、図9Aでは、同一の被写体光に基づいてセンサ実効画素エリアEFM1上にて撮像された同一の大きさ(画像面積)を有する2K左視差映像LF1及び2K右視差映像RG1は、デフォルト切り出し範囲LFC1,RGC1によって均等な大きさ(画像面積)を有するように切り出されて抽出される。これは、デフォルト切り出し範囲LFC1,RGC1の上端とセンサ実効画素エリアEFM1の上端との間の距離に相当するD画素(D:既定値)と、デフォルト切り出し範囲LFC1,RGC1の下端とセンサ実効画素エリアEFM1の下端との間の距離に相当するD画素(D:既定値)とが一致していること、並びに、デフォルト切り出し範囲LFC1の左端とセンサ実効画素エリアEFM1の左端との間の距離に相当するA画素(A:既定値)と、デフォルト切り出し範囲RGC1の右端とセンサ実効画素エリアEFM1の右端との間の距離に相当するA画素とが一致していることから明らかである。
従って、切り出されたデフォルト切り出し範囲LFC1,RGC1の2K左視差映像LF1及び2K右視差映像RG1の画質が良好となり、カメラ装置20は、観察者が2K左視差映像LF1及び2K右視差映像RG1に基づく3D映像が表示されたモニタ30を閲覧した際、3D映像としての違和感を観察者に与えずに観察対象部位の詳細な状況を把握させることが可能である。
次に、図9Bでは、2K左視差映像を得るための被写体光の結像用のズーム光学系101L,2K右視差映像を得るための被写体光の結像用のズーム光学系101Rのそれぞれの位置決めが適正になされず、レンズ自体の製造ばらつきがあるとしている。このため、イメージセンサの撮像により得られた2K左視差映像LF2(左眼画像)及び2K右視差映像RG2(右眼画像)は、図9Aに示す2K左視差映像LF1及び2K右視差映像RG1の各位置と比べて、図9Bに示すように上下方向(y軸方向)及び左右方向(x軸方向)に多少変位している。従って、図9Aと同一位置のデフォルト切り出し範囲LFC1,RGC1で2K左視差映像LF2及び2K右視差映像RG2が切り出されてしまうと、切り出された2K左視差映像LF2及び2K右視差映像RG2が同じ被写体の映像としての適正さを著しく欠くものとなり、2K左視差映像LF2の上部及び右部や2K右視差映像RG2の下部のそれぞれの画質が劣化してしまう。このため、モニタ30に映し出された時に、観察者に対して3D映像として違和感を与えることになり、使い勝手が悪い。
そこで図9Cに示すように、カメラ装置20のCCU22は、モニタ30に表示(出画)された2K左視差映像LF2及び2K右視差映像RG2を閲覧したユーザ(例えば医者などの観察者)の操作(例えば移動スイッチ226)に基づく調整信号に応じて、デフォルト切り出し範囲LFC1をx軸方向(水平方向)及びy軸方向(垂直方向)に移動する。これにより、CCU22は、デフォルト切り出し範囲LFC1の移動(調整)によって得られた調整後切り出し範囲LFC2の位置情報(座標情報)を設定値記憶部262Mに保存するとともに、この調整後切り出し範囲LFC2の2K左視差映像LC2を切り出して出力する。
同様に、カメラ装置20のCCU22は、モニタ30に表示(出画)された2K左視差映像LF2及び2K右視差映像RG2を閲覧したユーザ(例えば医者などの観察者)の操作(例えば移動スイッチ226)に基づく調整信号に応じて、デフォルト切り出し範囲RGC1をy軸方向(垂直方向)に移動する。これにより、CCU22は、デフォルト切り出し範囲RGC1の移動(調整)によって得られた調整後切り出し範囲RGC2の位置情報(座標情報)を設定値記憶部262Mに保存するとともに、この調整後切り出し範囲RGC2の2K右視差映像RG2を切り出して出力する。なお、CCU22は、調整後切り出し範囲LFC2,RGC2の各位置情報(座標情報)を対応付けて設定値記憶部262Mに保存する。これにより、CCU22は、ズーム光学系101L,ズーム光学系101Rのそれぞれの位置決めが適正になされず、レンズ自体の製造ばらつきがある場合でも、ユーザの操作に基づいて適正に決定された調整後切り出し範囲LFC2,RGC2の位置情報を保存できるので、以後の撮像映像の切り出し範囲の基準として利用でき、左右の視差を有する2Kの撮像映像を適正に管理することができる。
(切り出し範囲の第2調整例)
図9Dは、現実的な観察光学系12の下での左眼画像及び右眼画像のデフォルトの切り出し位置の第2例の説明図である。図9Eは、図9Dに示される左眼画像及び右眼画像の撮像領域に対する、ユーザ操作に基づく切り出し位置の調整例の説明図である。
図9Dでも、2K左視差映像を得るための被写体光の結像用のズーム光学系101L,2K右視差映像を得るための被写体光の結像用のズーム光学系101Rのそれぞれの位置決めが適正になされず、レンズ自体の製造ばらつきがあるとしている。このため、イメージセンサの撮像により得られた2K左視差映像LF3(左眼画像)及び2K右視差映像RG3(右眼画像)は、図9Aに示す2K左視差映像LF1及び2K右視差映像RG1の各位置と比べて、図9Dに示すように上下方向(y軸方向)及び左右方向(x軸方向)に多少変位している。従って、図9Aと同一位置のデフォルト切り出し範囲LFC1,RGC1で2K左視差映像LF3及び2K右視差映像RG3が切り出されてしまうと、切り出された2K左視差映像LF3及び2K右視差映像RG3が同じ被写体の映像としての適正さを著しく欠くものとなり、2K左視差映像LF3の上部や2K右視差映像RG3の上部及び左部のそれぞれの画質が劣化してしまう。このため、モニタ30に映し出された時に、観察者に対して3D映像として違和感を与えることになり、使い勝手が悪い。
そこで図9Eに示すように、カメラ装置20のCCU22は、モニタ30に表示(出画)された2K左視差映像LF3及び2K右視差映像RG3を閲覧したユーザ(例えば医者などの観察者)の操作(例えば移動スイッチ226)に基づく調整信号に応じて、デフォルト切り出し範囲LFC1をy軸方向(垂直方向)に移動する。これにより、CCU22は、デフォルト切り出し範囲LFC1の移動(調整)によって得られた調整後切り出し範囲LFC3の位置情報(座標情報)を設定値記憶部262Mに保存するとともに、この調整後切り出し範囲LFC3の2K左視差映像LC3を切り出して出力する。
同様に、カメラ装置20のCCU22は、モニタ30に表示(出画)された2K左視差映像LF3及び2K右視差映像RG3を閲覧したユーザ(例えば医者などの観察者)の操作(例えば移動スイッチ226)に基づく調整信号に応じて、デフォルト切り出し範囲RGC1をy軸方向(垂直方向)及びx軸方向(水平方向)に移動する。これにより、CCU22は、デフォルト切り出し範囲RGC1の移動(調整)によって得られた調整後切り出し範囲RGC3の位置情報(座標情報)を設定値記憶部262Mに保存するとともに、この調整後切り出し範囲RGC3の2K右視差映像RG3を切り出して出力する。なお、CCU22は、調整後切り出し範囲LFC3,RGC3の各位置情報(座標情報)を対応付けて設定値記憶部262Mに保存する。これにより、CCU22は、ズーム光学系101L,ズーム光学系101Rのそれぞれの位置決めが適正になされず、レンズ自体の製造ばらつきがある場合でも、ユーザの操作に基づいて適正に決定された調整後切り出し範囲LFC3,RGC3の位置情報を保存できるので、以後の撮像映像の切り出し範囲の基準として利用でき、左右の視差を有する2Kの撮像映像を適正に管理することができる。
以上により、実施の形態1の医療用カメラシステムでは、CCU22は、手術顕微鏡10(光学機器の一例)に入射した対象部位の光に基づいて、視差を有する2K左視差映像(左眼画像の一例)及び2K右視差映像(右眼画像の一例)の1画面の撮像面上への撮像が可能なカメラヘッドと接続される。CCU22、又はCCU22を有するカメラ装置20は、カメラヘッド21により撮像された左眼画像及び右眼画像の信号処理を施し、信号処理が施された左眼画像及び右眼画像をモニタ30に出力する。また、CCU22、又はCCU22を有するカメラ装置20は、モニタ30に表示された左眼画像及び右眼画像に基づくユーザ操作に応じて、左眼画像及び右眼画像のうち少なくとも一方の切り出し位置を調整する。
これにより、CCU22、又はCCU22を有するカメラ装置20は、モニタ30に表示された左眼画像及び右眼画像を閲覧したユーザによる簡易な操作により、3D映像を構成する左眼画像及び右眼画像のそれぞれから画質の良好な部分を電子的に切り出すことができ、1つのカメラにより高精細の3D映像を撮像して出力することができる。また、1つのカメラヘッド21及びCCU22によって2K画素の高精細の3D映像を撮像し出力することができ、対象部位を立体的かつ高精細に映し出すことが可能になる。特に手術用途において、より鮮明な3D映像を取得でき、手術時の操作性、対象部位の視認性を向上できる。
また、1つのCCU22において、4K画素の2D映像の撮像出力と、2K画素の3D映像の撮像出力とに対応できるため、多様な観察映像の用途に適応可能となる。
また、CCU22、又はCCU22を有するカメラ装置20は、左眼画像及び右眼画像のうち少なくとも一方の切り出し位置の調整結果を設定値記憶部262Mに保存する。これにより、CCU22、又はCCU22を有するカメラ装置20は、ズーム光学系101L,ズーム光学系101Rのそれぞれの位置決めが適正になされず、レンズ自体の製造ばらつきがある場合でも、ユーザの操作に基づいて適正に決定された調整後切り出し範囲の位置情報を保存できるので、以後の撮像映像の切り出し範囲の基準として利用でき、左右の視差を有する2Kの撮像映像を適正に管理することができる。
また、CCU22、又はCCU22を有するカメラ装置20は、モニタ30に表示された左眼画像及び右眼画像を閲覧したユーザによる操作に応じて、カメラヘッド21により撮像された左眼画像及び右眼画像のうち少なくとも一方の水平方向の切り出し位置を調整する。これにより、CCU22、又はCCU22を有するカメラ装置20は、2K左視差映像及び2K右視差映像のうち少なくとも一方がデフォルト切り出し範囲より水平方向にずれて撮像されている場合でも、ユーザの操作に基づいて適正に決定された調整後切り出し範囲の映像を切り出すことができ、3Dの奥行き感(立体感)を適宜調整できて良好な画質の映像を取得できる。
また、CCU22、又はCCU22を有するカメラ装置20は、モニタ30に表示された左眼画像及び右眼画像を閲覧したユーザによる操作に応じて、カメラヘッド21により撮像された左眼画像及び右眼画像のうち少なくとも一方の垂直方向の切り出し位置を調整する。これにより、CCU22、又はCCU22を有するカメラ装置20は、2K左視差映像及び2K右視差映像のうち少なくとも一方がデフォルト切り出し範囲より垂直方向にずれて撮像されている場合でも、ユーザの操作に基づいて適正に決定された調整後切り出し範囲の映像を切り出すことができ、3D映像としての適格性を有するように適宜調整できて良好な画質の映像を取得できる。
また、CCU22、又はCCU22を有するカメラ装置20は、モニタ30に表示された左眼画像及び右眼画像を閲覧したユーザによる操作に応じて、カメラヘッド21により撮像された左眼画像及び右眼画像の両方の水平方向又は垂直方向の切り出し位置を調整する。これにより、CCU22、又はCCU22を有するカメラ装置20は、2K左視差映像及び2K右視差映像の両方がデフォルト切り出し範囲より水平方向又は垂直方向にずれて撮像されている場合でも、ユーザの操作に基づいて適正に決定された調整後切り出し範囲の映像を切り出すことができ、3Dの奥行き感(立体感)及び3D映像としての適格性を有するように適宜調整できて良好な画質の映像を取得できる。
また、CCU22、又はCCU22を有するカメラ装置20は、3Dモード時に、カメラヘッド21により撮像された左眼画像及び右眼画像に現れる視差Δ(図23参照)に基づいて、手術内視鏡110(光学機器の一例)から観察対象部位までの距離L(図19参照)を測定する距離測定回路291(測距部の一例)を有する。CCU22又はカメラ装置20は、信号処理が施された左眼画像及び右眼画像とともに、距離測定回路291により測定された結果(つまり、距離に関する情報)をモニタ130(図19参照)に出力する。これにより、ユーザ(例えば医者などの観察者)は、モニタ130に映し出されている観察対象部位の状況を視覚的に把握できるとともに、手術内視鏡110(図19参照)から観察対象部位までの具体的な距離の情報を把握できて、手術時や検査時においてユーザの次なる医療行為のガイド(誘導)を支援できる。
また、CCU22、又はCCU22を有するカメラ装置20は、3Dモードから2Dモードへの切り替えに応じて、距離に関する情報のモニタ130への出力を中断する。これにより、2Dモード時には視差を有する左右の2K左視差映像及び2K右視差映像の両方が距離測定回路291に入力されなくなるので、モニタ130に距離に関する情報の表示がなされない。従って、ユーザ(例えば医者などの観察者)は、モニタ130に距離に関する情報の表示がされていないことで、現在が2Dモードであることを簡単に認識でき、一方、モニタ130に距離に関する情報の表示がされていることで、現在が3Dモードであることを簡単に認識できる。
(実施の形態2の内容に至る経緯)
上述した医療用カメラシステムでは、手術や処置などが行われる対象部位の鮮明な視野を確保するため、できる限り高精細で視認性の良好な表示映像が望まれる。また、対象部位の立体視によって観察対象物の大きさや状態などの把握がより正確かつ容易にできるため、観察者に立体的な観察映像を提供する3D映像の要求が高まっている。特に微細部位の手術用途においては、高精細の3D映像が必要となるが、特許文献1のような従来技術では、観察映像の細部が鮮明に視認することが困難であるなどの課題があった。また、医療分野にて要求される高精細の3D映像を生成するために、視差を有する左眼用の画像(左眼画像)及び右眼用の画像(右眼画像)の撮像用に異なる2つのカメラを用いる必要があった。
また、例えば医療用カメラシステムでは、モニタに表示される映像の視認性は、医者などが対象部位(例えば人体の患部)の状況の詳細を把握する上でとりわけ重要である。手術時あるいは検査時にモニタに表示される映像として、平面視が可能な2D映像と立体視が可能な3D映像との間で適宜切り替えられる。ここで、特許文献1のような従来技術では、モニタ上に表示される映像として2D映像から3D映像に切り替えられることは考慮されていないため、2D映像の表示から3D映像の表示に切り替えられた際、次の点で課題が生じる。先ず、映像の画質(言い換えると、視認性)を良好にするために、撮像された映像に各種の信号処理(例えば、AE(Auto Exposure)などの自動露光処理、あるいはWB(White Balance)の調整処理)が行われる。ところが、2D映像の表示から3D映像の表示に切り替えられた時、2D映像の信号処理のパラメータの導出に用いる撮像面上のエリアを3D映像の信号処理のパラメータの導出に用いるエリアとしてそのまま用いると、適正な画質を有する3D映像が得られないことがあった。
そこで、以下の実施の形態2では、上述した従来の事情に鑑みて、2D映像の表示から3D映像の表示に切り替えられた時、撮像された3D映像に対する信号処理のパラメータの導出に用いる撮像面上のエリアを適応的に調整し、1つのカメラにより高精細の3D映像を撮像して出力することが可能な画像処理装置、カメラ装置及び画像処理方法の例を説明する。
(実施の形態2)
実施の形態2の医療用カメラシステム、カメラ装置又はCCUのそれぞれの内部構成は、実施の形態1の医療用カメラシステム、カメラ装置20又はCCU22のそれぞれの内部構成と同様であるため、同一の構成については同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。
先ず、実施の形態2において、映像の画質を良好にするために、撮像された映像に行われる信号処理の一例として、AE(Auto Exposure)などの自動露光処理を例示し、2Dモードから3Dモードに切り替えられた場合に、自動露光処理のパラメータ(例えば明るさ又は光量)の導出に用いるエリアを決定する例を説明する。なお、実施の形態2のCCUの構成に実施の形態1のCCUの構成を組み合わせて、実施の形態1のCCUの構成によって左眼画像及び右眼画像の切り出し範囲が調整された後に、実施の形態2のCCUの構成によってAEなどの自動露光処理やWBの調整処理の各種制御が実行されてもよいことは言うまでもない。
図10は、実施の形態2のカメラ装置20の画像処理部の機能構成の第1例を示すブロック図である。画像処理部261Aは、4K映像処理部264、測光エリア決定部281、露光計算部282、輝度制御部283、2K左視差映像切り出し部265、2K右視差映像切り出し部266、映像出力切替部267,268を含む構成である。なお、図10ではフレームバッファFB1(メモリ)の図示が省略されているが、CCU22内に設けられていれば、画像処理部261Aの内外のどちらに設けられてもよい。
4K映像処理部264により生成された4K画素の映像データは、測光エリア決定部281に入力される。
測光エリア決定部281(決定部の一例)は、2Dモードから3Dモードへの切り替え信号に応じて、カメラヘッド21により撮像された左眼画像及び右眼画像(例えば、4K映像処理部264により生成された4K画素の映像データ)に対する信号処理(例えばAEなどの自動露光処理)のパラメータ(例えば明るさ又は光量)の導出に用いるエリアを決定する(図11A,図11B,図11C,図11D参照)。また、測光エリア決定部281は、3Dモードから2Dモードへの切り替え信号に応じて、カメラヘッド21により撮像された左眼画像及び右眼画像(例えば、4K映像処理部264により生成された4K画素の映像データ)に対する信号処理(例えばAEなどの自動露光処理)のパラメータ(例えば明るさ又は光量)の導出に用いるエリアを決定する。なお、測光エリア決定部281は、2Dモードから3Dモード、あるいは3Dモードから2Dモードへの切り替えが発生していなくても、カメラヘッド21により撮像された左眼画像及び右眼画像(例えば、4K映像処理部264により生成された4K画素の映像データ)に対する信号処理(例えばAEなどの自動露光処理)のパラメータ(例えば明るさ又は光量)の導出に用いるエリアを決定する。
図11Aは、2Dモードから3Dモードへの切り替えに応じた、第1被写体に対する自動露光の測光エリアの調整例を示す説明図である。図11Bは、2Dモードから3Dモードへの切り替えに応じた、第2被写体に対する自動露光の測光エリアの調整例を示す説明図である。図11Cは、2Dモードから3Dモードへの切り替えに応じた、第3被写体に対する自動露光の測光エリアの調整例を示す説明図である。図11Dは、2Dモードから3Dモードへの切り替えに応じた、第4被写体に対する自動露光の測光エリアの調整例を示す説明図である。
図11A〜図11Dでは、カメラヘッド21内のイメージセンサの撮像面CAP1(例えば、4K画素に相当する例えば「2160画素×3840画素」の大きさ)内に、映像の撮像に用いられる最大の画素領域に相当するセンサ実効画素領域EFM2が設定される。図11A〜図11Dにおいて、撮像面CAP1は、所謂、Bottom View(つまり、撮像面側から物体側を見た時)の撮像面である。また、ここで、図11A〜図11Dの説明を簡単にするために、3D映像を構成する2D左視差映像の切り出し範囲LFC4と、同3D映像を構成する2D右視差映像の切り出し範囲RGC4とは、撮像面CAP1の垂直方向のずれが無く、水平方向に横並びの状態で設定される。切り出し範囲LFC4は、2K左視差映像(左眼画像)用のセンサ有効画素エリアEFM3の中で、2K左視差映像(左眼画像)の切り出し範囲である。同様に、切り出し範囲RGC4は、2K右視差映像(右眼画像)用のセンサ有効画素エリアEFM4の中で、2K右視差映像(右眼画像)の切り出し範囲である。また、図11A〜図11Dの説明において、センサ実効画素領域EFM2は、垂直方向8個×水平方向16個で分割された合計128個の領域により構成されているとする。
図11Aの紙面左側では、2Dモード時に、センサ実効画素領域EFM2の全域にわたって2D映像の撮像が行われていることが示される。図11Aに示すように、センサ実効画素領域EFM2の全域にわたって2D映像の撮像が行われている場合には、センサ実効画素領域EFM2の全域が、その2D映像の自動露光処理(信号処理の一例)のパラメータ(例えば、明るさ又は光量)の導出(計算)に用いられる(図11Aのドットハッチで示される測光エリアLAR1参照)。ここで、2Dモードから3Dモードに切り替えるためのユーザの操作(つまり、2Dモードから3Dモードへの切り替え信号)に応じて、測光エリア決定部281は、図11Aの紙面右側に示すように、例えば3D映像を構成する2K右視差映像LAR2の切り出し範囲RGC4の大きさを、4K映像処理部264により生成された4K画素の映像データ(言い換えると、2K左視差映像及び2K右視差映像)に対する信号処理(例えばAEなどの自動露光処理)のパラメータ(例えば明るさ又は光量)の導出に用いる測光エリアとして決定する。なお、測光エリア決定部281は、例えば3D映像を構成する2K左視差映像の切り出し範囲LFC4の大きさを測光エリアとして決定してもよい。
図11Bの紙面左側では、2Dモード時に、センサ実効画素領域EFM2の中心を含む小エリア(例えば12マス分)にわたって2D映像LAR3の撮像が行われていることが示される。図11Bに示すように、センサ実効画素領域EFM2の中心を含む小エリアにわたって2D映像LAR3の撮像が行われている場合には、センサ実効画素領域EFM2の全域が、その2D映像の自動露光処理(信号処理の一例)のパラメータ(例えば、明るさ又は光量)の導出(計算)に用いられる(図11Aのドットハッチで示される測光エリアLAR1参照)。ここで、2Dモードから3Dモードに切り替えるためのユーザの操作(つまり、2Dモードから3Dモードへの切り替え信号)に応じて、測光エリア決定部281は、図11Bの紙面右側に示すように、例えば3D映像を構成する2K右視差映像LAR4の切り出し範囲RGC4の大きさを、4K映像処理部264により生成された4K画素の映像データ(言い換えると、2K左視差映像及び2K右視差映像)に対する信号処理(例えばAEなどの自動露光処理)のパラメータ(例えば明るさ又は光量)の導出に用いる測光エリアとして決定する。なお、測光エリア決定部281は、例えば3D映像を構成する2K左視差映像の切り出し範囲LFC4の大きさを測光エリアとして決定してもよい。
図11Cの紙面左側では、2Dモード時に、センサ実効画素領域EFM2の中心を含む中エリア(例えば24マス分)にわたって2D映像LAR5の撮像が行われていることが示される。図11Cに示すように、センサ実効画素領域EFM2の中心を含む中エリアにわたって2D映像LAR5の撮像が行われている場合には、センサ実効画素領域EFM2の全域が、その2D映像の自動露光処理(信号処理の一例)のパラメータ(例えば、明るさ又は光量)の導出(計算)に用いられる(図11Aのドットハッチで示される測光エリアLAR1参照)。ここで、2Dモードから3Dモードに切り替えるためのユーザの操作(つまり、2Dモードから3Dモードへの切り替え信号)に応じて、測光エリア決定部281は、図11Cの紙面右側に示すように、例えば3D映像を構成する2K右視差映像LAR6の切り出し範囲RGC4の大きさを、4K映像処理部264により生成された4K画素の映像データ(言い換えると、2K左視差映像及び2K右視差映像)に対する信号処理(例えばAEなどの自動露光処理)のパラメータ(例えば明るさ又は光量)の導出に用いる測光エリアとして決定する。なお、測光エリア決定部281は、例えば3D映像を構成する2K左視差映像の切り出し範囲LFC4の大きさを測光エリアとして決定してもよい。
図11Dの紙面左側では、2Dモード時に、センサ実効画素領域EFM2の中心を含む大エリア(例えば56マス分)にわたって2D映像LAR7の撮像が行われていることが示される。図11Dに示すように、センサ実効画素領域EFM2の中心を含む中エリアにわたって2D映像LAR7の撮像が行われている場合には、センサ実効画素領域EFM2の全域が、その2D映像の自動露光処理(信号処理の一例)のパラメータ(例えば、明るさ又は光量)の導出(計算)に用いられる(図11Aのドットハッチで示される測光エリアLAR1参照)。ここで、2Dモードから3Dモードに切り替えるためのユーザの操作(つまり、2Dモードから3Dモードへの切り替え信号)に応じて、測光エリア決定部281は、図11Dの紙面右側に示すように、例えば3D映像を構成する2K右視差映像LAR8の切り出し範囲RGC4の大きさを、4K映像処理部264により生成された4K画素の映像データ(言い換えると、2K左視差映像及び2K右視差映像)に対する信号処理(例えばAEなどの自動露光処理)のパラメータ(例えば明るさ又は光量)の導出に用いる測光エリアとして決定する。なお、測光エリア決定部281は、例えば3D映像を構成する2K左視差映像の切り出し範囲LFC4の大きさを測光エリアとして決定してもよい。
露光計算部282(導出部の一例)は、測光エリア決定部281により決定された測光エリアを対象として、4K映像処理部264により生成された4K画素の2D映像のデータの測光エリアにおける露光量(つまり、明るさ又は光量)を計算し、計算結果を輝度制御部283に出力する。なお、露光計算部282は、画像処理部261A内に設けられなくてもよく、CPU262内に設けられてもよい。
輝度制御部283(画像処理部の一例)は、露光計算部282の計算結果を用いて、4K映像処理部264により生成された4K画素の2D映像のデータに対してAEなどの自動露光処理を行う。つまり、輝度制御部283は、測光エリア内の4K画素の2D映像が暗すぎる(例えば露光量が所定の第1閾値未満である。第1閾値は所定値。)場合には適正な明るさにするために明るさを増大する処理を行う。一方、輝度制御部283は、測光エリア内の4K画素の2D映像が明るすぎる(例えば露光量が所定の第2閾値以上である。第2閾値は、第1閾値<第2閾値となる所定値。)場合には適正な明るさにするために明るさを減少する処理を行う。なお、輝度制御部283は、画像処理部261A内に設けられなくてもよく、CPU262内に設けられてもよい。輝度制御部283は、AEなどの自動露光処理の処理結果である4K画素の2D映像のデータを、2K右視差画像切り出し部265,2K左視差画像切り出し部266にそれぞれ出力する。
2K右視差画像切り出し部265,2K左視差画像切り出し部266,映像出力切替部267,268の処理内容は、実施の形態1と同様であるため、ここでは説明を割愛する。
図12は、実施の形態2のカメラ装置20の動作手順例を説明するフローチャートである。なお、図12の説明では、ステップS11〜S23の処理の中で、ステップS11,S12の処理は、カメラ装置20のカメラヘッド21において行われ、ステップS13以降の処理は、カメラ装置20のCCU22において行われる。また、図12の動作は、実施の形態2に特化した内容ではなく、実施の形態1において切り出し範囲が設定された後の映像に対する処理手順として適用することが可能であることは言うまでもない。
図12において、カメラ装置20は、手術顕微鏡10により取得した被写体40からの光を、撮像レンズ部23のレンズによって集光する(S11)。カメラ装置20は、カメラヘッド21の3板式の撮像部213において、分光プリズムによりRGBの各色の被写体像に分光し、RGBの3つのイメージセンサの撮像面上にそれぞれ結像して、2K画素のRGBの被写体像を撮像する(S12)。
カメラ装置20は、CCU22の画像処理部261Aにおいて、撮像されたRGB各色の2K映像R,G,Bを画素ずらし処理により4K映像化し、4K映像(4K画素の映像)を生成する(S13)。カメラ装置20は、CCU22の画像処理部261Aにおいて、ステップS13において生成された4K画素の映像に対する信号処理(例えばAEなどの自動露光処理)のパラメータ(例えば明るさ又は光量)の導出に用いるエリアを決定する(S14)。
カメラ装置20は、CCU22の画像処理部261Aにおいて、ステップS14において決定された測光エリアを対象として、ステップS13において生成された4K画素の2D映像のデータの測光エリアにおける露光量(つまり、明るさ又は光量)を計算する(S15)。カメラ装置20は、CCU22の画像処理部261Aにおいて、ステップS15における露光量の計算結果を用いて、ステップS13において生成された4K画素の2D映像のデータに対してAEなどの自動露光処理を行う(S16)。
カメラ装置20は、CCU22のCPU262において、出力映像種別を判別する。なお、CPU262は、撮像部213における撮像を制御しており、撮像部213により撮像される映像の出力映像種別を判別可能である。カメラ装置20は、2K画素の3D映像(3D(FHD))、4K画素の2D映像(2D(4K))、HD解像度の3D映像(3D(Normal))の出力映像種別毎に、画像処理部261Aの動作を設定して映像出力を切り替える(S17)。
2K画素の3D映像(3D(FHD))を出力する場合、CCU22の画像処理部261Aは、左右2つの2K視差映像(2K左視差映像及び2K右視差映像)の切り出し処理を行う(S18)。CCU22の画像処理部261Aは、3D表示のための2K画素の3D映像出力として、3D左視差映像をチャネルCH1から出力し、3D右視差映像をチャネルCH2から出力する(S19)。
4K画素の2D映像(2D(4K))を出力する場合、CCU22の画像処理部261Aは、チャネルCH1とチャネルCH2の両方又はいずれか一方より、4K画素の2D映像出力として、4K映像を出力する(S20)。
HD解像度の3D映像(3D(Normal))を出力する場合、CCU22の画像処理部261Aは、左右2つの2K視差映像(2K左視差映像及び2K右視差映像)の切り出し処理を行う(S21)。このステップS21の処理では、実施の形態1において説明したように、ユーザ(例えば医者などの観察者)の操作に応じて、2K左視差映像及び2K右視差映像のうち少なくとも一方の切り出し範囲が個々に調整された上で切り出されてよい。画像処理部261Aは、左右2つの2K視差映像を合成し、3D映像の各種伝送方式に対応する映像変換処理(3D映像化処理)を行う(S22)。画像処理部261Aは、HD解像度の3D映像出力として、3D映像(左右視差映像)を出力する(S23)。
ここで、ステップS22の処理を行う場合には、画像処理部261Aは、図21に示す3D映像合成部272を有する。3D映像合成部272は、2K左視差映像切り出し部265からの2D左視差映像と2K右視差映像切り出し部266からの2D右視差映像とを合成処理し、HD解像度の3D映像(3D(Normal))を生成する。3D映像の合成処理は、例えば左視差映像と右視差映像とを水平方向に隣接させたサイドバイサイド方式、或いは1ラインごとに左視差映像と右視差映像とを配置したラインバイライン方式など、3D映像の各種伝送方式に対応する映像変換処理(3D映像化処理)を用いることができる。
図13は、モードの切り替えの割り込み処理時の動作手順例を説明するフローチャートである。図13の処理は、ステップS31の処理(すなわち、2Dモードから3Dモード、あるいは3Dモードから2Dモードへの切り替えの処理)が割込み的に発生した時点で、開始される。
図13において、CCU22のCPU262は、2Dモードから3Dモード、あるいは3Dモードから2Dモードへの切り替え信号を取得したかどうかを判断する(S31)。切り替え信号が取得されていない場合には(S31、NO)、現状のモード(例えば、2Dモード又は3Dモード)が維持される。CPU262は、図12のステップS14〜S16の処理を一度実行したかどうかを判別する(S32)。CPU262は、図12のステップS14〜S16の処理を一度実行した場合にはその旨の情報(フラグなど)を内部メモリ(図示略)などに保持しており、図12のステップS14〜S16の処理を一度実行したかどうかを判別可能である。図12のステップS14〜S16の処理を一度実行済みであると判別された場合には(S32、YES)、図12のステップS17以降の処理に進む。これは、現状のモードが変更されずさらに測光エリアの決定は既に済んでいる状態であるために測光エリアを変更する必要がなく、ステップS14〜S16の処理が必要でないことを意味しており、図12のステップS17以降の処理に進まずに、画像処理部261Aの処理を終了してもよい。
一方、切り替え信号が取得された場合(S31、YES)、又は図12のステップS14〜S16の処理を一度も実行していないと判別された場合には(S32、NO)、画像処理部261Aは、図12に示すステップS14〜S16の処理を実行する(S33)。ステップS33の後は、画像処理部261Aの処理はステップS17以降に進む。
次に、実施の形態2において、映像の画質を良好にするために、撮像された映像に行われる信号処理の一例として、WB(White Balance)の調整処理を例示し、2Dモードから3Dモードに切り替えられた場合に、WBの調整処理のパラメータ(例えばWB調整値)の導出に用いるエリアを決定する例を説明する。
図14は、実施の形態2のカメラ装置20の画像処理部の機能構成の第2例を示すブロック図である。画像処理部261Bは、4K映像処理部264、WB対象エリア決定部284、WB制御部285、2K左視差映像切り出し部265、2K右視差映像切り出し部266、映像出力切替部267,268を含む構成である。なお、図14ではフレームバッファFB1(メモリ)の図示が省略されているが、CCU22内に設けられていれば、画像処理部261Bの内外のどちらに設けられてもよい。また、図14に示すWB対象エリア決定部284及びWB制御部285は、図10に示す画像処理部261A内に組み合わせて含まれた構成としてもよい。
図14の画像処理部261Bの内部構成は、図10の画像処理部261Aのそれぞれの内部構成と同一のものを含むため、同一の構成については同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。
4K映像処理部264により生成された4K画素の映像データは、WB対象エリア決定部284に入力される。
WB対象エリア決定部284(決定部の一例)は、2Dモードから3Dモードへの切り替え信号に応じて、カメラヘッド21により撮像された左眼画像及び右眼画像(例えば、4K映像処理部264により生成された4K画素の映像データ)に対する信号処理(例えばWBの調整処理)のパラメータ(例えばWB調整値)の導出に用いるエリアを決定する(図15参照)。また、WB対象エリア決定部284は、3Dモードから2Dモードへの切り替え信号に応じて、カメラヘッド21により撮像された左眼画像及び右眼画像(例えば、4K映像処理部264により生成された4K画素の映像データ)に対する信号処理(例えばWBの調整処理)のパラメータ(例えばWB調整値)の導出に用いるエリアを決定する。なお、WB対象エリア決定部284は、2Dモードから3Dモード、あるいは3Dモードから2Dモードへの切り替えが発生していなくても、カメラヘッド21により撮像された左眼画像及び右眼画像(例えば、4K映像処理部264により生成された4K画素の映像データ)に対する信号処理(例えばWBの調整処理)のパラメータ(例えばWB調整値)の導出に用いるエリアを決定する。
図15は、2Dモードから3Dモードへの切り替えに応じた、被写体に対するWBの対象エリアの調整例を示す説明図である。図15において、撮像面CAP1は、所謂、Bottom View(つまり、撮像面側から物体側を見た時)の撮像面である。図15の説明を簡単にするために、3D映像を構成する2D左視差映像の切り出し範囲LFC4と、同3D映像を構成する2D右視差映像の切り出し範囲RGC4とは、撮像面CAP1の垂直方向のずれが無く、水平方向に横並びの状態で設定される。切り出し範囲LFC4は、2K左視差映像(左眼画像)の切り出し範囲である。同様に、切り出し範囲RGC4は、2K右視差映像(右眼画像)の切り出し範囲である。
図15の紙面左側では、2Dモード時に、カメラヘッド21内のイメージセンサの撮像面CAP1(例えば、4K画素に相当する例えば「2160画素×3840画素」の大きさ)内で、WB調整値の導出に用いるエリアとして、撮像面CAP1の中心を含む小エリアWB1が初期位置として示されている。つまり、WB対象エリア決定部284は、小エリアWB1内のWB調整値に基づいて、カメラヘッド21により撮像された左眼画像及び右眼画像(例えば、4K映像処理部264により生成された4K画素の映像データ)に対するWBの調整処理を行う。WB対象エリア決定部284は、実施の形態1と同様に、モニタ30に映し出された3D映像を構成する2D左視差映像及び2D右視差映像を閲覧したユーザ(例えば医者などの観察者)の操作に応じて、WB調整値の導出に用いるエリアを、小エリアWB1から、小エリアWB1と同一面積を有する他の小エリアWB2,WB3,WB4,WB5のうちいずれかに移動して変更してもよい。
ここで、2Dモードから3Dモードに切り替えるためのユーザの操作(つまり、2Dモードから3Dモードへの切り替え信号)がなされたとする。WB対象エリア決定部284は、この操作に応じて、図15の紙面右側に示すように、例えば3D映像を構成する2K右視差映像の切り出し範囲RGC4の中心を含む小エリアWB6を、4K映像処理部264により生成された4K画素の映像データ(言い換えると、2K左視差映像及び2K右視差映像)に対するWBの調整処理のパラメータ(例えばWB調整値)の導出に用いるエリアの初期位置として決定する。なお、WB対象エリア決定部284は、例えば3D映像を構成する2K左視差映像の切り出し範囲LFC4の中心を含む小エリアを、WB調整値の導出に用いるエリアとして決定してもよい。WB対象エリア決定部284は、実施の形態1と同様に、モニタ30に映し出された3D映像を構成する2D左視差映像及び2D右視差映像を閲覧したユーザ(例えば医者などの観察者)の操作に応じて、WB調整値の導出に用いるエリアを、小エリアWB6から、切り出し範囲RGC4内の小エリアWB6と同一面積を有する他の小エリアWB7,WB8,WB9,WB10のうちいずれかに移動して変更してもよい。
また、WB対象エリア決定部284(導出部の一例)は、WB対象エリア決定部284により決定されたエリアを対象として、4K映像処理部264により生成された4K画素の2D映像のデータのエリアにおけるWB調整値を計算し、計算結果をWB制御部285に出力する。
WB制御部285(画像処理部の一例)は、WB対象エリア決定部284の計算結果に対応するエリアの色をサンプリングすることで、4K映像処理部264により生成された4K画素の2D映像のデータに対してWBの調整処理を行う。なお、WB制御部285は、画像処理部261B内に設けられなくてもよく、CPU262内に設けられてもよい。WB制御部285は、WBの調整処理の処理結果である4K画素の2D映像のデータを、2K右視差画像切り出し部265,2K左視差画像切り出し部266にそれぞれ出力する。
図12に示すフローチャートは、CCU22の画像処理部261Bを用いた場合でも、同様に適用可能である。例えば、図12のステップS14〜S16の代わりに、WBの調整処理のパラメータ(WB調整値)の決定処理と、その決定処理に基づいて決定されたエリアにおけるWB調整を用いたWBの調整処理とが実行されてよい。また、CCU22は画像処理部261A,261Bを組み合わせた構成を有してもよく、この場合には図12のステップS16とステップS17との間、あるいはステップS13とステップS14との間に、WBの調整処理のパラメータ(WB調整値)の決定処理と、その決定処理に基づいて決定されたエリアにおけるWB調整を用いたWBの調整処理とが実行されればよい。また、CCU22は画像処理部261A,261Bを組み合わせた構成を有する場合に、ステップS14〜ステップS16の処理と、WBの調整処理のパラメータ(WB調整値)の決定処理と、その決定処理に基づいて決定されたエリアにおけるWB調整を用いたWBの調整処理とが並列に実行されてもよい。
以上により、実施の形態2の医療用カメラシステムでは、CCU22は、手術顕微鏡10(光学機器の一例)に入射した対象部位の光に基づいて、視差を有する2K左視差映像(左眼画像の一例)及び2K右視差映像(右眼画像の一例)の1画面の撮像面上への撮像が可能なカメラヘッド21と接続される。CCU22、又はCCU22を有するカメラ装置20は、2Dモードから3Dモードへの切り替えに応じて、カメラヘッド21により撮像された左眼画像及び右眼画像に対する信号処理のパラメータ(例えば、明るさ又は光量、WB調整値)を導出(例えば算出)する。また、CCU22、又はCCU22を有するカメラ装置20は、導出されたパラメータ(例えば、明るさ又は光量、WB調整値)に基づいて、カメラヘッド21により撮像された左眼画像及び右眼画像の信号処理を施し、信号処理が施された左眼画像及び右眼画像をモニタ30に出力する。
これにより、CCU22、又はCCU22を有するカメラ装置20は、2D映像の表示から3D映像の表示に切り替えられた時、撮像された3D映像に対する信号処理のパラメータの導出に用いる撮像面上のエリアを適応的に調整でき、1つのカメラにより高精細の3D映像を撮像して出力することができる。つまり、3Dモード時では、3D映像を構成する2K左視差映像又は2K右視差映像の切り出し範囲を対象として信号処理のパラメータが導出されるので、3Dモード時では本来必要ではない2Dモード時のイメージセンサの撮像面の一部(例えば撮像面の周辺部)のパラメータの影響を受けて3D映像の画質が劣化することを抑制可能となる。また、1つのカメラヘッド21及びCCU22によって2K画素の高精細の3D映像を撮像し出力することができ、対象部位を立体的かつ高精細に映し出すことが可能になる。特に手術用途において、より鮮明な3D映像を取得でき、手術時の操作性、対象部位の視認性を向上できる。
また、1つのCCU22において、4K画素の2D映像の撮像出力と、2K画素の3D映像の撮像出力とに対応できるため、多様な観察映像の用途に適応可能となる。
また、CCU22、又はCCU22を有するカメラ装置20は、カメラヘッド21により撮像された左眼画像及び右眼画像のうちいずれか一方の撮像エリアの中で、信号処理のパラメータの導出に用いるエリアを決定する。これにより、CCU22、又はCCU22を有するカメラ装置20は、3Dモード時に3D映像を構成する2K左視差映像及び2K右視差映像に対して必要な信号処理を施す際のパラメータを適正に決定でき、モニタ30に映し出される3D映像の画質を向上できる。
また、CCU22、又はCCU22を有するカメラ装置20は、カメラヘッド21により撮像された左眼画像及び右眼画像に現れる被写体形状に基づいて、信号処理のパラメータの導出に用いるエリアを決定する。これにより、CCU22、又はCCU22を有するカメラ装置20は、3Dモード時に撮像された被写体の形状に適合して高画質な2K左視差映像及び2K右視差映像を生成できるので、モニタ30に映し出される3D映像の画質を的確に向上できる。
また、信号処理のパラメータは、信号処理のパラメータの導出に用いるエリアの左眼画像及び右眼画像のうち少なくとも一方の露光量である。CCU22、又はCCU22を有するカメラ装置20は、露光量に基づいて、カメラヘッド21により撮像された左眼画像及び右眼画像の明るさを調整する。これにより、CCU22、又はCCU22を有するカメラ装置20は、3Dモード時に、3Dモード時では本来必要ではない2Dモード時のイメージセンサの撮像面の一部(例えば撮像面の周辺部)の露光量の影響を受けて暗くなり過ぎたり明るくなり過ぎたりすることが無く、3D映像の画質が劣化することを抑制可能である。
また、信号処理のパラメータは、信号処理のパラメータの導出に用いるエリアの左眼画像及び右眼画像のうち少なくとも一方のホワイトバランス調整値である。CCU22、又はCCU22を有するカメラ装置20は、ホワイトバランス調整値に基づいて、カメラヘッド21により撮像された左眼画像及び右眼画像のホワイトバランスを調整する。これにより、CCU22、又はCCU22を有するカメラ装置20は、3Dモード時に、3Dモード時では本来必要ではない2Dモード時のイメージセンサの撮像面の一部(例えば撮像面CAP1の外周辺部)のWB調整値の影響を受けて青白くなり過ぎたり赤白くなり過ぎたりすることが無く、ホワイトバランスが適切に調整された3D映像が得られる。
また、CCU22、又はCCU22を有するカメラ装置20は、3Dモード時に、カメラヘッド21により撮像された左眼画像及び右眼画像に現れる視差Δ(図23参照)に基づいて、手術内視鏡110(光学機器の一例)から観察対象部位までの距離L(図19参照)を測定する距離測定回路291(測距部の一例)を有する。CCU22又はカメラ装置20は、信号処理が施された左眼画像及び右眼画像とともに、距離測定回路291により測定された結果(つまり、距離に関する情報)をモニタ130(図19参照)に出力する。これにより、ユーザ(例えば医者などの観察者)は、モニタ130に映し出されている観察対象部位の状況を視覚的に把握できるとともに、手術内視鏡110(図19参照)から観察対象部位までの具体的な距離の情報を把握できて、手術時や検査時においてユーザの次なる医療行為のガイド(誘導)を支援できる。
また、CCU22、又はCCU22を有するカメラ装置20は、3Dモードから2Dモードへの切り替えに応じて、距離に関する情報のモニタ130への出力を中断する。これにより、2Dモード時には視差を有する左右の2K左視差映像及び2K右視差映像の両方が距離測定回路291に入力されなくなるので、モニタ130に距離に関する情報の表示がなされない。従って、ユーザ(例えば医者などの観察者)は、モニタ130に距離に関する情報の表示がされていないことで、現在が2Dモードであることを簡単に認識でき、一方、モニタ130に距離に関する情報の表示がされていることで、現在が3Dモードであることを簡単に認識できる。
(実施の形態3の内容に至る経緯)
上述した医療用カメラシステムでは、手術や処置などが行われる対象部位の鮮明な視野を確保するため、できる限り高精細で視認性の良好な表示映像が望まれる。また、対象部位の立体視によって観察対象物の大きさや状態などの把握がより正確かつ容易にできるため、観察者に立体的な観察映像を提供する3D映像の要求が高まっている。特に微細部位の手術用途においては、高精細の3D映像が必要となるが、特許文献1のような従来技術では、観察映像の細部が鮮明に視認することが困難であるなどの課題があった。また、医療分野にて要求される高精細の3D映像を生成するために、視差を有する左眼用の画像(左眼画像)及び右眼用の画像(右眼画像)の撮像用に異なる2つのカメラを用いる必要があった。
また、例えば医療用カメラシステムでは、3D映像が表示されている状態から2D映像が表示されるように表示モードが切り替えられた際、医者などが対象部位(例えば人体の患部)の状況の詳細を連続的に把握するために、映像の表示がスムーズに切り替わることが求められる。ところが、現実的には、次のような要因のために、3D映像の表示から2D映像の表示に切り替えられる際に、数秒単位の遅延時間(言い換えると、映像の非表示時間)が発生し、一定時間以上にわたって対象部位(例えば人体の患部)の状況の詳細の把握が困難になることがあった。具体的には、映像の3Dモードから2Dモードに切り替えるためには、モニタ側の表示モードを3Dモードから2Dモードに変更する操作が必要であった。この操作は通常人により行われるため一定時間を要するものであり、3D映像の伝送フォーマットに応じて、例えば数秒単位の遅延時間(言い換えると、映像の非表示時間)が発生していた。このため、一定時間以上にわたって対象部位(例えば人体の患部)の状況の詳細の把握が困難になり、ユーザ(例えば医者などの観察者)の利便性を損なうという不具合があった。3D映像の表示から2D映像の表示に切り替えられる要因は、例えば手術時あるいは検査時に3D映像をずっと見ていると目が疲れること、手術時あるいは検査時に3D映像でなくても2D映像で十分に把握可能な患部の詳細を見たいこと、手術後あるいは検査後に3Dでなく2Dの設定に変更したいこと、がそれぞれ考えられる。特許文献1のような従来技術でも、このような3D映像の表示から2D映像の表示に切り替えられた場合に、モニタ側の表示モードを3Dモードから2Dモードに変更する操作が必要であることは変わりなく、上述のユーザ(例えば医者などの観察者)の利便性を損なうという課題に対する技術的対策については考慮されていない。
そこで、以下の実施の形態3では、上述した従来の事情に鑑みて、モニタ側の表示モードを3Dモードから2Dモードに変更する操作を必要とせずに、3D映像の表示モードを維持した状態で3D映像の表示から2D映像の表示に切り替え、映像の表示モードの切り替えに伴って発生していたユーザの利便性の劣化を抑制する画像処理装置、カメラ装置及び出力制御方法の例を説明する。
(実施の形態3)
実施の形態3の医療用カメラシステム、カメラ装置又はCCUのそれぞれの内部構成は、実施の形態1の医療用カメラシステム、カメラ装置20又はCCU22のそれぞれの内部構成と同様であるため、同一の構成については同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。
図16は、実施の形態3のカメラ装置20の画像処理部261Cの機能構成例を示すブロック図である。画像処理部261Cは、4K映像処理部264、2K左視差映像切り出し部265、2K右視差映像切り出し部266、映像出力切替部267,268を含む構成である。なお、フレームバッファFB1(メモリ)は、CCU22内に設けられていれば、画像処理部261の内外のどちらに設けられてもよい。
図16の画像処理部261Cの内部構成は、図6の画像処理部261のそれぞれの内部構成と同一のものを含むため、同一の構成については同一の符号を付与して説明を簡略化又は省略し、異なる内容について説明する。
2K左視差映像切り出し部265により生成された2K左視差映像のデータは、映像出力切替部267,268の両方に入力される。また、2K右視差映像切り出し部266により生成された2K右視差映像のデータは、映像出力切替部267,268の両方に入力される。
ここで、上述したように、3D映像が表示されている状態から2D映像が表示されるように表示モードが切り替えられた際、ユーザ(例えば医者などの観察者)が対象部位(例えば人体の患部)の状況の詳細を連続的に把握するために、映像の表示がスムーズに切り替わることが求められる。ところが、現実的には、3D映像の表示から2D映像の表示に切り替えられる際に、数秒単位の遅延時間(言い換えると、映像の非表示時間)が発生し、一定時間以上にわたって対象部位(例えば人体の患部)の状況の詳細の把握が困難になることがあった。具体的には、映像の3Dモードから2Dモードに切り替えるためには、モニタ側の表示モードを3Dモードから2Dモードに変更する操作が必要であった。この操作は通常人により行われるため一定時間を要するものであり、3D映像の伝送フォーマット(例えばHDMI(登録商標)、あるいはSDI)に応じて、例えば数秒単位の遅延時間(言い換えると、映像の非表示時間)が発生していた。このため、一定時間以上にわたって対象部位(例えば人体の患部)の状況の詳細の把握が困難になり、ユーザ(例えば医者などの観察者)の利便性を損なうという不具合があった。従って、手術中や検査中においてユーザ(例えば医者などの観察者)が映像の表示が一時的に中断された結果、患部の状態を把握できない時間帯が存在することになり、またモニタの表示モードを変更する操作が必要であったので使い勝手がよくない。
そこで、実施の形態3では、CCU22の画像処理部261Cは、例えば3Dモードから2Dモードに切り替える際、3D映像をモニタ30に伝送(出力)するときの伝送フォーマットを変更しないで維持し、伝送対象のデータを、3D映像を構成する2K左視差映像及び2K右視差映像から、2D映像となる2K左視差映像及び2K右視差映像のうちいずれか一方のみに変更する。これにより、伝送フォーマットの変更が必要ないので、モニタ30側の表示モードを3Dモードから2Dモードに変更する必要が無く、モニタ30側の表示モードを3Dモードに維持した状態で擬似的に2D映像の表示が可能となる。従って、映像の表示モードの切り替えに伴って発生していた、一定時間以上にわたって対象部位(例えば人体の患部)の状況の詳細の把握できなくなることが解消され、上述したユーザ(例えば医者などの観察者)の使い勝手が向上する。
映像出力切替部267(出力制御部の一例)は、映像信号出力の切り替えを行い、2K左視差映像切り出し部265からの2K画素の2D左視差映像、2K右視差映像切り出し部266からの2K画素の2D右視差映像、又は4K映像処理部264からの4K画素の2D映像の映像信号を、チャネルCH1(第1のチャネルの一例)を介して出力する。映像出力切替部267は、2Dモードから3Dモードに切り替えられた場合、2K左視差映像切り出し部265からの2K画素の2D左視差映像を出力する。映像出力切替部267は、3Dモードから2Dモードに切り替えられた場合、2K左視差映像切り出し部265からの2K画素の2D左視差映像、又は2K右視差映像切り出し部266からの2K画素の2D右視差映像を出力する。また、映像出力切替部267は、4K画素の2D映像の出力モード時には、4K映像処理部264からの4K画素の2D映像の映像信号を出力する。
映像出力切替部268(出力制御部の一例)は、映像信号出力の切り替えを行い、2K左視差映像切り出し部265からの2K画素の2D左視差映像、2K右視差映像切り出し部266からの2K画素の2D右視差映像、又は4K映像処理部264からの4K画素の2D映像の映像信号を、チャネルCH2(第2のチャネルの一例)を介して出力する。映像出力切替部268は、2Dモードから3Dモードに切り替えられた場合、2K右視差映像切り出し部266からの2K画素の2D右視差映像を出力する。映像出力切替部268は、3Dモードから2Dモードに切り替えられた場合、2K左視差映像切り出し部265からの2K画素の2D左視差映像、又は2K右視差映像切り出し部266からの2K画素の2D右視差映像を出力する。また、映像出力切替部268は、4K画素の2D映像の出力モード時には、4K映像処理部264からの4K画素の2D映像の映像信号を出力する。
なお、4K画素の2D映像の出力モード時に4K画素の2D映像を出力する場合、チャネルCH1の映像出力1とチャネルCH2の映像出力2の両方に映像信号を出力してもよいし、いずれか一方のみに映像信号を出力してもよい。また、チャネルCH1とチャネルCH2のいずれか一方に4K画素の2D映像を出力し、他方に2K画素の2D映像を出力してもよい。
図17Aは、3Dモード時の左眼画像及び右眼画像の伝送例を示す説明図である。図17Bは、3Dモードから2Dモードに切り替えられた後の左眼画像及び右眼画像の伝送例を示す説明図である。図17A,図17Bにおいて、撮像面CAP1は、所謂、Bottom View(つまり、撮像面側から物体側を見た時)の撮像面である。
図17Aでは、CCU22の画像処理部261Cは、カメラヘッド21のイメージセンサ(撮像部213)の撮像面CAP1に撮像された切り出し範囲LFC4の2K左視差映像IMGL1を、チャネルCH1を介してモニタ30に出力する。また、CCU22の画像処理部261Cは、カメラヘッド21のイメージセンサ(撮像部213)の撮像面CAP1に撮像された切り出し範囲RGC4の2K右視差映像IMGR1を、チャネルCH2を介してモニタ30に出力する。これにより、2K左視差映像IMGL1及び2K右視差映像IMGR1がモニタ30において映し出される際には、3D映像IMG1として合成されて表示される。
一方、図17Bでは、3Dモードから2Dモードに切り替えられると、CCU22の画像処理部261Cは、カメラヘッド21のイメージセンサ(撮像部213)の撮像面CAP1に撮像された切り出し範囲LFC4の2K左視差映像IMGL2を、チャネルCH1,CH2の両方を介してモニタ30に出力する。これにより、モニタ30には、左右で視差を有する2K左視差映像IMGL2,2K右視差映像IMGR2の両方が出力されず、その一方(この場合は、2K左視差映像IMGL2)だけがモニタ30において映し出されるため、3D映像の伝送フォーマットは変更されないながらも、2D映像IMG2が擬似的に表示される。なお、図17Bでは、2K左視差映像IMGL2がチャネルCH1,CH2の両方を介してモニタ30に出力される例を説明したが、2K右視差映像IMGR2がチャネルCH1,CH2の両方を介してモニタ30に出力されてもよいことは言うまでもない。
図18は、実施の形態3のカメラ装置20の動作手順例を説明するフローチャートである。図18の処理は、ステップS41の処理(すなわち、3Dモードから2Dモードへの切り替えの処理)が割込み的に発生した時点で、開始される。
図18において、CCU22のCPU262は、3Dモードから2Dモードへの切り替え信号を取得したかどうかを判断する(S41)。切り替え信号が取得されていない場合には(S41、NO)、現状のモード(例えば、3Dモード)が維持される。画像処理部261Cは、CPU262からの現状のモードを知らせる信号に応じて、図12のステップS18,S19の各処理、又は、ステップS21〜S23の各処理を実行する(S42)。
画像処理部261Cは、2K左視差映像をチャネルCH1から出力しかつ2K右視差映像をチャネルCH2から出力するか、又は、ステップS22において合成処理された3D映像をチャネルCH1あるいはチャネルCH2のいずれかもしくは両方から出力する(S43)。ステップS43においてそれぞれのチャネルを介して出力された映像がモニタ30において映し出され(S44)、3D映像がユーザ(例えば医者などの観察者)により閲覧される。
一方、切り替え信号が取得された場合には(S41、YES)、画像処理部261Cは、例えば2K左視差映像(左眼画像の一例)を用いて、3D伝送フォーマットに準拠して伝送可能な3D映像のデータ(具体的には、2個の2K左視差映像)を生成する(S45)。画像処理部261Cは、3D伝送フォーマットを変更しないで、ステップS45において生成された3D映像のデータを、それぞれチャネルCH1,CH2の両方を用いてモニタ30に出力する(S46)。ステップS46においてそれぞれのチャネルを介して出力された映像がモニタ30において映し出され(S47)、3D伝送フォーマットに準拠して送られた3D映像が擬似的な2D映像としてユーザ(例えば医者などの観察者)により閲覧される。
以上により、実施の形態3の医療用カメラシステムでは、CCU22は、手術顕微鏡10(光学機器の一例)に入射した対象部位の光に基づいて、視差を有する2K左視差映像(左眼画像の一例)及び2K右視差映像(右眼画像の一例)の1画面の撮像面上への撮像が可能なカメラヘッド21と接続される。CCU22、又はCCU22を有するカメラ装置20は、カメラヘッド21により撮像された左眼画像及び右眼画像の信号処理を施し、信号処理が施された左眼画像及び右眼画像を、それぞれチャネルCH1(第1のチャネルの一例)及びチャネルCH2(第2のチャネルの一例)を介してモニタ30に出力する。また、CCU22、又はCCU22を有するカメラ装置20は、3Dモードから2Dモードへの切り替えに応じて、信号処理が施された左眼画像及び右眼画像のうち一方を、それぞれチャネルCH1,CH2を介してモニタ30に出力する。
これにより、CCU22、又はCCU22を有するカメラ装置20は、3D映像の表示から2D映像の表示に切り替える際、3D映像の伝送フォーマットを変更しないで維持し、3D映像を構成する2K左視差映像及び2K右視差映像のうちいずれか一方をモニタ30に伝送できる。言い換えると、伝送フォーマットの変更が必要ないので、モニタ30側の表示モードを3Dモードから2Dモードに変更する操作を行う必要が無く、モニタ30側の表示モードを3Dモードに維持した状態で擬似的に2D映像の表示が可能となる。従って、CCU22、又はCCU22を有するカメラ装置20は、映像の表示モードの切り替えに伴って発生していた、一定時間以上にわたって対象部位(例えば人体の患部)の状況の詳細の把握できなくなることを解消でき、上述したユーザ(例えば医者などの観察者)の使い勝手を向上できる。また、1つのカメラヘッド21及びCCU22によって2K画素の高精細の3D映像を撮像し出力することができ、対象部位を立体的かつ高精細に映し出すことが可能になる。
また、1つのCCU22において、4K画素の2D映像の撮像出力と、2K画素の3D映像の撮像出力とに対応できるため、多様な観察映像の用途に適応可能となる。
また、CCU22、又はCCU22を有するカメラ装置20は、チャネルCH1,CH2の両方を介してモニタ30に出力された左眼画像及び右眼画像のうち一方に基づいて、2Dモードにおける2D映像を擬似的にモニタ30上に表示する。これにより、CCU22、又はCCU22を有するカメラ装置20は、2K左視差映像又は2K右視差映像のいずれか一方だけをモニタ30上に表示するだけで、3Dモードから2Dモードに切り替える際に発生するはずの表示遅延時間の発生を極力抑えることができた上で、2Dモード時の2D映像を簡単に表示できる。
また、3Dモードから2Dモードへの切り替えは、ユーザ操作により入力される。これにより、CCU22、又はCCU22を有するカメラ装置20は、簡単なユーザ操作により、3Dモードから2Dモードへの切り替えを簡易に検出することができる。
また、CCU22、又はCCU22を有するカメラ装置20は、3Dモード時に、カメラヘッド21により撮像された左眼画像及び右眼画像に現れる視差Δ(図23参照)に基づいて、手術内視鏡110(光学機器の一例)から観察対象部位までの距離L(図19参照)を測定する距離測定回路291(測距部の一例)を有する。CCU22又はカメラ装置20は、信号処理が施された左眼画像及び右眼画像とともに、距離測定回路291により測定された結果(つまり、距離に関する情報)をモニタ130(図19参照)に出力する。これにより、ユーザ(例えば医者などの観察者)は、モニタ130に映し出されている観察対象部位の状況を視覚的に把握できるとともに、手術内視鏡110(図19参照)から観察対象部位までの具体的な距離の情報を把握できて、手術時や検査時においてユーザの次なる医療行為のガイド(誘導)を支援できる。
また、CCU22、又はCCU22を有するカメラ装置20は、3Dモードから2Dモードへの切り替えに応じて、距離に関する情報のモニタ130への出力を中断する。これにより、2Dモード時には視差を有する左右の2K左視差映像及び2K右視差映像の両方が距離測定回路291に入力されなくなるので、モニタ130に距離に関する情報の表示がなされない。従って、ユーザ(例えば医者などの観察者)は、モニタ130に距離に関する情報の表示がされていないことで、現在が2Dモードであることを簡単に認識でき、一方、モニタ130に距離に関する情報の表示がされていることで、現在が3Dモードであることを簡単に認識できる。
なお、上述した実施の形態では、光学機器の一例として、手術顕微鏡10を例示して説明したが、手術内視鏡110を適用しても構わない。次に、光学機器の一例として、手術内視鏡110を適用した手術内視鏡システムの構成について、図19及び図20を参照して説明する。
図19は、各実施の形態のカメラ装置を含む医療用カメラシステムを手術内視鏡システムに適用した構成例を示すシステム構成図である。手術内視鏡システムは、手術内視鏡110と、カメラ装置120と、モニタ130と、光源装置131とを有する。カメラ装置120は、図1〜図5に示したカメラ装置20と同様であり、カメラヘッド121とCCU122とを有して構成される。
手術内視鏡110は、立体視内視鏡であり、細長の挿入部111に、観察者の左右の眼に対応するように設けられた観察光学系として、対物レンズ201R,201L、リレーレンズ202R,202L、結像レンズ203R,203Lを有して構成される。手術内視鏡110は、観察光学系の手元側に設けられたカメラ装着部115と、光源装着部117とを有し、光源装着部117から挿入部111の先端部にかけて照明光を導光するライトガイド204が設けられている。カメラ装着部115にカメラヘッド121の撮像レンズ部123を装着して撮像することにより、カメラ装置120において立体視用の観察映像を取得可能となっている。光源装着部117には、ライトガイドケーブル116が接続され、ライトガイドケーブル116を介して光源装置131が接続される。
カメラヘッド121とCCU122とは信号ケーブル125により接続され、カメラヘッド121にて撮像した被写体の3D映像用の映像信号は、信号ケーブル125を介してCCU122に伝送される。CCU122の出力端子にはモニタ130が接続され、3D表示用の左右2つの映像出力1,2が出力される。モニタ130には、対象部位の観察映像として、2K画素の3D映像が表示される。
図20は、各実施の形態の手術内視鏡システムの外観例を示す図である。手術内視鏡110は、挿入部111の手元側にカメラ装着部115が設けられ、カメラヘッド121の撮像レンズ部123が装着される。挿入部111の手元側部には光源装着部117が設けられ、ライトガイドケーブル116が接続される。カメラヘッド121には操作スイッチが設けられ、撮像する観察映像の操作(フリーズ、レリーズ、画像スキャン等)を使用者の手元において行うことが可能となっている。手術内視鏡システムは、カメラ装置120にて撮像した観察映像を記録するレコーダ132、手術内視鏡システムを操作するための操作ユニット133、観察者が足で操作入力を行うフットスイッチ137を有し、操作ユニット133、CCU122、光源装置131、及びレコーダ132が制御ユニット筐体135に収納されている。制御ユニット筐体135の上部には、モニタ130が配置される。
このように、図19及び図20に示す手術内視鏡システムの構成では、前述した医療用カメラシステムの構成と同様に、手術内視鏡110により取得した対象部位の左右の視差画像から、それぞれ2K画素の左視差映像と右視差映像を生成出力し、モニタ130において2K画素の3D映像を表示させることができる。
(実施の形態4)
実施の形態4では、3Dモード時に、光学機器(例えば図19に示す手術内視鏡110の挿入部の先端)から観察対象部位(つまり、被写体40)までの距離Lを測距し、測距結果をモニタ130に表示可能な手術内視鏡システムの例を説明する。手術内視鏡システムの構成は図19及び図20を参照して説明したので、同一の内容の説明は簡略化又は省略し、異なる内容について説明する。
図21は、実施の形態4のカメラ装置20の画像処理部271の機能構成例を示すブロック図である。画像処理部271は、図6に示した画像処理部261と同様に、4K映像処理部264、2K左視差映像切り出し部265、2K右視差映像切り出し部266を有するとともに、3D映像合成部272、距離測定回路291、映像出力切替部273,274、表示要素生成部292、重畳制御部293,294を含む構成である。
2K左視差映像切り出し部265は、2Dモードから3Dモードへの切り替え信号に応じて、3D映像を構成する2K左視差映像を、3D映像合成部272、映像出力切替部273、距離測定回路291にそれぞれ出力する。2K左視差映像切り出し部265は、3Dモードから2Dモードへの切り替え信号に応じて、3D映像を構成する2K左視差映像の少なくとも距離測定回路291への出力を中断する。
2K右視差映像切り出し部266は、2Dモードから3Dモードへの切り替え信号に応じて、3D映像を構成する2K右視差映像を、3D映像合成部272、映像出力切替部274、距離測定回路291にそれぞれ出力する。2K右視差映像切り出し部266は、3Dモードから2Dモードへの切り替え信号に応じて、3D映像を構成する2K右視差映像の少なくとも距離測定回路291への出力を中断する。
3D映像合成部272は、2K左視差映像切り出し部265の出力の3D左視差映像と2K右視差映像切り出し部266の出力の3D右視差映像とを合成処理し、HD解像度の3D映像(3D(Normal))を生成する。3D映像の合成処理は、例えば左視差映像と右視差映像とを水平方向に隣接させたサイドバイサイド方式、或いは1ラインごとに左視差映像と右視差映像とを配置したラインバイライン方式など、3D映像の各種伝送方式に対応する映像変換処理(3D映像化処理)を用いることができる。
映像出力切替部273,274は、映像信号出力の切り替えを行い、2K画素の3D映像(3D(FHD))、又はHD解像度の3D映像(3D(Normal))、若しくは4K画素の2D映像(2D(4K))の映像信号を出力する。2K画素の3D映像(3D(FHD))を出力する場合、チャネルCH1の映像出力1として3D左視差映像の映像信号を出力し、チャネルCH2の映像出力2として3D右視差映像の映像信号を出力する。4K画素の2D映像(2D(4K))又はHD解像度の3D映像(3D(Normal))を出力する場合、チャネルCH1の映像出力1とチャネルCH2の映像出力2の両方に映像信号を出力してもよいし、いずれか一方のみに映像信号を出力してもよい。
距離測定回路291(測距部の一例)は、3Dモード時に、2K左視差映像切り出し部265からの2K左視差映像と2K右視差映像切り出し部266からの2K右視差映像とに現れる視差Δ(図23参照)に基づいて、手術内視鏡110から観察対象部位までの距離L(図19参照)を測定する。距離測定回路291は、測定結果(つまり、手術内視鏡110から観察対象部位までの距離Lに関する情報)をCPU262に出力する。
図22は、左眼画像用の対物レンズ201Lと右眼画像用の対物レンズ201Rとの配置例、並びにモニタ130に表示される3D画像CPIM3上に指定されるマーカMK1の一例をそれぞれ示す説明図である。図23は、指定されたマーカMK1の位置に応じた、左眼画像、右眼画像に現れる視差Δの説明図である。
図22において、左眼画像(つまり、2K左視差映像)の撮像のためにカメラヘッド121のイメージセンサ(撮像部213)の撮像面IGA上に被写体光を結像するための対物レンズ201Lと、右眼画像(つまり、2K右視差映像)の撮像のためにカメラヘッド121のイメージセンサ(撮像部213)の撮像面上に被写体光を結像するための対物レンズ201Rとの間の基線長Dは既定値である。この基線長Dは、対物レンズ201Lのレンズ中心を通る軸線201LCと、対物レンズ201Rのレンズ中心を通る軸線201RCとの間の距離に相当する。また、実施の形態4の説明を簡単にするため、対物レンズ201L,201Rの焦点距離fは、対物レンズ201L,201Rのそれぞれの主点(図示略)から撮像面IGAまでの距離として説明する。
ここで、モニタ130上に映し出された3D映像を構成する3D画像CPIM3上で、ユーザ(例えば医者などの観察者)の操作により、その操作によって指定された位置にマーカMK1が表示されたとする。位置ZC1は、マーカMK1の中心位置を示し、点線MKCはマーカMK1の中心位置を通過する線であり、視差Δの説明用に設けてある。
図23の最上段には3D画像CPIM3が示され、図23の中段には2K左視差映像を構成する左眼画像LCPIM2が示され、図23の最下段には2K右視差映像を構成する右眼画像RCPIM2が示される。3D画像CPIM3は、視差Δを有しかつ同一被写体の撮像により得られた左眼画像LCPIM2及び右眼画像RCPIM2がモニタ130に映し出されたことで、立体的に表示される。なお、点線MKL,MKRは、それぞれ左眼画像LCPIM2上のマーカMK1,右眼画像RCIPM2上のマーカMK1の各中心位置を通過する線であり、視差Δの説明用に設けてある。
ここで、ユーザ(例えば医者などの観察者)の操作により、その操作によって指定された位置にマーカMK1が表示された場合、左眼画像LCPIM2と右眼画像RCPIM2との間の視差Δは、3D画像CPIM3上のマーカMK1の中心を示す位置ZC1から左眼画像LCPIM2上のマーカMK1の中心を示す位置ZL1までの距離Δ1と、3D画像CPIM3上のマーカMK1の中心を示す位置ZC1から右眼画像RCPIM2上のマーカMK1の中心を示す位置ZR1までの距離Δ2との和に相当する。つまり、数式(1)が成り立つ。
言い換えると、視差Δは、左眼画像LCPIM2の中心位置ZLCからマーカMK1の中心を示す位置ZL1までの距離LXと、右眼画像RCPIM2の中心位置ZRCからマーカMK1の中心を示す位置ZR1までの距離RXとの差分に相当する。
従って、距離測定回路291は、3Dモード時に、2K左視差映像切り出し部265からの2K左視差映像と2K右視差映像切り出し部266からの2K右視差映像とに現れる視差Δ(図23参照)に基づいて、手術内視鏡110から観察対象部位までの距離L(図19参照)を、数式(2)に従って導出する。
表示要素生成部292は、3Dモード時に、距離測定回路291の測定結果をモニタ130上に表示する旨の指示をCPU262より取得すると、距離測定回路291の測定結果に対応する表示要素(例えば図24に示す距離結果のアイコンDS1参照)のデータを生成して重畳制御部293,294にそれぞれ出力する。
重畳制御部293(出力制御部の一例)は、3Dモード時に、表示要素生成部292からの表示要素のデータを、映像出力切替部273からの出力映像(出力画像)に重畳処理した上で、チャネルCH1を介してモニタ130に出力する。
重畳制御部294(出力制御部の一例)は、3Dモード時に、表示要素生成部292からの表示要素のデータを、映像出力切替部274からの出力映像(出力画像)に重畳処理した上で、チャネルCH1を介してモニタ130に出力する。
図24は、手術内視鏡110の先端から被写体40までの距離Lの表示例を示す説明図である。図24の上段には3Dモード時にモニタ130上に表示される3D画像CPIM3が示され、図24の下段には2Dモード時にモニタ130上に表示される2D画像(例えば左眼画像LCPIM2)が示される。
2Dモード時において、ユーザ(例えば医者などの観察者)の操作によって2Dモードから3Dモードに切り替えられると、CCU22、又はCCU22を有するカメラ装置20により、手術内視鏡110からマーカMK1により指定された被写体40までの距離Lが測定される。その結果、距離L(例えばL=30mm)の測距結果を示すアイコンDS1がモニタ130上の所定位置(例えばモニタ130の左上端部)に表示される。
一方、3Dモード時において、ユーザ(例えば医者などの観察者)の操作によって2Dモードから3Dモードに切り替えられると、CCU22、又はCCU22を有するカメラ装置20により、距離L(例えばL=30mm)の測距結果を示すアイコンDS1は非表示される。これは、2Dモード時には、左眼画像LCPIM2,右眼画像の両方が距離測定回路291に入力されなくなるため、被写体40までの距離の導出ができないためである。
以上により、実施の形態4の手術内視鏡システムでは、CCU22、又はCCU22を有するカメラ装置20は、3Dモード時に、カメラヘッド21により撮像された左眼画像及び右眼画像に現れる視差Δ(図23参照)に基づいて、手術内視鏡110(光学機器の一例)から観察対象部位までの距離L(図19参照)を測定する距離測定回路291(測距部の一例)を有する。CCU22又はカメラ装置20は、信号処理が施された左眼画像及び右眼画像とともに、距離測定回路291により測定された結果(つまり、距離に関する情報)をモニタ130(図19参照)に出力する。これにより、ユーザ(例えば医者などの観察者)は、モニタ130に映し出されている観察対象部位の状況を視覚的に把握できるとともに、手術内視鏡110(図19参照)から観察対象部位までの具体的な距離の情報を把握できて、手術時や検査時においてユーザの次なる医療行為のガイド(誘導)を支援できる。
また、CCU22、又はCCU22を有するカメラ装置20は、3Dモードから2Dモードへの切り替えに応じて、距離に関する情報のモニタ130への出力を中断する。これにより、2Dモード時には視差を有する左右の2K左視差映像及び2K右視差映像の両方が距離測定回路291に入力されなくなるので、モニタ130に距離に関する情報の表示がなされない。従って、ユーザ(例えば医者などの観察者)は、モニタ130に距離に関する情報の表示がされていないことで、現在が2Dモードであることを簡単に認識でき、一方、モニタ130に距離に関する情報の表示がされていることで、現在が3Dモードであることを簡単に認識できる。
以上、図面を参照しながら各種の実施の形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。また、発明の趣旨を逸脱しない範囲において、上記実施の形態における各構成要素を任意に組み合わせてもよい。
なお、実施の形態4において、数式(1)によれば、手術内視鏡110から観察対象部位(つまり、被写体40)までの距離Lは、手術内視鏡110の画角(つまり、手術内視鏡110内の観察光学系におけるズーム倍率)を固定して撮像する際に、同じ距離Lの測距が再現可能である。そこで、基準となる被写体40までの距離と、基準となる手術内視鏡110の画角(言い換えると、ズーム倍率)との対応関係をテーブルとして予め用意しておき、画像処理部271又はCPU262に予め保持する。画像処理部271は、数式(1)に従って導出した距離の値が基準となる距離と異なる場合に、現在のズーム倍率とテーブルに規定されている基準画角(基準となるズーム倍率)との比率に応じた係数を用いて、導出された距離Lを補正する。ズーム倍率が変更されると、それに応じて、焦点距離fが変更され、数式(1)によれば、距離Lも変更されてしまう。例えば、ズーム倍率が1倍で距離Lが2cmである場合、ズーム倍率が2倍になると焦点距離fが2倍となり、距離Lも2倍の4cmになってしまう。しかし、実施の形態4において測距される距離Lは、手術内視鏡110の挿入部の先端から被写体40までの距離であるため、現実的には4cmになると距離Lが誤ったものとなる。このため、ズーム倍率が変更された場合には、上述したズーム倍率の変更率に対応した係数を用いて、数式(1)により求められた距離Lも補正することが必要となる。
また、上述した各実施の形態では、4K解像度を有する2D映像から3D映像を構成する2K左視差映像及び2K右視差映像を切り出して出力することを説明したが、CCU22は、例えば8K解像度相当の画素数を有する2D映像から3D映像を構成する4K左視差映像及び4K右視差映像を切り出して出力してもよいことは言うまでもない。