JP2015226216A - 医療用画像記録装置 - Google Patents

Abstract

【課題】サイドバイサイド方式の３Ｄ画像と２Ｄ画像とを合成して記録した場合でも、確実に再生することができる。
【解決手段】 医療用画像記録装置は、入力された２系統の画像が３Ｄ画像であるか２Ｄ画像であるかを検出する信号検出部と、前記信号検出部によって３Ｄ画像と判定された画像を疑似２Ｄ画像に変換する変換処理及び前記信号検出部によって２Ｄ画像と判定された画像を疑似３Ｄ画像に変換する変換処理の少なくとも一方の変換処理が可能なフォーマット変換部と、前記フォーマット変換部の変換処理を制御することで、前記フォーマット変換部から２Ｄ画像と疑似２Ｄ画像を出力させるか又は前記フォーマット変換部から３Ｄ画像と疑似３Ｄ画像を出力させる制御部と、前記フォーマット変換部からの２つの画像を合成して合成画像を出力する画面合成演算部と、前記合成画像を記録する記録部とを具備する。
【選択図】図１

Description

本発明は、３Ｄ画像と２Ｄ画像とを合成出力可能な医療用画像記録装置に関する。

近年、手術等の医療行為に際して術部を観察するための内視鏡や手術用顕微鏡等の医療用観察装置が普及している。特に外科分野においては、観察画像を立体的に表示可能な立体（３Ｄ）内視鏡等の医療用立体観察システムを用いた手技も普及しつつある。このような手技は、教育用或いは証拠画像用として記録されることがあり、内視鏡等によって取得された医療画像を記録する記録装置も採用されている。

例えば、症例中の重要な解剖シーンについては、記録画像を学会や院内カンファレンスで共有して、若手ドクターらの教育に活用することができる。このような目的のために、記録された医療画像を再生して、編集作業が行われることもある。

３Ｄ内視鏡によって取得された３Ｄの医療画像を、例えば、サイドバイサイド方式で伝送、記録する方法がある。サイドバイサイド方式は、３Ｄ放送に採用されており、画面左半分に対応する領域に左目用の画像（左画像）を配置し、画面右半分に対応する領域に右目用の画像（右画像）を配置して、２Ｄ映像信号と同様のフォーマットによって３Ｄ映像信号を伝送するものである。例えば、左右の画像は、それぞれ９６０×１０８０に圧縮された後合成されて記録される。３Ｄ対応のモニタでは、これらの左右画像を水平方向に伸張した後、適宜の方式で左右画像をそれぞれ視聴者の左右の目に見させることで立体視を可能にする。

ところで、近年、外科用の３Ｄ硬性内視鏡と、２Ｄ軟性内視鏡とを組み合わせた手技が採用されることがある。３Ｄ画像は奥行きを表示することができるので、２Ｄ内視鏡画像と３Ｄ内視鏡画像の両方を利用することで、病変部の同定及び処置を容易にすることが可能である。

なお、特許文献１には、立体電子内視鏡装置において処置具が存在する至近距離領域の表示が立体視の妨げとならないように、至近領域ではメモリ制御回路の読出し制御により２Ｄ映像をその他の領域では３Ｄ映像を表示するようにした技術が開示されている。

特開平６−２６１３４１号公報

ところで、２つの内視鏡を利用した手技の症例を記録する場合には、各内視鏡画像同士の関係が明瞭となるように、２つの画像同士を合成して記録することが考えられる。例えば、一方の画像を親画像とし他方の画像を子画像としたＰＩＰ（ピクチャインピクチャ）方式、両方の画像を画面の左右に配置するＰＯＰ（ピクチャアウトピクチャ）方式の合成画像を記録するのである。

しかしながら、サイドバイサイド方式の３Ｄ画像と２Ｄ画像とをＰＩＰ方式又はＰＯＰ方式で合成して記録すると、映像フォーマットの相違によって、再生時に正しく再生することができないことがあるという問題があった。なお、３Ｄモニタを利用することができない環境下では、そもそも正しい再生は不可能である。

本発明は、サイドバイサイド方式の３Ｄ画像と２Ｄ画像とを合成して記録した場合でも、確実に再生することができる医療用画像記録装置を提供することを目的とする。

本発明に係る医療用画像記録装置は、入力された２系統の画像が３Ｄ画像であるか２Ｄ画像であるかを検出する信号検出部と、前記信号検出部によって３Ｄ画像と判定された画像を疑似２Ｄ画像に変換する変換処理及び前記信号検出部によって２Ｄ画像と判定された画像を疑似３Ｄ画像に変換する変換処理の少なくとも一方の変換処理が可能なフォーマット変換部と、前記フォーマット変換部の変換処理を制御することで、前記フォーマット変換部から２Ｄ画像と疑似２Ｄ画像を出力させるか又は前記フォーマット変換部から３Ｄ画像と疑似３Ｄ画像を出力させる制御部と、前記フォーマット変換部からの２つの画像を合成して合成画像を出力する画面合成演算部と、前記合成画像を記録する記録部とを具備する。

本発明によれば、サイドバイサイド方式の３Ｄ画像と２Ｄ画像とを合成して記録した場合でも、確実に再生することができるという効果を有する。

本発明の第１の実施の形態に係る医療用画像記録装置を示すブロック図。 内視鏡システムの全体構成を示す外観図。 再生を説明するための説明図。 再生を説明するための説明図。 第１の実施の形態の動作を説明するための説明図。 ３Ｄミキサ５からのサイドバイサイド画像を説明するための説明図。 フォーマット変換部２７，２８の疑似２Ｄ画像化を説明するための説明図。 フォーマット変換部２７，２８の疑似３Ｄ画像化を説明するための説明図。 合成処理を説明するための説明図。 合成処理を説明するための説明図。 合成処理を説明するための説明図。 合成処理を説明するための説明図。 合成処理を説明するための説明図。 本発明の第２の実施の形態に採用される信号フォーマットの判断フローを示すフローチャート。 マスク領域を説明するための説明図。 画像特徴の検出を説明するための説明図 １６中のステップＳ２における色域成分分析の具体的な処理の一例を示すフローチャート。 サンプリングポイントを説明するための説明図。 色域チャートにプロットした様子を示す説明図である。 図１６中のエッジ成分分析の具体的な処理の一例を示すフローチャート。 左右マスク領域４１Ｌ，４１Ｒから抽出した輪郭線６０Ｌ，６０Ｒを示す説明図。 座標位置を説明するための説明図。

以下、図面を参照して本発明の実施の形態について詳細に説明する。

（第１の実施の形態）
図１は本発明の第１の実施の形態に係る医療用画像記録装置を示すブロック図である。本実施の形態は、医療用画像記録装置を、３Ｄ内視鏡、２Ｄ内視鏡からの画像を処理する各ビデオプロセッサを有する内視鏡システムに適用したものである。図２は内視鏡システムの全体構成を示す外観図である。

先ず、図３及び図４の説明図を参照して、サイドバイサイド方式の３Ｄ画像と２Ｄ画像とをＰＩＰ方式又はＰＯＰ方式にて合成して記録した場合において、どのような再生が行われるかについて説明する。合成の仕方としては、３Ｄ画像を親画像とするＰＩＰ方式、２Ｄ画像を親画像とするＰＩＰ方式、３Ｄ画像を例えば画面左側に配置するＰＯＰ方式及び３Ｄ画像を例えば画面右側に配置するＰＯＰ方式の４種類が考えられる。これらの４種類のうち唯一再生が可能なＰＩＰ方式を図３に示す。また、図４はＰＯＰ方式を示している。

図３（ａ）は３Ｄ画像が親画像であるＰＩＰ方式の合成画像を示している。画面左側には３Ｄ画像を構成する左画像３ＤＬＰが配置され、画面右側には３Ｄ画像を構成する右画像３ＤＲＰが配置される。右画像３ＤＲＰの一部の領域には、２Ｄ画像２ＤＣが子画面で配置される。

図３（ａ）に示す合成画像を再生して３Ｄモニタにおいて観察するものとする。例えば、３Ｄモニタが、奇数フィールドにおいてサイドバイサイド方式の画面左側の画像を表示し、偶数フィールドにおいて画面右側の画像を表示するものとする。図３（ｂ）は奇数フィールドにおける画像を示し、図３（ｃ）は偶数フィールドにおける画像を示している。

図３（ｂ）の画像は、図３（ａ）の左画像３ＤＬＰを水平方向に２倍に伸張したものであり、３Ｄ画像に基づく親画像である。また、図３（ｃ）の画像は、図３（ａ）の右画像３ＤＲＰを水平方向に２倍に伸張した３Ｄ画像に基づく親画像の画像部分と、２Ｄ画像に基づく子画像２ＤＣの画像部分とを含む。３Ｄ画像については、立体視が可能である。２Ｄ画像については偶数フィールドのみしか表示されないが、２Ｄ画像の確認は可能である。

一方、図４（ａ）は画面左側に３Ｄ画像を、画面右側に２Ｄ画像を配置したＰＯＰ方式の合成画像を示している。画面左側には３Ｄ画像を構成する左画像３ＤＬＬ及び右画像３ＤＲＬが配置される。また、画面右側には、２Ｄ画像２ＤＲが配置される。

図４（ａ）に示す合成画像を再生して３Ｄモニタにおいて観察するものとする。例えば、３Ｄモニタが、奇数フィールドにおいてサイドバイサイド方式の画面左側の画像を表示し、偶数フィールドにおいて画面右側の画像を表示するものとする。図４（ｂ）は奇数フィールドにおける画像を示し、図４（ｃ）は偶数フィールドにおける画像を示している。

図４（ｂ）の画像は、図４（ａ）の左画像３ＤＬＬ，３ＤＲＬを水平方向に２倍に伸張したものである。本来、奇数フィールドと偶数フィールドとで別々に表示されるべき２つの画像３ＤＬＬ，３ＤＲＬは、１画面内の左右に表示されている。また、図４（ｃ）の画像は、図４（ａ）の２Ｄ画像を水平方向に伸張したものである。即ち、図４（ｂ），（ｃ）の例では、左右に並んで表示される３Ｄ画像と、２Ｄ画像とがフィールド毎に交互に表示されることになり、視聴者は画像を正しく認識することはできない。

なお、２Ｄ画像を親画像としサイドバイサイド方式の３Ｄ画像を子画像としたＰＩＰ方式の合成画像についても正しく再生することはできず、また、画面左側に２Ｄ画像を配置し画面右側にサイドバイサイド方式の３Ｄ画像を配置したＰＯＰ方式の合成画像についても正しく再生することはできない。

このように、サイドバイサイド方式の３Ｄ画像と２Ｄ画像とをＰＩＰ方式又はＰＯＰ方式で合成した合成画像については、正しく再生することができないことがある。そこで、本実施の形態においては、サイドバイサイド方式の３Ｄ画像と２Ｄ画像とを合成する場合には、サイドバイサイド方式の３Ｄ画像を疑似２Ｄ画像化した後２Ｄ画像と合成するか、又は２Ｄ画像を疑似３Ｄ画像化した後サイドバイサイド方式の３Ｄ画像と合成する。

図２において、２台のカート３９，４０が例えば図示しない手術室に配置されている。一方のカート４０には、図示しない２Ｄ内視鏡等の観察装置からの画像を処理するプロセッサ１５、内視鏡に光を供給する光源装置３３及びモニタ３７等が載置されている。プロセッサ１５は、図示しないケーブルを介して内視鏡に接続されるようになっており、内視鏡からの画像を処理して画像信号を図示しないケーブルを介してモニタ３７に供給することがでるようになっている。これにより、モニタ３７の表示画面上には、２Ｄ内視鏡からの観察画像が表示される。

一方、カート３９には、図示しない３Ｄ内視鏡等の観察装置からの左右画像をそれぞれ処理するプロセッサ３，４、プロセッサ３，４の出力を映像信号に変換する３Ｄミキサ５、３Ｄ内視鏡に光を供給する光源装置３４、モニタ７及び医療用画像記録装置２１等が載置されている。医療用画像記録装置２１には、３Ｄミキサ５の出力が与えられると共に、ケーブル３６を介してプロセッサ１５の出力も与えられる。

図１の内視鏡システム１の医療用画像記録装置２１には、２系統の医療用画像がそれぞれインタフェース（以下、Ｉ／Ｆという）Ｉ／Ｆ２２，２３に入力される。Ｉ／Ｆ２２には３Ｄ画像に基づくサイドバイサイド方式の３Ｄ画像が入力され、Ｉ／Ｆ２３には２Ｄ画像が入力される。３Ｄ画像は入力装置２によって生成される。なお、３Ｄ画像をＩ／Ｆ２３に与え、２Ｄ画像をＩ／Ｆ２２に与えるようにしてもよい。

入力装置２は、３Ｄによる内視鏡画像を出力可能な例えば３Ｄ内視鏡によって構成され、撮像して得た左画像及び右画像をそれぞれ内視鏡プロセッサ３，４に出力する。内視鏡プロセッサ３，４は、それぞれ入力された左画像、右画像に所定の画像処理を施して、３Ｄミキサ５に出力する。３Ｄミキサ５は、入力された左画像及び右画像をサイドバイサイド（Side by Side）方式の３Ｄフォーマットの画像に変換してＩ／Ｆ２２及びモニタ７に出力する。

また、内視鏡プロセッサ３には図示しない入力装置が設けられており、オペレータは、この入力装置によって患者名や患者ＩＤ等の患者情報を入力することができるようになっている。これらの情報は、３Ｄミキサ５を介してモニタ７に供給されると共に、医療用画像記録装置２１のＩ／Ｆ２４に供給されるようになっている。

モニタ７は、３Ｄミキサ５からの３Ｄ画像を画面上に表示することができるようになっている。図１の例では、モニタ７の画面右側の領域１１及び左側の領域８〜１０に、夫々３Ｄの内視鏡画像、患者名、患者ＩＤ及び検査情報が表示されることを示している。

医療用画像記録装置２１のＩ／Ｆ２２，２３に入力されたサイドバイサイド方式の３Ｄ画像及び２Ｄ画像はそれぞれ信号検出部２５，２６に供給される。また、Ｉ／Ｆ２４は、内視鏡プロセッサ３からの患者情報及び制御情報等を取り込んで、制御部３０に出力する。

信号検出部２５，２６は、信号フォーマットの判別を行って判別結果を制御部３０に出力する。即ち、信号検出部２５，２６は、入力された画像がサイドバイサイド方式の３Ｄ画像であるか２Ｄ画像であるかを判別する。信号検出部２５，２６は、入力画像にサイドバイサイド方式の３Ｄ画像であることを示す識別信号が挿入されている場合には、この識別信号によってサイドバイサイド方式の３Ｄ画像であることを判別し、識別信号が挿入されていない場合には２Ｄ画像であるものと判別する。また、信号検出部２５，２６は、入力された画像のいずれにも識別信号が挿入されていない場合には、サイドバイサイド方式の画像特徴を利用して３画像と２Ｄ画像との判別を行う。例えば、信号検出部２５，２６は、入力された画像の左側の画像部分と右側の画像部分との一致比較によって、サイドバイサイド方式の３Ｄ画像であるか否かを判別することができる。

信号検出部２５，２６によってフォーマットがそれぞれ判別された各入力画像は、それぞれフォーマット変換部２７，２８に供給される。フォーマット変換部２７，２８は、制御部３０に制御されて、サイドバイサイド方式の３Ｄ画像を疑似２Ｄ画像に変換する疑似２Ｄ画像化を行うか又は２Ｄ画像をサイドバイサイド方式の疑似３Ｄ画像に変換する疑似３Ｄ画像化を行う。

制御部３０は、図示しない入力部に対するユーザ操作に基づいて、又は予め設定された設定情報に基づいて、フォーマット変換部２７，２８を制御することで、フォーマット変換部２７，２８のいずれか一方を動作させて、フォーマット変換部２７，２８から３Ｄ画像及び疑似３Ｄ画像を出力させるか、又は疑似２Ｄ画像及び２Ｄ画像を出力させる。即ち、フォーマット変換部２７，２８からは、いずれも３Ｄ画像が出力されるか又はいずれも２Ｄ画像が出力される。フォーマット変換部２７，２８の出力は画面合成演算部３１に与えられる。

画面合成演算部３１は、制御部３０に制御されて、２入力の一方を親画像とし他方を子画像とするＰＩＰ方式で２入力を合成するか、又は２入力を画面左右に配置するＰＯＰ方式で２入力を合成する。制御部３０は、図示しない入力部に対するユーザ操作に基づいて、又は予め設定された設定情報に基づいて、画面合成演算部３１の合成方法を制御する。

画面合成演算部３１からの合成画像は記録処理部３２に与えられる。記録処理部３２は、制御部３０に制御されて、入力された合成画像を内蔵ハードディスク（ＨＤＤ）３３に与えて記録させる。また、記録処理部３２は、外部メディア３５に対して合成画像を出力して記録させることもできる。

次に、このように構成された実施の形態の動作について図５乃至図１３を参照して説明する。図５はプロセッサ３，４，１５の出力を説明するための説明図である。

内視鏡プロセッサ３，４には、入力装置２から３Ｄ内視鏡によって撮像されて得られた３Ｄ画像の左画像及び右画像がそれぞれ入力される。内視鏡プロセッサ３，４は入力された画像を画像処理した後それぞれ左画像及び右画像を３Ｄミキサ５に出力する。図５（ａ），（ｂ）は内視鏡プロセッサ３，４から出力される左画像３ＤＬ及び右画像３ＤＲを示している。また、内視鏡プロセッサ２は、図示しない２Ｄ内視鏡によって撮像されて得られた２Ｄ画像を画像処理して出力する。図５（ｃ）は内視鏡プロセッサ２から出力される２Ｄ画像２Ｄを示している。例えば、画像３ＤＬ，３ＤＲ，２Ｄは、いずれもハイビジョン画質であり、例えば、１９２０×１０８０画素の解像度を有する。

図６は３Ｄミキサ５からのサイドバイサイド画像を説明するための説明図である。図６に示すように、３Ｄミキサ５は、左画像３ＤＬを水平方向に１／２に圧縮した画像３ＤＬＬを画面左側に配置し、右画像３ＤＲを水平方向に１／２に圧縮した画像３ＤＲＲを画面右側に配置して、サイドバイサイド方式の３Ｄ画像３ＤＳＳを得る。

３Ｄミキサ５からの３Ｄ画像３ＤＳＳは、Ｉ／Ｆ２２を介して信号検出部２５に供給され、内視鏡プロセッサ１５からの２Ｄ画像２Ｄは、Ｉ／Ｆ２３を介して信号検出部２６に供給される。信号検出部２５は、入力された画像がサイドバイサイド方式の３Ｄ画像であることを判別して判別結果を制御部３０に出力する。また、信号検出部２６は、入力された画像が２Ｄ画像であることを判別して判別結果を制御部３０に出力する。

信号検出部２５，２６によってフォーマットが判別された画像はそれぞれフォーマット変換部２７，２８に供給される。フォーマット変換部２７，２８は、制御部３０に制御されてフォーマット変換を行う。

本実施の形態においては、制御部３０は、ユーザ操作又は設定情報に基づいて、３Ｄ画像を疑似２Ｄ画像化させるか、又は２Ｄ画像を疑似３Ｄ画像化させる。図７及び図８はそれぞれフォーマット変換部２７，２８の疑似２Ｄ画像化及び疑似３Ｄ画像化を説明するための説明図である。

フォーマット変換部２７，２８は、サイドバイサイド方式の３Ｄ画像３ＤＳＳを疑似２Ｄ画像化する場合には、図７に示すように、例えば、左画像３ＤＬＬ又は右画像３ＤＲＲの一方の画像を用いて、２Ｄ画像２ＤＰＨを得る。フォーマット変換部２７，２８は、一般的なスケーリング処理によって、２Ｄ画像２ＤＰＨを水平方向に２倍に伸張して、疑似２Ｄ画像２ＤＰを得る。

また、フォーマット変換部２７，２８は、２Ｄ画像をサイドバイサイド方式の疑似３Ｄ画像化する場合には、図８に示すように、一般的なスケーリング処理によって、２Ｄ画像２Ｄを水平方向に１／２倍に圧縮した２Ｄ画像２ＤＨを得る。フォーマット変換部２７，２８は、２Ｄ画像２ＤＨを画面の左右にそれぞれ左画像３ＤＰＬ、右画像３ＤＰＲとして配置する。この場合には、フォーマット変換部２７，２８は、所定の視差が発生するように、左画像３ＤＰＬ、右画像３ＤＰＲの水平位置をずらす。なお、フォーマット変換部２７，２８は、３Ｄ画像３ＤＳＳの視差を検出して、３Ｄ画像３ＤＳＳの視差に応じて疑似３Ｄ画像３ＤＰの視差を設定するようにしてもよい。また、フォーマット変換部２７，２８は、公知の手法によって、２Ｄ画像２ＤＨの画像の各部の奥行きを推定して、画像の各部をシフトさせることで、左画像３ＤＰＬ、右画像３ＤＰＲを生成してもよい。こうして、疑似３Ｄ画像３ＤＰが得られる。

フォーマット変換部２７，２８からは、３Ｄ画像３ＤＳＳと疑似３Ｄ画像３ＤＰとが出力されるか、又は、２Ｄ画像２Ｄと疑似２Ｄ画像２ＤＰが出力されて画面合成演算部３１に与えられる。画面合成演算部３１は、制御部３０に制御されて、これらの２入力をＰＩＰ方式又はＰＯＰ方式で合成して合成画像を得る。

次に、図９乃至図１３を参照して合成処理を説明する。図９乃至図１３は合成処理を説明するための説明図である。

（３Ｄ画像によるＰＩＰ）
図９及び図１０は３Ｄ画像３ＤＳＳを親画像とし、疑似３Ｄ画像３ＤＰを子画像とするＰＩＰ方式の合成画像の生成を説明するためのものである。

いま、制御部３０によって３Ｄ画像によるＰＩＰ方式の画像合成が指示されるものとする。この場合には、２Ｄ画像２Ｄが入力されたフォーマット変換部２８において、疑似３Ｄ画像化が行われる。図９の左側は医療用画像記録装置２１に入力される３Ｄ画像３ＤＳＳ及び２Ｄ画像２Ｄを示している。フォーマット変換部２８によって、図９の中央に示すように、２Ｄ画像は、左画像３ＤＰＬ及び右画像３ＤＰＲからなるサイドバイサイド方式の疑似３Ｄ画像３ＤＰに変換される。即ち、この場合には、画面合成演算部３１には、３Ｄ画像３ＤＳＳと疑似３Ｄ画像３ＤＰとが入力される。

図１０はＰＩＰ方式の子画像とする２Ｄ画像に着目した処理を示している。

図１０では、上段において、入力された２Ｄ画像２Ｄがスケーリング処理によって２Ｄ画像２ＤＨに変換され、疑似３Ｄ画像化によって左画像３ＤＰＬ及び右画像３ＤＰＲからなる疑似３Ｄ画像３ＤＰに変換されることを示している。更に、画面合成演算部３１では、一般的なスケーリング処理によって、左画像３ＤＰＬ及び右画像３ＤＰＲを縮小すると共に、表示位置を変更する。図９及び図１０の例では、子画面を画面右下に配置する例を示している。こうして、画面合成演算部３１は、子画面に表示する左縮小画像３ＤＰＬＳ及び右縮小画像３ＤＰＲＳを生成する。画面合成演算部３１は、左画像３ＤＬＬの画面右下の位置に左縮小画像３ＤＰＬＳを配置し、右画像３ＤＲＲの画面右下の位置に右縮小画像３ＤＰＲＳを配置して、図９及び図１０に示す合成画像３ＤＰＩＰを生成する。

この合成画像３ＤＰＩＰは、記録処理部３２に与えられて、内蔵ＨＤＤ３３や外部メディア３５等に記録される。

こうして記録された合成画像３ＤＰＩＰを再生して３Ｄモニタに与えると、例えば、奇数フィールドにおいて左縮小画像３ＤＰＬＳを子画面とする左画像３ＤＬＬが表示され、偶数フィールドにおいて右縮小画像３ＤＰＲＳを子画面とする右画像３ＤＲＲが表示される。視聴者は、左画像３ＤＬＬ及び右画像３ＤＲＲによって視差を有する立体親画像を見ることができると共に、左縮小画像３ＤＰＬＳ及び右縮小画像３ＤＰＲＳによって視差を有する立体子画像を見ることができる。

（３Ｄ画像によるＰＯＰ）
図１１は３Ｄ画像３ＤＳＳを画面左側に配置し、疑似３Ｄ画像３ＤＰを画面右側に配置するＰＯＰ方式の合成画像の生成を説明するためのものである。

いま、制御部３０によって３Ｄ画像によるＰＯＰ方式の画像合成が指示されるものとする。この場合には、２Ｄ画像２Ｄが入力されたフォーマット変換部２８において、疑似３Ｄ画像化が行われる。図１１の左側は医療用画像記録装置２１に入力される３Ｄ画像３ＤＳＳ及び２Ｄ画像２Ｄを示している。フォーマット変換部２８によって、図１１の中央に示すように、２Ｄ画像は、左画像３ＤＰＬ及び右画像３ＤＰＲからなるサイドバイサイド方式の疑似３Ｄ画像３ＤＰに変換される。即ち、この場合には、画面合成演算部３１には、３Ｄ画像３ＤＳＳと疑似３Ｄ画像３ＤＰとが入力される。

画面合成演算部３１では、一般的なスケーリング処理によって、３Ｄ画像３ＤＳＳの左画像３ＤＬＬ及び右画像３ＤＲＲを縮小すると共に、表示位置を変更して、画面左側に表示する縮小画像３ＤＬＬＳ，３ＤＲＲＳを生成する。また、画面合成演算部３１は、疑似３Ｄ画像３ＤＰの左画像３ＤＰＬ及び右画像３ＤＰＲを縮小すると共に、表示位置を変更して、画面右側に表示する縮小画像３ＤＰＬＳ，３ＤＰＲＳを生成する。こうして、図１１に示す合成画像３ＤＰＯＰを生成する。この合成画像３ＤＰＯＰは、記録処理部３２に与えられて、内蔵ＨＤＤ３３や外部メディア３５等に記録される。

こうして記録された合成画像３ＤＰＯＰを再生して３Ｄモニタに与えると、例えば、奇数フィールドにおいて画面左側に縮小画像３ＤＬＬＳを水へ方向に２倍に伸張した画像、画面右側に縮小画像３ＤＰＬＳを水平方向に２倍に伸張した画像が表示され、偶数フィールドにおいて画面左側に縮小画像３ＤＲＲＳを２倍に伸張した画像、画面右側に縮小画像３ＤＰＲＳを水平方向に２倍に伸張した画像が表示される。視聴者は、これらの縮小画像３ＤＬＬＳ，３ＤＲＲＳに基づく画像によって入力３Ｄ画像に基づく視差を有する立体画像を見ることができると共に、縮小画像３ＤＰＬＳ，３ＤＰＲＳに基づく画像によって入力２Ｄ画像に基づく視差を有する立体画像を見ることができる。

（２Ｄ画像によるＰＩＰ）
図１２は疑似２Ｄ画像２ＤＰを親画像とし、２Ｄ画像２Ｄを子画像とするＰＩＰ方式の合成画像の生成を説明するためのものである。

いま、制御部３０によって２Ｄ画像によるＰＩＰ方式の画像合成が指示されるものとする。この場合には、３Ｄ画像３ＤＳＳが入力されたフォーマット変換部２７において、疑似２Ｄ画像化が行われる。図１２の左側は医療用画像記録装置２１に入力される３Ｄ画像３ＤＳＳ及び２Ｄ画像２Ｄを示している。フォーマット変換部２７によって、図１２の中央に示すように、３Ｄ画像は、疑似２Ｄ画像２ＤＰに変換される。即ち、この場合には、画面合成演算部３１には、疑似２Ｄ画像２ＤＰと２Ｄ画像２Ｄとが入力される。

画面合成演算部３１では、一般的なスケーリング処理によって、２Ｄ画像２Ｄを縮小すると共に、表示位置を変更する。図１２の例では、子画面を画面右下に配置する例を示している。こうして、画面合成演算部３１は、子画面に表示する縮小画像２ＤＳを生成する。画面合成演算部３１は、疑似２Ｄ画像２ＤＰの画面右下の位置に縮小画像２ＤＳを配置した合成画像２ＤＰＩＰを生成する。この合成画像２ＤＰＩＰは、記録処理部３２に与えられて、内蔵ＨＤＤ３３や外部メディア３５等に記録される。

こうして記録された合成画像２ＤＰＩＰを再生して３Ｄモニタに与えると、例えば、奇数及び偶数フィールドにおいて疑似２Ｄ画像２ＤＰを親画像とし、縮小画像２ＤＳを子画像とするＰＩＰ方式の表示が行われる。

（２Ｄ画像によるＰＯＰ）
図１３は疑似２Ｄ画像２ＤＰと、２Ｄ画像２ＤとによるＰＯＰ方式の合成画像の生成を説明するためのものである。

いま、制御部３０によって２Ｄ画像によるＰＯＰ方式の画像合成が指示されるものとする。この場合には、３Ｄ画像３ＤＳＳが入力されたフォーマット変換部２７において、疑似２Ｄ画像化が行われる。図１３の左側は医療用画像記録装置２１に入力される３Ｄ画像３ＤＳＳ及び２Ｄ画像２Ｄを示している。フォーマット変換部２７によって、図１３の中央に示すように、３Ｄ画像は、疑似２Ｄ画像２ＤＰに変換される。即ち、この場合には、画面合成演算部３１には、疑似２Ｄ画像２ＤＰと２Ｄ画像２Ｄとが入力される。

画面合成演算部３１では、一般的なスケーリング処理によって、疑似２Ｄ画像２ＤＰを縮小すると共に２Ｄ画像２Ｄを縮小して、表示位置を変更する。図１３の例では、画面左側に縮小した疑似２Ｄ画像２ＤＰＬを配置し、画面右側に縮小した２Ｄ画像２ＤＲを配置する例を示している。こうして、画面合成演算部３１は、図１３に示す合成画像２ＤＰＯＰを生成する。この合成画像２ＤＰＯＰは、記録処理部３２に与えられて、内蔵ＨＤＤ３３や外部メディア３５等に記録される。

こうして記録された合成画像２ＤＰＯＰを再生して３Ｄモニタに与えると、例えば、奇数及び偶数フィールドにおいて、画面左側に縮小した疑似２Ｄ画像２ＤＰＬを配置し、画面右側に縮小した２Ｄ画像２ＤＲを配置したＰＯＰ方式の表示が行われる。

このように本実施の形態においては、サイドバイサイド方式の３Ｄ画像と２Ｄ画像とが入力された場合には、３Ｄ画像を疑似２Ｄ画像化するか又は２Ｄ画像を疑似３Ｄ画像化することによって、２つの入力画像をいずれも３Ｄ画像として合成するか又はいずれも２Ｄ画像として合成するようになっている。いずれも３Ｄ画像としてＰＩＰ又はＰＯＰ方式で合成した場合には、合成画像を再生して３Ｄモニタによって視聴すると、入力３Ｄ画像と入力２Ｄ画像とに基づくＰＩＰ又はＰＯＰ方式の表示によって、画像が破綻することなく両方の画像の立体視が可能である。また、いずれも２Ｄ画像としてＰＩＰ又はＰＯＰ方式で合成した場合には、合成画像を再生して２Ｄモニタによって視聴すると、入力３Ｄ画像と入力２Ｄ画像とに基づくＰＩＰ又はＰＯＰ方式の表示によって、画像の確実な２Ｄ表示が可能である。ユーザの再生環境に応じて、２Ｄ画像による合成を行うか又は３Ｄ画像による合成を行うことで、ユーザは、自分の環境において、記録された合成画像の再生及び編集作業等行うことが可能である。

（第２の実施の形態）
図１４は本発明の第２の実施の形態に採用される信号フォーマットの判断フローを示すフローチャートである。

第１の実施の形態においては、識別信号を用いて、又は、画像の画面左側の画像特徴と画面右側の画像特徴との比較によって、サイドバイサイド方式の３Ｄ画像であるか否かを判定した。本実施の形態は、信号検出部２５，２６が、識別信号が挿入されていない場合において、サイドバイサイド方式の３Ｄ画像を確実に検出する図１４のフローチャートを採用する点が第１の実施の形態と異なるのみである。

信号検出部２５，２６は、サイドバイサイド方式の３Ｄ画像であるか否かの判定のためにマスク領域を設定する。図１５はマスク領域を説明するための説明図である。信号検出部２５，２６は、入力された画像を左右に２分割し、分割した各領域中の対応する位置に同一サイズの領域を設定する。例えば、画面左側の領域の左上の領域をマスク領域４１Ｌに設定すると共に、画面右側の領域の左上の領域をマスク領域４１Ｒに設定する。図１５の例は、入力画像が３Ｄ画像３ＤＳＳである場合のマスク領域４１Ｌ，４１Ｒを示している。この場合には、マスク領域４１Ｌ，４１Ｒの画像は、同一被写体についての撮像画像の画像部分であり、視差に応じてずれが生じているが、画像特徴は類似している。本実施の形態においては、マスク領域４１Ｌ，４１Ｒにおける画像特徴の比較を図１４のフローに従って行う。

図１６は画像特徴の検出を説明するための説明図である。なお、図１６、図１８及び図１９は、実際にはカラー画像である。図１６は硬性内視鏡を用いた処置の様子を示す３Ｄ画像であり、図１６の左上に示すように、この３Ｄ画像の左画像３ＤＬＬ及び右画像３ＤＲＲには、臓器に基づく画像４５Ｌ，４５Ｒ及び臓器に対する処置を行うための処置具の画像４６Ｌ，４６Ｒ及び別の処置具の画像４７Ｌ，４７Ｒがそれぞれ写されている。

図１６の右上は四角で囲って、左画像３ＤＬＬの左上にマスク領域４１Ｌを設定し、右画像３ＤＲＲの左上にマスク領域４１Ｒを設定したことを示している。図１４のステップＳ１においては、信号検出部２５，２６は、マスク領域の画像解析を開始する。信号検出部２５，２６は、ステップＳ２において、図１６の左下に示すマスク領域４１Ｌ，４１Ｒの色域成分分析を行う。

図１７は１６中のステップＳ２における色域成分分析の具体的な処理の一例を示すフローチャートである。図１７のステップＳ１１において、信号検出部２５，２６は、左右のマスク領域４１Ｌ，４１Ｒ内に相互に同一座標のサンプリングポイントを設定する。図１８はサンプリングポイントを説明するための説明図である。図１８のマスク領域４１Ｌ，４１Ｒ中の丸印はサンプリングポイントを示しており、図１８では各マスク領域４１Ｌ，４１Ｒの左端を基準にして、同一座標の５×５のポイントをサンプリングポイントに設定した例を示している。

信号検出部２５，２６は、ステップＳ１２において、左側のマスク領域４１Ｌの各サンプリングポイントにおけるＲＧＢ値を算出する。次に、信号検出部２５，２６は、ステップＳ１２において求めた各サンプリングポイントにおけるＲＧＢ値を色域チャートにプロットする（ステップＳ１３）。

同様に、信号検出部２５，２６は、ステップＳ１４において、右側のマスク領域４１Ｒの各サンプリングポイントにおけるＲＧＢ値を算出する。次に、信号検出部２５，２６は、ステップＳ１４において求めた各サンプリングポイントにおけるＲＧＢ値を色域チャートにプロットする（ステップＳ１５）。

図１９は色域チャートにプロットした様子を示す説明図である。図１９（ａ）はマスク領域４１Ｌに対応した色域チャート５０Ｌを示し、図１９（ｂ）はマスク領域４１Ｒに対応した色域チャート５０Ｒを示している。図１９（ａ），（ｂ）の色域チャート５０Ｌ，５０Ｒ上の領域５１Ｌ，５１Ｒは、それぞれステップＳ１３，Ｓ１５においてプロットした点を含む領域を示している。

信号検出部２５，２６は、ステップＳ１６において、色域チャート５０Ｌ，５０Ｒにプロットした領域５１Ｌ，５１Ｒを比較する。即ち、マスク領域４１Ｌ，４１Ｒについて、色の座標値及び閾値の広さが相互に比較される。プロットした領域５１Ｌ，５１Ｒの位置、形状及びサイズが略一致している場合には、マスク領域４１Ｌ，４１Ｒは、それぞれ３Ｄ画像の左右画像の対応する画像部分の画像である可能性が高いと考えられる。信号検出部２５，２６は、色域チャート５０Ｌ，５０Ｒにプロットした領域５１Ｌ，５１Ｒの一致の度合いを一致率として算出する。例えば、信号検出部２５，２６は、プロットした領域５１Ｌ，５１Ｒのうち一致した部分の面積の比率を一致率としてもよい。

次に、信号検出部２５，２６は、図１４のステップＳ３において、マスク領域４１Ｌ，４１Ｒ内の画像のエッジ成分分析を行う。図１６の右下は、マスク領域４１Ｌ，４１Ｒ中におけるエッジ部分と考えられる部分５３Ｌ，５３Ｒを示している。

図２０は図１６中のエッジ成分分析の具体的な処理の一例を示すフローチャートである。図２０のステップＳ２１において、信号検出部２５，２６は、左右のマスク領域４１Ｌ，４１Ｒをモノクロ画像に変換する。次に、信号検出部２５，２６は、ステップＳ２２において、変換したモノクロ画像から、左右マスク領域４１Ｌ，４１Ｒに描写されている輪郭線を抽出する。

図２１は左右マスク領域４１Ｌ，４１Ｒから抽出した輪郭線６０Ｌ，６０Ｒを示す説明図である。信号検出部２５，２６は、次のステップＳ２３において、左右マスク領域４１Ｌ，４１Ｒ内から抽出した輪郭線６０Ｌ，６０Ｒをオーバーレイし、輪郭線６０Ｌ，６０Ｒの座標位置の一致を比較する。これにより、信号検出部２５，２６は、抽出した輪郭線６０Ｌ，６０Ｒの形状（長さや向き等）が左右で一致するか否かを判定する。一致した場合には、マスク領域４１Ｌ，４１Ｒは、それぞれ３Ｄ画像の左右画像の対応する画像部分の画像である可能性が高いと考えられる。信号検出部２５，２６は、一致の度合いを一致率として求める。

次に、信号検出部２５，２６は、図１４のステップＳ４において、左右のマスク領域４１Ｌ，４１Ｒ相互間における画像の一致率が規定値以上であるか否かを判定する。信号検出部２５，２６は、色域成分分析及びエッジ成分分析によって求めた一致率に基づいて画像の一致率を求め、求めた一致率が規定値未満である場合には、ステップＳ５において入力画像は２Ｄ画像であると判定し、求めた一致率が規定値以上である場合には、ステップＳ６において入力画像は３Ｄ画像であると判定する。この場合には、信号検出部２５，２６は、次のステップＳ７において同一エッジ点での座標値を算出する。

図２２はこの座標位置を説明するための説明図である。エッジ検出の結果、左右の画像の同一のエッジ部分と判定した画像部分の座標（ｘ１，ｙ１）、（ｘ２，ｙ２）を求める。これらの座標（ｘ１，ｙ１）、（ｘ２，ｙ２）のｘ成分の差（ｘ１−ｘ２）は、左右画像のずれ、即ち、視差に相当する。信号検出部２５，２６は、求めた視差の情報を制御部３０に出力する。制御部３０は、この視差の情報を画面合成演算部３１に与えて、疑似３Ｄ画像の生成時の視差として用いてもよい。

このように本実施の形態においては、入力画像を左右に２分割し、各画像の対応する領域における色域成分及びエッジ成分の分析によって、これらの対応する領域が同一被写体を撮影することによって得られたものであるか否かを判定しており、高精度にサイドバイサイド方式の３Ｄ画像が入力されたか否かを判定することができる。

なお、上記各実施の形態においては、２系統の入力画像を、３Ｄ画像又は２Ｄ画像のいずれにも変換可能なフォーマット変換部を採用したが、記録画像を２Ｄ画像とするか３Ｄ画像とするかが予め決められている場合には、２Ｄ画像を疑似３Ｄ画像に変換するフォーマット変換部又は３Ｄ画像を疑似２Ｄ画像に変換するフォーマット変換部の一方を採用してもよい。

また、上記各実施の形態においては、医療用画像記録装置に入力される３Ｄ画像はサイドバイサイド方式であるものとして説明したが、医療用画像記録装置に入力される他の方式の３Ｄ画像を、フォーマット変換部においてサイドバイサイド方式の３Ｄ画像、疑似３Ｄ画像に変換するようにしてもよい。

本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１…内視鏡システム、３，４，１５…内視鏡プロセッサ、５…３Ｄミキサ、７…モニタ、２１…医療用画像記録装置、２５，２６…信号検出部、２７，２８…フォーマット変換部、３１…画面合成演算部、３２…記録処理部、３３…内蔵ＨＤＤ、３５…外部メディア。

Claims (7)

1. 入力された２系統の画像が３Ｄ画像であるか２Ｄ画像であるかを検出する信号検出部と、
   前記信号検出部によって３Ｄ画像と判定された画像を疑似２Ｄ画像に変換する変換処理及び前記信号検出部によって２Ｄ画像と判定された画像を疑似３Ｄ画像に変換する変換処理の少なくとも一方の変換処理が可能なフォーマット変換部と、
   前記フォーマット変換部の変換処理を制御することで、前記フォーマット変換部から２Ｄ画像と疑似２Ｄ画像を出力させるか又は前記フォーマット変換部から３Ｄ画像と疑似３Ｄ画像を出力させる制御部と、
   前記フォーマット変換部からの２つの画像を合成して合成画像を出力する画面合成演算部と、
   前記合成画像を記録する記録部と
   を具備したことを特徴とする医療用画像記録装置。
2. 前記フォーマット変換部は、前記制御部に制御されて３Ｄ画像及び疑似３Ｄ画像を出力する場合には、サイドバイサイド方式を採用する
   ことを特徴とする請求項１に記載の医療用画像記録装置。
3. 前記画面合成演算部は、前記フォーマット変換部からの２つの画像をピクチャインピクチャ方式又はピクチャアウトピクチャ方式で合成する
   ことを特徴とする請求項１又は２に記載の医療用画像記録装置。
4. 前記信号検出部は、入力画像を水平方向に２分割し、分割した各領域中の相互に対応する位置及び同一サイズの領域の画像特徴に基づいて、サイドバイサイド方式の３Ｄ画像が入力されたか否かを検出する
   ことを特徴とする請求項１乃至３のいずれか１つに記載の医療用画像記録装置。
5. 前記信号検出部は、入力画像を水平方向に２分割し、分割した各領域中の相互に対応する位置及び同一サイズの領域をそれぞれ左右のマスク領域に設定し、前記左右のマスク領域内の色域成分及びエッジ成分の一致率に基づいて、サイドバイサイド方式の３Ｄ画像が入力されたか否かを検出する
   ことを特徴とする請求項１乃至３のいずれか１つに記載の医療用画像記録装置。
6. 前記信号検出部は、前記左右のマスク領域内にそれぞれ複数のサンプリングポイントを設定し、各サンプリングポイントのＲＧＢ値を算出し、算出したＲＧＢ値を色域チャートにプロットし、プロットした領域を比較することで前記色域成分の一致率を求める
   ことを特徴とする請求項５に記載の医療用画像記録装置。
7. 前記信号検出部は、前記左右のマスク領域の画像をモノクロ画像に変換し、前記モノクロ画像中の輪郭線を検出し、前記左右のマスク領域の各輪郭線の比較によって前記エッジ成分の一致率を求める
   ことを特徴とする請求項５に記載の医療用画像記録装置。