JP2016146879A - 信号処理装置 - Google Patents

Abstract

【課題】表示装置にそれぞれ適したレイアウトで内視鏡装置から出力された画像処理後の撮像信号及び比較対象の静止画像信号を表示させて診断の円滑化を図った信号処理装置を提供すること。
【解決手段】本発明にかかる内視鏡システム１の処理装置３は、内視鏡２の撮像素子２５から出力されたライブ画像信号（撮像信号）を処理する画像処理部３１と、画像処理後の撮像信号と撮像素子２５から出力された撮像信号と関連性を有する過去の撮像信号を用いて生成されたレリーズ画像信号と合成して合成画像信号を生成して出力する合成部３６と、合成部３６から出力される合成画像信号の解像度に応じて、合成部３６によって合成画像信号を生成する際の画像間の重複の有無を含むレイアウトを設定するレイアウト設定部３５ｂと、を備える。
【選択図】図２

Description

本発明は、撮像素子を有する内視鏡装置が着脱自在に装着され、撮像素子から出力された撮像信号に対して表示用の画像処理を行う信号処理装置に関する。

医療分野においては、被検体内部の観察のために内視鏡システムが用いられている。内視鏡は、一般に、患者等の被検体内に細長形状をなす可撓性の挿入部を挿入し、この挿入部先端から光源装置によって供給された照明光を照明し、この照明光の反射光を挿入部先端の撮像素子で受光することによって体内を撮像する。内視鏡の撮像素子が体内を撮像したライブ画像信号（撮像信号）は、内視鏡システムの処理装置において所定の画像処理を施された後に、内視鏡システムの表示装置の画面に表示される。医師等の操作者は、画面に表示される体内のライブ画像に基づいて、被検体の臓器の観察を行う。

従来、画面の表示レイアウトとして、撮像中のライブ画像と、ライブ画像信号から生成されたレリーズ画像（静止画像）のサムネイル画像とが並べて表示されるレイアウトが採用されている（例えば、特許文献１参照）。

国際公開第２０１２／００５１０８号

ところで、医師等の操作者は、診断のために、現に行っている内視鏡検査でのライブ画像と、サーバ等に保存されている同じ被検体に対する過去の内視鏡検査におけるレリーズ画像とを見比べる場合、画面上のライブ画像に対し、印刷したカルテ等に載る過去のレリーズ画像を用いて比較するのが一般的である。

しかしながら、表示装置の画面上での画像の色味と、カルテ等の印刷物上での画像の色味とが一致しないため、画像を比較しにくく円滑な診断の妨げになっていた。そこで、近年では、現に行っている内視鏡検査でのライブ画像と、同じ被検体の過去の内視鏡検査におけるレリーズ画像とを同一画面上で比較できるようにしたいという要望があった。また、従来の内視鏡システムでは、表示装置の画面のレイアウトは、表示装置の種別等によらず一義的に決まっており、切り替えること自体ができないため、表示装置の種別等に応じた最適なレイアウトで画像を表示したいという要望があった。

本発明は、上記に鑑みてなされたものであって、表示装置にそれぞれ適したレイアウトで内視鏡装置から出力された画像処理後のライブ画像信号及び比較対象の静止画像信号を表示させて診断の円滑化を図った信号処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる信号処理装置は、内視鏡装置に設けられた撮像素子から出力された撮像信号に対して表示用の画像処理を行う信号処理装置であって、前記撮像素子から出力された撮像信号に対して前記表示用の画像処理を行う画像処理部と、前記画像処理後の撮像信号と前記撮像素子から出力された撮像信号と関連性を有する過去の撮像信号を用いて生成された静止画像信号と合成して合成画像信号を生成して出力する合成部と、前記合成部から出力される前記合成画像信号の解像度に応じて、前記合成部によって前記合成画像信号を生成する際の画像間の重複の有無を含むレイアウトを設定するレイアウト設定部と、を備えたことを特徴とする。

また、本発明にかかる信号処理装置は、前記撮像素子から出力された画像信号に対応する被検体と、同じ被検体に対応する過去の前記画像信号を用いて生成された前記静止画像信号を取得する過去画像取得部をさらに備え、前記合成部は、前記過去画像取得部によって取得された前記静止画像信号を用いて前記合成画像信号を生成することを特徴とする。

また、本発明にかかる信号処理装置は、前記過去画像取得部は、前記被検体に対する内視鏡検査の結果をもとに作成された電子カルテに対応づけられた前記静止画像信号を取得することを特徴とする。

また、本発明にかかる信号処理装置は、前記レイアウト設定部が設定するレイアウトは、前記静止画像信号を表示する表示領域の大きさおよび画素数の下限が設定されていることを特徴とする。

また、本発明にかかる信号処理装置は、前記レイアウト設定部は、前記合成画像信号が出力される表示装置の解像度に応じて、前記画像処理後の撮像信号の一部と前記静止画像信号の一部とを重複させて表示する第１のレイアウトと、前記画像処理後の撮像信号と前記静止画像信号とを重複させることなく並べて表示する第２のレイアウトとのいずれかを設定することを特徴とする。

また、本発明にかかる信号処理装置は、前記合成画像信号が出力される表示装置から該表示装置の解像度を含む表示装置情報を取得する表示装置情報取得部をさらに備え、前記レイアウト設定部は、前記表示装置情報取得部が取得した前記表示装置の表示装置情報を基にレイアウトを設定することを特徴とする。

本発明によれば、撮像素子から出力された撮像信号に対して表示用の画像処理を行う画像処理部と、画像処理後の撮像信号と撮像素子から出力された撮像信号と関連性を有する過去の撮像信号を用いて生成された静止画像信号と合成して合成画像信号を生成して出力する合成部と、合成部から出力される合成画像信号の解像度に応じて、合成部によって合成画像信号を生成する際の画像間の重複の有無を含むレイアウトを設定するレイアウト設定部と、を備えるため、表示装置にそれぞれ適したレイアウトで、内視鏡装置から出力された画像処理後のライブ画像信号及び比較対象の静止画像信号を表示させることができ、診断の円滑化を図ることができる。

図１は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。 図２は、図１に示す内視鏡システムの構成を模式的に示すブロック図である。 図３は、図２に示す処理装置が、内視鏡から出力されたライブ画像信号を処理し、表示装置に出力するまでの処理手順を示すフローチャートである。 図４は、図２に示す表示装置の画面のレイアウトの一例を示す図である。 図５は、図２に示す表示装置の画面のレイアウトの一例を示す図である。 図６は、図２に示す表示装置の画面のレイアウトの一例を示す図である。 図７は、図２に示す表示装置の画面のレイアウトの一例を示す図である。 図８は、図２に示す表示装置の画面のレイアウトの一例を示す図である。 図９は、実施の形態の変形例にかかる内視鏡システムの構成を模式的に示すブロック図である。

以下の説明では、本発明を実施するための形態（以下、「実施の形態」という）として、内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付している。

（実施の形態）
図１は、本発明の実施の形態にかかる内視鏡システムの概略構成を示す模式図である。図１に示すように、本実施の形態にかかる内視鏡システム１は、被検体内に導入され、被検体の体内を撮像して被検体内の撮像信号（ＲＡＷ形式のライブ画像信号）を生成する内視鏡２（スコープ）と、着脱自在に内視鏡２が装着されて内視鏡２から出力されるライブ画像信号に対して所定の表示用の画像処理を行うとともに内視鏡システム１の各部を制御する処理装置３（信号処理装置）と、内視鏡２の照明光（観察光）を生成する光源装置４と、処理装置３による画像処理後のライブ画像信号を順次表示出力する表示装置５と、ネットワーク６を介して処理装置３と接続するサーバ７と、を備える。

内視鏡２は、被検体内に挿入される挿入部２１と、挿入部２１の基端部側であって術者が把持する操作部２２と、操作部２２より延伸する可撓性のユニバーサルコード２３と、を備える。

挿入部２１は、照明ファイバ（ライトガイドケーブル）および電気ケーブル等を用いて実現される。挿入部２１は、被検体内を撮像する撮像素子としてたとえばＣＭＯＳ撮像素子を内蔵した撮像部を有する先端部２１ａと、複数の湾曲駒によって構成された湾曲自在な湾曲部２１ｂと、湾曲部２１ｂの基端部側に設けられた可撓性を有する可撓管部２１ｃと、を有する。先端部２１ａには、照明レンズを介して被検体内を照明する照明部、被検体内を撮像する観察部、処理具用チャンネルを連通する開口部２１ｄおよび送気・送水用ノズル（図示せず）が設けられている。

操作部２２は、湾曲部２１ｂを上下方向および左右方向に湾曲させる湾曲ノブ２２ａと、被検体の体腔内に生体鉗子、レーザメス等の処置具が挿入される処置具挿入部２２ｂと、処理装置３、光源装置４、送気装置、送水装置および送ガス装置等の周辺機器の操作を行う複数のスイッチ部２２ｃと、を有する。処置具挿入部２２ｂから挿入された処置具は、内部に設けられた処置具用チャンネルを経て挿入部２１先端の開口部２１ｄから表出する。スイッチ部２２ｃは、レリーズスイッチを含み、内視鏡検査中にレリーズスイッチが押圧された場合には、表示装置５に順次表示される画像のうち、押圧された際に表示装置５に表示されていたライブ画像信号に対応する静止画像信号（レリーズ画像信号）の生成を指示するレリーズ信号を、後述する処理装置３の制御部３５に入力する。

ユニバーサルコード２３は、照明ファイバおよび電気ケーブル等を用いて構成される。ユニバーサルコード２３は、基端で分岐した処理装置３および光源装置４に着脱自在なコネクタ２３ａ，２３ｂを有する。ユニバーサルコード２３は、先端部２１ａに設けられた撮像部が撮像した画像信号を、コネクタ２３ａを介して、処理装置３に伝送する。ユニバーサルコード２３は、光源装置４から出射された照明光を、コネクタ２３ｂ、操作部２２および可撓管部２１ｃを介して先端部２１ａに伝播する。

処理装置３は、ユニバーサルコード２３を介して入力された内視鏡２の先端部２１ａにおける撮像部が撮像した被検体内のライブ画像信号に対して所定の表示用の画像処理を施す。処理装置３は、ユニバーサルコード２３を介して内視鏡２の操作部２２におけるスイッチ部２２ｃから送信された各種の指示信号に基づいて、内視鏡システム１の各部を制御する。

光源装置４は、白色光を出射する光源や集光レンズ等を用いて構成される。光源装置４は、白色光源からの白色光を、コネクタ２３ｂおよびユニバーサルコード２３の照明ファイバを介して接続された内視鏡２へ、被写体である被検体内へ向けて照明するための照明光として供給する。

表示装置５は、液晶または有機ＥＬを用いた表示ディスプレイ等を用いて構成される。表示装置５は、処理装置３によって所定の画像処理が施された表示用画像信号に対応する画像を含む各種情報を表示する。これにより、医師等の操作者は、表示装置５が表示する被検体内のライブ画像を見ながら内視鏡２を操作することにより、被検体内の所望の位置の観察および性状を判定することができる。表示装置５として、例えば、高精細テレビ（ＨＤＴＶ）（解像度（１９２０×１０８０））、４Ｋテレビ（解像度（３８４０×２１６０））や標準解像度テレビ（ＳＤＴＶ）が採用される。

サーバ７は、ネットワーク６を介して処理装置３との間で情報の送受信を行い、処理装置３が処理した画像信号および該画像信号の識別情報などを含む各種情報を管理する。

つぎに、図１で説明した内視鏡システム１の構成について説明する。図２は、図１に示す内視鏡システム１の構成を模式的に示すブロック図である。

内視鏡２は、先端部２１ａに、光学系２４および撮像素子２５を有する。先端部２１ａには、光源装置４から、コネクタ２３ｂを経由して、延伸するライトガイドケーブル２３ｃの先端が位置する。ライトガイドケーブル２３ｃの先端には、照明レンズ２１ｅが設けられる。光源装置４から発せられた光は、ライトガイドケーブル２３ｃを介して、挿入部２１の先端部２１ａの照明窓２１ｆから被写体に照明される。

光学系２４は、撮像素子２５の前段に設けられた一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

撮像素子２５は、受光部２６および読み出し部２７を有する。撮像素子２５は、たとえば、水平ラインごとの露光かつ読み出しが可能であるＣＭＯＳ撮像素子であってもよく、また、ＣＣＤ撮像素子であってもよい。

受光部２６は、受光面に、光が照射された被写体からの光を受光し、受光した光を光電変換して画像信号を生成する複数の画素が行列状に配置される。受光部２６の受光面側には、光学系２４およびカラーフィルタ群（不図示）が配置される。

読み出し部２７は、受光部２６の複数の画素が生成した撮像信号を読み出す。読み出し部２７が読み出した撮像信号は、電気信号（アナログ）である。また、撮像素子２５は、読み出し部２７が読み出した撮像信号の電気信号に対してノイズ除去やＡ／Ｄ変換などを行うＡＦＥ部（不図示）や、処理装置３から受信した制御信号にしたがって撮像素子２５の動作を制御する制御部（不図示）を有する。撮像素子２５が生成した撮像信号（デジタル）は、信号ケーブル（不図示）やコネクタ２３ａを介して、ライブ画像信号として、処理装置３に出力される。

処理装置３は、画像処理部３１（信号処理部）と、送受信部３２と、入力部３３と、記憶部３４と、制御部３５と、合成部３６と、表示制御部３７とを備える。

画像処理部３１は、撮像素子２５によって出力されたライブ画像信号に対し、所定の画像処理を行う。画像処理部３１は、ＲＡＷ形式のライブ画像信号に対して、オプティカルブラック減算処理、ゲイン調整処理、ホワイトバランス（ＷＢ）調整処理、撮像素子２５がベイヤー配列の場合には同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理、エッジ強調処理を含む画像処理を行う。また、画像処理部３１は、レリーズ信号の入力が受け付けられた場合、制御部３５の制御のもと、レリーズ信号の入力時に表示装置５に表示されていたライブ画像に対応するライブ画像信号を用いてレリーズ画像信号を生成する。画像処理部３１は、たとえば、ＦＰＧＡを用いて構成される。

送受信部３２は、ネットワークＩ／Ｆであり、ネットワーク６を介して、サーバ７との間で情報を送受信する。送受信部３２は、後述する制御部３５の制御のもと、サーバ７が管理する情報のいずれかの送信をネットワーク６を介してサーバ７に要求し、ネットワーク６を介して、要求した情報をサーバ７から受信する。送受信部３２は、後述する制御部３５の制御のもと、現に行っている内視鏡検査におけるライブ画像信号を用いて画像処理部３１が生成したレリーズ画像信号と、該内視鏡検査を行った被検体の識別情報等とを、ネットワーク６を介してサーバ７に送信する。

入力部３３は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、内視鏡システム１の各種指示情報の入力を受け付ける。具体的には、入力部３３は、被検体情報（たとえばＩＤ、生年月日、名前等）、内視鏡２の識別情報（たとえばＩＤや検査対応項目）および検査内容等の各種指示情報の入力を受け付ける。

記憶部３４は、揮発性メモリや不揮発性メモリを用いて実現され、処理装置３および光源装置４を動作させるための各種プログラムを記憶する。記憶部３４は、処理装置３の処理中の情報を一時的に記憶する。記憶部３４は、画像処理部３１が生成したレリーズ画像信号を記憶する。記憶部３４は、レイアウト情報３４ａを記憶する。表示装置５の画面のレイアウトは、表示装置５の解像度に応じてそれぞれ設定されており、レイアウト情報３４ａは、表示装置５の各解像度に応じた各レイアウトのパターンを示す情報である。

制御部３５は、ＣＰＵ等を用いて実現される。制御部３５は、処理装置３の各部の処理動作を制御する。制御部３５は、処理装置３の各構成に対する指示情報やデータの転送等を行うことによって、処理装置３の動作を制御する。制御部３５は、各ケーブルを介して撮像素子２５および光源装置４にそれぞれに接続されており、撮像素子２５および光源装置４に対する制御も行う。制御部３５は、映像ケーブルを介して表示装置５にそれぞれ接続される。制御部３５は、表示装置情報取得部３５ａ、レイアウト設定部３５ｂおよび過去画像取得部３５ｃを備える。

表示装置情報取得部３５ａは、表示装置５から該表示装置５の解像度を含む表示装置情報を取得する。

レイアウト設定部３５ｂは、撮像素子２５から出力されたライブ画像信号と関連性を有する過去のライブ画像信号を用いて生成されたレリーズ画像信号を、画像処理後のライブ画像信号とともに表示装置５に表示させる場合に、表示装置５の解像度に応じて、合成部３６によって合成画像信号を生成する際の画像間の重複の有無を含むレイアウトを設定する。レイアウト設定部３５ｂは、表示装置情報取得部３５ａが取得した表示装置５の表示装置情報を基にレイアウトを設定する。レイアウト設定部３５ｂは、表示装置５の解像度に応じて、画像処理後のライブ画像信号の一部とレリーズ画像信号の一部とを重複させて表示する第１のレイアウトと、画像処理後のライブ画像信号とレリーズ画像信号とを重複させることなく並べて表示する第２のレイアウトとのいずれかを設定する。レイアウト設定部３５ｂが設定するレイアウトは、いずれについても、レリーズ画像信号を表示する表示領域の大きさおよび画素数の下限が設定されている。

過去画像取得部３５ｃは、画像処理後のライブ画像信号とともに表示装置５に表示させるための過去のレリーズ画像信号であって、撮像素子２５から出力されたライブ画像信号と関連性を有する過去のライブ画像信号を用いて生成されたレリーズ画像信号を、送受信部３２を介して、サーバ７から取得する。過去画像取得部３５ｃは、撮像素子２５から出力されたライブ画像信号に対応する被検体と同じ被検体に対応する過去のライブ画像信号を用いて生成されたレリーズ画像信号を取得する。過去画像取得部３５ｃは、撮像素子２５から出力されたライブ画像信号に対応する被検体と同じ被検体に対する内視鏡検査の結果をもとに作成された電子カルテに対応づけられたレリーズ画像信号を取得する。

合成部３６は、レイアウト設定部３５ｂによって設定されたレイアウトにしたがって、現に行っている内視鏡検査の画像処理後のライブ画像信号と、過去画像取得部３５ｃによって取得された過去のレリーズ画像信号とを合成した合成画像信号を生成する。

表示制御部３７は、合成部３６が生成した合成画像信号から、表示装置５に表示させるための表示用画像信号を生成し、生成した表示用画像信号を、処理装置３に接続する表示装置５に対応するフォーマットに変更して、表示装置５に出力する。

光源装置４は、光源制御部４１と、光源ドライバ４２および光源４３を備える。

光源制御部４１は、制御部３５の制御のもと、光源４３の照明光の出射処理を制御する。光源ドライバ４２は、光源制御部４１の制御のもと、光源４３に所定の電力を供給する。光源４３は、たとえば、白色光を出射する白色ＬＥＤ等の光源と、集光レンズなどの光学系とを用いて構成される。光源４３は、内視鏡２に供給する照明光を発生する。光源４３から発せられた光は、ライトガイドケーブル２３ｃによって、コネクタ２３ｂおよびユニバーサルコード２３を介して挿入部２１の先端部２１ａの照明窓２１ｆから被写体に照明される。なお、照明窓２１ｆ近傍には、撮像素子２５が配置される。

サーバ７は、送受信部７１と、制御部７２と、入力部７３と、出力部７４と、データベース７５を備える。

送受信部７１は、ネットワークＩ／Ｆであり、ネットワーク６を介して、処理装置３との間で情報を送受信する。送受信部７１は、後述する制御部７２の制御のもと、後述するデータベース７５が記憶する情報のうち、送信を要求されたレリーズ画像信号を、ネットワーク６を介して、要求元の処理装置３に送信する。

制御部７２は、ＣＰＵ等を用いて実現され、サーバ７の各部の処理動作を制御する。制御部７２は、データベース７５への情報の記録制御を行う。

入力部７３は、マウス、キーボードおよびタッチパネル等の操作デバイスを用いて実現され、サーバ７の各種指示情報の入力を受け付ける。

出力部７４は、ディスプレイ、スピーカー、プリンタ等を用いて実現され、制御部７２の制御にしたがい、管理対象の内視鏡システム１に関する情報を出力する。

データベース７５は、管理対象の内視鏡システム１の処理装置３から送信されたレリーズ画像群Ｇ、医師等の操作者が作成した電子カルテ群Ｋを、識別情報などの付加情報と対応付けて記憶する。

図３は、処理装置３が、内視鏡２から出力されたライブ画像信号に対して画像処理を行い、表示装置５に出力するまでの処理手順を示すフローチャートである。本実施の形態では、処理装置３は、画像処理後のライブ画像とともに、該ライブ画像信号と関連性を有する過去のライブ画像信号を用いて生成されたレリーズ画像信号を含む表示用画像信号を生成して、表示装置５に出力する。

表示装置情報取得部３５ａは、処理装置３が画像処理後のライブ画像信号を表示させる表示装置５から該表示装置５の解像度を含む表示装置情報を取得する表示装置情報取得処理を行う（ステップＳ１）。表示装置情報取得部３５ａは、表示装置５の接続端子が、処理装置３のいずれの接続端子に接続するかによって、表示装置５の種別を判断して表示装置５の解像度を取得する。

レイアウト設定部３５ｂは、表示装置情報取得処理において取得された表示装置情報を基に、表示装置５の解像度に応じて、画像の重複の有無を含むレイアウトを設定するレイアウト設定処理を行う（ステップＳ２）。

制御部３５は、医師等の操作者による入力部３３の操作によって入力部３３から入力された情報のうち、被検体のＩＤ、生年月日、名前等を示す被検体情報を取得する被検体情報取得処理を行う（ステップＳ３）。

過去画像取得部３５ｃは、現に行っている内視鏡検査の画像処理後のライブ画像信号とともに表示装置５に表示させるための過去のレリーズ画像信号を、送受信部３２を介して、サーバ７から取得する過去画像取得処理を行う（ステップＳ４）。

ステップＳ４においては、過去画像取得部３５ｃは、ステップＳ３で取得した被検体情報を基に、該被検体情報で示された被検体と同じ被検体に対応する過去のライブ画像を用いて生成されたレリーズ画像信号を取得する。過去画像取得部３５ｃは、レリーズ画像信号に付された付加情報を基に、ステップＳ３で取得した被検体情報で示された被検体ＩＤと同一の被検体ＩＤに対応するレリーズ画像信号を送信するように、サーバ７に要求する。また、過去画像取得部３５ｃは、被検体情報で示された被検体ＩＤと同一の被検体ＩＤに対応する電子カルテに対応づけられたレリーズ画像信号のみを取得してもよい。電子カルテに使用されたレリーズ画像は、該被検体の注目領域の画像であることが多く、内視鏡検査中に表示されるライブ画像の比較対象となることが多いためである。電子カルテに使用されたレリーズ画像信号には、フラグが付された状態でデータベース７５に記憶されている場合が多いため、過去画像取得部３５ｃは、被検体情報で示された被検体ＩＤと同一の被検体ＩＤであってフラグが付されたレリーズ画像信号を送信するように、サーバ７に要求する。もちろん、過去画像取得部３５ｃは、被検体情報で示された被検体ＩＤと同一の被検体ＩＤに対する電子カルテのデータそのものをサーバ７から取得して、取得した電子カルテのデータからレリーズ画像の画像信号を取得してもよい。

続いて、画像処理部３１は、内視鏡２から出力されたＲＡＷ形式のライブ画像信号にオプティカルブラック減算処理やゲイン調整処理等の所定の処理を行うライブ画像信号処理を行う（ステップＳ５）。

合成部３６は、レイアウト設定処理（ステップＳ２）において設定されたレイアウトにしたがって、ライブ画像信号処理（ステップＳ５）において処理された後のライブ画像信号と、過去画像取得処理（ステップＳ４）において取得された過去のレリーズ画像信号とを合成した合成画像信号を生成する合成画像信号生成処理を行う（ステップＳ６）。

表示制御部３７は、合成画像信号生成処理（ステップＳ６）において生成された合成画像信号から表示用画像信号を生成し、表示装置５に対応するフォーマットに変更して、表示装置５に出力する表示用画像信号生成処理を行う（ステップＳ７）。この結果、表示装置５には、表示装置５に適したレイアウトであって、現に行われている内視鏡検査のライブ画像信号と、同じ被検体における過去のレリーズ画像信号とを合成したレイアウトで、画面が表示される。

制御部３５は、操作者による検査終了ボタンの選択の有無などによって、内視鏡２による撮像が終了したか否かを判断する（ステップＳ８）。制御部３５は、内視鏡２による撮像が終了していないと判断した場合（ステップＳ８：Ｎｏ）、内視鏡２から出力された次のライブ画像信号に対しても、画像処理を行って、過去のレリーズ画像信号と合成したレイアウトで表示装置５での画像表示が行われるように、ステップＳ５〜ステップＳ７の処理を行う。これに対し、制御部３５は、内視鏡２による撮像が終了したと判断した場合（ステップＳ８：Ｙｅｓ）、ライブ画像信号に対する処理を終了する。

次に、レイアウト設定部３５ｂが設定するレイアウトについて説明する。図４は、表示装置５の画面のレイアウトの一例を示す図である。図４に示すレイアウトＭ１は、表示装置５がＨＤＴＶ（解像度（１９２０×１０８０））である場合のレイアウトのパターンである。

図４に示すように、レイアウトＭ１には、左側上部には領域Ａ１が設けられ、中央には全体の大部分を占める領域Ａ２が設けられ、右側には領域Ａ３が設けられ、左側下部には領域Ａ４が設けられる。

領域Ａ１には、被検体情報（たとえばＩＤ、氏名、検査日等）が表示される。領域Ａ２には、内視鏡２によって現に撮像されている被検体内の画像処理後のライブ画像Ｌ１が表示される。領域Ａ３には、被検体の過去の内視鏡検査による４枚のレリーズ画像Ｐ１〜Ｐ４が実際の大きさよりも縮小された状態で表示される。レリーズ画像Ｐ１〜Ｐ４は、各々の一部が重複した状態で撮像時間の順に配置される。表示装置５の表示中に、カーソルＣ等によるレリーズ画像の選択があった場合には、選択されたレリーズ画像が最前面となるように表示される。領域Ａ３の下部には、コマ送りアイコンＢ１が表示され、領域Ａ３の上部には、コマ戻りアイコンＢ２が表示される。操作者は、このアイコンＢ１，Ｂ２を選択することによって、領域Ａ３に示されるレリーズ画像を前または後のものに変更できる。送受信部３２が被検体に対して作成された電子カルテのデータ自体を取得した場合には、領域Ａ４に、過去の内視鏡検査日や診断結果等も併せて表示される。

レイアウトＭ１では、レリーズ画像Ｐ１〜Ｐ４が操作者等に視認可能な程度の一定以上の大きさおよび一定以上の画素数で表示されるように、レリーズ画像Ｐ１〜Ｐ４を表示する領域Ａ３の大きさおよび画素数の下限が設定されている。レイアウトＭ１は、表示装置５がＨＤＴＶである場合に対応しており、操作者等に視認可能な程度の一定以上の大きさおよび一定以上の画素数をレリーズ画像表示用に確保するために、各々の一部が重複した状態で複数のレリーズ画像を配置している。

レイアウトＭ１は、ライブ画像Ｌ１の一部とレリーズ画像Ｐ１〜Ｐ４の一部とを重複させて表示するレイアウト（第１のレイアウト）である。操作者がレリーズ画像Ｐ１とライブ画像Ｌ１とを詳細に見比べたい場合、見比べたいレリーズ画像Ｐ１上にカーソルＣを移動させて、マウスをダブルクリックすると、レイアウト設定部３５ｂによって図５に示すレイアウトＭ１ａに変更される。レイアウトＭ１ａは、中央の領域Ａ５内にライブ画像Ｌ１とレリーズ画像Ｐ１とが同等の大きさで並べて配置されるレイアウトである。この場合には、合成部３６は、ライブ画像Ｌ１と、レリーズ画像Ｐ１とが同等の大きさとなるように、領域Ａ５の大きさに対応させて、ライブ画像Ｌ１の縮小処理、および、レリーズ画像Ｐ１の拡大処理を行う。レイアウトＭ１においてレリーズ画像Ｐ１が選択された場合には、比較対象のライブ画像Ｌ１とレリーズ画像Ｐ１とが同等の大きさで並ぶレイアウトに変更されるため、操作者による画像の比較が容易に行われる。

なお、レイアウト設定部３５ｂは、表示装置５がＨＤＴＶである場合、図６に示すレイアウトＭ２を設定してもよい。レイアウトＭ２は、右側下部の領域Ａ２３にレリーズ画像Ｐ１を１枚のみ配置させて、レリーズ画像Ｐ１とライブ画像Ｌ１との重複部分を小さくし、ライブ画像Ｌ１を見やすくさせている。また、過去画像が表示される領域Ａ３、Ａ２３は、ライブ画像が表示される領域Ａ２よりも前側に表示されるものとしているが、例えば入力部３３からの操作によって、この前後関係を変更できるようにしてもよい。すなわち、領域Ａ３、Ａ２３よりも領域Ａ２の方を前側に表示させるようにしてもよい。

次に、表示装置５が４Ｋテレビ（解像度（３８４０×２１６０））である場合のレイアウトのパターンについて説明する。図７は、表示装置５の画面のレイアウトの一例を示す図である。図７に示すレイアウトＭ３は、表示装置５が４Ｋテレビ（解像度（３８４０×２１６０））である場合のレイアウトに対応する。

図７に示すように、レイアウトＭ３には、左側上部には領域Ａ３１が設けられ、中央には全体の大部分を占める領域Ａ３２が設けられ、右側には領域Ａ３３が設けられ、左側下部には領域Ａ３４が設けられる。

領域Ａ３１には、被検体情報が表示される。領域Ａ３２には、内視鏡２によって現に撮像されている被検体内のライブ画像Ｌ１が表示される。領域Ａ３３には、被検体の過去の内視鏡検査によるレリーズ画像Ｐ１〜Ｐ４が実際の大きさよりも縮小された状態で表示される。レリーズ画像Ｐ１〜Ｐ４は、いずれの部分も重複しない状態で、撮像時間の順に縦に一列に並んで配置される。領域Ａ３３には、表示されている複数のレリーズ画像Ｐ１〜Ｐ４の右側に、過去の複数のレリーズ画像を時系列に沿って直線的に並べた中で、表示装置５に表示されているレリーズ画像の撮像位置を示すためのシークバーＴが表示される。シークバーＴには、領域Ａ３３に現に表示されているレリーズ画像の、過去のレリーズ画像全体における撮像位置を示すスライダーＳが表示される。操作者は、このスライダーを移動することによって、領域Ａ３３に示されるレリーズ画像を前または後のものに変更できる。領域Ａ３４には、過去の内視鏡検査日や診断結果等が表示される。

レイアウトＭ３においても、レリーズ画像Ｐ１〜Ｐ４が操作者等に視認可能な程度の一定以上の大きさおよび一定以上の画素数で表示されるように、レリーズ画像Ｐ１〜Ｐ４を表示する領域Ａ３の大きさおよび画素数の下限が設定されている。レイアウトＭ３は、ＨＤＴＶよりも解像度が高い４Ｋテレビに対応しているため、４枚のレリーズ画像Ｐ１〜Ｐ４を視認可能な程度の一定の大きさで縦に並べた場合であっても、操作者等に視認可能な程度の一定以上の画素数を確保することができる。

言い換えると、４Ｋテレビでは、ライブ画像Ｌ１とレリーズ画像Ｐ１〜Ｐ４とを並べて表示するレイアウトＭ３（第２のレイアウト）を採用した場合であっても、いずれの画像に対しても十分に視認可能な程度の画素数を確保できる。

そして、レイアウトＭ３においても、操作者がレリーズ画像Ｐ１とライブ画像Ｌ１とを詳細に見比べたい場合、見比べたいレリーズ画像Ｐ１上にカーソルＣを移動させて、マウスをダブルクリックすると、レイアウト設定部３５ｂによって図８に示すレイアウトＭ３ａに変更される。レイアウトＭ３ａは、中央の領域Ａ３５内にライブ画像Ｌ１とレリーズ画像Ｐ１とが同等の大きさで並べて配置されるレイアウトである。この場合には、合成部３６は、ライブ画像Ｌ１と、レリーズ画像Ｐ１とが同等の大きさとなるように、領域Ａ３５の大きさに対応させて、ライブ画像Ｌ１の縮小処理、および、レリーズ画像Ｐ１の拡大処理を行う。

したがって、４Ｋテレビに対応するレイアウトにおいても、レリーズ画像Ｐ１が選択された場合には、比較対象のライブ画像Ｌ１とレリーズ画像Ｐ１とが同等の大きさで並ぶレイアウトに変更されるため、操作者による画像の比較が容易に行われる。なお、レイアウトＭ１，Ｍ２は、第１のレイアウトの一例であり、レイアウトＭ３は、第２のレイアウトの一例である。各表示装置５に適用されるレイアウトは、表示装置５の解像度に対応して、第１のレイアウトあるいは第２のレイアウトのいずれかであるかがそれぞれ設定されており、レイアウト情報３４ａとして記憶部３４に記憶されている。レイアウト設定部３５ｂは、表示装置５の解像度に応じて、複数ある第１のレイアウト、第２のレイアウトの中から、適切なレイアウトを選択すればよい。また、操作者独自の設定が必要となった場合に、操作者が映像を視認しながら、各レイアウトの機能設定の修正やアップデートも実行することも可能である。

このように、本実施の形態では、表示装置５の解像度に応じて画像の重複を含むレイアウトを設定し、設定したレイアウトにしたがって、現に行っている内視鏡検査によって撮像素子２５から出力されて画像処理が行なわれた後のライブ画像信号と、該ライブ画像信号と関連性を有する過去のライブ画像信号を用いて生成されたレリーズ画像信号とを合成した合成画像信号を生成して、表示装置５に表示させている。言い換えると、本実施の形態では、表示装置５にそれぞれ適したレイアウトで、表示装置５の画面上に、画像処理後のライブ画像信号と該ライブ画像信号と関連性を有する過去のライブ画像信号を用いて生成されたレリーズ画像信号とを表示している。したがって、本実施の形態によれば、現に行っている内視鏡検査でのライブ画像と、該ライブ画像と関連する過去のレリーズ画像とを、表示装置５にそれぞれ適したレイアウトで表示することによって、同じ画面上でライブ画像と該ライブ画像に関連する過去のレリーズ画像とを容易に比較でき、診断の円滑化を図ることができる。

なお、本実施の形態では、携帯端末から処理装置３やサーバ７に文字情報を入力することも可能であり、例えば、入力部３３、７３は、タブレット型ＰＣなどの携帯端末から上述した各種指示情報を入力し、この入力された情報を処理装置が無線で受信するものであってもよい。

また、本実施の形態においては、処理装置３と、光源装置４とは別体であるものとしたが、これに限らず、処理装置と光源装置とを一体的に構成してもよい。

また、本実施の形態においては、過去画像がネットワーク接続されたサーバから取得されるものとしたが、これに限らず、例えば処理装置３の内部に過去画像を記録する記録媒体を設け、この記録媒体から過去画像を読み出して取得するように構成してもよい。

（実施の形態の変形例）
図９は、実施の形態の変形例にかかる内視鏡システムの構成を模式的に示すブロック図である。図９に示すように、実施の形態の変形例にかかる内視鏡システム２０１は、第１の表示装置２０５Ａと、第２の表示装置２０５Ｂとが、処理装置２０３のそれぞれ個別に対応して設けられた出力端子に接続された構成を有する。第１の表示装置２０５Ａおよび第２の表示装置２０５Ｂは、例えば、一方がＨＤＴＶであり、他方が４Ｋテレビであり、それぞれ出力する画像の解像度が異なる。処理装置２０３においては、出力端子に紐付けて出力画像の解像度設定が成されている。

処理装置２０３は、レイアウト設定部２３５ｂと過去画像取得部３５ｃとを有する制御部２３５と、第１の表示装置２０５Ａに対応する第１の合成部２３６Ａおよび第１の表示制御部２３７Ａと、第２の表示装置２０４に対応する第２の合成部２３６および第２の表示制御部２３７と、を備える。前述したように、処理装置２０３においては、出力端子に紐付けて出力画像の解像度設定が成されており、この解像度設定に基づいて合成画像のレイアウトを制御する。このため、処理装置２０３は、図２に示す表示装置情報取得部３５ａを削除した構成を有する。

記憶部３４は、第１の合成部２３６Ａで生成する合成画像信号の解像度に応じた第１のレイアウトのパターンを示す情報と、第２の合成部２３６Ｂで生成する合成画像信号の解像度に応じた第２のレイアウトのパターンを示す情報と、を、レイアウト情報３４ａとして記憶する。言い換えると、記憶部３４は、第１の表示装置２０５Ａが接続する出力端子から出力する画像信号の解像度に応じた第１のレイアウトのパターンを示す情報と、第２の表示装置２０５Ｂが接続する出力端子から出力する画像信号の解像度に応じた第２のレイアウトのパターンを示す情報と、を記憶する。

レイアウト設定部２３５ｂは、記憶部３４に保持されたレイアウト情報３４ａに基づいて、各出力端子から出力する合成画像信号のレイアウトを設定し、第１の合成部２３６Ａおよび第２の合成部２３６Ｂを制御する。レイアウト設定部２３５ｂは、たとえば、第１の表示装置２０５ＡがＨＤＴＶ用端子に接続する場合には、第１の合成部２３６Ａに対し、レイアウトＭ１（図４参照）またはレイアウトＭ２（図６参照）を用いた合成画像信号の生成を指示する。また、レイアウト設定部２３５ｂは、たとえば、第２の表示装置２０５Ｂが４Ｋテレビ用端子に接続する場合には、第２の合成部２３６Ｂに対し、レイアウトＭ３（図７参照）を用いた合成画像信号の生成を指示する。

第１の合成部２３６Ａおよび第２の合成部２３６Ｂは、レイアウト設定部２３５ｂによってそれぞれ設定されたレイアウトにしたがって、ライブ画像信号と過去のレリーズ画像信号とを合成した合成画像信号を生成し、それぞれ対応する第１の表示制御部２３７Ａおよび第２の表示制御部２３７Ｂに出力する。第１の表示制御部２３７Ａは、第１の合成部２３６Ａが生成した合成画像信号から、第１の表示装置２０５Ａに表示させるための表示用画像信号を生成し、生成した表示用画像信号を、処理装置２０３に接続する第１の表示装置２０５Ａに対応するフォーマットに変更して、第１の表示装置２０５Ａに出力する。第２の表示制御部２３７Ｂは、第２の合成部２３６Ｂが生成した合成画像信号から、第２の表示装置２０５Ｂに表示させるための表示用画像信号を生成し、生成した表示用画像信号を、第２の表示装置２０５Ａに対応するフォーマットに変更して、第２の表示装置２０５Ｂに出力する。

この実施の形態の変形例のように、各出力端子に紐付けて出力画像の解像度設定が成されている場合には、各合成部から出力される合成画像信号の解像度に応じて、合成画像信号を生成する際の画像間の重複の有無を含むレイアウトを設定してもよい。

また、本実施の形態にかかる処理装置３，２０３、並びに、他の構成部で実行される各処理に対する実行プログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよく、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、インターネット等のネットワーク経由で提供または配布するように構成してもよい。

１，２０１ 内視鏡システム
２ 内視鏡
３，２０３ 処理装置
４ 光源装置
５ 表示装置
６ ネットワーク
７ サーバ
２１ 挿入部
２１ａ 先端部
２１ｂ 湾曲部
２１ｃ 可撓管部
２１ｄ 開口部
２１ｅ 照明レンズ
２１ｆ 照明窓
２２ 操作部
２２ａ 湾曲ノブ
２２ｂ 処置具挿入部
２２ｃ スイッチ部
２３ ユニバーサルコード
２３ａ，２３ｂ コネクタ
２３ｃ ライトガイドケーブル
２４ 光学系
２５ 撮像素子
２６ 受光部
２７ 読み出し部
３１ 画像処理部
３２，７１ 送受信部
３３，７３ 入力部
３４ 記憶部
３４ａ レイアウト情報
３５，７２，２３５ 制御部
３５ａ 表示装置情報取得部
３５ｂ，２３５ｂ レイアウト設定部
３５ｃ 過去画像取得部
３６ 合成部
３７ 表示制御部
４１ 光源制御部
４２ 光源ドライバ
４３ 光源
７４ 出力部
７５ データベース
２０５Ａ 第１の表示装置
２０５Ｂ 第２の表示装置
２３６Ａ 第１の合成部
２３６Ｂ 第２の合成部
２３７Ａ 第１の表示制御部
２３７Ｂ 第２の表示制御部

Claims (6)

1. 内視鏡装置に設けられた撮像素子から出力された撮像信号に対して表示用の画像処理を行う信号処理装置であって、
   前記撮像素子から出力された撮像信号に対して前記表示用の画像処理を行う画像処理部と、
   前記画像処理後の撮像信号と前記撮像素子から出力された撮像信号と関連性を有する過去の撮像信号を用いて生成された静止画像信号と合成して合成画像信号を生成して出力する合成部と、
   前記合成部から出力される前記合成画像信号の解像度に応じて、前記合成部によって前記合成画像信号を生成する際の画像間の重複の有無を含むレイアウトを設定するレイアウト設定部と、
   を備えたことを特徴とする信号処理装置。
2. 前記撮像素子から出力された画像信号に対応する被検体と、同じ被検体に対応する過去の前記画像信号を用いて生成された前記静止画像信号を取得する過去画像取得部をさらに備え、
   前記合成部は、前記過去画像取得部によって取得された前記静止画像信号を用いて前記合成画像信号を生成することを特徴とする請求項１に記載の信号処理装置。
3. 前記過去画像取得部は、前記被検体に対する内視鏡検査の結果をもとに作成された電子カルテに対応づけられた前記静止画像信号を取得することを特徴とする請求項２に記載の信号処理装置。
4. 前記レイアウト設定部が設定するレイアウトは、前記静止画像信号を表示する表示領域の大きさおよび画素数の下限が設定されていることを特徴とする請求項１〜３のいずれか一つに記載の信号処理装置。
5. 前記レイアウト設定部は、前記合成画像信号が出力される表示装置の解像度に応じて、前記画像処理後の撮像信号の一部と前記静止画像信号の一部とを重複させて表示する第１のレイアウトと、前記画像処理後の撮像信号と前記静止画像信号とを重複させることなく並べて表示する第２のレイアウトとのいずれかを設定することを特徴とする請求項１〜４のいずれか一つに記載の信号処理装置。
6. 前記合成画像信号が出力される表示装置から該表示装置の解像度を含む表示装置情報を取得する表示装置情報取得部をさらに備え、
   前記レイアウト設定部は、前記表示装置情報取得部が取得した前記表示装置の表示装置情報を基にレイアウトを設定することを特徴とする請求項１〜５のいずれか一つに記載の信号処理装置。

Images