JP2017221276A - 画像処理装置 - Google Patents

Abstract

【課題】プリフリーズ機能によって選択された画像に関する演算処理を高精度に行うことが可能な画像を選択することができる画像処理装置を提供すること。【解決手段】本発明にかかる画像処理装置は、被写体を撮像して生成されるＲＡＷ画像を補正することによって補正ＲＡＷ画像を生成する補正ＲＡＷ画像生成部と、複数の補正ＲＡＷ画像、および、該複数の補正ＲＡＷ画像にそれぞれ対応付けられた複数のＲＡＷ画像を記憶するフレームメモリと、予め設定されている選択基準に基づいて複数の補正ＲＡＷ画像から静止画表示させる補正ＲＡＷ画像を選択する静止画像選択部と、静止画像選択部が選択した補正ＲＡＷ画像に対応するＲＡＷ画像を選択するＲＡＷ画像選択部と、を備えた。【選択図】図２

Description

本発明は、画像処理装置に関する。

従来、医療分野において、患者等の被検体の体内に挿入されて被検体内の臓器等を撮像して表示する内視鏡システムが用いられる。この内視鏡システムでは、表示装置が被検体画像をライブ表示している最中にユーザが所望のタイミングの画像を指定して表示させるフリーズ機能を有するものが知られている。さらに、常に一定期間の被検体画像を一時記憶しておき、ユーザがフリーズスイッチを押した時点で一時記憶されている画像から相対的にブレが少ない画像を選択するプリフリーズ機能を有するものも知られている（例えば、特許文献１を参照）。

特開２０１３−１２８７２３号公報

近年、内視鏡システムは、測距演算などの演算処理機能を有している。測距演算は、例えばプリフリーズ機能によって選択された画像を用いて行っている。しかしながら、プリフリーズにおいて選択される画像には表示用の補正処理が施されているため、この補正処理の影響で演算処理を高精度に行うことができない場合があった。このため、演算処理を高精度に行うことができる画像を選択することが求められていた。

本発明は、上記に鑑みてなされたものであって、プリフリーズ機能によって選択された画像に関する演算処理を高精度に行うことが可能な画像を選択することができる画像処理装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる画像処理装置は、被写体を撮像して生成されるＲＡＷ画像を補正することによって補正ＲＡＷ画像を生成する補正ＲＡＷ画像生成部と、複数の前記補正ＲＡＷ画像、および、該複数の前記補正ＲＡＷ画像にそれぞれ対応付けられた複数の前記ＲＡＷ画像を記憶するフレームメモリと、予め設定されている選択基準に基づいて複数の前記補正ＲＡＷ画像から静止画表示させる前記補正ＲＡＷ画像を選択する静止画像選択部と、前記静止画像選択部が選択した前記補正ＲＡＷ画像に対応する前記ＲＡＷ画像を選択するＲＡＷ画像選択部と、を備えたことを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記補正ＲＡＷ画像生成部は、前記ＲＡＷ画像のリサイズを行うことによって前記補正ＲＡＷ画像を生成することを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記補正ＲＡＷ画像生成部は、前記静止画表示を行う画像の画質よりも低い画質の前記補正ＲＡＷ画像を生成することを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記フレームメモリは、同じフレーム数の前記補正ＲＡＷ画像および前記ＲＡＷ画像を記憶しており、前記補正ＲＡＷ画像は、各々が、前記フレームメモリに記憶されている前記ＲＡＷ画像を用いて補正された画像であることを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、各ＲＡＷ画像には、同一フレームの前記補正ＲＡＷ画像を含み、時系列で予め設定された範囲の複数の前記補正ＲＡＷ画像が対応付けられていることを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記ＲＡＷ画像選択部により選択された前記ＲＡＷ画像を用いて解析処理する画像解析部、をさらに備えたことを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記ＲＡＷ画像として視差を有する二つのステレオ画像が入力され、前記画像解析部は、前記二つのステレオ画像を用いて前記被写体までの距離を算出することを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記静止画像選択部は、前記フレームメモリに記憶されている複数の前記補正ＲＡＷ画像のそれぞれについて評価値を算出し、該評価値に基づいて複数の前記補正ＲＡＷ画像から静止画表示させる前記補正ＲＡＷ画像を選択することを特徴とする。

また、本発明にかかる画像処理装置は、上記発明において、前記静止画像選択部は、前記フレームメモリに記憶されている複数の前記補正ＲＡＷ画像のそれぞれについて補正ＲＡＷ画像評価値を算出するとともに、前記フレームメモリに記憶されている複数の前記ＲＡＷ画像のそれぞれについてＲＡＷ画像評価値を算出し、前記補正ＲＡＷ画像評価値および前記ＲＡＷ画像評価値に基づいて複数の前記補正ＲＡＷ画像から静止画表示させる前記補正ＲＡＷ画像を選択することを特徴とする。

本発明によれば、プリフリーズ機能によって選択された画像に関する演算処理を高精度に行うことが可能な画像を選択することができるという効果を奏する。

図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。 図２は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。 図３は、本発明の一実施の形態にかかる処理装置が行う画像処理を示すフローチャートである。 図４は、本発明の実施の形態の変形例２にかかるフレームメモリの記憶態様について説明する図である。

以下、本発明を実施するための形態（以下、「実施の形態」という）を説明する。実施の形態では、本発明にかかる画像処理装置を含むシステムの一例として、患者等の被検体内の画像を撮像して表示する医療用の内視鏡システムについて説明する。また、この実施の形態により、この発明が限定されるものではない。さらに、図面の記載において、同一部分には同一の符号を付して説明する。

図１は、本発明の一実施の形態にかかる内視鏡システムの概略構成を示す図である。図２は、本実施の形態にかかる内視鏡システムの概略構成を示すブロック図である。

図１および図２に示す内視鏡システム１は、被検体内に先端部を挿入することによって被検体内の画像（以下、体内画像ともいう）を撮像する内視鏡２と、内視鏡２の先端から出射する照明光を発生する光源部３ａを有し、内視鏡２が撮像した撮像信号に所定の信号処理を施すとともに、内視鏡システム１全体の動作を統括的に制御する処理装置３と、処理装置３の信号処理により生成された体内画像を表示する表示装置４と、を備える。

内視鏡２は、可撓性を有する細長形状をなす挿入部２１と、挿入部２１の基端側に接続され、各種の操作信号の入力を受け付ける操作部２２と、操作部２２から挿入部２１が延びる方向と異なる方向に延び、処理装置３（光源部３ａを含む）に接続する各種ケーブルを内蔵するユニバーサルコード２３と、を備える。

挿入部２１は、光を受光して光電変換を行うことにより信号を生成する画素が２次元状に配列された撮像素子２４４を内蔵した先端部２４と、複数の湾曲駒によって構成された湾曲自在な湾曲部２５と、湾曲部２５の基端側に接続され、可撓性を有する長尺状の可撓管部２６と、を有する。挿入部２１は、被検体の体腔内に挿入され、外光の届かない位置にある生体組織などの被写体を撮像素子２４４によって撮像する。

先端部２４は、グラスファイバ等を用いて構成されて光源部３ａが発光した光の導光路をなすライトガイド２４１と、ライトガイド２４１の先端に設けられた照明レンズ２４２と、集光用の光学系２４３と、光学系２４３の結像位置に設けられ、光学系２４３が集光した光を受光して電気信号に光電変換して所定の信号処理を施す撮像素子２４４（撮像部）と、を有する。

光学系２４３は、一または複数のレンズを用いて構成され、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

撮像素子２４４は、光学系２４３からの光を光電変換して電気信号（撮像信号）を生成する。具体的には、撮像素子２４４は、光量に応じた電荷を蓄積するフォトダイオードや、フォトダイオードから転送される電荷を電圧レベルに変換するコンデンサなどをそれぞれ有する複数の画素がマトリックス状に配列され、各画素が光学系２４３からの光を光電変換して電気信号を生成する受光部２４４ａと、受光部２４４ａの複数の画素のうち読み出し対象として任意に設定された画素が生成した電気信号を順次読み出して、撮像信号として出力する読み出し部２４４ｂと、を有する。受光部２４４ａには、カラーフィルタが設けられ、各画素が、赤色（Ｒ）、緑色（Ｇ）および青色（Ｂ）の各色成分の波長帯域のうちのいずれかの波長帯域の光を受光する。撮像素子２４４は、処理装置３から受信した駆動信号に従って先端部２４の各種動作を制御する。撮像素子２４４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いて実現される。また、撮像素子２４４は、単板のイメージセンサであってもよいし、例えば３板方式などの複数のイメージセンサを用いるものであってもよい。

操作部２２は、湾曲部２５を上下方向および左右方向に湾曲させる湾曲ノブ２２１と、被検体の体腔内に生検鉗子、電気メスおよび検査プローブ等の処置具を挿入する処置具挿入部２２２と、処理装置３に加えて、送気手段、送水手段、画面表示制御等の周辺機器の操作指示信号を入力する操作入力部である複数のスイッチ２２３と、を有する。処置具挿入部２２２から挿入される処置具は、先端部２４の処置具チャンネル（図示せず）を経由して開口部（図示せず）から表出する。

ユニバーサルコード２３は、ライトガイド２４１と、一または複数の信号線をまとめた集合ケーブル２４５と、を少なくとも内蔵している。集合ケーブル２４５は、撮像信号を伝送するための信号線や、撮像素子２４４を駆動するための駆動信号を伝送するための信号線、内視鏡２（撮像素子２４４）に関する固有情報などを含む情報を送受信するための信号線を含む。なお、本実施の形態では、信号線を用いて電気信号を伝送するものとして説明するが、光信号を伝送するものであってもよいし、無線通信により内視鏡２と処理装置３との間で信号を伝送するものであってもよい。

次に、処理装置３の構成について説明する。処理装置３は、撮像信号取得部３１と、補正ＲＡＷ画像生成部３２と、フレームメモリ３３と、静止画像選択部３４と、表示画像生成部３５と、ＲＡＷ画像選択部３６と、画像解析部３７と、入力部３８と、記憶部３９と、制御部４０と、を備える。なお、本発明にかかる画像処理装置は、少なくとも補正ＲＡＷ画像生成部３２と、フレームメモリ３３と、静止画像選択部３４と、表示画像生成部３５と、ＲＡＷ画像選択部３６と、制御部４０とを用いて構成される。

撮像信号取得部３１は、内視鏡２から、撮像素子２４４が撮像した体内画像を表すＲＡＷ画像を含む画像データである撮像信号を受信する。ＲＡＷ画像とは、内視鏡２から得られた生データであり、例えば、撮像素子が生成した色情報の補正、補間が施されていないデータにより構成される画像である。また、内視鏡２から、ＲＡＷ画像として視差を有する二つのステレオ画像が入力される場合もある。この場合、撮像信号取得部３１は、二つのステレオ画像を一組として処理する。撮像信号取得部３１は、内視鏡２からアナログの撮像信号を受信した場合はＡ／Ｄ変換を行ってデジタルの撮像信号を生成する。また、撮像信号取得部３１は、内視鏡２から光信号として撮像信号を受信した場合は光電変換を行ってデジタルの撮像信号を生成する。撮像信号取得部３１は、ＲＡＷ画像を含むデジタルの撮像信号を、補正ＲＡＷ画像生成部３２およびフレームメモリ３３に入力する。

補正ＲＡＷ画像生成部３２は、撮像信号取得部３１から入力された撮像信号に対して画素欠陥補正、光学補正、色補正などの信号処理を施す。画素欠陥補正は、欠陥画素の周囲の画素の画素値に基づいて、欠陥画素の画素値を付与する。光学補正は、レンズの光学歪みなどの補正を行う。色補正は、色温度の補正や、色偏差の補正を行う。補正ＲＡＷ画像生成部３２は、上述した信号処理により生成された補正ＲＡＷ画像を含む処理信号を生成する。補正ＲＡＷ画像生成部３２は、生成した処理信号を、フレームメモリ３３および表示画像生成部３５に入力する。

フレームメモリ３３は、撮像信号取得部３１が生成したＲＡＷ画像を含む撮像信号、および補正ＲＡＷ画像生成部３２が生成した補正ＲＡＷ画像を含む処理信号を、各々設定されたフレーム分記憶する。フレームメモリ３３は、補正ＲＡＷ画像メモリ３３ａと、ＲＡＷ画像メモリ３３ｂとを有する。また、内視鏡２から、ＲＡＷ画像として視差を有する二つのステレオ画像が入力される場合、フレームメモリ３３は、二つのステレオ画像を一組として記憶する。

補正ＲＡＷ画像メモリ３３ａは、補正ＲＡＷ画像生成部３２が生成した補正ＲＡＷ画像を含む処理信号を、設定されたフレーム分記憶する。本実施の形態では、複数フレーム記憶するものとして説明する。補正ＲＡＷ画像メモリ３３ａは、新たな処理信号が入力されると、現在記憶している処理信号のうち、最も古い処理信号を、新たな処理信号で上書きすることで、生成時間の新しい方から順に数フレーム分の処理信号を順次更新しながら記憶する。

ＲＡＷ画像メモリ３３ｂは、補正ＲＡＷ画像生成部３２が生成した補正ＲＡＷ画像を含む処理信号を、設定されたフレーム分記憶する。ＲＡＷ画像メモリ３３ｂは、新たな撮像信号が入力されると、現在記憶している撮像信号のうち、最も古い撮像信号を、新たな撮像信号で上書きすることで、取得時間の新しい方から順に数フレーム分の撮像信号を順次更新しながら記憶する。本実施の形態では、補正ＲＡＷ画像メモリ３３ａが記憶するフレーム数と同じフレーム数のＲＡＷ画像を記憶するものとして説明する。このため、ＲＡＷ画像メモリ３３ｂには、補正ＲＡＷ画像生成部３２が記憶する補正ＲＡＷ画像と同じフレーム番号のＲＡＷ画像が記憶されることになる。

静止画像選択部３４は、入力部３８が、ライブ表示している最中にユーザが所望のタイミングの画像を指定して表示させるフリーズ指示の入力を受け付けた場合に、静止画像として表示する画像を選択する。具体的に、静止画像選択部３４は、フリーズ指示があった場合、補正ＲＡＷ画像メモリ３３ａに記憶されている複数の補正ＲＡＷ画像について、評価値を算出し、算出した評価値に基づいて静止画像とする補正ＲＡＷ画像を選択する。静止画像選択部３４は、評価値算出対象の補正ＲＡＷ画像と、時系列で隣り合う補正ＲＡＷ画像との間の被写体の動き量（差分）を算出することによって、評価値を算出する。

表示画像生成部３５は、入力される信号に対して、ノイズ除去や、同時化処理（例えば、カラーフィルタ等を用いて色成分ごとの撮像信号が得られた場合に行う）を行った後、表示装置４で表示可能な態様の信号となるような信号処理を施して、表示用の画像信号を生成する。具体的に、表示画像生成部３５は、画像信号に対して、エンハンス処理、または圧縮処理などを行って、表示用の画像信号を生成する。表示画像生成部３５は、入力された信号がＲＧＢの各色成分に分かれている場合は、各色成分について補間処理を施して、各画素位置にＲＧＢの色成分を付与した画像信号を生成する。表示画像生成部３５は、生成した表示用の画像信号を表示装置４に送信する。

また、表示画像生成部３５は、静止画像選択部３４から入力された場合は、予め設定されている期間、例えば、数フレームの体内画像を表示する期間、表示装置４にフリーズ対象の体内画像を静止画表示させる。

ＲＡＷ画像選択部３６は、静止画像選択部３４から画像選択情報を取得して、画像解析に用いるＲＡＷ画像を選択する。具体的に、ＲＡＷ画像選択部３６は、静止画像選択部３４が選択した補正ＲＡＷ画像のフレーム番号を取得して、このフレーム番号に対応するＲＡＷ画像を、ＲＡＷ画像メモリ３３ｂを参照して選択する。ＲＡＷ画像選択部３６は、選択したＲＡＷ画像を含む処理信号を、画像解析部３７に入力する。

画像解析部３７は、ＲＡＷ画像選択部３６から入力されたＲＡＷ画像について、画像解析を行う。画像解析としては、測距演算や、注目すべき領域、例えば腫瘍領域の検出処理などが挙げられる。画像解析は、公知の画像処理方法を用いて行われる。例えば、測距演算を行う場合、画像解析部３７は、二つのステレオ画像を用いて、撮像素子２４４から被写体までの画像上の距離や、実際の距離を測定する。また、画像解析部３７は、ＲＡＷ画像選択部３６から入力されたＲＡＷ画像に基づいて、ライブ表示する画像よりも高精度の画像を生成するようにしてもよい。画像解析部３７は、解析結果を記憶部３９に記憶させるようにしてもよいし、解析結果を表示画像生成部３５に入力して、静止画像選択部３４が選択した画像を表示する際に、静止画像とともに解析結果を表示させるようにしてもよい。

入力部３８は、キーボード、マウス、スイッチ、タッチパネルを用いて実現され、内視鏡システム１の動作を指示する動作指示信号等の各種信号の入力を受け付ける。なお、入力部３８は、操作部２２に設けられたスイッチや、外部のタブレット型のコンピュータなどの可搬型端末を含んでいてもよい。

記憶部３９は、内視鏡システム１を動作させるための各種プログラム、および内視鏡システム１の動作に必要な各種パラメータ等を含むデータを記憶する。また、記憶部３９は、処理装置３の識別情報を記憶する。ここで、識別情報には、処理装置３の固有情報（ＩＤ）、年式およびスペック情報等が含まれる。

また、記憶部３９は、処理装置３の画像取得処理方法を実行するための画像取得処理プログラムを含む各種プログラムを記憶する。各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、フレキシブルディスク等のコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。なお、上述した各種プログラムは、通信ネットワークを介してダウンロードすることによって取得することも可能である。ここでいう通信ネットワークは、例えば既存の公衆回線網、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などによって実現されるものであり、有線、無線を問わない。

以上の構成を有する記憶部３９は、各種プログラム等が予めインストールされたＲＯＭ（Read Only Memory）、および各処理の演算パラメータやデータ等を記憶するＲＡＭ（Random Access Memory）やハードディスク等を用いて実現される。

制御部４０は、ＣＰＵ（Central Processing Unit）等の汎用プロセッサやＡＳＩＣ（Application Specific Integrated Circuit）等の特定の機能を実行する各種演算回路等の専用プロセッサを用いて構成され、撮像素子２４４および光源部３ａを含む各構成部の駆動制御、および各構成部に対する情報の入出力制御などを行う。制御部４０は、記憶部３９に記憶されている撮像制御のための制御情報データ（例えば、読み出しタイミングなど）を参照し、集合ケーブル２４５に含まれる所定の信号線を介して駆動信号として撮像素子２４４へ送信する。

続いて、光源部３ａの構成について説明する。光源部３ａは、照明部３０１と、照明制御部３０２と、を備える。照明部３０１は、照明制御部３０２の制御のもと、被写体（被検体）に対して、異なる露光量の照明光を順次切り替えて出射する。照明部３０１は、光源３０１ａと、光源ドライバ３０１ｂと、を有する。

光源３０１ａは、白色光を出射するＬＥＤ光源や、一または複数のレンズ等を用いて構成され、ＬＥＤ光源の駆動により光（照明光）を出射する。光源３０１ａが発生した照明光は、ライトガイド２４１を経由して先端部２４の先端から被写体に向けて出射される。また、光源３０１ａは、ＬＥＤ光源や、レーザー光源、キセノンランプ、ハロゲンランプなどのいずれかを用いて実現される。

光源ドライバ３０１ｂは、照明制御部３０２の制御のもと、光源３０１ａに対して電流を供給することにより、光源３０１ａに照明光を出射させる。

照明制御部３０２は、制御部４０からの制御信号（調光信号）に基づいて、光源３０１ａに供給する電力量を制御するとともに、光源３０１ａの駆動タイミングを制御する。

表示装置４は、映像ケーブルを介して処理装置３（表示画像生成部３５）から受信した画像信号に対応する表示画像を表示する。表示装置４は、液晶または有機ＥＬ（Electro Luminescence）等のモニタを用いて構成される。

続いて、内視鏡システム１が行う画像処理について説明する。図３は、本実施の形態にかかる処理装置が行う画像処理を示すフローチャートである。以下、制御部４０の制御のもと、各部が動作するものとして説明する。

まず、撮像信号取得部３１が内視鏡２から撮像信号を取得する（ステップＳ１０１）。撮像信号取得部３１は、ＲＡＷ画像を含むデジタルの撮像信号を、補正ＲＡＷ画像生成部３２およびフレームメモリ３３に入力する。

ステップＳ１０１に続くステップＳ１０２において、ＲＡＷ画像メモリ３３ｂは、撮像信号取得部３１が取得したＲＡＷ画像を含む撮像信号を記憶する。

ステップＳ１０２に続くステップ１０３において、補正ＲＡＷ画像生成部３２は、撮像信号取得部３１から入力された撮像信号に対して画素欠陥補正、光学補正、色補正などの信号処理を施す。撮像信号取得部３１は、生成した処理信号を、フレームメモリ３３および表示画像生成部３５に入力する。なお、上述したステップＳ１０２およびＳ１０３は、ステップＳ１０３を先に行ってもよいし、同時に行うようにしてもよい。

ステップＳ１０３に続くステップＳ１０４において、補正ＲＡＷ画像メモリ３３ａは、補正ＲＡＷ画像生成部３２が生成した補正ＲＡＷ画像を含む処理信号を記憶する。

ステップＳ１０４に続くステップＳ１０５において、制御部４０は、入力部３８がフリーズ指示の入力を受け付けたか否かを判断する。ここで、制御部４０は、フリーズ指示の入力がないと判断すると（ステップＳ１０５：Ｎｏ）、ステップＳ１０６に移行する。

ステップＳ１０６において、表示画像生成部３５は、補正ＲＡＷ画像生成部３２から入力された補正ＲＡＷ画像に対して画像処理を施した後、表示装置４で表示可能な態様の表示画像となるような信号処理を施して、表示用の画像信号を生成する。表示画像生成部３５は、生成した表示用の画像信号を表示装置４に送信する。

一方で、制御部４０は、フリーズ指示の入力があると判断すると（ステップＳ１０５：Ｙｅｓ）、ステップＳ１０７に移行する。

ステップＳ１０７において、静止画像選択部３４は、補正ＲＡＷ画像メモリ３３ａに記憶されている複数の補正ＲＡＷ画像について、評価値を算出する。

ステップＳ１０７に続くステップＳ１０８において、静止画像選択部３４は、算出した評価値に基づいて、補正ＲＡＷ画像メモリ３３ａに記憶されている補正ＲＡＷ画像から、静止画像とする補正ＲＡＷ画像を選択する。

ステップＳ１０８に続くステップＳ１０９において、ＲＡＷ画像選択部３６は、静止画像選択部３４から画像選択情報を取得して、画像解析に用いるＲＡＷ画像を選択する。ＲＡＷ画像選択部３６は、選択したＲＡＷ画像を含む処理信号を、画像解析部３７に入力する。

ステップＳ１０９に続くステップＳ１１０において、画像解析部３７は、ＲＡＷ画像選択部３６から入力されたＲＡＷ画像について、画像解析を行う。

ステップＳ１１０に続くステップＳ１１１において、表示画像生成部３５は、静止画像として選択された補正ＲＡＷ画像に対して画像処理を施した後、表示装置４で表示可能な態様の表示画像となるような信号処理を施して、表示用の画像信号を生成する。表示画像生成部３５は、生成した表示用の画像信号を表示装置４に送信する。なお、上述したステップＳ１０９〜Ｓ１１１は、ステップＳ１１１を先に行ってもよいし、ステップＳ１０９およびＳ１１０と、ステップＳ１１１とを同時に行うようにしてもよい。

ステップＳ１０６およびステップＳ１１１において表示用の画像信号が生成され、この画像信号が表示装置４に送信されると、表示装置４によって画像が表示される。この際、画像信号がステップＳ１０６において生成された場合はライブ表示され、ステップＳ１１１において生成された場合は静止画表示される。また、表示装置４において、ステップＳ１１１において生成された静止画像とともに、解析結果を表示するようにしてもよい。

表示画像生成部３５による画像信号の生成、表示制御後、制御部４０は、新たな体内画像の入力があるか否かを判断する（ステップＳ１１２）。制御部４０は、例えば、新たな体内画像が入力されたと判断すると（ステップＳ１１２：Ｙｅｓ）、ステップＳ１０２に戻って上述した処理を繰り返し、新たな体内画像が入力されていないと判断すると（ステップＳ１１２：Ｎｏ）、画像処理を終了する。

上述した本実施の形態１によれば、フリーズ指示が入力された場合に、静止画像選択部３４が、補正ＲＡＷ画像に基づいて評価値を算出し、算出した評価値を用いて静止画像を選択するとともに、ＲＡＷ画像選択部３６が、静止画像として選択された補正ＲＡＷ画像に対応するＲＡＷ画像を解析対象の画像として選択するようにした。これにより、プリフリーズ機能によって選択された画像に関する演算処理が、ＲＡＷ画像を用いて行われるため、演算処理を高精度に行うことができる。

（実施の形態の変形例１）
本変形例１では、表示装置４に表示させる画像のデータ量に対して、フレームメモリ３３に記憶するデータ量を小さくする。具体的に、例えば、表示装置４において、一般に４Ｋと呼ばれる３８４０×２１６０の解像度の画像を表示する場合、補正ＲＡＷ画像生成部３２が、一般に２Ｋと呼ばれる１９２０×１０８０の解像度に変更して、画像のデータ量を小さくした補正ＲＡＷ画像を生成する。これにより、補正ＲＡＷ画像メモリ３３ａが補正ＲＡＷ画像を記憶するうえで、４Ｋのデータ量のまま記憶する場合と比して、補正ＲＡＷ画像の保持領域を小さくすることができる。表示用に画像を生成する際は、表示画像生成部３５が、画像の解像度を２Ｋから４Ｋに変更して、画像のデータ量を戻すことによって、４Ｋの解像度を有する画像を表示装置４に表示させる。

本変形例１によれば、補正ＲＡＷ画像メモリ３３ａが補正ＲＡＷ画像を記憶するために必要な容量を小さくすることができる。このため、フレームメモリ３３において、４Ｋのデータ量を保存するための容量を有している場合、３／４程度の容量が空くため、この空いた容量分だけ装置を小型化することが可能である。また、フレームメモリ３３は、この空いた容量分にＲＡＷ画像を記憶するようにしてもよい。

また、上述した変形例１において、制御部４０が、入力部３８が受け付けた設定情報などをもとに、４Ｋのデータ量で記憶する４Ｋ記憶モードと、２Ｋのデータ量で記憶する２Ｋ記憶モードとのいずれかのモードに設定するようにしてもよい。これにより、設定情報に応じて、フレームメモリ３３が記憶するデータの容量を動的に切り替えることが可能となる。

また、上述した変形例１では、補正ＲＡＷ画像生成部３２が、解像度を変更して容量を低減するものとして説明したが、サイズの変更を行うことによって補正ＲＡＷ画像を生成するようにしてもよい。このように、補正ＲＡＷ画像生成部３２は、ＲＡＷ画像のリサイズを行うことによって容量を低減した補正ＲＡＷ画像を生成するものであればよい。

（実施の形態の変形例２）
本変形例２では、フレームメモリ３３に記憶されているＲＡＷ画像に対して、複数の補正ＲＡＷ画像を割り当てることにより、フレームメモリ３３が必要とするデータの容量を小さくする。図４は、本発明の実施の形態の変形例２にかかるフレームメモリの記憶態様について説明する図である。

補正ＲＡＷ画像メモリ３３ａには、複数の補正ＲＡＷ画像（補正ＲＡＷ画像ＣＦ₁〜ＣＦ₆、・・・）が記憶されている。補正ＲＡＷ画像メモリ３３ａには、時系列に沿って連続する補正ＲＡＷ画像ＣＦ₁〜ＣＦ₆、・・・、が間引かれることなく記憶されている。

ＲＡＷ画像メモリ３３ｂには、複数のＲＡＷ画像（ＲＡＷ画像ＲＦ₁、ＲＦ₃、ＲＦ₅、・・・）が記憶されている。ＲＡＷ画像メモリ３３ｂには、時系列に沿って１フレーム分間隔をもって連続するＲＡＷ画像ＲＦ₁、ＲＦ₃、ＲＦ₅、・・・、が記憶されている。ＲＡＷ画像ＲＦ₁は、補正ＲＡＷ画像ＣＦ₁の補正前の画像データであり、ＲＡＷ画像ＲＦ₃は、補正ＲＡＷ画像ＣＦ₃の補正前の画像データであり、ＲＡＷ画像ＲＦ₅は、補正ＲＡＷ画像ＣＦ₅の補正前の画像データである。

本変形例２では、補正ＲＡＷ画像メモリ３３ａに記憶されている複数の補正ＲＡＷ画像と、ＲＡＷ画像メモリ３３ｂに記憶されている複数のＲＡＷ画像とが、２：１で対応付けられている。具体的には、補正ＲＡＷ画像ＣＦ₁および補正ＲＡＷ画像ＣＦ₂が、ＲＡＷ画像ＲＦ₁に対応付けられ、補正ＲＡＷ画像ＣＦ₃および補正ＲＡＷ画像ＣＦ₄が、ＲＡＷ画像ＲＦ₃に対応付けられ、補正ＲＡＷ画像ＣＦ₅および補正ＲＡＷ画像ＣＦ₆が、ＲＡＷ画像ＲＦ₅に対応付けられている。

本変形例２によれば、ＲＡＷ画像メモリ３３ｂがＲＡＷ画像を記憶するために必要な容量を小さくすることができる。なお、本変形例２において、ＲＡＷ画像選択部３６は、静止画像として選択された補正ＲＡＷ画像に対して、対応付けられたＲＡＷ画像を解析対象のＲＡＷ画像として選択する。例えば、ＲＡＷ画像選択部３６は、静止画像選択部３４により補正ＲＡＷ画像ＣＦ₁または補正ＲＡＷ画像ＣＦ₂が静止画像として選択された際には、ＲＡＷ画像ＲＦ₁を解析対象のＲＡＷ画像として選択する。

なお、本変形例２においても、フレームメモリ３３の記憶態様を設定するモードにより変更してもよい。例えば、制御部４０が、入力部３８が受け付けた設定情報などをもとに、補正ＲＡＷ画像とＲＡＷ画像とを１：１で対応させてフレームメモリ３３に記憶させる第１記憶モードと、補正ＲＡＷ画像とＲＡＷ画像とを２：１で対応させてフレームメモリ３３に記憶させる第２記憶モードとのいずれかのモードに設定するようにしてもよい。これにより、設定情報に応じて、フレームメモリ３３が記憶するデータの容量を動的に切り替えることが可能となる。例えば、被写体の動きが速い場合は、時系列で隣り合うフレームの画像であっても被写体像の変化が大きいため第１記憶モードに設定し、被写体の動きが遅い場合は、時系列で隣り合うフレームの画像間の被写体像の変化が小さいため第２記憶モードに設定する。

また、本変形例２では、二つの補正ＲＡＷ画像が一つのＲＡＷ画像と対応付けられているものとして説明したが、これに限らず、三つ以上の補正ＲＡＷ画像がＲＡＷ画像と対応付けられていてもよい。この際、ＲＡＷ画像に対応する補正ＲＡＷ画像は、当該ＲＡＷ画像を補正した補正ＲＡＷ画像を含み、かつ時系列で予め設定された範囲に含まれる補正ＲＡＷ画像が対応付けられる。

（実施の形態の変形例３）
本変形例３では、静止画像選択部３４が、フレームメモリ３３に記憶されている複数の補正ＲＡＷ画像に基づいて算出された補正ＲＡＷ画像評価値と、フレームメモリ３３に記憶されている複数のＲＡＷ画像に基づいて算出されたＲＡＷ画像評価値と、設定されているモードとに基づいて静止画像とする補正ＲＡＷ画像を選択する。本変形例３では、ＲＡＷ画像選択部３６が、ＲＡＷ画像を解析対象画像として選択して出力するＲＡＷ画像出力モードと、ＲＡＷ画像を解析対象画像として選択して出力しないＲＡＷ画像非出力モードとのいずれかのモードが設定されるものとして説明する。

静止画像選択部３４は、各フレームにおいて、例えば下表１に示すような評価値を算出した場合、補正ＲＡＷ画像評価値と、ＲＡＷ画像評価値と、設定モードとに基づいて、静止画像を選択する。例えば、静止画像選択部３４は、設定モードがＲＡＷ画像非出力モードである場合、補正ＲＡＷ画像評価値が最も高いフレーム番号５の補正ＲＡＷ画像を選択する。これに対し、静止画像選択部３４は、設定モードがＲＡＷ画像出力モードである場合、補正ＲＡＷ画像評価値とＲＡＷ画像評価値との平均値が最も高く、かつ補正ＲＡＷ画像評価値とＲＡＷ画像評価値との差分が小さいフレーム番号４の補正ＲＡＷ画像を選択する。この際、フレーム番号３，５の平均値も８となるが、フレーム番号３，５の差分が、フレーム番号４の差分よりも大きいため、フレーム番号４の補正ＲＡＷ画像が静止画像として選択されることになる。

（実施の形態の変形例４）
本変形例４では、上述した変形例３と同様に、静止画像選択部３４が、フレームメモリ３３に記憶されている複数の補正ＲＡＷ画像に基づいて算出された補正ＲＡＷ画像評価値と、フレームメモリ３３に記憶されている複数のＲＡＷ画像に基づいて算出されたＲＡＷ画像評価値と、設定されているモードとに基づいて静止画像とする補正ＲＡＷ画像を選択する。上述した変形例３では、評価値の平均値が同じ場合は、差分を比較して静止画像とする補正ＲＡＷ画像を選択するものとして説明したが、差分も同じになる場合がある。この場合を考慮して、本変形例４では、補正ＲＡＷ画像評価値による判定結果と、ＲＡＷ画像評価値による判定結果とを考慮した二段階評価によって静止画像とする補正ＲＡＷ画像の選択を行う。

静止画像選択部３４は、各フレームにおいて、例えば下表２に示すような評価値を算出し、設定モードがＲＡＷ画像非出力モードである場合、まず、補正ＲＡＷ画像評価値が最も高いフレーム番号１，５，７を選択する。その後、静止画像選択部３４は、ＲＡＷ画像評価値が最も高いフレーム番号５の補正ＲＡＷ画像を静止画像として選択する。これに対し、静止画像選択部３４は、設定モードがＲＡＷ画像出力モードである場合は、ＲＡＷ画像評価値が最も高いフレーム番号５の補正ＲＡＷ画像を選択する。

上述した変形例４によれば、評価対象の評価値に同じ値のものが含まれた場合であっても、別の評価値により二段階で評価するようにしたので、適切な補正ＲＡＷ画像を選択することができる。

なお、上述した実施の形態では、撮像信号取得部３１が、ＲＧＢの各色成分が付与された画像を含む処理信号を生成するものとして説明したが、ＹＣｂＣｒ色空間に基づいて輝度（Ｙ）成分および色差成分を含むＹＣｂＣｒ色空間を有する処理信号を生成するものであってもよいし、色相（Hue）、彩度（Saturation Chroma）、明度（Value Lightness Brightness）の三つの成分からなるＨＳＶ色空間や、三次元空間を用いるＬ^*ａ^*ｂ^*色空間などを用いて、色と輝度とに分けた成分を有する処理信号を生成するものであってもよい。

また、上述した実施の形態では、静止画像選択部３４が、補正ＲＡＷ画像に基づいて評価値を算出するものとして説明したが、ＲＡＷ画像に基づいて評価値を算出するようにしてもよい。また、静止画像選択部３４は、複数の評価値を相対的な選択基準として静止画像とする補正ＲＡＷ画像を選択するものとして説明したが、評価値に限らず、フレーム番号に基づいて選択してもよいし、ペースメーカーなどから計測される心臓の動きに応じて選択するようにしてもよい。フレーム番号に基づいて選択する場合は、例えば、フレームメモリ３３に記憶されている補正ＲＡＷ画像のフレーム番号に対して、最も番号の小さいフレームを選択基準として、補正ＲＡＷ画像を選択してもよいし、中央のフレーム番号を選択基準としてもよい。また、心臓の動きに応じて選択する場合は、例えば、心臓が拍動していないタイミングで取得された補正ＲＡＷ画像を選択する。

また、上述した実施の形態では、処理装置３が画像解析部３７を備えるものとして説明したが、画像解析部３７を有しない構成であってもよい。すなわち、処理装置３は選択したＲＡＷ画像を外部の画像解析器に送信する構成としてもよい。

また、上述した実施の形態では、光源部３ａからＲＧＢの各色成分を含む白色の照明光が出射され、受光部２４４ａが照明光による反射光を受光する同時式の照明／撮像方式であるものとして説明したが、光源部３ａが、各色成分の光を個別に順次出射して、受光部２４４ａが、各色成分の光をそれぞれ受光する面順次式の照明／撮像方式であってもよい。

また、上述した実施の形態では、光源部３ａが内視鏡２とは別体で構成されているものとして説明したが、例えば、内視鏡２の先端に半導体光源を設けるなど、光源装置を内視鏡２に設けた構成であってもよい。さらに、内視鏡２に処理装置３の機能を付与してもよい。

また、上述した実施の形態では、光源部３ａが、処理装置３とは一体であるものとして説明したが、光源部３ａおよび処理装置３が別体であって、例えば処理装置３の外部に照明部３０１および照明制御部３０２が設けられているものであってもよい。また、光源３０１ａが先端部２４の先端に設けられているものであってもよい。

また、上述した実施の形態では、本発明にかかる内視鏡システムが、観察対象が被検体内の生体組織などである軟性の内視鏡２を用いた内視鏡システム１であるものとして説明したが、硬性の内視鏡や、材料の特性を観測する工業用の内視鏡、カプセル型の内視鏡、ファイバースコープ、光学視管などの光学内視鏡の接眼部にカメラヘッドを接続したものを用いた内視鏡システムであっても適用できる。

また、上述した実施の形態では、内視鏡システムを例に挙げて説明したが、例えばデジタルスチルカメラ等に設けられるＥＶＦ（Electronic View Finder）に映像を出力する場合にも適用可能である。

以上のように、本発明にかかる画像処理装置は、プリフリーズ機能によって選択された画像に関する演算処理を高精度に行うことが可能な画像を選択するのに有用である。

１ 内視鏡システム
２ 内視鏡
３ 処理装置
３ａ 光源部
４ 表示装置
２１ 挿入部
２２ 操作部
２３ ユニバーサルコード
２４ 先端部
２５ 湾曲部
２６ 可撓管部
３１ 撮像信号取得部
３２ 補正ＲＡＷ画像生成部
３３ フレームメモリ
３３ａ 補正ＲＡＷ画像メモリ
３３ｂ ＲＡＷ画像メモリ
３４ 静止画像選択部
３５ 表示画像生成部
３６ ＲＡＷ画像選択部
３７ 画像解析部
３８ 入力部
３９ 記憶部
３０１ 照明部
３０２ 照明制御部

Claims (9)

1. 被写体を撮像して生成されるＲＡＷ画像を補正することによって補正ＲＡＷ画像を生成する補正ＲＡＷ画像生成部と、
   複数の前記補正ＲＡＷ画像、および、該複数の前記補正ＲＡＷ画像にそれぞれ対応付けられた複数の前記ＲＡＷ画像を記憶するフレームメモリと、
   予め設定されている選択基準に基づいて複数の前記補正ＲＡＷ画像から静止画表示させる前記補正ＲＡＷ画像を選択する静止画像選択部と、
   前記静止画像選択部が選択した前記補正ＲＡＷ画像に対応する前記ＲＡＷ画像を選択するＲＡＷ画像選択部と、
   を備えたことを特徴とする画像処理装置。
2. 前記補正ＲＡＷ画像生成部は、前記ＲＡＷ画像のリサイズを行うことによって前記補正ＲＡＷ画像を生成する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正ＲＡＷ画像生成部は、前記静止画表示を行う画像の画質よりも低い画質の前記補正ＲＡＷ画像を生成する
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記フレームメモリは、同じフレーム数の前記補正ＲＡＷ画像および前記ＲＡＷ画像を記憶しており、
   前記補正ＲＡＷ画像は、各々が、前記フレームメモリに記憶されている前記ＲＡＷ画像を用いて補正された画像である
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記フレームメモリは、前記補正ＲＡＷ画像の記憶数が、前記ＲＡＷ画像の記憶数より多く、
   各ＲＡＷ画像には、同一フレームの前記補正ＲＡＷ画像を含み、時系列で予め設定された範囲の複数の前記補正ＲＡＷ画像が対応付けられている
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記ＲＡＷ画像選択部により選択された前記ＲＡＷ画像を用いて解析処理する画像解析部、
   をさらに備えたことを特徴とする請求項１に記載の画像処理装置。
7. 前記ＲＡＷ画像として視差を有する二つのステレオ画像が入力され、
   前記画像解析部は、前記二つのステレオ画像を用いて前記被写体までの距離を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記静止画像選択部は、前記フレームメモリに記憶されている複数の前記補正ＲＡＷ画像のそれぞれについて評価値を算出し、該評価値に基づいて複数の前記補正ＲＡＷ画像から静止画表示させる前記補正ＲＡＷ画像を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記静止画像選択部は、前記フレームメモリに記憶されている複数の前記補正ＲＡＷ画像のそれぞれについて補正ＲＡＷ画像評価値を算出するとともに、前記フレームメモリに記憶されている複数の前記ＲＡＷ画像のそれぞれについてＲＡＷ画像評価値を算出し、前記補正ＲＡＷ画像評価値および前記ＲＡＷ画像評価値に基づいて複数の前記補正ＲＡＷ画像から静止画表示させる前記補正ＲＡＷ画像を選択する
   ことを特徴とする請求項１に記載の画像処理装置。

Images