JP2021094421A - 画像処理装置、画像処理方法、及び記録媒体 - Google Patents

Abstract

【課題】被写体像の観察に係る状態や状況に応じて、より好適な態様で当該被写体像の観察を可能とする。【解決手段】通常光または特殊光を出力する光源装置と、変調伝達関数の分布を広げるとともに変調伝達関数の値が適用前に比べて低下するように変調する光学素子と、画像信号を生成する撮像素子と、を有するカメラヘッドと、前記画像信号に対して、観察モードに応じたＰＳＦ情報に基づいて合焦位置における変調伝達関数の値を向上させる復元処理を含む画像処理を行い、ＥＤＯＦ（Extended Depth of Field）画像を生成する画像処理装置と、を備え、前記画像処理装置は、特殊光観察モードが選択されている場合には特殊光観察モード用のＰＳＦ情報に基づく復元処理を行い、通常光観察モードが選択されている場合には通常光観察モード用のＰＳＦ情報に基づく復元処理を行う、画像処理システム。【選択図】図１

Description

本開示は、画像処理装置、画像処理方法、及び記録媒体に関する。

近年では、手術手法、手術器具の発達により、手術用顕微鏡や内視鏡等のような医療用の観察装置により患部を観察しながら、各種処置を施す手術（所謂、マイクロサージャリー）が頻繁に行われるようになってきている。また、このような医療用の観察装置の中には、患部を光学的に観察可能とする装置に限らず、撮像装置（カメラ）等により撮像された患部の画像を、モニタなどの表示装置に電子画像として表示させる装置も提案されている。例えば、特許文献１には、撮像装置により撮像された患部の画像を表示部に表示させることが可能な、所謂電子内視鏡システムの一例が開示されている。

特開２００２−４５３５４号公報

ところで、医療用の観察装置にも適用される撮像装置においては、撮像素子に対して被写体像を結像するための光学系（例えば、内視鏡等）の特性に応じて、撮像される画像に所謂ボケが生じる場合がある。このような状況下では、一部の被写体に対して焦点が合わず、当該被写体の観察が困難となり、例えば、当該被写体に対して焦点を合わせ直す必要が生じる場合もある。そのため、このような状況下では、例えば、より被写界深度の深い画像を取得することが可能な仕組みが求められる場合がある。

また、医療の現場においては、所謂特殊光観察を行う場合等のような観察環境の違いや、検体や患部等の観察対象の違い、手術の術式等に応じた観察方法の違い（換言すると、観察モードや観察シーンの違い）等のように、被写体像を観察するための条件が異なる場合がある。このような状況下で、例えば、被写界深度等の観察範囲の広さや、ボケの量（換言すると、解像感）等のような、取得される被写体像の画像に求められる特性が異なる場合もある。

そこで、本開示では、被写体像の観察に係る状態や状況に応じて、より好適な態様で当該被写体像を観察することが可能な、画像処理装置、画像処理方法、及び記録媒体を提案する。

本開示によれば、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御する制御部を有し、前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、画像処理装置が提供される。

また、本開示によれば、検体の画像を撮像する撮像部と、前記撮像部に対して前記検体の被写体像を結像する光学系と、を含む撮像装置と、前記撮像部により撮像された画像から補正画像を生成するよう制御する画像処理装置と、を備え、前記画像処理装置は、前記画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成する制御部を有し、前記関数は、前記被写体の観察に関する条件に応じて算出される、医療用画像処理システムが提供される。

また、本開示によれば、プロセッサが、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを含み、前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、画像処理方法が提供される。

また、本開示によれば、コンピュータに、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを実行させ、前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、プログラムが記録された記録媒体が提供される。

以上説明したように本開示によれば、被写体像の観察に係る状態や状況に応じて、より好適な態様で当該被写体像を観察することが可能な、画像処理装置、画像処理方法、及び記録媒体が提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る内視鏡装置の概略構成の一例について説明するための説明図である。 同実施形態に係る内視鏡装置に適用される光学素子の概略的な構成の一例について説明するための説明図である。 同実施形態に係る内視鏡装置の構成の一例について説明するための説明図である。 同実施形態に係る光学素子の特性について説明するための説明図である。 同実施形態に係る光学素子の特性について説明するための説明図である。 同実施形態に係る内視鏡装置に適用される光学素子の特性の一例について説明するための説明図である。 同実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。 ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明するための説明図である。 ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明するための説明図である。 ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明するための説明図である。 同実施形態に係る画像処理装置の一連の処理の流れの一例について示したフローチャートである。 実施例１−１に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。 実施例１−２に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。 実施例１−２に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。 実施例１−３に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。 実施例２−１に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。 実施例２−２に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。 実施例２−２に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。 実施例２−３に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。 実施例２−７に係る画像処理装置による、ＰＳＦ情報の切り替えに係る制御の一例について説明するための説明図である。 同実施形態に係る内視鏡装置を構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．システムの概要
２．光学素子の構成
３．復元処理
３．１．画像処理装置の構成
３．２．画像処理装置の処理
４．実施例
４．１．実施例１：機器ごとのＰＳＦ情報の取得
４．２．実施例２：各種条件に応じたＰＳＦ情報の算出例
５．ハードウェア構成
６．むすび

＜＜１．システムの概要＞＞
まず、本開示に係る技術が適用され得る例示的なシステムの概要を説明する。図１は、一実施形態に係る医療用画像処理システム１の概略的な構成の一例を示している。医療用画像処理システム１は、内視鏡下手術システムである。図１の例では、術者（医師）３が、医療用画像処理システム１を用いて、患者ベッド５上の患者７に内視鏡下手術を行っている。医療用画像処理システム１は、内視鏡１０と、その他の手術器具（術具）３０と、内視鏡１０を支持する支持アーム装置４０と、内視鏡下手術のための様々な装置が搭載されたカート５０と、から構成される。

内視鏡下手術では、腹壁を切って開腹する代わりに、トロッカと呼ばれる筒状の開孔器具３７ａ〜３７ｄが腹壁に複数穿刺される。そして、トロッカ３７ａ〜３７ｄから、内視鏡１０の鏡筒１１、及びその他の術具３０が、患者７の体腔内に挿入される。図１の例では、その他の術具３０として、気腹チューブ３１、エネルギー処置具３３及び鉗子３５が示されている。エネルギー処置具３３は、高周波電流又は超音波振動での、組織の切開若しくは剥離又は血管の封止などの処置のために利用される。なお、図示した術具３０は一例に過ぎず、他の種類の術具（例えば、攝子又はレトラクタなど）が利用されてもよい。

内視鏡１０によって撮像される患者７の体腔内の画像は、表示装置５３により表示される。術者３は、表示画像をリアルタイムで見ながら、エネルギー処置具３３及び鉗子３５を用いて、例えば患部を切除するなどの処置を行う。なお、図示を省略しているが、気腹チューブ３１、エネルギー処置具３３及び鉗子３５は、手術中に、術者３又は助手などのユーザによって支持される。

支持アーム装置４０は、ベース部４１から延伸するアーム部４３を備える。図１の例では、アーム部４３は、関節部４５ａ、４５ｂ及び４５ｃ、並びにリンク４７ａ及び４７ｂから構成され、内視鏡１０を支持している。アーム部４３がアーム制御装置５７からの制御に従って駆動される結果として、内視鏡１０の位置及び姿勢が制御され、内視鏡１０の安定的な位置の固定もまた実現され得る。

内視鏡１０は、鏡筒１１と、鏡筒１１の基端に接続されるカメラヘッド１３と、から構成される。鏡筒１１の先端からある長さまでの一部分は、患者７の体腔内に挿入される。図１の例では、硬性の鏡筒１１を有するいわゆる硬性鏡として内視鏡１０が構成されているが、内視鏡１０は、いわゆる軟性鏡として構成されてもよい。

鏡筒１１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１０には光源装置５５が接続されており、光源装置５５によって生成された光が、鏡筒１１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者７の体腔内の観察対象に向かって照射される。なお、内視鏡１０は、直視鏡であってもよく、又は斜視鏡若しくは側視鏡であってもよい。

カメラヘッド１３は、照射部と、光学系、駆動系、及びイメージセンサを内蔵する撮像部とを備える。照射部は、光源装置５５からライトガイドを通じて供給される照射光を、被写体へ向けて照射する。光学系は、典型的にはレンズユニットを含み、鏡筒１１の先端から取り込まれる被写体からの観察光（照射光の反射光）を、イメージセンサへ向けて集光する。レンズユニット内のズームレンズ及びフォーカスレンズの位置は、倍率及び焦点距離といった撮像条件を可変的に制御するために、駆動系により駆動されて変化し得る。カメラヘッド１３のイメージセンサは、光学系により集光される観察光を光電変換し、電気信号である画像信号を生成する。イメージセンサは、３つの色成分の画像信号をそれぞれ生成する別個の撮像素子を有する３板式センサであってもよく、又は単板式若しくは２板式といった他のタイプのイメージセンサであってもよい。イメージセンサは、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）又はＣＣＤ（Charge-Coupled Device）などのいかなるタイプの撮像素子を有していてもよい。イメージセンサにより生成される画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera Control Unit）５１へ送信される。

ある実施形態において、カメラヘッド１３により生成される画像信号により表現される撮像画像は、視差判定用画像を含む。視差判定用画像は、典型的には、右眼画像及び左眼画像から構成される。右眼画像及び左眼画像は、複眼カメラの右眼用イメージセンサ及び左眼用イメージセンサによりそれぞれ生成されてもよい。その代わりに、右眼画像及び左眼画像は、単眼カメラの単一のイメージセンサにより（例えばシャッタ切り替え方式で）生成されてもよい。

ＣＣＵ５１は、信号線及び通信インタフェースを介してカメラヘッド１３と接続される。カメラヘッド１３とＣＣＵ５１との間の信号線は、例えば光ケーブルなどの、双方向の通信を可能とする高速の伝送線である。ＣＣＵ５１は、ＣＰＵ（Central Processing Unit）などのプロセッサとＲＡＭ（Random Access Memory）などのメモリとを有し、内視鏡１０及び表示装置５３の動作を統括的に制御する。ＣＣＵ５１は、画像信号を一時的に記憶するためのフレームメモリと、画像処理を実行する１つ以上のＧＰＵ（Graphics Processing Unit）とをさらに有してもよい。例えば、ＣＣＵ５１は、カメラヘッド１３から入力される視差判定用画像に基づいて、画素ごと（又は他の何らかの単位ごとに）視差を判定する。判定される視差は、例えば、立体視画像の生成、被写界深度の拡大、立体感の強調又はダイナミックレンジの拡張といった画像処理のために利用され得る。ＣＣＵ５１は、画像処理の結果として生成される画像を、表示のために表示装置５３へ出力し、又は記録のためにレコーダ６５へ出力し得る。出力される一連の画像は、動画（映像）を構成し得る。ＣＣＵ５１において実行される画像処理は、例えば現像及びノイズ低減などの一般的な処理を含んでもよい。また、ＣＣＵ５１は、カメラヘッド１３へ制御信号を送信し、カメラヘッド１３の駆動を制御する。当該制御信号には、例えば上述した撮像条件を指定する情報が含まれ得る。

表示装置５３は、ＣＣＵ５１からの制御に従い、入力される表示画像信号に基づいて立体視画像を表示する。表示装置５３は、アクティブシャッタ方式、パッシブ方式又はグラスレス方式などのいかなる方式で立体視画像を表示してもよい。

光源装置５５は、例えばＬＥＤ、キセノンランプ、ハロゲンランプ、レーザ光源、又はこれらの組み合わせに相当する光源を含み、観察対象へ向けて照射されるべき照射光を、ライトガイドを通じて内視鏡１０へ供給する。

アーム制御装置５７は、例えばＣＰＵなどのプロセッサを有し、所定のプログラムに従って動作することにより支持アーム装置４０のアーム部４３の駆動を制御する。

入力装置５９は、医療用画像処理システム１へのユーザ入力を受け付ける１つ以上の入力インタフェースを含む。ユーザは、入力装置５９を介して、医療用画像処理システム１へ様々な情報を入力し又は様々な指示を入力することができる。例えば、ユーザは、入力装置５９を介して、後述する設定情報又はその他のパラメータを入力してもよい。また、例えば、ユーザは、入力装置５９を介して、アーム部４３を駆動させる旨の指示、内視鏡１０における撮像条件（照射光の種類、倍率及び焦点距離など）を変更する旨の指示、又はエネルギー処置具３３を駆動させる旨の指示などを入力する。

入力装置５９は、いかなる種類のユーザ入力を扱ってもよい。例えば、入力装置５９は、マウス、キーボード、スイッチ（例えば、フットスイッチ６９）又はレバーなどの機構を介して物理的なユーザ入力を検出してもよい。入力装置５９は、タッチパネルを介してタッチ入力を検出してもよい。入力装置５９は、メガネ型デバイス又はＨＭＤ（Head Mounted Display）といったウェアラブルデバイスの形態で実現され、ユーザの視線又はジェスチャを検出してもよい。また、入力装置５９は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声コマンドを検出してもよい。

処置具制御装置６１は、組織の焼灼若しくは切開又は血管の封止などの処置のために、エネルギー処置具３３の駆動を制御する。気腹装置６３は、内視鏡１０により観察される視野を確保し及び術者の作業空間を確保する目的で、患者７の体腔を膨らませるために、気腹チューブ３１を介して当該体腔内にガスを送り込む。レコーダ６５は、医療上の作業に関する様々な情報（例えば、設定情報、画像情報及びバイタルセンサ（図示せず）からの測定情報のうちの１つ以上）を記録媒体へ記録する。プリンタ６７は、医療上の作業に関する様々な情報を、テキスト、画像又はグラフなどの何らかの形式で印刷する。

なお、本実施形態に係る内視鏡１０は、鏡筒１１とカメラヘッド１３との間に所謂光学マスク等のような光学素子１２を挿入可能に構成されていてもよい。光学素子１２としては、例えば、複屈折マスク（ＢＭ：Birefringent Mask）や３次元位相マスク（Cubic Phase Mask）等が挙げられる。本実施形態に係る医療用画像処理システム１においては、このような光学素子１２を鏡筒１１とカメラヘッド１３との間に介在させることで、カメラヘッド１３内の撮像素子に対して被写体像を結像する一連の光学系の光学的な特性を変え、撮像される画像のボケ量を調整する（例えば、被写界深度を制御する）。なお、光学素子１２の詳細については別途後述する。

以上、図１を参照して、本開示に係る技術が適用され得る例示的なシステムの概要について説明した。

＜＜２．光学素子の構成＞＞
続いて、図２〜図６を参照して、本実施形態に係る内視鏡１０において、鏡筒１１とカメラヘッド１３との間に挿入される光学素子１２の特徴についてより詳しく説明する。

近年では、カメラ等の撮像装置に用いられる撮像素子（所謂イメージセンサ）の解像度はより高くなる傾向にあり、「ＨＤ（１２８０×７２０）」に限らず、「４Ｋ ＵＨＤ（３８４０×２１６０）」や「８Ｋ ＵＨＤ（７６８０×４３２０）」のものも提案されている。そのため、本実施形態に係る内視鏡１０のような医療用の観察装置においても、撮像される画像の高解像度化が望まれている。一方で、高解像度化に伴い撮像素子の画素サイズもより小さくなる傾向にあり、相対的に各画素により集光される光の光量がより少なくなる傾向にある。このような状況下では、例えば、絞りをより開く（即ち、Ｆ値をより小さくする）ことで光量不足を補う場合があるが、その一方で、絞りの開放に伴い被写界深度がより狭くなる場合がある。以上のような状況を鑑み、本実施形態に係る内視鏡１０は、前述したように、鏡筒１１とカメラヘッド１３との間に光学素子１２を挿入可能に構成されており、当該光学素子１２が挿入されることで、撮像される画像の被写界深度が制御される。

例えば、図２は、本実施形態に係る内視鏡１０に適用される光学素子１２の概略的な構成の一例について説明するための説明図である。具体的には、図２は、光学素子１２が複屈折マスクとして構成されている場合の一例を示しており、光学素子１２をカメラヘッドの光軸方向から見た場合における当該光学素子１２の構成の一例を示している。なお、図２では、図面の横方向をｘ方向、縦方向をｙ方向、奥行き方向（即ち、カメラヘッド１３の光軸方向）をｚ方向とする。なお、以降の説明では、特に定義が無い場合には、撮像装置（例えば、撮像装置３）の光軸方向（換言すると、奥行き方向）をｚ方向、当該撮像装置により撮像される画像の横方向及び縦方向（即ち、光軸に垂直な方向）をｘ方向及びｙ方向とする。

図２に示すように、光学素子１２は、参照符号１２５で示された領域の内部に、当該領域１２５の中心近傍から外側に向けて複数の偏光素子１２１〜１２３が配置されている。より具体的な一例として、図２に示す例では、光学素子１２は、光軸に対して垂直なｘｙ平面上において、同心円状に複数の偏光素子１２１〜１２３が配置されている。なお、図２に示された矢印は、当該矢印が付された偏光素子の偏光方向を模式的に示している。即ち、偏光素子１２１〜１２３は、互いに隣接する偏光素子の偏光方向が互いに異なるように設けられている。

例えば、図２に示す例では、偏光素子１２１の偏光方向はｘ方向である。これに対して、偏光素子１２１に隣接する偏光素子１２２の偏光方向はｙ方向であり、当該偏光素子１２１の偏光方向（ｘ方向）に対して９０度回転した方向となっている。同様に、偏光素子１２２に隣接する偏光素子１２３の偏光方向はｘ方向であり、当該偏光素子１２２の偏光方向（ｙ方向）に対して９０度回転した方向となっている。

このような構成により、鏡筒１１により集光された光は、光軸（ｚ方向）に垂直なｘｙ平面上の位置に応じて、光学素子１２の偏光素子１２１〜１２３のうちいずれかに入射し、当該偏光素子により偏光された光が、カメラヘッド１３に入射することとなる。

なお、鏡筒１１とカメラヘッド１３との間に光学素子１２を介在させることが可能であれば、内視鏡１０の構成は特に限定されない。例えば、図３は、本実施形態に係る内視鏡１０の構成の一例について説明するための説明図であり、鏡筒１１とカメラヘッド１３との間に光学素子１２を介在させるための構成の一例を示している。

具体的な一例として、参照符号１０ａで示した内視鏡の構成例は、光学素子１２を鏡筒１１の一部として構成した場合の一例である。具体的には、内視鏡１０ａにおいては、鏡筒１１ａのうち、カメラヘッド１３ａに装着される側の端部に光学素子１２ａが保持されている。このような構成により、鏡筒１１ａにより集光された光が当該鏡筒１１ａの外部に出射される際に光学素子１２ａを通過し、当該光学素子１２ａを通過した光がカメラヘッド１３ａに入射することとなる。このような構成であれば、その内視鏡に最適な被写界深度拡大処理を行うことが可能となり得る。

また、他の一例として、参照符号１０ｂで示した内視鏡の構成例は、光学素子１２をカメラヘッド１３の一部として構成した場合の一例である。具体的には、内視鏡１０ｂにおいては、カメラヘッド１３ｂのうち、鏡筒１１ｂに装着される側の端部に光学素子１２ｂが保持されている。このような構成により、鏡筒１１ｂにより集光された光がカメラヘッド１３ｂに入射する際に、光学素子１２ｂを通過することとなる。このような構成であれば、専用の内視鏡ではなく、従来の内視鏡を用いて、被写界深度拡大処理を行う事が可能となり得る。

また、参照符号１０ｃで示した内視鏡の構成例は、光学素子１２を所謂アタッチメントとして構成した場合の一例である。具体的には、光学素子１２は、鏡筒１１ｃ及びカメラヘッド１３ｃのそれぞれに対して、当該鏡筒１１ｃと当該カメラヘッド１３ｃとの間に介在するように着脱可能に構成されている。このような構成により、鏡筒１１ｃとカメラヘッド１３ｃとの間に介在するように光学素子１２ｃを装着することで、鏡筒１１ｃにより集光された光が、光学素子１２ｃを通過した後、カメラヘッド１３ｃに入射することとなる。このような構成であれば、様々な内視鏡、カメラヘッドに対応可能となるため、導入が容易である。

もちろん、図３に示した構成例はあくまで一例であり、鏡筒１１とカメラヘッド１３との間に光学素子１２を介在させることが可能であれば、内視鏡１０の構成は、図３に示した構成例のみには限定されないことは言うまでもない。

ここで、図４及び図５を参照して、図２に示す光学素子１２の特性について説明する。図４及び図５は、本実施形態に係る光学素子１２の特性について説明するための説明図である。具体的には、図４は、鏡筒１１とカメラヘッド１３との間に光学素子１２が介在しない場合の一例であり、鏡筒１１により集光されカメラヘッド１３に導かれた光の光路を模式的に示している。また、図５は、鏡筒１１とカメラヘッド１３との間に光学素子１２を介在させた場合の一例であり、鏡筒１１により集光され光学素子１２を介してカメラヘッド１３に導かれた光の光路を模式的に示している。

図４に示す例では、鏡筒１１により集光されカメラヘッド１３に導かれた光は、当該カメラヘッド１３の結像光学系により、撮像素子の像面に結像するように光路が制御される。図４において、参照符号ｖ１１で示す像は、参照符号ｐ１１で示された位置において結像する被写体像を模式的に示している。また、参照符号ｖ１３で示す像は、参照符号ｐ１３で示された位置において結像する被写体像を模式的に示したものである。

これに対して、図５に示す例では、鏡筒１１により集光され光は、光学素子１２を介してカメラヘッド１３に導かれ、当該カメラヘッド１３の結像光学系により光路が制御される。図５において、参照符号ｖ２１で示す像は、参照符号ｐ１１で示された位置において結像する被写体像を模式的に示している。また、参照符号ｖ２３で示す像は、参照符号ｐ１３で示された位置において結像する被写体像を模式的に示したものである。

図４及び図５を比較するとわかるように、光学素子１２が挿入されることにより、カメラヘッド１３の撮像素子に被写体像を結像するための一連の光学系（以降では、単に「一連の光学系」とも称する）の特性が変化する。具体的には、光学素子１２の挿入に伴い、当該光学素子１２の挿入前に比べて、位置ｐ１１と位置ｐ１３との間における被写体像の結像形状（即ち、点像分布関数（ＰＳＦ：Point Spread Function））の変化がより少なくなる。

例えば、図６は、本実施形態に係る内視鏡１０に適用される光学素子１２の特性の一例について説明するための説明図であり、光学素子１２の挿入に伴う一連の光学系の変調伝達関数（ＭＴＦ：Modulation Transfer Function）の変化の一例を示している。図６において、横軸は、一連の光学系の結像面（換言すると、合焦位置）を基準とした光軸方向のズレ（即ち、デフォーカス量）を示しており、縦軸は、変調伝達関数（ＭＴＦ）を示している。また、図６において、参照符号ｇ１１で示されたグラフは、図４に示すように、鏡筒１１とカメラヘッド１３との間に光学素子１２が介在しない場合における、一連の光学系の変調伝達関数（ＭＴＦ）の一例を示している。また、参照符号ｇ１３で示されたグラフは、図５に示すように、鏡筒１１とカメラヘッド１３との間に光学素子１２を挿入した場合における、一連の光学系の変調伝達関数（ＭＴＦ）の一例を示している。

図６に示すように、光学素子１２を適用することで、当該光学素子１２の適用前に比べて、光軸方向に沿ったより広い範囲にわたって変調伝達関数（ＭＴＦ）が分布するように、一連の光学系の特性が変化する。即ち、光学素子１２の適用により、被写界深度をより拡大することが可能となる。

一方で、図６を参照するとわかるように、光学素子１２を適用することで、合焦位置における変調伝達関数（ＭＴＦ）の値が、当該光学素子１２の適用前に比べて下がる。そこで、本実施形態に係る医療用画像処理システム１では、図５に示すように、カメラヘッド１３により撮像された画像に対して復元処理（画像処理）を施すことで、変調伝達関数（ＭＴＦ）の低下に伴い生じる被写体像の画像の劣化（所謂ボケ）に対し画像を復元する。例えば、図５において、参照符号ｖ２５で示した像は、被写体像ｖ２３に対して上記復元処理を施した場合における、当該復元処理後の被写体像の一例を示している。このような制御により、例えば、被写界深度が拡大され、かつ観察対象がより鮮明に提示された画像（即ち、より鮮鋭な画像）を得ることが可能となる。

また、内視鏡装置や所謂手術用顕微鏡等のような医療用の観察装置を使用して検体を観察する場合には、観察環境、観察対象、及び観察方法等の違いに応じて、当該検体を観察する条件（換言すると、当該検体の画像に求められる条件）が異なる場合が想定され得る。具体的な一例として、耳鼻や脳の深部に対してアプローチする手術においては、奥行きの深い管状の術野となるため、被写界深度のより広い画像の取得が求められる場合がある。また、他の一例として、脳の表面の血管等に対して処置を施す場合等のように、より細かい手技が求められる手術においては、被写界深度が多少浅くとも、より解像感の良い画像の取得が求められる場合がある。

このような状況を鑑み、本実施形態に係る医療用画像処理システム１においては、当該復元処理の内容を、例えば、観察対象とする光の成分の波長、像高（換言すると、画像中の領域）、及び奥行き方向（即ち、光軸方向）等の範囲（以降では、これらを総じて「観察範囲」とも称する）や、観察環境、観察対象、並びに観察方法（例えば、観察モード）等のような、検体の観察に関する条件に応じて制御する。このような構成により、本実施形態に医療用画像処理システム１は、例えば、所謂特殊光観察を行う場合等のような観察環境の条件や、観察対象とする被写体（即ち、検体や患部等）の特徴（例えば、色の成分の分布や輝度の分布等）に応じて、観察対象をより好適な態様で観察することが可能な画像を取得可能とする。なお、当該復元処理（画像処理）の詳細については、画像処理装置（即ち、図１におけるＣＣＵ５１のうち画像処理を実行する部分の構成）の機能構成の一例とあわせて、詳細を別途後述する。

以上、図２〜図６を参照して、本実施形態に係る内視鏡１０において、鏡筒１１とカメラヘッド１３との間に挿入される光学素子１２の特徴についてより詳しく説明した。なお、上記では、光学素子１２が複屈折マスクとして構成されている場合の一例について説明したが、図４〜図６を参照して説明したように、一連の光学系の特性を変化させることが可能であれば、その構成は特に限定されない。具体的には、上述したように、光学素子１２が３次元位相マスクとして構成されていてもよい。

＜＜３．復元処理＞＞
続いて、本実施形態に係る医療用画像処理システム１の特徴として、特に、前述した復元処理（画像処理）を実現するための構成や処理に着目して説明する。

＜３．１．画像処理装置の構成＞
まず、図７を参照して、図１に示したＣＣＵ５１の各種構成のうち、特に、画像処理装置として動作する部分の機能構成の一例について説明する。図７は、本実施形態に係る画像処理装置の機能構成の一例を示したブロック図である。

図７に示すように、本実施形態に係る画像処理装置５１０は、ＰＳＦ取得部５１１と、ＰＳＦ記憶部５１２と、制御部５１３と、重み付け制御部５１４と、ＰＳＦ算出部５１５と、選択部５１６と、画像処理部５１７とを含む。

ＰＳＦ取得部５１１は、図１に示す鏡筒１１や光学素子１２のように、カメラヘッド１３内の撮像素子に対して被写体像を結像する一連の光学系の特性を示す情報を、例えば、点像分布関数（ｐｓｆ）の測定結果に基づきＰＳＦ情報として取得するための構成である。ＰＳＦ情報の取得契機（即ち、ｐｓｆ測定の契機）としては、例えば、内視鏡１０の出荷時、検体の観察前（術前）、及び検体の観察中（術中）が挙げられる。なお、各契機においてＰＳＦ情報を取得する方法（即ち、ｐｓｆの測定方法）の詳細については、実施例として別途後述する。

ＰＳＦ取得部５１１は、検体の観察に使用される機器（例えば、カメラヘッド１３や、当該カメラヘッド１３に対して接続される鏡筒１１及び光学素子１２等の光学系）それぞれのｐｓｆの測定結果に基づき、当該機器に対応するＰＳＦ情報を取得する。また、このときＰＳＦ取得部５１１は、観察範囲の条件ごとに測定された各機器のｐｓｆに基づき、当該機器に対応するＰＳＦ情報を当該観察範囲の条件ごとに取得してもよい。

なお、観察範囲の条件としては、例えば、像高、光軸方向の距離、及び波長等の範囲の条件が挙げられる。なお、本説明において「像高」とは、使用される光学系の結像面内の位置に相当し、換言すると、当該光学系を使用して撮像される画像中の位置に相当する。なお、像高の範囲の条件としては、光学系の結像面内において互いに直交する方向（即ち、ｘ方向及びｙ方向）ごとに設定されていてもよい。また、本説明において「光軸方向の距離の範囲」とは、使用される光学系（例えば、鏡筒１１や光学素子１２等）と検体（被写体）との間の、当該光学系の光軸方向（以下、ｚ方向とする）に沿った距離の範囲に相当する。また、本説明において「波長の範囲」とは、光学系（例えば、鏡筒１１や光学素子１２等）により集光され撮像素子により撮像される光のうち、観察対象とする光の成分（例えば、分光成分）の波長の範囲を示している。

そして、ＰＳＦ取得部５１１は、取得した各機器に対応するＰＳＦ情報を、当該機器を示す識別情報や、ＰＳＦ測定時の観察範囲の条件を示す情報と関連付けて、ＰＳＦ記憶部５１２に記憶させる。なお、各機器を示す識別情報としては、例えば、当該機器の型番やシリアルナンバー（Ｓ／Ｎ）等が挙げられる。

ＰＳＦ記憶部５１２は、ＰＳＦ取得部５１１により取得されたＰＳＦ情報を記憶するための構成である。ＰＳＦ記憶部５１２は、例えば、所謂データベース（ＤＢ）として構成されていてもよい。ＰＳＦ記憶部５１２は、各機器（即ち、鏡筒１１、光学素子１２、カメラヘッド１３等）に対応するＰＳＦ情報を、当該機器を示す情報や、当該ＰＳＦ情報を取得するための条件（例えば、観察範囲の条件）を示す情報と関連付けて記憶する。より具体的な一例として、ＰＳＦ記憶部５１２は、鏡筒１１とカメラヘッド１３との組み合わせ、光学素子１２の装着の有無、及び当該光学素子１２の種類等のように、光学的な特性が変化する組み合わせごとにＰＳＦ情報を記憶してもよい。なお、この場合には、前述したＰＳＦ取得部５１１は、光学的な特性が変化する組み合わせごとにＰＳＦ情報を取得してもよい。

また、ＰＳＦ記憶部５１２は、記憶されたＰＳＦ情報を、選択的に出力可能に構成されている。具体的な一例として、ＰＳＦ記憶部５１２は、後述する制御部５１３から、各機器の識別情報の通知を受けて、当該識別情報が関連付けられたＰＳＦ情報を後述するＰＳＦ算出部５１５に出力する。

制御部５１３は、医療用画像処理システム１（特に、内視鏡１０）の各種動作を制御するための構成である。制御部５１３は、カメラヘッド１３、鏡筒１１、及び光学素子１２等のように医療用画像処理システム１に対して装着されている機器（即ち、検体の観察に使用される機器）に応じて、当該機器に対応するＰＳＦ情報の出力をＰＳＦ記憶部５１２に指示してもよい。この場合には、例えば、制御部５１３は、カメラヘッド１３、鏡筒１１、及び光学素子１２等の各機器を認識（例えば、各機器のメタ情報から取得する等）し、認識結果に応じて、当該機器に対応する識別情報をＰＳＦ記憶部５１２に通知してもよい。これにより、ＰＳＦ記憶部５１２は、出力対象となるＰＳＦ情報を、通知された識別情報に基づき抽出することが可能となる。なお、制御部５１３が、カメラヘッド１３、鏡筒１１、及び光学素子１２等の各機器を認識可能であれば、その方法は特に限定されない。例えば、制御部５１３は、各機器に記憶された識別情報を当該機器から取得することで、当該機器を認識してもよい。

重み付け制御部５１４及びＰＳＦ算出部５１５は、使用される機器に応じてＰＳＦ記憶部５１２から出力されるＰＳＦ情報に対して、検体の観察に関する条件に応じて重み付けを行うことで、当該条件に応じたＰＳＦ情報を算出するための構成である。

具体的には、重み付け制御部５１４は、検体の観察に関する各種条件に応じて、重み付けの対象とする範囲の条件（換言すると、観察範囲に関する条件）と、当該範囲における変調伝達関数（ＭＴＦ）の値（換言すると、ボケ量）を調整するための重みとに応じた分布関数を算出する。なお、観察範囲の条件としては、前述したように、観察対象とする光の成分の波長（λ）、画像中の領域（ｘ，ｙ）、及び奥行き方向（ｚ）等の範囲が挙げられる。

具体的には、重み付け制御部５１４は、観察対象とする光の成分（例えば、分光成分）に応じてＰＳＦ情報に対して重み付けを行う場合には、当該光の成分の波長（λ）に応じて、ボケ量を調整するための分布関数Ｃｈ（λ）を算出する。具体的な一例として、重み付け制御部５１４は、主に赤色成分（Ｒ）を対象として、ＰＳＦ情報に対して重み付けを行う場合には、例えば、赤色の画素（Ｒ画素）の感度を波長ごと重み付けするための分布関数Ｃｈ（λ）を算出してもよい。なお、以降の説明では、特に、赤色成分（Ｒ）、緑色成分（Ｇ）、青色成分（Ｂ）、赤外成分（ＩＲ）それぞれに対応する分布関数Ｃｈ（λ）を、Ｒ（λ）、Ｇ（λ）、Ｂ（λ）、及びＩＲ（λ）と称する場合がある。

例えば、図８は、ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明するための説明図であり、赤色成分に対応する分布関数Ｒ（λ）の一例を示している。図８において、横軸は波長（λ）を示しており、縦軸は感度を示している。なお、分布関数Ｒ（λ）は、Ｒ画素の感度のみに限らず、照明光の特性（照明光情報とも称する）や、光学系の特性を加味して算出してもよい。また、上記では、赤色成分に対応する分布関数Ｒ（λ）の例に着目して説明したが、その他の分光成分に対応する分布関数（即ち、分布関数Ｇ（λ）、Ｂ（λ）、及びＩＲ（λ））についても同様である。

なお、各分光成分それぞれに対応する分布関数を算出可能であれば、当該分布関数の算出方法は必ずしも上記に示す例には限定されない。例えば、赤外光に対応する画素（ＩＲ画素）が設けられていない撮像素子が適用されている場合においても、例えば、Ｒ画素、Ｇ画素、及びＢ画素それぞれにおける赤外光（ＩＲ）の感度に応じて、当該各画素の感度を波長ごとに重み付けするための分布関数を、赤外成分（ＩＲ）に対応する分布関数ＩＲ（λ）として算出すればよい。

また、重み付け制御部５１４は、奥行き方向（即ち、光軸方向）の位置に応じてＰＳＦ情報に対して重み付けを行う場合には、奥行き方向（即ち、ｚ方向）の位置に応じて、ボケ量を調整するための分布関数ａ（ｚ）を算出する。

例えば、図９は、ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明するための説明図であり、奥行き方向の位置に応じて重み付けを行うための分布関数ａ（ｚ）の一例を示している。図９において、横軸は合焦位置を基準とした光軸方向（ｚ方向）のズレ（即ち、デフォーカス量）を示しており、縦軸は重みの大きさを示している。図９において、分布関数ａ_１１（ｚ）は、合焦位置を基準とした光軸方向の所定の範囲を対象として、変調伝達関数（ＭＴＦ）の値に対して一様に重みを加える場合の分布関数の一例を示している。また、分布関数ａ_１２（ｚ）は、合焦位置を基準とした光軸方向の位置に応じて加える重みを変化させる場合の分布関数の一例を示している。より具体的には、分布関数ａ_１２（ｚ）は、合焦位置においては、変調伝達関数（ＭＴＦ）の改善を行わず、合焦位置の前後において変調伝達関数（ＭＴＦ）をより改善するための分布関数に相当する。即ち、分布関数ａ_１２（ｚ）を利用することで、分布関数ａ_１１（ｚ）を適用した場合に比べて、例えば、合焦位置の前後に生じたボケが改善されるため、被写界深度をより広げることが可能となる。

また、重み付け制御部５１４は、画像中の領域（換言すると、像高）に応じてＰＳＦ情報に対して重み付けを行う場合には、画像中の領域（即ち、ｘ方向及びｙ方向）に応じて、ボケ量を調整するための分布関数ｄ（ｘ，ｙ）を算出する。

例えば、図１０は、ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明するための説明図であり、画像中の領域に応じてＰＳＦ情報に対して重み付けを行うための分布関数ｄ（ｘ，ｙ）の一例を示している。図１０において、上側のグラフは、画像中における分布関数ｄ（ｘ，ｙ）の分布を模式的に示したグラフであり、横軸は当該画像の横方向の位置（ｘ）を示しており、縦軸は当該画像の縦方向の位置（ｙ）を示している。また、下側のグラフは、上側のグラフにおいて破線で示した部分における分布関数ｄ（ｘ，ｙ）をｘ方向に沿って示したグラフであり、横軸は上側のグラフと同様に画像の横方向の位置（ｘ）を示しており、縦軸は重みを示している。

また、検体の観察に関する条件としては、例えば、手術の術式に応じて選択された観察モード、カメラヘッド１３による検体の撮像における所定のＡＦ（Auto Focus）方式に基づく焦点検出の制御状態、及び、当該焦点検出のための検波の状態等が挙げられる。

例えば、重み付け制御部５１４は、手術の術式等に応じて選択された観察モードに基づき、被写界深度をより広げる方が望ましいか、もしくは、解像感をより良くする方が望ましいかを判断してもよい。この場合には、重み付け制御部５１４は、当該判断結果に基づき、ＰＳＦ情報に対して奥行き方向の位置に応じて重み付けを行うための分布関数ａ（ｚ）を算出する。また、他の一例として、重み付け制御部５１４は、特殊光観察等のような観察方法に応じて選択された観察モードに基づき、少なくとも一部の分光成分を対象として、ＰＳＦ情報に対して光の成分の波長に応じて重み付けを行うための分布関数Ｃｈ（λ）を算出してもよい。特殊光観察の例としては、例えば、近赤外蛍光観察等が挙げられる。また、このとき重み付け制御部５１４は、複数の分光成分を対象として、当該分光成分ごとに分布関数Ｃｈ（λ）を算出してもよい。なお、検体の観察に関する各種条件と、上述した各種分布関数との関係のより具体的な一例については、実施例として別途後述する。

以上のようにして、重み付け制御部５１４は、検体の観察に関する条件に応じて分布関数を算出し、算出した分布関数をＰＳＦ算出部５１５に出力する。

ＰＳＦ算出部５１５は、重み付け制御部５１４から、検体の観察に関する条件に応じて算出された分布関数を取得する。また、ＰＳＦ算出部５１５は、検体の観察に使用される機器に応じたＰＳＦ情報（以降では、「機器ごとのＰＳＦ情報」とも称する）を、ＰＳＦ記憶部５１２から取得する。そして、ＰＳＦ算出部５１５は、取得した機器ごとのＰＳＦ情報に対して、取得した分布関数に基づき重み付けを行うことで、検体の観察に関する条件に応じた新たなＰＳＦ情報を算出する。

なお、ＰＳＦ算出部５１５は、観察対象とする光の成分の波長（λ）、画像中の領域（ｘ，ｙ）、及び奥行き方向（ｚ）等の範囲の条件（即ち、観察範囲の条件）ごとに、新たなＰＳＦ情報を算出してもよい。

例えば、以下に示す（式１）は、機器ごとのＰＳＦ情報に対して、主に赤色成分（Ｒ）を対象として、光の成分の波長（λ）に応じた重み付けを行うことで、検体の観察に関する条件に応じた新たなＰＳＦ情報を算出する場合の一例を示している。なお、（式１）において、ｐｓｆ（λ，ｘ，ｙ，ｚ）は、機器ごとのＰＳＦ情報を示している。また、Ｒ（λ）は、前述した、赤色成分に対応する分布関数を示している。

また、（式１）に示したｐｓｆ＿Ｒ（ｘ，ｙ，ｚ）に対して、さらに、奥行き方向に応じた分布関数に基づき重み付けが行われてもよい。例えば、以下に示す（式２）は、上述した（式１）に基づき算出されるＰＳＦ情報（即ち、ｐｓｆ＿Ｒ（ｘ，ｙ，ｚ））に対して、さらに奥行き方向に応じた分布関数ａ（ｚ）に基づき重み付けを行った場合の一例を示している。

なお、上述では、（式１）及び（式２）に基づき、主に赤色成分（Ｒ）を対象として重み付けを行うことで、新たなＰＳＦ情報を算出する場合の一例について説明したが、他の分光成分についても同様である。即ち、ｐｓｆ（λ，ｘ，ｙ，ｚ）に対して、緑色成分に対応する分布関数Ｇ（λ）と、奥行き方向に応じた分布関数ａ（ｚ）とに基づき重み付けを行うことで、緑色成分（Ｇ）に対応する新たなＰＳＦ情報として、ｐｓｆ＿Ｇ（ｘ，ｙ）を算出することが可能である。同様に、青色成分（Ｂ）に対応するｐｓｆ＿Ｂ（ｘ，ｙ）や、赤外成分（ＩＲ）に対応するｐｓｆ＿ＩＲ（ｘ，ｙ）を算出することも可能である。このようにして分光成分ごとに算出されたＰＳＦ情報（即ち、ｐｓｆ＿Ｒ（ｘ，ｙ，ｚ）、ｐｓｆ＿Ｇ（ｘ，ｙ，ｚ）、ｐｓｆ＿Ｂ（ｘ，ｙ，ｚ）、及びｐｓｆ＿ＩＲ（ｘ，ｙ，ｚ））は、例えば、後述する画像処理部５１７により、カメラヘッド１３により撮像された画像に対して、分光成分ごとに変調伝達関数（ＭＴＦ）の値の低下（即ち、ボケ）に対する復元処理を行う場合に用いられる。

また、ＰＳＦ算出部５１５は、分光成分に限らず画像中の位置（ｘ，ｙ）に応じて、変調伝達関数（ＭＴＦ）の値の低下（即ち、ボケ）に対する復元処理を行うためのＰＳＦ情報として、ｐｓｆ（ｘ，ｙ）を、上述した分光成分ごとに当該復元処理を行うためのＰＳＦ情報に基づき算出してもよい。例えば、ｐｓｆ（ｘ，ｙ）は、以下に示す（式３）に基づき算出される。

また、ＰＳＦ算出部５１５は、画像中の位置（ｘ，ｙ）に限らず、変調伝達関数（ＭＴＦ）の値の低下（即ち、ボケ）に対する復元処理を一様に行う場合のＰＳＦ情報として、ｐｓｆを、上述した画像中の位置（ｘ，ｙ）に応じて当該復元処理を施すためのＰＳＦ情報に基づき算出してもよい。例えば、ｐｓｆは、以下に示す（式４）に基づき算出される。なお、（式４）において、ｄ（ｘ，ｙ）は、前述した、画像中の位置に応じて重み付けを行うための分布関数である。

以上のようにして、ＰＳＦ算出部５１５は、機器ごとのＰＳＦ情報に対して、検体の観察に関する条件に応じた分布関数に基づき重み付けを行うことで、当該条件に応じたＰＳＦ情報を新たに算出する。そして、ＰＳＦ算出部５１５は、算出したＰＳＦ情報を選択部５１６に出力する。なお、このときＰＳＦ算出部５１５は、（式１）〜（式４）に基づき上述したように、観察範囲の条件に応じて算出した各ＰＳＦ情報それぞれを選択部５１６に出力してもよい。また、ＰＳＦ算出部５１５は、重み付けが施されていない機器ごとのＰＳＦ情報（即ち、上述したｐｓｆ（λ，ｘ，ｙ，ｚ））を、選択部５１６に出力してもよい。

選択部５１６は、ＰＳＦ算出部５１５から、検体の観察に関する各種条件に応じて算出された１以上のＰＳＦ情報を取得し、取得した１以上のＰＳＦ情報の中から、少なくとも一部のＰＳＦ情報を所定の条件に基づき選択する。

例えば、選択部５１６は、特殊光観察の種類や手術の術式等に応じて選択された観察モードに基づき、より好適な態様で検体の観察を可能とするＰＳＦ情報を選択してもよい。より具体的には、選択部５１６は、特殊光観察の種類に応じて、特定の分光成分に対して復元処理が施されるようにＰＳＦ情報を選択してもよい。また、他の一例として、選択部５１６は、手術の術式に応じて、被写界深度をより拡大するためのＰＳＦ情報を選択してもよいし、検体がより鮮明に提示された画像（即ち、解像感の良い画像）を取得するためのＰＳＦ情報を選択してもよい。また、医療用画像処理システム１が使用される診療科に応じて術式等が異なる場合もあるため、例えば、選択部５１６は、当該診療科を示す情報に応じて、ＰＳＦ情報を選択してもよい。もちろん、選択部５１６は、ユーザからの明示的な指定を受けて、指定されたＰＳＦ情報を選択してもよい。

また、選択部５１６は、検体の観察に関する状態や状況に応じて、適応的にＰＳＦ情報を切り替えてもよい。具体的な一例として、選択部５１６は、撮像された画像の解析結果に基づき、被写体（検体や患部）の種別、形状、色等に応じて、ＰＳＦ情報を選択してもよい。なお、この場合には、画像処理装置５１０の構成として、撮像された画像に対して解析処理を施すための構成が設けられていてもよい。

また、本実施形態に係る医療用画像処理システム１を、被写体の立体像を観察することが可能な観察システムとして構成する場合には、選択部５１６は、例えば、互いに異なる視点（即ち、右眼及び左眼）それぞれに対応する画像間の視差値の変化に応じてＰＳＦ情報を選択してもよい。なお、この場合には、例えば、各視点に対応する画像を撮像するための構成（即ち、鏡筒１１内の光学系や、カメラヘッド１３内の撮像素子）が設けられていてもよい。また、画像処理装置５１０の構成として、撮像された各視点に対応する画像間の視差値を算出する構成が設けられていてもよい。

そして、選択部５１６は、選択したＰＳＦ情報を画像処理部５１７に出力する。

画像処理部５１７は、選択部５１６からＰＳＦ情報を取得し、カメラヘッド１３により撮像された画像を入力画像として、当該入力画像に対して取得したＰＳＦ情報に基づき復元処理を施すことで、被写体像の画像の劣化（即ち、ボケ）を改善する。当該復元処理としては、例えば、所謂デコンボリューションと称される処理が挙げられる。より具体的な一例として、画像処理部５１７は、入力画像に対して取得したＰＳＦ情報の逆特性に基づく画像処理（例えば、フィルタ処理）を施すことで、当該ＰＳＦ情報が示す光学的特性に応じて生じる画像の劣化（ボケ）を復元する。もちろん、ＰＳＦ情報に基づき、被写体像の画像の劣化を改善することが可能であれば、入力画像に対して施される復元処理は、必ずしもデコンボリューションのみには限定されない。なお、画像処理部５１７により復元処理が施された画像は、例えば、図１に示す表示装置５３を介してユーザに提示される。

以上のような構成により、本実施形態に係る画像処理装置５１０に依れば、観察環境、観察対象、及び観察方法等のような検体の観察に関する条件に応じて、より好適な態様で当該検体を観察することが可能な画像を取得することが可能となる。より具体的には、例えば、図４〜図６を参照して説明した、光学素子１２の挿入に伴う変調伝達関数（ＭＴＦ）の劣化を改善し、被写界深度がより拡張されたＥＤＯＦ（Extended Depth of Field）画像を取得することが可能となる。また、特殊光観察を行う場合においても、観察対象とする分光成分に応じて、被写体像の画像の劣化が改善された画像を取得することが可能となる。

なお、図７に示した機能構成はあくまで一例であり、上述した画像処理装置５１０の各構成の動作を実現することが可能であれば、当該画像処理装置５１０の機能構成は必ずしも図７に示す例のみには限定されない。具体的な一例として、上述した画像処理装置５１０の各構成のうち一部の構成が当該画像処理装置５１０の外部に設けられていてもよい。より具体的な一例として、ＰＳＦ取得部５１１やＰＳＦ記憶部５１２が、画像処理装置５１０に対してネットワークを介して接続された外部装置（例えば、サーバ等）に設けられていてもよい。また、画像処理装置５１０は、例えば、図１を参照して説明した内視鏡１０に設けられていてもよい。

以上、図７〜図１０を参照して、図１に示したＣＣＵ５１の構成のうち、特に、画像処理装置として動作する部分の機能構成の一例について説明した。

＜３．２．画像処理装置の処理＞
次いで、図１１を参照して、本実施形態に係る画像処理装置５１０の一連の処理の流れの一例について説明する。図１１は、本実施形態に係る画像処理装置５１０の一連の処理の流れの一例について示したフローチャートである。

図１１に示すように、画像処理装置５１０（ＰＳＦ取得部５１１）は、検体の観察に使用される機器ごとのｐｓｆの測定結果に基づき、当該機器に対応するＰＳＦ情報を取得する。このとき、画像処理装置５１０は、観察に関する条件ごとに測定された当該機器のｐｓｆに基づき、当該機器に対応するＰＳＦ情報を当該観察範囲の条件ごとに取得してもよい。そして、画像処理装置５１０は、取得した各機器に対応するＰＳＦ情報を、当該機器を示す識別情報や、ＰＳＦ測定時の観察に関する条件を示す情報と関連付けて記憶する（Ｓ１０１）。

次いで、画像処理装置５１０（重み付け制御部５１４）は、検体の観察に関する条件に応じて、重み付けの対象とする範囲の条件と、当該範囲における変調伝達関数（ＭＴＦ）の値（換言すると、ボケ量）を調整するための重みとに応じた分布関数を算出する（Ｓ１０３）。なお、当該条件に応じた分布関数の算出方法については、重み付け制御部５１４の動作として前述したため、詳細な説明は省略する。

次いで、画像処理装置５１０（ＰＳＦ算出部５１５）は、検体の観察に使用される機器に対応するＰＳＦ情報に対して、検体の観察に関する条件に応じて算出された分布関数に基づき重み付けを行うことで、当該条件に応じた新たなＰＳＦ情報を算出する（Ｓ１０５）。なお、このとき画像処理装置５１０は、観察対象とする光の成分の波長（λ）、画像中の領域（ｘ，ｙ）、及び奥行き方向（ｚ）等の範囲の条件（即ち、観察範囲の条件）ごとに、新たなＰＳＦ情報を算出してもよい。なお、当該条件に応じたＰＳＦ情報の算出方法については、ＰＳＦ算出部５１５の動作として前述したため、詳細な説明は省略する。

次いで、画像処理装置５１０（選択部５１６）は、検体の観察に関する各種条件に応じて算出された１以上のＰＳＦ情報の中から、少なくとも一部のＰＳＦ情報を所定の条件に基づき選択する（Ｓ１０７）。例えば、画像処理装置５１０は、選択された観察モードに応じて、ＰＳＦ情報を選択してもよい。また、他の一例として、画像処理装置５１０は、ユーザからの明示的な指定を受けて、指定されたＰＳＦ情報を選択してもよい。また、他の一例として、画像処理装置５１０は、検体の観察に関する状態や状況に応じて、適応的にＰＳＦ情報を切り替えてもよい。

そして、画像処理装置５１０（画像処理部５１７）は、カメラヘッド１３により撮像された画像を入力画像として、当該入力画像に対して選択したＰＳＦ情報に基づき、被写体像の画像の劣化（即ち、ボケ）に対しデコンボリューション等の復元処理を施すことで、画像を復元する（Ｓ１０９）。なお、画像処理部５１７により復元処理が施された画像は、例えば、所定の表示装置を介してユーザに提示される。

以上、図１１を参照して、本実施形態に係る画像処理装置５１０の一連の処理の流れの一例について説明した。

＜＜４．実施例＞＞
続いて、本実施形態の実施例について説明する。

＜４．１．実施例１：機器ごとのＰＳＦ情報の取得＞
まず、実施例１として、検体の観察に使用される機器ごとにｐｓｆを測定することで、当該機器に対応するＰＳＦ情報を取得するための方法の一例について説明する。

（実施例１−１：出荷前に取得する方法）
まず、実施例１−１として、図１２を参照して、図１に示す鏡筒１１、光学素子１２、及びカメラヘッド１３等の一連の機器の出荷前に、当該機器に対応するＰＳＦ情報を取得するための構成及び方法の一例について説明する。図１２は、本実施形態の実施例１−１に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。

図１２に示す例では、鏡筒１１の先端に対して計測用治具８１を装着し、当該鏡筒１１を介して計測用治具８１内の画像を撮像することで、当該鏡筒１１のｐｓｆを測定する。

計測用治具８１内には、例えば、参照符号８１１に示すように円が描かれた透明な円盤が、計測用治具８１に装着される鏡筒１１の光軸方向（即ち、ｚ方向）に沿って複数枚設置されている。このとき、複数の円盤それぞれには、例えば、互いに異なる半径で円が描かれている。このような構成により、鏡筒１１を介して計測用治具８１内を撮像した場合に、各円盤に描かれた円が互いに重畳せずに撮像されることとなる。以上のような構成により、撮像された画像中の各円盤の円のボケ量に応じて、奥行き方向（ｚ方向）の位置に応じたｐｓｆを測定することが可能となる。

なお、参照符号８１１として示した例では、各円盤に対して１つの円が描かれている場合の一例を示したが、各円盤に対して互いに半径の異なる円が同心円状に複数描かれていてもよい。このような構成により、例えば、奥行き方向（即ち、ｚ方向）の位置ごとに、撮像される画像中の位置（即ち、ｘｙ平面上の位置）に応じたｐｓｆ（ｘ，ｙ，ｚ）を測定することが可能となる。また、照明光の波長λを変えながら計測用治具８１内の画像を撮像することで、当該波長λごとに撮像された画像に基づき、光の成分の波長λごとのｐｓｆ（λ，ｘ，ｙ，ｚ）を測定することが可能となる。

また、参照符号８１３に示すように、計測用治具８１内には、グリッドが描かれた円盤が、計測用治具８１に装着される鏡筒１１の光軸方向（即ち、ｚ方向）に沿って移動可能に設けられている。なお、円盤を光軸方向に沿って移動させるための構成は特に限定されない。例えば、円盤は手動により移動可能に構成されていてもよいし、モータ等の駆動部を駆動させることで電動により移動可能に構成されていてもよい。このような構成のもと、グリッドが描かれた円盤をｚ方向に沿って移動させ、当該ｚ方向に沿った位置ごとに、計測用治具８１内の画像を撮像する。これにより、撮像された画像中の各位置（即ち、ｘｙ平面上の位置）におけるグリッドのボケ量に応じて、奥行き方向（ｚ方向）の位置ごとに、撮像される画像中の位置に応じたｐｓｆ（ｘ，ｙ，ｚ）を測定することが可能となる。

また、参照符号８１３として示した例においても、照明光の波長λを変えながら計測用治具８１内の画像を撮像することで、当該波長λごとに撮像された画像に基づき、光の成分の波長λごとのｐｓｆ（λ，ｘ，ｙ，ｚ）を測定することが可能となる。

また、鏡筒１１に対して、例えば、前述したような光学素子１２やカメラヘッド１３を装着して計測用治具８１内の画像を撮像することで、撮像された画像に基づき、当該鏡筒１１、光学素子１２、及びカメラヘッド１３の一連の機器のｐｓｆを測定することも可能である。

なお、以上のようにして測定されたｐｓｆに基づくＰＳＦ情報は、例えば、図７を参照して説明したＰＳＦ記憶部５１２に記憶させておけばよい。

以上、図１２を参照して、図１に示す鏡筒１１、光学素子１２、及びカメラヘッド１３等の一連の機器の出荷前に、当該機器に対応するＰＳＦ情報を取得するための構成及び方法の一例について説明した。

（実施例１−２：術前に取得する方法）
次いで、実施例１−２として、図１３及び図１４を参照して、術前等のように、図１２に示す例に比べてｐｓｆの測定自体に時間を割くことが困難な状況下において、より簡易的に機器のｐｓｆを測定し、ＰＳＦ情報を取得するための構成及び方法の一例について説明する。図１３及び図１４は、本実施形態の実施例１−２に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。

例えば、図１３に示す例では、直交するグリッド８３１が描かれたプレート８３の画像を、鏡筒１１を介して撮像部（例えば、カメラヘッド）に撮像させ、撮像された画像（所謂プレビュー画像）を表示装置５３に表示させる。これにより、表示装置５３の画面には、グリッド８３１の画像ｖ２１が表示される。また、表示装置５３の画面には、プレート８３と鏡筒１１とが所定の位置関係となった場合にグリッド８３１の画像ｖ２１に略一致する調整ガイドｖ２３が、画面に表示される画像上に重畳するように画面内の所定の位置に表示される。そして、プレート８３または鏡筒１１の位置の調整により、グリッド８３１の画像ｖ２１が調整ガイドｖ２３にあわせられて後に、当該グリッド８３１の画像を鏡筒１１を介して撮像部に撮像させる。以上のような構成及び手順により、鏡筒１１とグリッド８３１とが所定の位置関係にある場合の当該グリッド８３１の画像が取得され、当該画像中各位置（即ち、ｘｙ平面上の位置）におけるグリッド８３１のボケ量に応じて、撮像される画像中の位置に応じたｐｓｆ（ｘ，ｙ）を測定することが可能となる。なお、鏡筒１１とプレート８３（即ち、グリッド８３１）との間の奥行き方向（即ち、ｚ方向）の距離については、グリッド８３１のサイズが既知であれば、調整ガイドｖ２３の大きさに応じて一意に決定されることは言うまでもない。

また、画面に表示される調整ガイドｖ２３に応じて、グリッド８３１の画像ｖ２１が当該調整ガイドｖ２３に略一致するための、鏡筒１１とプレート８３との間の奥行き方向の距離が異なる。そのため、このような特性を利用することで、奥行き方向（ｚ方向）の位置に応じたｐｓｆ（ｘ，ｙ，ｚ）を測定することも可能である。具体的には、調整ガイドｖ２３の表示サイズを適宜変更し、その都度、当該調整ガイドｖ２３にグリッド８３１の画像ｖ２１があわせられた状態で、当該グリッド８３１の画像を鏡筒１１を介して撮像部に撮像させる。これにより、調整ガイドｖ２３の表示サイズと、撮像された画像中におけるグリッド８３１のボケ量とに基づき、奥行き方向の位置に応じたｐｓｆ（ｘ，ｙ，ｚ）を測定することが可能となる。なお、光学ズームを使用する場合は、そのレンズ位置や倍率によってｐｓｆ（ｘ，ｙ，ｚ）が変化する。そのため、その場合は、制御部５１３はカメラヘッド１３から光学ズームに関する情報（レンズ位置や倍率等）を取得し、その情報に基づき、ｐｓｆ（ｘ，ｙ，ｚ）を算出する。

また、図１２を参照して説明した例と同様に、照明光の波長λを変えてプレート８３の画像を撮像することで、当該波長λごとに撮像された画像に基づき、光の成分の波長λごとのｐｓｆ（λ，ｘ，ｙ，ｚ）を測定することも可能である。

次いで、図１４に着目する。図１４に示す例では、プレート８５には、当該プレート８５を所定の角度から見た場合に、直交するグリッドに見えるように歪みが加えられたグリッド８５１が描かれている。即ち、プレート８５に対して所定の角度から、当該プレート８５の画像を鏡筒１１を介して撮像部に撮像させ、撮像された画像（所謂プレビュー画像）を表示装置５３に表示させることで、当該表示装置５３の画面には、直交するグリッドの画像ｖ２１が表示される。図１４に示す例では、このような特性を利用し、図１３に示す例と同様に、撮像されたグリッド８５１（即ち、直交するグリッド）の画像ｖ２１が調整ガイドｖ２３にあわせられた後に、当該グリッド８５１の画像を撮像部に撮像させるとよい。これにより、撮像された画像中におけるグリッド８５１のボケ量に基づきｐｓｆを測定することが可能となる。なお、このとき撮像されるグリッド８５１の画像は、画像中の位置（即ち、ｘｙ平面上の位置）に応じて、当該グリッド８５１の実空間上における奥行き方向（即ち、ｚ方向）の位置が異なる。そのため、図１４に示す例では、１回の撮像により、合焦位置の前後の位置（奥行き方向の位置）におけるｐｓｆをあわせて測定することが可能である。

なお、図１４に示す例においても、図１３に示す例と同様に、奥行き方向（ｚ方向）の位置に応じたｐｓｆ（ｘ，ｙ，ｚ）を測定してもよい。具体的には、調整ガイドｖ２３の表示サイズを適宜変更し、その都度、当該調整ガイドｖ２３にグリッド８５１の画像ｖ２１が合わせられた状態で、当該グリッド８５１の画像を鏡筒１１を介して撮像部に撮像させればよい。これにより、調整ガイドｖ２３の表示サイズと、撮像された画像中におけるグリッド８５１のボケ量とに基づき、奥行き方向の位置に応じたｐｓｆ（ｘ，ｙ，ｚ）を測定することが可能となる。また、照明光の波長λを変えてプレート８３の画像を撮像することで、当該波長λごとに撮像された画像に基づき、光の成分の波長λごとのｐｓｆ（λ，ｘ，ｙ，ｚ）を測定することも可能である。

以上、図１３及び図１４を参照して、術前等のように、図１２に示す例に比べてｐｓｆの測定自体に時間を割くことが困難な状況下において、より簡易的に機器のｐｓｆを測定し、当該ＰＳＦ情報を取得するための構成及び方法の一例について説明した。なお、本説明では、出荷前、術前と分けて記載したが、どちらの方法も、出荷前、術前に限定されるものではなく、術中以外の時であれば、いつこれらの方法が用いられても構わない。

（実施例１−３：術中に取得する方法）
次いで、実施例１−３として、図１５を参照して、術中にｐｓｆを測定することでＰＳＦ情報を取得するための構成及び方法の一例について説明する。図１５は、本実施形態の実施例１−３に係る内視鏡装置における、ＰＳＦ情報の取得方法の一例について説明するための説明図である。

実施例１−３では、例えば、術中に鉗子等の治具の画像を撮像し、撮像された画像に基づきｐｓｆを測定する。より具体的な一例として、図１５に示す例では、グリッドが描かれた鉗子８７を用い、当該鉗子８７の画像を鏡筒１１を介してカメラヘッド１３に撮像させる。鉗子８７に描かれたグリッドの画像中におけるサイズは、鉗子８７と鏡筒１１との間の奥行き方向（即ち、ｚ方向）の距離に応じて変化する。そのため、撮像された画像中のグリッドのボケ量に基づきｐｓｆを測定し、当該画像中におけるグリッドのサイズから、鉗子８７と鏡筒１１との間の奥行き方向（即ち、ｚ方向）の距離を逆算することで、奥行き方向（ｚ方向）の位置に応じたｐｓｆ（ｚ）を測定することが可能となる。

なお、鉗子８７と鏡筒１１との間の奥行き方向（即ち、ｚ方向）の距離を算出することが可能であれば、ｐｓｆの測定のための画像の撮像対象は、必ずしも、図１５に示す例のように、グリッドが描かれた鉗子８７のみには限定されない。例えば、鉗子の各部のうちサイズが既知の一部の画像を撮像し、当該画像中における当該鉗子の一部のエッジ間の間隔に基づき、鉗子８７と鏡筒１１との間の奥行き方向（即ち、ｚ方向）の距離を算出してもよい。また、この場合においては、撮像された画像中の当該鉗子の一部のエッジのボケ量に応じてｐｓｆを測定してもよい。

以上、実施例１−３として、図１５を参照して、術中にｐｓｆを測定することでＰＳＦ情報を取得するための構成及び方法の一例について説明した。

＜４．２．実施例２：各種条件に応じたＰＳＦ情報の算出例＞
続いて、実施例２として、検体の観察に関する条件に応じた分布関数を算出や、当該分布関数に応じてＰＳＦ情報に対する重み付け等の、当該条件に応じたＰＳＦ情報の算出に係る制御の一例について、具体的なシーンの一例としてあわせて説明する。

（実施例２−１：被写体の細かさに応じた制御）
まず、実施例２−１として、図１６を参照して、合焦位置における被写体の細かさに応じて、ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明する。図１６は、実施例２−１に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。なお、以降の説明では、所定のＡＦ（Auto Focus）方式に基づく焦点検出のための検波値を、「ＡＦ検波値」とも称する。なお、焦点検出は、画像内のコントラスト情報、輝度情報、エッジ情報等に基づき行われる。

図１６において、上側の２図は、合焦位置におけるＡＦ検波値が比較的大きい場合の一例を示しており、換言すると、合焦位置と、当該合焦位置の周囲との間における、ＡＦ検波値の差が比較的大きい場合の一例に相当する。これに対して、下側の２図は、合焦位置におけるＡＦ検波値が比較的小さい場合の一例を示しており、換言すると、合焦位置と、当該合焦位置の周囲との間における、ＡＦ検波値の差が比較的小さい場合の一例に相当する。

より具体的には、左上の図は、合焦位置におけるＡＦ検波値が比較的大きい場合における、画像中におけるＡＦ検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるＡＦ検波値を示している。なお、図中に付された数値がより高いほど、検波値がより高く、被写体がより鮮鋭に撮像されていることを示している。この場合には、合焦位置におけるＡＦ検波値が、当該合焦位置の周囲に比べて比較的高いことから、より細かい被写体を撮像していることがわかる。このようなケースにおいては、画像処理装置５１０は、例えば、合焦位置の被写体をより鮮鋭に提示させるように、ＰＳＦ情報に対して奥行き方向（ｚ方向）の位置に応じて重み付けを行うための分布関数ａ（ｚ）を算出してもよい。例えば、右上の図に示した分布関数ａ_２１（ｚ）は、合焦位置の被写体をより鮮鋭に提示させるために、積分範囲がより狭くなるように算出された分布関数ａ（ｚ）の一例を示している。なお、本説明では、奥行き方向（ｚ方向）に着目して説明しているが、例えば、波長（λ）や、画像中の領域（即ち、ｘ方向及びｙ方向）の積分範囲がより狭くなるように、所望の分布関数を算出してもよい。

また、左下の図は、合焦位置におけるＡＦ検波値が比較的小さい場合における、画像中におけるＡＦ検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるＡＦ検波値を示している。この場合には、合焦位置と、当該合焦位置の周囲との間における、ＡＦ検波値の差が比較的小さいことから、上側の例に比べて、より粗い被写体を撮像していることがわかる。このようなケースにおいては、画像処理装置５１０は、例えば、被写界深度をより拡大されるように、ＰＳＦ情報に対して奥行き方向（ｚ方向）の位置に応じて重み付けを行うための分布関数ａ（ｚ）を算出してもよい。例えば、右下の図に示した分布関数ａ_２２（ｚ）は、被写界深度をより拡大させるために、積分範囲がより広くなるように算出された分布関数ａ（ｚ）の一例を示している。なお、本説明では、奥行き方向（ｚ方向）に着目して説明しているが、例えば、波長（λ）や、画像中の領域（即ち、ｘ方向及びｙ方向）の積分範囲がより広くなるように、所望の分布関数を算出してもよい。

以上のような制御により、画像中に撮像された被写体の細かさに応じて、より好適な態様で当該被写体を観察することが可能となるように、当該画像に対して復元処理を施すことが可能となる。なお、上記に説明した例はあくまで一例であり、画像中に撮像された被写体の細かさに応じてボケ量を制御することが可能であれば、処理の内容は、必ずしも上記に示す例のみには限定されないことは言うまでもない。

以上、実施例２−１として、図１６を参照して、合焦位置における被写体の細かさに応じて、ＰＳＦ情報に対して重み付けを行うための分布関数の一例について説明した。

（実施例２−２：合焦の度合いに応じた制御）
次いで、実施例２−２として、図１７及び図１８を参照して、画像中の各位置における合焦の度合いに応じた分布関数の算出方法の一例について説明する。図１７及び図１８は、実施例２−２に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。

まず、図１７に着目する。図１７に示す各図のうち、左側の図は、画像中におけるＡＦ検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるＡＦ検波値を示している。即ち、図１７に示す例では、参照符号Ｐ１１及びＰ１３で示された各領域のうち、領域Ｐ１１のＡＦ検波値が最も高く、当該領域Ｐ１１が合焦位置に相当する。

また、図１７に示す各図のうち、中央の図は、合焦位置の被写体がより鮮鋭に提示された画像を取得する場合における、画像中の領域に応じて重み付けを行うための分布関数ｄ（ｘ，ｙ）を模式的に示した図である。なお、以降の説明では、合焦位置の被写体がより鮮鋭に提示された画像を取得するためのモードを、「合焦優先モード」と称する場合がある。また、右側の図は、合焦位置の周囲のボケを改善することで被写界深度がより拡大された画像を取得する場合における、画像中の領域に応じて重み付けを行うための分布関数ｄ（ｘ，ｙ）を模式的に示した図である。なお、以降の説明では、合焦位置の周囲のボケを改善することで被写界深度がより拡大された画像を取得するためのモードを、「ボケ改善優先モード」と称する場合がある。

図１７に示す例では、画像処理装置５１０を合焦優先モードで動作させる場合には、例えば、中央の図に示すように、合焦位置に相当する領域Ｐ１１における重みがより高くなるように、分布関数ｄ（ｘ，ｙ）を算出すればよい。また、画像処理装置５１０をボケ改善優先モードで動作させる場合には、例えば、右側の図に示すように、合焦位置の周囲の領域Ｐ１３における重みがより高くなるように、分布関数ｄ（ｘ，ｙ）を算出すればよい。

次いで、図１８に着目する。図１８に示す各図のうち、左側の図は、画像中におけるＡＦ検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるＡＦ検波値を示している。即ち、図１８に示す例では、参照符号Ｐ１１及びＰ１３で示された各領域のうち、領域Ｐ１３のＡＦ検波値が最も高く、当該領域Ｐ１３が合焦位置に相当する。また、中央の図は、画像処理装置５１０を合焦優先モードで動作させる場合における、画像中の領域に応じて重み付けを行うための分布関数ｄ（ｘ，ｙ）を模式的に示した図である。また、右側の図は、画像処理装置５１０をボケ改善優先モードで動作させる場合における、画像中の領域に応じて重み付けを行うための分布関数ｄ（ｘ，ｙ）を模式的に示した図である。

図１８に示す例では、画像処理装置５１０を合焦優先モードで動作させる場合には、例えば、中央の図に示すように、合焦位置に相当する領域Ｐ１３における重みがより高くなるように、分布関数ｄ（ｘ，ｙ）を算出すればよい。また、画像処理装置５１０をボケ改善優先モードで動作させる場合には、例えば、右側の図に示すように、合焦位置の周囲の領域Ｐ１１における重みがより高くなるように、分布関数ｄ（ｘ，ｙ）を算出すればよい。

以上のような制御により、画像中に撮像された各被写体のうち、観察者（ユーザ）がより注目している対象（即ち、焦点が合わせられた対象）に応じて、当該画像に対して所望復元処理を施すことが可能となる。なお、上記に説明した例はあくまで一例であり、画像中の各位置における合焦の度合いに応じてボケ量を制御することが可能であれば、処理の内容は、必ずしも上記に示す例のみには限定されないことは言うまでもない。また、上記制御が実現可能であれば、その方法についても限定されない。例えば、画像中のフォーカスの状況に応じたフォーカス位置情報と、フォーカス位置の光軸方向の距離を示すフォーカス距離情報と、及びフォーカスレンズ位置情報とのうち、少なくともいずれかに応じて分布関数ｄ（ｘ，ｙ）が算出されてもよい。

以上、実施例２−２として、図１７及び図１８を参照して、画像中の各位置における合焦の度合いに応じた分布関数の算出方法の一例について説明した。

（実施例２−３：色ごとの制御）
次いで、実施例２−３として、図１９を参照して、被写体の色に応じて分布関数を算出する場合の一例について説明する。図１９は、実施例２−３に係る画像処理装置における、ＰＳＦ情報の算出に係る制御の一例について説明するための説明図である。

図１９の各図のうち、左上の図は、画像中におけるＡＦ検波値の分布を模式的に示した図であり、図中に付された数値は画像中の各領域におけるＡＦ検波値を示している。図１９に示す例では、参照符号Ｐ１１及びＰ１３で示された各領域のうち、領域Ｐ１３のＡＦ検波値が最も高く、当該領域Ｐ１３が合焦位置に相当する。また、左下の図は、当該画像中における色の分布を模式的に示している。即ち、図１９に示す例では、領域Ｐ１１には主に緑色が分布しており、領域Ｐ１３には主に赤色が分布している。

また、図１９の各図のうち、右上の図は、主に緑色成分（Ｇ）を対象として、画像中の領域に応じて重み付けを行うための分布関数を模式的に示している。また、右下の図は、主に赤色成分（Ｒ）を対象として、画像中の領域に応じて重み付けを行うための分布関数を模式的に示している。

即ち、図１９に示す例では、画像処理装置５１０は、主に緑色成分（Ｇ）を対象とした分布関数Ｇ（λ）については、例えば、ボケ改善優先モードに基づき、領域Ｐ１１の重みがより高くなるように制御することで、ボケを改善し被写界深度がより広くなるように制御している。一方で、画像処理装置５１０は、主に赤色成分（Ｒ）を対象とした分布関数Ｒ（λ）については、例えば、合焦優先モードに基づき、領域Ｐ１３の重みがより高くなるように制御することで、赤色の被写体（検体）がより鮮鋭に提示されるように制御している。

以上のような制御により、例えば、画像中に撮像された各被写体のうち、所定の色の被写体がより強調されるように、当該画像に対して復元処理を施すことが可能となる。特に、本実施形態に係る医療用画像処理システム１により生体内の画像（所謂内視鏡画像）を取得するような状況下においては、赤色成分が広く分布する画像が撮像される傾向にある。そのため、例えば、赤色成分と、当該赤色成分とは異なる他の分光成分とのそれぞれに対して、特性の異なる分布関数に基づき復元処理を施すことで、病変部のように周囲の組織とは異なる色の部分をより強調することも可能となる。なお、上記に説明した例はあくまで一例であり、分光成分ごとにボケ量を制御することが可能であれば、対象とする分光成分や、当該分光成分に対応する分布関数に対する処理の内容は、必ずしも上記に示す例のみには限定されないことは言うまでもない。

以上、実施例２−３として、図１９を参照して、被写体の色に応じて分布関数を算出する場合の一例について説明した。

（実施例２−４：ＡＦの制御状態に応じた制御）
次いで、実施例２−４として、所定のＡＦ方式に基づく焦点検出の制御状態（以降では、単に「ＡＦの制御状態」とも称する）に応じて、分布関数を切り替える場合の一例について説明する。

前述した各例では、主に、ＡＦの制御が完了し所望の被写体に対して合焦している場合に着目して説明した。一方で、ＡＦに基づき合焦位置を検出している状況下においては、各光学系（例えば、結合光学系）の移動に伴い焦点位置が逐次変化する場合があり、当該焦点位置の変化に応じて撮像される画像の各位置におけるボケの量も逐次変化する。

このような状況を鑑み、ＡＦに基づき合焦位置の検出中においては、例えば、被写界深度がより広くなるように制御するための分布関数を適用してもよい。合焦位置の検出は、ユーザの指示により（ボタンなど）適宜行われても、常時検出し続けてもよく、その制御情報が取得された場合に、被写界深度を拡大するような分布関数が適用されてもよい。このような制御により、合焦位置の検出に伴い焦点位置が逐次変化するような状況下においても、検体（被写体）を確認することが可能となる。もちろん、上記に説明した例はあくまで一例であり、ＡＦの制御状態に応じてボケ量を制御することが可能であれば、処理の内容は必ずしも上記に説明した例には限定されないことは言うまでもない。また、各種制御状態に応じて分布関数を切り替えることが可能であれば、当該制御状態についても、必ずしもＡＦの制御状態のみには限定されない。具体的な一例として、光学ズームの倍率を変更中か否か（即ち、光学ズームの制御状態）に応じて分布関数が切替えられてもよい。

以上、実施例２−４として、ＡＦの制御状態に応じて、分布関数を切り替える場合の一例について説明した。

（実施例２−５：観察方法に応じた制御の一例）
医療の分野においては、例えば、特殊光観察の種類や手術の術式等に応じて、検体の観察方法が異なり、当該観察のために求められる画像の特性も異なる。そこで、実施例２−５として、特殊光観察の種類や手術の術式等の違いに伴う観察方法の違いに応じて、ＰＳＦ情報を算出する場合の一例について説明する。

例えば、前述したように、耳鼻や脳の深部に対してアプローチする手術においては、奥行きの深い管状の術野となるため、被写界深度のより広い画像の取得が求められる場合がある。このような場合には、例えば、前述したボケ改善優先モードでの動作時のように、被写界深度をより広くなるように奥行き方向（ｚ方向）の位置に応じて重み付けするための分布関数ａ（ｚ）に基づきＰＳＦ情報が算出され、当該ＰＳＦ情報が復元処理に適用されればよい。

また、他の一例として、脳の表面の血管等に対して処置を施す場合等のように、より細かい手技が求められる手術においては、被写界深度が多少浅くとも、より解像感の良い画像の取得が求められる場合がある。このような場合には、例えば、前述した合焦優先モードでの動作時のように、合焦位置の被写体がより鮮鋭に提示されるように奥行き方向（ｚ方向）の位置に応じて重み付けするための分布関数ａ（ｚ）に基づきＰＳＦ情報が算出され、当該ＰＳＦ情報が復元処理に適用されればよい。

また、近赤外蛍光観察を行う場合においては、主に赤外成分（ＩＲ）が観察の対象となる。このような場合には、例えば、赤外成分（ＩＲ）を主な対象として重み付けするための分布関数ＩＲ（λ）に基づきＰＳＦ情報が算出され、当該ＰＳＦ情報が復元処理に適用されればよい。

また、整形における関節の手術は、水中で行われる場合がある。このように水中で手技が行われる状況下では、水中で画像が撮像されることとなるため、全体的にボケが生じた画像が取得される傾向にある。そのため、このような場合には、例えば、被写界深度がより広くなるように奥行き方向（ｚ方向）の位置に応じて重み付けするための分布関数ａ（ｚ）に基づきＰＳＦ情報が算出され、当該ＰＳＦ情報が復元処理に適用されればよい。

なお、上述した各例はあくまで一例であり、特殊光観察の種類や手術の術式等に応じて要求される特性の画像を取得することが可能であれば、分布関数の算出方法や、当該分布関数に応じたＰＳＦ情報の算出方法は特に限定されない。

以上、実施例２−５として、特殊光観察の種類や手術の術式等の違いに伴う観察方法の違いに応じた、ＰＳＦ情報に対して重み付けを行うための分布関数の適用例について説明した。

（実施例２−６：観察対象に応じた制御の一例）
次いで、実施例２−６として、観察対象に応じて、ＰＳＦ情報を算出する場合の一例について説明する。なお、本説明では、主に医療の分野における適用例に着目して説明する。

例えば、腹腔や胸腔内の臓器を観察対象として、当該臓器が比較的大きく撮像されている場合には、当該臓器全体を広く観察するような状況が想定され得る。そのため、このような場合には、例えば、前述したボケ改善優先モードでの動作時のように、被写界深度をより広くなるように奥行き方向（ｚ方向）の位置に応じて重み付けするための分布関数ａ（ｚ）に基づきＰＳＦ情報が算出され、当該ＰＳＦ情報が復元処理に適用されればよい。これにより、例えば、観察対象となる臓器全体にわたってボケが改善された画像を取得することが可能となる。なお、臓器が比較的大きく撮像されているか否かは、ユーザの入力によって判断してもよいし、画像内の特徴点から、例えば、画像認識等に基づき何の臓器か判断してもよい。また、色や模様で画像内の領域を分けその特徴が異なっている場合には、生体内のいくつか特徴の異なる領域が撮像されている、すなわち臓器全体が大きく撮像されていると判断してもよい。

また、他の一例として、血管走行を主な観察対象として、当該血管走行が画像中の広い領域にわたって撮像されている場合には、当該血管走行がより鮮鋭に撮像されていることが望ましい場合がある。そのため、このような場合には、例えば、前述した合焦優先モードでの動作時のように、合焦位置の被写体がより鮮鋭に提示されるように奥行き方向（ｚ方向）の位置に応じて重み付けするための分布関数ａ（ｚ）に基づきＰＳＦ情報が算出され、当該ＰＳＦ情報が復元処理に適用されればよい。なお、血管走行が画像中の広い領域にわたって撮像されているか否かは、ユーザの入力によって判断してもよいし、例えば、画像認識等に基づき、連続的な枝分かれしたエッジが撮像されているか否かに応じて判断してもよい。

なお、上述した観察対象に応じた制御の切り替えは、例えば、画像処理装置５１０により自動で行われてもよい。具体的な一例として、画像処理装置５１０は、撮像された画像に対して所謂画像解析を施すことで、当該画像中に撮像された観察対象（被写体）を認識し、認識した当該観察対象に応じて、復元処理に適用するＰＳＦ情報（もしくは、当該ＰＳＦ情報を算出するための分布関数）を切り替えればよい。

また、画像処理装置５１０は、例えば、観察対象に応じて観察者（ユーザ）により選択された観察モードに基づき、復元処理に適用するＰＳＦ情報や、当該ＰＳＦ情報を算出するための分布関数を算出してもよい。

以上、実施例２−６として、観察対象に応じて、ＰＳＦ情報を算出する場合の一例について、特に医療の分野における適用例に着目して説明した。

（実施例２−７：ＰＳＦ情報の切り替えに係る制御の一例）
前述したように、本実施形態に係る画像処理装置５１０は、検体の観察に関する条件（例えば、観察範囲の条件）に応じて、複数のＰＳＦ情報を算出し、当該複数のＰＳＦ情報の中から少なくとも一部のＰＳＦ情報を、選択的に復元処理に適用することが可能である。そこで、実施例２−７として、ＰＳＦ情報を選択的に切り替える場合の制御の一例について具体的な適用例とあわせて説明する。なお、本説明では、主に医療の分野における適用例に着目して説明する。

具体的には、前述したように、特殊光観察の種別や手術の術式に応じて、ＰＳＦ情報が選択的に切り替えられてもよい。このような場合には、画像処理装置５１０は、例えば、観察者（ユーザ）により、特殊光観察の種別や手術の術式に応じて選択された観察モードに基づき、当該観察モードに対応するＰＳＦ情報を選択し、選択したＰＳＦ情報を復元処理に適用すればよい。

また、観察中においても、一時的に他の観察モードに切り替えて観察が行われる場合も想定され得る。具体的な一例として、通常の光学像の観察と、特殊光観察とを適宜切り替えながら、検体を観察するような状況も想定され得る。このような場合においても、画像処理装置５１０は、例えば、観察者（ユーザ）により選択された観察モードに応じてＰＳＦ情報を選択し、選択したＰＳＦ情報を復元処理に適用すればよい。

また、前述したように、画像処理装置５１０は、例えば、撮像された画像の解析結果等に基づき検体の観察に関する状態や状況を認識し、当該状態や状況の認識結果に応じて、適応的にＰＳＦ情報を切り替えてもよい。

一方で、画像処理装置５１０が、状態や状況を認識するような状況下においては、当該認識にミスが生じる場合もある。このような認識ミスに対して、例えば、画像処理装置５１０が、過敏に反応し、ＰＳＦ情報が一時的に誤って切り替えられると、観察者に対して提示される画像の特性が一時的に替わり、検体の観察を阻害する場合も想定され得る。このような状況を鑑み、例えば、画像処理装置５１０に対して、短期的な状態や状況の変化に応じたＰＳＦ情報の切り替えを抑制するための仕組みを設けてもよい。

例えば、図２０は、実施例２−７に係る画像処理装置５１０による、ＰＳＦ情報の切り替えに係る制御の一例について説明するための説明図である。図２０において、参照符号Ｆ１０１〜Ｆ１１０は、時系列に沿って取得される動画像の各フレームを示している。また、ｍｏｄｅＡ〜ｍｏｄｅＤは、それぞれ異なる観察モードを示しており、当該観察モードに応じて異なるＰＳＦ情報が適用された復元処理が、各フレームに対して適用される。

図２０に示す例では、画像処理装置５１０は、各フレームを逐次処理対象として、当該フレームにおける観察モード（換言すると、当該観察モードに応じたＰＳＦ情報）と、当該フレームの前後の数フレームにおける観察モードとを比較する。そして、画像処理装置５１０は、フレーム間における観察モードの比較結果に基づき、短期的な観察モードの変化が発生するフレームを検出し、当該フレームにおけるＰＳＦ情報の切り替えを抑制する。

例えば、図２０において、上側に「入力」として示した図は、上述したＰＳＦ情報の切り替えの抑制に係る制御の適用前における、時系列に沿った一連のフレームＦ１０１〜Ｆ１１０と、当該各フレームに対して設定された観察モードとを模式的に示している。例えば、「入力」側の図において、フレームＦ１０１〜Ｆ１０５に着目すると、フレームＦ１０３においてのみ、観察モードが一時的にｍｏｄｅＡからｍｏｄｅＢに切り替わっている。また、フレームＦ１０６〜Ｆ１１０に着目した場合には、フレームＦ１０９においてのみ、観察モードが一時的にｍｏｄｅＣからｍｏｄｅＤに切り替わっている。このような場合には、例えば、フレームＦ１０３及びＦ１０９のタイミングにおいて、復元処理に適用されるＰＳＦ情報が一時的に切り替わるため、出力される画像の特性が一時的に変化する。

これに対して、図２０において、下側に「出力」として示した図は、上述したＰＳＦ情報の切り替えの抑制に係る制御を適用した場合における、当該フレームＦ１０１〜Ｆ１１０と、当該各フレームに対して設定された観察モードとを模式的に示している。なお、「入力」側と「出力」側とで同じ符号が付されたフレームは、同じフレームを示している。例えば、「出力」側の図においては、例えば、フレームＦ１０３における観察モードが、前後のフレームにあわせてｍｏｄｅＡに修正されており、当該フレームＦ１０３に対する復元処理に適用されるＰＳＦ情報が、当該ｍｏｄｅＡに対応するＰＳＦ情報に切り替わる。同様に、フレームＦ１０９における観察モードについては、前後のフレームにあわせてｍｏｄｅＣに修正されており、当該フレームＦ１０９に対する復元処理に適用されるＰＳＦ情報が、当該ｍｏｄｅＣに対応するＰＳＦ情報に切り替わる。

より具体的な一例として、画像処理装置５１０は、処理対象とするフレームと、当該フレームの前後数フレームとのそれぞれに対して設定された観察モードを抽出し、処理対象となるフレームの観察モードを、より多くのフレームに設定されている観察モードに修正する。このような制御により、例えば、認識ミス等に伴う一時的（短期的）な状態や状況の変化に応じたＰＳＦ情報の切り替えを抑制し、ちらつきの少ない画像を観察することが可能となる。

なお、上記に説明した処理はあくまで一例であり、一時的（短期的）な状態や状況の変化に応じたＰＳＦ情報の切り替えを抑制することが可能であれば、当該処理の内容は特に限定されない。具体的な一例として、画像処理装置５１０は、対象となるフレームの観察モード（もしくは観察モードに応じたＰＳＦ情報）を、当該フレームの直前のフレームにあわせて修正してもよい。また、他の一例として、画像処理装置５１０は、互いに隣接するフレーム間のＰＳＦ情報のうち、重み付けの変化の偏りがより少ないＰＳＦ情報や、より中間的な特性を有するＰＳＦ情報を、当該フレームそれぞれに対応するＰＳＦ情報として適用してもよい。

以上、実施例２−７として、ＰＳＦ情報を選択的に切り替える場合の制御の一例について具体的な適用例とあわせて説明した。

＜＜５．ハードウェア構成＞＞
次に、図２１を参照しながら、前述したＣＣＵ５１（換言すると、画像処理装置）のような、本実施形態に係る医療用の観察システム（例えば、図１に示す医療用画像処理システム１）を構成する情報処理装置９００のハードウェア構成について、詳細に説明する。図２１は、本開示の一実施形態に係る医療用画像処理システム１を構成する情報処理装置９００のハードウェア構成の一構成例を示す機能ブロック図である。

本実施形態に係る医療用画像処理システム１を構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。なお、図７を参照して前述した、制御部５１３、重み付け制御部５１４、ＰＳＦ算出部５１５、選択部５１６、及び画像処理部５１７は、例えば、ＣＰＵ９０１により実現され得る。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。なお、図１を参照して前述した表示装置５３は、例えば、出力装置９１７により実現され得る。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。なお、図７を参照して前述したＰＳＦ記憶部５１２は、例えば、ストレージ装置９１９により実現され得る。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る医療用の観察システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図２１では図示しないが、医療用の観察システムを構成する情報処理装置９００に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る医療用の観察システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

＜＜６．むすび＞＞
以上説明したように、本実施形態に係る医療用画像処理システム１において、画像処理装置５１０は、被写体像の観察に関する条件に応じて、当該被写体像が撮像された画像のボケ量を制御するための関数（ｐｓｆ）を算出する。そして、画像処理装置５１０は、カメラヘッド１３により撮像された画像を入力画像として、当該入力画像に対して、算出した当該関数に基づく復元処理を施す。このような構成により、本実施形態に係る医療用画像処理システム１に依れば、例えば、観察環境の条件や観察対象とする被写体の特徴などの様に、被写体像の観察に係る状態や状況に応じて、観察対象をより好適な態様で観察することが可能となる。

なお、上記に示し例では、入力画像に対してＰＳＦ情報に基づき復元処理を施す場合を例に説明したが、当該入力画像のボケ量を制御する（即ち、被写体像の画像の劣化を改善する）ことが可能であれば、復元処理に適用される関数は、必ずしもＰＳＦ情報のみには限定されない。また、入力画像のボケ量を制御することが可能であれば、復元処理の内容についても限定されないことは言うまでもない。

また、本説明では、内視鏡１０が主に硬性内視鏡として構成された場合に着目して説明したが、本実施形態に係る画像処理装置５１０の適用先は、必ずしも硬性内視鏡により検体を観察するための医療法画像処理システムのみには限定されない。具体的な一例として、当該画像処理装置５１０は、例えば、軟性内視鏡や手術用顕微鏡等のような他の医療用の観察装置により検体を観察するための医療法画像処理システムに対して適用されてもよい。この場合には、各観察装置における各種光学系や撮像装置等の機器ごとにｐｓｆを測定することで、当該機器に対応するＰＳＦ情報を取得すればよい。もちろん、撮像装置により撮像された画像を提示するような装置やシステムであれば、本実施形態に係る画像処理装置５１０の適用先は、必ずしも医療用のシステムのみにも限定されない。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、
補正画像を生成するよう制御する制御部を有し、
前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、
画像処理装置。
（２）
前記関数は、前記条件が互いに異なる複数の関数であって、
前記制御部は、前記複数の関数のうち少なくともいずれかの当該関数に基づき、前記補正画像を生成するよう制御する、
前記（１）に記載の画像処理装置。
（３）
前記観察に関する条件とは、前記画像から得た検波情報、または前記画像の撮像条件である
前記（１）に記載の画像処理装置。
（４）
前記検波情報とは、
前記画像の色成分情報、エッジ情報、コントラスト情報、または輝度情報である
前記（３）に記載の画像処理装置。
（５）
前記撮像条件とは、
前記画像を撮像した際の照射光情報、フォーカス距離情報、フォーカス位置情報、フォーカス制御情報、フォーカスレンズ位置情報、光学ズーム制御情報、または光学ズームレンズ位置情報である
前記（３）に記載の画像処理装置。
（６）
前記制御部は、前記条件に応じて、前記複数の関数から適用する関数を選択し、当該関数に基づき、前記補正画像を生成するよう制御する
前記（２）に記載の画像処理装置。
（７）
前記関数は、前記条件に応じて重み付けを行った複数の関数である
前記（６）に記載の画像処理装置。
（８）
前記関数は、前記条件に応じた分布関数に基づいて算出された複数の関数である
前記（６）に記載の画像処理装置。
（９）
前記関数は、点像分布関数である、前記（１）〜（８）のいずれか一項に記載の画像処理装置。
（１０）
前記補正画像を生成するための処理は、前記点像分布関数に基づくデコンボリューションである、前記（９）に記載の画像処理装置。
（１１）
検体の画像を撮像する撮像部と、前記撮像部に対して前記検体の被写体像を結像する光学系と、を含む撮像装置と、
前記撮像部により撮像された画像から補正画像を生成するよう制御する画像処理装置と、
を備え、
前記画像処理装置は、
前記画像と、前記画像のボケ量を調整するための関数に基づき、
補正画像を生成する制御部を有し、
前記関数は、前記被写体の観察に関する条件に応じて算出される
医療用画像処理システム。
（１２）
前記撮像装置は、前記光学系を含む鏡筒の少なくとも一部が、前記検体の体腔に挿入される内視鏡である、前記（１１）に記載の医療用画像処理システム。
（１３）
前記鏡筒は、前記撮像部に対して着脱可能に構成され、
前記鏡筒と前記撮像部との間に、当該撮像部に被写体像を結像する光学系の振幅伝達関数を制御するための光学素子が介在し、
前記関数は、前記光学素子の特性に応じて算出された関数である、
前記（１２）に記載の医療用画像処理システム。
（１４）
前記光学素子は、前記鏡筒の、前記撮像部に装着される端部側に保持されている、前記（１３）に記載の医療用画像処理システム。
（１５）
前記光学素子は、前記撮像部の、前記鏡筒が装着される端部側に保持されている、前記（１３）に記載の医療用画像処理システム。
（１６）
前記光学素子は、前記撮像部及び前記鏡筒それぞれに対して着脱可能に構成されている、前記（１３）に記載の医療用画像処理システム。
（１７）
プロセッサが、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを含み、
前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、
画像処理方法。
（１８）
コンピュータに、被写体が撮像された画像と、前記画像のボケ量を調整するための関数に基づき、補正画像を生成するよう制御することを実行させ、
前記関数は、前記被写体の観察に関する条件に応じて算出された関数である、
プログラムが記録された記録媒体。

１ 内視鏡装置
２ 内視鏡
３ 撮像装置
４ 光学素子
５ 表示装置
６ 光源装置
７ ライトガイド
８ 伝送ケーブル
９ カメラヘッド
１０ 画像処理装置
１０１ 取得部
１０２ 記憶部
１０３ 制御部
１０４ 制御部
１０５ 算出部
１０６ 選択部
１０７ 画像処理部

Claims (14)

1. 患者体内に照射する通常光または特殊光を出力する光源装置と、
   患者体内に挿入される挿入部に接続可能であり、前記挿入部を介して入射する光の合焦位置における光軸に沿った変調伝達関数の分布を広げるとともに変調伝達関数の値が適用前に比べて低下するように変調する光学素子と、前記光学素子を通過した光を受光して画像信号を生成する撮像素子と、を有するカメラヘッドと、
   前記カメラヘッドに接続され、前記画像信号に対して、ユーザにより選択された観察モードに応じたＰＳＦ情報に基づいて前記合焦位置における変調伝達関数の値を向上させる復元処理を含む画像処理を行い、前記光学素子を適用しない場合よりも光軸方向に被写界深度が拡大されたＥＤＯＦ（Extended Depth of Field）画像を生成する画像処理装置と、を備え、
   前記画像処理装置は、ユーザにより選択された観察モードに応じたＰＳＦ情報を記憶装置から読み出し、近赤外光を含む光を照射する特殊光観察モードが選択されている場合には特殊光観察モード用のＰＳＦ情報に基づく復元処理を行い、通常光を照射する通常光観察モードが選択されている場合には前記特殊光観察モード用のＰＳＦとは異なる通常光観察モード用のＰＳＦ情報に基づく復元処理を行う、
   画像処理システム。
2. 前記ＰＳＦ情報は、前記カメラヘッドを示す情報と、前記観察モードと、を関連付けて前記記憶装置に記憶されている、
   請求項１に記載の画像処理システム。
3. 前記画像処理装置は、前記カメラヘッドと、前記ユーザが選択した観察モードと、を認識して、前記記憶部から前記カメラヘッドと前記観察モードに対応するＰＳＦ情報を前記記憶装置から読み出す、
   請求項１または請求項２に記載の画像処理システム。
4. 前記ＰＳＦ情報は、前記光源装置の分光成分ごとに算出された分布関数に基づいて設定されている、
   請求項１〜３のいずれか一項に記載の画像処理システム。
5. 前記画像処理装置は、前記特殊光観察モードの種類に応じて、特定の分光成分に対して復元処理を施されるようにＰＳＦ情報を選択する、
   請求項１〜４のいずれか一項に記載の画像処理システム。
6. 前記画像処理装置は、前記カメラヘッドの種類ごとに異なるＰＳＦ情報を前記記憶装置から読み出す、
   請求項１〜５のいずれか一項に記載の画像処理システム。
7. 前記画像処理装置は、前記記憶装置に記憶されたＰＳＦ情報を選択的に出力可能である、
   請求項１〜６のいずれか一項に記載の画像処理システム。
8. 前記画像処理装置は、第１のＰＳＦ情報と、合焦位置における変調伝達関数の値を第１のＰＳＦ情報よりも上げる代わりに被写界深度は第１のＰＳＦ情報よりも下がる第２のＰＳＦ情報と、を選択的に出力可能である、
   請求項７に記載の画像処理システム。
9. 前記光学素子は、複屈折マスクであり、前記挿入部を介して入射する光の合焦位置における光軸に沿った変調伝達関数の分布を広げるとともに変調伝達関数の値が適用前に比べて低下させる、
   請求項１〜８のいずれか一項に記載の画像処理システム。
10. 前記撮像素子は、解像度が４Ｋ以上である、
    請求項１〜９のいずれか一項に記載の画像処理システム。
11. 前記画像処理装置は、それぞれの画像信号のフレーム毎にＰＳＦ情報を切り替えることでフレーム毎に異なる復元処理を行う、
    請求項１〜１０のいずれか一項に記載の画像処理システム。
12. 患者体内に照射する通常光または特殊光を出力する光源装置と、
    入射する光の合焦位置における光軸に沿った変調伝達関数の分布を広げるとともに変調伝達関数の値が適用前に比べて低下するように変調する光学素子と、前記光学素子を通過した光を受光して画像信号を生成する撮像素子と、を有する医療用観察装置と、
    前記医療用観察装置に接続され、前記画像信号に対して、ユーザにより選択された観察モードに応じたＰＳＦ情報に基づいて前記合焦位置における変調伝達関数の値を向上させる復元処理を含む画像処理を行い、前記光学素子を適用しない場合よりも光軸方向に被写界深度が拡大されたＥＤＯＦ（Extended Depth of Field）画像を生成する画像処理装置と、を備え、
    前記画像処理装置は、ユーザにより選択された観察モードに応じたＰＳＦ情報を記憶装置から読み出し、近赤外光を含む光を照射する特殊光観察モードが選択されている場合には特殊光観察モード用のＰＳＦ情報に基づく復元処理を行い、通常光を照射する通常光観察モードが選択されている場合には前記特殊光観察モード用のＰＳＦとは異なる通常光観察モード用のＰＳＦ情報に基づく復元処理を行う、
    画像処理システム。
13. 医療用観察装置の画像信号に対して、ユーザにより選択された観察モードに応じたＰＳＦ情報に基づいて合焦位置における変調伝達関数の値を向上させる復元処理を含む画像処理を行い、被写界深度を拡大する光学素子を適用しない場合よりも合焦位置の光軸方向に被写界深度が拡大されたＥＤＯＦ（Extended Depth of Field）画像を生成する画像処理部と、
    ユーザにより選択された観察モードに応じたＰＳＦ情報を記憶装置から読み出し、近赤外光を含む光を照射する特殊光観察モードが選択されている場合には特殊光観察モード用のＰＳＦ情報に基づく復元処理を行い、通常光を照射する通常光観察モードが選択されている場合には前記特殊光観察モード用のＰＳＦとは異なる通常光観察モード用のＰＳＦ情報に基づく復元処理を行う復元部と、
    を備える画像処理装置。
14. 医療用画像処理装置の作動方法であって、
    医療用観察装置の画像信号に対して、ユーザにより選択された観察モードに応じたＰＳＦ情報に基づいて合焦位置における変調伝達関数の値を向上させる復元処理を含む画像処理を行い、被写界深度を拡大する光学素子を適用しない場合よりも合焦位置の光軸方向に被写界深度が拡大されたＥＤＯＦ（Extended Depth of Field）画像を生成し、
    前記復元処理は、ユーザにより選択された観察モードに応じたＰＳＦ情報を記憶装置から読み出し、近赤外光を含む光を照射する特殊光観察モードが選択されている場合には特殊光観察モード用のＰＳＦ情報に基づく復元処理を行い、通常光を照射する通常光観察モードが選択されている場合には前記特殊光観察モード用のＰＳＦとは異なる通常光観察モード用のＰＳＦ情報に基づく復元処理を行う復元する
    医療用画像処理装置の作動方法。

Images