JP2017170157A - 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法 - Google Patents

内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法 Download PDF

Info

Publication number
JP2017170157A
JP2017170157A JP2017089968A JP2017089968A JP2017170157A JP 2017170157 A JP2017170157 A JP 2017170157A JP 2017089968 A JP2017089968 A JP 2017089968A JP 2017089968 A JP2017089968 A JP 2017089968A JP 2017170157 A JP2017170157 A JP 2017170157A
Authority
JP
Japan
Prior art keywords
image
display
area
information
storage unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017089968A
Other languages
English (en)
Other versions
JP6310598B2 (ja
Inventor
麻衣 疋田
Mai Hikita
麻衣 疋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2017089968A priority Critical patent/JP6310598B2/ja
Publication of JP2017170157A publication Critical patent/JP2017170157A/ja
Application granted granted Critical
Publication of JP6310598B2 publication Critical patent/JP6310598B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Studio Devices (AREA)

Abstract

【課題】固体撮像素子や観察光学系の取り付け精度が低い場合でもケラレのない良好な画像を得ることができる内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法を提供する。【解決手段】画像切り出し情報として、固体撮像素子の表示可能画素エリアと、観察光学系により固体撮像素子に結像される光学像の結像エリアとの重複領域であって、且つ結像エリアの中心と表示エリアの中心とを一致させた際の重複領域に対応する表示用画像を切り出すための画像切り出し領域を特定する情報を記憶部に記憶させる。画像切り出し情報に基づき、画像から表示用画像を切り出す。切り出した表示用画像を表示エリアの画像サイズに拡大する。【選択図】図11

Description

本発明は、観察光学系及び固体撮像素子を有する内視鏡装置、及びこの内視鏡装置で得られた画像に画像処理を施してモニタに出力する画像処理装置、並びに内視鏡装置の作動方法に関する。
従来から、医療分野において電子内視鏡を利用した医療診断が行われている。例えばスコープと呼ばれる電子内視鏡には、患者の体内に挿入される挿入部が設けられている。この挿入部の先端部位である挿入部先端部の内部空間には、観察光学系、及び観察光学系により結像される光学像を撮像する固体撮像素子などが設けられている。
固体撮像素子は、挿入部先端部内の固体撮像素子枠に取り付け固定されたり、または、シールド枠の中に封止樹脂で固定されたりするので、固体撮像素子の取り付け位置精度は低くなる場合がある。また、挿入部先端部内での観察光学系の取り付け位置精度についても固体撮像素子と同様に低くなる場合がある。このような場合には、図19に示すように、固体撮像素子の有効画素エリア300の中心と、観察光学系の結像エリア302の中心とを一致させることが難しくなる。また、有効画素エリア300の一部は画像処理に使用されるため、有効画素エリア300の中心とモニタに表示される画像の表示エリア304の中心とが図19に示すように一致するとは限らない。このため、モニタに表示される画像に偏角等の不良が発生する。
そこで、特許文献1に記載の撮像装置では、観察光学系(結像エリア)の中心と表示エリアの中心とを一致させることにより、偏角等の不良がない良好な画像を得るようにしている。
特許第4772826号公報
しかしながら、近年の電子内視鏡の観察光学系や固体撮像素子の小型化に伴い、観察光学系の結像エリアに対する有効画素エリアの余裕、及び表示エリアに対する結像エリアの余裕がそれぞれ確保できない場合がある。このような場合に、固体撮像素子等の取り付け精度が低いと、上記特許文献1に記載のように結像エリアの中心と、表示エリアの中心とを一致させたとしても、図20に示すように、結像エリア302内の表示エリア304と重複する領域の一部(図中のハッチングで表示されている部分)が有効画素エリア300外に位置するおそれがある。その結果、表示エリア304に対応する光学像の一部が有効画素エリア外に結像されてしまうことで、モニタに表示される画像にケラレが発生する。
本発明はこのような事情に鑑みてなされたもので、固体撮像素子や観察光学系の取り付け精度が低い場合でもケラレのない良好な画像を得ることができる内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法を提供することを目的とする。
本発明の目的を達成するための内視鏡装置は、観察光学系と、観察光学系に対して相対的に位置決め固定され、観察光学系により光学像が結像される固体撮像素子であって、光学像を光電変換する複数の光電変換素子が配列された固体撮像素子と、固体撮像素子の撮像信号に基づき生成される画像から、モニタに表示する表示エリアに対応する表示用画像を切り出すための画像切り出し領域を特定する画像切り出し情報を記憶する記憶部と、記憶部に記憶されている画像切り出し情報に基づき、画像から表示用画像を切り出す画像処理部と、を備え、記憶部は、画像切り出し情報として、固体撮像素子の表示可能画素エリアと、観察光学系により固体撮像素子に結像される光学像の結像エリアとの重複領域であって、且つ結像エリアの中心と表示エリアの中心とを一致させた際の重複領域に対応する表示用画像を切り出すための画像切り出し領域を特定する情報を記憶し、画像処理部は、切り出した表示用画像を表示エリアの画像サイズに拡大する。
本発明によれば、固体撮像素子や観察光学系の取り付け精度が低いため、結像エリア内の表示エリアと重複する領域の一部が表示可能画素エリア外に位置するような場合でも、表示エリアの画像サイズに拡大された表示用画像をモニタに表示させることができる。
本発明の他の態様に係る内視鏡装置において、記憶部は、表示用画像を表示エリアの画像サイズに拡大するための倍率を示す倍率情報をさらに記憶し、画像処理部は、記憶部に記憶されている倍率情報に従って、表示用画像の拡大を行う。予め記憶部に記憶されている倍率情報に従って切り出した表示用画像を拡大するだけで、この表示用画像を表示エリアの画像サイズに簡単に調整することができる。
本発明の他の態様に係る内視鏡装置において、記憶部には、複数の表示エリアのそれぞれに対応した画像切り出し情報及び倍率情報が記憶されており、複数の表示エリアの中からモニタに表示する表示エリアを選択する選択部を備え、画像処理部は、選択部にて選択された表示エリアに対応する画像切り出し情報及び倍率情報を記憶部から取得して、画像切り出し情報に基づき画像から表示用画像を切り出し、かつ倍率情報に従って表示用画像の拡大を行う。これにより、表示エリアの選択や切り替えを行った場合でもケラレのない良好な観察像が得られる。
本発明の他の態様に係る内視鏡装置において、記憶部に記憶される画像切り出し情報は、表示エリアと同じアスペクト比を有する画像切り出し領域を示す情報である。これにより、表示用画像の拡大を行った場合でも違和感のない画像をモニタに表示させることができる。
本発明の他の態様に係る内視鏡装置において、表示可能画素エリアの垂直方向及び水平方向の画素数を2V、2Hとし、表示エリアの垂直方向及び水平方向の画素数を2L、2Lとし、表示可能画素エリアの中心と結像エリアの中心との垂直方向及び水平方向のずれ量を画素数で表したものをD、Dとした場合に、画像切り出し情報が下記の式(1)及び式(2)の少なくともいずれかが満たされる画像切り出し領域を示す情報である場合に、画像処理部による表示用画像の拡大を行う。これにより、画像切り出し処理や画像拡大処理を行う必要がない場合までこれらの処理が実行されることが防止される。
V−L≦D・・・(1)
H−L≦D・・・(2)
本発明の他の態様に係る内視鏡装置において、画像処理部は、表示用画像の拡大を行う倍率をmとした場合に、下記の式(3)及び式(4)でそれぞれ示される倍率mのうち、倍率の高い方で表示用画像の拡大を行う。これにより、切り出した表示用画像の画像サイズを表示エリアの画像サイズに拡大することができる。
m=L/(V−D)・・・(3)
m=L/(H−D)・・・(4)
本発明の他の態様に係る内視鏡装置において、倍率の高い方が許容倍率以下である場合に、画像処理部による表示用画像の拡大を行う。これにより、画像品質の悪い観察像の表示を行うことが防止される。
本発明の他の態様に係る内視鏡装置において、表示用画像には、表示エリアと同形状にマスキングするマスク処理が画像処理部により施されている。これにより、表示エリアと同形状の表示用画像をモニタに表示することができる。
本発明の目的を達成するための画像処理装置は、観察光学系に対して相対的に位置決め固定され、観察光学系により光学像が結像される固体撮像素子であって、光学像を光電変換する複数の光電変換素子が配列された固体撮像素子の撮像信号に基づき生成される画像から、モニタに表示する表示エリアに対応する表示用画像を生成してモニタに出力する画像処理装置において、画像から表示用画像を切り出すための画像切り出し領域を特定する画像切り出し情報を記憶する記憶部より、画像切り出し情報を取得する情報取得部と、情報取得部が取得した画像切り出し情報に基づき、画像から表示用画像を切り出す画像処理部と、を備え、情報取得部は、画像切り出し情報として、固体撮像素子の表示可能画素エリアと、観察光学系により固体撮像素子に結像される光学像の結像エリアとの重複領域であって、且つ結像エリアの中心と表示エリアの中心とを一致させた際の重複領域に対応する表示用画像を切り出すための画像切り出し領域を特定する情報を記憶部から取得し、画像処理部は、切り出した表示用画像を表示エリアの画像サイズに拡大する。
本発明の目的を達成するための内視鏡装置の作動方法は、観察光学系と、観察光学系に対して相対的に位置決め固定され、観察光学系により光学像が結像される固体撮像素子であって、光学像を光電変換する複数の光電変換素子が配列された固体撮像素子と、固体撮像素子の撮像信号に基づき生成される画像から、モニタに表示する表示エリアに対応する表示用画像を切り出すための画像切り出し領域を特定する画像切り出し情報を記憶する記憶部と、記憶部に記憶されている画像切り出し情報に基づき、画像から表示用画像を切り出す画像処理部と、を備える内視鏡装置の作動方法において、記憶部が、画像切り出し情報として、固体撮像素子の表示可能画素エリアと、観察光学系により固体撮像素子に結像される光学像の結像エリアとの重複領域であって、且つ結像エリアの中心と表示エリアの中心とを一致させた際の重複領域に対応する表示用画像を切り出すための画像切り出し領域を特定する情報を記憶し、画像処理部が、切り出した表示用画像を表示エリアの画像サイズに拡大する。
本発明の他の態様に係る内視鏡装置の作動方法において、記憶部は、表示用画像を表示エリアの画像サイズに拡大するための倍率を示す倍率情報をさらに記憶し、画像処理部は、記憶部に記憶されている倍率情報に従って、表示用画像の拡大を行う。
本発明の内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法は、固体撮像素子や観察光学系の取り付け精度が低い場合でもケラレのない良好な画像を得ることができる。
本発明に係る内視鏡装置の斜視図である。 内視鏡装置の電気的構成を示すブロック図である。 有効画素エリアの中心と観察光学系の中心とが一致する理想状態での有効画素エリアと結像エリアと表示エリアとの位置関係を説明するための説明図である。 有効画素エリアの中心と観察光学系の中心とにずれが生じている現実状態での有効画素エリアと結像エリアと表示エリアとの位置関係を説明するための説明図である。 画像切り出し領域、及び画像切り出し情報を説明するための説明図である。 倍率情報を説明するための説明図である。 図2に示した画像処理部の機能ブロック図である。 マスク処理部によるマスク処理を説明するための説明図である。 電子内視鏡の製造工程の一部の工程であり、画像切り出し情報及び倍率情報の記憶工程の流れを示すフローチャートである。 本発明の画像調整方法に係る画像処理を含む観察像の表示処理の流れを示すフローチャートである。 本発明の画像調整方法に係る画像処理を説明するための説明図である。 他実施例1の内視鏡装置における有効画素エリア(表示可能画素エリア)と結像エリアと表示エリアとの位置関係を説明するための説明図である。 他実施例1の内視鏡装置で実行される画像処理を説明するための説明図である。 他実施例2の内視鏡装置における有効画素エリア(表示可能画素エリア)と結像エリアと表示エリアとの位置関係を説明するための説明図である。 他実施例2の内視鏡装置で実行される画像処理を説明するための説明図である。 他実施例3の内視鏡装置のプロセッサ装置の要部の電気的構成を示すブロック図である。 本発明の内視鏡装置に用いられるカプセルシステムの概略図である。 他実施形態のカプセルシステムの概略図である。 有効画素エリアの中心と観察光学系の中心とが一致する状態での有効画素エリアと結像エリアと表示エリアとの位置関係を説明するための説明図である。 有効画素エリアの中心と観察光学系の中心とにずれが生じている状態での有効画素エリア(表示可能画素エリア)と結像エリアと表示エリアとの位置関係を説明するための説明図である。
以下、添付図面に従って本発明に係る内視鏡装置について説明する。
[内視鏡装置の全体構成]
図1は、本発明に係る内視鏡装置(内視鏡システムともいう)10の外観斜視図である。内視鏡装置10は、大別して、患者体内の観察部位を撮像するスコープ(ここでは軟性内視鏡)としての電子内視鏡11、光源装置12、プロセッサ装置13、及びモニタ14などを備えている。
光源装置12は、観察部位を照明する照明光を電子内視鏡11へ供給する。プロセッサ装置13は、本発明の画像処理装置の一形態に相当するものであり、電子内視鏡11により得られた撮像信号に基づいてモニタ14に表示する表示用画像の画像データ(以下、表示用画像データという)を生成してモニタ14に出力する。モニタ14は、プロセッサ装置13から入力される画像データに基づき観察部位の観察像を表示する。
電子内視鏡11は、患者体内に挿入される可撓性の挿入部16と、挿入部16の基端部に連設され、電子内視鏡11の把持及び挿入部16の操作に用いられる操作部17と、操作部17を光源装置12及びプロセッサ装置13に接続するユニバーサルコード18とを備えている。
挿入部16の先端部位である挿入部先端部16aには、観察部位の照明や撮影に用いられる観察光学系、固体撮像素子などが内蔵されている。挿入部先端部16aの後端には、湾曲自在な湾曲部16bが連設されている。また、湾曲部16bの後端には、可撓性を有する可撓管部16cが連設されている。
操作部17には、アングルノブ21、操作ボタン22、及び鉗子入口23などが設けられている。アングルノブ21は、湾曲部16bの湾曲方向及び湾曲量を調整する際に回転操作される。操作ボタン22は、送気・送水や吸引等の各種の操作に用いられる。鉗子入口23は、挿入部16内の鉗子チャネルに連通している。
ユニバーサルコード18には、送気・送水チャンネル、信号ケーブル、及びライトガイドなどが組み込まれている。ユニバーサルコード18の先端部には、光源装置12に接続されるコネクタ部25aと、プロセッサ装置13に接続されるコネクタ部25bとが設けられている。これにより、コネクタ部25aを介して、光源装置12から電子内視鏡11に照明光が供給されると共に、コネクタ部25bを介して、電子内視鏡11により得られた撮像信号がプロセッサ装置13に入力される。
[内視鏡装置の電気的構成]
図2は、内視鏡装置10の電気的構成を示すブロック図である。図2に示すように、光源装置12は、光源CPU31、光源32、光源ドライバ33、絞り機構34、及び集光レンズ35を有している。光源CPU31は、光源ドライバ33及び絞り機構34の制御を行う。また、光源CPU31は、プロセッサ装置13のプロセッサCPU61と通信を行い、各種情報の遣り取りを行う。
光源32は、LEDやLDなどの半導体光源あるいはキセノンランプなどが用いられ、光源ドライバ33により照明光の出射が制御される。絞り機構34は、光源32の光射出側に配置され、光源32から集光レンズ35に入射される照明光の光量を増減させる。集光レンズ35は、絞り機構34を通過した照明光を集光して、光源装置12に接続されたコネクタ部25a内のライトガイド40の入射端に導く。
電子内視鏡11は、大別して、ライトガイド40、照明窓42、観察窓43、観察光学系44、固体撮像素子45、内視鏡CPU47、ROM48、及び内視鏡記憶部49を有している。
ライトガイド40は、大口径光ファイバ、バンドルファイバなどが用いられる。ライトガイド40は、その入射端がコネクタ部25aを介して光源装置12に挿入されており、その出射端が挿入部16を通って挿入部先端部16a内に設けられた照明窓42に対向している。光源装置12からライトガイド40に供給された照明光は、照明窓42を通して観察部位に照射される。そして、観察部位で反射/散乱した照明光は、観察窓43を通して観察光学系44に入射する。
観察光学系44は、観察窓43の奥側に配置されている。観察光学系44は、観察窓43を通して入射した照明光の反射光または散乱光、すなわち、観察部位の光学像を固体撮像素子45の撮像面に結像させる。
固体撮像素子45は、CMOS(complementary metal oxide semiconductor)型又はCCD(charge coupled device)型の撮像素子であり、観察光学系44よりも奥側の位置で観察光学系44に相対的に位置決め固定されている。固体撮像素子45の撮像面には、光学像を光電変換する複数の光電変換素子PD(図3参照)により構成される複数の画素が2次元配列されている。固体撮像素子45は、観察光学系44により結像される光学像を電気的な撮像信号に変換してプロセッサ装置13に出力する。
なお、固体撮像素子45がCMOS型である場合には、A/D変換器が内蔵されており、固体撮像素子45からプロセッサ装置13に対してデジタルの撮像信号が直接出力される。また、固体撮像素子45がCCD型である場合には、固体撮像素子45から出力される撮像信号は図示しないA/D変換器等でデジタルな撮像信号に変換された後、プロセッサ装置13に出力される。
内視鏡CPU47は、ROM48等から読み出した各種プログラムやデータを逐次実行して、主として固体撮像素子45の駆動を制御する。なお、固体撮像素子45がCMOS型である場合には、内視鏡CPU47が固体撮像素子45に内蔵されていてもよい。
また、内視鏡CPU47は、プロセッサ装置13のプロセッサCPU61と通信を行って、ROM48や内視鏡記憶部49に記憶されている情報を、プロセッサ装置13に送信する。ROM48には、プロセッサ装置13に送信される情報として、例えば、電子内視鏡11の種類を識別するための識別情報が記憶されている。
内視鏡記憶部49は、本発明の記憶部の一形態に相当するものである。内視鏡記憶部49には、プロセッサ装置13に送信される情報として、詳しくは後述する画像切り出し情報51及び倍率情報53が電子内視鏡11の製造時に予め記憶されている。
プロセッサ装置13は、プロセッサCPU61、ROM62、デジタル信号処理回路(DSP:Digital Signal Processor)63、プロセッサ記憶部64、画像処理部65、及び表示ドライバ66を有している。
プロセッサCPU61は、ROM62から必要なプログラムやデータを読み出して逐次処理することで、プロセッサ装置13の各部を制御する。また、プロセッサCPU61は、内視鏡CPU47から送信された識別情報をDSP63に出力すると共に、画像切り出し情報51及び倍率情報53を画像処理部65に出力する。従って、プロセッサCPU61は、本発明の情報取得部の一形態に相当するものである。
DSP63は、プロセッサCPU61の制御の下、電子内視鏡11から入力された1フレーム分の画像信号に対し、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等の各種信号処理を行い、1フレーム分の画像データを生成する。なお、DSP63は、プロセッサCPU61から入力された識別情報に基づき、電子内視鏡11の種類(機種)に応じた各種の信号処理を行う。そして、DSP63は、生成した1フレーム分ごとの画像データを逐次に画像処理部65に出力する。
プロセッサ記憶部64は、本発明の記憶部の一形態に相当するものである。プロセッサ記憶部64は、プロセッサCPU61から入力された画像切り出し情報51及び倍率情報53を記憶する。
画像処理部65は、プロセッサCPU61の制御の下、プロセッサ記憶部64から取得した画像切り出し情報51及び倍率情報53に基づき、DSP63から入力される画像データに対して画像切り出し処理、画像拡大処理、マスク処理を施すことで、表示用画像データを生成する。そして、画像処理部65は、表示用画像データを表示ドライバ66に出力する。
表示ドライバ66は、画像処理部65から入力される表示用画像データに基づき、モニタ14に観察部位の観察像を表示させる。
[画像切り出し情報]
図3は、固体撮像素子45の有効画素エリア150(表示可能画素エリア155)の中心と、観察光学系44の中心とが一致している理想状態での有効画素エリア150(表示可能画素エリア155)と結像エリア160と表示エリア170との位置関係を説明するための説明図である。また、図4は、固体撮像素子45の有効画素エリア150の中心と、観察光学系44の中心とにずれが生じている現実状態での有効画素エリア150と結像エリア160と表示エリア170との位置関係を説明するための説明図である。
図3に示すように、有効画素エリア150は、固体撮像素子45の撮像面上において画素の信号が実際に撮像した信号として用いられる画素エリアであり、本実施形態では矩形状の画素エリアである。
また、有効画素エリア150内には、モニタ14での画像表示に用いられるエリアである表示可能画素エリア155が含まれている。具体的に、表示可能画素エリア155は、有効画素エリア150から画像処理等に使用する部分と、数画素の余裕しろとを除いたエリアである。本実施形態の表示可能画素エリア155は矩形状の画素エリアであり、その垂直方向及び水平方向の画素数は、「2V」、「2H」である。本実施形態では、図面の煩雑化を防止するため、有効画素エリア150の中心である画素エリア中心CGの位置と、表示可能画素エリア155の中心の位置とを一致させている。従って、画素エリア中心CGは、表示可能画素エリア155の中心に相当する。なお、有効画素エリア150の中心と表示可能画素エリア155の中心との位置がずれていてもよい。
結像エリア160は、観察光学系44により固体撮像素子45の撮像面に結像される光学像のエリアであり、本実施形態では円形状のエリアである。
表示エリア170は、モニタ14に表示される、後述するマスク処理が施された画像の観察部位表示エリアである。本実施形態の表示エリア170は円形状のエリアであり、その垂直方向及び水平方向の最大画素数は、「2L」、「2L」(2L=2L)である。
本実施形態では、上記特許文献1と同様に結像エリア160の中心である結像エリア中心CKと、表示エリア170の中心である表示エリア中心CHとを一致させている。例えば、結像エリア中心CKを基準として、DSP63から入力される画像データから表示用画像データを切り出すことにより、結像エリア中心CKと表示エリア中心CHとを一致させることができる。これにより、偏角のない観察像が得られる。
画像切り出し情報51は、DSP63から出力される画像データから、モニタ14に表示する表示エリア170に対応する表示用画像データを切り出すための画像切り出し領域TR(図5参照)を特定する情報である。この画像切り出し情報51は、表示可能画素エリア155と、結像エリア160との重複領域であって、且つ結像エリア中心CKと表示エリア中心CHとを一致させた際の重複領域に対応する表示用画像データを切り出すための画像切り出し領域TRを特定する情報である。
図3に示したような理想状態では、画素エリア中心CGの位置と結像エリア中心CKの位置とが一致しているので、表示エリア170の全てが表示可能画素エリア155内に位置する。
一方、図4に示すように、現実状態では、固体撮像素子45や観察光学系44の取り付け精度が低いため、画素エリア中心CGと結像エリア中心CKとにずれが生じする。図中の符号「D」は、画素エリア中心CGと結像エリア中心CKとの垂直方向のずれ量である垂直方向ずれ量を示し、図中の符号「D」は、画素エリア中心CGと結像エリア中心CKとの水平方向のずれ量である水平方向ずれ量を示す。
電子内視鏡11の固体撮像素子45や観察光学系44の小型化に伴い、結像エリア160に対する有効画素エリア150の余裕、及び表示エリア170に対する結像エリア160の余裕をそれぞれ確保することができない。このため、現実状態では、結像エリア中心CKと、表示エリア中心CHとを一致させたとしても、結像エリア160内の表示エリア170と重複する領域の一部(図中のハッチングで表示されている部分)が表示可能画素エリア155外に位置する。その結果、表示エリア170に対応する光学像の一部が表示可能画素エリア155外に結像される。
図5は、現実状態における画像切り出し領域TR、及び画像切り出し情報51を説明するための説明図である。図5に示すように、画像切り出し領域TRは、DSP63から入力される画像データ71に基づく画像内で、結像エリア中心CKを基準として表示エリア170と同じアスペクト比を有する最大の領域である。なお、本実施形態の表示エリア170は円形状であるので、ここでいう「同じアスペクト比を有する領域」とは例えば正方形状の領域である。
ここで、画像切り出し領域TRの中心に対応する位置、すなわち画像データ71に基づく画像内での結像エリア中心CK(観察光学系44の光軸)に対応する位置は、例えば、電子内視鏡11で同心円状のパターンなどの各種テストチャートの撮像を行い、この撮像により得られた画像データを解析することで求められる。また、表示エリア170の形状及び大きさは既知である。従って、結像エリア中心CKの位置と、表示エリア170の形状及び大きさとに基づき、画像切り出し領域TRを決定することができる。この画像切り出し領域TRの位置及び大きさ等を示す情報が、画像切り出し情報51として電子内視鏡11の製造時に予め求められ、内視鏡記憶部49に記憶されている。これにより、画像切り出し情報51に基づき、画像データ71から画像切り出し領域TRに対応する表示用画像データ73を切り出すことができる。
また、本実施形態の画像切り出し情報51は、図4に示したように、固体撮像素子45等の取り付け精度が低く、結像エリア中心CKと表示エリア中心CHとを一致させた際に表示エリア170の一部が表示可能画素エリア155外に位置する場合の画像切り出し領域TRを示す情報である。すなわち、画像切り出し情報51は、下記の式(1)、式(2)の少なくともいずれかが満たされる場合の画像切り出し領域TRを示す情報である。従って、表示用画像データ73の垂直方向及び水平方向の画素数(画像サイズ)は、表示エリア170の垂直方向及び水平方向の画素数2L,2Lよりも小さくなる。
Figure 2017170157
Figure 2017170157
[倍率情報]
図6は、倍率情報53を説明するための説明図である。図6に示すように、倍率情報53は、表示用画像データ73を表示エリア170の画像サイズに拡大するための倍率mを示す情報である。倍率mは、下記の式(3)及び式(4)で示される倍率mのうち、倍率の高い方が選択される。また、倍率mは、前述の画像切り出し情報51と同様に、電子内視鏡11の製造時に予め求められ、倍率情報53として内視鏡記憶部49に記憶されている。これにより、倍率情報53に基づき、表示用画像データ73を表示エリア170の画像サイズに拡大してなる表示用画像データ73Aが得られる。
Figure 2017170157
Figure 2017170157
なお、上記式(1)及び式(2)のいずれも満たされない場合、または倍率mが許容倍率である2倍よりも高くなる場合(m>2となる場合)には、倍率mがm=1に設定されて画像拡大は行われない。上記式(1)及び式(2)のいずれも満たされない場合には、結像エリア中心CKと表示エリア中心CHとを一致させた状態において表示エリア170の全てが表示可能画素エリア155内に位置するので(図3参照)、表示用画像データ73の拡大を行う必要がないためである。
また、倍率mが許容倍率「2倍」よりも高くなる場合(m>2)とは、固体撮像素子45や観察光学系44の取り付け精度が著しく低くなり、画素エリア中心CGと結像エリア中心CKとのずれ量が大きくなる場合である。この場合には、表示用画像データ73の画像サイズが小さくなるので、表示用画像データ73を表示エリア170の画像サイズに拡大するためには倍率mを高くする必要があるが、一般的に表示用画像データ73の拡大倍率が2倍を超えると画像品質が悪くなる。このため、倍率mがm≦2となる場合、すなわち、許容倍率以下となる場合に画像拡大を行う。なお、許容倍率は、「2倍」に限定されるものではなく、表示エリア170の画像サイズ等に応じて適宜決定される。
[画像処理部の構成]
図7は、画像処理部65の機能ブロック図である。図7に示すように、画像処理部65は、フレームメモリ80、画像切り出し部81、画像拡大部82、及びマスク処理部83を有している。
フレームメモリ80は、DSP63から入力される1フレーム分ごとの画像データ71を一時的に記憶するメモリであり、複数フレーム分の画像データ71を同時に記憶する。なお、DSP63から入力される新たな画像データ71は、フレームメモリ80に記憶されている最も古い画像データ71に上書きされる。
画像切り出し部81は、フレームメモリ80から新たに記録された画像データ71を読み出して、図5に示したように、プロセッサ記憶部64から取得した画像切り出し情報51に基づき、画像データ71から表示用画像データ73を切り出す。画像切り出し部81は、切り出した表示用画像データ73を画像拡大部82に出力する。
画像拡大部82は、図6に示したように、プロセッサ記憶部64から取得した倍率情報53に基づき、画像切り出し部81から入力された表示用画像データ73を倍率mで電子拡大して表示用画像データ73Aを生成する。画像拡大部82は、生成した表示用画像データ73Aをマスク処理部83に出力する。
図8は、マスク処理部83によるマスク処理を説明するための説明図である。図8に示すように、マスク処理部83は、マスク画像データ86に基づき、表示用画像データ73Aを表示エリア170と同形状にマスキングするマスク処理を行い、表示用画像データ73Bを生成する。マスク画像データ86は、表示用画像データ73Aと同一サイズの矩形画像である。マスク画像データ86は、表示エリア170のみを露呈する露呈部86aを有している。
マスク処理は、マスク処理部83内で表示用画像データ73Aを1画素ずつ流しながら、マスク画像データ86に基づき、表示エリア170内に対応する画素はそのまま出力し、表示エリア170外に対応する画素は破棄して代わりにマスク画素を出力する方法で行われる。マスク画素は、マスク画像の色に対応するビデオ信号である。マスク処理部83は、マスク処理が施された表示用画像データ73Bを、表示ドライバ66に出力する。これにより、表示ドライバ66によって表示用画像データ73Bに基づく観察部位の観察像がモニタ14に表示される。
[内視鏡装置の画像調整方法]
次に、図9から図11を用いて上記構成の内視鏡装置10の画像調整方法について説明を行う。図9は、電子内視鏡11の製造工程の一部であり、本発明の画像調整方法に係る画像処理で使用する画像切り出し情報51及び倍率情報53の記憶工程の流れを示すフローチャートである。図10は、本発明の画像調整方法に係る画像処理を含む観察像の表示処理の流れを示すフローチャートである。図11は、本発明の画像調整方法に係る画像処理を説明するための説明図である。
<像切り出し情報及び倍率情報の記憶工程>
図9に示すように、電子内視鏡11の観察光学系44及び固体撮像素子45を含む撮像モジュールの組み立てが完了した後(電子内視鏡11の組み立て完了後でも可)、撮像モジュールでテストチャートの撮像を行う(ステップS1)。テストチャートの撮像により得られた画像データを解析することで、画像データ71に基づく画像内での結像エリア中心CKに対応する位置、垂直方向ずれ量D及び水平方向ずれ量Dが求められる(ステップS2)。
次いで、結像エリア中心CKに対応する位置と、既知の表示エリア170の形状及び大きさとに基づき画像切り出し領域TRを決定し、この画像切り出し領域TRを示す画像切り出し情報51を内視鏡記憶部49に記憶させる(ステップS3)。
また、垂直方向ずれ量D及び水平方向ずれ量Dが上記式(1)、式(2)の少なくともいずれかを満たすか否かを確認し(ステップS4)、いずれも満たさない場合には倍率mをm=1に決定する(ステップS4でNO、ステップS5)。
一方、垂直方向ずれ量D及び水平方向ずれ量Dが上記式(1)、式(2)の少なくともいずれかを満たす場合には、上記式(3)及び式(4)に基づきそれぞれ倍率mを求める(ステップS4でYES、ステップS6)。そして、求めた倍率mのうちで倍率の高い方がm≦2となる否かを確認し(ステップS7)、m≦2を満たす場合には倍率の高い方を倍率mとして決定する(ステップS7でYES、ステップS8)。逆にm>2となる場合には、倍率mをm=1に決定する(ステップS7でNO、ステップS5)。
次いで、決定した倍率mを倍率情報53として内視鏡記憶部49に記憶させる(ステップS8)。以上で本発明の記憶ステップの一態様に相当する画像切り出し情報51及び倍率情報53の記憶工程が完了する。
<観察像の表示処理>
図10に示すように、最初に内視鏡装置10の起動が開始される。具体的には電子内視鏡11のコネクタ部25a,25bを光源装置12、プロセッサ装置13にそれぞれ接続して、光源装置12及びプロセッサ装置13の電源をONする。これにより、光源装置12及びプロセッサ装置13がそれぞれ起動すると共に、光源装置12等からの給電により電子内視鏡11が起動する。
電子内視鏡11、光源装置12、及びプロセッサ装置13の起動の際に、内視鏡CPU47は、内視鏡記憶部49に記憶されている画像切り出し情報51及び倍率情報53を、プロセッサCPU61に送信する。これにより、プロセッサCPU61は、画像切り出し情報51及び倍率情報53を取得することができる。プロセッサCPU61は、取得した画像切り出し情報51及び倍率情報53をプロセッサ記憶部64に記憶させる。
次いで、画像切り出し部81がプロセッサ記憶部64から画像切り出し情報51を取得すると共に(ステップS11)、画像拡大部82がプロセッサ記憶部64から倍率情報53を取得する(ステップS12)。
また、光源CPU31、内視鏡CPU47、及びプロセッサCPU61との間でその他の必要な情報の遣り取りが行われて、内視鏡装置10の起動が完了する。
内視鏡装置10の起動完了後、電子内視鏡11の挿入部16が患者体内に挿入されて、観察部位の撮像が行われる(ステップS13)。光源装置12から供給される照明光がライトガイド40を通って照明窓42から観察部位に向けて出射される。観察部位にて反射又は散乱された照明光は、観察窓43を通して観察光学系44により光学像として固体撮像素子45の撮像面に結像される。固体撮像素子45は、撮像面に結像された光学像を撮像信号に変換してプロセッサ装置13のDSP63へ出力する。
DSP63は、電子内視鏡11から入力された1フレーム分の画像信号に対し、色補間、色分離、色バランス調整、ガンマ補正、画像強調処理等の各種信号処理を行い、1フレーム分の画像データ71を生成する(ステップS14)。この画像データ71は、DSP63から画像処理部65に出力されて、画像処理部65のフレームメモリ80に一時的に記憶される。
次いで、フレームメモリ80に記憶された画像データ71に対して、画像処理部65の各部により本発明の画像処理ステップの一形態に相当する画像処理が開始される(ステップS15)。具体的には、画像データ71に対して、画像切り出し処理(ステップS16)、画像拡大処理(ステップS17)、マスク処理(ステップS18)が順番に施される。
図11(A),(B)に示すように、画像切り出し部81は、フレームメモリ80から画像データ71を読み出して、先に取得した画像切り出し情報51に基づき、画像データ71から画像切り出し領域TRに対応する表示用画像データ73を切り出す画像切り出し処理を行う。この際に、結像エリア中心CKを基準として画像データ71から表示用画像データ73を切り出すことにより、結像エリア中心CKと表示エリア中心CHとを一致させることができる。これにより、偏角のない観察像が得られる。表示用画像データ73は、画像切り出し部81から画像拡大部82に出力される。
図11(C)に示すように、画像拡大部82は、先に取得した倍率情報53に基づき、画像切り出し部81から入力された表示用画像データ73を倍率mで電子拡大する画像拡大処理を行う。これにより、表示用画像データ73を表示エリア170の画像サイズに拡大してなる表示用画像データ73Aが得られる。この表示用画像データ73Aは、画像拡大部82からマスク処理部83に出力される。
図11(D)に示すように、マスク処理部83は、表示用画像データ73Aに対してマスク処理を施して表示用画像データ73Bを生成する。マスク処理が施された表示用画像データ73Bは、マスク処理部83から表示ドライバ66に出力される。
図10に戻って、表示ドライバ66は、マスク処理部83から入力される表示用画像データ73Bに基づき、モニタ14に観察部位の観察像を表示させる(ステップS19)。以下、観察部位の撮像が終了するまで、前述のステップS13からステップS19までの処理が繰り返し実行される(ステップS20)。
[本発明の効果]
本発明の内視鏡装置10では、表示可能画素エリア155と結像エリア160との重複領域であって、かつ結像エリア中心CKと表示エリア中心CHとを一致させた際の重複領域に対応する画像切り出し領域TRに基づき、画像データ71から表示用画像データ73を切り出し、この表示用画像データ73を表示エリア170の画像サイズに拡大してモニタ14に表示させる。これにより、固体撮像素子45や観察光学系44の取り付け精度が低いため結像エリア160内の表示エリア170に対応する部分の一部が表示可能画素エリア155外に位置していても、ケラレのない良好な観察像が得られる。
また、本発明の内視鏡装置10では、画像切り出し情報51及び倍率情報53を電子内視鏡11の内視鏡記憶部49に予め記憶させておくことにより、画像切り出し情報51及び倍率情報53に従って画像切り出し処理及び画像拡大処理を行うだけで、表示用画像データを表示エリア170の画像サイズに簡単に調整することができる。また、電子内視鏡11ごとの固体撮像素子45等の取り付け精度に対応した画像切り出し処理や画像拡大処理を、プロセッサ装置13の画像処理部65が実行することができる。
また、本発明の内視鏡装置10では、画像切り出し領域TRが表示エリア170と同じアスペクト比を有しているので、表示用画像データの拡大を行ったとしても見た目上ではモニタ14に表示される観察像の画角が僅かに狭くなるだけあり、違和感のない観察像が得られる。
また、本発明の内視鏡装置10では、上記式(1)及び式(2)の少なくともいずれかが満たされる場合に、画像切り出し処理や画像拡大処理を行う。これにより、上記式(1)及び式(2)のいずれも満たされない場合、すなわち、結像エリア中心CKと表示エリア中心CHとを一致させた状態において表示エリア170の全てが表示可能画素エリア155内に位置するような画像切り出し処理や画像拡大処理を行う必要がない場合までこれらの処理が実行されることが防止される。
また、本発明の内視鏡装置10では、上記式(3)及び式(4)で求めた倍率mのうちの高い方の倍率mがm≦2となる場合に画像拡大処理を行う。これにより、m>2となる場合、すなわち、画素エリア中心CGと結像エリア中心CKとのずれ量が大きくなり表示用画像データ73の画像サイズが小さくなる場合に、表示用画像データ73を表示エリア170の画像サイズに拡大することが防止される。これにより、画像品質の悪い観察像の表示を行うことが防止される。
[内視鏡装置の他実施例1]
次に、図12及び図13を用いて本発明の内視鏡装置の他実施例1について説明を行う。図12は、他実施例の内視鏡装置における有効画素エリア150(表示可能画素エリア155)と結像エリア160と表示エリア170nとの位置関係を説明するための説明図である。図13は、他実施例1の内視鏡装置で実行される画像処理を説明するための説明図である。
上記実施形態の内視鏡装置10では、表示エリア170が円形状に形成されているが、図12に示す他実施例の内視鏡装置のように、表示エリア170nが略矩形状に形成されていてもよい。なお、他実施例の内視鏡装置は、表示エリア170nの形状が異なる点を除けば、上記実施形態の内視鏡装置10と基本的には同じ構成であるので、上記実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
図13(A)に示すように、表示エリア170nが略矩形状である場合に、画像切り出し領域TRnは、前述の画像データ71に基づく画像内で、結像エリア中心CKを基準として表示エリア170nと同じアスペクト比を有する最大の矩形領域となる。そして、この画像切り出し領域TRnを示す画像切り出し情報51が内視鏡記憶部49に記憶される。また、倍率mは、上記実施形態と同様に求められ、倍率情報53として内視鏡記憶部49に記憶される。
以下、上記実施形態と同様にして、図13(B)に示すように、画像切り出し部81が、画像切り出し情報51に基づき、画像データ71から画像切り出し領域TRnに対応する表示用画像データ73nを切り出す画像切り出し処理を行う。そして、図13(C)に示すように、画像拡大部82は、倍率情報53に基づき、表示用画像データ73nを倍率mで拡大する画像拡大処理を行って表示用画像データ73Anを生成する。
次いで、図13(D)に示すように、マスク処理部83が表示用画像データ73Anに対してマスク処理を施して表示用画像データ73Bnを生成して、表示ドライバ66に出力する。これにより、表示ドライバ66によって表示用画像データ73Bnに基づく観察部位の観察像がモニタ14に表示される。表示エリア170nの形状が異なる点を除けば、上記実施形態の内視鏡装置10と基本的には同じ構成であるので、上記実施形態で説明した効果と同様の効果が得られる。
[内視鏡装置の他実施例2]
次に、図14及び図15を用いて本発明の内視鏡装置の他実施例2について説明を行う。図14は、他実施例2の内視鏡装置における有効画素エリア150(表示可能画素エリア155)と結像エリア160と表示エリア170pとの位置関係を説明するための説明図である。図15は、他実施例2の内視鏡装置で実行される画像処理を説明するための説明図である。
上記実施形態の内視鏡装置10では、表示エリア170が円形状に形成されているが、図14に示す他実施例2の内視鏡装置のように、表示エリア170pが略円形状に形成されていてもよい。なお、他実施例2の内視鏡装置についても、表示エリア170pの形状が異なる点を除けば、上記実施形態の内視鏡装置10と基本的には同じ構成であるので、上記実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
図15(A)に示すように、表示エリア170pが略円形状である場合に、画像切り出し領域TRpは、前述の画像データ71に基づく画像内で、結像エリア中心CKを基準として表示エリア170pと同じアスペクト比を有する最大の矩形領域となる。そして、この画像切り出し領域TRpを示す画像切り出し情報51が内視鏡記憶部49に記憶される。また、倍率mは、上記実施形態と同様に求められ、倍率情報53として内視鏡記憶部49に記憶される。
以下、上記実施形態と同様にして、図15(B)に示すように、画像切り出し部81が、画像切り出し情報51に基づき、画像データ71から画像切り出し領域TRpに対応する表示用画像データ73pを切り出す画像切り出し処理を行う。そして、図15(C)に示すように、画像拡大部82は、倍率情報53に基づき、表示用画像データ73pを倍率mで拡大する画像拡大処理を行って表示用画像データ73Apを生成する。
次いで、図15(D)に示すように、マスク処理部83が表示用画像データ73Apに対してマスク処理を施して表示用画像データ73Bpを生成して、表示ドライバ66に出力する。これにより、表示ドライバ66によって表示用画像データ73Bpに基づく観察部位の観察像がモニタ14に表示される。表示エリア170pの形状が異なる点を除けば、上記実施形態の内視鏡装置10と基本的には同じ構成であるので、上記実施形態で説明した効果と同様の効果が得られる。
なお、有効画素エリア、表示可能画素エリア、結像エリア、及び表示エリアの形状及び大きさは、上記各実施形態で表されている形状及び大きさに限定されるものではなく、適宜変更してもよい。
[内視鏡装置の他実施例3]
次に、図16を用いて本発明の内視鏡装置の他実施例3について説明を行う。図16は、他実施例3の内視鏡装置のプロセッサ装置13Sの要部の電気的構成を示すブロック図である。上記実施形態の内視鏡装置10では表示エリア170のパターンが1種類であるが、他実施例3の内視鏡装置では、複数のパターンの表示エリア中から1つの表示エリアを選択可能、すなわち、表示エリアを切替可能にしている。
図16に示すように、プロセッサ装置13Sは、プロセッサ記憶部64S、画像処理部65S、及び選択部200を備える点を除けば、上記実施形態のプロセッサ装置13と基本的には同じ構成であるので、上記実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
プロセッサ記憶部64Sには、複数パターンの表示エリアと、画像切り出し情報51及び倍率情報53及びマスク画像データ86とが対応付けて記憶されている。換言すると、プロセッサ記憶部64Sには、複数パターンの表示エリアにそれぞれに対応した画像切り出し情報51及び倍率情報53及びマスク画像データ86が記憶されている。なお、これらの情報をプロセッサ記憶部64Sに記憶させる代わりに内視鏡記憶部49に記憶させておき、内視鏡記憶部49からこれらの情報を取得してもよい。
選択部200は、例えば、プロセッサ装置13Sの操作パネルに設けられており、ユーザが表示エリアの選択または切り替えを行う際に操作される。ユーザが選択部200にて表示エリアの選択または切り替え操作を行うと、選択等された表示エリアを示す表示エリア情報がプロセッサCPU61から画像処理部65Sに入力される。
画像処理部65Sは、フレームメモリ80、画像切り出し部81S、画像拡大部82S、及びマスク処理部83Sを有している。
画像切り出し部81Sは、プロセッサCPU61から入力された表示エリア情報に基づき、選択部200にて選択等された表示エリアに対応する画像切り出し情報51をプロセッサ記憶部64Sから読み出す。そして、画像切り出し部81Sは、プロセッサ記憶部64Sから取得した画像切り出し情報51に基づき、画像データ71から表示用画像データを切り出し、この表示用画像データを画像拡大部82Sへ出力する。
画像拡大部82Sは、プロセッサCPU61から入力された表示エリア情報に基づき、選択部200にて選択等された表示エリアに対応する倍率情報53をプロセッサ記憶部64Sから読み出す。そして、画像拡大部82Sは、プロセッサ記憶部64Sから取得した倍率情報53に基づき、画像切り出し部81Sから入力された表示用画像データを電子拡大して、この表示用画像データをマスク処理部83Sへ出力する。
マスク処理部83Sは、プロセッサCPU61から入力された表示エリア情報に基づき、選択部200にて選択等された表示エリアに対応するマスク画像データ86をプロセッサ記憶部64Sから読み出す。そして、マスク処理部83Sは、プロセッサ記憶部64Sから取得したマスク画像データ86に基づき、画像拡大部82Sから入力された表示用画像データに対してマスク処理を施し、マスク処理済みの表示用画像データを表示ドライバ66に出力する。これにより、表示用画像データに基づく観察部位の観察像がモニタ14に表示される。
このように、複数パターンの表示エリアにそれぞれに対応した画像切り出し情報51及び倍率情報53等を予め記憶しておくことで、表示エリアの選択や切り替えを行った場合でもケラレのない良好な観察像が得られる。その結果、上記実施形態で説明した効果と同様の効果が得られる。
[カプセルシステムへの適用例]
本発明の内視鏡装置を構成する電子内視鏡としては、軟性内視鏡、硬性内視鏡、工業用内視鏡、カプセルシステム(カプセル型内視鏡ともいう)などが挙げられる。以下、カプセルシステムを例に挙げ、図面を参照しつつ、詳細に説明する。
図17で示すように、カプセルシステム501は、照明システム512と、光学系514及び画像センサ516を備えるカメラとを含む。画像センサ516でキャプチャされた画像は、画像プロセッサ518によって処理される。画像プロセッサ518は、デジタル信号処理部(DSP)又は中央処理装置(CPU)で実行されるソフトウェアにて、又はハードウェアにて、或いはソフトウェア及びハードウェアの両者の組み合わせにて実装されるようにすることができる。処理された画像は、画像圧縮サブシステム519(実施形態によっては、画像プロセッサ518のDSPで実行されるソフトウェアに実装されることもある)によって圧縮される。圧縮されたデータは、アーカイブメモリシステム520に保存される。カプセルシステム501は、バッテリ電源521及び出力ポート526を含む。カプセルシステム501は、蠕動によって消化管(GI管)500の中を進むことができる。
照明システム512は、LEDが実装されるようにすることもできる。図17では、LEDはカメラの開口に近接して配置されているが、他の配置も可能である。光源が、例えば、開口の後ろに備えられることもある。レーザダイオードのような他の光源が使用されることもある。別の方法として、白色光源又は2つ以上の狭い波長帯域の光源を組み合わせたものが用いられることもある。長い波長の光を放射するため、LEDの光によって励起されるリン光性材料とともに、白色LEDを使用することも可能である。白色LEDには、青色LED又は紫LEDが含まれることがある。光を通過させるためのカプセルハウジングの所定の部分は、生物学的に適合したガラス又はポリマから作られる。
光学系514は、本発明の観察光学系の一形態に相当するものであり、画像センサ516にGI管500等の内腔の壁の画像が読み取られるようにするものであり、複数の屈折レンズ要素、回折レンズ要素、又は反射レンズ要素を含むものであって良い。
画像センサ516は、受光した光強度を対応する電気信号に変換するものであり、電荷結合素子(CCD)又は相補型金属酸化膜半導体(CMOS)型デバイスによって提供されるようにすることができる。画像センサ516は、単色に反応するものであって良く、或いは(例えば、RGB又はCYM表現を用いて)カラー画像をキャプチャすることができるカラーフィルタアレイを含むこともある。この画像センサ516は、本発明の固体撮像素子の一形態に相当するものである。
画像センサ516からのアナログ信号は、デジタル形式で処理することができるようにデジタル形式に変換されることが好ましい。そのような変換は、センサ内(今回の実施形態の場合)、又はカプセルハウジング510の別の部分に備えられるアナログ−デジタル(A/D)コンバータを用いて実施される。A/Dユニットは、画像センサ516とシステムの他の部分との間に備えられるようにすることもできる。照明システム512のLEDは、画像センサ516の動作と同期化される。カプセルシステム501の制御モジュール(図示せず)には、機能の1つとして、画像のキャプチャ動作中にLEDを制御するというものがある。
内視鏡記憶部527は、本発明の記憶部の一形態に相当するものであり、上記実施形態の内視鏡記憶部49と同様に、光学系514及び画像センサ516の取り付け精度に対応した画像切り出し情報51及び倍率情報53を記憶している。内視鏡記憶部527に記憶されている画像切り出し情報51及び倍率情報53は、出力ポート526を介してプロセッサ装置に送信される。
図18は、本発明の一実施形態に係る飲み込み式カプセルシステム502を示す。カプセルシステム502は、アーカイブメモリシステム520及び出力ポート526を必要としていないという点を除いて、図17のカプセルシステム501と実質的に同様な構成にすることができる。カプセルシステム502は、ワイヤレス送信に使用される通信プロトコルエンコーダ1320及び送信器1326も含む。カプセルシステム501及びカプセルシステム502の要素のうち、実質的に同一の要素は同じ参照符号が付与されている。したがって、それらの構造及び機能はここでは再び説明しない。制御モジュール522は、カプセルシステム502の全体を統括制御する。通信プロトコルエンコーダ1320は、DSP又はCPUで実行されるソフトウェアにて、ハードウェアにて、又はソフトウェア及びハードウェアの組み合わせにて実装される。送信器1326は、キャプチャされたデジタル画像を送信するためのアンテナシステムを含む。
制御モジュール522のROM(図示せず)の一部は、内視鏡記憶部528として機能する。内視鏡記憶部528は、本発明の記憶部の一形態に相当するものであり、上記実施形態の内視鏡記憶部49と同様に、光学系514及び画像センサ516の取り付け精度に対応した画像切り出し情報51及び倍率情報53を記憶している。内視鏡記憶部528に記憶されている画像切り出し情報51及び倍率情報53は、送信器1326を介してプロセッサ装置に送信される。
上記カプセルシステム501及びカプセルシステム502に対応するプロセッサ装置は、カプセルシステムに対応しているという点を除けば、上記実施形態のプロセッサ装置と基本的に同じ構成であり、画像切り出し情報51に基づく画像切り出し処理、及び倍率情報53に基づく画像拡大処理などを行う。これにより、上記実施形態で説明した効果と同様の効果が得られる。
[その他]
上記実施形態では、本発明の情報取得部に相当するプロセッサCPU61が電子内視鏡11から画像切り出し情報51及び倍率情報53を取得しているが、プロセッサ装置13の図示しない操作部にて入力された画像切り出し情報51及び倍率情報53を取得、あるいは通信インタフェースやメモリカードなどから画像切り出し情報51及び倍率情報53を取得してもよい。
また、複数種類の電子内視鏡11に対応する複数種類の画像切り出し情報51及び倍率情報53をプロセッサ記憶部64に予め記憶させておき、電子内視鏡11からプロセッサ装置13に入力される電子内視鏡11の識別情報等に基づき、電子内視鏡11の種類に対応した画像切り出し情報51及び倍率情報53を選択させるようにしてもよい。
上記実施形態では、光源装置12とプロセッサ装置13とが別体に設けられているが、両者が一体に設けられていてもよい。
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
10…内視鏡装置,11…電子内視鏡,13…プロセッサ装置,14…モニタ,44…観察光学系,45…固体撮像素子,47…内視鏡CPU,49…内視鏡記憶部,51…画像切り出し情報,53…倍率情報,61…プロセッサCPU,64…プロセッサ記憶部,65…画像処理部,73…表示用画像データ,73A,73B…表示用画像データ,81…画像切り出し部,82…画像拡大部,83…マスク処理部,150…有効画素エリア,155…表示可能画素エリア,160…結像エリア,170…表示エリア

Claims (11)

  1. 観察光学系と、
    前記観察光学系に対して相対的に位置決め固定され、当該観察光学系により光学像が結像される固体撮像素子であって、前記光学像を光電変換する複数の光電変換素子が配列された固体撮像素子と、
    前記固体撮像素子の撮像信号に基づき生成される画像から、モニタに表示する表示エリアに対応する表示用画像を切り出すための画像切り出し領域を特定する画像切り出し情報を記憶する記憶部と、
    前記記憶部に記憶されている前記画像切り出し情報に基づき、前記画像から前記表示用画像を切り出す画像処理部と、を備え、
    前記記憶部は、前記画像切り出し情報として、前記固体撮像素子の表示可能画素エリアと、前記観察光学系により前記固体撮像素子に結像される前記光学像の結像エリアとの重複領域であって、且つ前記結像エリアの中心と前記表示エリアの中心とを一致させた際の前記重複領域に対応する前記表示用画像を切り出すための画像切り出し領域を特定する情報を記憶し、
    前記画像処理部は、前記切り出した前記表示用画像を当該表示エリアの画像サイズに拡大する内視鏡装置。
  2. 前記記憶部は、前記表示用画像を前記表示エリアの画像サイズに拡大するための倍率を示す倍率情報をさらに記憶し、
    前記画像処理部は、前記記憶部に記憶されている前記倍率情報に従って、前記表示用画像の拡大を行う請求項1記載の内視鏡装置。
  3. 前記記憶部には、複数の前記表示エリアのそれぞれに対応した前記画像切り出し情報及び前記倍率情報が記憶されており、
    複数の前記表示エリアの中から前記モニタに表示する前記表示エリアを選択する選択部を備え、
    前記画像処理部は、前記選択部にて選択された前記表示エリアに対応する前記画像切り出し情報及び前記倍率情報を前記記憶部から取得して、当該画像切り出し情報に基づき前記画像から前記表示用画像を切り出し、かつ当該倍率情報に従って前記表示用画像の拡大を行う請求項2記載の内視鏡装置。
  4. 前記記憶部に記憶される前記画像切り出し情報は、前記表示エリアと同じアスペクト比を有する前記画像切り出し領域を示す情報である請求項1から3のいずれか1項に記載の内視鏡装置。
  5. 前記表示可能画素エリアの垂直方向及び水平方向の画素数を2V、2Hとし、前記表示エリアの垂直方向及び水平方向の画素数を2L、2Lとし、前記表示可能画素エリアの中心と前記結像エリアの中心との垂直方向及び水平方向のずれ量を画素数で表したものをD、Dとした場合に、
    前記画像切り出し情報が下記の式(1)及び式(2)の少なくともいずれかが満たされる前記画像切り出し領域を示す情報である場合に、前記画像処理部による前記表示用画像の拡大を行う請求項1から4のいずれか1項に記載の内視鏡装置。
    V−L≦D・・・(1)
    H−L≦D・・・(2)
  6. 前記画像処理部は、前記表示用画像の拡大を行う倍率をmとした場合に、下記の式(3)及び式(4)でそれぞれ示される倍率mのうち、倍率の高い方で前記表示用画像の拡大を行う請求項5記載の内視鏡装置。
    m=L/(V−D)・・・(3)
    m=L/(H−D)・・・(4)
  7. 前記倍率の高い方が許容倍率以下である場合に、前記画像処理部による前記表示用画像の拡大を行う請求項6記載の内視鏡装置。
  8. 前記表示用画像には、前記表示エリアと同形状にマスキングするマスク処理が前記画像処理部により施されている請求項1から7のいずれか1項に記載の内視鏡装置。
  9. 観察光学系に対して相対的に位置決め固定され、当該観察光学系により光学像が結像される固体撮像素子であって、前記光学像を光電変換する複数の光電変換素子が配列された固体撮像素子の撮像信号に基づき生成される画像から、モニタに表示する表示エリアに対応する表示用画像を生成して前記モニタに出力する画像処理装置において、
    前記画像から前記表示用画像を切り出すための画像切り出し領域を特定する画像切り出し情報を記憶する記憶部より、前記画像切り出し情報を取得する情報取得部と、
    前記情報取得部が取得した前記画像切り出し情報に基づき、前記画像から前記表示用画像を切り出す画像処理部と、を備え、
    前記情報取得部は、前記画像切り出し情報として、前記固体撮像素子の表示可能画素エリアと、前記観察光学系により前記固体撮像素子に結像される前記光学像の結像エリアとの重複領域であって、且つ前記結像エリアの中心と前記表示エリアの中心とを一致させた際の前記重複領域に対応する前記表示用画像を切り出すための画像切り出し領域を特定する情報を前記記憶部から取得し、
    前記画像処理部は、前記切り出した前記表示用画像を当該表示エリアの画像サイズに拡大する画像処理装置。
  10. 観察光学系と、前記観察光学系に対して相対的に位置決め固定され、当該観察光学系により光学像が結像される固体撮像素子であって、前記光学像を光電変換する複数の光電変換素子が配列された固体撮像素子と、前記固体撮像素子の撮像信号に基づき生成される画像から、モニタに表示する表示エリアに対応する表示用画像を切り出すための画像切り出し領域を特定する画像切り出し情報を記憶する記憶部と、前記記憶部に記憶されている前記画像切り出し情報に基づき、前記画像から前記表示用画像を切り出す画像処理部と、を備える内視鏡装置の作動方法において、
    前記記憶部が、前記画像切り出し情報として、前記固体撮像素子の表示可能画素エリアと、前記観察光学系により前記固体撮像素子に結像される前記光学像の結像エリアとの重複領域であって、且つ前記結像エリアの中心と前記表示エリアの中心とを一致させた際の前記重複領域に対応する前記表示用画像を切り出すための画像切り出し領域を特定する情報を記憶し、
    前記画像処理部が、前記切り出した前記表示用画像を当該表示エリアの画像サイズに拡大する内視鏡装置の作動方法。
  11. 前記記憶部は、前記表示用画像を前記表示エリアの画像サイズに拡大するための倍率を示す倍率情報をさらに記憶し、
    前記画像処理部は、前記記憶部に記憶されている前記倍率情報に従って、前記表示用画像の拡大を行う請求項10記載の内視鏡装置の作動方法。
JP2017089968A 2017-04-28 2017-04-28 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法 Active JP6310598B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017089968A JP6310598B2 (ja) 2017-04-28 2017-04-28 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017089968A JP6310598B2 (ja) 2017-04-28 2017-04-28 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014089114A Division JP6140100B2 (ja) 2014-04-23 2014-04-23 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法

Publications (2)

Publication Number Publication Date
JP2017170157A true JP2017170157A (ja) 2017-09-28
JP6310598B2 JP6310598B2 (ja) 2018-04-11

Family

ID=59969911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017089968A Active JP6310598B2 (ja) 2017-04-28 2017-04-28 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法

Country Status (1)

Country Link
JP (1) JP6310598B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181629A1 (en) * 2018-03-20 2019-09-26 Sony Corporation System with endoscope and image sensor and method for processing medical images
WO2020203428A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法
WO2022019057A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 医療用アーム制御システム、医療用アーム制御方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253497A (ja) * 2001-03-05 2002-09-10 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2002354349A (ja) * 2001-05-25 2002-12-06 Toshiba Corp オートセンタリング機能を有する撮像装置
JP2003265411A (ja) * 2002-03-20 2003-09-24 Pentax Corp 電子内視鏡装置および電子内視鏡および映像信号処理装置
JP2014000152A (ja) * 2012-06-15 2014-01-09 Olympus Corp 内視鏡装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002253497A (ja) * 2001-03-05 2002-09-10 Fuji Photo Optical Co Ltd 電子内視鏡装置
JP2002354349A (ja) * 2001-05-25 2002-12-06 Toshiba Corp オートセンタリング機能を有する撮像装置
JP2003265411A (ja) * 2002-03-20 2003-09-24 Pentax Corp 電子内視鏡装置および電子内視鏡および映像信号処理装置
JP2014000152A (ja) * 2012-06-15 2014-01-09 Olympus Corp 内視鏡装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019181629A1 (en) * 2018-03-20 2019-09-26 Sony Corporation System with endoscope and image sensor and method for processing medical images
US11455722B2 (en) 2018-03-20 2022-09-27 Sony Corporation System with endoscope and image sensor and method for processing medical images
US11986156B2 (en) 2018-03-20 2024-05-21 Sony Group Corporation System with endoscope and image sensor and method for processing medical images
WO2020203428A1 (ja) * 2019-03-29 2020-10-08 ソニー株式会社 医療用画像伝送システム、医療用画像処理装置及び医療用画像伝送方法
US11818464B2 (en) 2019-03-29 2023-11-14 Sony Group Corporation Medical image transmission system, medical image processing apparatus, and medical image transmission method
WO2022019057A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 医療用アーム制御システム、医療用アーム制御方法及びプログラム

Also Published As

Publication number Publication date
JP6310598B2 (ja) 2018-04-11

Similar Documents

Publication Publication Date Title
JP6140100B2 (ja) 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法
JP6104493B1 (ja) 撮像システム
EP3085300A1 (en) Endoscope device
US20190246875A1 (en) Endoscope system and endoscope
WO2005102147A1 (ja) 内視鏡及び内視鏡システム
EP1627595A1 (en) System for the actual viewing of colours on surfaces in the absence of light, which is intended for use in endoscopy
US20070049795A1 (en) Endoscope system, endoscope apparatus, and image processing apparatus
JP2005169009A (ja) 内視鏡システム、及び内視鏡
JP6310598B2 (ja) 内視鏡装置及び画像処理装置並びに内視鏡装置の作動方法
EP3586716B1 (en) Endoscope device
JP6352673B2 (ja) 内視鏡装置及び内視鏡装置の操作方法
US11571111B2 (en) Endoscope scope, endoscope processor, and endoscope adaptor
US10129463B2 (en) Image processing apparatus for electronic endoscope, electronic endoscope system, and image processing method for electronic endoscope
US9113045B2 (en) Electronic endoscopic apparatus and control method thereof
WO2020178962A1 (ja) 内視鏡システムおよび画像処理装置
JP6392486B1 (ja) 内視鏡システム
WO2019203006A1 (ja) 内視鏡装置、内視鏡プロセッサ装置及び内視鏡画像表示方法
JP7454417B2 (ja) 医療用制御装置及び医療用観察システム
JP2013074929A (ja) 口腔内観察装置、口腔内観察システム
JP2021145823A (ja) 医療用制御装置及び医療用観察システム
US11979670B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program for blending plurality of image signals based on a peaking signal
JP7235532B2 (ja) 医療用画像処理装置、画像処理方法およびプログラム
US20210127946A1 (en) Light source device, control method of light source, and endoscope system
JP2007160123A (ja) 内視鏡及び内視鏡システム
JP2016029961A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180223

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180316

R150 Certificate of patent or registration of utility model

Ref document number: 6310598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250