JP2005279054A - 変換画像表示装置、変換画像表示方法並びに工業用内視鏡装置 - Google Patents

Abstract

【課題】どのような光学系で撮影された画像でも、使用者が見慣れた光学系で撮影した画像歪みに変換する事で検査の効率を上げること。
【解決手段】変換画像表示装置であって、撮影装置に接続された第１の撮影光学系（光学系１）を用いて被写体を撮影することで得られた第１の画像が入力される画像入力部２８と、入力された第１の画像を、第１の撮影光学系（光学系１）とは異なる光学的歪を有し、撮影装置に接続され得る第２の撮影光学系（標準レンズ）を用いて被写体を撮影した場合に得られる第２の画像に変換する画像変換手段（画像歪変換手段３）と、第２の画像を表示部８に表示する画像表示手段とを有する。
【選択図】 図１

Description

本発明は、変換画像表示装置、変換画像表示方法並びに工業用内視鏡装置に関するものである。

現在、配管等の検査の為に内視鏡をはじめとして様々な撮影装置が使用されている。また、それらの撮影装置においては目的に応じて様々な光学系が使用される。例えば、配管の内部を全般的に検査したい場合には広角な光学系、撮影装置の進行方向横向きを検査したい場合には側視用光学系、距離情報を獲得したい場合にはステレオ光学系等、多くの光学系を用意する事で幅広い撮影、検査を行うことができる。

また、板５０（図１７（Ａ））や、板を組み合わせた形状５１（図１７（Ｂ））あるいは表面属性が既知の物体（以上、キャリブレーションパターンと呼ばれる）を撮影し、得られた画像から撮影に使用した光学系の画像歪状態情報（レンズパラメータと呼ばれる）を取得し、この取得したレンズパラメータを基に画像補正を行うことが行われている。特開2000-350239号公報はこのような画像補正方法を開示しており、図１８にその手順を示す。まず、本来の画像（図１８の（Ａ））は、撮影系による撮影を経ると撮像系（主にレンズ）により歪みを含む画像（図１８の（Ｂ）あるいは（Ｃ））となる。そこで、レンズディストーション処理による画像補正を行うことにより図１８の（Ｄ）に示すような本来の画像を得られる。
特開2000-350239号公報

上記したように、目的に応じて様々な光学系が使用されるが、得られる画像の歪状態は使用する光学系毎に異なる。その為、例えば配管内の同じ傷を検査した場合でも、使用する光学系が違えば違う状態の傷に見えてしまう事がある。使用者が各光学系毎の画像歪状態の違いを認識出来るほど検査に熟練すればよいのだが、それは容易ではない。

使用者が標準光学系での検査に慣れていて、広角光学系での検査に慣れていない場合、まず、広角光学系での検査を行い、配管内の傷の位置を確認した後に標準光学系での検査を行うという方法もあるが、多くの工数を必要としてしまう。また、撮影画像をビデオ画像として保管している場合、撮影対象が同じでも使用している光学系が違う記録の比較も困難なものとなる。

また、図１８に示すような画像補正方法を用いることにより歪のない画像が生成されるので、違う光学系で撮影された画像を比較する事が容易になる。しかし、使用者が見慣れている画像は歪が無い画像というわけではない。

本発明は、このような課題に着目してなされたものであり、その目的とするところは、どのような光学系で撮影された画像でも、使用者が見慣れた光学系で撮影した画像歪みに変換する事で検査の効率を上げることができる変換画像表示装置、変換画像表示方法並びに工業用内視鏡装置を提供することにある。

上記の目的を達成するために、第１の発明は、変換画像表示装置であって、撮影装置に接続された第１の撮影光学系を用いて被写体を撮影することで得られた第１の画像が入力される画像入力部と、前記入力された第１の画像を、前記第１の撮影光学系とは異なる光学的歪を有し、前記撮影装置に接続され得る第２の撮影光学系を用いて前記被写体を撮影した場合に得られる第２の画像に変換する画像変換手段と、前記第２の画像を表示部に表示する画像表示手段と、を有する。

また、第２の発明は、第１の発明に係る変換画像表示装置において、前記画像変換手段は、前記第１の撮影光学系の光学的歪にかかる情報及び前記第２の撮影光学系の光学的歪にかかる情報を利用して、前記第１の画像を前記第２の画像に変換する。

また、第３の発明は、第２の発明に係る変換画像表示装置において、前記第１の撮影光学系の歪にかかる情報及び前記第２の撮影光学系の光学的歪にかかる情報の少なくとも一方は、当該撮影光学系の光学的歪以外の特性にかかる情報を含む。

また、第４の発明は、第３の発明に係る変換画像表示装置において、前記第１の撮影光学系の光学歪にかかる情報及び前記第２の撮影光学系の光学歪にかかる情報の少なくとも一方が入力される歪情報入力部を有し、前記画像変換手段は、前記歪情報入力部に入力された光学歪にかかる情報を利用して、前記第１の画像を前記第２の画像に変換する。

また、第５の発明は、第４の発明に係る変換画像表示装置において、形状及び表面属性の少なくとも一方が既知のキャリブレーションパターンを、前記第１の撮影光学系及び前記第２の撮影光学系の少なくとも一方を用いて撮影することで得られた画像から、当該撮影光学系の光学歪にかかる情報を算出する歪情報算出手段を有する。

また、第６の発明は、第４の発明に係る変換画像表示装置において、前記光学歪にかかる情報を格納する歪情報記憶部を有する。

また、第７の発明は、第１の発明に係る変換画像表示装置において、前記第２の撮影光学系は、異なる光学歪を有する複数の撮影光学系から選択される。

また、第８の発明は、第７の発明に係る変換画像表示装置において、前記第２の撮影光学系を選択するための選択光学系入力手段をさらに有する。

また、第９の発明は、第１の発明に係る変換画像表示装置において、前記第１の撮影光学系の画角は、前記第２の撮影光学系の画角以下である。

また、第１０の発明は、第１の発明に係る変換画像表示装置において、前記第１の撮影光学系の画角は、前記第２の撮影光学系の画角以上である。

また、第１１の発明は、第１０の発明に係る変換画像表示装置において、前記第２の画像が表示される表示部と一体または別体に構成され、前記第１の画像が表示される表示部をさらに有する。

また、第１２の発明は、第１１の発明に係る変換画像表示装置において、前記第１の画像内の任意の座標が入力される座標入力部と、前記座標入力部に入力された座標から、前記第１の画像内の領域を決定する領域決定手段と、をさらに有し、前記画像変換手段は、少なくとも前記決定された領域の画像を前記第２の画像に変換する。

また、第１３の発明は、第１２の発明に係る変換画像表示装置において、前記第２の画像を表示する画像表示手段は、前記第１の画像に重畳して前記第２の画像を表示する。

また、第１４の発明は、第１２の発明に係る変換画像表示装置において、前記第２の画像を表示する画像表示手段は、前記第２の画像に重畳して前記第１の画像を表示する。

また、第１５の発明は、第１２の発明に係る変換画像表示装置において、前記画像表示手段は、前記座標入力部に入力された座標と前記第２の撮影光学系の光軸位置とを一致させて、前記第２の画像を表示する。

また、第１６の発明は、第１２の発明に係る変換画像表示装置において、前記入力される座標は、前記領域の所定の位置に相当する。

また、第１７の発明は、第１６の発明に係る変換画像表示装置において、前記所定の位置は、前記領域の中央である。

また、第１８の発明は、第２の発明に係る変換画像表示装置において、前記画像表示手段は、前記第１の画像における前記第１の撮影光学系の光軸の位置に対し、前記第２の画像中における前記第２の撮影光学系の光軸の位置を合わせて、当該第２の画像を表示する。

また、第１９の発明は、変換画像表示方法であって、撮影装置に接続された第１の撮影光学系を用いて被写体を撮影することで得られた第１の画像が入力されるステップと、前記入力された第１の画像を、前記第１の撮影光学系とは異なる光学的歪を有し、前記撮影装置に接続され得る第２の撮影光学系を用いて前記被写体を撮影した場合に得られる第２の画像に変換するステップと、前記第２の画像を表示するステップと、を有する。

また、第２０の発明は、被写体を撮影するために所定の対象物内に挿入される内視鏡プローブを有する工業用内視鏡装置において、前記内視鏡プローブに接続された第１の撮影光学系と、前記内視鏡プローブを用いて前記被写体を撮影することで得られた前記第１の画像が入力される画像入力部と、前記画像入力部に入力された第１の画像を、前記第１の撮影光学系とは異なる光学的歪を有し、前記撮影装置に接続される第２の撮影光学系を用いて前記被写体を撮影することで得られる第２の画像に変換する画像変換手段と、前記第２の画像を表示部に表示する画像表示手段と、を有する。

本発明によれば、どのような光学系で撮影された画像でも、使用者が見慣れた光学系で撮影した画像歪みに変換する事で検査の効率を上げることが可能になる。

以下、図面を参照して本発明の実施形態を詳細に説明するが、まず、本実施形態の説明で用いられる技術用語について説明する。

１．キャリブレーションパターン：本実施形態での「キャリブレーションパターン」とは、形状及び表面属性の両方あるいは一方が既知の物体を意味する。キャリブレーションパターンを撮影し、その撮影された画像上でのキャリブレーションパターンの歪み具合から撮影に使用した撮影系のレンズ歪み等レンズパラメータを算出する為に使用される。レンズパラメータを算出する為の条件を揃える為に３次元形状の「キャリブレーションパターン」を使用する場合と２次元形状の「キャリブレーションパターン」を複数枚撮影する場合等があるが、本発明ではこれらの方式に左右されない。

上記したキャリブレーションパターンが撮影された画像上でどのように変形しているかを認識する事で画像歪みを算出する事が可能となる。

２．光学的歪（歪）：光学系を通過して撮像素子に投影された光が画像として獲得される際、直線は直線として投影される事が理想であるが、現実には光学系の影響で直線は直線として投影されない。これを光学的歪又は歪と呼ぶ。一般的には、光軸から離れた場所ほど画像は大きく歪む。

３．レンズパラメータ：光学系の歪みを数学的にモデル化した際のパラメータである。このパラメータを利用する事によって歪の除去や付加を行う事ができる。カメラパラメータとも呼ばれる。

本実施形態での「レンズパラメータ」とは、画像歪みの除去や付加を行う為の情報を意味する。光学的な影響だけでなく、撮像素子の設置位置等からくる歪みの除去や付加を行う為の情報をも含む。画像歪の除去や付加の方法は特開2000-350239号公報をはじめとした様々な手法が存在するが、本発明ではこれらの方式に左右されない。また、２つ以上の撮影装置を用いる事で距離計測を行うステレオ撮影装置の場合、撮影装置間の位置姿勢関係等の情報が必要となるが、本実施形態では「レンズパラメータ」が、これらの情報も所持する。

４．ステレオ撮影：本実施形態での「ステレオ撮影」とは、複数の視点からの撮影を意味している。さらに１台の撮影装置をステレオコンバータ等を用いて複数視点の画像を得る場合や、複数の撮影装置を使用する場合も含む。

５．ステレオ撮影によって得られた画像：本実施形態での「ステレオ撮影によって得られた画像」とは複数視点からの画像を意味する。複数の視点からの複数の画像だけでなく、１枚の画像の中に複数の視点の画像が埋め込まれているものも含む。

６．画像入力部：画像変換手段や画像表示手段などの処理部に対して、撮影装置や記録媒体から画像が入力される部分である。画像信号入力ジャックや、カードリーダーなどが相当する。

７．歪にかかる情報：所定の光学系を用いて撮影される画像の歪状態（所定の撮影光学系の有する歪）を数式や行列、変換テーブルなどの形で表わした情報を少なくとも含む情報である。情報の精度や表現形態、及び目的に応じた新たな情報の付加（例えば、光学系の色特性や収差などの情報の有無）については限定されない。

８．内視鏡プローブ：内視鏡において、配管の内部などの被写体を撮影するために、所定の対象物、すなわち配管内に挿入される部分である。

（第１実施形態）
以下、図面を参照して本発明の第１実施形態の詳細を説明する。

図１は、本発明の第１実施形態に係る変換画像表示装置の概略構成を示す機能ブロック図であり、第１の撮影光学系としての光学系１が接続された内視鏡９と、画像入力部２８が接続された画像歪変換手段３と、表示部８とから構成される。図２は、図１に示す変換画像表示装置の具体的な構成例を示す図であり、超広角レンズ１２（図１の光学系１に対応）が装着された電子内視鏡２４（図１の内視鏡９に対応）と、画像入力部２８と、光学歪に係る情報（レンズパラメータ）を格納する記憶装置１５を有する計算装置１４（図１の画像歪変換手段３に対応）と、モニタ１６（図１の表示部８に対応）とから構成される。なお、計算装置１５は画像歪みを変換する機能に加えて、変換された画像を表示する機能を有する。

図３は、第１実施形態の動作を説明するためのフローチャートである。光学系１としての超広角レンズ１２（画角220度）を先端に装着した電子内視鏡２４は、被写体である配管１０内に存在する傷１１を撮影して画像を得る。計算装置１４は、得られた画像を画像入力部２８を介して取得する（ステップＳ１）。次に計算装置１４は、記憶装置１５に格納された超広角レンズ１２のレンズパラメータと、超広角レンズ１２とは異なる歪を有する標準レンズ（画角120度）のレンズパラメータを用いて、取得した画像から、標準レンズを使用して傷１１を撮影した場合に得られる画像５を生成する（ステップＳ２）。次に、計算装置１４は、生成した画像５を表示部８としてのモニタ１６に表示する（ステップＳ３）。ここでは、超広角レンズ１２の画角は標準レンズの画角以上になっているので、変換された画像は、超広角レンズ１２の画角と標準レンズの画角の関係から欠ける部分がなく自然な画像になる事から検査効率が上がる。

なお、この発明の実施の形態の各構成は、当然各種の変形変更が可能である。例えば、図１４は、第１実施形態の第１変形例を示す図である。ここでは、図２の電子内視鏡２４の代わりにファイバスコープ１７を用い、その接眼部１８にカメラ１９を装着して使用することを特徴とする。この場合、画像データはカメラ１９から画像入力部２８に送られる。

図１５及び図１６は、第１実施形態の第２変形例を示す図である。ここでは図２の計算装置１４及び画像入力部２８の代わりに、ビデオ録画再生装置２０を配置して録画を行う。そして、このビデオ録画再生装置２０からの再生画像を画像入力部２８を介して計算装置１４に送って処理を行うことを特徴とする。

また、記録媒体に記憶された画像を画像入力部２８に接続されたリーダー等により読み取って画像入力部２８から計算装置１４に送るようにしても良い。

また、撮影により得られた画像と歪変換を行った画像とを同時にモニタ１６に表示しても良いが、表示用のモニタ１６はそれぞれの画像用に別体となっていても良い。

なお、超広角レンズ１２と標準レンズのレンズパラメータの取得方法については、各々のレンズでキャリブレーションパターンを撮影し、得られた画像から歪具合を算出する方法が一般的であるが、本発明ではレンズパラメータ算出の方式に左右されない。

（第２実施形態）
図４は、本発明の第２実施形態に係る変換画像表示装置の概略構成を示す機能ブロック図であり、光学系１が接続された内視鏡９と、画像入力部２８と、画像歪変換手段３と、表示部８と、歪情報算出手段としての歪状態算出手段７とから構成される。光学系１の前にはキャリブレーションパターン６が配置される。図４の構成を図２の具体的な構成に対応付けると以下のようになる。光学系１は超広角レンズ１２に対応し、内視鏡９は電子内視鏡２４に対応し、画像歪変換手段３及び歪状態算出手段７は計算装置１４に対応し、表示部８はモニタ１６に対応する。さらに、キャリブレーションパターン６は、例えば図１７（Ａ）、（Ｂ）に示すようなキャリブレーションパターンが対応する。

図５は、第２実施形態の動作を説明するためのフローチャートである。光学系１としての超広角レンズ１２（画角220度）を先端に装着した電子内視鏡２４によりキャリブレーションパターン６を撮影して画像を得る。計算装置１５は、撮影により得られた画像を画像入力部２８を介して取得する（ステップＳ１０）。次に、計算装置１４は、取得した画像から、光学系１としての超広角レンズ１２のレンズパラメータを算出して記憶装置１５に格納する（ステップＳ１１）。次に、光学系１としての超広角レンズ１２を先端に装着した電子内視鏡２４により、配管１０内に存在する傷１１を撮影して画像を得る。計算装置１４は、撮影により得られた画像を画像入力部２８を介して取得する（ステップＳ１２）。

次に、計算装置１４は、記憶装置１５に格納された超広角レンズ１２のレンズパラメータと、標準レンズ（画角120度）のレンズパラメータを用いて、取得した画像から、標準レンズを使用して傷１１を撮影した場合に得られる画像５を生成する（ステップＳ１３）。次に、計算装置１４は、生成された画像５を表示部８としてのモニタ１６に表示する（ステップＳ１４）。

なお、この発明の実施の形態の各構成は、当然各種の変形変更が可能であり、第１実施形態で説明した図１４〜図１６の構成を第２実施形態に適用することが可能である。

また、本実施形態によれば、超広角レンズ１２のレンズパラメータ獲得をキャリブレーションパターン６の撮影によって獲得し標準レンズのレンズパラメータは最初から記憶装置１５に格納されているという形態になっている。これは、実際に使用する超広角レンズ１２の製造時や装着時に生じる個体差をなくす為であり、標準レンズのパラメータは特に個体差を考慮する必要はなく、製造時に想定される一般的な標準レンズのレンズパラメータを使用すれば良い為である。しかしながら、現在使用している標準レンズの正確なレンズパラメータを使用したい場合は超広角レンズ１２のレンズパラメータ獲得方法と同様にしてレンズパラメータを獲得しても良い。

また、標準レンズで撮影した場合ではなく、レンズパラメータが既知の別のレンズで撮影した場合の画像で観察を行いたい場合は、キーボードからの入力によって、レンズの選択（表示光学系の切り替え）を行えるようにしても良い。また、表示光学系の切り替え入力はキーボードからである必要はなく、音声認識、内視鏡操作部に装着されたボタン等で切り替えても良い。

また、光学系１の画角が標準レンズの画角以下であるならば、生成される画像５に欠ける部分（空白部）が存在してしまうが、そのまま、もしくは、空白部のない部分だけを切り出して拡大表示する形でモニタ１６に表示すれば良い。見慣れた光学系で撮影した画像になる事から検査効率が上がる。

（第３実施形態）
図６は、本発明の第３実施形態に係る変換画像表示装置の概略構成を示す機能ブロック図であり、光学系１が接続された内視鏡９と、画像入力部２８と、画像歪変換手段３と、表示部８と、歪情報入力部としての歪状態入力手段２１とから構成される。

図７は、図６の構成の変形例を示す図であり、図６の構成に加えて、選択光学系入力手段２２が追加されている。

図８は、図６または図７に示す変換画像表示装置の具体的な構成例を示す図であり、超広角レンズ１２（図６または図７の光学系１に対応）が装着された電子内視鏡２４（図６または図７の内視鏡９に対応）と、画像入力部２８と、記憶装置１５を有する計算装置１４（図６または図７の画像歪変換手段３に対応）と、モニタ１６（図６または図７の表示部８に対応）と、キーボード２６（図６または図７の歪状態入力手段２１及び、図７の選択光学系入力手段２２に対応）とから構成される。

図９は、第３実施形態の動作を説明するためのフローチャートである。光学系１としての超広角レンズ１２（画角220度）のレンズパラメータと、標準レンズ（画角120度）のレンズパラメータとがキーボード２６（歪状態入力手段２１）から入力され（ステップＳ２０）、記憶装置１５に格納される。

次に、超広角レンズ１２（画角220度）を先端に装着した電子内視鏡２４により配管１０内に存在する傷１１を撮影して画像を得る。計算装置１４は、撮影により得られた画像を画像入力部２８を介して取得する（ステップＳ２１）。次に、計算装置１４は、記憶装置１５に格納された超広角レンズ１２のレンズパラメータと、標準レンズのレンズパラメータとを用いて、取得した画像から、標準レンズを使用して傷１１を撮影した場合に得られる画像５を生成する（ステップＳ２２）。次に、計算装置１４は、生成した画像５を表示部８としてのモニタ１６に表示する（ステップＳ２３）。

なお、この発明の実施形態の各構成は、当然各種の変形変更が可能である。例えば、本実施形態では、超広角レンズ１２と標準レンズのレンズパラメータをキーボード２６から入力しているが、これに限定されることはなく、キーボード２６から入力するのはどちらか一方のレンズパラメータとし、もう一方のレンズパラメータは最初から記憶装置１５に格納しておくようにしてもよい。あるいは、キャリブレーションパターンの撮影により獲得しても良い。また、複数の光学系（標準レンズ）のレンズパラメータを記憶装置１５に格納しておき、キーボード２６によってその中の１つを選択できるようにしても良い。

（第４実施形態）
図１０は、本発明の第４実施形態に係る変換画像表示装置の概略構成を示す機能ブロック図であり、光学系１が接続された内視鏡９と、画像入力部２８と、画像歪変換手段３と、表示部８と、歪状態入力手段２１と、選択光学系入力手段２２と、座標入力部としての位置入力手段２３とから構成される。

図１１は、図１０に示す変換画像表示装置の具体的な構成例を示す図であり、超広角レンズ１２（図１０の光学系１に対応）が装着された電子内視鏡２４（図１０の内視鏡９に対応）と、画像入力部２８と、記憶装置１５を有する計算装置１４（図１０の画像歪変換手段３に対応）と、モニタ１６（図１０の表示部８に対応）と、キーボード２６（図１０の歪状態入力手段２１及び選択光学系入力手段２２に対応）と、ジョイスティック２７（図１０の位置入力手段２３に対応）とから構成される。

図１２は、第４実施形態の動作を説明するためのフローチャートである。光学系１としての超広角レンズ１２（画角220度）を先端に装着した電子内視鏡２４により配管１０内に存在する傷１１を撮影して画像を得る。次に計算装置１４は、撮影により得られた画像を画像入力部２８を介して取得する（ステップＳ３０）。次に、計算装置１４は、記憶装置１５に格納された超広角レンズ１２のレンズパラメータと、標準レンズのレンズパラメータと、位置入力手段２３としてのジョイスティック２７によって指定された画像上の座標から所望の領域、例えば取得した画像の中央領域、を決定し、決定された領域内の画像から、標準レンズを使用して傷１１を撮影した場合に得られる画像５を生成する（ステップＳ３１）。次に、計算装置１４は、生成した画像５を表示部８としてのモニタ１６に表示する（ステップＳ３２）。このとき、入力された座標と、標準レンズの光軸位置とを一致させるようにする。また、撮影された画像における光学系１の光軸の位置に対して、表示される画像５における標準レンズの光軸の位置を合わせるようにする。

第４実施形態によれば、ジョイスティック２７を操作する事によって電子内視鏡２４の先端を実際に動かす事なく、標準レンズを装着した電子内視鏡２４の先端を動かしたときの画像が獲得される。

なお、この発明の実施形態の各構成は、当然各種の変形変更が可能である。例えば、超広角レンズ１２と標準レンズのレンズパラメータはキーボード２６から入力しても良いし、機器の製造時に記憶装置１５に初めから格納するようにしても良い。または、キャリブレーションパターン６を撮影し、計算装置１４によりレンズパラメータを算出させても良い。また、複数の光学系（標準レンズ）のレンズパラメータを記憶装置１５に格納しておき、キーボード２６によってその中の１つを選択できるようにしても良い。ジョイスティック２７の代わりに電子内視鏡２４の操作部で代用しても良いし、キーボード２６で操作しても良い。

また、超広角レンズ１２と標準レンズのレンズパラメータの少なくとも一方は、撮影光学系の光学的歪以外の特性にかかる情報を含むようにすれば、撮影光学系の歪以外の特性にかかる情報、例えば色特性や、色収差、明るさなどにかかる情報を元に画像変換することで、計算装置１４により生成される画像がより見やすくなる。

また、光学系１としての超広角レンズ１２で撮影された画像に、標準レンズを使用したときに撮影され得る画像を重畳して表示するようにしても良い。図１３（Ａ）は、光学系１を用いて撮影したときに得られる画像４と、この画像４における、ジョイスティック２７によって指定された座標位置に、計算装置１４により生成された画像５を重畳して表示した状態を示す図である。また、図１３（Ｂ）に示すように、画像５の任意の座標位置に画像４を重畳表示することも可能である。このような構成によれば、超広角レンズ１２で撮影された画像４による一覧性を保ったままで、使用者が詳細に検査したい所望の領域は撮影者が見慣れた光学系（標準レンズ）で撮影した歪画像で検査できるので、検査の効率がさらによくなる。

さらに、画像５を表示する画像表示手段と一体または別体に、画像４を表示する画像表示手段を設けても良い。

（付記）
上記の具体的な実施形態から、以下のような構成の発明を抽出することができる。

１．撮影装置に接続された第１の撮影光学系を用いて被写体を撮影することで得られた第１の画像が入力される画像入力部と、
前記入力された第１の画像を、前記第１の撮影光学系とは異なる光学的歪を有し、前記撮影装置に接続され得る第２の撮影光学系を用いて前記被写体を撮影した場合に得られる第２の画像に変換する画像変換手段と、
前記第２の画像を表示部に表示する画像表示手段と、
を有することを特徴とする変換画像表示装置。

（効果）
第１の光学系で撮影された第１の画像を、異なる所望の歪（ここでは使用者が見慣れた歪）を持つ第２の撮影光学系で撮影されうる第２の画像に変換して表示する事で、使用者が見慣れた歪みで画像を観察することができる。

２．前記画像変換手段は、前記第１の撮影光学系の光学的歪にかかる情報及び前記第２の撮影光学系の光学的歪にかかる情報を利用して、前記第１の画像を前記第２の画像に変換することを特徴とする１に記載の変換画像表示装置。

（効果）
第１の撮影光学系の光学的歪にかかる情報及び第２の光学的歪にかかる情報を利用することで、第１の画像を第２の画像に変換することができる。

３．前記第１の撮影光学系の歪にかかる情報及び前記第２の撮影光学系の光学的歪にかかる情報の少なくとも一方は、当該撮影光学系の光学的歪以外の特性にかかる情報を含むことを特徴とする２に記載の変換画像表示装置。

（効果）
撮影光学系の歪以外の特性にかかる情報、例えば色特性や、色収差、明るさなどにかかる情報を元に画像変換することで、第２の画像がより見やすくなる。

４．前記第１の撮影光学系の光学歪にかかる情報及び前記第２の撮影光学系の光学歪にかかる情報の少なくとも一方が入力される歪情報入力部を有し、
前記画像変換手段は、前記歪情報入力部に入力された光学歪にかかる情報を利用して、前記第１の画像を前記第２の画像に変換することを特徴とする３に記載の変換画像表示装置。

（効果）
第１の撮影光学系で撮影した画像を見慣れた光学系（第２の撮影光学系）で撮影した場合と同じ画像歪状態の画像に変換して表示する事で検査効率が上がる。また、実際に使用する光学系（第１の撮影光学系）の個体差を除去して安定した検査が可能となる。

５．形状及び表面属性の少なくとも一方が既知のキャリブレーションパターンを、前記第１の撮影光学系及び前記第２の撮影光学系の少なくとも一方を用いて撮影することで得られた画像から、当該撮影光学系の光学歪にかかる情報を算出する歪情報算出手段を有することを特徴とする４に記載の変換画像表示装置。

（効果）
第１の撮影光学系で撮影した画像を見慣れた光学系（第２の撮影光学系）で撮影した場合と同じ画像歪状態の画像に変換して表示する事で検査効率が上がる。また、実際に使用する光学系（第１の撮影光学系）の個体差を除去して安定した検査が可能となる。

６．前記光学歪にかかる情報を格納する歪情報記憶部を有することを特徴とする４に記載の変換画像表示装置。

（効果）
歪情報記憶部によって、入力された光学歪にかかる情報を格納することができる。

７．前記第２の撮影光学系は、異なる光学歪を有する複数の撮影光学系から選択されることを特徴とする１に記載の変換画像表示装置。

（効果）
第１の撮影光学系で撮影した画像を見慣れた光学系（第２の撮影光学系）で撮影した場合と同じ画像歪状態の画像に変換して表示する事で検査効率が上がる。

８．前記第２の撮影光学系を選択するための選択光学系入力手段をさらに有することを特徴とする７に記載の変換画像表示装置。

（効果）
第１の撮影光学系で撮影した画像を見慣れた光学系（第２の撮影光学系）で撮影した場合と同じ画像歪状態の画像に変換して表示する事で検査効率が上がる。

９．前記第１の撮影光学系の画角は、前記第２の撮影光学系の画角以下であることを特徴とする１に記載の変換画像表示装置。

（効果）
第１の撮影光学系で撮影した画像を見慣れた光学系（第２の撮影光学系）で撮影した場合と同じ画像歪状態の画像に変換して表示する。当該画像は第１の撮影光学系と第２の撮影光学系の画角の関係から欠ける部分はあるが、見慣れた光学系（第２の撮影光学系）で撮影した画像になる事から検査効率が上がる。

１０．前記第１の撮影光学系の画角は、前記第２の撮影光学系の画角以上であることを特徴とする１に記載の変換画像表示装置。

（効果）
第１の撮影光学系で撮影した画像を見慣れた光学系（第２の撮影光学系）で撮影した場合と同じ画像歪状態の画像に変換して表示する。当該画像は第１の撮影光学系の画角と第２の撮影光学系の画角の関係から欠ける部分がなく自然な画像になる事から検査効率が上がる。

１１．前記第２の画像が表示される表示部と一体または別体に構成され、前記第１の画像が表示される表示部をさらに有することを特徴とする１０に記載の変換画像表示装置。

（効果）
第１の画像が表示される表示部により、変換されていない第１の画像も確認することができる。

１２．前記第１の画像内の任意の座標が入力される座標入力部と、
前記座標入力部に入力された座標から、前記第１の画像内の領域を決定する領域決定手段と、をさらに有し、
前記画像変換手段は、少なくとも前記決定された領域の画像を第２の画像に変換することを特徴とする１１に記載の変換画像表示装置。

（効果）
入力された座標から決定された領域の画像を、観察し易い画像に変換して観察することができる。

１３．前記第２の画像を表示する画像表示手段は、前記第１の画像に重畳して前記第２の画像を表示することを特徴とする１２に記載の変換画像表示装置。

（効果）
第１の撮影光学系で撮影された画像による一覧性を保ったまま、使用者が詳細に検査したい所望の領域は見慣れた光学系（第２の撮影光学系）で撮影した歪画像で検査できるので、検査の作業効率がさらによくなる。

１４．前記第２の画像を表示する画像表示手段は、前記第２の画像に重畳して前記第１の画像を表示することを特徴とする１２に記載の変換画像表示装置。

（効果）
１３と同等の効果が得られる。

１５．前記画像表示手段は、前記座標入力部に入力された座標と前記第２の撮影光学系の光軸位置とを一致させて、前記第２の画像を表示することを特徴とする１２に記載の変換画像表示装置。

（効果）
入力された座標を光軸とした画像を表示することで、観察しやすい画像に変換して観察を行いつつ、光軸座標を新たに更新することによって、第１の撮影光学系の画角内であれば、第２の撮影光学系の向きを変えた場合と擬似的に同じ結果が得られる。

１６．前記入力される座標は、前記領域の所定の位置に相当することを特徴とする１２に記載の変換画像表示装置。

（効果）
入力される座標により、画像変換される凡その領域を直感的に把握することが出来る。

１７．前記所定の位置は、前記領域の中央であることを特徴とする１６に記載の変換画像表示装置。

（効果）
入力された座標を中央とした領域を画像変換するので、画像変換される領域をさらに容易に把握することができる。

１８．前記画像表示手段は、前記第１の画像における前記第１の撮影光学系の光軸の位置に対し、前記第２の画像中における前記第２の撮影光学系の光軸の位置を合わせて、当該第２の画像を表示することを特徴とする２に記載の変換画像表示装置。

（効果）
実際に撮影している光学系の光軸の向きを把握することが出来る。

１９．撮影装置に接続された第１の撮影光学系を用いて被写体を撮影することで得られた第１の画像が入力されるステップと、
前記入力された第１の画像を、前記第１の撮影光学系とは異なる光学的歪を有し、前記撮影装置に接続され得る第２の撮影光学系を用いて前記被写体を撮影した場合に得られる第２の画像に変換するステップと、
前記第２の画像を表示するステップと、
を有することを特徴とする変換画像表示方法。

（効果）
１と同様の効果が得られる。

２０．被写体を撮影するために所定の対象物内に挿入される内視鏡プローブを有する工業用内視鏡装置において、
前記内視鏡プローブに接続された第１の撮影光学系と、
前記内視鏡プローブを用いて前記被写体を撮影することで得られた前記第１の画像が入力される画像入力部と、
前記画像入力部に入力された第１の画像を、前記第１の撮影光学系とは異なる光学的歪を有し、前記撮影装置に接続される第２の撮影光学系を用いて前記被写体を撮影することで得られる第２の画像に変換する画像変換手段と、
前記第２の画像を表示部に表示する画像表示手段と、
を有することを特徴とする工業用内視鏡装置。

（効果）
本発明を工業用内視鏡装置に適用した場合に、１と同様の効果が得られる。

本発明の第１実施形態に係る変換画像表示装置の概略構成を示す機能ブロック図である。 図１に示す変換画像表示装置の具体的な構成例を示す図である。 第１実施形態の動作を説明するためのフローチャートである。 本発明の第２実施形態に係る変換画像表示装置の概略構成を示す機能ブロック図である。 第２実施形態の動作を説明するためのフローチャートである。 本発明の第３実施形態に係る変換画像表示装置の概略構成を示す機能ブロック図である。 図６の構成の変形例を示す図である。 図６または図７に示す変換画像表示装置の具体的な構成例を示す図である。 第３実施形態の動作を説明するためのフローチャートである。 本発明の第４実施形態に係る変換画像表示装置の概略構成を示す機能ブロック図である。 図１０に示す変換画像表示装置の具体的な構成例を示す図である。 第４実施形態の動作を説明するためのフローチャートである。 重畳表示の一例を示す図である。 第１または第２実施形態の第１変形例を示す図である。 第１または第２実施形態の第１変形例を示す図である。 第１または第２実施形態の第１変形例を示す図である。 キャリブレーションパターンの一例を示す図である。 画像補正を行う手順を説明するための図である。

符号の説明

１…光学系、３…画像歪変換手段、５…画像、６…キャリブレーションパターン、７…歪状態算出手段、８…表示部、９…内視鏡、１０…配管、１１…傷、１２…超広角レンズ、１４…計算装置、１５…記憶装置、１６…モニタ、１７…ファイバスコープ、１８…接眼部、１９…カメラ、２０…ビデオ録画再生装置、２１…歪状態入力手段、２２…選択光学系入力手段、２４…電子内視鏡、２８…画像入力部。

Claims (20)

1. 撮影装置に接続された第１の撮影光学系を用いて被写体を撮影することで得られた第１の画像が入力される画像入力部と、
   前記入力された第１の画像を、前記第１の撮影光学系とは異なる光学的歪を有し、前記撮影装置に接続され得る第２の撮影光学系を用いて前記被写体を撮影した場合に得られる第２の画像に変換する画像変換手段と、
   前記第２の画像を表示部に表示する画像表示手段と、
   を有することを特徴とする変換画像表示装置。
2. 前記画像変換手段は、前記第１の撮影光学系の光学的歪にかかる情報及び前記第２の撮影光学系の光学的歪にかかる情報を利用して、前記第１の画像を前記第２の画像に変換することを特徴とする請求項１に記載の変換画像表示装置。
3. 前記第１の撮影光学系の歪にかかる情報及び前記第２の撮影光学系の光学的歪にかかる情報の少なくとも一方は、当該撮影光学系の光学的歪以外の特性にかかる情報を含むことを特徴とする請求項２に記載の変換画像表示装置。
4. 前記第１の撮影光学系の光学歪にかかる情報及び前記第２の撮影光学系の光学歪にかかる情報の少なくとも一方が入力される歪情報入力部を有し、
   前記画像変換手段は、前記歪情報入力部に入力された光学歪にかかる情報を利用して、前記第１の画像を前記第２の画像に変換することを特徴とする請求項３に記載の変換画像表示装置。
5. 形状及び表面属性の少なくとも一方が既知のキャリブレーションパターンを、前記第１の撮影光学系及び前記第２の撮影光学系の少なくとも一方を用いて撮影することで得られた画像から、当該撮影光学系の光学歪にかかる情報を算出する歪情報算出手段を有することを特徴とする請求項４に記載の変換画像表示装置。
6. 前記光学歪にかかる情報を格納する歪情報記憶部を有することを特徴とする請求項４に記載の変換画像表示装置。
7. 前記第２の撮影光学系は、異なる光学歪を有する複数の撮影光学系から選択されることを特徴とする請求項１に記載の変換画像表示装置。
8. 前記第２の撮影光学系を選択するための選択光学系入力手段をさらに有することを特徴とする請求項７に記載の変換画像表示装置。
9. 前記第１の撮影光学系の画角は、前記第２の撮影光学系の画角以下であることを特徴とする請求項１に記載の変換画像表示装置。
10. 前記第１の撮影光学系の画角は、前記第２の撮影光学系の画角以上であることを特徴とする請求項１に記載の変換画像表示装置。
11. 前記第２の画像が表示される表示部と一体または別体に構成され、前記第１の画像が表示される表示部をさらに有することを特徴とする請求項１０に記載の変換画像表示装置。
12. 前記第１の画像内の任意の座標が入力される座標入力部と、
    前記座標入力部に入力された座標から、前記第１の画像内の領域を決定する領域決定手段と、をさらに有し、
    前記画像変換手段は、少なくとも前記決定された領域の画像を前記第２の画像に変換することを特徴とする請求項１１に記載の変換画像表示装置。
13. 前記第２の画像を表示する画像表示手段は、前記第１の画像に重畳して前記第２の画像を表示することを特徴とする請求項１２に記載の変換画像表示装置。
14. 前記第２の画像を表示する画像表示手段は、前記第２の画像に重畳して前記第１の画像を表示することを特徴とする請求項１２に記載の変換画像表示装置。
15. 前記画像表示手段は、前記座標入力部に入力された座標と前記第２の撮影光学系の光軸位置とを一致させて、前記第２の画像を表示することを特徴とする請求項１２に記載の変換画像表示装置。
16. 前記入力される座標は、前記領域の所定の位置に相当することを特徴とする請求項１２に記載の変換画像表示装置。
17. 前記所定の位置は、前記領域の中央であることを特徴とする請求項１６に記載の変換画像表示装置。
18. 前記画像表示手段は、前記第１の画像における前記第１の撮影光学系の光軸の位置に対し、前記第２の画像中における前記第２の撮影光学系の光軸の位置を合わせて、当該第２の画像を表示することを特徴とする請求項２に記載の変換画像表示装置。
19. 撮影装置に接続された第１の撮影光学系を用いて被写体を撮影することで得られた第１の画像が入力されるステップと、
    前記入力された第１の画像を、前記第１の撮影光学系とは異なる光学的歪を有し、前記撮影装置に接続され得る第２の撮影光学系を用いて前記被写体を撮影した場合に得られる第２の画像に変換するステップと、
    前記第２の画像を表示するステップと、
    を有することを特徴とする変換画像表示方法。
20. 被写体を撮影するために所定の対象物内に挿入される内視鏡プローブを有する工業用内視鏡装置において、
    前記内視鏡プローブに接続された第１の撮影光学系と、
    前記内視鏡プローブを用いて前記被写体を撮影することで得られた前記第１の画像が入力される画像入力部と、
    前記画像入力部に入力された第１の画像を、前記第１の撮影光学系とは異なる光学的歪を有し、前記撮影装置に接続される第２の撮影光学系を用いて前記被写体を撮影することで得られる第２の画像に変換する画像変換手段と、
    前記第２の画像を表示部に表示する画像表示手段と、
    を有することを特徴とする工業用内視鏡装置。

Images