JP2009015210A - 画像計測装置および方法 - Google Patents

画像計測装置および方法 Download PDF

Info

Publication number
JP2009015210A
JP2009015210A JP2007179484A JP2007179484A JP2009015210A JP 2009015210 A JP2009015210 A JP 2009015210A JP 2007179484 A JP2007179484 A JP 2007179484A JP 2007179484 A JP2007179484 A JP 2007179484A JP 2009015210 A JP2009015210 A JP 2009015210A
Authority
JP
Japan
Prior art keywords
image
measurement
video signal
video
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007179484A
Other languages
English (en)
Other versions
JP5214185B2 (ja
Inventor
Fumio Hori
史生 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2007179484A priority Critical patent/JP5214185B2/ja
Publication of JP2009015210A publication Critical patent/JP2009015210A/ja
Application granted granted Critical
Publication of JP5214185B2 publication Critical patent/JP5214185B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

【課題】画像計測装置および方法において、被検体を計測者に見やすい状態に表示できるようにするとともに、画像計測の計測精度を劣化させないようにする。
【解決手段】計測内視鏡装置を、被検体を撮像して入力映像信号100を取得する映像信号取得部30と、入力映像信号100aに映像処理を施すことで2つの出力映像信号101A、101Bを生成できるようにした映像信号処理部34と、出力映像信号101Aに応じて計測点入力用映像を表示する表示部33と、計測点入力用映像を基準として画像計測の操作入力を行う計測操作部31と、出力映像信号110A、110Bの画像特性を比較評価し、これらのいずれかを被計測画像データとして選択する計測用画像選択部45と、計測用画像選択部45で選択された出力映像信号を被計測画像データとして、計測操作部31の操作入力に基づいた画像計測を行う画像計測処理部43とを備える。
【選択図】図3

Description

本発明は、画像計測装置および方法に関する。例えば、画像計測のための操作入力を画像表示部上で行い、画像データの演算処理により計測を行う画像計測装置に関し、例えばステレオ計測内視鏡などに好適に用いることができる画像計測装置および方法に関する。
従来、例えば、内視鏡などを用いて、被検体を撮像し、その撮像画像を画像処理することで、被検体の計測を行う画像計測装置が知られている。
このような従来の画像計測装置として、例えば、特許文献1には、1対の対物レンズを有する光学アダプタにより得られる被計測物の左右2つの画像データをステレオ画像処理することにより3次元計測を行う計測内視鏡装置において、あらかじめフロッピディスクに記録された光学アダプタの光学データにより、上記2つの画像データの幾何学的歪み等の補正を行い、その補正後の画像データに基づいて3次元計測を行うものが記載されている。
また、特許文献2には、視差のある画像を露光量が異なる状態で撮像し、それらから主要被写体に重み付けするように階調変換して画像を合成し、ワイドダイナミックレンジ化された画像を取得し、その画像によりステレオ計測を行う撮像装置が記載されている。
特開平10−248806号公報 特開2003−018617号公報
しかしながら、上記のような従来の画像計測装置には以下のような問題があった。
特許文献1に記載の技術によれば、視差画像の対応点をマッチング処理によって検出することで、視差を有する画像を用いた三角測量を行って、3次元座標位置を検出することができ、その際、画像データの幾何学的な歪みを補正するので、3次元計測の精度を向上することができるものの、3次元の被検体では、照明光の当たり方によっては複雑な陰影が発生するため、幾何学的な歪み以外に、種々の画像ノイズが発生しやすい。
例えば、パイプの内部などでは、計測場所によっては、照明光が不足して薄暗い映像が表示されるため計測点を正確に入力することができない場合がある。
このような場合、計測用画像のダイナミックレンジを広げるワイドダイナミックレンジ(WDR)処理を施すことが考えられる。例えば、特許文献2の撮像装置は、このようなWDR処理を行う装置の一例である。WDR処理は、特許文献2のような手法の他、適宜の階調変換を行う画像データの演算処理によって、任意の輝度領域の階調数を擬似的に増やすものもある。
WDR処理を施すと、例えばパイプの内部のように、画像全体の輝度が低下している場合にはWDR処理により画像のツブレが改善され、計測入力に適する画像を取得しやすくなる。しかし、輝度変化の激しい画像では、WDR処理によって、輝度変化が強調されすぎて、かえって画像ノイズを増大させてしまう場合がある。
図18にタービンブレードのエッジ部を拡大した視差画像500L、500Rの例を模式的に示す。このようなタービンブレードの表面は平滑な湾曲面からなり、正反射光によるテカリが白トビ画像として観察される場合が多い。このようなテカリは、タービンブレードの形状が磨耗や亀裂などによって表面形状が微妙に変化しているエッジ部501L、501R、又は502L、502Rでは複雑に変化するので、これらがWDR処理で強調されると、視差画像500L、500Rとの間でマッチング処理の妨げとなる画像ノイズとなってしまう場合がある。
このように、従来技術によれば、被検体の表面状態や形状によっては、WDR処理の有無や程度に応じて、計測点入力の精度が低下したり、良好なマッチング処理を行うことができずに計測精度が低下したりするという問題がある。
本発明は、上記のような問題に鑑みてなされたものであり、被検体を計測者に見やすい状態に表示できるようにするとともに、画像計測の計測精度を劣化させないようにすることができる画像計測装置および方法を提供することを目的とする。
上記の課題を解決するために、請求項1に記載の発明では、画像計測装置において、被検体を撮像して入力映像信号を生成する映像信号取得部と、該映像信号取得部で生成された入力映像信号に対して映像処理を施すことで2つの出力映像信号を生成できるようにした映像信号処理部と、前記映像信号処理部で生成された前記出力映像信号の1つに応じて計測点入力用映像を表示する表示部と、該表示部に表示された前記計測点入力用映像を基準として画像計測の操作入力を行う計測操作部と、前記2つの出力映像信号のそれぞれの画像特性を比較評価し、前記2つの出力映像信号のうちのいずれかを被計測画像データとして選択する計測用画像選択部と、該計測用画像選択部で選択された出力映像信号を、被計測画像データとして、前記計測操作部の操作入力に基づいた画像計測を行う画像計測処理部とを備えた構成とする。
この発明によれば、被写体を映像信号取得部で撮像し、その入力映像信号を、映像信号処理部によって、映像処理選択操作部で選択的に設定された映像処理を行い、2つの出力映像信号を生成する。そして、出力映像信号の1つを計測点入力用映像として表示部に出力することで、映像処理に応じて輝度分布を変えた映像を表示することができる。例えば、計測者が、画像計測を行う場合に見やすくなるような被検体の映像を表示することができる。
計測者は、計測操作部によって、このように見やすい計測点入力用映像が表示された表示画面上から画像計測の操作入力を行うことができるので、例えば、計測点の指定などを精度よく行うことができる。
一方、画像計測の操作入力が行われると、計測用画像選択部によって、2つの出力映像信号の画像特性を比較評価し、2つの出力映像信号のいずれかを被計測画像データとして選択する。そして画像計測処理部によって、計測用画像選択部で選択された出力映像信号を被計測画像データとして、画像計測が行われる。
したがって、画像特性として、計測精度に影響する画像特性を選択し、計測精度に影響する程度を評価することで、より高精度な画像計測を行うことができる。
例えば、画像計測がステレオ画像計測の場合には、視差画像のマッチング処理の精度が計測精度に影響する。そのため、画像特性として、マッチング処理に影響する画像特性を選択し、マッチング処理の成功度合いに対応する評価点を付与することで、画像特性の評価を行う。
請求項2に記載の発明では、請求項1に記載の画像計測装置において、前記映像信号処理部が、前記入力映像信号に施す映像処理を無効化する映像処理無効化手段を備える構成とする。
この発明によれば、映像処理無効化手段を備えるので、表示部に表示される計測点入力用映像の映像処理を用いて画像計測すると画像計測の計測精度が所望の計測精度より劣化するような場合に、映像処理を無効化することができる。
映像処理の無効化は、例えば、映像信号処理部の入力映像信号に対する処理を、少なくとも輝度分布調整に関しては行わないように設定するようにしておいてもよいし、映像信号処理部が行った映像処理の逆変換処理を行って無効化するようにしてもよい。
請求項3に記載の発明では、請求項1又は請求項2に記載の画像計測装置において、前記計測用画像選択部が、評価の優先順位が付けられた複数の画像特性を、前記優先順位の高いものから順次比較評価する画像特性評価手段を備え、該画像特性評価手段は、前記計測点入力用映像に対応する前記出力映像信号が前記複数の画像特性のすべての比較評価で他方の出力映像信号に比べて優位であった場合に、前記計測点入力用映像に対応する前記出力映像信号を前記被計測画像データとして選択し、それ以外の場合には、前記他方の出力映像信号を前記被計測画像データとして選択するようにした構成とする。
この発明によれば、画像特性評価手段によって、2つの出力映像信号に対して、複数の画像特性を優先順位の高いものから順次比較評価し、計測点入力用映像に対応する出力映像信号よりも、他の出力映像信号が優位になった場合には、他の出力映像信号を被計測データとして用い、複数の画像特性のすべてにおいて計測点入力用映像に対応する出力映像信号が他の出力映像信号よりも優位になった場合のみ、計測点入力用映像に対応する出力映像信号を被計測画像データとして選択する。そのため、計測点入力用映像のどれかの画像特性が画像計測に適さないと判定されると、残りの画像特性を評価することなく他方の出力映像信号を選択するので、迅速な画像計測を行うことができる。
請求項4に記載の発明では、請求項1又は請求項2に記載の画像計測装置において、前記計測用画像選択部が、複数の画像特性を、前記2つの出力映像信号のそれぞれに対して評価する個別画像特性評価手段と、該個別画像特性評価手段による前記2つの出力映像信号のそれぞれに対する各特性評価結果を、予め設定された評価式に基づいて比較評価する総合評価手段とを備え、該総合評価手段の比較評価に基づいて、前記被計測画像データを選択するようにした構成とする。
この発明によれば、計測用画像選択部が、個別画像特性評価手段と、総合評価手段とからなり、2つの出力映像信号をそれぞれ個別画像特性評価手段により、複数の画像特性すべてについて評価し、総合評価手段によって、それらの評価結果を予め設定された評価式に基づいて比較評価して、被計測画像データを選択することができる。そのため、より高精度の画像計測が可能な出力映像信号を、被計測画像データとして選択することができる。
請求項5に記載の発明では、請求項1乃至請求項4のいずれか1項に記載の画像計測装置において、前記映像信号取得部が、視差映像を取得するステレオ撮像手段からなり、前記映像信号処理部が、前記視差映像のそれぞれに対応する出力映像信号を生成し、前記画像計測処理部が、前記視差映像のそれぞれに対応する出力映像信号による2つの被計測画像データから、ステレオ計測処理を行う構成とする。
この発明によれば、計測操作入力時に表示部に表示された映像の映像処理によって計測精度が影響されることなく、ステレオ計測を行うことができる。
請求項6に記載の発明では、請求項1乃至請求項5のいずれか1項に記載の画像計測装置において、前記映像信号処理部が行う映像処理が、ワイドダイナミックレンジ処理であることを特徴とする構成とする。
この発明によれば、ワイドダイナミックレンジ処理により、輝度分布を調整して、計測者が見やすい映像を表示部に表示することができる。
請求項7に記載の発明では、画像計測方法において、被検体を撮像して入力映像信号を生成する映像信号取得工程と、該映像信号取得工程で生成された入力映像信号に対して映像処理を施すことで2つの出力映像信号を生成する映像信号処理工程と、該映像信号処理工程で生成される前記出力映像信号の1つに応じて計測点入力用映像を表示する表示工程と、該表示工程で表示された前記計測点入力用映像を基準として画像計測の操作入力を行う計測操作工程と、前記2つの出力映像信号のそれぞれの画像特性を比較評価し、前記2つの出力映像信号のうちのいずれかを被計測画像データとして選択する計測用画像選択工程と、該計測用画像選択工程で選択された出力映像信号を、被計測画像データとして、前記計測操作部の操作入力に基づく画像計測を行う画像計測処理工程とを備えた方法とする。
この発明によれば、請求項1に記載の画像計測装置を用いて行う画像計測法方法となっているので、請求項1に記載の発明と同様の作用効果を備える。
請求項8に記載の発明では、請求項7に記載の画像計測方法において、前記映像信号処理工程が、前記入力映像信号に施す映像処理を無効化する映像処理無効化工程を備える方法とする。
この発明によれば、請求項2に記載の画像計測装置を用いて行う画像計測法方法となっているので、請求項2に記載の発明と同様の作用効果を備える。
請求項9に記載の発明では、請求項7又は請求項8に記載の画像計測方法において、前記計測用画像選択工程が、評価の優先順位が付けられた複数の画像特性を、前記優先順位の高いものから順次比較評価する複数のステップからなり、該各ステップにおいて、前記計測点入力用映像に対応する前記出力映像信号の評価が他方の出力映像信号に比べて優位となった場合には、次ステップに移行し、それ以外の場合には、次ステップ以降行うことなく、前記他方の出力映像信号を前記被計測画像データとして選択し、前記複数のステップのすべてにおいて、前記計測点入力用映像に対応する前記出力映像信号が前記他方の出力映像信号に比べて優位となった場合に、前記計測点入力用映像に対応する前記出力映像信号を前記被計測画像データとして選択する方法とする。
この発明によれば、請求項3に記載の画像計測装置を用いて行う画像計測法方法となっているので、請求項3に記載の発明と同様の作用効果を備える。
請求項10に記載の発明では、請求項7又は請求項8に記載の画像計測方法において、前記計測用画像選択工程が、複数の画像特性を、前記2つの出力映像信号のそれぞれに対して評価する個別画像特性評価工程と、該個別画像特性評価工程による前記2つの出力映像信号のそれぞれに対する各特性評価結果を、予め設定された評価式に基づいて比較評価する総合評価工程とを備え、該総合評価工程の比較評価に基づいて、前記被計測画像データを選択する方法とする。
この発明によれば、請求項4に記載の画像計測装置を用いて行う画像計測法方法となっているので、請求項4に記載の発明と同様の作用効果を備える。
本発明の画像計測装置および方法によれば、2つの出力映像信号のうちいずれかを被計測画像データとして選択できるので、被検体を計測者が見やすい映像処理を施した出力映像信号を計測点入力用映像として表示し、計測用画像選択部によってより計測精度が高くなる出力映像信号を被計測画像データとして選択するので、被検体を計測者に見やすい状態に表示することができるとともに、画像計測の計測精度を劣化させないようにすることができるという効果を奏する。
以下では、本発明の実施の形態について添付図面を参照して説明する。すべての図面において、実施形態が異なる場合であっても、同一または相当する部材には同一の符号を付し、共通する説明は省略する。
本発明の実施形態に係る画像計測装置について説明する。
図1は、本発明の実施形態に係る画像計測装置の概略構成を示す斜視図である。図2は、本発明の実施形態に係る画像計測装置のコントロールユニットの概略構成を示すシステム構成図である。図3は、本発明の第1の実施形態に係る画像計測装置のコントロールユニットの機能ブロックの構成を示す機能ブロック図である。
本実施形態の計測内視鏡装置1は、被検体を撮像し、その画像から画像計測を行うための画像計測装置であり、内視鏡挿入部の先端の光学アダプタを交換したり、内蔵された計測処理プログラムを適宜選択したり、計測処理プログラムを適宜追加することにより、種々の観察や画像計測を行うことができるようにした画像計測装置である。以下では、画像計測の一例としてステレオ計測を行う場合について説明する。
計測内視鏡装置1の概略構成は、図1、2に示すように、ステレオ計測用光学アダプタ2、内視鏡挿入部3、内視鏡ユニット7、カメラコントロールユニット(以下、CCUと略称する)9、液晶モニタ6(表示部)、リモートコントローラ5、およびコントロールユニット4からなる。
ステレオ計測用光学アダプタ2は、視差を有する画像を取得するために所定距離だけ離間して配置された対物レンズ2A、2Bが略円筒状のアダプタ本体2a内に配置されたもので、例えば、雌ねじなどが形成されたマウント部2bにより、内視鏡挿入部3の先端に着脱可能に装着されるものである。
対物レンズ2A、2Bの位置は、ステレオ計測用光学アダプタ2の軸方向先端面側に視野を有する直視タイプと、同じく側面方向に視野を有する側視タイプとで異なるが、本実施形態では直視タイプとして図示している。このため、対物レンズ2A、2Bは、光軸をステレオ計測用光学アダプタ2の軸方向に向けて、先端面に設けられた入射開口の近傍に配置されている。
また、ステレオ計測用光学アダプタ2の先端面には、アダプタ本体2a内を導光された照明光を被検体に向けて出射する照明窓2cが設けられている。
内視鏡挿入部3は、被検体の内部に挿入して計測部分を撮像し、映像信号をコントロールユニット4に向けて送出するためのものである。湾曲可能に設けられた先端部には、ステレオ計測用光学アダプタ2などの複数の光学アダプタに共通のマウント部が設けられ、各光学アダプタが交換可能に装着されるようになっている。
特に図示しないが、先端部の内部には、光学アダプタの対物レンズによる像を撮像する、例えばCCDなどの撮像素子が配置されるとともに、照明光を被検体に照射するライトガイドが設けられている。
内視鏡挿入部3の構造は、先端部から基端部にわたって屈曲可能な細長い管状とされ、その内部に、撮像素子の信号線、ライトガイド本体、および先端部の湾曲を操作するためのワイヤ機構などが配置されている(いずれも不図示)。
内視鏡挿入部3にステレオ計測用光学アダプタ2が装着される場合には、撮像素子によって、視差を有する一対の映像(以下、視差映像と称する)が取得され、2つの対物レンズに対応する2つの映像信号が、内視鏡挿入部3内部の信号線によりCCU9に伝送されるようになっている。
内視鏡ユニット7は、内視鏡挿入部3のライトガイドに導光する照明光を発生する照明用光源、ワイヤ機構の電動湾曲駆動ユニット、および電動湾曲駆動ユニットを駆動する制御パラメータを記録・記憶するためのEEPROM8などを備える装置部分であり、内視鏡挿入部3の基端部に接続された状態でコントロールユニット4に内蔵されている。
CCU9は、内視鏡挿入部3に設けられた撮像素子の撮像を制御するとともに、撮像素子で取得された撮像信号を、例えばNTSC信号などの映像信号に変換し、入力映像信号100としてコントロールユニット4に送出するものである。
このように、ステレオ計測用光学アダプタ2、内視鏡挿入部3、内視鏡ユニット7、CCU9は、ステレオ計測用光学アダプタを含む内視鏡からなり、視差映像を取得するステレオ撮像手段を構成する映像信号取得部を構成している。
液晶モニタ6は、コントロールユニット4から送出される表示用映像信号101aに基づいて、被検体の映像およびその他の情報表示を行うものである。すなわち、映像信号処理部で生成した出力映像信号に応じて映像を表示する表示部33(図3参照)を構成するものである。これらの映像、情報はそれぞれ必要に応じて単独に、または合成して表示される。
本実施形態のようにステレオ計測を行う場合には、表示用映像信号101aとして、視差映像の一方または両方の入力映像信号100に対応するものが表示される。
その他の情報表示としては、例えば、後述するリモートコントローラ5などの操作部からの操作入力情報や、操作メニューや、操作用のグラフィカルユーザインタフェース(GUI)(以下、これら操作関連の表示を操作画面画像と総称する。)が挙げられる。
また、計測時に用いるカーソル画像の表示や、計測結果などを表示する計測結果情報102が挙げられる。
リモートコントローラ5は、計測内視鏡装置1の操作入力全般を行うための操作部であり、コントロールユニット4に接続されている。
リモートコントローラ5が行う操作入力としては、例えば、電源のオン/オフ、キャリブレーション設定に関する操作、撮像動作に関する操作、照明に関する操作、内視鏡挿入部3の湾曲駆動の操作、計測に関する操作、計測時の計測精度の選択操作、液晶モニタ6に表示する映像の映像処理の選択操作、映像情報からの画像記録操作、例えば外部記憶媒体などに記録された画像の読み出し操作などが、適宜のユーザインタフェースを介して行うことができるようになっている。例えば、特に図示しないが、ジョイスティック、レバースイッチ、フリーズスイッチ、ストアースイッチ、および計測実行スイッチなどが設けられ、これらにより、操作メニューの選択入力を行ったり、直接的に操作、指示入力したり、液晶モニタ6に表示されたGUIを操作したりすることで、種々の操作入力が行えるようになっている。
すなわち、リモートコントローラ5は、計測者が液晶モニタ6に表示された被検体の映像の見え方を変更するために、コントロールユニット4で行われる映像処理を選択する映像処理選択操作部32(図3参照)、および液晶モニタ6の表示画面上で画像計測の操作入力を行う計測操作部31(図3参照)の機能を備えている。
コントロールユニット4は、撮像された映像の映像処理、および画像計測のための演算処理を含めて、計測内視鏡装置1の全体制御を行うもので、本実施形態では、ハードウエアとしては、図2に示すように、CPU10、ROM11、RAM12、各種の入出力インタフェース、および映像信号処理回路16から構成される。
CPU10は、ROM11や後述する外部記憶媒体に記憶された主要プログラムをRAM12にロードして実行し、後述する各機能の動作を行う。
入出力インタフェースとしては、例えば、RS−232Cインタフェース15、PCカードインタフェース13、USBインタフェース14などを備える。
RS−232Cインタフェース15は、リモートコントローラ5、内視鏡ユニット7、CCU9との間での動作制御を行うための通信を行うものである。
PCカードインタフェース13は、PCMCIA準拠のPCカードを接続するためのものであるが、本実施形態では、主としてリムーバルの外部記憶媒体を接続し、装置を動作させるためのプログラムをロードしたり、計測に必要な設定や計測結果などに関する情報や画像情報などを記憶保存したりするために用いている。
このため、PCカードインタフェース13には、外部記憶媒体としてフラッシュメモリを用いた各種メモリカード、例えば、PCMCIAメモリカード18や、コンパクトフラッシュ(登録商標)メモリカード19が装着される。
USBインタフェース14は、USB機器を接続するためのものであるが、本実施形態では、パーソナルコンピュータ17を着脱可能に接続するために設けられている。
そして、パーソナルコンピュータが接続された場合には、外部記憶媒体に記憶する上記各種情報、あるいはPCカードインタフェース13に接続された外部記憶媒体に記憶されている各種情報を、パーソナルコンピュータ17の内蔵メモリや記憶装置との間で授受したり、パーソナルコンピュータ17の表示モニタ上に再生したり、リモートコントローラ5に代わってコントロールユニット4に対する各種操作入力を行ったりするための通信を行う。
このため、パーソナルコンピュータ17を接続する場合、コントロールユニット4に接続された液晶モニタ6、リモートコントローラ5、および外部記憶媒体の機能を、パーソナルコンピュータ17が兼用することができるようになっている。そのため、例えば、計測に関する制御や、映像処理や、画像表示などを、必要に応じてパーソナルコンピュータ17のリソースを利用して行うことができるものである。すなわち、この場合、パーソナルコンピュータ17は、図3における表示部33、映像処理選択操作部32、計測操作部31の機能を備えるものである。
映像信号処理回路16は、CCU9から供給された入力映像信号100にリモートコントローラ5により指定された映像処理を施して出力映像信号101A、101Bを生成し、必要に応じてCPU10で生成される操作画面画像や計測結果情報102と合成し、液晶モニタ6に表示するために、例えばNTSC信号などに変換し、表示用映像信号101aとして、液晶モニタ6に送出するものである。
ここで、計測内視鏡装置1によるステレオ計測について説明する。
計測内視鏡装置1によるステレオ計測では、ステレオ計測用光学アダプタ2の光学データを記録した外部記憶媒体から光学情報を読み込む第1の処理と、内視鏡挿入部3の先端部内に配置された撮像素子とステレオ計測用光学アダプタ2の対物レンズ系との間の位置情報を読み込む第2の処理と、前記位置関係情報と生産時に求めた主となる内視鏡の撮像素子とこのステレオ計測用光学アダプタ2の対物レンズ系との間の位置関係情報から、前記計測内視鏡装置1の前記撮像素子の位置誤差を求める第3の処理と、前記位置誤差から前記光学データを補正する第4の処理と、前記補正した光学データを基に計測する画像を座標変換する第5の処理と、座標変換された画像を基に2画像のマッチングにより任意の点の三次元座標を求める第6の処理とを少なくとも実行することにより行われる。
CPU10は、例えば前記第1ないし第4の処理をステレオ計測用光学アダプタ2に対して一度実行し、結果を外部記憶媒体上に計測環境データとして記録しておくように制御する。前記第1ないし第4の処理をまとめてキャリブレーション処理と呼ぶ。これ以降に、ステレオ計測を実行するときは、CPU10は、前記計測環境データをRAM12に上にロードして、前記第5、第6の処理を実行するように制御する。
なお、前記先端部の撮像素子とステレオ計測用光学アダプタ2の対物レンズ系との間の位置関係情報を読み込む第2の処理を行う場合、ステレオ計測用光学アダプタ2に設けられているマスクの形状を取り込み、生産時のマスクの形状と位置とを比較することにより行う。この場合、前記マスク形状の取り込みは、キャリブレーション用の被検体を撮像し、白画像を取り込むことにより行う。
ここで、図3を参照して、コントロールユニット4の機能ブロック構成について、映像信号処理回路16に関連する各機能ブロックを中心に説明する。
コントロールユニット4の機能ブロックの概略構成は、前処理部35、映像信号処理部34、信号変換部38、処理選定部40、画像記憶部42、計測用画像選択部45、および画像計測処理部43からなる。ここで、前処理部35、映像信号処理部34、および信号変換部38は、映像信号処理回路16から構成される。
前処理部35は、ステレオ計測用光学アダプタ2、内視鏡挿入部3、内視鏡ユニット7およびCCU9からなる映像信号取得部30から、送出される入力映像信号100に、必要に応じて、例えば輝度レベル調整、ノイズ除去処理などの前処理を施して、演算処理用に確保されたRAM12の領域に一時記憶し、一対の視差映像からなる1フレーム分の映像情報を入力映像信号100aとして、映像信号処理部34に送出する。
例えば、CCU9内の処理などによって良好な入力映像信号100が得られるなど、前処理が必要ない場合には、前処理部35は削除した構成としてもよい。また、前処理部35の機能を映像信号処理部34の映像処理に持たせられる場合には、前処理部35を削除した構成としてもよい。
映像信号処理部34は、後述するように映像処理を施さない処理も含めた複数の映像処理の中から選択した映像処理を2系統で実行可能な構成とされている。そして、処理選定部40から送出される制御信号104に基づいてそれぞれの系統の映像処理を選択し、前処理部35で前処理された入力映像信号100aにそれぞれ映像処理を施し、表示部33に表示するための出力映像信号101Aを生成して信号変換部38に送出し、デフォルトの被計測画像データとするための出力映像信号101Bを生成して出力映像信号101Aとともに画像記憶部42に送出できるようになっている。
なお、出力映像信号101A、101Bは、異なる信号とは限らず、それぞれの映像処理が選択された結果として、同一の信号となっている場合があってもよい。
信号変換部38は、映像信号処理部34から送出された出力映像信号101Aを表示用映像信号101aとして、表示部33に送出するものである。このため、出力映像信号101Aは、計測点入力用映像に対応している。
その際、表示用映像信号101aは、必要に応じて、操作画面画像などの他の画像データを合成することができるようになっている。また、画像計測処理部43で生成される計測結果情報102が送出された場合には、計測結果情報102も合成した状態で表示用映像信号101aを生成できるようになっている。
処理選定部40は、映像処理選択操作部32および計測操作部31から送出される制御信号105、計測開始信号103に基づいて、映像信号処理部34で行う2系統の映像処理を選定するものである。
制御信号105を受信した場合、入力映像信号100aを、制御信号105で選定された映像処理で略リアルタイムに処理して、表示用映像信号101aを生成し、液晶モニタ6からなる表示部33に送出する動作モードを設定するような制御信号104を生成する。
一方、適宜のタイミングで、計測開始信号103を受信した場合は、後述する計測精度条件に基づいて視差映像の映像処理を選定するような制御信号104を生成する。
映像処理選択操作部32は、計測者が、液晶モニタ6に表示された被検体の映像の見え方を変更するための映像処理を選択するためのもので、計測開始前に、液晶モニタ6上に表示する操作メニューとして表示され、リモートコントローラ5などにより操作メニューから選択できるようになっている。また、必要に応じて計測を開始してからでも、適宜操作メニューを呼び出して変更することができるようになっている。
例えば、撮像環境や照明条件によっては、映像の明部に白トビが生じたり、暗部に黒ツブレが生じたりして、被検体の計測部位や計測点の識別が困難な場合があるが、このような場合に、明部領域、暗部領域の階調変換を行えるようになっている。
これに対応して操作メニューとしては、例えば、白トビ補正、黒ツブレ補正などの選択肢が表示され、さらに、それぞれの補正レベルが、例えば、高、中、低などとして選択できるようになっている。例えば、黒ツブレ補正、中レベルが選択されると、選択値がRAM12に記憶され、それに応じた制御信号105を生成して処理選定部40に送出する。
その際、計測者の便宜などの必要に応じて、操作メニューには、各映像処理が施された画像を用いて計測する場合の計測精度を表示してもよい。
処理選定部40に計測開始信号103が送出された場合の処理選定は、被計測画像データを取得する前に予め設定された計測精度条件に基づいて行われる。
そのため、コントロールユニット4には、映像信号処理部34が行うすべての映像処理とそれぞれの計測精度との関係が記述された映像処理選択テーブル41が備えられ、処理選定部40から参照できるようになっている。例えば、計測対象となる特定輝度範囲の線画像や点画像が、映像処理によって、線幅や点の大きさが変化する場合、それらの変化幅に応じて計測精度が変化することになるが、その場合の計測精度は、線幅や点の大きさの変化幅から理論的、あるいは実験的に求めておくことができる。
映像信号処理部34が実行可能な映像処理の種類は後述する映像処理のパラメータの組み合わせとして表現され、パラメータの種類、レベルの数に応じて、2次元または多次元の表データとして、ROM11に格納され、CPU10によって適宜RAM12に呼び出されて利用される。
計測精度条件は、本実施形態では、計測条件を初期設定する際に、リモートコントローラ5から予め設定することができる。例えば、距離測定であれば、計測精度条件として、±0.1mmなどの条件を設定し、RAM12に記憶しておく。あるいは、計測の設定条件を外部記憶媒体44から読み出して設定する場合には、外部記憶媒体44に計測精度条件も記憶しておき、他の設定条件とともに、自動的に読み出した値をRAM12に記憶するようにしてもよい。
処理選定部40では、リモートコントローラ5に設けられた計測操作部31からの計測開始信号103を受けて、映像処理選択操作部32からの制御信号105に応じて設定された現在の映像処理の計測精度を映像処理選択テーブル41から取得し、予め設定された計測精度条件と比較する。
そして、計測精度が不十分であれば、映像処理選択テーブル41から計測精度を満足する他の映像処理を選定する。また、計測精度が十分であれば現在の映像処理を選定する。そして、それぞれに応じて制御信号104を生成し、映像信号処理部34に送出する。
なお、処理選定部40で映像処理が一意に選定できるように、映像処理選択テーブル41上の計測精度が同一となる場合には、映像処理選択テーブル41に選定序列を記述するか、または処理選定部40に計測精度が同一の場合の映像処理の選定ルールを設定しておく。
映像信号処理部34では、n個の映像処理が実行できるようになっている。これらの映像処理を区別する必要がある場合、以下では、処理(0)、処理(1)、…、処理(n−1)(nは2以上の整数)と称する。
処理(0)は、映像処理を無効化するものであり、前処理部35から送出された入力映像信号100aの輝度階調を変えない信号を出力映像信号101Aあるいは101Bとして生成するものである。
その他の処理(1)〜(n−1)は、各種のパラメータを変えて、入力映像信号100aの輝度階調を適宜変換するワイドダイナミックレンジ(以下、WDRと略称する)処理である。すなわち、処理選定部40により、特定の映像処理が選択されると、ROM11に記憶されたWDRパラメータが呼び出され、それらに基づいて、映像処理を行い、出力映像信号101Aあるいは101Bを生成するものである。
処理(1)〜(n−1)の例について簡単に説明する。
図4、5、6は、本発明の実施形態に係る画像計測装置のWDR処理の処理前後の輝度分布の変化の第1、第2、第3例を示すヒストグラムである。各図の横軸は輝度の大きさを示す。縦軸は頻度を表す。
本実施形態のWDR処理は、特定の輝度領域内の画像データに対して、輝度を所定の階調曲線に基づいて変換するものである。
処理対象の輝度領域は、256階調の場合を例で説明すると、暗部を形成する低輝度の処理領域が、輝度0〜S(ただし、S<255)の領域として、明部を形成する高輝度の処理領域が、輝度S〜255(ただし、S<S<255)の領域としてそれぞれ設定される。すなわち、(0,S)、(S,255)が、この場合の輝度領域に関するWDRパラメータである。
そして、それぞれの処理領域の輝度の変換は、適宜の他のWDRパラメータで設定することができるが、単純化された例として、例えば、暗部をより低輝度に、明部をより高輝度にそれぞれシフトさせる度合いで表し、WDRパラメータとして、0から100%までの強度指数を設定する例を挙げることができる。さらに、0%、50%、100%などの強度指数をそれぞれ、低レベル、中レベル、高レベルとして選択可能にしてもよい。
図4は、入力映像信号100aの輝度分布が、輝度分布200のように暗部に偏っている場合に、暗部を中レベル、明部を低レベルでWDR処理した例である。処理後の輝度分布201は、暗部領域内のデータに相対的な高輝度データが増えている。すなわち、黒ツブレが改善されるものである。この場合、暗部データが減少するから、例えば、黒いライン画像、点画像が細るように変形するので、これらの画像を計測に利用する場合、計測精度に影響する。
図5は、入力映像信号100aの輝度分布が、輝度分布202のように明部に偏っている場合に、明部を中レベル、暗部を低レベルでWDR処理した例である。処理後の輝度分布203は、明部領域内のデータに相対的な低輝度データが増えている。すなわち、白トビが改善されるものである。この場合、明部データが減少するから、例えば、白いライン画像、点画像が細るように変形するので、これらの画像を計測に利用する場合、計測精度に影響する。
図6は、入力映像信号100aの輝度分布が、輝度分布204のように中間輝度に集中している場合に、明部、暗部を低レベルでWDR処理した例である。この場合、処理後の輝度分布205は、輝度分布204と略重なった分布となり、中間輝度に集中した輝度分布が維持される。すなわち、WDR処理により、輝度分布がほとんど変形されないため計測精度も変化しない。
画像記憶部42は、映像信号処理部34から送出される出力映像信号101A、101Bを、静止画像データとして記憶するためのもので、RAM12上に設けられる。
計測用画像選択部45は、出力映像信号101A、101Bのそれぞれの画像特性を比較評価し、出力映像信号101A、101Bのうちのいずれかを被計測画像データとして選択するものである。
出力映像信号101Bは、デフォルトの被計測画像データとして用いるため、予め設定された計測精度条件に応じて、映像処理選択テーブル41から選択された映像処理が施される。ただし、これによって得られる計測精度は、被検体の表面状態や形状、照明条件などによって決まる実際の画像特性や、画像ノイズ量などによって影響を受けるため、常に予想されたとおりの計測精度が得られるとは限らない。例えば、計測者が、計測点入力を行う部位が見えやすくなるように選定した出力映像信号101Aの映像処理の方が、マッチング処理などには適している場合がある。
そこで、本実施形態の計測用画像選択部45では、計測点が入力されると、その近傍の画像データを出力映像信号101A、101Bのそれぞれから取り出し、評価の優先順位が付けられた複数の画像特性を、優先順位の高いものから順次比較評価する画像特性評価手段を備えている。この画像特性評価手段では、出力映像信号101Aが複数の画像特性のすべての比較評価で出力映像信号101Bに比べて優位であった場合に、出力映像信号101Aを被計測画像データとして選択し、それ以外の場合には、出力映像信号101Bを被計測画像データとして選択し、画像計測処理部43に送出するようになっている。
画像計測処理部43は、計測用画像選択部45から送出された出力映像信号101Aまたは101Bを被計測画像データとして画像計測を行うとともに、計測の操作入力に必要な計測用GUI画像109を生成するものである。本実施形態では、周知のアルゴリズムによりステレオ計測を行うものである。例えば、計測操作部31によって、液晶モニタ6の表示画像上で計測点が入力されると、計測点に対応する各視差画像の対応点の位置情報をそれぞれの輝度情報に基づいてマッチング処理して取得し、三角測量の原理により3次元位置座標に換算するような画像処理を行う。
計測点の情報などは、例えば、液晶モニタ6上の位置合わせカーソルをリモートコントローラ5などで操作するGUIを通して取得された計測情報107として画像計測処理部43に送出されたものを用いる。
このステレオ計測の計測結果は、計測距離や計測点のマークなどとともに、計測結果情報102として、信号変換部38に送出され、信号変換部38で出力映像信号101Aの映像に合成されて、表示部33に表示できるようになっている。
次に、計測内視鏡装置1の動作について説明する。
計測開始前に、計測精度条件を含む計測条件の設定を行う。これは、計測者がリモートコントローラ5を用いて入力してもよいし、外部記憶媒体に記憶された条件を読み出してもよい。この計測精度条件は、RAM12に記憶される。
以下では、一例として、この計測精度条件に基づいて、出力映像信号101Bを得るための映像処理として処理(0)が選択されているものとして説明する。
また、計測者は液晶モニタ6に表示された操作メニューから、表示に用いる映像処理を選択する。制御信号105が映像信号処理部34に送出されて、n個の映像処理の中から所望の映像処理、例えば、処理(1)が選択される。
そして、ステレオ計測用光学アダプタ2を装着した内視鏡挿入部3を被検体に挿入し、リモートコントローラ5により先端部の湾曲を調整して、被検体の所望の計測部位に向ける。
ステレオ計測用光学アダプタ2を通して撮像素子に結像した画像は、CCU9を通して入力映像信号100として、コントロールユニット4に送出される。そして、すでに設定された処理(1)を施した映像が液晶モニタ6に表示される。計測者は、その映像を見ながら被検体の計測位置を設定する。
そして、計測点を設定する位置合わせカーソルを表示し、例えば、距離計測を行う場合、2点の計測点を指定する。そして、例えば、リモートコントローラ5の計測操作部31から計測開始スイッチを押すといった操作入力を行う。
計測操作部31は、計測開始信号103を処理選定部40に、計測情報107を画像計測処理部43に、それぞれ送出する。
処理選定部40では、映像処理選択テーブル41を参照して、所定の計測精度条件を満たす映像処理を自動的に選定する。例えば、処理(1)で計測精度条件が満足されない場合は、例えば、計測精度条件が満足される他の処理(i)(2≦i≦n−1)が選択され、それに応じた制御信号104が映像信号処理部34に送出される。
処理(1)〜(n−1)に計測精度条件を満たすものがない場合は、処理(0)が選択される。この場合、映像処理が無効化されるので、映像処理による計測精度の劣化は含まれない。すなわち、処理選定部40は、映像処理無効化手段を構成している。
また、処理(1)で計測精度条件が満足される場合には、被計測画像の映像処理も処理(1)を選択する。
以下では、一例として、処理選定部40で処理(0)が選択されるものとする。
次に、計測内視鏡装置1の計測動作について、フローチャートおよび表示画面の例に基づいて説明する。
図7は、本発明の実施形態に係る画像計測装置の動作を示すフローチャートである。図8は、本発明の実施形態に係る画像計測装置の計測処理の動作を示すフローチャートである。図9は、図8の表示用映像の処理の動作を示すフローチャートである。図10は、図8の計測用映像の処理の動作を示すフローチャートである。図11(a)、(b)は、本発明の実施形態に係る画像計測装置の計測処理モード時の表示画面の一例を示す模式説明図である。図11(c)は、計測点の周囲の被評価画像を示す模式説明図である。図12は、図8の映像情報判定処理の動作を示すフローチャートである。
計測内視鏡装置1は、電源を投入すると、ステレオ計測用光学アダプタ2を通して取得される映像を液晶モニタ6に表示する映像表示モードが実行され、リモートコントローラ5などの操作部から操作入力が発生すると、操作入力に応じた各種処理モートが実行されるようになっている。本実施形態では、この各種処理モードとして、計測処理モード、映像情報の記録処理モード、画像ファイル再生処理モードを備えている。以下では、計測処理モードを中心に説明する。
まず、図7に示すように、ST101では、映像信号取得部30から、1フレーム分の映像情報を取得する。すなわち、映像信号取得部30から入力映像信号100がコントロールユニット4の前処理部35に送出され、前処理部35によって適宜の前処理が施された1フレーム分の入力映像信号100aが映像情報として取得される。
次に、ST102では、処理選定部40において、リモートコントローラ5などによって予め選択された映像処理が選定され、映像信号処理部34に設定される。
次に、ST103では、CPU10は操作入力がされたかどうか確認し、操作入力がなされていた場合には、操作入力に応じて分岐してそれぞれの処理を実行する。例えば、計測を起動する操作入力が行われていた場合には、ST106に移行する。また、映像情報を後述する画像ファイルに記録する操作入力が行われていた場合には、映像情報の記録処理モードを実行するST107に移行する。また、後述する画像ファイルに記録された画像を再生する操作入力が行われていた場合には、画像ファイル再生処理モードを実行するST108に移行する。
一方、操作入力が行われていない場合には、ST104に移行する。
ST104では、1フレーム分の入力映像信号100aに対して映像信号処理部34に設定されている現在の映像処理を施し、出力映像信号101Aを生成する。ただし現在の映像処理として、処理(0)が設定されている場合には、WDR処理などの映像処理は行われず、無効化されていることになる。
次に、ST105では、ST104で生成された出力映像信号101Aを信号変換部38に送出し、信号変換部38によって、適宜の他の画像データが合成された表示用映像信号101aを表示部33に送出する。これにより、映像信号取得部30で取得した映像情報が表示部33に表示される。
そして、ST101に移行して、次の1フレーム分の映像情報を取得し、上記を繰り返す。これにより、操作入力が発生しない場合は、現在の映像処理が施された1フレームごとの映像を表示部33に略リアルタイムで表示する映像表示モードが実現される。
次に、図7のST103において、操作入力がなされていた場合のフローについて説明する。
まず、操作入力として計測を起動する操作入力が行われていた場合、すなわち、計測操作部31から計測開始信号103が入力されていた場合、ST106として、図8に示すST201〜ST212のような計測処理のフローが実行される。ただし、ST201の処理は出力映像信号101Aを生成する処理であり、ST202の処理は出力映像信号101Bを生成する処理となっており、それぞれは図9のST301〜ST304に示すフロー、および図10のST401〜ST402に示すフローの2系統で同時並行的に処理される。
ST201について図9を参照して説明する。
ST301では、図7のST104と同様にして、1フレーム分の入力映像信号100aに対して映像信号処理部34に設定されている現在の映像処理を施し、出力映像信号101Aを生成する。
次に、ST302では、出力映像信号101Aを画像記憶部42に一時記憶する。
次に、ST303では、出力映像信号101Aを信号変換部38に送出して、表示用映像信号101aに変換し、表示部33に静止画像として表示する。
次に、ST304では、画像計測処理部43において生成された計測用GUI画像109を信号変換部38に送出し、表示部33に重畳表示する。
このような計測起動時における表示画面60を図11(a)に示す。
表示画面60では、例えば、タービンブレードなどの被検体62のエッジ部における亀裂62aの近傍の視差映像61L、61R、日時情報63の上に、計測用GUI画像109に対応して、カーソル68、操作用アイコン65、ズームウィンドウ66、計測条件情報64、メッセージ情報67などが重畳表示される。
カーソル68は、計測操作部31からの操作入力に応じて表示画面60上で計測点を入力したり、アイコンやメニュー選択などの操作を行ったりするためのものである。入力された計測点は、表示画面60上で、例えば、クリック位置表示69のように×印などのシンボルで表示される。
ズームウィンドウ66は、図11(b)に示すように、カーソル68によって計測点を入力した際、計測点の近傍の矩形状の領域69aの画像を、計測点を中心して拡大表示するものである。ズームウィンドウ66の拡大倍率は、計測操作部31からの操作入力により、適宜可変できるようになっている。
計測条件情報64は、現在の計測条件の情報を表示するものであり、本実施形態では、一例として使用中のステレオ計測用光学アダプタ2の種類を表示している。
メッセージ情報67は、操作や計測に関する情報を種々の文字情報、数値情報を表示するものである。例えば、図11(a)では、操作ガイダンスを表示している。
次に、ST202について図10を参照して説明する。
ST401では、映像信号処理部34によって、計測開始信号103に基づいて選定された映像処理を入力映像信号100aに施して、出力映像信号101Bを生成する。本例では、処理(0)が選択されているため、映像信号処理部34は映像処理無効化を行う。
次に、ST402では、出力映像信号101Bによる1フレーム分の画像を画像記憶部42に一時記憶する。
図8に示すように、以上のST201およびST202が終了すると、ST203に移行する。
ST203では、計測者が計測操作部31を通して計測を終了させる操作入力を行ったかどうかを確認する。
計測を終了させる操作入力が行われていた場合は、計測処理モードを終了し、図7のST101に移行する。これにより、映像表示モードに移行し、次フレームの映像情報を取得する動作が行われる。
計測が終了させる操作入力が行われていなかった場合は、ST204に移行する。
ST204では、メッセージ情報67として、計測点入力を促すメッセージを表示し、計測点入力を受け付ける。計測者は、表示部33の表示画面60を見ながら、計測操作部31によってカーソル68を移動させ画面上で位置を選択することで計測点を入力することができる。このとき、ズームウィンドウ66上には、カーソル68近傍の領域69aの画像が拡大表示されるので、視差映像61L上で大局的な位置を把握しつつ、ズームウィンドウ66上で計測点の詳細な位置選択を行うことができる。
その際、表示画面60には、映像処理選択操作部32によって予め設定された映像処理が施された出力映像信号101Aに基づく画像が視差映像61L、61R、ズームウィンドウ66として表示されているため、計測点入力が容易となる。
次に、ST205では、計測用画像選択部45が、ST302において一時記憶された出力映像信号101Aによる画像を画像記憶部42から読み出す。
次に、ST206では、計測用画像選択部45は、ST402で読み出された出力映像信号101Bによる画像を画像記憶部42から読み出す。
次に、ST207では、図12に示すフローにしたがって、計測用画像選択部45による映像情報判定処理が、ST205、ST206で読み出された出力映像信号101A、101Bによる画像に対して実行される。
映像情報判定処理は、出力映像信号101A、101Bの計測点周囲のテクスチャを調べることにより、ステレオ計測における計測点のマッチング処理において、どちらが、よりマッチング処理が成功しやすいと判断できるテクスチャをもつ映像情報となっているかを判定する処理である。
本実施形態における映像情報判定処理は、これらの画像に対して、複数の画像特性として、評価の優先順位が高い順に、平均輝度、ヒストグラム形状、2値画像上のノイズ、テクスチャの曲線近似度、および計測点と近似曲線との距離を、順次比較評価していく。そして、被評価画像110Aが被計測画像データとして使用可か、使用不可かを判定する。
この画像特性の種類、評価順序は、好ましい一例であって、必要に応じて他の画像特性の評価を加えてもよく、また、これらのいずれかを削除してもよい。また、評価順序もこれに限定されるものではない。
まず、ST501では、図8のST204で入力され、例えば、図11(a)のクリック位置表示69で示される計測点の位置座標を取得し、この計測点の周囲における画像データを、出力映像信号101A、101Bから抽出して、それぞれ、被評価画像110A、110Bとして、画像記憶部42に記憶する。
被評価画像110A、110Bの取得範囲は、それぞれが同一の領域であれば、適宜の大きさで抽出することができ、領域69aの範囲と連動していてもよいし、領域69aと異なるサイズを有する範囲としてもよい。また、このサイズは、予め計測用画像選択部45内に設定されていてもよいし、計測点ごとにサイズの設定を変更できるようにしてもよい。
ただし、被評価画像110A、110Bのサイズは、計測点周囲の特徴をテクスチャによって表すことが可能なサイズに設定することが好ましい。このサイズが小さすぎるとマッチング処理に用いられる計測点周囲の特徴が被評価画像110A、110Bに含まれなくなるため適当ではない。また、このサイズが大きすぎると、マッチング処理には使用されない余分な情報が含まれてしまうため適当ではない。
このサイズを領域69aのサイズと連動して決めるようにすれば、計測者が計測点近傍のテクスチャを確認することができるので好ましい。
次に、ST501では、被評価画像110A、110Bの平均輝度を評価する。
平均輝度は、被評価画像110A(110B)内の全画素による輝度分布の平均値である。
本実施形態では、平均輝度が中間レベルの輝度もつ画像データは、高輝度部と低輝度部とが混在し特徴的なテクスチャを有すると考えられるため、計測画像として適していると判断し、このような画像データには評価点として高い点数を付与する。
一方、平均輝度が大きすぎる場合や小さすぎる場合には、白トビや黒ツブレが支配的となっており特徴的なテクスチャを有しないと考えられるため、計測画像として適していないと判断し、このような画像データには評価点として低い点数を付与する。
ST503で付与する被評価画像110A、110Bの評価点をそれぞれW、Nとする。
次に、ST503では、評価点W、Nの大小を判定し、Wの方が高い場合に、平均輝度の特性においては、出力映像信号101Aが被計測画像データとして使用可と判定し、次の画像特性を評価するST504に移行する。
また、WがN以下である場合には、出力映像信号101Aが被計測画像データとして使用不可と判定し、ST513に移行する。
ST504では、被評価画像110A、110Bのヒストグラム形状を評価する。
図13(a)、(b)、(c)、(d)は、ヒストグラム形状の双峰性の評価方法について説明する模式的なヒストグラムのグラフである。それぞれ、横軸は輝度、縦軸は画素数を示す。
ヒストグラム形状は、双峰性が強い方が、高輝度部と低輝度部とが混在し特徴的なテクスチャを有すると考えられるため、計測画像として適していると判断し、このような画像データには評価点として高い点数を付与し、双峰性が低いほど評価点として低い点数を付与する。
双峰性の評価は適宜の手段を用いることができるが、本実施形態では、一例として、ヒストグラムの低輝度部と高輝度部の分布のそれぞれの輝度平均値f1、f2と輝度標準偏差σ1、σ2を求めて評価している。
例えば、図13(a)、(b)、(c)、(d)に示すように、被評価画像110A(110B)の輝度分布のヒストグラムが曲線210、211、212、213のような、急峻な双峰性、なだらかな双峰性、単峰性、平坦性の形状を有する場合を考える。それぞれのヒストグラムにおいて、例えば、f=128などの適宜の中間輝度により、低輝度部として輝度が0以上f未満をクラス1、高輝度部として輝度がf以上255以下をクラス2とし、このクラス1、クラス2において、輝度平均値f1、f2と輝度標準偏差σ1、σ2を求める。例えば図13(a)に示すように、曲線210で表されるヒストグラムを各クラスごとに正規化し、得られた正規化曲線210a、210bから輝度平均値f1、f2、輝度標準偏差σ1、σ2を求めることができる。図13(b)、(c)、(d)についても同様である。
急峻な双峰性(図13(a)参照)では、|f1−f2|が大きくかつσ1、σ2がいずれも小さくなっている。また、|f1−f2|が小さくかつσ1、σ2が大きくなるほど、なだらかな双峰性(図13(b)参照)から単峰性(図13(c)参照)に変化する。また、|f1−f2|が比較的大きい場合でも、σ1、σ2が大きくなると、図13(d)に示すように、平坦な分布になる。
したがって、これらを考慮し、|f1−f2|、σ1、σ2をパラメータとする評価関数を設定することで、双峰性の程度に応じて評価点を付与することができる。
ST504で付与する被評価画像110A、110Bの評価点をそれぞれW、Nとする。
次に、ST505では、評価点W、Nの大小を判定し、Wの方が高い場合に、ヒストグラム形状の特性においては、出力映像信号101Aが被計測画像データとして使用可と判定し、次の画像特性を評価するST506に移行する。
また、WがN以下である場合には、出力映像信号101Bが被計測画像データとして使用不可と判定し、ST513に移行する。
ST506では、被評価画像110A、110Bを2値化し、それら2値画像上のノイズを評価する。
図14(a)、(b)は、2値画像上のノイズの異なる被測定画像の例を示す模式図である。
2値画像上のノイズ解析手法としては、例えば、周知の粒子(ブロブ)解析を採用することができる。例えば、被評価画像110A(110B)が、図14(a)のように2値化されると、粒子解析によって、A部において、面積の小さい粒子が検出される。このような場合は、画像データにノイズがほとんど乗っておらず、テクスチャがノイズによって埋もれてしまうことはないと考えられるので、計測画像として適していると判定し、評価点として高い点数を付与する。
一方、被評価画像110A(110B)が、図14(b)のように2値化されると、粒子解析によって、B部、C部、D部、E部に示すような面積の小さい粒子が数多く検出される。このような場合は、画像データにノイズが多く乗っており、テクスチャがノイズによって埋もれてしまうと考えられるので、計測画像として適していないと判定し、評価点として低い点数を付与する。
ST506で付与する被評価画像110A、110Bの評価点をそれぞれW、Nとする。
次に、ST507では、評価点W、Nの大小を判定し、Wの方が高い場合に、2値画像上のノイズの特性においては、出力映像信号101Aが被計測画像データとして使用可と判定し、次の画像特性を評価するST508に移行する。
また、WがN以下である場合には、出力映像信号101Aが被計測画像データとして使用不可と判定し、ST513に移行する。
ST508では、被評価画像110A、110Bからテクスチャ抽出を行い、そのテクスチャと近似曲線との近似度をそれぞれ評価する。
図15(a)、(b)は、被評価画像のテクスチャ抽出を行った画像およびその近似曲線の例を示す模式図である。
本実施形態では、テクスチャ抽出として、例えば、エッジ抽出処理を採用している。例えば、図14(a)、(b)に示す2値画像に対して、エッジ抽出処理を行うと、画像ノイズの少ない図14(a)の画像の場合には、図15(a)に示すように、ノイズが少ないエッジが抽出される。一方、画像ノイズが大きい図14(b)の画像の場合には、図15(b)に示すように、画像ノイズに対応して、本来のテクスチャに応じたエッジ以外に擬似的なエッジが多数抽出される。
これらの画像に対して、近似曲線を求めると、例えば、近似曲線215、216が得られる。近似曲線215、216の近似度(曲線近似度)は、例えば、各近似曲線との分散値の逆数を採用することができる。本例の場合、近似曲線215の近似度は高く(分散値が小さく)、近似曲線216の近似度は低い(分散値が大きい)。
そこで、本実施形態は、テクスチャに対する近似曲線の近似度が高い場合、テクスチャがノイズによって埋もれていないため計測画像として適していると判定し、評価点として高い点数を付与する。テクスチャに対する近似曲線の近似度が低い場合、テクスチャがノイズによって埋もれているため計測画像として適していないと判定し、評価点として低い点数を付与する。
ST508で付与する被評価画像110A、110Bの評価点をそれぞれW、Nとする。
次に、ST509では、評価点W、Nの大小を判定し、テクスチャの曲線近似度の特性においては、出力映像信号101Aが被計測画像データとして使用可と判定し、Wの方が高い場合に、次の画像特性を評価するST510に移行する。
また、WがN以下である場合には、出力映像信号101Aが被計測画像データとして使用不可と判定し、ST513に移行する。
ST510では、計測点と、ST508で求めた近似曲線との距離を評価する。
図16(a)、(b)は、被評価画像のテクスチャ抽出を行った画像およびその近似曲線の例を示す模式図である。
WDR処理を行うと、WDRパラメータによっては、2値化画像から抽出されるテクスチャが移動する場合がある。一方、テクスチャは、計測点に近くにあるほど、マッチング処理が成功しやすいので、テクスチャの近似曲線の近似度が同等であれば、計測点と近似曲線との距離が小さいほど、計測画像として好ましい。
そこで、本実施形態では、ST508で求めた近似曲線と計測点との距離が短いほど、評価点として高い点を付与する。
例えば、図16(a)の場合、計測点Pは、近似曲線217上にあるため、評価点は最大となる。また、図16(b)の場合は、計測点Pと近似曲線218との距離PQは、dだけ離れているから、図16(a)の場合より低い評価点を付与する。
ST510で付与する被評価画像110A、110Bの評価点をそれぞれW、Nとする。
次に、ST511では、評価点W、Nの大小を判定し、Wの方が高い場合に、平均輝度の特性においては、出力映像信号101Aが被計測画像データとして使用可と判定し、次の画像特性を評価するST512に移行する。
また、WがN以下である場合には、出力映像信号101Aが被計測画像データとして使用不可と判定し、ST513に移行する。
ST512では、出力映像信号101Aを使用可とする判定結果を適宜変数に設定してST207を終了する。そして、図8のST209に移行する。
また、ST513では、出力映像信号101Aを使用不可とする判定結果を適宜変数に設定してST207を終了する。そして、図8のST209に移行する。
次に、ST208では、ST207の判定結果に基づいて、出力映像信号101Aが使用可の場合、ST209に、出力映像信号101Aが使用不可の場合、ST210に、それぞれ移行する。
ST209では、出力映像信号101Aを被計測画像データとして、ST204で入力された計測点に対応する計測処理を行う。このとき、出力映像信号101Aは、出力映像信号101Bに比べて複数の画像特性すべてにわたって優位であるため、出力映像信号101Bを被計測画像データとする場合よりも、計測精度を向上することができる。
ST210では、出力映像信号101Bを被計測画像データとして、ST204で入力された計測点に対応する計測処理を行う。このとき、出力映像信号101Bは、出力映像信号101Aに比べて、優先順位の高い少なくとも1つの画像特性において、優位であるため、出力映像信号101Bを被計測画像データとする場合よりも、計測精度を向上することができる。
次に、ST211では、ST209またはST210において実行された計測処理の結果を、計測結果情報102として、信号変換部38に送出し、表示部33上に表示する。例えば、計測点の位置座標が表示される。
次に、ST212では、ST203と同様にして計測を終了させる操作が行われたか確認する。
計測を終了させる操作が確認されなかった場合には、ST204に移行する。このように、例えば、長さ測定や角度測定など、複数の計測点入力が必要な場合や、計測点入力をやり直す場合などには、ST204から上記を繰り返して、再度、計測点入力、計測処理を繰り返す。
計測を終了させる操作が確認された場合には、計測処理を終了し、図7のST101に移行する。
また、図7のST103において、操作入力として映像情報を記録する操作入力、画像ファイル再生処理を行う操作入力が行われていた場合、それぞれ、ST107、ST108を実行する。
ST107は、画像記憶部42に記憶された出力映像信号101A、101Bをそれぞれ表示用画像データ120A、計測用画像データ120Bとして、外部記憶媒体44に記憶する処理である。
ST108は、外部記憶媒体44に記憶された表示用画像データ120A、計測用画像データ120Bを、画像記憶部42に読み出し、計測用画像データ120Bが取得された際の、表示用画像データ120Aを信号変換部38に送出し、表示部33に再生表示させる処理である。
このように、本実施形態の計測内視鏡装置1によれば、計測点の入力時には、入力映像信号100に適宜の映像処理を施した出力映像信号101Aに基づいて、見やすい映像を表示することができるので、計測点の入力を高精度に行うことができる。そして、予め設定された計測精度条件を満足する映像処理を行って、入力映像信号100から出力映像信号101Bを取得するため、見やすい表示とするための映像処理の影響を受けない画像データを取得することができる。そして、計測用画像選択部によって、実際に取得された出力映像信号101A、101Bの画像特性を評価して、より計測精度が高くなる方を被計測画像データとして用いることができるので、被検体を計測者に見やすい状態に表示することができるとともに、画像計測の計測精度を劣化させないようにすることができる。
次に、本実施形態の変形例について説明する。
図17は、本発明の実施形態の画像計測装置の変形例に係る計測用画像選択部の動作を示すフローチャートである。
本変形例は、上記実施形態の映像情報判定処理の変形例であり、上記実施形態の計測用画像選択部45に代えて、計測用画像選択部45Aを備える。以下、上記実施形態と異なる点を中心に説明する。
計測用画像選択部45Aは、上記実施形態と同様の複数の画像特性を、出力映像信号101A、101Bのそれぞれに対して評価する個別画像特性評価手段と、これら個別画像特性評価手段による出力映像信号101A、101Bのそれぞれに対する各特性評価結果を、予め設定された評価式に基づいて評価する総合評価手段とを備え、この総合評価手段の比較評価に基づいて、出力映像信号101A、101Bのいずれかを被計測画像データを選択するようにしたものである。
個別画像特性評価手段は、上記実施形態に説明した画像特性評価手段における評価をそれぞれ個別に行う。すなわち、本変形例では、平均輝度、ヒストグラム形状、2値画像上のノイズ、テ例クスチャの曲線近似度、および計測点と近似曲線との距離からなる5つの評価を上記と同様にして個別に実行し、それぞれの評価点を、出力映像信号101Aに対しては、W、W、W、W、W、出力映像信号101Bに対しては、N、N、N、N、Nとして、それぞれ求める。
総合評価手段は、予め、各画像特性の優先度に応じて、重み付けされた評価式によって、出力映像信号101A、101Bに対して、それぞれ総合評価点S、Sを付与するものである。本実施形態では、以下の評価式を用いている。
=W・I+W+I+W・I+W・I+W・I ・・・(1)
=N・I+N・I+N・I+N・I+N・I ・・・(2)
ここで、I(j=1,2,…,5)は、上記5つの画像特性のそれぞれの重み付けを表す重み係数である。
本変形例における計測用画像選択部45Aの動作について説明する。
本変形例では、計測用画像選択部45Aは、図8に示す計測処理のフローにおいて、ST207に代えて、ST600として、図17に示すフローにしたがってST601〜ST610を実行する。
ST601は、計測点周囲の被評価画像110A、110Bを抽出するステップであり、上記に説明した図12のST501と同じ動作を行う。
次に、ST602〜ST606は、個別画像特性評価手段によって、上記に説明した図12のST502、ST504、ST506、ST508、ST510と同じ動作を行う。ここで、このようなST602〜ST606を実行する順序は、上記実施形態とは異なり、一例であって、これらの間では適宜順序を入れ替えて実行したり、可能な場合には同時に実行してもよい。
次に、ST607では、総合評価手段により、ST602〜ST606で得られた評価点W〜W、N〜Nから、上記評価式(1)、(2)にしたがって、総合評価点S、Sを計算する。
次に、ST608では、総合評価点S、Sの大小を判定し、Sの方が高い場合に、出力映像信号101Aが被計測画像データとして使用可と判定し、ST609に移行する。
また、SがS以下である場合には、出力映像信号101Aが被計測画像データとして使用不可と判定し、ST610に移行する。
ST609、ST610は、それぞれ、上記に説明した図12のST512、ST513と同じ動作を行う。これによりそれぞれ映像情報判定処理であるST600を終了し、図8のST208に移行する。
本変形例によれば、個別画像特性評価手段によって複数の画像特性をすべて評価してから、総合評価手段によって、計測精度に影響する複数の画像特性を総合的に判定して、より高精度の画像計測が行うことができる出力映像信号を被計測画像データとして選択することができる。そのため、適切な被計測画像データをより確実に選択することができる。
なお、上記の説明では、計測画像取得部が、映像処理選択テーブルを備える場合の例で説明したが、実行処理可能な映像処理に対応する計測精度が求められれば、他の手段を用いてもよい。例えば、実行処理可能な映像処理を特定するデータから、対応する計測精度を算出する評価式を求めておき、その評価式に対応する演算処理を行える構成としておき、その評価式の演算結果から計測精度を求め、その結果を比較することで、映像処理を選定するようにする手段などを採用することができる。
また、上記の説明では、出力映像信号101Bとして、複数の映像処理が選択できるようにした場合の例で説明したが、出力映像信号101Bは、常に処理(0)によって生成されるようにしてもよい。
一般に計測者にとっての見易い画像は、元の撮像画像の輝度分布を誇張したものになりがちであり、WDR処理によって輝度分布が著しく変更されやすい。また、見易さの程度は計測者によっても異なるので、計測者によって選択されるWDR処理が異なり、計測精度にバラツキが出やすくなる。したがって、特定のWDR処理が確実に計測精度を向上できると予想できる特定用途の画像計測以外では、デフォルトの被計測画像データに用いる映像処理として、映像処理無効化を採用することが好ましい。
また、上記の説明では、映像処理無効化手段として、入力映像信号100aの輝度階調を変えない信号を生成する場合の例で説明したが、例えば、一方の映像処理が、処理(M)(ただし、Mは0でない整数)が選択された場合に、この処理(M)で処理された信号処理の逆変換処理を行って、処理(0)による信号を生成するようにしてもよい。
また、上記の説明では、例えば距離測定など複数の計測点を入力を要する計測の場合に、計測点ごとに異なる被計測画像データを選択できるようにした例で説明したが、例えば、このような場合に最初に入力した計測点のみによって、被計測画像データを選択するように変形してもよい。
また、上記の説明では、画像計測の例としてステレオ計測の例で説明したが、ステレオ計測用光学アダプタ2を他の光学アダプタに付け替えて、他の画像計測を行ってもよい。例えば、被計測画像の輝度情報を基に計測点を選定し、被計測画像上の既知の長さを基準に計測点間の同一平面上の2次元的な距離測定を行う測定を挙げることができる。
また、上記の説明では、映像信号取得部として、内視鏡を用いた場合の例で説明したが、映像信号取得部は内視鏡に限定されるものではなく、例えば、顕微鏡など他の映像信号取得部を採用してもよい。
また、上記の説明では、映像を表示部に表示する際、左右の視差映像を同時に表示する場合の例で説明したが、計測点入力用映像として、少なくとも視差映像の一方が表示されていれば、画像計測を行うことができる。そのため、画像計測時の表示画面は、視差映像61L、61Rの一方の画面に、計測点入力用映像と異なる映像を表示するようにしてもよい。例えば、被計測画像データの映像や、映像処理を無効化した映像などを表示するようにしてもよい。
また、表示部全体に計測点入力用映像のみを表示してもよい。
本発明の実施形態に係る画像計測装置の概略構成を示す斜視図である。 本発明の実施形態に係る画像計測装置のコントロールユニットの概略構成を示すシステム構成図である。 本発明の実施形態に係る画像計測装置のコントロールユニットの機能ブロックの構成を示す機能ブロック図である。 本発明の実施形態に係る画像計測装置のWDR処理の処理前後の輝度分布の変化の第1例を示すヒストグラムである。 本発明の実施形態に係る画像計測装置のWDR処理の処理前後の輝度分布の変化の第2例を示すヒストグラムである。 本発明の実施形態に係る画像計測装置のWDR処理の処理前後の輝度分布の変化の第3例を示すヒストグラムである。 本発明の実施形態に係る画像計測装置の動作を示すフローチャートである。 本発明の実施形態に係る画像計測装置の計測処理の動作を示すフローチャートである。 図8の表示用映像の処理の動作を示すフローチャートである。 図8の計測用映像の処理の動作を示すフローチャートである。 本発明の実施形態に係る画像計測装置の計測処理モード時の表示画面の一例、および計測点の周囲の被評価画像を示す模式説明図である。 図8の映像情報判定処理の動作を示すフローチャートである。 ヒストグラム形状の双峰性の評価方法について説明する模式的なヒストグラムのグラフである。 2値画像上のノイズの異なる被測定画像の例を示す模式図である。 被評価画像のテクスチャ抽出を行った画像およびその近似曲線の例を示す模式図である。 被評価画像のテクスチャ抽出を行った画像およびその近似曲線の例を示す模式図である。 本発明の実施形態の画像計測装置の変形例に係る計測用画像選択部の動作を示すフローチャートである。 従来技術に係るステレオ画像計測の表示画面の一例を示す模式説明図である。
符号の説明
1 計測内視鏡装置(画像計測装置)
2 ステレオ計測用光学アダプタ
3 内視鏡挿入部
4 コントロールユニット
5 リモートコントローラ
6 液晶モニタ(表示部)
7 内視鏡ユニット
9 CCU
10 CPU
11 ROM
12 RAM
16 映像信号処理回路
30 映像信号取得部
31 計測操作部
32 映像処理選択操作部
33 表示部
34 映像信号処理部
40 処理選定部(映像処理無効化手段)
41 映像処理選択テーブル
42 画像記憶部
43 画像計測処理部
45、45A 計測用画像選択部
100、100a 入力映像信号
101A、101B 出力映像信号
101a 表示用映像信号
110A、110B 被評価画像

Claims (10)

  1. 被検体を撮像して入力映像信号を生成する映像信号取得部と、
    該映像信号取得部で生成された入力映像信号に対して映像処理を施すことで2つの出力映像信号を生成できるようにした映像信号処理部と、
    前記映像信号処理部で生成された前記出力映像信号の1つに応じて計測点入力用映像を表示する表示部と、
    該表示部に表示された前記計測点入力用映像を基準として画像計測の操作入力を行う計測操作部と、
    前記2つの出力映像信号のそれぞれの画像特性を比較評価し、前記2つの出力映像信号のうちのいずれかを被計測画像データとして選択する計測用画像選択部と、
    該計測用画像選択部で選択された出力映像信号を、被計測画像データとして、前記計測操作部の操作入力に基づいた画像計測を行う画像計測処理部とを備えたことを特徴とする画像計測装置。
  2. 前記映像信号処理部が、前記入力映像信号に施す映像処理を無効化する映像処理無効化手段を備えることを特徴とする請求項1に記載の画像計測装置。
  3. 前記計測用画像選択部が、
    評価の優先順位が付けられた複数の画像特性を、前記優先順位の高いものから順次比較評価する画像特性評価手段を備え、
    該画像特性評価手段は、
    前記計測点入力用映像に対応する前記出力映像信号が前記複数の画像特性のすべての比較評価で他方の出力映像信号に比べて優位であった場合に、前記計測点入力用映像に対応する前記出力映像信号を前記被計測画像データとして選択し、
    それ以外の場合には、前記他方の出力映像信号を前記被計測画像データとして選択するようにしたことを特徴とする請求項1又は請求項2に記載の画像計測装置。
  4. 前記計測用画像選択部が、
    複数の画像特性を、前記2つの出力映像信号のそれぞれに対して評価する個別画像特性評価手段と、
    該個別画像特性評価手段による前記2つの出力映像信号のそれぞれに対する各特性評価結果を、予め設定された評価式に基づいて比較評価する総合評価手段とを備え、
    該総合評価手段の比較評価に基づいて、前記被計測画像データを選択するようにしたことを特徴とする請求項1又は請求項2に記載の画像計測装置。
  5. 前記映像信号取得部が、視差映像を取得するステレオ撮像手段からなり、
    前記映像信号処理部が、前記視差映像のそれぞれに対応する出力映像信号を生成し、
    前記画像計測処理部が、前記視差映像のそれぞれに対応する出力映像信号による2つの被計測画像データから、ステレオ計測処理を行うことを特徴とする請求項1乃至請求項4のいずれか1項に記載の画像計測装置。
  6. 前記映像信号処理部が行う映像処理が、ワイドダイナミックレンジ処理であることを特徴とする請求項1乃至請求項5のいずれか1項に記載の画像計測装置。
  7. 被検体を撮像して入力映像信号を生成する映像信号取得工程と、
    該映像信号取得工程で生成された入力映像信号に対して映像処理を施すことで2つの出力映像信号を生成する映像信号処理工程と、
    該映像信号処理工程で生成される前記出力映像信号の1つに応じて計測点入力用映像を表示する表示工程と、
    該表示工程で表示された前記計測点入力用映像を基準として画像計測の操作入力を行う計測操作工程と、
    前記2つの出力映像信号のそれぞれの画像特性を比較評価し、前記2つの出力映像信号のうちのいずれかを被計測画像データとして選択する計測用画像選択工程と、
    該計測用画像選択工程で選択された出力映像信号を、被計測画像データとして、前記計測操作部の操作入力に基づく画像計測を行う画像計測処理工程とを備えたことを特徴とする画像計測方法。
  8. 前記映像信号処理工程が、前記入力映像信号に施す映像処理を無効化する映像処理無効化工程を備えることを特徴とする請求項7に記載の画像計測方法。
  9. 前記計測用画像選択工程が、
    評価の優先順位が付けられた複数の画像特性を、前記優先順位の高いものから順次比較評価する複数のステップからなり、
    該各ステップにおいて、
    前記計測点入力用映像に対応する前記出力映像信号の評価が他方の出力映像信号に比べて優位となった場合には、次ステップに移行し、
    それ以外の場合には、次ステップ以降行うことなく、前記他方の出力映像信号を前記被計測画像データとして選択し、
    前記複数のステップのすべてにおいて、前記計測点入力用映像に対応する前記出力映像信号が前記他方の出力映像信号に比べて優位となった場合に、前記計測点入力用映像に対応する前記出力映像信号を前記被計測画像データとして選択することを特徴とする請求項7又は請求項8に記載の画像計測方法。
  10. 前記計測用画像選択工程が、
    複数の画像特性を、前記2つの出力映像信号のそれぞれに対して評価する個別画像特性評価工程と、
    該個別画像特性評価工程による前記2つの出力映像信号のそれぞれに対する各特性評価結果を、予め設定された評価式に基づいて比較評価する総合評価工程とを備え、
    該総合評価工程の比較評価に基づいて、前記被計測画像データを選択するようにしたことを特徴とする請求項7又は請求項8に記載の画像計測方法。
JP2007179484A 2007-07-09 2007-07-09 画像計測装置および方法 Expired - Fee Related JP5214185B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007179484A JP5214185B2 (ja) 2007-07-09 2007-07-09 画像計測装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007179484A JP5214185B2 (ja) 2007-07-09 2007-07-09 画像計測装置および方法

Publications (2)

Publication Number Publication Date
JP2009015210A true JP2009015210A (ja) 2009-01-22
JP5214185B2 JP5214185B2 (ja) 2013-06-19

Family

ID=40356134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007179484A Expired - Fee Related JP5214185B2 (ja) 2007-07-09 2007-07-09 画像計測装置および方法

Country Status (1)

Country Link
JP (1) JP5214185B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010240000A (ja) * 2009-04-01 2010-10-28 Hoya Corp 画像処理装置、画像処理方法、およびシステム
JP2014012037A (ja) * 2012-07-03 2014-01-23 Olympus Corp 内視鏡装置
JP2020021456A (ja) * 2018-08-03 2020-02-06 深▲セン▼▲衆▼▲リー▼▲電▼力科技有限公司 監視警報システム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10248806A (ja) * 1997-03-12 1998-09-22 Olympus Optical Co Ltd 計測内視鏡装置
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2006204898A (ja) * 2004-12-27 2006-08-10 Olympus Corp 内視鏡装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10248806A (ja) * 1997-03-12 1998-09-22 Olympus Optical Co Ltd 計測内視鏡装置
JP2003018617A (ja) * 2001-07-03 2003-01-17 Olympus Optical Co Ltd 撮像装置
JP2006204898A (ja) * 2004-12-27 2006-08-10 Olympus Corp 内視鏡装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010240000A (ja) * 2009-04-01 2010-10-28 Hoya Corp 画像処理装置、画像処理方法、およびシステム
JP2014012037A (ja) * 2012-07-03 2014-01-23 Olympus Corp 内視鏡装置
JP2020021456A (ja) * 2018-08-03 2020-02-06 深▲セン▼▲衆▼▲リー▼▲電▼力科技有限公司 監視警報システム

Also Published As

Publication number Publication date
JP5214185B2 (ja) 2013-06-19

Similar Documents

Publication Publication Date Title
JP5199594B2 (ja) 画像計測装置および方法
JP6137921B2 (ja) 画像処理装置、画像処理方法及びプログラム
US8199813B2 (en) Method for embedding frames of high quality image data in a streaming video
ES2661736T3 (es) Dispositivo de examen visual y método de examen visual
JP7009491B2 (ja) 資産の検査のための方法及びデバイス
JP5073564B2 (ja) 計測用内視鏡装置およびプログラム
US20150130900A1 (en) Endoscope apparatus
US8675950B2 (en) Image processing apparatus and image processing method
US6890296B2 (en) Measuring endoscope apparatus
WO2014155778A1 (ja) 画像処理装置、内視鏡装置、プログラム及び画像処理方法
JP6137847B2 (ja) 撮像装置及び撮像装置の制御方法
WO2019087790A1 (ja) 検査支援装置、内視鏡装置、検査支援方法、及び検査支援プログラム
US20110187824A1 (en) Endoscope apparatus and measurement method
US11321861B2 (en) Method of operating measurement device, measurement device, measurement system, three-dimensional shape restoration device, and recording medium
JP6017198B2 (ja) 内視鏡装置およびプログラム
JP5307407B2 (ja) 内視鏡装置およびプログラム
JP5214185B2 (ja) 画像計測装置および方法
JP3324699B2 (ja) 繊維の径分布測定方法および装置
JP5153381B2 (ja) 内視鏡装置
US20200053296A1 (en) Measurement device, method of operating measurement device, and recording medium
JP2022172637A (ja) 画像処理方法、画像処理装置、およびプログラム
JP5361246B2 (ja) 内視鏡装置およびプログラム
JP2009169244A (ja) 画像記録装置、内視鏡検査システム、検査方法及びプログラム
JP3946985B2 (ja) 蛍光画像撮像装置
WO2022230563A1 (ja) 内視鏡システム及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121002

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20121002

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130227

R151 Written notification of patent or utility model registration

Ref document number: 5214185

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160308

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees