JP2016095458A - 内視鏡装置 - Google Patents

内視鏡装置 Download PDF

Info

Publication number
JP2016095458A
JP2016095458A JP2014232648A JP2014232648A JP2016095458A JP 2016095458 A JP2016095458 A JP 2016095458A JP 2014232648 A JP2014232648 A JP 2014232648A JP 2014232648 A JP2014232648 A JP 2014232648A JP 2016095458 A JP2016095458 A JP 2016095458A
Authority
JP
Japan
Prior art keywords
image
display
measurement
display mode
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014232648A
Other languages
English (en)
Other versions
JP2016095458A5 (ja
Inventor
山本 直樹
Naoki Yamamoto
直樹 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2014232648A priority Critical patent/JP2016095458A/ja
Publication of JP2016095458A publication Critical patent/JP2016095458A/ja
Publication of JP2016095458A5 publication Critical patent/JP2016095458A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

【課題】視認性の向上とディスプレイの表示領域のより有効な利用とを図る。
【解決手段】撮像素子30は矩形状の撮像面を有する。撮像面の第2の方向の寸法は撮像面の第1の方向の寸法よりも大きい。第1の対物光学系を通過した光が撮像面の第1の撮像領域に第1の像を形成し、第2の対物光学系を通過した光が撮像面の第2の撮像領域に第2の像を形成する。第1の撮像領域と第2の撮像領域とは第2の方向に並ぶ。ディスプレイ33は矩形状の表示面を有する。表示面の第4の方向の寸法は表示面の第3の方向の寸法よりも大きい。単眼表示モードが選択された場合、第1の画像における第2の方向が第3の方向に一致し、第1の画像における第1の方向が第4の方向に一致し、単眼表示モードにおけるディスプレイ33上での第1の画像の表示領域が、双眼表示モードにおけるディスプレイ33上での第1の画像の表示領域よりも大きくなる。
【選択図】図3

Description

本発明は、内視鏡装置に関する。
近年、ボイラ、タービン、エンジン、および化学プラント等の内部の傷および腐食等の観察および検査に工業用内視鏡が広く用いられている。最近の工業用内視鏡は、異なる視点から被写体を撮像するステレオ光学アダプタを内視鏡の先端に取り付けることが可能である。このため、三角測量の原理で被写体の様々な空間特性を計測(ステレオ計測)することが可能である(例えば、特許文献1参照)。
特許文献1に開示されている内視鏡では、1つの撮像素子の長手方向(横方向)に沿って並ぶ2つの撮像領域に、それぞれ異なる視点に対応する像が同時に結像される。これにより、視差を有する2つの像を含むステレオ画像が取得される。
上記の内視鏡においては、ディスプレイの長手方向(横方向)に沿って、2つの光学系によって結像された2つの像が並ぶ画像が表示される。本明細書では、2つの光学系によって結像された2つの像を含む画像の表示を双眼表示と呼ぶ。
双眼表示は、ステレオマッチングの誤対応が起きていないこと等をユーザが確認するために有効な表示方法である。このため、一般的にステレオ計測では双眼表示が行われる。
しかしながら、被写体のリアルタイムの画像であるライブ画像の観察における双眼表示が目障りだと感じるユーザがいる。このため、ステレオ計測を行う内視鏡であって、ライブ画像の観察時に、2つの光学系によって結像された2つの像の一方のみを表示する内視鏡がある(例えば、特許文献2参照)。本明細書では、2つの光学系によって結像された2つの像の一方のみを含む画像の表示を単眼表示と呼ぶ。この内視鏡は、単眼表示時に、拡大処理された画像の縦方向の長さと、表示部の画面の縦方向の長さとが略同一となるように、画像の全体を拡大処理する。
他には、ライブ画像の観察時に単眼表示を行う内視鏡として、オリンパス社製の工業用内視鏡IPLEX RXがある。この内視鏡は、ステレオ光学アダプタが装着されている場合、ライブ画像の観察時に単眼表示を行う。具体的には、図37に示すように、2つの光学系によって結像された2つの像を含む画像G200において、2つの像の一方の中央の領域R200が切り出される。単眼表示では、切り出された領域R200の画像G210が、より大きく拡大されて表示される。これによって、視認性が向上する。この場合、切り出された領域R200以外の領域(図37の領域R210および領域R211)はディスプレイの表示領域に収まらない。つまり、切り出された領域R200以外の領域は表示されない。
特開2004−33487号公報 特許第4383500号公報
特許文献2に開示されている内視鏡では、画像が拡大されて表示される。しかし、画像の拡大率がディスプレイにおける表示領域の縦方向の長さによって制限される。このため、視認性が不十分である。
工業用内視鏡IPLEX RXでは、画像がより大きく拡大されて表示される。しかし、表示される領域は撮像範囲の一部のみである。このため、より広い視野(画角)で被写体を観察したいユーザは不満である。
本発明は、視認性を向上させつつ、ディスプレイの表示領域をより有効に利用することができる内視鏡装置を提供することを目的とする。
本発明は、第1の方向と、前記第1の方向に直交する第2の方向とに2次元状に広がる矩形状の撮像面を有し、前記撮像面の前記第2の方向の寸法が前記撮像面の前記第1の方向の寸法よりも大きく、撮像信号を生成する撮像素子と、互いに異なる光軸を有する第1の対物光学系および第2の対物光学系を有し、前記第1の対物光学系を通過した光が前記撮像面の第1の撮像領域に第1の像を形成し、前記第2の対物光学系を通過した光が前記撮像面の第2の撮像領域に第2の像を形成し、前記第1の撮像領域は前記撮像面において前記第2の方向の中央位置よりも前記第2の方向にあり、前記第2の撮像領域は前記撮像面において前記第2の方向の中央位置よりも前記第2の方向と反対の方向にあるステレオ光学系と、前記撮像信号に基づいて、表示信号を生成する表示信号生成部と、第3の方向と、前記第3の方向に直交する第4の方向とに2次元状に広がる矩形状の表示面を有し、前記表示面の前記第4の方向の寸法が前記表示面の前記第3の方向の寸法よりも大きく、前記表示信号に基づいて画像を表示するディスプレイと、前記第1の像に基づく第1の画像および前記第2の像に基づく第2の画像を同時に前記ディスプレイに表示する双眼表示モードと、前記第1の画像のみを前記ディスプレイに表示する単眼表示モードのいずれか1つを選択する表示モード選択部と、を有し、前記表示信号生成部は、前記単眼表示モードが選択された場合、前記第1の画像における前記第2の方向が前記第3の方向に一致し、前記第1の画像における前記第1の方向が前記第4の方向に一致するように、かつ、前記単眼表示モードにおける前記ディスプレイ上での前記第1の画像の表示領域が、前記双眼表示モードにおける前記ディスプレイ上での前記第1の画像の表示領域よりも大きくなるように前記表示信号を生成することを特徴とする内視鏡装置である。
また、本発明の内視鏡装置において、前記表示信号生成部は、前記双眼表示モードが選択された場合、前記第1の画像および前記第2の画像における前記第2の方向が前記第3の方向に一致し、前記第1の画像および前記第2の画像における前記第1の方向が前記第4の方向に一致するように前記表示信号を生成することを特徴とする。
また、本発明の内視鏡装置において、前記表示信号生成部は、前記双眼表示モードが選択された場合、前記第1の画像および前記第2の画像が前記表示面の前記第3の方向に沿って並ぶように前記表示信号を生成することを特徴とする。
また、本発明の内視鏡装置において、前記表示信号生成部は、前記双眼表示モードが選択された場合、前記第1の画像および前記第2の画像が前記表示面の前記第4の方向に沿って並ぶように前記表示信号を生成することを特徴とする。
また、本発明の内視鏡装置において、前記表示信号生成部は、前記双眼表示モードが選択された場合、前記第1の像から第1の視野領域の像を切り出し、前記第2の像から第2の視野領域の像を切り出すことにより前記表示信号を生成し、前記双眼表示モードにおける前記第1の視野領域と第2の視野領域とは、前記単眼表示モードにおける前記第1の像の第3の視野領域よりも小さいことを特徴とする。
また、本発明の内視鏡装置において、前記第1の視野領域と前記第2の視野領域とは、前記第1の像と前記第2の像とにおける共通の視野領域を含むことを特徴とする。
また、本発明の内視鏡装置において、前記第1の視野領域は、前記第1の像における中央の領域であり、前記第2の視野領域は、前記第2の像における中央の領域であることを特徴とする。
また、本発明の内視鏡装置において、前記第1の視野領域と前記第2の視野領域との一方は、前記第1の像と前記第2の像との一方においてユーザによって指定された第1の位置を含む視野領域であり、前記第1の視野領域と前記第2の視野領域との他方は、前記第1の像と前記第2の像との他方において前記第1の位置に対応する第2の位置を含む視野領域であることを特徴とする。
また、本発明の内視鏡装置において、前記第1の位置は、ユーザによって指定された計測点の位置であることを特徴とする。
また、本発明の内視鏡装置において、前記第1の位置は、ユーザによって指定された測距用照準の位置であることを特徴とする。
本発明によれば、単眼表示モードが選択された場合、第1の画像における第2の方向が第3の方向に一致し、第1の画像における第1の方向が第4の方向に一致するように、かつ、単眼表示モードにおけるディスプレイ上での第1の画像の表示領域が、双眼表示モードにおけるディスプレイ上での第1の画像の表示領域よりも大きくなるように表示信号が生成される。このため、視認性を向上させつつ、ディスプレイの表示領域をより有効に利用することができる。
本発明の第1の実施形態の計測内視鏡装置の斜視図である。 本発明の第1の実施形態の計測内視鏡装置の構成を示すブロック図である。 本発明の第1の実施形態の計測内視鏡装置においてステレオ計測に関する構成を示すブロック図である。 本発明の第1の実施形態のステレオ計測による計測点の3次元座標の求め方を説明するための参考図である。 本発明の第1の実施形態における撮像の様子を示す模式図である。 本発明の第1の実施形態における撮像素子の平面図である。 本発明の第1の実施形態におけるディスプレイの正面図である。 本発明の第1の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態において双眼表示モードで表示される画像を示す参考図である。 本発明の第1の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第1の実施形態において単眼表示モードで表示される画像を示す参考図である。 本発明の第2の実施形態の計測内視鏡装置においてステレオ計測に関する構成を示すブロック図である。 本発明の第2の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第2の実施形態において双眼表示モードで表示される画像を示す参考図である。 本発明の第3の実施形態の計測内視鏡装置においてステレオ計測に関する構成を示すブロック図である。 本発明の第3の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第3の実施形態において双眼表示モードで表示される画像を示す参考図である。 本発明の第4の実施形態の計測内視鏡装置においてステレオ計測に関する構成を示すブロック図である。 本発明の第4の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第4の実施形態において双眼表示モードで処理の内容を示す参考図である。 本発明の第4の実施形態の第1の像と第2の像とにおける共通の視野領域を示す参考図である。 本発明の第4の実施形態において双眼表示モードで表示される画像を示す参考図である。 本発明の第5の実施形態の計測内視鏡装置においてステレオ計測に関する構成を示すブロック図である。 本発明の第6の実施形態の計測内視鏡装置においてステレオ計測に関する構成を示すブロック図である。 本発明の第6の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第6の実施形態において単眼表示モードで表示される画像を示す参考図である。 本発明の第6の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第6の実施形態において双眼表示モードで表示される画像を示す参考図である。 本発明の第7の実施形態の計測内視鏡装置においてステレオ計測に関する構成を示すブロック図である。 本発明の第7の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第7の実施形態において単眼表示モードで表示される画像を示す参考図である。 本発明の第8の実施形態の計測内視鏡装置で使用される光学アダプタの構成を示すブロック図である。 本発明の第8の実施形態の計測内視鏡装置においてステレオ計測に関する構成を示すブロック図である。 本発明の第8の実施形態の計測内視鏡装置の動作の手順を示すフローチャートである。 本発明の第8の実施形態において単眼表示モードで表示される画像を示す参考図である。 本発明の第8の実施形態において双眼表示モードで表示される画像を示す参考図である。 工業用内視鏡IPLEX RXが表示する画像を示す参考図である。
以下、図面を参照し、本発明の実施形態を説明する。
(第1の実施形態)
図1は、本発明の第1の実施形態の計測内視鏡装置1の外観を示している。図2は、計測内視鏡装置1のハードウェア構成を示している。図3は、計測内視鏡装置1の機能構成を示している。
計測内視鏡装置1は、被検体を撮像し、画像から被検体の幾何学的特徴を計測する。検査者は、種々の被検体の観察と計測とを行うために、内視鏡挿入部の先端部に装着される光学アダプタの交換と、内蔵された計測処理プログラムの選択と、計測処理プログラムの追加とを行うことが可能である。以下では、計測の一例としてステレオ計測を行う場合について説明する。
図1と図2とに示すように、計測内視鏡装置1は、ステレオ計測用の光学アダプタ2と、内視鏡挿入部3と、内視鏡ユニット7と、液晶モニタ6と、リモートコントローラ5と、コントロールユニット4とを有する。
光学アダプタ2は、視差を有する画像を取得するために所定距離だけ離間して配置された2つの光学系すなわち第1の対物光学系2Aと第2の対物光学系2Bとを有する。第1の対物光学系2Aと第2の対物光学系2Bとは、略円筒状のアダプタ本体2a内に配置されている。例えば、光学アダプタ2は、雌ねじなどが形成されたマウント部2bにより、内視鏡挿入部3の先端部に着脱可能に装着される。
第1の対物光学系2Aと第2の対物光学系2Bとの位置は、光学アダプタ2の軸方向に視野を有する直視タイプと、光学アダプタ2の側面方向に視野を有する側視タイプとで異なる。図1では、直視タイプにおける位置が示されている。このため、第1の対物光学系2Aと第2の対物光学系2Bとは、光軸が光学アダプタ2の軸方向に向いた状態で、光学アダプタ2の先端面に設けられた開口部の近傍に配置されている。また、光学アダプタ2の先端面には、アダプタ本体2a内に導光された照明光を被検体に向けて出射する照明窓2cが設けられている。光学アダプタ2は、デュアルレンズを有するステレオ光学系でなくてもよい。例えば、光学アダプタ2が、ステレオ画像を取得するプリズム等の光学系であっても同一の効果が得られる。また、光学アダプタ2にステレオ光学系が設けられているが、内視鏡挿入部3の先端部にステレオ光学系が設けられてもよい。
内視鏡挿入部3は、被検体の内部に挿入される。内視鏡挿入部3は、計測部分を撮像し、撮像信号100(図3参照)をコントロールユニット4に出力する。内視鏡挿入部3の先端部には、光学アダプタ2などの複数の光学アダプタに共通のマウント部が設けられている。このマウント部に各光学アダプタが装着可能である。内視鏡挿入部3の先端部の内部には、CCDなどの撮像素子30(図3参照)とライトガイドとが設けられている。撮像素子30は、光学アダプタ2の第1の対物光学系2Aと第2の対物光学系2Bとによって結像される像を撮像し、撮像信号100を生成する。ライトガイドは、照明光を被検体に照射する。
内視鏡挿入部3は、その先端部から基端部にわたって屈曲可能な細長い管状である。内視鏡挿入部3の内部には、撮像素子30の信号線とライトガイド本体とが配置され、さらに先端部の湾曲を操作するためのワイヤ機構などが配置されている。内視鏡挿入部3に光学アダプタ2が装着される場合、撮像素子30によって、視差を有する2つの像が取得される。本明細書では、視差を有する2つの像に対応する2つの画像を視差画像と呼ぶ。内視鏡挿入部3内部の信号線により撮像信号100がコントロールユニット4に伝送される。
内視鏡ユニット7は、照明用光源、電動湾曲駆動ユニット、およびEEPROM8などを有する。照明用光源は、内視鏡挿入部3のライトガイドに導光される照明光を発生する。電動湾曲駆動ユニットは、ワイヤ機構を駆動する。EEPROM8は、電動湾曲駆動ユニットを駆動する制御パラメータを記憶する。内視鏡ユニット7は、内視鏡挿入部3の基端部に接続されている。
液晶モニタ6は、コントロールユニット4から出力される表示用映像信号103A(図3参照)に基づいて、被検体の映像とその他の情報とを表示する。これらの映像と情報とは、それぞれ必要に応じて単独に表示される。またはこれらの映像と情報とは、合成されて表示される。ステレオ計測が行われる場合には、表示用映像信号103Aは2つの視差画像の一方または両方を含む。
例えば、液晶モニタ6によって表示される、映像以外の情報は、リモートコントローラ5などの操作部31(図3参照)からの操作入力情報と、操作メニューと、操作用のグラフィカルユーザインタフェース(GUI)と、計測用情報104(図3参照)との少なくとも1つである。計測用情報104は、計測時に使用される照準の画像および計測結果などである。
リモートコントローラ5は、ユーザが計測内視鏡装置1の操作を行うための操作部31である。リモートコントローラ5はコントロールユニット4に接続されている。例えば、リモートコントローラ5が受け付ける操作は、電源のオン/オフと、キャリブレーション設定に関する操作と、撮像動作に関する操作と、照明に関する操作と、内視鏡挿入部3の湾曲駆動の操作と、計測に関する操作と、単眼表示/双眼表示の選択操作と、記憶媒体などへの映像記録操作と、記憶媒体などに記録された映像の読み出し操作との少なくとも1つである。ユーザは、リモートコントローラ5を介してこれらの操作を行うことができる。
コントロールユニット4は、計測内視鏡装置1を制御する。コントロールユニット4による制御は、映像に対する映像処理と計測のための演算処理とを含む。図2に示すように、コントロールユニット4は、ハードウェアとしては、CCU9(カメラコントロールユニット)と、CPU10と、ROM11と、RAM12と、各種の入出力インタフェースと、映像信号処理回路16とを有する。
CCU9は、内視鏡挿入部3に設けられた撮像素子30の撮像を制御する。また、CCU9は、撮像素子30により取得された撮像信号100に対して、輝度レベル調整およびノイズ除去処理などの前処理を行う。CCU9は、前処理が行われた撮像信号100をNTSC信号などの映像信号に変換する。
CPU10は、ROM11または外部記憶媒体44(図3参照)に記憶された制御用のプログラムをRAM12にロードし、そのプログラムに規定された処理を実行する。コントロールユニット4は、入出力インタフェースとして、制御インタフェース15と、カードインタフェース13と、外部機器インタフェース14とを有する。
制御インタフェース15は、リモートコントローラ5と、内視鏡ユニット7と、CCU9との間で動作制御を行うための通信を行う。リムーバブルの記憶媒体であるメモリカード18がカードインタフェース13に接続される。カードインタフェース13は、装置を動作させるためのプログラムのロードと、計測に必要な設定情報、計測結果情報、および画像情報などの記憶とに使用される。
USB機器等の外部機器が外部機器インタフェース14に接続される。図2ではパーソナルコンピュータ17が外部機器インタフェース14に着脱可能に接続される。外部機器インタフェース14は、計測内視鏡装置1とパーソナルコンピュータ17との間で情報の授受を行う。これによって、パーソナルコンピュータ17の表示モニタが情報を表示すること、およびリモートコントローラ5に代わってコントロールユニット4に対してユーザが各種操作入力を行うことが可能である。
このため、外部機器インタフェース14にパーソナルコンピュータ17が接続される場合、パーソナルコンピュータ17が液晶モニタ6とリモートコントローラ5との機能を有することができる。この結果、パーソナルコンピュータ17が、計測に関する制御、映像処理、および画像表示などを必要に応じて行うことができる。
映像信号処理回路16は、CCU9から供給された映像信号に対して、リモートコントローラ5により指定された映像処理を施すことにより、出力用映像信号101A(図3参照)と出力用映像信号102(図3参照)とを生成する。映像信号処理回路16は、必要に応じて出力用映像信号101Aと、CPU10によって生成される操作画面画像または計測用情報104とを合成する。映像信号処理回路16は、合成された映像信号を表示用映像信号103Aとして液晶モニタ6に出力する。映像信号処理回路16は、CCU9によって行われる前処理を映像処理として行ってもよい。
図3を参照して、ステレオ計測に関する計測内視鏡装置1の構成を説明する。図3に示すように、計測内視鏡装置1は、撮像素子30と、操作部31(表示モード選択部)と、ディスプレイ33と、映像信号処理部34A(表示信号生成部)と、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とを有する。映像信号処理部34Aと、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とはコントロールユニット4に配置されている。
撮像素子30は、第1の方向(縦方向)と、第1の方向に直交する第2の方向(横方向)とに2次元状に広がる矩形状の撮像面を有する。撮像素子30の撮像面の第2の方向の寸法は撮像素子30の撮像面の第1の方向の寸法よりも大きい。撮像素子30は撮像信号100を生成する。
操作部31はリモートコントローラ5に対応する。操作部31は、ユーザによる計測等の操作を受け付ける。また、操作部31は、受け付けられた操作に基づいて、双眼表示モードと単眼表示モードとのいずれか1つを選択する。双眼表示モードは、第1の像に基づく第1の画像および第2の像に基づく第2の画像を同時にディスプレイ33に表示するモードである。第1の像と第2の像とは、光学アダプタ2の第1の対物光学系2Aと第2の対物光学系2Bとによって撮像素子30の撮像面に結像される。単眼表示モードは、第1の画像のみをディスプレイ33に表示するモードである。
ディスプレイ33は液晶モニタ6に対応する。ディスプレイ33は、第3の方向(縦方向)と、第3の方向に直交する第4の方向(横方向)とに2次元状に広がる矩形状の表示面を有する。ディスプレイ33の表示面の第4の方向の寸法はディスプレイ33の表示面の第3の方向の寸法よりも大きい。ディスプレイ33は、表示用映像信号103A(表示信号)に基づいて画像を表示する。ディスプレイ33は、双眼表示モードでは、第1の像に基づく第1の画像と第2の像に基づく第2の画像とを同時に表示する。ディスプレイ33は、単眼表示モードでは、第1の画像のみを表示する。
映像信号処理部34AはCCU9と映像信号処理回路16とに対応する。映像信号処理部34Aは、入力された撮像信号100を処理し、出力用映像信号101Aを生成する。出力用映像信号101Aは信号変換部38に出力される。
映像信号処理部34Aは、単眼表示モードが選択された場合、第1の画像における第2の方向がディスプレイ33の表示面の第3の方向に一致し、第1の画像における第1の方向がディスプレイ33の表示面の第4の方向に一致するように、かつ、単眼表示モードにおけるディスプレイ33上での第1の画像の表示領域が、双眼表示モードにおけるディスプレイ33上での第1の画像の表示領域よりも大きくなるように出力用映像信号101Aを生成する。
映像信号処理部34Aは、双眼表示モードが選択された場合、第1の画像および第2の画像における第1の方向がディスプレイ33の表示面の第3の方向に一致し、第1の画像および第2の画像における第2の方向がディスプレイ33の表示面の第4の方向に一致するように出力用映像信号101Aを生成する。
また、映像信号処理部34Aは、出力用映像信号102を生成し、出力用映像信号102を画像記憶部42に出力する。出力用映像信号101Aと出力用映像信号102とは、異なる信号とは限らず、同一の映像処理が施された同一の信号であってもよい。
信号変換部38は映像信号処理回路16に対応する。信号変換部38は、映像信号処理部34Aから出力された出力用映像信号101Aを表示用映像信号103Aとしてディスプレイ33に出力する。信号変換部38は、必要に応じて、出力用映像信号101Aに対して操作画面画像などの他の画像データを合成することにより、出力用映像信号101Aを表示用映像信号103Aに変換する。また、計測処理部43から計測用情報104が出力された場合、信号変換部38は、出力用映像信号101Aに対して計測用情報104を合成することにより表示用映像信号103Aを生成する。
画像記憶部42はRAM12に対応する。画像記憶部42は、映像信号処理部34Aから出力される出力用映像信号102を画像データとして記憶する。画像記憶部42に記憶される画像データは、1フレームの静止画データまたは複数フレームのライブ画像のデータである。操作部31から画像記録の指示信号106が入力された場合、制御部45による制御に従って、画像データが画像記憶部42から読み出される。読み出された画像データは外部記憶媒体44に出力され、外部記憶媒体44に記憶される。
計測処理部43は、画像記憶部42に記憶された画像データを用いて計測処理を行う。また、計測処理部43は、ユーザによる計測の操作に必要な計測用のGUI画像を生成する。計測処理部43は、周知のアルゴリズムによりステレオ計測を行う。例えば、操作部31によって、液晶モニタ6の表示画像上で計測点が入力されると、計測処理部43は、2つの視差画像の輝度情報に基づいてマッチング処理を行う。これにより、計測処理部43は、2つの視差画像の一方の計測点に対応する、2つの視差画像の他方の対応点の位置を算出する。さらに、計測処理部43は、計測点と対応点との位置に基づいて、三角測量の原理により計測点の3次元座標を算出する。
ユーザは、リモートコントローラ5を介して、ディスプレイ33の画面上の照準を操作することにより計測点などを指定する。計測点などの情報は、計測入力情報107として計測処理部43に出力される。ステレオ計測の計測結果は、計測点のマークなどを含む計測用のGUI画像と共に、計測用情報104として、信号変換部38に出力される。計測用情報104は、信号変換部38によって出力用映像信号101Aに合成される。
制御部45は、CPU10と、ROM11と、RAM12とに対応する。ROM11に格納されている制御用のプログラムをCPU10が読み出してRAM12にロードし、プログラムに記述されている命令をCPU10が実行することにより、制御部45は各部の動作を制御する。図3では、図3が複雑にならないように、制御部45と各部とを結ぶ矢印が省略されている。
パーソナルコンピュータ17は、操作部31と、ディスプレイ33と、計測処理部43との機能を有していてもよい。
図4を参照し、ステレオ計測の原理を説明する。ステレオ計測では、ステレオ光学アダプタが使用される。被写体像を2つの光学系で捉えたときの2つの光学測距点の座標に基づいて、三角測量の原理を使用して被写体の3次元座標を求めることで、計測が可能である。以下では、ステレオ計測により計測点の3次元座標を求める方法を説明する。左の光学中心63と右の光学中心64とを結ぶ線分の中点が原点Oとして定義される。また、右方向が正であるx軸と、下方向が正であるy軸とが定義される。また、光軸と平行に光学系から遠ざかる方向が正であるz軸が定義される。
左の光学系と右の光学系とを介して得られた被写体像を含む画像に対して、三角測量の方法により、計測点60の3次元座標(X,Y,Z)が以下の(1)式〜(3)式で計算される。ただし、歪み補正が施された左の画像面の計測点61と、歪み補正が施された右の画像面の対応点62との2次元座標はそれぞれ、(X,Y)、(X,Y)である。これらの2次元座標の原点はそれぞれ、左の光学系と右の光学系との光軸と画像面との交点O、交点Oである。左の光学中心63と右の光学中心64との距離はDである。焦点距離はFである。t=D/(X−X)である。
X=t×X+D/2 ・・・(1)
Y=−t×Y ・・・(2)
Z=t×F ・・・(3)
上記のように画像面上での計測点61と対応点62との座標が決定されると、パラメータDとパラメータFとを用いて計測点60の3次元座標が求まる。いくつかの点の3次元座標を求めることによって、2点間の距離、2点を結ぶ線と1点の距離、面積、深さ、表面形状等の様々な計測が可能である。また、左の光学中心63または右の光学中心64から被写体までの距離(物体距離)を求めることも可能である。上記のステレオ計測を行うためには、内視鏡挿入部3の先端部と光学アダプタ2とを含む光学系の特性を示す光学データが必要である。例えば、マッチング処理および光学データの詳細は特開2004−49638号公報に記載されているので、その説明を省略する。
撮像素子30によって生成される撮像信号100について説明する。図5は、撮像の様子を示している。光学アダプタ2(ステレオ光学系)は、互いに異なる光軸を有する第1の対物光学系2Aおよび第2の対物光学系2Bを有する。図5に示すように、被写体500を含む撮像範囲501からの光が第1の対物光学系2Aと第2の対物光学系2Bとを通過し、撮像素子30が有する撮像面300に入射する。撮像面300は、第1の撮像領域301と第2の撮像領域302とを有する。第1の対物光学系2Aを通過した光が撮像面300の第1の撮像領域301に第1の像を形成する。また、第2の対物光学系2Bを通過した光が撮像面300の第2の撮像領域302に第2の像を形成する。
図6は、撮像素子30の光軸に平行に撮像面300を見た状態を示している。撮像面300は、矢印A1が示す第1の方向と、矢印A2が示す第2の方向とに2次元状に広がる矩形状である。第1の方向と第2の方向とは直交する。撮像面300の第2の方向の寸法は撮像面300の第1の方向の寸法よりも大きい。第1の撮像領域301は撮像面300において第2の方向の中央位置よりも第2の方向にある。第2の撮像領域302は撮像面300において第2の方向の中央位置よりも第2の方向と反対の方向にある。つまり、第1の撮像領域301と第2の撮像領域302とは、第2の方向に沿って並んでいる。第1の撮像領域301と第2の撮像領域302との第1の方向の寸法は第1の撮像領域301と第2の撮像領域302との第2の方向の寸法よりも大きい。
ディスプレイ33について説明する。図7は、ディスプレイ33を正面から見た状態を示している。ディスプレイ33は、矢印A3が示す第3の方向と、矢印A4が示す第4の方向とに2次元状に広がる矩形状の表示面330を有する。第3の方向と第4の方向とは直交する。表示面330の第4の方向の寸法は表示面330の第3の方向の寸法よりも大きい。
第1の実施形態における各表示モードの設定と、各表示モードにおいてディスプレイ33に表示される画像の表示形態とについて説明する。計測内視鏡装置1は、ライブ画像の観察時の表示モードとして、単眼表示モードと双眼表示モードとの2つの表示モードを有する。例えば、操作部31は表示切替ボタンを有する。ユーザが操作部31の表示切替ボタンを操作することにより、2つの表示モードの選択と設定とが行われる。例えば、計測内視鏡装置1が起動した後、ユーザによってライブ画像の観察が最初に指定された場合、単眼表示モードが自動的に設定されるように、表示モードが予め決められている。
図8は、ライブ画像の観察時の計測内視鏡装置1の動作の手順を示している。上記のように、ライブ画像の観察では単眼表示モードが設定されているため、映像信号処理部34Aは、単眼表示用の出力用映像信号101Aを生成する(ステップS100)。単眼表示用の出力用映像信号101Aが生成された後、ディスプレイ33は、表示用映像信号103Aに基づいて画像を表示する(ステップS105)。ステップS105では、単眼表示が行われる。つまり、2つの視差画像の一方のみが表示される。
ライブ画像の観察時に単眼表示モードが設定されている場合、ユーザが操作部31の表示モード切替ボタンを操作すると、操作部31から表示切替信号105が映像信号処理部34Aに入力される。映像信号処理部34Aは、表示切替信号105に基づいて、表示モードを双眼表示モードに設定する。一方、ライブ画像の観察時に双眼表示モードが設定されている場合、ユーザが操作部31の表示モード切替ボタンを操作すると、操作部31から表示切替信号105が映像信号処理部34Aに入力される。映像信号処理部34Aは、表示切替信号105に基づいて、表示モードを単眼表示モードに設定する。
単眼表示が行われた後、映像信号処理部34Aは、表示モードが双眼表示モードであるか否かを判断する(ステップS110)。表示モードが双眼表示モードでない場合、ステップS100の処理が行われる。表示モードが双眼表示モードである場合、映像信号処理部34Aは、双眼表示用の出力用映像信号101Aを生成する(ステップS115)。双眼表示用の出力用映像信号101Aが生成された後、ディスプレイ33は、表示用映像信号103Aに基づいて画像を表示する(ステップS120)。ステップS120では、双眼表示が行われる。つまり、2つの視差画像が同時に表示される。双眼表示が行われた後、ステップS110の処理が行われる。
双眼表示の詳細について説明する。撮像素子30から出力される1フレーム分の撮像信号100には、第1の撮像領域301に入射した第1の像と、第2の撮像領域302に入射した第2の像とが含まれる。つまり、ステレオ光学系によって、同一の撮像タイミングで、視差を有する2つの像が撮像される。
図9は、双眼表示モードでディスプレイ33に表示される画像G100を示している。画像G100は、第1の像に基づく第1の画像G101と、第2の像に基づく第2の画像G102とを含む。第1の画像G101と第2の画像G102との第1の方向の寸法は、第1の画像G101と第2の画像G102との第2の方向の寸法よりも大きい。第1の画像G101と第2の画像G102とはディスプレイ33の表示面330の第4の方向に並んでいる。第1の画像G101と第2の画像G102とにおける第1の方向はディスプレイ33の表示面330の第3の方向に一致する。第1の画像G101と第2の画像G102とにおける第2の方向はディスプレイ33の表示面330の第4の方向に一致する。
双眼表示モードでは、ユーザは、画像が計測に適しているか否かを確認することができる。例えば、2つの視差画像の両方に被検体が含まれている画像は計測に適している。2つの視差画像の一方のみに異物が含まれている画像は計測に適していない。2つの視差画像において、計測対象の部分にハレーションが発生している画像は計測には適していない。ユーザは、上記の観点で画像を確認することができる。
単眼表示の詳細について説明する。図10は、図8のステップS100における計測内視鏡装置1の動作の手順を示している。映像信号処理部34Aは、撮像信号100から生成された映像信号に対して切り出し処理を行う(ステップS1000)。切り出し処理では、映像信号処理部34Aは、映像信号に含まれる2つの視差画像の1つのみを切り出す。切り出される視差画像は予め決められている。あるいは、切り出される視差画像はユーザによって選択される。以下では、左側の視差画像が第1の画像であり、第1の画像が切り出される場合を例に説明する。
切り出し処理が行われた後、映像信号処理部34Aは、映像信号に対して回転処理を行う(ステップS1005)。回転処理では、映像信号処理部34Aは、第1の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第1の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように、第1の画像を90度回転させる。
回転処理が行われた後、映像信号処理部34Aは、映像信号に対して拡大処理を行い、出力用映像信号101Aを生成する(ステップS1010)。拡大処理では、映像信号処理部34Aは、第1の画像の縦と横との長さの比を固定した状態で、第1の画像を最大の拡大率で拡大する。最大の拡大率とは、第1の画像がディスプレイ33の表示面330に収まるように、かつ、第1の画像がディスプレイ33の表示面330を最大限に使用するように、ディスプレイ33が第1の画像を表示することが可能となる拡大率を指す。拡大処理の結果、第1の画像はディスプレイ33の表示面330に最大限拡大されて表示される。また、単眼表示モードにおけるディスプレイ33上での第1の画像の表示領域が、双眼表示モードにおけるディスプレイ33上での第1の画像の表示領域よりも大きくなる。ステップS1010の処理が行われることにより、ステップS100の処理が終了する。
図11は、単眼表示モードでディスプレイ33に表示される画像G110を示している。画像G110は、第1の像に基づく第1の画像G111を含む。第1の画像G111の第1の方向の寸法は、第1の画像G111の第2の方向の寸法よりも大きい。第1の画像G111における第1の方向はディスプレイ33の表示面330の第4の方向に一致する。第1の画像G111における第2の方向はディスプレイ33の表示面330の第3の方向に一致する。第1の画像G111の表示領域は、図9の第1の画像G101の表示領域よりも大きい。このため、ライブ画像の観察時に被検体に対する視認性が向上する。
計測内視鏡装置1の可搬性の向上のために、計測内視鏡装置1が小さいことが望ましい。このため、ディスプレイ33が小さいことが望ましい。また、ユーザがディスプレイ33から離れた場所で作業を行う場合には、ユーザがディスプレイ33に近い場所で作業を行う場合よりも被検体の視認が難しい。第1の実施形態では、ディスプレイ33の表示領域が有効に利用される。このため、ディスプレイ33が小さい場合、またはユーザがディスプレイ33から離れた場所で作業を行う場合に、視認性が損なわれない。
第1の実施形態では、ライブ画像の観察時における単眼表示と双眼表示とについて説明した。上記の単眼表示と双眼表示とは計測時の画像表示に適用することが可能である。
第1の実施形態によれば、撮像素子30と、ステレオ光学系(光学アダプタ2)と、表示信号生成部(映像信号処理部34A)と、ディスプレイ33と、表示モード選択部(操作部31)と、を有する計測内視鏡装置1が構成される。
第1の実施形態では、単眼表示モードが選択された場合、第1の像に基づく第1の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第1の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように、かつ、単眼表示モードにおけるディスプレイ33上での第1の画像の表示領域が、双眼表示モードにおけるディスプレイ33上での第1の画像の表示領域よりも大きくなるように出力用映像信号101Aが生成される。このため、視認性を向上させつつ、ディスプレイの表示領域をより有効に利用することができる。また、単眼表示モードでは、1つの視差画像における撮像範囲の全体を拡大して表示することができる。
(第2の実施形態)
本発明の第2の実施形態の計測内視鏡装置1は、単眼表示モードと双眼表示モードとの両方において、像を回転させる。そして、計測内視鏡装置1は、単眼表示モードと双眼表示モードとで、像の向きを一致させる。
第2の実施形態では、図3に示す構成が、図12に示す構成に変更される。図12は、計測内視鏡装置1の機能構成を示している。図12に示すように、計測内視鏡装置1は、撮像素子30と、操作部31(表示モード選択部)と、ディスプレイ33と、映像信号処理部34B(表示信号生成部)と、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とを有する。映像信号処理部34Bと、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とはコントロールユニット4に配置されている。
図12に示す構成について、図3に示す構成と異なる点を説明する。映像信号処理部34Bは、双眼表示モードが選択された場合、第1の画像および第2の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第1の画像および第2の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように出力用映像信号101Bを生成する。これによって、単眼表示モードにおいて表示される第1の画像における被写体の向きと、双眼表示モードにおいて表示される第1の画像における被写体の向きとがディスプレイ33上で同一になる。
さらに、映像信号処理部34Bは、双眼表示モードが選択された場合、第1の画像および第2の画像がディスプレイ33の表示面330の第3の方向に沿って並ぶように出力用映像信号101Bを生成する。信号変換部38は、出力用映像信号101Bに基づいて表示用映像信号103Bを生成する。
上記以外の点については、図12に示す構成は図3に示す構成と同様である。
第2の実施形態におけるライブ画像の観察時の計測内視鏡装置1の動作は、図8と図10とに従う。第2の実施形態では、双眼表示モードにおける動作(図8のステップS115)が第1の実施形態と異なる。第2の実施形態における双眼表示の詳細について説明する。
図13は、図8のステップS115における計測内視鏡装置1の動作の手順を示している。映像信号処理部34Bは、撮像信号100から生成された映像信号に対して回転処理を行う(ステップS1150)。回転処理では、映像信号処理部34Bは、映像信号に含まれる2つの視差画像を含む画像の全体を90度回転させる。つまり、映像信号処理部34Bは、単眼表示モードで表示される1つの視差画像の回転量と同一の回転量で、2つの視差画像を含む画像の全体を回転させる。回転方向は、単眼表示モードで表示される1つの視差画像の回転方向と同一である。ステップS1150の処理が行われることにより、ステップS115の処理が終了する。
図14は、双眼表示モードでディスプレイ33に表示される画像G120を示している。画像G120は、第1の像に基づく第1の画像G121と、第2の像に基づく第2の画像G122とを含む。第1の画像G121と第2の画像G122との第1の方向の寸法は、第1の画像G121と第2の画像G122との第2の方向の寸法よりも大きい。第1の画像G121と第2の画像G122とはディスプレイ33の表示面330の第3の方向に並んでいる。第1の画像G121と第2の画像G122とにおける第2の方向はディスプレイ33の表示面330の第3の方向に一致する。第1の画像G121と第2の画像G122とにおける第1の方向はディスプレイ33の表示面330の第4の方向に一致する。第1の画像G121における被写体の向きは、図11に示す第1の画像G111における被写体の向きと同一である。
2つの視差画像がディスプレイ33の表示面330の第3の方向に並んで表示されるため、ディスプレイ33上での第3の方向の表示領域の制約が大きい。このため、映像信号処理部34Bは、2つの視差画像がディスプレイ33の表示面330の第3の方向の表示領域に収まるように、2つの視差画像の拡大処理または縮小処理を行ってもよい。
第1の実施形態では、単眼表示モードにおける画像(図11)と双眼表示における画像(図9)とで像の向きが異なる。このため、第1の実施形態では、単眼表示モードと双眼表示モードとの間でモードが切り替わるときに像の向きが変化する。
第2の実施形態では、単眼表示モードにおける画像(図11)と双眼表示モードにおける画像(図14)とで像の向きが同一である。このため、第2の実施形態では、単眼表示モードと双眼表示モードとの間でモードが切り替わるときに像の向きが変化しない。この結果、モードの切替に伴うユーザの違和感を低減することができる。
(第3の実施形態)
本発明の第3の実施形態では、計測内視鏡装置1は、双眼表示モードで2つの視差画像を、ディスプレイ33の表示面330の第4の方向に沿って並べて表示する。
第3の実施形態では、図3に示す構成が、図15に示す構成に変更される。図15は、計測内視鏡装置1の機能構成を示している。図15に示すように、計測内視鏡装置1は、撮像素子30と、操作部31(表示モード選択部)と、ディスプレイ33と、映像信号処理部34C(表示信号生成部)と、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とを有する。映像信号処理部34Cと、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とはコントロールユニット4に配置されている。
図15に示す構成について、図3に示す構成と異なる点を説明する。映像信号処理部34Cは、双眼表示モードが選択された場合、第1の画像および第2の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第1の画像および第2の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように出力用映像信号101Cを生成する。これによって、単眼表示モードにおいて表示される第1の画像における被写体の向きと、双眼表示モードにおいて表示される第1の画像における被写体の向きとがディスプレイ33上で同一になる。
さらに、映像信号処理部34Cは、双眼表示モードが選択された場合、第1の画像および第2の画像がディスプレイ33の表示面330の第4の方向に沿って並ぶように出力用映像信号101Cを生成する。信号変換部38は、出力用映像信号101Cに基づいて表示用映像信号103Cを生成する。
上記以外の点については、図15に示す構成は図3に示す構成と同様である。
第3の実施形態におけるライブ画像の観察時の計測内視鏡装置1の動作は、図8と図10とに従う。第3の実施形態では、双眼表示モードにおける動作(図8のステップS115)が第1の実施形態と異なる。第3の実施形態における双眼表示の詳細について説明する。
図16は、図8のステップS115における計測内視鏡装置1の動作の手順を示している。映像信号処理部34Cは、撮像信号100から生成された映像信号に対して回転処理を行う(ステップS1150)。回転処理は、第2の実施形態における回転処理と同様である。
回転処理が行われた後、映像信号処理部34Cは、映像信号に対して切り出し処理を行う(ステップS1155)。切り出し処理では、映像信号処理部34Cは、映像信号に含まれる2つの視差画像を切り出す。
切り出し処理が行われた後、映像信号処理部34Cは、映像信号に対して配列処理を行う(ステップS1160)。配列処理では、映像信号処理部34Cは、2つの視差画像がディスプレイ33の表示面330の第4の方向に沿って並ぶように2つの視差画像を配列する。ステップS1160の処理が行われることにより、ステップS115の処理が終了する。
図17は、双眼表示モードでディスプレイ33に表示される画像G130を示している。画像G130は、第1の像に基づく第1の画像G131と、第2の像に基づく第2の画像G132とを含む。第1の画像G131と第2の画像G132との第1の方向の寸法は、第1の画像G131と第2の画像G132との第2の方向の寸法よりも大きい。第1の画像G131と第2の画像G132とはディスプレイ33の表示面330の第4の方向に並んでいる。第1の画像G131と第2の画像G132とにおける第2の方向はディスプレイ33の表示面330の第3の方向に一致する。第1の画像G131と第2の画像G132とにおける第1の方向はディスプレイ33の表示面330の第4の方向に一致する。第1の画像G131における被写体の向きは、図11に示す第1の画像G111における被写体の向きと同一である。
2つの視差画像がディスプレイ33の表示面330の第4の方向に並んで表示されるため、ディスプレイ33上での第4の方向の表示領域の制約が大きい。このため、映像信号処理部34Cは、2つの視差画像がディスプレイ33の表示面330の第4の方向の表示領域に収まるように、2つの視差画像の拡大処理または縮小処理を行ってもよい。
第3の実施形態では、単眼表示における画像(図11)と双眼表示における画像(図17)とで像の向きが同一である。このため、第3の実施形態では、単眼表示モードと双眼表示モードとの間でモードが切り替わるときに像の向きが変化しない。この結果、モードの切替に伴うユーザの違和感を低減することができる。
(第4の実施形態)
本発明の第4の実施形態では、計測内視鏡装置1は、双眼表示モードで表示される2つの視差画像において、計測に不要な視野領域の像を削除する。計測に不要な視野領域は、2つの視差画像の一方のみに写っている視野領域である。計測に不要な視野領域の像を表示する必要はない。このため、計測内視鏡装置1は、計測に不要な視野領域、すなわち2つの視差画像の一方のみに写っている視野領域の像を削除する。言い換えると、計測内視鏡装置1は、2つの視差画像の両方に共通して写っている視野領域の像を2つの視差画像から切り出す。単眼表示モードにおける視野領域よりも小さい視野領域の像を切り出すことによって、双眼表示モードにおいて2つの視差画像の拡大表示が可能である。あるいは、双眼表示モードにおいて2つの視差画像を単眼表示モードにおける視差画像よりも縮小する必要がある場合、縮小率をより小さくすることが可能である。
第4の実施形態では、図3に示す構成が、図18に示す構成に変更される。図18は、計測内視鏡装置1の機能構成を示している。図18に示すように、計測内視鏡装置1は、撮像素子30と、操作部31(表示モード選択部)と、ディスプレイ33と、映像信号処理部34D(表示信号生成部)と、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とを有する。映像信号処理部34Dと、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とはコントロールユニット4に配置されている。
図18に示す構成について、図3に示す構成と異なる点を説明する。映像信号処理部34Dは、双眼表示モードが選択された場合、第1の画像および第2の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第1の画像および第2の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように出力用映像信号101Dを生成する。これによって、単眼表示モードにおいて表示される第1の画像における被写体の向きと、双眼表示モードにおいて表示される第1の画像における被写体の向きとがディスプレイ33上で同一になる。
さらに、映像信号処理部34Dは、双眼表示モードが選択された場合、第1の像から第1の視野領域の像を切り出し、第2の像から第2の視野領域の像を切り出すことにより出力用映像信号101Dを生成する。双眼表示モードにおける第1の視野領域と第2の視野領域とは、単眼表示モードにおける第1の像の第3の視野領域よりも小さい。第1の視野領域と第2の視野領域とは、第1の像と第2の像とにおける共通の視野領域である。つまり、映像信号処理部34Dは、第1の像において第2の像に写らない視野領域の像と、第2の像において第1の像に写らない視野領域の像とを削除する。信号変換部38は、出力用映像信号101Dに基づいて表示用映像信号103Dを生成する。
上記以外の点については、図18に示す構成は図3に示す構成と同様である。
第4の実施形態におけるライブ画像の観察時の計測内視鏡装置1の動作は、図8と図10とに従う。第4の実施形態では、双眼表示モードにおける動作(図8のステップS115)が第1の実施形態と異なる。第4の実施形態における双眼表示の詳細について説明する。
図19は、図8のステップS115における計測内視鏡装置1の動作の手順を示している。映像信号処理部34Dは、撮像信号100から生成された映像信号に対して切り出し処理を行う(ステップS1165)。図20は、双眼表示モードにおける処理の内容を示している。撮像信号100に基づく画像G140は、第1の像に基づく第1の画像G141と、第2の像に基づく第2の画像G142とを含む。切り出し処理では、映像信号処理部34Dは、第1の像から第1の視野領域の像I140を切り出し、第2の像から第2の視野領域の像I141を切り出す。第1の視野領域の像I140と第2の視野領域の像I141との第1の方向の寸法は、第1の視野領域の像I140と第2の視野領域の像I141との第2の方向の寸法よりも大きい。第1の視野領域と第2の視野領域とは、第1の像と第2の像とにおける共通の視野領域を含む。
第1の視野領域の像I140は第1の像よりも小さい。また、第2の視野領域の像I141は第2の像よりも小さい。単眼表示モードでは、第1の像の全体に対応する視野領域とほぼ一致する第3の視野領域の像が表示される。このため、第1の視野領域と第2の視野領域とは、単眼表示モードにおける第3の視野領域よりも小さい。映像信号処理部34Dは、切り出された第1の視野領域の像I140と第2の視野領域の像I141との拡大処理を行ってもよい。
切り出し処理が行われた後、映像信号処理部34Dは、映像信号に対して配列処理を行う(ステップS1170)。配列処理では、映像信号処理部34Dは、2つの視差画像が第2の方向に沿って並ぶように2つの視差画像を配列する。これによって、図20に示すように、第1の視野領域の像I140と第2の視野領域の像I141とが第2の方向に沿って並ぶ。
配列処理が行われた後、映像信号処理部34Dは、映像信号に対して回転処理を行う(ステップS1150)。回転処理は、第2の実施形態における回転処理と同様である。これによって、図20に示すように、第1の視野領域の像I140と第2の視野領域の像I141とがディスプレイ33の表示面330の第3の方向に沿って並ぶ。ステップS1150の処理が行われることにより、ステップS115の処理が終了する。
図21は、第1の像と第2の像とにおける共通の視野領域を示している。図21では、第1の対物光学系2Aと第2の対物光学系2Bとの光軸における断面が示されている。線L100Aと線L100Bとは、撮像素子300の第1の撮像領域301に対応する視野を示している。線L101Aと線L101Bとは、撮像素子300の第2の撮像領域302に対応する視野を示している。位置Aは、計測可能な物体距離の遠点限界である。位置Bは、計測可能な物体距離の近点限界である。位置Aと位置Bとの間にある被写体に対して物体距離の計測が可能である。近点限界と遠点限界とは被写界深度に基づいて設定される値であり、それらの値はROM11等に予め記憶される。
ステレオ計測が可能な3次元領域R100は、計測可能な物体距離の範囲内にある。また、3次元領域R100は、2つの視差画像の両方に写る領域である。3次元領域R100は、第1の撮像領域301に対応する視野の限界である線L100Bと、第2の撮像領域302に対応する視野の限界である線L101Aとの間にある。位置Aにおいて、第1の像と第2の像とにおける共通の視野領域が最大である。第1の撮像領域301において位置Aの3次元領域R100の像が入射する第1の領域301Aの位置情報がROM11等に予め記憶される。また、第2の撮像領域302において位置Aの3次元領域R100の像が入射する第2の領域302Aの位置情報がROM11等に予め記憶される。例えば、第1の領域301Aと第2の領域302Aとは、設計値から算出される。第1の領域301Aと第2の領域302Aとは、カメラキャリブレーションにより求められたパラメータから算出されてもよい。
図22は、双眼表示モードでディスプレイ33に表示される画像G140を示している。画像G140は、第1の像に基づく第1の画像G141と、第2の像に基づく第2の画像G142とを含む。第1の画像G141と第2の画像G142との第1の方向の寸法は、第1の画像G141と第2の画像G142との第2の方向の寸法よりも大きい。第1の画像G141と第2の画像G142とはディスプレイ33の表示面330の第3の方向に並んでいる。第1の画像G141と第2の画像G142とにおける第2の方向はディスプレイ33の表示面330の第3の方向に一致する。第1の画像G141と第2の画像G142とにおける第1の方向はディスプレイ33の表示面330の第4の方向に一致する。第1の画像G141における被写体の向きは、図11に示す第1の画像G111における被写体の向きと同一である。第1の画像G141と第2の画像G142との視野領域は、図11に示す第1の画像G111の視野領域よりも小さい。
図22では、第1の画像G141と第2の画像G142とがディスプレイ33の表示面330の第3の方向に沿って並ぶ。しかし、第1の画像G141と第2の画像G142とがディスプレイ33の表示面330の第4の方向に沿って並ぶように映像信号処理部34Dが処理を行ってもよい。
単眼表示モードでは、ユーザに計測可能領域を知らせるために、計測内視鏡装置1は、切り出される視野領域を示す枠を第1の画像に重畳してもよい。
第4の実施形態では、単眼表示モードにおける画像(図11)と双眼表示モードにおける画像(図22)とで像の向きが同一である。このため、第4の実施形態では、単眼表示モードと双眼表示モードとの間でモードが切り替わるときに像の向きが変化しない。この結果、モードの切替に伴うユーザの違和感を低減することができる。
また、双眼表示モードで表示される2つの視差画像は共通の視野領域の像を有する。計測において、この共通の視野領域の像上のどの位置に対しても計測点の指定が可能である。
また、双眼表示モードでは第1の像の一部に基づく第1の画像と、第2の像の一部に基づく第2の画像とが表示される。このため、第1の画像と第2の画像との拡大処理が可能となり、視認性をより向上することができる。
(第5の実施形態)
本発明の第5の実施形態では、計測内視鏡装置1は、双眼表示モードで表示される2つの視差画像において、計測精度が低下する視野領域の像を削除する。計測精度が低下する視野領域は、第1の対物光学系2Aと第2の対物光学系2Bとの特性に応じた収差または口径食による光学性能の悪化が発生する領域である。例えば、計測精度が低下する視野領域は、視野領域の周縁部である。ユーザがその視野領域に計測点を指定することを回避するために、計測精度が低下する視野領域の像を表示する必要はない。
このため、計測内視鏡装置1は、計測精度が低下する視野領域、すなわち光学性能の悪化が発生する視野領域の像を削除する。言い換えると、計測内視鏡装置1は、2つの視差画像の両方に共通する、計測精度が低下しにくい視野領域の像を2つの視差画像から切り出す。単眼表示モードにおける視野領域よりも小さい視野領域の像を切り出すことによって、双眼表示モードにおいて2つの視差画像の拡大表示が可能である。あるいは、双眼表示モードにおいて2つの視差画像を単眼表示モードにおける視差画像よりも縮小する必要がある場合、縮小率をより小さくすることが可能である。
第5の実施形態では、図3に示す構成が、図23に示す構成に変更される。図23は、計測内視鏡装置1の機能構成を示している。図23に示すように、計測内視鏡装置1は、撮像素子30と、操作部31(表示モード選択部)と、ディスプレイ33と、映像信号処理部34E(表示信号生成部)と、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とを有する。映像信号処理部34Eと、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とはコントロールユニット4に配置されている。
図23に示す構成について、図3に示す構成と異なる点を説明する。映像信号処理部34Eは、双眼表示モードが選択された場合、第1の画像および第2の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第1の画像および第2の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように出力用映像信号101Eを生成する。これによって、単眼表示モードにおいて表示される第1の画像における被写体の向きと、双眼表示モードにおいて表示される第1の画像における被写体の向きとがディスプレイ33上で同一になる。
さらに、映像信号処理部34Eは、双眼表示モードが選択された場合、第1の像から第1の視野領域の像を切り出し、第2の像から第2の視野領域の像を切り出すことにより出力用映像信号101Eを生成する。双眼表示モードにおける第1の視野領域と第2の視野領域とは、単眼表示モードにおける第1の像の第3の視野領域よりも小さい。第1の視野領域は、第1の像における中央の領域であり、第2の視野領域は、第2の像における中央の領域である。言い換えると、第1の視野領域は、第1の像における中心を含む領域であり、第2の視野領域は、第2の像における中心を含む領域である。信号変換部38は、出力用映像信号101Eに基づいて表示用映像信号103Eを生成する。
上記以外の点については、図23に示す構成は図3に示す構成と同様である。
第5の実施形態におけるライブ画像の観察時の計測内視鏡装置1の動作は、図8と図10とに従う。第5の実施形態では、双眼表示モードにおける動作(図8のステップS115)が第1の実施形態と異なる。双眼表示モードにおける動作は、図19に従う。
第5の実施形態では、映像信号処理部34Eは、図19のステップS1165において以下の処理を行う。映像信号処理部34Eは、第1の像から第1の視野領域の像を切り出し、第2の像から第2の視野領域の像を切り出す。第1の視野領域の像と第2の視野領域の像との第1の方向の寸法は、第1の視野領域の像と第2の視野領域の像との第2の方向の寸法よりも大きい。第1の視野領域は、第1の像における中央の領域であり、第2の視野領域は、第2の像における中央の領域である。
第1の視野領域の像は第1の像よりも小さい。また、第2の視野領域の像は第2の像よりも小さい。単眼表示モードでは、第1の像の全体に対応する視野領域とほぼ一致する第3の視野領域の像が表示される。このため、第1の視野領域と第2の視野領域とは、単眼表示モードにおける第3の視野領域よりも小さい。映像信号処理部34Eは、切り出された第1の視野領域の像と第2の視野領域の像との拡大処理を行ってもよい。
図19のステップS1170とステップS1150とでは、第4の実施形態における処理と同様の処理が行われる。
双眼表示モードでディスプレイ33に表示される画像は、図22における画像G140と同様である。例えば、第5の実施形態では、第1の画像と第2の画像とがディスプレイ33の表示面330の第3の方向に沿って並ぶ。しかし、第1の画像と第2の画像とがディスプレイ33の表示面330の第4の方向に沿って並ぶように映像信号処理部34Eが処理を行ってもよい。
単眼表示モードでは、ユーザに計測可能領域を知らせるために、計測内視鏡装置1は、切り出される視野領域を示す枠を第1の画像に重畳してもよい。
第5の実施形態では、単眼表示モードにおける画像(図11)と双眼表示モードにおける画像(図22)とで像の向きが同一である。このため、第5の実施形態では、単眼表示モードと双眼表示モードとの間でモードが切り替わるときに像の向きが変化しない。この結果、モードの切替に伴うユーザの違和感を低減することができる。
また、双眼表示モードで表示される2つの視差画像は共通の視野領域の像を有する。計測において、この共通の視野領域の像上のどの位置に対しても計測点の指定が可能である。この共通の視野領域は、計測精度が低下する領域を含まないので、精度が高い計測結果を得ることができる。
また、双眼表示モードでは第1の像の一部に基づく第1の画像と、第2の像の一部に基づく第2の画像とが表示される。このため、第1の画像と第2の画像との拡大処理が可能となる。あるいは、第1の画像と第2の画像との縮小率が小さくなる。この結果、視認性をより向上することができる。
(第6の実施形態)
本発明の第6の実施形態では、双眼表示モードで表示される2つの視差画像の視野領域は、単眼表示モードにおいてユーザによって指定された計測点を含む。計測では、少なくともユーザによって指定された全ての計測点を含む領域が表示されることが重要である。その他の領域については計測処理に対してあまり影響がないため、その他の領域は表示されなくてもよい。
このため、計測内視鏡装置1は、少なくともユーザによって指定された全ての計測点を含む矩形状の領域であって、単眼表示モードで表示される視野領域よりも小さい視野領域の像を切り出して表示する。単眼表示モードにおける視野領域よりも小さい視野領域の像を切り出すことによって、双眼表示モードにおいて2つの視差画像の拡大表示が可能である。あるいは、双眼表示モードにおいて2つの視差画像を単眼表示モードにおける視差画像よりも縮小する必要がある場合、縮小率をより小さくすることが可能である。
第6の実施形態では、計測における単眼表示モードと双眼表示モードとの動作を説明する。また、単眼表示モードと双眼表示モードとの両方において、ディスプレイ33に静止画像が表示される例を説明する。また、2点間の距離を測定する2点間計測の例を説明する。
第6の実施形態では、図3に示す構成が、図24に示す構成に変更される。図24は、計測内視鏡装置1の機能構成を示している。図24に示すように、計測内視鏡装置1は、撮像素子30と、操作部31(表示モード選択部)と、ディスプレイ33と、映像信号処理部34F(表示信号生成部)と、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とを有する。映像信号処理部34Fと、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とはコントロールユニット4に配置されている。
図24に示す構成について、図3に示す構成と異なる点を説明する。映像信号処理部34Fは、双眼表示モードが選択された場合、第1の画像および第2の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第1の画像および第2の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように出力用映像信号101Fを生成する。これによって、単眼表示モードにおいて表示される第1の画像における被写体の向きと、双眼表示モードにおいて表示される第1の画像における被写体の向きとがディスプレイ33上で同一になる。
さらに、映像信号処理部34Fは、双眼表示モードが選択された場合、第1の像から第1の視野領域の像を切り出し、第2の像から第2の視野領域の像を切り出すことにより出力用映像信号101Fを生成する。双眼表示モードにおける第1の視野領域と第2の視野領域とは、単眼表示モードにおける第1の像の第3の視野領域よりも小さい。第1の視野領域と第2の視野領域との一方は、第1の像と第2の像との一方においてユーザによって指定された第1の位置を含む視野領域であり、第1の視野領域と第2の視野領域との他方は、第1の像と第2の像との他方において第1の位置に対応する第2の位置を含む視野領域である。例えば、第1の視野領域が、第1の像においてユーザによって指定された第1の位置を含む場合、第2の視野領域は、第2の像において第1の位置に対応する第2の位置を含む。第1の位置は、ユーザによって指定された計測点の位置である。信号変換部38は、出力用映像信号101Fに基づいて表示用映像信号103Fを生成する。
上記以外の点については、図24に示す構成は図3に示す構成と同様である。
図25は、計測時の計測内視鏡装置1の動作の手順を示している。計測内視鏡装置1は、計測時の表示モードとして、単眼表示モードと双眼表示モードとの2つの表示モードを有する。例えば、計測内視鏡装置1が起動した後、ユーザによって計測の実行が指定された場合、単眼表示モードが自動的に設定されるように、表示モードが予め決められている。このため、計測が開始されたとき、映像信号処理部34Fは、単眼表示用の出力用映像信号101Fを生成する(ステップS200)。ステップS200の処理は、図8のステップS100の処理と同様である。単眼表示用の出力用映像信号101Fが生成された後、ディスプレイ33は、表示用映像信号103Fに基づいて画像を表示する(ステップS205)。ステップS205では、単眼表示が行われる。つまり、2つの視差画像の一方のみが表示される。
単眼表示が行われた後、ユーザが操作部31を介して2つの計測点を指定する。2つの計測点の座標は、計測入力情報107として計測処理部43に出力される(ステップS210)。
図26は、単眼表示モードでディスプレイ33に表示される画像G150を示している。画像G150は、第1の像に基づく第1の画像G151を含む。第1の画像G151において、ユーザによって計測点P10と計測点P11とが指定される。
2つの計測点が指定された後、計測処理部43は、2つの計測点の座標をRAM12に記憶させる(ステップS215)。ステップS215で記憶される計測点の座標は第1の画像上の2次元座標である。2つの計測点の座標が記憶された後、映像信号処理部34Fは、双眼表示用の出力用映像信号101Fを生成する(ステップS220)。双眼表示用の出力用映像信号101Fが生成された後、ディスプレイ33は、表示用映像信号103Fに基づいて画像を表示する(ステップS225)。ステップS225では、双眼表示が行われる。つまり、2つの視差画像が同時に表示される。
双眼表示が行われた後、計測処理部43は計測処理を行う(ステップS230)。ステップS230では、計測処理部43は、2つの計測点に対応する3次元座標を算出し、算出された3次元座標に基づいて2点間の距離を算出する。また、ステップS230では、計測結果が表示される。ステップS230の処理が行われることにより、計測が終了する。
双眼表示の詳細について説明する。図27は、図25のステップS220における計測内視鏡装置1の動作の手順を示している。映像信号処理部34Fは、2つの計測点の座標をRAM12から読み出す(ステップS2200)。
2つの計測点の座標がRAM12から読み出された後、映像信号処理部34Fは、2つの計測点の座標に基づいて第1の画像から領域を切り出す(ステップS2205)。例えば、ステップS2205で第1の画像から切り出される領域は、2つの計測点の座標を含む所定の大きさの領域である。この領域は、ユーザが2つの計測点を確認可能な最低限の領域であればよい。ステップS2205で第1の画像から切り出される領域は、1つのみの計測点の座標に基づく領域であってもよい。あるいは、ステップS2205で第1の画像から切り出される領域は、1つまたは2つの計測点を基準とする領域に基づく領域であってもよい。
第1の画像から領域が切り出された後、映像信号処理部34Fは、第1の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第1の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように、切り出された第1の画像の領域を90度回転させる(ステップS2210)。
第1の画像の領域の回転が行われた後、映像信号処理部34Fは、2つの計測点の座標をRAM12から読み出す(ステップS2215)。2つの計測点の座標がRAM12から読み出された後、映像信号処理部34Fは、2つの計測点の座標に対応する、第2の画像上の対応点の座標を算出するための探索範囲を算出する(ステップS2220)。例えば、ステップS2220では、映像信号処理部34Fは、第2の画像において、第1の画像の2つの計測点の座標に幾何学的に対応する位置の線(エピポーラライン)を基準に探索範囲を算出する。
探索範囲が算出された後、映像信号処理部34Fは、第2の画像の探索範囲において、2つの計測点の座標に対応する座標を算出する(ステップS2225)。ステップS2225で算出される座標は第2の画像上の対応点の座標である。また、ステップS2225の処理は、いわゆるマッチング処理である。
対応点の座標が算出された後、映像信号処理部34Fは、ステップS2220で算出された探索範囲を含む領域を第2の画像から切り出す(ステップS2230)。ステレオマッチングの誤対応が起きていないこと等をユーザが確認できるように、ステップS2230では探索範囲の全体を含む領域が第2の画像から切り出されることが望ましい。
第2の画像から領域が切り出された後、映像信号処理部34Fは、第2の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第2の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように、切り出された第2の画像の領域を90度回転させる(ステップS2235)。
第2の画像の領域の回転が行われた後、映像信号処理部34Fは、第1の画像および第2の画像がディスプレイ33の表示面330の第3の方向に沿って並ぶように出力用映像信号101Fを生成する(ステップS2240)。ステップS2240の処理が行われることにより、ステップS220の処理が終了する。
図28は、双眼表示モードでディスプレイ33に表示される画像G160を示している。画像G160は、第1の像に基づく第1の画像G161と、第2の像に基づく第2の画像G162とを含む。第1の画像G161と第2の画像G162とはディスプレイ33の表示面330の第3の方向に並んでいる。第1の画像G161と第2の画像G162とにおける第2の方向はディスプレイ33の表示面330の第3の方向に一致する。第1の画像G161と第2の画像G162とにおける第1の方向はディスプレイ33の表示面330の第4の方向に一致する。第1の画像G161における被写体の向きは、図26に示す第1の画像G151における被写体の向きと同一である。
双眼表示モードにおいて、信号変換部38は、出力用映像信号101Fに対して計測用情報104を合成することにより表示用映像信号103Fを生成する。計測用情報104は、計測点と対応点とのマークの画像を含む。このため、第1の画像G161において、計測点P10と計測点P11とが表示される。また、第2の画像G162において、対応点P20と対応点P21とが表示される。対応点P20は、計測点P10に対応する。対応点P21は、計測点P11に対応する。
第1の画像G161では、計測点P10と計測点P11との周辺のみの領域が含まれる。第2の画像G162では、探索範囲の全体を含む領域が含まれる。このため、第2の画像G162は第1の画像G161よりも大きい。
図28では、計測点P10と対応点P20とが縦方向に揃い、計測点P11と対応点P21とが縦方向に揃っている。このため、第1の画像G161と第2の画像G162とがディスプレイ33の表示面330の第4の方向に沿って表示される場合と比較して、ユーザは計測点と対応点との位置を比較しやすい。
第6の実施形態では、単眼表示モードにおける画像(図26)と双眼表示モードにおける画像(図28)とで像の向きが同一である。このため、第6の実施形態では、単眼表示モードと双眼表示モードとの間でモードが切り替わるときに像の向きが変化しない。この結果、モードの切替に伴うユーザの違和感を低減することができる。
また、双眼表示モードでは、ユーザによって指定された計測点の位置を含む第1の画像と、計測点に対応する位置を含む第2の画像とが表示される。第1の画像は第1の像の一部を含み、第2の画像は第2の像の一部を含む。このため、第1の画像と第2の画像との拡大処理が可能となる。あるいは、第1の画像と第2の画像との縮小率が小さくなる。この結果、視認性をより向上することができる。
(第7の実施形態)
本発明の第7の実施形態では、計測内視鏡装置1は、被写体までの距離をリアルタイムで計測する。つまり、ライブ観察の単眼表示モードにおいて、計測内視鏡装置1は、いわゆる測距を行う。例えば、測距については特開2006−136706号公報に開示されている。
測距において、ユーザは、単眼表示モードで表示された視差画像に対して、測距が行われる位置に照準を定める操作を行う。照準が定まった後、計測内視鏡装置1は、2つの視差画像と照準の座標とを用いて3次元計測を行い、照準の座標における被写体までの距離を算出する。計測内視鏡装置1は、算出された距離をリアルタイムで表示する。
ユーザは被写体までの距離がリアルタイムで分かる。このため、ユーザは、被写体までの距離が計測処理に適した距離となる位置が分かる。一般に、計測処理に適した位置は、被写体までの距離が近い位置である。第7の実施形態では、計測内視鏡装置1は、計測処理の前に測距を行う。双眼表示モードにおいて、計測内視鏡装置1は、測距が行われた位置を表示する。また、双眼表示モードにおいて、計測内視鏡装置1は、測距が行われた位置、すなわち照準の位置を基準とする矩形状の領域であって、単眼表示モードで表示される視野領域よりも小さい視野領域の像を切り出して表示する。単眼表示モードにおける視野領域よりも小さい視野領域の像を切り出すことによって、双眼表示モードにおいて2つの視差画像の拡大表示が可能である。あるいは、双眼表示モードにおいて2つの視差画像を単眼表示モードにおける視差画像よりも縮小する必要がある場合、縮小率をより小さくすることが可能である。
第7の実施形態では、計測における単眼表示モードと双眼表示モードとの動作を説明する。また、単眼表示モードにおいて、ディスプレイ33にライブ画像すなわち動画像が表示され、双眼表示モードにおいて、ディスプレイ33に静止画像が表示される例を説明する。また、計測における単眼表示モードで測距が行われる例を説明する。また、2点間の距離を測定する2点間計測の例を説明する。
第7の実施形態では、図3に示す構成が、図29に示す構成に変更される。図29は、計測内視鏡装置1の機能構成を示している。図29に示すように、計測内視鏡装置1は、撮像素子30と、操作部31(表示モード選択部)と、ディスプレイ33と、映像信号処理部34G(表示信号生成部)と、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とを有する。映像信号処理部34Gと、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とはコントロールユニット4に配置されている。
図29に示す構成について、図3に示す構成と異なる点を説明する。映像信号処理部34Gは、双眼表示モードが選択された場合、第1の画像および第2の画像における第2の方向がディスプレイ33の表示面330の第3の方向に一致し、第1の画像および第2の画像における第1の方向がディスプレイ33の表示面330の第4の方向に一致するように出力用映像信号101Gを生成する。これによって、単眼表示モードにおいて表示される第1の画像における被写体の向きと、双眼表示モードにおいて表示される第1の画像における被写体の向きとがディスプレイ33上で同一になる。
さらに、映像信号処理部34Gは、双眼表示モードが選択された場合、第1の像から第1の視野領域の像を切り出し、第2の像から第2の視野領域の像を切り出すことにより出力用映像信号101Gを生成する。双眼表示モードにおける第1の視野領域と第2の視野領域とは、単眼表示モードにおける第1の像の第3の視野領域よりも小さい。第1の視野領域と第2の視野領域との一方は、第1の像と第2の像との一方においてユーザによって指定された第1の位置を含む視野領域であり、第1の視野領域と第2の視野領域との他方は、第1の像と第2の像との他方において第1の位置に対応する第2の位置を含む視野領域である。例えば、第1の視野領域が、第1の像においてユーザによって指定された第1の位置を含む場合、第2の視野領域は、第2の像において第1の位置に対応する第2の位置を含む。第1の位置は、ユーザによって指定された測距用照準の位置である。信号変換部38は、出力用映像信号101Gに基づいて表示用映像信号103Gを生成する。
上記以外の点については、図29に示す構成は図3に示す構成と同様である。
図30は、計測時の計測内視鏡装置1の動作の手順を示している。計測内視鏡装置1は、計測時の表示モードとして、単眼表示モードと双眼表示モードとの2つの表示モードを有する。例えば、計測内視鏡装置1が起動した後、ユーザによって計測の実行が指定された場合、単眼表示モードが自動的に設定されるように、表示モードが予め決められている。また、単眼表示モードでは、測距の機能が自動的に起動する。このため、計測が開始されたとき、映像信号処理部34Gは、単眼表示用の出力用映像信号101Gを生成する(ステップS300)。ステップS300の処理は、図8のステップS100の処理と同様である。
単眼表示用の出力用映像信号101Gが生成された後、ディスプレイ33は、表示用映像信号103Gに基づいて、照準を含む画像を表示する(ステップS305)。ステップS305では、単眼表示が行われる。つまり、2つの視差画像の一方のみが表示される。また、ステップS305で使用される表示用映像信号103Gは、出力用映像信号101Gに対して、照準のマークの画像を含む計測用情報104を合成することにより生成される。例えば、測距の機能が起動した直後のステップS305では、画像の所定の位置(画像の中心位置等)に照準が表示される。
単眼表示が行われた後、ユーザが操作部31を介して照準の位置を指定する。照準の位置は、計測入力情報107として計測処理部43に出力される。これによって、計測処理部43は照準の位置を取得する(ステップS310)。照準の位置が取得された後、計測処理部43は、照準の位置に基づいて3次元計測を行い、照準の位置における被写体までの距離を算出する(ステップS315)。
被写体までの距離が算出された後、ディスプレイ33は、表示用映像信号103Gに基づいて、測距結果を表示する(ステップS320)。ステップS320で使用される表示用映像信号103Gは、出力用映像信号101Gに対して、測距結果の画像を含む計測用情報104を合成することにより生成される。
図31は、ステップS320において、単眼表示モードでディスプレイ33に表示される画像G170の一例を示している。画像G170は、第1の像に基づく第1の画像G171を含む。第1の画像G171において、照準T10が表示される。また、測距結果D10が表示される。
測距結果が表示された後、映像信号処理部34Gは、フリーズの指示があるか否かを判断する(ステップS325)。例えば、操作部31はフリーズボタンを有する。ユーザは、操作部31のフリーズボタンの操作により、フリーズを指示することが可能である。フリーズ指示がない場合、ステップS300の処理が行われる。
単眼表示モードにおいて、ライブ画像の表示と測距とが繰り返される。ユーザは、ライブ画像の照準の位置における被写体までの距離を知ることができる。ユーザは、測距結果に応じて、内視鏡挿入部3の先端部を計測に適した位置、すなわち被写体までの距離が近い位置に容易に移動させることができる。ユーザは、内視鏡挿入部3の先端部を、計測したい被写体の近くまで移動させた後、操作部31のフリーズボタンを押下する。
ユーザが操作部31のフリーズボタンを介してフリーズの指示を入力すると、操作部31はフリーズの指示信号106を出力する。制御部45は、この指示信号106に基づいて、表示モードを単眼表示モードから双眼表示モードに切り替えると共に、フリーズ画像すなわち静止画像の表示を制御する。
フリーズの指示が入力された後、映像信号処理部34Gは、双眼表示用の出力用映像信号101Gを生成する(ステップS330)。ステップS330における計測内視鏡装置1の動作は、図27に従う。図27に示す処理において、2つの計測点の座標の代わりに照準の位置の座標が使用される。
双眼表示用の出力用映像信号101Gが生成された後、ディスプレイ33は、表示用映像信号103Gに基づいてフリーズ画像を表示する(ステップS335)。ステップS335では、双眼表示が行われる。つまり、2つの視差画像が同時に表示される。ステップS335でディスプレイ33に表示される画像は、図28における画像G160から計測点P10および計測点P11と対応点P20および対応点P21とを除いた画像である。
双眼表示が行われた後、ユーザが操作部31を介して2つの計測点を指定する。2つの計測点の座標は、計測入力情報107として計測処理部43に出力される(ステップS340)。2つの計測点が指定された後、計測処理部43は計測処理を行う(ステップS345)。ステップS345では、計測処理部43は、2つの計測点に対応する3次元座標を算出し、算出された3次元座標に基づいて2点間の距離を算出する。また、ステップS345では、計測結果が表示される。ステップS345の処理が行われることにより、計測が終了する。
第7の実施形態では、単眼表示モードにおける画像(図31)と双眼表示モードにおける画像とで像の向きが同一である。このため、第7の実施形態では、単眼表示モードと双眼表示モードとの間でモードが切り替わるときに像の向きが変化しない。この結果、モードの切替に伴うユーザの違和感を低減することができる。
また、双眼表示モードでは、ユーザによって指定された測距用照準の位置を含む第1の画像と、測距用照準の位置に対応する位置を含む第2の画像とが表示される。第1の画像は第1の像の一部を含み、第2の画像は第2の像の一部を含む。このため、第1の画像と第2の画像との拡大処理が可能となる。あるいは、第1の画像と第2の画像との縮小率が小さくなる。この結果、視認性をより向上することができる。
(第8の実施形態)
第1から第7の実施形態では、計測内視鏡装置1は、視差を有する2つの像を同時に取得する。しかし、本発明の第8の実施形態では、計測内視鏡装置1は、光路切替機構により光路を切り替え、視差を有する2つの像を順次取得する。例えば、特開2010−128354号公報に開示されているステレオ計測装置で使用される技術が第8の実施形態に適用可能である。
図32は、第8の実施形態の計測内視鏡装置1で使用される光学アダプタ20の構成を示している。内視鏡挿入部3の先端部に撮像素子30が配置されている。内視鏡挿入部3の先端部にステレオ計測用の光学アダプタ20が装着される。光学アダプタ20は、第1の光学系200Aと、第2の光学系200Bと、メカニカルシャッター201と、レンズ202とを有する。
第1の光学系200Aは第1の光路に配置されている。第2の光学系200Bは第2の光路に配置されている。メカニカルシャッター201は移動可能である。メカニカルシャッター201は、第1の光路と第2の光路との一方に配置される。例えば、メカニカルシャッター201が第2の光路に配置された場合、第2の光学系200Bを通過した光はメカニカルシャッター201によって遮られる。このため、第1の光学系200Aとレンズ202とを通過した光のみが撮像素子30に入射する。また、メカニカルシャッター201が第1の光路に配置された場合、第1の光学系200Aを通過した光はメカニカルシャッター201によって遮られる。このため、第2の光学系200Bとレンズ202とを通過した光のみが撮像素子30に入射する。
単眼表示モードでは、メカニカルシャッター201は第2の光路に配置される。このため、第1の光学系200Aとレンズ202とを通過した光により、第1の像が撮像素子30の撮像面300に結像される。撮像素子30は、第1の像を撮像し、第1の像に基づく撮像信号100を生成する。双眼表示モードでは、メカニカルシャッター201が第2の光路と第1の光路とに順次配置される。このため、視差を有する第1の像と第2の像とが撮像素子30の撮像面300に順次結像される。撮像素子30は、第1の像と第2の像とを順次撮像し、第1の像に基づく撮像信号100と、第2の像に基づく撮像信号100とを生成する。
第8の実施形態では、図3に示す構成が、図33に示す構成に変更される。図33は、計測内視鏡装置1の機能構成を示している。図33に示すように、計測内視鏡装置1は、撮像素子30と、操作部31(表示モード選択部)と、ディスプレイ33と、映像信号処理部34H(表示信号生成部)と、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とを有する。映像信号処理部34Hと、信号変換部38と、画像記憶部42と、計測処理部43と、制御部45とはコントロールユニット4に配置されている。
図33に示す構成について、図3に示す構成と異なる点を説明する。映像信号処理部34Hは、単眼表示モードが選択された場合、撮像信号100に基づいて、第1の画像を表示するための出力用映像信号101Hを生成する。また、映像信号処理部34Hは、双眼表示モードが選択された場合、第1の像に基づく撮像信号100と、第2の像に基づく撮像信号100とを使用して、第1の画像および第2の画像を表示するための出力用映像信号101Hを生成する。信号変換部38は、出力用映像信号101Hに基づいて表示用映像信号103Hを生成する。
上記以外の点については、図33に示す構成は図3に示す構成と同様である。
図34は、ライブ画像の観察時の計測内視鏡装置1の動作の手順を示している。例えば、計測内視鏡装置1が起動した後、ユーザによってライブ画像の観察が最初に指定された場合、単眼表示モードが自動的に設定されるように、表示モードが予め決められている。また、計測内視鏡装置1が起動した後、メカニカルシャッター201は最初に第2の光路に配置される。ライブ画像の観察では単眼表示モードが設定されているため、映像信号処理部34Hは、単眼表示用の出力用映像信号101Hを生成する(ステップS400)。ステップS400では、映像信号処理部34Hは、撮像信号100から生成された映像信号に対して、第1の画像を90度回転させる処理を行わない。
単眼表示用の出力用映像信号101Hが生成された後、ディスプレイ33は、表示用映像信号103Hに基づいて画像を表示する(ステップS405)。ステップS405では、単眼表示が行われる。つまり、2つの視差画像の一方のみが表示される。
図35は、単眼表示モードでディスプレイ33に表示される画像G180を示している。画像G180は、第1の像に基づく第1の画像である。第1の画像の回転処理が行われないため、画像G180における第1の方向はディスプレイ33の表示面330の第3の方向に一致する。画像G180における第2の方向はディスプレイ33の表示面330の第4の方向に一致する。
単眼表示が行われた後、映像信号処理部34Hは、表示モードが双眼表示モードであるか否かを判断する(ステップS410)。表示モードが双眼表示モードでない場合、ステップS400の処理が行われる。表示モードが双眼表示モードである場合、映像信号処理部34Hは、撮像信号100を取得する(ステップS415)。ステップS415では、メカニカルシャッター201が第2の光路に配置されているため、第1の像に基づく撮像信号100が取得される。
第1の像に基づく撮像信号100が取得された後、光路の切替が行われる(ステップS420)。ステップS420では、メカニカルシャッター201は第1の光路に配置される。光路の切替が行われた後、映像信号処理部34Hは、撮像信号100を取得する(ステップS425)。ステップS425では、メカニカルシャッター201が第1の光路に配置されているため、第2の像に基づく撮像信号100が取得される。
第2の像に基づく撮像信号100が取得された後、光路の切替が行われる(ステップS430)。ステップS430では、メカニカルシャッター201は第2の光路に配置される。光路の切替が行われた後、映像信号処理部34Hは、双眼表示用の出力用映像信号101Hを生成する(ステップS435)。ステップS435では、映像信号処理部34Hは、ステップS415とステップS425とで取得された2つの撮像信号100に基づく2つの視差画像がディスプレイ33の表示面330の第4の方向に沿って並ぶように2つの視差画像を配列することにより、双眼表示用の出力用映像信号101Hを生成する。
双眼表示用の出力用映像信号101Hが生成された後、ディスプレイ33は、表示用映像信号103Hに基づいて画像を表示する(ステップS440)。ステップS440では、双眼表示が行われる。つまり、2つの視差画像が同時に表示される。双眼表示が行われた後、ステップS410の処理が行われる。
図36は、双眼表示モードでディスプレイ33に表示される画像G190を示している。画像G190は、第1の像に基づく第1の画像G191と、第2の像に基づく第2の画像G192とを含む。第1の画像G191と第2の画像G192とはディスプレイ33の表示面330の第4の方向に並んでいる。第1の画像G191と第2の画像G192とにおける第1の方向はディスプレイ33の表示面330の第3の方向に一致する。第1の画像G191と第2の画像G192とにおける第2の方向はディスプレイ33の表示面330の第4の方向に一致する。第1の画像G191における被写体の向きは、図35に示す画像G190における被写体の向きと同一である。
第8の実施形態では、光路切替機構を有する計測内視鏡装置1が単眼表示と双眼表示とを行うことができる。
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
1 計測内視鏡装置
2,20 光学アダプタ
2A 第1の対物光学系
2B 第2の対物光学系
2a アダプタ本体
2b マウント部
2c 照明窓
3 内視鏡挿入部
4 コントロールユニット
5 リモートコントローラ
6 液晶モニタ
7 内視鏡ユニット
8 EEPROM
9 CCU
10 CPU
11 ROM
12 RAM
13 カードインタフェース
14 外部機器インタフェース
15 制御インタフェース
16 映像信号処理回路
30 撮像素子
31 操作部
33 ディスプレイ
34A,34B,34C,34D,34E,34F,34G,34H 映像信号処理部
38 信号変換部
42 画像記憶部
43 計測処理部
45 制御部
200A 第1の光学系
200B 第2の光学系
201 メカニカルシャッター
202 レンズ

Claims (10)

  1. 第1の方向と、前記第1の方向に直交する第2の方向とに2次元状に広がる矩形状の撮像面を有し、前記撮像面の前記第2の方向の寸法が前記撮像面の前記第1の方向の寸法よりも大きく、撮像信号を生成する撮像素子と、
    互いに異なる光軸を有する第1の対物光学系および第2の対物光学系を有し、前記第1の対物光学系を通過した光が前記撮像面の第1の撮像領域に第1の像を形成し、前記第2の対物光学系を通過した光が前記撮像面の第2の撮像領域に第2の像を形成し、前記第1の撮像領域は前記撮像面において前記第2の方向の中央位置よりも前記第2の方向にあり、前記第2の撮像領域は前記撮像面において前記第2の方向の中央位置よりも前記第2の方向と反対の方向にあるステレオ光学系と、
    前記撮像信号に基づいて、表示信号を生成する表示信号生成部と、
    第3の方向と、前記第3の方向に直交する第4の方向とに2次元状に広がる矩形状の表示面を有し、前記表示面の前記第4の方向の寸法が前記表示面の前記第3の方向の寸法よりも大きく、前記表示信号に基づいて画像を表示するディスプレイと、
    前記第1の像に基づく第1の画像および前記第2の像に基づく第2の画像を同時に前記ディスプレイに表示する双眼表示モードと、前記第1の画像のみを前記ディスプレイに表示する単眼表示モードのいずれか1つを選択する表示モード選択部と、
    を有し、
    前記表示信号生成部は、前記単眼表示モードが選択された場合、前記第1の画像における前記第2の方向が前記第3の方向に一致し、前記第1の画像における前記第1の方向が前記第4の方向に一致するように、かつ、前記単眼表示モードにおける前記ディスプレイ上での前記第1の画像の表示領域が、前記双眼表示モードにおける前記ディスプレイ上での前記第1の画像の表示領域よりも大きくなるように前記表示信号を生成する
    ことを特徴とする内視鏡装置。
  2. 前記表示信号生成部は、前記双眼表示モードが選択された場合、前記第1の画像および前記第2の画像における前記第2の方向が前記第3の方向に一致し、前記第1の画像および前記第2の画像における前記第1の方向が前記第4の方向に一致するように前記表示信号を生成する
    ことを特徴とする請求項1に記載の内視鏡装置。
  3. 前記表示信号生成部は、前記双眼表示モードが選択された場合、前記第1の画像および前記第2の画像が前記表示面の前記第3の方向に沿って並ぶように前記表示信号を生成する
    ことを特徴とする請求項2に記載の内視鏡装置。
  4. 前記表示信号生成部は、前記双眼表示モードが選択された場合、前記第1の画像および前記第2の画像が前記表示面の前記第4の方向に沿って並ぶように前記表示信号を生成する
    ことを特徴とする請求項2に記載の内視鏡装置。
  5. 前記表示信号生成部は、前記双眼表示モードが選択された場合、前記第1の像から第1の視野領域の像を切り出し、前記第2の像から第2の視野領域の像を切り出すことにより前記表示信号を生成し、
    前記双眼表示モードにおける前記第1の視野領域と第2の視野領域とは、前記単眼表示モードにおける前記第1の像の第3の視野領域よりも小さい
    ことを特徴とする請求項2に記載の内視鏡装置。
  6. 前記第1の視野領域と前記第2の視野領域とは、前記第1の像と前記第2の像とにおける共通の視野領域を含む
    ことを特徴とする請求項5に記載の内視鏡装置。
  7. 前記第1の視野領域は、前記第1の像における中央の領域であり、前記第2の視野領域は、前記第2の像における中央の領域である
    ことを特徴とする請求項5に記載の内視鏡装置。
  8. 前記第1の視野領域と前記第2の視野領域との一方は、前記第1の像と前記第2の像との一方においてユーザによって指定された第1の位置を含む視野領域であり、前記第1の視野領域と前記第2の視野領域との他方は、前記第1の像と前記第2の像との他方において前記第1の位置に対応する第2の位置を含む視野領域である
    ことを特徴とする請求項5に記載の内視鏡装置。
  9. 前記第1の位置は、ユーザによって指定された計測点の位置である
    ことを特徴とする請求項8に記載の内視鏡装置。
  10. 前記第1の位置は、ユーザによって指定された測距用照準の位置である
    ことを特徴とする請求項8に記載の内視鏡装置。
JP2014232648A 2014-11-17 2014-11-17 内視鏡装置 Pending JP2016095458A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014232648A JP2016095458A (ja) 2014-11-17 2014-11-17 内視鏡装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014232648A JP2016095458A (ja) 2014-11-17 2014-11-17 内視鏡装置

Publications (2)

Publication Number Publication Date
JP2016095458A true JP2016095458A (ja) 2016-05-26
JP2016095458A5 JP2016095458A5 (ja) 2017-12-28

Family

ID=56071137

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014232648A Pending JP2016095458A (ja) 2014-11-17 2014-11-17 内視鏡装置

Country Status (1)

Country Link
JP (1) JP2016095458A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037778A1 (ja) * 2016-08-26 2018-03-01 オリンパス株式会社 計測処理装置
WO2018105396A1 (ja) * 2016-12-06 2018-06-14 オリンパス株式会社 内視鏡装置
JPWO2019017019A1 (ja) * 2017-07-18 2020-04-09 富士フイルム株式会社 内視鏡装置及び計測支援方法
JPWO2019017018A1 (ja) * 2017-07-18 2020-04-09 富士フイルム株式会社 内視鏡装置及び計測支援方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167272A (ja) * 1999-12-08 2001-06-22 Olympus Optical Co Ltd 被写体計測表示装置及び被写体計測表示方法
JP2003521002A (ja) * 2000-01-26 2003-07-08 アレクサンダー クリスチャン,ジョン 景観立体画像のペアを光学的に操作するための装置
JP2004187711A (ja) * 2002-12-06 2004-07-08 Olympus Corp 内視鏡装置
WO2005041591A1 (en) * 2003-10-13 2005-05-06 Stereoscopic Image Systems Limited Apparatus for enabling stereoscopic viewing
WO2005096637A1 (de) * 2004-04-01 2005-10-13 Stefan Schrodt 3-d projektionssystem
JP2006180934A (ja) * 2004-12-24 2006-07-13 Olympus Corp 内視鏡装置
JP2014010235A (ja) * 2012-06-28 2014-01-20 Olympus Corp 内視鏡装置およびプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001167272A (ja) * 1999-12-08 2001-06-22 Olympus Optical Co Ltd 被写体計測表示装置及び被写体計測表示方法
JP2003521002A (ja) * 2000-01-26 2003-07-08 アレクサンダー クリスチャン,ジョン 景観立体画像のペアを光学的に操作するための装置
JP2004187711A (ja) * 2002-12-06 2004-07-08 Olympus Corp 内視鏡装置
WO2005041591A1 (en) * 2003-10-13 2005-05-06 Stereoscopic Image Systems Limited Apparatus for enabling stereoscopic viewing
WO2005096637A1 (de) * 2004-04-01 2005-10-13 Stefan Schrodt 3-d projektionssystem
JP2006180934A (ja) * 2004-12-24 2006-07-13 Olympus Corp 内視鏡装置
JP2014010235A (ja) * 2012-06-28 2014-01-20 Olympus Corp 内視鏡装置およびプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018037778A1 (ja) * 2016-08-26 2018-03-01 オリンパス株式会社 計測処理装置
JPWO2018037778A1 (ja) * 2016-08-26 2019-04-25 オリンパス株式会社 計測処理装置
US11120543B2 (en) 2016-08-26 2021-09-14 Olympus Corporation Measurement processing device
WO2018105396A1 (ja) * 2016-12-06 2018-06-14 オリンパス株式会社 内視鏡装置
JPWO2019017019A1 (ja) * 2017-07-18 2020-04-09 富士フイルム株式会社 内視鏡装置及び計測支援方法
JPWO2019017018A1 (ja) * 2017-07-18 2020-04-09 富士フイルム株式会社 内視鏡装置及び計測支援方法
US11160438B2 (en) 2017-07-18 2021-11-02 Fujifilm Corporation Endoscope device and measurement support method

Similar Documents

Publication Publication Date Title
US8004560B2 (en) Endoscope apparatus
US20180098690A1 (en) Endoscope apparatus and method for operating endoscope apparatus
JP4885479B2 (ja) 計測用内視鏡装置及び内視鏡用プログラム
US11426052B2 (en) Endoscopic system
JP5113990B2 (ja) 計測用内視鏡装置
JP2016095458A (ja) 内視鏡装置
JP6017198B2 (ja) 内視鏡装置およびプログラム
US8764635B2 (en) Endoscope apparatus
JP5186286B2 (ja) 計測用内視鏡装置およびプログラム
JP7385731B2 (ja) 内視鏡システム、画像処理装置の作動方法及び内視鏡
JP5026769B2 (ja) 計測用内視鏡装置、プログラム、および記録媒体
JP6234638B2 (ja) ビデオプロセッサ
JP5153381B2 (ja) 内視鏡装置
JP2011170276A (ja) 内視鏡装置およびプログラム
US20200053296A1 (en) Measurement device, method of operating measurement device, and recording medium
JP6789899B2 (ja) 計測装置および計測装置の作動方法
JP6027793B2 (ja) 内視鏡装置
EP3123926A1 (en) Imaging device, image processing device, and operation method for imaging device
JP6400767B2 (ja) 計測内視鏡装置
JP6373322B2 (ja) 内視鏡装置およびプログラム
JP6694964B2 (ja) 内視鏡装置
JP5042550B2 (ja) 内視鏡装置
JP6426215B2 (ja) 内視鏡装置およびプログラム
JP6120537B2 (ja) 計測内視鏡装置
JP5791989B2 (ja) 内視鏡装置およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20141118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20181026

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190520

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191001