JP2020126208A - ３次元画像表示方法、３次元画像表示装置、およびプログラム - Google Patents

３次元画像表示方法、３次元画像表示装置、およびプログラム Download PDF

Info

Publication number
JP2020126208A
JP2020126208A JP2019020066A JP2019020066A JP2020126208A JP 2020126208 A JP2020126208 A JP 2020126208A JP 2019020066 A JP2019020066 A JP 2019020066A JP 2019020066 A JP2019020066 A JP 2019020066A JP 2020126208 A JP2020126208 A JP 2020126208A
Authority
JP
Japan
Prior art keywords
image
viewpoint
subject
points
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019020066A
Other languages
English (en)
Other versions
JP2020126208A5 (ja
Inventor
山本　直樹
Naoki Yamamoto
直樹 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2019020066A priority Critical patent/JP2020126208A/ja
Priority to US16/751,449 priority patent/US11232568B2/en
Publication of JP2020126208A publication Critical patent/JP2020126208A/ja
Publication of JP2020126208A5 publication Critical patent/JP2020126208A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Image Processing (AREA)

Abstract

【課題】被写体の画像上で指定された点の妥当性の判断を容易化することができる３次元画像表示方法、３次元画像表示装置、およびプログラムを提供する。【解決手段】表示制御部は、第２の画像をディスプレイに表示する。前記第２の画像は、第１の視点から第１の方向に見た被写体の画像である。基準図形算出部は、少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出する。視点算出部は、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する。画像生成部は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である第３の画像を生成する。前記表示制御部は、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する。【選択図】図４

Description

本発明は、３次元画像表示方法、３次元画像表示装置、およびプログラムに関する。
ボイラー、パイプ、および航空機エンジン等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な観察物を観察および検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。このような内視鏡装置を使用した検査において、被写体の欠陥および傷の大きさを定量的に計測したいという要望がある。この要望に応えるために、３次元計測機能が搭載された内視鏡装置が存在する。
例えば、ユーザーによって画像上で指定された点の情報に基づいて幾何学的な寸法を計測する機能が内視鏡装置に搭載されている。例えば、２点間計測では、ユーザーによって指定された２つの計測点間の３次元距離が計測される。線基準計測では、ユーザーによって指定された２つの基準点に基づいて基準線が設定され、かつユーザーによって指定された計測点から基準線までの３次元距離が計測される。面基準計測では、ユーザーによって指定された３つの基準点に基づいて基準面が設定され、かつユーザーによって指定された計測点から基準面までの３次元距離が計測される。
ユーザーは、ディスプレイに表示された２次元画像上の点を指定する。計測の精度は、ユーザーによって指定された点の位置の精度に依存する。ユーザーが正しい位置に点を指定したと自ら判断した場合であっても、画像の奥行き方向にずれた位置にある点が指定されることがある。そのような点の位置のずれを２次元画像に基づいて目視で判断することが難しい。
ユーザーが画像上で指定した位置の確認を容易化する技術が特許文献１に開示されている。特許文献１に開示された技術では、ユーザーによって指定された複数の点の周辺領域の３次元画像が表示される。ユーザーは、その３次元画像を回転させることができる。そのため、ユーザーは、複数の視点から見た被写体の画像上で点の位置を確認することができる。
特許第６０３０８３７号公報
ユーザーは、被写体の画像上で指定された点の妥当性を判断するために、被写体を複数の視点から見る必要がある。特許文献１は、点の妥当性の判断に適した観察方向を基準線または基準面に基づいて決定する方法を開示していない。特許文献１に開示された技術を使用することにより表示された画像は、必ずしも点の妥当性の判断に適していない。特許文献１に開示された技術では、ユーザーは、３次元画像を回転させることにより、複数の視点から点の位置を確認することができる。しかしながら、検査中にユーザーが、視点を変更するための操作を行うことは面倒である。工業用の内視鏡装置が検査に使用されるとき、作業場所の制約があり、かつ検査中にユーザーが手で内視鏡の位置および姿勢を維持する必要がある。そのため、ユーザーが視点を変更するための操作を行うことは難しい。
本発明は、被写体の画像上で指定された点の妥当性の判断を容易化することができる３次元画像表示方法、３次元画像表示装置、およびプログラムを提供することを目的とする。
本発明は、画像取得部が、被写体の２次元画像である第１の画像を取得する画像取得ステップと、座標算出部が、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、表示制御部が、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、受け付け部が少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、基準図形算出部が、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、視点算出部が、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、画像生成部が、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、前記表示制御部が、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、を有することを特徴とする３次元画像表示方法である。
本発明の３次元画像表示方法において、前記基準図形は、直線、線分、および平面の１つであり、前記第２の方向は、直線軸に平行であり、前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行であることを特徴とする。
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記直線軸は、前記基準図形に垂直であることを特徴とする。
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記直線軸は、前記基準図形に平行であることを特徴とする。
本発明の３次元画像表示方法において、前記基準図形は、前記平面であり、前記直線軸は、前記基準図形に平行であることを特徴とする。
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、前記近似平面は、前記被写体の表面を近似する平面であり、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、前記直線軸は、前記近似平面に平行であることを特徴とする。
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、前記近似平面は、前記被写体の表面を近似する平面であり、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、前記直線軸は、前記近似平面に垂直であることを特徴とする。
本発明の３次元画像表示方法において、前記第２の方向は、第１の領域から第２の領域へ進む方向であり、前記直線軸は、前記第１の領域および前記第２の領域を通り、前記第１の領域の体積と、前記第２の領域の体積とは同じであり、前記第１の領域に含まれる前記被写体の体積は、前記第２の領域に含まれる前記被写体の体積よりも少ないことを特徴とする。
本発明の３次元画像表示方法において、前記視点算出部はさらに、前記視点算出ステップにおいて、前記基準図形に基づいて、第３の方向および第３の視点を算出し、前記第３の方向は、前記第１の方向および前記第２の方向のいずれとも異なり、前記第３の視点は、前記第１の視点および前記第２の視点のいずれとも異なり、前記画像生成部はさらに、前記画像生成ステップにおいて、前記複数の点の前記３次元座標に基づいて、第４の画像を生成し、前記第４の画像は、前記第３の視点から前記第３の方向に見た前記被写体の３次元画像であり、前記表示制御部はさらに、前記第２の表示ステップにおいて、前記基準図形の位置を示す情報が重畳された前記第４の画像を前記ディスプレイに表示することを特徴とする。
本発明の３次元画像表示方法において、前記被写体を基準にした前記第２の方向および前記第２の視点が変更された場合、前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第２の方向および変更された前記第２の視点に基づいて、前記第２の画像を再度生成し、前記被写体を基準にした前記第２の視点が変更されたとき、前記第２の視点と前記第３の視点との相対関係を保つように、前記被写体を基準にした前記第３の視点は変更され、前記被写体を基準にした前記第２の方向が変更されたとき、前記第２の方向と前記第３の方向との相対関係を保つように、前記被写体を基準にした前記第３の方向は変更され、前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第３の方向および変更された前記第３の視点に基づいて、前記第４の画像を再度生成し、前記表示制御部はさらに、前記第２の表示ステップにおいて、再度生成された前記第２の画像と、再度生成された前記第４の画像とを前記ディスプレイに表示することを特徴とする。
本発明の３次元画像表示方法において、前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像の少なくとも一部が前記第２の画像と重なるように前記第３の画像を前記ディスプレイに表示することを特徴とする。
本発明の３次元画像表示方法において、前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像が前記第２の画像と重ならないように前記第３の画像を前記ディスプレイに表示することを特徴とする。
本発明の３次元画像表示方法は、前記表示制御部が、前記第２の視点および前記第２の方向を示す情報を前記ディスプレイに表示する第３の表示ステップをさらに有することを特徴とする。
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面上にあることを特徴とする。
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面よりも前記第２の方向側にあることを特徴とする。
本発明の３次元画像表示方法において、前記基準図形は、前記直線および前記線分の１つであり、前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点は、第１の平面と第２の平面とに挟まれた領域にあり、前記第１の平面は、前記基準図形を通り前記直線軸に垂直であり、前記第２の平面は、前記直線軸に垂直であり、かつ前記第１の平面よりも前記第２の方向側にあることを特徴とする。
本発明の３次元画像表示方法において、前記基準図形は、前記平面であり、前記表示制御部は、前記第２の表示ステップにおいて、前記複数の点の各々から前記平面までの距離の統計量を示す情報が重畳された前記第３の画像を前記ディスプレイに表示することを特徴とする。
本発明の３次元画像表示方法において、前記基準図形算出部は、前記基準図形算出ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記基準図形を算出し、前記基準図形は、前記被写体の表面を近似する平面であり、前記少なくとも３つの点の各々は前記複数の点の１つであり、前記少なくとも３つの点は、前記少なくとも１つの基準点に基づいて決定され、前記第２の方向は、直線軸に平行であり、前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行であることを特徴とする。
本発明は、被写体の２次元画像である第１の画像を取得する画像取得部と、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出部と、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである表示制御部と、少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである受け付け部と、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出部と、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出部と、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成部と、を有し、前記表示制御部はさらに、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示することを特徴とする３次元画像表示装置である。
本発明は、被写体の２次元画像である第１の画像を取得する画像取得ステップと、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、をコンピュータに実行させるためのプログラムである。
本発明によれば、３次元画像表示方法、３次元画像表示装置、およびプログラムは、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
本発明の第１の実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の第１の実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の第１の実施形態によるＣＰＵの機能構成を示すブロック図である。 本発明の第１の実施形態における３次元計測の手順を示すフローチャートである。 本発明の第１の実施形態による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態における被写体を含む３次元空間を模式的に示す図である。 本発明の第１の実施形態による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態の第１の変形例における３次元計測の手順を示すフローチャートである。 本発明の第１の実施形態の第２の変形例における３次元計測の手順を示すフローチャートである。 本発明の第１の実施形態の第２の変形例における３次元計測の手順を示すフローチャートである。 本発明の第１の実施形態の第２の変形例による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態の第２の変形例による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態の第３の変形例による表示部に表示される画像の例を示す図である。 本発明の第１の実施形態の第３の変形例による表示部に表示される画像の例を示す図である。 本発明の第２の実施形態における３次元計測の手順を示すフローチャートである。 本発明の第２の実施形態による表示部に表示される画像の例を示す図である。 本発明の第２の実施形態による表示部に表示される画像の例を示す図である。 本発明の第２の実施形態による表示部に表示される画像の例を示す図である。 本発明の第３の実施形態における３次元計測の手順を示すフローチャートである。 本発明の第３の実施形態による表示部に表示される画像の例を示す図である。 本発明の第３の実施形態による表示部に表示される画像の例を示す図である。 本発明の第３の実施形態による表示部に表示される画像の例を示す図である。 本発明の第３の実施形態の変形例による表示部に表示される画像の例を示す図である。 本発明の第４の実施形態における３次元計測の手順を示すフローチャートである。 本発明の第４の実施形態による表示部に表示される画像の例を示す図である。 本発明の第４の実施形態による表示部に表示される画像の例を示す図である。 本発明の第５の実施形態における３次元計測の手順を示すフローチャートである。 本発明の第５の実施形態による表示部に表示される画像の例を示す図である。 本発明の第５の実施形態による表示部に表示される画像の例を示す図である。 本発明の第５の実施形態による表示部に表示される画像の例を示す図である。 本発明の第５の実施形態による表示部に表示される画像の例を示す図である。 本発明の第６の実施形態における３次元計測の手順を示すフローチャートである。 本発明の第６の実施形態による表示部に表示される画像の例を示す図である。 本発明の第６の実施形態による表示部に表示される画像の例を示す図である。 本発明の第６の実施形態による表示部に表示される画像の例を示す図である。 本発明の第７の実施形態における３次元計測の手順を示すフローチャートである。 本発明の第７の実施形態による表示部に表示される画像の例を示す図である。 本発明の第７の実施形態による表示部に表示される画像の例を示す図である。 本発明の第７の実施形態による表示部に表示される画像の例を示す図である。 本発明の第８の実施形態による表示部に表示される画像の例を示す図である。 本発明の第８の実施形態における３次元画像の例を示す図である。 本発明の第８の実施形態における３次元画像の例を示す図である。 本発明の第８の実施形態における３次元画像の例を示す図である。 本発明の第８の実施形態における３次元画像の例を示す図である。 本発明の第９の実施形態における視線の方向を算出する手順を示すフローチャートである。 本発明の第９の実施形態による表示部に表示される画像の例を示す図である。 本発明の第９の実施形態による表示部に表示される画像の例を示す図である。
以下、図面を参照し、本発明の実施形態を説明する。以下では、３次元画像表示装置が内視鏡装置である例を説明する。３次元画像表示装置は、画像表示機能を有する装置でありさえすればよく、内視鏡装置に限らない。被写体は、工業製品である。
（第１の実施形態）
図１は、本発明の第１の実施形態の内視鏡装置１（３次元画像表示装置）の全体構成を示す。図２は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を使用して被写体の幾何学的特徴を計測する。検査者は、種々の被写体の観察と計測とを行うために、挿入部２の先端２０に装着される光学アダプターの交換と、内蔵された計測処理プログラムの選択と、計測処理プログラムの追加とを行うことが可能である。
図１に示す内視鏡装置１は、挿入部２、本体３、操作部４、および表示部５を有する。
挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、計測部分を撮像し、かつ撮像信号を本体３に出力する。挿入部２の先端２０には、光学アダプターが装着される。本体３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対する操作をユーザーから受ける。表示部５は、表示画面を有し、かつ挿入部２によって取得された被写体の画像および操作メニュー等を表示画面に表示する。
操作部４は、ユーザーインタフェースである。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つを含む。表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。
図２に示す本体３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９、および制御装置１０を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、図示していない湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体像（光学像）を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８によって取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を行う。ＣＣＵ９は、処理された撮像信号をＮＴＳＣ信号等の映像信号に変換する。
制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８を有する。
映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路１２は、計測実行時には、計測性能を向上させるための処理も行う。また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像および計測情報等を含む。計測情報は、計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に基づく画像データをＣＰＵ１８に出力する。
ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。
着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。
ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、パーソナルコンピュータ４１へ情報を送信し、かつパーソナルコンピュータ４１から情報を受信する。これによって、パーソナルコンピュータ４１のモニタが情報を表示することができる。また、ユーザーは、パーソナルコンピュータ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を行うことができる。
制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。
ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、パーソナルコンピュータ４１がプログラムを読み込んで実行してもよい。パーソナルコンピュータ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、パーソナルコンピュータ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を使用して計測を実行してもよい。
上述したプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により内視鏡装置１に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。コンピュータに既に記録されているプログラムと差分プログラムとの組合せが、前述した機能を実現してもよい。
上記のように、内視鏡装置１は、撮像素子２８（画像取得部）およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。撮像素子２８は、画像取得ステップにおいて、第１の視点から第１の方向に見た被写体の２次元画像（第１の画像）を取得する。撮像素子２８によって取得された画像は映像信号処理回路１２を経由してＣＰＵ１８に入力される。
撮像素子２８は、被写体の画像を取得する画像取得部の機能を有する。画像取得部は、画像入力装置であってもよい。例えば、パーソナルコンピュータ４１が３次元画像表示装置として動作する場合、画像取得部は、内視鏡装置１と通信を実行する通信インタフェース（通信機）である。画像取得部は無線通信機であってもよい。画像取得部は、画像が記録された記録媒体から画像を読み出す読み出し回路であってもよい。
第１の実施形態の内視鏡装置１は、線基準計測機能を有する。第１の実施形態において、２つの基準点および１つの計測点がユーザーによって指定される。２つの基準点の各々は、線基準計測における基準線を算出するための基準位置を示す。計測点は、被写体の寸法を計測する位置を示す。
例えば、内視鏡装置１はステレオ計測を実行する。ステレオ計測では、２つの異なる視点に対応する２つの被写体像に基づいて三角測量の原理で被写体の計測が行われる。内視鏡装置１に適用される計測方式は、ステレオ計測に限らない。例えば、内視鏡装置１は、空間的な位相が異なる複数の縞パターンが投影された被写体の画像を使用する位相シフト法による計測を行ってもよい。あるいは、内視鏡装置１は、ランダムパターンが投影された被写体の画像を使用する計測を行ってもよい。
図３は、ＣＰＵ１８の機能構成を示す。制御部１８０、表示制御部１８１、点設定部１８２、座標算出部１８３、基準図形算出部１８４、視点算出部１８５、画像生成部１８６、および計測部１８７によってＣＰＵ１８の機能が構成されている。図３に示すブロックの少なくとも１つがＣＰＵ１８とは別の回路で構成されてもよい。
図３に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。図３に示す各部は、１つまたは複数のプロセッサを含むことができる。図３に示す各部は、１つまたは複数の論理回路を含むことができる。
図３に示す構成の概略を説明する。座標算出部１８３は、座標算出ステップにおいて、撮像素子２８によって取得された第１の画像に基づいて被写体上の複数の点の３次元座標を算出する。表示制御部１８１は、第１の表示ステップにおいて、第２の画像を表示部５に表示する。第２の画像は、第１の視点から第１の方向に見た被写体の画像である。第２の画像は、第１の画像と、複数の点の３次元座標に基づいて生成された被写体の３次元画像との１つである。操作部４は、入力ステップにおいて、少なくとも１つの基準点の入力を受け付ける。少なくとも１つの基準点の各々は、第２の画像に含まれる領域上にあり、かつ被写体上の複数の点の１つである。基準図形算出部１８４は、基準図形算出ステップにおいて、少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出する。少なくとも２つの点の各々は被写体上の複数の点の１つである。基準線が第１の実施形態における基準図形である。視点算出部１８５は、視点算出ステップにおいて、基準図形に基づいて、第１の方向と異なる第２の方向と、第１の視点と異なる第２の視点とを算出する。画像生成部１８６は、画像生成ステップにおいて、被写体上の複数の点の３次元座標に基づいて、第３の画像を生成する。第３の画像は、第２の視点から第２の方向に見た被写体の３次元画像である。表示制御部１８１は、第２の表示ステップにおいて、基準図形の位置を示す情報が重畳された第３の画像を表示部５に表示する。
基準図形は、直線、線分、および平面の１つである。線分は、直線の一部である。第２の方向は、直線軸に平行である。直線軸は、基準図形に垂直であり、または基準図形に平行である。第２の視点は、直線軸上にある。
直線軸は、第２の視点および第２の方向を規定する仮想的な軸であり、かつ直線である。第１の実施形態において、基準図形は直線であり、かつ直線軸は基準図形に垂直である。操作部４は、２つの基準点の入力を受け付ける。基準図形算出部１８４は、２つの基準点の３次元座標に基づいて、基準図形を算出する。
図３に示す構成の詳細を説明する。制御部１８０は、各部が実行する処理を制御する。表示制御部１８１は、２Ｄ画像または３Ｄ画像を表示部５に表示する。２Ｄ画像は、撮像素子２８によって取得された２次元画像である。３Ｄ画像は、画像生成部１８６によって生成された３次元画像である。
例えば、表示制御部１８１は、映像信号処理回路１２によって実行される処理を制御する。表示制御部１８１は、映像信号処理回路１２によって処理された映像信号を映像信号処理回路１２から表示部５へ出力させる。その映像信号は、２Ｄ画像の各画素のカラーデータを含む。表示部５は、映像信号処理回路１２から出力された映像信号に基づいて２Ｄ画像を表示する。あるいは、表示制御部１８１は、３Ｄ映像信号を、映像信号処理回路１２を経由して表示部５へ出力する。３Ｄ映像信号は、３Ｄ画像の各画素のカラーデータを含む。３Ｄ画像の各画素は、３次元座標と関連付けられている。表示部５は、映像信号処理回路１２から出力された３Ｄ映像信号に基づいて３Ｄ画像を表示する。
表示制御部１８１は、各種情報を表示部５に表示する。つまり、表示制御部１８１は、画像上に各種情報を表示する。各種情報は、カーソル、マーク、基準図形、および計測結果等を含む。カーソルは、ユーザーが画像上の特定の位置を指定するためのポインターである。マークは、ユーザーが画像上で指定した位置を示す。基準図形は、基準線および基準面等である。各種情報は、基準図形以外の線を含む場合がある。各種情報は、イラスト等を含む場合がある。
例えば、表示制御部１８１は、各種情報のグラフィック画像信号を生成する。表示制御部１８１は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が２Ｄ画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された２Ｄ画像を表示する。あるいは、画像生成部１８６は、各種情報のグラフィック画像信号を生成し、かつそのグラフィック画像信号を３Ｄ映像信号に重畳する。これにより、各種情報が３Ｄ画像に重畳される。表示制御部１８１は、グラフィック画像信号が重畳された３Ｄ映像信号を、映像信号処理回路１２を経由して表示部５に出力する。表示部５は、各種情報が重畳された３Ｄ画像を表示する。
ユーザーは、操作部４を操作することにより、カーソルの位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を受け付け、その位置情報を出力する。操作部４に入力された位置情報は、入力部である制御インタフェース１７に入力される。制御インタフェース１７に入力された位置情報は、ＣＰＵ１８に入力される。表示制御部１８１は、操作部４に入力された位置情報が示す位置を検出する。表示制御部１８１は、操作部４に入力された位置情報が示す位置にカーソルを表示する。表示部５がタッチパネルである場合、つまり表示部５および操作部４が一体化されている場合、ユーザーは表示部５の画面をタッチすることによりカーソルの位置情報を操作部４に入力する。
基準点および計測点の設定に使用される２Ｄ画像または３Ｄ画像が表示部５に表示される。その２Ｄ画像および３Ｄ画像は、３次元空間において、第１の視点から第１の方向に見た被写体の画像（第２の画像）である。２Ｄ画像または３Ｄ画像が表示部５に表示された後、点設定部１８２は、２Ｄ画像または３Ｄ画像に少なくとも２つの基準点を設定する。具体的には、ユーザーは、操作部４を操作することにより、基準点の位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を受け付け、その位置情報を制御インタフェース１７に出力する。位置情報は、制御インタフェース１７を経由してＣＰＵ１８に入力される。点設定部１８２は、撮像素子２８によって取得され、かつ表示部５に表示された２Ｄ画像において位置情報が示す位置に基準点を設定する。あるいは、点設定部１８２は、画像生成部１８６によって生成され、かつ表示部５に表示された３Ｄ画像において位置情報が示す位置に基準点を設定する。点設定部１８２によって設定された基準点の位置情報は、ＲＡＭ１４に保持される。基準点が特定の画像に関連付けられることにより、基準点が設定される。
２Ｄ画像または３Ｄ画像が表示部５に表示された後、点設定部１８２は、２Ｄ画像または３Ｄ画像に１つの計測点を設定する。具体的には、ユーザーは、操作部４を操作することにより、計測点の位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を受け付け、その位置情報を出力する。操作部４に入力された位置情報は、制御インタフェース１７を経由してＣＰＵ１８に入力される。点設定部１８２は、撮像素子２８によって取得され、かつ表示部５に表示された２Ｄ画像において位置情報が示す位置に計測点を設定する。あるいは、点設定部１８２は、画像生成部１８６によって生成され、かつ表示部５に表示された３Ｄ画像において位置情報が示す位置に計測点を設定する。点設定部１８２によって設定された計測点の位置情報は、ＲＡＭ１４に保持される。計測点が特定の画像に関連付けられることにより、計測点が設定される。
基準点および計測点は、ユーザーの指示によって決定された注目位置の座標情報である。基準点または計測点の指定は、ユーザーが基準点または計測点を内視鏡装置１に指示することを意味する。ユーザーは、基準点または計測点をカーソルで指定することにより基準点または計測点を指定する。あるいは、ユーザーは、表示部５の画面において基準点または計測点をタッチすることにより基準点または計測点を指定する。基準点の設定は、点設定部１８２が基準点を画像に関連付けることを意味する。計測点の設定は、点設定部１８２が計測点を画像に関連付けることを意味する。
座標算出部１８３は、２Ｄ画像を使用して、その２Ｄ画像上の複数の点の各々の３次元座標を算出する。例えば、座標算出部１８３は、２Ｄ画像の各画素に対応する３次元座標を算出する。
基準図形算出部１８４は、点設定部１８２によって設定された複数の基準点の３次元座標に基づいて基準線を算出する。基準線は、３次元空間において２つの基準点の各々の３次元座標を通る直線である。
視点算出部１８５は、基準点の確認に使用される３Ｄ画像を表示するための第２の視点および第２の方向を算出する。第２の視点および第２の方向の具体的な算出方法については後述する。
画像生成部１８６は、複数の点の３次元座標に基づいて、第２の視点から第２の方向に見た被写体の３Ｄ画像（第３の画像）を生成する。３Ｄ画像は、ユーザーが３次元空間における被写体の表面を特定の視点から見たときにユーザーの目に映る被写体の光学像に相当する。３Ｄ画像が基準点および計測点の設定に使用される場合、画像生成部１８６は、第１の視点から第１の方向に見た被写体の３Ｄ画像を生成する。
計測部１８７は、被写体の３次元計測を実行する。第１の実施形態において計測部１８７は、基準線を使用して、被写体の３次元計測を実行する。具体的には、計測部１８７は、３次元の基準線と計測点の３次元座標との３次元距離を算出する。
図４を使用して、第１の実施形態における３次元計測について説明する。図４は、３次元計測の手順を示す。
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像（第１の画像）は、初期視点（第１の視点）から初期方向（第１の方向）に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する（ステップＳ１０１）。ステップＳ１０１は、画像取得ステップに対応する。
ステップＳ１０１の後、座標算出部１８３は、２Ｄ画像における全画素の３次元座標を算出する（ステップＳ１０２）。ステップＳ１０２は、座標算出ステップに対応する。
ステップＳ１０２の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、初期視点から初期方向に見た被写体の３次元画像（３Ｄ画像）を生成する。表示制御部１８１は、３Ｄ画像（第２の画像）を表示部５に表示する（ステップＳ１０３）。ステップＳ１０３は、第１の表示ステップに対応する。ステップＳ１０３における初期視点および初期方向は、ステップＳ１０１における視点および方向とそれぞれ異なっていてもよい。ステップＳ１０１における視点とステップＳ１０３における視点とが異なる場合、ステップＳ１０３における視点が初期視点と定義される。ステップＳ１０１における方向とステップＳ１０３における方向とが異なる場合、ステップＳ１０３における方向が初期方向と定義される。
ステップＳ１０３の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第１の基準点を設定する。表示制御部１８１は、第１の基準点を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１０４）。
ステップＳ１０４の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第２の基準点を設定する。表示制御部１８１は、第２の基準点を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１０５）。ステップＳ１０４およびステップＳ１０５は、入力ステップに対応する。
ステップＳ１０５の後、基準図形算出部１８４は、第１の基準点および第２の基準点の各々の３次元座標を通る基準線を算出する。表示制御部１８１は、基準線を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１０６）。ステップＳ１０６は、基準図形算出ステップに対応する。
図５は、ステップＳ１０６において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１が表示部５に表示される。３Ｄ画像Ｇ１１は、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。計測モードを示す文字ＣＨ１１が３Ｄ画像Ｇ１１上に表示される。文字ＣＨ１１は、計測モードが線基準計測であることを示す。第１の基準点Ｐ１１、第２の基準点Ｐ１２、および基準線Ｌ１１が３Ｄ画像Ｇ１１上に表示される。各基準点は、基準点の位置を示すマークとして表示される。図５に示す例では、被写体ＯＢ１１のエッジの近傍に第１の基準点Ｐ１１および第２の基準点Ｐ１２が設定される。
ステップＳ１０６の後、視点算出部１８５は、基準線に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ１０７）。ステップＳ１０７は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１０７において、以下の方法で視点Ａおよび方向Ａを算出する。
図６は、被写体ＯＢ１１を含む３次元空間を模式的に示す。３Ｄ画像Ｇ１１に含まれる範囲内の被写体ＯＢ１１が図６に示されている。視点算出部１８５は、基準線Ｌ１１が伸びる方向と同じ方向に伸びるＸ’軸を設定する。Ｘ’軸は、基準線Ｌ１１と一致する。視点算出部１８５は、Ｘ’軸に垂直な方向に伸びるＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。カメラ位置は、挿入部２の先端２０に装着された光学アダプター内の光学系の光学中心である。ステレオ計測に使用されるステレオ計測アダプターは、左右の２つの視点に対応する２つの光学系を有する。ステレオ計測アダプターが挿入部２の先端２０に装着された場合、カメラ位置は、２つの光学系の２つの光学中心の中間点である。視点算出部１８５は、Ｘ’軸およびＺ’軸の各々に垂直な方向に伸びるＹ’軸（直線軸）を設定する。
視点算出部１８５は、Ｘ’軸の周辺に第１の領域ＲＧ１および第２の領域ＲＧ２を設定する。第１の領域ＲＧ１および第２の領域ＲＧ２は、Ｘ’軸を中心とする円筒ＴＵ１に含まれる。第１の領域ＲＧ１および第２の領域ＲＧ２の境界は、Ｘ’−Ｚ’平面である。方向Ａは、第１の領域ＲＧ１から第２の領域ＲＧ２へ進む方向である。Ｙ’軸は、第１の領域ＲＧ１および第２の領域ＲＧ２を通る。第１の領域ＲＧ１の体積と、第２の領域ＲＧ２の体積とは同じである。第１の領域ＲＧ１に含まれる被写体の体積は、第２の領域ＲＧ２に含まれる被写体の体積よりも少ない。つまり、第１の領域ＲＧ１における被写体ＯＢ１１の３次元座標のデータ数は、第２の領域ＲＧ２における被写体ＯＢ１１の３次元座標のデータ数よりも少ない。視点算出部１８５は、第１の領域ＲＧ１から第２の領域ＲＧ２へ進む方向をＹ’軸の正の方向に設定する。視点算出部１８５は、Ｘ’軸およびＺ’軸の各々の正の方向をＹ’軸の正の方向に基づいて設定する。
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体ＯＢ１１を方向Ａに見たときに被写体ＯＢ１１が視野に入るような視点Ａを算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の基準点Ｐ１１のＸ’座標と第２の基準点Ｐ１２のＸ’座標との平均である。視点ＡのＹ’座標は、被写体ＯＢ１１の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の基準点Ｐ１１および第２の基準点Ｐ１２が視野に入る位置であってもよい。例えば、視点ＡのＹ’座標は、３Ｄ画像（第３の画像）の表示領域の水平方向の長さの８０％を占める部分に第１の基準点Ｐ１１および第２の基準点Ｐ１２が表示される位置である。
Ｚ’軸は、カメラ位置を通り、かつ基準線Ｌ１１に垂直である。方向ＡはＺ’軸に垂直である。方向Ａは、カメラ位置から基準線Ｌ１１を垂直に見たときの視線の方向に垂直であるため、ユーザーは画像Ｇ１２における視線の方向を直感的に理解しやすい。
ステップＳ１０７の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、視点Ａから方向Ａに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ１０８）。ステップＳ１０８において表示された３Ｄ画像（第３の画像）は、視点Ａから方向Ａに見た被写体の状態を示す。ステップＳ１０８は、画像生成ステップおよび第２の表示ステップに対応する。
図７は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ａおよび３Ｄ画像Ｇ１２が表示部５に表示される。表示制御部１８１は、ステップＳ１０８において、３Ｄ画像Ｇ１２が３Ｄ画像Ｇ１１ａと重ならないように３Ｄ画像Ｇ１２を表示部５に表示する。３Ｄ画像Ｇ１１ａは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１、第２の基準点Ｐ１２、基準線Ｌ１１、およびイラストＩＴ１１が３Ｄ画像Ｇ１１ａ上に表示される。
３Ｄ画像Ｇ１２は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２が３Ｄ画像Ｇ１２上に表示される。基準線Ｌ１２は、視点Ａから方向Ａに見た基準線を示す。被写体ＯＢ１１の表面に平行な方向に近い方向に見た被写体ＯＢ１１のエッジが３Ｄ画像Ｇ１２に映っている。
ユーザーは、３Ｄ画像Ｇ１２に基づいて、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの基準点の位置が妥当であるか否かを確認することができる。方向Ａは基準線に垂直であるため、ユーザーは、２つの基準点の位置が妥当であるか否かを容易に確認することができる。図７に示す例では、基準線Ｌ１２は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
表示制御部１８１は、視点Ａおよび方向Ａを示す情報を表示部５に表示する。具体的には、表示制御部１８１は、ステップＳ１０８において、挿入部２の先端２０のイラストＩＴ１１を表示部５に表示する。ステップＳ１０８は、第３の表示ステップに対応する。イラストＩＴ１１は３Ｄ画像Ｇ１１ａ上に表示される。イラストＩＴ１１は、視点Ａに配置され方向Ａを向く挿入部２の先端２０を示す。例えば、イラストＩＴ１１は、筒状の図形である。その図形の先端は、挿入部２の先端２０に対応する。その図形の中心軸の方向は、内視鏡装置１の光学系の光軸方向に対応する。イラストＩＴ１１が表示されるとき、表示制御部１８１は、その図形の先端を視点Ａと一致させ、かつその図形の中心軸の方向を方向Ａと一致させる。イラストＩＴ１１が表示されるため、ユーザーは視点Ａおよび方向Ａを確認することができる。
視点Ａが３Ｄ画像Ｇ１１ａにおける視野内にない場合がある。その場合、方向Ａを示す矢印などが３Ｄ画像Ｇ１１ａ上に表示されてもよい。
３Ｄ画像Ｇ１２が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ１１ａを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ１２を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ１１ａのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ１２のみが表示部５に表示される。ユーザーが２つの基準点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ１１ａおよび３Ｄ画像Ｇ１２を表示させてもよい。
図８は、ステップＳ１０８において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｂおよび３Ｄ画像Ｇ１２ｂが表示部５に表示される。３Ｄ画像Ｇ１１ｂは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｂ、第２の基準点Ｐ１２ｂ、基準線Ｌ１１ｂ、およびイラストＩＴ１１ｂが３Ｄ画像Ｇ１１ｂ上に表示される。第１の基準点Ｐ１１ｂは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｂは被写体ＯＢ１１上にない位置に設定される。
３Ｄ画像Ｇ１２ｂは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｂが３Ｄ画像Ｇ１２ｂ上に表示される。図８に示す例では、基準線Ｌ１２ｂは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
ステップＳ１０８の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に計測点を設定する。表示制御部１８１は、計測点を、ステップＳ１０２において表示された３Ｄ画像上に表示する（ステップＳ１０９）。
ステップＳ１０９の後、計測部１８７は、基準線と計測点の３次元座標とに基づいて、被写体の大きさを計測する。具体的には、計測部１８７は、基準線と計測点の３次元座標との３次元距離を算出する（ステップＳ１１０）。
ステップＳ１１０の後、表示制御部１８１は、計測結果を表示部５に表示する（ステップＳ１１１）。ステップＳ１１１が実行されたとき、３次元計測が終了する。
図９は、ステップＳ１１１において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｃおよび３Ｄ画像Ｇ１２が表示部５に表示される。３Ｄ画像Ｇ１１ｃは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１、第２の基準点Ｐ１２、基準線Ｌ１１、およびイラストＩＴ１１が３Ｄ画像Ｇ１１ｃ上に表示される。さらに、計測点Ｐ１３、計測線Ｌ１３、および計測結果Ｒ１１が３Ｄ画像Ｇ１１ｃ上に表示される。計測点Ｐ１３は、被写体ＯＢ１１の欠けの最深点に設定される。計測線Ｌ１３は、計測点を通り基準線に垂直な直線を示す。基準図形算出部１８４は、ステップＳ１０８において、計測点および基準線に基づいて計測線を算出する。計測結果Ｒ１１は、基準線と計測点の３次元座標との３次元距離を示す。３Ｄ画像Ｇ１２は、図６に示す３Ｄ画像Ｇ１２と同じである。
ステップＳ１０４における第１の基準点の表示、ステップＳ１０５における第２の基準点の表示、およびステップＳ１０９における計測点の表示は必須ではない。ステップＳ１０６における基準線の表示は必須ではない。
ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１０７が実行されてもよい。ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１０８が実行されてもよい。ステップＳ１１０またはステップＳ１１１が実行された後にステップＳ１０８が実行される場合、ユーザーは、計測に使用された２つの基準点の位置が妥当であるか否かを確認することができる。
ステップＳ１０９からステップＳ１１１の各々は必須ではない。ステップＳ１０９からステップＳ１１１の各々が実行されなくてもよい。例えば、被写体の形状が所望の形状であるか否かを検査するために、ステップＳ１０１からステップＳ１０８の各々が実行されてもよい。例えば、検査対象の部位が直線状であるか否かを検査するために、ユーザーは３Ｄ画像上のその部位に２つの基準点を指定する。例えば、その部位は、検査対象のエッジである。２つの基準点を通る基準線が３Ｄ画像上に表示される。
ユーザーは、その３Ｄ画像に基づいて、基準線がその部位上に表示されているか否かを確認する。これにより、ユーザーは、２つの基準点の位置が妥当であるか否かを確認する。２つの基準点の位置が妥当であることが確認された後、ユーザーは、基準線とその部位の形状とを比較することにより、検査を実施する。
第１の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像が表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
座標算出部１８３は、撮像素子２８によって取得された２Ｄ画像の各画素に対応する３次元座標を算出する。画像生成部１８６は、被写体の表面上の全ての３次元座標の各々に対応するデータを含む３Ｄ画像を生成する。画像生成部１８６は、座標算出部１８３によって算出された３次元座標の一部のみに対応するデータを含む３Ｄ画像を生成してもよい。例えば、ユーザーは、操作部４を操作することにより、基準点の位置情報を操作部４に入力する。操作部４は、ユーザーが操作部４に入力した位置情報を受け付け、その位置情報を出力する。操作部４に入力された位置情報は、制御インタフェース１７を経由してＣＰＵ１８に入力される。
画像生成部１８６は、表示部５に表示された３Ｄ画像において位置情報が示す位置を含む領域を設定する。例えば、画像生成部１８６は、各基準点を中心とする球に含まれる領域を設定する。その球の半径は、所定値である。例えば、所定値は３ｍｍである。画像生成部１８６は、その球内の領域の各画素に対応する３次元座標を含む３Ｄ画像を生成する。２つの基準点が設定されるため、２つの３Ｄ画像が生成される。ユーザーが基準線を指定するために必要な部分のみが拡大され、かつその部分が表示部５に表示される。そのため、ユーザーは、基準線が被写体のエッジ上に設定されているか否かを効率的に確認することができる。
視野内に障害物が存在する場合に表示部５に表示される３Ｄ画像について説明する。図１０は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｄおよび３Ｄ画像Ｇ１２ｄが表示部５に表示される。３Ｄ画像Ｇ１１ｄは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。被写体ＯＢ１１の欠けが凹部ＯＢ１１ａとして３Ｄ画像Ｇ１１ｄおよび３Ｄ画像Ｇ１２ｄに写っている。文字ＣＨ１１、第１の基準点Ｐ１１ｄ、第２の基準点Ｐ１２ｄ、および基準線Ｌ１１ｄが３Ｄ画像Ｇ１１ｄ上に表示される。
３Ｄ画像Ｇ１２ｄは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｄが３Ｄ画像Ｇ１２ｄ上に表示される。基準線Ｌ１２ｄは、視点Ａから方向Ａに見た基準線を示す。被写体ＯＢ１１の表面に平行な方向に近い方向に見た被写体ＯＢ１１のエッジが３Ｄ画像Ｇ１２ｄに映っている。３Ｄ画像Ｇ１２ｄにおいて、被写体ＯＢ１１の手前に被写体ＯＢ１２がある。そのため、３Ｄ画像Ｇ１２ｄにおいて、被写体ＯＢ１１の一部は被写体ＯＢ１２に隠れている。ユーザーは、基準線Ｌ１２ｄの一部が被写体ＯＢ１１のエッジ上に設定されているか否かを確認することができない。
画像生成部１８６は、少なくとも３つの点の３次元座標に基づいて、第３の画像を生成してもよい。第３の画像は、第２の視点から第２の方向に見た被写体の３次元画像である。少なくとも３つの点の各々は被写体上の複数の点の１つである。少なくとも３つの点は、基準線を通り直線軸に垂直な平面上にある。例えば、画像生成部１８６は、基準線を含むＸ’−Ｚ’平面の３Ｄ画像を生成する。具体的には、画像生成部１８６は、Ｘ’−Ｚ’平面上の３次元座標を被写体の表面上の全ての３次元座標から抽出する。画像生成部１８６は、抽出された３次元座標の各々を点として表示するための３Ｄ画像を表示する。この３Ｄ画像は、Ｘ’−Ｚ’平面を通る被写体の断面図である。Ｘ’軸は、基準線と一致する。Ｙ’軸は直線軸である。Ｘ’−Ｚ’平面は、基準線を通り、かつ直線軸に垂直である。
図１１は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｄおよび３Ｄ画像Ｇ１２ｄ１が表示部５に表示される。３Ｄ画像Ｇ１１ｄは、図１０に示す３Ｄ画像Ｇ１１ｄと同じである。３Ｄ画像Ｇ１２ｄ１は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。Ｘ’−Ｚ’平面上の被写体ＯＢ１１の断面が３Ｄ画像Ｇ１２ｄ１上に表示される。基準線Ｌ１２ｄが３Ｄ画像Ｇ１２ｄ１上に表示される。被写体ＯＢ１２はＸ’−Ｚ’平面上にない。そのため、被写体ＯＢ１２は３Ｄ画像Ｇ１２ｄ１に映っていない。ユーザーは、基準線Ｌ１２ｄが被写体ＯＢ１１のエッジ上に設定されているか否かを確認することができる。
ユーザーが注目する領域以外の部分はユーザーには見えなくなる。そのため、その部分がユーザーによる確認作業を妨げない。
第３の画像を生成するための少なくとも３つの点は、基準線を通り直線軸に垂直な平面よりも第２の方向側にあってもよい。例えば、画像生成部１８６は、基準線から奥側の領域を含み、かつ基準線から手前側の領域を含まない３Ｄ画像を生成する。具体的には、画像生成部１８６は、Ｘ’−Ｚ’平面よりもＹ’軸の正の方向側にある３次元座標を被写体の表面上の全ての３次元座標から抽出する。画像生成部１８６は、抽出された３次元座標の各々を点として表示するための３Ｄ画像を表示する。Ｘ’軸は、基準線と一致する。Ｙ’軸は直線軸である。Ｘ’−Ｚ’平面は、基準線を通り、かつ直線軸に垂直である。Ｙ’軸の正の方向は、第２の方向である。
図１２は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｄおよび３Ｄ画像Ｇ１２ｄ２が表示部５に表示される。３Ｄ画像Ｇ１１ｄは、図１０に示す３Ｄ画像Ｇ１１ｄと同じである。３Ｄ画像Ｇ１２ｄ２は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。Ｘ’−Ｚ’平面よりも奥側の被写体ＯＢ１１が３Ｄ画像Ｇ１２ｄ２上に表示される。基準線Ｌ１２ｄが３Ｄ画像Ｇ１２ｄ２上に表示される。被写体ＯＢ１２はＸ’−Ｚ’平面上にない。そのため、被写体ＯＢ１２は３Ｄ画像Ｇ１２ｄ２に映っていない。ユーザーは、基準線Ｌ１２ｄが被写体ＯＢ１１のエッジ上に設定されているか否かを確認することができる。
ユーザーが注目する領域以外の部分はユーザーには見えなくなる。そのため、その部分がユーザーによる確認作業を妨げない。
第３の画像を生成するための少なくとも３つの点は、第１の平面と第２の平面とに挟まれた領域にあってもよい。第１の平面は、基準線を通り直線軸に垂直である。第２の平面は、直線軸に垂直であり、かつ第１の平面よりも第２の方向側にある。例えば、画像生成部１８６は、基準線から奥側の所定範囲の領域を含み、かつ基準線から手前側の領域を含まない３Ｄ画像を生成する。具体的には、第１の平面はＸ’−Ｚ’平面である。第２の平面は、Ｘ’−Ｚ’平面からＹ’軸の正の方向側に所定の距離だけ離れている。画像生成部１８６は、これらの２つの平面に挟まれた領域にある３次元座標を被写体の表面上の全ての３次元座標から抽出する。画像生成部１８６は、抽出された３次元座標の各々を点として表示するための３Ｄ画像を表示する。Ｘ’軸は、基準線と一致する。Ｙ’軸は直線軸である。Ｘ’−Ｚ’平面は、基準線を通り、かつ直線軸に垂直である。Ｙ’軸の正の方向は、第２の方向である。
ユーザーが注目する領域以外の部分はユーザーには見えなくなる。そのため、その部分がユーザーによる確認作業を妨げない。ユーザーが注目している領域の近傍のみがユーザーには見えるため、ユーザーは基準線が被写体のエッジ上に設定されているか否かを確認しやすい。
ステップＳ１０８において３Ｄ画像が表示された後、画像生成部１８６は、視点Ａの位置をわずかに変更してもよく、変更された視点Ａから方向Ａに見た被写体の３Ｄ画像を生成してもよい。表示制御部１８１は、その３Ｄ画像を表示部５に表示してもよい。これにより、ユーザーは、視点を変更するための操作を行うことなく、複数の視点から見た被写体の画像に基づいて、基準線が被写体のエッジ上に設定されているか否かを確認することができる。視点の位置は、複数回、順次変更されてもよい。
表示制御部１８１は、ステップＳ１０８において、第３の画像の少なくとも一部が第２の画像と重なるように第３の画像を表示部５に表示してもよい。第３の画像は、第２の視点から第２の方向に見た被写体の３次元画像である。第２の画像は、第１の視点から第１の方向に見た被写体の画像である。
図１３は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ａ１および３Ｄ画像Ｇ１２ａ１が表示部５に表示される。第１の基準点Ｐ１１ａ１、第２の基準点Ｐ１２ａ１、および基準線Ｌ１１ａ１が３Ｄ画像Ｇ１１ａ１上に表示される。３Ｄ画像Ｇ１２ａ１が３Ｄ画像Ｇ１１ａ１上に表示される。３Ｄ画像Ｇ１２ａ１は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１１ａ１が３Ｄ画像Ｇ１２ａ１上に表示される。表示制御部１８１は、３Ｄ画像Ｇ１２ａ１が３Ｄ画像Ｇ１１ａ１上の各点および各線のいずれとも重ならないように３Ｄ画像Ｇ１２ａ１を表示部５に表示する。
３Ｄ画像Ｇ１１ａ１が表示される領域は、図７に示す３Ｄ画像Ｇ１１ａが表示される領域よりも大きい。３Ｄ画像Ｇ１２ａ１が表示される領域は、図７に示す３Ｄ画像Ｇ１２が表示される領域よりも大きい。表示部５の画面が小さい場合であっても、３Ｄ画像Ｇ１２ａ１の表示に必要な領域が確保される。そのため、表示制御部１８１は、表示部５の画面を有効に使用することができる。表示制御部１８１は、拡大された３Ｄ画像Ｇ１２ａ１を表示してもよい。ユーザーは、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを容易に判断することができる。つまり、ユーザーは、２つの基準点の位置が妥当であるか否かを容易に確認することができる。
図１３に示す例では、３Ｄ画像Ｇ１２ａ１が３Ｄ画像Ｇ１１ａ１上に表示される。３Ｄ画像Ｇ１１ａ１が３Ｄ画像Ｇ１２ａ１上に表示されてもよい。その場合、３Ｄ画像Ｇ１１ａ１の一部のみが３Ｄ画像Ｇ１２ａ１と重なってもよい。
操作部４が計測点の入力を受け付けたとき、表示制御部１８１は、視点Ａから方向Ａに見た被写体の３Ｄ画像を非表示にしてもよい。ユーザーが基準点を確認する必要がないときに３Ｄ画像は表示されない。そのため、ユーザーが操作または確認に迷うことがなくなる。
（第１の実施形態の第１の変形例）
本発明の第１の実施形態の第１の変形例において、２つの基準点および１つの計測点は２Ｄ画像に設定される。
図１４を使用して、第１の実施形態の第１の変形例における３次元計測について説明する。図１４は、３次元計測の手順を示す。図４に示す処理と同じ処理の説明を省略する。
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像は、初期視点から初期方向に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する。表示制御部１８１は、２Ｄ画像を表示部５に表示する（ステップＳ１２１）。ステップＳ１２１は、画像取得ステップに対応する。
ステップＳ１２１の後、ステップＳ１０２が実行される。ステップＳ１０２の後、ステップＳ１０４が実行される。点設定部１８２は、ステップＳ１０４において、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断する。点設定部１８２は、表示部５に表示された２Ｄ画像において、ユーザーによって指定された位置に第１の基準点を設定する。表示制御部１８１は、第１の基準点を、表示部５に表示された２Ｄ画像上に表示する。
点設定部１８２は、ステップＳ１０５において、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断する。点設定部１８２は、表示部５に表示された２Ｄ画像において、ユーザーによって指定された位置に第２の基準点を設定する。表示制御部１８１は、第２の基準点を、表示部５に表示された２Ｄ画像上に表示する。
基準図形算出部１８４は、ステップＳ１０６において、第１の基準点および第２の基準点の各々の３次元座標を通る基準線を算出する。表示制御部１８１は、基準線を、表示部５に表示された２Ｄ画像上に表示する。
点設定部１８２は、ステップＳ１０９において、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断する。点設定部１８２は、表示部５に表示された２Ｄ画像において、ユーザーによって指定された位置に計測点を設定する。表示制御部１８１は、計測点を、表示部５に表示された２Ｄ画像上に表示する。
ステップＳ１０４からステップＳ１０６のいずれか１つが実行された後、ステップＳ１０２が実行されてもよい。ステップＳ１０６が実行された後にステップＳ１０２が実行される場合、少なくとも２つの基準点の各々に対応する３次元座標がステップＳ１０６において算出される必要がある。
（第１の実施形態の第２の変形例）
本発明の第１の実施形態の第２の変形例において、内視鏡装置１は、基準点を修正する機能を有する。操作部４は、修正された少なくとも１つの基準点の入力を受け付ける。以前に設定された２つの基準点の少なくとも１つは、修正された基準点によって置き換えられる。基準図形算出部１８４は、修正された少なくとも１つの基準点を含む２つの基準点の３次元座標に基づいて、基準線を算出する。
図１５および図１６を使用して、第１の実施形態の第２の変形例における３次元計測について説明する。図１５および図１６は、３次元計測の手順を示す。図４に示す処理と同じ処理の説明を省略する。
ステップＳ１０８の後、制御部１８０は、ステップＳ１０４において設定された第１の基準点が修正されたか否かを判断する（ステップＳ１３１）。例えば、表示部５はタッチパネルである。ユーザーは、ドラッグ操作により第１の基準点を３Ｄ画像上で移動させることができる。ユーザーが第１の基準点を移動させた場合、制御部１８０は、第１の基準点が修正されたと判断する。ユーザーが第１の基準点を移動させていない場合、制御部１８０は、第１の基準点が修正されていないと判断する。基準点の修正を開始するためのメニューが表示部５に表示されてもよい。ユーザーがメニューから基準点の修正を選択し、かつ第１の基準点を３Ｄ画像上で修正したとき、制御部１８０は、第１の基準点が修正されたと判断する。
ステップＳ１３１において第１の基準点が修正されたと制御部１８０が判断した場合、点設定部１８２は、第１の基準点の移動が終了した位置を判断し、かつその位置に新たな第１の基準点を設定する。このとき、以前に設定された第１の基準点はキャンセルされる。表示制御部１８１は、第１の基準点を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１３２）。ステップＳ１３２の後、ステップＳ１０６が実行される。
ステップＳ１３１において第１の基準点が修正されていないと制御部１８０が判断した場合、制御部１８０は、ステップＳ１０５において設定された第２の基準点が修正されたか否かを判断する（ステップＳ１３３）。ステップＳ１３３における判断の方法は、ステップＳ１３１における判断の方法と同じである。
ステップＳ１３３において第２の基準点が修正されたと制御部１８０が判断した場合、点設定部１８２は、第２の基準点の移動が終了した位置を判断し、かつその位置に新たな第２の基準点を設定する。このとき、以前に設定された第２の基準点はキャンセルされる。表示制御部１８１は、第２の基準点を、ステップＳ１０３において表示された３Ｄ画像上に表示する（ステップＳ１３４）。ステップＳ１３４の後、ステップＳ１０６が実行される。
ステップＳ１３３において第２の基準点が修正されていないと制御部１８０が判断した場合、制御部１８０は、基準点の修正が終了したか否かを判断する（ステップＳ１３５）。例えば、表示部５はタッチパネルであり、かつ基準点の修正を終了するためのボタンが表示部５に表示される。ユーザーがそのボタンをタッチした場合、制御部１８０は、基準点の修正が終了したと判断する。ユーザーがそのボタンをタッチしていない場合、制御部１８０は、基準点の修正が終了していないと判断する。
ステップＳ１３５において基準点の修正が終了したと制御部１８０が判断した場合、ステップＳ１０９が実行される。ステップＳ１３５において基準点の修正が終了していないと制御部１８０が判断した場合、ステップＳ１３１が実行される。
図１７は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｂおよび３Ｄ画像Ｇ１２ｂが表示部５に表示される。３Ｄ画像Ｇ１１ｂは、図８に示す３Ｄ画像Ｇ１１ｂと同じである。３Ｄ画像Ｇ１２ｂは、図８に示す３Ｄ画像Ｇ１２ｂと同じである。第１の基準点Ｐ１１ｂは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｂは被写体ＯＢ１１上にない位置に設定される。
基準線Ｌ１２ｂが３Ｄ画像Ｇ１２ｂ上に表示される。図１７に示す例では、基準線Ｌ１２ｂは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。ユーザーは、３Ｄ画像Ｇ１１ｂ上の２つの基準点の少なくとも１つを修正することができる。図１７に示す例では、ユーザーは、第２の基準点Ｐ１２ｂを修正すると判断する。
図１８は、第２の基準点Ｐ１２ｂが修正された後にステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｂ１および３Ｄ画像Ｇ１２ｂ１が表示部５に表示される。図１７に示す第２の基準点Ｐ１２ｂの代わりに、第２の基準点Ｐ１２ｂ１が３Ｄ画像Ｇ１１ｂ１上の被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｂが修正された後、ステップＳ１０６において、第１の基準点Ｐ１１ｂと、修正された第２の基準点Ｐ１２ｂ１とに基づいて基準線が算出される。図１７に示す基準線Ｌ１１ｂの代わりに、基準線Ｌ１１ｂ１が３Ｄ画像Ｇ１１ｂ１上に表示される。
基準線が算出された後、ステップＳ１０７において視点Ａおよび方向Ａが算出される。ステップＳ１０８において視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像Ｇ１２ｂ１が表示部５に表示される。基準線Ｌ１２ｂ１が３Ｄ画像Ｇ１２ｂ１上に表示される。図１８に示す例では、基準線Ｌ１２ｂ１は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。図１７に示すイラストＩＴ１１ｂの代わりに、イラストＩＴ１１ｂ１が３Ｄ画像Ｇ１１ｂ１上に表示される。
ユーザーは、ボタンＢＴ１１をタッチすることにより、基準点の修正の終了を内視鏡装置１に通知する。ボタンＢＴ１１がタッチされた場合、制御部１８０は、ステップＳ１３５において基準点の修正が終了したと判断する。制御部１８０は、基準点の修正が終了したことを他の方法で判断してもよい。例えば、ユーザーが基準点以外の位置をタッチした場合、制御部１８０は、基準点の修正が終了し、ユーザーが計測点の設定を指示したと判断してもよい。その場合、点設定部１８２は、ユーザーがタッチした位置に計測点を設定してもよい。
第１の実施形態の第２の変形例において、内視鏡装置１は、２つの基準点の少なくとも１つを修正することができる。基準点の位置が、ユーザーが意図した位置と異なる場合、ユーザーは、基準点の修正を内視鏡装置１に容易に指示することができる。ユーザーは、視点Ａから方向Ａに見た被写体の３Ｄ画像に基づいて基準点の位置を検討することができる。そのため、内視鏡装置１は、基準点の妥当性の判断を容易化することができる。
（第１の実施形態の第３の変形例）
本発明の第１の実施形態の第３の変形例において、内視鏡装置１は、基準点を修正する機能を有する。ユーザーは、視点Ａから方向Ａに見た被写体の３Ｄ画像上で基準点を修正することができる。
第１の実施形態の第３の変形例における３次元計測について説明する。第１の実施形態の第２の変形例における処理と異なる処理について説明する。
画像生成部１８６は、視点Ａから方向Ａに見た被写体の３Ｄ画像を生成する。画像生成部１８６は、基準線、第１の基準点、および第２の基準点を３Ｄ画像に重畳する。表示制御部１８１は、基準線、第１の基準点、および第２の基準点が重畳された３Ｄ画像を表示部５に表示する。
ユーザーは、第１の３Ｄ画像上の２つの基準点を移動させることができる。第１の３Ｄ画像は、初期視点から初期方向に見た被写体の３Ｄ画像である。また、ユーザーは、第２の３Ｄ画像上の２つの基準点を移動させることができる。第２の３Ｄ画像は、視点Ａから方向Ａに見た被写体の３Ｄ画像である。
制御部１８０は、２枚の３Ｄ画像のうちの１つにおける第１の基準点が修正されたか否かを判断する。第１の３Ｄ画像上の第１の基準点が修正された場合、第１の実施形態の第２の変形例における処理と同様の処理が実行され、かつ第１の基準点が修正される。
第２の３Ｄ画像上の第１の基準点が修正された場合、点設定部１８２は、第１の基準点の移動が終了した位置を判断し、かつその位置に新たな第１の基準点を設定する。このとき、以前に設定された第１の基準点はキャンセルされる。第１の３Ｄ画像および第２の３Ｄ画像の各々に新たな第１の基準点が設定される。新たな第１の基準点の３次元座標は、座標算出部１８３によって算出された３次元座標の１つである。表示制御部１８１は、新たな第１の基準点を第２の３Ｄ画像上に表示する。また、表示制御部１８１は、新たな第１の基準点を第１の３Ｄ画像上に表示する。
制御部１８０は、２つの３Ｄ画像のうちの１つにおける第２の基準点が修正されたか否かを判断する。第１の３Ｄ画像上の第２の基準点が修正された場合、第１の実施形態の第２の変形例における処理と同様の処理が実行され、かつ第２の基準点が修正される。第２の３Ｄ画像上の第２の基準点が修正された場合、第１の基準点の修正のための処理と同様の処理が実行される。
図１９は、ステップＳ１０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｂおよび３Ｄ画像Ｇ１２ｂ２が表示部５に表示される。３Ｄ画像Ｇ１１ｂは、図８に示す３Ｄ画像Ｇ１１ｂと同じである。第１の基準点Ｐ１１ｂは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｂは被写体ＯＢ１１上にない位置に設定される。
３Ｄ画像Ｇ１２ｂ２は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。第１の基準点Ｐ１１ｂ２、第２の基準点Ｐ１２ｂ２、および基準線Ｌ１２ｂ２が３Ｄ画像Ｇ１２ｂ２上に表示される。図１９に示す例では、基準線Ｌ１２ｂ２は被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。ユーザーは、３Ｄ画像Ｇ１２ｂ２上の２つの基準点の少なくとも１つを修正することができる。図１９に示す例では、ユーザーは、第２の基準点Ｐ１２ｂ２を修正すると判断する。
図２０は、第２の基準点Ｐ１２ｂ２が修正された後に表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｂ３および３Ｄ画像Ｇ１２ｂ３が表示部５に表示される。図１９に示す第２の基準点Ｐ１２ｂ２の代わりに、第２の基準点Ｐ１２ｂ３が３Ｄ画像Ｇ１２ｂ３上の被写体ＯＢ１１のエッジ上に設定される。図１９に示す第２の基準点Ｐ１２ｂの代わりに、第２の基準点Ｐ１２ｂ４が３Ｄ画像Ｇ１１ｂ３上に表示される。第２の基準点Ｐ１２ｂ２が修正された後、第１の基準点Ｐ１１ｂと、修正された第２の基準点Ｐ１２ｂ４とに基づいて基準線が算出される。図１９に示す基準線Ｌ１１ｂの代わりに、基準線Ｌ１１ｂ３が３Ｄ画像Ｇ１１ｂ３上に表示される。
３Ｄ画像Ｇ１２ｂ３は、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。第１の基準点Ｐ１１ｂ２、第２の基準点Ｐ１２ｂ３、および基準線Ｌ１２ｂ３が３Ｄ画像Ｇ１２ｂ３上に表示される。図２０に示す例では、基準線Ｌ１２ｂ３は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。図１９に示すイラストＩＴ１１ｂの代わりに、イラストＩＴ１１ｂ２が３Ｄ画像Ｇ１１ｂ３上に表示される。
（第２の実施形態）
本発明の第２の実施形態を説明する。第２の実施形態において、基準図形は直線（基準線）である。視点算出部１８５は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。近似平面は、被写体の表面を近似する平面である。少なくとも３つの点の各々は被写体上の複数の点の１つである。少なくとも３つの点の各々は、基準図形の近傍にあり、または基準図形上にある。第２の視点および第２の方向を規定する直線軸は、近似平面に平行である。
２つの基準点の位置の確認のための２つの３次元画像が表示部５に表示される。１つの３次元画像は、第２の視点から第２の方向に見た被写体の第３の画像である。視点算出部１８５はさらに、基準図形に基づいて、第３の方向および第３の視点を算出する。第３の方向は、第１の方向および第２の方向のいずれとも異なる。第３の方向は、第２の方向に垂直である。第３の視点は、第１の視点および第２の視点のいずれとも異なる。画像生成部１８６はさらに、複数の点の３次元座標に基づいて、第４の画像を生成する。第４の画像は、第３の視点から第３の方向に見た被写体の３次元画像である。表示制御部１８１はさらに、基準図形の位置を示す情報が重畳された第４の画像を表示部５に表示する。
第２の方向および第２の視点は、第１の直線軸に基づいて設定される。第１の直線軸は、近似平面に平行であり、かつ基準図形に垂直である。第３の方向および第３の視点は、第２の直線軸に基づいて設定される。第２の直線軸は、上記の近似平面に垂直である。
第２の視点および第２の方向を規定する第１の直線軸は、上記の近似平面に垂直であってもよい。第３の視点および第３の方向を規定する第２の直線軸は、近似平面に平行であってもよい。
図２１を使用して、第２の実施形態における３次元計測について説明する。図２１は、３次元計測の手順を示す。図４に示す処理と同じ処理の説明を省略する。
ステップＳ１０６の後、視点算出部１８５は、基準線に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ１０７ａ）。ステップＳ１０７ａは、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１０７ａにおいて、以下の方法で視点Ａおよび方向Ａを算出する。
視点算出部１８５は、基準線が伸びる方向と同じ方向に伸びるＸ’軸を設定する。Ｘ’軸は、基準線と一致する。視点算出部１８５は、基準線の周辺の少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。例えば、視点算出部１８５は、最小二乗法を使用することにより、近似平面を算出する。例えば、視点算出部１８５は、基準線から所定距離以内にある少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。少なくとも３つの点は、基準線の近傍にある。少なくとも３つの点は、２つの基準点の少なくとも１つを含んでもよい。少なくとも３つの点は、２つの基準点を含まなくてもよい。少なくとも３つの点が少なくとも１つの基準点を含む場合、少なくとも３つの点は、基準線上の点を含む。視点算出部１８５は、近似平面に平行であってＸ’軸に垂直な方向に伸びるＹ’軸（第１の直線軸）を設定する。
視点算出部１８５は、被写体の３次元座標のデータ数が少ない第１の領域から被写体の３次元座標のデータ数が多い第２の領域へ進む方向をＹ’軸の正の方向に設定する。第１の領域および第２の領域は、Ｙ’軸の周辺に設定される。視点算出部１８５は、Ｘ’軸およびＹ’軸の各々に垂直な方向に伸びるＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体を方向Ａに見たときに被写体が視野に入るような視点Ａを算出する。具体的には、視点算出部１８５は、視点Ａから方向Ａに進む視線が通る位置を算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の基準点のＸ’座標と第２の基準点のＸ’座標との平均である。視点ＡのＹ’座標は、被写体の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の基準点および第２の基準点が視野に入る位置であってもよい。
方向Ａは、上記の近似平面に平行でなくてもよい。方向Ａは、近似平面に平行な方向に対してわずかに傾いていてもよい。例えば、方向Ａは、近似平面に平行な方向に対して５度傾いていてもよい。これにより、ユーザーは立体感を得ることができる。
ステップＳ１０７ａの後、視点算出部１８５は、基準線に基づいて視点Ｂ（第３の視点）および方向Ｂ（第３の方向）を算出する（ステップＳ１４１）。ステップＳ１４１は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１４１において、以下の方法で視点Ｂおよび方向Ｂを算出する。
視点算出部１８５は、方向ＢをＺ’軸（第２の直線軸）の正の方向に設定する。方向Ｂは、方向Ａに垂直である。視点算出部１８５は、Ｚ’軸上に視点Ｂを設定する。例えば、視点算出部１８５は、３Ｄ画像の拡大倍率に基づいて視点ＢのＺ’座標を設定する。
ステップＳ１４１の後、ステップＳ１０８が実行される。ステップＳ１０８の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、視点Ｂから方向Ｂに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ１４２）。ステップＳ１４２において表示された３Ｄ画像（第４の画像）は、視点Ｂから方向Ｂに見た被写体の状態を示す。ステップＳ１４２は、画像生成ステップおよび第２の表示ステップに対応する。ステップＳ１４２の後、ステップＳ１０９が実行される。
図２２は、ステップＳ１４２において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｅ、３Ｄ画像Ｇ１２ｅ、および３Ｄ画像Ｇ１３が表示部５に表示される。表示制御部１８１は、ステップＳ１４２において、３Ｄ画像Ｇ１３が３Ｄ画像Ｇ１１ｅおよび３Ｄ画像Ｇ１２ｅのいずれとも重ならないように３Ｄ画像Ｇ１３を表示部５に表示する。３Ｄ画像Ｇ１１ｅは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｅ、第２の基準点Ｐ１２ｅ、基準線Ｌ１１ｅ、イラストＩＴ１１ｅ、およびイラストＩＴ１２が３Ｄ画像Ｇ１１ｅ上に表示される。
図２２において、被写体ＯＢ１１の表面が傾いている状態が示されている。３Ｄ画像Ｇ１１ｅにおいて被写体ＯＢ１１の上側の部分は、被写体ＯＢ１１の下側の部分と比較して、視野の奥側に向かって傾いている。
３Ｄ画像Ｇ１２ｅは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｅが３Ｄ画像Ｇ１２ｅ上に表示される。基準線Ｌ１２ｅは、視点Ａから方向Ａに見た基準線を示す。被写体ＯＢ１１の表面に平行な方向に見た被写体ＯＢ１１のエッジが３Ｄ画像Ｇ１２ｅに映っている。
３Ｄ画像Ｇ１３は、視点Ｂから方向Ｂに見た被写体ＯＢ１１の３次元画像である。基準線Ｌ１４が３Ｄ画像Ｇ１３上に表示される。基準線Ｌ１４は、視点Ｂから方向Ｂに見た基準線を示す。被写体ＯＢ１１の表面に垂直な方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１３に映っている。
ユーザーは、３Ｄ画像Ｇ１２ｅおよび３Ｄ画像Ｇ１３に基づいて、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの視点から見た被写体の２枚の画像に基づいて、２つの基準点の位置が妥当であるか否かを確認することができる。図２２に示す例では、基準線Ｌ１２ｅおよび基準線Ｌ１４は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
表示制御部１８１は、ステップＳ１４２において、挿入部２の先端２０のイラストＩＴ１２を表示部５に表示する。ステップＳ１４２は、第３の表示ステップに対応する。イラストＩＴ１２は３Ｄ画像Ｇ１１ｅ上に表示される。イラストＩＴ１２は、視点Ｂに配置され方向Ｂを向く挿入部２の先端２０を示す。イラストＩＴ１２が表示されるため、ユーザーは視点Ｂおよび方向Ｂを確認することができる。
３Ｄ画像Ｇ１２ｅおよび３Ｄ画像Ｇ１３が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ１１ｅを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ１２ｅおよび３Ｄ画像Ｇ１３を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ１１ｅのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ１２ｅおよび３Ｄ画像Ｇ１３のみが表示部５に表示される。ユーザーが２つの基準点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ１１ｅ、３Ｄ画像Ｇ１２ｅ、および３Ｄ画像Ｇ１３を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ１３の少なくとも一部が３Ｄ画像Ｇ１１ｅおよび３Ｄ画像Ｇ１２ｅの少なくとも１つと重なるように３Ｄ画像Ｇ１３を表示部５に表示してもよい。
図２３は、ステップＳ１４２において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｆ、３Ｄ画像Ｇ１２ｆ、および３Ｄ画像Ｇ１３ｆが表示部５に表示される。３Ｄ画像Ｇ１１ｆは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｆ、第２の基準点Ｐ１２ｆ、基準線Ｌ１１ｆ、イラストＩＴ１１ｆ、およびイラストＩＴ１２ｆが３Ｄ画像Ｇ１１ｆ上に表示される。第１の基準点Ｐ１１ｆは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｆは被写体ＯＢ１１上にない位置に設定される。
３Ｄ画像Ｇ１２ｆは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｆが３Ｄ画像Ｇ１２ｆ上に表示される。３Ｄ画像Ｇ１３ｆは、視点Ｂから方向Ｂに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１４ｆが３Ｄ画像Ｇ１３ｆ上に表示される。図２３に示す例では、基準線Ｌ１２ｆは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
実際には、３Ｄ画像Ｇ１３ｆにおいて基準線Ｌ１４ｆは被写体ＯＢ１１のエッジと一致しない。そのことがユーザーに分かりにくい。複数の視点から見た被写体の３Ｄ画像が表示されるため、２つの基準点の位置が妥当ではない状態をユーザーが見逃す可能性が減る。
図２４は、ステップＳ１４２において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｇ、３Ｄ画像Ｇ１２ｇ、および３Ｄ画像Ｇ１３ｇが表示部５に表示される。３Ｄ画像Ｇ１１ｇは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｇ、第２の基準点Ｐ１２ｇ、基準線Ｌ１１ｇ、イラストＩＴ１１ｇ、およびイラストＩＴ１２ｇが３Ｄ画像Ｇ１１ｇ上に表示される。第１の基準点Ｐ１１ｇは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｇは被写体ＯＢ１１のエッジの近傍に設定される。
３Ｄ画像Ｇ１２ｇは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｇが３Ｄ画像Ｇ１２ｇ上に表示される。３Ｄ画像Ｇ１３ｇは、視点Ｂから方向Ｂに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１４ｇが３Ｄ画像Ｇ１３ｇ上に表示される。図２４に示す例では、基準線Ｌ１４ｇは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
３Ｄ画像Ｇ１１ｇにおいて、被写体ＯＢ１１の表面が傾いているため、被写体ＯＢ１１のエッジと基準線Ｌ１１ｇとのずれの量が実際のずれの量よりも小さく見える。ユーザーがそのずれにユーザーに気づきにくい。被写体ＯＢ１１の表面に垂直な方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１３ｇに映っている。そのため、被写体ＯＢ１１のエッジと基準線Ｌ１４ｇとのずれがユーザーに分かりやすい。
ステップＳ１０７ａが実行される前にステップＳ１４１が実行されてもよい。ステップＳ１０８が実行される前にステップＳ１４２が実行されてもよい。ステップＳ１０７ａが実行される前にステップＳ１４１およびステップＳ１４２が実行されてもよい。ステップＳ１０８が実行された後にステップＳ１４１が実行されてもよい。
ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１４１が実行されてもよい。ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１４２が実行されてもよい。ステップＳ１１０またはステップＳ１１１が実行された後にステップＳ１４２が実行される場合、ユーザーは、計測に使用された２つの基準点の位置が妥当であるか否かを確認することができる。
視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｂから方向Ｂに見た被写体の３Ｄ画像とのいずれか１つのみが表示部５に表示されてもよい。
ステップＳ１０７ａは、図４に示すステップＳ１０７に変更されてもよい。つまり、視点算出部１８５は、第１の実施形態において説明した方法と同じ方法でＸ’軸、Ｙ’軸、およびＺ’軸を設定してもよい。視点算出部１８５は、第１の実施形態と同様に方向ＡをＹ’軸の正の方向に設定し、かつ第１の実施形態と同様にＹ’軸上に視点Ａを設定してもよい。視点算出部１８５は、ステップＳ１４１において、方向ＢをＺ’軸の正の方向に設定し、かつＺ’軸上に視点Ｂを設定してもよい。
第２の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｂから方向Ｂに見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
表示制御部１８１は、被写体の表面を近似する平面に平行な方向Ａに見た被写体の３Ｄ画像を表示部５に表示する。また、表示制御部１８１は、被写体の表面を近似する平面に垂直な方向Ｂに見た被写体の３Ｄ画像を表示部５に表示する。ユーザーは、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを容易に判断することができる。つまり、ユーザーは、２つの基準点の位置が妥当であるか否かを容易に確認することができる。
（第３の実施形態）
本発明の第３の実施形態を説明する。２つの基準点の位置の確認のための２つの３次元画像が表示部５に表示される。１つの３次元画像は、第２の視点から第２の方向に見た被写体の第３の画像である。他の３次元画像は、第３の視点から第３の方向に見た被写体の第４の画像である。
第３の実施形態において、基準図形は直線（基準線）である。第２の方向および第２の視点は、第１の直線軸に基づいて設定される。第３の方向および第３の視点は、第２の直線軸に基づいて設定される。第１の直線軸は、被写体の表面を近似する近似平面に平行であり、かつ基準図形に垂直である。第２の直線軸は、近似平面に平行であり、かつ基準図形に平行である。
第１の直線軸は、上記の近似平面に平行であり、かつ基準図形に平行であってもよい。第２の直線軸は、近似平面に平行であり、かつ基準図形に垂直であってもよい。
図２５を使用して、第３の実施形態における３次元計測について説明する。図２５は、３次元計測の手順を示す。図２１に示す処理と同じ処理の説明を省略する。
ステップＳ１０７ａの後、視点算出部１８５は、基準線に基づいて視点Ｃ（第３の視点）および方向Ｃ（第３の方向）を算出する（ステップＳ１５１）。ステップＳ１５１は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１５１において、以下の方法で視点Ｃおよび方向Ｃを算出する。
ステップＳ１０７ａにおいて、Ｘ’軸（第２の直線軸）、Ｙ’軸、およびＺ’軸が設定される。視点算出部１８５は、方向ＣをＸ’軸の正の方向に設定する。方向Ｃは、方向Ａに垂直である。視点算出部１８５は、Ｘ’軸上に視点Ｃを設定する。例えば、視点算出部１８５は、３Ｄ画像の拡大倍率に基づいて視点ＣのＸ’座標を設定する。
ステップＳ１５１の後、ステップＳ１０８が実行される。ステップＳ１０８の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、視点Ｃから方向Ｃに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ１５２）。ステップＳ１５２において表示された３Ｄ画像（第４の画像）は、視点Ｃから方向Ｃに見た被写体の状態を示す。ステップＳ１５２は、画像生成ステップおよび第２の表示ステップに対応する。ステップＳ１５２の後、ステップＳ１０９が実行される。
図２６は、ステップＳ１５２において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｈ、３Ｄ画像Ｇ１２ｈ、および３Ｄ画像Ｇ１４が表示部５に表示される。表示制御部１８１は、ステップＳ１５２において、３Ｄ画像Ｇ１４が３Ｄ画像Ｇ１１ｈおよび３Ｄ画像Ｇ１２ｈのいずれとも重ならないように３Ｄ画像Ｇ１４を表示部５に表示する。
３Ｄ画像Ｇ１１ｈは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｈ、第２の基準点Ｐ１２ｈ、基準線Ｌ１１ｈ、およびイラストＩＴ１１ｈが３Ｄ画像Ｇ１１ｈ上に表示される。３Ｄ画像Ｇ１２ｈは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｈが３Ｄ画像Ｇ１２ｈ上に表示される。３Ｄ画像Ｇ１４は、視点Ｃから方向Ｃに見た被写体ＯＢ１１の３次元画像である。基準線Ｌ１５が３Ｄ画像Ｇ１４上に表示される。基準線Ｌ１５は、視点Ｃから方向Ｃに見た基準線を示す。基準線が伸びる方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１４に映っている。基準線Ｌ１５が被写体ＯＢ１１のエッジと一致する場合、基準線Ｌ１５は点状である。
ユーザーは、３Ｄ画像Ｇ１２ｈおよび３Ｄ画像Ｇ１４に基づいて、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの視点から見た被写体の２枚の画像に基づいて、２つの基準点の位置が妥当であるか否かを確認することができる。図２６に示す例では、基準線Ｌ１２ｈおよび基準線Ｌ１５は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
表示制御部１８１は、ステップＳ１５２において、挿入部２の先端２０のイラストＩＴ１３を表示部５に表示する。ステップＳ１５２は、第３の表示ステップに対応する。イラストＩＴ１３は、視点Ｃに配置され方向Ｃを向く挿入部２の先端２０を示す。イラストＩＴ１３が表示されるため、ユーザーは視点Ｃおよび方向Ｃを確認することができる。
３Ｄ画像Ｇ１２ｈおよび３Ｄ画像Ｇ１４が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ１１ｈを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ１２ｈおよび３Ｄ画像Ｇ１４を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ１１ｈのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ１２ｈおよび３Ｄ画像Ｇ１４のみが表示部５に表示される。ユーザーが２つの基準点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ１１ｈ、３Ｄ画像Ｇ１２ｈ、および３Ｄ画像Ｇ１４を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ１４の少なくとも一部が３Ｄ画像Ｇ１１ｈおよび３Ｄ画像Ｇ１２ｈの少なくとも１つと重なるように３Ｄ画像Ｇ１４を表示部５に表示してもよい。
図２７は、ステップＳ１５２において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｉ、３Ｄ画像Ｇ１２ｉ、３Ｄ画像Ｇ１４ｉ、およびイラストＩＴ１３ｉが表示部５に表示される。３Ｄ画像Ｇ１１ｉは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｉ、第２の基準点Ｐ１２ｉ、基準線Ｌ１１ｉ、およびイラストＩＴ１１ｉが３Ｄ画像Ｇ１１ｉ上に表示される。第１の基準点Ｐ１１ｉは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｉは被写体ＯＢ１１上にない位置に設定される。
３Ｄ画像Ｇ１２ｉは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｉが３Ｄ画像Ｇ１２ｉ上に表示される。３Ｄ画像Ｇ１４ｉは、視点Ｃから方向Ｃに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１５ｉが３Ｄ画像Ｇ１４ｉ上に表示される。図２７に示す例では、基準線Ｌ１２ｉは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。３Ｄ画像Ｇ１２ｉにおいて、被写体ＯＢ１１が基準線Ｌ１２ｉに対して傾いていることが示されている。このような場合、３Ｄ画像Ｇ１４ｉにおいて、被写体ＯＢ１１は上下に長くなる。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
図２８は、ステップＳ１５２において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ１１ｊ、３Ｄ画像Ｇ１２ｊ、３Ｄ画像Ｇ１４ｊ、およびイラストＩＴ１３ｊが表示部５に表示される。３Ｄ画像Ｇ１１ｊは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｊ、第２の基準点Ｐ１２ｊ、基準線Ｌ１１ｊ、およびイラストＩＴ１１ｊが３Ｄ画像Ｇ１１ｊ上に表示される。第１の基準点Ｐ１１ｊは被写体ＯＢ１１のエッジ上に設定される。第２の基準点Ｐ１２ｊは被写体ＯＢ１１のエッジの近傍に設定される。
３Ｄ画像Ｇ１２ｊは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｊが３Ｄ画像Ｇ１２ｊ上に表示される。３Ｄ画像Ｇ１４ｊは、視点Ｃから方向Ｃに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１５ｊが３Ｄ画像Ｇ１４ｉ上に表示される。基準線Ｌ１５ｊは被写体ＯＢ１１のエッジと一致しない。そのため、ユーザーは、２つの基準点の位置が妥当ではないと判断することができる。
３Ｄ画像Ｇ１１ｊにおいて、被写体ＯＢ１１の表面が傾いているため、被写体ＯＢ１１のエッジと基準線Ｌ１１ｊとのずれの量が実際のずれの量よりも小さく見える。ユーザーがそのずれにユーザーに気づきにくい。基準線が伸びる方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１４ｊに映っている。基準線Ｌ１５ｊよりも左側に被写体ＯＢ１１が伸びている。そのため、ユーザーは、基準線Ｌ１５ｊが被写体ＯＢ１１のエッジと一致しないと判断することができる。
ステップＳ１０７ａが実行される前にステップＳ１５１が実行されてもよい。ステップＳ１０８が実行される前にステップＳ１５２が実行されてもよい。ステップＳ１０７ａが実行される前にステップＳ１５１およびステップＳ１５２が実行されてもよい。ステップＳ１０８が実行された後にステップＳ１５１が実行されてもよい。
ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１５１が実行されてもよい。ステップＳ１０９からステップＳ１１１のいずれか１つが実行された後、ステップＳ１５２が実行されてもよい。ステップＳ１１０またはステップＳ１１１が実行された後にステップＳ１５２が実行される場合、ユーザーは、計測に使用された２つの基準点の位置が妥当であるか否かを確認することができる。
視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｃから方向Ｃに見た被写体の３Ｄ画像とのいずれか１つのみが表示部５に表示されてもよい。
ステップＳ１０７ａは、図４に示すステップＳ１０７に変更されてもよい。つまり、視点算出部１８５は、第１の実施形態において説明した方法と同じ方法でＸ’軸、Ｙ’軸、およびＺ’軸を設定してもよい。視点算出部１８５は、第１の実施形態と同様に方向ＡをＹ’軸の正の方向に設定し、かつ第１の実施形態と同様にＹ’軸上に視点Ａを設定してもよい。視点算出部１８５は、ステップＳ１５１において、方向ＣをＸ’軸の正の方向に設定し、かつＸ’軸上に視点Ｃを設定してもよい。
第３の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｃから方向Ｃに見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
（第３の実施形態の変形例）
本発明の第３の実施形態の変形例において、３つの視点の各々から見た被写体の３Ｄ画像が表示部５に表示される。
視点算出部１８５は、基準線に基づいて視点Ａおよび方向Ａを算出する。視点Ａおよび方向Ａの算出方法は、第２の実施形態において説明した方法と同じである。画像生成部１８６は、視点Ａから方向Ａに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。
視点算出部１８５は、基準線に基づいて視点Ｂおよび方向Ｂを算出する。視点Ｂおよび方向Ｂの算出方法は、第２の実施形態において説明した方法と同じである。画像生成部１８６は、視点Ｂから方向Ｂに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。
視点算出部１８５は、基準線に基づいて視点Ｃおよび方向Ｃを算出する。視点Ｃおよび方向Ｃの算出方法は、第３の実施形態において説明した方法と同じである。画像生成部１８６は、視点Ｃから方向Ｃに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。
図２９は、表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｋ、３Ｄ画像Ｇ１２ｈ、３Ｄ画像Ｇ１３ｋ、３Ｄ画像Ｇ１４、およびイラストＩＴ１３が表示部５に表示される。３Ｄ画像Ｇ１１ｋは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。第１の基準点Ｐ１１ｈ、第２の基準点Ｐ１２ｈ、基準線Ｌ１１ｈ、イラストＩＴ１１ｈ、およびイラストＩＴ１２ｈが３Ｄ画像Ｇ１１ｈ上に表示される。３Ｄ画像Ｇ１２ｈは、図２６に示す３Ｄ画像Ｇ１２ｈと同じである。３Ｄ画像Ｇ１３ｋは、視点Ｂから方向Ｂに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１４ｋが３Ｄ画像Ｇ１３ｋ上に表示される。３Ｄ画像Ｇ１４は、図２６に示す３Ｄ画像Ｇ１４と同じである。３Ｄ画像Ｇ１４は、３Ｄ画像Ｇ１１ｋ上に表示される。
３Ｄ画像Ｇ１２ｈ、３Ｄ画像Ｇ１３ｋ、および３Ｄ画像Ｇ１４は、第３角法または第１角法で表示されてもよい。ユーザーが機械図面を見慣れている場合、ユーザーは画像を直感的に理解しやすい。３Ｄ画像Ｇ１２ｈ、３Ｄ画像Ｇ１３ｋ、および３Ｄ画像Ｇ１４は、平行投影で表示されてもよい。３Ｄ画像が平行投影で表示された場合、ユーザーが３Ｄ画像と機械図面とを比較しやすい。
ユーザーは、３Ｄ画像Ｇ１２ｈ、３Ｄ画像Ｇ１３ｋ、および３Ｄ画像Ｇ１４に基づいて、基準線が被写体ＯＢ１１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの基準点の位置が妥当であるか否かを詳細に確認することができる。図２９に示す例では、基準線Ｌ１２ｈは被写体ＯＢ１１のエッジと一致し、基準線Ｌ１４ｋは被写体ＯＢ１１のエッジと一致し、かつ基準線Ｌ１５は被写体ＯＢ１１のエッジと一致する。そのため、ユーザーは、２つの基準点の位置が妥当であると判断することができる。
ユーザーが３つの３Ｄ画像の視点を同時に変更できてもよい。例えば、ユーザーが１つの３Ｄ画像の視点を変更したとき、他の２つの３Ｄ画像の各々の視点が変更される。例えば、表示部５はタッチパネルである。ユーザーは、スワイプ操作により視点の位置および視線の方向を変更することができる。
被写体を基準にした方向Ａおよび視点Ａが変更された場合、画像生成部１８６はさらに、変更された方向Ａおよび変更された視点Ａに基づいて、第２の画像を再度生成する。被写体を基準にした視点Ａが変更されたとき、視点Ａと視点Ｂ（視点Ｃ）との相対関係を保つように、被写体を基準にした視点Ｂ（視点Ｃ）は変更される。被写体を基準にした方向Ａが変更されたとき、方向Ａと方向Ｂ（方向Ｃ）との相対関係を保つように、被写体を基準にした方向Ｂ（方向Ｃ）は変更される。画像生成部１８６はさらに、変更された方向Ｂ（方向Ｃ）および変更された視点Ｂ（視点Ｃ）に基づいて、第４の画像を再度生成する。表示制御部１８１はさらに、再度生成された第２の画像と、再度生成された第４の画像とを表示部５に表示する。
例えば、ユーザーが３Ｄ画像Ｇ１２ｈ上でスワイプ操作を行う。座標算出部１８３は、スワイプ操作に基づいて、被写体の表面上の全ての３次元座標の各々を変更する。Ｘ’軸、Ｙ’軸、およびＺ’軸は変更されない。Ｘ’軸、Ｙ’軸、およびＺ’軸で規定された座標系における視点Ａ、視点Ｂ、および視点Ｃは変更されない。これらの視点間の相対関係は保たれる。これらの視点のうち任意の２点間の距離は変更されない。Ｘ’軸、Ｙ’軸、およびＺ’軸で規定された座標系における方向Ａ、方向Ｂ、および方向Ｃは変更されない。これらの方向間の相対関係は保たれる。これらの方向のうち任意の２方向間の角度は変更されない。
Ｘ’軸、Ｙ’軸、およびＺ’軸で規定された３次元空間において、スワイプ操作に基づいて、被写体が回転する。画像生成部１８６は、視点Ａから方向Ａに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１２ｈが変更される。
画像生成部１８６は、視点Ｂから方向Ｂに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１３ｋが変更される。画像生成部１８６は、視点Ｃから方向Ｃに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１４が変更される。
被写体が回転する場合、被写体上の各位置から見た各視点の位置は変更される。そのため、被写体を基準にした各視点の位置は変更される。被写体が回転する場合、被写体上の各位置から各視点を見るときの角度は変更される。そのため、被写体を基準にした各方向は変更される。
被写体が回転せずに、視点Ａ、視点Ｂ、および視点Ｃの各々の座標が変更されてもよい。各座標間の相対関係が保たれるように、各視点の座標が変更される。各視点の変更に伴って、各方向が変更されてもよい。各方向間の相対関係が保たれるように、各方向が変更される。
被写体を基準にした方向Ｂ（方向Ｃ）および視点Ｂ（視点Ｃ）が変更された場合、画像生成部１８６はさらに、変更された方向Ｂ（方向Ｃ）および変更された視点Ｂ（視点Ｃ）に基づいて、第４の画像を再度生成してもよい。被写体を基準にした視点Ｂ（視点Ｃ）が変更されたとき、視点Ａと視点Ｂ（視点Ｃ）との相対関係を保つように、被写体を基準にした視点Ａは変更される。被写体を基準にした方向Ｂ（方向Ｃ）が変更されたとき、方向Ａと方向Ｂ（方向Ｃ）との相対関係を保つように、被写体を基準にした方向Ａは変更される。画像生成部１８６はさらに、変更された方向Ａおよび変更された視点Ａに基づいて、第２の画像を再度生成する。表示制御部１８１はさらに、再度生成された第２の画像と、再度生成された第４の画像とを表示部５に表示する。
例えば、ユーザーが３Ｄ画像Ｇ１３ｋ上でスワイプ操作を行う。座標算出部１８３は、スワイプ操作に基づいて、被写体の表面上の全ての３次元座標の各々を変更する。Ｘ’軸、Ｙ’軸、およびＺ’軸で規定された３次元空間において、スワイプ操作に基づいて、被写体が回転する。画像生成部１８６は、視点Ｂから方向Ｂに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１３ｋが変更される。
画像生成部１８６は、視点Ａから方向Ａに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１２ｈが変更される。画像生成部１８６は、視点Ｃから方向Ｃに見た被写体の３Ｄ画像を生成し、かつ基準線を３Ｄ画像に重畳する。表示制御部１８１は、基準線が重畳された３Ｄ画像を表示部５に表示する。これにより、３Ｄ画像Ｇ１４が変更される。
視点Ａ、視点Ｂ、および視点Ｃの相対的な位置関係が維持されたまま、各視点から見た被写体の３Ｄ画像が変更される。ユーザーは、様々な方向に見た被写体の画像に基づいて、２つの基準点の位置が妥当であるか否かを確認することができる。
（第４の実施形態）
本発明の第４の実施形態を説明する。２つの基準点の位置の確認のための２つの３次元画像が表示部５に表示される。１つの３次元画像は、第２の視点から第２の方向に見た被写体の第３の画像である。他の３次元画像は、第３の視点から第３の方向に見た被写体の第４の画像である。
第４の実施形態において、基準図形は直線（基準線）である。第２の方向および第２の視点は、第１の直線軸に基づいて設定される。第４の方向および第４の視点は、第２の直線軸に基づいて設定される。第１の直線軸および第２の直線軸は基準図形に垂直である。第１の実施形態と同様に、第２の視点は視点Ａであり、第２の方向は方向Ａであり、かつ第１の直線軸はＹ’軸である。
図３０を使用して、第４の実施形態における３次元計測について説明する。図３０は、３次元計測の手順を示す。図２１に示す処理と同じ処理の説明を省略する。
ステップＳ１１１の後、視点算出部１８５は、基準線に基づいて視点Ｄ（第３の視点）および方向Ｄ（第３の方向）を算出する（ステップＳ１６１）。ステップＳ１６１は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ１６１において、以下の方法で視点Ｄおよび方向Ｄを算出する。
視点算出部１８５は、基準線および計測線に垂直な方向に伸びるＺ’’軸（第２の直線軸）を設定する。計測線は、２つの端点を結ぶ線分である。２つの端点の一方は、計測点である。２つの端点の他方は、基準線上の点である。Ｚ’’軸は、カメラ位置を通る。
Ｚ軸がＸ軸を中心に第１の回転量だけ回転し、かつＺ軸がＹ軸を中心に第２の回転量だけ回転したとき、Ｚ軸はＺ’’軸と一致する。視点算出部１８５は、第１の回転量および第２の回転量を算出する。Ｘ軸、Ｙ軸、およびＺ軸は、初期視点および初期方向を規定する座標軸である。例えば、Ｚ軸は、内視鏡装置１の光学系の光軸方向に伸びる。Ｘ軸およびＹ軸は、光軸方向に垂直な方向に伸びる。
視点算出部１８５は、Ｙ軸を中心に第２の回転量だけＸ軸を回転させることにより、Ｘ’’軸を得る。視点算出部１８５は、Ｘ軸を中心に第１の回転量だけＹ軸を回転させることにより、Ｙ’’軸を得る。これにより、Ｘ軸に近いＸ’’軸が得られ、かつＹ軸に近いＹ’’軸が得られる。視点Ｄおよび方向Ｄがユーザーに分かりやすい。視点算出部１８５は、Ｘ’’軸の正の方向をＸ軸の正の方向と同様に設定する。視点算出部１８５は、Ｙ’’軸の正の方向をＹ軸の正の方向と同様に設定する。視点算出部１８５は、Ｚ’’軸の正の方向をＺ軸の正の方向と同様に設定する。
視点算出部１８５は、方向ＤをＺ’’軸の正の方向に設定する。視点算出部１８５は、被写体を方向Ｄに見たときに被写体が視野に入るような視点Ｄを算出する。具体的には、視点算出部１８５は、視点Ｄから方向Ｄに進む視線が通る位置を算出する。例えば、視点ＤのＹ’’座標は０である。視点ＤのＸ’’座標は、第１の基準点のＸ’’座標と第２の基準点のＸ’’座標と第３の基準点のＸ’’座標との平均である。視点ＤのＺ’’座標は、被写体の全体が視野に入る位置である。視点ＤのＺ’’座標は、少なくとも第１の基準点、第２の基準点、および第３の基準点が視野に入る位置であってもよい。
ステップＳ１６１の後、画像生成部１８６は、ステップＳ１０２において算出された３次元座標に基づいて、視点Ｄから方向Ｄに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準線および計測線を３Ｄ画像に重畳する。表示制御部１８１は、基準線および計測線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ１６２）。ステップＳ１６２において表示された３Ｄ画像（第４の画像）は、視点Ｄから方向Ｄに見た被写体の状態を示す。ステップＳ１６２は、画像生成ステップおよび第２の表示ステップに対応する。ステップＳ１６２が実行されたとき、３次元計測が終了する。
図３１は、ステップＳ１６２において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｌ、３Ｄ画像Ｇ１２ｌ、および３Ｄ画像Ｇ１５が表示部５に表示される。表示制御部１８１は、ステップＳ１６２において、３Ｄ画像Ｇ１５が３Ｄ画像Ｇ１１ｌおよび３Ｄ画像Ｇ１２ｌのいずれとも重ならないように３Ｄ画像Ｇ１５を表示部５に表示する。
３Ｄ画像Ｇ１１ｌは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｌ、第２の基準点Ｐ１２ｌ、基準線Ｌ１１ｌ、イラストＩＴ１１ｌ、およびイラストＩＴ１４が３Ｄ画像Ｇ１１ｌ上に表示される。さらに、計測点Ｐ１３ｌ、計測線Ｌ１３ｌ、および計測結果Ｒ１１ｌが３Ｄ画像Ｇ１１ｌ上に表示される。３Ｄ画像Ｇ１２ｌは、視点Ａから方向Ａに見た被写体ＯＢ１１の３Ｄ画像である。基準線Ｌ１２ｌが３Ｄ画像Ｇ１２ｌ上に表示される。
３Ｄ画像Ｇ１５は、視点Ｄから方向Ｄに見た被写体ＯＢ１１の３次元画像である。基準線Ｌ１６および計測線Ｌ１７が３Ｄ画像Ｇ１５上に表示される。基準線Ｌ１６は、視点Ｄから方向Ｄに見た基準線を示す。計測線Ｌ１７は、視点Ｄから方向Ｄに見た計測線を示す。基準線および計測線に垂直な方向に見た被写体ＯＢ１１が３Ｄ画像Ｇ１５に映っている。方向Ｄは、ユーザーが計測線の位置を最も確認しやすいと考えられる方向である。
ユーザーは、３Ｄ画像Ｇ１５に基づいて、計測点が被写体ＯＢ１１の欠けの最深点に設定されているか否かを判断する。これにより、ユーザーは、計測点の位置が妥当であるか否かを確認することができる。図３１に示す例では、計測線Ｌ１７の端点は被写体ＯＢ１１の欠けの最深点と一致する。そのため、ユーザーは、計測点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
表示制御部１８１は、ステップＳ１６２において、挿入部２の先端２０のイラストＩＴ１４を表示部５に表示する。ステップＳ１６２は、第３の表示ステップに対応する。イラストＩＴ１４は、視点Ｄに配置され方向Ｄを向く挿入部２の先端２０を示す。イラストＩＴ１４が表示されるため、ユーザーは視点Ｄおよび方向Ｄを確認することができる。
３Ｄ画像Ｇ１２ｌおよび３Ｄ画像Ｇ１５が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ１１ｌを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ１２ｌおよび３Ｄ画像Ｇ１５を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ１１ｌのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ１２ｌおよび３Ｄ画像Ｇ１５のみが表示部５に表示される。ユーザーが２つの基準点の位置および計測点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ１１ｌ、３Ｄ画像Ｇ１２ｌ、および３Ｄ画像Ｇ１５を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ１５の少なくとも一部が３Ｄ画像Ｇ１１ｌおよび３Ｄ画像Ｇ１２ｌの少なくとも１つと重なるように３Ｄ画像Ｇ１５を表示部５に表示してもよい。
ステップＳ１１０またはステップＳ１１１が実行される前にステップＳ１６１が実行されてもよい。ステップＳ１１０またはステップＳ１１１が実行される前にステップＳ１６２が実行されてもよい。
ステップＳ１０７ａは、図４に示すステップＳ１０７に変更されてもよい。つまり、視点算出部１８５は、第１の実施形態において説明した方法と同じ方法でＸ’軸、Ｙ’軸、およびＺ’軸を設定してもよい。視点算出部１８５は、第１の実施形態と同様に方向ＡをＹ’軸の正の方向に設定し、かつ第１の実施形態と同様にＹ’軸上に視点Ａを設定してもよい。
視点Ｄおよび方向Ｄは以下のように変更されてもよい。方向Ｄは、基準線に平行であってもよい。計測線は基準線に垂直であるため、方向Ｄは計測線に垂直である。例えば、視点Ｄは、計測線の中心を通り方向Ｄに伸びる直線上に設定される。
ステップＳ１０７ａにおいて、Ｘ’軸、Ｙ’軸、およびＺ’軸が設定される。例えば、視点算出部１８５は、方向ＤをＸ’軸の正の方向に設定する。視点算出部１８５は、Ｘ’軸に平行であり、かつ計測線の中間点を通る軸上に視点Ｄを設定する。
図３２は、ステップＳ１６２において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ１１ｍ、３Ｄ画像Ｇ１２ｌ、および３Ｄ画像Ｇ１５ｌが表示部５に表示される。３Ｄ画像Ｇ１１ｍは、初期視点から初期方向に見た被写体ＯＢ１１の３Ｄ画像である。文字ＣＨ１１、第１の基準点Ｐ１１ｌ、第２の基準点Ｐ１２ｌ、計測点Ｐ１３ｌ、基準線Ｌ１１ｌ、計測線Ｌ１３ｌ、計測結果Ｒ１１ｌ、およびイラストＩＴ１１ｌが３Ｄ画像Ｇ１１ｍ上に表示される。イラストＩＴ１４ｌが表示部５に表示される。３Ｄ画像Ｇ１２ｌは、図３１に示す３Ｄ画像Ｇ１２ｌと同じである。
３Ｄ画像Ｇ１５ｌは、視点Ｄから方向Ｄに見た被写体ＯＢ１１の３次元画像である。基準線Ｌ１６ｌおよび計測線Ｌ１７ｌが３Ｄ画像Ｇ１５ｌ上に表示される。基準線Ｌ１６ｌおよび計測線Ｌ１７ｌは、一体化している。
第４の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｄから方向Ｄに見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
（第５の実施形態）
本発明の第５の実施形態を説明する。操作部４は、少なくとも３つの基準点の入力を受け付ける。基準図形は、平面である。第２の方向は、直線軸に平行である。直線軸は、基準図形に平行である。第２の視点は、直線軸上にある。
第５の実施形態の内視鏡装置１は、面基準計測機能を有する。３つの基準点および１つの計測点がユーザーによって指定される。３つの基準点の各々は、面基準計測における基準面を算出するための基準位置を示す。計測点は、被写体の寸法を計測する位置を示す。
基準図形算出部１８４は、３つの基準点の３次元座標に基づいて、基準図形を算出する。基準面が第５の実施形態における基準図形である。基準面は、３次元空間上の平面であり、かつ３つの基準点の各々の３次元座標を通る。
第５の実施形態において計測部１８７は、基準面を使用して、被写体の３次元計測を実行する。具体的には、計測部１８７は、３次元の基準面と計測点の３次元座標との３次元距離を算出する。
図３３を使用して、第５の実施形態における３次元計測について説明する。図３３は、３次元計測の手順を示す。
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像（第１の画像）は、初期視点から初期方向に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する（ステップＳ２０１）。ステップＳ２０１は、画像取得ステップに対応する。
ステップＳ２０１の後、座標算出部１８３は、２Ｄ画像における全画素の３次元座標を算出する（ステップＳ２０２）。ステップＳ２０２は、座標算出ステップに対応する。
ステップＳ２０２の後、画像生成部１８６は、ステップＳ２０２において算出された３次元座標に基づいて、初期視点から初期方向に見た被写体の３次元画像（３Ｄ画像）を生成する。表示制御部１８１は、３Ｄ画像（第２の画像）を表示部５に表示する（ステップＳ２０３）。ステップＳ２０３は、第１の表示ステップに対応する。
ステップＳ２０３の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第１の基準点を設定する。表示制御部１８１は、第１の基準点を、ステップＳ２０３において表示された３Ｄ画像上に表示する（ステップＳ２０４）。
ステップＳ２０４の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第２の基準点を設定する。表示制御部１８１は、第２の基準点を、ステップＳ２０３において表示された３Ｄ画像上に表示する（ステップＳ２０５）。
ステップＳ２０５の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが基準点として指定した位置を判断し、かつその位置に第３の基準点を設定する。表示制御部１８１は、第３の基準点を、ステップＳ２０３において表示された３Ｄ画像上に表示する（ステップＳ２０６）。ステップＳ２０４、ステップＳ２０５、およびステップＳ２０６は、入力ステップに対応する。
ステップＳ２０６の後、基準図形算出部１８４は、第１の基準点、第２の基準点、および第３の基準点の各々の３次元座標を通る基準面を算出する。基準図形算出部１８４は、３本の基準線を算出する。３本の基準線の１つは、第１の基準点および第２の基準点の各々の３次元座標を結ぶ。３本の基準線の１つは、第２の基準点および第３の基準点の各々の３次元座標を結ぶ。３本の基準線の１つは、第３の基準点および第１の基準点の各々の３次元座標を結ぶ。表示制御部１８１は、３本の基準線を、ステップＳ２０３において表示された３Ｄ画像上に表示する（ステップＳ２０７）。ステップＳ２０７は、基準図形算出ステップに対応する。
図３４は、ステップＳ２０７において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ２１が表示部５に表示される。３Ｄ画像Ｇ２１は、初期視点から初期方向に見た被写体ＯＢ２１の３Ｄ画像である。計測モードを示す文字ＣＨ２１が３Ｄ画像Ｇ２１上に表示される。文字ＣＨ２１は、計測モードが面基準計測であることを示す。第１の基準点Ｐ２１、第２の基準点Ｐ２２、および第３の基準点Ｐ２３が３Ｄ画像Ｇ２１上に表示される。各基準点は、基準点の位置を示すマークとして表示される。基準線Ｌ２１、基準線Ｌ２２、および基準線Ｌ２３が３Ｄ画像Ｇ２１上に表示される。基準線Ｌ２１は、第１の基準点Ｐ２１と第２の基準点Ｐ２２とを結ぶ。基準線Ｌ２２は、第２の基準点Ｐ２２と第３の基準点Ｐ２３とを結ぶ。基準線Ｌ２３は、第３の基準点Ｐ２３と第１の基準点Ｐ２１とを結ぶ。
ステップＳ２０７の後、視点算出部１８５は、基準面に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ２０８）。ステップＳ２０８は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ２０８において、以下の方法で視点Ａおよび方向Ａを算出する。
視点算出部１８５は、基準面に垂直なＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。Ｚ軸がＸ軸を中心に第１の回転量だけ回転し、かつＺ軸がＹ軸を中心に第２の回転量だけ回転したとき、Ｚ軸はＺ’軸と一致する。視点算出部１８５は、第１の回転量および第２の回転量を算出する。Ｘ軸、Ｙ軸、およびＺ軸は、初期視点および初期方向を規定する座標軸である。例えば、Ｚ軸は、内視鏡装置１の光学系の光軸方向に伸びる。Ｘ軸およびＹ軸は、光軸方向に垂直な方向に伸びる。
視点算出部１８５は、Ｙ軸を中心に第２の回転量だけＸ軸を回転させることにより、Ｘ’軸を得る。視点算出部１８５は、Ｘ軸を中心に第１の回転量だけＹ軸を回転させることにより、Ｙ’軸を得る。これにより、Ｘ軸に近いＸ’軸が得られ、かつＹ軸に近いＹ’軸が得られる。視点Ａおよび方向Ａがユーザーに分かりやすい。
Ｘ軸、Ｙ軸、およびＺ軸が互いに直交するため、Ｘ’軸、Ｙ’軸、およびＺ’軸は互いに直交する。Ｚ’軸は、基準面に垂直である。視点算出部１８５は、Ｘ軸を回転させることにより得られたＸ’軸をＺ’軸に平行な方向に移動させる。視点算出部１８５は、基準面上にＸ’軸を設定する。視点算出部１８５は、Ｙ軸を回転させることにより得られたＹ’軸をＺ’軸に平行な方向に移動させる。視点算出部１８５は、基準面上にＹ’軸を設定する。視点算出部１８５は、Ｘ’軸の正の方向をＸ軸の正の方向と同様に設定する。視点算出部１８５は、Ｙ’軸の正の方向をＹ軸の正の方向と同様に設定する。視点算出部１８５は、Ｚ’軸の正の方向をＺ軸の正の方向と同様に設定する。
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体ＯＢ２１を方向Ａに見たときに被写体が視野に入るような視点Ａを算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の基準点Ｐ２１のＸ’座標と第２の基準点Ｐ２２のＸ’座標と第３の基準点Ｐ２３のＸ’座標との平均である。視点ＡのＹ’座標は、被写体ＯＢ２１の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の基準点Ｐ２１、第２の基準点Ｐ２２、および第３の基準点Ｐ２３が視野に入る位置であってもよい。
方向Ａは、基準面に平行でなくてもよい。方向Ａは、基準面に平行な方向に対してわずかに傾いていてもよい。例えば、方向Ａは、基準面に平行な方向に対して５度傾いていてもよい。これにより、ユーザーは立体感を得ることができる。
ステップＳ２０８の後、視点算出部１８５は、基準面に基づいて視点Ｂ（第３の視点）および方向Ｂ（第３の方向）を算出する（ステップＳ２０９）。ステップＳ２０９は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ２０９において、以下の方法で視点Ｂおよび方向Ｂを算出する。
ステップＳ２０８において、Ｘ’軸、Ｙ’軸、およびＺ’軸が設定される。視点算出部１８５は、方向ＢをＸ’軸の正の方向に設定する。方向Ｂは、方向Ａに垂直である。視点算出部１８５は、被写体ＯＢ２１を方向Ｂに見たときに被写体が視野に入るような視点Ｂを算出する。例えば、視点ＢのＺ’座標は０である。視点ＢのＹ’座標は、第１の基準点Ｐ２１のＹ’座標と第２の基準点Ｐ２２のＹ’座標と第３の基準点Ｐ２３のＹ’座標との平均である。視点ＢのＸ’座標は、被写体ＯＢ２１の全体が視野に入る位置である。視点ＢのＸ’座標は、少なくとも第１の基準点Ｐ２１、第２の基準点Ｐ２２、および第３の基準点Ｐ２３が視野に入る位置であってもよい。
方向Ｂは、基準面に平行でなくてもよい。方向Ｂは、基準面に平行な方向に対してわずかに傾いていてもよい。例えば、方向Ｂは、基準面に平行な方向に対して５度傾いていてもよい。これにより、ユーザーは立体感を得ることができる。
ステップＳ２０９の後、画像生成部１８６は、ステップＳ２０２において算出された３次元座標に基づいて、視点Ａから方向Ａに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準面を３Ｄ画像に重畳する。ステップＳ２０７において算出された３本の基準線は基準面上にある。例えば、画像生成部１８６は、その３本の基準線を３Ｄ画像に重畳することにより、基準面を３Ｄ画像に重畳する。表示制御部１８１は、基準面が重畳された３Ｄ画像を表示部５に表示する（ステップＳ２１０）。ステップＳ２１０において表示された３Ｄ画像（第３の画像）は、視点Ａから方向Ａに見た被写体の状態を示す。ステップＳ２１０は、画像生成ステップおよび第２の表示ステップに対応する。
ステップＳ２１０の後、画像生成部１８６は、ステップＳ２０２において算出された３次元座標に基づいて、視点Ｂから方向Ｂに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準面を３Ｄ画像に重畳する。例えば、画像生成部１８６は、ステップＳ２０７において算出された３本の基準線を３Ｄ画像に重畳することにより、基準面を３Ｄ画像に重畳する。表示制御部１８１は、基準面が重畳された３Ｄ画像を表示部５に表示する（ステップＳ２１１）。ステップＳ２１１において表示された３Ｄ画像（第４の画像）は、視点Ｂから方向Ｂに見た被写体の状態を示す。ステップＳ２１１は、画像生成ステップおよび第２の表示ステップに対応する。
図３５は、ステップＳ２１０およびステップＳ２１１において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ２１ａ、３Ｄ画像Ｇ２２、３Ｄ画像Ｇ２３、およびイラストＩＴ２２が表示部５に表示される。表示制御部１８１は、ステップＳ２１０において、３Ｄ画像Ｇ２２が３Ｄ画像Ｇ２１ａと重ならないように３Ｄ画像Ｇ２２を表示部５に表示する。表示制御部１８１は、ステップＳ２１１において、３Ｄ画像Ｇ２３が３Ｄ画像Ｇ２１ａおよび３Ｄ画像Ｇ２２のいずれとも重ならないように３Ｄ画像Ｇ２３を表示部５に表示する。
３Ｄ画像Ｇ２１ａは、初期視点から初期方向に見た被写体ＯＢ２１の３Ｄ画像である。文字ＣＨ２１、第１の基準点Ｐ２１、第２の基準点Ｐ２２、第３の基準点Ｐ２３、基準線Ｌ２１、基準線Ｌ２２、基準線Ｌ２３、およびイラストＩＴ２１が３Ｄ画像Ｇ２１ａ上に表示される。３Ｄ画像Ｇ２２は、視点Ａから方向Ａに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２２が３Ｄ画像Ｇ２２上に表示される。基準面ＰＬ２２は、視点Ａから方向Ａに見た基準面を示す。基準面に平行な方向に基準面を見たとき、基準面は直線として見える。被写体ＯＢ２１の表面に平行な方向に見た被写体ＯＢ２１のエッジが３Ｄ画像Ｇ２２に映っている。
３Ｄ画像Ｇ２３は、視点Ｂから方向Ｂに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２３が３Ｄ画像Ｇ２３上に表示される。基準面ＰＬ２３は、視点Ｂから方向Ｂに見た基準面を示す。被写体ＯＢ２１の表面に平行な方向に見た被写体ＯＢ２１のエッジが３Ｄ画像Ｇ２３に映っている。
ユーザーは、３Ｄ画像Ｇ２２および３Ｄ画像Ｇ２３に基づいて、基準面が被写体ＯＢ２１のエッジ上に設定されているか否かを判断する。基準面が被写体ＯＢ２１のエッジ上に設定されている場合、基準面は被写体ＯＢ２１の表面を高精度に近似する。これにより、ユーザーは、３つの基準点の位置が妥当であるか否かを確認することができる。図３５に示す例では、基準面ＰＬ２２および基準面ＰＬ２３は被写体ＯＢ２１のエッジと一致する。そのため、ユーザーは、３つの基準点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
表示制御部１８１は、視点Ａおよび方向Ａを示す情報と、視点Ｂおよび方向Ｂを示す情報とを表示部５に表示する。具体的には、表示制御部１８１は、ステップＳ２１０において、挿入部２の先端２０のイラストＩＴ２１を表示部５に表示し、かつステップＳ２１１において、挿入部２の先端２０のイラストＩＴ２２を表示部５に表示する。イラストＩＴ２１は３Ｄ画像Ｇ２１ａ上に表示される。イラストＩＴ２１は、視点Ａに配置され方向Ａを向く挿入部２の先端２０を示す。イラストＩＴ２１が表示されるため、ユーザーは視点Ａおよび方向Ａを確認することができる。イラストＩＴ２２は、視点Ｂに配置され方向Ｂを向く挿入部２の先端２０を示す。イラストＩＴ２２が表示されるため、ユーザーは視点Ｂおよび方向Ｂを確認することができる。
３Ｄ画像Ｇ２２および３Ｄ画像Ｇ２３が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ２１ａを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ２２および３Ｄ画像Ｇ２３を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ２１ａのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ２２および３Ｄ画像Ｇ２３のみが表示部５に表示される。ユーザーが２つの基準点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ２１ａ、３Ｄ画像Ｇ２２、および３Ｄ画像Ｇ２３を表示させてもよい。
表示制御部１８１は、３Ｄ画像Ｇ２２の少なくとも一部が３Ｄ画像Ｇ２１ａと重なるように３Ｄ画像Ｇ２２を表示部５に表示してもよい。表示制御部１８１は、３Ｄ画像Ｇ２３の少なくとも一部が３Ｄ画像Ｇ２１ａおよび３Ｄ画像Ｇ２２の少なくとも１つと重なるように３Ｄ画像Ｇ２３を表示部５に表示してもよい。
図３６は、ステップＳ２１０およびステップＳ２１１において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ２１ａ１、３Ｄ画像Ｇ２２ａ、３Ｄ画像Ｇ２３ａ、およびイラストＩＴ２２ａが表示部５に表示される。３Ｄ画像Ｇ２１ａ１は、初期視点から初期方向に見た被写体ＯＢ２１の３Ｄ画像である。文字ＣＨ２１、第１の基準点Ｐ２１ａ、第２の基準点Ｐ２２、第３の基準点Ｐ２３、基準線Ｌ２１ａ、基準線Ｌ２２、基準線Ｌ２３ａ、およびイラストＩＴ２１ａが３Ｄ画像Ｇ２１ａ１上に表示される。第２の基準点Ｐ２２および第３の基準点Ｐ２３は被写体ＯＢ２１の表面上に設定される。第１の基準点Ｐ２１ａは被写体ＯＢ２１の表面ではない位置に設定される。
３Ｄ画像Ｇ２２ａは、視点Ａから方向Ａに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２２ａが３Ｄ画像Ｇ２２ａ上に表示される。３Ｄ画像Ｇ２３ａは、視点Ｂから方向Ｂに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２３ａが３Ｄ画像Ｇ２３ａ上に表示される。図３６に示す例では、基準面ＰＬ２２ａおよび基準面ＰＬ２３ａは被写体ＯＢ２１のエッジと一致しない。そのため、ユーザーは、３つの基準点の位置が妥当ではないと判断することができる。
ステップＳ２１１の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に計測点を設定する。表示制御部１８１は、計測点を、ステップＳ２０２において表示された３Ｄ画像上に表示する（ステップＳ２１２）。
ステップＳ２１２の後、計測部１８７は、基準面と計測点の３次元座標とに基づいて、被写体の大きさを計測する。具体的には、計測部１８７は、基準面と計測点の３次元座標との３次元距離を算出する（ステップＳ２１３）。
ステップＳ２１３の後、表示制御部１８１は、計測結果を表示部５に表示する（ステップＳ２１４）。ステップＳ２１４が実行されたとき、３次元計測が終了する。
図３７は、ステップＳ２１４において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ２１ｂ、３Ｄ画像Ｇ２２ｂ、３Ｄ画像Ｇ２３ｂ、およびイラストＩＴ２２が表示部５に表示される。文字ＣＨ２１、第１の基準点Ｐ２１、第２の基準点Ｐ２２、第３の基準点Ｐ２３、基準線Ｌ２１、基準線Ｌ２２、基準線Ｌ２３、およびイラストＩＴ２１が３Ｄ画像Ｇ２１ｂ上に表示される。さらに、計測点Ｐ２４および計測結果Ｒ２１が３Ｄ画像Ｇ２１ｂ上に表示される。計測点Ｐ２４は、被写体ＯＢ２１の凸部に設定される。計測結果Ｒ２１は、基準面と計測点の３次元座標との３次元距離を示す。
３Ｄ画像Ｇ２２ｂは、視点Ａから方向Ａに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２２および計測線Ｌ２４が３Ｄ画像Ｇ２２ｂ上に表示される。計測線Ｌ２４は、視点Ａから方向Ａに見た計測線を示す。３Ｄ画像Ｇ２３ｂは、視点Ｂから方向Ｂに見た被写体ＯＢ２１の３Ｄ画像である。基準面ＰＬ２３および計測線Ｌ２５が３Ｄ画像Ｇ２３ｂ上に表示される。計測線Ｌ２５は、視点Ｂから方向Ｂに見た計測線を示す。
ステップＳ２０３において、３Ｄ画像の代わりに、初期視点から初期方向に見た被写体の２Ｄ画像が表示部５に表示されてもよい。第１の基準点、第２の基準点、および第３の基準点は、その２Ｄ画像に設定されてもよい。
ステップＳ２０４における第１の基準点の表示、ステップＳ２０５における第２の基準点の表示、ステップＳ２０６における第３の基準点の表示、およびステップＳ２１２における計測点の表示は必須ではない。ステップＳ２０７における基準線の表示は必須ではない。
ステップＳ２１２からステップＳ２１４のいずれか１つが実行された後、ステップＳ２０８が実行されてもよい。ステップＳ２１２からステップＳ２１４のいずれか１つが実行された後、ステップＳ２１０が実行されてもよい。ステップＳ２１３またはステップＳ２１４が実行された後にステップＳ２１０が実行される場合、ユーザーは、計測に使用された３つの基準点の位置が妥当であるか否かを確認することができる。
ステップＳ２１２からステップＳ２１４のいずれか１つが実行された後、ステップＳ２０９が実行されてもよい。ステップＳ２１２からステップＳ２１４のいずれか１つが実行された後、ステップＳ２１１が実行されてもよい。ステップＳ２１３が実行された後にステップＳ２１１が実行される場合、ユーザーは、計測に使用された３つの基準点の位置が妥当であるか否かを確認することができる。
ステップＳ２１２からステップＳ２１４の各々は必須ではない。ステップＳ２１２からステップＳ２１４の各々が実行されなくてもよい。例えば、被写体の形状が所望の形状であるか否かを検査するために、ステップＳ２０１からステップＳ２１１の各々が実行されてもよい。例えば、検査対象の部位が平面状であるか否かを検査するために、ユーザーは３Ｄ画像上のその部位に３つの基準点を指定する。例えば、その部位は、検査対象の表面である。３つの基準点に基づく基準面が３Ｄ画像上に表示される。
ユーザーは、その３Ｄ画像に基づいて、基準面がその部位上に表示されているか否かを確認する。これにより、ユーザーは、３つの基準点の位置が妥当であるか否かを確認する。３つの基準点の位置が妥当であることが確認された後、ユーザーは、基準面とその部位の形状とを比較することにより、検査を実施する。
視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｂから方向Ｂに見た被写体の３Ｄ画像とのいずれか１つのみが表示部５に表示されてもよい。
ユーザーが２つの３Ｄ画像の視点を同時に変更できてもよい。例えば、ユーザーが１つの３Ｄ画像の視点を変更したとき、他の３Ｄ画像の視点が変更される。視点を変更する方法は、第３の実施形態の変形例で説明した方法と同様である。
第５の実施形態の内視鏡装置１は、基準点を修正する機能を有してもよい。操作部４は、修正された少なくとも１つの基準点の入力を受け付けてもよい。以前に設定された３つの基準点の少なくとも１つは、修正された基準点によって置き換えられてもよい。基準図形算出部１８４は、修正された少なくとも１つの基準点を含む３つの基準点の３次元座標に基づいて、基準面を算出してもよい。
第５の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像と、視点Ｂから方向Ｂに見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
（第６の実施形態）
本発明の第６の実施形態を説明する。第６の実施形態の内視鏡装置１は、２点間計測機能を有する。２つの計測点がユーザーによって指定される。２つの計測点の各々は、被写体の寸法を計測する位置を示す。また、２つの計測点の各々は、計測点の位置の確認に使用される基準図形を算出するための基準位置を示す。したがって、２つの計測点の各々は、本発明の各態様の基準点に対応する。
第６の実施形態において、基準図形は線分である。第２の視点および第２の方向を規定する直線軸は、基準図形に垂直である。
基準図形算出部１８４は、２つの計測点の３次元座標に基づいて、計測線を算出する。計測線が第６の実施形態における基準図形である。計測線は、３次元空間上の線分であり、かつ２つの計測点の各々の３次元座標を結ぶ。２つの計測点が計測線の２つの端点である。第６の実施形態において計測部１８７は、２つの計測点の３次元座標間の３次元距離を算出する。
図３８を使用して、第６の実施形態における３次元計測について説明する。図３８は、３次元計測の手順を示す。
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像（第１の画像）は、初期視点から初期方向に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する（ステップＳ３０１）。ステップＳ３０１は、画像取得ステップに対応する。
ステップＳ３０１の後、座標算出部１８３は、２Ｄ画像における全画素の３次元座標を算出する（ステップＳ３０２）。ステップＳ３０２は、座標算出ステップに対応する。
ステップＳ３０２の後、画像生成部１８６は、ステップＳ３０２において算出された３次元座標に基づいて、初期視点から初期方向に見た被写体の３次元画像（３Ｄ画像）を生成する。表示制御部１８１は、３Ｄ画像（第２の画像）を表示部５に表示する（ステップＳ３０３）。ステップＳ３０３は、第１の表示ステップに対応する。
ステップＳ３０３の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に第１の計測点を設定する。表示制御部１８１は、第１の計測点を、ステップＳ３０３において表示された３Ｄ画像上に表示する（ステップＳ３０４）。
ステップＳ３０４の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に第２の計測点を設定する。表示制御部１８１は、第２の計測点を、ステップＳ３０３において表示された３Ｄ画像上に表示する（ステップＳ３０５）。
ステップＳ３０５の後、基準図形算出部１８４は、第１の計測点および第２の計測点の各々の３次元座標を結ぶ計測線を算出する。表示制御部１８１は、計測線を、ステップＳ３０３において表示された３Ｄ画像上に表示する（ステップＳ３０６）。ステップＳ３０６は、基準図形算出ステップに対応する。
図３９は、ステップＳ３０６において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ３１が表示部５に表示される。３Ｄ画像Ｇ３１は、初期視点から初期方向に見た被写体ＯＢ３１の３Ｄ画像である。計測モードを示す文字ＣＨ３１が３Ｄ画像Ｇ３１上に表示される。文字ＣＨ３１は、計測モードが２点間計測であることを示す。第１の計測点Ｐ３１、第２の計測点Ｐ３２、および計測線Ｌ３１が３Ｄ画像Ｇ３１上に表示される。各計測点は、計測点の位置を示すマークとして表示される。図３９に示す例では、被写体ＯＢ３１の欠けの２つの端部に第１の計測点Ｐ３１および第２の計測点Ｐ３２が設定される。
ステップＳ３０６の後、視点算出部１８５は、計測線に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ３０７）。ステップＳ３０７は、視点算出ステップに対応する。視点算出部１８５は、ステップＳ３０７において、以下の方法で視点Ａおよび方向Ａを算出する。
視点算出部１８５は、計測線が伸びる方向と同じ方向に伸びるＸ’軸を設定する。Ｘ’軸は、計測線と一致する。視点算出部１８５は、Ｘ’軸に垂直な方向に伸びるＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。視点算出部１８５は、Ｘ’軸およびＺ’軸の各々に垂直な方向に伸びるＹ’軸（直線軸）を設定する。
視点算出部１８５は、Ｙ’軸の周辺に第１の領域および第２の領域を設定する。方向Ａは、第１の領域から第２の領域へ進む方向である。Ｙ’軸は、第１の領域および第２の領域を通る。第１の領域の体積と、第２の領域の体積とは同じである。第１の領域に含まれる被写体の体積は、第２の領域に含まれる被写体の体積よりも少ない。つまり、第１の領域における被写体ＯＢ３１の３次元座標のデータ数は、第２の領域における被写体ＯＢ３１の３次元座標のデータ数よりも少ない。視点算出部１８５は、第１の領域から第２の領域へ進む方向をＹ’軸の正の方向に設定する。視点算出部１８５は、Ｘ’軸およびＺ’軸の各々の正の方向をＹ’軸の正の方向に基づいて設定する。
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体ＯＢ３１を方向Ａに見たときに被写体ＯＢ３１が視野に入るような視点Ａを算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の計測点Ｐ３１のＸ’座標と第２の計測点Ｐ３２のＸ’座標との平均である。視点ＡのＹ’座標は、被写体ＯＢ３１の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の計測点Ｐ３１および第２の計測点Ｐ３２が視野に入る位置であってもよい。
ステップＳ３０７の後、画像生成部１８６は、ステップＳ３０２において算出された３次元座標に基づいて、視点Ａから方向Ａに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、計測線を３Ｄ画像に重畳する。表示制御部１８１は、計測線が重畳された３Ｄ画像を表示部５に表示する（ステップＳ３０８）。ステップＳ３０８において表示された３Ｄ画像（第３の画像）は、視点Ａから方向Ａに見た被写体の状態を示す。ステップＳ３０８は、画像生成ステップおよび第２の表示ステップに対応する。
図４０は、ステップＳ３０８において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ３１ａおよび３Ｄ画像Ｇ３２が表示部５に表示される。表示制御部１８１は、ステップＳ３０８において、３Ｄ画像Ｇ３２が３Ｄ画像Ｇ３１ａと重ならないように３Ｄ画像Ｇ３２を表示部５に表示する。３Ｄ画像Ｇ３１ａは、初期視点から初期方向に見た被写体ＯＢ３１の３Ｄ画像である。文字ＣＨ３１、第１の計測点Ｐ３１、第２の計測点Ｐ３２、計測線Ｌ３１、およびイラストＩＴ３１が３Ｄ画像Ｇ３１ａ上に表示される。
３Ｄ画像Ｇ３２は、視点Ａから方向Ａに見た被写体ＯＢ３１の３Ｄ画像である。計測線Ｌ３２が３Ｄ画像Ｇ３２上に表示される。計測線Ｌ３２は、視点Ａから方向Ａに見た計測線を示す。被写体ＯＢ３１の表面に平行な方向に見た被写体ＯＢ３１のエッジが３Ｄ画像Ｇ３２に映っている。
ユーザーは、３Ｄ画像Ｇ３２に基づいて、計測線が被写体ＯＢ３１のエッジ上に設定されているか否かを判断する。これにより、ユーザーは、２つの計測点の位置が妥当であるか否かを確認することができる。図４０に示す例では、計測線Ｌ３２は被写体ＯＢ３１のエッジと一致する。そのため、ユーザーは、２つの計測点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
表示制御部１８１は、視点Ａおよび方向Ａを示す情報を表示部５に表示する。具体的には、表示制御部１８１は、ステップＳ３０８において、挿入部２の先端２０のイラストＩＴ３１を表示部５に表示する。イラストＩＴ３１は３Ｄ画像Ｇ３１ａ上に表示される。イラストＩＴ３１は、視点Ａに配置され方向Ａを向く挿入部２の先端２０を示す。イラストＩＴ３１が表示されるため、ユーザーは視点Ａおよび方向Ａを確認することができる。
３Ｄ画像Ｇ３２が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ３１ａを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ３２を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ３１ａのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ３２のみが表示部５に表示される。ユーザーが２つの計測点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ３１ａおよび３Ｄ画像Ｇ３２を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ３２の少なくとも一部が３Ｄ画像Ｇ３１ａと重なるように３Ｄ画像Ｇ３２を表示部５に表示してもよい。
図４１は、ステップＳ３０８において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ３１ｂおよび３Ｄ画像Ｇ３２ｂが表示部５に表示される。３Ｄ画像Ｇ３１ｂは、初期視点から初期方向に見た被写体ＯＢ３１の３Ｄ画像である。文字ＣＨ３１、第１の計測点Ｐ３１ｂ、第２の計測点Ｐ３２ｂ、計測線Ｌ３１ｂ、およびイラストＩＴ３１ｂが３Ｄ画像Ｇ３１ｂ上に表示される。第１の計測点Ｐ３１ｂは被写体ＯＢ３１の欠けの１つの端部に設定される。第２の計測点Ｐ３２ｂは被写体ＯＢ３１の表面ではない位置に設定される。３Ｄ画像Ｇ３１ｂにおいて、第２の計測点Ｐ３２ｂの実際の位置がユーザーに分かりにくい。
３Ｄ画像Ｇ３２ｂは、視点Ａから方向Ａに見た被写体ＯＢ３１の３Ｄ画像である。計測線Ｌ３２ｂが３Ｄ画像Ｇ３２ｂ上に表示される。図４１に示す例では、計測線Ｌ３２ｂは被写体ＯＢ３１のエッジと一致しない。そのため、ユーザーは、２つの計測点の位置が妥当ではないと判断することができる。
ステップＳ３０８の後、計測部１８７は、２つの計測点の３次元座標に基づいて、被写体の大きさを計測する。具体的には、計測部１８７は、２つの計測点間の３次元距離を算出する（ステップＳ３０９）。
ステップＳ３０９の後、表示制御部１８１は、計測結果を表示部５に表示する（ステップＳ３１０）。ステップＳ３１０が実行されたとき、３次元計測が終了する。
ステップＳ３０３において、３Ｄ画像の代わりに、初期視点から初期方向に見た被写体の２Ｄ画像が表示部５に表示されてもよい。第１の計測点および第２の計測点は、その２Ｄ画像に設定されてもよい。
ステップＳ３０４における第１の計測点の表示、ステップＳ３０５における第２の計測点の表示、およびステップＳ３０６における計測線の表示は必須ではない。
ステップＳ３０９またはステップＳ３１０が実行された後、ステップＳ３０７が実行されてもよい。ステップＳ３０９またはステップＳ３１０が実行された後、ステップＳ３０８が実行されてもよい。ステップＳ３０９またはステップＳ３１０が実行された後にステップＳ３０８が実行される場合、ユーザーは、計測に使用された２つの計測点の位置が妥当であるか否かを確認することができる。
視点算出部１８５は、ステップＳ３０７において、方向ＡをＺ’軸の正の方向に設定し、かつＺ’軸上に視点Ａを設定してもよい。視点算出部１８５は、ステップＳ３０７において、方向ＡをＸ’軸の正の方向に設定し、かつＸ’軸上に視点Ａを設定してもよい。視点Ａから方向Ａに見た被写体の３Ｄ画像と、他の視点から他の方向に見た被写体の３Ｄ画像とが表示部５に表示されてもよい。
視点Ａおよび方向Ａを規定する直線軸は、被写体の表面を近似する近似平面に平行であってもよい。例えば、視点算出部１８５は、計測線が伸びる方向と同じ方向に伸びるＸ’軸を設定する。Ｘ’軸は、計測線と一致する。視点算出部１８５は、計測線の周辺の少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。例えば、視点算出部１８５は、最小二乗法を使用することにより、近似平面を算出する。例えば、視点算出部１８５は、計測線から所定距離以内にある少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。少なくとも３つの点は、計測線の近傍にある。少なくとも３つの点は、２つの計測点の少なくとも１つを含んでもよい。少なくとも３つの点は、２つの計測点を含まなくてもよい。少なくとも３つの点が少なくとも１つの計測点を含む場合、少なくとも３つの点は、計測線上の点を含む。視点算出部１８５は、近似平面に平行であってＸ’軸に垂直な方向に伸びるＹ’軸を設定する。
視点算出部１８５は、被写体の３次元座標のデータ数が少ない第１の領域から被写体の３次元座標のデータ数が多い第２の領域へ進む方向をＹ’軸の正の方向に設定する。第１の領域および第２の領域は、Ｙ’軸の周辺に設定される。視点算出部１８５は、Ｘ’軸およびＹ’軸の各々に垂直な方向に伸びるＺ’軸を設定する。Ｚ’軸は、カメラ位置を通る。
視点算出部１８５は、方向ＡをＹ’軸の正の方向に設定する。視点算出部１８５は、被写体を方向Ａに見たときに被写体が視野に入るような視点Ａを算出する。例えば、視点ＡのＺ’座標は０である。視点ＡのＸ’座標は、第１の計測点のＸ’座標と第２の計測点のＸ’座標との平均である。視点ＡのＹ’座標は、被写体の全体が視野に入る位置である。視点ＡのＹ’座標は、少なくとも第１の計測点および第２の計測点が視野に入る位置であってもよい。
方向Ａは、上記の近似平面に平行でなくてもよい。方向Ａは、近似平面に平行な方向に対してわずかに傾いていてもよい。例えば、方向Ａは、近似平面に平行な方向に対して５度傾いていてもよい。これにより、ユーザーは立体感を得ることができる。方向Ａは、近似平面に垂直であってもよい。
第６の実施形態の内視鏡装置１は、計測点を修正する機能を有してもよい。操作部４は、修正された少なくとも１つの計測点の入力を受け付けてもよい。以前に設定された２つの計測点の少なくとも１つは、修正された計測点によって置き換えられてもよい。基準図形算出部１８４は、修正された少なくとも１つの計測点を含む２つの計測点の３次元座標に基づいて、計測線を算出してもよい。
第６の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像が表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
（第７の実施形態）
本発明の第７の実施形態を説明する。第７の実施形態の内視鏡装置１は、面積／全長計測機能を有する。少なくとも３つの計測点がユーザーによって指定される。少なくとも３つの計測点の各々は、被写体の寸法を計測する位置を示す。また、少なくとも３つの計測点の各々は、計測点の位置の確認に使用される基準図形を算出するための基準位置を示す。したがって、少なくとも３つの計測点の各々は、本発明の各態様の基準点に対応する。
第７の実施形態において、基準図形は平面である。第２の視点および第２の方向を規定する直線軸は、基準図形に平行である。操作部４は、少なくとも３つの計測点の入力を受け付ける。基準図形算出部１８４は、少なくとも３つの計測点の３次元座標に基づいて、基準図形を算出する。基準面が第７の実施形態における基準図形である。
計測部１８７は、少なくとも３つの計測点を頂点とする図形の面積を算出する。例えば、計測部１８７は、その図形を複数の三角形に分割し、かつ複数の三角形の面積の合計を算出する。計測部１８７はさらに、少なくとも３つの計測点を頂点とする図形の全長を算出する。例えば、Ｎ角形の全長はＮ個の辺の長さの合計である。数字Ｎは３以上の整数である。１つの辺の長さは、ユーザーが指定した計測点の順番において連続する２つの計測点の３次元座標間の距離である。
図４２を使用して、第７の実施形態における３次元計測について説明する。図４２は、３次元計測の手順を示す。
撮像素子２８は、被写体を撮像し、かつ撮像信号を生成することにより、被写体の２Ｄ画像を取得する。取得された２Ｄ画像（第１の画像）は、初期視点から初期方向に見た被写体の２次元画像である。ＣＰＵ１８は、映像信号処理回路１２を経由して被写体の２Ｄ画像をＣＣＵ９から取得する（ステップＳ４０１）。ステップＳ４０１は、画像取得ステップに対応する。
ステップＳ４０１の後、座標算出部１８３は、２Ｄ画像における全画素の３次元座標を算出する（ステップＳ４０２）。ステップＳ４０２は、座標算出ステップに対応する。
ステップＳ４０２の後、画像生成部１８６は、ステップＳ４０２において算出された３次元座標に基づいて、初期視点から初期方向に見た被写体の３次元画像（３Ｄ画像）を生成する。表示制御部１８１は、３Ｄ画像（第２の画像）を表示部５に表示する（ステップＳ４０３）。ステップＳ４０３は、第１の表示ステップに対応する。
ステップＳ４０３の後、点設定部１８２は、操作部４の操作結果に基づいて、ユーザーが計測点として指定した位置を判断し、かつその位置に計測点を設定する。点設定部１８２は、少なくとも３つの計測点を設定する。表示制御部１８１は、少なくとも３つの計測点を、ステップＳ４０３において表示された３Ｄ画像上に表示する（ステップＳ４０４）。
ステップＳ４０４の後、基準図形算出部１８４は、少なくとも３つの計測点の３次元座標に基づいて、基準面を算出する。例えば、基準図形算出部１８４は、最小二乗法を使用することにより、基準面を算出する。基準図形算出部１８４は、少なくとも３本の計測線を算出する。各計測線は、ユーザーが指定した計測点の順番において連続する２つの計測点の各々の３次元座標を結ぶ。表示制御部１８１は、少なくとも３本の計測線を、ステップＳ４０４において表示された３Ｄ画像上に表示する（ステップＳ４０５）。表示された少なくとも３本の計測線は、基準面の位置を示す。ステップＳ４０５は、基準図形算出ステップに対応する。
図４３は、ステップＳ４０５において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ４１が表示部５に表示される。３Ｄ画像Ｇ４１は、初期視点から初期方向に見た被写体ＯＢ４１の３Ｄ画像である。計測モードを示す文字ＣＨ４１が３Ｄ画像Ｇ４１上に表示される。文字ＣＨ４１は、計測モードが面積／全長計測であることを示す。７つの計測点Ｐ４１が３Ｄ画像Ｇ４１上に表示される。図４３において、代表として１つの計測点Ｐ４１の符号が示されている。各計測点は、計測点の位置を示すマークとして表示される。７本の計測線Ｌ４１が３Ｄ画像Ｇ４１上に表示される。図４３において、代表として１本の計測線Ｌ４１の符号が示されている。
ステップＳ４０５の後、視点算出部１８５は、基準面に基づいて視点Ａ（第２の視点）および方向Ａ（第２の方向）を算出する（ステップＳ４０６）。ステップＳ４０６は、視点算出ステップに対応する。ステップＳ４０６における視点Ａおよび方向Ａの算出方法は、図３３に示すステップＳ２０８における視点Ａおよび方向Ａの算出方法と同じである。視点算出部１８５は、ステップＳ４０６において、方向ＡをＹ’軸の正の方向に設定し、かつＹ’軸上に視点Ａを設定する。
ステップＳ４０６の後、画像生成部１８６は、ステップＳ４０２において算出された３次元座標に基づいて、視点Ａから方向Ａに見た被写体の３次元画像（３Ｄ画像）を生成する。このとき、画像生成部１８６は、３Ｄ画像を透視投影で表示するための画像データを生成する。画像生成部１８６は、基準面を３Ｄ画像に重畳する。ステップＳ４０４において算出された少なくとも３本の計測線は基準面の概略位置を示す。例えば、画像生成部１８６は、その少なくとも３本の計測線を３Ｄ画像に重畳することにより、基準面を３Ｄ画像に重畳する。表示制御部１８１は、基準面が重畳された３Ｄ画像を表示部５に表示する（ステップＳ４０７）。ステップＳ４０７において表示された３Ｄ画像（第３の画像）は、視点Ａから方向Ａに見た被写体の状態を示す。ステップＳ４０７は、画像生成ステップおよび第２の表示ステップに対応する。
図４４は、ステップＳ４０７において表示部５に表示される画像の例を示す。３Ｄ画像Ｇ４１ａおよび３Ｄ画像Ｇ４２が表示部５に表示される。表示制御部１８１は、ステップＳ４０７において、３Ｄ画像Ｇ４２が３Ｄ画像Ｇ４１ａと重ならないように３Ｄ画像Ｇ４２を表示部５に表示する。
３Ｄ画像Ｇ４１ａは、初期視点から初期方向に見た被写体ＯＢ２１の３Ｄ画像である。文字ＣＨ４１、７つの計測点Ｐ４１、７本の計測線Ｌ４１、およびイラストＩＴ４１が３Ｄ画像Ｇ４１ａ上に表示される。３Ｄ画像Ｇ４２は、視点Ａから方向Ａに見た被写体ＯＢ４１の３Ｄ画像である。基準面ＰＬ４２が３Ｄ画像Ｇ４２上に表示される。基準面ＰＬ４２は、視点Ａから方向Ａに見た基準面を示す。基準面に平行な方向に基準面を見たとき、基準面は直線として見える。被写体ＯＢ４１の表面に平行な方向に見た被写体ＯＢ４１のエッジが３Ｄ画像Ｇ４２に映っている。
ユーザーは、３Ｄ画像Ｇ４２に基づいて、基準面が被写体ＯＢ４１のエッジ上に設定されているか否かを判断する。基準面が被写体ＯＢ４１のエッジ上に設定されている場合、基準面は被写体ＯＢ４１の表面を高精度に近似する。これにより、ユーザーは、７つの計測点の位置が妥当であるか否かを確認することができる。図４４に示す例では、基準面ＰＬ４２は被写体ＯＢ４１のエッジと一致する。そのため、ユーザーは、７つの計測点の位置が妥当であると判断することができる。視点の位置および視線の方向を指定するための操作は必要ない。
表示制御部１８１は、視点Ａおよび方向Ａを示す情報を表示部５に表示する。具体的には、表示制御部１８１は、ステップＳ４０７において、挿入部２の先端２０のイラストＩＴ４１を表示部５に表示する。イラストＩＴ４１は３Ｄ画像Ｇ４１ａ上に表示される。イラストＩＴ４１は、視点Ａに配置され方向Ａを向く挿入部２の先端２０を示す。イラストＩＴ４１が表示されるため、ユーザーは視点Ａおよび方向Ａを確認することができる。
３Ｄ画像Ｇ４２が表示部５に表示されたとき、表示制御部１８１は３Ｄ画像Ｇ４１ａを非表示にしてもよい。これにより、表示制御部１８１は、３Ｄ画像Ｇ４２を大きく表示することができる。表示制御部１８１は、ユーザーからの指示に基づいて第１の状態と第２の状態とを切り替えてもよい。第１の状態において、３Ｄ画像Ｇ４１ａのみが表示部５に表示される。第２の状態において、３Ｄ画像Ｇ４２のみが表示部５に表示される。ユーザーが７つの計測点の位置の確認を終了した後、ユーザーは、所定の操作を行うことにより、３Ｄ画像Ｇ４１ａおよび３Ｄ画像Ｇ４２を表示させてもよい。表示制御部１８１は、３Ｄ画像Ｇ４２の少なくとも一部が３Ｄ画像Ｇ４１ａと重なるように３Ｄ画像Ｇ４２を表示部５に表示してもよい。
図４５は、ステップＳ４０７において表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ４１ｂおよび３Ｄ画像Ｇ４２ｂが表示部５に表示される。３Ｄ画像Ｇ４１ｂは、初期視点から初期方向に見た被写体ＯＢ４１の３Ｄ画像である。文字ＣＨ４１、７つの計測点Ｐ４１、７本の計測線Ｌ４１、およびイラストＩＴ４１ｂが３Ｄ画像Ｇ４１ｂ上に表示される。１つの計測点Ｐ４１ｂは、被写体ＯＢ４１のエッジにおいて、他の６つの計測点Ｐ４１が設定された高さと異なる高さに設定される。３Ｄ画像Ｇ４１ｂにおいて、計測点Ｐ４１ｂの実際の位置がユーザーに分かりにくい。
３Ｄ画像Ｇ４２ｂは、視点Ａから方向Ａに見た被写体ＯＢ４１の３Ｄ画像である。基準面ＰＬ４２ｂが３Ｄ画像Ｇ４２ｂ上に表示される。基準面ＰＬ４２ｂは、７本の計測線として表示される。図４５に示す例では、被写体ＯＢ４１の表面に垂直な方向における計測点Ｐ４１ｂの高さがずれているため、７本の計測線の一部は被写体ＯＢ４１のエッジに平行ではない。そのため、ユーザーは、７つの計測点の一部の位置が妥当ではないと判断することができる。
ステップＳ４０７の後、計測部１８７は、少なくとも３つの計測点の３次元座標に基づいて、被写体の大きさを計測する。具体的には、計測部１８７は、少なくとも３つの計測点を頂点とする図形の面積と、その図形の全長とを算出する（ステップＳ４０８）。
ステップＳ４０８の後、表示制御部１８１は、計測結果を表示部５に表示する（ステップＳ４０９）。ステップＳ４０９が実行されたとき、３次元計測が終了する。
ステップＳ４０３において、３Ｄ画像の代わりに、初期視点から初期方向に見た被写体の２Ｄ画像が表示部５に表示されてもよい。少なくとも３つの計測点は、その２Ｄ画像に設定されてもよい。
ステップＳ４０４における計測点の表示およびステップＳ４０５における基準面の表示は必須ではない。
ステップＳ４０８またはステップＳ４０９が実行された後、ステップＳ４０６が実行されてもよい。ステップＳ４０８またはステップＳ４０９が実行された後、ステップＳ４０７が実行されてもよい。ステップＳ４０８またはステップＳ４０９が実行された後にステップＳ４０７が実行される場合、ユーザーは、計測に使用された少なくとも３つの計測点の位置が妥当であるか否かを確認することができる。
視点算出部１８５は、ステップＳ４０６において、方向ＡをＺ’軸の正の方向に設定し、かつＺ’軸上に視点Ａを設定してもよい。視点算出部１８５は、ステップＳ４０６において、方向ＡをＸ’軸の正の方向に設定し、かつＸ’軸上に視点Ａを設定してもよい。視点Ａから方向Ａに見た被写体の３Ｄ画像と、他の視点から他の方向に見た被写体の３Ｄ画像とが表示部５に表示されてもよい。
第７の実施形態の内視鏡装置１は、計測点を修正する機能を有してもよい。操作部４は、修正された少なくとも１つの計測点の入力を受け付けてもよい。以前に設定された少なくとも３つの計測点の一部は、修正された計測点によって置き換えられてもよい。基準図形算出部１８４は、修正された少なくとも１つの計測点を含む少なくとも３つの計測点の３次元座標に基づいて、基準面を算出してもよい。
第７の実施形態において、視点Ａから方向Ａに見た被写体の３Ｄ画像が表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
（第８の実施形態）
本発明の第８の実施形態を説明する。操作部４は、１つの計測点の入力を受け付ける。点設定部１８２は、表示部５に表示された被写体の画像（第２の画像）におけるカーソルの位置に計測点を設定する。計測点は、本発明の各態様の基準点に対応する。画像生成部１８６は、基準点の３次元座標に基づいて、第２の視点から第２の方向に見た被写体の３Ｄ画像（第３の画像）を生成する。画像生成部１８６は、計測点の３次元座標に基づいて、第２の視点と異なる第３の視点から第２の方向と異なる第３の方向に見た被写体の３Ｄ画像（第４の画像）を生成する。表示制御部１８１は、計測点の位置を示す情報が重畳された２つの３Ｄ画像を表示部５に表示する。
視点算出部１８５は、第２の方向をＸ軸の正の方向に設定し、かつ第２の視点をＸ軸上に設定する。視点算出部１８５は、第３の方向をＹ軸の正の方向に設定し、かつ第３の視点をＹ軸上に設定する。Ｘ軸、Ｙ軸、およびＺ軸は、初期視点および初期方向を規定する座標軸である。例えば、Ｚ軸は、内視鏡装置１の光学系の光軸方向に伸びる。Ｘ軸およびＹ軸は、光軸方向に垂直な方向に伸びる。
図４６は、表示部５に表示される画像の例を示す。３Ｄ画像Ｇ５１が表示部５に表示される。３Ｄ画像Ｇ５１は、初期視点から初期方向に見た被写体ＯＢ５１の３Ｄ画像である。カーソルＣＲ５１が３Ｄ画像Ｇ５１上に表示される。ユーザーは、操作部４を操作することにより、カーソルＣＲ５１を移動させることができる。カーソルＣＲ５１の位置に計測点が設定される。
３Ｄ画像Ｇ５２および３Ｄ画像Ｇ５３が３Ｄ画像Ｇ５１上に表示される。３Ｄ画像Ｇ５２は、第２の視点から第２の方向に見た被写体ＯＢ５１の３Ｄ画像である。３Ｄ画像Ｇ５３は、第３の視点から第３の方向に見た被写体ＯＢ５１の３Ｄ画像である。計測点Ｐ５１が３Ｄ画像Ｇ５２上に表示される。計測点Ｐ５１は、第２の視点から第２の方向に見た計測点を示す。計測点Ｐ５２が３Ｄ画像Ｇ５３上に表示される。計測点Ｐ５２は、第３の視点から第３の方向に見た計測点を示す。
撮像素子２８は、被写体ＯＢ５１の２Ｄ画像を取得する。座標算出部１８３は、ステレオ計測の原理に基づいて、２Ｄ画像における全画素の３次元座標を算出する。画像生成部１８６は、座標算出部１８３によって算出された３次元座標に基づいて、３Ｄ画像Ｇ５１、３Ｄ画像Ｇ５２、および３Ｄ画像Ｇ５３を生成する。
図４７および図４８は、画像生成部１８６によって生成された３Ｄ画像を示す。図４７に示す３Ｄ画像Ｇ５４は、第２の視点から第２の方向に見た被写体ＯＢ５１の３Ｄ画像である。図４８に示す３Ｄ画像Ｇ５５は、第３の視点から第３の方向に見た被写体ＯＢ５１の３Ｄ画像である。３Ｄ画像Ｇ５４および３Ｄ画像Ｇ５５は、３Ｄ画像Ｇ５１に映っている被写体ＯＢ５１の全体に対応する複数の点を含む。画像生成部１８６は、計測点Ｐ５１の周辺の領域を含む画像を３Ｄ画像Ｇ５４から切り出す。切り出された画像は、３Ｄ画像Ｇ５２である。画像生成部１８６は、計測点Ｐ５２の周辺の領域を含む画像を３Ｄ画像Ｇ５５から切り出す。切り出された画像は、３Ｄ画像Ｇ５３である。
３次元座標の算出結果が誤差を含む場合がある。Ｘ座標およびＹ座標の各々の算出結果と比較して、Ｚ座標の算出結果は、より大きな誤差を含みやすい。Ｚ軸に平行な方向は、画像の奥行き方向である。ユーザーが３Ｄ画像Ｇ５１において被写体のエッジ上の計測点を指定したと考えた場合であっても、その計測点が被写体のエッジ上にないことがある。計測点Ｐ５１は、３Ｄ画像Ｇ５２上の被写体ＯＢ５１の大きな点群から離れている。計測点Ｐ５２は、３Ｄ画像Ｇ５３上の被写体ＯＢ５１の大きな点群から離れている。そのため、ユーザーは、カーソルＣＲ５１が示す計測点の位置が妥当ではないと判断することができる。
図４６に示す例では、２枚の３Ｄ画像Ｇ５２および３Ｄ画像Ｇ５３が表示部５に表示される。３Ｄ画像Ｇ５２のみ、あるいは３Ｄ画像Ｇ５３のみが表示部５に表示されてもよい。
第８の実施形態において、第２の視点から第２の方向に見た被写体の３Ｄ画像と、第３の視点から第３の方向に見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
（第９の実施形態）
本発明の第９の実施形態を説明する。第８の実施形態において説明した方法で３Ｄ画像が表示された場合、３Ｄ画像内の被写体の表面の角度に起因して、計測点の妥当性の判断が難しい場合がある。
図４９および図５０は、第８の実施形態において説明した方法で生成された３Ｄ画像を示す。図４９は、被写体の表面を近似する平面がＺ軸に対して４５度の角度を持つ場合にＸ軸に平行な方向に見た被写体の３Ｄ画像Ｇ５６を示す。図５０は、被写体の表面を近似する平面がＺ軸に対して４５度の角度を持つ場合にＹ軸に平行な方向に見た被写体の３Ｄ画像Ｇ５７を示す。
３Ｄ画像Ｇ５６および３Ｄ画像Ｇ５７において、大きな誤差を含む３次元座標を持つ点が被写体の表面上の他の点と重なる場合がある。そのため、計測点の位置が妥当であるか否かをユーザーが判断することが難しい。また、計測点が被写体のエッジの近傍に設定された場合、エッジと計測点との間のずれの方向がユーザーに分かりにくい。
第９の実施形態において、視点算出部１８５は、計測点の周辺の領域における被写体の状態に基づいて第２の方向および第２の視点を算出する。具体的には、基準図形算出部１８４は、少なくとも３つの点の３次元座標に基づいて、基準図形を算出する。第９の実施形態において基準図形は、被写体の表面を近似する平面である。少なくとも３つの点の各々は被写体上の複数の点の１つである。少なくとも３つの点は、少なくとも１つの計測点に基づいて決定される。第２の方向は、直線軸に平行である。直線軸は、基準図形に垂直であり、または基準図形に平行である。第２の視点は、直線軸上にある。
視点算出部１８５は、計測点の周辺の領域に被写体のエッジがあるか否かを判断する。計測点の周辺の領域に被写体のエッジがあると視点算出部１８５が判断した場合、視点算出部１８５は、エッジの位置に基づいて第２の方向および第２の視点を算出する。
図５１を使用して、第９の実施形態における視線の方向の算出方法について説明する。図５１は、視線の方向を算出する手順を示す。座標算出部１８３は、撮像素子２８によって取得された２Ｄ画像における全画素の３次元座標を算出する。３次元座標が算出された後、図５１に示す処理が実行される。
視点算出部１８５は、座標算出部１８３によって算出された３次元座標を持つ複数の点から計測点の周辺の少なくとも３つの点を抽出する。例えば、視点算出部１８５は、計測点から所定距離以内にある少なくとも３つの点を抽出する。計測点の周辺の少なくとも３つの点は、計測点を含んでもよい。計測点の周辺の少なくとも３つの点は、計測点を含まなくてもよい（ステップＳ５０１）。
ステップＳ５０１の後、視点算出部１８５は、抽出された少なくとも３つの点の３次元座標に基づいて、近似平面を算出する。例えば、視点算出部１８５は、最小二乗法を使用することにより、近似平面を算出する（ステップＳ５０２）。
ステップＳ５０２の後、視点算出部１８５は、被写体の表面が平面であるか否かを判断する。例えば、視点算出部１８５は、ステップＳ５０１において抽出された少なくとも３つの点の各々と近似平面との距離の２乗和を算出する。視点算出部１８５は、２乗和と所定のしきい値とを比較する。２乗和がしきい値以下である場合、視点算出部１８５は、被写体の表面が平面であると判断する。２乗和がしきい値よりも大きい場合、視点算出部１８５は、被写体の表面が平面ではないと判断する（ステップＳ５０３）。
ステップＳ５０３において、被写体の表面が平面であると視点算出部１８５が判断した場合、視点算出部１８５は、計測点の周辺にエッジがあるか否かを判断する（ステップＳ５０４）。エッジを検出するための様々なアルゴリズムが使用できる。例えば、２次元的なフィルタを２Ｄ画像に適用することによりエッジを検出する方法がある。２次元的なフィルタは、Ｃａｎｎｙ ｅｄｇｅ ｄｅｔｅｃｔｏｒ、Ｓｏｂｅｌフィルタ、またはＰｒｅｗｉｔｔフィルタ等である。Ｃａｎｎｙ ｅｄｇｅ ｄｅｔｅｃｔｏｒを距離画像に適用することによりエッジを検出する方法がある。距離画像は、２Ｄ画像における各画素の値として、その画素における距離を含む画像である。Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｎｏｒｍａｌオペレータを３次元点群に適用することによりエッジを検出する方法がある。視点算出部１８５は、上記の方法以外の方法を使用することによりエッジを検出してもよい。
ステップＳ５０４において、計測点の周辺にエッジがあると視点算出部１８５が判断した場合、視点算出部１８５は、Ｘ’軸およびＹ’軸を設定する。Ｘ’軸は、近似平面に平行な方向であって、エッジに垂直な方向に伸びる。Ｙ’軸は、近似平面に平行な方向であって、エッジに平行な方向に伸びる（ステップＳ５０５）。エッジが直線状ではない場合、エッジに最も近い近似直線が使用されてもよい。
ステップＳ５０５の後、視点算出部１８５は、第２の方向をＸ’軸に平行な方向に設定する（ステップＳ５０６）。ステップＳ５０６の後、視点算出部１８５は、第３の方向をＹ’軸に平行な方向に設定する（ステップＳ５０７）。ステップＳ５０７が実行されたとき、視線の方向を算出する処理が終了する。
ステップＳ５０４において、計測点の周辺にエッジがないと視点算出部１８５が判断した場合、視点算出部１８５は、Ｘ’軸およびＹ’軸を設定する。Ｘ’軸は、近似平面に平行な方向に伸びる。Ｙ’軸は、近似平面に平行な方向に伸びる（ステップＳ５０８）。ステップＳ５０８の後、ステップＳ５０６が実行される。
ステップＳ５０３において、被写体の表面が平面ではないと視点算出部１８５が判断した場合、視点算出部１８５は、第２の方向を、初期視点および初期方向を規定するＸ軸に平行な方向に設定する（ステップＳ５０９）。ステップＳ５０９の後、視点算出部１８５は、第３の方向を、初期視点および初期方向を規定するＹ軸に平行な方向に設定する（ステップＳ５１０）。ステップＳ５１０が実行されたとき、視線の方向を算出する処理が終了する。
図５１に示す手順において、Ｚ’軸の説明は省略されている。Ｚ’軸は、近似平面に垂直な方向に伸びる。
図５１に示す手順において、第２の視点および第３の視点の説明は省略されている。例えば、第２の視点はＸ’軸上またはＸ軸上に設定される。例えば、第３の視点はＹ’軸上またはＹ軸上に設定される。
図５２は、表示部５に表示される画像の例を示す。３Ｄ画像Ｇ６１が表示部５に表示される。３Ｄ画像Ｇ６１は、初期視点から初期方向に見た被写体ＯＢ６１の３Ｄ画像である。カーソルＣＲ６１が３Ｄ画像Ｇ６１上に表示される。カーソルＣＲ６１の位置に計測点が設定される。
３Ｄ画像Ｇ６２および３Ｄ画像Ｇ６３が３Ｄ画像Ｇ６１上に表示される。３Ｄ画像Ｇ６２は、第２の視点から第２の方向に見た被写体ＯＢ６１の３Ｄ画像である。３Ｄ画像Ｇ６３は、第３の視点から第３の方向に見た被写体ＯＢ６１の３Ｄ画像である。計測点Ｐ６１が３Ｄ画像Ｇ６２上に表示される。計測点Ｐ６１は、第２の視点から第２の方向に見た計測点を示す。計測点Ｐ６２が３Ｄ画像Ｇ６３上に表示される。計測点Ｐ６２は、第３の視点から第３の方向に見た計測点を示す。３Ｄ画像Ｇ６２および３Ｄ画像Ｇ６３は、被写体の表面が平面であると判断され、かつ計測点の周辺にエッジがないと判断された場合に生成された３Ｄ画像の例である。
画像生成部１８６は、ステップＳ５０２において算出された近似平面を３Ｄ画像に重畳する。表示制御部１８１は、近似平面が重畳された３Ｄ画像を表示部５に表示する。近似平面ＰＬ６１が３Ｄ画像Ｇ６２上に表示される。近似平面ＰＬ６２が３Ｄ画像Ｇ６３上に表示される。
表示制御部１８１は、３Ｄ画像上の複数の点の各々から近似平面までの距離の統計量を示す情報が重畳された３Ｄ画像を表示部５に表示する。例えば、視点算出部１８５は、ステップＳ５０１において抽出された少なくとも３つの点の各々と近似平面との距離の標準偏差σを算出する。視点算出部１８５は、近似平面から２σだけ離れた２つの平面を算出する。２つの平面は、近似平面に平行である。画像生成部１８６は、２つの平面を３Ｄ画像に重畳する。表示制御部１８１は、２つの平面が重畳された３Ｄ画像を表示部５に表示する。平面ＰＬ６３ａおよび平面ＰＬ６３ｂが３Ｄ画像Ｇ６２上に表示される。平面ＰＬ６３ａおよび平面ＰＬ６３ｂは、統計量を示す。平面ＰＬ６４ａおよび平面ＰＬ６４ｂが３Ｄ画像Ｇ６３上に表示される。平面ＰＬ６４ａおよび平面ＰＬ６４ｂは、統計量を示す。
ユーザーは、計測点Ｐ６１と近似平面ＰＬ６１との距離に基づいて、計測点Ｐ６１の妥当性を判断する。あるいは、ユーザーは、計測点Ｐ６２と近似平面ＰＬ６２との距離に基づいて、計測点Ｐ６２の妥当性を判断する。ユーザーは、平面ＰＬ６３ａおよび平面ＰＬ６３ｂを参考にして計測点Ｐ６１の妥当性を判断することができる。ユーザーは、平面ＰＬ６４ａおよび平面ＰＬ６４ｂを参考にして計測点Ｐ６２の妥当性を判断することができる。
計測点Ｐ６１は、平面ＰＬ６３ａおよび平面ＰＬ６３ｂの間にない。つまり、計測点Ｐ６１と近似平面ＰＬ６１との距離は大きい。計測点Ｐ６２は、平面ＰＬ６４ａおよび平面ＰＬ６４ｂの間にない。つまり、計測点Ｐ６２と近似平面ＰＬ６２との距離は大きい。これは、カーソルＣＲ６１が示す計測点の３次元座標が大きな誤差を含むことを示す。そのため、ユーザーは、カーソルＣＲ６１が示す計測点の位置が妥当ではないと判断することができる。
図５３は、表示部５に表示される画像の他の例を示す。３Ｄ画像Ｇ６１ａが表示部５に表示される。３Ｄ画像Ｇ６１ａは、初期視点から初期方向に見た被写体ＯＢ６１の３Ｄ画像である。カーソルＣＲ６１ａが３Ｄ画像Ｇ６１ａ上に表示される。カーソルＣＲ６１ａの位置に計測点が設定される。カーソルＣＲ６１ａが示す計測点の近傍に被写体ＯＢ６１のエッジがある。
３Ｄ画像Ｇ６２ａおよび３Ｄ画像Ｇ６３ａが３Ｄ画像Ｇ６１ａ上に表示される。３Ｄ画像Ｇ６２ａは、第２の視点から第２の方向に見た被写体ＯＢ６１の３Ｄ画像である。３Ｄ画像Ｇ６３ａは、第３の視点から第３の方向に見た被写体ＯＢ６１の３Ｄ画像である。計測点Ｐ６１ａが３Ｄ画像Ｇ６２上に表示される。計測点Ｐ６１ａは、第２の視点から第２の方向に見た計測点を示す。計測点Ｐ６２ａが３Ｄ画像Ｇ６３ａ上に表示される。計測点Ｐ６２ａは、第３の視点から第３の方向に見た計測点を示す。３Ｄ画像Ｇ６２ａおよび３Ｄ画像Ｇ６３ａは、被写体の表面が平面であると判断され、かつ計測点の周辺にエッジがあると判断された場合に生成された３Ｄ画像の例である。
近似平面ＰＬ６１ａが３Ｄ画像Ｇ６２ａ上に表示される。近似平面ＰＬ６２ａが３Ｄ画像Ｇ６３ａ上に表示される。３Ｄ画像上の複数の点の各々から近似平面までの距離の統計量を示す情報が３Ｄ画像Ｇ６２ａおよび３Ｄ画像Ｇ６３ａ上に表示されてもよい。
計測点Ｐ６１ａは、近似平面ＰＬ６１ａ上にある。計測点Ｐ６２ａは、近似平面ＰＬ６２ａ上にある。そのため、ユーザーは、カーソルＣＲ６１ａが示す計測点の位置が妥当であると判断することができる。
図５２に示す例では、２枚の３Ｄ画像Ｇ６２および３Ｄ画像Ｇ６３が表示部５に表示される。３Ｄ画像Ｇ６２のみ、あるいは３Ｄ画像Ｇ６３のみが表示部５に表示されてもよい。図５３に示す例では、２枚の３Ｄ画像Ｇ６２ａおよび３Ｄ画像Ｇ６３ａが表示部５に表示される。３Ｄ画像Ｇ６２ａのみ、あるいは３Ｄ画像Ｇ６３ａのみが表示部５に表示されてもよい。
第９の実施形態において、第２の視点から第２の方向に見た被写体の３Ｄ画像と、第３の視点から第３の方向に見た被写体の３Ｄ画像とが表示部５に表示される。そのため、内視鏡装置１は、被写体の画像上で指定された点の妥当性の判断を容易化することができる。
計測点の周辺の領域において被写体の表面が平面である場合、視線の方向はその平面に平行な方向に設定される。そのため、計測点の位置が妥当であるか否かをユーザーが判断することが容易である。
計測点の周辺の領域において被写体の表面が平面であり、かつ計測点の近傍に被写体のエッジがある場合、視線の方向はその平面に平行であり、かつそのエッジに平行である。あるいは、視線の方向はその平面に平行であり、かつそのエッジに垂直である。そのため、計測点の位置が妥当であるか否かをユーザーが判断することが容易である。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
１ 内視鏡装置
２ 挿入部
３ 本体
４ 操作部
５ 表示部
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御装置
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインタフェース
１６ 外部機器インタフェース
１７ 制御インタフェース
１８ ＣＰＵ
２０ 先端
２８ 撮像素子
１８０ 制御部
１８１ 表示制御部
１８２ 点設定部
１８３ 座標算出部
１８４ 基準図形算出部
１８５ 視点算出部
１８６ 画像生成部
１８７ 計測部

Claims (20)

  1. 画像取得部が、被写体の２次元画像である第１の画像を取得する画像取得ステップと、
    座標算出部が、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、
    表示制御部が、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、
    受け付け部が少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、
    基準図形算出部が、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、
    視点算出部が、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、
    画像生成部が、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、
    前記表示制御部が、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、
    を有することを特徴とする３次元画像表示方法。
  2. 前記基準図形は、直線、線分、および平面の１つであり、
    前記第２の方向は、直線軸に平行であり、
    前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行である
    ことを特徴とする請求項１に記載の３次元画像表示方法。
  3. 前記基準図形は、前記直線および前記線分の１つであり、
    前記直線軸は、前記基準図形に垂直である
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  4. 前記基準図形は、前記直線および前記線分の１つであり、
    前記直線軸は、前記基準図形に平行である
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  5. 前記基準図形は、前記平面であり、
    前記直線軸は、前記基準図形に平行である
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  6. 前記基準図形は、前記直線および前記線分の１つであり、
    前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、
    前記近似平面は、前記被写体の表面を近似する平面であり、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、
    前記直線軸は、前記近似平面に平行である
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  7. 前記基準図形は、前記直線および前記線分の１つであり、
    前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、
    前記近似平面は、前記被写体の表面を近似する平面であり、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、
    前記直線軸は、前記近似平面に垂直である
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  8. 前記第２の方向は、第１の領域から第２の領域へ進む方向であり、
    前記直線軸は、前記第１の領域および前記第２の領域を通り、
    前記第１の領域の体積と、前記第２の領域の体積とは同じであり、
    前記第１の領域に含まれる前記被写体の体積は、前記第２の領域に含まれる前記被写体の体積よりも少ない
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  9. 前記視点算出部はさらに、前記視点算出ステップにおいて、前記基準図形に基づいて、第３の方向および第３の視点を算出し、前記第３の方向は、前記第１の方向および前記第２の方向のいずれとも異なり、前記第３の視点は、前記第１の視点および前記第２の視点のいずれとも異なり、
    前記画像生成部はさらに、前記画像生成ステップにおいて、前記複数の点の前記３次元座標に基づいて、第４の画像を生成し、前記第４の画像は、前記第３の視点から前記第３の方向に見た前記被写体の３次元画像であり、
    前記表示制御部はさらに、前記第２の表示ステップにおいて、前記基準図形の位置を示す情報が重畳された前記第４の画像を前記ディスプレイに表示する
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  10. 前記被写体を基準にした前記第２の方向および前記第２の視点が変更された場合、前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第２の方向および変更された前記第２の視点に基づいて、前記第２の画像を再度生成し、
    前記被写体を基準にした前記第２の視点が変更されたとき、前記第２の視点と前記第３の視点との相対関係を保つように、前記被写体を基準にした前記第３の視点は変更され、
    前記被写体を基準にした前記第２の方向が変更されたとき、前記第２の方向と前記第３の方向との相対関係を保つように、前記被写体を基準にした前記第３の方向は変更され、
    前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第３の方向および変更された前記第３の視点に基づいて、前記第４の画像を再度生成し、
    前記表示制御部はさらに、前記第２の表示ステップにおいて、再度生成された前記第２の画像と、再度生成された前記第４の画像とを前記ディスプレイに表示する
    ことを特徴とする請求項９に記載の３次元画像表示方法。
  11. 前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像の少なくとも一部が前記第２の画像と重なるように前記第３の画像を前記ディスプレイに表示する
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  12. 前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像が前記第２の画像と重ならないように前記第３の画像を前記ディスプレイに表示する
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  13. 前記表示制御部が、前記第２の視点および前記第２の方向を示す情報を前記ディスプレイに表示する第３の表示ステップをさらに有する
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  14. 前記基準図形は、前記直線および前記線分の１つであり、
    前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面上にある
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  15. 前記基準図形は、前記直線および前記線分の１つであり、
    前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面よりも前記第２の方向側にある
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  16. 前記基準図形は、前記直線および前記線分の１つであり、
    前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点は、第１の平面と第２の平面とに挟まれた領域にあり、
    前記第１の平面は、前記基準図形を通り前記直線軸に垂直であり、
    前記第２の平面は、前記直線軸に垂直であり、かつ前記第１の平面よりも前記第２の方向側にある
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  17. 前記基準図形は、前記平面であり、
    前記表示制御部は、前記第２の表示ステップにおいて、前記複数の点の各々から前記平面までの距離の統計量を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する
    ことを特徴とする請求項２に記載の３次元画像表示方法。
  18. 前記基準図形算出部は、前記基準図形算出ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記基準図形を算出し、
    前記基準図形は、前記被写体の表面を近似する平面であり、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点は、前記少なくとも１つの基準点に基づいて決定され、
    前記第２の方向は、直線軸に平行であり、
    前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行である
    ことを特徴とする請求項１に記載の３次元画像表示方法。
  19. 被写体の２次元画像である第１の画像を取得する画像取得部と、
    前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出部と、
    第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである表示制御部と、
    少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである受け付け部と、
    前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出部と、
    前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出部と、
    前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成部と、
    を有し、
    前記表示制御部はさらに、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する
    ことを特徴とする３次元画像表示装置。
  20. 被写体の２次元画像である第１の画像を取得する画像取得ステップと、
    前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、
    第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、
    少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、
    前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、
    前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、
    前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、
    前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、
    をコンピュータに実行させるためのプログラム。
JP2019020066A 2019-02-06 2019-02-06 ３次元画像表示方法、３次元画像表示装置、およびプログラム Pending JP2020126208A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019020066A JP2020126208A (ja) 2019-02-06 2019-02-06 ３次元画像表示方法、３次元画像表示装置、およびプログラム
US16/751,449 US11232568B2 (en) 2019-02-06 2020-01-24 Three-dimensional image display method, three-dimensional image display device, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019020066A JP2020126208A (ja) 2019-02-06 2019-02-06 ３次元画像表示方法、３次元画像表示装置、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020126208A true JP2020126208A (ja) 2020-08-20
JP2020126208A5 JP2020126208A5 (ja) 2021-09-16

Family

ID=71837590

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019020066A Pending JP2020126208A (ja) 2019-02-06 2019-02-06 ３次元画像表示方法、３次元画像表示装置、およびプログラム

Country Status (2)

Country Link
US (1) US11232568B2 (ja)
JP (1) JP2020126208A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018092051A2 (en) * 2016-11-16 2018-05-24 Nanotronix Computing Inc. Authentication using object imaging
CN112584738B (zh) * 2018-08-30 2024-04-23 奥林巴斯株式会社 记录装置、图像观察装置、观察系统、观察系统的控制方法及存储介质
JP7377088B2 (ja) * 2019-12-10 2023-11-09 キヤノン株式会社 電子機器およびその制御方法、プログラム、並びに記憶媒体
JP2022159806A (ja) * 2021-04-05 2022-10-18 株式会社エビデント データ処理方法、データ処理装置、およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012063866A (ja) * 2010-09-14 2012-03-29 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP2016099665A (ja) * 2014-11-18 2016-05-30 株式会社東芝 視点位置算出装置、画像生成装置、視点位置算出方法、画像生成方法、視点位置算出プログラム、及び、画像生成プログラム
JP2018521370A (ja) * 2015-03-17 2018-08-02 ゼネラル・エレクトリック・カンパニイ 観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための方法および機器

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2351509A4 (en) * 2008-10-28 2018-01-17 Olympus Corporation Medical device
JP5395538B2 (ja) * 2009-06-30 2014-01-22 株式会社東芝 超音波診断装置及び画像データ表示用制御プログラム
US20120095341A1 (en) * 2010-10-19 2012-04-19 Toshiba Medical Systems Corporation Ultrasonic image processing apparatus and ultrasonic image processing method
US9013469B2 (en) 2011-03-04 2015-04-21 General Electric Company Method and device for displaying a three-dimensional view of the surface of a viewed object
WO2016208246A1 (ja) * 2015-06-24 2016-12-29 ソニー・オリンパスメディカルソリューションズ株式会社 医療用立体観察装置、医療用立体観察方法、及びプログラム
JP6624945B2 (ja) * 2016-01-21 2019-12-25 キヤノン株式会社 画像形成方法及び装置
WO2019012817A1 (ja) * 2017-07-14 2019-01-17 ソニー株式会社 画像処理装置、画像処理装置の画像処理方法、プログラム
JP6804417B2 (ja) * 2017-09-26 2020-12-23 オリンパス株式会社 計測装置、計測システム、計測装置の作動方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012063866A (ja) * 2010-09-14 2012-03-29 Topcon Corp 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP2016099665A (ja) * 2014-11-18 2016-05-30 株式会社東芝 視点位置算出装置、画像生成装置、視点位置算出方法、画像生成方法、視点位置算出プログラム、及び、画像生成プログラム
JP2018521370A (ja) * 2015-03-17 2018-08-02 ゼネラル・エレクトリック・カンパニイ 観視対象の３次元形状を描画する画像と同時に観視対象の２次元画像を表示するための方法および機器

Also Published As

Publication number Publication date
US11232568B2 (en) 2022-01-25
US20200250823A1 (en) 2020-08-06

Similar Documents

Publication Publication Date Title
JP2020126208A (ja) ３次元画像表示方法、３次元画像表示装置、およびプログラム
JP7045963B2 (ja) 計測装置の作動方法、計測装置、およびプログラム
US11321861B2 (en) Method of operating measurement device, measurement device, measurement system, three-dimensional shape restoration device, and recording medium
JP2011182977A (ja) 内視鏡装置およびプログラム
CN109035141B (zh) 肋骨展开装置及方法
EP3629302A1 (en) Information processing apparatus, information processing method, and storage medium
WO2017199285A1 (ja) 画像処理装置及び画像処理方法
US20120271102A1 (en) Stereoscopic endoscope apparatus
US10432916B2 (en) Measurement apparatus and operation method of measurement apparatus
US20200053296A1 (en) Measurement device, method of operating measurement device, and recording medium
US20190188842A1 (en) Measurement processing device
US11055865B2 (en) Image acquisition device and method of operating image acquisition device
US20220357157A1 (en) Image-processing method, image-processing device, and recording medium
US20220020208A1 (en) Measurement method, measurement device, and recording medium
JP6806633B2 (ja) 計測装置および計測装置の作動方法
JP6081209B2 (ja) 内視鏡装置およびプログラム
JP2008067915A (ja) 医用画像表示装置
JP5976436B2 (ja) 内視鏡装置およびプログラム
US20230003991A1 (en) Surface estimation method, surface estimation device, and recording medium
JP7513496B2 (ja) 画像表示方法、表示制御装置、およびプログラム
JP5361517B2 (ja) 内視鏡装置および計測方法
JP6426215B2 (ja) 内視鏡装置およびプログラム
JP2023009838A (ja) 画像処理方法、画像処理装置、およびプログラム
JP2002092621A (ja) 画像表示装置
JP2023090384A (ja) 画像表示装置、画像表示方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210803

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220622

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20220629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221223