JP2022073020A

JP2022073020A - 画像表示方法、表示制御装置、およびプログラム

Info

Publication number: JP2022073020A
Application number: JP2020182765A
Authority: JP
Inventors: 直樹山本; Naoki Yamamoto
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2020-10-30
Filing date: 2020-10-30
Publication date: 2022-05-17
Also published as: US20220136820A1

Abstract

【課題】被写体の定量的な判断に適した画像を表示することができる画像表示方法、表示制御装置、およびプログラムを提供する。【解決手段】画像表示方法は、判断ステップ、生成ステップ、および表示ステップを有する。判断部は、前記判断ステップにおいて、２つ以上の点を含む３次元空間において２次元状または３次元状に広がる図形を示す基準モデルを参照し、各点と前記基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する。生成部は、前記生成ステップにおいて、画像を生成し、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせる。前記第１の点は前記条件を満たし、前記第２の点は前記条件を満たさない。表示制御部は、前記表示ステップにおいて前記画像をディスプレイに表示する。【選択図】図５

Description

本発明は、画像表示方法、表示制御装置、およびプログラムに関する。

ボイラー、パイプ、および航空機エンジン等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な観察物を観察および検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。このような内視鏡装置を使用した検査において、被写体の異常領域（欠陥または傷等）の大きさを定量的に計測したいという要望がある。この要望に応えるために、３次元計測機能が搭載された内視鏡装置が開発されている。例えば、内視鏡装置は、ユーザーによって画像上で指定された点の情報に基づいて被写体の幾何学的な大きさを計測する機能を有する。

一方、詳細な計測が実行される前にユーザーが異常領域の大きさを簡易に確認することが有効な場合がある。異常領域が非常に大きい場合、ユーザーは、検査対象物の修理が必要であると判断することができる。また、異常領域が非常に小さい場合、ユーザーは、検査対象物の使用を継続できると判断することができる。これらの場合において詳細な計測は不要である。計測モードの選択および計測位置の指定などの処理が必要であるため、詳細な計測は煩雑である。詳細な計測を省略することにより、検査の工数が削減される。ユーザーが異常領域の大きさを明確に判断できない場合に詳細な計測を実行することにより、検査の効率が向上する。

特許文献１および特許文献２は、ユーザーが画像上の被写体の大きさを目視で判断するための技術を開示している。特許文献１に開示された技術は、メッシュ状の目盛を２次元画像に重畳する機能を提供する。特許文献２に開示された技術は、１つ以上の軸によって形成された目盛を２次元画像または３次元画像に重畳する機能を提供する。

特許第４９４００３６号公報特許第４９９９０４６号公報

一般的に、２次元画像において、カメラの視点に近い被写体は大きく写り、カメラの視点から遠い被写体は小さく写る。透視投影を使用することにより得られた３次元画像においても、被写体の大きさは、視点と被写体との距離に依存する。

透視投影を使用することにより画像が表示された場合、視点に近い領域は相対的に大きく見え、視点から遠い領域は相対的に小さく見える。特許文献１に開示された技術および特許文献２に開示された技術において、目盛が画像に重ねられる。被写体が、視線の方向に沿った深さまたは高さを持つ領域を有する場合、その領域の大きさは、目盛が示す大きさと異なる可能性がある。したがって、ユーザーは、その領域の大きさを容易に判断することができない可能性がある。

本発明は、被写体の定量的な判断に適した画像を表示することができる画像表示方法、表示制御装置、およびプログラムを提供することを目的とする。

本発明は、判断部が、被写体の２次元画像に基づいて生成され、かつ２つ以上の点の３次元座標を含む３次元データを参照し、前記２つ以上の点を含む３次元空間において２次元状または３次元状に広がる図形を示す基準モデルを参照し、前記２つ以上の点の各々と前記基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する判断ステップと、生成部が、前記２つ以上の点と対応する２つ以上の画素を含む画像を生成し、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせ、前記第１の点は、前記２つ以上の点に含まれ、かつ前記条件を満たす点であり、前記第２の点は、前記２つ以上の点に含まれ、かつ前記条件を満たさない点である生成ステップと、表示制御部が、前記画像をディスプレイに表示する表示ステップと、を有する画像表示方法である。

本発明の画像表示方法において、前記判断部は、前記判断ステップにおいて、前記２つ以上の点の各々が前記基準モデルと交差するか否かを判断することにより、前記位置関係が前記条件を満たすか否かを判断する。

本発明の画像表示方法において、前記基準モデルは、２つ以上の基準図形が連続的に配置された構造を持ち、前記基準図形は、点、線、および面のいずれか１つである。

本発明の画像表示方法は、設定部が、前記基準モデルの形状、前記基準モデルの位置、前記基準モデルの方向、および前記２つ以上の基準図形の間隔の少なくとも１つを設定する設定ステップをさらに有する。

本発明の画像表示方法において、前記設定部は、前記設定ステップにおいて、前記２つ以上の点が示す３次元形状に基づいて前記方向および前記間隔の少なくとも１つを設定する。

本発明の画像表示方法は、算出部が、前記２つ以上の点が示す３次元形状の表面の法線方向を算出する方向算出ステップをさらに有し、前記設定部は、前記設定ステップにおいて、前記法線方向に基づいて前記基準モデルの前記方向を設定する。

本発明の画像表示方法は、算出部が、前記２つ以上の点が示す３次元形状の表面におけるエッジの方向を算出する方向算出ステップをさらに有し、前記設定部は、前記設定ステップにおいて、前記エッジの前記方向に基づいて前記基準モデルの前記方向を設定する。

本発明の画像表示方法は、算出部が、前記２つ以上の点が示す３次元形状の表面において細長い形状を持つ特徴領域の長手方向を算出する方向算出ステップをさらに有し、前記設定部は、前記設定ステップにおいて、前記長手方向に基づいて前記基準モデルの前記方向を設定する。

本発明の画像表示方法は、算出部が、前記２つ以上の点が示す３次元形状における特徴領域の大きさを算出する大きさ算出ステップをさらに有し、前記設定部は、前記設定ステップにおいて、前記大きさに基づいて前記間隔を設定する。

本発明の画像表示方法は、前記２つ以上の点に含まれる２つの点の各々の位置が入力装置を通して入力されたとき、受付部が前記位置を受け付ける受付ステップをさらに有し、前記設定部は、前記設定ステップにおいて、前記２つの点を通る線の方向に基づいて前記基準モデルの前記方向を設定する。

本発明の画像表示方法は、前記２つ以上の点に含まれる２つの点の各々の位置が入力装置を通して入力されたとき、受付部が前記位置を受け付ける受付ステップをさらに有し、前記設定部は、前記設定ステップにおいて、前記２つの点の間の距離に基づいて前記間隔を設定する。

本発明の画像表示方法は、前記算出部が、前記２次元画像上の点と対応する３次元空間の点と、前記２次元画像を取得したカメラとの距離を算出する距離算出ステップと、前記表示制御部が前記２次元画像および前記距離を前記ディスプレイに表示する画像表示ステップと、をさらに有し、前記算出部は、前記方向算出ステップにおいて、前記２次元画像上の前記点と対応する前記３次元形状上の点を含む領域の前記法線方向を算出する。

本発明の画像表示方法は、前記２つ以上の点に含まれる１つの点の位置が入力装置を通して入力されたとき、受付部が前記位置を受け付ける受付ステップをさらに有し、前記算出部は、前記方向算出ステップにおいて、前記受付ステップにおいて受け付けられた点を含む領域の法線方向を算出する。

本発明の画像表示方法において、前記画像は、前記２つ以上の点が示す３次元形状の画像であり、前記画像表示方法は、前記画像が前記ディスプレイに表示された後、前記表示制御部が前記基準モデルを前記ディスプレイに表示する基準モデル表示ステップと、前記ディスプレイに表示された前記基準モデルの位置、前記ディスプレイに表示された前記基準モデルの方向、および前記ディスプレイに表示された前記基準モデルの前記２つ以上の基準図形の間隔の少なくとも１つを変更する指示が入力装置を通して入力されたとき、受付部が前記指示を受け付ける受付ステップと、変更部が、前記指示に基づいて前記位置、前記方向、および前記間隔の少なくとも１つを変更する変更ステップと、をさらに有し、前記変更ステップが実行された後、前記判断ステップ、前記生成ステップ、および前記表示ステップが再度実行される。

本発明の画像表示方法において、前記画像は、前記２つ以上の点が示す３次元形状の画像であり、前記画像表示方法は、前記ディスプレイに表示された前記画像を移動させる指示が入力装置を通して入力されたとき、受付部が前記指示を受け付ける受付ステップと、変更部が、前記指示に基づいて前記２つ以上の点の前記３次元座標を変更する変更ステップと、をさらに有し、前記変更ステップが実行された後、前記判断ステップ、前記生成ステップ、および前記表示ステップが再度実行される。

本発明の画像表示方法において、前記基準モデルは、第１の方向に伸びる法線を持つ２つ以上の第１の平面、前記第１の方向と垂直な第２の方向に伸びる法線を持つ２つ以上の第２の平面、かつ前記第１の方向および前記第２の方向と垂直な第３の方向に伸びる法線を持つ２つ以上の第３の平面を含み、前記２つ以上の第１の平面は、前記第１の方向に互いに離れており、前記２つ以上の第２の平面は、前記第２の方向に互いに離れており、前記２つ以上の第３の平面は、前記第３の方向に互いに離れている。

本発明の画像表示方法において、前記基準モデルは、互いに異なる半径を持つ２つ以上の円筒面を持ち、前記２つ以上の円筒面の中心軸は互いに一致する。

本発明の画像表示方法において、前記基準モデルは、互いに異なる半径を持つ２つ以上の球面を持ち、前記２つ以上の球面の中心は互いに一致する。

本発明の画像表示方法において、前記基準モデルは、同じ点を通り、かつ３次元状に広がる２つ以上の直線を含む前記基準図形を持つ。

本発明の画像表示方法において、前記生成部は、前記生成ステップにおいて、前記第１の点と対応する前記画素の色と、前記第２の点と対応する前記画素の色とを異ならせる。

本発明の画像表示方法において、前記生成部は、前記生成ステップにおいて、前記第１の点と対応する前記画素の前記色を、基準点と前記第１の点との距離を示す色に設定する。

本発明は、被写体の２次元画像に基づいて生成され、かつ２つ以上の点の３次元座標を含む３次元データを参照し、前記２つ以上の点を含む３次元空間において２次元状または３次元状に広がる図形を示す基準モデルを参照し、前記２つ以上の点の各々と前記基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する判断部と、記２つ以上の点と対応する２つ以上の画素を含む画像を生成し、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせ、前記第１の点は、前記２つ以上の点に含まれ、かつ前記条件を満たす点であり、前記第２の点は、前記２つ以上の点に含まれ、かつ前記条件を満たさない点である生成部と、前記画像をディスプレイに表示する表示制御部と、を有する表示制御装置である。

本発明は、被写体の２次元画像に基づいて生成され、かつ２つ以上の点の３次元座標を含む３次元データを参照し、前記２つ以上の点を含む３次元空間において２次元状または３次元状に広がる図形を示す基準モデルを参照し、前記２つ以上の点の各々と前記基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する判断ステップと、前記２つ以上の点と対応する２つ以上の画素を含む画像を生成し、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせ、前記第１の点は、前記２つ以上の点に含まれ、かつ前記条件を満たす点であり、前記第２の点は、前記２つ以上の点に含まれ、かつ前記条件を満たさない点である生成ステップと、表示制御部が、前記画像をディスプレイに表示する表示ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、画像表示方法、表示制御装置、およびプログラムは、被写体の定量的な判断に適した画像を表示することができる。

本発明の第１の実施形態による表示制御装置の構成を示すブロック図である。本発明の第１の実施形態における基準モデルの例を示す図である。本発明の第１の実施形態における基準モデルの例を示す図である。本発明の第１の実施形態における基準モデルの例を示す図である。本発明の第１の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第１の実施形態における３Ｄデータの点と基準モデルとの位置関係を示す図である。本発明の第２の実施形態による内視鏡装置の全体構成を示す斜視図である。本発明の第２の実施形態による内視鏡装置の内部構成を示すブロック図である。本発明の第２の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第２の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第２の実施形態において表示部に表示された画像の例を示す図である。本発明の第２の実施形態の変形例における基準モデルの例を示す図である。本発明の第２の実施形態の変形例における基準モデルの例を示す図である。本発明の第２の実施形態における被写体の３次元形状と基準モデルとの関係を示す図である。本発明の第２の実施形態において生成された画像の例を示す図である。本発明の第３の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第３の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第３の実施形態における被写体の３次元形状と基準モデルとの関係を示す図である。本発明の第３の実施形態において表示部に表示された画像の例を示す図である。本発明の第３の実施形態の第１の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第３の実施形態の第１の変形例における画像表示処理の手順を示すフローチャートである。本発明の第３の実施形態の第２の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第３の実施形態の第２の変形例における画像表示処理の手順を示すフローチャートである。本発明の第３の実施形態の第２の変形例において表示部に表示された画像の例を示す図である。本発明の第３の実施形態の第２の変形例において表示部に表示された画像の例を示す図である。本発明の第２の実施形態において生成された画像の例を示す図である。本発明の第４の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第４の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第４の実施形態において表示部に表示された画像の例を示す図である。本発明の第４の実施形態の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第４の実施形態の変形例における画像表示処理の手順を示すフローチャートである。本発明の第４の実施形態の変形例において表示部に表示された画像の例を示す図である。本発明の第４の実施形態の変形例において表示部に表示された画像の例を示す図である。本発明の第５の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第５の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第５の実施形態において表示部に表示された画像の例を示す図である。本発明の第５の実施形態の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第５の実施形態の変形例における画像表示処理の手順を示すフローチャートである。本発明の第５の実施形態の変形例において表示部に表示された画像の例を示す図である。本発明の第５の実施形態の変形例において表示部に表示された画像の例を示す図である。本発明の第６の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第６の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第６の実施形態において表示部に表示された画像の例を示す図である。本発明の第６の実施形態の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第６の実施形態の変形例における画像表示処理の手順を示すフローチャートである。本発明の第６の実施形態の変形例において表示部に表示された画像の例を示す図である。本発明の第７の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第７の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第７の実施形態における被写体の３次元画像の例を示す図である。本発明の第７の実施形態における被写体の３次元画像の例を示す図である。本発明の第７の実施形態において表示部に表示された画像の例を示す図である。本発明の第７の実施形態の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第７の実施形態の変形例における画像表示処理の手順を示すフローチャートである。本発明の第７の実施形態の変形例において表示部に表示された画像の例を示す図である。本発明の第７の実施形態の変形例において表示部に表示された画像の例を示す図である。本発明の第８の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第９の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第９の実施形態において表示部に表示された画像の例を示す図である。本発明の第９の実施形態において表示部に表示された画像の例を示す図である。本発明の第９の実施形態において表示部に表示された画像の例を示す図である。本発明の第９の実施形態の変形例における画像表示処理の手順を示すフローチャートである。本発明の第９の実施形態の変形例において表示部に表示された画像の例を示す図である。本発明の第９の実施形態の変形例において表示部に表示された画像の例を示す図である。本発明の第１０の実施形態における基準モデルの例を示す図である。本発明の第１０の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第１０の実施形態における画像表示処理の手順を示すフローチャートである。本発明の第１０の実施形態において表示部に表示された画像の例を示す図である。

以下、図面を参照し、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態による表示制御装置７の構成を示す。図１に示す表示制御装置７は、判断部７０、生成部７１、および表示制御部７２を有する。

判断部７０は、被写体の２次元画像（２Ｄ画像）に基づいて生成され、かつ２つ以上の点の３次元座標（３Ｄ座標）を含む３次元データ（３Ｄデータ）を参照する。判断部７０は、上記の２つ以上の点を含む３次元空間（３Ｄ空間）において２次元状または３次元状に広がる図形を示す基準モデルを参照する。判断部７０は、２つ以上の点の各々と基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する（判断ステップ）。生成部７１は、上記の２つ以上の点と対応する２つ以上の画素を含む画像を生成する（生成ステップ）。生成部７１は、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせる（生成ステップ）。第１の点は、上記の２つ以上の点に含まれ、かつ上記の条件を満たす点である。第２の点は、上記の２つ以上の点に含まれ、かつ上記の条件を満たさない点である。表示制御部７２は、生成された画像をディスプレイに表示する（表示ステップ）。

図１に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、およびＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）の少なくとも１つである。図１に示す各部は、１つまたは複数のプロセッサを含むことができる。図１に示す各部は、１つまたは複数の論理回路を含むことができる。

表示制御装置７のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、判断部７０、生成部７１、および表示制御部７２の動作を規定する命令を含む。つまり、判断部７０、生成部７１、および表示制御部７２の機能はソフトウェアにより実現されてもよい。

上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により表示制御装置７に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。

３Ｄデータは、２つ以上の点の３Ｄ座標を含む。３Ｄデータは、３つ以上の点の３Ｄ座標を含んでもよい。３Ｄデータは、各点のＸ座標、Ｙ座標、およびＺ座標を含む。例えば、Ｘ軸およびＹ軸は、２Ｄ画像を取得したカメラの光学系の光軸と垂直である。例えば、Ｚ軸は、その光軸と平行である。以下では、３Ｄデータに含まれる３Ｄ座標を持つ２つ以上の点を、３Ｄデータに含まれる２つ以上の点と呼ぶ。

３Ｄデータは、１枚以上の２Ｄ画像を使用することにより生成される。例えば、ｓｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎと呼ばれる技術を使用することにより、３Ｄデータを生成することができる。３Ｄデータは、ステレオ画像を使用することにより生成されてもよい。ステレオ画像は、第１の視点から見た被写体の２Ｄ画像と、第１の視点と異なる第２の視点から見た被写体の２Ｄ画像とを含む。３Ｄデータは、明部および暗部を持つパターン光が被写体に投影されたときに取得された２枚以上の２Ｄ画像を使用することにより生成されてもよい。３Ｄデータは、特殊な光が被写体に投影されたときに取得された１枚以上の２Ｄ画像を使用することにより生成されてもよい。１枚以上の２Ｄ画像を使用することにより３Ｄデータが生成される限り、３Ｄデータを生成する方法は上記の例に限らない。

基準モデルは３Ｄ空間において定義され、かつ基準モデルの少なくとも一部は規則性を持つ。例えば、基準モデルは、２つ以上の基準図形が連続的に配置された構造を持つ。基準図形は、点、線、および面のいずれか１つである。基準図形がＸ軸、Ｙ軸、またはＺ軸と平行である必要はない。基準モデルは、２つ以上の第１の基準図形および２つ以上の第２の基準図形を含んでもよい。第１の基準図形および第２の基準図形は、互いに異なる。

図２は、基準モデルの例を示す。図２に示す例では、線が、基準モデルを形成する基準図形である。図２に示す基準モデルＭＤ１は、直線である線分が繰り返し配置された構造を持つ。基準モデルＭＤ１において、Ｘ軸と平行な線分ＬＸ１がＹ方向およびＺ方向に周期的に配置され、Ｙ軸と平行な線分ＬＹ１がＸ方向およびＺ方向に周期的に配置され、Ｚ軸と平行な線分ＬＺ１がＸ方向およびＹ方向に周期的に配置されている。線分ＬＸ１、線分ＬＹ１、および線分ＬＺ１は基準図形である。

基準モデルＭＤ１は、４本以上の線分ＬＸ１、４本以上の線分ＬＹ１、および４本以上の線分ＬＺ１を有する。４本以上の線分ＬＸ１は互いに平行であり、４本以上の線分ＬＹ１は互いに平行であり、４本以上の線分ＬＺ１は互いに平行である。線分ＬＸ１、線分ＬＹ１、および線分ＬＺ１の各々は所定の太さを持ってもよい。基準モデルＭＤ１は、３次元状に広がる。

線分ＬＸ１は等間隔に配置され、線分ＬＹ１は等間隔に配置され、線分ＬＺ１は等間隔に配置されている。基準モデルＭＤ１は、立方体の辺のみが繰り返し配置された構造を持つ。線分ＬＸ１の間隔と、線分ＬＹ１の間隔と、線分ＬＺ１の間隔とは互いに等しい。線分ＬＸ１の間隔と、線分ＬＹ１の間隔とが異なっていてもよい。線分ＬＹ１の間隔と、線分ＬＺ１の間隔とが異なっていてもよい。線分ＬＺ１の間隔と、線分ＬＸ１の間隔とが異なっていてもよい。したがって、基準モデルＭＤ１は、直方体の辺のみが繰り返し配置された構造を持ってもよい。

線分ＬＸ１の間隔が均等である必要はない。例えば、所定位置と線分ＬＸ１との距離が大きくなるに従い、線分ＬＸ１の間隔が徐々に大きくなってもよい、または徐々に小さくなってもよい。線分ＬＸ１の間隔は、所定位置と線分ＬＸ１との距離と対応する対数に基づいて変化してもよい。同様に、線分ＬＹ１の間隔が均等である必要はなく、かつ線分ＬＺ１の間隔が均等である必要はない。

基準モデルは、２つ以上の第１の平面、２つ以上の第２の平面、および２つ以上の第３の平面を含んでもよい。第１の平面は、第１の方向に伸びる法線を持ってもよい。第２の平面は、第１の方向と垂直な第２の方向に伸びる法線を持ってもよい。第３の平面は、第１の方向および第２の方向と垂直な第３の方向に伸びる法線を持ってもよい。２つ以上の第１の平面は、第１の方向に互いに離れていてもよい。２つ以上の第２の平面は、第２の方向に互いに離れていてもよい。２つ以上の第３の平面は、第３の方向に互いに離れていてもよい。

図３は、基準モデルの他の例を示す。図３に示す例では、平面が基準図形である。図３に示す基準モデルＭＤ２は、平面が繰り返し配置された構造を持つ。基準モデルＭＤ２において、Ｘ方向に伸びる法線Ｌ１を持つ平面ＳＸ１がＸ方向に周期的に配置され、Ｙ方向に伸びる法線Ｌ２を持つ平面ＳＹ１がＹ方向に周期的に配置され、Ｚ方向に伸びる法線Ｌ３を持つ平面ＳＺ１がＺ方向に周期的に配置されている。平面ＳＸ１は、ＹＺ平面と平行である。平面ＳＹ１は、ＸＺ平面と平行である。平面ＳＺ１は、ＸＹ平面と平行である。平面ＳＸ１、平面ＳＹ１、および平面ＳＺ１は基準図形である。例えば、Ｘ方向が第１の方向であり、Ｙ方向が第２の方向であり、Ｚ方向が第３の方向である。

基準モデルＭＤ２は、２つ以上の平面ＳＸ１、２つ以上の平面ＳＹ１、および２つ以上の平面ＳＺ１を有する。２つ以上の平面ＳＸ１は互いに平行であり、２つ以上の平面ＳＹ１は互いに平行であり、２つ以上の平面ＳＺ１は互いに平行である。平面ＳＸ１、平面ＳＹ１、および平面ＳＺ１の各々は所定の厚さを持ってもよい。基準モデルＭＤ２は、３次元状に広がる。

平面ＳＸ１は等間隔に配置され、平面ＳＹ１は等間隔に配置され、平面ＳＺ１は等間隔に配置されている。基準モデルＭＤ２は、立方体が繰り返し配置された構造を持つ。平面ＳＸ１の間隔と、平面ＳＹ１の間隔と、平面ＳＺ１の間隔とは互いに等しい。平面ＳＸ１の間隔と、平面ＳＹ１の間隔とが異なっていてもよい。平面ＳＹ１の間隔と、平面ＳＺ１の間隔とが異なっていてもよい。平面ＳＺ１の間隔と、平面ＳＸ１の間隔とが異なっていてもよい。したがって、基準モデルＭＤ２は、直方体が繰り返し配置された構造を持ってもよい。

平面ＳＸ１の間隔が均等である必要はない。例えば、所定位置と平面ＳＸ１との距離が大きくなるに従い、平面ＳＸ１の間隔が徐々に大きくなってもよい、または徐々に小さくなってもよい。平面ＳＸ１の間隔は、所定位置と平面ＳＸ１との距離と対応する対数に基づいて変化してもよい。同様に、平面ＳＹ１の間隔が均等である必要はなく、かつ平面ＳＺ１の間隔が均等である必要はない。

図４は、基準モデルの他の例を示す。図４に示す例では、点が基準図形である。図４に示す基準モデルＭＤ３は、点が繰り返し配置された構造を持つ。基準モデルＭＤ３において、点ＰＴ１がＸ方向、Ｙ方向、およびＺ方向の各々に周期的に配置されている。基準モデルＭＤ３は、３次元状に広がる４つ以上の点ＰＴ１を有する。点ＰＴ１は、所定の半径を持つ球であってもよい。

基準モデルが３次元状に広がる例では、基準モデルを形成する２つ以上の基準図形の全てを含む平面は存在しない。

基準モデルは２次元状に広がってもよい。例えば、基準モデルは、１つの平面内に配置された２つ以上の線または３つ以上の点を有してもよい。１つの平面が基準モデルを形成してもよい。基準モデルが２次元状に広がる例では、基準モデルを形成する２つ以上の基準図形の全てを含む平面が存在する。

図５を使用して、第１の実施形態における画像表示処理について説明する。図５は、画像表示処理の手順を示す。

判断部７０は、３Ｄデータおよび基準モデルを参照し、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する（ステップＳ１）。ステップＳ１は、判断ステップと対応する。

図６は、３Ｄ空間における３Ｄデータの点と基準モデルとの位置関係を示す。図６において、点Ｐ１、点Ｐ２、および基準モデルＭＤ４が示されている。基準モデルＭＤ４は、立方体の１２本の辺によって形成されている。３Ｄデータは、点Ｐ１および点Ｐ２の各々の３Ｄ座標を含む。点Ｐ１は基準モデルＭＤ４上にある。点Ｐ２は基準モデルＭＤ４上にない。

例えば、位置関係の条件は、点と基準モデルとの距離に関する。例えば、その条件は、点が基準モデルと重なることを示す。

例えば、判断部７０は、ステップＳ１において、３Ｄデータに含まれる２つ以上の点の各々が基準モデルと交差するか否かを判断する。図６に示す例では、判断部７０は、点Ｐ１が基準モデルと交差し、かつ点Ｐ２が基準モデルと交差しないと判断する。

ステップＳ１の後、生成部７１は、３Ｄデータに含まれる２つ以上の点と対応する２つ以上の画素を含む画像を生成する。その２つ以上の点は、位置関係の条件を満たす第１の点と、その条件を満たさない第２の点とに分類される。生成部７１は、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせる（ステップＳ２）。ステップＳ２は、生成ステップと対応する。

図６に示す例では、点Ｐ１は第１の点であり、かつ点Ｐ２は第２の点である。生成部７１は、ステップＳ２において、各画素のカラーデータを含む画像を生成する。その画像の各画素は、３Ｄデータに含まれる３Ｄ座標と関連付けられている。例えば、生成部７１は、第１の点と対応する画素の色を第１の色に設定し、かつ第２の点と対応する画素の色を第１の色と異なる第２の色に設定する。この場合、画素の表示状態は色と対応する。

１つの画素が３Ｄ空間の各点と対応する必要はない。２つ以上の画素を含む領域が３Ｄ空間の各点と対応してもよい。第１の点の近傍にある第２の点と対応する画素の表示状態が、第１の点と対応する画素の表示状態と同じであってもよい。

画素の表示状態は色に限らない。例えば、生成部７１は、第１の点と対応する画素を含む領域に、所定の形状を持つマーク等を重畳してもよい。３Ｄデータに含まれる２つ以上の点が点群として表示される場合、生成部７１は、第１の点の大きさと第２の点の大きさとを異ならせてもよい。ユーザーが第１の点と対応する画素と、第２の点と対応する画素とを区別できる限り、画素の表示状態は上記の例に限らない。

例えば、生成部７１は、ステップＳ２において、３Ｄデータを表示するための３次元画像（３Ｄ画像）を生成する。３Ｄ画像は、３Ｄデータが示す３次元形状（３Ｄ形状）の画像である。３Ｄ画像は、所定の視点から所定の視線方向に見た被写体の３Ｄ形状を示す。

３Ｄデータは、３Ｄデータを生成するために使用された１枚以上の２Ｄ画像の各々に含まれる点の２Ｄ座標を含んでもよい。３Ｄデータにおいて３Ｄ座標および２Ｄ座標が互いに関連付けられてもよい。３Ｄデータにおいて３Ｄ座標および２Ｄ座標は、その２Ｄ座標が含まれる２Ｄ画像と関連付けられてもよい。１枚以上の２Ｄ画像は、３Ｄデータにおける第１の点の３Ｄ座標と関連付けられた２Ｄ座標を持つ第１の画素を含む。また、１枚以上の２Ｄ画像は、３Ｄデータにおける第２の点の３Ｄ座標と関連付けられた２Ｄ座標を持つ第２の画素を含む。生成部７１は、ステップＳ２において、１枚以上の２Ｄ画像における第１の画素の表示状態と、その２Ｄ画像における第２の画素の表示状態とを異ならせることにより２Ｄ画像を生成してもよい。

生成部７１は、ステップＳ２において３Ｄ画像のみを生成してもよい。生成部７１は、ステップＳ２において２Ｄ画像のみを生成してもよい。生成部７１は、ステップＳ２において３Ｄ画像および２Ｄ画像を生成してもよい。

ステップＳ２の後、表示制御部７２は、ステップＳ２において生成された画像をディスプレイに出力し、その画像をディスプレイに表示する（ステップＳ３）。ステップＳ３は、表示ステップと対応する。

生成部７１がステップＳ２において３Ｄ画像のみを生成した場合、表示制御部７２はステップＳ３においてその３Ｄ画像をディスプレイに表示する。生成部７１がステップＳ２において２Ｄ画像のみを生成した場合、表示制御部７２はステップＳ３においてその２Ｄ画像をディスプレイに表示する。生成部７１がステップＳ２において３Ｄ画像および２Ｄ画像を生成した場合、表示制御部７２はステップＳ３においてその３Ｄ画像およびその２Ｄ画像の少なくとも一方をディスプレイに表示する。

ディスプレイに表示された画像において、第１の点と対応する画素の表示形態と、第２の点と対応する画素の表示形態とが互いに異なる。そのため、ユーザーは、第１の点と対応する被写体の位置と、第２の点と対応する被写体の位置とを区別することができる。第１の点と基準モデルとの位置関係は、予め設定された条件を満たす。第１の点と対応する画素の集合は、スケールまたはガイドとして機能する。そのため、ユーザーは、第１の点の位置に基づいて、被写体における領域の大きさを容易に判断することができる。

本発明の各態様の表示制御方法は、判断ステップ（ステップＳ１）、生成ステップ（ステップＳ２）、および表示ステップ（ステップＳ３）を有する。

本発明の各態様は次の変形例を含んでもよい。生成部７１は、生成ステップ（ステップＳ２）において、第１の点と対応する画素の色と、第２の点と対応する画素の色とを異ならせる。

第１の実施形態において、判断部７０は、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係を判断する。生成部７１は、第１の点と対応する画素と、第２の点と対応する画素とを含む画像を生成し、表示制御部７２はその画像をディスプレイに表示する。第１の点は位置関係の条件を満たし、第２の点はその条件を満たさない。第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とは互いに異なる。これにより、表示制御装置７は、被写体の定量的な判断に適した画像を表示することができる。

（第２の実施形態）
本発明の第２の実施形態を説明する。以下では、表示制御装置が内視鏡装置である例を説明する。表示制御装置は、第１の実施形態に示される機能を有する装置でありさえすればよく、内視鏡装置に限らない。表示制御装置は、特定の装置またはシステムに実装された組み込み機器であってもよい。表示制御装置は、クラウド上の環境であってもよい。被写体は、工業製品である。

図７は、第２の実施形態による内視鏡装置１の外観を示す。図８は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を生成する。検査者は、種々の被写体の観察を実施するために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを実施することが可能である。

図７に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。

挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２で取得された被写体の画像および操作メニュー等を表示画面に表示する。

操作部４は、ユーザーインタフェース（入力装置）である。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。表示部５は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。ユーザーは、体の一部（例えば、指）または道具を使用することにより表示部５の画面をタッチする。

図８に示す本体部３は、内視鏡ユニット８、ＣＣＵ（ＣａｍｅｒａＣｏｎｔｒｏｌＵｎｉｔ）９、および制御装置１０を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を施す。ＣＣＵ９は、前処理が施された撮像信号をＮＴＳＣ信号等の映像信号に変換する。

制御装置１０は、映像信号処理回路１２、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１３、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１８を有する。

映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を実行する。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像、３Ｄ画像、および計測情報等を含む。計測情報は、計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に基づく画像データをＣＰＵ１８に出力する。

ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ（ＰＣ）４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１のモニタが情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を実施することができる。

制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を実行する。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。

ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、ＰＣ４１がプログラムを読み込んで実行してもよい。ＰＣ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、ＰＣ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を処理してもよい。

上記のように、内視鏡装置１は、撮像素子２８およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。撮像素子２８によって取得された画像は映像信号処理回路１２を経由してＣＰＵ１８に入力される。

撮像素子２８は、被写体の画像を取得する画像取得部の機能を有する。画像取得部は、画像入力装置であってもよい。例えば、ＰＣ４１が表示制御装置として動作する場合、画像取得部は、内視鏡装置１と通信を実行する通信インタフェース（通信機）である。画像取得部は無線通信機であってもよい。画像取得部は、画像が記録された記録媒体から画像を読み出す読み出し回路であってもよい。

図９は、ＣＰＵ１８の機能構成を示す。ＣＰＵ１８の機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、および情報受付部１８５を含む。図９に示すブロックの少なくとも１つがＣＰＵ１８と異なる回路で構成されてもよい。

図９に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図９に示す各部は、１つまたは複数のプロセッサを含むことができる。図９に示す各部は、１つまたは複数の論理回路を含むことができる。

制御部１８０は、被写体の２Ｄ画像（画像データ）を映像信号処理回路１２から取得し、かつ図９に示す各部が実行する処理を制御する。

座標算出部１８１は、被写体の１枚以上の２Ｄ画像に基づいて被写体上の２つ以上の点の３Ｄ座標を算出し、かつその２つ以上の点の３Ｄ座標を含む３Ｄデータを生成する。例えば、３Ｄデータは、点群データ、サーフェースデータ、またはボリュームデータである。

判断部１８２は、図１に示す判断部７０の機能を持つ。判断部１８２は、３Ｄデータおよび基準モデルを参照し、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する（判断ステップ）。例えば、基準モデルは、基準図形の配置状態を示すパラメータを含み、予めＲＡＭ１４に記憶されている。例えば、位置関係の条件は、予めＲＡＭ１４に記憶されている。判断部１８２は、第１の実施形態に示される方法と同じ方法で判断を実行することができる。

画像生成部１８３は、図１に示す生成部７１の機能を持つ。画像生成部１８３は、３Ｄデータに含まれる２つ以上の点と対応する２つ以上の画素を含む画像を生成する（生成ステップ）。画像生成部１８３は、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせる（生成ステップ）。画像生成部１８３は、３Ｄ画像および２Ｄ画像の少なくとも一方を生成する。画像生成部１８３は、第１の実施形態に示される方法と同じ方法で画像を生成することができる。

表示制御部１８４は、図１に示す表示制御部７２の機能を持つ。表示制御部１８４は、画像生成部１８３によって生成された画像を表示部５に出力し、その画像を表示部５に表示する（表示ステップ）。

例えば、表示制御部１８４は、３Ｄ映像信号または２Ｄ映像信号を、映像信号処理回路１２を経由して表示部５へ出力する。３Ｄ映像信号は、画像生成部１８３によって生成された３Ｄ画像の各画素のカラーデータを含む。２Ｄ映像信号は、画像生成部１８３によって生成された２Ｄ画像の各画素のカラーデータを含む。

表示制御部１８４は、３Ｄ映像信号または２Ｄ映像信号を映像信号処理回路１２に出力する。表示制御部１８４は、映像信号処理回路１２によって実行される処理を制御する。映像信号処理回路１２は、３Ｄ映像信号または２Ｄ映像信号を表示部５に出力する。表示部５は、映像信号処理回路１２から出力された３Ｄ映像信号に基づいて３Ｄ画像を表示する。あるいは、表示部５は、映像信号処理回路１２から出力された２Ｄ映像信号に基づいて２Ｄ画像を表示する。

表示制御部１８４は、映像信号処理回路１２に、ＣＣＵ９から出力された映像信号を表示部５に出力させる。これにより、表示制御部１８４は、撮像素子２８によって生成された２Ｄ画像をライブ画像として表示部５に表示する。

表示制御部１８４は、各種情報を表示部５に表示する。つまり、表示制御部１８４は、画像上に各種情報を表示する。各種情報は、計測結果等を含む。各種情報は、カーソルを含んでもよい。カーソルは、ユーザーが画像上の特定の点を指定するためのマークである。

例えば、表示制御部１８４は、各種情報のグラフィック画像信号を生成する。表示制御部１８４は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された画像を表示する。

ユーザーは、操作部４を操作することにより、各種情報を内視鏡装置１に入力する。操作部４は、ユーザーによって入力された情報を出力する。その情報は、入力部である制御インタフェース１７に入力される。その情報は、制御インタフェース１７からＣＰＵ１８に出力される。情報受付部１８５は、操作部４を経由して内視鏡装置１に入力された情報を受け付ける。

例えば、ユーザーは、操作部４を操作することにより、カーソルの位置情報を内視鏡装置１に入力する。表示部５がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより画像上の位置を示す位置情報を内視鏡装置１に入力する。情報受付部１８５は、内視鏡装置１に入力された位置情報を受け付ける。情報受付部１８５は、位置情報に基づいて画像上の位置を算出する。表示制御部１８４は、情報受付部１８５によって算出された位置にカーソルを表示する。

図１０を使用することにより、第２の実施形態における画像表示処理について説明する。図１０は、画像表示処理の手順を示す。

撮像素子２８は、連続的に撮像信号を生成する。つまり、撮像素子２８は、ライブ画像と対応する各フレームの撮像信号を生成する。表示制御部１８４は、映像信号処理回路１２を制御することによりライブ画像を表示部５に表示する（ステップＳ１０１）。ライブ画像は被写体の２Ｄ画像であり、所定のフレームレートで順次更新される。つまり、ライブ画像は動画である。

ライブ画像が表示部５に表示されている間、ユーザーはライブ画像を観察する。被写体において傷などの領域が発見された場合、ユーザーは、操作部４を操作することにより、フリーズ指示を内視鏡装置１に入力する。情報受付部１８５は、フリーズ指示を受け付ける（ステップＳ１０２）。

ステップＳ１０２の後、表示制御部１８４は、映像信号処理回路１２を制御することによりフリーズ画像を表示部５に表示する（ステップＳ１０３）。フリーズ画像は被写体の２Ｄ画像であり、１フレームの撮像信号と対応する。つまり、フリーズ画像は静止画である。

ステップＳ１０３の後、座標算出部１８１は、被写体の１枚以上の２Ｄ画像に基づいて被写体上の２つ以上の点の３Ｄ座標を算出し、かつその２つ以上の点の３Ｄ座標を含む３Ｄデータを生成する（ステップＳ１０４）。例えば、座標算出部１８１は、第１の画像および第２の画像を含むステレオ画像を使用する。例えば、フリーズ画像は第１の画像である。座標算出部１８１は、第１の画像および第２の画像を使用し、かつ三角測量の原理に基づいて３Ｄデータを生成する。

ステップＳ１０４の後、判断部１８２は、３Ｄデータおよび基準モデルを参照し、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する（ステップＳ１０５）。ステップＳ１０５は、判断ステップと対応する。

例えば、判断部１８２は、ステップＳ１０５において以下の処理を実行する。以下の例では、基準モデルは、図３に示す基準モデルＭＤ２と同様に、基準図形である平面が繰り返し配置された構造を持つ。その平面は、所定の厚さを持つ。判断部１８２は、３Ｄデータに含まれる各点の３Ｄ座標を使用し、以下の判断を実行する。

判断部１８２は、Ｘ座標の絶対値を所定の値Ｄｘで割り、かつ割り算の余りを算出する。値Ｄｘは、Ｘ軸と垂直な平面の間隔と対応する。判断部１８２は、算出された余りが所定の閾値以下であるか否かを判断する。余りが閾値以下である場合、被写体の点は、Ｘ軸と垂直な平面上にある。

判断部１８２は、Ｙ座標の絶対値を所定の値Ｄｙで割り、かつ割り算の余りを算出する。値Ｄｙは、Ｙ軸と垂直な平面の間隔と対応する。値Ｄｙは、値Ｄｘと同じであってもよい。判断部１８２は、算出された余りが所定の閾値以下であるか否かを判断する。余りが閾値以下である場合、被写体の点は、Ｙ軸と垂直な平面上にある。

判断部１８２は、Ｚ座標の絶対値を所定の値Ｄｚで割り、かつ割り算の余りを算出する。値Ｄｚは、Ｚ軸と垂直な平面の間隔と対応する。値Ｄｚは、値Ｄｘまたは値Ｄｙと同じであってもよい。判断部１８２は、算出された余りが所定の閾値以下であるか否かを判断する。余りが閾値以下である場合、被写体の点は、Ｚ軸と垂直な平面上にある。

判断部１８２は、上記の処理を実行することにより、被写体の点が基準モデル上にあるか否かを判断する。つまり、判断部１８２は、被写体の点が基準モデルと交差するか否かを判断する。上記の例では、位置関係の条件は、Ｘ座標、Ｙ座標、またはＺ座標に関する割り算の余りが閾値以下であることを示す。

判断部１８２は、Ｘ座標、Ｙ座標、およびＺ座標の一部のみに基づいて上記の判断を実行してもよい。例えば、判断部１８２は、Ｘ座標およびＹ座標のみに基づいて上記の判断を実行してもよい。したがって、正射影を使用することにより画像が表示される場合においても判断部１８２は、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係を判断することができる。

上記の例において、基準図形は、厚さを持たない平面であってもよい。判断部１８２は、上記の処理と同様の処理を実行することにより、被写体の点が基準モデル上または基準モデルの近傍にあるか否かを判断してもよい。算出された余りが０である場合、その点は基準モデル上にある。算出された余りが０よりも大きく、かつ閾値以下である場合、その点は基準モデルの近傍にある。

ステップＳ１０５の後、画像生成部１８３は、ステップＳ１０５において判断された位置関係に応じた色を持つ３Ｄ画像を生成する（ステップＳ１０６）。ステップＳ１０６は、生成ステップと対応する。

例えば、画像生成部１８３は、ステップＳ１０６において以下の処理を実行することにより、３Ｄ画像の各画素における画素値（Ｒ，Ｇ，Ｂ）を設定する。画素値（Ｒ，Ｇ，Ｂ）は、赤と対応する画素値Ｒと、緑と対応する画素値Ｇと、青と対応する画素値Ｂとを含む。Ｘ座標に関する割り算の余りのみが閾値以下である場合、画像生成部１８３は、画素値Ｒを２５５に設定し、画素値Ｇを０に設定し、画素値Ｂを０に設定する。Ｙ座標に関する割り算の余りのみが閾値以下である場合、画像生成部１８３は、画素値Ｒを０に設定し、画素値Ｇを２５５に設定し、画素値Ｂを０に設定する。Ｚ座標に関する割り算の余りのみが閾値以下である場合、画像生成部１８３は、画素値Ｒを０に設定し、画素値Ｇを０に設定し、画素値Ｂを２５５に設定する。

Ｘ座標に関する割り算の余りと、Ｙ座標に関する割り算の余りとが閾値以下であり、かつＺ座標に関する割り算の余りが閾値を超える場合、画像生成部１８３は、画素値Ｒおよび画素値Ｇを２５５に設定し、画素値Ｂを０に設定する。Ｙ座標に関する割り算の余りと、Ｚ座標に関する割り算の余りとが閾値以下であり、かつＸ座標に関する割り算の余りが閾値を超える場合、画像生成部１８３は、画素値Ｇおよび画素値Ｂを２５５に設定し、画素値Ｒを０に設定する。Ｚ座標に関する割り算の余りと、Ｘ座標に関する割り算の余りとが閾値以下であり、かつＹ座標に関する割り算の余りが閾値を超える場合、画像生成部１８３は、画素値Ｂおよび画素値Ｒを２５５に設定し、画素値Ｇを０に設定する。Ｘ座標に関する割り算の余りと、Ｙ座標に関する割り算の余りと、Ｚ座標に関する割り算の余りとが閾値以下である場合、画像生成部１８３は、画素値Ｒ、画素値Ｇ、および画素値Ｂを２５５に設定する。

Ｘ座標に関する割り算の余りと、Ｙ座標に関する割り算の余りと、Ｚ座標に関する割り算の余りとが閾値を超える場合、画像生成部１８３は、以下の方法を使用することにより画素値（Ｒ，Ｇ，Ｂ）を設定する。３Ｄデータに含まれる３Ｄ座標は、３Ｄデータを生成するために使用された２Ｄ画像における２Ｄ座標と関連付けられている。つまり、３Ｄデータに含まれる各点は、２Ｄ画像の画素と関連付けられている。画像生成部１８３は、３Ｄ画像の各点と対応する画素値（Ｒ，Ｇ，Ｂ）を、その点の３Ｄ座標と関連付けられた２Ｄ座標における画素値に設定する。

Ｘ座標、Ｙ座標、およびＺ座標の少なくとも１つに関する割り算の余りが閾値以下である場合、そのＸ座標、そのＹ座標、およびそのＺ座標を持つ点は第１の点である。Ｘ座標、Ｙ座標、およびＺ座標の各々に関する割り算の余りが閾値を超える場合、そのＸ座標、そのＹ座標、およびそのＺ座標を持つ点は第２の点である。

画像生成部１８３は、上記の処理を実行することにより、基準モデル上の点と対応する画素を目立たせることができる。

画像生成部１８３は、ステップＳ１０５において判断された位置関係に応じた色を持つ２Ｄ画像を生成してもよい。その場合、画像生成部１８３は、その位置関係に基づいて２Ｄ画像の各画素における画素値（Ｒ，Ｇ，Ｂ）を変更する。画像生成部１８３は、映像信号処理回路１２から取得された２Ｄ画像を使用することにより以下の処理を実行する。

例えば、Ｘ座標に関する割り算の余りが閾値以下である場合、画像生成部１８３は、そのＸ座標を含む３Ｄ座標と関連付けられた２Ｄ座標における画素値Ｒを２５５に変更する。Ｙ座標に関する割り算の余りが閾値以下である場合、画像生成部１８３は、そのＹ座標を含む３Ｄ座標と関連付けられた２Ｄ座標における画素値Ｇを２５５に変更する。Ｚ座標に関する割り算の余りが閾値以下である場合、画像生成部１８３は、そのＺ座標を含む３Ｄ座標と関連付けられた２Ｄ座標における画素値Ｂを２５５に変更する。

ステップＳ１０６の後、表示制御部１８４は、ステップＳ１０６において生成された３Ｄ画像を表示部５に表示する（ステップＳ１０７）。ステップＳ１０７は、表示ステップと対応する。画像生成部１８３がステップＳ１０６において２Ｄ画像を生成した場合、表示制御部１８４は、ステップＳ１０７においてその２Ｄ画像を表示してもよい。表示制御部１８４は、ステップＳ１０７においてフリーズ画像と３Ｄ画像とを表示してもよい。表示制御部１８４は、ステップＳ１０７において、フリーズ画像を表示せず、かつ３Ｄ画像を表示してもよい。ステップＳ１０７が実行されたとき、画像表示処理が終了する。

図１１は、ステップＳ１０７において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像Ｇ１１および３Ｄ画像Ｇ１２を表示部５に表示する。３Ｄ画像Ｇ１１は、Ｚ軸と平行な方向に見た被写体ＯＢ１１の３Ｄ画像である。３Ｄ画像Ｇ１２は、Ｘ軸と平行な方向に見た被写体ＯＢ１１の３Ｄ画像である。被写体ＯＢ１１は、領域Ｒ１１および領域Ｒ１２を有する。領域Ｒ１１は、深さを持つ凹部である。領域Ｒ１２は、被写体ＯＢ１１の表面に形成された傷である。

３Ｄ画像Ｇ１１および３Ｄ画像Ｇ１２は、画素群ＰＧ１１を含む。画素群ＰＧ１１は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ１１以外の画素は、基準モデルと交差しない第２の点と対応する。図１１に示す例では、基準モデルを形成する基準図形は、厚さを持つ平面である。その平面と被写体ＯＢ１１の表面とが交差する領域は線状である。３Ｄ画像Ｇ１１において画素群ＰＧ１１は、主に方向ＤＲ１１に伸びる２つ以上の線上の画素と、主に方向ＤＲ１１にほぼ垂直な方向ＤＲ１２に伸びる２つ以上の線上の画素とを含む。同様に、３Ｄ画像Ｇ１２において画素群ＰＧ１１は、２つの方向の各々に伸びる線上の画素を含む。被写体ＯＢ１１の平坦な表面において、画素群ＰＧ１１は格子状（メッシュ状）に配置されている。

例えば、基準図形である２つ以上の線の間隔は３ｍｍである。例えば、その線の幅は０．０５ｍｍである。ユーザーは、画素群ＰＧ１１の位置を参照することにより、傷などの領域の大きさを容易に判断することができる。

表示制御部１８４は、３Ｄ画像Ｇ１１および３Ｄ画像Ｇ１２のいずれか一方を表示部５に表示してもよい。表示制御部１８４は、第１の状態および第２の状態を切り替えてもよい。第１の状態において、３Ｄ画像Ｇ１１が表示部５に表示される。第２の状態において、３Ｄ画像Ｇ１２が表示部５に表示される。

深さを持つ領域Ｒ１１における画素群ＰＧ１１の２つ以上の線の間隔ＩＮＴ１１は、被写体ＯＢ１１の最も広い領域における画素群ＰＧ１１の２つ以上の線の間隔ＩＮＴ１２よりも小さい。画素群ＰＧ１１によって形成された目盛は、被写体ＯＢ１１における領域の実際の大きさを示す。そのため、ユーザーは、被写体ＯＢ１１における領域の大きさを定量的に判断することができる。

３Ｄ画像Ｇ１１または３Ｄ画像Ｇ１２の視点を変更する指示が操作部４を通して入力された場合、画像生成部１８３は、変更された視点から見た被写体の新たな３Ｄ画像を生成してもよい。表示制御部１８４は、３Ｄ画像Ｇ１１または３Ｄ画像Ｇ１２の代わりにその新たな３Ｄ画像を表示部５に表示してもよい。

第２の実施形態において、判断部１８２は、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係を判断する。画像生成部１８３は、第１の点と対応する画素と、第２の点と対応する画素とを含む画像を生成し、表示制御部１８４はその画像を表示部５に表示する。第１の点は位置関係の条件を満たし、第２の点はその条件を満たさない。第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とは互いに異なる。これにより、内視鏡装置１は、被写体の定量的な判断に適した画像を表示することができる。

ユーザーは、表示部５に表示された画像に基づいて被写体における領域の大きさを判断することができる。例えば、詳細な計測が実行される前にユーザーは異常領域の大きさを簡易に確認することができる。検査対象物の修理が必要である、または検査対象物の使用を継続できるとユーザーが判断できる場合、詳細な計測は不要である。そのため、検査の工数が削減される。

ユーザーは、画像における領域の位置によらずに、その領域の大きさを簡易に判断することができる。そのため、その領域が画像の中央に表示されるように視点を変更するための操作の負担は軽減される。ユーザーは、被写体の平坦な表面における領域の大きさに加えて、深さまたは高さを持つ領域の大きさを判断することができる。

制御部１８０は、画像生成部１８３によって生成された画像をメモリカード４２等に記録してもよい。これにより、内視鏡装置１は、定量的な判断の証拠を記録することができる。

ライブ画像が更新される度にステップＳ１０４からステップＳ１０７が実行されてもよい。その場合、ユーザーは、被写体における領域の大きさを迅速に判断することができる。

（第２の実施形態の変形例）
本発明の第２の実施形態の変形例を説明する。以下では、基準モデルの形状の他の例を説明する。

図１２は、基準モデルの例を示す。図１２に示す例では、曲面が、基準モデルを形成する基準図形である。図１２に示す基準モデルＭＤ１１は、円筒面が繰り返し配置された構造を持つ。基準モデルＭＤ１１は、基準図形である２つ以上の円筒面ＣＹ１１を有する。２つ以上の円筒面ＣＹ１１の中心軸ＡＸ１１は共有され、２つ以上の円筒面ＣＹ１１の間隔は互いに等しい。基準図形が円筒面である場合、内視鏡装置１は、筒状の構造を持つ被写体の表面を基準とする高さまたは深さの定量的な判断に適した画像を表示することができる。

基準モデルＭＤ１２は、互いに異なる半径を持つ２つ以上の円筒面ＣＹ１１を持つ。２つ以上の円筒面ＣＹ１１の中心軸ＡＸ１１は互いに一致する。

図１３は、基準モデルの他の例を示す。図１３に示す例では、球面が基準図形である。図１３に示す基準モデルＭＤ１２は、球面が繰り返し配置された構造を持つ。基準モデルＭＤ１２は、基準図形である２つ以上の球面ＳＰ１１を有する。２つ以上の球面ＳＰ１１の中心Ｃ１１は共有され、２つ以上の球面ＳＰ１１の間隔は互いに等しい。図１３において、球面ＳＰ１１の内部を視覚化するために、基準モデルＭＤ１２の一部が取り除かれている。実際には、内側に配置された球面ＳＰ１１は、外側に配置された球面ＳＰ１１によって覆われている。基準図形が球面である場合、内視鏡装置１は、球状の構造を持つ被写体の表面を基準とする高さまたは深さの定量的な判断に適した画像を表示することができる。

基準モデルＭＤ１２は、互いに異なる半径を持つ２つ以上の球面ＳＰ１１を持つ。２つ以上の球面ＳＰ１１の中心Ｃ１１は互いに一致する。

２つ以上の基準モデルが使用されてもよい。例えば、２つ以上の基準モデルの各々は、立方体または直方体が繰り返し配置された構造を持つ。各基準モデルは、被写体の表面に沿って配置される。内視鏡装置１は、第３の実施形態で説明する方法を使用し、被写体の表面において２つ以上の基準モデルの各々が配置される領域の法線方向を検出してもよい。内視鏡装置１は、２つ以上の基準モデルの各々の方向をその法線方向に設定してもよい。

（第３の実施形態）
本発明の第３の実施形態を説明する前に、第２の実施形態における画像表示処理において生成された画像の例を説明する。図１４は、第２の実施形態における画像表示処理に使用される被写体ＯＢ２１の３Ｄ形状と基準モデルＭＤ２１との関係を示す。図１４は、Ｘ軸と平行な方向に見た被写体ＯＢ２１および基準モデルＭＤ２１を示す。

被写体ＯＢ２１の３Ｄ形状は、被写体の３Ｄデータに含まれる３Ｄ座標を持つ点によって形成されている。基準モデルＭＤ２１は、方向ＤＲ２１と垂直な第１の面と、方向ＤＲ２２と垂直な第２の面と、図１４に示されていない第３の面とによって形成されている。基準モデルＭＤ２１の第１の面および第２の面は線として示されている。基準モデルＭＤ２１の第３の面は、Ｘ軸と垂直である。図１４に示す例では、被写体ＯＢ２１の表面ＳＦ２１の法線方向ＤＲ２３は、基準モデルＭＤ２１の第１の面の法線方向（方向ＤＲ２１）および基準モデルＭＤ２１の第２の面の法線方向（方向ＤＲ２２）と異なる。

図１５は、第２の実施形態における画像表示処理において生成された画像の例を示す。画像生成部１８３は、図１５に示す３Ｄ画像Ｇ２１を生成する。３Ｄ画像Ｇ２１は、図１１に示す３Ｄ画像Ｇ１２と同様に、Ｘ軸と平行な方向に見た被写体ＯＢ２１の３Ｄ形状を示す。３Ｄ画像Ｇ２１は、画素群ＰＧ２１を含む。画素群ＰＧ２１は、図１４に示す基準モデルＭＤ２１と交差する第１の点と対応する画素を含む。画素群ＰＧ２１以外の画素は、基準モデルＭＤ２１と交差しない第２の点と対応する。画素群ＰＧ２１は、方向ＤＲ２４と垂直な第１の線上の画素と、方向ＤＲ２５と垂直な第２の線上の画素とを含む。

画素群ＰＧ２１を形成する第１の線と垂直な方向ＤＲ２４は、被写体ＯＢ２１の表面ＳＦ２１の法線方向ＤＲ２３と異なる。また、画素群ＰＧ２１を形成する第２の線と垂直な方向ＤＲ２５は、被写体ＯＢ２１の表面ＳＦ２１の法線方向ＤＲ２３と異なる。そのため、ユーザーが、被写体ＯＢ２１に形成された凹部の深さＤ２１を正確に判断できない可能性がある。深さＤ２１は、表面ＳＦ２１の法線方向ＤＲ２３における凹部の大きさを示す。第２の実施形態における画像表示処理では、基準モデルを形成する基準図形と垂直な方向（例えば、方向ＤＲ２４および方向ＤＲ２５）が被写体の表面と垂直な方向（例えば、法線方向ＤＲ２３）と大きく異なる場合がある。

第３の実施形態における画像表示処理では、被写体の３Ｄ形状に基づいて基準モデルの方向（角度）が設定される。具体的には、被写体の３Ｄ形状の表面の法線方向に基づいて基準モデルの方向が設定される。第３の実施形態における画像表示処理では、基準モデルを形成する基準図形と垂直な方向が被写体の表面と垂直な方向に近づくため、ユーザーは被写体における領域の大きさを正確に判断することができる。

第３の実施形態において、図９に示すＣＰＵ１８は、図１６に示すＣＰＵ１８ａに変更される。図１６は、ＣＰＵ１８ａの機能構成を示す。ＣＰＵ１８ａの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、法線方向算出部１８６、および基準モデル設定部１８７を含む。図１６に示すブロックの少なくとも１つがＣＰＵ１８ａと異なる回路で構成されてもよい。図９に示す構成と同じ構成の説明を省略する。

図１６に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図１６に示す各部は、１つまたは複数のプロセッサを含むことができる。図１６に示す各部は、１つまたは複数の論理回路を含むことができる。

法線方向算出部１８６は、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の表面の法線方向を算出する（方向算出ステップ）。基準モデル設定部１８７は、その法線方向に基づいて基準モデルの方向を設定する（設定ステップ）。

基準モデル設定部１８７は、法線方向算出部１８６によって算出された法線方向に基づいて、３Ｄ形状を基準とする基準モデルの相対的な方向を設定してもよい。例えば、基準モデル設定部１８７は、法線方向算出部１８６によって算出された法線方向に基づいて３Ｄデータに含まれる３Ｄ座標を変更することにより基準モデルの相対的な方向を設定してもよい。

図１７を使用することにより、第３の実施形態における画像表示処理について説明する。図１７は、画像表示処理の手順を示す。図１０に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、法線方向算出部１８６は、被写体の表面の法線方向を算出する（ステップＳ１１１）。ステップＳ１１１は、方向算出ステップと対応する。

例えば、法線方向算出部１８６は、ステップＳ１１１において以下の処理を実行する。法線方向算出部１８６は、３Ｄデータを使用することにより、被写体の３Ｄ形状の特徴を判断する。法線方向算出部１８６は、その特徴に基づいて、３Ｄデータに含まれる２つ以上の点を２つ以上の領域（セグメント）に分割する。例えば、法線方向算出部１８６は、ＥｕｃｌｉｄｅａｎＣｌｕｓｔｅｒＥｘｔｒａｃｔｉｏｎを使用することにより、２つ以上の点の各々を２つ以上の領域のうちの１つに割り当てる。これにより、法線方向算出部１８６は、３Ｄ形状の領域を２つ以上の領域に分割する。法線方向算出部１８６は、最も大きなセグメントの法線方向を算出する。

ステップＳ１１１の後、基準モデル設定部１８７は、基準モデルの方向を設定する（ステップＳ１１２）。ステップＳ１１２は、設定ステップと対応する。

例えば、基準モデル設定部１８７は、ステップＳ１１２において以下の処理を実行する。基準モデル設定部１８７は、被写体の表面の法線の負方向に伸びるＺ’軸を定義し、かつＺ’軸と垂直なＸ’軸およびＹ’軸を定義する。基準モデル設定部１８７は、３Ｄデータの各点の３Ｄ座標を、Ｘ’軸、Ｙ’軸、およびＺ’軸によって定義された座標系における３Ｄ座標に変換する。つまり、基準モデル設定部１８７は、Ｘ座標をＸ’座標に変換し、Ｙ座標をＹ’座標に変換し、Ｚ座標をＺ’座標に変換する。これにより、基準モデル設定部１８７は、３Ｄデータの各点と基準モデルとの位置関係を変更する。つまり、基準モデル設定部１８７は、３Ｄデータの各点を基準とする基準モデルの方向を変更する。図３に示す基準モデルＭＤ２と同様の基準モデルが使用される場合、その基準モデルを形成する面の３つの法線方向の１つは、被写体の表面の法線方向と平行な方向に設定される。

ステップＳ１１２の後、判断部１８２は、ステップＳ１０５において、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係を判断する。このとき、判断部１８２は、Ｘ軸、Ｙ軸、およびＺ軸によって定義された座標系における３Ｄ座標の代わりにＸ’軸、Ｙ’軸、およびＺ’軸によって定義された新たな座標系における３Ｄ座標を使用する。

図１８は、第３の実施形態における画像表示処理に使用される被写体ＯＢ２１の３Ｄ形状と基準モデルＭＤ２１との関係を示す。図１８は、図１４と同様に、Ｘ軸と平行な方向に見た被写体ＯＢ２１および基準モデルＭＤ２１を示す。基準モデルＭＤ２１は、方向ＤＲ２１と垂直な第１の面と、方向ＤＲ２２と垂直な第２の面と、図１８に示されていない第３の面とによって形成されている。基準モデル設定部１８７は、基準モデルＭＤ２１を形成する第１の面の法線方向（方向ＤＲ２１）が被写体ＯＢ２１の表面ＳＦ２１の法線方向ＤＲ２３と平行になるように第１の面の法線方向を設定する。

図１９は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ２１の３Ｄ画像Ｇ２２を表示部５に表示する。３Ｄ画像Ｇ２２は、図１１に示す３Ｄ画像Ｇ１２と同様に、Ｘ軸と平行な方向に見た被写体ＯＢ２１の３Ｄ形状を示す。３Ｄ画像Ｇ２２は、画素群ＰＧ２２を含む。画素群ＰＧ２２は、図１８に示す基準モデルＭＤ２１と交差する第１の点と対応する画素を含む。画素群ＰＧ２２以外の画素は、基準モデルＭＤ２１と交差しない第２の点と対応する。画素群ＰＧ２２は、方向ＤＲ２６と垂直な第１の線上の画素と、方向ＤＲ２７と垂直な第２の線上の画素とを含む。

画素群ＰＧ２２を形成する第１の線と垂直な方向ＤＲ２６は、被写体ＯＢ２１の表面ＳＦ２１の法線方向ＤＲ２３と平行である。つまり、その第１の線は、表面ＳＦ２１と平行である。その第１の線の位置は、表面ＳＦ２１と垂直な方向における距離を示す。そのため、ユーザーは、被写体ＯＢ２１に形成された凹部の深さＤ２１を正確に判断することができる。

本発明の各態様は次の変形例を含んでもよい。基準モデル設定部１８７は、設定ステップ（ステップＳ１１２）において、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状に基づいて基準モデルの方向を設定する。

本発明の各態様は次の変形例を含んでもよい。法線方向算出部１８６は、方向算出ステップ（ステップＳ１１１）において、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の表面の法線方向を算出する。基準モデル設定部１８７は、設定ステップ（ステップＳ１１２）において、その法線方向に基づいて基準モデルの方向を設定する。

第３の実施形態において、被写体の表面の法線方向に基づいて基準モデルの方向が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

（第３の実施形態の第１の変形例）
本発明の第３の実施形態の第１の変形例を説明する。第３の実施形態の第１の変形例における画像表示処理では、ライブ画像上の所定の点と対応する３Ｄデータの点における３Ｄ形状に基づいて基準モデルの方向が設定される。

図１６に示すＣＰＵ１８ａは、図２０に示すＣＰＵ１８ｂに変更される。図２０は、ＣＰＵ１８ｂの機能構成を示す。ＣＰＵ１８ｂの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、法線方向算出部１８６、基準モデル設定部１８７、および距離算出部１８８を含む。図２０に示すブロックの少なくとも１つがＣＰＵ１８ｂと異なる回路で構成されてもよい。図１６に示す構成と同じ構成の説明を省略する。

図２０に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２０に示す各部は、１つまたは複数のプロセッサを含むことができる。図２０に示す各部は、１つまたは複数の論理回路を含むことができる。

距離算出部１８８は、ライブ画像上の点と対応する３Ｄ空間の点と、そのライブ画像を取得したカメラ（撮像素子２８）との距離を算出する（距離算出ステップ）。例えば、ライブ画像上のその点は、ライブ画像の中心である。例えば、距離算出部１８８は、３Ｄ空間の点とカメラ中心（光学中心）との距離を算出する。表示制御部１８４は、ライブ画像およびその距離を表示部５に表示する（画像表示ステップ）。例えば、ユーザーは、その距離が計測に適しているか否かを確認することができる。法線方向算出部１８６は、ライブ画像上のその点と対応する３Ｄ形状上の点を含む領域の法線方向を算出する（方向算出ステップ）。

図２１を使用することにより、第３の実施形態の第１の変形例における画像表示処理について説明する。図２１は、画像表示処理の手順を示す。図１７に示す処理と同じ処理の説明を省略する。

ステップＳ１０１の後、距離算出部１８８は、ライブ画像上の点と対応する３Ｄ空間の点と、そのライブ画像を取得したカメラとの３Ｄ距離を算出する（ステップＳ１１３）。ステップＳ１１３は、距離算出ステップと対応する。

例えば、距離算出部１８８は、ステップＳ１１３において以下の処理を実行する。例えば、距離算出部１８８は、第１の画像および第２の画像を含むステレオ画像を使用する。例えば、ライブ画像は第１の画像である。距離算出部１８８は、第１の画像および第２の画像を使用し、かつ三角測量の原理に基づいて、第１の画像上の点と対応する３Ｄ空間の点の３Ｄ座標を算出する。距離算出部１８８は、その３Ｄ座標を持つ点とカメラ中心との３Ｄ距離を算出する。

ステップＳ１１３の後、表示制御部１８４は、ステップＳ１１３において算出された３Ｄ距離をライブ画像上に表示する（ステップＳ１１４）。ステップＳ１０１およびステップＳ１１４は、画像表示ステップと対応する。ステップＳ１１４の後、ステップＳ１０２が実行される。ステップＳ１０１、ステップＳ１１３、およびステップＳ１１４は繰り返し実行されてもよい。

ステップＳ１０４の後、法線方向算出部１８６は、ライブ画像上の点と対応する３Ｄ形状上の点を含む領域の法線方向を算出する（ステップＳ１１１ａ）。ステップＳ１１１ａは、方向算出ステップと対応する。ステップＳ１１１ａの後、ステップＳ１１２が実行される。

例えば、法線方向算出部１８６は、ステップＳ１１１ａにおいて以下の処理を実行する。３Ｄデータに含まれる３Ｄ座標は、３Ｄデータを生成するために使用された２Ｄ画像における２Ｄ座標と関連付けられている。つまり、３Ｄデータに含まれる各点は、２Ｄ画像の画素と関連付けられている。法線方向算出部１８６は、ライブ画像上の点と対応する画素と関連付けられている３Ｄデータの点を特定する。法線方向算出部１８６は、特定された点を含む領域の法線方向を算出する。その領域は、被写体の表面の領域であって、３Ｄデータに含まれる３つ以上の点を含む。例えば、その領域は、特定された点と、その特定された点の近傍の２つ以上の点を含む。例えば、その領域は、被写体の表面全体の一部である。３Ｄデータは、４つ以上の点の３Ｄ座標を含んでもよい。

本発明の各態様は次の変形例を含んでもよい。距離算出部１８８は、距離算出ステップ（ステップＳ１１３）において、ライブ画像（２Ｄ画像）上の点と対応する３Ｄ空間の点と、ライブ画像を取得したカメラとの距離を算出する。表示制御部１８４は、画像表示ステップ（ステップＳ１０１およびステップＳ１１４）において、ライブ画像およびその距離を表示部５（ディスプレイ）に表示する。法線方向算出部１８６は、方向算出ステップ（ステップＳ１１１ａ）において、ライブ画像上の点と対応する３Ｄ形状上の点を含む領域の法線方向を算出する。

第３の実施形態の第１の変形例において、ライブ画像上の所定の点と対応する３Ｄデータの点における被写体の表面の法線方向に基づいて基準モデルの方向が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

（第３の実施形態の第２の変形例）
本発明の第３の実施形態の第２の変形例を説明する。第３の実施形態の第２の変形例における画像表示処理では、ユーザーによって指定された位置の３Ｄ形状に基づいて基準モデルの方向が設定される。

図１６に示すＣＰＵ１８ａは、図２２に示すＣＰＵ１８ｃに変更される。図２２は、ＣＰＵ１８ｃの機能構成を示す。ＣＰＵ１８ｃの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、法線方向算出部１８６、基準モデル設定部１８７、および基準点設定部１８９を含む。図２２に示すブロックの少なくとも１つがＣＰＵ１８ｃと異なる回路で構成されてもよい。図１６に示す構成と同じ構成の説明を省略する。

図２２に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２２に示す各部は、１つまたは複数のプロセッサを含むことができる。図２２に示す各部は、１つまたは複数の論理回路を含むことができる。

３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる１つの点の位置が操作部４または表示部５を通して入力されたとき、情報受付部１８５は、その位置を受け付ける（受付ステップ）。基準点設定部１８９は、その位置と対応する点を特定する。その点は、上記の２つ以上の点に含まれる。基準点設定部１８９は、その点を基準点として設定する。基準点設定部１８９は、基準点を表示部５に表示された画像と関連付けることにより、基準点をその画像に設定する。基準点は３Ｄ座標を持つ。基準点設定部１８９によって設定された基準点の情報は、ＲＡＭ１４に保持される。法線方向算出部１８６は、基準点における３Ｄ形状の表面の法線方向を算出する（算出ステップ）。

図２３を使用することにより、第３の実施形態の第２の変形例における画像表示処理について説明する。図２３は、画像表示処理の手順を示す。図１７に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、表示制御部１８４は、ステップＳ１０４において生成された３Ｄデータの３Ｄ画像を表示部５に表示する（ステップＳ１２１）。

ステップＳ１２１の後、情報受付部１８５は、操作部４または表示部５を通して１つの点の位置を受け付ける。基準点設定部１８９は、情報受付部１８５によって受け付けられた位置と対応する基準点を設定する（ステップＳ１２２）。ステップＳ１２２は、受付ステップと対応する。

ステップＳ１２２の後、法線方向算出部１８６は、基準点における被写体の表面の法線方向を算出する（ステップＳ１１１ｂ）。ステップＳ１１１ｂは、方向算出ステップと対応する。ステップＳ１１１ｂの後、ステップＳ１１２が実行される。

例えば、法線方向算出部１８６は、ステップＳ１１１ｂにおいて以下の処理を実行する。法線方向算出部１８６は、基準点を含む領域の法線方向を算出する。その領域は、被写体の表面の領域であって、３Ｄデータに含まれる３つ以上の点を含む。３つ以上の点は、基準点を含む。

図２４は、ステップＳ１２１において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ３１の３Ｄ画像Ｇ３１を表示部５に表示する。被写体ＯＢ３１は、領域Ｒ３１および領域Ｒ３２を有する。領域Ｒ３１は、深さを持つ凹部である。領域Ｒ３２は、被写体ＯＢ３１の表面に形成された傷である。

カーソルが３Ｄ画像上に表示される例では、ユーザーは、カーソルを３Ｄ画像上の所望の位置に移動させ、かつ所定の操作を実行する。このとき、情報受付部１８５は、その位置を受け付ける。表示部５がタッチパネルである例では、ユーザーは表示部５の画面をタッチする。このとき、情報受付部１８５は、タッチされた位置を受け付ける。基準点設定部１８９は、ステップＳ１２２において、その位置と対応する基準点を設定する。

図２４に示す例では、基準点設定部１８９は基準点Ｐ３１を設定する。表示制御部１８４は、基準点Ｐ３１を示すマークを３Ｄ画像Ｇ３１上に表示してもよい。

情報受付部１８５は、ステップＳ１０３において表示されたフリーズ画像上の位置を受け付けてもよい。その場合、表示制御部１８４がステップＳ１２１を実行する必要はない。フリーズ画像は、３Ｄデータを生成するための２Ｄ画像を含む。情報受付部１８５はその２Ｄ画像上の位置を受け付けてもよく、かつ基準点設定部１８９はその位置に基準点を設定してもよい。

３Ｄデータに含まれる３Ｄ座標は、３Ｄデータを生成するために使用された２Ｄ画像における２Ｄ座標と関連付けられている。つまり、３Ｄデータに含まれる各点は、２Ｄ画像の画素と関連付けられている。基準点設定部１８９は、情報受付部１８５によって受け付けられた２Ｄ画像上の位置と対応する画素と関連付けられている３Ｄデータの点を特定してもよい。基準点設定部１８９は、特定された点を基準点として設定してもよい。

図２５は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ３１の３Ｄ画像Ｇ３２を表示部５に表示する。図２５に示す被写体ＯＢ３１は、図２４に示す被写体ＯＢ３１と同様に、領域Ｒ３１および領域Ｒ３２を有する。

３Ｄ画像Ｇ３２は、画素群ＰＧ３１を含む。画素群ＰＧ３１は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ３１以外の画素は、基準モデルと交差しない第２の点と対応する。

法線方向算出部１８６は、ステップＳ１１１ｂにおいて、基準点Ｐ３１における被写体ＯＢ３１の表面の法線方向を算出する。基準モデル設定部１８７は、ステップＳ１１２において、基準モデルを形成する面の法線方向を、基準点Ｐ３１における被写体ＯＢ３１の表面の法線方向と平行な方向に設定する。

本発明の各態様は次の変形例を含んでもよい。３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる１つの点の位置が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ１２２）において、その位置を受け付ける。法線方向算出部１８６は、方向算出ステップ（ステップＳ１１１ｂ）において、その点を含む領域の法線方向を算出する。

第３の実施形態の第２の変形例において、ユーザーによって指定された位置における被写体の表面の法線方向に基づいて基準モデルの方向が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

（第４の実施形態）
本発明の第４の実施形態を説明する前に、第２の実施形態における画像表示処理において生成された画像の例を説明する。図２６は、第２の実施形態における画像表示処理において生成された画像の例を示す。画像生成部１８３は、図２６に示す３Ｄ画像Ｇ４１を生成する。３Ｄ画像Ｇ４１は、被写体ＯＢ４１の３Ｄ形状を示す。被写体ＯＢ４１は、領域Ｒ４１を有する。領域Ｒ４１は、被写体ＯＢ４１の表面に形成された傷であり、細長い形状を持つ。被写体ＯＢ４１は、直線状のエッジＥ４１を有する。

３Ｄ画像Ｇ４１は、画素群ＰＧ４１を含む。画素群ＰＧ４１は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ４１以外の画素は、基準モデルと交差しない第２の点と対応する。画素群ＰＧ４１は、方向ＤＲ４１と垂直な第１の線上の画素と、方向ＤＲ４２と垂直な第２の線上の画素とを含む。

画素群ＰＧ４１を形成する第１の線と垂直な方向ＤＲ４１は、被写体ＯＢ４１のエッジＥ４１と垂直な方向ＤＲ４３と異なる。また、画素群ＰＧ４１を形成する第２の線と垂直な方向ＤＲ４２は、被写体ＯＢ４１のエッジＥ４１と垂直な方向ＤＲ４３と異なる。そのため、ユーザーが、エッジＥ４１を基準とする領域Ｒ４１の長さＬＧ４１を正確に判断できない可能性がある。長さＬＧ４１は、エッジＥ４１と垂直な方向ＤＲ４３における領域Ｒ４１の大きさを示す。第２の実施形態における画像表示処理では、基準モデルを形成する基準図形と垂直な方向（例えば、方向ＤＲ４１および方向ＤＲ４２）が被写体のエッジと垂直な方向（例えば、方向ＤＲ４３）と大きく異なる場合がある。

第４の実施形態における画像表示処理では、被写体の３Ｄ形状の表面におけるエッジの方向に基づいて基準モデルの方向が設定される。第４の実施形態における画像表示処理では、基準モデルを形成する基準図形と垂直な方向が被写体のエッジと垂直な方向に近づくため、ユーザーは被写体における領域の大きさを正確に判断することができる。

第４の実施形態において、図９に示すＣＰＵ１８は、図２７に示すＣＰＵ１８ｄに変更される。図２７は、ＣＰＵ１８ｄの機能構成を示す。ＣＰＵ１８ｄの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、基準モデル設定部１８７、およびエッジ方向算出部１９０を含む。図２７に示すブロックの少なくとも１つがＣＰＵ１８ｄと異なる回路で構成されてもよい。図９に示す構成と同じ構成の説明を省略する。

図２７に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２７に示す各部は、１つまたは複数のプロセッサを含むことができる。図２７に示す各部は、１つまたは複数の論理回路を含むことができる。

エッジ方向算出部１９０は、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の表面におけるエッジの方向を算出する（方向算出ステップ）。エッジは、３Ｄ形状と３Ｄ空間との境界である。例えば、エッジは直線状に伸びる。エッジは、曲線状に伸びてもよい。基準モデル設定部１８７は、そのエッジの方向に基づいて基準モデルの方向を設定する（設定ステップ）。

基準モデル設定部１８７は、エッジ方向算出部１９０によって算出された方向に基づいて、３Ｄ形状を基準とする基準モデルの相対的な方向を設定してもよい。例えば、基準モデル設定部１８７は、エッジ方向算出部１９０によって算出された方向に基づいて３Ｄデータに含まれる３Ｄ座標を変更することにより基準モデルの相対的な方向を設定してもよい。

エッジ方向算出部１９０は、エッジの方向に加えてエッジの位置を算出する（位置算出ステップ）。基準モデル設定部１８７は、そのエッジの位置に基づいて基準モデルの位置を設定する（設定ステップ）。

基準モデル設定部１８７は、エッジ方向算出部１９０によって算出された位置に基づいて、３Ｄ形状を基準とする基準モデルの相対的な位置を設定してもよい。例えば、基準モデル設定部１８７は、エッジ方向算出部１９０によって算出された位置に基づいて３Ｄデータに含まれる３Ｄ座標を変更することにより基準モデルの相対的な位置を設定してもよい。

図２８を使用することにより、第４の実施形態における画像表示処理について説明する。図２８は、画像表示処理の手順を示す。図１０に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、エッジ方向算出部１９０は、被写体の表面におけるエッジの方向および位置を算出する（ステップＳ１３１）。ステップＳ１３１は、方向算出ステップおよび位置算出ステップと対応する。

例えば、エッジ方向算出部１９０は、ステップＳ１３１において以下の処理を実行する。エッジ方向算出部１９０は、３Ｄデータを使用することにより、被写体の３Ｄ形状の特徴を判断する。エッジ方向算出部１９０は、その特徴に基づいて、３Ｄデータに含まれる２つ以上の点を２つ以上の領域（セグメント）に分割する。この処理は、第３の実施形態における法線方向算出部１８６が実行する処理と同様である。エッジ方向算出部１９０は、最も大きなセグメントの３Ｄデータに基づいて被写体の表面と垂直な法線を算出し、かつ法線方向の変化に基づいて被写体のエッジを検出する。エッジ方向算出部１９０は、検出されたエッジと平行な方向を算出する。

ステップＳ１３１の後、基準モデル設定部１８７は、基準モデルの方向および位置を設定する（ステップＳ１３２）。ステップＳ１３２は、設定ステップと対応する。

例えば、基準モデル設定部１８７は、ステップＳ１３２において以下の処理を実行する。基準モデル設定部１８７は、エッジと平行な方向に伸びるＸ’軸を定義し、かつＸ’軸と垂直なＹ’軸およびＺ’軸を定義する。あるいは、基準モデル設定部１８７は、エッジと平行な方向に伸びるＹ’軸を定義し、かつＹ’軸と垂直なＸ’軸およびＺ’軸を定義する。エッジと平行な方向がＸ方向と近い場合、基準モデル設定部１８７は、エッジと平行な方向に伸びるＸ’軸を定義する。エッジと平行な方向がＹ方向と近い場合、基準モデル設定部１８７は、エッジと平行な方向に伸びるＹ’軸を定義する。基準モデル設定部１８７は、エッジ上の点を、Ｘ’軸、Ｙ’軸、およびＺ’軸によって定義された座標系の原点として定義する。

基準モデル設定部１８７は、３Ｄデータの各点の３Ｄ座標を、Ｘ’軸、Ｙ’軸、およびＺ’軸によって定義された座標系における３Ｄ座標に変換する。つまり、基準モデル設定部１８７は、Ｘ座標をＸ’座標に変換し、Ｙ座標をＹ’座標に変換し、Ｚ座標をＺ’座標に変換する。これにより、基準モデル設定部１８７は、３Ｄデータの各点と基準モデルとの位置関係を変更する。つまり、基準モデル設定部１８７は、３Ｄデータの各点を基準とする基準モデルの方向および位置を変更する。図３に示す基準モデルＭＤ２と同様の基準モデルが使用される場合、その基準モデルを形成する面の３つの法線方向の１つは、エッジと垂直な方向に設定される。また、その基準モデルを形成する１つの面の位置は、エッジの位置に設定される。

ステップＳ１３２の後、判断部１８２は、ステップＳ１０５において、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係を判断する。このとき、判断部１８２は、Ｘ軸、Ｙ軸、およびＺ軸によって定義された座標系における３Ｄ座標の代わりにＸ’軸、Ｙ’軸、およびＺ’軸によって定義された新たな座標系における３Ｄ座標を使用する。

図２９は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ４１の３Ｄ画像Ｇ４２を表示部５に表示する。図２９に示す被写体ＯＢ４１は、図２６に示す被写体ＯＢ４１と同様に、領域Ｒ４１およびエッジＥ４１を有する。

３Ｄ画像Ｇ４２は、画素群ＰＧ４２を含む。画素群ＰＧ４２は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ４２以外の画素は、基準モデルと交差しない第２の点と対応する。

エッジ方向算出部１９０は、ステップＳ１３１において、エッジＥ４１の方向を算出する。基準モデル設定部１８７は、ステップＳ１３２において、基準モデルを形成する面の法線方向を、エッジＥ４１と垂直な方向ＤＲ４３に設定する。基準モデル設定部１８７は、ステップＳ１３２において、基準モデルを形成する１つの面の位置を、エッジＥ４１の位置に設定する。

画素群ＰＧ４２は、方向ＤＲ４４と垂直な第１の線上の画素と、方向ＤＲ４５と垂直な第２の線上の画素とを含む。画素群ＰＧ４２を形成する第１の線と垂直な方向ＤＲ４４は、エッジＥ４１と垂直である。つまり、その第１の線は、エッジＥ４１と平行である。また、画素群ＰＧ４２を形成する１つの第１の線は、エッジＥ４１と重なる。エッジＥ４１と重なる第１の線と異なる第１の線の位置は、エッジＥ４１と垂直な方向ＤＲ４３におけるエッジＥ４１からの距離を示す。そのため、ユーザーは、エッジＥ４１を基準とする領域Ｒ４１の長さＬＧ４１を正確に判断することができる。

エッジ方向算出部１９０は、ステップＳ１３１においてエッジの位置を算出する必要はない。したがって、エッジ方向算出部１９０は、ステップＳ１３１においてエッジの方向のみを算出してもよい。

基準モデル設定部１８７は、ステップＳ１３２において基準モデルの位置を設定する必要はない。したがって、基準モデル設定部１８７は、ステップＳ１３２において基準モデルの方向のみを設定してもよい。

本発明の各態様は次の変形例を含んでもよい。エッジ方向算出部１９０は、方向算出ステップ（ステップＳ１３１）において、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の表面におけるエッジの方向を算出する。基準モデル設定部１８７は、設定ステップ（ステップＳ１３２）において、エッジの方向に基づいて基準モデルの方向を設定する。

本発明の各態様は次の変形例を含んでもよい。エッジ方向算出部１９０は、位置算出ステップ（ステップＳ１３１）において、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の表面におけるエッジの位置を算出する。基準モデル設定部１８７は、設定ステップ（ステップＳ１３２）において、エッジの位置に基づいて基準モデルの位置を設定する。

第４の実施形態において、被写体の表面におけるエッジの方向に基づいて基準モデルの方向が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

さらに、被写体の表面におけるエッジの位置に基づいて基準モデルの位置が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさをより正確に判断するのに適した画像を表示することができる。

（第４の実施形態の変形例）
本発明の第４の実施形態の変形例を説明する。第４の実施形態の変形例における画像表示処理では、ユーザーによって指定された位置の３Ｄ形状に基づいて基準モデルの方向および位置が設定される。

図２７に示すＣＰＵ１８ｄは、図３０に示すＣＰＵ１８ｅに変更される。図３０は、ＣＰＵ１８ｅの機能構成を示す。ＣＰＵ１８ｅの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、基準モデル設定部１８７、基準点設定部１８９、およびエッジ方向算出部１９０を含む。図３０に示すブロックの少なくとも１つがＣＰＵ１８ｅと異なる回路で構成されてもよい。図２７に示す構成と同じ構成の説明を省略する。

図３０に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図３０に示す各部は、１つまたは複数のプロセッサを含むことができる。図３０に示す各部は、１つまたは複数の論理回路を含むことができる。

３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる２つの点の各々の位置が操作部４または表示部５を通して入力されたとき、情報受付部１８５は、その位置を受け付ける（受付ステップ）。基準点設定部１８９は、その位置と対応する点を特定する。その点は、上記の２つ以上の点に含まれる。基準点設定部１８９は、その点を基準点として設定する。基準点設定部１８９は、基準点を表示部５に表示された画像と関連付けることにより、基準点をその画像に設定する。基準点設定部１８９は、２つの基準点を設定する。２つの基準点の各々は３Ｄ座標を持つ。基準点設定部１８９によって設定された２つの基準点の情報は、ＲＡＭ１４に保持される。エッジ方向算出部１９０は、２つの基準点を通る直線の方向を算出する。

図３１を使用することにより、第４の実施形態の変形例における画像表示処理について説明する。図３１は、画像表示処理の手順を示す。図２８に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、表示制御部１８４は、ステップＳ１０４において生成された３Ｄデータの３Ｄ画像を表示部５に表示する（ステップＳ１４１）。

ステップＳ１４１の後、情報受付部１８５は、操作部４または表示部５を通して２つの点の各々の位置を受け付ける。基準点設定部１８９は、情報受付部１８５によって受け付けられた位置と対応する基準点を設定する。これにより、基準点設定部１８９は、２つの基準点を設定する（ステップＳ１４２）。ステップＳ１４２は、受付ステップと対応する。

ステップＳ１４２の後、エッジ方向算出部１９０は、２つの基準点を通る３次元直線（３Ｄ直線）を算出する。その３Ｄ直線の方向はエッジの方向と対応し、その３Ｄ直線の位置はエッジの位置と対応する（ステップＳ１３１ａ）。ステップＳ１３１ａの後、ステップＳ１３２が実行される。

図３２は、ステップＳ１４１において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ４１の３Ｄ画像Ｇ４３を表示部５に表示する。図３２に示す被写体ＯＢ４１は、図２６に示す被写体ＯＢ４１と同様に、領域Ｒ４１を有する。領域Ｒ４１は、被写体ＯＢ４１の表面に形成された傷であり、細長い形状を持つ。被写体ＯＢ４１は、図２６に示す被写体ＯＢ４１と同様に、直線状のエッジＥ４１を有する。

ユーザーは、カーソルを移動させる、または表示部５の画面をタッチすることにより、エッジＥ４１上の２つの位置を内視鏡装置１に入力する。基準点設定部１８９は、ステップＳ１４２において、その２つの位置の各々と対応する基準点を設定する。

図３２に示す例では、基準点設定部１８９は基準点Ｐ４１および基準点Ｐ４２を設定する。表示制御部１８４は、基準点Ｐ４１および基準点Ｐ４２の各々を示すマークを３Ｄ画像Ｇ４３上に表示してもよい。

情報受付部１８５は、ステップＳ１０３において表示されたフリーズ画像上の位置を受け付けてもよい。その場合、表示制御部１８４がステップＳ１４１を実行する必要はない。フリーズ画像は、３Ｄデータを生成するための２Ｄ画像を含む。情報受付部１８５はその２Ｄ画像上の位置を受け付けてもよく、かつ基準点設定部１８９はその位置に基準点を設定してもよい。

図３３は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ４１の３Ｄ画像Ｇ４４を表示部５に表示する。図３３に示す被写体ＯＢ４１は、図３２に示す被写体ＯＢ４１と同様に、領域Ｒ４１およびエッジＥ４１を有する。

３Ｄ画像Ｇ４４は、画素群ＰＧ４３を含む。画素群ＰＧ４３は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ４３以外の画素は、基準モデルと交差しない第２の点と対応する。

エッジ方向算出部１９０は、ステップＳ１３１ａにおいて、基準点Ｐ４１および基準点Ｐ４２を通る３Ｄ直線を算出する。基準モデル設定部１８７は、ステップＳ１３２において、基準モデルを形成する面の法線方向を、３Ｄ直線と垂直な方向に設定する。基準モデル設定部１８７は、ステップＳ１３２において、基準モデルを形成する１つの面の位置を、３Ｄ直線の位置に設定する。

エッジ方向算出部１９０は、ステップＳ１３１ａにおいてエッジの位置を算出する必要はない。したがって、エッジ方向算出部１９０は、ステップＳ１３１ａにおいてエッジの方向のみを算出してもよい。

本発明の各態様は次の変形例を含んでもよい。３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる２つの点の各々の位置が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ１４２）において、その位置を受け付ける。基準モデル設定部１８７は、設定ステップ（ステップＳ１３２）において、２つの点を通る線の方向に基づいて基準モデルの方向を設定する。

本発明の各態様は次の変形例を含んでもよい。３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる２つの点の各々の位置が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ１４２）において、その位置を受け付ける。基準モデル設定部１８７は、設定ステップ（ステップＳ１３２）において、２つの点を通る線の位置に基づいて基準モデルの位置を設定する。

第４の実施形態の変形例において、２つの基準点を通る線の方向に基づいて基準モデルの方向が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

さらに、２つの基準点を通る線の位置に基づいて基準モデルの位置が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさをより正確に判断するのに適した画像を表示することができる。

（第５の実施形態）
前述した図２６に示す３Ｄ画像Ｇ４１は、領域Ｒ４１およびエッジＥ４１を有する被写体ＯＢ４１の３Ｄ形状を示す。領域Ｒ４１は、被写体ＯＢ４１の表面に形成された傷であり、細長い形状を持つ。図２６に示す画素群ＰＧ４１を形成する第１の線と垂直な方向ＤＲ４１は、領域Ｒ４１の長手方向と異なる。また、画素群ＰＧ４１を形成する第２の線と垂直な方向ＤＲ４２は、領域Ｒ４１の長手方向と異なる。そのため、ユーザーが、エッジＥ４１を基準とする領域Ｒ４１の長さＬＧ４１を正確に判断できない可能性がある。

第５の実施形態における画像表示処理では、被写体の３Ｄ形状の表面において細長い形状を持つ特徴領域が検出され、特徴領域の長手方向に基づいて基準モデルの方向が設定される。第５の実施形態における画像表示処理では、基準モデルを形成する基準図形と垂直な方向が、特徴領域の長手方向に近づくため、ユーザーは被写体における領域の大きさを正確に判断することができる。

第５の実施形態において、図９に示すＣＰＵ１８は、図３４に示すＣＰＵ１８ｆに変更される。図３４は、ＣＰＵ１８ｆの機能構成を示す。ＣＰＵ１８ｆの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、基準モデル設定部１８７、および領域方向算出部１９１を含む。図３４に示すブロックの少なくとも１つがＣＰＵ１８ｆと異なる回路で構成されてもよい。図９に示す構成と同じ構成の説明を省略する。

図３４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図３４に示す各部は、１つまたは複数のプロセッサを含むことができる。図３４に示す各部は、１つまたは複数の論理回路を含むことができる。

領域方向算出部１９１は、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の表面において細長い形状を持つ特徴領域の長手方向を算出する（方向算出ステップ）。基準モデル設定部１８７は、その長手方向に基づいて基準モデルの方向を設定する（設定ステップ）。基準モデル設定部１８７は、特徴領域の位置に基づいて基準モデルの位置を設定する（設定ステップ）。

例えば、第１の方向における特徴領域の長さ（幅）は、第１の方向と垂直な第２の方向における特徴領域の長さ（幅）よりも大きい。例えば、特徴領域の長手方向は、第１の方向である。

基準モデル設定部１８７は、領域方向算出部１９１によって算出された長手方向に基づいて、３Ｄ形状を基準とする基準モデルの相対的な方向を設定してもよい。例えば、基準モデル設定部１８７は、領域方向算出部１９１によって算出された長手方向に基づいて３Ｄデータに含まれる３Ｄ座標を変更することにより基準モデルの相対的な方向を設定してもよい。

基準モデル設定部１８７は、特徴領域の位置に基づいて、３Ｄ形状を基準とする基準モデルの相対的な位置を設定してもよい。例えば、基準モデル設定部１８７は、特徴領域の位置に基づいて３Ｄデータに含まれる３Ｄ座標を変更することにより基準モデルの相対的な位置を設定してもよい。

基準モデルは、２つ以上の基準図形が連続的に配置された構造を持つ。基準モデル設定部１８７は、特徴領域の大きさに基づいて２つ以上の基準図形の間隔を設定する（設定ステップ）。例えば、基準モデル設定部１８７は、特徴領域の長手方向における特徴領域の長さに基づいて、２つ以上の基準図形の間隔を設定する。

図３５を使用することにより、第５の実施形態における画像表示処理について説明する。図３５は、画像表示処理の手順を示す。図１０に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、領域方向算出部１９１は、被写体の表面において細長い形状を持つ特徴領域を検出し、特徴領域の長手方向を算出する（ステップＳ１５１）。ステップＳ１５１は、方向算出ステップと対応する。

例えば、領域方向算出部１９１は、ステップＳ１５１において以下の処理を実行する。領域方向算出部１９１は、ＤｅｅｐＬｅａｒｎｉｎｇのような機械学習を使用することにより特徴領域を検出する。領域方向算出部１９１は、特徴領域を２つ以上の小領域に分割し、かつ各小領域の長手方向を算出する。領域方向算出部１９１は、２つ以上の小領域の長手方向の平均を算出することにより特徴領域の長手方向を算出する。

ステップＳ１５１の後、基準モデル設定部１８７は、基準モデルの方向、位置、および間隔を設定する（ステップＳ１５２）。ステップＳ１５２は、設定ステップと対応する。

例えば、基準モデル設定部１８７は、ステップＳ１５２において以下の処理を実行する。基準モデル設定部１８７は、特徴領域の長手方向に伸びるＸ’軸を定義し、かつＸ’軸と垂直なＹ’軸およびＺ’軸を定義する。あるいは、基準モデル設定部１８７は、特徴領域の長手方向に伸びるＹ’軸を定義し、かつＹ’軸と垂直なＸ’軸およびＺ’軸を定義する。特徴領域の長手方向がＸ方向と近い場合、基準モデル設定部１８７は、特徴領域の長手方向に伸びるＸ’軸を定義する。特徴領域の長手方向がＹ方向と近い場合、基準モデル設定部１８７は、特徴領域の長手方向に伸びるＹ’軸を定義する。基準モデル設定部１８７は、特徴領域の端点を、Ｘ’軸、Ｙ’軸、およびＺ’軸によって定義された座標系の原点として定義する。

基準モデル設定部１８７は、３Ｄデータの各点の３Ｄ座標を、Ｘ’軸、Ｙ’軸、およびＺ’軸によって定義された座標系における３Ｄ座標に変換する。つまり、基準モデル設定部１８７は、Ｘ座標をＸ’座標に変換し、Ｙ座標をＹ’座標に変換し、Ｚ座標をＺ’座標に変換する。これにより、基準モデル設定部１８７は、３Ｄデータの各点と基準モデルとの位置関係を変更する。つまり、基準モデル設定部１８７は、３Ｄデータの各点を基準とする基準モデルの方向を変更する。図３に示す基準モデルＭＤ２と同様の基準モデルが使用される場合、その基準モデルを形成する面の３つの法線方向の１つは、特徴領域の長手方向に設定される。また、その基準モデルを形成する１つの面の位置は、特徴領域の端点に設定される。

基準モデル設定部１８７は、特徴領域の長手方向における特徴領域の長さを算出する。例えば、基準モデル設定部１８７は、特徴領域の長手方向に互いに離れた２つの端点の３Ｄ距離を特徴領域の長さとして算出する。基準モデル設定部１８７は、特徴領域の長さに基づいて基準モデルの間隔を設定する。例えば、基準モデル設定部１８７は、基準モデルの間隔を特徴領域の長さ以下の整数に設定する。例えば、特徴領域の長さが３．２ｍｍである場合、基準モデル設定部１８７は、基準モデルの間隔を３ｍｍに設定する。基準モデル設定部１８７は、基準モデルの間隔を特徴領域の長さ以下の所定値に設定してもよく、所定値は整数以外の値であってもよい。例えば、特徴領域の長さが０．７２ｍｍである場合、基準モデル設定部１８７は、基準モデルの間隔を０．５ｍｍに設定してもよい。

ステップＳ１５２の後、判断部１８２は、ステップＳ１０５において、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係を判断する。このとき、判断部１８２は、Ｘ軸、Ｙ軸、およびＺ軸によって定義された座標系における３Ｄ座標の代わりにＸ’軸、Ｙ’軸、およびＺ’軸によって定義された新たな座標系における３Ｄ座標を使用する。

図３６は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ５１の３Ｄ画像Ｇ５１を表示部５に表示する。図３６に示す被写体ＯＢ５１は、領域Ｒ５１を有する。領域Ｒ５１は、被写体ＯＢ５１の表面に形成された傷であり、細長い形状を持つ。

３Ｄ画像Ｇ５１は、画素群ＰＧ５１を含む。画素群ＰＧ５１は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ５１以外の画素は、基準モデルと交差しない第２の点と対応する。

領域方向算出部１９１は、ステップＳ１５１において、領域Ｒ５１の長手方向ＤＲ５１を算出する。基準モデル設定部１８７は、ステップＳ１５２において、基準モデルを形成する面の法線方向を領域Ｒ５１の長手方向ＤＲ５１に設定する。基準モデル設定部１８７は、ステップＳ１５２において、基準モデルを形成する１つの面の位置を、領域Ｒ５１の端点Ｐ５１の位置に設定する。基準モデル設定部１８７は、ステップＳ１５２において、長手方向ＤＲ５１における領域Ｒ５１の長さＬＧ５１に基づいて基準モデルの間隔を設定する。

画素群ＰＧ５１は、方向ＤＲ５２と垂直な第１の線上の画素と、方向ＤＲ５３と垂直な第２の線上の画素とを含む。画素群ＰＧ５１を形成する第１の線と垂直な方向ＤＲ５２は、領域Ｒ５１の長手方向ＤＲ５１と平行である。つまり、その第１の線は、領域Ｒ５１の長手方向ＤＲ５１と垂直である。また、画素群ＰＧ５１を形成する１つの第１の線は、領域Ｒ５１の端点Ｐ５１を通る。端点Ｐ５１を通る第１の線と異なる第１の線の位置は、領域Ｒ５１の長手方向ＤＲ５１における端点Ｐ５１からの距離を示す。そのため、ユーザーは、領域Ｒ５１の長さＬＧ５１を正確に判断することができる。

基準モデル設定部１８７は、ステップＳ１５２において基準モデルの位置を設定する必要はない。基準モデル設定部１８７は、ステップＳ１５２において基準モデルの間隔を設定する必要はない。したがって、基準モデル設定部１８７は、ステップＳ１５２において基準モデルの方向のみを設定してもよい。基準モデル設定部１８７は、ステップＳ１５２において基準モデルの方向および位置を設定してもよい。基準モデル設定部１８７は、ステップＳ１５２において基準モデルの方向および間隔を設定してもよい。

本発明の各態様は次の変形例を含んでもよい。領域方向算出部１９１は、方向算出ステップ（ステップＳ１５１）において、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の表面において細長い形状を持つ特徴領域の長手方向を算出する。基準モデル設定部１８７は、設定ステップ（ステップＳ１５２）において、その長手方向に基づいて基準モデルの方向を設定する。

本発明の各態様は次の変形例を含んでもよい。基準モデル設定部１８７は、設定ステップ（ステップＳ１５２）において、特徴領域の位置に基づいて基準モデルの位置を設定する。

本発明の各態様は次の変形例を含んでもよい。基準モデルは、２つ以上の基準図形が連続的に配置された構造を持つ。基準モデル設定部１８７は、設定ステップ（ステップＳ１５２）において、特徴領域の大きさに基づいて、２つ以上の基準図形の間隔を設定する。

本発明の各態様は次の変形例を含んでもよい。基準モデル設定部１８７は、設定ステップ（ステップＳ１５２）において、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状に基づいて基準モデルの方向および２つ以上の基準図形の間隔の少なくとも１つを設定する。基準モデル設定部１８７は、基準モデルの方向および２つ以上の基準図形の間隔のいずれか一方のみを設定してもよい。基準モデル設定部１８７は、基準モデルの方向および２つ以上の基準図形の間隔を設定してもよい。

第５の実施形態において、被写体の表面における特徴領域の長手方向に基づいて基準モデルの方向が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

さらに、被写体の表面における特徴領域の位置に基づいて基準モデルの位置が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさをより正確に判断するのに適した画像を表示することができる。

さらに、被写体の表面における特徴領域の大きさに基づいて基準モデルの間隔が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさをより正確に判断するのに適した画像を表示することができる。

（第５の実施形態の変形例）
本発明の第５の実施形態の変形例を説明する。第５の実施形態の変形例における画像表示処理では、ユーザーによって指定された位置の３Ｄ形状に基づいて基準モデルの方向、位置、および間隔が設定される。

図３４に示すＣＰＵ１８ｆは、図３７に示すＣＰＵ１８ｇに変更される。図３７は、ＣＰＵ１８ｇの機能構成を示す。ＣＰＵ１８ｇの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、基準モデル設定部１８７、基準点設定部１８９、および領域方向算出部１９１を含む。図３７に示すブロックの少なくとも１つがＣＰＵ１８ｇと異なる回路で構成されてもよい。図３４に示す構成と同じ構成の説明を省略する。

図３７に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図３７に示す各部は、１つまたは複数のプロセッサを含むことができる。図３７に示す各部は、１つまたは複数の論理回路を含むことができる。

３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる２つの点の各々の位置が操作部４または表示部５を通して入力されたとき、情報受付部１８５は、その位置を受け付ける（受付ステップ）。基準点設定部１８９は、その位置と対応する点を特定する。その点は、上記の２つ以上の点に含まれる。基準点設定部１８９は、その点を基準点として設定する。基準点設定部１８９は、基準点を表示部５に表示された画像と関連付けることにより、基準点をその画像に設定する。基準点設定部１８９は、２つの基準点を設定する。２つの基準点の各々は３Ｄ座標を持つ。基準点設定部１８９によって設定された２つの基準点の情報は、ＲＡＭ１４に保持される。領域方向算出部１９１は、２つの基準点を通る直線の方向を算出する。

図３８を使用することにより、第５の実施形態の変形例における画像表示処理について説明する。図３８は、画像表示処理の手順を示す。図３５に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、表示制御部１８４は、ステップＳ１０４において生成された３Ｄデータの３Ｄ画像を表示部５に表示する（ステップＳ１６１）。

ステップＳ１６１の後、情報受付部１８５は、操作部４または表示部５を通して２つの点の各々の位置を受け付ける。基準点設定部１８９は、情報受付部１８５によって受け付けられた位置と対応する基準点を設定する。これにより、基準点設定部１８９は、２つの基準点を設定する（ステップＳ１６２）。ステップＳ１６２は、受付ステップと対応する。

ステップＳ１６２の後、領域方向算出部１９１は、２つの基準点を通る３Ｄ直線を算出する。その３Ｄ直線の方向は、細長い形状を持つ特徴領域の長手方向と対応し、その３Ｄ直線の位置は特徴領域の位置と対応する（ステップＳ１５１ａ）。ステップＳ１５１ａの後、ステップＳ１５２が実行される。

図３９は、ステップＳ１６１において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ５１の３Ｄ画像Ｇ５２を表示部５に表示する。図３９に示す被写体ＯＢ５１は、図３６に示す被写体ＯＢ５１と同様に、領域Ｒ５１を有する。領域Ｒ５１は、被写体ＯＢ５１の表面に形成された傷であり、細長い形状を持つ。

ユーザーは、カーソルを移動させる、または表示部５の画面をタッチすることにより、領域Ｒ５１上の２つの位置を内視鏡装置１に入力する。例えば、その２つの位置は、領域Ｒ５１の２つの端点の位置である。基準点設定部１８９は、ステップＳ１６２において、その２つの位置の各々と対応する基準点を設定する。

図３９に示す例では、基準点設定部１８９は基準点Ｐ５２および基準点Ｐ５３を設定する。表示制御部１８４は、基準点Ｐ５２および基準点Ｐ５３の各々を示すマークを３Ｄ画像Ｇ５２上に表示してもよい。

情報受付部１８５は、ステップＳ１０３において表示されたフリーズ画像上の位置を受け付けてもよい。その場合、表示制御部１８４がステップＳ１６１を実行する必要はない。フリーズ画像は、３Ｄデータを生成するための２Ｄ画像を含む。情報受付部１８５はその２Ｄ画像上の位置を受け付けてもよく、かつ基準点設定部１８９はその位置に基準点を設定してもよい。

図４０は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ５１の３Ｄ画像Ｇ５３を表示部５に表示する。図４０に示す被写体ＯＢ５１は、図３９に示す被写体ＯＢ５１と同様に、領域Ｒ５１を有する。

３Ｄ画像Ｇ５３は、画素群ＰＧ５２を含む。画素群ＰＧ５２は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ５２以外の画素は、基準モデルと交差しない第２の点と対応する。

領域方向算出部１９１は、ステップＳ１５１ａにおいて、基準点Ｐ５２および基準点Ｐ５３を通る３Ｄ直線を算出する。基準モデル設定部１８７は、ステップＳ１５２において、基準モデルを形成する面の法線方向を、３Ｄ直線の方向に設定する。基準モデル設定部１８７は、ステップＳ１５２において、基準モデルを形成する１つの面の位置を、基準点Ｐ５２の位置に設定する。基準モデル設定部１８７は、ステップＳ１５２において、基準点Ｐ５２と基準点Ｐ５３との３次元距離（３Ｄ距離）に基づいて基準モデルの間隔を設定する。

本発明の各態様は次の変形例を含んでもよい。３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる２つの点の各々の位置が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ１６２）において、その位置を受け付ける。基準モデル設定部１８７は、設定ステップ（ステップＳ１５２）において、２つの点を通る線の方向に基づいて基準モデルの方向を設定する。

本発明の各態様は次の変形例を含んでもよい。３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる２つの点の各々の位置が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ１６２）において、その位置を受け付ける。基準モデル設定部１８７は、設定ステップ（ステップＳ１５２）において、２つの点のいずれか１つの位置に基づいて基準モデルの位置を設定する。

本発明の各態様は次の変形例を含んでもよい。基準モデルは、２つ以上の基準図形が連続的に配置された構造を持つ。３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる２つの点の各々の位置が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ１６２）において、その位置を受け付ける。基準モデル設定部１８７は、設定ステップ（ステップＳ１５２）において、２つの点の間の距離に基づいて、２つ以上の基準図形の間隔を設定する。

第５の実施形態の変形例において、２つの基準点を通る線の方向に基づいて基準モデルの方向が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

さらに、基準点の位置に基づいて基準モデルの位置が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさをより正確に判断するのに適した画像を表示することができる。

さらに、２つの基準点の間の距離に基づいて基準モデルの間隔が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさをより正確に判断するのに適した画像を表示することができる。

（第６の実施形態）
本発明の第６の実施形態による内視鏡装置１は、基準モデルの位置を設定する機能を持つ。第６の実施形態において、図９に示すＣＰＵ１８は、図４１に示すＣＰＵ１８ｈに変更される。図４１は、ＣＰＵ１８ｈの機能構成を示す。ＣＰＵ１８ｈの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、および基準モデル設定部１８７を含む。図４１に示すブロックの少なくとも１つがＣＰＵ１８ｈと異なる回路で構成されてもよい。図９に示す構成と同じ構成の説明を省略する。

図４１に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図４１に示す各部は、１つまたは複数のプロセッサを含むことができる。図４１に示す各部は、１つまたは複数の論理回路を含むことができる。

基準モデル設定部１８７は、基準モデルの位置を設定する（設定ステップ）。

図４２を使用することにより、第６の実施形態における画像表示処理について説明する。図４２は、画像表示処理の手順を示す。図１０に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、基準モデル設定部１８７は、基準モデルの位置を設定する（ステップＳ１７１）。ステップＳ１７１は、設定ステップと対応する。ステップＳ１７１の後、ステップＳ１０５が実行される。

例えば、基準モデル設定部１８７は、ステップＳ１７１において以下の処理を実行する。制御部１８０は、ライブ画像上の点と対応する３Ｄ空間の点とカメラ中心（光学中心）との距離を算出する。例えば、ライブ画像上のその点は、ライブ画像の中心である。表示制御部１８４は、その距離をライブ画像上に表示する。基準モデル設定部１８７は、ライブ画像上のその点と対応する３Ｄデータの点を抽出し、かつ基準モデルの位置を３Ｄデータのその点の位置に設定する。

図４３は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ６１の３Ｄ画像Ｇ６１を表示部５に表示する。被写体ＯＢ６１は、領域Ｒ６１および領域Ｒ６２を有する。領域Ｒ６１は、深さを持つ凹部である。領域Ｒ６２は、被写体ＯＢ６１の表面に形成された傷である。

３Ｄ画像Ｇ６１は、画素群ＰＧ６１を含む。画素群ＰＧ６１は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ６１以外の画素は、基準モデルと交差しない第２の点と対応する。

制御部１８０は、ステップＳ１０１において基準点Ｐ６１とカメラ中心との距離を算出する。基準モデル設定部１８７は、ステップＳ１７１において、基準モデルの座標系の原点を基準点Ｐ６１に設定することにより基準モデルの位置を設定する。

画素群ＰＧ６１は、主に方向ＤＲ６１に伸びる２つ以上の線上の画素と、主に方向ＤＲ６１にほぼ垂直な方向ＤＲ６２に伸びる２つ以上の線上の画素とを含む。画素群ＰＧ６１を形成する１つの第１の線および１つの第２の線は、基準点Ｐ６１を通る。そのため、ユーザーは、基準点Ｐ６１からの距離を正確に判断することができる。

本発明の各態様は次の変形例を含んでもよい。基準モデル設定部１８７は、設定ステップ（ステップＳ１７１）において基準モデルの位置を設定する。

第６の実施形態において、基準モデルの位置が設定される。例えば、基準モデルの位置は、ユーザーが注目する点と対応する基準点の位置に基づいて設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

（第６の実施形態の変形例）
本発明の第６の実施形態の変形例を説明する。第６の実施形態の変形例における画像表示処理では、ユーザーによって指定された位置に基づいて基準モデルの位置が設定される。

図４１に示すＣＰＵ１８ｈは、図４４に示すＣＰＵ１８ｉに変更される。図４４は、ＣＰＵ１８ｉの機能構成を示す。ＣＰＵ１８ｉの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、基準モデル設定部１８７、および基準点設定部１８９を含む。図４４に示すブロックの少なくとも１つがＣＰＵ１８ｉと異なる回路で構成されてもよい。図４１に示す構成と同じ構成の説明を省略する。

図４４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図４４に示す各部は、１つまたは複数のプロセッサを含むことができる。図４４に示す各部は、１つまたは複数の論理回路を含むことができる。

３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる１つの点の位置が操作部４または表示部５を通して入力されたとき、情報受付部１８５は、その位置を受け付ける（受付ステップ）。基準点設定部１８９は、その位置と対応する点を特定する。その点は、上記の２つ以上の点に含まれる。基準点設定部１８９は、その点を基準点として設定する。基準点設定部１８９は、基準点を表示部５に表示された画像と関連付けることにより、基準点をその画像に設定する。基準点は３Ｄ座標を持つ。基準点設定部１８９によって設定された基準点の情報は、ＲＡＭ１４に保持される。基準モデル設定部１８７は、基準点の位置に基づいて基準モデルの位置を設定する（設定ステップ）。

図４５を使用することにより、第６の実施形態の変形例における画像表示処理について説明する。図４５は、画像表示処理の手順を示す。図４２に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、表示制御部１８４は、ステップＳ１０４において生成された３Ｄデータの３Ｄ画像を表示部５に表示する（ステップＳ１８１）。

ステップＳ１８１の後、情報受付部１８５は、操作部４または表示部５を通して１つの点の位置を受け付ける。基準点設定部１８９は、情報受付部１８５によって受け付けられた位置と対応する基準点を設定する（ステップＳ１８２）。ステップＳ１８２は、受付ステップと対応する。ステップＳ１８２の後、ステップＳ１７１が実行される。

図４６は、ステップＳ１８１において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ６１の３Ｄ画像Ｇ６２を表示部５に表示する。図４６に示す被写体ＯＢ６２は、図４３に示す被写体ＯＢ６１と同様に、領域Ｒ６１および領域Ｒ６２を有する。

ユーザーは、カーソルを移動させる、または表示部５の画面をタッチすることにより、被写体ＯＢ６１上の位置を内視鏡装置１に入力する。例えば、その位置は、領域Ｒ６１における位置である。基準点設定部１８９は、ステップＳ１８２において、その位置と対応する基準点を設定する。

図４６に示す例では、基準点設定部１８９は基準点Ｐ６２を設定する。表示制御部１８４は、基準点Ｐ６２を示すマークを３Ｄ画像Ｇ６２上に表示してもよい。

情報受付部１８５は、ステップＳ１０３において表示されたフリーズ画像上の位置を受け付けてもよい。その場合、表示制御部１８４がステップＳ１８１を実行する必要はない。フリーズ画像は、３Ｄデータを生成するための２Ｄ画像を含む。情報受付部１８５はその２Ｄ画像上の位置を受け付けてもよく、かつ基準点設定部１８９はその位置に基準点を設定してもよい。

基準モデル設定部１８７は、ステップＳ１７１において、基準モデルを形成する１つの面の位置を、基準点Ｐ６２の位置に設定する。

情報受付部１８５は、ステップＳ１８２において２つ以上の点の位置を受け付けてもよい。基準点設定部１８９は、ステップＳ１８２において２つ以上の基準点を設定してもよい。基準モデル設定部１８７は、ステップＳ１７１において、その２つ以上の基準点の位置に基づいて基準モデルの位置を設定してもよい。例えば、基準モデル設定部１８７は、基準モデルを形成する１つの面の位置を、２つの基準点の中点の位置に設定してもよい。基準モデル設定部１８７は、基準モデルを形成する１つの面の位置を、３つ以上の基準点の重心の位置に設定してもよい。

本発明の各態様は次の変形例を含んでもよい。３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる１つ以上の点の各々の位置が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ１８２）において、その位置を受け付ける。基準モデル設定部１８７は、設定ステップ（ステップＳ１７１）において、１つ以上の点の位置に基づいて基準モデルの位置を設定する。

第６の実施形態の変形例において、基準点の位置に基づいて基準モデルの位置が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

（第７の実施形態）
本発明の第７の実施形態による内視鏡装置１は、基準モデルの間隔を設定する機能を持つ。第７の実施形態において、図９に示すＣＰＵ１８は、図４７に示すＣＰＵ１８ｊに変更される。図４７は、ＣＰＵ１８ｊの機能構成を示す。ＣＰＵ１８ｊの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、基準モデル設定部１８７、および領域大きさ算出部１９２を含む。図４７に示すブロックの少なくとも１つがＣＰＵ１８ｊと異なる回路で構成されてもよい。図９に示す構成と同じ構成の説明を省略する。

図４７に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図４７に示す各部は、１つまたは複数のプロセッサを含むことができる。図４７に示す各部は、１つまたは複数の論理回路を含むことができる。

基準モデルは、２つ以上の基準図形が連続的に配置された構造を持つ。３Ｄデータは、２つ以上の点の３Ｄ座標を含む。領域大きさ算出部１９２は、その２つ以上の点が示す３Ｄ形状における特徴領域の大きさを算出する（大きさ算出ステップ）。基準モデル設定部１８７は、特徴領域の大きさに基づいて２つ以上の基準図形の間隔を設定する（設定ステップ）。

図４８を使用することにより、第７の実施形態における画像表示処理について説明する。図４８は、画像表示処理の手順を示す。図１０に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、領域大きさ算出部１９２は、被写体の表面において特徴領域を検出し、特徴領域の大きさを算出する（ステップＳ１９１）。ステップＳ１９１は、大きさ算出ステップと対応する。

例えば、領域大きさ算出部１９２は、ステップＳ１９１において以下の処理を実行する。領域大きさ算出部１９２は、ＤｅｅｐＬｅａｒｎｉｎｇのような機械学習を使用することにより特徴領域を検出する。例えば、特徴領域は、航空機エンジンのブレードまたは配管の円筒面などである。領域大きさ算出部１９２は、ブレードのエッジの長さを算出する。あるいは、領域大きさ算出部１９２は、円筒面の直径を算出する。

図４９および図５０は、ブレードの３Ｄ画像の例を示す。図４９に示す３Ｄ画像Ｇ７１は、被写体ＯＢ７１の３Ｄ形状を示す。被写体ＯＢ７１は、ブレードである。領域大きさ算出部１９２は、ブレードのエッジの長さＬＧ７１を算出する。長さＬＧ７１は、ブレードの根元からブレードの先端までの距離を示す。図５０に示す３Ｄ画像Ｇ７２は、被写体ＯＢ７２の３Ｄ形状を示す。被写体ＯＢ７２は、円筒面である。領域大きさ算出部１９２は、円筒面の直径ＤＭ７１を算出する。

ステップＳ１９１の後、基準モデル設定部１８７は、基準モデルの間隔を設定する（ステップＳ１９２）。ステップＳ１９２は、設定ステップと対応する。例えば、基準モデル設定部１８７は、ステップＳ１９２において、ブレードのエッジの長さまたは円筒面の直径を所定の数で割ることにより得られた値を基準モデルの間隔として設定する。ステップＳ１９２の後、ステップＳ１０５が実行される。

図５１は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ７１の３Ｄ画像Ｇ７３を表示部５に表示する。図５１に示す被写体ＯＢ７１は、図４９に示す被写体ＯＢ７１と同様に、ブレードである。

３Ｄ画像Ｇ７３は、画素群ＰＧ７１を含む。画素群ＰＧ７１は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ７１以外の画素は、基準モデルと交差しない第２の点と対応する。

領域大きさ算出部１９２は、ステップＳ１９１において、ブレードのエッジの長さＬＧ７１を算出する。基準モデル設定部１８７は、ステップＳ１９２において、長さＬＧ７１を所定の数で割ることにより得られた値を基準モデルの間隔として設定する。図５１に示す例では、所定の数は４である。

本発明の各態様は次の変形例を含んでもよい。基準モデルは、２つ以上の基準図形が連続的に配置された構造を持つ。基準モデル設定部１８７は、設定ステップ（ステップＳ１９２）において、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状に基づいて２つ以上の基準図形の間隔を設定する。

本発明の各態様は次の変形例を含んでもよい。領域大きさ算出部１９２は、大きさ算出ステップ（ステップＳ１９１）において、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状における特徴領域の大きさを算出する。基準モデル設定部１８７は、設定ステップ（ステップＳ１９２）において、その大きさに基づいて２つ以上の基準図形の間隔を設定する。

第７の実施形態において、特徴領域の大きさに基づいて基準モデルの間隔が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

第７の実施形態において、内視鏡装置１は、３Ｄデータが示す３Ｄ形状上の長さを実際の被写体のスケールと合わせる必要はない。３Ｄ形状上の長さは、実際の長さのスケールを持つ必要はない。３Ｄ形状上の絶対的な長さが算出されていない場合であっても、ユーザーは、ブレードのエッジの長さまたは円筒面の直径などのような基準長に基づいて被写体の表面における領域の大きさを判断することができる。

航空機エンジンのブレードにおいて、傷の大きさの許容範囲は、ブレードの根元からの距離（エリア）に基づいて設定される。ユーザーは、その傷がどのエリアに属するのかを容易に判断することができる。

（第７の実施形態の変形例）
本発明の第７の実施形態の変形例を説明する。第７の実施形態の変形例における画像表示処理では、ユーザーによって指定された位置に基づいて基準モデルの間隔が設定される。

図４７に示すＣＰＵ１８ｊは、図５２に示すＣＰＵ１８ｋに変更される。図５２は、ＣＰＵ１８ｋの機能構成を示す。ＣＰＵ１８ｋの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、基準モデル設定部１８７、基準点設定部１８９、および領域大きさ算出部１９２を含む。図５２に示すブロックの少なくとも１つがＣＰＵ１８ｋと異なる回路で構成されてもよい。図４７に示す構成と同じ構成の説明を省略する。

図５２に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図５２に示す各部は、１つまたは複数のプロセッサを含むことができる。図５２に示す各部は、１つまたは複数の論理回路を含むことができる。

３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる２つの点の各々の位置が操作部４または表示部５を通して入力されたとき、情報受付部１８５は、その位置を受け付ける（受付ステップ）。基準点設定部１８９は、その位置と対応する点を特定する。その点は、上記の２つ以上の点に含まれる。基準点設定部１８９は、その点を基準点として設定する。基準点設定部１８９は、基準点を表示部５に表示された画像と関連付けることにより、基準点をその画像に設定する。基準点設定部１８９は、２つの基準点を設定する。２つの基準点の各々は３Ｄ座標を持つ。基準点設定部１８９によって設定された２つの基準点の情報は、ＲＡＭ１４に保持される。領域大きさ算出部１９２は、２つの基準点の間の３Ｄ距離を算出することにより、特徴領域の大きさを算出する。

図５３を使用することにより、第７の実施形態の変形例における画像表示処理について説明する。図５３は、画像表示処理の手順を示す。図４８に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、表示制御部１８４は、ステップＳ１０４において生成された３Ｄデータの３Ｄ画像を表示部５に表示する（ステップＳ２０１）。

ステップＳ２０１の後、情報受付部１８５は、操作部４または表示部５を通して２つの点の各々の位置を受け付ける。基準点設定部１８９は、情報受付部１８５によって受け付けられた位置と対応する基準点を設定する。これにより、基準点設定部１８９は、２つの基準点を設定する（ステップＳ２０２）。ステップＳ２０２は、受付ステップと対応する。

ステップＳ２０２の後、領域大きさ算出部１９２は、２つの基準点の間の３Ｄ距離を算出することにより、特徴領域の大きさを算出する（ステップＳ１９１ａ）。ステップＳ１９１ａの後、ステップＳ１９２が実行される。

図５４は、ステップＳ２０１において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ７１の３Ｄ画像Ｇ７４を表示部５に表示する。図５４に示す被写体ＯＢ７１は、図４９に示す被写体ＯＢ７１と同様に、ブレードである。

ユーザーは、カーソルを移動させる、または表示部５の画面をタッチすることにより、ブレードのエッジ上の２つの位置を内視鏡装置１に入力する。例えば、その２つの位置は、エッジの２つの端点の位置である。基準点設定部１８９は、ステップＳ２０２において、その２つの位置の各々と対応する基準点を設定する。

図５４に示す例では、基準点設定部１８９は基準点Ｐ７１および基準点Ｐ７２を設定する。表示制御部１８４は、基準点Ｐ７１および基準点Ｐ７２の各々を示すマークを３Ｄ画像Ｇ７４上に表示してもよい。

情報受付部１８５は、ステップＳ１０３において表示されたフリーズ画像上の位置を受け付けてもよい。その場合、表示制御部１８４がステップＳ２０１を実行する必要はない。フリーズ画像は、３Ｄデータを生成するための２Ｄ画像を含む。情報受付部１８５はその２Ｄ画像上の位置を受け付けてもよく、かつ基準点設定部１８９はその位置に基準点を設定してもよい。

図５５は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ７１の３Ｄ画像Ｇ７５を表示部５に表示する。図５５に示す被写体ＯＢ７１は、図５４に示す被写体ＯＢ７１と同様に、ブレードである。

３Ｄ画像Ｇ７５は、画素群ＰＧ７２を含む。画素群ＰＧ７２は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ７２以外の画素は、基準モデルと交差しない第２の点と対応する。

領域大きさ算出部１９２は、ステップＳ１９１ａにおいて、基準点Ｐ７１と基準点Ｐ７２との３Ｄ距離Ｄ７１を算出する。基準モデル設定部１８７は、ステップＳ１９２において、３Ｄ距離Ｄ７１に基づいて基準モデルの間隔を設定する。

本発明の各態様は次の変形例を含んでもよい。基準モデルは、２つ以上の基準図形が連続的に配置された構造を持つ。３Ｄデータは、２つ以上の点の３Ｄ座標を含む。その２つ以上の点に含まれる２つの点の各々の位置が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ２０２）において、その位置を受け付ける。基準モデル設定部１８７は、設定ステップ（ステップＳ１９２）において、２つの点の間の距離に基づいて２つ以上の基準図形の間隔を設定する。

第７の実施形態の変形例において、基準点の位置に基づいて基準モデルの間隔が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

（第８の実施形態）
本発明の第８の実施形態による内視鏡装置１は、基準モデルの形状（種類）を設定する機能を持つ。第８の実施形態による内視鏡装置１は、図４１に示すＣＰＵ１８ｈを有する。

基準モデル設定部１８７は、基準モデルの形状を設定する（設定ステップ）。例えば、基準モデルの形状は、基準モデルを形成する２つ以上の基準図形の種類と対応する。

図５６を使用することにより、第８の実施形態における画像表示処理について説明する。図５６は、画像表示処理の手順を示す。図１０に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、基準モデル設定部１８７は、基準モデルの形状を設定する（ステップＳ２１１）。ステップＳ２１１は、設定ステップと対応する。ステップＳ２１１の後、ステップＳ１０５が実行される。

基準モデル設定部１８７は、ステップＳ２１１において以下の処理を実行する。例えば、ユーザーは、操作部４を操作することにより、基準モデルの所定の形状を示す情報を内視鏡装置１に入力する。基準モデル設定部１８７は、その情報が示す形状を持つ基準モデルを選択する。基準モデル設定部１８７は、過去に使用されたフリーズ画像または３Ｄ画像と、ユーザーによって指定された基準モデルの形状との組み合わせを使用することにより機械学習を実行し、学習データを生成してもよい。基準モデル設定部１８７は、ステップＳ２１１において、学習データに基づいて基準モデルの形状を設定してもよい。

基準モデル設定部１８７は、３Ｄデータの３Ｄ画像に基づいて被写体の３Ｄ形状の特徴を検出し、かつその特徴に基づいて基準モデルの形状を設定してもよい。例えば、被写体の形状が円筒である場合、基準モデル設定部１８７は、図１２に示す基準モデルＭＤ１１を選択してもよい。被写体の形状が球である場合、基準モデル設定部１８７は、図１３に示す基準モデルＭＤ１２を選択してもよい。

本発明の各態様は次の変形例を含んでもよい。基準モデル設定部１８７は、設定ステップ（ステップＳ２１１）において、基準モデルの形状を設定する。

第８の実施形態における画像表示処理は、第２から第７の実施形態における画像表示処理と組み合わされてもよい。したがって、本発明の各態様は次の変形例を含んでもよい。基準モデルは、２つ以上の基準図形が連続的に配置された構造を持つ。基準モデル設定部１８７は、設定ステップにおいて、基準モデルの形状、基準モデルの位置、基準モデルの方向、および２つ以上の基準図形の間隔の少なくとも１つを設定する。基準モデル設定部１８７は、基準モデルの形状、基準モデルの位置、基準モデルの方向、および２つ以上の基準図形の間隔のいずれか１つのみを設定してもよい。基準モデル設定部１８７は、基準モデルの形状、基準モデルの位置、基準モデルの方向、および２つ以上の基準図形の間隔のうちの２つ以上を設定してもよい。

第８の実施形態において、基準モデルの形状が設定される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

（第９の実施形態）
本発明の第９の実施形態による内視鏡装置１は、ユーザーの指示に基づいて基準モデルを修正する機能を持つ。第９の実施形態による内視鏡装置１は、図４１に示すＣＰＵ１８ｈを有する。

判断部１８２は、３Ｄデータおよび基準モデルを参照し、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する（判断ステップ）。画像生成部１８３は、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の３Ｄ画像を生成する（生成ステップ）。３Ｄ画像において、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とは互いに異なる。第１の点は３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係の条件を満たし、第２の点はその条件を満たさない。表示制御部１８４は、３Ｄ画像を表示部５に表示する（表示ステップ）。

３Ｄ画像が表示部５に表示された後、表示制御部１８４は基準モデルを表示部５に表示する（基準モデル表示ステップ）。例えば、表示制御部１８４は、基準モデルを３Ｄ画像上に表示する。表示部５に表示された基準モデルの位置、方向、および間隔の少なくとも１つを変更する指示が操作部４または表示部５を通して入力されたとき、情報受付部１８５はその指示を受け付ける（受付ステップ）。基準モデル設定部１８７は、その指示に基づいて基準モデルの位置、方向、および間隔の少なくとも１つを変更する（変更ステップ）。

例えば、基準モデルの位置を変更する指示が入力されたとき、基準モデル設定部１８７は基準モデルの位置を変更する。基準モデルの方向を変更する指示が入力されたとき、基準モデル設定部１８７は基準モデルの方向を変更する。基準モデルの間隔を変更する指示が入力されたとき、基準モデル設定部１８７は基準モデルの間隔を変更する。表示制御部１８４は、変更された基準モデルを３Ｄ画像上に表示してもよい。変更ステップが実行された後、判断ステップ、生成ステップ、および表示ステップが再度実行される。

図５７を使用することにより、第９の実施形態における画像表示処理について説明する。図５７は、画像表示処理の手順を示す。図１０に示す処理と同じ処理の説明を省略する。

ステップＳ１０７の後、情報受付部１８５は、操作部４または表示部５を通して基準モデルの選択指示を受け付ける（ステップＳ２２１）。

図５８は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ８１の３Ｄ画像Ｇ８１を表示部５に表示する。３Ｄ画像Ｇ８１は、図１１に示す３Ｄ画像Ｇ１２と同様に、Ｘ軸と平行な方向に見た被写体ＯＢ８１の３Ｄ形状を示す。３Ｄ画像Ｇ８１は、画素群ＰＧ８１を含む。画素群ＰＧ８１は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ８１以外の画素は、基準モデルと交差しない第２の点と対応する。画素群ＰＧ８１は、方向ＤＲ８１と垂直な第１の線上の画素と、方向ＤＲ８２と垂直な第２の線上の画素とを含む。

ユーザーは、基準モデルを移動させるために、操作部４を操作することにより、基準モデルの選択指示を内視鏡装置１に入力する。例えば、ユーザーは、画素群ＰＧ８１の位置をタップする。

ステップＳ２２１の後、表示制御部１８４は、基準モデルを３Ｄ画像上に表示する（ステップＳ２２２）。ステップＳ２２２は、基準モデル表示ステップと対応する。

図５９は、ステップＳ２２２において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ８１の３Ｄ画像Ｇ８２を表示部５に表示する。３Ｄ画像Ｇ８２は、図５８に示す３Ｄ画像Ｇ８１と同様に、Ｘ軸と平行な方向に見た被写体ＯＢ８１の３Ｄ形状を示す。表示制御部１８４は、基準モデルＭＤ８１を３Ｄ画像Ｇ８２に重畳する。基準モデルＭＤ８１は、方向ＤＲ８３と垂直な第１の面と、方向ＤＲ８４と垂直な第２の面と、図５９に示されていない第３の面とによって形成されている。図５９に示す例では、被写体ＯＢ８１の表面ＳＦ８１の法線方向ＤＲ８５は、基準モデルＭＤ８１の第１の面の法線方向（方向ＤＲ８３）および基準モデルＭＤ８１の第２の面の法線方向（方向ＤＲ８４）と異なる。

図５８に示す画素群ＰＧ８１と図５９に示す基準モデルＭＤ８１とが重なると、基準モデルＭＤ８１の視認性が低下する。そのため、画像生成部１８３は、３Ｄ画像Ｇ８２において画素群ＰＧ８１の色を変更する処理を実行する。

３Ｄデータに含まれる３Ｄ座標は、３Ｄデータを生成するために使用された２Ｄ画像における２Ｄ座標と関連付けられている。つまり、３Ｄデータに含まれる各点は、２Ｄ画像の画素と関連付けられている。画像生成部１８３は、画素群ＰＧ８１に含まれる画素の画素値（Ｒ，Ｇ，Ｂ）を、その画素と対応する点の３Ｄ座標と関連付けられた２Ｄ座標における画素値に変更する。これにより、画素群ＰＧ８１は目立たなくなる。

ステップＳ２２２の後、情報受付部１８５は、操作部４または表示部５を通して基準モデルの移動指示を受け付ける（ステップＳ２２３）。ステップＳ２２３は、受付ステップと対応する。基準モデルの移動指示は、基準モデルの位置および方向の少なくとも一方を変更する指示と対応する。

例えば、ユーザーは、表示部５の画面上で指を滑らせることにより基準モデルの移動指示を内視鏡装置１に入力する。例えば、ユーザーが指を表示部５の画面上で直線的に移動させた場合、情報受付部１８５は、基準モデルを指の移動方向に移動させる移動指示を受け付ける。指の移動量は、基準モデルの移動量と対応する。ユーザーが指を表示部５の画面上で円状に移動させた場合、情報受付部１８５は、基準モデルを回転させる移動指示を受け付ける。指の軌跡が示す角度は、基準モデルの回転量と対応する。

ステップＳ２２３の後、基準モデル設定部１８７は、基準モデルの移動指示に基づいて基準モデルの位置または方向を変更する（ステップＳ２２４）。ステップＳ２２４は、変更ステップと対応する。ステップＳ２２３およびステップＳ２２４は繰り返し実行されてもよい。

例えば、基準モデル設定部１８７は、ステップＳ２２４において以下の処理を実行する。情報受付部１８５が基準モデルを指の移動方向に移動させる移動指示を受け付けた場合、基準モデル設定部１８７は、基準モデルの位置をその移動方向に所定の移動量だけ移動させる。情報受付部１８５が基準モデルを回転させる移動指示を受け付けた場合、基準モデル設定部１８７は、基準モデルを所定の回転量だけ回転させることにより基準モデルの方向を変更する。基準モデル設定部１８７は、基準モデルの位置および方向のいずれか一方のみを変更してもよい。基準モデル設定部１８７は、基準モデルの位置および方向を変更してもよい。

ステップＳ２２４の後、判断部１８２は、３Ｄデータおよび基準モデルを参照し、３Ｄデータに含まれる２つ以上の点の各々と基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する（ステップＳ２２５）。ステップＳ２２５は、判断ステップと対応し、かつステップＳ１０５と同じである。

ステップＳ２２５の後、画像生成部１８３は、ステップＳ２２５において判断された位置関係に応じた色を持つ３Ｄ画像を生成する（ステップＳ２２６）。ステップＳ２２６は生成ステップと対応し、かつステップＳ１０６と同じである。

ステップＳ２２６の後、表示制御部１８４は、ステップＳ２２６において生成された３Ｄ画像を表示部５に表示する（ステップＳ２２７）。ステップＳ２２７は、表示ステップと対応し、かつステップＳ１０７と同じである。ステップＳ２２７が実行されたとき、画像表示処理が終了する。

図６０は、ステップＳ２２７において表示部５に表示された３Ｄ画像の例を示す。例えば、ユーザーが指の移動を停止したとき、指が表示部５の画面から離れたとき、またはユーザーが３Ｄ画像を更新する指示を内視鏡装置１に入力したとき、表示制御部１８４は、被写体ＯＢ８１の３Ｄ画像Ｇ８３を表示部５に表示する。３Ｄ画像Ｇ８３は、図５８に示す３Ｄ画像Ｇ８１と同様に、Ｘ軸と平行な方向に見た被写体ＯＢ８１の３Ｄ形状を示す。３Ｄ画像Ｇ８３は、画素群ＰＧ８２を含む。画素群ＰＧ８２は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ８２以外の画素は、基準モデルと交差しない第２の点と対応する。画素群ＰＧ８２は、方向ＤＲ８６と垂直な第１の線上の画素と、方向ＤＲ８７と垂直な第２の線上の画素とを含む。

画素群ＰＧ８２を形成する第１の線と垂直な方向ＤＲ８６は、被写体ＯＢ８１の表面ＳＦ８１の法線方向ＤＲ８５と平行である。つまり、その第１の線は、表面ＳＦ８１と平行である。

ユーザーは、表示部５の画面上でピンチインまたはピンチアウトの操作を実行することにより３Ｄ画像を拡大または縮小する指示を内視鏡装置１に入力してもよい。その操作が実行されたとき、表示制御部１８４は、３Ｄ画像を縮小または拡大してもよい。基準モデル設定部１８７は、３Ｄ画像の拡大率に基づいて基準モデルの間隔を変更してもよい。例えば、３Ｄ画像が拡大される場合、基準モデル設定部１８７は、基準モデルの間隔を小さい値に変更してもよい。３Ｄ画像が縮小される場合、基準モデル設定部１８７は、基準モデルの間隔を大きい値に変更してもよい。基準モデル設定部１８７は、基準モデルの間隔として整数（３ｍｍなど）を使用してもよい。

ユーザーは、操作部４を操作することにより基準モデルの間隔を示す数を内視鏡装置１に入力してもよい。情報受付部１８５は、操作部４を通してその数を受け付けてもよく、かつ基準モデル設定部１８７は、基準モデルの間隔をその数に変更してもよい。

ユーザーは、操作部４を操作することにより面積の値を内視鏡装置１に入力してもよい。情報受付部１８５は、操作部４を通してその値を受け付けてもよい。基準モデル設定部１８７は、その値を長さに変換し、かつ基準モデルの間隔をその長さに変更してもよい。例えば、基準モデルが、立方体が繰り返し配置された構造を持つ場合、立方体が持つ面の面積の値が内視鏡装置１に入力される。傷の面積が検査の判断基準として使用される例では、ユーザーは、その面積の値を内視鏡装置１に入力してもよい。

ユーザーは、操作部４を操作することにより体積の値を内視鏡装置１に入力してもよい。情報受付部１８５は、操作部４を通してその値を受け付けてもよい。基準モデル設定部１８７は、その値を長さに変換し、かつ基準モデルの間隔をその長さに変更してもよい。例えば、基準モデルが、立方体が繰り返し配置された構造を持つ場合、立方体の体積の値が内視鏡装置１に入力される。

ユーザーは、操作部４を操作することにより、判断部１８２が割り算の余りを判断するための閾値を内視鏡装置１に入力してもよい。情報受付部１８５は、操作部４を通してその閾値を受け付けてもよく、かつ判断部１８２はステップＳ１０５およびステップＳ２２５においてその閾値を使用してもよい。

基準モデル設定部１８７は、ステップＳ２２４において基準モデルの間隔のみを変更してもよい。基準モデル設定部１８７は、ステップＳ２２４において基準モデルの位置および間隔を変更してもよい。基準モデル設定部１８７は、ステップＳ２２４において基準モデルの方向および間隔を変更してもよい。基準モデル設定部１８７は、ステップＳ２２４において基準モデルの位置、方向、および間隔を変更してもよい。

基準モデルがステップＳ２２２において被写体の３Ｄ画像上に表示されるため、ユーザーは、被写体に対する基準モデルの位置または方向が所定の位置または所定の方向となるように基準モデルを移動させることができる。しかしながら、ユーザーが基準モデルを移動させているとき、被写体の３Ｄ画像が表示されていなくてもよい。

図１７、図２１、図２３、図２８、図３１、図３５、図３８、図４２、図４５、図４８、図５３、または図５６に示す画像表示処理においてステップＳ１０７が実行された後、ステップＳ２２１からステップＳ２２７が実行されてもよい。

本発明の各態様は次の変形例を含んでもよい。画像生成部１８３によって生成される画像は、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の画像である。その画像が表示部５（ディスプレイ）に表示された後、表示制御部１８４は、基準モデル表示ステップ（ステップＳ２２２）において、基準モデルを表示部５に表示する。表示部５に表示された基準モデルの位置、表示部５に表示された基準モデルの方向、および表示部５に表示された基準モデルの２つ以上の基準図形の間隔の少なくとも１つを変更する指示が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ２２３）においてその指示を受け付ける。基準モデル設定部１８７（変更部）は、変更ステップ（ステップＳ２２４）において、その指示に基づいて基準モデルの位置、基準モデルの方向、および基準モデルの間隔の少なくとも１つを変更する。変更ステップ（ステップＳ２２４）が実行された後、判断ステップ（ステップＳ２２５）、生成ステップ（ステップＳ２２６）、および表示ステップ（ステップＳ２２７）が再度実行される。

第９の実施形態において、ユーザーの指示に基づいて基準モデルが修正される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

（第９の実施形態の変形例）
本発明の第９の実施形態の変形例による内視鏡装置１は、ユーザーの指示に基づいて３Ｄデータに含まれる２つ以上の点の位置を修正する機能を持つ。第９の実施形態において内視鏡装置１は、２つ以上の点に対する基準モデルの位置を変更する。一方、第９の実施形態の変形例において内視鏡装置１は、基準モデルに対する２つ以上の点の位置を変更する。第９の実施形態の変形例による内視鏡装置１は、図４１に示すＣＰＵ１８ｈを有する。

表示制御部１８４は、３Ｄ画像を表示部５に表示する（表示ステップ）。表示部５に表示された３Ｄ画像を移動させる指示が操作部４または表示部５を通して入力されたとき、情報受付部１８５はその指示を受け付ける（受付ステップ）。座標算出部１８１（変更部）は、その指示に基づいて、３Ｄデータに含まれる２つ以上の点の３Ｄ座標を変更する（変更ステップ）。このとき、表示制御部１８４は、変更された３Ｄ座標に基づいて３Ｄ画像を表示してもよい。変更ステップが実行された後、判断ステップ、生成ステップ、および表示ステップが再度実行される。

図６１を使用することにより、第９の実施形態の変形例における画像表示処理について説明する。図６１は、画像表示処理の手順を示す。図１０または図５７に示す処理と同じ処理の説明を省略する。

ステップＳ１０７の後、情報受付部１８５は、操作部４または表示部５を通して被写体の選択指示を受け付ける（ステップＳ２３１）。

例えば、図５８に示す３Ｄ画像Ｇ８１が表示部５に表示された後、ユーザーは、被写体を移動させるために、操作部４または表示部５を操作することにより、被写体の選択指示を内視鏡装置１に入力する。例えば、ユーザーは、図５８に示す被写体ＯＢ８１をタップする。ステップＳ２３１の後、表示制御部１８４は、ステップＳ２２２において基準モデルを３Ｄ画像上に表示する。

ステップＳ２２２の後、情報受付部１８５は、操作部４または表示部５を通して被写体の移動指示を受け付ける（ステップＳ２３２）。ステップＳ２３２は、受付ステップと対応する。被写体の移動指示は、被写体の位置および方向の少なくとも一方を変更する指示と対応する。

例えば、ユーザーは、表示部５の画面上で指を滑らせることにより被写体の移動指示を内視鏡装置１に入力する。例えば、ユーザーが指を表示部５の画面上で直線的に移動させた場合、情報受付部１８５は、被写体を指の移動方向に移動させる移動指示を受け付ける。指の移動量は、被写体の移動量と対応する。ユーザーが指を表示部５の画面上で円状に移動させた場合、情報受付部１８５は、被写体を回転させる移動指示を受け付ける。指の軌跡が示す角度は、被写体の回転量と対応する。

ステップＳ２３２の後、座標算出部１８１は、被写体の移動指示に基づいて、３Ｄデータに含まれる３Ｄ座標を変更する（ステップＳ２３３）。ステップＳ２３３は、変更ステップと対応する。ステップＳ２３３が実行された後、ステップＳ２２５が実行される。

例えば、座標算出部１８１は、ステップＳ２３３において以下の処理を実行する。情報受付部１８５が被写体を指の移動方向に移動させる移動指示を受け付けた場合、座標算出部１８１は、３Ｄデータに含まれる２つ以上の点の各々の３Ｄ座標をその移動方向に所定の移動量だけ変更する。情報受付部１８５が被写体を回転させる移動指示を受け付けた場合、座標算出部１８１は、３Ｄデータに含まれる２つ以上の点を所定の回転量だけ回転させることにより３Ｄ座標を変更する。

ユーザーが表示部５の画面上で指を滑らせている間、ステップＳ２３２およびステップＳ２３３が繰り返し実行されてもよい。画像生成部１８３は、変更された３Ｄ座標に基づいて３Ｄ画像を生成し、表示制御部１８４はその３Ｄ画像を表示部５に表示してもよい。

図６２は、ユーザーが表示部５の画面上で指を滑らせている間に表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ８１の３Ｄ画像Ｇ８４を表示部５に表示する。３Ｄ画像Ｇ８４は、図５８に示す３Ｄ画像Ｇ８１と同様に、Ｘ軸と平行な方向に見た被写体ＯＢ８１の３Ｄ形状を示す。表示制御部１８４は、基準モデルＭＤ８１を３Ｄ画像Ｇ８４に重畳する。図６２に示す基準モデルＭＤ８１は、図５９に示す基準モデルＭＤ８１と同じである。

座標算出部１８１は、操作部４または表示部５を通して入力された被写体ＯＢ８１の移動指示に基づいて、３Ｄ座標を変更する。画像生成部１８３は、変更された３Ｄ座標を含む３Ｄデータを表示するための３Ｄ画像Ｇ８４を生成する。表示制御部１８４は、画像生成部１８３によって生成された３Ｄ画像Ｇ８４を表示部５に表示する。

図６３は、ステップＳ２２７において表示部５に表示された３Ｄ画像の例を示す。例えば、ユーザーが指の移動を停止したとき、指が表示部５の画面から離れたとき、またはユーザーが３Ｄ画像を更新する指示を内視鏡装置１に入力したとき、表示制御部１８４は、被写体ＯＢ８１の３Ｄ画像Ｇ８５を表示部５に表示する。３Ｄ画像Ｇ８５は、図６２に示す３Ｄ画像Ｇ８４と同様に、Ｘ軸と平行な方向に見た被写体ＯＢ８１の３Ｄ形状を示す。３Ｄ画像Ｇ８５は、画素群ＰＧ８３を含む。画素群ＰＧ８３は、基準モデルと交差する第１の点と対応する画素を含む。画素群ＰＧ８３以外の画素は、基準モデルと交差しない第２の点と対応する。画素群ＰＧ８３は、方向ＤＲ８６と垂直な第１の線上の画素と、方向ＤＲ８７と垂直な第２の線上の画素とを含む。

画素群ＰＧ８３を形成する第１の線と垂直な方向ＤＲ８６は、被写体ＯＢ８１の表面ＳＦ８１の法線方向ＤＲ８８と平行である。つまり、その第１の線は、表面ＳＦ８１と平行である。

基準モデルがステップＳ２２２において被写体の３Ｄ画像上に表示されるため、ユーザーは、基準モデルに対する被写体の位置または方向が所定の位置または所定の方向となるように被写体を移動させることができる。しかしながら、基準モデルがステップＳ２２２において表示されなくてもよい。

図１７、図２１、図２３、図２８、図３１、図３５、図３８、図４２、図４５、図４８、図５３、または図５６に示す画像表示処理においてステップＳ１０７が実行された後、ステップＳ２３１、ステップＳ２２２、ステップＳ２３２、ステップＳ２３３、およびステップＳ２２５からステップＳ２２７が実行されてもよい。

本発明の各態様は次の変形例を含んでもよい。画像生成部１８３によって生成される画像は、３Ｄデータに含まれる２つ以上の点が示す３Ｄ形状の画像である。表示部５（ディスプレイ）に表示されたその画像を移動させる指示が操作部４または表示部５（入力装置）を通して入力されたとき、情報受付部１８５は、受付ステップ（ステップＳ２３２）においてその指示を受け付ける。座標算出部１８１（変更部）は、変更ステップ（ステップＳ２３３）において、その指示に基づいて、３Ｄデータに含まれる２つ以上の点の３Ｄ座標を変更する。変更ステップ（ステップＳ２３３）が実行された後、判断ステップ（ステップＳ２２５）、生成ステップ（ステップＳ２２６）、および表示ステップ（ステップＳ２２７）が再度実行される。

第９の実施形態の変形例において、ユーザーの指示に基づいて３Ｄデータに含まれる２つ以上の点の位置が修正される。そのため、内視鏡装置１は、被写体の表面における領域の大きさを正確に判断するのに適した画像を表示することができる。

（第１０の実施形態）
本発明の第１０の実施形態において、基準モデルは、カメラ中心（光学中心）から放射状に出る２つ以上の線を含む線群である。図６４は、基準モデルの例を示す。図６４に示す基準モデルＭＤ９１は、カメラ中心Ｃ９１を通る２つ以上の直線Ｌ９１を含む。基準図形は、２つ以上の直線Ｌ９１である。２つ以上の直線Ｌ９１は、カメラ中心Ｃ９１を含まない平面上の点を通る。２つ以上の直線Ｌ９１の方向は、互いに異なる。２つ以上の直線Ｌ９１の各々は、所定の太さを持ってもよい。

図６４において、被写体ＯＢ９１が示されている。被写体ＯＢ９１の３Ｄデータは、２つ以上の点の３Ｄ座標を含む。２つ以上の点のいずれか１つが直線Ｌ９１と交わる場合、その交点とカメラ中心Ｃ９１との距離が算出される。３Ｄ画像においてその交点と対応する画素は、その距離と対応する表示形態を持つ。

第１０の実施形態において、図９に示すＣＰＵ１８は、図６５に示すＣＰＵ１８ｌに変更される。図６５は、ＣＰＵ１８ｌの機能構成を示す。ＣＰＵ１８ｌの機能は、制御部１８０、座標算出部１８１、判断部１８２、画像生成部１８３、表示制御部１８４、情報受付部１８５、および距離算出部１８８を含む。図６５に示すブロックの少なくとも１つがＣＰＵ１８ｌと異なる回路で構成されてもよい。図９に示す構成と同じ構成の説明を省略する。

図６５に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図６５に示す各部は、１つまたは複数のプロセッサを含むことができる。図６５に示す各部は、１つまたは複数の論理回路を含むことができる。

判断部１８２は、３Ｄデータに含まれる２つ以上の点の各々が基準モデルと交差するか否かを判断する。例えば、基準モデルは、図６４に示す基準モデルＭＤ９１と同様である。判断部１８２は、基準モデルを形成する２つ以上の直線が通る交点を２つ以上の点から抽出する。距離算出部１８８は、カメラ中心とその交点との距離を算出する。

画像生成部１８３は、２つ以上の点と対応する２つ以上の画素を含む画像を生成する。その画像は、３Ｄ画像または２Ｄ画像である。画像生成部１８３は、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせる。第１の点は、２つ以上の点に含まれ、かつ基準モデルと交差する。第２の点は、２つ以上の点に含まれ、かつ基準モデルと交差しない。具体的には、画像生成部１８３は、第１の点と対応する画素の色と、第２の点と対応する画素の色とを異ならせる。例えば、画像生成部１８３は、第１の点と対応する画素の色を、カメラ中心と第１の点との距離を示す色に設定する。

図６６を使用することにより、第１０の実施形態における画像表示処理について説明する。図６６は、画像表示処理の手順を示す。図１０に示す処理と同じ処理の説明を省略する。

ステップＳ１０５の後、距離算出部１８８は、カメラ中心と第１の点との３Ｄ距離を算出する（ステップＳ２４１）。

ステップＳ２４１の後、画像生成部１８３は、ステップＳ１０５において判断された位置関係と、ステップＳ２４１において算出された３Ｄ距離とに応じた色を持つ３Ｄ画像を生成する（ステップＳ１０６ａ）。ステップＳ１０６ａは、生成ステップと対応する。ステップＳ１０６ａの後、ステップＳ１０７が実行される。

例えば、画像生成部１８３は、ステップＳ１０６ａにおいて以下の処理を実行することにより、３Ｄ画像の各画素における画素値（Ｒ，Ｇ，Ｂ）を設定する。画像生成部１８３は、第１の点と対応する画素の画素値（Ｒ，Ｇ，Ｂ）を、ステップＳ２４１において算出された３Ｄ距離と対応する値に設定する。３Ｄデータに含まれる３Ｄ座標は、３Ｄデータを生成するために使用された２Ｄ画像における２Ｄ座標と関連付けられている。つまり、３Ｄデータに含まれる各点は、２Ｄ画像の画素と関連付けられている。画像生成部１８３は、第２の点と対応する画素の画素値（Ｒ，Ｇ，Ｂ）を、その画素と対応する点の３Ｄ座標と関連付けられた２Ｄ座標における画素値に設定する。

図６７は、ステップＳ１０７において表示部５に表示された３Ｄ画像の例を示す。表示制御部１８４は、被写体ＯＢ９２の３Ｄ画像Ｇ９１を表示部５に表示する。被写体ＯＢ９２は、領域Ｒ９１を有する。領域Ｒ９１は、深さを持つ凹部である。３Ｄ画像Ｇ９１は、画素ＰＸ９１、画素ＰＸ９２、および画素ＰＸ９３を含む。画素ＰＸ９１、画素ＰＸ９２、および画素ＰＸ９３は、基準モデルと交差する第１の点と対応する。画素ＰＸ９１、画素ＰＸ９２、および画素ＰＸ９３以外の画素は、基準モデルと交差しない第２の点と対応する。

距離算出部１８８は、ステップＳ２４１において、カメラ中心と、画素ＰＸ９１と対応する第１の点との第１の３Ｄ距離を算出する。距離算出部１８８は、ステップＳ２４１において、カメラ中心と、画素ＰＸ９２と対応する第１の点との第２の３Ｄ距離を算出する。距離算出部１８８は、ステップＳ２４１において、カメラ中心と、画素ＰＸ９３と対応する第１の点との第３の３Ｄ距離を算出する。画素ＰＸ９１と対応する第１の点は、領域Ｒ９１内の点である。画素ＰＸ９２と対応する第１の点は、領域Ｒ９１の近傍の点である。画素ＰＸ９３と対応する第１の点は、領域Ｒ９１の周辺の表面上の点である。第１の３Ｄ距離、第２の３Ｄ距離、および第３の３Ｄ距離は互いに異なる。そのため、画素ＰＸ９１の色、画素ＰＸ９２の色、および画素ＰＸ９３の色は、互いに異なる。

ユーザーは、第１の点と対応する画素の色に基づいて、カメラ中心と画像内の各領域との距離を確認することができる。ユーザーは、カメラ中心と、計測される位置との距離が適切であるか否かを判断することができる。

基準モデルは、カメラの視野全体に広がるように規則的にかつ密に配置された２つ以上の直線を含んでもよい。３Ｄ画像において第１の点が視野全体に広がるため、ユーザーは、被写体の形状を確認することができ、かつ挿入部２の先端２０と被写体との位置関係を確認することができる。

カメラ中心と第１の点との３Ｄ距離が計測に適した距離の範囲から外れている場合、画像生成部１８３は、第２の点と対応する画素の色を設定する方法と同様の方法を使用することにより、その第１の点と対応する画素の色を設定してもよい。計測に適していない第１の点を含む領域は、目立たなくなる。ユーザーは、被写体の領域が計測に適しているか否かを容易に確認することができる。

画像生成部１８３は、ステップＳ１０５において判断された位置関係に応じた色を持つ２Ｄ画像を生成してもよい。表示制御部１８４は、ステップＳ１０７においてその２Ｄ画像を表示部５に表示してもよい。

画像生成部１８３は、ライブ画像の色を、ステップＳ１０５において判断された位置関係に応じた色に変更してもよい。表示制御部１８４は、画像生成部１８３によって変更された色を持つライブ画像を表示部５に表示してもよい。表示制御部１８４は、所定のフレームレートでライブ画像を更新する。画像生成部１８３は、そのフレームレート以下のレートでライブ画像の色を変更してもよい。

本発明の各態様は次の変形例を含んでもよい。基準モデルは、同じ点を通り、かつ３次元状に広がる２つ以上の直線を含む基準図形を持つ。

本発明の各態様は次の変形例を含んでもよい。画像生成部１８３は、生成ステップ（ステップＳ１０６ａ）において、第１の点と対応する画素の色を、基準点（カメラ中心）と第１の点との距離を示す色に設定する。

第１０の実施形態において、基準モデルは、カメラ中心を通る２つ以上の直線を含む。そのため、内視鏡装置１は、カメラ中心と被写体との距離を正確に判断するのに適した画像を表示することができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

１内視鏡装置
２挿入部
３本体部
４操作部
５表示部
６画像表示システム
７表示制御装置
８内視鏡ユニット
９ＣＣＵ
１０制御装置
１２映像信号処理回路
１３ＲＯＭ
１４ＲＡＭ
１５カードインタフェース
１６外部機器インタフェース
１７制御インタフェース
１８，１８ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅ，１８ｆ，１８ｇ，１８ｈ，１８ｉ，１８ｊ，１８ｋ，１８ｌＣＰＵ
２０先端
２８撮像素子
４１ＰＣ
４２メモリカード
７０，１８２判断部
７１生成部
７２，１８４表示制御部
１８０制御部
１８１座標算出部
１８３画像生成部
１８５情報受付部
１８６法線方向算出部
１８７基準モデル設定部
１８８距離算出部
１８９基準点設定部
１９０エッジ方向算出部
１９１領域方向算出部
１９２領域大きさ算出部

Claims

判断部が、被写体の２次元画像に基づいて生成され、かつ２つ以上の点の３次元座標を含む３次元データを参照し、前記２つ以上の点を含む３次元空間において２次元状または３次元状に広がる図形を示す基準モデルを参照し、前記２つ以上の点の各々と前記基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する判断ステップと、
生成部が、前記２つ以上の点と対応する２つ以上の画素を含む画像を生成し、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせ、前記第１の点は、前記２つ以上の点に含まれ、かつ前記条件を満たす点であり、前記第２の点は、前記２つ以上の点に含まれ、かつ前記条件を満たさない点である生成ステップと、
表示制御部が、前記画像をディスプレイに表示する表示ステップと、
を有する画像表示方法。
前記判断部は、前記判断ステップにおいて、前記２つ以上の点の各々が前記基準モデルと交差するか否かを判断することにより、前記位置関係が前記条件を満たすか否かを判断する
請求項１に記載の画像表示方法。
前記基準モデルは、２つ以上の基準図形が連続的に配置された構造を持ち、
前記基準図形は、点、線、および面のいずれか１つである
請求項２に記載の画像表示方法。
設定部が、前記基準モデルの形状、前記基準モデルの位置、前記基準モデルの方向、および前記２つ以上の基準図形の間隔の少なくとも１つを設定する設定ステップをさらに有する
請求項３に記載の画像表示方法。
前記設定部は、前記設定ステップにおいて、前記２つ以上の点が示す３次元形状に基づいて前記方向および前記間隔の少なくとも１つを設定する
請求項４に記載の画像表示方法。
算出部が、前記２つ以上の点が示す３次元形状の表面の法線方向を算出する方向算出ステップをさらに有し、
前記設定部は、前記設定ステップにおいて、前記法線方向に基づいて前記基準モデルの前記方向を設定する
請求項４に記載の画像表示方法。
算出部が、前記２つ以上の点が示す３次元形状の表面におけるエッジの方向を算出する方向算出ステップをさらに有し、
前記設定部は、前記設定ステップにおいて、前記エッジの前記方向に基づいて前記基準モデルの前記方向を設定する
請求項４に記載の画像表示方法。
算出部が、前記２つ以上の点が示す３次元形状の表面において細長い形状を持つ特徴領域の長手方向を算出する方向算出ステップをさらに有し、
前記設定部は、前記設定ステップにおいて、前記長手方向に基づいて前記基準モデルの前記方向を設定する
請求項４に記載の画像表示方法。
算出部が、前記２つ以上の点が示す３次元形状における特徴領域の大きさを算出する大きさ算出ステップをさらに有し、
前記設定部は、前記設定ステップにおいて、前記大きさに基づいて前記間隔を設定する
請求項４に記載の画像表示方法。
前記２つ以上の点に含まれる２つの点の各々の位置が入力装置を通して入力されたとき、受付部が前記位置を受け付ける受付ステップをさらに有し、
前記設定部は、前記設定ステップにおいて、前記２つの点を通る線の方向に基づいて前記基準モデルの前記方向を設定する
請求項４に記載の画像表示方法。
前記２つ以上の点に含まれる２つの点の各々の位置が入力装置を通して入力されたとき、受付部が前記位置を受け付ける受付ステップをさらに有し、
前記設定部は、前記設定ステップにおいて、前記２つの点の間の距離に基づいて前記間隔を設定する
請求項４に記載の画像表示方法。
前記算出部が、前記２次元画像上の点と対応する３次元空間の点と、前記２次元画像を取得したカメラとの距離を算出する距離算出ステップと、
前記表示制御部が前記２次元画像および前記距離を前記ディスプレイに表示する画像表示ステップと、
をさらに有し、
前記算出部は、前記方向算出ステップにおいて、前記２次元画像上の前記点と対応する前記３次元形状上の点を含む領域の前記法線方向を算出する
請求項６に記載の画像表示方法。
前記２つ以上の点に含まれる１つの点の位置が入力装置を通して入力されたとき、受付部が前記位置を受け付ける受付ステップをさらに有し、
前記算出部は、前記方向算出ステップにおいて、前記受付ステップにおいて受け付けられた点を含む領域の法線方向を算出する
請求項６に記載の画像表示方法。
前記画像は、前記２つ以上の点が示す３次元形状の画像であり、
前記画像表示方法は、
前記画像が前記ディスプレイに表示された後、前記表示制御部が前記基準モデルを前記ディスプレイに表示する基準モデル表示ステップと、
前記ディスプレイに表示された前記基準モデルの位置、前記ディスプレイに表示された前記基準モデルの方向、および前記ディスプレイに表示された前記基準モデルの前記２つ以上の基準図形の間隔の少なくとも１つを変更する指示が入力装置を通して入力されたとき、受付部が前記指示を受け付ける受付ステップと、
変更部が、前記指示に基づいて前記位置、前記方向、および前記間隔の少なくとも１つを変更する変更ステップと、
をさらに有し、
前記変更ステップが実行された後、前記判断ステップ、前記生成ステップ、および前記表示ステップが再度実行される
請求項３に記載の画像表示方法。
前記画像は、前記２つ以上の点が示す３次元形状の画像であり、
前記画像表示方法は、
前記ディスプレイに表示された前記画像を移動させる指示が入力装置を通して入力されたとき、受付部が前記指示を受け付ける受付ステップと、
変更部が、前記指示に基づいて前記２つ以上の点の前記３次元座標を変更する変更ステップと、
をさらに有し、
前記変更ステップが実行された後、前記判断ステップ、前記生成ステップ、および前記表示ステップが再度実行される
請求項３に記載の画像表示方法。
前記基準モデルは、第１の方向に伸びる法線を持つ２つ以上の第１の平面、前記第１の方向と垂直な第２の方向に伸びる法線を持つ２つ以上の第２の平面、かつ前記第１の方向および前記第２の方向と垂直な第３の方向に伸びる法線を持つ２つ以上の第３の平面を含み、
前記２つ以上の第１の平面は、前記第１の方向に互いに離れており、
前記２つ以上の第２の平面は、前記第２の方向に互いに離れており、
前記２つ以上の第３の平面は、前記第３の方向に互いに離れている
請求項３に記載の画像表示方法。
前記基準モデルは、互いに異なる半径を持つ２つ以上の円筒面を持ち、
前記２つ以上の円筒面の中心軸は互いに一致する
請求項３に記載の画像表示方法。
前記基準モデルは、互いに異なる半径を持つ２つ以上の球面を持ち、
前記２つ以上の球面の中心は互いに一致する
請求項３に記載の画像表示方法。
前記基準モデルは、同じ点を通り、かつ３次元状に広がる２つ以上の直線を含む前記基準図形を持つ
請求項３に記載の画像表示方法。
前記生成部は、前記生成ステップにおいて、前記第１の点と対応する前記画素の色と、前記第２の点と対応する前記画素の色とを異ならせる
請求項３に記載の画像表示方法。
前記生成部は、前記生成ステップにおいて、前記第１の点と対応する前記画素の前記色を、基準点と前記第１の点との距離を示す色に設定する
請求項２０に記載の画像表示方法。
被写体の２次元画像に基づいて生成され、かつ２つ以上の点の３次元座標を含む３次元データを参照し、前記２つ以上の点を含む３次元空間において２次元状または３次元状に広がる図形を示す基準モデルを参照し、前記２つ以上の点の各々と前記基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する判断部と、
前記２つ以上の点と対応する２つ以上の画素を含む画像を生成し、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせ、前記第１の点は、前記２つ以上の点に含まれ、かつ前記条件を満たす点であり、前記第２の点は、前記２つ以上の点に含まれ、かつ前記条件を満たさない点である生成部と、
前記画像をディスプレイに表示する表示制御部と、
を有する表示制御装置。
被写体の２次元画像に基づいて生成され、かつ２つ以上の点の３次元座標を含む３次元データを参照し、前記２つ以上の点を含む３次元空間において２次元状または３次元状に広がる図形を示す基準モデルを参照し、前記２つ以上の点の各々と前記基準モデルとの位置関係が予め設定された条件を満たすか否かを判断する判断ステップと、
前記２つ以上の点と対応する２つ以上の画素を含む画像を生成し、第１の点と対応する画素の表示状態と、第２の点と対応する画素の表示状態とを異ならせ、前記第１の点は、前記２つ以上の点に含まれ、かつ前記条件を満たす点であり、前記第２の点は、前記２つ以上の点に含まれ、かつ前記条件を満たさない点である生成ステップと、
表示制御部が、前記画像をディスプレイに表示する表示ステップと、
をコンピュータに実行させるためのプログラム。