JP2022172637A

JP2022172637A - 画像処理方法、画像処理装置、およびプログラム

Info

Publication number: JP2022172637A
Application number: JP2021078629A
Authority: JP
Inventors: 直樹山本; Naoki Yamamoto
Original assignee: Evident Co Ltd
Current assignee: Evident Co Ltd
Priority date: 2021-05-06
Filing date: 2021-05-06
Publication date: 2022-11-17
Also published as: US20220357157A1

Abstract

【課題】被写体における３次元座標の算出に適している画像が選択される可能性を高めることができる画像処理方法、画像処理装置、およびプログラムを提供する。【解決手段】画像処理方法は、計測ステップ、指標算出ステップ、比較ステップ、および選択ステップを有する。計測部は、前記計測ステップにおいて、被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する。指標算出部は、前記指標算出ステップにおいて、前記距離に基づいて第１の指標または第２の指標を算出する。比較部は、前記比較ステップにおいて、前記第１の指標または前記第２の指標と閾値とを比較する。前記第１の指標が前記閾値よりも大きい場合、または前記第２の指標が前記閾値よりも小さい場合に選択部は、前記選択ステップにおいて、前記１枚以上の画像に含まれる少なくとも１枚の画像を選択する。【選択図】図１

Description

本発明は、画像処理方法、画像処理装置、およびプログラムに関する。

ボイラー、パイプ、および航空機エンジン等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。この内視鏡装置では、多様な観察物を観察および検査するための複数種類の光学アダプターが用意されている。光学アダプターは、内視鏡の先端部分に装着され、かつ交換可能である。このような内視鏡装置を使用した検査において、被写体の異常領域（欠陥または傷等）の大きさを定量的に計測したいという要望がある。この要望に応えるために、３次元計測機能（３Ｄ計測機能）を持つ内視鏡装置が開発されている。例えば、内視鏡装置は、ユーザーによって画像上で指定された点の情報に基づいて被写体の幾何学的な大きさを計測する機能を有する。

また、３次元再構成機能（３Ｄ再構成機能）を持つ内視鏡装置が開発されている。この内視鏡装置は、被写体の３次元形状（３Ｄ形状）を算出し、その３Ｄ形状を視覚化するための画像を生成する。ユーザーは、画像上の被写体の３Ｄ形状を確認することにより、被写体の状態を判断することができる。例えば、ユーザーは、傷などの異常が被写体上に存在するか否かを判断することができる。

内視鏡装置が３Ｄ計測機能または３Ｄ再構成機能を持つ場合、内視鏡装置は被写体における３次元座標（３Ｄ座標）を算出する。内視鏡装置が３Ｄ座標の算出に適していない画像を取得する場合がある。そのため、内視鏡装置が被写体の領域における３Ｄ座標を算出できない場合がある。あるいは、算出された３Ｄ座標に大きなノイズが含まれる場合がある。その領域における３Ｄ座標が算出されない場合、内視鏡装置はその領域の大きさまたはその領域の３Ｄ形状を算出することができない。算出された３Ｄ座標に大きなノイズが含まれる場合、その領域の大きさまたはその領域の３Ｄ形状は大きな誤差を含む。

内視鏡の先端から被写体までの距離が遠い場合、内視鏡装置が３Ｄ座標の算出に適していない画像を取得する可能性がある。その距離が近い場合、内視鏡装置によって取得された画像において被写体の表面が大きくかつ明るく写っている。そのような画像は３Ｄ座標の算出に適している。また、その距離が近い場合、内視鏡装置によって取得された画像は一般的に、三角測量の原理を使用することにより３Ｄ座標を算出する方法に適している。

内視鏡装置が３Ｄ座標の算出に失敗し、あるいは算出された３Ｄ座標に大きなノイズが含まれる場合、内視鏡装置は画像を再度取得する必要がある。そのため、内視鏡装置を操作するためのユーザーの負担が発生する。内視鏡装置が画像を取得している間、ユーザーは、内視鏡装置によって表示された画像を確認することができる。しかしながら、３Ｄ座標の算出に適している画像が取得されたか否かを判断するためには、ユーザーは高い技量を持つ必要がある。３Ｄ座標の算出に適している画像をユーザーが確認するための方法が必要である。

特許文献１は、構造物を点検するための画像を減らす方法を開示している。その方法では、情報処理装置は、画像に写っている被写体の大きさに基づいて画像を選択する。具体的には、情報処理装置は、特定の部分が最も大きく写っている画像を選択する。あるいは、情報処理装置は、画像の撮像範囲に含まれる被写体の割合が所定値以上となるような画像を選択する。情報処理装置は、選択された画像を蓄積する。

特開２０２０－１４９６１１号公報

しかしながら、画像に写っている被写体の大きさに基づいて画像を選択する方法では、内視鏡の先端から被写体までの距離は考慮されていない。そのため、３Ｄ座標の算出に適している画像が選択されるとは限らない。

本発明は、被写体における３次元座標の算出に適している画像が選択される可能性を高めることができる画像処理方法、画像処理装置、およびプログラムを提供することを目的とする。

本発明は、計測部が、被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する計測ステップであって、前記距離は、前記１枚以上の画像を取得したカメラから前記２つ以上の点の各々までの３次元距離を示す前記計測ステップと、指標算出部が前記距離に基づいて第１の指標または第２の指標を算出する指標算出ステップであって、前記カメラが前記被写体に近づくと前記第１の指標は増加し、前記カメラが前記被写体に近づくと前記第２の指標は減少する前記指標算出ステップと、比較部が、前記第１の指標または前記第２の指標と閾値とを比較する比較ステップと、前記第１の指標が前記閾値よりも大きい場合、または前記第２の指標が前記閾値よりも小さい場合に選択部が、前記１枚以上の画像に含まれる少なくとも１枚の画像を選択する選択ステップであって、前記少なくとも１枚の画像は、前記閾値よりも大きい前記第１の指標または前記閾値よりも小さい前記第２の指標を算出するために使用された画像である前記選択ステップと、を有する画像処理方法である。

本発明の画像処理方法は、表示制御部が、前記２つ以上の点の各々における前記距離を示す距離情報をディスプレイに表示する距離情報表示ステップをさらに有する。

本発明の画像処理方法において、前記表示制御部は、前記距離情報表示ステップにおいて、前記距離情報が重畳された前記１枚以上の画像を前記ディスプレイに表示する。

本発明の画像処理方法は、分類処理部が前記２つ以上の点における前記距離を、第１のグループおよび第２のグループを含む２つ以上のグループに分類する分類処理ステップであって、前記第１のグループに分類された前記距離の範囲は、前記第２のグループに分類された前記距離の範囲と異なる前記分類処理ステップと、表示制御部が、第１の距離情報を第１の状態でディスプレイに表示し、かつ第２の距離情報を前記第１の状態と異なる第２の状態で前記ディスプレイに表示する距離情報表示ステップであって、前記第１の距離情報は、前記第１のグループに分類された前記距離を示し、前記第２の距離情報は、前記第２のグループに分類された前記距離を示す前記距離情報表示ステップと、をさらに有する。

本発明の画像処理方法は、記録部が、前記少なくとも１枚の画像を記録媒体に記録する記録ステップをさらに有する。

本発明の画像処理方法は、形状算出部が、前記記録媒体に記録された前記少なくとも１枚の画像を使用することにより、前記被写体の３次元形状を算出する形状算出ステップをさらに有する。

本発明の画像処理方法は、表示制御部が、前記３次元形状をディスプレイに表示する形状表示ステップをさらに有する。

本発明の画像処理方法は、表示制御部が、前記少なくとも１枚の画像をディスプレイに表示する画像表示ステップをさらに有する。

本発明の画像処理方法は、前記選択部が、前記少なくとも１枚の画像のうち１枚以上の画像を選択する画像選択ステップをさらに有し、前記形状算出部は、前記形状算出ステップにおいて、前記画像選択ステップにおいて選択された前記１枚以上の画像を使用することにより前記３次元形状を算出する。

本発明の画像処理方法は、設定部が、計測領域を前記１枚以上の画像に設定する設定ステップをさらに有し、前記計測領域は、前記２つ以上の点を含む。

本発明の画像処理方法において、表示制御部が前記１枚以上の画像の各々をディスプレイに表示し、かつ前記ディスプレイに表示された画像上に前記計測領域を表示する領域表示ステップをさらに有する。

本発明の画像処理方法は、前記設定部は、前記設定ステップにおいて、入力装置に入力された領域情報に基づいて前記計測領域を設定し、前記領域情報は、前記１枚以上の画像における前記計測領域の位置を示す。

本発明の画像処理方法において、分割部が前記１枚以上の画像の各々の全体領域を２つ以上の部分領域に分割する分割ステップをさらに有し、前記設定部は、前記設定ステップにおいて、前記２つ以上の部分領域に含まれる少なくとも１つの部分領域に前記計測領域を設定する。

本発明の画像処理方法において、前記指標算出部は、前記指標算出ステップにおいて、前記２つ以上の点のうち前記距離が所定値よりも小さい点の数、前記２つ以上の点のうち前記距離が所定値よりも大きい点の数、前記２つ以上の点における前記距離の平均値、または前記２つ以上の点における前記距離の最小値に基づいて前記第１の指標または前記第２の指標を算出する。

本発明の画像処理方法において、前記１枚以上の画像に含まれる１枚の画像に対して前記計測ステップ、前記指標算出ステップ、および前記比較ステップが実行され、前記第１の指標が前記閾値以下である場合、または前記第２の指標が前記閾値以上である場合、前記１枚以上の画像に含まれる他の１枚の画像に対して前記計測ステップ、前記指標算出ステップ、および前記比較ステップが実行される。

本発明の画像処理方法は、表示制御部が、前記被写体上の２つ以上の位置を示す位置情報をディスプレイに表示する位置情報表示ステップをさらに有する。

本発明は、計測部が、被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する計測ステップであって、前記距離は、前記１枚以上の画像を取得したカメラから前記２つ以上の点の各々までの３次元距離を示す前記計測ステップと、指標算出部が前記距離に基づいて第１の指標または第２の指標を算出する指標算出ステップであって、前記カメラが前記被写体に近づくと前記第１の指標は増加し、前記カメラが前記被写体に近づくと前記第２の指標は減少する前記指標算出ステップと、比較部が、前記第１の指標または前記第２の指標と閾値とを比較する比較ステップと、出力部が、前記第１の指標と前記閾値とを比較した結果、または前記第２の指標と前記閾値とを比較した結果を示す比較情報を情報通知装置に出力する出力ステップと、前記出力ステップが実行された後、選択部が、前記１枚以上の画像に含まれる少なくとも１枚の画像を選択する選択ステップであって、前記少なくとも１枚の画像は、前記第１の指標または前記第２の指標を算出するために使用された画像である前記選択ステップと、を有する画像処理方法である。

本発明は、被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する計測部であって、前記距離は、前記１枚以上の画像を取得したカメラから前記２つ以上の点の各々までの３次元距離を示す前記計測部と、前記距離に基づいて第１の指標または第２の指標を算出する指標算出部であって、前記カメラが前記被写体に近づくと前記第１の指標は増加し、前記カメラが前記被写体に近づくと前記第２の指標は減少する前記指標算出部と、前記第１の指標または前記第２の指標と閾値とを比較する比較部と、前記第１の指標が前記閾値よりも大きい場合、または前記第２の指標が前記閾値よりも小さい場合に、前記１枚以上の画像に含まれる少なくとも１枚の画像を選択する選択部であって、前記少なくとも１枚の画像は、前記閾値よりも大きい前記第１の指標または前記閾値よりも小さい前記第２の指標を算出するために使用された画像である前記選択部と、を有する画像処理装置である。

本発明は、被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する計測ステップであって、前記距離は、前記１枚以上の画像を取得したカメラから前記２つ以上の点の各々までの３次元距離を示す前記計測ステップと、前記距離に基づいて第１の指標または第２の指標を算出する指標算出ステップであって、前記カメラが前記被写体に近づくと前記第１の指標は増加し、前記カメラが前記被写体に近づくと前記第２の指標は減少する前記指標算出ステップと、前記第１の指標または前記第２の指標と閾値とを比較する比較ステップと、前記第１の指標が前記閾値よりも大きい場合、または前記第２の指標が前記閾値よりも小さい場合に、前記１枚以上の画像に含まれる少なくとも１枚の画像を選択する選択ステップであって、前記少なくとも１枚の画像は、前記閾値よりも大きい前記第１の指標または前記閾値よりも小さい前記第２の指標を算出するために使用された画像である前記選択ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、画像処理方法、画像処理装置、およびプログラムは、被写体における３次元座標の算出に適している画像が選択される可能性を高めることができる。

本発明の第１の実施形態による画像処理装置の構成を示すブロック図である。本発明の第１の実施形態における画像処理の手順を示すフローチャートである。本発明の第１の実施形態におけるカメラと被写体との距離の変化を示す図である。本発明の第１の実施形態における距離の変化に応じた画像の変化を示す図である。本発明の第２の実施形態による内視鏡装置の全体構成を示す斜視図である。本発明の第２の実施形態による内視鏡装置の内部構成を示すブロック図である。本発明の第２の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第２の実施形態における画像処理の手順を示すフローチャートである。本発明の第２の実施形態において表示部に表示された画像の例を示す図である。本発明の第２の実施形態の第１の変形例における画像処理の手順を示すフローチャートである。本発明の第２の実施形態の第１の変形例において表示部に表示された画像の例を示す図である。本発明の第２の実施形態の第２の変形例における画像処理の手順を示すフローチャートである。本発明の第２の実施形態の第３の変形例における画像処理の手順を示すフローチャートである。本発明の第３の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第３の実施形態における画像処理の手順を示すフローチャートである。本発明の第３の実施形態において表示部に表示された画像の例を示す図である。本発明の第３の実施形態の第１の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第３の実施形態の第１の変形例における画像処理の手順を示すフローチャートである。本発明の第３の実施形態の第１の変形例において表示部に表示された画像の例を示す図である。本発明の第３の実施形態の第２の変形例における画像処理の手順を示すフローチャートである。本発明の第３の実施形態の第２の変形例において表示部に表示された画像の例を示す図である。本発明の第３の実施形態の第３の変形例における画像処理の手順を示すフローチャートである。本発明の第３の実施形態の第３の変形例において表示部に表示された画像の例を示す図である。本発明の第４の実施形態における画像処理の手順を示すフローチャートである。本発明の第４の実施形態の変形例における画像処理の手順を示すフローチャートである。本発明の第５の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第５の実施形態における画像処理の手順を示すフローチャートである。本発明の第５の実施形態における画像処理の手順を示すフローチャートである。本発明の第５の実施形態において表示部に表示された画像の例を示す図である。本発明の第５の実施形態において表示部に表示された画像の例を示す図である。本発明の第５の実施形態において３Ｄ再構成処理が実行される状況を示す図である。本発明の第６の実施形態における画像処理の手順を示すフローチャートである。本発明の第６の実施形態において表示部に表示された画像の例を示す図である。本発明の第６の実施形態において３Ｄ再構成処理が実行される状況を示す図である。本発明の第６の実施形態の第１の変形例における画像処理の手順を示すフローチャートである。本発明の第６の実施形態の第１の変形例において３Ｄ再構成処理が実行される状況を示す図である。本発明の第６の実施形態の第２の変形例における画像処理の手順を示すフローチャートである。本発明の第６の実施形態の第２の変形例において表示部に表示された画像の例を示す図である。本発明の第６の実施形態の第３の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。本発明の第６の実施形態の第３の変形例における画像処理の手順を示すフローチャートである。本発明の第６の実施形態の第３の変形例において表示部に表示された画像の例を示す図である。

以下、図面を参照し、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態による画像処理装置７の構成を示す。図１に示す画像処理装置７は、計測部７０、指標算出部７１、比較部７２、および選択部７３を有する。

計測部７０は、被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する（計測ステップ）。その距離は、その１枚以上の画像を取得したカメラからその２つ以上の点の各々までの３次元距離（３Ｄ距離）を示す。指標算出部７１は、その距離に基づいて第１の指標または第２の指標を算出する（指標算出ステップ）。カメラが被写体に近づくと第１の指標は増加する。カメラが被写体に近づくと第２の指標は減少する。比較部７２は、第１の指標または第２の指標と閾値とを比較する（比較ステップ）。第１の指標が閾値よりも大きい場合、または第２の指標が閾値よりも小さい場合、選択部７３は、その１枚以上の画像に含まれる少なくとも１枚の画像を選択する（選択ステップ）。その少なくとも１枚の画像は、閾値よりも大きい第１の指標または閾値よりも小さい第２の指標を算出するために使用された画像である。

図１に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、およびＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）の少なくとも１つである。図１に示す各部は、１つまたは複数のプロセッサを含むことができる。図１に示す各部は、１つまたは複数の論理回路を含むことができる。

画像処理装置７のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、計測部７０、指標算出部７１、比較部７２、および選択部７３の動作を規定する命令を含む。つまり、計測部７０、指標算出部７１、比較部７２、および選択部７３の機能はソフトウェアにより実現されてもよい。

上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により画像処理装置７に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。

図２を使用して、第１の実施形態における画像処理について説明する。図２は、画像処理の手順を示す。

被写体の１枚以上の画像が画像処理に使用される。画像処理装置７は、その１枚以上の画像を記憶する記録媒体を有してもよい。あるいは、その記録媒体が画像処理装置７に接続されてもよい。

計測部７０は、その１枚以上の画像における２つ以上の点の各々における距離を計測する（ステップＳ１）。ステップＳ１は、計測ステップと対応する。

その距離は、その１枚以上の画像を取得したカメラからその２つ以上の点の各々までの３Ｄ距離を示す。カメラは、撮像素子および観察光学系を含む。観察光学系は、観察光学系に入射した光を撮像素子に導く。例えば、その距離は、撮像素子または観察光学系から各点までの３Ｄ距離を示す。２枚以上の画像が使用される場合、計測部７０は、ステップＳ１において各画像に含まれる２つ以上の点の各々における距離を計測する。

例えば、上記の距離は、カメラにおける基準点と２つ以上の点の各々とのユークリッド距離を示す。Ｘ軸およびＹ軸が、カメラの光学系の光軸と垂直であり、かつＺ軸がその光軸と平行である場合、上記の距離は、２つ以上の点の各々のＺ座標を示してもよい。

ステップＳ１の後、指標算出部７１は、ステップＳ１において算出された距離に基づいて第１の指標または第２の指標を算出する（ステップＳ２）。ステップＳ２は、指標算出ステップと対応する。

第１の指標または第２の指標は、測定点の数または割合（密度）を示す。測定点は、上記の距離が算出された点を示す。

第１の指標および第２の指標は、被写体の領域に対するカメラの近さを示す。例えば、第１の指標は、全ての測定点の数に対する第１の測定点の数の割合に設定される。第１の測定点は、上記の距離が所定の距離よりも小さい点を示す。カメラが被写体に近づくと第１の指標は増加する。例えば、第２の指標は、全ての測定点の数に対する第２の測定点の数の割合に設定される。第２の測定点は、上記の距離が所定の距離よりも大きい点を示す。カメラが被写体に近づくと第２の指標は減少する。

図３は、カメラと被写体との距離の変化を示す。例えば、第１の観察状態においてカメラと被写体との距離は第１の距離である。例えば、このときの第１の指標は第１の値を持つ。その後、カメラが被写体に近づき、第１の観察状態は第２の観察状態に変化する。例えば、第２の観察状態において、カメラと被写体との距離は第２の距離である。このときの第１の指標は第２の値を持つ。

図４は、第１の観察状態および第２の観察状態の各々においてカメラが取得した画像の例を示す。カメラは、第１の観察状態において画像ＩＭＧ１を取得し、第２の観察状態において画像ＩＭＧ２を取得する。図３に示すように第２の観察状態における第２の距離が第１の観察状態における第１の距離よりも小さい場合、画像ＩＭＧ２に写っている被写体は画像ＩＭＧ１に写っている被写体よりも大きい。そのため、第１の指標の第２の値は第１の指標の第１の値よりも大きくなる。

例えば、第１の観察状態においてカメラと被写体との距離は第１の距離である。例えば、このときの第２の指標は第１の値を持つ。その後、カメラが被写体から遠ざかり、第１の観察状態は第２の観察状態に変化する。例えば、第２の観察状態において、カメラと被写体との距離は第２の距離である。このときの第２の指標は第２の値を持つ。第２の観察状態における第２の距離が第１の観察状態における第１の距離よりも小さい場合、画像ＩＭＧ２に写っている被写体は画像ＩＭＧ１に写っている被写体よりも小さい。そのため、第２の指標の第２の値は第２の指標の第１の値よりも小さくなる。

指標算出部７１は、ステップＳ２において第１の指標および第２の指標の一方のみを算出してもよい。指標算出部７１は、ステップＳ２において第１の指標および第２の指標を算出してもよい。

ステップＳ２の後、比較部７２は、第１の指標または第２の指標と閾値とを比較する（ステップＳ３）。ステップＳ３は、比較ステップと対応する。

ステップＳ３の後、選択部７３は、ステップＳ３の結果に基づいて少なくとも１枚の画像を選択する。具体的には、第１の指標が閾値よりも大きい場合、または第２の指標が閾値よりも小さい場合、選択部７３は、その１枚以上の画像に含まれる少なくとも１枚の画像を選択する（ステップＳ４）。ステップＳ４は、選択ステップと対応する。ステップＳ４が実行されたとき、画像処理が終了する。

閾値は、被写体における３次元座標（３Ｄ座標）の算出に適している距離の条件を示す。第１の指標が閾値よりも大きい場合、選択部７３は、その第１の指標を算出するために使用された画像を選択する。または、第２の指標が閾値よりも小さい場合、選択部７３は、その第２の指標を算出するために使用された画像を選択する。第１の指標と比較される閾値は、第２の指標と比較される閾値と同じである必要はない。第１の指標が閾値よりも大きい場合、または第２の指標が閾値よりも小さい場合、カメラは被写体に近い。そのため、選択された画像は３Ｄ座標の算出に適していると期待される。

選択部７３は、記録媒体に記録されている１枚以上の画像の全てを選択してもよい。２枚以上の画像が記録媒体に記録されている場合、選択部７３はその２枚以上の画像に含まれる少なくとも１枚の画像を選択してもよい。２枚以上の画像が記録媒体に記録されている場合、選択部７３はその２枚以上の画像の全てまたは一部を選択してもよい。

第１の指標が閾値以下である場合、または第２の指標が閾値以上である場合、選択部７３は画像を選択しない。この場合、ステップＳ４は実行されない。

本発明の各態様の画像処理方法は、計測ステップ（ステップＳ１）、指標算出ステップ（ステップＳ２）、比較ステップ（ステップＳ３）、および選択ステップ（ステップＳ４）を有する。

第１の実施形態において、画像処理装置７は、カメラと被写体との距離を算出し、その距離に基づいて指標を算出する。画像処理装置７は、指標と閾値とを比較した結果に基づいて少なくとも１枚の画像を選択する。そのため、画像処理装置７は、被写体における３Ｄ座標の算出に適している画像が選択される可能性を高めることができる。

（第２の実施形態）
本発明の第２の実施形態を説明する。以下では、画像処理装置が内視鏡装置である例を説明する。画像処理装置は、第１の実施形態に示される機能を有する装置でありさえすればよく、内視鏡装置に限らない。画像処理装置は、特定の装置またはシステムに実装された組み込み機器であってもよい。画像処理装置は、パーソナルコンピュータ（ＰＣ）またはタブレット端末であってもよい。画像処理装置の一部の機能は、クラウド上の環境によって実現されてもよい。被写体は、工業製品である。

図５は、第２の実施形態による内視鏡装置１の外観を示す。図６は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を生成する。検査者は、種々の被写体の観察を実施するために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを実施することが可能である。

図５に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。

挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２で取得された被写体の画像および操作メニュー等を表示画面に表示する。

操作部４は、ユーザーインタフェース（入力装置）である。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。表示部５は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。ユーザーは、体の一部（例えば、指）または道具を使用することにより表示部５の画面をタッチする。

図６に示す本体部３は、内視鏡ユニット８、ＣＣＵ（ＣａｍｅｒａＣｏｎｔｒｏｌＵｎｉｔ）９、および制御装置１０を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を施す。ＣＣＵ９は、前処理が施された撮像信号をＮＴＳＣ信号等の映像信号に変換する。撮像素子２８は、内視鏡を構成する。

制御装置１０は、映像信号処理回路１２、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１３、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１８を有する。

映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を実行する。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像、被写体の画像、および計測情報等を含む。計測情報は、計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に基づく画像データをＣＰＵ１８に出力する。

ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ（ＰＣ）４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１のモニタが情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を実施することができる。

制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を実行する。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。

ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、ＰＣ４１がプログラムを読み込んで実行してもよい。ＰＣ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、ＰＣ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を処理してもよい。

上記のように、内視鏡装置１は、撮像素子２８およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。その画像は２次元画像（２Ｄ画像）である。撮像素子２８によって取得された２Ｄ画像は映像信号処理回路１２を経由してＣＰＵ１８に入力される。第２の実施形態におけるカメラは、撮像素子２８および観察光学系を含む。

撮像素子２８は、被写体の画像を取得する画像取得部の機能を有する。画像取得部は、画像入力装置であってもよい。例えば、ＰＣ４１が画像処理装置として動作する場合、画像取得部は、内視鏡装置１と通信を実行する通信インタフェース（通信機）である。画像取得部は無線通信機であってもよい。画像取得部は、画像が記録された記録媒体から画像を読み出す読み出し回路であってもよい。

図７は、ＣＰＵ１８の機能構成を示す。ＣＰＵ１８の機能は、制御部１８０、計測部１８１、指標算出部１８２、分類処理部１８３、表示制御部１８４、情報受付部１８５、比較部１８６、選択部１８７、および記録部１８８を含む。図７に示すブロックの少なくとも１つがＣＰＵ１８と異なる回路で構成されてもよい。

図７に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図７に示す各部は、１つまたは複数のプロセッサを含むことができる。図７に示す各部は、１つまたは複数の論理回路を含むことができる。

制御部１８０は、被写体の２Ｄ画像（画像データ）を映像信号処理回路１２から取得し、かつ図７に示す各部が実行する処理を制御する。

計測部１８１は、図１に示す計測部７０の機能を持つ。計測部１８１は、撮像素子２８によって取得された画像における２つ以上の点の各々における距離を計測する（計測ステップ）。

例えば、互いに異なる２つの視野を持つステレオ光学系が、光学アダプターとして挿入部２の先端２０に装着される。この場合、撮像素子２８は、第１の視点から見た被写体の２Ｄ画像（第１の２Ｄ画像）と、第１の視点と異なる第２の視点から見た被写体の２Ｄ画像（第２の２Ｄ画像）とを含むステレオ画像を生成する。計測部１８１は、第１の２Ｄ画像に２つ以上の点を設定する。計測部１８１は、第２の２Ｄ画像において第１の２Ｄ画像上の点と対応する点を探索する。計測部１８１は、三角測量の原理を使用することにより第１の２Ｄ画像上の２つ以上の各々の点における距離を算出する。

ステレオ光学系は第１の光学系および第２の光学系を有する。内視鏡装置１は、第１の状態と第２の状態とを切り替えてもよい。第１の状態において、第１の光学系を通る光のみが撮像素子２８に入射する。第２の状態において、第２の光学系を通る光のみが撮像素子２８に入射する。撮像素子２８は、第１の状態において第１の２Ｄ画像を生成し、かつ第２の状態において第２の２Ｄ画像を生成してもよい。第１の２Ｄ画像および第２の２Ｄ画像の組み合わせは、ステレオ画像を構成する。計測部１８１は、１枚以上の第１の２Ｄ画像および１枚以上の第２の２Ｄ画像を使用することにより距離を計測してもよい。

１つの視野を持つ単眼光学系が、光学アダプターとして挿入部２の先端２０に装着されてもよい。計測部１８１は、アクティブステレオ法の原理に基づいて距離を計測してもよい。以下では、アクティブステレオ法を使用する例を説明する。

例えば、計測部１８１は、明部および暗部を含む所定のパターンを持つ光が被写体に照射されたときに取得された１枚以上の２Ｄ画像を使用することにより距離を計測してもよい。例えば、そのパターンはランダムパターンである。計測部１８１は、縞状または格子状のパターンを持つ光が被写体に照射されたときに取得された２枚以上の２Ｄ画像を使用することにより距離を計測してもよい。計測部１８１は、レーザー光（スポット光）またはスリット光が被写体に照射されたときに取得された１枚以上の２Ｄ画像を使用することにより距離を計測してもよい。模様が被写体の表面にない場合、計測部１８１は、距離を安定的に計測することができる。

計測部１８１は、ＴｉｍｅｏｆＦｌｉｇｈｔ（ＴｏＦ）と呼ばれる技術を使用することにより距離を計測してもよい。ＴｏＦが使用される場合、計測部１８１は、光（赤外光など）または超音波が第１のタイミングから第２のタイミングまでに進む時間を計測する。第１のタイミングは、光または超音波がカメラから被写体に照射された時刻を示す。第２のタイミングは、被写体によって反射された光または超音波がカメラに到達する時刻を示す。計測部１８１は、第１のタイミングから第２のタイミングまでの時間に基づいて距離を算出する。この場合、計測部１８１が、距離を計測するために画像を使用する必要はない。

内視鏡装置１は、ＴＯＦカメラと呼ばれるカメラを使用してもよい。ＴＯＦカメラは、カラー画像および距離画像を同時に取得する。距離画像の各画素の値は、カメラから被写体までの距離を示す。この場合、カラー画像の各画素と距離画像の各画素とは互いに関連付けられている。

距離を計測する方法は上記の例に限らない。距離を計測する方法は、画像を使用する例に限らない。

画像における２つ以上の点の各々の座標は、予め設定されている。例えば、その座標は、ＲＯＭ１３に記録されているプログラムに含まれる。計測部１８１は、画像における３つ以上の点の各々における距離を計測してもよい。

指標算出部１８２は、図１に示す指標算出部７１の機能を持つ。指標算出部１８２は、計測部１８１によって計測された距離に基づいて指標を算出する（指標算出ステップ）。指標算出部１８２は、その指標を、その距離を算出するために使用された画像と関連付ける。

例えば、その指標は、所定の条件を満たす点の数を示す。その所定の条件は、距離が所定値よりも小さいことを示す。例えば、その所定値は、１５ｍｍである。挿入部２の先端２０が被写体に近づくとその指標は増加する。そのため、その指標は、第１の実施形態における第１の指標と対応する。

その所定の条件は、距離が所定値よりも大きいことを示してもよい。挿入部２の先端２０が被写体に近づくとその指標は減少する。そのため、その指標は、第１の実施形態における第２の指標と対応する。

点の割合（密度）が点の数として使用されてもよい。例えば、指標算出部１８２は、全ての点の数に対する所定の条件を満たす点の数の比率を指標として算出してもよい。

指標算出部１８２は、２つ以上の点における距離の平均値を指標として算出してもよい。指標算出部１８２は、２つ以上の点における距離の最小値を指標として選択してもよい。挿入部２の先端２０が被写体に近づくとその平均値またはその最小値は減少する。そのため、その平均値またはその最小値は、第１の実施形態における第２の指標と対応する。

上記の例では、指標は０以上である。指標は０よりも小さくてもよい。例えば、指標算出部１８２は、上記の点の数などに０よりも小さい係数を乗算することにより得られる値を指標として算出してもよい。

分類処理部１８３は、２つ以上の点において算出された２つ以上の距離を２つ以上のグループに分類する（分類処理ステップ）。各グループの距離の範囲は、他のグループの範囲と異なる。例えば、分類処理部１８３は、２つ以上の距離を３つのグループに分類する。３つのグループは、グループＡ、グループＢ、およびグループＣである。１５ｍｍ未満の距離はグループＡに分類される。１５ｍｍ以上かつ３０ｍｍ未満の距離はグループＢに分類される。３０ｍｍ以上の距離はグループＣに分類される。例えば、各グループの距離の範囲は、ＲＯＭ１３に記録されているプログラムに含まれる。

２つ以上の距離の各々は、２つ以上のグループのいずれか１つに分類される。２つ以上のグループの各々は１つ以上の距離を含む。

表示制御部１８４は、映像信号処理回路１２によって実行される処理を制御する。ＣＣＵ９は、２Ｄ映像信号を出力する。２Ｄ映像信号は、撮像素子２８によって取得された２Ｄ画像の各画素のカラーデータを含む。表示制御部１８４は、映像信号処理回路１２に、ＣＣＵ９から出力された２Ｄ映像信号を表示部５に出力させる。映像信号処理回路１２は、２Ｄ映像信号を表示部５に出力する。表示部５は、映像信号処理回路１２から出力された２Ｄ映像信号に基づいて２Ｄ画像を表示する。これにより、表示制御部１８４は、撮像素子２８によって取得された２Ｄ画像をライブ画像として表示部５に表示する。

表示制御部１８４は、各種情報を表示部５に表示する。つまり、表示制御部１８４は、画像上に各種情報を表示する。各種情報は、計測結果等を含む。各種情報は、カーソルを含んでもよい。カーソルは、ユーザーが画像上の特定の点を指定するためのマークである。

例えば、表示制御部１８４は、各種情報のグラフィック画像信号を生成する。表示制御部１８４は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された画像を表示する。

表示制御部１８４は、距離情報を示すグラフィック画像信号を生成する。距離情報は、２つ以上の点の各々における距離を示す。表示制御部１８４は、そのグラフィック画像信号を映像信号処理回路１２に出力する。これにより、表示制御部１８４は、距離情報を表示部５に表示する（距離情報表示ステップ）。

ユーザーは、操作部４を操作することにより、各種情報を内視鏡装置１に入力する。操作部４は、ユーザーによって入力された情報を出力する。その情報は、入力部である制御インタフェース１７に入力される。その情報は、制御インタフェース１７からＣＰＵ１８に出力される。情報受付部１８５は、操作部４を経由して内視鏡装置１に入力された情報を受け付ける。

例えば、ユーザーは、操作部４を操作することにより、カーソルの位置情報を内視鏡装置１に入力する。表示部５がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより画像上の位置を示す位置情報を内視鏡装置１に入力する。情報受付部１８５は、内視鏡装置１に入力された位置情報を受け付ける。情報受付部１８５は、位置情報に基づいて画像上の位置を算出する。表示制御部１８４は、情報受付部１８５によって算出された位置にカーソルを表示する。

比較部１８６は、図１に示す比較部７２の機能を持つ。比較部１８６は、指標算出部１８２によって算出された指標と閾値とを比較する（比較ステップ）。例えば、その閾値は、ＲＯＭ１３に記録されているプログラムに含まれる。

選択部１８７は、図１に示す選択部７３の機能を持つ。選択部１８７は、比較部１８６によって実行された比較の結果に基づいて少なくとも１枚の画像を選択する（選択ステップ）。指標算出部１８２によって算出された指標が選択条件を満たす場合、選択部１８７は、その指標と関連付けられている画像を選択する。

例えば、指標は、所定の条件を満たす点の数を示す。その所定の条件は、距離が所定値よりも小さいことを示す。この場合、上記の選択条件は、指標が閾値よりも大きいことを示す。この場合、指標は、前述した第１の指標と対応する。あるいは、その所定の条件は、距離が所定値よりも大きいことを示す。この場合、上記の選択条件は、指標が閾値よりも小さいことを示す。この場合、指標は、前述した第２の指標と対応する。

あるいは、指標は、２つ以上の点における距離の平均値または２つ以上の点における距離の最小値を示す。この場合、上記の選択条件は、指標が閾値よりも小さいことを示す。この場合、指標は、前述した第２の指標と対応する。

例えば、閾値は０以上である。指標が０よりも小さい場合、閾値は０よりも小さくてもよい。

記録部１８８は、選択部１８７によって選択された少なくとも１枚の画像を記録媒体に記録する（記録ステップ）。例えば、記録部１８８は、その少なくとも１枚の画像をＰＣ４１内の記録媒体またはメモリカード４２に記録する。

図８を使用することにより、第２の実施形態における画像処理について説明する。図８は、画像処理の手順を示す。

撮像素子２８は連続的に撮像信号を生成する。つまり、撮像素子２８は、ライブ画像と対応する各フレームの撮像信号を生成する。ライブ画像は被写体の２Ｄ画像であり、所定のフレームレートで順次更新される。つまり、ライブ画像は動画である。動画は、２枚以上のフレームを含む。各フレームは、撮像素子２８によって取得された２Ｄ画像によって構成される。

制御部１８０は、撮像素子２８によって取得された画像（２Ｄ画像）を取得する（ステップＳ１０１）。

ステップＳ１０１の後、計測部１８１は、ステップＳ１０１において取得された画像における２つ以上の点の各々における距離を計測する（ステップＳ１０２）。ステップＳ１０２は、計測ステップと対応する。

計測部１８１は、各点における距離を計測する。２つ以上の点が１枚の画像に含まれるため、計測部１８１は２つ以上の距離を計測する。

ステップＳ１０２の後、分類処理部１８３は、ステップＳ１０２において算出された２つ以上の距離を２つ以上のグループに分類する（ステップＳ１０３）。ステップＳ１０３は、分類処理ステップと対応する。

ステップＳ１０３の後、表示制御部１８４は、距離情報が重畳された画像を表示部５に表示する。具体的には、表示制御部１８４は、距離情報を示すグラフィック画像信号を生成し、かつそのグラフィック画像信号を映像信号処理回路１２に出力する。前述した処理と同様の処理が実行され、表示部５は、距離情報が重畳された画像を表示する（ステップＳ１０４）。ステップＳ１０４は、距離情報表示ステップと対応する。第２の実施形態において表示制御部１８４は、撮像素子２８による画像の取得と並行してその画像および距離情報を表示部５に表示する。

図９は、ステップＳ１０４において表示部５に表示された画像の例を示す。表示制御部１８４は、画像ＩＭＧ１０を表示部５に表示する。画像ＩＭＧ１０は、被写体の２Ｄ画像である。撮像素子２８がステレオ画像を取得する場合、表示制御部１８４は、ステレオ画像を構成する２枚の画像のうちの１枚を表示部５に表示する。

図９に示す例では、計測部１８１は、９行かつ１１列に並んだ９９個の点における距離を計測する。図９に示す例では、分類処理部１８３は、９９個の点において算出された９９個の距離を３つのグループに分類する。その３つのグループは、前述したグループＡ、グループＢ、およびグループＣである。１５ｍｍ未満の距離はグループＡに属する。１５ｍｍ以上かつ３０ｍｍ未満の距離はグループＢに属する。３０ｍｍ以上の距離はグループＣに属する。

表示制御部１８４は距離情報を表示部５に表示する。距離情報は、画像ＩＭＧ１０に重畳されている。図９に示す例では、表示制御部１８４は、マークＭＫ１０、マークＭＫ１１、およびマークＭＫ１２を画像ＩＭＧ１０上に表示する。マークＭＫ１０は、グループＡに分類された距離を示す。マークＭＫ１１は、グループＢに分類された距離を示す。マークＭＫ１２は、グループＣに分類された距離を示す。各マークは距離情報と対応する。各マークは、距離が計測された点の位置に表示される。各マークは、各グループと対応する形状を持つ。図９に示す例では、マークＭＫ１０は円であり、マークＭＫ１１は四角形であり、マークＭＫ１２は三角形である。

ユーザーは、画像ＩＭＧ１０が３Ｄ座標の算出に適しているか否かを判断することができる。カメラは、マークＭＫ１０の数が多い領域に近い。そのため、その領域は３Ｄ座標の算出に適している。カメラは、マークＭＫ１２の数が多い領域から遠い。そのため、その領域は３Ｄ座標の算出に適していない。画像ＩＭＧ１０においてマークＭＫ１０の数が多い場合、ユーザーは、画像ＩＭＧ１０が３Ｄ座標の算出に適していると判断することができる。

ユーザーは、距離情報を参照し、撮影の構図を変更する。距離情報は、画像ＩＭＧ１０上に表示された各マークによって示される。例えば、ユーザーは、マークＭＫ１０の数が多くなるように構図を変更する。これにより、３Ｄ座標の算出に適している画像が取得される可能性が高まる。

ステレオ光学系が使用される例を説明する。ステレオ光学系は第１の光学系および第２の光学系を有する。第１の光学系と第２の光学系とは互いに離れており、視差が発生する。そのため、第１の光学像および第２の光学像は互いに異なる。第１の光学像は、第１の光学系を通る光によって形成される。第２の光学像は、第２の光学系を通る光によって形成される。

視差だけでなくカメラの姿勢も第１の光学像および第２の光学像の違いに影響する。カメラの撮像方向は、被写体の表面に対するカメラの姿勢に応じて変化する。被写体の表面が平面であり、かつ撮像方向がその平面とほぼ垂直である場合、被写体の各点とカメラとの距離の差は小さい。その差は、第１の光学像および第２の光学像の違いにあまり影響しない。一方、被写体の表面が平面であり、かつ撮像方向がその平面とほぼ平行である場合、手前側の点と奥側の点との間で各点とカメラとの距離の差が大きい。その差は、第１の光学像および第２の光学像の違いに大きく影響する。各点とカメラとの距離の差が大きい領域では、十分な視差が発生しない。そのため、その領域が大きく写っている画像は３Ｄ座標の算出に適していない。このような理由により、ユーザーが２Ｄ画像のみから遠近感を把握することが難しく、カメラの姿勢が適切でないことを認識しづらい。

ユーザーは、距離情報を参照することにより、カメラの姿勢を確認することができる。マークＭＫ１０が画像ＩＭＧ１０の全体に広がっている場合、カメラは被写体の表面とほぼ垂直である。マークＭＫ１０が画像ＩＭＧ１０の一部の領域のみに表示されている場合、カメラは被写体の表面に対して傾いている。例えば、撮像方向が被写体の表面とほぼ平行である場合、マークＭＫ１０は、カメラに近い領域のみに表示される。そのため、ユーザーは、撮像方向が被写体の表面とほぼ平行になっていることを認識することができる。ユーザーは、マークＭＫ１０が画像ＩＭＧ１０の全体に広がるようにカメラの姿勢を変更する。つまり、ユーザーは、撮像方向が被写体の表面と垂直になるように構図を変更する。これにより、３Ｄ座標の算出に適している画像が取得される可能性が高まる。

表示制御部１８４は、画像ＩＭＧ１０の各点を距離情報と対応する色で表示してもよい。例えば、表示制御部１８４は、グループＡに属する距離が算出された点を緑色で表示する。表示制御部１８４は、グループＢに属する距離が算出された点を黄色で表示する。表示制御部１８４は、グループＣに属する距離が算出された点を赤色で表示する。表示制御部１８４は、距離情報と対応する大きさを持つマークを画像ＩＭＧ１０の各点に表示してもよい。表示制御部１８４は、距離情報を示す数字または文字を画像ＩＭＧ１０の各点に表示してもよい。距離情報を表示する方法は、上記の例に限らない。

表示制御部１８４は、所定値以上の距離が算出された点の距離情報を表示する必要はない。その所定値は、視差が十分に発生せず、計測部１８１が３Ｄ座標を算出できない距離を示す。表示制御部１８４が距離情報を表示しない場合、表示されるマークをユーザーが識別する手間が省ける。そのため、ユーザーは操作を感覚的に実施しやすい。

前述したように、ステレオ画像は、第１の２Ｄ画像および第２の２Ｄ画像を含む。撮像素子２８がステレオ画像を取得する場合、計測部１８１は、第２の２Ｄ画像において第１の２Ｄ画像上の点と対応する点を探索する。この処理は、第１の２Ｄ画像および第２の２Ｄ画像の間の相関係数を算出するマッチング処理を含む。相関係数の最小値は－１であり、相関係数の最大値は１である。相関係数が０よりも小さい場合、計測部１８１は、第１の２Ｄ画像上の点における距離を計測できないと判断してもよい。計測部１８１は、画像のテクスチャの強さを示す値などに基づいて距離を計測できるか否かを判断してもよい。表示制御部１８４は、距離を計測できない点における距離情報を表示する必要はない。

距離が計測される点の数は９９に限らない。２つ以上の距離が分類されるグループの数は３に限らない。

表示部５の表示画面は、互いに異なる第１の領域および第２の領域を含んでもよい。表示制御部１８４は、距離情報が重畳されていない第１の画像を第１の領域に表示し、かつ距離情報が重畳された第２の画像を第２の領域に表示してもよい。ユーザーは、第１の画像を参照することにより、被写体の状態を容易に確認することができる。表示制御部１８４は、第１の画像を第１の領域に表示し、かつ距離情報のみで構成された第２の画像を第２の領域に表示してもよい。例えば、その第２の画像は、距離が計測された点のみを含む。これにより、ユーザーは、距離情報が重畳されていない被写体の画像を詳細に確認することができる。

ステップＳ１０４の後、指標算出部１８２は、ステップＳ１０２において計測された距離に基づいて指標を算出する。指標算出部１８２は、その指標を、その距離を算出するために使用された画像と関連付ける（ステップＳ１０５）。ステップＳ１０５は、指標算出ステップと対応する。

図９に示す例では、指標算出部１８２は、グループＡに属する点の数を指標として算出してもよい。指標算出部１８２は、グループＢに属する点の数とグループＣに属する点の数との合計を指標として算出してもよい。指標算出部１８２は、２つ以上の点における距離の平均値または２つ以上の点における距離の最小値を指標として算出してもよい。

ステップＳ１０５の後、比較部１８６は、指標算出部１８２によって算出された指標と閾値とを比較する。比較部１８６は、その指標が選択条件を満たすか否かを判断する（ステップＳ１０６）。ステップＳ１０６は、比較ステップと対応する。

例えば、指標算出部１８２は、ステップＳ１０５において、グループＡに属する点の数を第１の指標として算出する。例えば、ステップＳ１０６において使用される閾値は７５である。比較部１８６は、ステップＳ１０６において第１の指標を７５と比較する。選択条件は、第１の指標が閾値よりも大きいことを示す。指標が７５よりも大きい場合、比較部１８６は、ステップＳ１０６において、第１の指標が選択条件を満たすと判断する。第１の指標が７５以下である場合、比較部１８６は、ステップＳ１０６において、指標が選択条件を満たさないと判断する。

例えば、過去に実行された計測において、カメラと被写体との距離が１５ｍｍよりも小さい場合に所定の計測精度が得られることが判明している。その場合、所定の計測精度を得るために距離が１５ｍｍよりも小さい必要がある。例えば、上記の閾値７５は、全ての点の数の７５％の値である。上記の距離１５ｍｍは、光学系の倍率などに応じて変更されてもよい。

指標算出部１８２が、グループＢに属する点の数とグループＣに属する点の数との合計を第２の指標として算出する例を説明する。比較部１８６は、ステップＳ１０６において第１の指標の閾値を全ての点の数から引いた値を閾値として使用する。第１の指標の閾値は７５であり、全ての点の数は９９である。比較部１８６は、第２の指標を、算出された閾値（２４）と比較する。第２の指標が２４よりも小さい場合、比較部１８６は、ステップＳ１０６において、第２の指標が選択条件を満たすと判断する。第２の指標が２４以上である場合、比較部１８６は、ステップＳ１０６において、指標が選択条件を満たさないと判断する。

指標算出部１８２が、２つ以上の点における距離の平均値または２つ以上の点における距離の最小値を第２の指標として算出する場合、比較部１８６は、ステップＳ１０６において指標を１５ｍｍと比較してもよい。第２の指標が１５ｍｍよりも小さい場合、比較部１８６は、ステップＳ１０６において、第２の指標が選択条件を満たすと判断してもよい。第２の指標が１５ｍｍ以上である場合、比較部１８６は、ステップＳ１０６において、第２の指標が選択条件を満たさないと判断してもよい。

指標の種類は、予め自動で設定されてもよい。ユーザーが指標の種類を設定してもよい。閾値は、予め自動で設定されてもよい。ユーザーが閾値を設定してもよい。

指標が選択条件を満たさないと比較部１８６がステップＳ１０６において判断した場合、ステップＳ１０１が実行される。指標が選択条件を満たすまでステップＳ１０１からステップＳ１０６が繰り返し実行される。

指標が選択条件を満たすと比較部１８６がステップＳ１０６において判断した場合、選択部１８７は、その指標と関連付けられている画像を選択する（ステップＳ１０７）。ステップＳ１０７は、選択ステップと対応する。

ステップＳ１０７の後、記録部１８８は、選択部１８７によって選択された画像を記録媒体に記録する（ステップＳ１０８）。ステップＳ１０８は、記録ステップと対応する。ステップＳ１０８が実行されたとき、画像処理が終了する。

ステップＳ１０８の後、表示制御部１８４は、画像が記録されたことを示すメッセージを表示部５に表示してもよい。これにより、表示制御部１８４は、３Ｄ座標の算出に適している画像が記録されたことをユーザーに通知することができる。

指標算出部１８２によって算出された指標が選択条件を満たさないと比較部１８６がステップＳ１０６において判断した場合、表示制御部１８４は、構図の変更を支援するためのメッセージを表示部５に表示してもよい。例えば、指標が閾値の条件を満たさない場合、表示制御部１８４は、挿入部２の先端２０を被写体に近づけることをユーザーに指示するメッセージを表示部５に表示してもよい。例えば、画像が水平方向に領域Ａ、領域Ｂ、および領域Ｃに分割される。領域Ａは、グループＡに属する点を含む。領域Ｂは、グループＢに属する点を含む。領域Ｃは、グループＣに属する点を含む。この場合、撮像方向が被写体の表面と平行である可能性が高い。そのため、表示制御部１８４は、被写体が正面視で画像に写るように挿入部２の先端２０の姿勢を変更することをユーザーに指示するメッセージを表示部５に表示してもよい。

表示制御部１８４は、画像の状態に応じたメッセージを表示部５に表示してもよい。カメラが、前述した距離を十分な精度で測定可能な位置にあっても、照明の光量が画像の取得に適してなく、計測部１８１が距離を計測できない場合がある。例えば、画像中の画素が飽和している場合、表示制御部１８４は、画像が暗いと判断してもよい。この場合、表示制御部１８４は、照明の光量を増加させることをユーザーに指示するメッセージを表示部５に表示してもよい。あるいは、画像が明るすぎる場合に照明の光量を減少させることをユーザーに指示するメッセージを表示部５に表示してもよい。

上記の例では、指標算出部１８２によって算出された指標は、所定の条件を満たす点の数を示す。その所定の条件は、距離が１５ｍｍよりも小さいことを示す。カメラと被写体との距離が非常に小さい場合、３Ｄ座標の算出に適していない画像が取得される可能性がある。例えば、その距離が５ｍｍよりも小さい場合、画像がぼやける可能性がある。そのため、その所定の条件は、距離が１５ｍｍよりも小さく、かつ５ｍｍ以上であることを示してもよい。

その所定の条件は、距離が１５ｍｍ以上であり、かつ５ｍｍよりも小さいことを示してもよい。指標が２４よりも小さい場合、比較部１８６は、ステップＳ１０６において、指標が選択条件を満たすと判断してもよい。

指標算出部１８２は、２つ以上の点における距離の平均値または２つ以上の点における距離の最小値を指標として算出してもよい。平均値または最小値が１５ｍｍよりも小さく、かつ５ｍｍ以上である場合、比較部１８６は、ステップＳ１０６において、指標が選択条件を満たすと判断してもよい。

図８に示す画像処理では、１枚の画像が記録媒体に記録される。ステップＳ１０８の後、ステップＳ１０１が実行されてもよい。ステップＳ１０１からステップＳ１０８が繰り返し実行されると、２枚以上の画像が記録媒体に記録される。

ステップＳ１０２の処理時間が長い場合、制御部１８０は、撮像素子２８によって取得された画像を表示するための表示フレームレートを下げてもよい。あるいは、制御部１８０は、撮像素子２８によって取得された画像を表示するための表示フレームレートを下げずに、距離情報をその画像に重畳する頻度を下げてもよい。

ステップＳ１０５は、ステップＳ１０２が実行されるタイミングとステップＳ１０６が実行されるタイミングとの間の任意のタイミングで実行されてもよい。したがって、ステップＳ１０２からステップＳ１０４のいずれか１つが実行された後、ステップＳ１０５が実行されてもよい。

表示制御部１８４は、距離情報を表示部５に表示する必要はない。したがって、表示制御部１８４は、ステップＳ１０４において、撮像素子２８によって取得された画像のみを表示してもよい。距離情報が表示されない場合であっても、内視鏡装置１は、３Ｄ座標の算出に適している画像を選択および記録することができる。

表示制御部１８４は、計測された距離の値を距離情報として表示部５に表示してもよい。この場合、ステップＳ１０３が実行される必要はない。表示制御部１８４が距離情報を表示部５に表示しない場合も、ステップＳ１０３が実行される必要はない。したがって、ＣＰＵ１８が分類処理部１８３を有する必要はない。

ステップＳ１０７において選択された画像は、ＰＣ４１内の記録媒体またはメモリカード４２等に記録されずにＲＡＭ１４に一時的に保持されてもよい。ステップＳ１０７において選択された画像は、外部サーバー等に送信されてもよい。これらの場合、ステップＳ１０８が実行される必要はない。したがって、ＣＰＵ１８が記録部１８８を有する必要はない。

本発明の各態様は次の変形例を含んでもよい。表示制御部１８４は、距離情報表示ステップ（ステップＳ１０４）において、距離情報を表示部５に表示する。距離情報は、被写体の１枚以上の画像における２つ以上の点の各々における距離を示す。

本発明の各態様は次の変形例を含んでもよい。表示制御部１８４は、距離情報表示ステップ（ステップＳ１０４）において、距離情報が重畳された１枚以上の画像を表示部５に表示する。

本発明の各態様は次の変形例を含んでもよい。分類処理部１８３は、分類処理ステップ（ステップＳ１０３）において、２つ以上の点における距離を、第１のグループおよび第２のグループを含む２つ以上のグループに分類する。第１のグループに分類された距離の範囲は、第２のグループに分類された距離の範囲と異なる。表示制御部１８４は距離情報表示ステップ（ステップＳ１０４）において、第１の距離情報を第１の状態で表示部５に表示し、かつ第２の距離情報を第１の状態と異なる第２の状態で表示部５に表示する。第１の距離情報は、第１のグループに分類された距離を示す。第２の距離情報は、第２のグループに分類された距離を示す。

図９に示す例では、第１のグループおよび第２のグループの各々は、グループＡ、グループＢ、およびグループＣのいずれか１つと対応する。例えば、第１のグループはグループＡと対応し、第２のグループはグループＢと対応する。第１のグループに分類された距離の範囲は１５ｍｍ未満である。第２のグループに分類された距離の範囲は１５ｍｍ以上かつ３０ｍｍ未満である。第１の状態および第２の状態は、図９に示す各マークの形状と対応する。グループの数は２つであってもよく、あるいは４つ以上であってもよい。第１の状態および第２の状態は、マークの形状に限らず、マークの大きさまたは点の色などと対応してもよい。

本発明の各態様は次の変形例を含んでもよい。記録部１８８は、記録ステップ（ステップＳ１０８）において、選択部１８７によって選択された少なくとも１枚の画像を記録媒体に記録する。

本発明の各態様は次の変形例を含んでもよい。指標算出部１８２は、指標算出ステップ（ステップＳ１０５）において、２つ以上の点のうち距離が所定値よりも小さい点の数、２つ以上の点のうち距離が所定値よりも大きい点の数、２つ以上の点における距離の平均値、または２つ以上の点における距離の最小値に基づいて第１の指標および第２の指標の少なくとも一方を算出する。

本発明の各態様は次の変形例を含んでもよい。被写体の１枚以上の画像に含まれる１枚の画像に対して計測ステップ（ステップＳ１０２）、指標算出ステップ（ステップＳ１０５）、および比較ステップ（ステップＳ１０６）が実行される。第１の指標が閾値以下であるという第１の条件と、第２の指標が閾値以上であるという第２の条件との少なくとも一方が満たされる場合、その１枚以上の画像に含まれる他の１枚の画像に対して計測ステップ、指標算出ステップ、および比較ステップが実行される。

第１の指標および第２の指標の少なくとも一方が選択条件を満たさないと比較部１８６がステップＳ１０６において判断した場合、ステップＳ１０１において画像が新たに取得される。その後、その画像を使用することによりステップＳ１０２からステップＳ１０６が再度実行される。

第２の実施形態において、内視鏡装置１は、カメラと被写体との距離を算出し、その距離に基づいて指標を算出する。内視鏡装置１は、指標と閾値とを比較した結果に基づいて少なくとも１枚の画像を選択する。そのため、内視鏡装置１は、被写体における３Ｄ座標の算出に適している画像が選択される可能性を高めることができる。

内視鏡装置１は、３Ｄ座標の算出に適している画像を記録媒体に自動的に記録する。そのため、ユーザーの負担が軽減される。

内視鏡装置１は、距離情報を表示する。指標が選択条件を満たさない場合、ユーザーは、距離情報を参照し、撮影の構図を変更することができる。

（第２の実施形態の第１の変形例）
本発明の第２の実施形態の第１の変形例を説明する。内視鏡装置１は、指標算出部１８２によって算出された指標と、閾値とを比較した結果をユーザーに通知する。ユーザーは、その結果を確認し、画像を記録するための記録指示を内視鏡装置１に入力する。記録指示が内視鏡装置１に入力されたとき、内視鏡装置１は画像を記録媒体に記録する。内視鏡装置１は、図７に示すＣＰＵ１８を有する。

表示制御部１８４は、比較情報を含むグラフィック画像信号を生成する。比較情報は、指標算出部１８２によって算出された指標と、閾値とを比較した結果を示す。表示制御部１８４は、そのグラフィック画像信号を映像信号処理回路１２に出力する（出力ステップ）。これにより、表示制御部１８４は、比較情報を表示部５に表示する。

表示制御部１８４は、比較情報を表示部５（情報通知装置）に出力する出力部として機能する。比較情報を出力する方法は、これに限らない。

ＣＰＵ１８の出力部は、音データをスピーカーに出力し、比較情報と対応する音をスピーカーに発生させてもよい。例えば、指標算出部１８２によって算出された指標が、前述した選択条件を満たす場合、出力部は、第１の音と対応する音データをスピーカーに出力する。指標算出部１８２によって算出された指標が選択条件を満たさない場合、出力部は、第１の音と異なる第２の音と対応する音データをスピーカーに出力する。

出力部は、振動のパターンを示す制御信号を振動発生器に出力し、比較情報と対応するパターンを持つ振動を振動発生器に発生させてもよい。例えば、指標算出部１８２によって算出された指標が選択条件を満たす場合、出力部は、第１のパターンを示す制御信号を振動発生器に出力する。指標算出部１８２によって算出された指標が選択条件を満たさない場合、出力部は、第１のパターンと異なる第２のパターンを示す制御信号を振動発生器に出力する。

出力部は、発光のパターンを示す制御信号を光源に出力し、比較情報と対応するパターンを持つ光を光源に発生させてもよい。例えば、指標算出部１８２によって算出された指標が選択条件を満たす場合、出力部は、第１のパターンを示す制御信号を光源に出力する。指標算出部１８２によって算出された指標が選択条件を満たさない場合、出力部は、第１のパターンと異なる第２のパターンを示す制御信号を光源に出力する。

光源が２種類以上の色の光を発生できる場合、出力部は、特定の色を示す制御信号を光源に出力し、比較情報と対応する色の光を光源に発生させてもよい。例えば、指標算出部１８２によって算出された指標が選択条件を満たす場合、出力部は、第１の色を示す制御信号を光源に出力する。指標算出部１８２によって算出された指標が選択条件を満たさない場合、出力部は、第１の色と異なる第２の色を示す制御信号を光源に出力する。

図１０を使用することにより、第２の実施形態の第１の変形例における画像処理について説明する。図１０は、画像処理の手順を示す。図８に示す処理と同じ処理の説明を省略する。

ステップＳ１０５の後、比較部１８６は、指標算出部１８２によって算出された指標と閾値とを比較する。比較部１８６は、比較結果を示す比較情報を生成する（ステップＳ１１１）。ステップＳ１１１は、比較ステップと対応する。

ステップＳ１１１の後、表示制御部１８４は、比較情報が重畳された画像を表示部５に表示する。具体的には、表示制御部１８４は、比較情報を示すグラフィック画像信号を生成し、かつそのグラフィック画像信号を映像信号処理回路１２に出力する。前述した処理と同様の処理が実行され、表示部５は、比較情報が重畳された画像を表示する（ステップＳ１１２）。ステップＳ１１２は、出力ステップと対応する。

図１１は、ステップＳ１１２において表示部５に表示された画像の例を示す。表示制御部１８４は、画像ＩＭＧ１１を表示部５に表示する。画像ＩＭＧ１１は、被写体の２Ｄ画像である。

表示制御部１８４は距離情報を表示部５に表示する。距離情報は、画像ＩＭＧ１１に重畳されている。図１１に示す例では、表示制御部１８４は、マークＭＫ１０、マークＭＫ１１、およびマークＭＫ１２を画像ＩＭＧ１１上に表示する。各マークは、図９に示す各マークと同じである。

表示制御部１８４は比較情報を表示部５に表示する。比較情報は、画像ＩＭＧ１１に重畳されている。図１１に示す例では、表示制御部１８４は、値ＶＬ１０を画像ＩＭＧ１１上に表示する。例えば、指標算出部１８２は、第２の実施形態におけるグループＡに属する点の数を指標として算出する。値ＶＬ１０は、全ての点の数に対するグループＡに属する点の数の比率を示す。

指標算出部１８２によって算出された指標が選択条件を満たす場合、表示制御部１８４は値ＶＬ１０を第１の色で表示してもよい。指標算出部１８２によって算出された指標が選択条件を満たさない場合、表示制御部１８４は値ＶＬ１０を第１の色と異なる第２の色で表示してもよい。指標算出部１８２によって算出された指標が選択条件を満たす場合のみ表示制御部１８４は値ＶＬ１０を強調してもよい。例えば、表示制御部１８４は値ＶＬ１０の周囲に枠などを表示してもよい。

表示制御部１８４は、比較情報を示すインジケーターを表示部５に表示してもよい。そのインジケーターは、ＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）コンポーネントであってもよい。上記の比率と対応する位置がそのコンポーネント上に示される。そのインジケーターは、マークまたは記号であってもよい。

表示部５の表示画面は、互いに異なる第１の領域および第２の領域を含んでもよい。表示制御部１８４は、比較情報が重畳されていない画像を第１の領域に表示し、かつ比較情報を第２の領域に表示してもよい。ユーザーは、その画像を参照することにより、被写体の状態を容易に確認することができる。

表示制御部１８４は、ボタンＢＴ１０を画像ＩＭＧ１１上に表示する。ボタンＢＴ１０は、画像を記録する指示を入力するためのボタンである。ユーザーは、操作部４を通して表示部５の表示画面上のボタンを押すことができる。表示部５がタッチパネルである場合、ユーザーは、表示画面を触ることにより、表示画面上のボタンを押すことができる。

ユーザーは、各マークおよび値ＶＬ１０を確認し、かつ画像ＩＭＧ１１が３Ｄ座標の算出に適しているか否かを判断する。画像ＩＭＧ１１が３Ｄ座標の算出に適しているとユーザーが判断した場合、ユーザーはボタンＢＴ１０を押す。画像ＩＭＧ１１が３Ｄ座標の算出に適していないとユーザーが判断した場合、ユーザーは撮影の構図を変更する。

ステップＳ１１２の後、制御部１８０は、画像を記録するための記録指示が内視鏡装置１に入力されたか否かを判断する（ステップＳ１１３）。例えば、ユーザーは操作部４を操作することにより、記録指示を内視鏡装置１に入力する。図１１に示す例では、ユーザーは、ボタンＢＴ１０を押すことにより記録指示を内視鏡装置１に入力する。情報受付部１８５は、記録指示を受け付ける。このとき、制御部１８０は、記録指示が内視鏡装置１に入力されたと判断する。

記録指示が内視鏡装置１に入力されていないと制御部１８０がステップＳ１１３において判断した場合、ステップＳ１０１が実行される。記録指示が内視鏡装置１に入力されるまでステップＳ１０１からステップＳ１０５およびステップＳ１１１からステップＳ１１３が繰り返し実行される。記録指示が内視鏡装置１に入力されたと制御部１８０がステップＳ１１３において判断した場合、ステップＳ１０７が実行される。

表示制御部１８４は、距離情報を表示部５に表示する必要はない。したがって、表示制御部１８４は、ステップＳ１０４において、撮像素子２８によって取得された画像のみを表示してもよい。ステップＳ１０４において距離情報は画像に重畳されず、比較情報はステップＳ１１２において画像に重畳される。内視鏡装置１は距離情報を表示しないが、比較情報を表示する。距離情報が表示されない場合であっても、内視鏡装置１は、３Ｄ座標の算出に適している画像を選択および記録することができる。

距離情報が表示される場合、カメラと被写体との位置関係がユーザーにわかりやすい。指標が選択条件を満たさない場合、ユーザーは、距離情報を参照することにより、撮影の構図を容易に設定することができる。一方、熟練したユーザーは、距離情報を参照することなく撮影の構図をある程度設定することができる。撮影の構図が３Ｄ座標の算出に適しているか否かをユーザーが知ることができる限り、ユーザーは撮影の構図を調整することができる。そのため、表示制御部１８４は、距離情報を表示せずに比較情報を表示してもよい。

指標算出部１８２によって算出された指標が選択条件を満たさない場合、制御部１８０は内視鏡装置１への記録指示の入力を無効にしてもよい。指標が選択条件を満たす場合のみ、制御部１８０は内視鏡装置１への記録指示の入力を有効にしてもよい。

例えば、指標が選択条件を満たさない場合、情報受付部１８５は記録指示を受け付けない。指標が選択条件を満たす場合のみ、情報受付部１８５は記録指示を受け付ける。指標が選択条件を満たす間、ユーザーは任意のタイミングで記録指示を内視鏡装置１に入力することができる。

本発明の各態様の画像処理方法は、計測ステップ（ステップＳ１０２）、指標算出ステップ（ステップＳ１０５）、比較ステップ（ステップＳ１１１）、出力ステップ（ステップＳ１１２）、および選択ステップ（ステップＳ１０７）を有する。計測部１８１は、計測ステップにおいて、被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する。その距離は、その１枚以上の画像を取得したカメラからその２つ以上の点の各々までの３Ｄ距離を示す。指標算出部１８２は、指標算出ステップにおいて、その距離に基づいて第１の指標または第２の指標を算出する。カメラが被写体に近づくと第１の指標は増加する。カメラが被写体に近づくと第２の指標は減少する。比較部１８６は、比較ステップにおいて、第１の指標または第２の指標と閾値とを比較する。表示制御部１８４（出力部）は、出力ステップにおいて、比較情報を表示部５（情報通知装置）に出力する。比較情報は、第１の指標と閾値とを比較した結果、または第２の指標と閾値とを比較した結果を示す。出力ステップが実行された後、選択部１８７は、選択ステップにおいて、その１枚以上の画像に含まれる少なくとも１枚の画像を選択する。その少なくとも１枚の画像は、第１の指標または第２の指標を算出するために使用された画像である。

第２の実施形態の第１の変形例において、内視鏡装置１は比較情報をユーザーに通知する。ユーザーによって記録指示が内視鏡装置１に入力されたとき、内視鏡装置１は画像を記録媒体に記録する。ユーザーは、比較情報を確認し、被写体における３Ｄ座標の算出に適している画像が取得されたときに記録指示を内視鏡装置１に入力する。そのため、内視鏡装置１は、被写体における３Ｄ座標の算出に適している画像が選択される可能性を高めることができる。

（第２の実施形態の第２の変形例）
本発明の第２の実施形態の第２の変形例を説明する。内視鏡装置１は、３Ｄ計測機能を持ち、被写体の大きさを算出する。内視鏡装置１は、図７に示すＣＰＵ１８を有する。

図１２を使用することにより、第２の実施形態の第２の変形例における画像処理について説明する。図１２は、画像処理の手順を示す。図８に示す処理と同じ処理の説明を省略する。

ステップＳ１０８の後、３Ｄ計測機能が有効となる。表示制御部１８４は、ステップＳ１０７において選択された画像を表示部５に表示する（ステップＳ１２１）。内視鏡装置１は、ステップＳ１０８を実行せずにステップＳ１２１を実行してもよい。

ユーザーは、操作部４を操作することにより、位置情報を内視鏡装置１に入力する。位置情報は、ステップＳ１２１において表示された画像上の計測点の位置を示す。計測点は、被写体の大きさを計測する位置を示す。情報受付部１８５は、位置情報を受け付ける。計測部１８１は、位置情報が示す位置に計測点を設定する。ユーザーは、２つ以上の計測点の各々の位置情報を内視鏡装置１に入力する。そのため、計測部１８１は、ステップＳ１２１において表示された画像に２つ以上の計測点を設定する（ステップＳ１２２）。

ステップＳ１２２の後、計測部１８１は、被写体上の２つ以上の点の３Ｄ座標を算出する。その２つ以上の点は、ステップＳ１２２において設定された２つ以上の計測点と対応する。例えば、計測部１８１は、第１の２Ｄ画像および第２の２Ｄ画像を含むステレオ画像を使用することにより３Ｄ座標を算出する（ステップＳ１２３）。

ステップＳ１２３の後、計測部１８１は、ステップＳ１２３において算出された３Ｄ座標に基づいて被写体の大きさを算出する（ステップＳ１２４）。ステップＳ１２４が実行されたとき、画像処理が終了する。

例えば、計測部１８１は、被写体上の２つの点の間の３Ｄ距離を算出する。計測部１８１は、被写体上の３つ以上の点によって規定された３次元領域の面積を算出してもよい。計測部１８１は、被写体上の２つの点で規定された３次元直線と被写体上の１つの点との間の３Ｄ距離を算出してもよい。計測部１８１は、被写体上の３つの点で規定された３次元領域と被写体上の１つの点との間の３Ｄ距離を算出してもよい。上記の各点は、計測点と対応する。

内視鏡装置１は、３Ｄ再構成機能を有してもよい。ＣＰＵ１８は、２枚以上の画像を使用する３Ｄ再構成処理を実行することにより、被写体の３次元モデル（３Ｄモデル）を生成してもよい。３Ｄモデルは、被写体の３次元形状（３Ｄ形状）を示す。表示制御部１８４は、ステップＳ１２１において３Ｄモデルを表示部５に表示してもよい。計測部１８１は、ステップＳ１２２において２つ以上の計測点を３Ｄモデルに設定してもよい。

ステップＳ１０６の代わりに図１０に示すステップＳ１１１からステップＳ１１３が実行されてもよい。

第２の実施形態の第２の変形例において、内視鏡装置１は、ステップＳ１０７において選択された画像を使用することにより被写体の大きさを算出する。そのため、内視鏡装置１が３Ｄ座標の算出に成功する可能性が高まる。

（第２の実施形態の第３の変形例）
本発明の第２の実施形態の第３の変形例を説明する。内視鏡装置１は、撮像素子２８によって取得された画像を動画として記録媒体に記録する。内視鏡装置１がその動画を再生するとき、内視鏡装置１は、第２の実施形態における画像処理と同様の画像処理を実行する。内視鏡装置１は、図７に示すＣＰＵ１８を有する。

図１３を使用することにより、第２の実施形態の第３の変形例における画像処理について説明する。図１３は、画像処理の手順を示す。図８に示す処理と同じ処理の説明を省略する。

例えば、撮像素子２８によって取得された２枚以上の画像を含む動画がメモリカード４２に記録されている。制御部１８０は、その動画を構成する１枚の画像をメモリカード４２から読み出す。これにより、制御部１８０は画像を取得する（ステップＳ１３１）。ステップＳ１３１の後、ステップＳ１０２が実行される。

ステップＳ１０８の後、図１２に示すステップＳ１２１からステップＳ１２４が実行されてもよい。

上記の動画がＰＣ４１内の記録媒体に記録されてもよい。ＰＣ４１は、図１２に示す処理と同様の処理を実行してもよい。上記の動画がクラウドサーバーなどのネットワーク装置内の記録媒体に記録されてもよい。内視鏡装置１は、ネットワーク装置と通信を実施し、動画をネットワーク装置から取得してもよい。

第２の実施形態の第３の変形例において、内視鏡装置１は、第２の実施形態と同様に、被写体における３Ｄ座標の算出に適している画像が選択される可能性を高めることができる。

（第３の実施形態）
本発明の第３の実施形態を説明する。第２の実施形態において内視鏡装置１は、カメラの撮像視野に収まる画像の全体において距離を計測する。ユーザーは画像の一部のみに注目する場合がある。第２の実施形態において内視鏡装置１は、第１の距離および第２の距離を算出する場合がある。第１の距離は、ユーザーが注目する第１の領域の点における距離を示す。第２の距離は、ユーザーが注目しない第２の領域の点における距離を示す。ユーザーが注目する第１の領域における第１の距離が適切であっても、第２の距離が適切でないために画像が選択されない可能性がある。あるいは、ユーザーが注目していない第２の領域における第２の距離が適切であり、かつ第１の距離が適切でない場合において画像が選択されてしまう可能性がある。そのため、内視鏡装置１が、ユーザーが注目する第１の領域における点の３Ｄ座標の算出に適している画像を選択しない可能性がある。

第３の実施形態において内視鏡装置１は、撮像素子２８によって取得された画像に計測領域を設定する。計測領域は、ユーザーが注目する領域と対応する。内視鏡装置１は、計測領域において第２の実施形態における画像処理と同様の処理を実行する。

図７に示すＣＰＵ１８は、図１４に示すＣＰＵ１８ａに変更される。図１４は、ＣＰＵ１８ａの機能構成を示す。ＣＰＵ１８ａの機能は、制御部１８０、計測部１８１、指標算出部１８２、分類処理部１８３、表示制御部１８４、情報受付部１８５、比較部１８６、選択部１８７、記録部１８８、および設定部１８９を含む。図１４に示すブロックの少なくとも１つがＣＰＵ１８ａと異なる回路で構成されてもよい。図７に示す構成と同じ構成の説明を省略する。

図１４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図１４に示す各部は、１つまたは複数のプロセッサを含むことができる。図１４に示す各部は、１つまたは複数の論理回路を含むことができる。

設定部１８９は、撮像素子２８によって取得された画像に計測領域を設定する（設定ステップ）。計測領域は、撮像素子２８によって取得された画像の全体領域の一部である。全体領域は、カメラの撮像視野の全体と対応する。計測領域は、全体領域よりも小さい。表示制御部１８４は、撮像素子２８によって取得された画像を表示部５に表示し、かつその画像上に計測領域を表示する（領域表示ステップ）。

ユーザーは、操作部４を操作することにより、領域情報を内視鏡装置１に入力する。領域情報は、撮像素子２８によって取得された画像における計測領域の位置を示す。情報受付部１８５は、領域情報を受け付ける。設定部１８９は、領域情報に基づいて計測領域を設定する。

図１５を使用することにより、第３の実施形態における画像処理について説明する。図１５は、画像処理の手順を示す。図８に示す処理と同じ処理の説明を省略する。

ステップＳ１０１の後、設定部１８９は、ステップＳ１０１において取得された画像に計測領域を設定する（ステップＳ１４１）。ステップＳ１４１は、設定ステップと対応する。

例えば、表示制御部１８４は、ステップＳ１４１において画像を表示部５に表示する。ユーザーは、操作部４を操作することにより、領域情報を内視鏡装置１に入力する。カーソルが画像上に表示される例では、ユーザーは、カーソルをその画像上の所望の位置に移動させ、かつドラッグ等の操作を実行する。このとき、情報受付部１８５は、その位置を受け付ける。表示部５がタッチパネルである例では、ユーザーは表示部５の画面をタッチし、かつピンチ操作等の操作を実行する。このとき、情報受付部１８５は、その操作を通して指定された位置を受け付ける。領域情報は、情報受付部１８５によって受け付けられた位置を示す。設定部１８９は、ユーザーによって指定された位置に基づいて計測領域を設定する。

ステップＳ１４１の後、表示制御部１８４は、計測領域が重畳された画像を表示部５に表示する。具体的には、表示制御部１８４は、計測領域を示すグラフィック画像信号を生成し、かつそのグラフィック画像信号を映像信号処理回路１２に出力する。前述した処理と同様の処理が実行され、表示部５は、計測領域が重畳された画像を表示する（ステップＳ１４２）。ステップＳ１４２は、領域表示ステップと対応する。

図１６は、ステップＳ１４２において表示部５に表示された画像の例を示す。表示制御部１８４は、画像ＩＭＧ２０を表示部５に表示する。画像ＩＭＧ２０は、被写体の２Ｄ画像である。図１６に示す例では、表示制御部１８４は、計測領域ＲＧ２０を表示部５に表示する。計測領域ＲＧ２０は、画像ＩＭＧ２０に重畳されている。図１６に示す例では、表示制御部１８４は、計測領域ＲＧ２０を示す枠を画像ＩＭＧ２０上に表示する。ユーザーは、計測領域ＲＧ２０の位置を確認しながら撮影の構図を調整することができる。

ステップＳ１４２の後、計測部１８１は、ステップＳ１０２において、計測領域の２つ以上の点の各々における距離を計測する。この場合、計測部１８１は、計測領域以外の領域の点における距離を計測しない。

計測部１８１は、ステップＳ１０２において、計測領域の２つ以上の点における距離に加えて、計測領域以外の領域の１つ以上の点における距離を計測してもよい。その場合、指標算出部１８２は、計測領域の２つ以上の点における距離のみに基づいて指標を算出する。

ステップＳ１４１が実行された後、指標算出部１８２によって算出された指標が選択条件を満たさないと比較部１８６がステップＳ１０６において判断する場合がある。この場合、ステップＳ１４１が再度実行される。撮影の構図が変化しない場合、設定部１８９は、以前に設定された計測領域と同じ計測領域を設定してもよい。したがって、ユーザーが領域情報を内視鏡装置１に再度入力する必要はない。

計測領域は、予め設定された領域であってもよい。例えば、計測領域は、画像の中心を含み、かつ所定の大きさを持つ。その場合、ユーザーが領域情報を内視鏡装置１に入力する必要はない。

表示制御部１８４が計測領域を表示部５に表示する必要はない。したがって、ステップＳ１４２が実行される必要はない。

ステップＳ１０１の代わりに図１３に示すステップＳ１３１が実行されてもよい。

本発明の各態様は次の変形例を含んでもよい。設定部１８９は、設定ステップ（ステップＳ１４１）において、計測領域を被写体の１枚以上の画像に設定する。計測領域は、その１枚以上の画像における２つ以上の点を含む。

本発明の各態様は次の変形例を含んでもよい。表示制御部１８４は、領域表示ステップ（ステップＳ１４２）において、被写体の１枚以上の画像の各々を表示部５に表示し、かつ表示部５に表示された画像上に計測領域を表示する。

本発明の各態様は次の変形例を含んでもよい。設定部１８９は、設定ステップ（ステップＳ１４１）において、操作部４に入力された領域情報に基づいて計測領域を設定する。領域情報は、被写体の１枚以上の画像における計測領域の位置を示す。

第３の実施形態において内視鏡装置１は、撮像素子２８によって取得された画像に計測領域を設定する。内視鏡装置１は、計測領域の点におけるカメラと被写体との距離を算出する。そのため、内視鏡装置１は、計測領域における３Ｄ座標の算出に適している画像が選択される可能性を高めることができる。ユーザーは、ユーザーが注目する領域を計測領域として指定することができる。傷またはへこみなどの注目領域が画像の全体に写ることは少ない。ユーザーは、注目領域を容易に確認するために、注目領域が画像の中央に位置するように撮影の構図を調整することが多い。計測領域を限定することにより、画像の一部のみにおいて距離情報が算出される。そのため、計算の負荷が減る。

ユーザーが注目する領域が計測領域として指定される。内視鏡装置１が、計測領域における点の３Ｄ座標の算出に適していない画像を選択し、かつユーザーが計測領域を再度指定する必要がある可能性は減る。そのため、ユーザーの操作の負荷が減る。

（第３の実施形態の第１の変形例）
本発明の第３の実施形態の第１の変形例を説明する。内視鏡装置１は、セグメンテーション処理を実行することにより、撮像素子２８によって取得された画像の全体領域を２つ以上の領域（セグメント）に分割する。内視鏡装置１は、２つ以上のセグメントのうちの少なくとも１つを計測領域として設定する。

図１４に示すＣＰＵ１８ａは、図１７に示すＣＰＵ１８ｂに変更される。図１７は、ＣＰＵ１８ｂの機能構成を示す。ＣＰＵ１８ｂの機能は、制御部１８０、計測部１８１、指標算出部１８２、分類処理部１８３、表示制御部１８４、情報受付部１８５、比較部１８６、選択部１８７、記録部１８８、設定部１８９、および分割部１９０を含む。図１７に示すブロックの少なくとも１つがＣＰＵ１８ｂと異なる回路で構成されてもよい。図１４に示す構成と同じ構成の説明を省略する。

図１７に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図１７に示す各部は、１つまたは複数のプロセッサを含むことができる。図１７に示す各部は、１つまたは複数の論理回路を含むことができる。

分割部１９０は、撮像素子２８によって取得された画像の全体領域を２つ以上のセグメント（部分領域）に分割する（分割ステップ）。その全体領域は、その画像の画角の全体と対応する。設定部１８９は、少なくとも１つの部分領域に計測領域を設定する。

図１８を使用することにより、第３の実施形態の第１の変形例における画像処理について説明する。図１８は、画像処理の手順を示す。図８に示す処理と同じ処理の説明を省略する。

ステップＳ１０１の後、分割部１９０は、セグメンテーション処理を実行する。具体的には、分割部１９０は、撮像素子２８によって取得された画像を使用することにより、被写体の形状の特徴を判断する。分割部１９０は、その特徴に基づいて、その画像に含まれる２つ以上の点を２つ以上のセグメントに分割する。例えば、分割部１９０は、ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋを使用することにより、２つ以上の点の各々を２つ以上のセグメントのうちの１つに割り当てる。これにより、分割部１９０は、画像の領域を２つ以上のセグメントに分割する（ステップＳ１５１）。ステップＳ１５１は、分割ステップと対応する。

分割部１９０は、撮像素子２８によって取得された画像を使用することにより、被写体の状態を判断してもよい。例えば、分割部１９０は、その画像に画像処理を施すことにより、被写体のエッジを検出してもよい。分割部１９０は、その画像における３つ以上の点を第１の領域および第２の領域に分割してもよい。例えば、第１の領域は、エッジ上の点からなる。第２の領域は、そのエッジ以外の部分上の点からなる。

分割部１９０は、撮像素子２８によって取得された画像の明るさまたは色に基づいて被写体の特徴を判断してもよい。分割部１９０は、被写体のステレオ画像にマッチング処理を施してもよく、かつそのマッチング処理において得られた相関係数に基づいて被写体の特徴を検出してもよい。分割部１９０は、ＷａｔｅｒｓｈｅｄアルゴリズムまたはＤｅｅｐＬｅａｒｎｉｎｇ等を使用することにより、被写体の特徴を判断してもよい。

２つ以上の点の各々は、２つ以上のセグメントのいずれか１つに分類される。２つ以上のセグメントの各々は１つ以上の点を含む。

表示制御部１８４は、ステップＳ１５１において、セグメントが重畳された画像を表示部５に表示する。具体的には、表示制御部１８４は、セグメントを示すグラフィック画像信号を生成し、かつそのグラフィック画像信号を映像信号処理回路１２に出力する。前述した処理と同様の処理が実行され、表示部５は、セグメントが重畳された画像を表示する。

ステップＳ１５１の後、設定部１８９は、２つ以上のセグメントの各々の特徴量を算出する（ステップＳ１５２）。

例えば、設定部１８９は、２つ以上のセグメントの各々の面積を算出する。設定部１８９は、２つ以上のセグメントの各々の特徴量として輝度を算出してもよい。設定部１８９は、２つ以上のセグメントの各々の特徴量としてコントラストを算出してもよい。

ステップＳ１５２の後、設定部１８９は、ステップＳ１５２において算出された特徴量に基づいて、２つ以上のセグメントに含まれる１つ以上のセグメントを選択する。設定部１８９は、選択された１つ以上のセグメントに計測領域を設定する（ステップＳ１５３）。ステップＳ１５３は、設定ステップと対応する。

例えば、設定部１８９は、最大の面積を持つセグメントに計測領域を設定する。一般的に、ユーザーの注目する領域が大きく映るように撮影の構図が設定される。最大の面積を持つセグメントを自動的に測定領域に設定することにより、計測部１８１は、ユーザーによる測定領域の設定を待たずに距離を計測することができる。設定部１８９は、最大の輝度を持つセグメントに計測領域を設定してもよい。設定部１８９は、最大のコントラストを持つセグメントに計測領域を設定してもよい。

ステップＳ１５３の後、表示制御部１８４は、計測領域が重畳された画像を表示部５に表示する。具体的には、表示制御部１８４は、計測領域を示すグラフィック画像信号を生成し、かつそのグラフィック画像信号を映像信号処理回路１２に出力する。前述した処理と同様の処理が実行され、表示部５は、計測領域が重畳された画像を表示する（ステップＳ１５４）。ステップＳ１５４は、領域表示ステップと対応する。ステップＳ１５４の後、ステップＳ１０２が実行される。

図１９は、ステップＳ１５４において表示部５に表示された画像の例を示す。表示制御部１８４は、画像ＩＭＧ２１を表示部５に表示する。画像ＩＭＧ２１は、被写体の２Ｄ画像である。図１９に示す例では、表示制御部１８４は、セグメントＳＧ２０、セグメントＳＧ２１、セグメントＳＧ２２、セグメントＳＧ２３、セグメントＳＧ２４、セグメントＳＧ２５、セグメントＳＧ２６、セグメントＳＧ２７、およびセグメントＳＧ２８を画像ＩＭＧ２１上に表示する。各セグメントは画像ＩＭＧ２１に重畳されている。これらのセグメントは互いに異なる色またはパターンなどで表示される。表示制御部１８４は各セグメントを３画像ＩＭＧ２１に重畳する必要はない。表示制御部１８４は、画像ＩＭＧ２１が表示される領域と異なる領域に各セグメントを表示してもよい。

計測領域が設定されるときには表示制御部１８４は各セグメントを表示してもよいが、距離が計測されるときには表示制御部１８４は、設定された計測領域のセグメントのみをステップＳ１５４において表示してもよい。このとき、表示制御部１８４は、計測領域のセグメントを画像ＩＭＧ２１上に表示する、または画像ＩＭＧ２１が表示される領域と異なる領域に計測領域のセグメントを表示する。注目すべき計測領域以外の領域が表示されないため、表示部５の画面の視認性が向上する。

設定部１８９は、図１９に示す各セグメントの面積を算出する。例えば、その面積は、各セグメントに含まれる画素の数である。設定部１８９は、最大の面積を持つセグメントに計測領域を設定する。例えば、セグメントＳＧ２６の面積は、他のセグメントの面積よりも大きい。設定部１８９は、セグメントＳＧ２６に計測領域を設定する。

表示制御部１８４は、計測領域を表示部５に表示する。図１９に示す例では、表示制御部１８４は、計測領域を示す枠をセグメントＳＧ２６上に表示する。ユーザーは、計測領域の位置を確認することができる。

ステップＳ１５４が実行される必要はない。ステップＳ１５３が実行された後、内視鏡装置１は、ステップＳ１５４を実行せずにステップＳ１０２を実行してもよい。表示制御部１８４は、ステップＳ１０４において、距離情報および計測領域が重畳された画像を表示部５に表示してもよい。

本発明の各態様は次の変形例を含んでもよい。分割部１９０は、分割ステップ（ステップＳ１５１）において、被写体の１枚以上の画像の各々の全体領域を２つ以上の部分領域（セグメント）に分割する。設定部１８９は、設定ステップ（ステップＳ１５３）において、その２つ以上の部分領域に含まれる少なくとも１つの部分領域に計測領域を設定する。

第３の実施形態の第１の変形例において内視鏡装置１は、２つ以上のセグメントの少なくとも１つを計測領域として設定する。ユーザーは、計測領域を指定するための操作を実施する必要はない。そのため、計測領域を設定するためのユーザーの負担が軽減される。

（第３の実施形態の第２の変形例）
本発明の第３の実施形態の第２の変形例を説明する。内視鏡装置１は、第３の実施形態の第１の変形例と同様に、撮像素子２８によって取得された画像の全体領域を２つ以上のセグメントに分割する。内視鏡装置１は、画像処理などを実行することにより、その画像における特徴領域を検出する。例えば、特徴領域は、傷が存在する領域である。特徴領域は、所定の形状または所定の色を持つ領域であってもよい。内視鏡装置１は、特徴領域が検出された１つ以上のセグメントを計測領域として設定する。内視鏡装置１は、図１７に示すＣＰＵ１８ｂを有する。

分割部１９０がセグメンテーション処理を実行した後、設定部１８９は２つ以上のセグメントの各々において特徴領域を検出する。２つ以上のセグメントの全てにおいて特徴領域が検出されるとは限らない。１つ以上のセグメントにおいて特徴領域が検出された場合、設定部１８９はその１つ以上のセグメントに計測領域を設定する。

図２０を使用することにより、第３の実施形態の第２の変形例における画像処理について説明する。図２０は、画像処理の手順を示す。図１８に示す処理と同じ処理の説明を省略する。

ステップＳ１５１の後、設定部１８９は、特徴領域を検出するための領域検出処理を実行する（ステップＳ１６１）。

ステップＳ１６１の後、設定部１８９は、特徴領域が検出された１つ以上のセグメントを選択する。設定部１８９は、選択されたセグメントに計測領域を設定する（ステップＳ１６２）。ステップＳ１６２は、設定ステップと対応する。

ステップＳ１６２の後、表示制御部１８４は、ステップＳ１５４において、計測領域が重畳された画像を表示部５に表示する。

図２１は、ステップＳ１５４において表示部５に表示された画像の例を示す。表示制御部１８４は、画像ＩＭＧ２２を表示部５に表示する。画像ＩＭＧ２２は、被写体の２Ｄ画像である。図２１に示す例では、表示制御部１８４は、セグメントＳＧ２０、セグメントＳＧ２１、セグメントＳＧ２２、セグメントＳＧ２３、セグメントＳＧ２４、セグメントＳＧ２５、セグメントＳＧ２６、セグメントＳＧ２７、およびセグメントＳＧ２８を画像ＩＭＧ２２上に表示する。各セグメントは画像ＩＭＧ２２に重畳されている。これらのセグメントは互いに異なる色またはパターンなどで表示される。

例えば、設定部１８９は、領域検出処理を実行することにより、セグメントＳＧ２６における特徴領域ＲＧ２１を検出する。設定部１８９は、セグメントＳＧ２６に計測領域を設定する。

表示制御部１８４は、計測領域を表示部５に表示する。図２１に示す例では、表示制御部１８４は、計測領域を示す枠をセグメントＳＧ２６上に表示する。ユーザーは、計測領域の位置を確認することができる。

第３の実施形態の第２の変形例において内視鏡装置１は、特徴領域を含む１つ以上のセグメントを計測領域として設定する。ユーザーは、計測領域を指定するための操作を実施する必要はない。そのため、計測領域を設定するためのユーザーの負担が軽減される。

（第３の実施形態の第３の変形例）
本発明の第３の実施形態の第３の変形例を説明する。内視鏡装置１は、第３の実施形態の第１の変形例と同様に、撮像素子２８によって取得された画像の全体領域を２つ以上のセグメントに分割する。内視鏡装置１は、ユーザーによって指定された１つ以上のセグメントを計測領域として設定する。内視鏡装置１は、図１７に示すＣＰＵ１８ｂを有する。

分割部１９０がセグメンテーション処理を実行した後、表示制御部１８４は画像を表示部５に表示する。ユーザーは、操作部４を操作することにより、セグメントを選択する。具体的には、ユーザーは、操作部４を操作することにより、セグメントを選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける。選択指示は、ユーザーによって指定された１つ以上のセグメントを示す。

カーソルが画像上に表示される例では、ユーザーは、カーソルをその画像上の所望の位置に移動させ、かつクリック等の操作を実行する。このとき、情報受付部１８５は、その位置を受け付ける。表示部５がタッチパネルである例では、ユーザーは表示部５の画面をタッチする。ユーザーが、表示部５に表示されたボタンを押すことによりセグメントを選択してもよい。このとき、情報受付部１８５は、その操作を通して指定された位置を受け付ける。設定部１８９は、選択指示が示す位置を含むセグメントに計測領域を設定する。

図２２を使用することにより、第３の実施形態の第３の変形例における画像処理について説明する。図２２は、画像処理の手順を示す。図１８に示す処理と同じ処理の説明を省略する。

ステップＳ１５１の後、情報受付部１８５は選択指示を受け付ける（ステップＳ１７１）。

ステップＳ１７１の後、設定部１８９は、選択指示が示す位置を含むセグメントを特定する。設定部１８９は、特定されたセグメントに計測領域を設定する（ステップＳ１７２）。ステップＳ１７２の後、ステップＳ１５４が実行される。

図２３は、ステップＳ１５４において表示部５に表示された画像の例を示す。表示制御部１８４は、画像ＩＭＧ２１を表示部５に表示する。図１９に示す部分と同じ部分の説明を省略する。

ユーザーは、操作部４を操作することにより、セグメントを選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける。図２３に示す例では、選択指示はセグメントＳＧ２６における位置を示す。設定部１８９は、選択指示が示す位置を含むセグメントＳＧ２６を特定し、セグメントＳＧ２６に計測領域を設定する。

表示制御部１８４は、計測領域を表示部５に表示する。図２３に示す例では、表示制御部１８４は、計測領域を示す枠をセグメントＳＧ２６上に表示する。ユーザーは、計測領域の位置を確認することができる。

指標算出部１８２によって算出された指標が選択条件を満たさないと比較部１８６がステップＳ１０６において判断した場合、ステップＳ１０１からステップＳ１０６、ステップＳ１５１、ステップＳ１７１、ステップＳ１７２、およびステップＳ１５４が再度実行される。撮影の構図があまり変化しない場合、設定部１８９は、ステップＳ１７２が前回実行されたときに特定されたセグメントの位置と同じ位置にあるセグメントに計測領域を設定してもよい。この場合、ステップＳ１７１が実行される必要はない。

第３の実施形態の第３の変形例において内視鏡装置１は、ユーザーによって指定された１つ以上のセグメントを計測領域として設定する。ユーザーは、セグメントにおける任意の位置を指定する操作を実施する。ユーザーが画像上の位置を正確に指定する必要はないため、計測領域を設定するためのユーザーの負担が軽減される。

特定の検査対象において、ユーザーが注目するセグメントが最大となるように撮影の構図を設定することが難しい場合がある。ユーザーがセグメントを指定できるため、内視鏡装置１は、ユーザーが所望する画像を処理することができる。

（第４の実施形態）
本発明の第４の実施形態を説明する。内視鏡装置１は、第２の実施形態における画像処理と同様の処理を実行し、３Ｄ座標の算出に適している２枚以上の画像を記録媒体に記録する。内視鏡装置１は、その２枚以上の画像のうち最も良い画像を選択する。内視鏡装置１は、図７に示すＣＰＵ１８を有する。

選択部１８７は、前述した選択条件を満たす２枚以上の画像を選択する。記録部１８８は、選択部１８７によって選択された２枚以上の画像を記録媒体に記録する。選択部１８７は、その２枚以上の画像のうち最も良い指標と関連付けられている画像を選択する。これにより、選択部１８７は、３Ｄ座標の算出に最も適している画像を選択する。

図２４を使用することにより、第４の実施形態における画像処理について説明する。図２４は、画像処理の手順を示す。図８に示す処理と同じ処理の説明を省略する。

ステップＳ１０８の後、制御部１８０は、所定数の画像が記録媒体に記録されているか否かを判断する（ステップＳ１８１）。その所定数は２以上である。例えば、その所定数は１０である。

所定数の画像が記録媒体に記録されていないと制御部１８０がステップＳ１８１において判断した場合、ステップＳ１０１が実行される。所定数の画像が記録媒体に記録されるまで、ステップＳ１０１からステップＳ１０８およびステップＳ１８１が繰り返し実行される。

所定数の画像が記録媒体に記録されていると制御部１８０がステップＳ１８１において判断した場合、選択部１８７は、記録媒体に記録されている２枚以上の画像の指標を互いに比較する。選択部１８７は、最も良い指標と関連付けられている１枚の画像を選択する（ステップＳ１８２）。ステップＳ１８２が実行されたとき、画像処理が終了する。

例えば、指標算出部１８２は、ステップＳ１０５において第１の指標を算出する。カメラが被写体に近づくと第１の指標は増加する。上記の２枚以上の画像は、閾値よりも大きい第１の指標を持つ。あるいは、指標算出部１８２は、ステップＳ１０５において第２の指標を算出する。カメラが被写体に近づくと第２の指標は減少する。上記の２枚以上の画像は、閾値よりも小さい第２の指標を持つ。

選択部１８７は、ステップＳ１８２において、最も大きい第１の指標を持つ画像を選択する。あるいは、選択部１８７は、ステップＳ１８２において、最も小さい第２の指標を持つ画像を選択する。

表示制御部１８４は、ステップＳ１０４において、距離情報が重畳された画像を表示部５に表示する。ユーザーは、距離情報を参照し、撮影の構図を変更する。これにより、３Ｄ座標の算出に適している画像が取得される可能性が高まる。

連続する２枚以上の画像がステップＳ１０８において記録媒体に記録される場合がある。構図があまり変化しない場合であっても多くの画像が記録媒体に記録される可能性がある。そのため、記録容量が不足する可能性がある。

連続するｎ枚の画像が選択条件を満たす場合、記録部１８８は、ｎ枚の画像のうちの１枚のみを記録媒体に記録してもよい。数ｎは２以上である。例えば、数ｎは１０である。これにより、記録容量が不足しにくくなる。

記録部１８８は、ステップＳ１０７において選択された画像と、前回記録された画像との間で被写体の動き量を算出してもよい。その動き量が所定量よりも大きい場合のみ、記録部１８８は、ステップＳ１０７において選択された画像を記録媒体に記録してもよい。例えば、その所定量は１０ｐｉｘｅｌである。これにより、記録容量が不足しにくくなる。

ユーザーが撮影指示を内視鏡装置１に入力する前、画像の取得と画像の表示とが繰り返し実行されてもよい。ユーザーは、操作部４を操作することにより、撮影指示を内視鏡装置１に入力してもよい。情報受付部１８５は、撮影指示を受け付けてもよい。情報受付部１８５が撮影指示を受け付けたとき、ステップＳ１０２が実行されてもよい。

ユーザーは、操作部４を操作することにより、記録指示を内視鏡装置１に入力してもよい。情報受付部１８５は、記録指示を受け付けてもよい。所定数の画像が記録媒体に記録されていないと制御部１８０がステップＳ１８１において判断し、かつ情報受付部１８５が記録指示を受け付けた場合、ステップＳ１８２が実行されてもよい。

ステップＳ１８２の後、表示制御部１８４は、ステップＳ１８２において選択された画像を表示部５に表示してもよい。ユーザーは、表示部５に表示された画像を確認してもよい。ユーザーは、操作部４を操作することにより、画像を選択するための選択指示を内視鏡装置１に入力してもよい。情報受付部１８５は、選択指示を受け付けてもよい。情報受付部１８５が選択指示を受け付けた場合、ステップＳ１８２において選択された画像が有効となる。

ステップＳ１８２の後、図１２に示すステップＳ１２１からステップＳ１２４が実行されてもよい。

ステップＳ１０１およびステップＳ１０２の間に図１５に示すステップＳ１４１およびステップＳ１４２が実行されてもよい。

ステップＳ１０１およびステップＳ１０２の間に図１８に示すステップＳ１５１からステップＳ１５４が実行されてもよい。

ステップＳ１０１およびステップＳ１０２の間に図２０に示すステップＳ１５１、ステップＳ１６１、ステップＳ１６２、およびステップＳ１５４が実行されてもよい。

ステップＳ１０１およびステップＳ１０２の間に図２２に示すステップＳ１５１、ステップＳ１７１、ステップＳ１７２、およびステップＳ１５４が実行されてもよい。

第４の実施形態において、内視鏡装置１は、３Ｄ座標の算出に適している２枚以上の画像のうち最も良い画像を選択する。ユーザーは、撮影の構図を細かく設定する必要はない。ユーザーは、撮影の構図を大まかに設定してもよい。そのため、ユーザーの負担が軽減される。

（第４の実施形態の変形例）
本発明の第４の実施形態の変形例を説明する。内視鏡装置１は、２種類以上の指標を算出し、３Ｄ座標の算出に適している２枚以上の画像を記録媒体に指標毎に記録する。内視鏡装置１は、その２枚以上の画像のうち最も良い画像を指標毎に選択する。内視鏡装置１は、指標毎に選択された画像を表示する。これにより、内視鏡装置１は２枚以上の画像を表示する。ユーザーは、表示された２枚以上の画像のうちの１枚を選択する。内視鏡装置１は、図７に示すＣＰＵ１８を有する。

図２５を使用することにより、第４の実施形態の変形例における画像処理について説明する。図２５は、画像処理の手順を示す。図８に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、指標算出部１８２は、ステップＳ１０２において計測された距離に基づいて２種類以上の指標を算出する。例えば、指標算出部１８２は、指標Ａおよび指標Ｂを算出する。指標算出部１８２は、その２種類以上の指標を、その距離を算出するために使用された画像と関連付ける。その２種類以上の指標が、撮像素子２８によって取得された各画像に関連付けられる（ステップＳ１９１）。ステップＳ１９１は、指標算出ステップと対応する。

ステップＳ１９１の後、比較部１８６は、指標算出部１８２によって算出された２種類以上の指標の各々と閾値とを比較する。比較部１８６は、各指標が選択条件を満たすか否かを判断する。例えば、比較部１８６は、指標Ａが選択条件を満たすか否かを判断し、かつ指標Ｂが選択条件を満たすか否かを判断する。指標Ａと比較される指標は、指標Ｂと比較される指標と異なっていてもよい（ステップＳ１９２）。ステップＳ１９２は、比較ステップと対応する。

２種類以上の指標の全てが選択条件を満たさないと比較部１８６がステップＳ１９２において判断した場合、ステップＳ１０１が実行される。１種類以上の指標が選択条件を満たすと比較部１８６がステップＳ１９２において判断した場合、選択部１８７は、ステップＳ１０７において、その１種類以上の指標と関連付けられている画像を選択する。

ステップＳ１０７の後、記録部１８８は、ステップＳ１０８において、選択部１８７によって選択された画像を記録媒体に記録する。例えば、指標Ａが選択条件を満たす場合、記録部１８８は、ステップＳ１０８において、その指標Ａと関連付けられている画像を記録媒体に記録する。指標Ｂが選択条件を満たす場合、記録部１８８は、ステップＳ１０８において、その指標Ｂと関連付けられている画像を記録媒体に記録する。指標Ａおよび指標Ｂが選択条件を満たす場合、記録部１８８は、ステップＳ１０８において、その指標Ａおよびその指標Ｂと関連付けられている画像を記録媒体に記録する。

ステップＳ１０８の後、制御部１８０は、所定数以上の画像が記録媒体に指標毎に記録されているか否かを判断する。例えば、制御部１８０は、指標Ａと関連付けられている所定数以上の画像が記録媒体に記録されているか否かを判断する。また、制御部１８０は、指標Ｂと関連付けられている所定数以上の画像が記録媒体に記録されているか否かを判断する（ステップＳ１９３）。その所定数は２以上である。例えば、その所定数は１０である。

１種類以上の指標に関して所定数以上の画像が記録媒体に記録されていないと制御部１８０がステップＳ１９３において判断した場合、ステップＳ１０１が実行される。制御部１８０が、２種類以上の指標の全てに関して所定数以上の画像が記録媒体に記録されているとステップＳ１９３において判断した場合、選択部１８７は、図２４に示すステップＳ１８２と同様の処理を指標毎に実行し、最も良い１枚の画像を指標毎に選択する。例えば、制御部１８０は、２枚以上の画像のうち最も良い指標Ａと関連付けられている画像を選択する。また、制御部１８０は、２枚以上の画像のうち最も良い指標Ｂと関連付けられている画像を選択する（ステップＳ１９４）。

ステップＳ１９４の後、表示制御部１８４は、ステップＳ１９４において選択された画像を表示部５に表示する。例えば、表示制御部１８４は、最も良い指標Ａと関連付けられている画像を表示部５に表示し、かつ最も良い指標Ｂと関連付けられている画像を表示部５に表示する（ステップＳ１９５）。

表示制御部１８４は、ステップＳ１９４において選択された画像と関連付けられている指標を表示部５に表示してもよい。例えば、表示制御部１８４は、その指標をその画像上に表示してもよい。つまり、表示制御部１８４は、その指標が重畳された画像を表示部５に表示してもよい。ユーザーは、指標を確認することができる。

２種類以上の指標の各々と関連付けられている画像が表示された後、ユーザーは、操作部４を操作することにより、画像を選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける（ステップＳ１９６）。その選択指示は、表示部５に表示された２枚以上の画像のうちのいずれか１枚を示す。その選択指示は、表示部５に表示された２枚以上の画像のうちの少なくとも２枚を示してもよい。

ステップＳ１９６の後、選択部１８７は、選択指示が示す画像を選択する（ステップＳ１９７）。ステップＳ１９７が実行されたとき、画像処理が終了する。

ステップＳ１９２の代わりに図１０に示すステップＳ１１１からステップＳ１１３が実行されてもよい。この場合、比較部１８６は、ステップＳ１１１において、比較情報を指標毎に生成する。

ステップＳ１９７の後、図１２に示すステップＳ１２１からステップＳ１２４が実行されてもよい。

第４の実施形態の変形例において、内視鏡装置１は、３Ｄ座標の算出に適している２枚以上の画像をユーザーに提示する。ユーザーは、その２枚以上の画像のうちの１枚を選択することができる。

（第５の実施形態）
本発明の第５の実施形態を説明する。内視鏡装置１は、３Ｄ再構成機能を持つ。内視鏡装置１は、３Ｄ再構成処理を実行し、被写体の３Ｄモデルを生成する。３Ｄモデルは、被写体の３Ｄ形状を示す。内視鏡装置１は、３Ｄモデルを表示する。

図７に示すＣＰＵ１８は、図２６に示すＣＰＵ１８ｃに変更される。図２６は、ＣＰＵ１８ｃの機能構成を示す。ＣＰＵ１８ｃの機能は、制御部１８０、計測部１８１、指標算出部１８２、分類処理部１８３、表示制御部１８４、情報受付部１８５、比較部１８６、選択部１８７、記録部１８８、および３Ｄモデル生成部１９１を含む。図２６に示すブロックの少なくとも１つがＣＰＵ１８ｃと異なる回路で構成されてもよい。図７に示す構成と同じ構成の説明を省略する。

図２６に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２６に示す各部は、１つまたは複数のプロセッサを含むことができる。図２６に示す各部は、１つまたは複数の論理回路を含むことができる。

３Ｄモデル生成部１９１は、撮像素子２８によって取得された１枚以上の画像に基づいて被写体上の２つ以上の点の３Ｄ座標を算出し、かつその２つ以上の点の３Ｄ座標を含む３Ｄモデルを生成する（形状算出ステップ）。例えば、３Ｄモデル生成部１９１は、ステレオ画像を使用することにより３Ｄモデルを生成する。３Ｄモデル生成部１９１は、形状算出部として機能する。表示制御部１８４は、３Ｄモデルを表示部５に表示することにより、被写体の３Ｄ形状を表示部５に表示する（形状表示ステップ）。

ステレオ画像が使用される場合、ステレオ光学系が、光学アダプターとして挿入部２の先端２０に装着される。ステレオ光学系は第１の光学系および第２の光学系を有する。ステレオ光学系は、互いに異なる２つの光学系を通して取得された２つの光学像を撮像素子２８に入射させる。ステレオ光学系が製造されるとき、第１の光学系および第２の光学系の間の位置の関係が得られる。また、ステレオ光学系が製造されるとき、第１の光学系および第２の光学系の間の撮像方向の関係が得られる。したがって、ステレオ画像が生成されるとき、カメラの位置およびカメラの姿勢の各々と対応するパラメータは既知である。３Ｄモデル生成部１９１は、そのパラメータを使用することにより、被写体上の２つ以上の点の３Ｄ座標を算出する。

図２７および図２８を使用することにより、第５の実施形態における画像処理について説明する。図２７および図２８は、画像処理の手順を示す。図８に示す処理と同じ処理の説明を省略する。

ステップＳ１０４の後、制御部１８０は、後述するステップＳ２０５において開始された３Ｄ再構成処理が終了したか否かを判断する（ステップＳ２０１）。

３Ｄモデル生成部１９１が、後述する３Ｄ再構成処理を開始する前、制御部１８０は、３Ｄ再構成処理が終了していないと判断する。３Ｄモデル生成部１９１がステップＳ２０５において３Ｄ再構成処理を開始し、かつ３Ｄモデル生成部１９１が３Ｄ再構成処理を終了していない場合、制御部１８０は、３Ｄ再構成処理が終了していないと判断する。３Ｄモデル生成部１９１が３Ｄ再構成処理を終了し、かつ次の３Ｄ再構成処理を開始していない場合、制御部１８０は、３Ｄ再構成処理が終了したと判断する。

３Ｄ再構成処理が終了していないと制御部１８０がステップＳ２０１において判断した場合、ステップＳ２０４が実行される。３Ｄ再構成処理が終了したと制御部１８０がステップＳ２０１において判断した場合、表示制御部１８４は、３Ｄモデル生成部１９１によって生成された３Ｄモデルを表示部５に表示する（ステップＳ２０２）。ステップＳ２０２は、形状表示ステップと対応する。表示制御部１８４は、被写体の画像と３Ｄモデルとを同時に表示部５に表示する。

図２９は、ステップＳ１０４において表示部５に表示された画像の例を示す。表示部５は、表示画面５０を有する。表示制御部１８４は、画像ＩＭＧ１０を表示画面５０に表示する。画像ＩＭＧ１０は、図９に示す画像ＩＭＧ１０と同じである。３Ｄ再構成処理が終了していない場合、表示制御部１８４は、メッセージＭＳ３０を表示画面５０の領域ＲＧ３０に表示する。メッセージＭＳ３０は、３Ｄ再構成処理が実行中であることを示す。

図３０は、ステップＳ２０２において表示部５に表示された画像の例を示す。表示制御部１８４は、画像ＩＭＧ１０および３ＤモデルＭＤ３０を表示画面５０に表示する。画像ＩＭＧ１０は、図９に示す画像ＩＭＧ１０と同じである。３ＤモデルＭＤ３０は、図２９に示す領域ＲＧ３０に表示される。表示制御部１８４は、画像ＩＭＧ１０を表示画面５０の第１の領域に表示し、３ＤモデルＭＤ３０を表示画面５０の第２の領域に表示する。第２の領域は第１の領域と異なる。３ＤモデルＭＤ３０は、画像ＩＭＧ１０と重ならない。

ユーザーは、３ＤモデルＭＤ３０を確認することにより、被写体の状態を判断することができる。例えば、ユーザーは、傷などの異常が被写体上に存在するか否かを判断することができる。表示制御部１８４は、内視鏡の視点から見た被写体の３ＤモデルＭＤ３０を表示部５に表示する。そのため、ユーザーは、被写体の表面に対するカメラの姿勢を容易に確認することができる。また、ユーザーは、操作部４を操作することにより、被写体の３ＤモデルＭＤ３０を回転させてもよい。これにより、ユーザーは、内視鏡の視点を、被写体の特徴をよりとらえやすい視点に変更することができる。

計測部１８１が被写体の領域における３Ｄ座標を算出できない場合がある。この場合、３ＤモデルＭＤ３０においてその領域は表示されない。ユーザーは、ユーザーが注目している領域の３Ｄモデルが得られたか否かを判断することができる。３Ｄモデルが領域ＲＧ３０に表示されない場合、計測部１８１が３Ｄ座標を計算中である可能性がある。図２９に示すメッセージＭＳ３０が表示されるため、ユーザーは、計測部１８１が３Ｄ座標を計算中である場合と、計測部１８１が３Ｄ座標を算出できない場合とを区別することができる。

計測部１８１によって算出された３Ｄ座標がノイズを含む場合がある。この場合、そのノイズの影響が３ＤモデルＭＤ３０に現れる。ユーザーは、ノイズが小さいか否かを判断することができる。ユーザーは、上記の判断を実行することにより、妥当な３Ｄモデルが得られたか否かを判断することができる。ユーザーは、画像ＩＭＧ１０と一緒に３ＤモデルＭＤ３０を確認することができる。計測部１８１が３Ｄ座標を計算中である場合、ユーザーは、検査を中断せずに検査を継続することができる。妥当な３ＤモデルＭＤ３０が得られなかったとユーザーが判断した場合、ユーザーは撮影の構図を再度設定することができる。

表示制御部１８４は、３ＤモデルＭＤ３０が表示されるか否かに応じて画像ＩＭＧ１０の大きさを変更してもよい。例えば、前述した第２の実施形態において３ＤモデルＭＤ３０は表示されない。この場合、表示制御部１８４は、画像ＩＭＧ１０が図３０に示す画像ＩＭＧ１０よりも大きくなるように画像ＩＭＧ１０を表示画面５０に表示してもよい。表示制御部１８４は、画像ＩＭＧ１０の一部と３ＤモデルＭＤ３０の一部とが互いに重なるように画像ＩＭＧ１０および３ＤモデルＭＤ３０を表示画面５０に表示してもよい。表示制御部１８４は、３ＤモデルＭＤ３０と画像ＩＭＧ１０とを交互に切り替えてもよい。これにより、表示制御部１８４は、ユーザーが、画像ＩＭＧ１０を使用する検査と、３ＤモデルＭＤ３０の確認とを実施するのに適した大きさを持つ画像ＩＭＧ１０および３ＤモデルＭＤ３０を表示することができる。

表示制御部１８４は、内視鏡の視点とは異なる視点から見た被写体の３Ｄモデルを表示部５に表示してもよい。これにより、ユーザーは、妥当な３Ｄモデルが得られたか否かを容易に判断することができる。

３Ｄモデルが表示部５に表示され、かつユーザーが３Ｄモデルの品質に満足する場合、ユーザーは、操作部４を操作することにより終了指示を内視鏡装置１に入力する。情報受付部１８５は、終了指示を受け付ける。制御部１８０は、情報受付部１８５が終了指示を受け付けたか否かを判断する。これにより、制御部１８０は、画像処理の終了が指示されたか否かを判断する（ステップＳ２０３）。

情報受付部１８５が終了指示を受け付けた場合、制御部１８０は、画像処理の終了が指示されたと判断する。情報受付部１８５が終了指示を受け付けていない場合、制御部１８０は、画像処理の終了が指示されていないと判断する。

画像処理の終了が指示されたと制御部１８０がステップＳ２０３において判断した場合、画像処理が終了する。画像処理の終了が指示されていないと制御部１８０がステップＳ２０３において判断した場合、制御部１８０は、３Ｄ再構成処理が実行中であるか否かを判断する（ステップＳ２０４）。

３Ｄモデル生成部１９１が、後述する３Ｄ再構成処理を開始する前、制御部１８０は、３Ｄ再構成処理が実行中ではないと判断する。３Ｄモデル生成部１９１がステップＳ２０５において３Ｄ再構成処理を開始し、かつ３Ｄモデル生成部１９１が３Ｄ再構成処理を終了していない場合、制御部１８０は、３Ｄ再構成処理が実行中であると判断する。３Ｄモデル生成部１９１が３Ｄ再構成処理を終了し、かつ次の３Ｄ再構成処理を開始していない場合、制御部１８０は、３Ｄ再構成処理が実行中ではないと判断する。

３Ｄ再構成処理が実行中であると制御部１８０がステップＳ２０４において判断した場合、ステップＳ１０１が実行される。３Ｄ再構成処理が実行中ではないと制御部１８０がステップＳ２０４において判断した場合、ステップＳ１０５が実行される。

ステップＳ１０８の後、３Ｄモデル生成部１９１は３Ｄ再構成処理を開始する（ステップＳ２０５）。ステップＳ２０５は、形状算出ステップと対応する。ステップＳ２０５の後、ステップＳ１０１が実行される。

３Ｄモデル生成部１９１は、精密な３Ｄ形状を算出するためのアルゴリズムを使用することにより３Ｄ再構成処理を実行する。例えば、３Ｄ再構成処理は、数秒の実行時間を必要とする。３Ｄモデル生成部１９１は３Ｄ再構成処理をバックグラウンドで実行する。そのため、３Ｄ再構成処理は、距離の計測および指標の算出と同時に実行される。

例えば、内視鏡装置１の計算リソースに制約があり、内視鏡装置１は２つ以上の３Ｄ再構成処理を同時に実行することができない。３Ｄモデル生成部１９１が３Ｄ再構成処理を終了するまで次の３Ｄ再構成処理は実行されない。

選択部１８７は、前述した選択条件を満たす画像をステップＳ１０７において選択する。記録部１８８は、その画像をステップＳ１０８において記録媒体に記録する。３Ｄモデル生成部１９１は、ステップＳ２０５において、その画像を使用する３Ｄ再構成処理を開始する。

３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、３Ｄ再構成処理が終了していないと制御部１８０はステップＳ２０１において判断する。そのため、その３Ｄ再構成処理において生成される３Ｄモデルは表示部５に表示されない。３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、３Ｄ再構成処理が実行中であると制御部１８０はステップＳ２０４において判断する。そのため、前述した選択条件を満たす画像は選択されず、新たな３Ｄ再構成処理は開始されない。

３Ｄモデル生成部１９１が３Ｄ再構成処理を終了した後、３Ｄ再構成処理が終了したと制御部１８０はステップＳ２０１において判断する。そのため、表示制御部１８４は、ステップＳ２０２において３Ｄモデルを表示部５に表示する。表示された３Ｄモデルは、次の３Ｄモデルが完成するまで表示され続ける。３Ｄモデル生成部１９１が３Ｄ再構成処理を終了し、かつ選択部１８７がステップＳ１０７において選択条件を満たす画像を選択した後、３Ｄモデル生成部１９１は、ステップＳ２０５において、その画像を使用する３Ｄ再構成処理を開始する。

図３１は、３Ｄ再構成処理が実行される状況を示す。撮像素子２８は、２枚以上の画像を順次取得する。その２枚以上の画像が示されている。図３１に示す例では、１０枚の画像が示されている。図３１に示す右方向は、時間を示す。図３１における各画像の位置は、各画像が取得された時刻を示す。

図３１に示す例では、画像ＩＭＧ３０がステップＳ１０８において記録媒体に記録される。例えば、画像ＩＭＧ３０は、２枚の２Ｄ画像を含むステレオ画像である。３Ｄモデル生成部１９１は、画像ＩＭＧ３０を使用することにより３Ｄ再構成処理を実行する。

３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、撮像素子２８は画像を順次取得する。３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、選択条件を満たす画像は選択されない。

３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、ステップＳ１０４は繰り返し実行される。表示制御部１８４は、ステップＳ１０４において、距離情報が重畳された画像を表示部５に表示する。ユーザーは、距離情報を参照し、撮影の構図を変更することができる。

図３１に示す例では、３Ｄモデル生成部１９１は３ＤモデルＭＤ３１を生成し、３Ｄ再構成処理を終了する。表示制御部１８４は３ＤモデルＭＤ３１を表示部５に表示する。

ユーザーは、３ＤモデルＭＤ３１を確認する。ユーザーが３ＤモデルＭＤ３１の品質に満足しない場合、ユーザーは終了指示を内視鏡装置１に入力しない。この場合、ユーザーは、撮影の構図を変更することができる。選択条件を満たす画像が記録媒体に再度記録される。図３１に示す例では、画像ＩＭＧ３１がステップＳ１０８において記録媒体に記録される。３Ｄモデル生成部１９１は、画像ＩＭＧ３１を使用することにより３Ｄ再構成処理を実行する。

ステップＳ２０２の後、図１２に示すステップＳ１２１からステップＳ１２４が実行されてもよい。

３Ｄモデル生成部１９１が画像の全体領域において３Ｄ再構成処理を実行する場合、処理時間が長い可能性がある。計測領域がステップＳ１４１、ステップＳ１５３、ステップＳ１６２、またはステップＳ１７２において設定される場合、３Ｄ再構成処理に必要な処理時間が短くなる。

本発明の各態様は次の変形例を含んでもよい。３Ｄモデル生成部１９１（形状算出部）は、記録媒体に記録された少なくとも１枚の画像を使用することにより、形状算出ステップ（ステップＳ２０５）において、被写体の３Ｄ形状（３Ｄモデル）を算出する。

本発明の各態様は次の変形例を含んでもよい。表示制御部１８４は、形状表示ステップ（ステップＳ２０２）において、３Ｄ形状（３Ｄモデル）を表示部５に表示する。

第５の実施形態において、内視鏡装置１は、被写体の３Ｄモデルを表示する。ユーザーは、３Ｄモデルを確認することにより、被写体の状態を判断することができる。また、ユーザーは、妥当な３Ｄモデルが得られたか否かを判断することができる。

３Ｄ再構成処理が実行されている間、内視鏡装置１は、距離を計測し、距離情報を表示する。ユーザーは、３Ｄ再構成処理が終了するのを待たずに、構図を調整することができる。そのため、内視鏡装置１は、処理時間を短縮することができる。その処理時間は、ユーザーが満足する品質を持つ３Ｄモデルを内視鏡装置１が取得するまでの時間を示す。

（第６の実施形態）
本発明の第６の実施形態を説明する。内視鏡装置１は、第５の実施形態と同様に被写体の３Ｄモデルを生成する。内視鏡装置１は、前述した選択条件を満たす２枚以上の画像を記録媒体に順次記録する。内視鏡装置１は、２回以上の３Ｄ再構成処理を順次実行し、２つ以上の３Ｄモデルを順次生成する。内視鏡装置１は、その２つ以上の３Ｄモデルを表示する。内視鏡装置１は、図２６に示すＣＰＵ１８ｃを有する。

３Ｄモデル生成部１９１は、第５の実施形態と同様に被写体の３Ｄモデルを生成する（形状算出ステップ）。表示制御部１８４は、第５の実施形態と同様に、３Ｄモデルを表示部５に表示する（形状表示ステップ）。表示制御部１８４は、３Ｄモデルを生成するために使用された画像を表示部５に表示する（画像表示ステップ）。３Ｄ再構成処理が実行される前、または３Ｄ再構成処理が実行されているとき、表示制御部１８４は、その画像を表示部５に表示する。

図２７および図３２を使用することにより、第６の実施形態における画像処理について説明する。図２７および図３２は、画像処理の手順を示す。図２７に示す処理は、第５の実施形態における処理と同じである。そのため、図２７に示す処理の説明を省略する。また、図８に示す処理と同じ処理の説明を省略する。

ステップＳ１０８の後、表示制御部１８４は、ステップＳ１０８において記録媒体に記録された画像を表示部５に表示する（ステップＳ２１１）。ステップＳ２１１は、画像表示ステップと対応する。

ステップＳ２１１の後、制御部１８０は、３Ｄ再構成処理が実行中であるか否かを判断する（ステップＳ２１２）。ステップＳ２１２は、図２８に示すステップＳ２０４と同様である。

３Ｄ再構成処理が実行中であると制御部１８０がステップＳ２１２において判断した場合、ステップＳ１０１が実行される。３Ｄ再構成処理が実行中ではないと制御部１８０がステップＳ２１２において判断した場合、ステップＳ２０５が実行される。

３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、３Ｄ再構成処理が終了していないと制御部１８０はステップＳ２０１において判断する。そのため、その３Ｄ再構成処理において生成される３Ｄモデルは表示部５に表示されない。

３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、記録部１８８は、ステップＳ１０８において、選択条件を満たす画像を記録媒体に記録する。３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、３Ｄ再構成処理が実行中であると制御部１８０はステップＳ２１２において判断する。そのため、前述した選択条件を満たす画像を使用する新たな３Ｄ再構成処理は開始されない。

３Ｄモデル生成部１９１が３Ｄ再構成処理を終了した後、３Ｄ再構成処理が終了したと制御部１８０はステップＳ２０１において判断する。そのため、表示制御部１８４は、ステップＳ２０２において３Ｄモデルを表示部５に表示する。表示された３Ｄモデルは、次の３Ｄモデルが完成するまで表示され続ける。３Ｄモデル生成部１９１が３Ｄ再構成処理を終了した後、３Ｄ再構成処理が実行中ではないと制御部１８０はステップＳ２１２において判断する。３Ｄモデル生成部１９１は、ステップＳ２０５において、新たな３Ｄ再構成処理を開始する。このとき、３Ｄモデル生成部１９１は、ステップＳ１０８において画像が記録媒体に記録された順、すなわちステップＳ２１１において画像が表示された順に画像を使用する。

図３３は、ステップＳ２０２およびステップＳ２１１において表示部５に表示された画像の例を示す。表示制御部１８４は、画像ＩＭＧ４０を表示画面５０に表示する。画像ＩＭＧ４０は、被写体の２Ｄ画像である。画像ＩＭＧ４０は、図９に示す画像ＩＭＧ１０と同様に、距離情報が重畳された画像である。

表示制御部１８４は、３ＤモデルＭＤ４０を表示画面５０に表示する。また、表示制御部１８４は、ステップＳ１０８において記録媒体に記録された画像ＩＭＧ４１および画像ＩＭＧ４２を表示画面５０に表示する。表示制御部１８４は、メッセージＭＳ４０、メッセージＭＳ４１、およびメッセージＭＳ４２を表示画面５０に表示する。メッセージＭＳ４０は、３ＤモデルＭＤ４０を生成する３Ｄ再構成処理が終了していることを示す。メッセージＭＳ４１は、内視鏡装置１が、画像ＩＭＧ４１を使用する３Ｄ再構成処理を実行中であることを示す。メッセージＭＳ４１は、内視鏡装置１が、画像ＩＭＧ４２を使用する３Ｄ再構成処理の開始を待機していることを示す。

図３４は、３Ｄ再構成処理が実行される状況を示す。撮像素子２８は、２枚以上の画像を順次取得する。その２枚以上の画像が示されている。図３４に示す例では、１０枚の画像が示されている。図３４に示す右方向は、時間を示す。図３４における各画像の位置は、各画像が取得された時刻を示す。

図３４に示す例では、画像ＩＭＧ４３がステップＳ１０８において記録媒体に記録される。例えば、画像ＩＭＧ４３は、２枚の２Ｄ画像を含むステレオ画像である。３Ｄモデル生成部１９１は、画像ＩＭＧ４３を使用することにより３Ｄ再構成処理を実行する。

３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、撮像素子２８は画像を順次取得する。３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、画像ＩＭＧ４４および画像ＩＭＧ４５が記録媒体に記録される。画像ＩＭＧ４４および画像ＩＭＧ４５は、選択条件を満たす。３Ｄモデル生成部１９１が３Ｄ再構成処理を実行している間、内視鏡装置１は、画像ＩＭＧ４４を使用する３Ｄ再構成処理の開始を待機する。また、内視鏡装置１は、画像ＩＭＧ４５を使用する３Ｄ再構成処理の開始を待機する。

図３４に示す例では、３Ｄモデル生成部１９１は３ＤモデルＭＤ４１を生成し、３Ｄ再構成処理を終了する。表示制御部１８４は３ＤモデルＭＤ４１を表示部５に表示する。

ユーザーは、３ＤモデルＭＤ４１を確認する。ユーザーが３ＤモデルＭＤ４１の品質に満足しない場合、ユーザーは終了指示を内視鏡装置１に入力しない。３Ｄモデル生成部１９１が３Ｄ再構成処理を終了した後、３Ｄモデル生成部１９１は、画像ＩＭＧ４４を使用することにより３Ｄ再構成処理を実行する。内視鏡装置１は、画像ＩＭＧ４５を使用する３Ｄ再構成処理の開始を待機する。３Ｄ再構成処理が実行されている間、ユーザーは、撮影の構図を変更することができる。

図３４に示す例では、３Ｄモデル生成部１９１は、２枚以上の画像が選択された順、すなわち２枚以上の画像が記録媒体に記録された順に３Ｄ再構成処理を実行する。図３４に示す例では、画像ＩＭＧ４３、画像ＩＭＧ４４、および画像ＩＭＧ４５が記録媒体に順に記録される。３Ｄモデル生成部１９１は、最初に記録媒体に記録された画像ＩＭＧ４３を使用する３Ｄ再構成処理を実行する。画像ＩＭＧ４３を使用する３Ｄ再構成処理が終了した後、３Ｄモデル生成部１９１は、画像ＩＭＧ４４を使用する３Ｄ再構成処理を実行する。画像ＩＭＧ４４を使用する３Ｄ再構成処理が終了した後、３Ｄモデル生成部１９１は、画像ＩＭＧ４５を使用する３Ｄ再構成処理を実行する。

本発明の各態様は次の変形例を含んでもよい。表示制御部１８４は、画像表示ステップ（ステップＳ２１１）において、記録媒体に記録された少なくとも１枚の画像を表示部５に表示する。

第６の実施形態において、内視鏡装置１は、被写体の２つ以上の３Ｄモデルを順次表示する。ユーザーは、２つ以上の３Ｄモデルを確認することにより、被写体の状態を判断することができる。また、ユーザーは、妥当な３Ｄモデルが得られたか否かを判断することができる。３Ｄ再構成処理が実行されている間、内視鏡装置１は、３Ｄ座標の算出に適している画像を記録媒体に記録することができる。

３Ｄ再構成処理が実行されている間、ユーザーは、開始を待機している３Ｄ再構成処理に使用される画像を確認する。これにより、ユーザーは、検査に適した数の画像が取得されているか否かを確認しながら、またはどの画像が次の３Ｄ再構成処理に使用されるのかを予想しながら検査を継続することができる。

（第６の実施形態の第１の変形例）
本発明の第６の実施形態の第１の変形例を説明する。内視鏡装置１は、第６の実施形態と同様に２回以上の３Ｄ再構成処理を順次実行し、２つ以上の３Ｄモデルを順次生成する。内視鏡装置１は、その２つ以上の３Ｄモデルを表示する。３Ｄ再構成処理に使用される画像の数よりも多い数の画像が使用できる場合、内視鏡装置１は、３Ｄ再構成処理に使用される画像を選択する。内視鏡装置１は、選択された画像を使用することにより３Ｄ再構成処理を実行する。内視鏡装置１は、図２６に示すＣＰＵ１８ｃを有する。

３Ｄモデル生成部１９１は、第５の実施形態と同様に被写体の３Ｄモデルを生成する（形状算出ステップ）。表示制御部１８４は、第５の実施形態と同様に、３Ｄモデルを表示部５に表示する（形状表示ステップ）。表示制御部１８４は、第６の実施形態と同様に、３Ｄモデルを生成するために使用された画像を表示部５に表示する（画像表示ステップ）。３Ｄ再構成処理が実行される前、または３Ｄ再構成処理が実行されているとき、表示制御部１８４は、その画像を表示部５に表示する。

選択部１８７は、記録媒体に記録されている少なくとも１枚の画像のうち１枚以上の画像を選択する（画像選択ステップ）。このとき、選択部１８７は、画像の優先度を判断し、その優先度に従って画像を選択する。例えば、選択部１８７は、指標算出部１８２によって算出された指標に基づいて優先度を判断する。３Ｄモデル生成部１９１は、選択部１８７によって選択された画像を使用することにより３Ｄ再構成処理を実行する。

図２７および図３５を使用することにより、第６の実施形態の第１の変形例における画像処理について説明する。図２７および図３５は、画像処理の手順を示す。図２７に示す処理は、第５の実施形態における処理と同じである。そのため、図２７に示す処理の説明を省略する。また、図３２に示す処理と同じ処理の説明を省略する。

３Ｄ再構成処理が実行中ではないと制御部１８０がステップＳ２１２において判断した場合、選択部１８７は、３Ｄ再構成処理に使用される画像を選択する（ステップＳ２２１）。ステップＳ２２１は、画像選択ステップと対応する。ステップＳ２２１の後、ステップＳ２０５が実行される。

選択部１８７は、記録媒体に記録されている少なくとも１枚の画像のうち３Ｄ再構成処理に使用されていない画像の数を確認する。その数が１であるとき、選択部１８７は、３Ｄ再構成処理に使用されていない１枚の画像を選択する。その数が２以上であるとき、選択部１８７は、３Ｄ再構成処理に使用されていない２枚以上の画像の優先度を判断する。選択部１８７は、その優先度に従って１枚の画像を選択する。例えば、選択部１８７は、その２枚以上の画像のうち最も良い指標と関連付けられている画像を選択する。３Ｄモデル生成部１９１は、選択部１８７によって選択された画像を使用する３Ｄ再構成処理を開始する。

図３６は、３Ｄ再構成処理が実行される状況を示す。撮像素子２８は、２枚以上の画像を順次取得する。その２枚以上の画像が示されている。図３６に示す例では、１０枚の画像が示されている。図３６に示す右方向は、時間を示す。図３６における各画像の位置は、各画像が取得された時刻を示す。

図３６に示す例では、画像ＩＭＧ４３がステップＳ１０８において記録媒体に記録される。例えば、画像ＩＭＧ４３は、２枚の２Ｄ画像を含むステレオ画像である。３Ｄモデル生成部１９１は、画像ＩＭＧ４３を使用することにより３Ｄ再構成処理を実行する。

図３６に示す例では、３Ｄモデル生成部１９１は３ＤモデルＭＤ４１を生成し、３Ｄ再構成処理を終了する。表示制御部１８４は３ＤモデルＭＤ４１を表示部５に表示する。

３Ｄモデル生成部１９１が３Ｄ再構成処理を終了したとき、画像ＩＭＧ４４および画像ＩＭＧ４５が記録媒体に記録されている。画像ＩＭＧ４４および画像ＩＭＧ４５は３Ｄ再構成処理にまだ使用されてない。例えば、画像ＩＭＧ４５の指標は、画像ＩＭＧ４４の指標よりも良い。選択部１８７は、画像ＩＭＧ４５を選択する。３Ｄモデル生成部１９１は、画像ＩＭＧ４５を使用することにより３Ｄ再構成処理を実行する。内視鏡装置１は、画像ＩＭＧ４４を使用する３Ｄ再構成処理の開始を待機する。

図３６に示す例では、２枚以上の画像が記録媒体に記録されている場合、３Ｄモデル生成部１９１は、その２枚以上の画像の優先度に従って３Ｄ再構成処理を実行する。図３６に示す例では、画像ＩＭＧ４３、画像ＩＭＧ４４、および画像ＩＭＧ４５が記録媒体に順に記録される。３Ｄモデル生成部１９１は、最初に記録媒体に記録された画像ＩＭＧ４３を使用する３Ｄ再構成処理を実行する。画像ＩＭＧ４３を使用する３Ｄ再構成処理が終了した後、選択部１８７は画像ＩＭＧ４４および画像ＩＭＧ４５の優先度を判断し、かつ画像ＩＭＧ４５を選択する。３Ｄモデル生成部１９１は、画像ＩＭＧ４５を使用する３Ｄ再構成処理を実行する。

選択部１８７は、３Ｄ再構成処理に使用されていない３枚以上の画像の優先度を判断してもよい。選択部１８７は、３枚以上の画像のうちの２枚以上を選択してもよい。３Ｄモデル生成部１９１は、選択部１８７によって選択された２枚以上の画像を使用することにより３Ｄ再構成処理を実行してもよい。

本発明の各態様は次の変形例を含んでもよい。選択部１８７は、画像選択ステップ（ステップＳ２２１）において、記録媒体に記録されている少なくとも１枚の画像のうち１枚以上の画像を選択する。３Ｄモデル生成部１９１（形状算出部）は、形状算出ステップ（ステップＳ２０５）において、画像選択ステップにおいて選択された１枚以上の画像を使用することにより被写体の３Ｄ形状を算出する。

第６の実施形態の第１の変形例において、内視鏡装置１は、記録媒体に記録されている少なくとも１枚の画像の優先度に従って１枚以上の画像を選択する。内視鏡装置１は、選択された１枚以上の画像を使用することにより３Ｄ再構成処理を実行する。内視鏡装置１は、相対的に高い品質を持つ画像を優先的に使用することにより３Ｄ再構成処理を実行することができる。

（第６の実施形態の第２の変形例）
本発明の第６の実施形態の第２の変形例を説明する。内視鏡装置１は、第６の実施形態と同様に２回以上の３Ｄ再構成処理を順次実行し、２つ以上の３Ｄモデルを順次生成する。内視鏡装置１は、その２つ以上の３Ｄモデルを表示する。３Ｄ再構成処理に使用される画像の数よりも多い数の画像が使用できる場合、内視鏡装置１は、画像を選択する指示をユーザーから受け付ける。内視鏡装置１は、その指示に基づいて画像を選択する。内視鏡装置１は、選択された画像を使用することにより３Ｄ再構成処理を実行する。内視鏡装置１は、図２６に示すＣＰＵ１８ｃを有する。

図２７および図３７を使用することにより、第６の実施形態の第２の変形例における画像処理について説明する。図２７および図３７は、画像処理の手順を示す。図２７に示す処理は、第５の実施形態における処理と同じである。そのため、図２７に示す処理の説明を省略する。また、図３５に示す処理と同じ処理の説明を省略する。

３Ｄ再構成処理が実行中であると制御部１８０がステップＳ２１２において判断した場合、表示制御部１８４は、３Ｄ再構成処理に使用される画像の選択をユーザーに指示するメッセージを表示部５に表示する。この処理は、図３７に示されていない。ユーザーは、操作部４を操作することにより、画像を選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける（ステップＳ２３１）。その選択指示は、表示部５に表示された１枚以上の画像のうちのいずれか１枚を示す。ステップＳ２３１の後、ステップＳ１０１が実行される。

図３８は、ステップＳ２０２およびステップＳ２１１において表示部５に表示された画像の例を示す。表示制御部１８４は、画像ＩＭＧ５０を表示画面５０に表示する。画像ＩＭＧ５０は、被写体の２Ｄ画像である。画像ＩＭＧ５０は、図９に示す画像ＩＭＧ１０と同様に、距離情報が重畳された画像である。

表示制御部１８４は、ステップＳ１０８において記録媒体に記録された画像ＩＭＧ５１、画像ＩＭＧ５２、および画像ＩＭＧ５３を表示画面５０に表示する。表示制御部１８４は、メッセージＭＳ５０、メッセージＭＳ５１、およびメッセージＭＳ５２を表示画面５０に表示する。メッセージＭＳ５０は、内視鏡装置１が画像ＩＭＧ５１を使用する３Ｄ再構成処理を実行中であることを示す。メッセージＭＳ５１は、内視鏡装置１が、画像ＩＭＧ５２を使用する３Ｄ再構成処理の開始を待機していることを示す。メッセージＭＳ５２は、内視鏡装置１が、画像ＩＭＧ５３を使用する３Ｄ再構成処理の開始を待機していることを示す。

ユーザーは、画像ＩＭＧ５２または画像ＩＭＧ５３を使用する３Ｄ再構成処理がまだ開始されていないことを確認する。ユーザーは、画像ＩＭＧ５２および画像ＩＭＧ５３を確認し、かつ画像ＩＭＧ５２および画像ＩＭＧ５３のうちの１枚を選択する。図３８に示す例では、ユーザーは、画像ＩＭＧ５３を選択する。このとき、ユーザーは、操作部４を操作し、選択指示を内視鏡装置１に入力する。情報受付部１８５は、画像ＩＭＧ５３を示す選択指示を受け付ける。

表示制御部１８４は、画像ＩＭＧ５３が選択されたことを示す情報を表示画面５０に表示する。図３８に示す例では、表示制御部１８４は、画像ＩＭＧ５３を囲む枠を表示する。ユーザーは、画像ＩＭＧ５３が次の３Ｄ再構成処理に使用されることを確認することができる。

選択部１８７は、ステップＳ２２１において、以下の処理を実行する。選択部１８７は、ステップＳ２３１が実行されたか否かを判断する。ステップＳ２３１が実行されていない場合、選択部１８７は、第６の実施形態の第１の変形例と同様の方法を使用することにより１枚の画像を選択する。ステップＳ２３１が実行された場合、選択部１８７は、ステップＳ２３１において受け付けられた選択指示が示す１枚の画像を選択する。

ユーザーは、３Ｄ再構成処理に使用されていない３枚以上の画像のうち２枚以上の画像を選択するための選択指示を内視鏡装置１に入力してもよい。選択部１８７は、選択指示が示す２枚以上の画像を選択してもよい。３Ｄモデル生成部１９１は、選択部１８７によって選択された２枚以上の画像を使用することにより３Ｄ再構成処理を実行してもよい。

情報受付部１８５が選択指示を受け付けたとき、３Ｄモデル生成部１９１は、実行中の３Ｄ再構成処理を停止してもよい。停止された３Ｄ再構成処理において３Ｄモデルは生成されない。その後、選択部１８７は、選択指示が示す１枚以上の画像を選択してもよく、かつ３Ｄモデル生成部１９１は、その１枚以上の画像を使用することにより３Ｄ再構成処理を実行してもよい。

第６の実施形態の第２の変形例において、内視鏡装置１は、記録媒体に記録されている少なくとも１枚の画像のうち１枚以上の画像を選択する。このとき、内視鏡装置１は、選択指示が示す１枚以上の画像を選択する。内視鏡装置１は、選択された１枚以上の画像を使用することにより３Ｄ再構成処理を実行する。内視鏡装置１は、ユーザーによって指定された画像を優先的に使用することにより３Ｄ再構成処理を実行することができる。

（第６の実施形態の第３の変形例）
本発明の第６の実施形態の第３の変形例を説明する。内視鏡装置１は、互いに異なる２つ以上の状態で２枚以上の画像を取得する。その２つ以上の状態では、カメラの位置が異なり、かつそのカメラの姿勢が異なる。内視鏡装置１は、その２枚以上の画像を使用することにより、被写体の３Ｄ形状を示す３次元マップ（３Ｄマップ）を生成する。内視鏡装置１は、生成された３Ｄマップを表示する。

図２６に示すＣＰＵ１８ｃは、図３９に示すＣＰＵ１８ｄに変更される。図３９は、ＣＰＵ１８ｄの機能構成を示す。ＣＰＵ１８ｄの機能は、制御部１８０、計測部１８１、指標算出部１８２、分類処理部１８３、表示制御部１８４、情報受付部１８５、比較部１８６、選択部１８７、記録部１８８、３Ｄモデル生成部１９１、および３Ｄマップ生成部１９２を含む。図３９に示すブロックの少なくとも１つがＣＰＵ１８ｄと異なる回路で構成されてもよい。図２６に示す構成と同じ構成の説明を省略する。

図３９に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図３９に示す各部は、１つまたは複数のプロセッサを含むことができる。図３９に示す各部は、１つまたは複数の論理回路を含むことができる。

３Ｄマップ生成部１９２は、撮像素子２８によって取得された２枚以上の画像を使用することにより、被写体上の２つ以上の点の３Ｄ座標を算出する。このとき、３Ｄマップ生成部１９２は、カメラの２つ以上の相対的な位置およびカメラの２つ以上の相対的な姿勢を算出する。各位置は、撮像素子２８が各画像を取得したときのカメラの位置である。各姿勢は、撮像素子２８が各画像を取得したときのカメラの姿勢である。３Ｄマップ生成部１９２は、２つ以上の点の３Ｄ座標を含む３Ｄマップを生成する。例えば、３Ｄマップ生成部１９２は、ＳｉｍｕｌｔａｎｅｏｕｓＬｏｃａｌｉｚａｔｉｏｎａｎｄＭａｐｐｉｎｇ（ＳＬＡＭ）またはｓｔｒｕｃｔｕｒｅｆｒｏｍｍｏｔｉｏｎ（ＳｆＭ）と呼ばれる技術を使用することにより、３Ｄマップを生成する。

例えば、３Ｄマップは、点群データ、サーフェースデータ、またはボリュームデータである。３Ｄマップ生成部１９２によって生成された３Ｄマップは、ＰＣ４１内の記録媒体またはメモリカード４２に記憶される。

３Ｄマップは、２つ以上の点の３Ｄ座標を含む。３Ｄマップは、３つ以上の点の３Ｄ座標を含んでもよい。３Ｄマップは、各点のＸ座標、Ｙ座標、およびＺ座標を含む。例えば、Ｘ軸およびＹ軸は、２枚以上の画像を取得したカメラの光学系の光軸と垂直である。例えば、Ｚ軸は、その光軸と平行である。

３Ｄモデル生成部１９１は、被写体の第１の領域と対応する３Ｄモデルを生成する。３Ｄマップ生成部１９２は、被写体の第２の領域と対応する３Ｄマップを生成する。例えば、第２の領域は第１の領域よりも大きい。第１の領域の少なくとも一部および第２の領域の少なくとも一部は互いに重なってもよい。

表示制御部１８４は、３Ｄマップを表示部５に表示する。これにより、表示制御部１８４は、被写体上の２つ以上の位置を示す位置情報を表示部５に表示する（位置情報表示ステップ）。

図２７および図４０を使用することにより、第６の実施形態の第３の変形例における画像処理について説明する。図２７および図４０は、画像処理の手順を示す。図２７に示す処理は、第５の実施形態における処理と同じである。そのため、図２７に示す処理の説明を省略する。また、図３２に示す処理と同じ処理の説明を省略する。

ステップＳ１０１が実行されたとき、記録部１８８は、ステップＳ１０１において取得された画像を記録媒体に記録する。そのため、連続する２枚以上の画像が記録媒体に記録される。

表示制御部１８４は、ステップＳ２０２において３Ｄモデルを表示部５に表示する。その３Ｄモデルを生成するために使用された画像の構図と同じ構図で画像を再度取得することをユーザーが希望する場合がある。その場合、ユーザーは、３Ｄマップを生成するための生成指示を内視鏡装置１に入力する。

ステップＳ２０５の後、制御部１８０は、生成指示が内視鏡装置１に入力されたか否かを判断する（ステップＳ２４１）。例えば、ユーザーは操作部４を操作することにより、生成指示を内視鏡装置１に入力する。情報受付部１８５は、生成指示を受け付ける。このとき、制御部１８０は、生成指示が内視鏡装置１に入力されたと判断する。

指標算出部１８２によって算出された指標が選択条件を満たさないと比較部１８６がステップＳ１０６において判断した場合、または３Ｄ再構成処理が実行中であると制御部１８０がステップＳ２１２において判断した場合、ステップＳ２４１が実行される。

生成指示が内視鏡装置１に入力されていないと制御部１８０がステップＳ２４１において判断した場合、ステップＳ１０１が実行される。生成指示が内視鏡装置１に入力されたと制御部１８０がステップＳ２４１において判断した場合、３Ｄマップ生成部１９２は、ステップＳ１０１において記録媒体に記録された２枚以上の画像を使用することにより３Ｄマップを生成する。例えば、３Ｄマップ生成部１９２は、ステップＳ１０１において記録された全ての画像を使用することにより３Ｄマップを生成する（ステップＳ２４２）。

３Ｄマップを生成するために使用される２枚以上の画像の各々は、前述した選択条件を満たすとは限らない。つまり、その２枚以上の画像の各々は、ステップＳ１０８において記録媒体に記録された画像と同じであるとは限らない。

ステップＳ２４２の後、表示制御部１８４は、ステップＳ２４２において生成された３Ｄマップを表示部５に表示する（ステップＳ２４３）。ステップＳ２４３は、位置情報表示ステップと対応する。ステップＳ２４３の後、ステップＳ１０１が実行される。

生成指示が内視鏡装置１に入力されとき、３Ｄモデル生成部１９１は、実行中の３Ｄ再構成処理を停止してもよい。３Ｄマップが生成された後、３Ｄモデル生成部１９１は、３Ｄ再構成処理を再度開始してもよい。

図４１は、ステップＳ２４３において表示部５に表示された画像の例を示す。表示制御部１８４は、図３３に示す例と同様に、画像ＩＭＧ４０、３ＤモデルＭＤ４０、画像ＩＭＧ４１、および画像ＩＭＧ４２を表示画面５０に表示する。表示制御部１８４は、図３３に示す例と同様に、メッセージＭＳ４０、メッセージＭＳ４１、およびメッセージＭＳ４２を表示画面５０に表示する。

表示制御部１８４は、ステップＳ１０４においてボタンＢＴ６０を表示画面５０に表示する。ボタンＢＴ６０は、生成指示を入力するためのボタンである。３Ｄマップの表示が必要である場合、ユーザーは、ボタンＢＴ６０を押すことにより生成指示を内視鏡装置１に入力する。このとき、３Ｄマップ生成部１９２は、３Ｄマップを生成する。

表示制御部１８４は、３ＤマップＭＰ６０を表示画面５０に表示する。３ＤマップＭＰ６０は、画像ＩＭＧ４０と重ならない。表示制御部１８４は、画像ＩＭＧ４０の一部と３ＤマップＭＰ６０の一部とが互いに重なるように画像ＩＭＧ４０および３ＤマップＭＰ６０を表示画面５０に表示してもよい。

表示制御部１８４は、カメラの位置および姿勢を示す情報を３ＤマップＭＰ６０上に表示する。そのカメラは、３ＤモデルＭＤ４０を生成するために使用された画像を取得したカメラである。

表示制御部１８４は、３ＤマップＭＰ６０を生成するために使用された２枚以上の画像に付与されている時刻情報を取得してもよい。表示制御部１８４は、時刻情報に基づいて、その２枚以上の画像のうち最後に取得された画像を特定してもよい。表示制御部１８４は、特定された画像を取得したカメラの位置および姿勢を示す情報を３ＤマップＭＰ６０上に表示してもよい。特定された画像は、表示部５に現在表示されている画像ＩＭＧ４０が取得された時刻と近い時刻で取得された画像である。

ユーザーは、３ＤマップＭＰ６０を確認することにより、カメラが現在捉えている被写体の領域を確認することができる。ユーザーは、撮影の構図を過去に画像が取得されたときの構図に戻すために３ＤマップＭＰ６０を参照することができる。

内視鏡装置１は、ロータリーエンコーダーおよび２つのローラーを有してもよい。２つのローラーは、挿入部２を挟むように配置される。２つのローラーは、挿入部２と接触している。挿入部２が移動すると２つのローラーが回転する。ロータリーエンコーダーは、２つのローラーのうちの少なくとも１つの回転量を検出することにより、検査対象内の空間に挿入された挿入部２の長さ（距離）を検出する。その長さは、撮影位置と対応する。

表示制御部１８４は、撮影位置と、その撮影位置において取得された画像との関係を示す情報を表示部５に表示してもよい。ユーザーは、撮影の構図を過去に画像が取得されたときの構図に戻すためにその情報を参照してもよい。表示制御部１８４は、最近の情報を表示してもよいし、過去の情報を表示してもよい。

挿入部２が検査対象内の空間に挿入されているとき、ユーザーは、操作部４を操作することにより、挿入部２を湾曲させるための湾曲指示を内視鏡装置１に入力する。情報受付部１８５は、湾曲指示を受け付ける。湾曲指示は、挿入部２が曲がる方向（湾曲方向）を示し、かつ挿入部２が曲がる量（湾曲）を示す。制御部１８０は、挿入部２を湾曲方向に湾曲量だけ湾曲させるための制御を実行する。

表示制御部１８４は、湾曲量に関する情報を表示部５に表示してもよい。ユーザーは、撮影の構図を過去に画像が取得されたときの構図に戻すためにその情報を参照してもよい。

３Ｄ再構成処理が実行中ではないと制御部１８０がステップＳ２１２において判断した場合、図３５におけるステップＳ２２１が実行されてもよい。ステップＳ２２１が実行された後、ステップＳ２０５が実行されてもよい。３Ｄ再構成処理が実行中であると制御部１８０がステップＳ２１２において判断した場合、図３７におけるステップＳ２３１が実行されてもよい。ステップＳ２３１が実行された後、ステップＳ２４１からステップＳ２４３が実行されてもよい。

図８、図１０、図１３、図１５、図１８、図２０、または図２２に示す画像処理においてステップＳ２４１からステップＳ２４３が実行されてもよい。例えば、ステップＳ１０８の後、ステップＳ２４１からステップＳ２４３が実行されてもよい。

図１２に示す画像処理においてステップＳ２４１からステップＳ２４３が実行されてもよい。例えば、ステップＳ１２４の後、ステップＳ２４１からステップＳ２４３が実行されてもよい。

図２４に示す画像処理においてステップＳ２４１からステップＳ２４３が実行されてもよい。例えば、ステップＳ１８２の後、ステップＳ２４１からステップＳ２４３が実行されてもよい。

図２５に示す画像処理においてステップＳ２４１からステップＳ２４３が実行されてもよい。例えば、ステップＳ１９７の後、ステップＳ２４１からステップＳ２４３が実行されてもよい。

図２８に示す画像処理においてステップＳ２４１からステップＳ２４３が実行されてもよい。例えば、ステップＳ２０５の後、ステップＳ２４１からステップＳ２４３が実行されてもよい。

本発明の各態様は次の変形例を含んでもよい。表示制御部１８４は、位置情報表示ステップ（ステップＳ２４３）において、被写体上の２つ以上の位置を示す位置情報を表示部５に表示する。

第６の実施形態の第３の変形例において、内視鏡装置１は、３Ｄマップを生成し、かつ３Ｄマップを表示する。ユーザーは、撮影の構図を過去に画像が取得されたときの構図に戻すために３Ｄマップを参照することができる。ユーザーが３Ｄモデルを確認し、妥当な３Ｄモデルが得られなかったとユーザーが判断した場合、ユーザーは、その３Ｄモデルを生成するために使用された画像が取得された位置を３Ｄマップ上で確認する。ユーザーは、内視鏡をその位置まで戻し、作業を再度実施することができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

１内視鏡装置
２挿入部
３本体部
４操作部
５表示部
７画像処理装置
８内視鏡ユニット
９ＣＣＵ
１０制御装置
１２映像信号処理回路
１３ＲＯＭ
１４ＲＡＭ
１５カードインタフェース
１６外部機器インタフェース
１７制御インタフェース
１８，１８ａ，１８ｂ，１８ｃ，１８ｄＣＰＵ
２０先端
２８撮像素子
４１ＰＣ
４２メモリカード
７０，１８１計測部
７１，１８２指標算出部
７２，１８６比較部
７３，１８７選択部
１８０制御部
１８３分類処理部
１８４表示制御部
１８５情報受付部
１８８記録部
１８９設定部
１９０分割部
１９１３Ｄモデル生成部
１９２３Ｄマップ生成部

Claims

計測部が、被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する計測ステップであって、前記距離は、前記１枚以上の画像を取得したカメラから前記２つ以上の点の各々までの３次元距離を示す前記計測ステップと、
指標算出部が前記距離に基づいて第１の指標または第２の指標を算出する指標算出ステップであって、前記カメラが前記被写体に近づくと前記第１の指標は増加し、前記カメラが前記被写体に近づくと前記第２の指標は減少する前記指標算出ステップと、
比較部が、前記第１の指標または前記第２の指標と閾値とを比較する比較ステップと、
前記第１の指標が前記閾値よりも大きい場合、または前記第２の指標が前記閾値よりも小さい場合に選択部が、前記１枚以上の画像に含まれる少なくとも１枚の画像を選択する選択ステップであって、前記少なくとも１枚の画像は、前記閾値よりも大きい前記第１の指標または前記閾値よりも小さい前記第２の指標を算出するために使用された画像である前記選択ステップと、
を有する画像処理方法。
表示制御部が、前記２つ以上の点の各々における前記距離を示す距離情報をディスプレイに表示する距離情報表示ステップをさらに有する
請求項１に記載の画像処理方法。
前記表示制御部は、前記距離情報表示ステップにおいて、前記距離情報が重畳された前記１枚以上の画像を前記ディスプレイに表示する
請求項２に記載の画像処理方法。
分類処理部が前記２つ以上の点における前記距離を、第１のグループおよび第２のグループを含む２つ以上のグループに分類する分類処理ステップであって、前記第１のグループに分類された前記距離の範囲は、前記第２のグループに分類された前記距離の範囲と異なる前記分類処理ステップと、
表示制御部が、第１の距離情報を第１の状態でディスプレイに表示し、かつ第２の距離情報を前記第１の状態と異なる第２の状態で前記ディスプレイに表示する距離情報表示ステップであって、前記第１の距離情報は、前記第１のグループに分類された前記距離を示し、前記第２の距離情報は、前記第２のグループに分類された前記距離を示す前記距離情報表示ステップと、
をさらに有する
請求項１に記載の画像処理方法。
記録部が、前記少なくとも１枚の画像を記録媒体に記録する記録ステップをさらに有する
請求項１に記載の画像処理方法。
形状算出部が、前記記録媒体に記録された前記少なくとも１枚の画像を使用することにより、前記被写体の３次元形状を算出する形状算出ステップをさらに有する
請求項５に記載の画像処理方法。
表示制御部が、前記３次元形状をディスプレイに表示する形状表示ステップをさらに有する
請求項６に記載の画像処理方法。
表示制御部が、前記少なくとも１枚の画像をディスプレイに表示する画像表示ステップをさらに有する
請求項６に記載の画像処理方法。
前記選択部が、前記少なくとも１枚の画像のうち１枚以上の画像を選択する画像選択ステップをさらに有し、
前記形状算出部は、前記形状算出ステップにおいて、前記画像選択ステップにおいて選択された前記１枚以上の画像を使用することにより前記３次元形状を算出する
請求項６に記載の画像処理方法。
設定部が、計測領域を前記１枚以上の画像に設定する設定ステップをさらに有し、
前記計測領域は、前記２つ以上の点を含む
請求項１に記載の画像処理方法。
表示制御部が前記１枚以上の画像の各々をディスプレイに表示し、かつ前記ディスプレイに表示された画像上に前記計測領域を表示する領域表示ステップをさらに有する
請求項１０に記載の画像処理方法。
前記設定部は、前記設定ステップにおいて、入力装置に入力された領域情報に基づいて前記計測領域を設定し、
前記領域情報は、前記１枚以上の画像における前記計測領域の位置を示す
請求項１０に記載の画像処理方法。
分割部が前記１枚以上の画像の各々の全体領域を２つ以上の部分領域に分割する分割ステップをさらに有し、
前記設定部は、前記設定ステップにおいて、前記２つ以上の部分領域に含まれる少なくとも１つの部分領域に前記計測領域を設定する
請求項１０に記載の画像処理方法。
前記指標算出部は、前記指標算出ステップにおいて、前記２つ以上の点のうち前記距離が所定値よりも小さい点の数、前記２つ以上の点のうち前記距離が所定値よりも大きい点の数、前記２つ以上の点における前記距離の平均値、または前記２つ以上の点における前記距離の最小値に基づいて前記第１の指標または前記第２の指標を算出する
請求項１に記載の画像処理方法。
前記１枚以上の画像に含まれる１枚の画像に対して前記計測ステップ、前記指標算出ステップ、および前記比較ステップが実行され、
前記第１の指標が前記閾値以下である場合、または前記第２の指標が前記閾値以上である場合、前記１枚以上の画像に含まれる他の１枚の画像に対して前記計測ステップ、前記指標算出ステップ、および前記比較ステップが実行される
請求項１に記載の画像処理方法。
表示制御部が、前記被写体上の２つ以上の位置を示す位置情報をディスプレイに表示する位置情報表示ステップをさらに有する
請求項１に記載の画像処理方法。
計測部が、被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する計測ステップであって、前記距離は、前記１枚以上の画像を取得したカメラから前記２つ以上の点の各々までの３次元距離を示す前記計測ステップと、
指標算出部が前記距離に基づいて第１の指標または第２の指標を算出する指標算出ステップであって、前記カメラが前記被写体に近づくと前記第１の指標は増加し、前記カメラが前記被写体に近づくと前記第２の指標は減少する前記指標算出ステップと、
比較部が、前記第１の指標または前記第２の指標と閾値とを比較する比較ステップと、
出力部が、前記第１の指標と前記閾値とを比較した結果、または前記第２の指標と前記閾値とを比較した結果を示す比較情報を情報通知装置に出力する出力ステップと、
前記出力ステップが実行された後、選択部が、前記１枚以上の画像に含まれる少なくとも１枚の画像を選択する選択ステップであって、前記少なくとも１枚の画像は、前記第１の指標または前記第２の指標を算出するために使用された画像である前記選択ステップと、
を有する画像処理方法。
被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する計測部であって、前記距離は、前記１枚以上の画像を取得したカメラから前記２つ以上の点の各々までの３次元距離を示す前記計測部と、
前記距離に基づいて第１の指標または第２の指標を算出する指標算出部であって、前記カメラが前記被写体に近づくと前記第１の指標は増加し、前記カメラが前記被写体に近づくと前記第２の指標は減少する前記指標算出部と、
前記第１の指標または前記第２の指標と閾値とを比較する比較部と、
前記第１の指標が前記閾値よりも大きい場合、または前記第２の指標が前記閾値よりも小さい場合に、前記１枚以上の画像に含まれる少なくとも１枚の画像を選択する選択部であって、前記少なくとも１枚の画像は、前記閾値よりも大きい前記第１の指標または前記閾値よりも小さい前記第２の指標を算出するために使用された画像である前記選択部と、
を有する画像処理装置。
被写体の１枚以上の画像における２つ以上の点の各々における距離を計測する計測ステップであって、前記距離は、前記１枚以上の画像を取得したカメラから前記２つ以上の点の各々までの３次元距離を示す前記計測ステップと、
前記距離に基づいて第１の指標または第２の指標を算出する指標算出ステップであって、前記カメラが前記被写体に近づくと前記第１の指標は増加し、前記カメラが前記被写体に近づくと前記第２の指標は減少する前記指標算出ステップと、
前記第１の指標または前記第２の指標と閾値とを比較する比較ステップと、
前記第１の指標が前記閾値よりも大きい場合、または前記第２の指標が前記閾値よりも小さい場合に、前記１枚以上の画像に含まれる少なくとも１枚の画像を選択する選択ステップであって、前記少なくとも１枚の画像は、前記閾値よりも大きい前記第１の指標または前記閾値よりも小さい前記第２の指標を算出するために使用された画像である前記選択ステップと、
をコンピュータに実行させるためのプログラム。