JP2022159806A - データ処理方法、データ処理装置、およびプログラム - Google Patents

Abstract

【課題】静止画と関連付けられているメタデータを処理するための作業の効率を改善することができるデータ処理方法、データ処理装置、およびプログラムを提供する。
【解決手段】データ処理方法は、情報表示ステップ、位置選択ステップ、および処理ステップを有する。表示制御部は、前記情報表示ステップにおいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する。前記位置データは、前記２つ以上の位置を示す。選択部は、前記位置選択ステップにおいて、前記２つ以上の位置に含まれる少なくとも１つの位置を選択する。データ処理部は、前記処理ステップにおいて、メタデータを処理する。前記メタデータは、静止画と関連付けられている。前記静止画は、選択された前記少なくとも１つの位置と関連付けられている。
【選択図】図１

Description

本発明は、データ処理方法、データ処理装置、およびプログラムに関する。

ボイラー、パイプ、および航空機エンジン等の内部の傷および腐食等の観察および検査に工業用の内視鏡装置が使用されている。内視鏡を使用する検査において、異常の有無および異常の深刻さを検査の証拠として残すためにユーザーは検査中に静止画を記録する。検査が完了した後、検査のレポートが生成される。一般的に、テキストデータがその静止画と一緒にレポートに付加される。そのテキストデータは、記録された静止画に写っている異常の状態などを示す。

検査が完了した後、ユーザーは静止画および他のデータを整理する。静止画のファイルは、記録媒体内のフォルダに保存される。例えば、ユーザーは、静止画をフォルダ間で移動する、またはフォルダの名称を変更する。あるいは、ユーザーは、レポートに付加されるテキストデータを編集する。

特許文献１は、静止画とシェーマ図とを互いに関連付ける技術を開示している。シェーマ図は、生体の内部構造を模式的に表す。ユーザーは検査中に音声を発し、音声データが静止画と関連付けられる。その音声は、部位の名称を示す。その音声データは、静止画とシェーマ図とを互いに関連付けるために使用される。音声データの代わりにテキストデータが使用されてもよい。シェーマ図が表示され、かつシェーマ図上の位置が指定されたとき、その位置と対応する静止画が表示される。

特許文献２は、検査において取得された画像を分類する技術を開示している。検査の前に、複数のフォルダが複数の検査対象に応じて予め設定される。ユーザーは検査中にフォルダを指定し、その画像はそのフォルダに記録される。

特許第５４５１７１８号公報 特開２０１９－２００４６３号公報

内視鏡を使用する検査において、ユーザーが画像に基づいて検査対象の構造を判断できるとは限らない。ユーザーが、静止画に写っている領域を判断できない場合、静止画などのデータの整理が煩雑である。

特許文献１および特許文献２に開示された技術において、ユーザーが検査対象を判断できる必要がある。ユーザーが検査対象の構造を判断できない場合、これらの技術を検査に適用することは難しい。

本発明は、静止画と関連付けられているメタデータを処理するための作業の効率を改善することができるデータ処理方法、データ処理装置、およびプログラムを提供することを目的とする。

本発明は、表示制御部が位置データに基づいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する情報表示ステップであって、前記位置データは、前記２つ以上の位置を示す前記情報表示ステップと、前記位置情報が表示された後、選択部が前記２つ以上の位置に含まれる少なくとも１つの位置を選択する位置選択ステップと、データ処理部がメタデータを処理する処理ステップであって、前記メタデータは、静止画と関連付けられており、前記静止画は、前記物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された前記少なくとも１つの位置と関連付けられている前記処理ステップと、を有するデータ処理方法である。

本発明は、表示制御部が位置データに基づいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する情報表示ステップであって、前記位置データは、前記２つ以上の位置を示す前記情報表示ステップと、選択部が前記２つ以上の位置に含まれる少なくとも１つの位置を選択する位置選択ステップと、データ処理部がメタデータを処理する処理ステップであって、前記メタデータは、静止画と関連付けられており、前記静止画は、前記物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された前記少なくとも１つの位置と関連付けられている前記処理ステップと、前記表示制御部が、選択された前記少なくとも１つの位置を前記ディスプレイに表示する位置表示ステップと、を有するデータ処理方法である。

本発明は、位置データに基づいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する表示制御部であって、前記位置データは、前記２つ以上の位置を示す前記表示制御部と、前記位置情報が表示された後、前記２つ以上の位置に含まれる少なくとも１つの位置を選択する選択部と、メタデータを処理するデータ処理部であって、前記メタデータは、静止画と関連付けられており、前記静止画は、前記物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された前記少なくとも１つの位置と関連付けられている前記データ処理部と、を有するデータ処理装置である。

本発明は、位置データに基づいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する情報表示ステップであって、前記位置データは、前記２つ以上の位置を示す前記情報表示ステップと、前記位置情報が表示された後、前記２つ以上の位置に含まれる少なくとも１つの位置を選択する位置選択ステップと、メタデータを処理する処理ステップであって、前記メタデータは、静止画と関連付けられており、前記静止画は、前記物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された前記少なくとも１つの位置と関連付けられている前記処理ステップと、をコンピュータに実行させるためのプログラムである。

本発明によれば、データ処理方法、データ処理装置、およびプログラムは、静止画と関連付けられているメタデータを処理するための作業の効率を改善することができる。

本発明の第１の実施形態によるデータ処理装置の構成を示すブロック図である。 本発明の第１の実施形態における位置データの例を示す図である。 本発明の第１の実施形態におけるデータ処理の手順を示すフローチャートである。 本発明の第２の実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の第２の実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の第２の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の第２の実施形態におけるデータ処理の手順を示すフローチャートである。 本発明の第２の実施形態において表示部に表示された画像の例を示す図である。 本発明の第２の実施形態において表示部に表示された画像の例を示す図である。 本発明の第２の実施形態における被写体の例を示す図である。 本発明の第２の実施形態において表示部に表示された画像の例を示す図である。 本発明の第２の実施形態の第１の変形例におけるデータ処理の手順を示すフローチャートである。 本発明の第２の実施形態の第１の変形例において表示部に表示された情報入力ウィンドウの例を示す図である。 本発明の第２の実施形態の第２の変形例におけるデータ処理の手順を示すフローチャートである。 本発明の第２の実施形態の第２の変形例において表示部に表示された画像の例を示す図である。 本発明の第２の実施形態の第３の変形例におけるデータ処理の手順を示すフローチャートである。 本発明の第２の実施形態の第３の変形例において表示部に表示された画像の例を示す図である。 本発明の第２の実施形態の第３の変形例において表示部に表示された画像の例を示す図である。 本発明の第２の実施形態の第４の変形例におけるデータ処理の手順を示すフローチャートである。 本発明の第２の実施形態の第４の変形例において表示部に表示された画像の例を示す図である。 本発明の第３の実施形態におけるデータ処理の手順を示すフローチャートである。 本発明の第３の実施形態において表示部に表示された画像の例を示す図である。 本発明の第３の実施形態において表示部に表示された画像の例を示す図である。 本発明の第３の実施形態において表示部に表示されたツリー構造の例を示す図である。 本発明の第３の実施形態の変形例による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の第３の実施形態の変形例におけるデータ処理の手順を示すフローチャートである。 本発明の第３の実施形態の変形例において表示部に表示された画像の例を示す図である。 本発明の第４の実施形態におけるデータ処理の手順を示すフローチャートである。 本発明の第４の実施形態において表示部に表示された画像の例を示す図である。 本発明の第５の実施形態におけるデータ処理の手順を示すフローチャートである。 本発明の第５の実施形態において表示部に表示された画像の例を示す図である。 本発明の第５の実施形態において表示部に表示された画像の例を示す図である。 本発明の第５の実施形態の第１の変形例におけるデータ処理の手順を示すフローチャートである。 本発明の第５の実施形態の第２の変形例におけるデータ処理の手順を示すフローチャートである。 本発明の第５の実施形態の第２の変形例において表示部に表示された画像の例を示す図である。 本発明の第５の実施形態の第２の変形例において表示部に表示された画像の例を示す図である。 本発明の第５の実施形態の第３の変形例におけるデータ処理の手順を示すフローチャートである。 本発明の第５の実施形態の第４の変形例におけるデータ処理の手順を示すフローチャートである。 本発明の第６の実施形態におけるデータ処理の手順を示すフローチャートである。 本発明の第６の実施形態において表示部に表示された情報入力ウィンドウの例を示す図である。 本発明の第６の実施形態において表示部に表示された操作画面の例を示す図である。 本発明の第７の実施形態において表示部に表示された画像の例を示す図である。 本発明の第７の実施形態において表示部に表示された画像の例を示す図である。 本発明の第８の実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の第８の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の第８の実施形態におけるデータ処理の手順を示すフローチャートである。 本発明の第８の実施形態において表示部に表示された画像の例を示す図である。 本発明の第９の実施形態における検査対象の例を示す図である。 本発明の第９の実施形態におけるデータ処理の手順を示すフローチャートである。 本発明の第１０の実施形態におけるデータ処理の手順を示すフローチャートである。 本発明の第１０の実施形態において表示部に表示された画像の例を示す図である。 本発明の第１０の実施形態において表示部に表示された画像の例を示す図である。

以下、図面を参照し、本発明の実施形態を説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態によるデータ処理装置７の構成を示す。図１に示すデータ処理装置７は、表示制御部７０、選択部７１、およびデータ処理部７２を有する。

表示制御部７０は、位置データに基づいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する（情報表示ステップ）。位置データは、その２つ以上の位置を示す。位置情報が表示された後、選択部７１は、その２つ以上の位置に含まれる少なくとも１つの位置を選択する（位置選択ステップ）。データ処理部７２は、メタデータを処理する（処理ステップ）。メタデータは、静止画と関連付けられている。その静止画は、物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された少なくとも１つの位置と関連付けられている。

図１に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。図１に示す各部は、１つまたは複数のプロセッサを含むことができる。図１に示す各部は、１つまたは複数の論理回路を含むことができる。

データ処理装置７のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、表示制御部７０、選択部７１、およびデータ処理部７２の動作を規定する命令を含む。つまり、表示制御部７０、選択部７１、およびデータ処理部７２の機能はソフトウェアにより実現されてもよい。

上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波によりデータ処理装置７に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。

例えば、位置データは、３次元空間（３Ｄ空間）における位置と対応する３次元座標（３Ｄ座標）を示す。位置データは、２次元画像上の位置と対応する２次元座標（２Ｄ座標）を示してもよい。位置データは、３Ｄ空間における基準位置からの距離を示してもよい。例えば、物体がパイプである場合、位置データは、パイプの入り口からパイプの内部の位置までの距離を示してもよい。

上記の２つ以上の位置は、互いに異なる。その２つ以上の位置は、物体を含む３Ｄ空間に含まれる。その２つ以上の位置は、物体の表面上の位置または物体の内部の位置を示してもよい。つまり、その２つ以上の位置は、物体に含まれてもよい。その２つ以上の位置は、物体に含まれなくてもよい。例えば、物体がパイプである場合、その２つ以上の位置は、パイプの内壁で囲まれた３Ｄ空間内の位置を示してもよい。その２つ以上の位置は、静止画を取得したカメラの位置を示してもよい。そのカメラの位置は、物体上にない。その２つ以上の位置は、物体上の少なくとも１つの位置と、物体上にない少なくとも１つの位置とを含んでもよい。位置データは、物体を含む３Ｄ空間内の３つ以上の位置を示してもよい。

各静止画は、物体を含む３Ｄ空間内の１つ以上の位置と関連付けられている。２枚以上の静止画が１つの位置と共通に関連付けられてもよい。

図２は、位置データの例を示す。図２に示す位置データＰＤ１は、座標データＣ１、座標データＣ２、および座標データＣ３を含む。各座標データは、物体を含む３Ｄ空間内の位置を示す。各座標データは、Ｘ座標とＹ座標とＺ座標とを含む３Ｄ座標を示す。

カメラは物体を撮影し、静止画ＩＭＧ１、静止画ＩＭＧ２、および静止画ＩＭＧ３を取得する。各静止画は、１つ以上の座標データと関連付けられている。静止画ＩＭＧ１は、座標データＣ１と関連付けられている。静止画ＩＭＧ２は、座標データＣ２と関連付けられている。静止画ＩＭＧ３は、座標データＣ３と関連付けられている。

データ処理装置７は、位置データおよび１枚以上の静止画を記憶する記録媒体を有してもよい。あるいは、その記録媒体がデータ処理装置７に接続されてもよい。位置データは第１の記録媒体に記憶され、かつ１枚以上の静止画は第１の記録媒体と異なる第２の記録媒体に記憶されてもよい。位置データは第１の記録媒体および第２の記録媒体に記憶されてもよい。１枚以上の静止画は第１の記録媒体および第２の記録媒体に記憶されてもよい。

図３を使用して、第１の実施形態におけるデータ処理について説明する。図３は、データ処理の手順を示す。

表示制御部７０は、位置データに基づいて、物体を含む３Ｄ空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する（ステップＳ１）。ステップＳ１は、情報表示ステップと対応する。

位置データが基準位置からの距離を示す場合、表示制御部７０は、２つ以上の距離をディスプレイに表示する。その距離は被写体の位置と対応する。例えば、ユーザーは、その距離と物体における構造の大きさの設計値とを照合することにより、物体における被写体の位置を確認することができる。位置データが２Ｄ座標または３Ｄ座標を示す場合、表示制御部７０は、２つ以上の位置をディスプレイに表示する。ユーザーは、物体における被写体の位置を把握することができる。

ステップＳ１の後、選択部７１は少なくとも１つの位置を選択する（ステップＳ２）。ステップＳ２は、位置選択ステップと対応する。

データ処理装置７は、ユーザーが情報を入力するための入力装置を有してもよい。あるいは、入力装置がデータ処理装置７に接続されてもよい。選択部７１は、入力装置に入力された指示に基づいて位置を選択してもよい。その指示は、選択されるべき位置を示す。

上記の２つ以上の位置は、ステップＳ２において選択された第１の位置と、ステップＳ２において選択されない第２の位置とを含んでもよい。表示制御部７０は、ユーザーが第１の位置と第２の位置とを区別できるように第１の位置および第２の位置をディスプレイに表示してもよい。

ステップＳ２の後、データ処理部７２は、メタデータを処理する（ステップＳ３）。ステップＳ３は、処理ステップと対応する。そのメタデータは、ステップＳ２において選択された位置と関連付けられている静止画と関連付けられている。ステップＳ３が実行されたとき、データ処理が終了する。

例えば、選択部７１は、図２に示す座標データＣ１と対応する位置を選択する。静止画ＩＭＧ１が座標データＣ１と関連付けられている。データ処理部７２は、静止画ＩＭＧ１と関連付けられているメタデータを処理する。

メタデータは、静止画の属性を示すデータ、または静止画に付加されるデータである。例えば、メタデータは、静止画のデータに含まれている。あるいは、メタデータは、静止画のデータに含まれていない。メタデータは、位置データおよび静止画を記憶する記録媒体に記録されている。あるいは、位置データおよび静止画を記憶する記録媒体と異なる記録媒体に記録されている。

例えば、データ処理部７２は、物体の検査の結果に基づいてメタデータを処理する。データ処理部７２は、入力装置に入力された指示に基づいてメタデータを処理してもよい。その指示は、処理の内容を示す。

データ処理部７２は、新たなメタデータを生成することによりメタデータを処理してもよい。データ処理部７２は、既に生成されたメタデータを編集することによりメタデータを処理してもよい。データ処理部７２は、メタデータに含まれるデータを修正または変更することによりメタデータを編集してもよい。データ処理部７２は、新たなデータをメタデータに追加することによりメタデータを編集してもよい。データ処理部７２は、メタデータに含まれるデータを削除することによりメタデータを編集してもよい。データ処理部７２は、メタデータの全体を削除することによりメタデータを処理してもよい。

本発明の各態様のデータ処理方法は、情報表示ステップ（ステップＳ１）、位置選択ステップ（ステップＳ２）、および処理ステップ（ステップＳ３）を有する。

第１の実施形態において、データ処理装置７は、物体を含む３Ｄ空間内の２つ以上の位置をディスプレイに表示する。静止画は、少なくとも１つの位置と関連付けられている。静止画と関連付けられている位置が表示されるため、ユーザーは、静止画に写っている領域を確認することができる。データ処理装置７は、ユーザーによって確認された領域の静止画と関連付けられているメタデータを処理する。そのため、データ処理装置７は、メタデータを処理するための作業の効率を改善することができる。

（第２の実施形態）
本発明の第２の実施形態を説明する。以下では、データ処理装置が内視鏡装置である例を説明する。データ処理装置は、第１の実施形態に示される機能を有する装置でありさえすればよく、内視鏡装置に限らない。データ処理装置は、特定の装置またはシステムに実装された組み込み機器であってもよい。データ処理装置は、パーソナルコンピュータ（ＰＣ）またはタブレット端末であってもよい。データ処理装置の一部の機能は、クラウド上の環境によって実現されてもよい。被写体は、工業製品である。

以下の例では、データ処理装置は工業用の内視鏡装置である。データ処理装置は医療用の内視鏡装置であってもよい。

図４は、第２の実施形態による内視鏡装置１の外観を示す。図５は、内視鏡装置１の内部構成を示す。内視鏡装置１は、被写体を撮像し、画像を生成する。検査者は、種々の被写体の観察を実施するために、挿入部２の先端に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを実施することが可能である。

図４に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。

挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２で取得された被写体の画像および操作メニュー等を表示画面に表示する。

操作部４は、ユーザーインタフェース（入力装置）である。例えば、操作部４は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。ユーザーは、体の一部（例えば、指）または道具を使用することにより表示部５の画面をタッチする。

図５に示す本体部３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９、および制御装置１０を有する。内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。挿入部２の先端２０には撮像素子２８が内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を施す。ＣＣＵ９は、前処理が施された撮像信号をＮＴＳＣ信号等の映像信号に変換する。撮像素子２８は、内視鏡を構成する。

制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８を有する。

映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を実行する。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像、被写体の画像、および計測情報等を含む。計測情報は、計測結果等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。また、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に基づく画像データをＣＰＵ１８に出力する。

ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。

着脱可能な記録媒体であるメモリカード４２がカードインタフェース１５に接続される。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。

ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ（ＰＣ）４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１のモニタが情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を実施することができる。

制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を実行する。制御インタフェース１７は、ユーザーによって操作部４に入力された指示をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。

ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、ＰＣ４１がプログラムを読み込んで実行してもよい。ＰＣ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、ＰＣ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を処理してもよい。

上記のように、内視鏡装置１は、撮像素子２８およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。その画像は２次元画像（２Ｄ画像）である。撮像素子２８によって取得された２Ｄ画像は映像信号処理回路１２を経由してＣＰＵ１８に入力される。

撮像素子２８は、被写体の画像を取得する画像取得部の機能を有する。画像取得部は、画像入力装置であってもよい。例えば、ＰＣ４１がデータ処理装置として動作する場合、画像取得部は、内視鏡装置１と通信を実行する通信インタフェース（通信機）である。画像取得部は無線通信機であってもよい。画像取得部は、画像が記録された記録媒体から画像を読み出す読み出し回路であってもよい。

図６は、ＣＰＵ１８の機能構成を示す。ＣＰＵ１８の機能は、制御部１８０、画像処理部１８１、３Ｄデータ生成部１８２、データ取得部１８３、表示制御部１８４、情報受付部１８５、選択部１８６、およびデータ処理部１８７を含む。図６に示すブロックの少なくとも１つがＣＰＵ１８と異なる回路で構成されてもよい。

図６に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図６に示す各部は、１つまたは複数のプロセッサを含むことができる。図６に示す各部は、１つまたは複数の論理回路を含むことができる。

制御部１８０は、被写体の２Ｄ画像（画像データ）を映像信号処理回路１２から取得し、かつ図６に示す各部が実行する処理を制御する。

画像処理部１８１は、検査中に撮像素子２８によって取得された２Ｄ画像を処理し、所定のファイル形式を持つ動画または静止画を生成する。動画は、２枚以上のフレームを含む。各フレームは、撮像素子２８によって取得された２Ｄ画像によって構成される。画像処理部１８１によって生成された動画および静止画は、ＰＣ４１内の記録媒体またはメモリカード４２に記憶される。

３Ｄデータ生成部１８２は、被写体の１枚以上の２Ｄ画像に基づいて被写体上の２つ以上の点の３Ｄ座標を算出し、かつその２つ以上の点の３Ｄ座標を含む３次元データ（３Ｄデータ）を生成する。例えば、３Ｄデータは、点群データ、サーフェースデータ、またはボリュームデータである。３Ｄデータ生成部１８２によって生成された３Ｄデータは、ＰＣ４１内の記録媒体またはメモリカード４２に記憶される。

３Ｄデータは、２つ以上の点の３Ｄ座標を含む。３Ｄデータは、３つ以上の点の３Ｄ座標を含んでもよい。３Ｄデータは、各点のＸ座標、Ｙ座標、およびＺ座標を含む。例えば、Ｘ軸およびＹ軸は、２Ｄ画像を取得したカメラの光学系の光軸と垂直である。例えば、Ｚ軸は、その光軸と平行である。３Ｄデータは、位置データと対応する。３Ｄデータに含まれる３Ｄ座標は、図２に示す座標データＣ１、座標データＣ２、および座標データＣ３と対応する。以下では、３Ｄデータに含まれる３Ｄ座標を持つ点を、３Ｄデータに含まれる点と呼ぶ。

３Ｄデータ生成部１８２は、１枚以上のステレオ画像を使用することにより３Ｄデータを生成してもよい。ステレオ画像は、第１の視点から見た被写体の２Ｄ画像（第１の２Ｄ画像）と、第１の視点と異なる第２の視点から見た被写体の２Ｄ画像（第２の２Ｄ画像）とを含む。互いに異なる２つの視野を持つステレオ光学系が、光学アダプターとして挿入部２の先端２０に装着される。

ステレオ光学系は第１の光学系および第２の光学系を有する。内視鏡装置１は、第１の状態と第２の状態とを切り替えてもよい。第１の状態において、第１の光学系を通る光のみが撮像素子２８に入射する。第２の状態において、第２の光学系を通る光のみが撮像素子２８に入射する。撮像素子２８は、第１の状態において第１の２Ｄ画像を生成し、かつ第２の状態において第２の２Ｄ画像を生成してもよい。第１の２Ｄ画像および第２の２Ｄ画像の組み合わせは、ステレオ画像を構成する。３Ｄデータ生成部１８２は、１枚以上の第１の２Ｄ画像および１枚以上の第２の２Ｄ画像を使用することにより３Ｄデータを生成してもよい。

１つの視野を持つ単眼光学系が、光学アダプターとして挿入部２の先端２０に装着されてもよい。３Ｄデータ生成部１８２は、アクティブステレオ法の原理に基づいて３Ｄデータを生成してもよい。以下では、アクティブステレオ法を使用する例を説明する。

例えば、３Ｄデータ生成部１８２は、明部および暗部を含む所定のパターンを持つ光が被写体に照射されたときに取得された１枚以上の２Ｄ画像を使用することにより３Ｄデータを生成してもよい。例えば、そのパターンはランダムパターンである。３Ｄデータ生成部１８２は、縞状のパターンを持つ光が被写体に照射されたときに取得された２枚以上の２Ｄ画像を使用することにより３Ｄデータを生成してもよい。３Ｄデータ生成部１８２は、レーザー光（スポット光）またはスリット光が被写体に照射されたときに取得された１枚以上の２Ｄ画像を使用することにより３Ｄデータを生成してもよい。模様が被写体の表面にない場合、３Ｄデータ生成部１８２は、３Ｄデータを安定的に生成することができる。

３Ｄデータ生成部１８２は、Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ（ＳＬＡＭ）またはｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ（ＳｆＭ）と呼ばれる技術を使用することにより、３Ｄデータを生成してもよい。例えば、３Ｄデータ生成部１８２は、２枚以上の画像にＳＬＡＭまたはＳｆＭを適用することにより３Ｄデータを生成してもよい。その２枚以上の画像は、単眼光学系が挿入部２の先端２０に装着されているときに取得される。

３Ｄデータ生成部１８２は、２枚以上のステレオ画像にＳＬＡＭまたはＳｆＭを適用することにより３Ｄデータを生成してもよい。その２枚以上のステレオ画像は、ステレオ光学系が挿入部２の先端２０に装着されているときに取得される。つまり、３Ｄデータ生成部１８２は、ＳＬＡＭまたはＳｆＭを２枚以上の第１の２Ｄ画像および２枚以上の第２の２Ｄ画像に適用することにより３Ｄデータを生成してもよい。３Ｄデータ生成部１８２は、アクティブステレオ法の原理に基づいて取得された２枚以上の２Ｄ画像にＳＬＡＭまたはＳｆＭを適用することにより３Ｄデータを生成してもよい。

ＳＬＡＭをステレオ画像に適用する方法では、３Ｄデータが安定的に生成される。アクティブステレオ法の原理に基づいて２Ｄ画像を取得し、かつその２Ｄ画像にＳＬＡＭを適用する方法では、３Ｄデータが安定的に生成される。

Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ（ＴｏＦ）と呼ばれる技術を使用することにより１枚以上の画像が取得されてもよい。３Ｄデータ生成部１８２は、その１枚以上の画像を使用することにより３Ｄデータを生成してもよい。ＴｏＦが使用される場合、３Ｄデータ生成部１８２は、光（赤外光など）または超音波が第１のタイミングから第２のタイミングまでに進む時間を計測する。第１のタイミングは、光または超音波がカメラから被写体に照射された時刻を示す。３Ｄデータ生成部１８２は、第１のタイミングから第２のタイミングまでの時間に基づいて距離を算出する。第２のタイミングは、被写体によって反射された光または超音波がカメラに到達する時刻を示す。内視鏡装置１は、ＴＯＦカメラと呼ばれるカメラを使用することにより、カラー画像および距離画像を同時に取得する。距離画像の各画素の値は、カメラから被写体までの距離を示す。この場合、カラー画像の各画素と距離画像の各画素とは互いに関連付けられている。

１枚以上の２Ｄ画像を使用することにより３Ｄデータが生成される限り、３Ｄデータを生成する方法は上記の例に限らない。

以下では、３Ｄデータ生成部１８２が、ＳＬＡＭを使用することにより３Ｄデータを生成する例を説明する。３Ｄデータ生成部１８２は、動画に含まれる２枚以上のフレームのみを使用する。３Ｄデータ生成部１８２は、３Ｄデータを生成するために２枚以上のフレームの全てを使用する必要はない。３Ｄデータ生成部１８２は、２枚以上のフレームの一部を使用することにより３Ｄデータを生成してもよい。

３Ｄデータは、３Ｄデータを生成するための２Ｄ画像における１つ以上の点の２Ｄ座標を含んでもよい。３Ｄデータにおいて３Ｄ座標および２Ｄ座標が互いに関連付けられてもよい。つまり、３Ｄデータに含まれる各点は、２Ｄ画像の画素と関連付けられてもよい。その２Ｄ画像は、動画のフレームであってもよい。３Ｄデータにおいて３Ｄ座標および２Ｄ座標が互いに関連付けられている場合、その２Ｄ座標を含む２Ｄ画像はその３Ｄ座標と関連付けられている。

３Ｄデータは、カメラ座標を含んでもよい。カメラ座標は、２Ｄ画像を取得したカメラの位置（カメラ位置）を示す。カメラは、撮像素子２８および観察光学系を含む。カメラ座標は、カメラの３Ｄ座標であり、かつそのカメラによって取得された２Ｄ画像と関連付けられている。カメラ座標は、２Ｄ画像が取得されたときのカメラの視点の３Ｄ座標である。３Ｄデータ生成部１８２が、ＳＬＡＭまたはＳｆＭを使用することにより３Ｄデータを生成したとき、３Ｄデータ生成部１８２はカメラ座標を算出する。以下では、画像を取得したカメラのカメラ座標をその画像のカメラ座標と呼ぶ。以下では、画像を取得したカメラのカメラ位置をその画像のカメラ位置と呼ぶ。

以下では、３Ｄデータが、２つ以上の点の３Ｄ座標と各２Ｄ画像における１つ以上の点の２Ｄ座標とを含み、その２つ以上の点がカメラの１つ以上の視点のカメラ座標を含む例を説明する。

データ取得部１８３は、ＰＣ４１内の記録媒体またはメモリカード４２にアクセスし、３Ｄデータをその記録媒体またはメモリカード４２から取得する。また、データ取得部１８３は、動画および静止画をその記録媒体またはメモリカード４２から取得する。ＣＰＵ１８によって生成または処理された情報またはデータは、ＲＡＭ１４に記憶される。データ取得部１８３は、その情報およびデータをＲＡＭ１４から取得する。

表示制御部１８４は、図１に示す表示制御部７０の機能を持つ。表示制御部１８４は、３Ｄデータに基づいて、物体を含む３Ｄ空間内の２つ以上の位置の位置関係を示す位置情報を表示部５に表示する。具体的には、表示制御部１８４は、３Ｄデータに含まれる２つ以上の点と対応する２つ以上の画素を含む３次元画像（３Ｄ画像）を表示部５に表示する。３Ｄ画像は、３Ｄデータが示す３次元形状（３Ｄ形状）の画像である。３Ｄ画像は、所定の視点から所定の視線方向に見た被写体の３Ｄ形状を示す。３Ｄ画像は、３Ｄデータに含まれる２つ以上の点を可視化する。つまり、３Ｄ画像は、３Ｄデータに含まれる２つ以上の点の位置関係を視覚的に示す。３Ｄ画像は、被写体を構成する２つ以上の点の分布（３Ｄマップ）を示す。

例えば、表示制御部１８４は、３Ｄ映像信号または２Ｄ映像信号を、映像信号処理回路１２を経由して表示部５へ出力する。３Ｄ映像信号は、３Ｄ画像の各画素のカラーデータを含む。２Ｄ映像信号は、動画または静止画の各画素のカラーデータを含む。

表示制御部１８４は、３Ｄ映像信号または２Ｄ映像信号を映像信号処理回路１２に出力する。表示制御部１８４は、映像信号処理回路１２によって実行される処理を制御する。映像信号処理回路１２は、３Ｄ映像信号または２Ｄ映像信号を表示部５に出力する。表示部５は、映像信号処理回路１２から出力された３Ｄ映像信号に基づいて３Ｄ画像を表示する。あるいは、表示部５は、映像信号処理回路１２から出力された２Ｄ映像信号に基づいて２Ｄ画像を表示する。

表示制御部１８４は、映像信号処理回路１２に、ＣＣＵ９から出力された映像信号を表示部５に出力させる。これにより、表示制御部１８４は、撮像素子２８によって生成された２Ｄ画像をライブ画像として表示部５に表示する。

表示制御部１８４は、各種情報を表示部５に表示する。つまり、表示制御部１８４は、画像上に各種情報を表示する。各種情報は、計測結果等を含む。各種情報は、カーソルを含んでもよい。カーソルは、ユーザーが画像上の特定の点を指定するためのマークである。

例えば、表示制御部１８４は、各種情報のグラフィック画像信号を生成する。表示制御部１８４は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された画像を表示する。

ユーザーは、操作部４を操作することにより、各種情報を内視鏡装置１に入力する。操作部４は、ユーザーによって入力された情報を出力する。その情報は、入力部である制御インタフェース１７に入力される。その情報は、制御インタフェース１７からＣＰＵ１８に出力される。情報受付部１８５は、操作部４を経由して内視鏡装置１に入力された情報を受け付ける。

例えば、ユーザーは、操作部４を操作することにより、カーソルの位置情報を内視鏡装置１に入力する。表示部５がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより画像上の位置を示す位置情報を内視鏡装置１に入力する。情報受付部１８５は、内視鏡装置１に入力された位置情報を受け付ける。情報受付部１８５は、位置情報に基づいて画像上の位置を算出する。表示制御部１８４は、情報受付部１８５によって算出された位置にカーソルを表示する。

選択部１８６は、図１に示す選択部７１の機能を持つ。位置情報が表示された後、選択部１８６は、２つ以上の位置に含まれる少なくとも１つの位置を選択する。これにより、選択部１８６は、物体を含む３Ｄ空間における少なくとも１つの３次元位置（３Ｄ位置）を選択する。選択部１８６によって選択された３Ｄ位置は、３Ｄデータに含まれる３Ｄ座標と対応する。つまり、その３Ｄ位置は、３Ｄデータに含まれる点と対応する。

データ処理部１８７は、図１に示すデータ処理部７２の機能を持つ。データ処理部１８７は、メタデータを処理する。データ処理部１８７によって生成されたメタデータは、ＰＣ４１内の記録媒体またはメモリカード４２に記憶される。

図７を使用することにより、第２の実施形態におけるデータ処理について説明する。図７は、データ処理の手順を示す。

検査が開始されたとき、ユーザーは操作部４を操作することにより、撮影を開始するための開始指示を内視鏡装置１に入力する。情報受付部１８５は、開始指示を受け付ける。これにより、動画を取得するための撮影が開始される。

撮像素子２８は連続的に撮像信号を生成する。つまり、撮像素子２８は、ライブ画像と対応する各フレームの撮像信号を生成する。画像処理部１８１は、撮像信号を処理し、動画の各フレームを生成する。表示制御部１８４は、映像信号処理回路１２を制御することによりライブ画像を表示部５に表示する（ステップＳ１０１）。ライブ画像は、所定のフレームレートで順次更新される。

ライブ画像が表示部５に表示されている間、ユーザーはライブ画像を観察する。被写体において傷などの領域が発見された場合、ユーザーは、操作部４を操作することにより、静止画を記録するための記録指示を内視鏡装置１に入力する。情報受付部１８５は、記録指示を受け付ける。画像処理部１８１は、ステップＳ１０１において生成されたフレームに基づいて静止画を生成する。例えば、画像処理部１８１は、フレームを所定の圧縮率で圧縮し、静止画を生成する。画像処理部１８１は、生成された静止画をＰＣ４１内の記録媒体またはメモリカード４２に記録する（ステップＳ１０２）。ユーザーが記録指示を内視鏡装置１に入力していない場合、ステップＳ１０２が実行される必要はない。

画像処理部１８１は、ステップＳ１０１において生成されたフレームを使用することにより静止画を生成する。静止画は、被写体の２Ｄ画像である。静止画が取得されたタイミングは、フレームが取得されたタイミングと同じである。静止画の構図は、フレームの構図と同じである。時刻情報が静止画およびフレームに付加されている。時刻情報は、撮影時刻を示す。静止画とフレームとは、時刻情報によって互いに関連付けられている。静止画の時刻情報が示す時刻は、その静止画と関連付けられているフレームの時刻情報が示す時刻と同じである。

一般的に、静止画の圧縮率は動画のフレームの圧縮率と異なる。そのため、厳密には、静止画はフレームと異なる。以下では、説明を簡単にするために静止画がフレームと同じであると仮定する。

後述する方法を使用することによりフラグがフレームに付加され、かつそのフレームが静止画として使用される場合、静止画とフレームとは、フラグによって互いに関連付けられている。静止画における点の２Ｄ座標と、フレームにおける点の２Ｄ座標とは、互いに関連付けられている。

静止画がフレームと同じであるため、静止画における点の２Ｄ座標は、フレームにおける点の２Ｄ座標と同じである。３Ｄデータがフレームにおける点の２Ｄ座標を含むため、３Ｄデータは静止画における点の２Ｄ座標を含む。この関係により、静止画は３Ｄデータに含まれる３Ｄ座標と関連付けられている。

静止画がフレームと同じであるため、静止画のカメラ座標はフレームのカメラ座標と同じである。３Ｄデータがフレームのカメラ座標を含むため、３Ｄデータは静止画のカメラ座標を含む。この関係により、静止画は３Ｄデータに含まれる３Ｄ座標と関連付けられている。

ステップＳ１０２の後、制御部１８０は、撮影を終了するか否かを判断する（ステップＳ１０３）。例えば、ユーザーは操作部４を操作することにより、撮影を終了するための終了指示を内視鏡装置１に入力する。情報受付部１８５は、終了指示を受け付ける。このとき、制御部１８０は、撮影を終了すると判断する。情報受付部１８５が終了指示を受け付けていないとき、制御部１８０は、撮影を終了しないと判断する。撮影はバックグラウンドで実行されてもよい。

撮影を終了しないと制御部１８０がステップＳ１０３において判断した場合、ステップＳ１０１が実行される。撮影が終了するまで、撮像素子２８はライブ画像を取得し続け、かつ表示制御部１８４はライブ画像を表示部５に表示し続ける。撮影を終了すると制御部１８０がステップＳ１０３において判断した場合、画像処理部１８１は、動画のファイルをＰＣ４１内の記録媒体またはメモリカード４２に記録する。これにより、撮影が終了する。つまり、検査が終了する。

撮影が終了した後、３Ｄデータ生成部１８２は、被写体の１枚以上の２Ｄ画像に基づいて被写体上の２つ以上の点の３Ｄ座標を算出し、かつその２つ以上の点の３Ｄ座標を含む３Ｄデータを生成する。この例では、３Ｄデータ生成部１８２は、動画のみを使用するＳＬＡＭを実行することにより、３Ｄデータを生成する。３Ｄデータ生成部１８２は、３ＤデータをＰＣ４１内の記録媒体またはメモリカード４２に記録する（ステップＳ１０４）。

ユーザーは操作部４を操作することにより、３Ｄデータを生成するための生成指示を内視鏡装置１に入力してもよい。情報受付部１８５は、生成指示を受け付けてもよい。このとき、３Ｄデータ生成部１８２は３Ｄデータを生成してもよい。

撮影が実行されている間に、３Ｄデータ生成部１８２は３Ｄデータを順次生成してもよい。この場合、３Ｄデータが生成されるまでユーザーが待つ時間は短い。

ステップＳ１０４の後、データ取得部１８３は、ＰＣ４１内の記録媒体またはメモリカード４２にアクセスし、３Ｄデータおよび静止画をその記録媒体またはメモリカード４２から取得する（ステップＳ１０５）。

ステップＳ１０５の後、表示制御部１８４は、３Ｄデータに基づいて３Ｄ画像を表示部５に表示し、かつ１枚以上の静止画を表示部５に表示する（ステップＳ１０６）。ステップＳ１０６は、情報表示ステップと対応する。３Ｄ画像の各画素は、３Ｄデータに含まれる３Ｄ座標と関連付けられている。

図８は、ステップＳ１０６において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ１０、静止画ＩＭＧ１０、静止画ＩＭＧ１１、および静止画ＩＭＧ１２を表示部５に表示する。３Ｄ画像ＰＲ１０は、被写体ＯＢ１０の３Ｄ形状を示す。被写体ＯＢ１０は点群として表示される。

３Ｄ画像ＰＲ１０において白い領域には点群が存在しない。３Ｄデータは、その領域における点の３Ｄ座標を含まない。

表示制御部１８４は、点Ｐ１０、点Ｐ１１、および点Ｐ１２を表示部５に表示する。各点は、３Ｄ画像ＰＲ１０に重畳されている。所定のマークが各点の位置に表示される。各点は、静止画を取得したカメラの位置を示す。前述したように、３Ｄデータは、静止画のカメラ座標を含む。

点Ｐ１０は、静止画ＩＭＧ１０を取得したカメラの位置を示す。点Ｐ１１は、静止画ＩＭＧ１１を取得したカメラの位置を示す。点Ｐ１２は、静止画ＩＭＧ１２を取得したカメラの位置を示す。表示部５に表示された画像において、点Ｐ１０、点Ｐ１１、および点Ｐ１２の各々は、静止画と線で接続されている。そのため、ユーザーは、各静止画が取得された位置を把握することができる。

ユーザーが被写体（パイプなど）の設計図面を持っていない、または設計図面が紙である場合がある。そのような場合、ユーザーは設計図面のデータを持っていない。あるいは、パイプの施工が設計通りに実施されず、パイプの実際の構造が設計された構造と異なる場合がある。これらの場合、ユーザーは、撮像素子２８によって取得された２Ｄ画像に基づいて検査位置を把握することが困難である。３Ｄデータが表示されるため、ユーザーは被写体の全体における検査位置を容易に把握することができる。

ステップＳ１０６の後、選択部１８６は、３Ｄデータに含まれる２つ以上の点の少なくとも１つを選択する。これにより、選択部１８６は、１つ以上の３Ｄ位置を選択する。さらに、選択部１８６は、その１つ以上の３Ｄ位置と関連付けられている１枚以上の静止画を選択する（ステップＳ１０７）。ステップＳ１０７は、位置選択ステップと対応する。

図９は、ステップＳ１０７において表示部５に表示された画像の例を示す。図８に示す部分と同じ部分の説明を省略する。

ユーザーは、検査の内容を記録するための被写体の領域を選択する。ユーザーは、操作部４を操作することにより、図９に示す領域ＲＧ１０を選択する。具体的には、ユーザーは、操作部４を操作することにより、３Ｄ画像ＰＲ１０上の位置を選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける。選択指示は、３Ｄ画像ＰＲ１０上の位置を示す。

カーソルが３Ｄ画像上に表示される例では、ユーザーは、カーソルを３Ｄ画像上の所望の位置に移動させ、かつドラッグ等の操作を実行する。このとき、情報受付部１８５は、その位置を受け付ける。表示部５がタッチパネルである例では、ユーザーは表示部５の画面をタッチし、かつピンチ操作等の操作を実行する。このとき、情報受付部１８５は、その操作を通して指定された位置を受け付ける。

選択部１８６は、選択指示が示す位置と対応する３Ｄ位置を特定する。図９に示す例では、選択部１８６は、選択指示に基づいて、領域ＲＧ１０に含まれる３Ｄ位置を選択する。領域ＲＧ１０は、視線方向の奥行きを持つ。３Ｄデータは、３Ｄ位置の３Ｄ座標を含む。３Ｄデータは、３Ｄデータを生成するための２Ｄ画像における１つ以上の点の２Ｄ座標を含む。静止画がフレームと同じであるため、３Ｄデータは静止画における点の２Ｄ座標を含む。３Ｄデータにおいて３Ｄ座標および２Ｄ座標は互いに関連付けられている。選択部１８６は、選択された３Ｄ位置と関連付けられている２Ｄ座標を持つ静止画を選択する。

図９に示す例では、静止画ＩＭＧ１０および静止画ＩＭＧ１１の各々における点の２Ｄ座標は、領域ＲＧ１０における３Ｄ座標と関連付けられている。そのため、選択部１８６は、静止画ＩＭＧ１０および静止画ＩＭＧ１１を選択する。

３Ｄデータは、カメラ座標を含む。静止画がフレームと同じであるため、３Ｄデータは静止画のカメラ座標を含む。選択部１８６は、領域ＲＧ１０に含まれる静止画のカメラ座標を特定してもよい。選択部１８６は、特定されたカメラ座標と関連付けられている静止画を選択してもよい。図９に示す例では、点Ｐ１０および点Ｐ１１が領域ＲＧ１０に含まれる。そのため、選択部１８６は、点Ｐ１０および点Ｐ１１を選択してもよい。選択部１８６は、点Ｐ１０と関連付けられている静止画ＩＭＧ１０を選択してもよく、かつ点Ｐ１１と関連付けられている静止画ＩＭＧ１１を選択してもよい。

表示制御部１８４は、領域ＲＧ１０を表示部５に表示する。図９に示す例では、表示制御部１８４は、領域ＲＧ１０を示す枠を表示部５に表示する。これにより、表示制御部１８４は、選択部１８６によって選択された１つ以上の３Ｄ位置を表示部５に表示する。ユーザーは、選択された領域ＲＧ１０の位置を把握することができる。表示制御部１８４が領域ＲＧ１０を表示せずにユーザーが領域ＲＧ１０の位置を覚えてもよい。

表示制御部１８４は、領域ＲＧ１０と対応する３Ｄ位置を第１の色で表示してもよく、かつ領域ＲＧ１０に含まれない領域と対応する３Ｄ位置を第１の色と異なる第２の色で表示してもよい。つまり、表示制御部１８４は、領域ＲＧ１０と対応する３Ｄ位置と、領域ＲＧ１０に含まれない領域と対応する３Ｄ位置とを互いに異なる色で表示してもよい。

表示制御部１８４は、静止画ＩＭＧ１０および静止画ＩＭＧ１１を強調表示する。例えば、表示制御部１８４は、静止画ＩＭＧ１０および静止画ＩＭＧ１１の各々の周囲に枠を表示する。ユーザーは、ステップＳ１０７において選択された位置で取得された静止画を容易に確認することができる。

選択部１８６は、静止画が領域ＲＧ１０と対応する３Ｄ位置と関連付けられているか否かを判断してもよい。１枚以上の静止画がその３Ｄ位置と関連付けられている場合、選択部１８６は、その１枚以上の静止画を選択してもよい。その３Ｄ位置と関連付けられている静止画が存在しない場合、図７に示す処理が終了してもよい。あるいは、表示制御部１８４が警告を表示部５に表示してもよく、ユーザーは、３Ｄ画像ＰＲ１０上の位置を再度選択してもよい。

ステップＳ１０７の後、データ処理部１８７は、ステップＳ１０７において選択された静止画のメタデータを処理する（ステップＳ１０８）。ステップＳ１０８は、データ処理ステップと対応する。ステップＳ１０８が実行されたとき、データ処理が終了する。

例えば、データ処理部１８７は、フォルダをＰＣ４１内の記録媒体またはメモリカード４２に生成する。データ処理部１８７は、選択された１つ以上の３Ｄ位置と関連付けられている１枚以上の静止画をそのフォルダに保存する。データ処理部１８７は、そのフォルダの名称（ファイルパス）をメタデータに記録する。

データ処理部１８７は、選択された１つ以上の３Ｄ位置と関連付けられている１枚以上の静止画のファイル名を変更してもよい。この場合、メタデータは静止画のファイル名である。例えば、データ処理部１８７は、共通の文字または数字を２枚以上の静止画のファイル名に追加してもよい。データ処理部１８７は、２枚以上の静止画のファイル名が規則的となるように各静止画のファイル名を変更してもよい。例えば、その２枚以上の静止画のファイル名の少なくとも一部が、連続する番号に変更される。このように、データ処理部１８７は、２枚以上の静止画のメタデータを同時に処理してもよい。

データ処理部１８７は、選択された１つ以上の３Ｄ位置と関連付けられている１枚以上の静止画を削除してもよい。データ処理部１８７は、その１枚以上の静止画を圧縮してもよい。データ処理部１８７は、その１枚以上の静止画を外部サーバへ転送してもよい。

上記の例では、図１に示すデータ処理装置７は、内視鏡装置１と対応する。データ処理装置７は、内視鏡装置１と異なる装置であってもよい。例えば、データ処理装置７は、ＰＣ４１のような外部装置であってもよい。データ処理装置７が外部装置である場合、内視鏡装置１がステップＳ１０１からステップＳ１０４を実行し、かつ外部装置がステップＳ１０５からステップＳ１０８を実行する。したがって、データ処理装置７がステップＳ１０１からステップＳ１０４を実行する必要はない。

静止画を生成する方法の他の例を説明する。以下の例では、動画のフレームが静止画として使用される。

ユーザーが検査において特徴領域を発見したとき、ユーザーは、操作部４を操作することにより、動画のフレームを指定するためのフレーム指示を内視鏡装置１に入力する。例えば、特徴領域は、傷が存在する領域である。特徴領域は、所定の形状または所定の色を持つ領域であってもよい。情報受付部１８５は、フレーム指示を受け付ける。画像処理部１８１は、ステップＳ１０１において、フレーム指示が受け付けられたか否かを判断する。

フレーム指示が受け付けられたと画像処理部１８１が判断した場合、画像処理部１８１は、生成されたフレームにフラグを付加する。そのフラグは、そのフレームに実行される処理の内容を示す処理情報として機能する。そのフラグは、生成されたフレームが静止画として使用されることを示す。そのフラグは動画のファイルに含まれる。フレーム指示が受け付けられていないと画像処理部１８１が判断した場合、画像処理部１８１は、生成されたフレームにフラグを付加しない。

この例では、ステップＳ１０２が実行される必要はない。データ取得部１８３がステップＳ１０５において静止画を取得するとき、データ取得部１８３は、フラグが付加されているフレームを静止画として取得する。

検査において場面が変化したとき、ユーザーは、操作部４を操作することによりフレーム指示を内視鏡装置１に入力してもよい。図１０は、被写体の例を示す。図１０に示す被写体ＯＢ１１は、領域ＲＧ１１、領域ＲＧ１２、領域ＲＧ１３、領域ＲＧ１４、および領域ＲＧ１５を含む。領域ＲＧ１１、領域ＲＧ１３、および領域ＲＧ１５の各々は、被写体における直線状の領域である。領域ＲＧ１２および領域ＲＧ１４の各々は、曲がり角である。

挿入部２の先端２０が、隣接する２つの領域の間で移動したとき、場面が変化する。例えば、領域ＲＧ１１および領域ＲＧ１２の間で場面が変化する。ユーザーは、表示部５に表示されたライブ画像に基づいて場面の変化に気付くことができる。フレームに付加されているフラグは、場面の変化を示す。

データ取得部１８３がステップＳ１０５において静止画を取得するとき、データ取得部１８３は、フラグが付加されているフレームを静止画として取得する。あるいは、データ取得部１８３は、フラグが付加されているフレームと、他のフラグが付加されている他のフレームとの間のフレームを静止画として取得する。

画像処理部１８１は、フレームを処理し、かつフレームの処理結果に基づいてそのフレームにフラグを付加してもよい。例えば、画像処理部１８１は、そのフレームに写っている特徴領域を検出してもよい。特徴領域が検出された場合、画像処理部１８１はフラグをそのフレームに付加してもよい。画像処理部１８１は、連続する２枚以上のフレームに基づいて場面の変化を検出してもよい。場面の変化が検出された場合、画像処理部１８１はフラグをその２枚以上のフレームのいずれか１枚に付加してもよい。

動画のフレームが静止画として使用される場合、静止画は、３Ｄデータを生成するための２枚以上のフレームのいずれか１枚と同じである。静止画がフレームと同じであるため、静止画における点の２Ｄ座標は、フレームにおける点の２Ｄ座標と同じである。３Ｄデータがフレームにおける点の２Ｄ座標を含むため、３Ｄデータは静止画における点の２Ｄ座標を含む。静止画は３Ｄデータに含まれる３Ｄ座標と関連付けられている。

静止画を生成する方法の他の例を説明する。以下では、静止画は、動画に含まれる２枚以上のフレームを使用するＳｆＭを実行することにより生成される。

３Ｄデータ生成部１８２は、ステップＳ１０４を実行する。また、ステップＳ１０４の前または後に、３Ｄデータ生成部１８２は以下の処理を実行する。

３Ｄデータ生成部１８２は、動画に含まれる２枚以上のフレームのうちの少なくとも２枚を使用するＳｆＭを実行する。３Ｄデータ生成部１８２は、被写体上の２つ以上の点の３Ｄ座標を算出し、かつその２つ以上の点の３Ｄ座標を含む静止画を生成する。生成された静止画は、３Ｄデータと同様のデータである。この例では、ステップＳ１０２が実行される必要はない。

３Ｄデータ生成部１８２は、動画に含まれる２枚以上のフレームの全てを使用する必要はない。３Ｄデータ生成部１８２は、動画に含まれる２枚以上のフレームの一部を使用し、かつＳｆＭを実行する。ステップＳ１０４において生成された３Ｄデータは、被写体における第１の領域の３Ｄ座標を含む。上記の方法を使用することにより生成された静止画は、被写体における第２の領域の３Ｄ座標を含む。３Ｄデータを生成するためにＳＬＡＭが使用され、かつ静止画を使用するためにＳｆＭが使用される例では、静止画における第２の領域に含まれる点の密度は、３Ｄデータにおける第１の領域に含まれる点の密度よりも高い。

３Ｄデータに含まれる３Ｄ座標と、その３Ｄ座標を算出するために使用されたフレームとは、互いに関連付けられている。ＳｆＭを使用することによりフレームから静止画が生成された場合、静止画と、その静止画の生成に使用されたフレームとが互いに関連付けられている。３Ｄデータに含まれる３Ｄ座標と、静止画との各々がフレームと関連付けられているため、その３Ｄ座標と静止画とが互いに関連付けられている。この関係により、静止画は３Ｄデータに含まれる３Ｄ座標と関連付けられている。

３Ｄデータ生成部１８２が、ＳｆＭを使用することによりフレームから静止画を生成するとき、その静止画は、そのフレームを取得したカメラの３Ｄ座標（カメラ座標）と関連付けられる。３Ｄデータに含まれる３Ｄ座標と、カメラ座標との各々がフレームと関連付けられているため、その３Ｄ座標とカメラ座標とが互いに関連付けられている。この関係により、静止画は３Ｄデータに含まれる３Ｄ座標と関連付けられている。

３Ｄデータ生成部１８２は、静止画のカメラ座標と対応する３Ｄ座標を算出する。例えば、３Ｄデータ生成部１８２は、静止画を生成するための２枚以上のフレームのカメラ座標のうち代表的なカメラ座標を選択する。例えば、代表的なカメラ座標は、２枚以上のフレームのうち最初に取得されたフレームのカメラ座標である。代表的なカメラ座標は、２枚以上のフレームのカメラ座標の重心座標であってもよい。３Ｄデータ生成部１８２は、静止画に写っている点群が視野に収まるようなカメラ座標を算出してもよい。

内視鏡装置１がステップＳ１０１からステップＳ１０４を実行してもよく、かつ外部装置が、ＳｆＭを使用することにより静止画を生成し、ステップＳ１０５からステップＳ１０８を実行してもよい。

メタデータを処理する方法の他の例を説明する。以下では、動画に含まれるフラグを使用する例を説明する。

データ処理部１８７は、場面毎に用意されたフォルダに静止画を保存する。例えば、所定のフレームの前の１枚以上のフレームが静止画として使用され、かつ所定のフレームの後の１枚以上のフレームが静止画として使用される。フラグがその所定のフレームに付加されている。そのフラグは、場面の変化を示す。データ処理部１８７は、そのフラグが付加されたフレームを検出する。データ処理部１８７は、検出されたフレームの前の１枚以上の静止画を第１のフォルダに保存する。データ処理部１８７は、検出されたフレームの後の１枚以上の静止画を第１のフォルダと異なる第２のフォルダに保存する。

表示制御部１８４は、そのフラグと対応する情報を３Ｄ画像に重畳してもよい。例えば、表示制御部１８４は、そのフラグが付加されている位置を示す情報を３Ｄ画像に重畳してもよい。あるいは、表示制御部１８４は、そのフラグが付加されている位置で区切られた２つ以上の領域を互いに異なる色で表示してもよい。ユーザーは、場面が変化した位置を確認することができる。

３次元画像の他の例を説明する。図１１は、ステップＳ１０６において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ１１、静止画ＩＭＧ１３、静止画ＩＭＧ１４、静止画ＩＭＧ１５、および静止画ＩＭＧ１６を表示部５に表示する。３Ｄ画像ＰＲ１１は、被写体ＯＢ１２の３Ｄ形状を示す。被写体ＯＢ１２は、テクスチャが付加されている３Ｄ形状として表示される。

表示制御部１８４は、点Ｐ１３、点Ｐ１４、点Ｐ１５、および点Ｐ１６を表示部５に表示する。各点は、３Ｄ画像ＰＲ１０に重畳されている。所定のマークが各点の位置に表示される。点Ｐ１３は、静止画ＩＭＧ１３を取得したカメラの位置を示す。点Ｐ１４は、静止画ＩＭＧ１４を取得したカメラの位置を示す。点Ｐ１５は、静止画ＩＭＧ１５を取得したカメラの位置を示す。点Ｐ１６は、静止画ＩＭＧ１６を取得したカメラの位置を示す。

挿入部２の先端２０が高速に移動する場合または模様が被写体の表面にない場合、ＳＬＡＭまたはＳｆＭを使用することにより生成された３Ｄデータに、被写体の一部と対応するデータが含まれない可能性がある。つまり、３Ｄデータにおいて被写体の一部と対応するデータが欠落している可能性がある。

図１１は、３Ｄデータにおいてデータが欠落している例を示す。被写体ＯＢ１２は、領域ＯＢ１２ａ、領域ＯＢ１２ｂ、領域ＯＢ１２ｃ、および領域ＯＢ１２ｄを含む。つまり、被写体ＯＢ１２は４つの領域に分割されている。領域ＯＢ１２ａと領域ＯＢ１２ｂとの間の領域と対応するデータが欠落している。領域ＯＢ１２ｂと領域ＯＢ１２ｃとの間の領域と対応するデータが欠落している。領域ＯＢ１２ｃと領域ＯＢ１２ｄとの間の領域と対応するデータが欠落している。以下では、データが欠落している領域をデータ欠落領域と呼ぶ。

３Ｄデータ生成部１８２は、ステップＳ１０４においてデータ欠落領域における点群の３Ｄ座標を算出できない。３Ｄデータ生成部１８２は、ステップＳ１０４においてデータ欠落領域におけるカメラ座標を算出できない。３Ｄデータは、データ欠落領域における点群の３Ｄ座標を含まない。そのため、データ欠落領域の３Ｄ形状は表示されない。

図１１に示す例と同様に３Ｄ画像において被写体の領域が複数の領域に分割される場合、表示制御部１８４は、互いに近い２つの領域の形状に基づいて２つの領域の位置関係を推定する。例えば、領域ＯＢ１２ａおよび領域ＯＢ１２ｂの各々が直線状の領域であるため、表示制御部１８４は、領域ＯＢ１２ａおよび領域ＯＢ１２ｂの間に直線状のデータ欠落領域があると判断する。

表示制御部１８４は、互いに近い２つの領域の間のデータ欠落領域の長さを推定する。例えば、表示制御部１８４は、その２つの領域を生成するための動画のフレームの時間情報に基づいて、データ欠落領域の長さを推定する。例えば、表示制御部１８４は、領域ＯＢ１２ａと領域ＯＢ１２ｂとの間のデータ欠落領域の長さを推定する。表示制御部１８４は、データ欠落領域の長さを考慮して領域ＯＢ１２ａおよび領域ＯＢ１２ｂを表示する。

３Ｄデータは、領域ＯＢ１２ａ、領域ＯＢ１２ｂ、領域ＯＢ１２ｃ、および領域ＯＢ１２ｄの各々における点群の３Ｄ座標を含む。また、３Ｄデータは、点Ｐ１３、点Ｐ１４、点Ｐ１５、および点Ｐ１６の各々の３Ｄ座標を含む。例えば、３Ｄデータ生成部１８２は、ステップＳ１０４において点Ｐ１３、点Ｐ１４、および点Ｐ１６の各々の３Ｄ座標を算出する。

カメラがデータ欠落領域に位置しているとき、カメラは静止画ＩＭＧ１５を取得する。３Ｄデータ生成部１８２は、ステップＳ１０４において静止画ＩＭＧ１５のカメラ座標を算出できない。３Ｄデータは、静止画ＩＭＧ１５のカメラ座標を含まない。

３Ｄデータ生成部１８２は、３Ｄデータを生成するための２Ｄ画像の時刻情報を使用し、かつ静止画の時刻情報を使用することにより、データ欠落領域における静止画のカメラ座標を算出する。例えば、静止画ＩＭＧ１５の時刻情報は、第１の時刻情報が示す時刻ｔ１と、第２の時刻情報が示す時刻ｔ２との間の時刻ｔ３を示す。第１の時刻情報は、第１の２Ｄ画像が取得された時刻ｔ１を示す。第１の２Ｄ画像は、領域ＯＢ１２ｃにおける点の３Ｄ座標を算出するために使用される。第２の時刻情報は、第２の２Ｄ画像が取得された時刻ｔ２を示す。第２の２Ｄ画像は、領域ＯＢ１２ｄにおける点の３Ｄ座標を算出するために使用される。領域ＯＢ１２ｃおよび領域ＯＢ１２ｄは、データ欠落領域と隣接する。

３Ｄデータ生成部１８２は、時刻ｔ１、時刻ｔ２、および時刻ｔ３に基づいて静止画ＩＭＧ１５のカメラ座標を算出する。第１の２Ｄ画像は、領域ＯＢ１２ｃにおける第１の３Ｄ座標と関連付けられている。第２の２Ｄ画像は、領域ＯＢ１２ｄにおける第２の３Ｄ座標と関連付けられている。例えば、時刻ｔ１と時刻ｔ３との間の期間の長さはＴ１３であり、かつ時刻ｔ２と時刻ｔ３との間の期間の長さはＴ２３である。３Ｄデータ生成部１８２は、長さＴ１３および長さＴ２３に基づいて静止画ＩＭＧ１５のカメラ座標を算出する。

具体的には、３Ｄデータ生成部１８２は、以下の式（１）を使用することにより、カメラ座標に含まれるＸ座標Ｘｃを算出する。式（１）におけるＸ座標Ｘ１は、第１の３Ｄ座標に含まれる。式（１）におけるＸ座標Ｘ２は、第２の３Ｄ座標に含まれる。３Ｄデータ生成部１８２は、式（１）と同様の式を使用することにより、カメラ座標に含まれるＹ座標およびＺ座標を算出する。静止画ＩＭＧ１５のカメラ座標が算出された後、３Ｄデータはそのカメラ座標を含んでもよい。
Ｘｃ＝Ｘ１＋（Ｘ２－Ｘ１）×（Ｔ１３－Ｔ２３）／Ｔ１３ （１）

ユーザーが図１１に示す領域ＲＧ１６を選択したとき、選択部１８６は、領域ＲＧ１６に含まれる位置と対応する３Ｄ位置を特定する。選択部１８６は、特定された３Ｄ位置に含まれるカメラ位置を選択する。３Ｄデータは、点Ｐ１３、点Ｐ１４、および点Ｐ１６の各々のカメラ座標を含む。点Ｐ１３および点Ｐ１４が領域ＲＧ１６に含まれるため、選択部１８６は、点Ｐ１３および点Ｐ１４を選択する。

３Ｄデータは、点Ｐ１５の３Ｄ座標を含まない。点Ｐ１５は領域ＲＧ１６に含まれる。選択部１８６は、３Ｄデータ生成部１８２によって算出された３Ｄ座標を持つ点Ｐ１５を選択する。したがって、選択部１８６は、領域ＲＧ１６に含まれる点Ｐ１３、点Ｐ１４、および点Ｐ１５を選択する。データ処理部１８７は、選択部１８６によって選択された各点と関連付けられている静止画のメタデータを処理する。

本発明の各態様は次の変形例を含んでもよい。１枚以上の静止画は、物体を撮影することにより生成された動画の１枚以上のフレームと対応する。

本発明の各態様は次の変形例を含んでもよい。１枚以上の静止画は、２つ以上の点の３Ｄ座標を可視化する。２つ以上の点の３Ｄ座標は、物体を撮影することにより生成された２枚以上の画像にＳｆＭを適用することにより算出される。

本発明の各態様は次の変形例を含んでもよい。２枚以上のフレームに含まれる少なくとも１枚のフレームにフラグが付加されている。２枚以上のフレームは、物体を撮影することにより生成された動画に含まれる。２枚以上のフレームのうちフラグが付加されている１枚以上のフレームが１枚以上の静止画として選択される。

本発明の各態様は次の変形例を含んでもよい。物体を含む３Ｄ空間内の２つ以上の位置は、１枚以上の静止画に含まれる第２の静止画（静止画ＩＭＧ１５）が取得された第２の位置（点Ｐ１５）を含まない。選択部１８６は、位置選択ステップ（ステップＳ１０７）において、推定された第２の位置を選択する。処理ステップ（ステップＳ１０８）において処理されたメタデータは、選択された第２の位置で取得された第２の静止画と関連付けられている。

本発明の各態様は次の変形例を含んでもよい。１枚以上の静止画は、第１の装置によって生成される。位置データ（３Ｄデータ）は、第１の装置と異なる第２の装置によって生成される。例えば、第１の装置は内視鏡装置１であってもよく、かつ第２の装置はＰＣ４１であってもよい。

本発明の各態様は次の変形例を含んでもよい。位置データ（３Ｄデータ）は、物体を撮影することにより生成された２枚以上の画像にＳＬＡＭを適用することにより生成される。

本発明の各態様は次の変形例を含んでもよい。２枚以上の画像は、アクティブステレオ法の原理に基づいて生成される。

本発明の各態様は次の変形例を含んでもよい。単眼光学系が、２枚以上の画像を生成するための撮影に使用される。単眼光学系は、１つの視野と対応する。

本発明の各態様は次の変形例を含んでもよい。ステレオ光学系が、２枚以上の画像を生成するための撮影に使用される。ステレオ光学系は、互いに異なる第１の視野および第２の視野と対応する。２枚以上の画像は、第１の視野内で捕らえられた物体の２枚以上の画像と、第２の視野内で捕らえられた物体の２枚以上の画像と対応する。

本発明の各態様は次の変形例を含んでもよい。１枚以上の静止画は、内視鏡（撮像素子２８）が物体を撮影したときに内視鏡によって取得される。

第２の実施形態において、内視鏡装置１は、被写体の３Ｄ画像を表示部５に表示する。ユーザーは、３Ｄ画像において検査対象の領域を直感的に把握することができ、かつその領域を容易に選択することができる。内視鏡装置１は、ユーザーによって選択された領域の静止画と関連付けられているメタデータを処理する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。

（第２の実施形態の第１の変形例）
本発明の第２の実施形態の第１の変形例を説明する。内視鏡装置１は、ユーザーが情報を入力するための情報入力ウィンドウを表示する。内視鏡装置１は、情報入力ウィンドウに入力された情報に基づいてメタデータを処理する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

表示制御部１８４は、１つ以上の項目を含む情報入力ウィンドウ（入力フォーマット）を表示部５に表示する（フォーマット表示ステップ）。１つ以上の項目に含まれる少なくとも１つの項目の内容が入力フォーマットに入力されたとき、データ処理部１８７は、処理ステップにおいて、その内容に基づいてメタデータを処理する。

ユーザーは、メタデータの処理に必要な情報を情報入力ウィンドウに入力する。内視鏡装置１は、グラフィカルユーザーインタフェース（ＧＵＩ）の機能を持つ。ユーザーは、ＧＵＩを使用する操作を実行することにより、情報（テキスト）を情報入力ウィンドウに入力する。例えば、情報入力ウィンドウに含まれる項目の種類は、ＲＯＭ１３に記録されているプログラムに含まれる。

図１２を使用することにより、第２の実施形態の第１の変形例におけるデータ処理について説明する。図１２は、データ処理の手順を示す。図１２は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図７に示す処理と同じ処理の説明を省略する。

ステップＳ１０７の後、表示制御部１８４は情報入力ウィンドウを表示部５に表示する（ステップＳ１１１）。ステップＳ１１１は、フォーマット表示ステップと対応する。

図１３は、ステップＳ１１１において表示部５に表示された情報入力ウィンドウの例を示す。図１３に示す情報入力ウィンドウＷ１０は、項目ＩＴ１０、項目ＩＴ１１、項目ＩＴ１２、項目ＩＴ１３、項目ＩＴ１４、項目ＩＴ１５、および項目ＩＴ１６を含む。

項目ＩＴ１０は、検査対象を示す。検査対象は、航空機エンジン、パイプ、または熱交換チューブなどである。項目ＩＴ１１は、検査される部位を示す。その部位は、航空機エンジンのノズルガイドベーン、パイプの直線部分、または熱交換チューブの直線部分などである。項目ＩＴ１２は、検査結果を示す。例えば、検査結果は、異常が存在しないこと、または許容される異常が存在することを示す。あるいは、検査結果は、異常が存在すること、または許容されない異常が存在することを示す。項目ＩＴ１３は、コメントを示す。項目ＩＴ１４は、検査結果を報告するためのレポートに静止画を添付するか否かを示す。項目ＩＴ１５は、過去の検査において生成されたデータ（静止画など）をレポートに添付するか否かを示す。項目ＩＴ１６は、３Ｄデータをレポートに添付するか否かを示す。

情報入力ウィンドウＷ１０は、図１３に示す７個の項目の全てを含む必要はない。情報入力ウィンドウＷ１０は、図１３に示す７個の項目の１個以上を含んでもよい。情報入力ウィンドウＷ１０は、図１３に示す７個の項目以外の項目を含んでもよい。

情報入力ウィンドウがステップＳ１１１において表示されたとき、各項目の名称は表示されているが、各項目の内容は入力されていない。情報入力ウィンドウが表示された後、ユーザーは、操作部４を操作することにより、各項目の内容を内視鏡装置１に入力する。情報受付部１８５は、内視鏡装置１に入力された内容を受け付ける。これにより、情報受付部１８５は、情報入力ウィンドウに入力された情報を取得する（ステップＳ１１２）。

ステップＳ１１２の後、データ処理部１８７は、ステップＳ１０８において静止画のメタデータを処理する。その静止画は、ステップＳ１０７において選択された１つ以上の３Ｄ位置と関連付けられている。

例えば、データ処理部１８７は、フォルダをＰＣ４１内の記録媒体またはメモリカード４２に生成する。そのフォルダの名称は、項目ＩＴ１０に入力された検査対象の名称、または項目ＩＴ１１に入力された部位の名称を含む。データ処理部１８７は、静止画をそのフォルダに保存する。データ処理部１８７は、そのフォルダの名称（ファイルパス）をメタデータに記録する。

データ処理部１８７は、項目ＩＴ１２に入力された検査結果または項目ＩＴ１３に入力されたコメントに基づいて静止画のファイル名を変更する。例えば、データ処理部１８７は、静止画のファイル名を、所定の文字列を含むファイル名に変更する。その所定の文字列は、検査結果またはコメントの内容を示す。データ処理部１８７は、変更されたファイル名をメタデータに記録する。

第１の情報および第２の情報のいずれか１つが項目ＩＴ１４に入力される。第１の情報は、静止画をレポートに添付することを示す。第１の情報は、静止画をレポートに添付しないことを示す。データ処理部１８７は、第１の情報または第２の情報をメタデータに記録する。

第３の情報および第４の情報のいずれか１つが項目ＩＴ１５に入力される。第３の情報は、過去のデータをレポートに添付することを示す。第４の情報は、過去のデータをレポートに添付しないことを示す。データ処理部１８７は、第３の情報または第４の情報をメタデータに記録する。

第５の情報および第６の情報のいずれか１つが項目ＩＴ１６に入力される。第５の情報は、３Ｄデータをレポートに添付することを示す。第６の情報は、３Ｄデータをレポートに添付しないことを示す。データ処理部１８７は、第５の情報または第６の情報をメタデータに記録する。

レポートの生成が実行されるとき、メタデータに記録された第１から第６の情報が使用される。第１の情報がメタデータに含まれる場合、静止画がレポートに添付される。第３の情報がメタデータに含まれる場合、過去のデータがレポートに添付される。第５の情報がメタデータに含まれる場合、３Ｄデータがレポートに添付される。

静止画が、ステップＳ１０７において選択された１つ以上の３Ｄ位置と関連付けられており、かつデータがその静止画のメタデータに既に記録されている場合がある。その場合、そのメタデータに記録されているデータがステップＳ１１１において情報入力ウィンドウに表示されてもよい。ユーザーは、情報入力ウィンドウに表示されたデータを修正してもよい。データ処理部１８７は、情報入力ウィンドウに入力された情報に基づいて、メタデータに含まれるデータを修正してもよい。

ステップＳ１１１が実行されるタイミングは、図１２に示すタイミングに限らない。ステップＳ１０５からＳ１０７のいずれか１つが実行される前にステップＳ１１１が実行されてもよい。その場合、ステップＳ１０５からＳ１０７のいずれか１つが実行される前にステップＳ１１２が実行されてもよい。

ステップＳ１０７において選択された静止画の枚数に応じて、情報入力ウィンドウの内容が変化してもよい。例えば、１枚の静止画がステップＳ１０７において選択された場合、ファイル名を変更するための項目を含む情報入力ウィンドウが表示される。２枚以上の静止画がステップＳ１０７において選択された場合、その静止画が保存されるフォルダの名称が変更される可能性が高い。そのため、フォルダ名を変更するための項目を含む情報入力ウィンドウが表示される。

本発明の各態様は次の変形例を含んでもよい。表示制御部１８４は、フォーマット表示ステップ（ステップＳ１１１）において、１つ以上の項目を含む情報入力ウィンドウを表示部５に表示する。１つ以上の項目に含まれる少なくとも１つの項目の内容が情報入力ウィンドウに入力されたとき、データ処理部１８７は、処理ステップ（ステップＳ１０８）において、その内容に基づいてメタデータを処理する。

本発明の各態様は次の変形例を含んでもよい。メタデータは、静止画のファイル名と、静止画が記憶されるフォルダの名称との少なくとも１つである。メタデータは、ファイル名とフォルダの名称との一方であってもよい。メタデータは、ファイル名とフォルダの名称との両方であってもよい。

本発明の各態様は次の変形例を含んでもよい。メタデータは、静止画をレポートに添付するか否かを示すデータ（項目ＩＴ１４）を含む。

第２の実施形態の第１の変形例において、内視鏡装置１は情報入力ウィンドウを表示する。ユーザーは、情報入力ウィンドウに情報を入力することにより、メタデータとして記録されるデータを設定する。内視鏡装置１は、設定されたデータをメタデータに記録する。ユーザーは、メタデータとして記録されるデータを設定するための作業を効率的に実施することができる。

（第２の実施形態の第２の変形例）
本発明の第２の実施形態の第２の変形例を説明する。内視鏡装置１は、静止画を取得したカメラの位置を３Ｄ画像上に表示する。ユーザーは、３Ｄ画像の領域を選択する代わりにカメラ位置を選択する。内視鏡装置１は、ユーザーによって選択されたカメラ位置で取得された静止画を選択し、その静止画と関連付けられているメタデータを処理する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

表示制御部１８４は、情報表示ステップにおいて、物体を含む３Ｄ空間内の２つ以上の位置の位置関係を示す３Ｄ画像（位置情報）を表示部５に表示する。その２つ以上の位置は、１枚以上の静止画に含まれる第１の静止画が取得された第１の位置を含む。選択部１８６は、位置選択ステップにおいて、第１の位置を選択する。

図１４を使用することにより、第２の実施形態の第２の変形例におけるデータ処理について説明する。図１４は、データ処理の手順を示す。図１４は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図１２に示す処理と同じ処理の説明を省略する。

ステップＳ１０５の後、表示制御部１８４は、３Ｄデータに基づいて３Ｄ画像を表示部５に表示し、かつ１枚以上の静止画のカメラ位置を表示部５に表示する（ステップＳ１２１）。ステップＳ１２１は、情報表示ステップと対応する。表示制御部１８４は、各静止画のカメラ座標を示す情報を３Ｄ画像に重畳することにより静止画のカメラ位置を表示する。３Ｄデータは、静止画の１つ以上のカメラ位置（第１の位置）を含む２つ以上の点の３Ｄ座標を含む。表示制御部１８４は、ステップＳ１２１において静止画を表示する必要はない。

ステップＳ１２１の後、選択部１８６は、３Ｄデータに含まれる１つ以上のカメラ位置の少なくとも１つを選択する。さらに、選択部１８６は、その１つ以上のカメラ位置と関連付けられている１枚以上の静止画を選択する（ステップＳ１２２）。ステップＳ１２２は、位置選択ステップと対応する。ステップＳ１２２の後、ステップＳ１１１が実行される。

図１５は、ステップＳ１２１において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ１２、点Ｐ１７、点Ｐ１８、および点Ｐ１９を表示部５に表示する。各点は、３Ｄ画像ＰＲ１２に重畳されている。所定のマークが各点の位置に表示される。各点は、静止画のカメラ座標と対応する。

ユーザーは、操作部４を操作することにより、図１５に示す領域ＲＧ１７を選択する。具体的には、ユーザーは、操作部４を操作することにより、３Ｄ画像ＰＲ１２上の位置を選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける。選択指示は、３Ｄ画像ＰＲ１２上の位置を示す。

選択部１８６は、選択指示が示す位置と対応する３Ｄ位置を特定する。図１５に示す例では、選択部１８６は、選択指示に基づいて、領域ＲＧ１７に含まれる３Ｄ位置を特定する。領域ＲＧ１７は、視線方向の奥行きを持つ。３Ｄデータは、カメラ座標を含む。静止画がフレームと同じであるため、３Ｄデータは静止画のカメラ座標を含む。選択部１８６は、領域ＲＧ１７に含まれる静止画のカメラ座標を特定する。選択部１８６は、特定されたカメラ座標と関連付けられている静止画を選択する。図１５に示す例では、点Ｐ１７および点Ｐ１８が領域ＲＧ１７に含まれる。そのため、選択部１８６は、点Ｐ１７および点Ｐ１８を選択する。選択部１８６は、各点と関連付けられている静止画を選択する。

表示制御部１８４は、領域ＲＧ１７を表示部５に表示する。図１５に示す例では、表示制御部１８４は、領域ＲＧ１７を示す枠を表示部５に表示する。これにより、表示制御部１８４は、選択部１８６によって選択された１つ以上のカメラ位置を表示部５に表示する。ユーザーは、選択された領域ＲＧ１７の位置を把握することができる。表示制御部１８４が領域ＲＧ１７を表示せずにユーザーが領域ＲＧ１０の位置を覚えてもよい。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１２２が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１０８が実行されてもよい。

表示制御部１８４は、ステップＳ１２１の代わりに図７に示すステップＳ１０６を実行してもよい。つまり、表示制御部１８４は、３Ｄ画像および静止画を表示部５に表示してもよい。あるいは、表示制御部１８４は、３Ｄ画像、静止画、およびカメラ位置を表示してもよい。ユーザーは、操作部４を操作することにより、静止画を選択してもよい。選択部１８６は、ユーザーによって選択された静止画を選択してもよい。静止画の選択は、カメラ位置の選択を意味する。

本発明の各態様は次の変形例を含んでもよい。物体を含む３Ｄ空間内の２つ以上の位置は、１枚以上の静止画に含まれる第１の静止画が取得された第１の位置（点Ｐ１７および点Ｐ１８）を含む。選択部１８６は、位置選択ステップ（ステップＳ１２２）において、第１の位置を選択する。

第２の実施形態の第２の変形例において、内視鏡装置１は、ユーザーによって選択されたカメラ位置と関連付けられている静止画を選択し、その静止画と関連付けられているメタデータを処理する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。

（第２の実施形態の第３の変形例）
本発明の第２の実施形態の第３の変形例を説明する。内視鏡装置１は、３Ｄ画像を表示する。このとき、静止画およびカメラ位置は表示されない。ユーザーは、３Ｄ画像の領域を選択する。内視鏡装置１は、ユーザーによって選択された領域におけるカメラ位置で取得された静止画を選択し、その静止画と関連付けられているメタデータを処理する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

図１６を使用することにより、第２の実施形態の第３の変形例におけるデータ処理について説明する。図１６は、データ処理の手順を示す。図１６は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図１２に示す処理と同じ処理の説明を省略する。

ステップＳ１０５の後、表示制御部１８４は、３Ｄデータに基づいて３Ｄ画像を表示部５に表示する（ステップＳ１３１）。ステップＳ１３１は、情報表示ステップと対応する。

ステップＳ１３１の後、選択部１８６は、ステップＳ１０７において、３Ｄデータに含まれる２つ以上の点の少なくとも１つを選択する。これにより、選択部１８６は、１つ以上の３Ｄ位置を選択する。さらに、選択部１８６は、その１つ以上の３Ｄ位置と関連付けられている１枚以上の静止画を選択する。

ステップＳ１０７の後、表示制御部１８４は、ステップＳ１０７において選択された１枚以上の静止画を表示部５に表示する（ステップＳ１３２）。ステップＳ１３２の後、ステップＳ１１１が実行される。

図１７は、ステップＳ１３１において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ１３を表示部５に表示する。表示制御部１８４は、静止画およびカメラ位置を表示部５に表示しない。

ユーザーは、操作部４を操作することにより、３Ｄ画像ＰＲ１３上の領域を選択する。具体的には、ユーザーは、操作部４を操作することにより、３Ｄ画像ＰＲ１３上の位置を選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける。選択指示は、３Ｄ画像ＰＲ１３上の位置を示す。

選択部１８６は、選択指示が示す位置と対応する３Ｄ位置を特定する。その後、選択部１８６は、第２の実施形態における方法を使用することにより、その３Ｄ位置と関連付けられている静止画を選択する。

図１８は、ステップＳ１３２において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ１３、領域ＲＧ１８、静止画ＩＭＧ１７、および静止画ＩＭＧ１８を表示部５に表示する。

領域ＲＧ１８は、ステップＳ１０７において選択された３Ｄ位置を含む。静止画ＩＭＧ１７および静止画ＩＭＧ１８の各々は、領域ＲＧ１８におけるカメラ位置において取得された静止画である。表示制御部１８４は、静止画ＩＭＧ１７および静止画ＩＭＧ１８を強調表示する。例えば、表示制御部１８４は、静止画ＩＭＧ１７および静止画ＩＭＧ１８の周囲に枠を表示する。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１３２が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１０８が実行されてもよい。

第２の実施形態の第３の変形例において、内視鏡装置１は静止画およびカメラ位置を表示しない。ユーザーによって３Ｄ画像上の領域が選択されたとき、内視鏡装置１は、その領域におけるカメラ位置で取得された静止画を表示する。ユーザーは、ステップＳ１０７において選択された位置で取得された静止画を容易に確認することができる。

（第２の実施形態の第４の変形例）
本発明の第２の実施形態の第４の変形例を説明する。内視鏡装置１は、静止画を表示せずに３Ｄ画像を表示する。ユーザーは、３Ｄ画像の領域を選択する。内視鏡装置１は、ユーザーによって選択された領域におけるカメラ位置で取得された少なくとも１枚の静止画を表示する。ユーザーは、その少なくとも１枚の静止画に含まれる静止画を選択する。内視鏡装置１は、選択された静止画と関連付けられているメタデータを処理する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

表示制御部１８４は、１枚以上の静止画のうち、位置選択ステップにおいて選択された少なくとも１つの位置と関連付けられている少なくとも１枚の静止画を表示部５に表示する（画像表示ステップ）。少なくとも１枚の静止画が表示された後、選択部１８６は、少なくとも１枚の静止画に含まれる静止画を選択する（画像選択ステップ）。データ処理部１８７は、処理ステップにおいて、選択された静止画と関連付けられているメタデータを処理する。

図１９を使用することにより、第２の実施形態の第４の変形例におけるデータ処理について説明する。図１９は、データ処理の手順を示す。図１９は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図１６に示す処理と同じ処理の説明を省略する。

ステップＳ１３２において静止画が表示された後、ユーザーは、操作部４を操作することにより、ステップＳ１３２において表示された１枚以上の静止画に含まれる少なくとも１枚の静止画を選択する。具体的には、ユーザーは、操作部４を操作することにより、静止画を選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける。選択指示は、静止画を示す。選択部１８６は、選択指示が示す静止画を選択する（ステップＳ１３３）。ステップＳ１３３は、画像選択ステップと対応する。ステップＳ１３３の後、ステップＳ１１１が実行される。

図２０は、ステップＳ１３２において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ１３、領域ＲＧ１８、静止画ＩＭＧ１７、および静止画ＩＭＧ１８を表示部５に表示する。図１８に示す部分と同じ部分の説明を省略する。

静止画ＩＭＧ１７および静止画ＩＭＧ１８が表示された後、ユーザーは操作部４を操作することにより静止画ＩＭＧ１８を選択する。表示制御部１８４は、静止画ＩＭＧ１８を強調表示する。例えば、表示制御部１８４は、静止画ＩＭＧ１８の周囲に枠を表示する。

ステップＳ１１２の後、データ処理部１８７は、ステップＳ１３３において選択された静止画のメタデータを処理する（ステップＳ１３４）。ステップＳ１３４は、データ処理ステップと対応する。ステップＳ１３４が実行されたとき、データ処理が終了する。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１３２が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１３４が実行されてもよい。

本発明の各態様は次の変形例を含んでもよい。選択部１８６は、位置選択ステップ（ステップＳ１０７）において少なくとも１つの位置を選択する。表示制御部１８４は、画像表示ステップ（ステップＳ１３２）において、その少なくとも１つの位置と関連付けられている少なくとも１枚の静止画を表示部５に表示する。少なくとも１枚の静止画が表示された後、選択部１８６は、画像選択ステップ（ステップＳ１３３）において、少なくとも１枚の静止画から任意の静止画を選択する。データ処理部１８７は、処理ステップ（ステップＳ１３４）において、選択された静止画と関連付けられているメタデータを処理する。

第２の実施形態の第４の変形例において、ユーザーによって３Ｄ画像上の領域が選択されたとき、内視鏡装置１は、その領域におけるカメラ位置で取得された静止画を表示する。ユーザーによって静止画が選択されたとき、内視鏡装置１は、その静止画と関連付けられているメタデータを処理する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。ユーザーは、好ましい静止画を容易に選択することができる。

（第２の実施形態の第５の変形例）
本発明の第２の実施形態の第５の変形例を説明する。内視鏡装置１は、２回以上の検査において生成されたメタデータを一括で処理する。あるいは、内視鏡装置１は、２つ以上の検査対象のメタデータを一括で処理する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

検査対象が定期的に検査され、各検査において３Ｄデータおよびメタデータが生成される場合がある。第１の３Ｄデータおよび第１のメタデータが第１の検査において生成される。第２の３Ｄデータおよび第２のメタデータが第１の検査よりも後の第２の検査において生成される。データ処理部１８７は、第１のメタデータおよび第２のメタデータを一括で処理する。

２つ以上の検査対象が検査され、３Ｄデータおよびメタデータが検査対象毎に生成される場合がある。例えば、２つの熱交換チューブが順次検査され、各熱交換チューブの３Ｄデータおよびメタデータが生成される。あるいは、航空機エンジンの２つのアクセスポートが順次検査され、各アクセスポートの３Ｄデータおよびメタデータが生成される。第１の検査対象の検査において第１の３Ｄデータおよび第１のメタデータが生成される。第１の検査対象と異なる第２の検査対象の検査において第２の３Ｄデータおよび第２のメタデータが生成される。データ処理部１８７は、第１のメタデータおよび第２のメタデータを一括で処理する。

静止画は、３Ｄデータに含まれる具体的な３Ｄ座標と関連付けられている必要はない。静止画は、３Ｄデータに含まれる代表的な３Ｄ座標と関連付けられていてもよい。静止画は、３Ｄデータに含まれる３Ｄ座標の全体と関連付けられていてもよい。

第２の実施形態の第５の変形例において、内視鏡装置１は、２回以上の検査において生成されたメタデータまたは２つ以上の検査対象のメタデータを一括で処理する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。

（第３の実施形態）
本発明の第３の実施形態を説明する。内視鏡装置１は、３Ｄ画像を表示し、かつフォルダのツリー構造を表示する。ユーザーは、３Ｄ画像上のアイテムを選択し、ＧＵＩを使用する操作を実行する。これにより、ユーザーは、そのアイテムを所定のフォルダに移動する。また、ユーザーは、ツリー構造においてＧＵＩを使用する操作を実行することにより、メタデータに含まれる各種のデータを編集する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

図２１を使用することにより、第３の実施形態におけるデータ処理について説明する。図２１は、データ処理の手順を示す。図２１は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図７に示す処理と同じ処理の説明を省略する。

ステップＳ１０７の後、表示制御部１８４は、フォルダのツリー構造を表示部５に表示する（ステップＳ１４１）。

ステップＳ１４１においてツリー構造が表示された後、ユーザーは、操作部４を操作することにより、所定の操作を実行する。具体的には、ユーザーは、操作部４を操作することにより、その操作の内容を示す操作情報を内視鏡装置１に入力する。情報受付部１８５は、操作情報を受け付ける（ステップＳ１４２）。

ステップＳ１４２の後、データ処理部１８７は、ステップＳ１０７において選択された静止画のメタデータを処理する。このとき、データ処理部１８７は、ステップＳ１４２において受け付けられた操作情報に基づいてメタデータを処理する（ステップＳ１４３）。ステップＳ１４３は、データ処理ステップと対応する。ステップＳ１４３が実行されたとき、データ処理が終了する。

図２２は、ステップＳ１４１において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ２０およびツリー構造Ｔ２０を表示部５に表示する。表示制御部１８４は静止画を表示部５に表示するが、その静止画は図２２に示されていない。

ツリー構造Ｔ２０は、ＰＣ４１内の記録媒体またはメモリカード４２に予め作成されたフォルダの階層構造を示す。ツリー構造Ｔ２０は、「検査データ」フォルダ、「熱交換チューブ」フォルダ、および「１ｓｔ直線」フォルダの階層構造を示す。「検査データ」フォルダは最上位のフォルダである。「熱交換チューブ」フォルダは「検査データ」フォルダの下位に位置している。「１ｓｔ直線」フォルダは「熱交換チューブ」フォルダの下位に位置している。各フォルダの名称がツリー構造Ｔ２０上に表示される。

表示制御部１８４は、点Ｐ２１、点Ｐ２２、点Ｐ２３、点Ｐ２４、および点Ｐ２５を表示部５に表示する。各点は、３Ｄ画像ＰＲ２０に重畳されている。所定のマークが各点の位置に表示される。各点は、静止画のカメラ座標と対応する。ＧＵＩを使用する操作が実行されたとき、各点は、その操作によって移動するアイテムとして機能する。

ユーザーは、操作部４を操作することにより、図２２に示す領域ＲＧ２０を選択する。選択部１８６は、第２の実施形態における方法を使用することにより、領域ＲＧ２０に含まれる点Ｐ２１および点Ｐ２２を選択する。表示制御部１８４は、点Ｐ２１および点Ｐ２２の色を点Ｐ２３、点Ｐ２４、および点Ｐ２５の色と異なる色に変更する。

ユーザーは、操作部４を操作することにより、ドラッグアンドドロップ操作を実行する。これにより、ユーザーは、点Ｐ２１および点Ｐ２２をツリー構造Ｔ２０における所定のフォルダに移動させる。

図２３は、ステップＳ１４３において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ２０およびツリー構造Ｔ２１を表示部５に表示する。図２２に示す部分と同じ部分の説明を省略する。

ユーザーは、ドラッグアンドドロップ操作を実行することにより、点Ｐ２１および点Ｐ２２を、ツリー構造Ｔ２１上の「１ｓｔ直線」フォルダに移動させる。このとき、データ処理部１８７は、点Ｐ２１および点Ｐ２２の各々と関連付けられている静止画を「１ｓｔ直線」フォルダに保存する。データ処理部１８７は、そのフォルダの名称（ファイルパス）をメタデータに記録する。図２３に示す例では、ファイル名「００１．ｊｐｇ」を持つ静止画と、ファイル名「００２．ｊｐｇ」を持つ静止画とが「１ｓｔ直線」フォルダに移動する。点Ｐ２１は、ファイル名「００１．ｊｐｇ」を持つ静止画のカメラ座標と対応する。点Ｐ２２は、ファイル名「００２．ｊｐｇ」を持つ静止画のカメラ座標と対応する。表示制御部１８４はツリー構造Ｔ２０を更新し、ツリー構造Ｔ２１を表示部５に表示する。

ユーザーは、ツリー構造Ｔ２１において所定の操作を実行してもよい。図２４は、ユーザーによって所定の操作が実行されたときに表示部５に表示されたツリー構造の例を示す。例えば、ユーザーは、ツリー構造Ｔ２１に表示されたファイル名ＦＮ２０を変更する。図２４に示す例では、データ処理部１８７は、静止画のファイル名を「００１．ｊｐｇ」から「ＮＧ＿ｃｏｒｒｏｓｉｏｎ＿００１．ｊｐｇ」に変更し、かつその静止画のメタデータを変更する。

例えば、ユーザーは、ファイル名ＦＮ２０が表示されている位置において所定の操作を実行する。このとき、表示制御部１８４は、マークＭＫ２０を表示する。また、データ処理部１８７は、静止画をレポートに添付することを示す情報をメタデータに記録する。

ユーザーは、ツリー構造Ｔ２０またはツリー構造Ｔ２１において、静止画を削除する操作を実行してもよい。このとき、データ処理部１８７は、静止画を削除してもよく、かつその静止画のメタデータを削除してもよい。

ステップＳ１０６およびステップＳ１０７の代わりに図１４に示すステップＳ１２１およびステップＳ１２２が実行されてもよい。

第３の実施形態において、ユーザーは、ＧＵＩを使用する操作を実行することにより、メタデータに含まれる各種のデータを容易に編集することができる。

（第３の実施形態の変形例）
本発明の第３の実施形態の変形例を説明する。メタデータが処理された後、内視鏡装置１は、メタデータの内容が３Ｄデータに含まれる２つ以上の点の間の位置関係と整合しているか否かを判断する。メタデータの内容が位置関係と整合していない場合、内視鏡装置１は警告を出力する。

図６に示すＣＰＵ１８は、図２５に示すＣＰＵ１８ａに変更される。図２５は、ＣＰＵ１８ａの機能構成を示す。ＣＰＵ１８ａの機能は、制御部１８０、画像処理部１８１、３Ｄデータ生成部１８２、データ取得部１８３、表示制御部１８４、情報受付部１８５、選択部１８６、データ処理部１８７、および判断部１８８を含む。図２５に示すブロックの少なくとも１つがＣＰＵ１８ａと異なる回路で構成されてもよい。図６に示す構成と同じ構成の説明を省略する。

図２５に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２５に示す各部は、１つまたは複数のプロセッサを含むことができる。図２５に示す各部は、１つまたは複数の論理回路を含むことができる。

選択部１８６は、位置選択ステップにおいて、物体を含む３Ｄ空間内の２つ以上の位置に含まれる少なくとも２つの位置を選択する。データ処理部１８７は、処理ステップにおいて、その少なくとも２つの位置に基づいてメタデータを処理する。判断部１８８は、処理ステップにおいて処理されたメタデータの内容が少なくとも２つの位置の間の位置関係と整合しているか否かを判断する（判断ステップ）。その内容が位置関係と整合していないと判断部１８８が判断したとき、表示制御部１８４は警告を出力する（警告出力ステップ）。

表示制御部１８４は、警告出力部として機能し、かつ警告を表示部５に表示する。警告を出力する方法は、これに限らない。例えば、ＣＰＵ１８ａの警告出力部は、音声データをスピーカーに出力し、警告を示す音声をスピーカーに発生させてもよい。

図２６を使用することにより、第３の実施形態の変形例におけるデータ処理について説明する。図２６は、データ処理の手順を示す。図２６は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図２１に示す処理と同じ処理の説明を省略する。

選択部１８６は、ステップＳ１０７において、３Ｄデータに含まれる２つ以上の点の少なくとも２つを選択する。これにより、選択部１８６は、２つ以上の３Ｄ位置を選択する。さらに、選択部１８６は、その２つ以上の３Ｄ位置と関連付けられている２枚以上の静止画を選択する。

データ処理部１８７は、ステップＳ１４３において２枚以上の静止画のメタデータを処理する。その２枚以上の静止画は、ステップＳ１０７において選択された２つ以上の３Ｄ位置と関連付けられている。

ステップＳ１４３の後、判断部１８８は、メタデータの内容が３Ｄデータに含まれる２つ以上の点の間の位置関係と整合しているか否かを判断する（ステップＳ１５１）。ステップＳ１５１は、判断ステップと対応する。

メタデータの内容が位置関係と整合していると判断部１８８がステップＳ１５１において判断した場合、データ処理が終了する。メタデータの内容が位置関係と整合していないと判断部１８８がステップＳ１５１において判断した場合、表示制御部１８４は警告を表示部５に表示する（ステップＳ１５２）。ステップＳ１５２は、警告出力ステップと対応する。ステップＳ１５２が実行されたとき、データ処理が終了する。

図２７は、ステップＳ１５２において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ２０およびツリー構造Ｔ２２を表示部５に表示する。図２２に示す部分と同じ部分の説明を省略する。

ツリー構造Ｔ２２は、「検査データ」フォルダ、「熱交換チューブ」フォルダ、「１ｓｔ直線」フォルダ、および「曲線」フォルダの階層構造を示す。「曲線」フォルダは「熱交換チューブ」フォルダの下位に位置している。

ユーザーは、点Ｐ２１、点Ｐ２２をツリー構造Ｔ２２上の「１ｓｔ直線」フォルダに移動させる。さらに、ユーザーは、点Ｐ２４を「１ｓｔ直線」フォルダに移動させる。データ処理部１８７は、点Ｐ２１、点Ｐ２２、および点２４の各々と関連付けられている静止画を「１ｓｔ直線」フォルダに保存する。データ処理部１８７は、そのフォルダの名称（ファイルパス）をメタデータに記録する。

ユーザーは、点Ｐ２３および点Ｐ２５をツリー構造Ｔ２２上の「曲線」フォルダに移動させる。データ処理部１８７は、点Ｐ２３および点２５の各々と関連付けられている静止画を「曲線」フォルダに保存する。データ処理部１８７は、そのフォルダの名称（ファイルパス）をメタデータに記録する。

例えば、点Ｐ２１は被写体の入り口に近く、点Ｐ２５はその入り口から遠い。点２４と関連付けられている静止画は「１ｓｔ直線」フォルダに保存されている。点Ｐ２４は被写体の直線部分ではなく曲線部分に存在しているため、その静止画は「曲線」フォルダに保存される必要がある。図２７に示す例では、判断部１８８は、メタデータの内容が位置関係と整合していないと判断する。以下では、各点と関連付けられている静止画を各点における静止画と呼ぶ。

例えば、判断部１８８は、被写体の入り口から各点までの距離に基づいてステップＳ１５１における判断を実行する。点Ｐ２２、点Ｐ２３、および点Ｐ２４のうち点Ｐ２２が入り口に最も近く、点Ｐ２３が入り口に２番目に近く、点Ｐ２４が入り口から最も遠い。点Ｐ２３における静止画は、点Ｐ２２における静止画が保存されているフォルダと異なるフォルダに保存されている。点Ｐ２４における静止画は、点Ｐ２２における静止画が保存されているフォルダと同じフォルダに保存されている。点Ｐ２４における静止画は、点Ｐ２３における静止画が保存されているフォルダに保存される必要がある。そのため、判断部１８８は、メタデータの内容が位置関係と整合していないと判断する。

判断部１８８は、２つのカメラ位置の間の距離に基づいてステップＳ１５１における判断を実行してもよい。図２７に示す例では、点Ｐ２２と点Ｐ２３との間の距離は点Ｐ２２と点Ｐ２４との間の距離よりも小さい。判断部１８８は、上記の処理と同様の処理を実行することにより、メタデータの内容が位置関係と整合していないと判断する。

表示制御部１８４はメッセージＭＳ２０を表示部５に表示する。メッセージＭＳ２０は、静止画が正しいフォルダに保存されているか否かを確認することをユーザーに促す。

ステップＳ１０６およびステップＳ１０７の代わりに図１４に示すステップＳ１２１およびステップＳ１２２が実行されてもよい。

本発明の各態様は次の変形例を含んでもよい。２枚以上の静止画が、物体を撮影することにより生成された１枚以上の静止画として使用される。選択部１８６は、位置選択ステップ（ステップＳ１０７）において、物体を含む３Ｄ空間内の２つ以上の位置に含まれる少なくとも２つの位置を選択する。データ処理部１８７は、処理ステップ（ステップＳ１４３）において、その少なくとも２つの位置に基づいてメタデータを処理する。判断部１８８は、判断ステップ（ステップＳ１５１）を実行することにより、処理ステップにおいて処理されたメタデータの内容がその少なくとも２つの位置の間の位置関係と整合しているか否かを判断する。その内容が位置関係と整合していないと判断部１８８が判断したとき、表示制御部１８４は、警告出力ステップ（ステップＳ１５２）において警告を出力する。

第３の実施形態の変形例においてメタデータの内容が位置関係と整合していない場合、内視鏡装置１は警告を出力する。そのため、ユーザーは、メタデータに含まれる各種のデータを確実に編集することができる。

（第４の実施形態）
本発明の第４の実施形態を説明する。内視鏡装置１は、セグメンテーション処理を実行することにより、３Ｄデータに含まれる２つ以上の点を２つ以上の領域（セグメント）に分割する。ユーザーが２つ以上のセグメントの１つを選択した場合、内視鏡装置１はそのセグメントの静止画と関連付けられているメタデータを処理する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

画像処理部１８１は、物体を含む３Ｄ空間内の２つ以上の位置を２つ以上のセグメント（グループ）に分割する（分割ステップ）。画像処理部１８１は、分割部として機能する。選択部１８６は、位置選択ステップにおいて、２つ以上のセグメントの１つを選択し、かつ選択されたセグメントに含まれる位置を選択する。表示制御部１８４は、２つ以上のセグメントを表示部５に表示する（グループ表示ステップ）。

図２８を使用することにより、第４の実施形態におけるデータ処理について説明する。図２８は、データ処理の手順を示す。図２８は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図１２に示す処理と同じ処理の説明を省略する。

ステップＳ１０５の後、画像処理部１８１は、セグメンテーション処理を実行する。具体的には、画像処理部１８１は、３Ｄデータを使用することにより、被写体の３Ｄ形状の特徴を判断する。画像処理部１８１は、その特徴に基づいて、３Ｄデータに含まれる２つ以上の点を２つ以上のセグメントに分割する。例えば、画像処理部１８１は、Ｅｕｃｌｉｄｅａｎ Ｃｌｕｓｔｅｒ Ｅｘｔｒａｃｔｉｏｎを使用することにより、２つ以上の点の各々を２つ以上のセグメントのうちの１つに割り当てる。これにより、画像処理部１８１は、３Ｄ形状の領域を２つ以上のセグメントに分割する（ステップＳ１６１）。ステップＳ１６１は、分割ステップと対応する。

２つ以上の点の各々は、２つ以上のセグメントのいずれか１つに分類される。２つ以上のセグメントの各々は１つ以上の点を含む。

ステップＳ１６１の後、表示制御部１８４は、３Ｄデータに基づいて３Ｄ画像を表示部５に表示し、かつ１枚以上の静止画を表示部５に表示する。このとき、表示制御部１８４は、２つ以上のセグメントを互いに異なる色で表示する（ステップＳ１６２）。ステップＳ１６２は、情報表示ステップおよびグループ表示ステップと対応する。ステップＳ１６２の後、ステップＳ１０７が実行される。

図２９は、ステップＳ１６２において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ３０を表示部５に表示する。表示制御部１８４は静止画を表示部５に表示するが、その静止画は図２９に示されてない。

表示制御部１８４は、セグメントＳＧ３１、セグメントＳＧ３２、セグメントＳＧ３３、セグメントＳＧ３４、およびセグメントＳＧ３５を表示部５に表示する。各セグメントは３Ｄ画像ＰＲ３０に重畳されている。これらの領域は互いに異なる色で表示される。表示制御部１８４は各セグメントを３Ｄ画像ＰＲ３０に重畳する必要はない。表示制御部１８４は、３Ｄ画像ＰＲ３０が表示される領域と異なる領域に各セグメントを表示してもよい。

ユーザーは、操作部４を操作することにより、セグメントＳＧ３１からＳＧ３５のうちの１つを選択する。これにより、ユーザーは、３Ｄ画像ＰＲ３０上の位置を選択する。具体的には、ユーザーは、操作部４を操作することにより、１つの領域を選択するための選択指示を内視鏡装置１に入力する。

カーソルが３Ｄ画像上に表示される例では、ユーザーは、カーソルを所望の領域上の位置に移動させ、かつクリック等の操作を実行する。表示部５がタッチパネルである例では、ユーザーは表示部５の画面において所望の領域上の位置をタッチする。

情報受付部１８５は、選択指示を受け付ける。選択指示は、セグメントＳＧ３１からＳＧ３５のうちの１つを示す。図２９に示す例では、ユーザーは、セグメントＳＧ３１を選択するための選択指示を内視鏡装置１に入力する。

選択部１８６は、選択指示が示す位置と対応する３Ｄ位置を特定する。図２９に示す例では、選択部１８６は、選択指示に基づいて、セグメントＳＧ３１に含まれる３Ｄ位置を特定する。その後、選択部１８６は、第２の実施形態における方法を使用することにより、その３Ｄ位置と関連付けられている静止画を選択する。

図２９に示す例では、選択部１８６は、セグメントＳＧ３１に含まれる３Ｄ位置と関連付けられている１枚以上の静止画の全てを選択する。ユーザーは、３Ｄ位置を容易に選択することができる。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１０７が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１０８が実行されてもよい。

ユーザーは、操作部４を操作することにより、３Ｄ画像上の領域を囲む操作を実行してもよい。画像処理部１８１は、ユーザーによって実行された操作を通して囲まれた領域を１つのセグメントとして設定してもよい。表示制御部１８４は、３Ｄ画像においてそのセグメントを所定の色で表示してもよい。

内視鏡装置１は、図２５に示すＣＰＵ１８ａを有してもよい。判断部１８８は、ステップＳ１０８において処理されたメタデータの内容が３Ｄデータに含まれる２つ以上の点の間の位置関係と整合しているか否かを判断してもよい。例えば、図２９に示すセグメントＳＧ３１において静止画Ａ１および静止画Ａ２が取得され、かつ図２９に示すセグメントＳＧ３２において静止画Ｂ１が取得される。例えば、静止画Ａ１がフォルダＡに保存され、かつ静止画Ａ２および静止画Ｂ１がフォルダＢに保存される。

上記の例では、セグメントＳＧ３１において取得された静止画Ａ１および静止画Ａ２が、互いに異なるフォルダＡおよびフォルダＢにそれぞれ保存されている。また、互いに異なるセグメントＳＧ３１およびセグメントＳＧ３２において取得された静止画Ａ２および静止画Ｂ１が１つのフォルダＢに保存される。静止画Ａ２は、静止画Ａ１が保存されているフォルダＡに保存される必要がある。そのため、判断部１８８は、メタデータの内容が位置関係と整合していないと判断する。その場合、表示制御部１８４は警告を表示部５に表示してもよい。

本発明の各態様は次の変形例を含んでもよい。画像処理部１８１は、分割ステップ（ステップＳ１６１）において、物体を含む３Ｄ空間内の２つ以上の位置を２つ以上のグループ（セグメント）に分割する。

本発明の各態様は次の変形例を含んでもよい。選択部１８６は、位置選択ステップ（ステップＳ１０７）において、２つ以上のグループ（セグメント）の１つを選択し、かつ選択されたグループに含まれる位置を選択する。

本発明の各態様は次の変形例を含んでもよい。位置選択ステップ（ステップＳ１０７）において少なくとも１つの位置が選択される前に分割ステップ（ステップＳ１６１）が実行される。少なくとも１つの位置が選択される前に、表示制御部１８４は、グループ表示ステップ（ステップＳ１６２）において２つ以上のグループ（セグメント）を表示部５に表示する。

第４の実施形態において、内視鏡装置１は、３Ｄデータに含まれる２つ以上の点を２つ以上のセグメントに分割する。内視鏡装置１は、ユーザーによって選択されたセグメントの静止画と関連付けられているメタデータを処理する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。

ユーザーは、簡単な操作を実行することにより２つ以上の領域（セグメント）の１つを選択することができる。そのため、ユーザーが誤った領域を選択する可能性が減る。

（第５の実施形態）
本発明の第５の実施形態を説明する。内視鏡を使用する検査において、特徴領域の２枚以上の静止画が取得される場合がある。例えば、特徴領域は、傷が存在する領域である。２枚以上の静止画の構図は互いに異なる。一般的な例では、ユーザーは２枚以上の静止画のうち１枚以上の静止画を選択する。選択された静止画は、レポートに添付される。

第５の実施形態における内視鏡装置１は、特徴領域の静止画を選択するための手間を削減する。内視鏡装置１は、ユーザーによって３Ｄ画像において選択された領域が写っている静止画を選択する。内視鏡装置１は、選択された静止画と関連付けられているメタデータを処理する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

選択部１８６は、１枚以上の静止画のうち、位置選択ステップにおいて選択された少なくとも１つの位置と関連付けられている静止画を選択する（画像選択ステップ）。具体的には、選択部１８６は、ユーザーによって入力された指示に基づいて特徴領域を選択し、かつその特徴領域における少なくとも１つの位置と関連付けられている静止画を選択する。表示制御部１８４は、選択された静止画を表示部５に表示する（画像表示ステップ）。データ処理部１８７は、処理ステップにおいて、選択された静止画と関連付けられているメタデータを処理する。

図３０を使用することにより、第５の実施形態におけるデータ処理について説明する。図３０は、データ処理の手順を示す。図３０は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図１２に示す処理と同じ処理の説明を省略する。

データ取得部１８３は、ＰＣ４１内の記録媒体またはメモリカード４２にアクセスし、３Ｄデータをその記録媒体またはメモリカード４２から取得する（ステップＳ１７１）。

静止画が処理されるとき、データ取得部１８３は、静止画をその記録媒体またはメモリカード４２から取得する。この処理は、図３０に示されていない。

ステップＳ１７１の後、表示制御部１８４は、３Ｄデータに基づいて３Ｄ画像を表示部５に表示する（ステップＳ１７２）。ステップＳ１７２は、情報表示ステップと対応する。

ステップＳ１７２の後、選択部１８６は、ステップＳ１０７において、３Ｄデータに含まれる２つ以上の点の少なくとも１つを選択する。これにより、選択部１８６は、１つ以上の３Ｄ位置を選択する。さらに、選択部１８６は、その１つ以上の３Ｄ位置と関連付けられている１枚以上の静止画を選択する。

ステップＳ１０７の後、選択部１８６は、ステップＳ１０７において選択された１枚以上の静止画のうち代表的な１枚以上の静止画を選択する（ステップＳ１７３）。ステップＳ１７３は、画像選択ステップと対応する。

ステップＳ１７３の後、表示制御部１８４は、ステップＳ１７３において選択された１枚以上の静止画を表示部５に表示する（ステップＳ１７４）。ステップＳ１７４は、画像表示ステップと対応する。ステップＳ１７４の後、ステップＳ１１１が実行される。

図３１は、ステップＳ１７２において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ４０を表示部５に表示する。３Ｄ画像ＰＲ４０は、被写体ＯＢ４０の３Ｄ形状を示す。被写体ＯＢ４０は、テクスチャが付加されている３Ｄ形状として表示される。特徴領域ＲＧ４０が被写体ＯＢ４０の表面に存在する。

ユーザーは、操作部４を操作することにより、特徴領域ＲＧ４０を選択する。具体的には、ユーザーは、操作部４を操作することにより、３Ｄ画像ＰＲ４０上の位置を選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける。選択指示は、３Ｄ画像ＰＲ４０上の位置を示す。

選択部１８６は、選択指示が示す位置と対応する３Ｄ位置を特定する。その後、選択部１８６は、第２の実施形態における方法を使用することにより、その３Ｄ位置と関連付けられている１枚以上の静止画を選択する。これにより、選択部１８６は、ユーザーによって選択された特徴領域ＲＧ４０が写っている１枚以上の静止画を選択する。

選択部１８６は、予め設定された基準に基づいて１枚以上の静止画を選択する。例えば、選択部１８６は、各静止画における特徴領域ＲＧ４０の大きさ（面積）を算出する。選択部１８６は、その大きさが最も大きい１枚の静止画を選択する。あるいは、選択部１８６は、その大きさが所定の大きさよりも大きい１枚以上の静止画を選択する。選択部１８６は、各静止画のコントラストなどに基づいて１枚以上の静止画を選択してもよい。

図３２は、ステップＳ１７４において表示部５に表示された画像の例を示す。図３１に示す部分と同じ部分の説明を省略する。

表示制御部１８４は、静止画ＩＭＧ４０を表示部５に表示する。静止画ＩＭＧ４０は、ステップＳ１７３において選択部１８６によって選択された静止画である。特徴領域ＲＧ４０が静止画ＩＭＧ４０に写っている。ユーザーは、特徴領域が静止画に写っているか否かを確認することができる。

ステップＳ１７１およびステップＳ１７２の代わりに図７に示すステップＳ１０５およびステップＳ１０６が実行されてもよい。ユーザーは、操作部４を操作することにより、静止画における領域を選択してもよい。選択部１８６は、その領域の２Ｄ座標と関連付けられている３Ｄデータの３Ｄ座標を特定してもよい。選択部１８６は、第２の実施形態における方法を使用することにより、その３Ｄ座標と関連付けられている１枚以上の静止画を選択してもよい。その後、ステップＳ１７３が実行されてもよい。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１７４が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１０８が実行されてもよい。

本発明の各態様は次の変形例を含んでもよい。選択部１８６は、画像選択ステップ（ステップＳ１０７およびステップＳ１７３）において、１枚以上の静止画のうち、位置選択ステップ（ステップＳ１０７）において選択された少なくとも１つの位置と関連付けられている静止画を選択する。表示制御部１８４は、画像表示ステップ（ステップＳ１７４）において、選択された静止画を表示部５に表示する。データ処理部１８７は、処理ステップ（ステップＳ１０８）において、選択された静止画と関連付けられているメタデータを処理する。上記の変形例は、第５の実施形態の第１の変形例に適用されてもよい。

第５の実施形態において、内視鏡装置１は、ユーザーによって選択された特徴領域が写っている静止画を選択し、かつ選択された静止画と関連付けられているメタデータを処理する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。ユーザーは、特徴領域が写っている静止画を容易に選択することができる。

（第５の実施形態の第１の変形例）
本発明の第５の実施形態の第１の変形例を説明する。上記の第５の実施形態において、内視鏡装置１は、ユーザーによって選択された領域が写っている静止画を選択する。第５の実施形態の第１の変形例において、内視鏡装置１は、画像処理を実行することにより特徴領域を検出し、かつその特徴領域が写っている静止画を選択する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

図３３を使用することにより、第５の実施形態の第１の変形例におけるデータ処理について説明する。図３３は、データ処理の手順を示す。図３３は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図３０に示す処理と同じ処理の説明を省略する。

ステップＳ１０７の後、画像処理部１８１は、ステップＳ１０７において選択された１枚以上の静止画の各々を処理し、特徴領域を検出する（ステップＳ１８１）。例えば、画像処理部１８１は、所定の色または所定の形状を持つ領域を特徴領域として検出する。あるいは、画像処理部１８１は、代表的な特徴領域が写っているテンプレート画像を各静止画と比較し、連符レート画像における特徴領域と類似する領域を静止画の特徴領域として検出する。

ステップＳ１８１の後、選択部１８６は、ステップＳ１８１において選択された１枚以上の静止画のうち代表的な１枚以上の静止画を選択する（ステップＳ１８２）。ステップＳ１８２は、画像選択ステップと対応する。例えば、選択部１８６は、特徴領域の大きさなどに基づいて１枚以上の静止画を選択する。ステップＳ１８２の後、ステップＳ１７４が実行される。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１７４が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１０８が実行されてもよい。

第５の実施形態の第１の変形例において、内視鏡装置１は、静止画における特徴領域を検出し、かつその特徴領域が写っている静止画を選択する。内視鏡装置１は、選択された静止画と関連付けられているメタデータを処理する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。ユーザーは、静止画を選択するための作業を実施する必要がない。

（第５の実施形態の第２の変形例）
本発明の第５の実施形態の第２の変形例を説明する。内視鏡を使用する検査において、ユーザーが静止画を取得し忘れる場合がある。ユーザーが３Ｄ画像上の位置を選択したとき、内視鏡装置１は、その位置が写っている静止画を取得する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

図３４を使用することにより、第５の実施形態の第２の変形例におけるデータ処理について説明する。図３４は、データ処理の手順を示す。図３４は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図１２に示す処理と同じ処理の説明を省略する。

ステップＳ１０６の後、選択部１８６は、３Ｄデータに含まれる２つ以上の点の少なくとも１つを選択する。これにより、選択部１８６は、１つ以上の３Ｄ位置を選択する。さらに、選択部１８６は、その１つ以上の３Ｄ位置と関連付けられている動画の１枚以上のフレームを静止画として取得する（ステップＳ１９１）。ステップＳ１９１は、位置選択ステップと対応する。

３Ｄデータは、３Ｄデータを生成するための動画の各フレームにおける１つ以上の点の２Ｄ座標を含む。３Ｄデータにおいて３Ｄ座標および２Ｄ座標が互いに関連付けられている。選択部１８６は、選択された３Ｄ位置の３Ｄ座標と関連付けられている２Ｄ座標を特定する。選択部１８６は、特定された２Ｄ座標を含むフレームを静止画として取得する。

３Ｄデータは、動画の各フレームを取得したカメラのカメラ座標を含む。選択部１８６は、カメラ座標を持つ１つ以上のカメラ位置を１つ以上の３Ｄ位置として選択してもよい。選択部１８６は、選択された１つ以上のカメラ位置と関連付けられている１枚以上のフレームを静止画として取得してもよい。

ステップＳ１９１の後、表示制御部１８４は、ステップＳ１９１において取得された１枚以上の静止画を表示部５に表示する（ステップＳ１９２）。ステップＳ１９２の後、ステップＳ１１１が実行される。

図３５は、ステップＳ１０６において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ４１、静止画ＩＭＧ４０、および静止画ＩＭＧ４１を表示部５に表示する。表示制御部１８４は、点Ｐ４０および点Ｐ４１を表示部５に表示する。各点は、３Ｄ画像ＰＲ４１に重畳されている。所定のマークが各点の位置に表示される。各点は、静止画を取得したカメラの位置を示す。

点Ｐ４０は、静止画ＩＭＧ４０を取得したカメラの位置を示す。点Ｐ４１は、静止画ＩＭＧ４１を取得したカメラの位置を示す。

ユーザーは、所定の位置において静止画が取得されたか否かを確認する。新たな静止画が必要であるとユーザーが判断した場合、ユーザーは、操作部４を操作することにより、３Ｄ画像ＰＲ４１上の位置を選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける。選択指示は、３Ｄ画像ＰＲ４１上の位置を示す。

選択部１８６は、選択指示が示す位置と対応する３Ｄ位置を特定する。その後、選択部１８６は、第２の実施形態における方法を使用することにより、その３Ｄ位置と関連付けられている動画の１枚以上のフレームを静止画として取得する。

同じ検査対象が２回以上検査される場合がある。例えば、検査対象が１年に１回検査される。選択部１８６は、過去の検査において取得された静止画のカメラ位置を選択し、そのカメラ位置と関連付けられている動画の１枚以上のフレームを静止画として取得してもよい。

図３６は、ステップＳ１９２において表示部５に表示された画像の例を示す。図３５に示す部分と同じ部分の説明を省略する。

表示制御部１８４は、静止画ＩＭＧ４２および点Ｐ４２を表示する。静止画ＩＭＧ４２は、ステップＳ１９１において取得された静止画である。点Ｐ４２は、静止画ＩＭＧ４２を取得したカメラの位置を示す。ユーザーは、所望の領域が写っている静止画が取得されたか否かを確認することができる。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１９２が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１０８が実行されてもよい。

ステップＳ１０６の代わりに図１４に示すステップＳ１２１が実行されてもよい。

選択部１８６は、ステップＳ１９１において選択された１つ以上の３Ｄ位置と関連付けられている動画の２枚以上のフレームを取得してもよい。３Ｄデータ生成部１８２は、その２枚以上のフレームを使用するＳｆＭを実行することにより静止画を生成してもよい。生成された静止画は、３Ｄデータと同様のデータである。

第５の実施形態の第２の変形例において、内視鏡装置１は、ユーザーによって３Ｄ画像において選択された領域が写っている静止画を取得する。内視鏡装置１は、選択された静止画と関連付けられているメタデータを処理する。検査において所望の領域の静止画が取得されなかった場合であっても、内視鏡装置１はその領域の静止画を取得することができる。

（第５の実施形態の第３の変形例）
本発明の第５の実施形態の第３の変形例を説明する。内視鏡装置１は、予め設定されたセグメントの静止画が取得されたか否かを判断する。そのセグメントの静止画が取得されていない場合、内視鏡装置１はそのセグメントの静止画を取得する。内視鏡装置１は、図２５に示すＣＰＵ１８ａを有する。

画像処理部１８１は、物体を含む３Ｄ空間内の２つ以上の位置を２つ以上のセグメント（グループ）に分割する。２つ以上のセグメントの１つは、２つ以上の位置の少なくとも１つを含む。選択部１８６は、２つ以上のセグメントのその１つを選択する（グループ選択ステップ）。判断部１８８は、１枚以上の静止画の少なくとも１枚が、選択されたセグメントに含まれる少なくとも１つの位置と関連付けられているか否かを判断する。１枚以上の静止画が、選択されたセグメントに含まれる少なくとも１つの位置のいずれとも関連付けられていないと判断部１８８が判断したとき、選択部１８６は、そのセグメントと関連付けられている動画の１枚以上のフレームを静止画として取得する。

内視鏡を使用する検査において、特定の領域の静止画がレポートに必要な場合がある。例えば、その特定の領域は、外力に弱いパイプの曲がり角である。曲がり角を示すセグメント情報が、ＲＯＭ１３に記録されているプログラムに含まれる。選択部１８６は、セグメント情報に基づいて、曲がり角を示すセグメントを特定する。選択部１８６は、そのセグメントの静止画が取得されたか否かを判断する。

図３７を使用することにより、第５の実施形態の第３の変形例におけるデータ処理について説明する。図３７は、データ処理の手順を示す。図３７は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図１２に示す処理と同じ処理の説明を省略する。

ステップＳ１０５の後、画像処理部１８１は、セグメンテーション処理を実行する。これにより、画像処理部１８１は、被写体の３Ｄ形状の領域を２つ以上のセグメントに分割する（ステップＳ１６１）。ステップＳ１６１は、図２８に示すステップＳ１６１と同じである。

ステップＳ１６１の後、表示制御部１８４は、３Ｄデータに基づいて３Ｄ画像を表示部５に表示し、かつ１枚以上の静止画を表示部５に表示する。このとき、表示制御部１８４は、２つ以上のセグメントを互いに異なる色で表示する（ステップＳ１６２）。ステップＳ１６２は、図２８に示すステップＳ１６２と同じである。

ステップＳ１６２の後、選択部１８６は、２つ以上のセグメントの１つを選択する。例えば、選択部１８６は、セグメント情報に基づいて、曲がり角を示すセグメントを選択する。これにより、選択部１８６は、予め設定されたセグメントを選択する（ステップＳ２０１）。ステップＳ２０１は、グループ選択ステップと対応する。

ステップＳ２０１の後、判断部１８８は、１枚以上の静止画の少なくとも１枚が、選択されたセグメントに含まれる少なくとも１つの位置と関連付けられているか否かを判断する。これにより、判断部１８８は、ステップＳ２０１において選択されたセグメントの静止画が取得されたか否かを判断する（ステップＳ２０２）。

少なくとも１枚の静止画が、選択されたセグメントに含まれる少なくとも１つの位置と関連付けられている場合、判断部１８８は、ステップＳ２０１において選択されたセグメントの静止画が取得されたと判断する。１枚以上の静止画の全てが、選択されたセグメントに含まれる少なくとも１つの位置のいずれとも関連付けられていない場合、判断部１８８は、ステップＳ２０１において選択されたセグメントの静止画が取得されていないと判断する。

ステップＳ２０１において選択されたセグメントの静止画が取得されたと判断部１８８が判断した場合、ステップＳ１０７が実行される。ステップＳ２０１において選択されたセグメントの静止画が取得されていないと判断部１８８が判断した場合、選択部１８６は、そのセグメントにおける１つ以上の３Ｄ位置と関連付けられている動画の１枚以上のフレームを静止画として取得する（ステップＳ２０３）。

３Ｄデータは、３Ｄデータを生成するための動画の各フレームにおける１つ以上の点の２Ｄ座標を含む。３Ｄデータにおいて３Ｄ座標および２Ｄ座標が互いに関連付けられている。選択部１８６は、選択された３Ｄ位置の３Ｄ座標と関連付けられている２Ｄ座標を特定する。選択部１８６は、特定された２Ｄ座標を含むフレームを静止画として取得する。

ステップＳ２０３の後、表示制御部１８４は、ステップＳ２０３において取得された１枚以上の静止画を表示部５に表示する（ステップＳ２０４）。ステップＳ２０４の後、ステップＳ１０７が実行される。

選択部１８６は、ステップＳ１０７において、ステップＳ２０１において選択されたセグメントに含まれる少なくとも１つの点を選択してもよい。選択部１８６は、ステップＳ１０７において、ステップＳ２０１において選択されたセグメント以外のセグメントに含まれる少なくとも１つの点を選択してもよい。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１０７が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１０８が実行されてもよい。

第５の実施形態の第３の変形例において、予め設定されたセグメントの静止画が取得されていない場合、内視鏡装置１はそのセグメントの静止画を取得する。検査において所望の領域の静止画が取得されなかった場合であっても、内視鏡装置１はその領域の静止画を取得することができる。

（第５の実施形態の第４の変形例）
本発明の第５の実施形態の第４の変形例を説明する。内視鏡装置１は、予め設定されたセグメントの静止画が取得されたか否かを判断する。そのセグメントの静止画が取得されていない場合、内視鏡装置１は警告を出力する。内視鏡装置１は、図２５に示すＣＰＵ１８ａを有する。

画像処理部１８１は、物体を含む３Ｄ空間内の２つ以上の位置を２つ以上のグループ（セグメント）に分割する。２つ以上のグループの１つは、２つ以上の位置の少なくとも１つを含む。選択部１８６は、２つ以上のグループのその１つを選択する（グループ選択ステップ）。判断部１８８は、１枚以上の静止画の少なくとも１枚が、選択されたセグメントに含まれる少なくとも１つの位置と関連付けられているか否かを判断する。１枚以上の静止画が、選択されたセグメントに含まれる少なくとも１つの位置のいずれとも関連付けられていないと判断部１８８が判断したとき、表示制御部１８４は警告を出力する（警告出力ステップ）。

表示制御部１８４は、警告出力部として機能し、かつ警告を表示部５に表示する。警告を出力する方法は、これに限らない。例えば、ＣＰＵ１８ａの警告出力部は、音声データをスピーカーに出力し、警告を示す音声をスピーカーに発生させてもよい。

図３８を使用することにより、第５の実施形態の第４の変形例におけるデータ処理について説明する。図３８は、データ処理の手順を示す。図３８は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図３７に示す処理と同じ処理の説明を省略する。

ステップＳ２０１において選択されたセグメントの静止画が取得されていないと判断部１８８が判断した場合、表示制御部１８４は警告を表示部５に表示する（ステップＳ２１１）。ステップＳ２１１は、警告出力ステップと対応する。ステップＳ２１１の後、ステップＳ１０７が実行される。

ステップＳ２１１の後、図３７に示すステップＳ２０３およびステップＳ２０４が実行されてもよい。

ステップＳ２１１の後、ユーザーは、操作部４を操作することにより、３Ｄ画像上の位置を選択するための選択指示を内視鏡装置１に入力してもよい。情報受付部１８５は、選択指示を受け付けてもよい。選択指示は、３Ｄ画像上の位置を示す。

選択部１８６は、選択指示が示す位置と対応する３Ｄ位置を特定してもよい。その後、選択部１８６は、第２の実施形態における方法を使用することにより、その３Ｄ位置と関連付けられている動画の１枚以上のフレームを静止画として取得してもよい。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１０７が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１０８が実行されてもよい。

本発明の各態様は次の変形例を含んでもよい。画像処理部１８１は、分割ステップ（ステップＳ１６１）において、物体を含む３Ｄ空間内の２つ以上の位置を２つ以上のグループに分割する。２つ以上のグループの１つは、２つ以上の位置の少なくとも１つを含む。選択部１８６は、グループ選択ステップ（ステップＳ２０１）において、２つ以上のグループのその１つを選択する。１枚以上の静止画が、選択されたグループに含まれる少なくとも１つの位置のいずれとも関連付けられていないとき、表示制御部１８４は、警告出力ステップ（ステップＳ２１１）において、警告を出力する。

第５の実施形態の第４の変形例において、予め設定されたセグメントの静止画が取得されていない場合、内視鏡装置１は警告を出力する。検査において所望の領域の静止画が取得されなかった場合、内視鏡装置１はその領域の静止画が取得されていないことをユーザーに通知することができる。

（第６の実施形態）
本発明の第６の実施形態を説明する。メタデータが処理された後、内視鏡装置１は、そのメタデータの内容を表示する。ユーザーは、表示部５の画面を操作することにより、メタデータを修正するための指示を内視鏡装置１に入力する。内視鏡装置１は、その指示に基づいて、メタデータを修正する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

表示制御部１８４は、データ処理ステップにおいて処理されたメタデータの内容を表示部５に表示する（データ表示ステップ）。表示制御部１８４は、データ表示ステップにおいて、メタデータの内容を含む操作画面を表示部５に表示する。データ処理部１８７は、その操作画面の操作に基づいてメタデータを修正する（データ修正ステップ）。

図３９を使用することにより、第６の実施形態におけるデータ処理について説明する。図３９は、データ処理の手順を示す。図３９は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図１２に示す処理と同じ処理の説明を省略する。

ステップＳ１０８の後、表示制御部１８４は、ステップＳ１０８において処理されたメタデータの内容を表示部５に表示する。このとき、表示制御部１８４は、メタデータの内容を含む操作画面を表示部５に表示する（ステップＳ２２１）。ステップＳ２２１は、データ表示ステップと対応する。ユーザーは、メタデータがユーザーの意図に従って処理されたか否かを確認することができる。

ステップＳ２２１の後、データ処理部１８７は、ユーザーによって操作画面に対して実行された操作に基づいてメタデータを修正する（ステップＳ２２２）。ステップＳ２２２は、データ修正ステップと対応する。ステップＳ２２２が実行されたとき、データ処理が終了する。

操作画面が表示された後、ユーザーは、操作部４を操作することにより、修正のための情報を内視鏡装置１に入力する。情報受付部１８５は、内視鏡装置１に入力された情報を受け付ける。データ処理部１８７は、情報受付部１８５によって受け付けられた情報に基づいてメタデータを修正する。表示制御部１８４は、修正されたメタデータの内容を表示部５に表示してもよい。

図４０は、ステップＳ１１１において表示部５に表示された情報入力ウィンドウの例を示す。図４０に示す情報入力ウィンドウＷ５０は、項目ＩＴ１０、項目ＩＴ１１、項目ＩＴ１２、項目ＩＴ１３、項目ＩＴ１４、項目ＩＴ１５、および項目ＩＴ１６を含む。情報入力ウィンドウＷ５０における各項目は、図１３に示す情報入力ウィンドウＷ１０における各項目と同じである。

図４１は、ステップＳ２２１において表示部５に表示された操作画面の例を示す。表示制御部１８４は、操作画面ＳＣ５０を表示部５に表示する。操作画面ＳＣ５０は、３Ｄ画像ＤＴ５０、静止画ＩＭＧ５０、３Ｄ画像ＤＴ５１、および静止画ＩＭＧ５１を含む。

３Ｄ画像ＤＴ５０は、ステップＳ１０６において表示された３Ｄ画像と対応する。静止画ＩＭＧ５０は、ステップＳ１０７において選択された静止画と対応する。３Ｄ画像ＤＴ５１は、検査対象の３Ｄ形状を示す。静止画ＩＭＧ５１は、過去の検査において取得された静止画と対応する。

表示制御部１８４は、図４０に示す項目ＩＴ１０に設定された文字列を含む名称Ｎ５０を操作画面ＳＣ５０に表示する。名称Ｎ５０は、検査対象の名称を示す。表示制御部１８４は、図４０に示す項目ＩＴ１１に設定された文字列を含む名称Ｎ５１を操作画面ＳＣ５０に表示する。名称Ｎ５１は、部位の名称を示す。

ユーザーは、ＧＵＩを使用する操作を実行することにより、名称Ｎ５０または名称Ｎ５１を操作画面ＳＣ５０上で修正してもよい。名称Ｎ５０または名称Ｎ５１が修正された場合、データ処理部１８７は、項目ＩＴ１１と関連付けられているフォルダに保存されている静止画を移動する。静止画は、修正された名称Ｎ５０または名称Ｎ５１を持つフォルダに保存される。名称Ｎ５０または名称Ｎ５１が修正された場合、データ処理部１８７は、項目ＩＴ１０または項目ＩＴ１１と関連付けられているフォルダの名称を修正してもよい。データ処理部１８７は、項目ＩＴ１０または項目ＩＴ１１と関連付けられているメタデータを修正する。

表示制御部１８４は、図４０に示す項目ＩＴ１２に設定された文字列と、図４０に示す項目ＩＴ１３に設定された文字列とを含む名称Ｎ５２を操作画面ＳＣ５０に表示する。名称Ｎ５２は、静止画ＩＭＧ５０のファイル名を示す。

ユーザーは、ＧＵＩを使用する操作を実行することにより、名称Ｎ５２を操作画面ＳＣ５０上で修正してもよい。名称Ｎ５２が修正された場合、データ処理部１８７は、メタデータに記録されたファイル名を修正することにより、静止画ＩＭＧ５０のファイル名を修正する。

画像処理部１８１は、ステップＳ１０６において表示された３Ｄ画像を縮小することにより３Ｄ画像ＤＴ５０を生成する。

３Ｄデータをレポートに添付することを示す情報が図４０に示す項目ＩＴ１６に設定されているとき、３Ｄデータ生成部１８２は、動画に含まれる２枚以上のフレームのうちの少なくとも２枚を使用することにより、被写体上の２つ以上の点の３Ｄ座標を算出する。３Ｄデータ生成部１８２は、その２つ以上の点の３Ｄ座標を含む３Ｄデータを生成する。表示制御部１８４は、その３Ｄデータの３Ｄ画像ＤＴ５１を操作画面ＳＣ５０に表示する。

３Ｄデータ生成部１８２は、ステップＳ１０４において、広い領域の３Ｄデータを生成する。３Ｄデータ生成部１８２は、ステップＳ１０８において、狭い領域の詳細な３Ｄデータを生成する。このとき、３Ｄデータ生成部１８２は、ステップＳ１０４において使用されるアルゴリズムと異なるアルゴリズムを使用する。これにより、内視鏡装置１は、ステップＳ１０４において３Ｄデータを生成するための処理時間を長くすることなく、ユーザーが注目する領域の詳細な３Ｄデータを生成することができる。

ユーザーは、３Ｄ画像ＤＴ５１における被写体の方向を変更するための操作を実行してもよい。その操作が実行されたとき、表示制御部１８４はその方向を変更してもよい。ユーザーは、３Ｄ画像ＤＴ５１の拡大率を変更するための操作を実行してもよい。その操作が実行されたとき、表示制御部１８４はその拡大率を変更してもよい。

３Ｄデータをレポートに添付することを示す情報が図４０に示す項目ＩＴ１６に設定されていないとき、表示制御部１８４は３Ｄ画像ＤＴ５１を操作画面ＳＣ５０に表示する必要はない。

過去のデータをレポートに添付することを示す情報が図４０に示す項目ＩＴ１５に設定されているとき、表示制御部１８４は静止画ＩＭＧ５１を表示部５に表示する。過去のデータをレポートに添付することを示す情報が図４０に示す項目ＩＴ１５に設定されていないとき、表示制御部１８４は静止画ＩＭＧ５１を表示部５に表示する必要はない。

一般的に、内視鏡を使用する検査において、大量のデータから選択されたデータがレポートに添付される。ユーザーは、操作画面ＳＣ５０を確認することにより、レポートに適したデータが選択されたか否かを判断することができる。また、ユーザーは、３Ｄ画像ＤＴ５１の状態がレポートに適しているか否かを確認することができる。

表示制御部１８４は、フォルダの階層構造を示すツリー構造を表示部５に表示してもよい。フォルダの構造、フォルダの名称、またはファイル名が修正された場合、表示制御部１８４は、修正されたツリー構造を表示部５に表示してもよい。ユーザーは、ＧＵＩを使用する操作を実行することにより、ツリー構造を操作してもよい。ツリー構造が操作されたとき、データ処理部１８７はメタデータを修正してもよい。

メタデータの修正が不要である場合、ステップＳ２２２が実行される必要はない。

ステップＳ１１１およびステップＳ１１２が実行される必要はない。ステップＳ１０７が実行された後、ステップＳ１１１およびステップＳ１１２を実行せずにステップＳ１０８が実行されてもよい。

ステップＳ１０６およびステップＳ１０７の代わりに図１４に示すステップＳ１２１およびステップＳ１２２が実行されてもよい。

本発明の各態様は次の変形例を含んでもよい。メタデータが処理された後、表示制御部１８４は、データ表示ステップ（ステップＳ２２１）において、処理されたメタデータの内容を含む操作画面を表示部５に表示する。

本発明の各態様は次の変形例を含んでもよい。データ処理部１８７は、データ修正ステップ（ステップＳ２２２）において、操作画面の操作に基づいてメタデータを修正する。

第６の実施形態において、メタデータが処理された後、内視鏡装置１は、そのメタデータの内容を表示する。ユーザーは、その内容を確認することができる。

内視鏡装置１は、ユーザーによって操作画面上で実行された操作に基づいて、メタデータを修正する。ユーザーは、操作画面上で操作を実行することにより、メタデータに含まれる各種のデータを容易に修正することができる。

（第７の実施形態）
本発明の第７の実施形態を説明する。ユーザーは、動画における時間範囲を選択する。内視鏡装置１は、３Ｄデータを生成するために使用された２枚以上のフレームのうち１枚以上のフレームを静止画として選択する。その静止画が取得された時刻は、ユーザーによって選択された時間範囲に含まれる。内視鏡装置１は、選択された静止画のメタデータを処理する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

動画の各フレームは、各フレームが生成された時刻を示す時刻情報と関連付けられている。選択部１８６は、位置選択ステップにおいて、時刻情報を選択し、かつ選択された時刻情報に基づいて少なくとも１つの位置を選択する。

ＣＰＵ１８は、図７に示すデータ処理を実行する。選択部１８６は、ステップＳ１０７において以下の処理を実行する。

ユーザーは、操作部４を操作することにより、動画における時間範囲を選択するための選択指示を内視鏡装置１に入力する。情報受付部１８５は、選択指示を受け付ける。選択指示は、その時間範囲を示す。

３Ｄデータは、各フレームにおける点の２Ｄ座標を含む。静止画がフレームと同じであるため、静止画における点の２Ｄ座標は、フレームにおける点の２Ｄ座標と同じである。そのため、３Ｄデータは静止画における点の２Ｄ座標を含む。各フレームおよび静止画は、３Ｄデータに含まれる３Ｄ座標と関連付けられている。各フレームおよび静止画は、時刻情報を含む。各フレームおよび静止画の時刻情報は、３Ｄデータに含まれる３Ｄ座標と関連付けられている。

選択部１８６は、選択指示が示す時間範囲と対応する３Ｄデータの範囲を特定する。具体的には、選択部１８６は、その時間範囲に含まれる時刻を示す時刻情報と関連付けられている１枚以上のフレームを特定する。選択部１８６は、その１枚以上のフレームにおける点の２Ｄ座標と関連付けられている３Ｄデータの３Ｄ座標を特定する。また、選択部１８６は、その時間範囲に含まれる時刻を示す時刻情報と関連付けられている静止画を選択する。

図４２および図４３は、ステップＳ１０６において表示部５に表示された画像の例を示す。表示制御部１８４は、３Ｄ画像ＰＲ６０およびシークバーＳＢ６０を表示部５に表示する。シークバーＳＢ６０は、３Ｄデータを生成するために使用された２枚以上のフレームの時刻情報と関連付けられている。ユーザーは、ＧＵＩを使用する操作を実行することにより、シークバーＳＢ６０上の時間範囲を選択する。

図４２に示す例では、ユーザーは、時間範囲ＴＲ６０を選択する。選択部１８６は、時間範囲ＴＲ６０と対応する３Ｄデータの範囲を特定する。表示制御部１８４は、特定された範囲ＤＲ６０を３Ｄ画像ＰＲ６０に重畳する。

図４３に示す例では、ユーザーは、時間範囲ＴＲ６１を選択する。選択部１８６は、時間範囲ＴＲ６１と対応する３Ｄデータの範囲を特定する。表示制御部１８４は、特定された範囲ＤＲ６１を３Ｄ画像ＰＲ６０に重畳する。

上記のように、表示制御部１８４は、動画における時間範囲と対応する３Ｄデータの範囲を示す範囲情報を表示部５に表示する。範囲情報は、範囲ＤＲ６０および範囲ＤＲ６１と対応する。ユーザーは、静止画と関連付けられている３Ｄデータの範囲を確認することができる。

本発明の各態様は次の変形例を含んでもよい。物体を含む３Ｄ空間内の２つ以上の位置の各々は、２枚以上の画像の少なくとも１枚と関連付けられている。２枚以上の画像は、物体を撮影することにより生成された動画に含まれる。２枚以上の画像の各々は、２枚以上の画像の各々が生成された時刻を示す時刻情報と関連付けられている。選択部１８６は、位置選択ステップ（ステップＳ１０７）において、時刻情報を選択し、かつ選択された時刻情報に基づいて少なくとも１つの位置を選択する。

第７の実施形態において、内視鏡装置１は、ユーザーによって選択された時間範囲に基づいて静止画を選択する。内視鏡装置１は、選択された静止画のメタデータを処理する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。ユーザーは、動画における時間範囲を選択することにより、その時間範囲と対応する３Ｄデータの範囲を正確に選択することができる。

（第８の実施形態）
本発明の第８の実施形態を説明する。第８の実施形態の内視鏡装置は、撮像素子２８と異なるセンサによって生成されたセンサ情報を使用することにより、３Ｄデータと対応する位置データを生成する。

図５に示す内視鏡装置１は、図４４に示す内視鏡装置１ｂに変更される。図４４は、内視鏡装置１ｂの内部構成を示す。図５に示す構成と同じ構成の説明を省略する。

内視鏡装置１ｂは、図５に示す構成に加えてセンサ１９を有する。センサ１９は、イメージセンサと異なる。センサ１９は、１つ以上のセンサを有する。例えば、センサ１９は、ロータリーエンコーダー、重力センサ、ジャイロセンサ、および加速度センサの少なくとも１つを有する。重力センサ、ジャイロセンサ、および加速度センサは、挿入部２の先端２０に配置される。

センサ１９は、物理量を定期的に計測し、その物理量を示すセンサ情報を定期的に生成する。センサ１９は、所定のサンプリングレートでセンサ情報を生成する。センサ１９は、センサ情報を制御インタフェース１７に出力する。センサ情報は、制御インタフェース１７からＣＰＵ１８に出力される。

以下では、センサ１９がロータリーエンコーダーである例を説明する。２つのローラーが、挿入部２を挟むように配置されている。２つのローラーは、挿入部２と接触している。挿入部２が移動すると２つのローラーが回転する。センサ１９は、２つのローラーのうちの少なくとも１つの回転量を検出することにより、検査対象内の空間に挿入された挿入部２の長さ（距離）を検出する。センサ１９は、検出された長さを示す長さ情報をセンサ情報として生成する。

図５に示すＣＰＵ１８は、ＣＰＵ１８ｂに変更される。図４５は、ＣＰＵ１８ｂの機能構成を示す。ＣＰＵ１８ｂの機能は、制御部１８０、画像処理部１８１、位置データ生成部１８２ｂ、データ取得部１８３、表示制御部１８４、情報受付部１８５、選択部１８６、およびデータ処理部１８７を含む。図４５に示すブロックの少なくとも１つがＣＰＵ１８ｂと異なる回路で構成されてもよい。図６に示す構成と同じ構成の説明を省略する。

図４５に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図４５に示す各部は、１つまたは複数のプロセッサを含むことができる。図４５に示す各部は、１つまたは複数の論理回路を含むことができる。

情報受付部１８５は、センサ１９から出力されたセンサ情報（長さ情報）を受け付ける。位置データ生成部１８２ｂは、センサ情報に基づいて位置データを生成する。位置データは、物体を含む３Ｄ空間内の２つ以上の位置を示す。

図４６を使用することにより、第８の実施形態におけるデータ処理について説明する。図４６は、データ処理の手順を示す。図７に示す処理と同じ処理の説明を省略する。

ステップＳ１０２の後、情報受付部１８５は、センサ１９から出力されたセンサ情報を受け付ける（ステップＳ２３１）。ステップＳ２３１の後、ステップＳ１０３が実行される。

撮影を終了すると制御部１８０がステップＳ１０３において判断した場合、位置データ生成部１８２ｂは、センサ情報を使用することにより位置データを生成する。位置データ生成部１８２ｂは、位置データをＰＣ４１内の記録媒体またはメモリカード４２に記録する（ステップＳ２３２）。

センサ情報は、検査対象内の空間に挿入された挿入部２の長さを示す。例えば、挿入部２の第１の部分はその空間に挿入されており、挿入部２の第２の部分はその空間に挿入されていない。このとき、センサ情報は第１の部分の長さを示す。あるいは、センサ情報は、挿入部２がその空間において進んだ距離を示す。その長さまたは距離は、カメラによって画像が取得された被写体の位置と対応する。位置データは、２つ以上の点の位置を示すデータを含む。そのデータは、センサ情報が示す長さまたは距離と対応する。そのデータは、図２に示す座標データＣ１、座標データＣ２、および座標データＣ３と対応する。

例えば、時刻情報がセンサ情報に付加されている。その時刻情報は、センサ情報が生成された時刻を示す。撮影時刻を示す時刻情報が静止画に付加されている。センサ情報および静止画は、時刻情報によって互いに関連付けられている。位置データが示す１つの位置は、１つのセンサ情報と対応する。そのため、静止画は、その１つの位置と関連付けられている。

ステップＳ２３２の後、データ取得部１８３は、ＰＣ４１内の記録媒体またはメモリカード４２にアクセスし、位置データおよび静止画をその記録媒体またはメモリカード４２から取得する（ステップＳ２３３）。

ステップＳ２３３の後、表示制御部１８４は、位置データに基づいて位置情報を含む画像を表示部５に表示し、かつ１枚以上の静止画を表示部５に表示する（ステップＳ２３４）。ステップＳ２３４は、情報表示ステップと対応する。

図４７は、ステップＳ２３４において表示部５に表示された画像の例を示す。表示制御部１８４は、位置情報ＰＲ７０の画像、静止画ＩＭＧ７０、静止画ＩＭＧ７１、静止画ＩＭＧ７２、および静止画ＩＭＧ７３を表示部５に表示する。位置情報ＰＲ７０は、点Ｐ７０、点Ｐ７１、点Ｐ７２、および点Ｐ７３を含む。所定のマークが各点の位置に表示される。各点は、静止画を取得したカメラの位置を示す。位置データは、各点の位置を示すデータを含む。

基準位置から各点までの距離は、センサ情報が示す長さと対応する。例えば、基準位置は、撮影が開始されたときに取得されたセンサ情報によって示される。

点Ｐ７０は、静止画ＩＭＧ７０を取得したカメラの位置を示す。点Ｐ７１は、静止画ＩＭＧ７１を取得したカメラの位置を示す。点Ｐ７２は、静止画ＩＭＧ７２を取得したカメラの位置を示す。点Ｐ７３は、静止画ＩＭＧ７３を取得したカメラの位置を示す。表示部５に表示された画像において、点Ｐ７０、点Ｐ７１、点Ｐ７２、および点Ｐ７３の各々は、静止画と線で接続されている。そのため、ユーザーは、各静止画が取得された位置を把握することができる。

ステップＳ２３４の後、選択部１８６は、位置データに含まれる２つ以上の位置の少なくとも１つを選択する。さらに、選択部１８６は、その１つ以上の位置と関連付けられている１枚以上の静止画を選択する（ステップＳ２３５）。ステップＳ２３５は、位置選択ステップと対応する。ステップＳ２３５の後、ステップＳ１０８が実行される。

静止画は、位置データが示す位置と関連付けられている。位置データが示す１つ以上の位置が選択されたとき、選択部１８６は、その１つ以上の位置と関連付けられている１枚以上の静止画を選択する。

例えば、ユーザーは、操作部４を操作することにより、図４７に示す点Ｐ７０および点Ｐ７１を選択する。具体的には、ユーザーは、操作部４を操作することにより、点Ｐ７０および点Ｐ７１を選択するための選択指示を内視鏡装置１ｂに入力する。情報受付部１８５は、選択指示を受け付ける。選択指示は、点Ｐ７０および点Ｐ７１を示す。

選択部１８６は、選択指示が示す位置と対応する点Ｐ７０および点Ｐ７１を特定する。選択部１８６は、点Ｐ７０と関連付けられている静止画ＩＭＧ７０と、点Ｐ７１と関連付けられている静止画ＩＭＧ７１とを選択する。

センサ１９は、挿入部２の先端２０に配置された重力センサであってもよい。センサ１９は、先端２０に加わる重力の方向を検出し、検出された方向を示す方向情報をセンサ情報として生成してもよい。先端２０に対するセンサ１９の相対的な方向は変化しない。重力の方向に対する先端２０の方向が変化したとき、センサ１９から出力される方向情報が変化する。位置データ生成部１８２ｂは、方向情報に基づいて位置データを生成する。

センサ１９は、挿入部２の先端２０に配置されたジャイロセンサであってもよい。センサ１９は、先端２０の動きによって発生する角速度を検出し、検出された角速度を示す角速度情報をセンサ情報として生成してもよい。先端２０に対するセンサ１９の相対的な方向は変化しない。先端２０の方向が変化したとき、センサ１９から出力される角速度情報が変化する。角速度情報は、先端２０の方向の変化を示す。位置データ生成部１８２ｂは、角速度情報に基づいて位置データを生成する。

例えば、位置データ生成部１８２ｂは、方向情報または角速度情報に基づいて先端２０の方向の変化を検出する。内視鏡が曲がったとき、先端２０の方向が変化する。例えば、位置データは、内視鏡が曲がる回数と、静止画が取得された位置とを含む。ユーザーは、内視鏡が曲がる回数を確認することにより、パイプにおいて静止画が取得された部位を判断することができる。

内視鏡装置１ｂは、ＣＰＵ１８ｂに代えて図６に示すＣＰＵ１８または図２５に示すＣＰＵ１８ａを有してもよい。画像処理部１８１は、撮像素子２８によって取得された２Ｄ画像を処理することにより、パイプの曲がり角を検出してもよく、かつ内視鏡が曲がる方向を検出してもよい。３Ｄデータ生成部１８２は、ロータリーエンコーダーによって生成されたセンサ情報と、画像処理部１８１によって検出された方向とに基づいて３Ｄデータを生成してもよい。

挿入部２が検査対象内の空間に挿入しているとき、ユーザーは、操作部４を操作することにより、挿入部２を湾曲させるための湾曲指示を内視鏡装置１ｂに入力する。情報受付部１８５は、湾曲指示を受け付ける。湾曲指示は、挿入部２が曲がる方向（湾曲方向）を示す。制御部１８０は、湾曲指示が示す湾曲方向に挿入部２を湾曲させるための制御を実行する。３Ｄデータ生成部１８２は、ロータリーエンコーダーによって生成されたセンサ情報と、湾曲方向とに基づいて３Ｄデータを生成してもよい。

センサ１９は、ロータリーエンコーダーに加えて重力センサまたはジャイロセンサを有してもよい。ロータリーエンコーダーから出力されたセンサ情報は、長さまたは距離を示す。重力センサまたはジャイロセンサから出力されたセンサ情報は、内視鏡の方向の変化を示す。３Ｄデータ生成部１８２は、ロータリーエンコーダーから出力されたセンサ情報と、重力センサまたはジャイロセンサから出力されたセンサ情報とに基づいて３Ｄデータを生成してもよい。

センサ１９は、重力センサまたはジャイロセンサに加えて加速度センサを有してもよい。加速度センサから出力されたセンサ情報は、内視鏡の加速度を示す。３Ｄデータ生成部１８２は、その加速度に基づいて内視鏡の位置の変化量を算出してもよい。３Ｄデータ生成部１８２は、その変化量と、重力センサまたはジャイロセンサから出力されたセンサ情報とに基づいて３Ｄデータを生成してもよい。

３Ｄデータ生成部１８２は、ステップＳ１０４において、過去の検査において取得された１枚以上の２Ｄ画像を使用することにより３Ｄデータを生成してもよい。その場合、静止画が取得された位置は、パイプの入り口からその位置までの距離によって示されてもよい。３Ｄデータ生成部１８２は、３Ｄデータにおいてその入り口からその距離だけ離れた点を特定する。これにより、３Ｄデータ生成部１８２は、静止画が取得された位置と対応する３Ｄ位置を特定することができる。静止画が取得された位置は、パイプの曲がり角からその位置までの距離によって示されてもよい。３Ｄデータ生成部１８２は、その１枚以上の２Ｄ画像を処理することにより、傷などの特徴領域を検出してもよい。静止画が取得された位置は、その特徴領域からその位置までの距離によって示されてもよい。３Ｄデータ生成部１８２は、上記の方法を使用することにより、静止画が取得された位置と、過去の検査における３Ｄデータに含まれる点とを互いに関連付けることができる。

３Ｄデータ生成部１８２は、ドローンによって生成された１枚以上の２Ｄ画像を使用することにより３Ｄデータを生成してもよい。３Ｄデータ生成部１８２は、ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置またはＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置によって生成された１枚以上の２Ｄ画像を使用することにより３Ｄデータを生成してもよい。

本発明の各態様は次の変形例を含んでもよい。１枚以上の静止画は、撮像素子２８（イメージセンサ）によって生成される。撮像素子２８は、物体を含む３Ｄ空間に挿入できる挿入部２の先端２０（先端部）に配置されている。位置データは、イメージセンサ以外のセンサによって生成されたセンサ情報に基づいて生成される。

本発明の各態様は次の変形例を含んでもよい。イメージセンサ以外のセンサ１９は、ロータリーエンコーダーである。ロータリーエンコーダーは、３Ｄ空間に挿入された挿入部２の長さを検出し、検出された長さを示す長さ情報をセンサ情報として生成する。位置データは、長さ情報に基づいて生成される。

本発明の各態様は次の変形例を含んでもよい。イメージセンサ以外のセンサ１９は、重力センサである。重力センサは、先端２０に配置され、先端２０に加わる重力の方向を検出し、検出された方向を示す方向情報をセンサ情報として生成する。位置データは、方向情報に基づいて生成される。

本発明の各態様は次の変形例を含んでもよい。イメージセンサ以外のセンサ１９は、ジャイロセンサである。ジャイロセンサは、先端２０に配置され、先端２０の動きによって発生する角速度を検出し、検出された角速度を示す角速度情報をセンサ情報として生成する。位置データは、角速度情報に基づいて生成される。

本発明の各態様は次の変形例を含んでもよい。挿入部２は、湾曲方向を示す指示に基づいて湾曲する。位置データは、センサ情報および湾曲方向に基づいて生成される。

第８の実施形態において、内視鏡装置１ｂは、センサ１９によって生成されたセンサ情報を使用することにより位置データを生成し、その位置データに基づいて位置情報を表示する。ユーザーは、位置情報において検査対象の位置を直感的に把握することができ、かつその位置を容易に選択することができる。内視鏡装置１ｂは、ユーザーによって選択された位置の静止画と関連付けられているメタデータを処理する。そのため、内視鏡装置１ｂは、メタデータを処理するための作業の効率を改善することができる。

（第９の実施形態）
本発明の第９の実施形態を説明する。内視鏡装置１は、撮像素子２８によって生成された２Ｄ画像を使用することにより、３Ｄデータと対応する２Ｄデータを生成する。内視鏡装置１は、図４５に示すＣＰＵ１８ｂを有する。

位置データ生成部１８２ｂは、被写体の１枚以上の２Ｄ画像における被写体上の２つ以上の点の２Ｄ座標を含む２次元データ（２Ｄデータ）を生成する。２Ｄデータは、２つ以上の点の２Ｄ座標を含む。２Ｄデータは、３つ以上の点の２Ｄ座標を含んでもよい。２Ｄデータは、各点のＸ座標およびＹ座標を含む。２Ｄデータは、位置データと対応する。２Ｄデータに含まれる２Ｄ座標は、図２に示す座標データＣ１、座標データＣ２、および座標データＣ３と対応する。

図４８は、検査対象の例を模式的に示す。図４８に示す検査対象ＩＴ７０は、航空機エンジンである。検査対象ＩＴ７０は、多数のブレードＢＬ７０を有する。検査対象ＩＴ７０が回転軸ＲＸ７０を中心に方向ＤＩＲ７０に回転しているとき、撮像素子２８はブレードＢＬ７０を撮影し、２枚以上の２Ｄ画像を連続的に取得する。例えば、撮像素子２８は、視野ＶＦ７０の２Ｄ画像を取得し、その後、視野ＶＦ７１の２Ｄ画像を取得する。検査対象ＩＴ７０が少なくとも一周するまで撮像素子２８は２Ｄ画像を取得し続ける。

位置データ生成部１８２ｂは、２枚以上の２Ｄ画像を合成する。これにより、位置データ生成部１８２ｂは、全てのブレードＢＬ７０が写っている２Ｄ画像を生成する。位置データ生成部１８２ｂは、生成された２Ｄ画像における２つ以上の点の２Ｄ座標を含む２Ｄデータを生成する。

位置データ生成部１８２ｂは、動画の１枚以上のフレームを使用することにより、２Ｄデータを生成する。検査対象の全体が１枚のフレームに写っている場合、位置データ生成部１８２ｂは、そのフレームを使用することにより、２Ｄデータを生成してもよい。静止画は、動画のフレームと同じである。静止画は、２Ｄデータに含まれる１つ以上の点の２Ｄ座標と関連付けられている。

図４９を使用することにより、第９の実施形態におけるデータ処理について説明する。図４９は、データ処理の手順を示す。図４９は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図７に示す処理と同じ処理の説明を省略する。

撮影を終了すると制御部１８０がステップＳ１０３において判断した場合、位置データ生成部１８２ｂは、被写体の１枚以上の２Ｄ画像に基づいて被写体上の２つ以上の点の２Ｄ座標を含む２Ｄデータを生成する。位置データ生成部１８２ｂは、２ＤデータをＰＣ４１内の記録媒体またはメモリカード４２に記録する（ステップＳ２４１）。

ステップＳ２４１の後、データ取得部１８３は、ＰＣ４１内の記録媒体またはメモリカード４２にアクセスし、２Ｄデータおよび静止画をその記録媒体またはメモリカード４２から取得する（ステップＳ２４２）。

ステップＳ２４２の後、表示制御部１８４は、２Ｄデータに基づいて２Ｄ画像を表示部５に表示し、かつ１枚以上の静止画を表示部５に表示する（ステップＳ２４３）。ステップＳ２４３は、情報表示ステップと対応する。２Ｄ画像の各画素は、２Ｄデータに含まれる２Ｄ座標と関連付けられている。

ステップＳ２４３の後、選択部１８６は、２Ｄデータに含まれる２つ以上の点の少なくとも１つを選択する。これにより、選択部１８６は、１つ以上の２Ｄ位置を選択する。さらに、選択部１８６は、その１つ以上の２Ｄ位置と関連付けられている１枚以上の静止画を選択する（ステップＳ２４４）。ステップＳ２４４は、位置選択ステップと対応する。ステップＳ２４４の後、ステップＳ１０８が実行される。

第９の実施形態において、内視鏡装置１は、２つ以上の点の２Ｄ座標を含む２Ｄデータを生成し、その２Ｄデータに基づいて２Ｄ画像を表示する。ユーザーは、２Ｄ画像において検査対象の位置を直感的に把握することができ、かつその位置を容易に選択することができる。内視鏡装置１は、ユーザーによって選択された位置の静止画と関連付けられているメタデータを処理する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。

（第１０の実施形態）
本発明の第１０の実施形態を説明する。内視鏡装置１は、メタデータを自動的に処理し、処理結果をユーザーに通知する。内視鏡装置１は、図６に示すＣＰＵ１８を有する。

表示制御部１８４は、３Ｄデータに基づいて、物体を含む３Ｄ空間内の２つ以上の位置の位置関係を示す位置情報を表示部５に表示する（情報表示ステップ）。選択部１８６は、２つ以上の位置に含まれる少なくとも１つの位置を選択する（位置選択ステップ）。データ処理部１８７は、メタデータを処理する（処理ステップ）。表示制御部１８４は、選択部１８６によって選択された少なくとも１つの位置を表示部５に表示する（位置表示ステップ）。

図５０を使用することにより、第１０の実施形態におけるデータ処理について説明する。図５０は、データ処理の手順を示す。図５０は、撮影を終了すると制御部１８０が図７に示すステップＳ１０３において判断した後に実行される処理を示す。図７に示す処理と同じ処理の説明を省略する。

ステップＳ１０５の後、画像処理部１８１は、セグメンテーション処理を実行する。これにより、画像処理部１８１は、被写体の３Ｄ形状の領域を２つ以上のセグメントに分割する（ステップＳ１６１）。ステップＳ１６１は、図２８に示すステップＳ１６１と同じである。

ステップＳ１６１の後、表示制御部１８４は、３Ｄデータに基づいて３Ｄ画像を表示部５に表示し、かつ１枚以上の静止画を表示部５に表示する。このとき、表示制御部１８４は、２つ以上のセグメントを互いに異なる色で表示する（ステップＳ１６２）。ステップＳ１６２は、図２８に示すステップＳ１６２と同じである。ステップＳ１６２は、情報表示ステップおよび位置表示ステップと対応する。

ステップＳ１６２の後、選択部１８６は、２つ以上のセグメントの１つを選択する。選択部１８６は、選択されたセグメントに含まれる３Ｄ位置を選択する（ステップＳ２５１）。ステップＳ２５１は、位置選択ステップと対応する。

ステップＳ２５１の後、選択部１８６は、第２の実施形態における方法を使用することにより、ステップＳ２５１において選択された３Ｄ位置と関連付けられている静止画を選択する（ステップＳ２５２）。２枚以上の静止画が、１つのセグメントに含まれる３Ｄ位置と関連付けられている場合、その２枚以上の静止画が選択される。その２枚以上の静止画は、１つのセグメントにおいて互いに異なる３Ｄ位置と関連付けられていてもよい。

ステップＳ２５２の後、データ処理部１８７は、ステップＳ２５２において選択された静止画のメタデータを処理する（ステップＳ２５３）。ステップＳ２５３は、データ処理ステップと対応する。

例えば、データ処理部１８７は、セグメント毎にフォルダをＰＣ４１内の記録媒体またはメモリカード４２に生成する。データ処理部１８７は、ステップＳ２５２において選択された静止画をそのフォルダに保存する。１枚以上の静止画は、１つのフォルダに保存される。データ処理部１８７は、そのフォルダの名称（ファイルパス）をメタデータに記録する。

ステップＳ２５３の後、制御部１８０は、全てのセグメントにおいてステップＳ２５１からステップＳ２５３が実行されたか否かを判断する（ステップＳ２５４）。

１つ以上のセグメントにおいてステップＳ２５１からステップＳ２５３がまだ実行されていないと制御部１８０が判断した場合、ステップＳ２５１が実行される。このとき、前回までの処理において選択されていないセグメントが選択される。

全てのセグメントにおいてステップＳ２５１からステップＳ２５３が実行されたと制御部１８０が判断した場合、表示制御部１８４は、ステップＳ２５３において処理されたメタデータの内容を表示部５に表示する（ステップＳ２５５）。ユーザーは、メタデータがユーザーの意図に従って処理されたか否かを確認することができる。ステップＳ２５５が実行されたとき、データ処理が終了する。

図５１は、ステップＳ１６２において表示部５に表示された画像の例を示す。その画像は、ステップＳ２５５においても表示部５に表示される。表示制御部１８４は、３Ｄ画像ＰＲ８０を表示部５に表示する。表示制御部１８４は、セグメントＳＧ８１、セグメントＳＧ８２、セグメントＳＧ８３、セグメントＳＧ８４、およびセグメントＳＧ８５を表示部５に表示する。各セグメントは３Ｄ画像ＰＲ８０に重畳されている。これらの領域は互いに異なる色で表示される。表示制御部１８４は各セグメントを３Ｄ画像ＰＲ８０に重畳する必要はない。表示制御部１８４は、３Ｄ画像ＰＲ８０が表示される領域と異なる領域に各セグメントを表示してもよい。

表示制御部１８４は、静止画ＩＭＧ８１、静止画ＩＭＧ８２、静止画ＩＭＧ８３、および静止画ＩＭＧ８４を表示部５に表示する。表示制御部１８４は、点Ｐ８１、点Ｐ８２、点Ｐ８３、および点Ｐ８４を表示部５に表示する。各点は、３Ｄ画像ＰＲ８０に重畳されている。所定のマークが各点の位置に表示される。各点は、静止画を取得したカメラの位置を示す。

点Ｐ８１は、静止画ＩＭＧ８１を取得したカメラの位置を示す。点Ｐ８２は、静止画ＩＭＧ８２を取得したカメラの位置を示す。点Ｐ８３は、静止画ＩＭＧ８３を取得したカメラの位置を示す。点Ｐ８４は、静止画ＩＭＧ８４を取得したカメラの位置を示す。表示部５に表示された画像において、点Ｐ８１、点Ｐ８２、点Ｐ８３、および点Ｐ８４の各々は、静止画と線で接続されている。そのため、ユーザーは、各静止画が取得された位置を把握することができる。

静止画ＩＭＧ８１は、ファイル名「ｉｍｇ０１．ｊｐｇ」を持ち、かつセグメントＳＧ８１における点Ｐ８１と関連付けられている。静止画ＩＭＧ８２は、ファイル名「ｉｍｇ０２．ｊｐｇ」を持ち、かつセグメントＳＧ８１における点Ｐ８２と関連付けられている。静止画ＩＭＧ８３は、ファイル名「ｉｍｇ０３．ｊｐｇ」を持ち、かつセグメントＳＧ８３における点Ｐ８３と関連付けられている。静止画ＩＭＧ８４は、ファイル名「ｉｍｇ０４．ｊｐｇ」を持ち、かつセグメントＳＧ８５における点Ｐ８４と関連付けられている。各静止画のファイル名に含まれる文字列が各静止画の近傍に表示される。

図５２は、ステップＳ２５５において表示部５に表示された画像の例を示す。表示制御部１８４は、ツリー構造Ｔ８０を表示部５に表示する。表示制御部１８４は図５１に示す３Ｄ画像ＰＲ８０を表示部５に表示するが、３Ｄ画像ＰＲ８０は図５２に示されてない。

ツリー構造Ｔ８０は、「検査データ」フォルダ、「Ｆｉｒｓｔ」フォルダ、「Ｓｅｃｏｎｄ」フォルダ、「Ｔｈｉｒｄ」フォルダ、「Ｆｏｕｒｔｈ」フォルダ、および「Ｆｉｆｔｈ」フォルダの階層構造を示す。「検査データ」フォルダは最上位のフォルダである。「Ｆｉｒｓｔ」フォルダ、「Ｓｅｃｏｎｄ」フォルダ、「Ｔｈｉｒｄ」フォルダ、「Ｆｏｕｒｔｈ」フォルダ、および「Ｆｉｆｔｈ」フォルダフォルダは「検査データ」フォルダの下位に位置している。各フォルダの名称がツリー構造Ｔ８０上に表示される。

「Ｆｉｒｓｔ」フォルダは、図５１に示すセグメントＳＧ８１と関連付けられている。データ処理部１８７は、静止画ＩＭＧ８１および静止画ＩＭＧ８２を「Ｆｉｒｓｔ」フォルダに保存する。静止画ＩＭＧ８１および静止画ＩＭＧ８２は、セグメントＳＧ８１における３Ｄ位置と関連付けられている。静止画ＩＭＧ８１のファイル名ＦＮ８１および静止画ＩＭＧ８２のファイル名ＦＮ８２が「Ｆｉｒｓｔ」フォルダにおいて表示される。

「Ｓｅｃｏｎｄ」フォルダは、図５１に示すセグメントＳＧ８２と関連付けられている。セグメントＳＧ８２における３Ｄ位置と関連付けられている静止画が存在しないため、静止画は「Ｓｅｃｏｎｄ」フォルダに保存されない。

「Ｔｈｉｒｄ」フォルダは、図５１に示すセグメントＳＧ８３と関連付けられている。データ処理部１８７は、静止画ＩＭＧ８３を「Ｔｈｉｒｄ」フォルダに保存する。静止画ＩＭＧ８３は、セグメントＳＧ８３における３Ｄ位置と関連付けられている。静止画ＩＭＧ８３のファイル名ＦＮ８３が「Ｔｈｉｒｄ」フォルダにおいて表示される。

「Ｆｏｕｒｔｈ」フォルダは、図５１に示すセグメントＳＧ８４と関連付けられている。セグメントＳＧ８４における３Ｄ位置と関連付けられている静止画が存在しないため、静止画は「Ｆｏｕｒｔｈ」フォルダに保存されない。

「Ｆｉｆｔｈ」フォルダは、図５１に示すセグメントＳＧ８５と関連付けられている。データ処理部１８７は、静止画ＩＭＧ８４を「Ｆｉｆｔｈ」フォルダに保存する。静止画ＩＭＧ８４は、セグメントＳＧ８５における３Ｄ位置と関連付けられている。静止画ＩＭＧ８４のファイル名ＦＮ８４が「Ｆｉｆｔｈ」フォルダにおいて表示される。

ユーザーは、各セグメントと各フォルダとの関係を予め把握している。各フォルダは、各セグメントの色と対応する名称を持ってもよい。ユーザーは、３Ｄ画像ＰＲ８０およびツリー構造Ｔ８０を参照することにより、各静止画のカメラ位置と、各静止画が保存されたフォルダとを確認する。

セグメントＳＧ８１は、「Ｆｉｒｓｔ」フォルダと関連付けられている。ユーザーは、３Ｄ画像ＰＲ８０を参照することにより、静止画ＩＭＧ８１および静止画ＩＭＧ８２がセグメントＳＧ８１と関連付けられていることを確認する。静止画ＩＭＧ８１はファイル名「ｉｍｇ０１．ｊｐｇ」を持つ。静止画ＩＭＧ８２はファイル名「ｉｍｇ０２．ｊｐｇ」を持つ。ユーザーは、ツリー構造Ｔ８０を参照することにより、静止画ＩＭＧ８１のファイル名ＦＮ８１および静止画ＩＭＧ８２のファイル名ＦＮ８２が「Ｆｉｒｓｔ」フォルダにおいて表示されていることを確認する。

セグメントＳＧ８３は、「Ｔｈｉｒｄ」フォルダと関連付けられている。ユーザーは、３Ｄ画像ＰＲ８０を参照することにより、静止画ＩＭＧ８３がセグメントＳＧ８３と関連付けられていることを確認する。静止画ＩＭＧ８３はファイル名「ｉｍｇ０３．ｊｐｇ」を持つ。ユーザーは、ツリー構造Ｔ８０を参照することにより、静止画ＩＭＧ８３のファイル名ＦＮ８３が「Ｔｈｉｒｄ」フォルダにおいて表示されていることを確認する。

セグメントＳＧ８５は、「Ｆｏｕｒｔｈ」フォルダと関連付けられている。ユーザーは、３Ｄ画像ＰＲ８０を参照することにより、静止画ＩＭＧ８４がセグメントＳＧ８５と関連付けられていることを確認する。静止画ＩＭＧ８４はファイル名「ｉｍｇ０４．ｊｐｇ」を持つ。ユーザーは、ツリー構造Ｔ８０を参照することにより、静止画ＩＭＧ８４のファイル名ＦＮ８４が「Ｆｏｕｒｔｈ」フォルダにおいて表示されていることを確認する。

ユーザーは、上記の作業を実施することにより、セグメント毎に用意されたフォルダに各静止画が保存されたか否かを確認することができる。メタデータが自動的に処理されるため、ユーザーの作業量が減る。

データ処理部１８７は、ステップＳ２５３において静止画のファイル名を変更してもよい。例えば、データ処理部１８７は、各セグメントと対応する文字列を静止画のファイル名に追加してもよい。

データ処理部１８７は、ステップＳ２５３において静止画を処理し、その静止画に写っている所定の領域を検出してもよい。例えば、所定の領域は、傷または曲がり角である。所定の領域が検出された場合、データ処理部１８７は、その領域の種類を示すメタデータを静止画と関連付けてもよい。

内視鏡装置１がロータリーエンコーダーを有してもよい。ロータリーエンコーダーは、検査対象内の空間に挿入された挿入部２の長さを示す長さ情報を生成する。データ処理部１８７は、ステップＳ２５３において、その長さ情報をメタデータとして静止画と関連付けてもよい。

ステップＳ２５５の後、データ処理部１８７は、図３９に示すステップＳ２２２と同様の処理を実行することによりメタデータを修正してもよい。

ステップＳ２５１、ステップＳ２５２、およびステップＳ２５３のいずれか１つが実行された後にステップＳ１６２が実行されてもよい。ステップＳ２５５が実行された後にステップＳ１６２が実行されてもよい。

本発明の各態様のデータ処理方法は、情報表示ステップ（ステップＳ１６２）、位置選択ステップ（ステップＳ２５１）、処理ステップ（ステップＳ２５３）、および位置表示ステップ（ステップＳ１６２）を有する。表示制御部１８４は、情報表示ステップにおいて、位置データに基づいて、物体を含む３Ｄ空間内の２つ以上の位置の位置関係を示す位置情報を表示部５に表示する。位置データは、その２つ以上の位置を示す。選択部１８６は、位置選択ステップにおいて、その２つ以上の位置に含まれる少なくとも１つの位置を選択する。データ処理部１８７は、処理ステップにおいてメタデータを処理する。メタデータは、静止画と関連付けられている。その静止画は、物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された少なくとも１つの位置と関連付けられている。表示制御部１８４は、位置表示ステップにおいて、選択された少なくとも１つの位置を表示部５に表示する。

第１０の実施形態において、内視鏡装置１は、メタデータを自動的に処理し、処理されたメタデータの内容を表示する。そのため、内視鏡装置１は、メタデータを処理するための作業の効率を改善することができる。処理されたメタデータの内容が表示されるため、ユーザーは、自動的に処理されたメタデータの内容を確認することができる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。

１，１ｂ 内視鏡装置
２ 挿入部
３ 本体部
４ 操作部
５ 表示部
７ データ処理装置
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御装置
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインタフェース
１６ 外部機器インタフェース
１７ 制御インタフェース
１８，１８ａ，１８ｂ ＣＰＵ
１９ センサ
２０ 先端
２８ 撮像素子
４１ ＰＣ
４２ メモリカード
７０，１８４ 表示制御部
７１，１８６ 選択部
７２，１８７ データ処理部
１８０ 制御部
１８１ 画像処理部
１８２ ３Ｄデータ生成部
１８２ｂ 位置データ生成部
１８３ データ取得部
１８５ 情報受付部
１８８ 判断部

Claims (33)

1. 表示制御部が位置データに基づいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する情報表示ステップであって、前記位置データは、前記２つ以上の位置を示す前記情報表示ステップと、
   前記位置情報が表示された後、選択部が前記２つ以上の位置に含まれる少なくとも１つの位置を選択する位置選択ステップと、
   データ処理部がメタデータを処理する処理ステップであって、前記メタデータは、静止画と関連付けられており、前記静止画は、前記物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された前記少なくとも１つの位置と関連付けられている前記処理ステップと、
   を有するデータ処理方法。
2. 前記表示制御部が、前記１枚以上の静止画のうち、選択された前記少なくとも１つの位置と関連付けられている少なくとも１枚の静止画を前記ディスプレイに表示する画像表示ステップと、
   前記少なくとも１枚の静止画が表示された後、前記選択部が前記少なくとも１枚の静止画から任意の静止画を選択する画像選択ステップと、
   をさらに有し、
   前記データ処理部は、前記処理ステップにおいて、選択された前記静止画と関連付けられている前記メタデータを処理する
   請求項１に記載のデータ処理方法。
3. 前記２つ以上の位置は、前記１枚以上の静止画に含まれる第１の静止画が取得された第１の位置を含み、
   前記選択部は、前記位置選択ステップにおいて、前記第１の位置を選択する
   請求項１に記載のデータ処理方法。
4. 前記表示制御部が、１つ以上の項目を含む入力フォーマットを前記ディスプレイに表示するフォーマット表示ステップをさらに有し、
   前記１つ以上の項目に含まれる少なくとも１つの項目の内容が前記入力フォーマットに入力されたとき、前記データ処理部は、前記処理ステップにおいて、前記内容に基づいて前記メタデータを処理する
   請求項１に記載のデータ処理方法。
5. 前記メタデータが処理された後、前記表示制御部が、処理された前記メタデータの内容を含む操作画面を前記ディスプレイに表示するデータ表示ステップをさらに有する
   請求項１に記載のデータ処理方法。
6. 前記データ処理方法は、前記データ処理部が前記操作画面の操作に基づいて前記メタデータを修正するデータ修正ステップをさらに有する
   請求項５に記載のデータ処理方法。
7. 前記１枚以上の静止画は、前記物体を撮影することにより生成された動画の１枚以上のフレームと対応する
   請求項１に記載のデータ処理方法。
8. 前記１枚以上の静止画は、２つ以上の点の３次元座標を可視化し、
   前記２つ以上の点の３次元座標は、前記物体を撮影することにより生成された２枚以上の画像にＳｆＭ（ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ ｍｏｔｉｏｎ）を適用することにより算出される
   請求項１に記載のデータ処理方法。
9. ２枚以上のフレームに含まれる少なくとも１枚のフレームにフラグが付加されており、
   前記２枚以上のフレームは、前記物体を撮影することにより生成された動画に含まれ、
   前記２枚以上のフレームのうち前記フラグが付加されている１枚以上のフレームが前記１枚以上の静止画として選択される
   請求項１に記載のデータ処理方法。
10. 前記２つ以上の位置は、前記１枚以上の静止画に含まれる第２の静止画が取得された第２の位置を含まず、
    前記選択部は、前記位置選択ステップにおいて、推定された前記第２の位置を選択し、
    前記処理ステップにおいて処理された前記メタデータは、選択された前記第２の位置で取得された前記第２の静止画と関連付けられている
    請求項１に記載のデータ処理方法。
11. 前記１枚以上の静止画は、第１の装置によって生成され、
    前記位置データは、前記第１の装置と異なる第２の装置によって生成される
    請求項１に記載のデータ処理方法。
12. 前記位置データは、前記物体を撮影することにより生成された２枚以上の画像にＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）を適用することにより生成される
    請求項１に記載のデータ処理方法。
13. 前記２枚以上の画像は、アクティブステレオ法の原理に基づいて生成される
    請求項１２に記載のデータ処理方法。
14. 単眼光学系が、前記２枚以上の画像を生成するための撮影に使用され、
    前記単眼光学系は、１つの視野と対応する
    請求項１２に記載のデータ処理方法。
15. ステレオ光学系が、前記２枚以上の画像を生成するための撮影に使用され、
    前記ステレオ光学系は、互いに異なる第１の視野および第２の視野と対応し、
    前記２枚以上の画像は、前記第１の視野内で捕らえられた前記物体の２枚以上の画像と、前記第２の視野内で捕らえられた前記物体の２枚以上の画像と対応する
    請求項１２に記載のデータ処理方法。
16. 前記１枚以上の静止画は、イメージセンサによって生成され、
    前記イメージセンサは、前記３次元空間に挿入できる挿入部の先端部に配置され、
    前記位置データは、前記イメージセンサ以外のセンサによって生成されたセンサ情報に基づいて生成される
    請求項１に記載のデータ処理方法。
17. 前記イメージセンサ以外の前記センサは、ロータリーエンコーダーであり、
    前記ロータリーエンコーダーは、前記３次元空間に挿入された前記挿入部の長さを検出し、検出された長さを示す長さ情報を前記センサ情報として生成し、
    前記位置データは、前記長さ情報に基づいて生成される
    請求項１６に記載のデータ処理方法。
18. 前記イメージセンサ以外の前記センサは、重力センサであり、
    前記重力センサは、前記先端部に配置され、前記先端部に加わる重力の方向を検出し、検出された前記方向を示す方向情報を前記センサ情報として生成し、
    前記位置データは、前記方向情報に基づいて生成される
    請求項１６に記載のデータ処理方法。
19. 前記イメージセンサ以外の前記センサは、ジャイロセンサであり、
    前記ジャイロセンサは、前記先端部に配置され、前記先端部の動きによって発生する角速度を検出し、検出された前記角速度を示す角速度情報を前記センサ情報として生成し、
    前記位置データは、前記角速度情報に基づいて生成される
    請求項１６に記載のデータ処理方法。
20. 前記挿入部は、湾曲方向を示す指示に基づいて湾曲し、
    前記位置データは、前記センサ情報および前記湾曲方向に基づいて生成される
    請求項１６に記載のデータ処理方法。
21. 前記選択部が、前記１枚以上の静止画のうち、選択された前記少なくとも１つの位置と関連付けられている静止画を選択する画像選択ステップと、
    前記表示制御部が、選択された前記静止画を前記ディスプレイに表示する画像表示ステップと、
    をさらに有し、
    前記データ処理部は、前記処理ステップにおいて、選択された前記静止画と関連付けられている前記メタデータを処理する
    請求項１に記載のデータ処理方法。
22. 分割部が前記２つ以上の位置を２つ以上のグループに分割する分割ステップをさらに有する
    請求項１に記載のデータ処理方法。
23. 前記選択部は、前記位置選択ステップにおいて、前記２つ以上のグループの１つを選択し、かつ選択されたグループに含まれる前記位置を選択する
    請求項２２に記載のデータ処理方法。
24. 前記少なくとも１つの位置が選択される前に前記分割ステップが実行され、
    前記データ処理方法は、前記少なくとも１つの位置が選択される前に、前記表示制御部が前記２つ以上のグループを前記ディスプレイに表示するグループ表示ステップをさらに有する
    請求項２２に記載のデータ処理方法。
25. 前記２つ以上のグループの１つは、前記２つ以上の位置の少なくとも１つを含み、
    前記データ処理方法は、
    前記選択部が、前記２つ以上のグループの前記１つを選択するグループ選択ステップと、
    前記１枚以上の静止画が、選択されたグループに含まれる少なくとも１つの位置のいずれとも関連付けられていないとき、警告出力部が警告を出力する警告出力ステップと、
    をさらに有する
    請求項２２に記載のデータ処理方法。
26. ２枚以上の静止画が前記１枚以上の静止画として使用され、
    前記選択部は、前記位置選択ステップにおいて、前記２つ以上の位置に含まれる少なくとも２つの位置を選択し、
    前記データ処理部は、前記処理ステップにおいて、前記少なくとも２つの位置に基づいて前記メタデータを処理し、
    前記データ処理方法は、
    判断部が、前記処理ステップにおいて処理された前記メタデータの内容が前記少なくとも２つの位置の間の位置関係と整合しているか否かを判断する判断ステップと、
    前記内容が前記位置関係と整合していないと前記判断部が判断したとき、警告出力部が警告を出力する警告出力ステップと、
    をさらに有する
    請求項１に記載のデータ処理方法。
27. 前記２つ以上の位置の各々は、２枚以上の画像の少なくとも１枚と関連付けられ、
    前記２枚以上の画像は、前記物体を撮影することにより生成された動画に含まれ、
    前記２枚以上の画像の各々は、前記２枚以上の画像の各々が生成された時刻を示す時刻情報と関連付けられており、
    前記選択部は、前記位置選択ステップにおいて、前記時刻情報を選択し、かつ選択された前記時刻情報に基づいて前記少なくとも１つの位置を選択する
    請求項１に記載のデータ処理方法。
28. 前記メタデータは、前記静止画のファイル名と、前記静止画が記憶されるフォルダの名称との少なくとも１つである
    請求項１に記載のデータ処理方法。
29. 前記メタデータは、前記静止画をレポートに添付するか否かを示すデータを含む
    請求項１に記載のデータ処理方法。
30. 前記１枚以上の静止画は、内視鏡が前記物体を撮影したときに前記内視鏡によって取得される
    請求項１に記載のデータ処理方法。
31. 表示制御部が位置データに基づいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する情報表示ステップであって、前記位置データは、前記２つ以上の位置を示す前記情報表示ステップと、
    選択部が前記２つ以上の位置に含まれる少なくとも１つの位置を選択する位置選択ステップと、
    データ処理部がメタデータを処理する処理ステップであって、前記メタデータは、静止画と関連付けられており、前記静止画は、前記物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された前記少なくとも１つの位置と関連付けられている前記処理ステップと、
    前記表示制御部が、選択された前記少なくとも１つの位置を前記ディスプレイに表示する位置表示ステップと、
    を有するデータ処理方法。
32. 位置データに基づいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する表示制御部であって、前記位置データは、前記２つ以上の位置を示す前記表示制御部と、
    前記位置情報が表示された後、前記２つ以上の位置に含まれる少なくとも１つの位置を選択する選択部と、
    メタデータを処理するデータ処理部であって、前記メタデータは、静止画と関連付けられており、前記静止画は、前記物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された前記少なくとも１つの位置と関連付けられている前記データ処理部と、
    を有するデータ処理装置。
33. 位置データに基づいて、物体を含む３次元空間内の２つ以上の位置の位置関係を示す位置情報をディスプレイに表示する情報表示ステップであって、前記位置データは、前記２つ以上の位置を示す前記情報表示ステップと、
    前記位置情報が表示された後、前記２つ以上の位置に含まれる少なくとも１つの位置を選択する位置選択ステップと、
    メタデータを処理する処理ステップであって、前記メタデータは、静止画と関連付けられており、前記静止画は、前記物体を撮影することにより生成された１枚以上の静止画に含まれ、かつ選択された前記少なくとも１つの位置と関連付けられている前記処理ステップと、
    をコンピュータに実行させるためのプログラム。

Images