JP2022184415A - ３次元画像表示方法、３次元画像表示装置、およびプログラム - Google Patents

３次元画像表示方法、３次元画像表示装置、およびプログラム Download PDF

Info

Publication number
JP2022184415A
JP2022184415A JP2021092249A JP2021092249A JP2022184415A JP 2022184415 A JP2022184415 A JP 2022184415A JP 2021092249 A JP2021092249 A JP 2021092249A JP 2021092249 A JP2021092249 A JP 2021092249A JP 2022184415 A JP2022184415 A JP 2022184415A
Authority
JP
Japan
Prior art keywords
data
dimensional
coordinate system
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021092249A
Other languages
English (en)
Inventor
陽平 坂本
Yohei Sakamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Evident Co Ltd
Original Assignee
Evident Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Evident Co Ltd filed Critical Evident Co Ltd
Priority to JP2021092249A priority Critical patent/JP2022184415A/ja
Priority to US17/741,911 priority patent/US11856176B2/en
Publication of JP2022184415A publication Critical patent/JP2022184415A/ja
Priority to US18/514,216 priority patent/US20240089421A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Abstract

【課題】２つ以上の３次元データが共通の領域のデータを含まない場合であっても２つ以上の３次元データが示す３次元形状を表示することができる３次元画像表示方法、３次元画像表示装置、およびプログラムを提供する。【解決手段】３次元画像表示方法において、取得部は、被写体の第１の３次元データおよび第２の３次元データを記録媒体から取得する。変換部は、前記被写体の幾何的な構造に関する構造情報に基づいて、前記第１の３次元データの第１の３次元座標系および前記第２の３次元データの第２の３次元座標系を３次元の共通座標系に変換する。表示制御部は、前記共通座標系における前記第１の３次元データの画像と前記共通座標系における前記第２の３次元データの画像とをディスプレイに表示する。【選択図】図２

Description

本発明は、３次元画像表示方法、３次元画像表示装置、およびプログラムに関する。
工業用の内視鏡装置は、ボイラー、ガスタービン、自動車エンジン、およびパイプ等の内部の異常（傷および腐食等）の検査に使用されている。内視鏡検査において、異常の有無および異常の深刻さを検査の証拠として残すために検査の作業者は検査中に静止画を記録する。内視鏡検査が完了した後、検査レポートが生成される。一般的に、記録された静止画に写っている異常の状態などを示すテキストがその静止画と一緒に検査レポートに付加される。
位置情報が、異常に関する付加事項に含まれる。位置情報は、記録された静止画が検査対象物において取得された位置を示す。発見された異常の位置情報は、異常な部位を交換または修理する際、あるいは次回の検査が実施される際に重要である。異常の位置情報を記録および管理する方法として、検査中に記録された静止画を、検査対象の３次元形状（３Ｄ形状）を示す３次元データ（３Ｄデータ）における特定の位置と関連付け、かつその静止画が取得された位置を可視化するという方法がある。このような方法を使用することにより、静止画が取得された検査対象の位置が明確になる。
検査対象の３Ｄデータを取得する方法として、検査中に記録された動画を使用することにより検査対象の３Ｄ形状を再構成する方法がある。この方法では、検査中に記録された動画が使用される。そのため、特別な検査機器が検査現場に持ち込まれる必要はなく、かつ検査対象の設計図などは必要ない。
検査対象の３Ｄ形状を再構成する方法では、複数の視点において取得された複数の画像を互いに関連付ける必要がある。複数の画像を互いに関連付けることが困難な場合、３Ｄデータが複数のデータに分割されるという問題がある。例えば、動画の記録中に内視鏡の先端が突然動き、画像の構図が大きく変わる場合がある。あるいは、動画の記録中に画像においてハレーション等が発生し、画像の状態が大きく変わる場合がある。あるいは、動画の記録が中断を経て再開され、動画の記録の再開後の画像に写っている検査対象が、動画の記録の中断前の画像に写っている検査対象と一致しない場合がある。これらの場合、３Ｄデータが複数のデータに分割される。
検査対象のできるだけ広い領域の３Ｄデータが分割されずに１つのデータとして構成されることがユーザーにとって好ましい。検査対象の複数の３Ｄデータが生成された場合には、複数の３Ｄデータを接続し、検査対象の広い領域の３Ｄデータを生成することが重要である。部分的な領域の複数の３Ｄデータを接続することにより広い領域の３Ｄデータを生成する方法として、以下の技術が開示されている。
特許文献１に開示された技術は、３Ｄデータを生成するために使用された２次元画像群と３Ｄデータとの関係を使用することにより複数の３Ｄデータを接続する方法を提供する。第１の３Ｄデータは第１の２次元画像群と関連付けられ、かつ第２の３Ｄデータは第２の２次元画像群と関連付けられている。重複する特徴点を持つ第１の画像および第２の画像が選択される。第１の画像は第１の２次元画像群に含まれ、かつ第２の画像は第２の２次元画像群に含まれる。第１の画像における特徴点の３次元座標と第２の画像における特徴点の３次元座標とが一致するように、３Ｄデータの平行移動および回転が実施される。その後、３次元座標の誤差が最小化される。
特許文献２および特許文献３の各々に開示された技術は、３Ｄデータが示す３Ｄ形状に基づいて複数の３Ｄデータを接続する方法を提供する。特許文献２に開示された技術では、地面特徴、平面特徴、または柱体特徴が部分的な領域の複数の３Ｄデータに割り当てられる。その特徴が一致するように複数の３Ｄデータが接続される。特許文献３に開示された技術では、複数の３Ｄデータの各々において、３つの平面が検出される。３つの平面の法線は互いに直交する。その３つの平面が一致するように複数の３Ｄデータが接続される。
特許第６０４０８８２号公報 特許第６８１１７６３号公報 特開２０１０-６６５９５号公報
特許文献１、特許文献２、および特許文献３に開示された技術では、共通の領域のデータが複数の３Ｄデータに含まれる必要がある。共通の領域のデータが複数の３Ｄデータに含まれない場合、複数の３Ｄデータを接続することができない。
特許文献１に開示された技術では、第１の画像および第２の画像の少なくとも一方にハレーション等が発生し、第１の画像の見え方と第２の画像の見え方とが互いに異なる場合、複数の３Ｄデータを接続することができない。
本発明は、２つ以上の３次元データが共通の領域のデータを含まない場合であっても２つ以上の３次元データが示す３次元形状を表示することができる３次元画像表示方法、３次元画像表示装置、およびプログラムを提供することを目的とする。
本発明は、取得部が、被写体の第１の３次元データおよび前記被写体の第２の３次元データを記憶する記録媒体に接続し、かつ前記第１の３次元データを前記記録媒体から取得し、前記第１の３次元データは、第１の３次元座標系において定義された３次元座標を含み、前記第２の３次元データは、前記第１の３次元座標系と異なる第２の３次元座標系において定義された３次元座標を含み、前記第１の３次元データと対応する前記被写体の領域の少なくとも一部と、前記第２の３次元データと対応する前記被写体の領域の少なくとも一部とは互いに異なる第１の取得ステップと、前記取得部が前記記録媒体に接続し、かつ前記第２の３次元データを前記記録媒体から取得する第２の取得ステップと、変換部が、前記被写体の幾何的な構造に関する構造情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を３次元の共通座標系に変換し、前記構造情報は、前記第１の３次元データおよび前記第２の３次元データのいずれも使用せずに生成される変換ステップと、表示制御部が、前記共通座標系における前記第１の３次元データの画像と前記共通座標系における前記第２の３次元データの画像とをディスプレイに表示する表示ステップと、を有する３次元画像表示方法である。
本発明の３次元画像表示方法において、前記第１の３次元データは、互いに異なる２つ以上の視点において取得された２枚以上の第１の画像を使用することにより生成され、前記第２の３次元データは、互いに異なる２つ以上の視点において取得された２枚以上の第２の画像を使用することにより生成され、前記２枚以上の第１の画像の少なくとも１枚と、前記２枚以上の第２の画像の少なくとも１枚とは、互いに異なる。
本発明の３次元画像表示方法において、前記２枚以上の第１の画像の各々と、前記２枚以上の第２の画像の各々とは時間情報を含み、前記変換部は、前記変換ステップにおいて、前記時間情報に基づいて前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する。
本発明の３次元画像表示方法において、前記２枚以上の第１の画像は、第１の動画に含まれる２枚以上の画像の少なくとも一部であり、前記２枚以上の第２の画像は、前記第１の動画と同じまたは異なる第２の動画に含まれる２枚以上の画像の少なくとも一部である。
本発明の３次元画像表示方法において、前記２枚以上の第１の画像および前記２枚以上の第２の画像は、１つの動画ファイルを構成する。
本発明の３次元画像表示方法は、算出部が、前記２枚以上の第１の画像の枚数と、前記２枚以上の第２の画像の枚数と、第３の画像の枚数とに基づいて欠落領域の位置を算出し、前記第３の画像は、前記動画ファイルにおいて時間的に前記２枚以上の第１の画像と前記２枚以上の第２の画像との間に配置され、前記欠落領域は、前記被写体の第１の領域および前記被写体の第２の領域のいずれとも異なる前記被写体の領域であり、前記第１の領域は、前記第１の３次元データに含まれる前記３次元座標と対応し、前記第２の領域は、前記第２の３次元データに含まれる前記３次元座標と対応する算出ステップをさらに有し、前記変換部は、前記変換ステップにおいて、前記欠落領域の前記位置に基づいて前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する。
本発明の３次元画像表示方法において、前記算出部は、前記算出ステップにおいて、前記欠落領域の形状を算出し、前記変換部は、前記変換ステップにおいて、前記欠落領域の前記形状に基づいて前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する。
本発明の３次元画像表示方法において、前記構造情報は、前記被写体を持つ物体の内部に挿入される挿入部の先端が配置された２つ以上の位置を示す。
本発明の３次元画像表示方法において、前記構造情報は、第１の位置情報および第２の位置情報を含み、前記第１の位置情報は、前記２枚以上の第１の画像を取得するために前記先端が配置された２つ以上の位置を示し、前記第２の位置情報は、前記２枚以上の第２の画像を取得するために前記先端が配置された２つ以上の位置を示し、前記３次元画像表示方法は、パラメーター生成部が前記第１の位置情報および前記第２の位置情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換するための位置の変換パラメーターおよび姿勢の変換パラメーターを生成する生成ステップをさらに有し、前記変換部は、前記変換ステップにおいて、前記位置の前記変換パラメーターおよび前記姿勢の前記変換パラメーターを使用することにより前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する。
本発明の３次元画像表示方法において、前記変換部は、前記変換ステップにおいて、前記被写体の第１の領域および前記被写体の第２の領域が互いに接続されるように前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換し、前記第１の領域は、前記第１の３次元データに含まれる前記３次元座標と対応し、前記第２の領域は、前記第２の３次元データに含まれる前記３次元座標と対応し、前記表示制御部は、前記表示ステップにおいて、前記第１の領域および前記第２の領域の位置を示す情報を前記ディスプレイに表示する。
本発明の３次元画像表示方法において、前記表示制御部は、前記表示ステップにおいて、前記第１の領域および前記第２の領域の接続の精度を示す情報を前記ディスプレイに表示する。
本発明の３次元画像表示方法において、前記２枚以上の第１の画像および前記２枚以上の第２の画像は、内視鏡によって生成される。
本発明の３次元画像表示方法において、前記２枚以上の第１の画像および前記２枚以上の第２の画像は、単眼光学系を通して取得された前記被写体の光学像に基づいて生成される。
本発明の３次元画像表示方法は、前記第１の３次元データが示す３次元形状の縮尺と、前記第２の３次元データが示す３次元形状の縮尺との少なくとも１つを補正するための縮尺の変換パラメーターをパラメーター生成部が生成する生成ステップをさらに有し、前記変換部は、前記変換ステップにおいて、前記縮尺の前記変換パラメーターを使用することにより前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する。
本発明の３次元画像表示方法において、前記構造情報は、前記幾何的な構造の設計値を含む設計データである、または前記第１の３次元データおよび前記第２の３次元データのいずれとも異なる３次元データである。
本発明の３次元画像表示方法において、前記構造情報は、センサーから出力されたデータに基づいて生成される。
本発明の３次元画像表示方法において、前記２枚以上の第１の画像および前記２枚以上の第２の画像は、挿入部によって取得された前記被写体の光学像に基づいて生成され、前記挿入部は、前記被写体を持つ物体の内部に挿入され、かつ湾曲可能であり、前記構造情報は、前記挿入部の湾曲方向および湾曲量を示す情報に基づいて生成される。
本発明の３次元画像表示方法は、パラメーター生成部が前記構造情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換するための位置の変換パラメーターおよび姿勢の変換パラメーターを生成する生成ステップをさらに有し、前記変換部は、前記変換ステップにおいて、前記位置の前記変換パラメーターおよび前記姿勢の前記変換パラメーターを使用することにより前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する。
本発明の３次元画像表示方法は、調整部が、前記共通座標系における前記第１の３次元データおよび前記第２の３次元データの少なくとも一方の位置および姿勢の少なくとも一方を調整する調整ステップをさらに有する。
本発明の３次元画像表示方法において、前記被写体は２つ以上の物体を含み、前記構造情報は、前記２つ以上の物体が配置された位置を示す。
本発明は、被写体の第１の３次元データおよび前記被写体の第２の３次元データを記憶する記録媒体に接続し、かつ前記第１の３次元データおよび前記第２の３次元データを前記記録媒体から取得し、前記第１の３次元データは、第１の３次元座標系において定義された３次元座標を含み、前記第２の３次元データは、前記第１の３次元座標系と異なる第２の３次元座標系において定義された３次元座標を含み、前記第１の３次元データと対応する前記被写体の領域の少なくとも一部と、前記第２の３次元データと対応する前記被写体の領域の少なくとも一部とは互いに異なる取得部と、前記被写体の幾何的な構造に関する構造情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を３次元の共通座標系に変換し、前記構造情報は、前記第１の３次元データおよび前記第２の３次元データのいずれも使用せずに生成される変換部と、前記共通座標系における前記第１の３次元データの画像と前記共通座標系における前記第２の３次元データの画像とをディスプレイに表示する表示制御部と、を有する３次元画像表示装置である。
本発明は、被写体の第１の３次元データおよび前記被写体の第２の３次元データを記憶する記録媒体に接続し、かつ前記第１の３次元データを前記記録媒体から取得し、前記第１の３次元データは、第１の３次元座標系において定義された３次元座標を含み、前記第２の３次元データは、前記第１の３次元座標系と異なる第２の３次元座標系において定義された３次元座標を含み、前記第１の３次元データと対応する前記被写体の領域と、前記第２の３次元データと対応する前記被写体の領域とは互いに異なる第１の取得ステップと、前記記録媒体に接続し、かつ前記第２の３次元データを前記記録媒体から取得する第２の取得ステップと、前記被写体の幾何的な構造に関する構造情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を３次元の共通座標系に変換し、前記構造情報は、前記第１の３次元データおよび前記第２の３次元データのいずれも使用せずに生成される変換ステップと、前記共通座標系における前記第１の３次元データの画像と前記共通座標系における前記第２の３次元データの画像とをディスプレイに表示する表示ステップと、をコンピュータに実行させるためのプログラムである。
本発明によれば、３次元画像表示方法、３次元画像表示装置、およびプログラムは、２つ以上の３次元データが共通の領域のデータを含まない場合であっても２つ以上の３次元データが示す３次元形状を表示することができる。
本発明の第１の実施形態による画像表示装置の構成を示すブロック図である。 本発明の第１の実施形態による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第１の実施形態による表示部に表示された画像の例を示す図である。 本発明の第１の実施形態による表示部に表示されたダイアログボックスの例を示す図である。 本発明の第１の実施形態における参照テーブルの例を示す図である。 本発明の第１の実施形態による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第１の実施形態による表示部に表示された画像の例を示す図である。 本発明の第１の実施形態による表示部に表示された画像の例を示す図である。 本発明の第１の実施形態の第１の変形例による画像表示装置の構成を示すブロック図である。 本発明の第１の実施形態の第１の変形例による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第１の実施形態の第１の変形例による表示部に表示された画像の例を示す図である。 本発明の第１の実施形態の第２の変形例による表示部に表示された画像の例を示す図である。 本発明の第１の実施形態の第２の変形例による表示部に表示された画像の例を示す図である。 本発明の第１の実施形態の第３の変形例による表示部に表示されたダイアログボックスの例を示す図である。 本発明の第１の実施形態の第３の変形例による表示部に表示された画像の例を示す図である。 本発明の第１の実施形態の第４の変形例におけるＵ字菅の例を示す図である。 本発明の第１の実施形態の第４の変形例による表示部に表示された画像の例を示す図である。 本発明の第１の実施形態の第５の変形例におけるブレードの構成を示す図である。 本発明の第１の実施形態の第５の変形例による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第１の実施形態の第５の変形例による表示部に表示された画像の例を示す図である。 本発明の第１の実施形態の第５の変形例による表示部に表示された画像の例を示す図である。 本発明の第２の実施形態による内視鏡装置の全体構成を示す斜視図である。 本発明の第２の実施形態による内視鏡装置の内部構成を示すブロック図である。 本発明の第２の実施形態による内視鏡装置が有するＣＰＵの機能構成を示すブロック図である。 本発明の第２の実施形態による内視鏡装置が有するデータ生成部の機能構成を示すブロック図である。 本発明の第２の実施形態における画像取得の状況を示す模式図である。 本発明の第２の実施形態における３Ｄデータを生成する処理の手順を示すフローチャートである。 本発明の第３の実施形態による画像表示装置の構成を示すブロック図である。 本発明の第３の実施形態による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第４の実施形態による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第４の実施形態による表示部に表示された画像の例を示す図である。 本発明の第４の実施形態による表示部に表示された画像の例を示す図である。 本発明の第４の実施形態の第１の変形例における参照データを示す図である。 本発明の第４の実施形態の第１の変形例による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第４の実施形態の第１の変形例による表示部に表示された画像の例を示す図である。 本発明の第４の実施形態の第２の変形例における燃焼室の構造を示す図である。 本発明の第４の実施形態の第２の変形例による表示部に表示された画像の例を示す図である。 本発明の第５の実施形態による画像表示装置の構成を示すブロック図である。 本発明の第５の実施形態による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第５の実施形態による表示部に表示された画像の例を示す図である。 本発明の第５の実施形態による表示部に表示された画像の例を示す図である。 本発明の第５の実施形態による表示部に表示された画像の例を示す図である。 本発明の第５の実施形態による表示部に表示された画像の例を示す図である。 本発明の第５の実施形態における欠落区間を算出する方法を示す図である。 本発明の第５の実施形態におけるカメラ軌跡データと３Ｄデータとの関係を示す図である。 本発明の第５の実施形態における動画ファイルを示す図である。 本発明の第５の実施形態の変形例による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第５の実施形態の変形例による表示部に表示された画像の例を示す図である。 本発明の第６の実施形態による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第６の実施形態による画像表示装置が実行する処理の手順を示すフローチャートである。 本発明の第６の実施形態による表示部に表示された画像の例を示す図である。 本発明の第６の実施形態による表示部に表示された画像の例を示す図である。 本発明の第６の実施形態における熱交換器の構造を示す図である。
以下、図面を参照し、本発明の実施形態を説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態による画像表示装置５０の構成を示す。図１に示す画像表示装置５０は、制御部５１、データ取得部５２、パラメーター生成部５３、変換部５４、データ生成部５５、表示制御部５６、情報受付部５７、および構造推定部５８を有する。図１に示す操作部７０、表示部７１、通信部７２、および記憶部７３が画像表示装置５０に接続されている。画像表示装置５０は、操作部７０、表示部７１、通信部７２、および記憶部７３の少なくとも１つを有してもよい。
例えば、画像表示装置５０は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）である。画像表示装置５０は、デスクトップＰＣ、ラップトップＰＣ、およびタブレット端末のいずれであってもよい。画像表示装置５０は、クラウド上で動作するコンピュータシステムであってもよい。
操作部７０は、ユーザーインタフェースである。例えば、操作部７０は、ボタン、スイッチ、キー、マウス、ジョイスティック、タッチパッド、トラックボール、およびタッチパネルの少なくとも１つである。操作部７０は、ユーザーの操作を受け付ける。ユーザーは、操作部７０を操作することにより、各種情報を画像表示装置５０に入力することができる。操作部７０は、ユーザーが入力した情報を受け付け、その情報を画像表示装置５０に出力する。
表示部７１は、表示画面を有し、かつ３Ｄデータの画像等を表示画面に表示する。表示部７１は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部７１は、タッチパネルであってもよい。その場合、操作部７０および表示部７１は一体化される。
通信部７２は、内視鏡装置等の外部装置と通信を実行する。例えば、通信部７２はケーブルあるいは無線で外部装置と接続される。通信部７２と外部装置との間の通信は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネットを経由して実行されてもよい。
記憶部７３は、不揮発性の記録媒体である。例えば、記憶部７３は、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびフラッシュメモリの少なくとも１つである。
記憶部７３は、第１の３Ｄデータおよび第２の３Ｄデータを含む２つ以上の３Ｄデータを記憶する。記憶部７３は、第１の３Ｄデータを記憶する第１の記憶部と、第２の３Ｄデータを記憶する第２の記憶部とを有してもよい。
第１の３Ｄデータおよび第２の３Ｄデータの各々は、被写体の２つ以上の点の３次元座標（３Ｄ座標）を含む。第１の３Ｄデータおよび第２の３Ｄデータの各々は、被写体の３Ｄ形状を示す。第１の３Ｄデータは、互いに異なる２つ以上の視点において取得された２枚以上の第１の画像を使用することにより生成される。第２の３Ｄデータは、互いに異なる２つ以上の視点において取得された２枚以上の第２の画像を使用することにより生成される。２枚以上の第１の画像および２枚以上の第２の画像は、完全に同じではない。２枚以上の第１の画像の少なくとも１枚と、２枚以上の第２の画像の少なくとも１枚とは、互いに異なる。２枚以上の第１の画像の全てが２枚以上の第２の画像のいずれとも異なってもよい。２枚以上の第２の画像の全てが２枚以上の第１の画像のいずれとも異なってもよい。
第１の３Ｄデータおよび第２の３Ｄデータは互いに異なる。第１の３Ｄデータに含まれる３Ｄ座標の少なくとも一部は第２の３Ｄデータに含まれる３Ｄ座標と異なる。第１の３Ｄデータに含まれる１つ以上の点は、第２の３Ｄデータに含まれる１つ以上の点と異なる。第２の３Ｄデータに含まれる３Ｄ座標の少なくとも一部は第２の３Ｄデータに含まれる３Ｄ座標と異なる。第２の３Ｄデータに含まれる１つ以上の点は、第１の３Ｄデータに含まれる１つ以上の点と異なる。
第１の３Ｄデータに含まれる３Ｄ座標の全てが第２の３Ｄデータに含まれる３Ｄ座標と異なってもよい。第１の３Ｄデータに含まれる２つ以上の点の全てが第２の３Ｄデータに含まれる２つ以上の点の全てと異なってもよい。第２の３Ｄデータに含まれる３Ｄ座標の全てが第１の３Ｄデータに含まれる３Ｄ座標と異なってもよい。第２の３Ｄデータに含まれる２つ以上の点の全てが第１の３Ｄデータに含まれる２つ以上の点の全てと異なってもよい。
つまり、第１の３Ｄデータの少なくとも一部と対応する被写体領域は、第２の３Ｄデータの全体と対応する被写体領域に存在しない。また、第２の３Ｄデータの少なくとも一部と対応する被写体領域は、第１の３Ｄデータの全体と対応する被写体領域に存在しない。
第１の３Ｄデータの３次元座標系（第１の３Ｄ座標系）および第２の３Ｄデータの３次元座標系（第２の３Ｄ座標系）は互いに異なる。位置、姿勢、および縮尺の各々を示すパラメーターを使用することにより第１の３Ｄ座標系および第２の３Ｄ座標系の一方を他方に変換することができる。第１の３Ｄ座標系および第２の３Ｄ座標系の間では位置、姿勢、および縮尺の少なくとも１つが異なる。姿勢は３つのパラメーターを使用することにより定義される。第１の３Ｄ座標系および第２の３Ｄ座標系の間では姿勢を示す少なくとも１つのパラメーターが異なっていてもよい。
２枚以上の第１の画像が取得された２つ以上の視点の少なくとも一部は、２枚以上の第２の画像が取得された２つ以上の視点と異なる。２枚以上の第１の画像が取得された２つ以上の視点の全てが、２枚以上の第２の画像が取得された２つ以上の視点と異なってもよい。２枚以上の第２の画像が取得された２つ以上の視点の少なくとも一部は、２枚以上の第１の画像が取得された２つ以上の視点と異なる。２枚以上の第２の画像が取得された２つ以上の視点の全てが、２枚以上の第１の画像が取得された２つ以上の視点と異なってもよい。
制御部５１は、画像表示装置５０の各部を制御する。
データ取得部５２は、記憶部７３に接続し、かつ第１の３Ｄデータおよび第２の３Ｄデータを記憶部７３から取得する。
パラメーター生成部５３は、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換するための変換パラメーターを生成する。共通座標系は、第１の３Ｄデータおよび第２の３Ｄデータに共通の３Ｄ座標系である。第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換することにより、第１の３Ｄデータおよび第２の３Ｄデータの各々は、共通座標系における３Ｄデータに変換される。変換パラメーターは、第１の３Ｄ座標系を共通座標系に変換するための第１の変換パラメーターと、第２の３Ｄ座標系を共通座標系に変換するための第２の変換パラメーターとを含む。第１の変換パラメーターおよび第２の変換パラメーターの各々は、各３Ｄ座標系の位置および姿勢を変換するための位置姿勢変換パラメーターと、各３Ｄ座標系の縮尺を変換するための縮尺変換パラメーターとを含む。
変換部５４は、パラメーター生成部５３によって生成された変換パラメーターを使用することにより、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。これにより、変換部５４は、第１の３Ｄデータおよび第２の３Ｄデータの各々を共通座標系における３Ｄデータに変換する。
データ生成部５５は、変換部５４によって共通座標系における３Ｄデータに変換された第１の３Ｄデータおよび第２の３Ｄデータを互いに接続する。これにより、データ生成部５５は、被写体の広い範囲の３Ｄデータを生成する。
表示制御部５６は、３Ｄデータの画像を表示部７１に出力し、かつその画像を表示部７１に表示する。表示制御部５６は、第１の３Ｄデータおよび第２の３Ｄデータの各々の画像を表示部７１に表示する。つまり、表示制御部５６は、第１の３Ｄデータが示す３Ｄ形状と、第２の３Ｄデータが示す３Ｄ形状との各々の画像を表示部７１に表示する。また、表示制御部５６は、データ生成部５５によって生成された３Ｄデータの画像を表示部７１に表示する。つまり、表示制御部５６は、被写体の広い範囲の３Ｄデータが示す３Ｄ形状の画像を表示部７１に表示する。
情報受付部５７は、操作部７０から出力された情報を受け付ける。あるいは、情報受付部５７は、通信部７２によって受信された情報を受け付ける。情報受付部５７は、図１に示されていないマイクに入力された音声と対応する情報を受け付けてもよい。情報受付部５７は、被写体の幾何的な構造に関する構造情報を受け付けてもよい。構造情報は、第１の３Ｄデータの３Ｄ形状と第２の３Ｄデータの３Ｄ形状とが互いに接続される領域における被写体の構造を示す。以下では、その領域を接続領域と呼ぶ。構造情報は、第１の３Ｄデータおよび第２の３Ｄデータのいずれも使用せずに生成される。情報受付部５７は、構造情報を含まない情報を受け付けてもよい。
情報受付部５７が、構造情報を含まない情報を受け付けた場合、構造推定部５８は、その情報に基づいて、接続領域における被写体の構造を推定し、かつ構造情報を生成する。情報受付部５７が、構造情報を含む情報を受け付けた場合、構造推定部５８は使用されない。
画像表示装置５０の各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。例えば、プロセッサは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、およびＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の少なくとも１つである。例えば、論理回路は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）およびＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）の少なくとも１つである。画像表示装置５０の各部は、１つまたは複数のプロセッサを含むことができる。画像表示装置５０の各部は、１つまたは複数の論理回路を含むことができる。
画像表示装置５０のコンピュータがプログラムを読み込み、かつ読み込まれたプログラムを実行してもよい。そのプログラムは、画像表示装置５０の各部の動作を規定する命令を含む。つまり、画像表示装置５０の各部の機能はソフトウェアにより実現されてもよい。
上記のプログラムは、例えばフラッシュメモリのような「コンピュータ読み取り可能な記録媒体」により提供されてもよい。そのプログラムは、そのプログラムを保持するコンピュータから、伝送媒体を経由して、あるいは伝送媒体中の伝送波により画像表示装置５０に伝送されてもよい。プログラムを伝送する「伝送媒体」は、情報を伝送する機能を有する媒体である。情報を伝送する機能を有する媒体は、インターネット等のネットワーク（通信網）および電話回線等の通信回線（通信線）を含む。上述したプログラムは、前述した機能の一部を実現してもよい。さらに、上述したプログラムは、差分ファイル（差分プログラム）であってもよい。前述した機能は、コンピュータに既に記録されているプログラムと差分プログラムとの組合せによって実現されてもよい。
以下では、第１の実施形態の特徴的な処理について説明する。以下の説明では、３Ｄデータは、内視鏡機器が取得した静止画群に基づいて生成されることを想定している。第１の３Ｄデータを生成するために使用された２枚以上の第１の画像と、第２の３Ｄデータを生成するために使用された２枚以上の第２の画像とは、内視鏡機器によって生成される。また、２枚以上の第１の画像および２枚以上の第２の画像は、単眼光学系を通して取得された被写体の光学像に基づいて生成される。静止画群を取得する検査機器は内視鏡機器に限らない。検査機器がカメラを有する限り、検査機器はどのような機器であってもよい。
例えば、２枚以上の第１の画像の各々は静止画であり、かつ２枚以上の第２の画像の各々は静止画である。２枚以上の第１の画像は、動画に含まれる２枚以上の画像の全部または一部であってもよい。２枚以上の第２の画像は、動画に含まれる２枚以上の画像の全部または一部であってもよい。２枚以上の第１の画像が第１の動画ファイルに含まれ、かつ２枚以上の第２の画像が第１の動画ファイルと異なる第２の動画ファイルに含まれてもよい。２枚以上の第１の画像および２枚以上の第２の画像が２つの動画ファイルに分割される必要はない。２枚以上の第１の画像および２枚以上の第２の画像は、１つの動画ファイルに含まれてもよい。
図２を使用することにより、画像表示装置５０が実行する処理について説明する。図２は、画像表示装置５０が実行する処理の手順を示す。
データ取得部５２は、記憶部７３に接続し、かつ第１の３Ｄデータを記憶部７３から取得する（ステップＳ１００）。ステップＳ１００の後、表示制御部５６は、第１の３Ｄデータの画像を表示部７１に表示する（ステップＳ１０１）。
ステップＳ１０１の後、データ取得部５２は、記憶部７３に接続し、かつ第２の３Ｄデータを記憶部７３から取得する（ステップＳ１０２）。ステップＳ１０２の後、表示制御部５６は、第２の３Ｄデータの画像を表示部７１に表示する（ステップＳ１０３）。
ステップＳ１００からＳ１０３の順番は、図２に示す順番に限らない。例えば、ステップＳ１０２およびステップＳ１０３が実行された後、ステップＳ１００およびステップＳ１０１が実行されてもよい。あるいは、ステップＳ１００およびステップＳ１０２が実行された後、ステップＳ１０１およびステップＳ１０３が実行されてもよい。ステップＳ１０１およびステップＳ１０３は省略されてもよい。
図３は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ１１を表示部７１に表示する。画像ＩＭＧ１１は、領域Ｒ１１および領域Ｒ１２を含む。第１の３Ｄ形状３Ｄ１１の画像が領域Ｒ１１に表示される。第１の３Ｄ形状３Ｄ１１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ１２の画像が領域Ｒ１２に表示される。第２の３Ｄ形状３Ｄ１２は、第２の３Ｄデータによって示される。
ステップＳ１０３の後、情報受付部５７は検査対象の情報を受け付ける（ステップＳ１０４）。以下では、情報受付部５７が、構造情報を含まない情報を操作部７０から受け付ける例を説明する。
表示制御部５６は、ダイアログボックスを表示部７１に表示する。図４は、表示部７１に表示されたダイアログボックスの例を示す。表示制御部５６は、ダイアログボックスＤＬ１０を表示部７１に表示する。ユーザーは、操作部７０を操作することにより、ダイアログボックスＤＬ１０内の情報を選択することができる。
カーソルＣＳ１０およびカーソルＣＳ１１がダイアログボックスＤＬ１０に表示される。カーソルＣＳ１０およびカーソルＣＳ１１の各々は、現在選択されている項目を示す。情報ＩＮＦ１０がダイアログボックスＤＬ１０に表示される。情報ＩＮＦ１０は、検査対象の名称を含み、かつ検査対象に存在する典型的な検査部位または構造物の名称を含む。
ユーザーは、検査対象における被写体を選択する。図３に示す第１の３Ｄ形状３Ｄ１１と第２の３Ｄ形状３Ｄ１２とが互いに接続される領域が“直管”である場合、ユーザーは、図４に示す“パイプ”を選択し、その後、“直管”を選択する。選択が決定したことを示す情報をユーザーが画像表示装置５０に入力したとき、情報受付部５７は、ユーザーによって選択された情報を受け付ける。このとき、情報受付部５７は、“直管”という文字列を受け付ける。
ステップＳ１０４の後、構造推定部５８は、ステップＳ１０４において受け付けられた情報に基づいて、接続領域における被写体の構造を推定し、かつ構造情報を生成する（ステップＳ１０５）。
構造推定部５８が構造情報を生成する方法の例を説明する。例えば、構造推定部５８は、図５に示す参照テーブルＴＢ１１を使用する。参照テーブルＴＢ１１は、情報受付部５７によって受け付けられた情報（入力情報）と構造情報とを含む。入力情報および構造情報は互いに関連付けられている。
構造推定部５８は、情報受付部５７によって受け付けられた文字列を構造情報に変換する。例えば、情報受付部５７が“直管”という文字列を受け付けた場合、構造推定部５８は参照テーブルＴＢ１１における列ＣＬ１１を参照し、列ＣＬ１１における構造情報を取得する。例えば、構造情報は、第１の３Ｄデータおよび第２の３Ｄデータの各々の３Ｄ形状が略円柱形状であることを示す。３Ｄデータが異物などを含む可能性があるため、構造情報は、完全な円柱形状ではなく円柱形状に近い形状を示す。構造情報は、第１の３Ｄデータの３Ｄ形状の内径および第２の３Ｄデータの３Ｄ形状の内径が等しいことを示す。構造情報は、第１の３Ｄデータの円柱の中心軸および第２の３Ｄデータの円柱の中心軸が一致することを示す。
構造情報を生成する方法は、参照テーブルＴＢ１１を使用する方法に限らない。例えば、情報受付部５７は、参照テーブルＴＢ１１に含まれる構造情報と同様の情報を操作部７０から受け付けてもよい。つまり、情報受付部５７は、構造情報を含む情報を操作部７０から受け付けてもよい。この場合、構造推定部５８は省略されてもよい。
表示制御部５６は、入力ボックスを表示部７１に表示してもよい。ユーザーは、操作部７０またはマイクを使用することにより単語またはキーワードを入力ボックスに入力してもよい。構造推定部５８は、入力された単語またはキーワードに基づいて被写体の構造を推定し、かつ構造情報を生成してもよい。
接続領域の構造情報を取得する方法は、上記の方法に限らない。例えば、構造推定部５８は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）等の技術を使用することにより被写体の構造を推定してもよい。
ステップＳ１０５の後、パラメーター生成部５３は、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換するための変換パラメーターを生成する（ステップＳ１０６）。
以下では、３Ｄ座標系について説明する。第１の３Ｄデータにおける第１の３Ｄ座標系と、第２の３Ｄデータにおける第２の３Ｄ座標系とは、互いに一致しない。第１の３Ｄデータと第２の３Ｄデータとを広い範囲の３Ｄデータに合成するためには、第１の３Ｄ座標系および第２の３Ｄ座標系を任意の共通座標系に変換する必要がある。共通座標系は、第１の３Ｄ座標系および第２の３Ｄ座標系のいずれとも異なる３Ｄ座標系であってもよい。共通座標系は、第１の３Ｄ座標系または第２の３Ｄ座標系と同じであってもよい。
共通座標系が第１の３Ｄ座標系および第２の３Ｄ座標系のいずれとも異なる場合、パラメーター生成部５３は、第１の３Ｄ座標系を第３の３Ｄ座標系に変換するための第１の変換パラメーターを生成し、かつ、第２の３Ｄ座標系を第３の３Ｄ座標系に変換するための第２の変換パラメーターを生成する。
一方、共通座標系が第１の３Ｄ座標系と同じである場合、パラメーター生成部５３は、第２の３Ｄ座標系を第１の３Ｄ座標系に変換するための第２の変換パラメーターのみを生成する。同様に、共通座標系が第２の３Ｄ座標系と同じである場合、パラメーター生成部５３は、第１の３Ｄ座標系を第２の３Ｄ座標系に変換するための第１の変換パラメーターのみを生成する。
以下では、３Ｄ座標系の縮尺について説明する。第１の３Ｄデータの縮尺と、第２の３Ｄデータの縮尺とは、必ずしも互いに一致しない。第１の３Ｄデータと第２の３Ｄデータとを広い範囲の３Ｄデータに合成するためには、第１の３Ｄデータの縮尺と第２の３Ｄデータの縮尺とを互いに一致させる必要がある。合成された３Ｄデータの縮尺は、第１の３Ｄデータの縮尺および第２の３Ｄデータの縮尺のいずれとも異なっていてもよい。合成された３Ｄデータの縮尺は、第１の３Ｄデータの縮尺または第２の３Ｄデータの縮尺と同じであってもよい。
以下では、第１の３Ｄ座標系が座標系の基準であり、かつ共通座標系として使用される例を説明する。以下の例では、パラメーター生成部５３は、第２の３Ｄ座標系の位置および姿勢を第１の３Ｄ座標系の位置および姿勢と一致させるための位置姿勢変換パラメーターを生成する。また、パラメーター生成部５３は、第２の３Ｄ座標系の縮尺を第１の３Ｄ座標系の縮尺と一致させるための縮尺変換パラメーターを生成する。しかしながら、変換パラメーターを生成する方法は、以下の例に限らない。第２の３Ｄ座標系が共通座標系として使用されてもよい。第１の３Ｄ座標系および第２の３Ｄ座標系のいずれとも異なる３Ｄ座標系が共通座標系として使用されてもよい。
パラメーター生成部５３は、ステップＳ１０６において、図６に示す処理を実行する。図６は、パラメーター生成部５３が実行する処理の手順を示す。
構造情報は、第１の３Ｄデータおよび第２の３Ｄデータの各々の３Ｄ形状が略円柱形状であることを示す。そのため、パラメーター生成部５３は、第１の３Ｄデータの円柱軸（第１の円柱軸）を算出する（ステップＳ１０６ａ）。第１の３Ｄデータの円柱軸は、第１の３Ｄデータの円柱の中心軸を示す。
図７は、図３と同様の画像を示す。図３に示す部分と同じ部分の説明を省略する。パラメーター生成部５３は、第１の円柱軸ＡＸ１１を算出する。
ステップＳ１０６ａの後、パラメーター生成部５３は、第２の３Ｄデータの円柱軸（第２の円柱軸）を算出する（ステップＳ１０６ｂ）。第２の３Ｄデータの円柱軸は、第２の３Ｄデータの円柱の中心軸を示す。パラメーター生成部５３は、図７に示す第２の円柱軸ＡＸ１２を算出する。
ステップＳ１０６ａおよびステップＳ１０６ｂの順番は、図６に示す順番に限らない。ステップＳ１０６ｂが実行された後、ステップＳ１０６ａが実行されてもよい。
構造情報は、第１の３Ｄデータの３Ｄ形状の内径および第２の３Ｄデータの３Ｄ形状の内径が等しいことを示す。そのため、ステップＳ１０６ｂの後、パラメーター生成部５３は、第１の３Ｄデータの円柱の内径および第２の３Ｄデータの円柱の内径が互いに一致するように第２の３Ｄデータの縮尺を補正するための縮尺変換パラメーターを生成する（ステップＳ１０６ｃ）。具体的には、パラメーター生成部５３は、図７に示す第２の３Ｄ形状３Ｄ１２の円柱の直径ＤＭ１２を第１の３Ｄ形状３Ｄ１１の円柱の直径ＤＭ１１と一致させるための縮尺変換パラメーターを生成する。
構造情報は、第１の３Ｄデータの円柱の中心軸および第２の３Ｄデータの円柱の中心軸が一致することを示す。そのため、ステップＳ１０６ｃの後、パラメーター生成部５３は、第１の３Ｄデータの円柱軸および第２の３Ｄデータの円柱軸が互いに一致するように第２の３Ｄデータの位置および姿勢を補正するための位置姿勢変換パラメーターを生成する（ステップＳ１０６ｄ）。ステップＳ１０６ｄが実行されたとき、図６に示す処理が終了する。
各３Ｄデータがタイムスタンプを含む場合、パラメーター生成部５３は、タイムスタンプ（時間情報）を使用することにより、接続領域を特定することができる。タイムスタンプは、第１の３Ｄデータおよび第２の３Ｄデータの各々を生成するために使用された２枚以上の画像の各々が生成された時刻を示す。例えば、第１の３Ｄデータは、図７に示す時刻ｔ１から時刻ｔ２までのタイムスタンプを含み、かつ第２の３Ｄデータは、図７に示す時刻ｔ３から時刻ｔ４までのタイムスタンプを含む。
パラメーター生成部５３は、時刻ｔ２と関連付けられた第１の３Ｄデータの領域と、時刻ｔ３と関連付けられた第２の３Ｄデータの領域とを接続領域として特定する。具体的には、パラメーター生成部５３は、第１の３Ｄ形状３Ｄ１１の第１の接続領域ＣＲ１１および第２の３Ｄ形状３Ｄ１２の第２の接続領域ＣＲ１２を特定する。
第１の接続領域ＣＲ１１は、第１の３Ｄ形状３Ｄ１１の終端を含む。第２の接続領域ＣＲ１２は、第２の３Ｄ形状３Ｄ１２の始端を含む。パラメーター生成部５３は、第２の接続領域ＣＲ１２における第２の円柱軸ＡＸ１２を第１の接続領域ＣＲ１１における第１の円柱軸ＡＸ１１と一致させるための位置姿勢変換パラメーターを生成する。
パラメーター生成部５３は、ステップＳ１０６ａからＳ１０６ｄを実行することにより、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換することができる。情報受付部５７が“直管”という文字列を受け付けた場合、パラメーター生成部５３は、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換するための位置姿勢パラメーターおよび縮尺パラメーターを生成する。
ステップＳ１０６の後、変換部５４は、ステップＳ１０６において生成された変換パラメーターを使用することにより、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。つまり、変換部５４は、第１の３Ｄデータおよび第２の３Ｄデータの各々を共通座標系における３Ｄデータに変換する（ステップＳ１０７）。第１の３Ｄ座標系が共通座標系として使用される場合、第１の３Ｄ座標系の位置、姿勢、および縮尺は変更されず、第２の３Ｄ座標系の位置、姿勢、および縮尺が変更される。
ステップＳ１０７の後、データ生成部５５は、共通座標系における第１の３Ｄデータおよび第２の３Ｄデータを互いに接続する（ステップＳ１０８）。これにより、データ生成部５５は、被写体の広い範囲の３Ｄデータを生成する。
第１の３Ｄ座標系および第２の３Ｄ座標系が共通座標系に変換された後、第１の３Ｄデータおよび第２の３Ｄデータが１つの３Ｄデータに合成される必要はない。したがって、データ生成部５５が省略されてもよい。
ステップＳ１０８の後、表示制御部５６は、ステップＳ１０８において生成された３Ｄデータが示す３Ｄ形状の画像を表示部７１に表示する（ステップＳ１０９）。ステップＳ１０９が実行されたとき、図２に示す処理が終了する。
図８は、表示部７１に表示された画像の例を示す。図７に示す部分と同じ部分の説明を省略する。表示制御部５６は、画像ＩＭＧ１２を表示部７１に表示する。画像ＩＭＧ１２は、領域Ｒ１３を含む。第１の３Ｄ形状３Ｄ１１と第２の３Ｄ形状３Ｄ１２との画像が領域Ｒ１３に表示される。
第１の接続領域および第２の接続領域が互いに接続されるように第１の３Ｄ形状３Ｄ１１および第２の３Ｄ形状３Ｄ１２が配置される。図８に示す例では、第１の接続領域および第２の接続領域の接続を理解することを容易にするために、第１の３Ｄ形状３Ｄ１１および第２の３Ｄ形状３Ｄ１２の間にすき間がある。
表示制御部５６は、領域Ｒ１４および領域Ｒ１５を領域Ｒ１３に表示する。領域Ｒ１４は第１の接続領域と対応し、かつ領域Ｒ１５は第２の接続領域と対応する。図８に示す例では、領域Ｒ１４および領域Ｒ１５の各々は線で表示される。領域Ｒ１４および領域Ｒ１５の各々が線で表示されるため、ユーザーは、第１の３Ｄ形状３Ｄ１１および第２の３Ｄ形状３Ｄ１２が互いに接続されている位置を容易に確認することができる。
表示制御部５６は、領域Ｒ１４および領域Ｒ１５を第１の色で表示し、かつ領域Ｒ１４および領域Ｒ１５以外の領域を第１の色と異なる第２の色で表示してもよい。領域Ｒ１４および領域Ｒ１５の各々の位置が音声でユーザーに通知されてもよい。ユーザーが接続領域と接続領域以外の領域とを互いに区別できる限り、３Ｄ形状の領域をユーザーに通知する方法は上記の方法に限らない。
表示制御部５６は、領域Ｒ１４および領域Ｒ１５を互いに異なる色で表示してもよい。ユーザーが広い範囲の３Ｄ形状を見渡したとき、ユーザーは、第１の３Ｄ形状３Ｄ１１と第２の３Ｄ形状３Ｄ１２とが互いにどれだけ離れているのかを容易に確認することができる。また、ユーザーは、第１の３Ｄ形状３Ｄ１１と第２の３Ｄ形状３Ｄ１２とがどこで互いに接続されているのかを容易に確認することができる。
第１の３Ｄ形状３Ｄ１１と第２の３Ｄ形状３Ｄ１２との画像が検査レポートに付加されてもよい。表示制御部５６は、その検査レポートを表示部７１に表示することにより、第１の３Ｄ形状３Ｄ１１と第２の３Ｄ形状３Ｄ１２との画像を表示部７１に表示してもよい。
パラメーター生成部５３は、ステップＳ１０６において、第１の接続領域および第２の接続領域の接続の信頼度を算出してもよい。その信頼度は、第１の接続領域および第２の接続領域の接続の精度を示す。例えば、パラメーター生成部５３は、第１の３Ｄデータを使用する円柱フィッティングを実行する。これにより、パラメーター生成部５３は、第１の３Ｄデータを近似する円柱を算出し、かつその円柱の中心軸（第１の円柱軸）を算出する。また、パラメーター生成部５３は、第２の３Ｄデータを使用する円柱フィッティングを実行する。これにより、パラメーター生成部５３は、第２の３Ｄデータを近似する円柱を算出し、かつその円柱の中心軸（第２の円柱軸）を算出する。
３Ｄデータに含まれる３Ｄ座標と、算出された円柱の３Ｄ座標との間に誤差が発生する。パラメーター生成部５３は、３Ｄデータの各点と円柱上の各点との距離の誤差を３Ｄデータの点毎に算出し、その誤差の平均または標準偏差等を３Ｄデータの信頼度として算出する。パラメーター生成部５３は、第１の３Ｄデータの信頼度および第２の３Ｄデータの信頼度の統計値を第１の接続領域および第２の接続領域における接続の信頼度として算出する。その統計値は、第１の３Ｄデータの信頼度および第２の３Ｄデータの信頼度の最小値、最大値、平均値などである。
表示制御部５６は、ステップＳ１０９において、第１の３Ｄデータの信頼度および第２の３Ｄデータの信頼度を表示部７１に表示してもよい。例えば、各信頼度は、百分率として表示される。あるいは、各信頼度は、１から５の段階で表示される。信頼度を表示する方法は、上記の例に限らない。
３Ｄデータによって示される３Ｄ形状が完全な円柱である場合、パラメーター生成部５３は、円柱軸を正確に算出することができる。そのため、信頼度は高い。一方、３Ｄデータが誤差を含む場合、３Ｄデータを近似する円柱の中心軸は本来の中心軸からずれている。そのため、信頼度は低い。信頼度が表示されるため、ユーザーは、第１の接続領域および第２の接続領域の接続の精度を確認することができる。
本発明の各態様の３次元画像表示方法は、第１の取得ステップ、第２の取得ステップ、変換ステップ、および表示ステップを有する。データ取得部５２は、第１の取得ステップ（ステップＳ１００）において、被写体の第１の３Ｄデータおよびその被写体の第２の３Ｄデータを記憶する記憶部７３（記録媒体）に接続し、かつ第１の３Ｄデータを記憶部７３から取得する。第１の３Ｄデータは、第１の３Ｄ座標系において定義された３Ｄ座標を含む。第２の３Ｄデータは、第１の３Ｄ座標系と異なる第２の３Ｄ座標系において定義された３Ｄ座標を含む。第１の３Ｄデータと対応する被写体の領域の少なくとも一部と、第２の３Ｄデータと対応する被写体の領域の少なくとも一部とは互いに異なる。データ取得部５２は、第２の取得ステップ（ステップＳ１０２）において、記憶部７３に接続し、かつ第２の３Ｄデータを記憶部７３から取得する。変換部５４は、変換ステップ（ステップＳ１０７）において、被写体の幾何的な構造に関する構造情報に基づいて、第１の３Ｄ座標系および第２の３Ｄ座標系を３次元の共通座標系に変換する。構造情報は、第１の３Ｄデータおよび第２の３Ｄデータのいずれも使用せずに生成される。表示制御部５６は、表示ステップ（ステップＳ１０９）において、共通座標系における第１の３Ｄデータの画像と共通座標系における第２の３Ｄデータの画像とを表示部７１（ディスプレイ）に表示する。
本発明の各態様の３次元画像表示装置は、データ取得部５２、変換部５４、および表示制御部５６を有する。データ取得部５２は、被写体の第１の３Ｄデータおよびその被写体の第２の３Ｄデータを記憶する記憶部７３（記録媒体）に接続し、かつ第１の３Ｄデータおよび第２の３Ｄデータを記憶部７３から取得する。変換部５４は、被写体の幾何的な構造に関する構造情報に基づいて、第１の３Ｄ座標系および第２の３Ｄ座標系を３次元の共通座標系に変換する。表示制御部５６は、共通座標系における第１の３Ｄデータの画像と共通座標系における第２の３Ｄデータの画像とを表示部７１（ディスプレイ）に表示する。
本発明の各態様は、次の変形例を含んでもよい。２枚以上の第１の画像の各々と、２枚以上の第２の画像の各々とは時間情報（タイムスタンプ）を含む。変換部５４は、変換ステップ（ステップＳ１０７）において、時間情報に基づいて第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。
本発明の各態様は、次の変形例を含んでもよい。変換部５４は、変換ステップ（ステップＳ１０７）において、被写体の第１の領域（第１の接続領域ＣＲ１１）および被写体の第２の領域（第２の接続領域ＣＲ１２）が互いに接続されるように第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。第１の領域は、第１の３Ｄデータに含まれる３Ｄ座標と対応する。第２の領域は、第２の３Ｄデータに含まれる３Ｄ座標と対応する。表示制御部５６は、表示ステップ（ステップＳ１０９）において、第１の領域および第２の領域の位置を示す情報を表示部７１（ディスプレイ）に表示する。
本発明の各態様は、次の変形例を含んでもよい。表示制御部５６は、表示ステップ（ステップＳ１０９）において、第１の領域（第１の接続領域ＣＲ１１）および第２の領域（第２の接続領域ＣＲ１２）の接続の精度を示す情報を表示部７１（ディスプレイ）に表示する。
本発明の各態様は、次の変形例を含んでもよい。変換部５４は、変換ステップ（ステップＳ１０７）において、構造情報に基づいて、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換するための位置の変換パラメーターおよび姿勢の変換パラメーターを生成する。変換部５４は、変換ステップ（ステップＳ１０７）において、位置の変換パラメーターおよび姿勢の変換パラメーターを使用することにより第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。
本発明の各態様は、次の変形例を含んでもよい。パラメーター生成部５３は、生成ステップ（ステップＳ１０６）において、第１の３Ｄデータが示す３Ｄ形状の縮尺と、第２の３Ｄデータが示す３Ｄ形状の縮尺との少なくとも１つを補正するための縮尺の変換パラメーターを生成する。変換部５４は、変換ステップ（ステップＳ１０７）において、縮尺の変換パラメーターを使用することにより第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。
本発明の各態様は、次の変形例を含んでもよい。第１の３Ｄデータは、互いに異なる２つ以上の視点において取得された２枚以上の第１の画像を使用することにより生成される。第２の３Ｄデータは、互いに異なる２つ以上の視点において取得された２枚以上の第２の画像を使用することにより生成される。２枚以上の第１の画像の少なくとも１枚と、２枚以上の第２の画像の少なくとも１枚とは、互いに異なる。
本発明の各態様は、次の変形例を含んでもよい。２枚以上の第１の画像は、第１の動画に含まれる２枚以上の画像の少なくとも一部である。２枚以上の第２の画像は、第１の動画と同じまたは異なる第２の動画に含まれる２枚以上の画像の少なくとも一部である。
本発明の各態様は、次の変形例を含んでもよい。２枚以上の第１の画像および２枚以上の第２の画像は、内視鏡によって生成される。
本発明の各態様は、次の変形例を含んでもよい。２枚以上の第１の画像および２枚以上の第２の画像は、単眼光学系を通して取得された被写体の光学像に基づいて生成される。
第１の実施形態において、第１の３Ｄデータおよび第２の３Ｄデータが共通の領域の３Ｄデータを含まない場合がある。その場合であっても、画像表示装置５０は、２つ以上の３Ｄデータが示す広い範囲の３Ｄ形状の画像を表示することができる。そのため、ユーザーは、検査対象の全体の構造を視野に捉えることができ、かつその構造を確認することができる。
第１の３Ｄデータが示す３Ｄ形状における第１の接続領域と、第２の３Ｄデータが示す３Ｄ形状における第２の接続領域との間の領域に対応する３Ｄデータが欠落している場合がある。その場合であっても、画像表示装置５０は、２つ以上の３Ｄデータが示す広い範囲の３Ｄ形状の画像を表示することができる。
（第１の実施形態の第１の変形例）
本発明の第１の実施形態の第１の変形例を説明する。図１に示す画像表示装置５０は、図９に示す画像表示装置５０ａに変更される。図９は、画像表示装置５０ａの構成を示す。図１に示す構成と同じ構成の説明を省略する。
図９に示す画像表示装置５０ａは、制御部５１、データ取得部５２、パラメーター生成部５３、変換部５４、データ生成部５５、表示制御部５６、情報受付部５７、構造推定部５８、および調整部５９を有する。
画像表示装置５０ａの各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。画像表示装置５０ａの各部は、１つまたは複数のプロセッサを含むことができる。画像表示装置５０ａの各部は、１つまたは複数の論理回路を含むことができる。
調整部５９は、共通座標系における第１の３Ｄデータおよび第２の３Ｄデータの少なくとも一方の位置および姿勢の少なくとも一方を調整する。例えば、調整部５９は、第１の３Ｄデータおよび第２の３Ｄデータの調整処理を実行する。あるいは、調整部５９は、第１の３Ｄデータのみの調整処理または第２の３Ｄデータのみの調整処理を実行する。調整部５９は、調整処理において、３Ｄデータの位置および姿勢を調整する。あるいは、調整部５９は、調整処理において、３Ｄデータの位置のみ、または３Ｄデータの姿勢のみを調整する。
調整部５９が調整処理を実行した後、表示制御部５６は、第１の３Ｄデータおよび第２の３Ｄデータの画像を表示部７１に再度表示する。これにより、第１の３Ｄデータの画像および第２の３Ｄデータの画像の少なくとも一方の位置および姿勢の少なくとも一方が変更される。
図１０を使用することにより、画像表示装置５０ａが実行する処理について説明する。図１０は、画像表示装置５０ａが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。
例えば、ステップＳ１０８において、図８に示す画像ＩＭＧ１２が表示部７１に表示される。図８に示す例では、第１の３Ｄ形状３Ｄ１１の終端と第２の３Ｄ形状３Ｄ１２の始端とが一致している。第１の３Ｄ形状３Ｄ１１の終端と第２の３Ｄ形状３Ｄ１２の始端との間の３Ｄデータが欠落している場合がある。
第１の実施形態の第１の変形例において、ユーザーは、第１の３Ｄ形状３Ｄ１１の終端と第２の３Ｄ形状３Ｄ１２の始端との間の区間の長さを予想する。その区間における３Ｄデータは欠落している。ユーザーは、第１の３Ｄ形状３Ｄ１１の終端と第２の３Ｄ形状３Ｄ１２の始端とがその区間の長さだけ離れるように第１の３Ｄ形状３Ｄ１１および第２の３Ｄ形状３Ｄ１２の配置を変更することができる。
ユーザーは、操作部７０を操作することにより、第１の３Ｄ形状３Ｄ１１および第２の３Ｄ形状３Ｄ１２の少なくとも一方を移動させる指示を画像表示装置５０ａに入力する。情報受付部５７は、その指示を受け付ける。以下では、第２の３Ｄ形状３Ｄ１２が移動する例を説明する。調整部５９は、情報受付部５７によって受け付けられた指示に基づいて第２の３Ｄ形状３Ｄ１２の位置および姿勢の少なくとも一方を調整する（ステップＳ１１０）。
ステップＳ１０８において生成された３Ｄデータは、第１の３Ｄデータと対応する３Ｄデータと、第２の３Ｄデータと対応する３Ｄデータとを含む。調整部５９は、第２の３Ｄデータと対応する３Ｄデータの３Ｄ座標を変更する。これにより、調整部５９は、その３Ｄデータが示す３Ｄ形状の位置および姿勢の少なくとも一方を調整する。
ステップＳ１１０の後、表示制御部５６は、ステップＳ１１０において処理された３Ｄデータが示す３Ｄ形状の画像を表示部７１に表示する（ステップＳ１１１）。ステップＳ１１１が実行されたとき、図１０に示す処理が終了する。
図１１は、表示部７１に表示された画像の例を示す。図８に示す部分と同じ部分の説明を省略する。表示制御部５６は、画像ＩＭＧ１３を表示部７１に表示する。
ユーザーは、第２の３Ｄ形状３Ｄ１２を第１の３Ｄ形状３Ｄ１１に近づける指示、または第１の３Ｄ形状３Ｄ１１から遠ざける指示を画像表示装置５０ａに入力する。あるいは、ユーザーは、第２の３Ｄ形状３Ｄ１２を回転させる指示を画像表示装置５０ａに入力する。
ユーザーが第２の３Ｄ形状３Ｄ１２の位置および姿勢を自由に変更するために実施する操作は複雑である。そのため、第２の３Ｄ形状３Ｄ１２の移動が制限されてもよい。例えば、“直管”が選択された場合、円柱軸の方向が変化しない範囲でユーザーが第２の３Ｄ形状３Ｄ１２を移動してもよい。この場合、ユーザーは、円柱軸に平行な方向に第２の３Ｄ形状３Ｄ１２を移動することができ、かつ円柱軸を中心にして第２の３Ｄ形状３Ｄ１２を回転させることができる。
被写体が直管の場合であっても、第２の３Ｄ形状３Ｄ１２の移動を制限するための条件は上記の例に限らない。
図１１に示す例では、ユーザーは、第２の３Ｄ形状３Ｄ１２を右方向に移動させる指示を画像表示装置５０ａに入力する。調整部５９は、第２の３Ｄ形状３Ｄ１２が右方向に移動するように３Ｄデータの３Ｄ座標を変更する。
本発明の各態様は、次の変形例を含んでもよい。調整部５９は、調整ステップ（ステップＳ１１０）において、共通座標系における第１の３Ｄデータおよび第２の３Ｄデータの少なくとも一方の位置および姿勢の少なくとも一方を調整する。
第１の実施形態の第１の変形例において、広い範囲の３Ｄ形状における第１の３Ｄ形状および第２の３Ｄ形状の位置および姿勢の少なくとも一方が調整される。この調整を通して、広い範囲の３Ｄデータが示す３Ｄ形状が実際の検査対象の構造に近づくため、その３Ｄデータの品質が向上する。
（第１の実施形態の第２の変形例）
本発明の第１の実施形態の第２の変形例を説明する。第１の実施形態の第２の変形例において、図１に示す画像表示装置５０が使用される。
前述した第１の実施形態における被写体は直管である。一方、第１の実施形態の第２の変形例において、被写体が９０度継手である例を説明する。
例えば、ユーザーは、図４に示す“パイプ”を選択し、その後、“９０度継手”を選択する。選択が決定したことを示す情報をユーザーが画像表示装置５０に入力したとき、情報受付部５７は、ユーザーによって選択された情報を受け付ける。このとき、情報受付部５７は、“９０度継手”という文字列を受け付ける。
例えば、９０度継手の構造情報は、第１の３Ｄデータおよび第２の３Ｄデータの各々の３Ｄ形状が略円柱形状であることを示す。構造情報は、第１の３Ｄデータの３Ｄ形状の内径および第２の３Ｄデータの３Ｄ形状の内径が等しいことを示す。構造情報は、第１の３Ｄデータの円柱の中心軸および第２の３Ｄデータの円柱の中心軸が直交することを示す。パラメーター生成部５３は、ステップＳ１０６において、構造情報に基づいて変換パラメーターを生成する。
図１２は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ２１を表示部７１に表示する。画像ＩＭＧ２１は、領域Ｒ２１を含む。第１の３Ｄ形状３Ｄ２１と第２の３Ｄ形状３Ｄ２２との画像が領域Ｒ２１に表示される。第１の３Ｄ形状３Ｄ２１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ２２は、第２の３Ｄデータによって示される。
図１２に示す例では、パラメーター生成部５３は、第２の３Ｄ座標系の位置および姿勢を第１の３Ｄ座標系の位置および姿勢と一致させるための位置姿勢変換パラメーターを生成する。また、パラメーター生成部５３は、第２の３Ｄ座標系の縮尺を第１の３Ｄ座標系の縮尺と一致させるための縮尺変換パラメーターを生成する。パラメーター生成部５３は、第１の３Ｄ形状３Ｄ２１の第１の円柱軸ＡＸ２１および第２の３Ｄ形状３Ｄ２２の第２の円柱軸ＡＸ２２を算出する。パラメーター生成部５３は、第２の３Ｄ形状３Ｄ２２の円柱の直径ＤＭ２２を第１の３Ｄ形状３Ｄ２１の円柱の直径ＤＭ２１と一致させるための縮尺変換パラメーターを生成する。
第１の３Ｄデータは、図１２に示す時刻ｔ１から時刻ｔ２までのタイムスタンプを含み、かつ第２の３Ｄデータは、図１２に示す時刻ｔ３から時刻ｔ４までのタイムスタンプを含む。パラメーター生成部５３は、時刻ｔ２と関連付けられた第１の３Ｄ形状３Ｄ２１の第１の接続領域を特定し、かつ時刻ｔ３と関連付けられた第２の３Ｄ形状３Ｄ２２の第２の接続領域を特定する。
第１の接続領域は、第１の３Ｄ形状３Ｄ２１の終端を含む。第２の接続領域は、第２の３Ｄ形状３Ｄ２２の始端を含む。パラメーター生成部５３は、第２の接続領域における第２の円柱軸ＡＸ２２が第１の接続領域における第１の円柱軸ＡＸ２１と直交するための位置姿勢変換パラメーターを生成する。
第２の接続領域は、第１の接続領域と近い位置に配置される。パラメーター生成部５３は、第１の接続領域および第２の接続領域の間の領域が小さくなるように位置姿勢変換パラメーターを生成する。第１の接続領域および第２の接続領域の間の領域（９０度継手の領域）の３Ｄデータは欠落している。パラメーター生成部５３は、第１の接続領域および第２の接続領域が互いに重ならないように位置姿勢変換パラメーターを生成する。
曲がっている領域の３Ｄデータに加えて、直管部の３Ｄデータが欠落している可能性がある。そのため、第１の接続領域および第２の接続領域の間の区間の長さは実際には不明である。図１２に示す画像ＩＭＧ２１が表示された後、第１の実施形態の第１の変形例と同様に、３Ｄ形状の位置または姿勢が調整されてもよい。
表示制御部５６は、領域Ｒ２２および領域Ｒ２３を領域Ｒ２１に表示する。領域Ｒ２２は第１の接続領域と対応し、かつ領域Ｒ２３は第２の接続領域と対応する。
本発明の各実施形態の目的は、第１の３Ｄデータおよび第２の３Ｄデータが共通の領域の３Ｄデータを含まない場合であっても広い範囲の３Ｄ形状の画像を表示することである。そのため、第１の３Ｄデータおよび第２の３Ｄデータの位置および姿勢が正確に調整される必要はない。ユーザーがその位置および姿勢の調整を実施してもよい。第１の３Ｄデータおよび第２の３Ｄデータが互いに粗く接続されてもよい。
図１３は、表示部７１に表示された画像の例を示す。図１２に示す部分と同じ部分の説明を省略する。表示制御部５６は、画像ＩＭＧ２２を表示部７１に表示する。
第１の３Ｄ形状３Ｄ２１の終端における第１の円柱軸ＡＸ２１上の点は、第２の３Ｄ形状３Ｄ２２の始端における第２の円柱軸ＡＸ２２上の点と一致する。第１の接続領域の一部および第２の接続領域の一部は互いに重なる。検査対象である被写体の構造は、実際には図１３に示す構造と異なる。第１の３Ｄデータおよび第２の３Ｄデータが互いに正確に接続される必要がない場合、表示制御部５６は、図１３に示すように画像ＩＭＧ２２を表示部７１に表示することができる。広い範囲の３Ｄ形状の見た目を改善するためにユーザーが第１の実施形態の第１の変形例と同様に３Ｄデータの位置および姿勢を調整してもよい。
第１の実施形態の第２の変形例において、被写体が９０度継手である場合、画像表示装置５０は、直管を被写体として選択する処理と同様の処理を実行する。これにより、画像表示装置５０は、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続することができ、かつ広い範囲の３Ｄ形状の画像を表示することができる。
（第１の実施形態の第３の変形例）
本発明の第１の実施形態の第３の変形例を説明する。第１の実施形態の第３の変形例において、図１に示す画像表示装置５０が使用される。
前述した第１の実施形態の第２の変形例における被写体は、同径の９０度継手である。一方、第１の実施形態の第３の変形例において、被写体が異径の９０度継手である例を説明する。異径の継手がパイプに使用される場合がある。第１の実施形態の第３の変形例は、そのパイプの検査に適用される。
図４に示すダイアログボックスＤＬ１０が表示部７１に表示された後、表示制御部５６は、図１４に示すダイアログボックスＤＬ２０を表示部７１に表示する。ユーザーは、操作部７０を操作することにより、第１の３Ｄデータの内径を入力ボックスＩＢ２１に入力し、かつ第２の３Ｄデータの内径を入力ボックスＩＢ２２に入力する。
情報受付部５７は、入力ボックスＩＢ２１に入力された内径と、入力ボックスＩＢ２２に入力された内径とを受け付ける。パラメーター生成部５３は、ステップＳ１０６において、第１の３Ｄデータの円柱の内径および第２の３Ｄデータの円柱の内径に基づいて縮尺変換パラメーターを生成する。
被写体が９０度継手であり、かつ第２の３Ｄデータの円柱の内径が第１の３Ｄデータの円柱の内径の１．５倍である例を説明する。図１５は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ３１を表示部７１に表示する。画像ＩＭＧ３１は、領域Ｒ３１を含む。第１の３Ｄ形状３Ｄ３１と第２の３Ｄ形状３Ｄ３２との画像が領域Ｒ３１に表示される。第１の３Ｄ形状３Ｄ３１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ３２は、第２の３Ｄデータによって示される。
図１５に示す例では、パラメーター生成部５３は、第２の３Ｄ座標系の位置および姿勢を第１の３Ｄ座標系の位置および姿勢と一致させるための位置姿勢変換パラメーターを生成する。また、パラメーター生成部５３は、第２の３Ｄ座標系の縮尺を第１の３Ｄ座標系の縮尺と一致させるための縮尺変換パラメーターを生成する。パラメーター生成部５３は、第１の３Ｄ形状３Ｄ３１の第１の円柱軸ＡＸ３１および第２の３Ｄ形状３Ｄ３２の第２の円柱軸ＡＸ３２を算出する。パラメーター生成部５３は、第２の３Ｄ形状３Ｄ３２の円柱の直径ＤＭ３２を第１の３Ｄ形状３Ｄ３１の円柱の直径ＤＭ３１の１．５倍にするための縮尺変換パラメーターを生成する。
第１の３Ｄデータは、図１５に示す時刻ｔ１から時刻ｔ２までのタイムスタンプを含み、かつ第２の３Ｄデータは、図１５に示す時刻ｔ３から時刻ｔ４までのタイムスタンプを含む。パラメーター生成部５３は、時刻ｔ２と関連付けられた第１の３Ｄ形状３Ｄ３１の第１の接続領域を特定し、かつ時刻ｔ３と関連付けられた第２の３Ｄ形状３Ｄ３２の第２の接続領域を特定する。
第１の接続領域は、第１の３Ｄ形状３Ｄ３１の終端を含む。第２の接続領域は、第２の３Ｄ形状３Ｄ３２の始端を含む。パラメーター生成部５３は、第２の接続領域における第２の円柱軸ＡＸ３２が第１の接続領域における第１の円柱軸ＡＸ３１と直交するための位置姿勢変換パラメーターを生成する。
第２の接続領域は、第１の接続領域と近い位置に配置される。パラメーター生成部５３は、第１の接続領域および第２の接続領域の間の領域が小さくなるように位置姿勢変換パラメーターを生成する。第１の接続領域および第２の接続領域の間の領域の３Ｄデータは欠落している。パラメーター生成部５３は、第１の接続領域および第２の接続領域が互いに重ならないように位置姿勢変換パラメーターを生成する。広い範囲の３Ｄデータの画像が表示された後、ユーザーが第１の実施形態の第１の変形例と同様に３Ｄデータの位置および姿勢を調整してもよい。
表示制御部５６は、領域Ｒ３２および領域Ｒ３３を領域Ｒ３１に表示する。領域Ｒ３２は第１の接続領域と対応し、かつ領域Ｒ３３は第２の接続領域と対応する。
第１の実施形態の第３の変形例において、被写体が異径の９０度継手である場合、画像表示装置５０は、直管を被写体として選択する処理と同様の処理を実行する。これにより、画像表示装置５０は、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続することができ、かつ広い範囲の３Ｄ形状の画像を表示することができる。
（第１の実施形態の第４の変形例）
本発明の第１の実施形態の第４の変形例を説明する。第１の実施形態の第４の変形例において、図１に示す画像表示装置５０が使用される。
前述した第１の実施形態における被写体は直管である。前述した第１の実施形態の第２および第３の変形例における被写体は９０度継手である。一方、第１の実施形態の第４の変形例において、被写体がＵ字菅である例を説明する。熱交換チューブ等はＵ字菅を有する。
図１６は、Ｕ字菅の例を示す。Ｕ字菅は、直管部ＳＰ４１および円弧部ＣＰ４１を有する。以下では、円弧部ＣＰ４１において３Ｄデータの一部が欠落している例を説明する。第１の３Ｄデータおよび第２の３Ｄデータは、円弧部ＣＰ４１において互いに接続される。第１の３Ｄデータおよび第２の３Ｄデータが直管部ＳＰ４１において互いに接続される場合、画像表示装置５０は、被写体が直管である第１の実施形態における処理と同様の処理を実行し、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続する。
例えば、Ｕ字管の構造情報は、第１の３Ｄデータおよび第２の３Ｄデータの各々の３Ｄ形状が略円柱形状であることを示す。構造情報は、円弧部が略ドーナツ形状であることを示す。３Ｄデータが存在する円弧部の範囲は、１８０度の範囲すなわち半円のみである。構造情報は、第１の３Ｄデータの３Ｄ形状の内径および第２の３Ｄデータの３Ｄ形状の内径が等しいことを示す。構造情報は、直管部における２つの円柱の２つの中心軸は互いに平行であり、かつ円弧部は任意の曲率半径を持つことを示す。パラメーター生成部５３は、ステップＳ１０６において、構造情報に基づいて変換パラメーターを生成する。
図１７は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ４１を表示部７１に表示する。画像ＩＭＧ４１は、領域Ｒ４１を含む。第１の３Ｄ形状３Ｄ４１と第２の３Ｄ形状３Ｄ４２との画像が領域Ｒ４１に表示される。第１の３Ｄ形状３Ｄ４１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ４２は、第２の３Ｄデータによって示される。
図１７に示す例では、パラメーター生成部５３は、第２の３Ｄ座標系の位置および姿勢を第１の３Ｄ座標系の位置および姿勢と一致させるための位置姿勢変換パラメーターを生成する。また、パラメーター生成部５３は、第２の３Ｄ座標系の縮尺を第１の３Ｄ座標系の縮尺と一致させるための縮尺変換パラメーターを生成する。パラメーター生成部５３は、第１の３Ｄ形状３Ｄ４１の第１の円柱軸ＡＸ４１および第２の３Ｄ形状３Ｄ４２の第２の円柱軸ＡＸ４２を算出する。第１の円柱軸ＡＸ４１および第２の円柱軸ＡＸ４２は、直管部において直線状であり、かつ円弧部において円弧状である。
パラメーター生成部５３は、第２の３Ｄ形状３Ｄ４２の円柱の直径ＤＭ４２を第１の３Ｄ形状３Ｄ４１の円柱の直径ＤＭ４１と一致させるための縮尺変換パラメーターを生成する。Ｕ字菅の直管部における２つの円柱の２つの内径は同じであることが多い。そのため、画像表示装置５０は、第１の実施形態において縮尺変換パラメーターを生成する方法と同様の方法を使用することにより縮尺変換パラメーターを生成することができる。
第１の３Ｄデータは、図１７に示す時刻ｔ１から時刻ｔ２までのタイムスタンプを含み、かつ第２の３Ｄデータは、図１７に示す時刻ｔ３から時刻ｔ４までのタイムスタンプを含む。パラメーター生成部５３は、時刻ｔ２と関連付けられた第１の３Ｄ形状３Ｄ４１の第１の接続領域を特定し、かつ時刻ｔ３と関連付けられた第２の３Ｄ形状３Ｄ４２の第２の接続領域を特定する。
第１の接続領域は、第１の３Ｄ形状３Ｄ４１の終端を含む。第２の接続領域は、第２の３Ｄ形状３Ｄ４２の始端を含む。パラメーター生成部５３は、第１の接続領域および第２の接続領域を互いに接続するための位置姿勢変換パラメーターを生成する。第１の接続領域および第２の接続領域は、円弧部が所定の曲率半径を持つという条件に従って互いに接続される。
円弧部における３Ｄデータの一部が欠落している場合、接続領域の位置と対応する円弧部の角度を示す情報は得られていない。第２の３Ｄデータが直管部の３Ｄデータを含む場合、直管部における２つの円柱の２つの中心軸が互いに平行であるという条件を使用することにより、パラメーター生成部５３は、３Ｄデータが欠落している区間を推定することができる。
表示制御部５６は、領域Ｒ４２および領域Ｒ４３を領域Ｒ４１に表示する。領域Ｒ４２は第１の接続領域と対応し、かつ領域Ｒ４３は第２の接続領域と対応する。
第２の３Ｄデータが円弧部における３Ｄデータのみを含む場合がある。その場合、パラメーター生成部５３が、第１の３Ｄデータおよび第２の３Ｄデータを互いに正確に接続するための位置姿勢変換パラメーターを生成することは困難である。パラメーター生成部５３は、第１の３Ｄデータおよび第２の３Ｄデータの間の領域がなくなるように仮の位置姿勢変換パラメーターを生成してもよい。広い範囲の３Ｄデータの画像が表示された後、ユーザーが第１の実施形態の第１の変形例と同様に３Ｄデータの位置および姿勢を調整してもよい。このとき、ユーザーは、円弧に沿って３Ｄデータの位置を調整してもよい。
（第１の実施形態の第５の変形例）
本発明の第１の実施形態の第５の変形例を説明する。第１の実施形態の第５の変形例において、図１に示す画像表示装置５０が使用される。
前述した第１の実施形態および第１の実施形態の第２から第４の変形例における被写体はパイプの検査部位である。一方、第１の実施形態の第５の変形例において、被写体がガスタービンの検査部位である例を説明する。ガスタービンは、航空機エンジンおよび発電機等における主要な検査対象である。以下では、ブレード検査における例を説明する。ブレードは、航空機エンジンのガスタービンの代表的な検査部位である。
発電機のタービンブレードの大きさは、航空機エンジンのガスタービンブレードの大きさと異なる。しかしながら、タービンブレードの構造はガスタービンブレードの構造と似ている。そのため、以下の処理はタービンブレード検査に適用されてもよい。
ガスタービンは２枚以上のブレードを有する。２枚以上のブレードは、ディスクと呼ばれる円盤状の部品に環状かつ放射状に固定されている。
図１８は、ブレードの構成を概略的に示す。図１８において、１２枚のブレードＢＬ５０がディスクＤＳ５０に配置されている。実際には、数十枚のブレードまたは１００枚を超えるブレードが１つのディスクに配置されている。中心位置ＣＰ５０は、エンジンの回転軸に垂直な平面におけるディスクＤＳ５０の中心を示す。多段のディスクがガスタービンのコンプレッサーセクションおよびタービンセクションの各々に配置されている。各段のディスクは、動翼および静翼の一方として機能する多数のブレードを有する。検査マニュアルにおいて、ＩＤが各ブレードに割り当てられていることが多い。
動翼が検査されるとき、スコープが、エンジンに設けられたアクセスポートからエンジン内に挿入される。動翼が手動または自動で回転し、かつスコープの先端が固定される。検査者はこの状態で検査を実施し、各ブレードに異常があるか否かを確認する。
一方、燃焼室のすぐ後方に配置されている静翼（ノズルガイドベーン）が検査されるとき、スコープが燃焼室のアクセスポートから燃焼室の後方に向かって挿入される。以下では、ノズルガイドベーンを静翼と呼ぶ。静翼の検査では、ブレードを回転させることはできない。検査者はスコープの先端を静翼のディスクの円周上で移動させ、各ブレードに異常があるか否かを確認する。
図４に示すダイアログボックスＤＬ１０の情報ＩＮＦ１０は、検査対象であるガスタービンの情報と、ガスタービンにおけるブレードの情報とを含む。例えば、ユーザーは、“ガスタービン”を選択し、その後、“ブレード”を選択する。選択が決定したことを示す情報をユーザーが画像表示装置５０に入力したとき、情報受付部５７は、ユーザーによって選択された情報を受け付ける。このとき、情報受付部５７は、“ブレード”という文字列を受け付ける。
例えば、ブレードの構造情報は、第１の３Ｄデータおよび第２の３Ｄデータの各々におけるブレードが任意の曲率半径を持つ円周上に等間隔で配置されていることを示す。構造情報は、ブレードの長さが同じであることを示す。パラメーター生成部５３は、ステップＳ１０６において、構造情報に基づいて変換パラメーターを生成する。
エンジン機種、セクション、およびステージ段数が特定されている場合、ブレードの合計枚数、各ブレードの長さ、および各ブレードのＩＤは既知である。エンジン機種は、ブレードが配置されたエンジンの機種を示す。セクションは、コンプレッサーセクションまたはタービンセクションを示す。ステージ段数は、多段のディスクを含むステージにおけるディスクの位置（段数）を示す。構造情報は、ブレードの合計枚数、各ブレードの長さ、および各ブレードのＩＤを含んでもよい。この場合、パラメーター生成部５３は、第１の３Ｄデータおよび第２の３Ｄデータを互いに正確に接続するための位置姿勢変換パラメーターを生成することができる。
画像表示装置５０は、図２に示す処理を実行する。ステップＳ１０６における具体的な処理は、検査対象がパイプである場合における処理と異なる。
パラメーター生成部５３は、ステップＳ１０６において、図１９に示す処理を実行する。図１９は、パラメーター生成部５３が実行する処理の手順を示す。以下の例では、パラメーター生成部５３は、第２の３Ｄ座標系の位置および姿勢を第１の３Ｄ座標系の位置および姿勢と一致させるための位置姿勢変換パラメーターを生成する。また、パラメーター生成部５３は、第２の３Ｄ座標系の縮尺を第１の３Ｄ座標系の縮尺と一致させるための縮尺変換パラメーターを生成する。
構造情報は、ブレードの長さが同じであることを示す。そのため、パラメーター生成部５３は、第１の３Ｄデータのブレードの長さおよび第２の３Ｄデータのブレードの長さが互いに一致するように第２の３Ｄデータの縮尺を補正するための縮尺変換パラメーターを生成する（ステップＳ１０６ｅ）。構造情報は、ブレードの全長を示す情報を含んでもよい。パラメーター生成部５３は、その情報に基づいて、第１の３Ｄデータのブレードの長さおよび第２の３Ｄデータのブレードの長さが同じであると判断してもよい。
ステップＳ１０６ｅの後、パラメーター生成部５３は、第１の３Ｄデータにおけるディスクの中心位置（第１の中心位置）を算出する（ステップＳ１０６ｆ）。図１８に示す例では、パラメーター生成部５３は中心位置ＣＰ５０を算出する。
パラメーター生成部５３は、ディスクの中心位置を算出するためにどのような方法を使用してもよい。例えば、パラメーター生成部５３は、各ブレードの長さ方向に伸びる直線が交わる位置を中心位置として算出してもよい。パラメーター生成部５３は、パターンマッチングを実行することにより３Ｄデータにおけるブレードを検出してもよい。パラメーター生成部５３は、ブレードの位置関係に基づいて外接円または内接円を算出し、その円の中心位置を算出してもよい。
ステップＳ１０６ｆの後、パラメーター生成部５３は、ステップＳ１０６ｆと同様の処理を実行することにより、第２の３Ｄデータにおけるディスクの中心位置（第２の中心位置）を算出する（ステップＳ１０６ｇ）。ステップＳ１０６ｇにおいてディスクの中心位置を算出する方法は、ステップＳ１０６ｆにおいてディスクの中心位置を算出する方法と同じであってもよいし、あるいは異なってもよい。
ステップＳ１０６ｇの後、パラメーター生成部５３は、第１の中心位置および第２の中心位置が互いに一致するように第１の３Ｄデータおよび第２の３Ｄデータの各々の位置を補正するための位置姿勢変換パラメーターを生成する（ステップＳ１０６ｈ）。
ステップＳ１０６ｈの後、パラメーター生成部５３は、第２の３Ｄデータにおける始端ブレードを第１の３Ｄデータにおける終端ブレードの次のブレードとして配置するための位置姿勢変換パラメーターを算出する（ステップＳ１０６ｉ）。ステップＳ１０６ｉが実行されたとき、図１９に示す処理が終了する。
図２０は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ５１を表示部７１に表示する。画像ＩＭＧ５１は、領域Ｒ５１を含む。第１の３Ｄ形状３Ｄ５１と第２の３Ｄ形状３Ｄ５２との画像が領域Ｒ５１に表示される。第１の３Ｄ形状３Ｄ５１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ５２は、第２の３Ｄデータによって示される。
第１の３Ｄ形状３Ｄ５１は、４枚のブレードを含む。第１の３Ｄデータは、図２０に示す時刻ｔ１から時刻ｔ２までのタイムスタンプを含む。ブレードＢＬ５１のタイムスタンプ（ｔ１）が最も早く、かつブレードＢＬ５２のタイムスタンプ（ｔ２）が最も遅い。第２の３Ｄ形状３Ｄ５２は、８枚のブレードを含む。第２の３Ｄデータは、図２０に示す時刻ｔ３から時刻ｔ４までのタイムスタンプを含む。ブレードＢＬ５３のタイムスタンプ（ｔ３）が最も早く、かつブレードＢＬ５４のタイムスタンプ（ｔ４）が最も遅い。
パラメーター生成部５３は、時刻ｔ２と関連付けられた第１の３Ｄ形状３Ｄ５１の第１の接続領域を特定し、かつ時刻ｔ３と関連付けられた第２の３Ｄ形状３Ｄ５２の第２の接続領域を特定する。第１の接続領域は、第１の３Ｄ形状３Ｄ５１における終端のブレードＢＬ５２を含む。第２の接続領域は、第２の３Ｄ形状３Ｄ５２における始端のブレードＢＬ５３を含む。パラメーター生成部５３は、第２の接続領域を第１の接続領域と接続するための位置姿勢変換パラメーターを生成する。
パラメーター生成部５３は、時刻ｔ１と関連付けられた第１の３Ｄ形状３Ｄ５１の第１の接続領域を特定し、かつ時刻ｔ４と関連付けられた第２の３Ｄ形状３Ｄ５２の第２の接続領域を特定する。第１の接続領域は、第１の３Ｄ形状３Ｄ５１における始端のブレードＢＬ５１を含む。第２の接続領域は、第２の３Ｄ形状３Ｄ５２における終端のブレードＢＬ５４を含む。パラメーター生成部５３は、第２の接続領域を第１の接続領域と接続するための位置姿勢変換パラメーターを生成する。
表示制御部５６は、領域Ｒ５２および領域Ｒ５３を領域Ｒ５１に表示する。領域Ｒ５２および領域Ｒ５３の各々は、第１の接続領域および第２の接続領域を含む。
ブレードＢＬ５１を含む第１の接続領域と、ブレードＢＬ５４を含む第２の接続領域とを互いに接続するために、ブレードＢＬ５１およびブレードＢＬ５４の位置関係が２枚以上の画像の特徴に基づいて判断されてもよい。その２枚以上の画像は、第１の３Ｄデータおよび第２の３Ｄデータを生成するために使用される。その第１の接続領域およびその第２の接続領域は、その特徴に基づいて互いに接続されてもよい。この方法はループクロージングと呼ばれる。公知技術をループクロージングに適用することができる。
実際に存在するブレードの合計枚数と、３Ｄデータにおけるブレードの合計枚数とが同じである場合、パラメーター生成部５３は、第１の３Ｄデータおよび第２の３Ｄデータを互いに正確に接続するための位置姿勢変換パラメーターを生成することができる。３Ｄデータにおけるブレードの合計枚数は、第１の３Ｄデータにおけるブレードおよび第２の３Ｄデータにおけるブレードの合計枚数である。
図２１は、３Ｄデータにおけるブレードの合計枚数が実際に存在するブレードの合計枚数よりも１枚だけ少ない場合に表示部７１に表示された画像の例を示す。図２０に示す部分と同じ部分の説明を省略する。
図２１に示す第２の３Ｄ形状３Ｄ５２は、図２０に示すブレードＢＬ５４を含まない。図２１に示す第２の３Ｄ形状３Ｄ５２は、図２０に示すブレードＢＬ５３を含まない可能性がある。そのため、実際には、第２の３Ｄ形状３Ｄ５２がブレードＢＬ５３およびブレードＢＬ５４の一方を含まない可能性がある。
広い範囲の３Ｄデータの画像が表示された後、ユーザーが第１の実施形態の第１の変形例と同様に３Ｄデータの位置および姿勢を調整してもよい。このとき、ユーザーは、第２の３Ｄデータを回転させることにより第２の３Ｄデータの位置を調整してもよい。ユーザーは、第１の３Ｄデータおよび第２の３Ｄデータを回転させてもよい。３Ｄデータの位置は、任意の直径を持つ円の周上のみにおいて調整されてもよい。
（第２の実施形態）
本発明の第２の実施形態を説明する。第２の実施形態において、第１の３Ｄデータおよび第２の３Ｄデータを生成する方法を説明する。以下では、画像表示装置が内視鏡装置である例を説明する。
図２２および図２３を参照し、第２の実施形態における内視鏡装置１の構成を説明する。図２２は、内視鏡装置１の外観を示す。図２３は、内視鏡装置１の内部構成を示す。
図２２に示す内視鏡装置１は、挿入部２、本体部３、操作部４、および表示部５を有する。内視鏡装置１は、被写体を撮像し、画像を生成する。被写体は、工業製品である。ユーザーは、様々な被写体の観察を実施するために、挿入部２の先端２０に装着される光学アダプターの交換と、内蔵された映像処理プログラムの選択と、映像処理プログラムの追加とを実施することが可能である。
挿入部２は、被写体の内部に挿入される。挿入部２は、先端２０から基端部にわたって屈曲可能な細長い管状である。挿入部２は、被写体を撮像し、かつ撮像信号を本体部３に出力する。挿入部２の先端２０には、光学アダプターが装着される。例えば、単眼の光学アダプターが先端２０に装着される。本体部３は、挿入部２を収納する収納部を備えた制御装置である。操作部４は、内視鏡装置１に対するユーザーの操作を受け付ける。表示部５は、表示画面を有し、かつ挿入部２によって取得された被写体の画像および操作メニュー等を表示画面に表示する。
操作部４は、ユーザーインタフェースである。表示部５は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等のモニタ（ディスプレイ）である。表示部５は、タッチパネルであってもよい。その場合、操作部４および表示部５は一体化される。
図２３に示す本体部３は、内視鏡ユニット８、ＣＣＵ（Ｃａｍｅｒａ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）９、および制御装置１０を有する。
内視鏡ユニット８は、図示していない光源装置および湾曲装置を有する。光源装置は、観察に必要な照明光を先端２０に供給する。湾曲装置は、挿入部２に内蔵された湾曲機構を湾曲させる。
撮像素子２８が挿入部２の先端２０に内蔵されている。撮像素子２８は、イメージセンサである。撮像素子２８は、光学アダプターによって形成された被写体の光学像を光電変換し、かつ撮像信号を生成する。
ＣＣＵ９は、撮像素子２８を駆動する。撮像素子２８から出力された撮像信号がＣＣＵ９に入力される。ＣＣＵ９は、撮像素子２８により取得された撮像信号に対して、増幅およびノイズ除去等を含む前処理を実施する。ＣＣＵ９は、前処理が施された撮像信号をＮＴＳＣ信号等の映像信号に変換する。
制御装置１０は、映像信号処理回路１２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１３、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４、カードインタフェース１５、外部機器インタフェース１６、制御インタフェース１７、およびＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１８を有する。
映像信号処理回路１２は、ＣＣＵ９から出力された映像信号に対して、所定の映像処理を施す。例えば、映像信号処理回路１２は、視認性向上に関わる映像処理を行う。例えば、その映像処理は、色再現、階調補正、ノイズ抑制、および輪郭強調などである。例えば、映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８によって生成されたグラフィック画像信号とを合成する。グラフィック画像信号は、操作画面の画像等を含む。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。
ＲＯＭ１３は、ＣＰＵ１８が内視鏡装置１の動作を制御するためのプログラムが記録された不揮発性の記録媒体である。ＲＡＭ１４は、ＣＰＵ１８が内視鏡装置１の制御のために使用する情報を一時的に記憶する揮発性の記録媒体である。ＣＰＵ１８は、ＲＯＭ１３に記録されたプログラムに基づいて内視鏡装置１の動作を制御する。
メモリカード４２がカードインタフェース１５に接続される。メモリカード４２は、内視鏡装置１に着脱可能な記録媒体である。カードインタフェース１５は、メモリカード４２に記憶されている制御処理情報および画像情報等を制御装置１０に取り込む。また、カードインタフェース１５は、内視鏡装置１によって生成された制御処理情報および画像情報等をメモリカード４２に記録する。
ＵＳＢ機器等の外部機器が外部機器インタフェース１６に接続される。例えば、パーソナルコンピュータ（ＰＣ）４１が外部機器インタフェース１６に接続される。外部機器インタフェース１６は、ＰＣ４１へ情報を送信し、かつＰＣ４１から情報を受信する。これによって、ＰＣ４１が情報を表示することができる。また、ユーザーは、ＰＣ４１に指示を入力することにより、内視鏡装置１の制御に関する操作を実施することができる。
制御インタフェース１７は、操作部４、内視鏡ユニット８、およびＣＣＵ９と動作制御のための通信を行う。制御インタフェース１７は、ユーザーによって操作部４に入力された情報をＣＰＵ１８に通知する。制御インタフェース１７は、光源装置および湾曲装置を制御するための制御信号を内視鏡ユニット８に出力する。制御インタフェース１７は、撮像素子２８を制御するための制御信号をＣＣＵ９に出力する。
ＣＰＵ１８が実行するプログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。この記録媒体に記録されたプログラムを内視鏡装置１以外のコンピュータが読み込み、かつ実行してもよい。例えば、ＰＣ４１がプログラムを読み込んで実行してもよい。ＰＣ４１は、プログラムに従って、内視鏡装置１を制御するための制御情報を内視鏡装置１に送信することにより内視鏡装置１を制御してもよい。あるいは、ＰＣ４１は、内視鏡装置１から映像信号を取得し、かつ取得された映像信号を処理してもよい。
撮像素子２８は、静止画群を取得するカメラである。静止画群は、２枚以上の画像を含む。２枚以上の画像の各々は、２枚以上の画像に含まれる他の画像と時間的に関連付けられている。例えば、２枚以上の画像の各々は静止画である。動画が静止画群の代わりに使用されてもよい。動画に含まれる２つ以上のフレームの各々は、タイムスタンプ（タイムコード）によって互いに関連付けられている。
例えば、撮像素子２８は、１つの視点を持つ単眼のカメラである。この場合、２枚以上の静止画の各々は、単眼のカメラによって取得された画像である。第２の実施形態におけるカメラは、撮像素子２８および観察光学系を含む。
上記のように、内視鏡装置１は、撮像素子２８およびＣＰＵ１８を有する。撮像素子２８は、被写体を撮像し、かつ撮像信号を生成する。撮像信号は、被写体の画像を含む。したがって、撮像素子２８は、被写体を撮像することにより生成された、その被写体の画像を取得する。その画像は２次元画像（２Ｄ画像）である。撮像素子２８によって取得された画像は、映像信号処理回路１２を経由してＣＰＵ１８に入力される。
図２４は、ＣＰＵ１８の機能構成を示す。ＣＰＵ１８の機能は、制御部１８０、データ取得部１８１、パラメーター生成部１８２、変換部１８３、データ生成部１８４、表示制御部１８５、情報受付部１８６、構造推定部１８７、およびデータ生成部１８８を含む。図２４に示すブロックの少なくとも１つがＣＰＵ１８と異なる回路で構成されてもよい。
図２４に示す各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。図２４に示す各部は、１つまたは複数のプロセッサを含むことができる。図２４に示す各部は、１つまたは複数の論理回路を含むことができる。
制御部１８０は、図２４に示す各部が実行する処理を制御する。
データ取得部１８１は、図１に示すデータ取得部５２と同様の機能を持つ。データ取得部１８１は、ＲＡＭ１４に接続し、かつ第１の３Ｄデータおよび第２の３ＤデータをＲＡＭ１４から取得する。データ取得部１８１は、第１の３Ｄデータおよび第２の３ＤデータをＰＣ４１内の記録媒体またはメモリカード４２から取得してもよい。
パラメーター生成部１８２は、図１に示すパラメーター生成部５３と同様の機能を持つ。パラメーター生成部１８２は、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換するための変換パラメーターを生成する。
変換部１８３は、図１に示す変換部５４と同様の機能を持つ。変換部１８３は、パラメーター生成部１８２によって生成された変換パラメーターを使用することにより、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。これにより、変換部１８３は、第１の３Ｄデータおよび第２の３Ｄデータの各々を共通座標系における３Ｄデータに変換する。
データ生成部１８４は、図１に示すデータ生成部５５と同様の機能を持つ。データ生成部１８４は、変換部１８３によって共通座標系における３Ｄデータに変換された第１の３Ｄデータおよび第２の３Ｄデータを互いに接続する。これにより、データ生成部１８４は、被写体の広い範囲の３Ｄデータを生成する。
表示制御部１８５は、映像信号処理回路１２によって実行される処理を制御する。ＣＣＵ９は、映像信号を出力する。映像信号は、撮像素子２８によって取得された画像の各画素のカラーデータを含む。表示制御部１８５は、映像信号処理回路１２に、ＣＣＵ９から出力された映像信号を表示部５に出力させる。映像信号処理回路１２は、映像信号を表示部５に出力する。表示部５は、映像信号処理回路１２から出力された映像信号に基づいて画像を表示する。これにより、表示制御部１８５は、撮像素子２８によって取得された画像を表示部５に表示する。
表示制御部１８５は、各種情報を表示部５に表示する。つまり、表示制御部１８５は、画像上に各種情報を表示する。各種情報は、カーソルを含んでもよい。カーソルは、ユーザーが画像上の特定の点を指定するためのマークである。
例えば、表示制御部１８５は、各種情報のグラフィック画像信号を生成する。表示制御部１８５は、生成されたグラフィック画像信号を映像信号処理回路１２に出力する。映像信号処理回路１２は、ＣＣＵ９から出力された映像信号と、ＣＰＵ１８から出力されたグラフィック画像信号とを合成する。これにより、各種情報が画像に重畳される。映像信号処理回路１２は、合成された映像信号を表示部５に出力する。表示部５は、各種情報が重畳された画像を表示する。
また、表示制御部１８５は、図１に示す表示制御部５６と同様の機能を持つ。表示制御部１８５は、３Ｄデータのグラフィック画像信号を生成する。表示制御部１８５は、そのグラフィック画像信号を映像信号処理回路１２に出力する。前述した処理と同様の処理が実行され、表示部５は、３Ｄデータの画像を表示する。これにより、表示制御部１８５は、３Ｄデータの画像を表示部５に表示する。
ユーザーは、操作部４を操作することにより、各種情報を内視鏡装置１に入力する。操作部４は、ユーザーによって入力された情報を出力する。その情報は、入力部である制御インタフェース１７に入力される。その情報は、制御インタフェース１７からＣＰＵ１８に出力される。情報受付部１８６は、操作部４を経由して内視鏡装置１に入力された情報を受け付ける。
例えば、ユーザーは、操作部４を操作することにより、カーソルの位置情報を内視鏡装置１に入力する。表示部５がタッチパネルとして構成されている場合、ユーザーは表示部５の画面をタッチすることにより画像上の位置を示す位置情報を内視鏡装置１に入力する。情報受付部１８６は、内視鏡装置１に入力された位置情報を受け付ける。情報受付部１８６は、位置情報に基づいて画像上の位置を算出する。表示制御部１８５は、情報受付部１８６によって算出された位置にカーソルを表示する。
また、情報受付部１８６は、図１に示す情報受付部５７と同様の機能を持つ。情報受付部１８６は、構造情報を受け付ける。
構造推定部１８７は、図１に示す構造推定部５８と同様の機能を持つ。情報受付部１８６が、構造情報を含まない情報を受け付けた場合、構造推定部１８７は、その情報に基づいて、接続領域における被写体の構造を推定し、かつ構造情報を生成する。
データ生成部１８８は、図２５に示す機能を持つ。図２５は、データ生成部１８８の機能構成を示す。データ生成部１８８の機能は、画像取得部１８８０、条件受付部１８８１、およびデータ算出部１８８２を含む。
画像取得部１８８０は、静止画群をＲＡＭ１４から取得する。画像取得部１８８０は、静止画群をＰＣ４１内の記録媒体またはメモリカード４２から取得してもよい。
ユーザーは、操作部４を操作することにより、３Ｄデータを生成するための条件を示す情報を内視鏡装置１に入力する。条件受付部１８８１は、ユーザーが入力した情報に基づいて、３Ｄデータを生成するための条件を受け付ける。具体的には、その条件は、カメラの内部パラメーター、カメラの歪み補正パラメーター、設定値、および基準長等を含む。設定値は、３Ｄデータを生成するための各種処理に使用される。基準長は、３Ｄデータを実際の被写体のスケールと合わせるために使用される。
データ算出部１８８２は、静止画群に含まれる２枚以上の画像に基づいて被写体の３Ｄデータを生成（再構成）する。データ算出部１８８２が静止画群に含まれる全ての画像を使用する必要はない。静止画群が３枚以上の画像を含む場合、データ算出部１８８２は、静止画群の全てまたは一部に基づいて３Ｄデータを生成する。３Ｄデータは、被写体の２つ以上の点（３次元点群）の３Ｄ座標、カメラ座標、および姿勢情報を含む。
カメラ座標は、２枚以上の画像の各々を取得したカメラの３Ｄ座標を示し、かつ２枚以上の画像の各々と関連付けられている。カメラ座標は、画像が取得されたときの視点の３Ｄ座標を示す。例えば、カメラ座標は、カメラが有する観察光学系の３Ｄ座標を示す。姿勢情報は、２枚以上の画像の各々を取得したカメラの姿勢を示し、かつ２枚以上の画像の各々と関連付けられている。例えば、姿勢情報は、カメラが有する観察光学系の姿勢を示す。
データ算出部１８８２が実行する具体的な処理の手順について説明する。データ算出部１８８２は、画像取得部１８８０によって取得された静止画群と、条件受付部１８８１によって受け付けられた条件とを使用する。以下では、データ算出部１８８２が、静止画群に含まれる２枚の画像（静止画）を使用する例について説明する。２枚の画像が生成されたとき、カメラの２つの視点は互いに異なる。３枚以上の画像が使用される場合でも、基本原理は、２枚の画像が使用される場合と変わらない。以下で説明される方法は、３枚以上の画像が使用される場合にも適用できる。
以下で説明される方法では、互いに異なる２つの視点において取得された２枚の画像の各々における特徴点が検出され、複数の特徴点が互いに関連付けられる。また、以下で説明される方法では、複数の特徴点に基づいてカメラの位置、カメラの姿勢、および特徴点の３Ｄ座標が推定される。特徴点の情報を使用する方法は、Ｉｎｄｉｒｅｃｔ Ｍｅｔｈｏｄと呼ばれる。本発明の各実施形態に適用される方法はこの方法に限らない。
例えば、互いに異なる２つの視点において取得された２枚の画像の画素値を直接使用する方法がある。この方法を使用することにより、カメラの位置、カメラの姿勢、および各画素と対応する３Ｄ座標が推定される。この方法は、Ｄｉｒｅｃｔ Ｍｅｔｈｏｄと呼ばれる。本発明の各実施形態において、この方法が使用されてもよい。互いに異なる２つ以上の視点において取得された２枚以上の画像を使用することによりカメラの位置、カメラの姿勢、および被写体の３Ｄ座標を推定することができる限り、どのような方法が使用されてもよい。
図２６は、被写体の２枚の画像が取得される場合の画像取得の状況を模式的に示す。以下の説明では、広義のカメラという表現を使用する。内視鏡が画像を取得する場合、以下の説明におけるカメラは、具体的には内視鏡先端の観察光学系を指す。
図２６に示すように、最初にカメラの撮像状態ｃ１において画像Ｉ１が取得される。次に、カメラの撮像状態ｃ２において画像Ｉ２が取得される。撮像状態ｃ１と撮像状態ｃ２とでは、撮像位置および撮像姿勢の少なくとも１つが異なる。図２６において、撮像状態ｃ１と撮像状態ｃ２とでは、撮像位置および撮像姿勢の両方が異なる。
本発明の各実施形態では、画像Ｉ１および画像Ｉ２は同じ内視鏡によって取得されることを想定している。また、本発明の各実施形態では、内視鏡の対物光学系のパラメーターが変化しないことを想定している。対物光学系のパラメーターは、焦点距離、歪曲収差、およびイメージセンサのピクセルサイズ等である。以下では、対物光学系のパラメーターを便宜上、内部パラメーターと略す。このような条件を仮定したとき、内視鏡の光学系の特性が記述された内部パラメーターは、カメラ（観察光学系）の位置および姿勢に関わらず共通に使用できる。本発明の各実施形態では、内部パラメーターは工場出荷時に取得されていることを想定している。また、本発明の各実施形態では、画像の取得時には内部パラメーターは既知であることを想定している。
本発明の各実施形態では、静止画群から２枚以上の画像が抽出されることを想定し、かつ静止画群は１つの内視鏡によって取得されることを想定している。しかし、本発明はこれに限らない。例えば、複数の内視鏡によって取得された複数の静止画群を使用して３Ｄモデルを復元する場合においても、本発明を適用できる。この場合、画像Ｉ１および画像Ｉ２は、互いに異なる内視鏡装置を使用して取得され、内視鏡毎に別々の内部パラメーターが保持されてさえいればよい。仮に内部パラメーターが未知であっても、内部パラメーターを変数として計算を実施することはできる。そのため、内部パラメーターが既知であるか否かにより以後の手順が大きく変わることはない。
図２７を使用することにより、２枚の画像に基づいて被写体の３Ｄ座標を計算し、かつ３Ｄデータを生成する処理について説明する。図２７は、３Ｄデータを生成する処理の手順を示す。
まず、データ算出部１８８２は、特徴点検出処理を実行する（ステップＳ２００）。データ算出部１８８２は、特徴点検出処理において、２枚の画像の各々の特徴点を検出する。特徴点とは、画像に写っている被写体情報のうち、画像輝度勾配の大きいコーナーおよびエッジ等を指す。この特徴点を検出する方法として、ＳＩＦＴ（Ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）およびＦＡＳＴ（Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ａｃｃｅｌｅｒａｔｅｄ Ｓｅｇｍｅｎｔ Ｔｅｓｔ）等が使用される。データ算出部１８８２は、このような方法を使用することにより画像内の特徴点を検出することができる。
図２６は、画像Ｉ１から特徴点Ｐ１１が検出され、かつ画像Ｉ２から特徴点Ｐ１２が検出された例を示す。図２６では各画像の１つの特徴点のみが表示されているが、実際には各画像において複数の特徴点が検出される。検出される特徴点の数は画像間で異なる可能性がある。各画像から検出された各特徴点は特徴量というデータに変換される。特徴量は、特徴点の特徴を表すデータである。
ステップＳ２００の後、データ算出部１８８２は、特徴点関連付け処理を実行する（ステップＳ２０１）。データ算出部１８８２は、特徴点関連付け処理において、特徴点検出処理（ステップＳ２００）により検出された各特徴点に対して、画像間で特徴量の相関を比較する。特徴量の相関が比較され、各画像において特徴量が近い特徴点が見つかった場合、データ算出部１８８２は、その情報をＲＡＭ１４に保持する。これにより、データ算出部１８８２は、各画像の特徴点を互いに関連付ける。一方、特徴量が近い特徴点が見つからなかった場合には、データ算出部１８８２は、その特徴点の情報を破棄する。
ステップＳ２０１の後、データ算出部１８８２は、互いに関連付けられた２枚の画像の特徴点（特徴点ペア）の座標をＲＡＭ１４から読み出す。データ算出部１８８２は、読み出された座標に基づいて、位置および姿勢の算出処理を実行する（ステップＳ２０２）。データ算出部１８８２は、位置および姿勢の算出処理において、画像Ｉ１を取得したカメラの撮像状態ｃ１と画像Ｉ２を取得したカメラの撮像状態ｃ２との間の相対的な位置および姿勢を算出する。より具体的には、データ算出部１８８２は、エピポーラ制約を利用した以下の方程式（１）を解くことにより、行列Ｅを算出する。
Figure 2022184415000002
行列Ｅは基本行列と呼ばれる。基本行列Ｅは、画像Ｉ１を取得したカメラの撮像状態ｃ１と画像Ｉ２を取得したカメラの撮像状態ｃ２との間の相対的な位置および姿勢を保持する行列である。方程式（１）において、行列ｐ１は、画像Ｉ１から検出された特徴点の座標を含む行列である。行列ｐ２は、画像Ｉ２から検出された特徴点の座標を含む行列である。基本行列Ｅは、カメラの相対的な位置および姿勢に関する情報を含んでいるため、カメラの外部パラメーターに相当する。データ算出部１８８２は、公知のアルゴリズムを使用することにより基本行列Ｅを解くことができる。
図２６に示すように、カメラの位置変化量（相対的な位置）がｔであり、かつカメラの姿勢変化量（相対的な姿勢）がＲである場合、式（２）および式（３）が成り立つ。
Figure 2022184415000003
式（２）において、ｘ軸方向の移動量はｔｘと表され、ｙ軸方向の移動量はｔｙと表され、かつｚ軸方向の移動量はｔｚと表される。式（３）において、ｘ軸周りの回転量αはＲｘ（α）と表され、ｙ軸周りの回転量βはＲｙ（β）と表され、かつｚ軸周りの回転量γはＲｚ（γ）と表される。基本行列Ｅが算出された後、３Ｄ座標の復元精度を高めるためにバンドル調整と呼ばれる最適化処理が実行されてもよい。
データ算出部１８８２は、算出されたカメラの位置変化量を使用することにより３Ｄモデルの座標系における３Ｄ座標（カメラ座標）を算出する。例えば、データ算出部１８８２は、画像Ｉ１を取得したカメラの３Ｄ座標を定義する。データ算出部１８８２は、画像Ｉ１を取得したカメラの３Ｄ座標と、画像Ｉ２を取得したカメラの位置変化量とに基づいて、画像Ｉ２を取得したカメラの３Ｄ座標を算出する。
データ算出部１８８２は、算出されたカメラの姿勢変化量を使用することにより３Ｄモデルの座標系における姿勢情報を算出する。例えば、データ算出部１８８２は、画像Ｉ１を取得したカメラの姿勢情報を定義する。データ算出部１８８２は、画像Ｉ１を取得したカメラの姿勢情報と、画像Ｉ２を取得したカメラの姿勢変化量とに基づいて、画像Ｉ２を取得したカメラの姿勢情報を生成する。
データ算出部１８８２は、位置および姿勢の算出処理（ステップＳ２０２）を実行することにより、カメラの位置における３Ｄ座標（カメラ座標）と、カメラの姿勢を示す姿勢情報とを含む３次元形状（３Ｄ形状）のデータ（３Ｄ形状データ）を生成する。また、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎまたはｖｉｓｕａｌ－ＳＬＡＭ等の方法が位置および姿勢の算出処理（ステップＳ２０２）に適用される場合、データ算出部１８８２はさらに、ステップＳ２０２において各特徴点の３Ｄ座標を算出する。ステップＳ２０２において生成された３Ｄ形状データは、特徴点以外の被写体上の点の３Ｄ座標を含まない。そのため、３Ｄ形状データは、被写体の疎な３Ｄ形状を示す。
３Ｄ形状データは、各特徴点の３Ｄ座標、上記のカメラ座標、および上記の姿勢情報を含む。各特徴点の３Ｄ座標は、３Ｄデータの座標系において定義される。各特徴点の３Ｄ座標は、各特徴点の２次元座標（２Ｄ座標）と関連付けられている。各特徴点の２Ｄ座標は、各特徴点が含まれる画像の座標系において定義される。各特徴点の２Ｄ座標および３Ｄ座標は、各特徴点が含まれる画像と関連付けられている。
ステップＳ２０２の後、データ算出部１８８２は、ステップＳ２０２において算出されたカメラの相対的な位置および姿勢（位置変化量ｔおよび姿勢変化量Ｒ）に基づいて、３次元形状復元処理を実行する（ステップＳ２０３）。データ算出部１８８２は、３次元形状復元処理において、被写体の３Ｄデータを生成する。被写体の３次元形状を復元する手法としては、ＰＭＶＳ（Ｐａｔｃｈ－ｂａｓｅｄ Ｍｕｌｔｉ－ｖｉｅｗ Ｓｔｅｒｅｏ）、および平行化ステレオによるマッチング処理等が挙げられる。しかし、特に手段を限定する訳ではない。
データ算出部１８８２は、ステップＳ２０３において、特徴点以外の被写体上の点の３Ｄ座標を算出する。特徴点以外の各点の３Ｄ座標は、３Ｄデータの座標系において定義される。各点の３Ｄ座標は、各点の２Ｄ座標と関連付けられている。各点の２Ｄ座標は、各点が含まれる２Ｄ画像の座標系において定義される。各点の２Ｄ座標および３Ｄ座標は、各点が含まれる２Ｄ画像と関連付けられている。データ算出部１８８２は、３Ｄ形状データを更新する。更新された３Ｄ形状データは、各特徴点の３Ｄ座標、特徴点以外の各点の３Ｄ座標、カメラ座標、および姿勢情報を含む。ステップＳ２０３において更新された３Ｄ形状データは、特徴点の３Ｄ座標に加えて特徴点以外の被写体上の点の３Ｄ座標を含む。そのため、３Ｄ形状データは、被写体の密な３Ｄ形状を示す。
ステップＳ２０３の後、データ算出部１８８２は、３次元形状復元処理（ステップＳ２０３）において処理された３Ｄ形状データと、条件受付部１８８１によって受け付けられた基準長とに基づいて３次元座標変換処理を実行する（ステップＳ２０４）。データ算出部１８８２は、３次元座標変換処理において、被写体の３Ｄ形状データを、長さの次元を持つ３次元座標データ（３Ｄデータ）へと変換する。ステップＳ２０４が実行されたとき、図２７に示す処理が終了する。
処理時間を短縮するために、ステップＳ２０３が省略されてもよい。この場合、ステップＳ２０２が実行された後、ステップＳ２０３が実行されずにステップＳ２０４が実行される。
ステップＳ２０４が省略されてもよい。この場合、ステップＳ２０３が実行された後、ステップＳ２０４が実行されずに、図２７に示す処理が終了する。この場合、３Ｄデータは、長さの次元を持たない被写体の相対的な形状を示す。３Ｄデータが被写体の相対的な形状を示す場合であっても、内視鏡装置１は、カメラ座標と対応する３Ｄデータの領域を特定することができる。
図２６に示す原理に従って３Ｄデータが生成されるためには、各画像の領域の少なくとも一部と、それ以外の少なくとも１枚の画像の各々の領域の少なくとも一部とが共通である必要がある。つまり、第１の画像の領域と、第１の画像と異なる第２の画像の領域とは、共通領域を含む。第１の画像において共通領域以外の領域と、第２の画像において共通領域以外の領域とは、互いに異なる。
３Ｄデータが生成された後、内視鏡装置１は、図２に示す処理と同様の処理を実行する。内視鏡装置１は、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続することができ、かつ広い範囲の３Ｄ形状の画像を表示することができる。図１に示す画像表示装置５０は、データ生成部１８８を有してもよい。
（第３の実施形態）
本発明の第３の実施形態を説明する。第３の実施形態において、センサーによって生成されたデータを使用することにより、被写体の接続領域における構造が推定される。
図１に示す画像表示装置５０は、図２８に示す画像表示装置５０ｂに変更される。図２８は、画像表示装置５０ｂの構成を示す。図１に示す構成と同じ構成の説明を省略する。
図２８に示す画像表示装置５０ｂは、制御部５１、データ取得部５２、パラメーター生成部５３、変換部５４、データ生成部５５、表示制御部５６、および構造推定部５８を有する。画像表示装置５０ｂは、図１に示す情報受付部５７を有していない。図２８に示す操作部７０、表示部７１、通信部７２、記憶部７３、およびセンサー７４が画像表示装置５０ｂに接続されている。画像表示装置５０ｂは、操作部７０、表示部７１、通信部７２、記憶部７３、およびセンサー７４の少なくとも１つを有してもよい。
画像表示装置５０ｂの各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。画像表示装置５０ｂの各部は、１つまたは複数のプロセッサを含むことができる。画像表示装置５０ｂの各部は、１つまたは複数の論理回路を含むことができる。
センサー７４は、センサーデータを出力する。センサーデータは、被写体の幾何的な構造に影響される。センサー７４は、画像センサー（撮像素子）である。
センサーデータは、センサー値として、画素値、加速度の測定値、または角速度の測定値を含む。画像センサーは、被写体の画像を生成する。被写体の構造がその画像に写っている。
センサーデータは、記憶部７３に保存される。構造推定部５８は、センサーデータを使用することにより、接続領域における被写体の構造を推定し、かつ構造情報を生成する。
図２９を使用することにより、画像表示装置５０ｂが実行する処理について説明する。図２９は、画像表示装置５０ｂが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。
ステップＳ１０３の後、データ取得部５２は、記憶部７３に接続し、かつ接続領域におけるセンサーデータを記憶部７３から取得する（ステップＳ１２０）。
３Ｄデータは、タイムスタンプを含む。センサーデータにおいて、センサー値およびタイムスタンプが互いに関連付けられている。そのため、データ取得部５２は、３Ｄデータのタイムスタンプが示す時刻に生成されたセンサーデータを取得することができる。例えば、データ取得部５２は、第１の３Ｄデータの終端部の時刻から第２の３Ｄデータの始端部の時刻までの区間におけるセンサーデータを記憶部７３から取得する。
以下では、センサー７４が画像センサーであり、かつデータ取得部５２が２枚以上の画像を記憶部７３から取得する例を説明する。以下の処理は、データ取得部５２が１枚の画像を記憶部７３から取得する場合にも適用できる。
ステップＳ１２０の後、構造推定部５８は、ステップＳ１２０において取得された２枚以上の画像を使用することにより、接続領域における被写体の構造を推定し、かつ構造情報を生成する（ステップＳ１２１）。ステップＳ１２１の後、ステップＳ１０６が実行される。
構造推定部５８は、被写体の構造を推定するためにどのような方法を使用してもよい。例えば、構造推定部５８は、ＡＩを使用することにより被写体の構造を推定してもよい。構造推定部５８は、画像の特徴検出、特徴量算出、およびサポートベクターマシン（ＳＶＭ）を使用することにより被写体の構造を推定してもよい。
被写体が直管であると構造推定部５８が判断した場合、構造推定部５８は、直管の構造情報を図５に示す参照テーブルＴＢ１１から取得してもよい。
本発明の各態様は、次の変形例を含んでもよい。構造情報は、センサー７４から出力されたデータに基づいて生成される。
第３の実施形態において、構造推定部５８は、センサーデータを使用することにより、接続領域における被写体の構造を推定する。画像表示装置５０ｂは、ユーザーから情報を受け付ける必要がない。
（第３の実施形態の第１の変形例）
本発明の第３の実施形態の第１の変形例を説明する。第３の実施形態の第１の変形例において、図２８に示す画像表示装置５０ｂが使用される。第３の実施形態の第１の変形例において、３Ｄデータを生成するために図２２に示す内視鏡装置１が使用される。
前述した第３の実施形態において、構造推定部５８は、画像センサーによって生成された画像を使用することにより、接続領域における被写体の構造を推定する。一方、第３の実施形態の第１の変形例において、構造推定部５８は、画像の代わりに、Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ（ＩＭＵ）から出力されたセンサーデータを使用する。
ＩＭＵがセンサー７４として使用される。センサー７４は、加速度センサーおよび角速度センサーを有し、加速度および角速度を検出する。例えば、センサー７４は、挿入部２の先端２０に配置される。挿入部２がパイプに挿入される場合、挿入部２はパイプの構造に従って動く。そのため、センサー７４は、パイプの構造に応じたセンサーデータを出力する。構造推定部５８は、センサーデータを使用することにより、先端２０の軌跡を算出する。その軌跡は、先端２０が配置された２つ以上の位置を示す。
画像表示装置５０ｂは、図２９に示す処理を実行する。構造推定部５８は、ステップＳ１２１において、センサーデータを使用することにより、先端２０の軌跡を算出する。構造推定部５８は、ステップＳ１２１において、その軌跡に基づいて接続領域における被写体の構造を推定し、かつ構造情報を生成する。
例えば、構造推定部５８は、以下の処理を実行することにより、被写体の構造を推定する。第１の３Ｄデータおよび第２の３Ｄデータの各々は、第１の区間、第２の区間、および第３の区間の各々における３Ｄ座標を含む。第１の区間は、３Ｄ形状の始端を含む。第２の区間は、３Ｄ形状の終端を含む。第３の区間は、第１の区間および第２の区間の間に配置されている。例えば、第１の３Ｄデータにおける第２の区間および第２の３Ｄデータにおける第１の区間は、接続領域と対応する。
構造推定部５８は、第１の３Ｄデータにおける第２の区間、その第２の区間に近い第１の３Ｄデータにおける第３の区間、第２の３Ｄデータにおける第１の区間、およびその第１の区間に近い第２の３Ｄデータにおける第３の区間の各々における先端２０の軌跡を解析する。全ての区間において先端２０が略直線的に移動していると構造推定部５８が判断した場合、構造推定部５８は、被写体が直管であると判断する。先端２０が上記の各区間を通る間に先端２０の移動方向が略９０度曲がると構造推定部５８が判断した場合、構造推定部５８は、被写体が９０度継手であると判断する。構造推定部５８は、被写体の構造に応じて構造情報を生成する。
（第３の実施形態の第２の変形例）
本発明の第３の実施形態の第２の変形例を説明する。第３の実施形態の第２の変形例において、図２８に示す画像表示装置５０ｂが使用される。画像表示装置５０ｂは、センサー７４を有する必要はない。第３の実施形態の第２の変形例において、３Ｄデータを生成するために図２２に示す内視鏡装置１が使用される。
前述した第３の実施形態において、構造推定部５８は、画像センサーによって生成された画像を使用することにより、接続領域における被写体の構造を推定する。一方、第３の実施形態の第２の変形例において、構造推定部５８は、画像の代わりに、挿入部２の湾曲に関する操作の履歴情報を使用する。
ユーザーは、操作部４を操作することにより、湾曲方向および湾曲量を示す情報を内視鏡装置１に入力する。ＣＰＵ１８の制御部１８０は、ユーザーによって入力された情報に基づいて制御信号を生成する。その制御信号は、制御インタフェース１７を経由して内視鏡ユニット８に出力される。内視鏡ユニット８の湾曲装置は、制御信号に基づいて湾曲機構を湾曲させる。
制御部１８０は、挿入部２の湾曲に関する操作の履歴情報を生成する。履歴情報は、湾曲方向および湾曲量を示す情報を含む。通信部７２は、履歴情報を内視鏡装置１から受信する。履歴情報は、記憶部７３に保存される。
画像表示装置５０ｂは、図２９に示す処理を実行する。データ取得部５２は、ステップＳ２０において、センサーデータの代わりに履歴情報を記憶部７３から取得する。構造推定部５８は、ステップＳ１２１において、センサーデータの代わりに履歴情報を使用することにより、接続領域における被写体の構造を推定し、かつ構造情報を生成する。
例えば、構造推定部５８は、以下の処理を実行することにより、被写体の構造を推定する。第１の３Ｄデータおよび第２の３Ｄデータの各々は、第１の区間、第２の区間、および第３の区間の各々における３Ｄ座標を含む。第１の区間は、３Ｄ形状の始端を含む。第２の区間は、３Ｄ形状の終端を含む。第３の区間は、第１の区間および第２の区間の間に配置されている。例えば、第１の３Ｄデータにおける第２の区間および第２の３Ｄデータにおける第１の区間は、接続領域と対応する。
構造推定部５８は、第１の３Ｄデータにおける第２の区間、その第２の区間に近い第１の３Ｄデータにおける第３の区間、第２の３Ｄデータにおける第１の区間、およびその第１の区間に近い第２の３Ｄデータにおける第３の区間の各々における履歴情報を解析する。全ての区間において挿入部２が湾曲していないと構造推定部５８が判断した場合、構造推定部５８は、被写体が直管であると判断する。挿入部２の先端２０が上記の各区間を通る間に挿入部２が略９０度湾曲していると構造推定部５８が判断した場合、構造推定部５８は、被写体が９０度継手であると判断する。
本発明の各態様は、次の変形例を含んでもよい。第１の３Ｄデータは、２枚以上の第１の画像を使用することにより生成される。第２の３Ｄデータは、２枚以上の第２の画像を使用することにより生成される。２枚以上の第１の画像および２枚以上の第２の画像は、挿入部２によって取得された被写体の光学像に基づいて生成される。挿入部２は、被写体を持つ物体の内部に挿入され、かつ湾曲可能である。構造情報は、挿入部２の湾曲方向および湾曲量を示す情報に基づいて生成される。
（第４の実施形態）
本発明の第４の実施形態を説明する。第４の実施形態において、図１に示す画像表示装置５０が使用される。参照データが構造情報として使用される。例えば、参照データは、幾何的な構造の設計値を含む設計データである。例えば、設計データは、３Ｄ－ＣＡＤ（ｃｏｍｐｕｔｅｒ－ａｉｄｅｄ ｄｅｓｉｇｎ）を使用することにより生成される。
図３０を使用することにより、画像表示装置５０が実行する処理について説明する。図３０は、画像表示装置５０が実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。
ステップＳ１０３の後、情報受付部５７は参照データを受け付ける（ステップＳ１３０）。例えば、通信部７２は、参照データを外部装置から受信する。情報受付部５７は、通信部７２によって受信された参照データを受け付ける。
ステップＳ１３０の後、表示制御部５６は、参照データの画像を表示部７１に表示する（ステップＳ１３１）。
図３１は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ６１を表示部７１に表示する。画像ＩＭＧ６１は、領域Ｒ６１、領域Ｒ６２、および領域Ｒ６３を含む。第１の３Ｄ形状３Ｄ６１の画像が領域Ｒ６１に表示される。第１の３Ｄ形状３Ｄ６１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ６２の画像が領域Ｒ６２に表示される。第２の３Ｄ形状３Ｄ６２は、第２の３Ｄデータによって示される。第３の３Ｄ形状３Ｄ６３の画像が領域Ｒ６３に表示される。第３の３Ｄ形状３Ｄ６３は、参照データによって示される。
情報受付部５７が参照データを受け付けたとき、図３１に示す３種類の画像が表示される。情報受付部５７が参照データを受け付けたとき、参照データの画像が表示部７１に表示される必要はない。したがって、ステップＳ１３１が実行される必要はない。
ステップＳ１３１の後、パラメーター生成部５３は、参照データを使用することにより変換パラメーターを生成する（ステップＳ１３２）。ステップＳ１３２の後、ステップＳ１０７が実行される。
パラメーター生成部５３は、ステップＳ１３２において以下の処理を実行する。パラメーター生成部５３は、第１の３Ｄデータおよび参照データを使用する形状マッチングを実行する。これにより、パラメーター生成部５３は、第１の３Ｄデータの３Ｄ形状と対応する参照データの３Ｄ形状を検出する。パラメーター生成部５３は、第２の３Ｄデータおよび参照データを使用する形状マッチングを実行する。これにより、パラメーター生成部５３は、第２の３Ｄデータの３Ｄ形状と対応する参照データの３Ｄ形状を検出する。
既知の方法が３Ｄの形状マッチングに適用されてもよい。パラメーター生成部５３は、形状情報に加えて色情報を使用するマッチング処理を実行してもよい。
パラメーター生成部５３は、第１の３Ｄ座標系の位置および姿勢を共通座標系の位置および姿勢と一致させるための位置姿勢変換パラメーターを生成する。パラメーター生成部５３は、第１の３Ｄ座標系の縮尺を共通座標系の縮尺と一致させるための縮尺変換パラメーターを生成する。共通座標系は、参照データの３Ｄ座標系である。
パラメーター生成部５３は、第２の３Ｄ座標系の位置および姿勢を共通座標系の位置および姿勢と一致させるための位置姿勢変換パラメーターを生成する。パラメーター生成部５３は、第２の３Ｄ座標系の縮尺を共通座標系の縮尺と一致させるための縮尺変換パラメーターを生成する。
図３２は、表示部７１に表示された画像の例を示す。図３１に示す部分と同じ部分の説明を省略する。表示制御部５６は、画像ＩＭＧ６２を表示部７１に表示する。画像ＩＭＧ６２は、領域Ｒ６４を含む。第１の３Ｄ形状３Ｄ６１と第２の３Ｄ形状３Ｄ６２と第３の３Ｄ形状３Ｄ６３との画像が領域Ｒ６４に表示される。ユーザーは、第１の３Ｄデータおよび第２の３Ｄデータの各々が参照データにおける正しい位置に配置されていることを確認することができる。これにより、ユーザーは、第１の３Ｄデータおよび第２の３Ｄデータが互いに正確に接続されていることを確認することができる。
構造情報として使用される参照データは設計データに限らない。参照データは、設計データ以外のデータであってもよい。
例えば、過去の検査において生成された検査対象の２枚以上の画像を使用することにより生成された３Ｄデータが参照データとして使用されてもよい。その３Ｄデータは、図２７に示す処理において生成される。その３Ｄデータは、第１の３Ｄデータおよび第２の３Ｄデータのいずれとも異なる。参照データとして使用される３Ｄデータは、検査対象の内部の被写体の３Ｄデータを生成する内視鏡機器とは異なる機器によって生成されてもよい。
パラメーター生成部５３が第１の３Ｄデータおよび第２の３Ｄデータの各々の位置と参照データの位置とを一致させることができる限り、参照データが３Ｄデータである必要はない。参照データは、２次元データ（２Ｄデータ）であってもよい。パラメーター生成部５３は、３Ｄデータの位置と２Ｄデータの位置とを一致させるために、３Ｄデータを２Ｄ情報に変換する。２Ｄ情報は、任意の平面における２次元形状を示す。パラメーター生成部５３は、２Ｄ情報の位置と２Ｄデータの位置とを一致させる。
本発明の各態様は、次の変形例を含んでもよい。構造情報は、被写体の幾何的な構造の設計値を含む設計データである、または第１の３Ｄデータおよび第２の３Ｄデータのいずれとも異なる３Ｄデータである。
第４の実施形態において、画像表示装置５０は、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続することができ、かつ広い範囲の３Ｄ形状の画像を参照データの画像上に表示することができる。
（第４の実施形態の第１の変形例）
本発明の第４の実施形態の第１の変形例を説明する。前述した第４の実施形態において、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続するために各ブレードのＩＤは使用されない。一方、第４の実施形態の第１の変形例において、第１の３Ｄデータおよび第２の３Ｄデータの各ブレードのＩＤが参照データの各ブレードのＩＤと一致するように第１の３Ｄデータおよび第２の３Ｄデータが互いに接続される。
第４の実施形態の第１の変形例において、図１に示す画像表示装置５０が使用される。記憶部７３は、ガスタービンの参照データを記憶する。図３３は、ガスタービンＧＴ７０の参照データを示す。図３３に示す例では、ガスタービンＧＴ７０は１２個のブレードを有する。ＩＤが各ブレードに割り当てられている。図３３に示す参照データは、ガスタービンＧＴ７０の断面図であってもよいし、または３Ｄ－ＣＡＤデータであってもよい。
各ＩＤは、ブレードの位置と対応する。例えば、連番のＩＤがブレードに割り当てられる場合、連続する２つのＩＤが、互いに隣接する２枚のブレードに割り当てられる。第４の実施形態の第１の変形例における構造情報は、参照データおよび各ブレードに割り当てられたＩＤである。
パラメーター生成部５３は、ステップＳ１０６において、図３４に示す処理を実行する。図３４は、パラメーター生成部５３が実行する処理の手順を示す。
パラメーター生成部５３は、第１の３Ｄデータにおけるブレード領域を特定する（ステップＳ１０６ｊ）。各ブレード領域は、１つのブレードを含む。
パラメーター生成部５３は、ブレード領域を特定するためにどのような方法を使用してもよい。例えば、パラメーター生成部５３は、第１の３Ｄデータにおいて互いに似ている２つ以上の形状をブレード領域として抽出する。あるいは、パラメーター生成部５３は、予め登録されたブレードの形状と第１の３Ｄデータとを使用する形状マッチングを実行し、ブレードの形状と一致する形状を含むブレード領域を抽出する。
ステップＳ１０６ｊの後、パラメーター生成部５３は、ステップＳ１０６ｊにおいて特定されたブレード領域にＩＤを割り当てる（ステップＳ１０６ｋ）。
パラメーター生成部５３は、ブレード領域にＩＤを割り当てるためにどのような方法を使用してもよい。例えば、第１の３Ｄデータの画像が表示部７１に表示される。ユーザーは、操作部７０を操作することにより、各ブレードのＩＤを画像表示装置５０に入力する。パラメーター生成部５３は、そのＩＤをブレード領域に割り当てる。パラメーター生成部５３は、特徴的な構造を持つ基準ブレードを第１の３Ｄデータから検出し、その基準ブレードから順番に各ブレードにＩＤを割り当ててもよい。
内視鏡機器が、３Ｄデータを生成するために使用される画像を生成するとき、ターニングツールが使用されてもよい。ターニングツールは、ディスクを自動で回転させる。ターニングツールは、ディスクの回転角度の情報を内視鏡機器に出力する。内視鏡機器は、その情報に基づいて、画像に写っているブレードの位置を判断する。
例えば、ターニングツールがディスクを回転させる前、内視鏡機器は、画像に写っているブレードを基準ブレードに設定する。ブレードの合計枚数は既知であり、隣接する２枚のブレードの間の角度は既知である。ディスクが回転している間、内視鏡機器は、ディスクの回転角度に基づいて、画像に写っているブレードを判断する。ディスクが１回転したとき、内視鏡機器は、基準ブレードが画像に再度写っていると判断することができる。
内視鏡機器は、ＩＤを各ブレードに割り当て、かつそのＩＤを画像に埋め込む。内視鏡機器は、ターニングツールを使用せずにＩＤを画像に各ブレードに割り当て、かつそのＩＤを画像に埋め込んでもよい。
３Ｄデータに含まれる各点の３Ｄ座標は、３Ｄデータを生成するために使用された画像と関連付けられている。パラメーター生成部５３は、ステップＳ１０６ｊにおいて特定されたブレード領域と関連付けられている画像のＩＤを取得し、そのＩＤをブレード領域に割り当てる。
ステップＳ１０６ｋの後、パラメーター生成部５３は、第２の３Ｄデータにおけるブレード領域を特定する（ステップＳ１０６ｌ）。ステップＳ１０６ｌは、ステップＳ１０６ｊと同様である。
ステップＳ１０６ｌの後、パラメーター生成部５３は、ステップＳ１０６ｌにおいて特定されたブレード領域にＩＤを割り当てる（ステップＳ１０６ｍ）。ステップＳ１０６ｍは、ステップＳ１０６ｋと同様である。
ステップＳ１０６ｍの後、パラメーター生成部５３は、参照データにおけるブレードのＩＤと第１の３Ｄデータにおけるブレード領域のＩＤとが互いに一致するように第１の３Ｄデータの位置、姿勢、および縮尺を補正するための変換パラメーターを算出する（ステップＳ１０６ｎ）。
ステップＳ１０６ｎの後、パラメーター生成部５３は、参照データにおけるブレードのＩＤと第２の３Ｄデータにおけるブレード領域のＩＤとが互いに一致するように第２の３Ｄデータの位置、姿勢、および縮尺を補正するための変換パラメーターを算出する（ステップＳ１０６ｏ）。ステップＳ１０６ｏが実行されたとき、図３４に示す処理が終了する。
図３５は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ７１を表示部７１に表示する。画像ＩＭＧ７１は、領域Ｒ７１を含む。第１の３Ｄ形状３Ｄ７１と第２の３Ｄ形状３Ｄ７２と第３の３Ｄ形状３Ｄ７３との画像が領域Ｒ７１に表示される。第１の３Ｄ形状３Ｄ７１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ７２は、第２の３Ｄデータによって示される。第３の３Ｄ形状３Ｄ７３は、参照データによって示される。
第１の３Ｄ形状３Ｄ７１は、２枚のブレードを含む。その２枚のブレードのＩＤは、２および３である。第１の３Ｄデータの位置は、ＩＤとして２および３が割り当てられた参照データの２枚のブレードと重なる位置に設定される。
第２の３Ｄ形状３Ｄ７２は、５枚のブレードを含む。その５枚のブレードのＩＤは、７から１１である。第２の３Ｄデータの位置は、ＩＤとして７から１１が割り当てられた参照データの５枚のブレードと重なる位置に設定される。
ＩＤとして１、４、５、６、または１２が割り当てられたブレードは第１の３Ｄデータおよび第２の３Ｄデータに存在しない。これらのＩＤが割り当てられた参照データのブレードが表示される。
表示制御部５６は、第１の３Ｄデータまたは第２の３Ｄデータに含まれるブレードと、参照データに含まれるブレードとをユーザーが区別できるように各ブレードを表示部７１に表示してもよい。例えば、第１の３Ｄデータまたは第２の３Ｄデータに含まれるブレードの色は、参照データに含まれるブレードの色と異なってもよい。ユーザーは、３Ｄデータに含まれるブレードと、３Ｄデータに含まれないブレードとを確認することができる。
パラメーター生成部５３は、図３４に示す処理に加えて図１９に示す処理を実行してもよい。これにより、パラメーター生成部５３は、第１の３Ｄデータおよび第２の３Ｄデータを互いにさらに正確に接続することができる。
本発明の各態様は、次の変形例を含んでもよい。被写体は２つ以上の物体を含む。構造情報は、２つ以上の物体が配置された位置を示す。
第４の実施形態の第１の変形例において、パラメーター生成部５３は、構造情報としてＩＤを使用することにより、変換パラメーターを生成する。そのため、画像表示装置５０は、第１の３Ｄデータおよび第２の３Ｄデータを正確に接続することができる。
（第４の実施形態の第２の変形例）
本発明の第４の実施形態の第２の変形例を説明する。第４の実施形態の第２の変形例において、図１に示す画像表示装置５０が使用される。
前述した第４の実施形態の第１の変形例における被写体はガスタービンのブレードである。一方、第４の実施形態の第２の変形例における被写体はガスタービンの燃焼室である。燃焼室は、代表的な検査部位として燃料噴射ノズルおよびプレートを含む。プレートは、燃料噴射ノズルの周辺に配置されている。
燃料噴射ノズルは、ブレードと同様に、環状に配置されていることが多い。ＩＤが各燃料噴射ノズルに割り当てられていることが多い。各ＩＤは、各燃料噴射ノズルが配置された位置に応じた値を持つ。各燃料噴射ノズルは任意の円周上に配置されており、その円の中心位置が定義される。
図３６は、燃焼室ＣＣ８０の構造を示す。燃焼室ＣＣ８０は、１２個の燃料噴射ノズルＮＺ８０を有する。燃料噴射ノズルの実際の数はエンジン機種に応じて異なる。１２個の燃料噴射ノズルＮＺ８０は、燃焼室ＣＣ８０の前段に配置されている。中心位置ＣＰ８０は、１２個の燃料噴射ノズルＮＺ８０が配置された円の中心を示す。第４の実施形態の第２の変形例において、燃料噴射ノズルに割り当てられたＩＤを使用することにより、第１の３Ｄデータおよび第２の３Ｄデータが互いに接続される。
図４に示すダイアログボックスＤＬ１０の情報ＩＮＦ１０は、検査対象であるガスタービンの情報と、ガスタービンにおける燃焼室の情報とを含む。例えば、ユーザーは、“ガスタービン”を選択し、その後、“燃焼室”を選択する。選択が決定したことを示す情報をユーザーが画像表示装置５０に入力したとき、情報受付部５７は、ユーザーによって選択された情報を受け付ける。このとき、情報受付部５７は、“燃焼室”という文字列を受け付ける。
例えば、燃焼室の構造情報は、第１の３Ｄデータおよび第２の３Ｄデータの各々における燃料噴射ノズルが任意の曲率半径を持つ円周上に等間隔で配置されていることを示す。構造情報は、燃料噴射ノズルの大きさが同じであることを示す。パラメーター生成部５３は、ステップＳ１０６において、構造情報に基づいて変換パラメーターを生成する。
エンジン機種が特定されている場合、燃料噴射ノズルの合計枚数、各燃料噴射ノズルの大きさ、および各燃料噴射ノズルのＩＤは既知である。構造情報は、燃料噴射ノズルの合計枚数、各燃料噴射ノズルの大きさ、および各燃料噴射ノズルのＩＤを含んでもよい。この場合、パラメーター生成部５３は、第１の３Ｄデータおよび第２の３Ｄデータを互いに正確に接続するための位置姿勢変換パラメーターを生成することができる。
パラメーター生成部５３は、ステップＳ１０６において、図３４に示す処理を実行する。図３４に示す処理は、被写体が燃焼室である場合にも適用される。
図３７は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ８１を表示部７１に表示する。画像ＩＭＧ８１は、領域Ｒ８１を含む。第１の３Ｄ形状３Ｄ８１と第２の３Ｄ形状３Ｄ８２と第３の３Ｄ形状３Ｄ８３との画像が領域Ｒ８１に表示される。第１の３Ｄ形状３Ｄ８１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ８２は、第２の３Ｄデータによって示される。第３の３Ｄ形状３Ｄ８３は、参照データによって示される。
第１の３Ｄ形状３Ｄ８１は、４つの燃料噴射ノズルを含む。その４つの燃料噴射ノズルのＩＤは、２から５である。第１の３Ｄデータの位置は、ＩＤとして２から５が割り当てられた参照データの４つの燃料噴射ノズルと重なる位置に設定される。
第２の３Ｄ形状３Ｄ８２は、４つの燃料噴射ノズルを含む。その４つの燃料噴射ノズルのＩＤは、９から１２である。第２の３Ｄデータの位置は、ＩＤとして９から１２が割り当てられた参照データの４つの燃料噴射ノズルと重なる位置に設定される。
ＩＤとして１、６、７、または８が割り当てられた燃料噴射ノズルは第１の３Ｄデータおよび第２の３Ｄデータに存在しない。これらのＩＤが割り当てられた参照データの燃料噴射ノズルが表示される。
表示制御部５６は、第１の３Ｄデータまたは第２の３Ｄデータに含まれる燃料噴射ノズルと、参照データに含まれる燃料噴射ノズルとをユーザーが区別できるように各ブレードを表示部７１に表示してもよい。例えば、第１の３Ｄデータまたは第２の３Ｄデータに含まれる燃料噴射ノズルの色は、参照データに含まれる燃料噴射ノズルの色と異なってもよい。ユーザーは、３Ｄデータに含まれる燃料噴射ノズルと、３Ｄデータに含まれない燃料噴射ノズルとを確認することができる。
第４の実施形態の第２の変形例において、パラメーター生成部５３は、構造情報としてＩＤを使用することにより、変換パラメーターを生成する。そのため、画像表示装置５０は、第１の３Ｄデータおよび第２の３Ｄデータを正確に接続することができる。
第４の実施形態の第１および第２の変形例は、航空機エンジンのガスタービンの検査に適用される。これらの変形例は、管状の構造物の検査に適用されてもよい。例えば、これらの変形例は、熱交換チューブの検査に適用されてもよい。熱交換チューブは、何十個もの細いチューブを有する。ＩＤが各チューブに割り当てられてもよい。パラメーター生成部５３は、ＩＤを使用することにより、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続することができる。
（第５の実施形態）
本発明の第５の実施形態を説明する。第５の実施形態において、構造情報はカメラ軌跡データである。カメラ軌跡データは、３Ｄデータを生成するために使用された２枚以上の画像を生成するカメラが配置された２つ以上の位置を示す。その位置は、前述したカメラ座標と対応する。つまり、カメラ軌跡データはカメラの軌跡を示す。カメラ軌跡データは、第１の３Ｄデータおよび第２の３Ｄデータの各々と関連付けられている。図２２に示す内視鏡装置１が使用される場合、カメラ軌跡データは、挿入部２の先端２０が配置された２つ以上の位置を示す。カメラ軌跡データを使用することにより、第１の３Ｄデータおよび第２の３Ｄデータが互いに接続される。
図１に示す画像表示装置５０は、図３８に示す画像表示装置５０ｃに変更される。図３８は、画像表示装置５０ｃの構成を示す。図１に示す構成と同じ構成の説明を省略する。
図３８に示す画像表示装置５０ｃは、制御部５１、データ取得部５２、パラメーター生成部５３、変換部５４、データ生成部５５、表示制御部５６、および欠落区間算出部６０を有する。画像表示装置５０ｃは、図１に示す情報受付部５７および構造推定部５８を有していない。
画像表示装置５０ｃの各部は、プロセッサおよび論理回路の少なくとも１つで構成されてもよい。画像表示装置５０ｃの各部は、１つまたは複数のプロセッサを含むことができる。画像表示装置５０ｃの各部は、１つまたは複数の論理回路を含むことができる。
記憶部７３は、第１のカメラ軌跡データおよび第２のカメラ軌跡データを記憶する。第１のカメラ軌跡データは第１の３Ｄデータと関連付けられており、第２のカメラ軌跡データは第２の３Ｄデータと関連付けられている。データ取得部５２は、記憶部７３に接続し、かつ第１のカメラ軌跡データおよび第２のカメラ軌跡データを記憶部７３から取得する。
欠落区間算出部６０は、第１のカメラ軌跡データおよび第２のカメラ軌跡データを使用することにより、欠落区間の位置を算出する。欠落区間は、被写体の欠落領域と対応する３Ｄデータを含む。欠落領域は、被写体の第１の領域および第２の領域に含まれない。第１の領域は、第１の３Ｄデータに含まれる３Ｄ座標と対応する。第２の領域は、第２の３Ｄデータに含まれる３Ｄ座標と対応する。欠落区間算出部６０は、欠落区間の位置に基づいて欠落区間の長さを算出することができる。
図３９を使用することにより、画像表示装置５０ｃが実行する処理について説明する。図３９は、画像表示装置５０ｃが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。
データ取得部５２は、記憶部７３に接続し、かつ第１の３Ｄデータおよび第１のカメラ軌跡データを記憶部７３から取得する（ステップＳ１４０）。ステップＳ１４０の後、表示制御部５６は、第１の３Ｄデータと第１のカメラ軌跡データとの画像を表示部７１に表示する（ステップＳ１４１）。
ステップＳ１４１の後、データ取得部５２は、記憶部７３に接続し、かつ第２の３Ｄデータおよび第２のカメラ軌跡データを記憶部７３から取得する（ステップＳ１４２）。ステップＳ１４２の後、表示制御部５６は、第２の３Ｄデータと第２のカメラ軌跡データとの画像を表示部７１に表示する（ステップＳ１４３）。
ステップＳ１４０からＳ１４３の順番は、図３９に示す順番に限らない。例えば、ステップＳ１４２およびステップＳ１４３が実行された後、ステップＳ１４０およびステップＳ１４１が実行されてもよい。あるいは、ステップＳ１４０およびステップＳ１４２が実行された後、ステップＳ１４１およびステップＳ１４３が実行されてもよい。ステップＳ１４１およびステップＳ１４３は省略されてもよい。
ステップＳ１４３の後、パラメーター生成部５３は、第１のカメラ軌跡データおよび第２のカメラ軌跡データの関係に基づいて変換パラメーターを生成する（ステップＳ１４４）。パラメーター生成部５３は、以下の方法を使用することにより、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続するための位置姿勢変換パラメーターを生成する。以下の方法は、パイプの検査およびブレード（動翼）の検査に適用できる。
被写体がパイプである場合、パラメーター生成部５３は、以下の処理を実行する。パラメーター生成部５３は、第１のカメラ軌跡データが示すカメラの軌跡を近似する第１の直線を算出する。また、パラメーター生成部５３は、第２のカメラ軌跡データが示すカメラの軌跡を近似する第２の直線を算出する。パラメーター生成部５３は、第１の直線および第２の直線が互いに一致するように第１の３Ｄデータおよび第２の３Ｄデータの各々の位置および姿勢を補正するための位置姿勢変換パラメーターを生成する。
パラメーター生成部５３は、第１の３Ｄデータの全体と関連付けられている第１のカメラ軌跡データを使用することにより第１の直線を算出してもよい。パラメーター生成部５３は、第１の３Ｄデータのタイムスタンプに基づいて特定される接続領域と関連付けられている第１のカメラ軌跡データを使用することにより第１の直線を算出してもよい。
パラメーター生成部５３は、第２の３Ｄデータの全体と関連付けられている第２のカメラ軌跡データを使用することにより第２の直線を算出してもよい。パラメーター生成部５３は、第２の３Ｄデータのタイムスタンプに基づいて特定される接続領域と関連付けられている第２のカメラ軌跡データを使用することにより第２の直線を算出してもよい。
図４０は、第１の３Ｄデータおよび第２の３Ｄデータが互いに接続される前に表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ９１を表示部７１に表示する。画像ＩＭＧ９１は、領域Ｒ９１および領域Ｒ９２を含む。第１の３Ｄ形状３Ｄ９１の画像が領域Ｒ９１に表示される。第１の３Ｄ形状３Ｄ９１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ９２の画像が領域Ｒ９２に表示される。第２の３Ｄ形状３Ｄ９２は、第２の３Ｄデータによって示される。
第１のカメラ軌跡ＴＲ９１および第２のカメラ軌跡ＴＲ９２が図４０に示されている。第１のカメラ軌跡ＴＲ９１は、第１のカメラ軌跡データに含まれる２つ以上の位置を示す。第２のカメラ軌跡ＴＲ９２は、第２のカメラ軌跡データに含まれる２つ以上の位置を示す。表示制御部５６が第１のカメラ軌跡ＴＲ９１および第２のカメラ軌跡ＴＲ９２を表示部７１に表示する必要はない。
図４１は、第１の３Ｄデータおよび第２の３Ｄデータが互いに接続された後に表示部７１に表示された画像の例を示す。図４１において、後述するステップＳ１４５は考慮されていない。図４０に示す部分と同じ部分の説明を省略する。表示制御部５６は、画像ＩＭＧ９２を表示部７１に表示する。画像ＩＭＧ９２は、領域Ｒ９３を含む。第１の３Ｄ形状３Ｄ９１と第２の３Ｄ形状３Ｄ９２との画像が領域Ｒ９３に表示される。
第１のカメラ軌跡ＴＲ９１を近似する第１の直線と、第２のカメラ軌跡ＴＲ９２を近似する第２の直線とが互いに一致するように第１の３Ｄ形状３Ｄ９１および第２の３Ｄ形状３Ｄ９２が配置される。直線Ｌ９１は、第１の直線および第２の直線によって構成される。
被写体がブレード（動翼）である場合、パラメーター生成部５３は、以下の処理を実行する。パラメーター生成部５３は、第１のカメラ軌跡データが示すカメラの軌跡を近似する第１の曲線を算出する。また、パラメーター生成部５３は、第２のカメラ軌跡データが示すカメラの軌跡を近似する第２の曲線を算出する。第１の曲線および第２の曲線の各々は、円弧状である。パラメーター生成部５３は、第１の曲線および第２の曲線が、任意の直径を持つ円の周上で互いに接続されるように第１の３Ｄデータおよび第２の３Ｄデータの各々の位置および姿勢を補正するための位置姿勢変換パラメーターを生成する。
図４２は、第１の３Ｄデータおよび第２の３Ｄデータが互いに接続される前に表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ１０１を表示部７１に表示する。画像ＩＭＧ１０１は、領域Ｒ１０１および領域Ｒ１０２を含む。第１の３Ｄ形状３Ｄ１０１の画像が領域Ｒ１０１に表示される。第１の３Ｄ形状３Ｄ１０１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ１０２の画像が領域Ｒ１０２に表示される。第２の３Ｄ形状３Ｄ１０２は、第２の３Ｄデータによって示される。
第１のカメラ軌跡ＴＲ１０１および第２のカメラ軌跡ＴＲ１０２が図４２に示されている。第１のカメラ軌跡ＴＲ１０１は、第１のカメラ軌跡データに含まれる２つ以上の位置を示す。第２のカメラ軌跡ＴＲ１０２は、第２のカメラ軌跡データに含まれる２つ以上の位置を示す。表示制御部５６が第１のカメラ軌跡ＴＲ１０１および第２のカメラ軌跡ＴＲ１０２を表示部７１に表示する必要はない。
図４３は、第１の３Ｄデータおよび第２の３Ｄデータが互いに接続された後に表示部７１に表示された画像の例を示す。図４３において、後述するステップＳ１４５は考慮されていない。図４２に示す部分と同じ部分の説明を省略する。表示制御部５６は、画像ＩＭＧ１０２を表示部７１に表示する。画像ＩＭＧ１０２は、領域Ｒ１０３を含む。第１の３Ｄ形状３Ｄ１０１と第２の３Ｄ形状３Ｄ１０２との画像が領域Ｒ１０３に表示される。
第１のカメラ軌跡ＴＲ１０１を近似する第１の曲線と、第２のカメラ軌跡ＴＲ１０２を近似する第２の曲線とが１つの円周上に配置されるように第１の３Ｄ形状３Ｄ１０１および第２の３Ｄ形状３Ｄ１０２が配置される。円ＣＲ１０１は、第１の曲線および第２の曲線によって構成される。
パラメーター生成部５３は、上記の方法を使用することにより、被写体に応じた位置姿勢変換パラメーターを生成することができる。被写体がパイプである場合、第１の３Ｄデータおよび第２の３Ｄデータの各々の縮尺は補正されない。被写体がブレード（動翼）である場合、第１の３Ｄデータおよび第２の３Ｄデータの各々の縮尺が補正されてもよい。
ステップＳ１４４の後、欠落区間算出部６０は、第１のカメラ軌跡データおよび第２のカメラ軌跡データを使用することにより、接続領域における欠落区間を算出する（ステップＳ１４５）。欠落区間算出部６０は、以下の方法を使用することにより、欠落区間の位置を算出する。以下の方法は、パイプの検査およびブレード（動翼）の検査に適用できる。
被写体がパイプである場合、欠落区間算出部６０は、以下の処理を実行する。図４４は、欠落区間を算出する方法を示す。
２つ以上の点Ｐ１１１、２つ以上の点Ｐ１１２、および２つ以上の点Ｐ１１３の各点は、カメラが画像を生成したときのカメラの位置（３Ｄ座標）を示す。２つ以上の点Ｐ１１１は、第１のカメラ軌跡データを構成し、かつ第１の３Ｄデータ３Ｄ１１１と関連付けられている。２つ以上の点Ｐ１１２は、第２のカメラ軌跡データを構成し、かつ第２の３Ｄデータ３Ｄ１１２と関連付けられている。２つ以上の点Ｐ１１３は、３Ｄデータが存在しない領域におけるカメラの位置を示す。
２つ以上の点Ｐ１１３と対応する３Ｄデータが存在しないため、２つ以上の点Ｐ１１３と対応するカメラ軌跡データは存在しない。２つ以上の点Ｐ１１３は、欠落区間を構成する。
第１の３Ｄデータ３Ｄ１１１は、２枚以上の画像ＦＲ１１１を使用することにより生成される。第２の３Ｄデータ３Ｄ１１２は、２枚以上の画像ＦＲ１１２を使用することにより生成される。２枚以上の画像ＦＲ１１３は、第１の３Ｄデータ３Ｄ１１１および第２の３Ｄデータ３Ｄ１１２を生成するために使用されていない。２枚以上の画像ＦＲ１１１、２枚以上の画像ＦＲ１１２、および２枚以上の画像ＦＲ１１３は、１つの動画ファイルに含まれる。２枚以上の画像ＦＲ１１１、２枚以上の画像ＦＲ１１２、および２枚以上の画像ＦＲ１１３の各々は、フレーム番号を持つ。
２つ以上の点Ｐ１１１の各々は、画像ＦＲ１１１と関連付けられている。２つ以上の点Ｐ１１２の各々は、画像ＦＲ１１２と関連付けられている。２つ以上の点Ｐ１１３の各々は、画像ＦＲ１１３と関連付けられていない。
２枚以上の画像ＦＲ１１１の全てが第１の３Ｄデータ３Ｄ１１１を生成するために使用されるとは限らない。２枚以上の画像ＦＲ１１１に含まれる２枚以上のキーフレームが、第１の３Ｄデータ３Ｄ１１１を生成するために使用される。キーフレームの枚数は、２枚以上の画像ＦＲ１１１の全体の枚数以下である。同様に、２枚以上の画像ＦＲ１１２に含まれる２枚以上のキーフレームが、第２の３Ｄデータ３Ｄ１１２を生成するために使用される。
点Ｐ１１１の数と、画像ＦＲ１１１（キーフレーム）の枚数とは相関を持つ。点Ｐ１１２の数と、画像ＦＲ１１２（キーフレーム）の枚数とは相関を持つ。欠落区間算出部６０は、１枚の画像当たりの点Ｐ１１１および点Ｐ１１２の数を算出する。欠落区間算出部６０は、１枚の画像当たりの点Ｐ１１１および点Ｐ１１２の数および画像ＦＲ１１３の枚数を使用することにより、点Ｐ１１３の数を算出する。
欠落区間算出部６０は、点Ｐ１１１または点Ｐ１１２の間隔（３次元距離）を算出する。欠落区間算出部６０は、その間隔および点Ｐ１１３の数を使用することにより、欠落区間の長さＬＴ１１１を算出する。第１の３Ｄデータを生成するために使用された動画データが、第２の３Ｄデータを生成するために使用された動画データと異なる場合、上記の方法は使用されない。
被写体がブレード（動翼）である場合、欠落区間算出部６０は、以下の処理を実行する。図４５および図４６は、欠落区間を算出する方法を示す。
図４５は、カメラ軌跡データと３Ｄデータとの関係を示す。２つ以上の点Ｐ１２１、２つ以上の点Ｐ１２２、２つ以上の点Ｐ１２３、および２つ以上の点Ｐ１２４の各点は、カメラが画像を生成したときのカメラの位置（３Ｄ座標）を示す。２つ以上の点Ｐ１２１は、第１のカメラ軌跡データを構成し、かつ第１の３Ｄデータ３Ｄ１２１と関連付けられている。２つ以上の点Ｐ１２２は、第２のカメラ軌跡データを構成し、かつ第２の３Ｄデータ３Ｄ１２２と関連付けられている。２つ以上の点Ｐ１２３および２つ以上の点Ｐ１２４は、３Ｄデータが存在しない領域におけるカメラの位置を示す。
２つ以上の点Ｐ１２３と対応する３Ｄデータおよび２つ以上の点Ｐ１２４と対応する３Ｄデータが存在しないため、２つ以上の点Ｐ１２３と対応するカメラ軌跡データおよび２つ以上の点Ｐ１２４と対応するカメラ軌跡データは存在しない。２つ以上の点Ｐ１２３は、第１の欠落区間を構成する。２つ以上の点Ｐ１２４は、第２の欠落区間を構成する。
図４６は、動画ファイルを示す。第１の３Ｄデータ３Ｄ１２１は、２枚以上の画像ＦＲ１２１を使用することにより生成される。第２の３Ｄデータ３Ｄ１２２は、２枚以上の画像ＦＲ１２２を使用することにより生成される。２枚以上の画像ＦＲ１２３および２枚以上の画像ＦＲ１２４は、第１の３Ｄデータ３Ｄ１２１および第２の３Ｄデータ３Ｄ１２２を生成するために使用されていない。２枚以上の画像ＦＲ１２１、２枚以上の画像ＦＲ１２２、２枚以上の画像ＦＲ１２３、および２枚以上の画像ＦＲ１２４は、１つの動画ファイルに含まれる。２枚以上の画像ＦＲ１２１、２枚以上の画像ＦＲ１２２、２枚以上の画像ＦＲ１２３、および２枚以上の画像ＦＲ１２４の各々は、フレーム番号を持つ。
２つ以上の点Ｐ１２１の各々は、画像ＦＲ１２１と関連付けられている。２つ以上の点Ｐ１２２の各々は、画像ＦＲ１２２と関連付けられている。２つ以上の点Ｐ１２３の各々は、画像ＦＲ１２３と関連付けられていない。２つ以上の点Ｐ１２４の各々は、画像ＦＲ１２４と関連付けられていない。
２枚以上の画像ＦＲ１２１の全てが第１の３Ｄデータ３Ｄ１２１を生成するために使用されるとは限らない。２枚以上の画像ＦＲ１２１に含まれる２枚以上のキーフレームが、第１の３Ｄデータ３Ｄ１２１を生成するために使用される。キーフレームの枚数は、２枚以上の画像ＦＲ１２１の全体の枚数以下である。同様に、２枚以上の画像ＦＲ１２２に含まれる２枚以上のキーフレームが、第２の３Ｄデータ３Ｄ１２２を生成するために使用される。
点Ｐ１２１の数と、画像ＦＲ１２１（キーフレーム）の枚数とは相関を持つ。点Ｐ１２２の数と、画像ＦＲ１２２（キーフレーム）の枚数とは相関を持つ。欠落区間算出部６０は、１枚の画像当たりの点Ｐ１２１および点Ｐ１２２の数を算出する。欠落区間算出部６０は、１枚の画像当たりの点Ｐ１２１および点Ｐ１２２の数および画像ＦＲ１２３の枚数を使用することにより、点Ｐ１２３の数を算出する。
欠落区間算出部６０は、点Ｐ１２１または点Ｐ１２２の間隔（角度）を算出する。欠落区間算出部６０は、その間隔および点Ｐ１１３の数を使用することにより、第１の欠落区間の角度ＡＧ１２１を算出する。欠落区間算出部６０は、点Ｐ１２１の間隔および３Ｄデータ３Ｄ１２１のブレードの枚数を使用することにより、ブレードの間隔（角度）を算出してもよい。欠落区間算出部６０は、その間隔および第１の欠落区間の角度ＡＧ１２１を使用することにより、第１の欠落区間におけるブレードの枚数を算出してもよい。
欠落区間算出部６０は、ブレードの１周の角度（３６０度）から第１の角度、第２の角度、および角度ＡＧ１２１を減算することにより第２の欠落区間の角度ＡＧ１２２を算出する。第１の角度は、３Ｄデータ３Ｄ１２１のブレードが配置された範囲と対応する。第２の角度は、３Ｄデータ３Ｄ１２２のブレードが配置された範囲と対応する。欠落区間算出部６０は、ブレードの全体の枚数から３Ｄデータ３Ｄ１２１のブレードの枚数、３Ｄデータ３Ｄ１２２のブレードの枚数、および第１の欠落区間におけるブレードの枚数を減算することにより、第２の欠落区間におけるブレードの枚数を算出してもよい。第１の３Ｄデータを生成するために使用された動画データが、第２の３Ｄデータを生成するために使用された動画データと異なる場合、上記の方法は使用されない。
ステップＳ１４５の後、パラメーター生成部５３は、ステップＳ１０６において、欠落区間に基づいて変換パラメーターを生成する。このとき、パラメーター生成部５３は、第１の３Ｄデータおよび第２の３Ｄデータを欠落区間の長さまたは角度だけ互いに離すための変換パラメーターを生成する。
本発明の各態様は、次の変形例を含んでもよい。構造情報は、被写体を持つ物体の内部に挿入される挿入部２の先端２０が配置された２つ以上の位置を示す。
本発明の各態様は、次の変形例を含んでもよい。構造情報は、第１の位置情報（第１のカメラ軌跡データ）および第２の位置情報（第２のカメラ軌跡データ）を含む。第１の位置情報は、２枚以上の第１の画像を取得するために先端２０が配置された２つ以上の位置を示す。第２の位置情報は、２枚以上の第２の画像を取得するために先端２０が配置された２つ以上の位置を示す。パラメーター生成部５３は、生成ステップ（ステップＳ１４４）において、第１の位置情報および第２の位置情報に基づいて、第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換するための位置の変換パラメーターおよび姿勢の変換パラメーターを生成する。変換部５４は、変換ステップ（ステップＳ１０７）において、位置の変換パラメーターおよび姿勢の変換パラメーターを使用することにより第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。
本発明の各態様は、次の変形例を含んでもよい。第１の３Ｄデータは、２枚以上の第１の画像を使用することにより生成される。第２の３Ｄデータは、２枚以上の第２の画像を使用することにより生成される。２枚以上の第１の画像および２枚以上の第２の画像は、１つの動画ファイルを構成する。
本発明の各態様は、次の変形例を含んでもよい。欠落区間算出部６０は、算出ステップ（ステップＳ１４５）において、２枚以上の第１の画像の枚数と、２枚以上の第２の画像の枚数と、第３の画像の枚数とに基づいて欠落領域の位置を算出する。第３の画像は、動画ファイルにおいて時間的に２枚以上の第１の画像と２枚以上の第２の画像との間に配置されている。欠落領域は、被写体の第１の領域および被写体の第２の領域のいずれとも異なる被写体の領域である。第１の領域は、第１の３Ｄデータに含まれる３Ｄ座標と対応する。第２の領域は、第２の３Ｄデータに含まれる３Ｄ座標と対応する。変換部５４は、変換ステップ（ステップＳ１０７）において、欠落領域の位置に基づいて第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。
第５の実施形態において、画像表示装置５０ｃは、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続することができ、かつ広い範囲の３Ｄ形状の画像を表示することができる。また、画像表示装置５０ｃは、欠落区間を考慮することにより、被写体の本来の形状に近い３Ｄ形状の画像を表示することができる。
（第５の実施形態の変形例）
本発明の第５の実施形態の変形例を説明する。前述した第５の実施形態において、画像処理を通して生成されたカメラ軌跡データが使用される。一方、第５の実施形態の変形例において、センサーデータを使用することによりカメラの位置が算出され、その位置を示すデータがカメラ軌跡データの代わりに使用される。第５の実施形態の変形例において、図３８に示す画像表示装置５０ｃが使用される。
例えば、ＩＭＵまたは挿入長センサーが使用される。ＩＭＵは、挿入部２の先端２０に配置される。挿入長センサーは、図２２に示す挿入部２の基端部に配置され、または挿入部２を収納するドラムに配置される。挿入長センサーは、検査対象に挿入されている挿入部２の部分の長さ（挿入長）を検出する。
図４７を使用することにより、画像表示装置５０ｃが実行する処理について説明する。図４７は、画像表示装置５０ｃが実行する処理の手順を示す。図２に示す処理と同じ処理の説明を省略する。
ステップＳ１０３の後、データ取得部５２は、記憶部７３に接続し、かつ接続領域におけるセンサーデータを記憶部７３から取得する（ステップＳ１２０）。例えば、データ取得部５２は、第１の３Ｄデータの終端部の時刻から第２の３Ｄデータの始端部の時刻までの区間におけるセンサーデータを記憶部７３から取得する。ステップＳ１２０は図２９に示すステップＳ１２０と同じである。
ステップＳ１２０の後、パラメーター生成部５３は、ステップＳ１２０において取得されたセンサーデータに基づいて変換パラメーターを生成する（ステップＳ１５０）。
例えば、パラメーター生成部５３は、ＩＭＵのセンサーデータを使用することにより、挿入部２の先端２０の軌跡を算出する。その軌跡は、先端２０が配置された２つ以上の位置を示す。パラメーター生成部５３は、その軌跡に基づいて先端２０の動きを判断する。具体的には、パラメーター生成部５３は、先端２０が直進しているか否か、または先端２０が９０度曲がるか否かを判断する。また、欠落区間算出部６０は、第５の実施形態における方法を使用することにより、欠落区間の長さを算出する。
挿入長センサーのセンサーデータが使用される場合、パラメーター生成部５３は、先端２０が直進しているか否か、または先端２０が９０度曲がるか否かを判断することができない。欠落区間算出部６０は、挿入長センサーのセンサーデータを使用することにより、欠落区間の長さを算出することができる。第３の実施形態の第２の変形例における挿入部２の湾曲に関する操作の履歴情報が使用される場合、パラメーター生成部５３は、履歴情報に基づいて先端２０が直進しているか否か、または先端２０が９０度曲がるか否かを判断することができる。欠落区間算出部６０は、履歴情報に基づいて欠落区間の形状を算出することができる。
ガスタービンの静翼が検査されるとき、スコープの先端が静翼のディスクの円周上で移動する。この場合においても、パラメーター生成部５３は、挿入長センサーのセンサーデータを使用することにより、欠落区間の長さを算出することができる。
図４８は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ１３１を表示部７１に表示する。画像ＩＭＧ１３１は、領域Ｒ１３１を含む。第１の３Ｄ形状３Ｄ１３１と第２の３Ｄ形状３Ｄ１３２との画像が領域Ｒ１３１に表示される。第１の３Ｄ形状３Ｄ１３１は、第１の３Ｄデータによって示される。第２の３Ｄ形状３Ｄ１３２は、第２の３Ｄデータによって示される。
図４８に示す例では、パラメーター生成部５３は、先端２０が９０度曲がると判断する。そのため、パラメーター生成部５３は、第２の３Ｄ形状３Ｄ１３２の中心軸が第１の３Ｄ形状３Ｄ１３１の中心軸と直交するための位置姿勢変換パラメーターを生成する。第１の３Ｄ形状３Ｄ１３１および第２の３Ｄ形状３Ｄ１３２の間の角度ＡＧ１３１が９０度となるように第１の３Ｄ形状３Ｄ１３１および第２の３Ｄ形状３Ｄ１３２が配置される。
前述した第３の実施形態の第２の変形例において、パラメーター生成部５３は、構造情報を使用することにより変換パラメーターを生成する。一方、第５の実施形態の変形例において、パラメーター生成部５３は、構造情報を使用せずにセンサーデータを使用することにより変換パラメーターを生成する。
本発明の各態様は、次の変形例を含んでもよい。欠落区間算出部６０は、算出ステップ（ステップＳ１５０）において、欠落領域の形状を算出する。変換部５４は、変換ステップ（ステップＳ１０７）において、欠落領域の形状に基づいて第１の３Ｄ座標系および第２の３Ｄ座標系を共通座標系に変換する。
第５の実施形態の変形例において、画像表示装置５０ｃは、第１の３Ｄデータおよび第２の３Ｄデータを互いに接続することができ、かつ広い範囲の３Ｄ形状の画像を表示することができる。また、画像表示装置５０ｃは、欠落区間を考慮することにより３Ｄ形状の画像を表示することができる。
（第６の実施形態）
本発明の第６の実施形態を説明する。工業用の内視鏡装置は、ボイラー、ガスタービン、自動車エンジン、およびパイプ等の内部の異常（傷および腐食等）の検査に使用されている。検査者が実施した検査の内容の検証を可能とするために、一般的に、検査時に動画が記録される。
動画を使用することにより検査対象の３Ｄ形状を再構成する技術が知られている。その動画は、単眼光学系を通して取得された光学像に基づいて生成される。この技術を使用することにより、内視鏡装置は広い範囲の検査対象の３Ｄデータを取得することができる。
検査された領域と、検査されていない領域とをユーザーに把握させるために検査対象の３Ｄデータが使用されてもよい。検査された領域の３Ｄデータが生成され、検査されていない領域の３Ｄデータは生成されない。検査対象がユニークな形状を持つ場合、ユーザーは３Ｄデータの領域が実際の検査対象のどの領域と対応するのかを把握することができる。ユーザーは、３Ｄデータが示す３Ｄ形状を確認することにより、検査対象において検査された領域を把握することができる。
しかしながら、内視鏡検査における代表的な検査対象である熱交換チューブまたはガスタービン等にはユニークな構造物は少ない。そのため、３Ｄデータの領域が検査対象のどの領域と対応するのかをユーザーが把握することは困難である。ユーザーが３Ｄデータと検査対象の参照データとを視覚的に比較する場合においても、３Ｄデータの領域が参照データのどの領域と対応するのかをユーザーが把握することは困難である。
第６の実施形態は、被写体がユニークな形状を持たない場合であっても、検査された領域と、検査されていない領域とをユーザーに把握させることができる方法を提供する。例えば、被写体は、同じ形状が連続している構造物（例えば、パイプ）を有する。あるいは、被写体は、同じ形状を持つ複数の構造物（例えば、ブレード）を有する。
第６の実施形態は、第４の実施形態とほぼ同じである。しかしながら、第６の実施形態において、３Ｄデータは２つに分割されていない。以下では、被写体がブレードである例を説明する。３Ｄデータが示す３Ｄ形状は、円環に近い。
第６の実施形態において、図１に示す画像表示装置５０が使用される。図４９を使用することにより、画像表示装置５０が実行する処理について説明する。図４９は、画像表示装置５０が実行する処理の手順を示す。
データ取得部５２は、記憶部７３に接続し、かつ３Ｄデータを記憶部７３から取得する（ステップＳ２００）。ステップＳ２００の後、表示制御部５６は、３Ｄデータの画像を表示部７１に表示する（ステップＳ２０１）。前述した第１から第５の実施形態において、２種類の３Ｄデータが記憶部７３から取得され、かつ各３Ｄデータの画像が表示部７１に表示される。一方、第６の実施形態において、１種類の３Ｄデータが記憶部７３から取得され、かつその３Ｄデータの画像が表示部７１に表示される。
ステップＳ２０１の後、情報受付部５７は参照データを受け付ける（ステップＳ２０２）。例えば、通信部７２は、参照データを外部装置から受信する。情報受付部５７は、通信部７２によって受信された参照データを受け付ける。参照データは、構造情報を含む。同じ形状を持つ２枚以上のブレードの各々にＩＤが割り当てられている。参照データは、各ブレードのＩＤを含む。
参照データは、３Ｄ－ＣＡＤを使用することにより生成されたデータ、または任意の平面における２次元形状を示すデータ等である。参照データが構造情報を含み、かつＩＤが参照データと関連付けられている限り、参照データの形式は上記の例に限らない。
情報受付部５７が参照データを受け付ける前にＩＤがブレードに割り当てられる必要はない。情報受付部５７が参照データを受け付けた後、ユーザーがＩＤをブレードに割り当ててもよい。あるいは、ＩＤが自動でブレードに割り当てられてもよい。
ステップＳ２０２の後、表示制御部５６は、ステップＳ２０１において受け付けられた参照データの画像を表示部７１に表示する（ステップＳ２０３）。
ステップＳ２００からＳ２０３の順番は、図４９に示す順番に限らない。例えば、ステップＳ２０２およびステップＳ２０３が実行された後、ステップＳ２００およびステップＳ２０１が実行されてもよい。あるいは、ステップＳ２００およびステップＳ２０２が実行された後、ステップＳ２０１およびステップＳ２０３が実行されてもよい。ステップＳ２０１およびステップＳ２０３は省略されてもよい。
ステップＳ２０３の後、パラメーター生成部５３は、３Ｄデータの３Ｄ座標系および参照データの３Ｄ座標系を共通座標系に変換するための変換パラメーターを生成する（ステップＳ２０４）。
以下では、参照データの３Ｄ座標系が座標系の基準であり、かつ共通座標系として使用される例を説明する。以下の例では、パラメーター生成部５３は、３Ｄデータの３Ｄ座標系の位置および姿勢を参照データの３Ｄ座標系の位置および姿勢と一致させるための位置姿勢変換パラメーターを生成する。また、パラメーター生成部５３は、３Ｄデータの３Ｄ座標系の縮尺を参照データの３Ｄ座標系の縮尺と一致させるための縮尺変換パラメーターを生成する。しかしながら、変換パラメーターを生成する方法は、以下の例に限らない。３Ｄデータの３Ｄ座標系が共通座標系として使用されてもよい。３Ｄデータの３Ｄ座標系および参照データの３Ｄ座標系のいずれとも異なる３Ｄ座標系が共通座標系として使用されてもよい。
パラメーター生成部５３は、ステップＳ２０４において、図５０に示す処理を実行する。図５０は、パラメーター生成部５３が実行する処理の手順を示す。
パラメーター生成部５３は、３Ｄデータにおけるブレード領域を特定する（ステップＳ２０４ａ）。各ブレード領域は、１つのブレードを含む。
ステップＳ２０４ａの後、パラメーター生成部５３は、ステップＳ２０４ａにおいて特定されたブレード領域にＩＤを割り当てる（ステップＳ２０４ｂ）。
ステップＳ２０４ｂの後、パラメーター生成部５３は、参照データにおけるブレードのＩＤと３Ｄデータにおけるブレード領域のＩＤとが互いに一致するように３Ｄデータの位置、姿勢、および縮尺を補正するための変換パラメーターを算出する（ステップＳ２０４ｃ）。ステップＳ２０４ｃが実行されたとき、図５０に示す処理が終了する。
図５１は、表示部７１に表示された画像の例を示す。表示制御部５６は、画像ＩＭＧ１４１を表示部７１に表示する。画像ＩＭＧ１４１は、領域Ｒ１４１および領域Ｒ１４２を含む。第１の３Ｄ形状３Ｄ１４１の画像が領域Ｒ１４１に表示される。第１の３Ｄ形状３Ｄ１４１は、３Ｄデータによって示される。第２の３Ｄ形状３Ｄ１４２の画像が領域Ｒ１４２に表示される。第２の３Ｄ形状３Ｄ１４２は、参照データによって示される。
第１の３Ｄ形状３Ｄ１４１は、１１枚のブレードを含む。その１１枚のブレードのＩＤは、１から４および６から１２である。ＩＤが５であるブレードは欠落しており、３Ｄデータに含まれていない。
第２の３Ｄ形状３Ｄ１４２は、１２枚のブレードを含む。その１２枚のブレードのＩＤは、１から１２である。
ステップＳ２０４の後、変換部５４は、ステップＳ２０４において生成された変換パラメーターを使用することにより、３Ｄデータの３Ｄ座標系および参照データの３Ｄ座標系を共通座標系に変換する。つまり、変換部５４は、３Ｄデータおよび参照データの各々を共通座標系における３Ｄデータに変換する（ステップＳ２０５）。参照データの３Ｄ座標系が共通座標系として使用される場合、参照データの３Ｄ座標系の位置、姿勢、および縮尺は変更されず、３Ｄデータの３Ｄ座標系の位置、姿勢、および縮尺が変更される。
ステップＳ２０５の後、表示制御部５６は、３Ｄデータと参照データとの３Ｄ形状の画像を表示部７１に表示する。このとき、表示制御部５６は、ユーザーが３Ｄデータと対応する領域と、３Ｄデータと対応しない領域とを互いに区別することができるように画像の状態を制御する（ステップＳ２０６）。ステップＳ２０６が実行されたとき、図４９に示す処理が終了する。
図５２は、表示部７１に表示された画像の例を示す。図５１に示す部分と同じ部分の説明を省略する。表示制御部５６は、画像ＩＭＧ１４２を表示部７１に表示する。画像ＩＭＧ１４２は、領域Ｒ１４３を含む。３Ｄ形状３Ｄ１４１と３Ｄ形状３Ｄ１４２との画像が領域Ｒ１４３に表示される。
例えば、表示制御部５６は、ＩＤが１から４および６から１２であるブレードを第１の色で表示し、かつＩＤが５であるブレードを第１の色と異なる第２の色で表示する。ＩＤが５であるブレードは３Ｄデータに含まれていない。ユーザーは、参照データに含まれるブレードと、参照データに含まれないブレードとを確認することができる。つまり、ユーザーは、３Ｄデータと対応する参照データのブレードと、３Ｄデータと対応しない参照データのブレードとを確認することができる。
表示制御部５６は、３Ｄデータと対応する領域または３Ｄデータと対応しない領域を強調するための処理を実行してもよい。３Ｄデータと対応する領域と、３Ｄデータと対応しない領域との各々の位置が音声でユーザーに通知されてもよい。ユーザーが３Ｄデータと対応する領域と、３Ｄデータと対応しない領域とを互いに区別できる限り、３Ｄデータの領域をユーザーに通知する方法は上記の方法に限らない。
第６の実施形態における方法は、ガスタービンの燃焼室の検査またはガスタービンの熱交換器の検査に適用されてもよい。図５３は、熱交換器ＨＥ１５０の構造を示す。熱交換器ＨＥ１５０は、２本以上の熱交換チューブＨＴ１５０を有する。一般的に、参照データにおいて２本以上の熱交換チューブの各々にＩＤが割り当てられている。
各熱交換チューブの３ＤデータにＩＤが割り当てられてもよい。画像表示装置５０は、図４９および図５０に示す処理と同様の処理を実行してもよい。これにより、画像表示装置５０は、各熱交換チューブの３Ｄデータの位置、姿勢、および縮尺の各々を、参照データの熱交換チューブの位置、姿勢、および縮尺の各々と一致させてもよい。
第６の実施形態において、画像表示装置５０は、３Ｄデータおよび参照データを使用することにより、検査された領域と、検査されていない領域とをユーザーに把握させることができる。３Ｄデータのみが使用される場合と比較して、ユーザーは、検査された領域と、検査されていない領域とを簡単に区別することができる。そのため、検査者が作成する検査レポートの品質が向上する。
検査部門のマネージャーまたは検査の依頼元のメンバーが検査を承認する。一般的に、検査の承認者は、内視鏡検査にあまり詳しくない。承認者は、検査された領域と、検査されていない領域とを示すデータを確認することにより、検査が正しく実施されたか否かを客観的に判断することができる。そのため、検査の信頼性が保証される。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更が可能である。また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
１ 内視鏡装置
２ 挿入部
３ 本体部
４，７０ 操作部
５，７１ 表示部
８ 内視鏡ユニット
９ ＣＣＵ
１０ 制御装置
１２ 映像信号処理回路
１３ ＲＯＭ
１４ ＲＡＭ
１５ カードインタフェース
１６ 外部機器インタフェース
１７ 制御インタフェース
１８ ＣＰＵ
２０ 先端
２８ 撮像素子
５０，５０ａ，５０ｂ，５０ｃ 画像表示装置
５１，１８０ 制御部
５２，１８１ データ取得部
５３，１８２ パラメーター生成部
５４，１８３ 変換部
５５，１８４，１８８ データ生成部
５６，１８５ 表示制御部
５７，１８６ 情報受付部
５８，１８７ 構造推定部
５９ 調整部
６０ 欠落区間算出部
７２ 通信部
７３ 記憶部
７４ センサー
１８８０ 画像取得部
１８８１ 条件受付部
１８８２ データ算出部

Claims (22)

  1. 取得部が、被写体の第１の３次元データおよび前記被写体の第２の３次元データを記憶する記録媒体に接続し、かつ前記第１の３次元データを前記記録媒体から取得し、前記第１の３次元データは、第１の３次元座標系において定義された３次元座標を含み、前記第２の３次元データは、前記第１の３次元座標系と異なる第２の３次元座標系において定義された３次元座標を含み、前記第１の３次元データと対応する前記被写体の領域の少なくとも一部と、前記第２の３次元データと対応する前記被写体の領域の少なくとも一部とは互いに異なる第１の取得ステップと、
    前記取得部が前記記録媒体に接続し、かつ前記第２の３次元データを前記記録媒体から取得する第２の取得ステップと、
    変換部が、前記被写体の幾何的な構造に関する構造情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を３次元の共通座標系に変換し、前記構造情報は、前記第１の３次元データおよび前記第２の３次元データのいずれも使用せずに生成される変換ステップと、
    表示制御部が、前記共通座標系における前記第１の３次元データの画像と前記共通座標系における前記第２の３次元データの画像とをディスプレイに表示する表示ステップと、
    を有する３次元画像表示方法。
  2. 前記第１の３次元データは、互いに異なる２つ以上の視点において取得された２枚以上の第１の画像を使用することにより生成され、
    前記第２の３次元データは、互いに異なる２つ以上の視点において取得された２枚以上の第２の画像を使用することにより生成され、
    前記２枚以上の第１の画像の少なくとも１枚と、前記２枚以上の第２の画像の少なくとも１枚とは、互いに異なる
    請求項１に記載の３次元画像表示方法。
  3. 前記２枚以上の第１の画像の各々と、前記２枚以上の第２の画像の各々とは時間情報を含み、
    前記変換部は、前記変換ステップにおいて、前記時間情報に基づいて前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する
    請求項２に記載の３次元画像表示方法。
  4. 前記２枚以上の第１の画像は、第１の動画に含まれる２枚以上の画像の少なくとも一部であり、
    前記２枚以上の第２の画像は、前記第１の動画と同じまたは異なる第２の動画に含まれる２枚以上の画像の少なくとも一部である
    請求項２に記載の３次元画像表示方法。
  5. 前記２枚以上の第１の画像および前記２枚以上の第２の画像は、１つの動画ファイルを構成する
    請求項４に記載の３次元画像表示方法。
  6. 算出部が、前記２枚以上の第１の画像の枚数と、前記２枚以上の第２の画像の枚数と、第３の画像の枚数とに基づいて欠落領域の位置を算出し、前記第３の画像は、前記動画ファイルにおいて時間的に前記２枚以上の第１の画像と前記２枚以上の第２の画像との間に配置され、前記欠落領域は、前記被写体の第１の領域および前記被写体の第２の領域のいずれとも異なる前記被写体の領域であり、前記第１の領域は、前記第１の３次元データに含まれる前記３次元座標と対応し、前記第２の領域は、前記第２の３次元データに含まれる前記３次元座標と対応する算出ステップをさらに有し、
    前記変換部は、前記変換ステップにおいて、前記欠落領域の前記位置に基づいて前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する
    請求項５に記載の３次元画像表示方法。
  7. 前記算出部は、前記算出ステップにおいて、前記欠落領域の形状を算出し、
    前記変換部は、前記変換ステップにおいて、前記欠落領域の前記形状に基づいて前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する
    請求項６に記載の３次元画像表示方法。
  8. 前記構造情報は、前記被写体を持つ物体の内部に挿入される挿入部の先端が配置された２つ以上の位置を示す
    請求項２に記載の３次元画像表示方法。
  9. 前記構造情報は、第１の位置情報および第２の位置情報を含み、前記第１の位置情報は、前記２枚以上の第１の画像を取得するために前記先端が配置された２つ以上の位置を示し、前記第２の位置情報は、前記２枚以上の第２の画像を取得するために前記先端が配置された２つ以上の位置を示し、
    前記３次元画像表示方法は、パラメーター生成部が前記第１の位置情報および前記第２の位置情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換するための位置の変換パラメーターおよび姿勢の変換パラメーターを生成する生成ステップをさらに有し、
    前記変換部は、前記変換ステップにおいて、前記位置の前記変換パラメーターおよび前記姿勢の前記変換パラメーターを使用することにより前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する
    請求項８に記載の３次元画像表示方法。
  10. 前記変換部は、前記変換ステップにおいて、前記被写体の第１の領域および前記被写体の第２の領域が互いに接続されるように前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換し、前記第１の領域は、前記第１の３次元データに含まれる前記３次元座標と対応し、前記第２の領域は、前記第２の３次元データに含まれる前記３次元座標と対応し、
    前記表示制御部は、前記表示ステップにおいて、前記第１の領域および前記第２の領域の位置を示す情報を前記ディスプレイに表示する
    請求項２に記載の３次元画像表示方法。
  11. 前記表示制御部は、前記表示ステップにおいて、前記第１の領域および前記第２の領域の接続の精度を示す情報を前記ディスプレイに表示する
    請求項１０に記載の３次元画像表示方法。
  12. 前記２枚以上の第１の画像および前記２枚以上の第２の画像は、内視鏡によって生成される
    請求項２に記載の３次元画像表示方法。
  13. 前記２枚以上の第１の画像および前記２枚以上の第２の画像は、単眼光学系を通して取得された前記被写体の光学像に基づいて生成される
    請求項２に記載の３次元画像表示方法。
  14. 前記第１の３次元データが示す３次元形状の縮尺と、前記第２の３次元データが示す３次元形状の縮尺との少なくとも１つを補正するための縮尺の変換パラメーターをパラメーター生成部が生成する生成ステップをさらに有し、
    前記変換部は、前記変換ステップにおいて、前記縮尺の前記変換パラメーターを使用することにより前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する
    請求項２に記載の３次元画像表示方法。
  15. 前記構造情報は、前記幾何的な構造の設計値を含む設計データである、または前記第１の３次元データおよび前記第２の３次元データのいずれとも異なる３次元データである
    請求項２に記載の３次元画像表示方法。
  16. 前記構造情報は、センサーから出力されたデータに基づいて生成される
    請求項２に記載の３次元画像表示方法。
  17. 前記２枚以上の第１の画像および前記２枚以上の第２の画像は、挿入部によって取得された前記被写体の光学像に基づいて生成され、前記挿入部は、前記被写体を持つ物体の内部に挿入され、かつ湾曲可能であり、
    前記構造情報は、前記挿入部の湾曲方向および湾曲量を示す情報に基づいて生成される
    請求項２に記載の３次元画像表示方法。
  18. パラメーター生成部が前記構造情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換するための位置の変換パラメーターおよび姿勢の変換パラメーターを生成する生成ステップをさらに有し、
    前記変換部は、前記変換ステップにおいて、前記位置の前記変換パラメーターおよび前記姿勢の前記変換パラメーターを使用することにより前記第１の３次元座標系および前記第２の３次元座標系を前記共通座標系に変換する
    請求項２に記載の３次元画像表示方法。
  19. 調整部が、前記共通座標系における前記第１の３次元データおよび前記第２の３次元データの少なくとも一方の位置および姿勢の少なくとも一方を調整する調整ステップをさらに有する
    請求項２に記載の３次元画像表示方法。
  20. 前記被写体は２つ以上の物体を含み、
    前記構造情報は、前記２つ以上の物体が配置された位置を示す
    請求項２に記載の３次元画像表示方法。
  21. 被写体の第１の３次元データおよび前記被写体の第２の３次元データを記憶する記録媒体に接続し、かつ前記第１の３次元データおよび前記第２の３次元データを前記記録媒体から取得し、前記第１の３次元データは、第１の３次元座標系において定義された３次元座標を含み、前記第２の３次元データは、前記第１の３次元座標系と異なる第２の３次元座標系において定義された３次元座標を含み、前記第１の３次元データと対応する前記被写体の領域の少なくとも一部と、前記第２の３次元データと対応する前記被写体の領域の少なくとも一部とは互いに異なる取得部と、
    前記被写体の幾何的な構造に関する構造情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を３次元の共通座標系に変換し、前記構造情報は、前記第１の３次元データおよび前記第２の３次元データのいずれも使用せずに生成される変換部と、
    前記共通座標系における前記第１の３次元データの画像と前記共通座標系における前記第２の３次元データの画像とをディスプレイに表示する表示制御部と、
    を有する３次元画像表示装置。
  22. 被写体の第１の３次元データおよび前記被写体の第２の３次元データを記憶する記録媒体に接続し、かつ前記第１の３次元データを前記記録媒体から取得し、前記第１の３次元データは、第１の３次元座標系において定義された３次元座標を含み、前記第２の３次元データは、前記第１の３次元座標系と異なる第２の３次元座標系において定義された３次元座標を含み、前記第１の３次元データと対応する前記被写体の領域の少なくとも一部と、前記第２の３次元データと対応する前記被写体の領域の少なくとも一部とは互いに異なる第１の取得ステップと、
    前記記録媒体に接続し、かつ前記第２の３次元データを前記記録媒体から取得する第２の取得ステップと、
    前記被写体の幾何的な構造に関する構造情報に基づいて、前記第１の３次元座標系および前記第２の３次元座標系を３次元の共通座標系に変換し、前記構造情報は、前記第１の３次元データおよび前記第２の３次元データのいずれも使用せずに生成される変換ステップと、
    前記共通座標系における前記第１の３次元データの画像と前記共通座標系における前記第２の３次元データの画像とをディスプレイに表示する表示ステップと、
    をコンピュータに実行させるためのプログラム。
JP2021092249A 2021-06-01 2021-06-01 ３次元画像表示方法、３次元画像表示装置、およびプログラム Pending JP2022184415A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021092249A JP2022184415A (ja) 2021-06-01 2021-06-01 ３次元画像表示方法、３次元画像表示装置、およびプログラム
US17/741,911 US11856176B2 (en) 2021-06-01 2022-05-11 Three-dimensional image display method, three-dimensional image display device, and recording medium
US18/514,216 US20240089421A1 (en) 2021-06-01 2023-11-20 Three-dimensional image display method, three-dimensional image display device, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021092249A JP2022184415A (ja) 2021-06-01 2021-06-01 ３次元画像表示方法、３次元画像表示装置、およびプログラム

Publications (1)

Publication Number Publication Date
JP2022184415A true JP2022184415A (ja) 2022-12-13

Family

ID=84194506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021092249A Pending JP2022184415A (ja) 2021-06-01 2021-06-01 ３次元画像表示方法、３次元画像表示装置、およびプログラム

Country Status (2)

Country Link
US (2) US11856176B2 (ja)
JP (1) JP2022184415A (ja)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020094134A1 (en) * 2001-01-12 2002-07-18 Nafis Christopher Allen Method and system for placing three-dimensional models
US20050096515A1 (en) * 2003-10-23 2005-05-05 Geng Z. J. Three-dimensional surface image guided adaptive therapy system
JP5561458B2 (ja) * 2008-03-18 2014-07-30 国立大学法人浜松医科大学 手術支援システム
JP2010066595A (ja) 2008-09-11 2010-03-25 Toyota Motor Corp 環境地図生成装置及び環境地図生成方法
US9129435B2 (en) 2012-12-04 2015-09-08 Fuji Xerox Co., Ltd. Method for creating 3-D models by stitching multiple partial 3-D models
US10507087B2 (en) * 2016-07-27 2019-12-17 Align Technology, Inc. Methods and apparatuses for forming a three-dimensional volumetric model of a subject's teeth
GB2559157A (en) * 2017-01-27 2018-08-01 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets
EP3355214A1 (de) * 2017-01-27 2018-08-01 Carl Zeiss Vision International GmbH Verfahren, recheneinrichtung und computerprogramm zum bereitstellen eines fassungsrandmodells
CN110537076B (zh) * 2017-04-19 2021-09-03 瑞尼斯豪公司 支承布置
US20190050998A1 (en) * 2017-08-10 2019-02-14 Richard Kirby Scene Flow Camera
CN108279670B (zh) 2017-12-29 2021-12-10 百度在线网络技术（北京）有限公司 用于调整点云数据采集轨迹的方法、设备以及计算机可读介质
US10791268B2 (en) * 2018-02-07 2020-09-29 Structionsite Inc. Construction photograph integration with 3D model images
WO2020102665A1 (en) * 2018-11-16 2020-05-22 Lang Philipp K Augmented reality guidance for surgical procedures with adjustment of scale, convergence and focal plane or focal point of virtual data
US10565737B1 (en) * 2019-07-09 2020-02-18 Mujin, Inc. Method and system for performing automatic camera calibration for a scanning system

Also Published As

Publication number Publication date
US20240089421A1 (en) 2024-03-14
US20220385874A1 (en) 2022-12-01
US11856176B2 (en) 2023-12-26

Similar Documents

Publication Publication Date Title
US8485038B2 (en) System and method for augmented reality inspection and data visualization
US11536670B2 (en) System and method for engine inspection
JP3771988B2 (ja) 計測内視鏡装置
US10902664B2 (en) System and method for detecting damage using two-dimensional imagery and three-dimensional model
JP6405320B2 (ja) 物的資産の改良された自動外観検査のための方法およびシステム
EP2030558B1 (en) Three-dimensional image forming device, three-dimensional image forming method and program
US10964044B2 (en) Method of operating measurement device, measurement device, and recording medium
CN111879235A (zh) 弯管的三维扫描检测方法、三维扫描系统和计算机设备
US11941749B2 (en) Image display method, display control device, and recording medium for displaying shape image of subject and coordinates estimated from two-dimensional coordinates in reference image projected thereon
JP5388921B2 (ja) ３次元距離計測装置及びその方法
CN113302650A (zh) 用于检查难以触及的部件的方法和设备
JP2008292405A (ja) 検査装置および検査プログラム
JP5242335B2 (ja) 画像処理装置、内視鏡装置、内視鏡システム、およびプログラム
US11650407B2 (en) Method of operating observation device, observation device, and recording medium
JP5307407B2 (ja) 内視鏡装置およびプログラム
JP2022184415A (ja) ３次元画像表示方法、３次元画像表示装置、およびプログラム
JP2004302756A (ja) Ｃａｄ施工図検図方法及びその装置
JP2005030961A (ja) コンクリート点検システムのハイビジョン画像処理方法
JP6081209B2 (ja) 内視鏡装置およびプログラム
US11301990B2 (en) Borescope inspection method and device
US20230306584A1 (en) Three-dimensional data generation method, three-dimensional data generation device, and recording medium
Gorevoy et al. Applying a ray tracing model of an optoelectronic system to improve the accuracy of endoscopic measurements
JP2007299219A (ja) 撮影画像におけるゆがみの較正方法
JP7438001B2 (ja) 計測装置、計測システム、計測方法及びプログラム
JP3728535B2 (ja) 管内欠陥寸法測定システム及び方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20220629

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240126