JP2020126208A5 - - Google Patents

Description

本発明は、被写体の２次元画像である第１の画像を取得する画像取得ステップと、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、をコンピュータに実行させるためのプログラムである。
本発明は、画像取得部が、被写体の２次元画像である第１の画像を取得する画像取得ステップと、座標算出部が、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、表示制御部が、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、受け付け部が少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、基準図形算出部が、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、視点算出部が、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、画像生成部が、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の画像である画像生成ステップと、前記表示制御部が、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、を有することを特徴とする３次元画像表示方法である。

Claims (21)

1. 画像取得部が、被写体の２次元画像である第１の画像を取得する画像取得ステップと、
   座標算出部が、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、
   表示制御部が、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、
   受け付け部が少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、
   基準図形算出部が、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、
   視点算出部が、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、
   画像生成部が、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、
   前記表示制御部が、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、
   を有することを特徴とする３次元画像表示方法。
2. 前記基準図形は、直線、線分、および平面の１つであり、
   前記第２の方向は、直線軸に平行であり、
   前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行である
   ことを特徴とする請求項１に記載の３次元画像表示方法。
3. 前記基準図形は、前記直線および前記線分の１つであり、
   前記直線軸は、前記基準図形に垂直である
   ことを特徴とする請求項２に記載の３次元画像表示方法。
4. 前記基準図形は、前記直線および前記線分の１つであり、
   前記直線軸は、前記基準図形に平行である
   ことを特徴とする請求項２に記載の３次元画像表示方法。
5. 前記基準図形は、前記平面であり、
   前記直線軸は、前記基準図形に平行である
   ことを特徴とする請求項２に記載の３次元画像表示方法。
6. 前記基準図形は、前記直線および前記線分の１つであり、
   前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、
   前記近似平面は、前記被写体の表面を近似する平面であり、
   前記少なくとも３つの点の各々は前記複数の点の１つであり、
   前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、
   前記直線軸は、前記近似平面に平行である
   ことを特徴とする請求項２に記載の３次元画像表示方法。
7. 前記基準図形は、前記直線および前記線分の１つであり、
   前記視点算出部は、少なくとも３つの点の３次元座標に基づいて、近似平面を算出し、
   前記近似平面は、前記被写体の表面を近似する平面であり、
   前記少なくとも３つの点の各々は前記複数の点の１つであり、
   前記少なくとも３つの点の各々は、前記基準図形の近傍にあり、または前記基準図形上にあり、
   前記直線軸は、前記近似平面に垂直である
   ことを特徴とする請求項２に記載の３次元画像表示方法。
8. 前記第２の方向は、第１の領域から第２の領域へ進む方向であり、
   前記直線軸は、前記第１の領域および前記第２の領域を通り、
   前記第１の領域の体積と、前記第２の領域の体積とは同じであり、
   前記第１の領域に含まれる前記被写体の体積は、前記第２の領域に含まれる前記被写体の体積よりも少ない
   ことを特徴とする請求項２に記載の３次元画像表示方法。
9. 前記視点算出部はさらに、前記視点算出ステップにおいて、前記基準図形に基づいて、第３の方向および第３の視点を算出し、前記第３の方向は、前記第１の方向および前記第２の方向のいずれとも異なり、前記第３の視点は、前記第１の視点および前記第２の視点のいずれとも異なり、
   前記画像生成部はさらに、前記画像生成ステップにおいて、前記複数の点の前記３次元座標に基づいて、第４の画像を生成し、前記第４の画像は、前記第３の視点から前記第３の方向に見た前記被写体の３次元画像であり、
   前記表示制御部はさらに、前記第２の表示ステップにおいて、前記基準図形の位置を示す情報が重畳された前記第４の画像を前記ディスプレイに表示する
   ことを特徴とする請求項２に記載の３次元画像表示方法。
10. 前記被写体を基準にした前記第２の方向および前記第２の視点が変更された場合、前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第２の方向および変更された前記第２の視点に基づいて、前記第２の画像を再度生成し、
    前記被写体を基準にした前記第２の視点が変更されたとき、前記第２の視点と前記第３の視点との相対関係を保つように、前記被写体を基準にした前記第３の視点は変更され、
    前記被写体を基準にした前記第２の方向が変更されたとき、前記第２の方向と前記第３の方向との相対関係を保つように、前記被写体を基準にした前記第３の方向は変更され、
    前記画像生成部はさらに、前記画像生成ステップにおいて、変更された前記第３の方向および変更された前記第３の視点に基づいて、前記第４の画像を再度生成し、
    前記表示制御部はさらに、前記第２の表示ステップにおいて、再度生成された前記第２の画像と、再度生成された前記第４の画像とを前記ディスプレイに表示する
    ことを特徴とする請求項９に記載の３次元画像表示方法。
11. 前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像の少なくとも一部が前記第２の画像と重なるように前記第３の画像を前記ディスプレイに表示する
    ことを特徴とする請求項２に記載の３次元画像表示方法。
12. 前記第１の表示ステップの後、前記表示制御部は、前記第２の表示ステップにおいて、前記第３の画像が前記第２の画像と重ならないように前記第３の画像を前記ディスプレイに表示する
    ことを特徴とする請求項２に記載の３次元画像表示方法。
13. 前記表示制御部が、前記第２の視点および前記第２の方向を示す情報を前記ディスプレイに表示する第３の表示ステップをさらに有する
    ことを特徴とする請求項２に記載の３次元画像表示方法。
14. 前記基準図形は、前記直線および前記線分の１つであり、
    前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面上にある
    ことを特徴とする請求項２に記載の３次元画像表示方法。
15. 前記基準図形は、前記直線および前記線分の１つであり、
    前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点は、前記基準図形を通り前記直線軸に垂直な平面よりも前記第２の方向側にある
    ことを特徴とする請求項２に記載の３次元画像表示方法。
16. 前記基準図形は、前記直線および前記線分の１つであり、
    前記画像生成部は、前記画像生成ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記第３の画像を生成し、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点は、第１の平面と第２の平面とに挟まれた領域にあり、
    前記第１の平面は、前記基準図形を通り前記直線軸に垂直であり、
    前記第２の平面は、前記直線軸に垂直であり、かつ前記第１の平面よりも前記第２の方向側にある
    ことを特徴とする請求項２に記載の３次元画像表示方法。
17. 前記基準図形は、前記平面であり、
    前記表示制御部は、前記第２の表示ステップにおいて、前記複数の点の各々から前記平面までの距離の統計量を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する
    ことを特徴とする請求項２に記載の３次元画像表示方法。
18. 前記基準図形算出部は、前記基準図形算出ステップにおいて、少なくとも３つの点の３次元座標に基づいて、前記基準図形を算出し、
    前記基準図形は、前記被写体の表面を近似する平面であり、
    前記少なくとも３つの点の各々は前記複数の点の１つであり、
    前記少なくとも３つの点は、前記少なくとも１つの基準点に基づいて決定され、
    前記第２の方向は、直線軸に平行であり、
    前記直線軸は、前記基準図形に垂直であり、または前記基準図形に平行である
    ことを特徴とする請求項１に記載の３次元画像表示方法。
19. 被写体の２次元画像である第１の画像を取得する画像取得部と、
    前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出部と、
    第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである表示制御部と、
    少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである受け付け部と、
    前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出部と、
    前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出部と、
    前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成部と、
    を有し、
    前記表示制御部はさらに、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する
    ことを特徴とする３次元画像表示装置。
20. 被写体の２次元画像である第１の画像を取得する画像取得ステップと、
    前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、
    第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、
    少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、
    前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、
    前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、
    前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の３次元画像である画像生成ステップと、
    前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、
    をコンピュータに実行させるためのプログラム。
21. 画像取得部が、被写体の２次元画像である第１の画像を取得する画像取得ステップと、
    座標算出部が、前記第１の画像に基づいて前記被写体上の複数の点の３次元座標を算出する座標算出ステップと、
    表示制御部が、第２の画像をディスプレイに表示し、前記第２の画像は、第１の視点から第１の方向に見た前記被写体の画像であり、前記第２の画像は、前記第１の画像と、前記複数の点の前記３次元座標に基づいて生成された前記被写体の３次元画像との１つである第１の表示ステップと、
    受け付け部が少なくとも１つの基準点の入力を受け付け、前記少なくとも１つの基準点の各々は、前記第２の画像に含まれる領域上にあり、かつ前記複数の点の１つである入力ステップと、
    基準図形算出部が、前記少なくとも１つの基準点に基づいて設定された少なくとも２つの点の３次元座標に基づいて、基準図形を算出し、前記少なくとも２つの点の各々は前記複数の点の１つである基準図形算出ステップと、
    視点算出部が、前記基準図形に基づいて、前記第１の方向と異なる第２の方向と、前記第１の視点と異なる第２の視点とを算出する視点算出ステップと、
    画像生成部が、前記複数の点の前記３次元座標に基づいて、第３の画像を生成し、前記第３の画像は、前記第２の視点から前記第２の方向に見た前記被写体の画像である画像生成ステップと、
    前記表示制御部が、前記基準図形の位置を示す情報が重畳された前記第３の画像を前記ディスプレイに表示する第２の表示ステップと、
    を有することを特徴とする３次元画像表示方法。