JP2002501349A - ３−ｄ視覚画像を作成するために相対的なカメラ向き位置を決定する方法 - Google Patents

３−ｄ視覚画像を作成するために相対的なカメラ向き位置を決定する方法

Info

Publication number
JP2002501349A
JP2002501349A JP2000528106A JP2000528106A JP2002501349A JP 2002501349 A JP2002501349 A JP 2002501349A JP 2000528106 A JP2000528106 A JP 2000528106A JP 2000528106 A JP2000528106 A JP 2000528106A JP 2002501349 A JP2002501349 A JP 2002501349A
Authority
JP
Japan
Prior art keywords
image
location
camera
recording
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000528106A
Other languages
English (en)
Other versions
JP4340005B2 (ja
Inventor
サンダール，ロバート・シイ
ダントン，ランディ・アール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2002501349A publication Critical patent/JP2002501349A/ja
Application granted granted Critical
Publication of JP4340005B2 publication Critical patent/JP4340005B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/02—Stereoscopic photography by sequential recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Gyroscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 三次元画像を生成するためのシステムを記載する。このシステムはカメラ（１０４）を含み、このカメラが第１の場所（１１２）の第１の画像および第２の場所（１３４）の第２の画像を記録する。動作検出器（１３４）が、カメラの動作を検出して、第１の場所に対応するカメラの位置、および第２の場所に対応する第２の位置を計算する。プロセッサが、第１および第２の画像と第１および第２の場所を使用して、三次元画像を生成する。

Description

【発明の詳細な説明】
【０００１】 （１）発明の分野 本発明は、一般に、三次元画像を生成することに関する。より詳細には、本発
明は、動作検出器または加速度計を使用してカメラの動きおよび位置を決定し、
この情報を、カメラが撮影した多数の画像と結合して、３−Ｄ画像を生成するこ
とに関する。
【０００２】 （２）関連技術 今日の写真および撮像システムは、主として二次元画像の再現に使用するよう
に設計されている。二次元画像では、ただ１つのパースペクティブが必要である
。このパースペクティブは、カメラを固定位置に配置して、画像を写真フィルム
または電子センサに記録することによって生成することができる。しかし、人間
の視覚は立体的に見えるものである。したがって、人間の脳は、片目毎に到達す
る２つの各画像を結合する。脳はこの２つの画像を結合して、追加の次元である
奥行を生成し、三次元（３−Ｄ）画像を作成する。近年、カメラおよび電子セン
サは、２つの画像を撮影してそれらを再び結合し、奥行成分のある三次元画像を
再生しようとするように設計されてきた。
【０００３】 従来の三次元撮像システムは、２台のカメラを利用した。この２台のカメラの
関係が固定されることが好ましかった。したがって、２つのパースペクティブ（
各カメラから１つずつのパースペクティブ）が再び結合されたとき、この２つの
パースペクティブに関する情報は、２台のカメラの間の関係が固定されていたの
で既知であった。２台のカメラを使用する際の問題は、１台のカメラ構成よりも
高価になることである。２台のカメラには通常２組のレンズ、２台のカメラ本体
、および２組のフィルムが必要である。
【０００４】 ３−Ｄ画像を生成するための代替システムは、１台のカメラ本体に２組のレン
ズを実装することであった。これらのシステムは、なお標準の二次元カメラより
も高価である。これは、多数の画像を作成するために多数のレンズ・システムが
必要であるからである。各レンズ・システムは、撮影中の被写体の異なる斜視図
に対応する画像を生成する。さらに、２つのレンズ・システムを単一のカメラ本
体に配置するには、レンズ・システムを互いにきわめて近接して配置する必要が
ある。２つのレンズ・システムをきわめて近接させると、その奥行知覚が、レン
ズ・システムをさらに離して配置できた場合に得られる奥行知覚よりも劣る結果
となる。
【０００５】 ３−Ｄ画像を生成する代替実施形態は、鏡およびプリズムを使用することで可
能である。しかし、このようなシステムはかさばるものであり、複雑である。し
たがって、単一の３−Ｄ画像に結合するための多数の画像を、迅速かつ容易に生
成することができるシステムを設計することが望ましい。このようなシステムを
、以下の応用例において説明する。
【０００６】 （発明の簡単な概要） 三次元画像を生成するためのシステムについて説明する。このシステムは撮像
装置を含み、この装置は第１の画像を第１の場所で、第２の画像を第２の場所で
記録するように構成される。動作センサが、撮像装置の第１の場所から第２の場
所までの移動を検出する。プロセッサが、第１の画像、第２の画像、および動作
センサの出力から三次元画像を生成するように構成される。
【０００７】 （発明の詳細な説明） 以下の説明では、単一のレンズ・システムを有する単一のカメラを使用して三
次元画像を生成するシステムについて説明する。このカメラは１組の動作センサ
、好ましくはマイクロ・マシン加工シリコン（「ＭＥＭＳ」）センサを含む。こ
のセンサはカメラの直線と回転の加速度または移動を検出することによって、カ
メラの変位を計算して、カメラの位置を決定することができる。あるいは、全世
界測位（「ＧＰＳ」）システムを使用して、場所を決定することができる。また
使用できる別のタイプの動作センサには、振動ＭＥＭセンサまたは市販のレーザ
・ジャイロもある。位置情報、および単一のレンズ・システムで撮影した少なく
とも２つの画像を使用して、カメラまたは外部プロセッサが、被写体を表現する
三次元画像を再現することができる。
【０００８】 添付の説明では、ある説明を提供して本発明の理解を容易にする。たとえば、
本明細書では、マイクロ・マシン加工加速度計など、あるＭＥＭＳセンサのタイ
プを使用して本発明を説明する。しかし、他の位置センサまたは動作検出器が使
用できることを理解されたい。特に、ＧＰＳシステムおよび他のタイプのＭＥＭ
Ｓが適切であることがある。実際に使用するセンサは、センサの費用、センサが
十分な精度を有するデータを提供できるかどうか、センサの電力消費量、および
センサのサイズに応じて決まる。含まれている詳細は、本発明の理解を容易にす
るために提供するものであり、本発明の範囲を限定するものと解釈すべきではな
い。
【０００９】 全体のシステムの動作を図１に示す。図１では、カメラ１０４を使用して被写
体１０８の三次元画像を生成する。カメラは、第１の画像を撮影するときに初期
位置１１２にある。第１の画像を撮影した後、カメラは第２の位置１１６へ移動
される。この移動は、矢印１２０で示す横並進を含み、矢印１２４で示す回転動
作も含むことがある。一実施形態では、カメラ内の動作センサ１２８が、カメラ
の横並進および回転を検出する。一実施形態では、動作センサ１２８が２つのＭ
ＥＭＳセンサを含み、一方のＭＥＭＳセンサが横加速度１２０を検出し、第２の
ＭＥＭＳセンサが回転を検出する。一代替実施形態では、ＧＰＳセンサを使用し
て、カメラの位置を決定することができる。
【００１０】 好ましい実施形態では、ＭＥＭＳセンサ１２８が慣性センサである。このよう
なセンサはＨｏｗｅが開発した櫛形駆動アクチュエータ技術に基づいており、Ｗ
．Ｃ．Ｔａｎｇ，Ｔ．Ｃ．ＮｇｕｙｅｎおよびＲ．Ｔ．Ｈｏｗｅ著の論文「Ｌａ
ｔｅｒａｌｌｙ Ｄｒｉｖｅｎ Ｐｏｌｙｓｉｌｉｃａｔｅ Ｒｅｓｉｄｅｎｔ
Ｍｉｃｒｏ ｓｔｒｕｃｔｕｒｅｓ」、ＩＥＥＥ Ｍｉｃｒｏｅｌｅｃｔｒｏ
ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ Ｗｏｒｋｓｈｏｐ，Ｓａｌｔ Ｌａｋ
ｅ Ｃｉｔｙ，Ｕｔａｈ，Ｕ．Ｓ．Ａ．、１９８９年２月、議事録５３〜５９ペ
ージに記載されている。適切な加速度計の一例は、Ａｎａｌｏｇ Ｄｅｖｉｃｅ
ｓによる５０Ｎ１Ｇ加速度計である。Ａｎａｌｏｇ Ｄｅｖｉｃｅｓは、デバイ
スの回転を決定するためのマイクロ・マシン・センサと合併した統合ＢｉＣＭＯ
Ｓデバイスも製作している。これらのセンサは、高度の自動車ブレーキング・シ
ステムに使用されている。これらのセンサは、Ｇｅｎｅｒａｌ Ｍｏｔｏｒｓに
よって商品化されており、Ｃｅｎｔｅｒ ｆｏｒ Ｉｎｔｅｇｒａｔｅｄ Ｓｅ
ｎｓｏｒｓ ａｎｄ Ｃｉｒｃｕｉｔｓ，Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｅｌｅ
ｃｔｒｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｍｉ
ｃｈｉｇａｎ，Ａｎｎ Ａｒｂｏｒ，Ｍｉｃｈｉｇａｎ，４８１０９のＣ．Ｈ．
Ｍａｓｔｒａｎｇｅｌｏの論文「Ｏｖｅｒｖｉｅｗ Ｏｆ ＭＥＭＳ Ａｃｔｉ
ｖｉｔｉｅｓ Ｉｎ Ｔｈｅ Ｕ．Ｓ．」に記載されている。Ｍａｓｔｒａｎｇ
ｅｌｏの論文では、カメラの動作を決定するために使用できる光学アクチュエー
タを含む、動作センサの代替実施形態も記載している。カメラの加速度を積分し
て速度を出すことができる。２度目の速度の積分によって、カメラの変位を生成
できる。この変位情報を用いて、カメラ１０４の第１位置１１２と向きに対する
、第２画像を撮るときのカメラ１０４の第２位置と向きを決定する。
【００１１】 カメラの相対的な向きおよび位置は、第１の位置１１２および第２の位置１１
６を含めて、カメラ内のメモリ・デバイス１３２に記録され、あるいは代替実施
形態では、このデータを、カメラに結合された外部メモリに格納することができ
る。加速度を測定するセンサなど、いくつかの動作センサは、位置データを生成
することができない。これらの実施形態では、加速度データなど、カメラの動作
を記述するデータをメモリに記録することができる。後で、プロセッサがこの動
作データを使用して、位置データを計算する。それぞれの動作または位置および
向きのデータを編成して、記録された各画像を、第１の位置１１２または第２の
位置１１６など、対応する位置と相関させることができる。
【００１２】 記録された各画像は、写真フィルムに記録することができ、あるいは電子セン
サ１３４を使用して記録できることがより好ましい。一実施形態では、この電子
センサが相補形金属酸化物半導体（ＣＭＯＳ）センサである。代替実施形態では
、感光する電荷結合素子アレイ（「ＣＣＤ」）またはフォト・ダイオードを使用
することができる。電子センサが出力した電子画像は、第２のメモリ・デバイス
１３６に格納される。画像が写真フィルムに記録された場合、この画像は後の処
理のために電子形式に変換される。この変換は、スキャナ、または、化学的また
は光データを電子データへ変換する他の方法を使用して実施することができる。
このようなスキャナは、Ｐａｌｏ Ａｌｔｏ，ＣａｌｉｆｏｒｎｉａのＨｅｗｌ
ｅｔｔ Ｐａｃｋａｒｄなど、いくつかの業者から市販されている。デジタル画
像はメモリ・デバイス１３６に格納される。
【００１３】 単一の三次元画像を１つの被写体の２つの画像から作成するために、処理装置
１４０が、画像および対応する位置および向きの情報を検索して、これらを単一
の三次元画像に再び結合する。処理装置１４０は、グラフィックス・プロセッサ
・カードに実装することができる。別の実施形態では、プロセッサは、グラフィ
ックス処理機能を扱うためにプログラムを実行する汎用のマイクロプロセッサで
ある。２つの画像を処理して１つの３−Ｄ画像を生成する様々な方法は、Ｍａｓ
ａｔｏｓｈｉ ＯｋｕｔｏｍｉおよびＴａｋｅｏ Ｋａｎａｄｅ著「Ａ Ｍｕｌ
ｔｉｐｌｅ−Ｂａｓｅｌｉｎｅ Ｓｔｅｒｅｏ」，ＩＥＥＥ Ｔｒａｎｓａｃｔ
ｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ
Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１５，Ｎｏ．４、１９９３年４月、に記
載されている。
【００１４】 図２は、３−Ｄ画像を図１のカメラから作成するために使用するステップを説
明する流れ図である。ステップ２０４で、第１の画像を撮影する前に、ユーザが
カメラ位置表示器をリセットする。カメラ位置表示器をリセットすると、動作セ
ンサの出力を格納するメモリ１３２をクリアして、あるシーケンスで記録された
第１の画像が好ましくはゼロ点基準フレームにあるようにすることが好ましい。
ステップ２０８で、カメラが被写体の画像をゼロ点基準フレームで記録する。第
１の画像の記録が発生するのとほぼ同時に、カメラの対応する位置および向きが
メモリ１３２に記録される。図１のカメラでは、ＣＣＤアレイが、図１の第２の
メモリ１３６に格納された画像を生成する。
【００１５】 カメラが第１の画像と対応する位置および向きの情報を記録した後、ステップ
２１２でカメラの位置が変更される。この位置変更は、横並進１２０および回転
移動１２４を共に含むことができる。人またはモータ駆動装置のいずれかが、カ
メラを移動させることができる。一実施形態では、カメラが軌道に沿って移動さ
れ、回転移動を最小にし、カメラの向きを測定しないカメラの実施形態も可能で
ある。位置変更中に、ステップ２１６で、センサ、好ましくはＭＥＭＳセンサが
、デバイスの動作および回転を記録する。本発明の一実施形態では、ＭＥＭＳセ
ンサが加速度を記録し、この加速度を積分して変位を生成する。記録された加速
度、回転、または変位の情報が、メモリ・デバイスに記憶される。
【００１６】 カメラが第２の位置に到達したとき、カメラが被写体の第２の画像を記録する
。第２の画像を記録するとき、カメラは動作センサからの情報を使用し、第２の
画像に対応するカメラの位置および向きを記録する。位置および向きの情報は、
位置および向きメモリ・デバイス１３２に記憶される。第２の画像および第１の
画像は、十分な量の被写体重複部分を有し、プロセッサがその重なり合う領域を
再構築して三次元画像を生成できるようにしなければならない。
【００１７】 前のステップ２０４からステップ２２０までのシーケンスでは、スチール・カ
メラで使用するシステムを説明した。ＭＥＭＳまたは動作センサをビデオ・カメ
ラに取り付け、カメラが移動するにつれて多数の画像を撮影できることを企図す
る。各画像は、動作センサが記録した情報から生成された１組の位置データに対
応する。次いで、これらの画像を隣接した画像で再構築して、３−Ｄグラフィッ
クの移動を再現できるようにすることができる。このような移動画像の再構築に
おいて説明した技術は、ステップ２０４からステップ２２０までの反復を繰り返
すこと、およびプロセッサが実行する一連の再構築ステップによって実施される
。ステップ２２４で、動作センサによって生成された位置および向きの情報が、
対応する記録画像と共に、プロセッサに転送される。
【００１８】 図３は、プロセッサまたは処理デバイス１４０が行うステップを説明する流れ
図であり、三次元画像を、二次元画像および対応する位置および向きのデータか
ら再構築するものである。ステップ３０４で、プロセッサは、位置および向きの
情報と対応する画像データをカメラから受信する。次いで、ステップ３０８で、
プロセッサが、第１および第２の画像における対応点を決定する。対応点とは、
被写体の同じ点に対応する、異なる画像またはパースペクティブにおける点であ
る。したがって、対応点は、被写体のある点に対応する第１の画像の点またはピ
クセルであり、被写体の同じ点に対応する第２の画像の第２のポイントまたはピ
クセルである。たとえば、人の鼻の先端を、第１および第２の画像の対応点にす
ることができる。本発明の一実施形態では、パターン認識ソフトウェアを使用し
て対応点を決定する。対応点を決定するための第２のより簡素な方法は、エンド
・ユーザを利用することである。エンド・ユーザが第１の画像の点を選択し、マ
ウスまたは他のポインティング・デバイスを使用して第１の点を選択または「ク
リック」し、第２の画像の対応点を選択または「クリック」する。ステップ３１
２で、これらの選択した対応点およびそれらのｘ、ｙ座標が、メモリ・デバイス
に記録される。この記録は通常、二次元の記録である。これは、ｘおよびｙ座標
を各点について記録しなければならないからである。
【００１９】 ステップ３１６で、カメラから被写体の識別点までの距離が決定される。この
距離は、第１のカメラ位置、第２のカメラ位置、および識別された画像点が三角
形を形成するので、決定することができる。三角形の一辺が、カメラの移動距離
、すなわち第１のカメラ位置と第２のカメラ位置の間の距離を表し、これは既知
である。したがって、この三角形の一辺の次元が既知である。また、マイクロ・
センサが、カメラが第１の位置から第２の位置へ移動したときのカメラの回転を
検知している。したがって、被写体の点に関するカメラの角変位も既知である。
三角法を使用して、各カメラ位置と識別された画像点の間の距離を決定して、ｚ
次元を生成することができる。
【００２０】 ステップ３２０で、プロセッサは第３のｚ次元を生成する。ｚ次元は、選択し
た座標フレームに関連する。ｘ、ｙデカルト座標系を選択した後、ｚ次元が指定
され、通常はｘ、ｙ座標系の平面に垂直である。ｚ座標は、画像点からカメラま
での距離、カメラの向き、選択した座標系を使用して決定することができる。対
応する各組の座標についての新しいｘ、ｙ、ｚ座標が、対応点に関連付けられた
メモリ・デバイスのフィールドに格納される。
【００２１】 ステップ３１６およびステップ３２０が、第１および第２の画像の各組の対応
点について繰り返される。１組の対応点の各処理の後、システムは、先に処理し
た対応点が、画像内の最終組の対応点かどうかを判定する。さらに処理すべき対
応点があった場合、システムはステップ３１６へ戻る。システムが、画像の各対
応点について完全な組のｘ、ｙ、ｚ座標を完成したとき、プロセッサは三角形メ
ッシュを構築することができる。この三角形メッシュは重なり合うことがなく、
すべての３−Ｄ記録の点を３−Ｄ空間内の二次元表面に接続させる。三角形メッ
シュの構築は、点を規則的グリッド上に展開する構造化手法を使用して行うこと
ができる。Ｄｅｌａｕｎａｉアルゴリズムを使用して、三角形メッシュを再構築
することもできる。Ｄｅｌａｕｎａｉアルゴリズムは当分野では周知のものであ
るため、この応用例では詳細に説明しない。
【００２２】 ステップ３３２で、プロセッサはｘ、ｙ、ｚの記録および三角形メッシュから
データベースを構築して、３−Ｄ画像を記述する。コンピュータはさらにこの表
面の記述を追加して、プログラムが異なる角度からの被写体の見え方をシミュレ
ートできるようにすることができる。本発明の一実施形態では、プロセッサが、
インターネットの３−Ｄデータ用の共通形式である仮想世界（「ＷＲＬ」）ファ
イルなどの記述を出力する。第三者の業者によるグラフィックス表示プログラム
で使用する３−Ｄファイルを使用して、画像を表示することもできる。典型的な
３−Ｄ表示プログラムは、Ｃａｌｌｉｇｒｉ Ｃｏｍｐａｎｙによる「Ｔｒｕｅ
Ｓｐａｃｅ」である。
【００２３】 図３の流れ図で説明したプロセスによって三次元画像を２組の二次元データか
ら生成することができる。二次元データは、第１の画像を第１の位置で撮影した
カメラによって生成された。動作センサは、カメラが第２の位置へ移動されたと
きのカメラの移動および回転または位置を検出し、そこで第２の画像が撮影され
た。画像および位置の情報を処理することによって、プロセッサは３−Ｄ画像を
生成した。
【００２４】 上述のシステムは、必要となる装置が少ないので、費用を削減できる。特に、
ただ１つのレンズ・システムが必要なだけである。単一のレンズ・システムによ
って、このシステムは従来技術の３−Ｄ撮像システムよりもかさばらなくなる。
最後に、上述のシステムは、多数の画像を撮影するビデオ・カメラに適している
。これらの多数の画像を結合して、３−Ｄ画像データベースを生成することがで
きる。
【００２５】 上述のシステムはさらに、カメラ１０４の使いやすさおよびデータ収集機能を
改善するように精練化することができる。図４は、ユーザがカメラ１０４のデー
タ収集機能を改善する際に支援する方法を説明する流れ図である。ステップ４０
４で、カメラは被写体の第１の画像を第１の場所で撮影する。ステップ４０８で
、カメラはまた、被写体からカメラの「ファインダ」までの距離を測定し、記録
もする。次いで、カメラは、後続の画像を撮影するための最適なカメラ位置の計
算を進めることができる。３−Ｄ画像を生成するための後続の画像は、被写体か
らほぼ同じ距離で撮影することが好ましい。したがって、カメラが被写体からほ
ぼ一定の距離を維持し、被写体の周囲の円を移動することが好ましい。
【００２６】 自動測距デバイスを使用するなど、いくつかの技術を使用して、カメラから被
写体までの距離を決定することができる。このような自動測距デバイスは、画像
センサ・データ、赤外線信号またはサウンド信号を使用して、カメラから被写体
までの距離を決定することができる。自動測距サウンド信号システムでは、カメ
ラの送信器がサウンド・パルスを送る。カメラの受信器が、被写体からのサウン
ド・パルスの反射を検出する。パルスを送ってからサウンド・パルス反射が受信
されるまでの時間差を使用して、カメラから被写体までの距離を決定する。
【００２７】 ステップ４１２で、カメラは画像取り込みシーケンスを開始する。向きの測定
を行い、カメラの向きを決定する。カメラの向きは、レンズが常に被写体に向き
合うように維持されることが好ましい。
【００２８】 ステップ４１６で、カメラがユーザに移動させるように促すプロンプトを出す
。一実施形態では、このプロンプトを、矢印をカメラのファインダに表示する形
式で与えることができる。この矢印は、ユーザに対して、カメラを特定の方向へ
移動させるように、あるいはカメラを特定の向きに回転させるように促すプロン
プトを出す。この矢印は、液晶ディスプレイ（ＬＣＤ）を使用して表示すること
ができる。自動測距デバイスを使用して、信号をプロセッサへ供給することがで
きる。プロセッサは表示を制御して、ユーザに対して撮像中の被写体からほぼ一
定の距離を維持するように促す信号を出力する。代替実施形態では、音または声
の信号を使用して、ユーザに対し、カメラを特定の方向へ移動させるか、あるい
はカメラを特定の向きに回転させるように伝えることができる。
【００２９】 ステップ４２０で、カメラは、カメラが最適な位置からの許容距離内にあるか
どうかを判定する。カメラが最適な位置までの許容距離内にない場合、カメラは
ステップ４１６へ戻り、ユーザに対してさらにカメラ位置を調整するように促す
プロンプトを出す。ステップ４２０で、カメラが許容距離内にあると判定された
場合、ステップ４２４で、カメラは被写体の第２または後続の画像を記録する。
【００３０】 ステップ４２８で、カメラが、データベースに必要なすべての画像が記録され
たかどうかを判定する。必要な画像の数は、所望の被写体のパースペクティブ数
および所望の最終３−Ｄ画像の詳細によって決定される。追加の画像が必要であ
る場合、カメラはステップ４１６へ戻り、ユーザに対し、後続の位置へ移動して
後続画像を記録するように促すプロンプトを出す。ステップ４２８で、十分な数
の画像が記録されたと判定された場合、カメラが終了し、３−Ｄ画像を再構築す
ることができる。
【００３１】 ある例示的実施形態を詳細に説明し、添付の図面に示したが、このような実施
形態は例示的なものにすぎず、幅広い本発明を限定するものではないこと、およ
び、当業者は他の様々な修正を思いつくことができるので、本発明は図示および
説明した特定の配置および構成に限定されるものではないことを理解されたい。
【図面の簡単な説明】
【図１】 三次元画像を生成するための、本発明の一実施形態を示す図である。
【図２】 ２つの画像を生成するプロセスを説明する流れ図である。
【図３】 ２つの画像を結合して単一の三次元画像を形成するプロセスを説明する流れ図
である。
【図４】 ユーザがカメラのデータ収集機能を改善する際に援助するシステムを示す流れ
図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 15/00 Ｈ０４Ｎ 15/00 // Ｇ０１Ｃ 19/00 Ｇ０１Ｃ 19/00 Ｚ (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ，ＭＬ， ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，Ｋ Ｅ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ ，ＡＺ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ) ，ＡＬ，ＡＭ，ＡＴ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ， ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，Ｅ Ｅ，ＥＳ，ＦＩ，ＧＢ，ＧＤ，ＧＥ，ＧＨ，ＧＭ，ＨＲ ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，ＩＳ，ＪＰ，ＫＥ，ＫＧ， ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，Ｌ Ｕ，ＬＶ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ ，ＮＺ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ， ＳＩ，ＳＫ，ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，Ｕ Ｇ，ＵＳ，ＵＺ，ＶＮ，ＹＵ，ＺＷ Ｆターム(参考） 2F065 AA04 AA06 AA53 BB05 DD02 FF01 FF05 FF09 FF67 JJ03 JJ26 MM07 QQ23 SS13 UU03 UU05 2F105 AA08 BB20 5B050 BA09 DA07 EA07 EA19 EA27 5B057 BA11 CA12 CA16 CB13 CB16 CD14 CF10 DC08 5C061 AA21 AB04 AB08

Claims (17)

    【特許請求の範囲】
  1. 【請求項１】 三次元画像を生成するシステムであって、 第１の画像を第１の場所で、第２の画像を第２の場所で記録するように構成さ
    れた撮像装置と、 前記撮像装置の、前記第１の場所から前記第２の場所までの移動を検出する動
    作センサと、 前記第１の画像、前記第２の画像および前記動作センサの出力から三次元画像
    を生成するように構成されたプロセッサと を含むシステム。
  2. 【請求項２】 前記動作センサがＭＥＭＳセンサである請求項１に記載のシ
    ステム。
  3. 【請求項３】 前記動作センサが全世界測位システム・センサである請求項
    １に記載のシステム。
  4. 【請求項４】 前記動作センサがレーザ・ジャイロである請求項１に記載の
    システム。
  5. 【請求項５】 前記撮像装置が、 レンズ・システムと、 電子画像を生成するための電子センサのアレイとをさらに含む請求項１に記載
    のシステム。
  6. 【請求項６】 前記電子センサが電荷結合素子アレイの一部である請求項５
    に記載のシステム。
  7. 【請求項７】 前記電子センサが相補形金属酸化物半導体センサの一部であ
    る請求項５に記載のシステム。
  8. 【請求項８】 前記撮像装置がビデオ・カメラである請求項１に記載のシス
    テム。
  9. 【請求項９】 三次元画像を生成する方法であって、 撮像装置を使用して、第１の画像を第１の場所で記録するステップと、 前記撮像装置を第２の場所へ移動させるステップと、 前記撮像装置の、前記第１の場所と前記第２の場所の間の変位を決めるために
    必要なデータを記録するステップと、 前記撮像装置を使用して、第２の画像を前記第２の場所で記録するステップと
    、 前記第１の画像および前記第２の画像を結合して、三次元画像を形成するステ
    ップと を含む方法。
  10. 【請求項１０】 前記第１の画像および前記第２の画像を結合する前記ステ
    ップが、 前記第１および第２の画像上の対応点を選択するステップと、 前記対応点のｚ次元を計算するステップと をさらに含む請求項９に記載の方法。
  11. 【請求項１１】 前記移動後に前記第１の場所および第２の場所を特定する
    ために必要なデータを記録する前記ステップが、 加速度を検出するステップと、 前記加速度および前記加速度の持続時間を記録して、プロセッサが距離を計算
    できるようにするステップと をさらに含む請求項９に記載の方法。
  12. 【請求項１２】 前記移動後に前記第１の場所および第２の場所を特定する
    ために必要なデータを記録する前記ステップが、 全世界測位システム・センサを使用して位置を決定するステップをさらに含む
    請求項９に記載の方法。
  13. 【請求項１３】 三角形メッシュを生成して三次元表面をシミュレートする
    ステップをさらに含む請求項１０に記載の方法。
  14. 【請求項１４】 三次元画像を記録する際にユーザにプロンプトを出す方法
    であって、 カメラから被写体への距離を測定するステップと、 第１の画像を第１の位置から記録するステップと、 ユーザに対して、第２の位置へ移動させるように促すプロンプトを出すステッ
    プと を含み、前記第２の位置は、前記被写体の三次元画像を再構築する際に使用する
    ための第２の画像を撮影するために適しており、さらに、 前記第２の画像を記録するステップを含む方法。
  15. 【請求項１５】 前記第２の位置が、前記被写体から、前記第１の位置とほ
    ぼ等距離である請求項１４に記載の方法。
  16. 【請求項１６】 前記第１の画像および前記第２の画像を使用して三次元画
    像を再構築するステップをさらに含む請求項１４に記載の方法。
  17. 【請求項１７】 前記第１の画像を記録する前記ステップと前記第２の画像
    を記録する前記ステップが、２つの異なる時点で発生する請求項１４に記載の方
    法。
JP2000528106A 1998-01-06 1998-12-29 ３−ｄ視覚画像を作成するために相対的なカメラ向き位置を決定する方法 Expired - Lifetime JP4340005B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/003,389 1998-01-06
US09/003,389 US6094215A (en) 1998-01-06 1998-01-06 Method of determining relative camera orientation position to create 3-D visual images
PCT/US1998/027794 WO1999035855A1 (en) 1998-01-06 1998-12-29 Method of determining relative camera orientation position to create 3-d visual images

Publications (2)

Publication Number Publication Date
JP2002501349A true JP2002501349A (ja) 2002-01-15
JP4340005B2 JP4340005B2 (ja) 2009-10-07

Family

ID=21705638

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000528106A Expired - Lifetime JP4340005B2 (ja) 1998-01-06 1998-12-29 ３−ｄ視覚画像を作成するために相対的なカメラ向き位置を決定する方法

Country Status (9)

Country Link
US (1) US6094215A (ja)
JP (1) JP4340005B2 (ja)
KR (1) KR100380819B1 (ja)
AU (1) AU2098299A (ja)
DE (1) DE19882939C2 (ja)
GB (1) GB2348561B (ja)
MY (1) MY133013A (ja)
TW (1) TW371725B (ja)
WO (1) WO1999035855A1 (ja)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010297A (ja) * 2000-06-26 2002-01-11 Topcon Corp ステレオ画像撮影システム
JP2004104576A (ja) * 2002-09-11 2004-04-02 Mitsubishi Heavy Ind Ltd 作業用ウェアラブル装置、遠隔作業指示装置、遠隔作業指示方法および遠隔作業指示プログラム
JPWO2005043081A1 (ja) * 2003-10-31 2007-05-10 富士通株式会社 距離算出装置および算出プログラム
JP2007147341A (ja) * 2005-11-24 2007-06-14 Topcon Corp ３次元データ作成方法及び３次元データ作成装置
JP2008235971A (ja) * 2007-03-16 2008-10-02 Nec Corp 撮像装置、及び、撮像装置における立体的形状撮影方法
JP2009300457A (ja) * 2009-09-16 2009-12-24 Fujitsu Ltd 距離算出装置および算出プログラム
JP2011027718A (ja) * 2009-06-16 2011-02-10 Intel Corp 単一カメラ及び運動センサーによる３次元情報抽出
JP2011160233A (ja) * 2010-02-01 2011-08-18 Casio Computer Co Ltd 撮影装置、並びに制御プログラム及び制御方法
JP2011524571A (ja) * 2008-06-12 2011-09-01 マイクロソフト コーポレーション 装置に組み込まれた３ｄコンテンツ統合
WO2011162227A1 (ja) * 2010-06-24 2011-12-29 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
JP2012134675A (ja) * 2010-12-20 2012-07-12 Samsung Yokohama Research Institute Co Ltd 撮像装置、撮像方法
JP2012209677A (ja) * 2011-03-29 2012-10-25 Kyocera Corp 携帯電子機器
JP2014137244A (ja) * 2013-01-15 2014-07-28 Toshiba Corp 三次元合成処理システムおよび三次元合成処理方法
JP2015508197A (ja) * 2012-01-26 2015-03-16 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ モーションセンサーデータに基づく３ｄモデルを計算するように構成されたモバイルデバイス
WO2015140855A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体
JP2016514984A (ja) * 2013-03-11 2016-05-26 ケアストリーム ヘルス インク ３次元の画像形成を行うための方法及びシステム
US10217294B2 (en) 2008-05-07 2019-02-26 Microsoft Technology Licensing, Llc Procedural authoring
US10278584B2 (en) 2013-03-11 2019-05-07 Carestream Dental Technology Topco Limited Method and system for three-dimensional imaging

Families Citing this family (113)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11265249A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 情報入力装置および情報入力方法および記録媒体
JP4193290B2 (ja) * 1999-06-29 2008-12-10 コニカミノルタホールディングス株式会社 多眼式データ入力装置
AU2001234601A1 (en) * 2000-01-26 2001-08-07 New York University Method and system for facilitating wireless, full-body, real-time user interaction with digitally generated text data
US6697573B1 (en) * 2000-03-15 2004-02-24 Imax Corporation Hybrid stereoscopic motion picture camera with film and digital sensor
JP4635403B2 (ja) * 2000-04-04 2011-02-23 ソニー株式会社 立体画像作成方法およびその装置
JP3433204B2 (ja) * 2000-04-27 2003-08-04 株式会社東北テクノアーチ ３次元モデル構成装置
LU90675B1 (de) * 2000-11-10 2002-05-13 Iee Sarl Verfahren zum Steuern von Geraeten
US8085293B2 (en) * 2001-03-14 2011-12-27 Koninklijke Philips Electronics N.V. Self adjusting stereo camera system
US6820980B1 (en) * 2001-03-23 2004-11-23 Panavision, Inc. Automatic pan and tilt compensation system for a camera support structure
US7101045B2 (en) * 2001-03-23 2006-09-05 Panavision Inc. Automatic pan and tilt compensation system for a camera support structure
US6781618B2 (en) * 2001-08-06 2004-08-24 Mitsubishi Electric Research Laboratories, Inc. Hand-held 3D vision system
US6747686B1 (en) * 2001-10-05 2004-06-08 Recon/Optical, Inc. High aspect stereoscopic mode camera and method
US7466336B2 (en) * 2002-09-05 2008-12-16 Eastman Kodak Company Camera and method for composing multi-perspective images
US20040070675A1 (en) * 2002-10-11 2004-04-15 Eastman Kodak Company System and method of processing a digital image for intuitive viewing
US7424133B2 (en) 2002-11-08 2008-09-09 Pictometry International Corporation Method and apparatus for capturing, geolocating and measuring oblique images
US20040174434A1 (en) 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
US7265790B2 (en) * 2003-07-07 2007-09-04 Hewlett-Packard Development Company, L.P. System and method for setting an image capture device to an operational mode
DE10336736B4 (de) * 2003-08-11 2005-07-21 Siemens Ag Vorrichtung und Methode zur Aufnahme von Bildinformationen zum Erstellen eines dreidimensionalen Bildes
JP2007520934A (ja) * 2003-12-24 2007-07-26 ウオーカー ディジタル、エルエルシー 画像を自動的に捕捉し、管理する方法および装置
JP4800591B2 (ja) * 2004-05-26 2011-10-26 オリンパス株式会社 撮影システム
EP1613082A1 (en) * 2004-06-30 2006-01-04 Sony Ericsson Mobile Communications AB Face image correction
US7236235B2 (en) * 2004-07-06 2007-06-26 Dimsdale Engineering, Llc System and method for determining range in 3D imaging systems
US7697748B2 (en) * 2004-07-06 2010-04-13 Dimsdale Engineering, Llc Method and apparatus for high resolution 3D imaging as a function of camera position, camera trajectory and range
US20060164509A1 (en) * 2004-12-14 2006-07-27 Andrew Marshall Stereo camera/viewer
US20070116457A1 (en) * 2005-11-22 2007-05-24 Peter Ljung Method for obtaining enhanced photography and device therefor
KR100670816B1 (ko) * 2005-12-09 2007-01-19 한국전자통신연구원 3차원공간정보를 이용한 영상취득카메라의 설치위치 결정장치 및 방법
US7728906B2 (en) 2006-01-04 2010-06-01 Apple Inc. Embedded camera with privacy filter
KR100813057B1 (ko) * 2006-02-14 2008-03-14 엘지전자 주식회사 입체 영상 제작장치 및 그 방법
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
US7873238B2 (en) 2006-08-30 2011-01-18 Pictometry International Corporation Mosaic oblique images and methods of making and using same
US8593518B2 (en) * 2007-02-01 2013-11-26 Pictometry International Corp. Computer system for continuous oblique panning
US8520079B2 (en) * 2007-02-15 2013-08-27 Pictometry International Corp. Event multiplexer for managing the capture of images
US8385672B2 (en) 2007-05-01 2013-02-26 Pictometry International Corp. System for detecting image abnormalities
US9262818B2 (en) 2007-05-01 2016-02-16 Pictometry International Corp. System for detecting image abnormalities
US7991226B2 (en) * 2007-10-12 2011-08-02 Pictometry International Corporation System and process for color-balancing a series of oblique images
DE102007054088A1 (de) * 2007-11-13 2009-05-20 Daimler Ag Verfahren und Vorrichtung zur Bildverarbeitung insbesondere Bildmessung
US8531472B2 (en) 2007-12-03 2013-09-10 Pictometry International Corp. Systems and methods for rapid three-dimensional modeling with real façade texture
CN101459857B (zh) * 2007-12-10 2012-09-05 华为终端有限公司 通信终端
US7961224B2 (en) * 2008-01-25 2011-06-14 Peter N. Cheimets Photon counting imaging system
TW200937109A (en) * 2008-02-22 2009-09-01 Asia Optical Co Inc Image pickup methods and image pickup systems
CN101610360A (zh) * 2008-06-19 2009-12-23 鸿富锦精密工业（深圳）有限公司 自动追踪声源的摄像装置
US8588547B2 (en) 2008-08-05 2013-11-19 Pictometry International Corp. Cut-line steering methods for forming a mosaic image of a geographical area
US8294766B2 (en) 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
KR100986918B1 (ko) * 2009-03-24 2010-10-08 아주대학교산학협력단 비전센서 자동 배치장치 및 방법
TWI397758B (zh) * 2009-05-08 2013-06-01 Asia Optical Co 導引控制系統及應用其的視訊設備
US8401222B2 (en) 2009-05-22 2013-03-19 Pictometry International Corp. System and process for roof measurement using aerial imagery
US9189859B2 (en) * 2009-06-11 2015-11-17 Kabushiki Kaisha Toshiba 3D image generation
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US9330494B2 (en) 2009-10-26 2016-05-03 Pictometry International Corp. Method for the automatic material classification and texture simulation for 3D models
US20120019614A1 (en) * 2009-12-11 2012-01-26 Tessera Technologies Ireland Limited Variable Stereo Base for (3D) Panorama Creation on Handheld Device
US10080006B2 (en) 2009-12-11 2018-09-18 Fotonation Limited Stereoscopic (3D) panorama creation on handheld device
US8294748B2 (en) * 2009-12-11 2012-10-23 DigitalOptics Corporation Europe Limited Panorama imaging using a blending map
US20110141226A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging based on a lo-res map
US20110141225A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Based on Low-Res Images
US20110141229A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama imaging using super-resolution
US20110141224A1 (en) * 2009-12-11 2011-06-16 Fotonation Ireland Limited Panorama Imaging Using Lo-Res Images
US20110304706A1 (en) * 2010-06-09 2011-12-15 Border John N Video camera providing videos with perceived depth
US20110304693A1 (en) * 2010-06-09 2011-12-15 Border John N Forming video with perceived depth
US8477190B2 (en) 2010-07-07 2013-07-02 Pictometry International Corp. Real-time moving platform management system
KR20120011653A (ko) 2010-07-29 2012-02-08 삼성전자주식회사 영상 처리 장치 및 방법
US8676498B2 (en) 2010-09-24 2014-03-18 Honeywell International Inc. Camera and inertial measurement unit integration with navigation data feedback for feature tracking
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
JP5547854B2 (ja) * 2010-11-29 2014-07-16 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 携帯型装置で捕捉される多重画像からの肖像画像合成
US8823732B2 (en) 2010-12-17 2014-09-02 Pictometry International Corp. Systems and methods for processing images with edge detection and snap-to feature
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
WO2012092246A2 (en) 2010-12-27 2012-07-05 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3d) content creation
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
CN102645834A (zh) * 2011-02-22 2012-08-22 国基电子（上海）有限公司 具有照相功能的电子装置及方法
US8203605B1 (en) 2011-05-11 2012-06-19 Google Inc. Point-of-view object selection
US9088714B2 (en) 2011-05-17 2015-07-21 Apple Inc. Intelligent image blending for panoramic photography
US9762794B2 (en) 2011-05-17 2017-09-12 Apple Inc. Positional sensor-assisted perspective correction for panoramic photography
US8600194B2 (en) 2011-05-17 2013-12-03 Apple Inc. Positional sensor-assisted image registration for panoramic photography
US8957944B2 (en) 2011-05-17 2015-02-17 Apple Inc. Positional sensor-assisted motion filtering for panoramic photography
US9247133B2 (en) 2011-06-01 2016-01-26 Apple Inc. Image registration using sliding registration windows
US10325350B2 (en) 2011-06-10 2019-06-18 Pictometry International Corp. System and method for forming a video stream containing GIS data in real-time
US8928737B2 (en) * 2011-07-26 2015-01-06 Indiana University Research And Technology Corp. System and method for three dimensional imaging
CN102957856A (zh) * 2011-08-30 2013-03-06 鸿富锦精密工业（深圳）有限公司 相机拍摄控制方法及系统
US9230501B1 (en) 2012-01-06 2016-01-05 Google Inc. Device control utilizing optical flow
US8867015B2 (en) 2012-01-11 2014-10-21 Apple Inc. Displays with liquid crystal shutters
US9183538B2 (en) 2012-03-19 2015-11-10 Pictometry International Corp. Method and system for quick square roof reporting
CN102645836A (zh) * 2012-04-20 2012-08-22 中兴通讯股份有限公司 一种照片拍摄方法及电子设备
US9098922B2 (en) 2012-06-06 2015-08-04 Apple Inc. Adaptive image blending operations
US8902335B2 (en) 2012-06-06 2014-12-02 Apple Inc. Image blending operations
US10306140B2 (en) 2012-06-06 2019-05-28 Apple Inc. Motion adaptive image slice selection
US9654762B2 (en) * 2012-10-01 2017-05-16 Samsung Electronics Co., Ltd. Apparatus and method for stereoscopic video with motion sensors
US9857470B2 (en) 2012-12-28 2018-01-02 Microsoft Technology Licensing, Llc Using photometric stereo for 3D environment modeling
US9940553B2 (en) 2013-02-22 2018-04-10 Microsoft Technology Licensing, Llc Camera/object pose from predicted coordinates
US9244272B2 (en) 2013-03-12 2016-01-26 Pictometry International Corp. Lidar system producing multiple scan paths and method of making and using same
US9881163B2 (en) 2013-03-12 2018-01-30 Pictometry International Corp. System and method for performing sensitive geo-spatial processing in non-sensitive operator environments
US9753950B2 (en) 2013-03-15 2017-09-05 Pictometry International Corp. Virtual property reporting for automatic structure detection
US9275080B2 (en) 2013-03-15 2016-03-01 Pictometry International Corp. System and method for early access to captured images
TWI502271B (zh) * 2013-04-15 2015-10-01 Htc Corp 控制方法及電子裝置
US9832378B2 (en) 2013-06-06 2017-11-28 Apple Inc. Exposure mapping and dynamic thresholding for blending of multiple images using floating exposure
US10063837B2 (en) * 2013-07-25 2018-08-28 TIREAUDIT.COM, Inc. System and method for analysis of surface features
CH709003B1 (de) * 2013-12-18 2017-06-15 Kaba Ag Distanzbestimmung aus Bildern mit Referenzobjekt.
MX2016008890A (es) 2014-01-10 2017-01-16 Pictometry Int Corp Sistema y metodo de evaluacion de estructura de aeronave no tripulada.
US9292913B2 (en) 2014-01-31 2016-03-22 Pictometry International Corp. Augmented three dimensional point collection of vertical structures
CA2938973A1 (en) 2014-02-08 2015-08-13 Pictometry International Corp. Method and system for displaying room interiors on a floor plan
CA3001023A1 (en) 2016-01-08 2017-07-13 Pictometry International Corp. Systems and methods for taking, processing, retrieving, and displaying images from unmanned aerial vehicles
US10402676B2 (en) 2016-02-15 2019-09-03 Pictometry International Corp. Automated system and methodology for feature extraction
US10671648B2 (en) 2016-02-22 2020-06-02 Eagle View Technologies, Inc. Integrated centralized property database systems and methods
US11472234B2 (en) 2016-03-04 2022-10-18 TIREAUDIT.COM, Inc. Mesh registration system and method for diagnosing tread wear
US10789773B2 (en) 2016-03-04 2020-09-29 TIREAUDIT.COM, Inc. Mesh registration system and method for diagnosing tread wear
CN106123863B (zh) * 2016-06-12 2021-06-18 首都师范大学 一种基于双全景的摄影测量方法
US10742878B2 (en) * 2016-06-21 2020-08-11 Symbol Technologies, Llc Stereo camera device with improved depth resolution
CN107063129B (zh) * 2017-05-25 2019-06-07 西安知象光电科技有限公司 一种阵列式并行激光投影三维扫描方法
DE102018109828B4 (de) 2018-04-05 2022-02-17 Sick Ag Vorrichtung zur Bestimmung eines Abstandes zu einem Objekt in einem Raum
US11138452B2 (en) 2019-10-08 2021-10-05 Ford Global Technologies, Llc Vehicle neural network training
DE102021119481A1 (de) 2021-07-27 2023-02-02 Karl Storz Se & Co. Kg Messverfahren und eine Messvorrichtung

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196437A (ja) * 1992-01-20 1993-08-06 Nippon Telegr & Teleph Corp <Ntt> ３次元情報入力装置
JPH0575735U (ja) * 1992-03-19 1993-10-15 旭光学工業株式会社 液晶表示装置
JPH09119819A (ja) * 1995-10-24 1997-05-06 Olympus Optical Co Ltd 三次元情報再構成装置
JPH09187037A (ja) * 1995-12-27 1997-07-15 Canon Inc 画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4138196A (en) * 1977-07-06 1979-02-06 The United States Of America As Represented By The Secretary Of The Army Fiber interferometer rotary motion sensor
US4727471A (en) * 1985-08-29 1988-02-23 The Board Of Governors For Higher Education, State Of Rhode Island And Providence Miniature lightweight digital camera for robotic vision system applications
US4895431A (en) * 1986-11-13 1990-01-23 Olympus Optical Co., Ltd. Method of processing endoscopic images
US4754327A (en) * 1987-03-20 1988-06-28 Honeywell, Inc. Single sensor three dimensional imaging
US4815819A (en) * 1987-04-30 1989-03-28 Christopher A. Mayhew Method for obtaining images for use in displaying a three-dimensional illusion and related image recording medium
US4807024A (en) * 1987-06-08 1989-02-21 The University Of South Carolina Three-dimensional display methods and apparatus
JPH0749937B2 (ja) * 1988-03-22 1995-05-31 工業技術院長 形状測定方法
DE3833584A1 (de) * 1988-10-03 1990-04-05 Alf Neustadt Stereoschiene
JP3021556B2 (ja) * 1990-06-20 2000-03-15 ソニー株式会社 映像情報処理装置とその方法
JPH04250436A (ja) * 1991-01-11 1992-09-07 Pioneer Electron Corp 撮像装置
US5283640A (en) * 1992-01-31 1994-02-01 Tilton Homer B Three dimensional television camera system based on a spatial depth signal and receiver system therefor
US5448322A (en) * 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
JPH07222202A (ja) * 1994-02-02 1995-08-18 Rohm Co Ltd 立体ビジョンカメラ
US5659195A (en) * 1995-06-08 1997-08-19 The Regents Of The University Of California CMOS integrated microsensor with a precision measurement circuit

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05196437A (ja) * 1992-01-20 1993-08-06 Nippon Telegr & Teleph Corp <Ntt> ３次元情報入力装置
JPH0575735U (ja) * 1992-03-19 1993-10-15 旭光学工業株式会社 液晶表示装置
JPH09119819A (ja) * 1995-10-24 1997-05-06 Olympus Optical Co Ltd 三次元情報再構成装置
JPH09187037A (ja) * 1995-12-27 1997-07-15 Canon Inc 画像処理装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002010297A (ja) * 2000-06-26 2002-01-11 Topcon Corp ステレオ画像撮影システム
JP2004104576A (ja) * 2002-09-11 2004-04-02 Mitsubishi Heavy Ind Ltd 作業用ウェアラブル装置、遠隔作業指示装置、遠隔作業指示方法および遠隔作業指示プログラム
JPWO2005043081A1 (ja) * 2003-10-31 2007-05-10 富士通株式会社 距離算出装置および算出プログラム
JP2007147341A (ja) * 2005-11-24 2007-06-14 Topcon Corp ３次元データ作成方法及び３次元データ作成装置
US8077197B2 (en) 2005-11-24 2011-12-13 Kabushiki Kaisha Topcon Three-dimensional data preparing method and three-dimensional data preparing device
JP2008235971A (ja) * 2007-03-16 2008-10-02 Nec Corp 撮像装置、及び、撮像装置における立体的形状撮影方法
US10217294B2 (en) 2008-05-07 2019-02-26 Microsoft Technology Licensing, Llc Procedural authoring
JP2011524571A (ja) * 2008-06-12 2011-09-01 マイクロソフト コーポレーション 装置に組み込まれた３ｄコンテンツ統合
JP2011027718A (ja) * 2009-06-16 2011-02-10 Intel Corp 単一カメラ及び運動センサーによる３次元情報抽出
JP2009300457A (ja) * 2009-09-16 2009-12-24 Fujitsu Ltd 距離算出装置および算出プログラム
JP4664427B2 (ja) * 2009-09-16 2011-04-06 富士通株式会社 距離算出装置
JP2011160233A (ja) * 2010-02-01 2011-08-18 Casio Computer Co Ltd 撮影装置、並びに制御プログラム及び制御方法
US9210408B2 (en) 2010-06-24 2015-12-08 Fujifilm Corporation Stereoscopic panoramic image synthesis device, image capturing device, stereoscopic panoramic image synthesis method, recording medium, and computer program
JP5390707B2 (ja) * 2010-06-24 2014-01-15 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
WO2011162227A1 (ja) * 2010-06-24 2011-12-29 富士フイルム株式会社 立体パノラマ画像合成装置、撮像装置並びに立体パノラマ画像合成方法、記録媒体及びコンピュータプログラム
JP2012134675A (ja) * 2010-12-20 2012-07-12 Samsung Yokohama Research Institute Co Ltd 撮像装置、撮像方法
JP2012209677A (ja) * 2011-03-29 2012-10-25 Kyocera Corp 携帯電子機器
US9639959B2 (en) 2012-01-26 2017-05-02 Qualcomm Incorporated Mobile device configured to compute 3D models based on motion sensor data
JP2015508197A (ja) * 2012-01-26 2015-03-16 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ モーションセンサーデータに基づく３ｄモデルを計算するように構成されたモバイルデバイス
KR101827046B1 (ko) 2012-01-26 2018-02-07 퀄컴 인코포레이티드 모션 센서 데이터에 기초한 3d 모델들을 계산하도록 구성된 이동 디바이스
JP2014137244A (ja) * 2013-01-15 2014-07-28 Toshiba Corp 三次元合成処理システムおよび三次元合成処理方法
JP2016514984A (ja) * 2013-03-11 2016-05-26 ケアストリーム ヘルス インク ３次元の画像形成を行うための方法及びシステム
US9838670B2 (en) 2013-03-11 2017-12-05 Carestream Health, Inc. Method and system for three-dimensional imaging
US10278584B2 (en) 2013-03-11 2019-05-07 Carestream Dental Technology Topco Limited Method and system for three-dimensional imaging
JPWO2015140855A1 (ja) * 2014-03-20 2017-04-06 日本電気株式会社 Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラム
WO2015140855A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 Ｐｏｓ端末装置、ｐｏｓシステム、画像処理方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
WO1999035855A1 (en) 1999-07-15
GB0014678D0 (en) 2000-08-09
MY133013A (en) 2007-10-31
US6094215A (en) 2000-07-25
JP4340005B2 (ja) 2009-10-07
KR20010033919A (ko) 2001-04-25
KR100380819B1 (ko) 2003-04-18
DE19882939T1 (de) 2001-01-18
TW371725B (en) 1999-10-11
AU2098299A (en) 1999-07-26
GB2348561B (en) 2002-05-22
GB2348561A (en) 2000-10-04
DE19882939C2 (de) 2003-09-04

Similar Documents

Publication Publication Date Title
JP2002501349A (ja) ３−ｄ視覚画像を作成するために相対的なカメラ向き位置を決定する方法
JP4010753B2 (ja) 形状計測システムと撮像装置と形状計測方法及び記録媒体
US6304284B1 (en) Method of and apparatus for creating panoramic or surround images using a motion sensor equipped camera
US6335754B1 (en) Synchronization between image data and location information for panoramic image synthesis
JP6974873B2 (ja) シーンから深度情報を取得するための装置および方法
Akbarzadeh et al. Towards urban 3d reconstruction from video
JP4685313B2 (ja) 任意の局面の受動的な体積画像の処理方法
US6839081B1 (en) Virtual image sensing and generating method and apparatus
WO2019144300A1 (zh) 目标检测方法、装置和可移动平台
CN111445529B (zh) 一种基于多激光测距的标定设备及方法
CN111899276A (zh) 一种基于双目事件相机的slam方法及系统
JP3957888B2 (ja) 撮像装置及び撮像画像合成方法
EP1952351A1 (en) Method for obtaining enhanced photography and device therefor
CN108322698A (zh) 基于多摄像机和惯性测量单元融合的系统和方法
JPH10318743A (ja) 飛行体を用いた測量方法及びその装置
JPH09138850A (ja) 表面形状再構成装置
GB2370443A (en) Method of prompting a user in recording a 3-D image.
KR102225321B1 (ko) 복수 영상 센서로부터 취득한 영상 정보와 위치 정보 간 연계를 통한 도로 공간 정보 구축을 위한 시스템 및 방법
Clipp et al. A mobile 3d city reconstruction system
JP3850271B2 (ja) 車両周辺画像処理装置及び記録媒体
JPH0981790A (ja) 三次元形状復元装置および方法
JP2004069442A (ja) 景観情報取得装置、景観情報取得方法、景観情報取得プログラムおよび記録媒体
JP3060218B1 (ja) 写真測量方法およびその装置
JP3347087B2 (ja) ２次元動画像からの３次元構造復元方法
JP2004177252A (ja) 姿勢計測装置および方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090127

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090423

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090520

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090703

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120710

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130710

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term