JP2015508197A - モーションセンサーデータに基づく3dモデルを計算するように構成されたモバイルデバイス - Google Patents
モーションセンサーデータに基づく3dモデルを計算するように構成されたモバイルデバイス Download PDFInfo
- Publication number
- JP2015508197A JP2015508197A JP2014554717A JP2014554717A JP2015508197A JP 2015508197 A JP2015508197 A JP 2015508197A JP 2014554717 A JP2014554717 A JP 2014554717A JP 2014554717 A JP2014554717 A JP 2014554717A JP 2015508197 A JP2015508197 A JP 2015508197A
- Authority
- JP
- Japan
- Prior art keywords
- image
- mobile device
- camera
- motion sensor
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/564—Depth or shape recovery from multiple images from contours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
[0001] 本出願は、その開示全体が引用により本明細書に組み込まれる、2012年1月26日に出願された米国仮特許出願第61/591,196号と、2012年11月9日に出願された米国特許出願第13/673,681号の利益を主張する。
ここで、RiとTiは、それぞれ、回転および変換マトリクス(rotational and translation matrices)であり、[Ri|Ti]は、ワイヤレスデバイスの1つまたは複数のセンサによってなされた測定に基づいた、ワイヤレスデバイスと関係がある相対位置マトリクス(relative pose matrix)である。それ故に、少なくとも一つのi番目+1の射影マトリクス(projection matrix)は、一つまたは複数のモーションセンサにより供給されるワイヤレスデバイスのモーション情報に、由来し得、バンドル調整技術を経由して、反復して推定される必要がなく、全体の複雑性の減少をもたらす。
[0037]
なお、本願の出願当初の請求項と同一の記載を以下に付記する。
[C1]モバイルデバイスが第1のポジションに位置する間に、オブジェクトの第1のイメージを前記モバイルデバイスのカメラにおいて、キャプチャすること、
前記モバイルデバイスが第2のポジションに位置する間に、前記オブジェクトの第2のイメージをキャプチャすること、
前記第1のポジションから前記第2のポジションへの前記モバイルデバイスの動きを、前記モバイルデバイスの少なくとも1つのモーションセンサにより出力されたデータに基づき、決定すること、および
前記モバイルデバイスの前記決定された動きおよび、前記第1のイメージ、前記第2のイメージに基づき前記オブジェクトの3次元(3D)モデルを計算すること
を備える方法。
[C2]前記第1のイメージ、前記第2のイメージは、記憶されたビデオファイルに関連するビデオフレームであり、
さらに、前記ビデオフレームにアクセスするために前記記憶されたビデオファイルに周期的にアクセスすることを備える
C1記載の方法。
[C3]前記第1のイメージ、前記第2のイメージは、ビデオフレームシーケンスに関連するビデオフレームであり、
さらに、ビデオファイルとしての前記ビデオフレームシーケンスを記憶することにより前に、ビデオフレームにアクセスすることを備える
C1記載の方法。
[C4]前記第1のイメージ、前記第2のイメージは、スナップショットイメージである
C1記載の方法。
[C5]前記オブジェクトの3Dモデルを計算することは、さらに、前記オブジェクトの1つまたは複数のシルエットに基づくC1記載の方法。
[C6]前記少なくとも1つのモーションセンサにより出力された前記データは、前記モバイルデバイスに関連する回転動作、前記モバイルデバイスに関連する並進動作またはそれらの組み合わせを含むC1記載の方法。
[C7]前記モバイルデバイスの前記決定された動きは、前記モバイルデバイスの回転、前記モバイルデバイスの移動、またはそれらの組み合わせを含むC1記載の方法。
[C8]前記オブジェクトの前記3Dモデルを計算することは、さらに少なくとも1つのモーションセンサにより出力された前記データおよび、第一の推測された再射影されたイメージポイント、第二の推測された再射影されたイメージポイント、の関数に基づき前記オブジェクトの特徴点を決定することを備えるC1記載の方法。
[C9]前記オブジェクトの前記3次元モデルを計算することは、さらに
前記オブジェクトの1つまたは複数の特徴点および前記第1のポジションの第1の推定の成果に基づいた前記オブジェクトの第1の推定され再射影されたイメージポイントを、決定すること、
前記オブジェクトの前記1つまたは複数の特徴点および前記第2のポジションの第2の推定の成果に基づいた前記オブジェクトの第2の推定され再射影されたイメージポイントを、決定すること、
前記第1のイメージにおける前記オブジェクトの座標と前記第1の推定され再射影されたイメージポイントの間の第1のユークリッド距離の平方を決定すること、
前記第2のイメージにおける前記オブジェクトの座標と前記第2の推定され再射影されたイメージポイントの間の第2のユークリッド距離の平方を決定すること、
前記第1のユークリッド距離の前記平方、および前記第2のユークリッド距離の前記平方の合計を最小化するため、前記3Dモデルの推定を修正すること、を含み、
前記第2のポジションの前記第2の推定は、少なくとも1つのモーションセンサにより出力された前記データ、および前記第1のポジションの前記第1の推定に基づき発生される
C1記載の方法。
[C10]前記3Dモデルの前記推定を修正することは、
ここでdは、距離の演算に関係し、
ここでP i は、前記カメラの射影マトリクスであり、
ここでX j は、前記オブジェクトのj番目の特徴点であり、
ここでx i j は、i番目のイメージにおけるj番目の特徴点の座標である
C9記載の方法。
[C11]第1のポジションに位置する間に、オブジェクトの第1のイメージをキャプチャするように、および第2のポジションに位置する間に、前記オブジェクトの第2のイメージをキャプチャするように、構成されたカメラと、
少なくとも1つのモーションセンサと、
プロセッサと、
前記第1のポジションから前記第2のポジションへの前記カメラの動きを、少なくとも1つのモーションセンサにより出力されたデータに基づき、決定すること、および
前記カメラの前記決定された動きおよび、前記第1のイメージ、前記第2のイメージに基づき前記オブジェクトの3次元(3D)モデルを計算することを、
前記プロセッサにより実行可能な命令を記憶しているメモリと、
を備える装置。
[C12]前記プロセッサは、モバイルデバイス、カメラ、マルチメヂィアプレーヤ、娯楽ユニット、ナビゲーションデバイス、パーソナルデジタルアシスタント(PDA)、ポータブルコンピュータまたはそれらの任意の組み合わせに集積されているC11の装置。
[C13]前記少なくとも1つのモーションセンサにより出力された前記データは、前記カメラに関連する回転の情報、前記カメラに関連する並進の情報またはそれらの組み合わせを含むC11の装置。
[C14]前記カメラの前記決定された動きは、前記カメラの回転、前記カメラの並進、またはそれらの組み合わせを含むC11の装置。
[C15]前記命令は、さらに
前記少なくとも1つのモーションセンサにより出力された前記データおよび、第1の推定された再射影されたイメージポイント、第2の推定された再射影されたイメージポイント、の関数に基づき前記オブジェクトの特徴点を決定するために、前記プロセッサにより実行可能であるC11の装置。
[C16]前記オブジェクトの1つまたは複数の特徴点および前記第1のポジションの第1の推定の成果に基づいた前記オブジェクトの第1の推定され再射影されたイメージポイントを、決定するために
前記オブジェクトの前記1つまたは複数の特徴点および前記第2のポジションの第2の推定の成果に基づいた前記オブジェクトの第2の推定された再射影されたイメージポイントを、決定するために
前記第1のイメージにおける前記オブジェクトの座標と前記第1の推定され再射影されたイメージポイントの間の第1のユークリッド距離の平方を決定するために、
前記第2のイメージにおける前記オブジェクトの座標と前記第2の推定され再射影されたイメージポイントの間の第2のユークリッド距離の平方を決定するために、
前記第1のユークリッド距離の前記平方、および前記第2のユークリッド距離の前記平方の合計を最小化するため、前記3Dモデルの推定を修正するために、前記命令は、前記プロセッサにより、さらに実行可能であり、
前記第2のポジションの前記第2の推定は、前記少なくとも1つのモーションセンサにより出力された前記データ、および前記第1のポジションの前記第1の推定に基づき発生されるC11の装置。
[C17]
前記3Dモデルの前記推定を修正することは、
ここでdは、距離の演算に関係し、
ここでP i は、前記カメラの射影マトリクスであり、
ここでX j は、前記オブジェクトのj番目の特徴点であり、
ここでx i j は、i番目のイメージにおけるj番目の特徴点の座標である
C16の装置。
[C18]第1のポジションから第2のポジションへのモバイルデバイスの動きを、少なくとも1つのモーションセンサから受信されたデータに基づき、決定すること、および
前記モバイルデバイスの前記第1のポジションからのオブジェクトの第1の視野に対応した前記オブジェクトの第1のイメージに基づき、さらに、前記モバイルデバイスの前記第2のポジションからの前記オブジェクトの第2の視野に対応した前記オブジェクトの第2のイメージに基づき、さらに、前記モバイルデバイスの前記動きに基づき、オブジェクトの3次元(3D)モデルを計算すること、を備える方法。
[C19]第1のポジションから第2のポジションへのモバイルデバイスの動きを、少なくとも1つのモーションをセンスする手段から受信されたデータに基づき決定する手段、および
前記モバイルデバイスの前記第1のポジションからのオブジェクトの第1の視野に対応した前記オブジェクトの第1のイメージに基づき、さらに、前記モバイルデバイスの前記第2のポジションからの前記オブジェクトの第2の視野に対応した前記オブジェクトの第2のイメージに基づき、さらに、前記モバイルデバイスの前記動きに基づき、オブジェクトの3次元(3D)モデルを計算する手段、を備える装置。
[C20]さらに、前記第1のイメージをキャプチャするための手段と、前記第2のイメージをキャプチャするための手段を備えるC19の装置。
[C21]さらに、前記少なくとも1つのモーションをセンスするための手段により受信された前記データおよび、第1の推定された再射影されたイメージポイント、第2の推定された再射影されたイメージポイント、の関数に基づく前記オブジェクトの特徴点を決定するための手段を備えるC19の装置。
[C22]プロセッサにより実行されたときにプロセッサに、
第1のポジションから第2のポジションへのモバイルデバイスの動きを、少なくとも1つのモーションセンサから受信されたデータに基づき決定すること、および、
前記モバイルデバイスの前記第1のポジションからのオブジェクトの第1の視野に対応した前記オブジェクトの第1のイメージに基づき、さらに、前記モバイルデバイスの前記第2のポジションからの前記オブジェクトの第2の視野に対応した前記オブジェクトの第2のイメージに基づき、さらに、前記モバイルデバイスの前記動きに基づき、オブジェクトの3次元(3D)モデルを計算すること、
を引き起こす命令を備えたコンピュータ可読媒体。
[C23]データは、前記モバイルデバイスに対応した回転の情報、前記モバイルデバイスに対応した並進の情報、またはそれらの組み合わせを含むC22のコンピュータ可読媒体。
[C24]前記データおよび、第1の推定され再射影されたイメージポイント、第二の推定され再射影されたイメージポイント、の関数に基づく前記オブジェクトの特徴点を決定することを、プロセッサにより実行可能な命令を備えるC22のコンピュータ可読媒体。
[C25]さらに、前記オブジェクトに対応した1つまたは複数のシルエットを発生するための前記プロセッサにより実行可能な命令を備え、
前記オブジェクトの前記3Dモデルは、さらに1つまたは複数のシルエットに基づく、
C22のコンピュータ可読媒体。
Claims (25)
- モバイルデバイスが第1のポジションに位置する間に、オブジェクトの第1のイメージを前記モバイルデバイスのカメラにおいて、キャプチャすること、
前記モバイルデバイスが第2のポジションに位置する間に、前記オブジェクトの第2のイメージをキャプチャすること、
前記第1のポジションから前記第2のポジションへの前記モバイルデバイスの動きを、前記モバイルデバイスの少なくとも1つのモーションセンサにより出力されたデータに基づき、決定すること、および
前記モバイルデバイスの前記決定された動きおよび、前記第1のイメージ、前記第2のイメージに基づき前記オブジェクトの3次元(3D)モデルを計算すること
を備える方法。 - 前記第1のイメージ、前記第2のイメージは、記憶されたビデオファイルに関連するビデオフレームであり、
さらに、前記ビデオフレームにアクセスするために前記記憶されたビデオファイルに周期的にアクセスすることを備える
請求項1記載の方法。 - 前記第1のイメージ、前記第2のイメージは、ビデオフレームシーケンスに関連するビデオフレームであり、
さらに、ビデオファイルとしての前記ビデオフレームシーケンスを記憶することにより前に、ビデオフレームにアクセスすることを備える
請求項1記載の方法。 - 前記第1のイメージ、前記第2のイメージは、スナップショットイメージである
請求項1記載の方法。 - 前記オブジェクトの3Dモデルを計算することは、さらに、前記オブジェクトの1つまたは複数のシルエットに基づく請求項1記載の方法。
- 前記少なくとも1つのモーションセンサにより出力された前記データは、前記モバイルデバイスに関連する回転動作、前記モバイルデバイスに関連する並進動作またはそれらの組み合わせを含む請求項1記載の方法。
- 前記モバイルデバイスの前記決定された動きは、前記モバイルデバイスの回転、前記モバイルデバイスの移動、またはそれらの組み合わせを含む請求項1記載の方法。
- 前記オブジェクトの前記3Dモデルを計算することは、さらに少なくとも1つのモーションセンサにより出力された前記データおよび、第1の推定され再射影されたイメージポイント、第2の推定され再射影されたイメージポイント、の関数に基づき前記オブジェクトの特徴点を決定することを備える請求項1記載の方法。
- 前記オブジェクトの前記3次元モデルを計算することは、さらに
前記オブジェクトの1つまたは複数の特徴点と、前記第1のポジションの第1の推定の成果に基づいて前記オブジェクトの第1の推定され再射影されたイメージポイントを、決定すること、
前記オブジェクトの前記1つまたは複数の特徴点と、前記第2のポジションの第2の推定の成果に基づいて前記オブジェクトの第2の推定され再射影されたイメージポイントを、決定すること、
前記第1のイメージにおける前記オブジェクトの座標と、前記第1の推定され再射影されたイメージポイントの間の第1のユークリッド距離の平方を決定すること、
前記第2のイメージにおける前記オブジェクトの座標と、前記第2の推定され再射影されたイメージポイントの間の第2のユークリッド距離の平方を決定すること、
前記第1のユークリッド距離の前記平方および、前記第2のユークリッド距離の前記平方の合計を最小化するため、前記3Dモデルの推定を修正すること、を含み、
前記第2のポジションの前記第2の推定は、少なくとも1つのモーションセンサにより出力された前記データおよび、前記第1のポジションの前記第1の推定に基づき発生される
請求項1記載の方法。 - 第1のポジションに位置する間に、オブジェクトの第1のイメージをキャプチャするように、および第2のポジションに位置する間に、前記オブジェクトの第2のイメージをキャプチャするように、構成されたカメラと、
少なくとも1つのモーションセンサと、
プロセッサと、
前記第1のポジションから前記第2のポジションへの前記カメラの動きを、少なくとも1つのモーションセンサにより出力されたデータに基づき、決定すること、および
前記カメラの前記決定された動きおよび、前記第1のイメージ、前記第2のイメージに基づき前記オブジェクトの3次元(3D)モデルを計算することを、
前記プロセッサにより実行可能な命令を記憶しているメモリと、
を備える装置。 - 前記プロセッサは、モバイルデバイス、カメラ、マルチメヂィアプレーヤ、娯楽ユニット、ナビゲーションデバイス、パーソナルデジタルアシスタント(PDA)、ポータブルコンピュータまたはそれらの任意の組み合わせに集積されている請求項11の装置。
- 前記少なくとも1つのモーションセンサにより出力された前記データは、前記カメラに関連する回転の情報、前記カメラに関連する並進の情報またはそれらの組み合わせを含む請求項11の装置。
- 前記カメラの前記決定された動きは、前記カメラの回転、前記カメラの並進、またはそれらの組み合わせを含む請求項11の装置。
- 前記命令は、さらに
前記少なくとも1つのモーションセンサにより出力された前記データおよび、第1の推定され再射影されたイメージポイント、第2の推定され再射影されたイメージポイント、の関数に基づき前記オブジェクトの特徴点を決定するために、前記プロセッサにより実行可能である請求項11の装置。 - 前記オブジェクトの1つまたは複数の特徴点と、前記第1のポジションの第1の推定の成果に基づいた前記オブジェクトの第1の推定され再射影されたイメージポイントを、決定するために
前記オブジェクトの前記1つまたは複数の特徴点と、前記第2のポジションの第2の推定の成果に基づいた前記オブジェクトの第2の推定され再射影されたイメージポイントを、決定するために
前記第1のイメージにおける前記オブジェクトの座標と前記第1の推定され再射影されたイメージポイントの間の第1のユークリッド距離の平方を決定するために、
前記第2のイメージにおける前記オブジェクトの座標と前記第2の推定され再射影されたイメージポイントの間の第2のユークリッド距離の平方を決定するために、
前記第1のユークリッド距離の前記平方、および前記第2のユークリッド距離の前記平方の合計を最小化するため、前記3Dモデルの推定を修正するために、前記命令は、前記プロセッサにより、さらに実行可能であり、
前記第2のポジションの前記第2の推定は、前記少なくとも1つのモーションセンサにより出力された前記データ、および前記第1のポジションの前記第1の推定に基づき発生される請求項11の装置。 - 第1のポジションから第2のポジションへのモバイルデバイスの動きを、少なくとも1つのモーションセンサから受信されたデータに基づき、決定すること、および
前記モバイルデバイスの前記第1のポジションからのオブジェクトの第1の視野に対応した前記オブジェクトの第1のイメージに基づき、さらに、前記モバイルデバイスの前記第2のポジションからの前記オブジェクトの第2の視野に対応した前記オブジェクトの第2のイメージに基づき、さらに、前記モバイルデバイスの前記動きに基づき、オブジェクトの3次元(3D)モデルを計算すること、を備える方法。 - 第1のポジションから第2のポジションへのモバイルデバイスの動きを、少なくとも1つのモーションをセンスする手段から受信されたデータに基づき決定する手段、および
前記モバイルデバイスの前記第1のポジションからのオブジェクトの第1の視野に対応した前記オブジェクトの第1のイメージに基づき、さらに、前記モバイルデバイスの前記第2のポジションからの前記オブジェクトの第2の視野に対応した前記オブジェクトの第2のイメージに基づき、さらに、前記モバイルデバイスの前記動きに基づき、オブジェクトの3次元(3D)モデルを計算する手段、を備える装置。 - さらに、前記第1のイメージをキャプチャするための手段と、前記第2のイメージをキャプチャするための手段を備える請求項19の装置。
- さらに、前記少なくとも1つのモーションをセンスするための手段により受信された前記データおよび、第1の推定され再射影されたイメージポイント、第2の推定され再射影されたイメージポイント、の関数に基づく前記オブジェクトの特徴点を決定するための手段を備える請求項19の装置。
- 第1のポジションから第2のポジションへのモバイルデバイスの動きを、少なくとも1つのモーションセンサから受信されたデータに基づき決定すること、および、
前記モバイルデバイスの前記第1のポジションからのオブジェクトの第1の視野に対応した前記オブジェクトの第1のイメージに基づき、さらに、前記モバイルデバイスの前記第2のポジションからの前記オブジェクトの第2の視野に対応した前記オブジェクトの第2のイメージに基づき、さらに、前記モバイルデバイスの前記動きに基づき、オブジェクトの3次元(3D)モデルを計算することを、
プロセッサにより実行されたときにプロセッサに引き起こす命令を備えた非一時的なコンピュータ可読媒体。 - データは、前記モバイルデバイスに対応した回転の情報、前記モバイルデバイスに対応した並進の情報、またはそれらの組み合わせを含む請求項22の非一時的なコンピュータ可読媒体。
- 前記データおよび、第1の推定され再射影されたイメージポイント、第二の推定され再射影されたイメージポイント、の関数に基づく前記オブジェクトの特徴点を決定することを、プロセッサにより実行可能な命令を備える請求項22の非一時的なコンピュータ可読媒体。
- さらに、前記オブジェクトに対応した1つまたは複数のシルエットを発生するための前記プロセッサにより実行可能な命令を備え、
前記オブジェクトの前記3Dモデルは、さらに1つまたは複数のシルエットに基づく、
請求項22の非一時的なコンピュータ可読媒体。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261591196P | 2012-01-26 | 2012-01-26 | |
US61/591,196 | 2012-01-26 | ||
US13/673,681 US9639959B2 (en) | 2012-01-26 | 2012-11-09 | Mobile device configured to compute 3D models based on motion sensor data |
US13/673,681 | 2012-11-09 | ||
PCT/US2012/069088 WO2013112237A1 (en) | 2012-01-26 | 2012-12-12 | Mobile device configured to compute 3d models based on motion sensor data |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015508197A true JP2015508197A (ja) | 2015-03-16 |
JP2015508197A5 JP2015508197A5 (ja) | 2017-03-23 |
JP6199313B2 JP6199313B2 (ja) | 2017-09-20 |
Family
ID=48869873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014554717A Active JP6199313B2 (ja) | 2012-01-26 | 2012-12-12 | モーションセンサーデータに基づく3dモデルを計算するように構成されたモバイルデバイス |
Country Status (6)
Country | Link |
---|---|
US (1) | US9639959B2 (ja) |
EP (1) | EP2807629B1 (ja) |
JP (1) | JP6199313B2 (ja) |
KR (1) | KR101827046B1 (ja) |
CN (1) | CN104081434B (ja) |
WO (1) | WO2013112237A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016070891A (ja) * | 2014-10-01 | 2016-05-09 | 日本電信電話株式会社 | 映像データ処理装置及び映像データ処理プログラム |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10261408B2 (en) * | 2010-07-18 | 2019-04-16 | Spatial Cam Llc | Mobile and portable camera platform for tracking an object |
US9131118B2 (en) * | 2012-11-14 | 2015-09-08 | Massachusetts Institute Of Technology | Laser speckle photography for surface tampering detection |
EP2926196A4 (en) * | 2012-11-30 | 2016-08-24 | Thomson Licensing | METHOD AND SYSTEM FOR DETECTING A 3D IMAGE USING A SINGLE CAMERA |
KR102153539B1 (ko) * | 2013-09-05 | 2020-09-08 | 한국전자통신연구원 | 영상 처리 장치 및 방법 |
US9173066B1 (en) * | 2014-06-13 | 2015-10-27 | Xerox Corporation | Methods and systems for controlling an electronic device |
CN104282041A (zh) * | 2014-09-30 | 2015-01-14 | 小米科技有限责任公司 | 三维建模方法及装置 |
JP6306996B2 (ja) * | 2014-10-01 | 2018-04-04 | 日本電信電話株式会社 | 映像データ処理方法、映像データ処理装置及び映像データ処理プログラム |
KR102248404B1 (ko) | 2014-11-17 | 2021-05-07 | 삼성전자주식회사 | 움직임 분석 방법 및 움직임 분석 장치 |
CN104517316B (zh) * | 2014-12-31 | 2018-10-16 | 中科创达软件股份有限公司 | 一种三维物体建模方法及终端设备 |
WO2016141208A1 (en) * | 2015-03-04 | 2016-09-09 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
CN104794723A (zh) * | 2015-05-04 | 2015-07-22 | 福建师范大学 | 一种基于概率的遥感影像建筑物位置检测方法 |
US10012509B2 (en) * | 2015-11-12 | 2018-07-03 | Blackberry Limited | Utilizing camera to assist with indoor pedestrian navigation |
US10341633B2 (en) | 2015-11-20 | 2019-07-02 | Qualcomm Incorporated | Systems and methods for correcting erroneous depth information |
KR20170076471A (ko) | 2015-12-24 | 2017-07-04 | 삼성전자주식회사 | 변형 가능한 디스플레이 장치 및 이를 이용한 영상 표시 방법 |
US10841486B2 (en) * | 2017-07-20 | 2020-11-17 | Eclo, Inc. | Augmented reality for three-dimensional model reconstruction |
CN108235764B (zh) * | 2017-12-29 | 2022-09-16 | 达闼机器人股份有限公司 | 信息处理方法、装置、云处理设备及计算机程序产品 |
WO2019198562A1 (ja) * | 2018-04-11 | 2019-10-17 | 富士フイルム株式会社 | 構造物管理装置、構造物管理方法、及び構造物管理プログラム |
CN113140030A (zh) * | 2020-01-17 | 2021-07-20 | 北京小米移动软件有限公司 | 三维模型生成方法、装置及存储介质 |
US11694313B2 (en) * | 2020-02-28 | 2023-07-04 | Unity Technologies Sf | Computer-generated image processing including volumetric scene reconstruction |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002501349A (ja) * | 1998-01-06 | 2002-01-15 | インテル・コーポレーション | 3−d視覚画像を作成するために相対的なカメラ向き位置を決定する方法 |
JP2006234703A (ja) * | 2005-02-28 | 2006-09-07 | Univ Waseda | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム |
JP2009200713A (ja) * | 2008-02-20 | 2009-09-03 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
WO2011144408A1 (fr) * | 2010-05-17 | 2011-11-24 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1999065681A1 (en) * | 1998-06-18 | 1999-12-23 | Kline & Walker, Llc | Automated devices to control equipment and machines with remote control and accountability worldwide |
US7466843B2 (en) * | 2000-07-07 | 2008-12-16 | Pryor Timothy R | Multi-functional control and entertainment systems |
US6539330B2 (en) | 2000-07-19 | 2003-03-25 | Pentax Corporation | Method and apparatus for measuring 3-D information |
US6961055B2 (en) * | 2001-05-09 | 2005-11-01 | Free Radical Design Limited | Methods and apparatus for constructing virtual environments |
JP2003006680A (ja) | 2001-06-20 | 2003-01-10 | Zenrin Co Ltd | 3次元電子地図データの生成方法 |
WO2004104811A2 (en) * | 2003-05-20 | 2004-12-02 | Lego A/S | Method and system for manipulating a digital representation of a three-dimensional object |
US7596473B2 (en) * | 2003-05-20 | 2009-09-29 | Interlego Ag | Method of constructing a virtual construction model |
JP4910312B2 (ja) * | 2005-06-03 | 2012-04-04 | ソニー株式会社 | 撮像装置および撮像方法 |
US7856125B2 (en) | 2006-01-31 | 2010-12-21 | University Of Southern California | 3D face reconstruction from 2D images |
CN101395613A (zh) | 2006-01-31 | 2009-03-25 | 南加利福尼亚大学 | 由2d图像实现3d人脸重建 |
US20070248260A1 (en) | 2006-04-20 | 2007-10-25 | Nokia Corporation | Supporting a 3D presentation |
US8498497B2 (en) | 2006-11-17 | 2013-07-30 | Microsoft Corporation | Swarm imaging |
US7676146B2 (en) * | 2007-03-09 | 2010-03-09 | Eastman Kodak Company | Camera using multiple lenses and image sensors to provide improved focusing capability |
WO2009115799A1 (en) * | 2008-03-18 | 2009-09-24 | Elliptic Laboratories As | Object and movement detection |
US20100316282A1 (en) | 2009-06-16 | 2010-12-16 | Hope Clinton B | Derivation of 3D information from single camera and movement sensors |
CN102713980A (zh) | 2010-02-01 | 2012-10-03 | 英特尔公司 | 从地理参考图像提取及映射三维特征 |
US20110234750A1 (en) | 2010-03-24 | 2011-09-29 | Jimmy Kwok Lap Lai | Capturing Two or More Images to Form a Panoramic Image |
KR20110116525A (ko) | 2010-04-19 | 2011-10-26 | 엘지전자 주식회사 | 3d 오브젝트를 제공하는 영상표시장치, 그 시스템 및 그 동작 제어방법 |
US8918209B2 (en) | 2010-05-20 | 2014-12-23 | Irobot Corporation | Mobile human interface robot |
EP2789159A4 (en) * | 2011-12-07 | 2015-06-17 | Intel Corp | GUIDED IMAGE CAPTURE |
-
2012
- 2012-11-09 US US13/673,681 patent/US9639959B2/en active Active
- 2012-12-12 CN CN201280066984.2A patent/CN104081434B/zh active Active
- 2012-12-12 EP EP12806819.4A patent/EP2807629B1/en active Active
- 2012-12-12 JP JP2014554717A patent/JP6199313B2/ja active Active
- 2012-12-12 KR KR1020147019346A patent/KR101827046B1/ko active IP Right Grant
- 2012-12-12 WO PCT/US2012/069088 patent/WO2013112237A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002501349A (ja) * | 1998-01-06 | 2002-01-15 | インテル・コーポレーション | 3−d視覚画像を作成するために相対的なカメラ向き位置を決定する方法 |
JP2006234703A (ja) * | 2005-02-28 | 2006-09-07 | Univ Waseda | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム |
JP2009200713A (ja) * | 2008-02-20 | 2009-09-03 | Sony Corp | 画像処理装置、画像処理方法、プログラム |
WO2011144408A1 (fr) * | 2010-05-17 | 2011-11-24 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede et systeme pour fusionner des donnees issues de capteurs d'images et de capteurs de mouvement ou de position |
JP2013534616A (ja) * | 2010-05-17 | 2013-09-05 | コミシリア ア レネルジ アトミック エ オ エナジーズ オルタネティヴズ | 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム |
Non-Patent Citations (1)
Title |
---|
岩元祐輝,外2名: ""3次元復元のためのバンドル調整の実装と評価"", 情報処理学会研究報告 平成22年度5[CD−ROM], vol. Vol.2011-CVIM-175,No.19, JPN6016044262, 15 February 2011 (2011-02-15), pages 1 - 8, ISSN: 0003441480 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016070891A (ja) * | 2014-10-01 | 2016-05-09 | 日本電信電話株式会社 | 映像データ処理装置及び映像データ処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
US9639959B2 (en) | 2017-05-02 |
CN104081434A (zh) | 2014-10-01 |
CN104081434B (zh) | 2018-01-05 |
EP2807629B1 (en) | 2017-09-20 |
KR101827046B1 (ko) | 2018-02-07 |
EP2807629A1 (en) | 2014-12-03 |
US20130194392A1 (en) | 2013-08-01 |
KR20140116867A (ko) | 2014-10-06 |
JP6199313B2 (ja) | 2017-09-20 |
WO2013112237A1 (en) | 2013-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6199313B2 (ja) | モーションセンサーデータに基づく3dモデルを計算するように構成されたモバイルデバイス | |
JP2015508197A5 (ja) | ||
JP7249390B2 (ja) | 単眼カメラを用いたリアルタイム3d捕捉およびライブフィードバックのための方法およびシステム | |
WO2019205852A1 (zh) | 确定图像捕捉设备的位姿的方法、装置及其存储介质 | |
US20230245391A1 (en) | 3d model reconstruction and scale estimation | |
TWI534755B (zh) | 三維立體模型之建立方法和裝置 | |
TWI678099B (zh) | 視頻處理方法、裝置和儲存介質 | |
WO2023138477A1 (zh) | 三维模型重建与图像生成方法、设备以及存储介质 | |
CN111161336B (zh) | 三维重建方法、三维重建装置和计算机可读存储介质 | |
JP6793151B2 (ja) | オブジェクトトラッキング装置、オブジェクトトラッキング方法およびオブジェクトトラッキングプログラム | |
US20140218354A1 (en) | View image providing device and method using omnidirectional image and 3-dimensional data | |
JP2017529620A (ja) | 姿勢推定のシステムおよび方法 | |
US20120120113A1 (en) | Method and apparatus for visualizing 2D product images integrated in a real-world environment | |
US11928778B2 (en) | Method for human body model reconstruction and reconstruction system | |
WO2014135022A1 (zh) | 街景地图展现方法及系统 | |
JP2010109783A (ja) | 電子カメラ | |
CN109906600B (zh) | 模拟景深 | |
JP6845490B2 (ja) | 自由動作fvvアプリケーションのためのマルチレイヤuvマップに基づくテクスチャレンダリング | |
JP2016152586A (ja) | プロジェクションマッピング装置、映像投影制御装置、映像投影制御方法および映像投影制御プログラム | |
WO2017193729A1 (zh) | 一种将镜头图像展开为全景图像的方法及装置 | |
JP2007025863A (ja) | 撮影システム、撮影方法及び画像処理プログラム | |
Hartl et al. | Rapid reconstruction of small objects on mobile phones | |
JP6625654B2 (ja) | 投影装置、投影方法、および、プログラム | |
JP2004013869A (ja) | 3次元形状生成装置及びそれに用いる3次元形状生成方法並びにそのプログラム | |
Guo et al. | Efficient view manipulation for cuboid-structured images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151116 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161122 |
|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A524 Effective date: 20170214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6199313 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |