JP2018526736A - シーン再構成方法、装置、端末機器及び記憶媒体 - Google Patents
シーン再構成方法、装置、端末機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2018526736A JP2018526736A JP2018506162A JP2018506162A JP2018526736A JP 2018526736 A JP2018526736 A JP 2018526736A JP 2018506162 A JP2018506162 A JP 2018506162A JP 2018506162 A JP2018506162 A JP 2018506162A JP 2018526736 A JP2018526736 A JP 2018526736A
- Authority
- JP
- Japan
- Prior art keywords
- image
- scene
- reconstructed
- feature region
- landscape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000009877 rendering Methods 0.000 claims abstract description 28
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 230000007704 transition Effects 0.000 claims description 18
- 238000012217 deletion Methods 0.000 claims description 4
- 230000037430 deletion Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/416—Exact reconstruction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Library & Information Science (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Computer Hardware Design (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Description
再構成しようとするシーンにマッチングする第1画像集合を取得するステップと、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出するステップと、
前記特徴領域を認識して画像における景観特徴領域を取得するステップと、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成するステップと、を含む。
再構成しようとするシーンにマッチングする第1画像集合を取得する画像取得モジュールと、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する特徴抽出モジュールと、
前記特徴領域を認識して画像における景観特徴領域を取得する特徴認識モジュールと、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する再構成モジュールと、を備える。
一つ又は複数のプロセッサと、
メモリと、
前記メモリに記憶される一つ又は複数のモジュールと、を備えており、
前記一つ又は複数のモジュールは、前記一つ又は複数のプロセッサにより実行される時に、
再構成しようとするシーンにマッチングする第1画像集合を取得する操作と、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する操作と、
前記特徴領域を認識して画像における景観特徴領域を取得する操作と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する操作と、を実行する。
再構成しようとするシーンにマッチングする第1画像集合を取得する操作と、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する操作と、
前記特徴領域を認識して画像における景観特徴領域を取得する操作と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する操作と、を実行させる。
図1は本発明の実施例1に係るシーン再構成方法のフローチャートであり、図1に示すように、具体的には、以下のステップを含む。
本実施例では、前記再構成しようとするシーンとして、観光スポット、史跡や建物等が挙げられる。前記第1画像集合は前記再構成しようとするシーンにマッチングする少なくとも一つの画像を含む。具体的には、前記再構成しようとするシーンに関連するキーワードをインターネットに入力して検索してもよく、ユーザ生成コンテンツ(User Generated Content、UGC)イメージライブラリから取得してもよい。
利用可能な特徴抽出アルゴリズムとして、コーナー検出アルゴリズムや局所不変特徴点抽出方法等が挙げられる。
上記ステップS12では、画像における特徴領域を抽出した後に、後続では特徴領域を区分し、前記画像における、前記再構成しようとするシーンにマッチングする特徴領域(景観特徴領域)を決定するように、特徴領域を認識する必要がある。このステップでは、グラフ統計的特徴に基づく画像認識アルゴリズム、HOG特徴に基づく対象認識アルゴリズム研究及び局所特徴に基づく物体認識アルゴリズム等の特徴認識アルゴリズムによって、画像の特徴領域を認識することができる。
景観特徴領域は、前記再構成しようとするシーンにおけるある観光スポットにマッチングするシーンの輪郭であってもよい。前記再構成しようとするシーンにおける観光スポットを龍門石窟(Longmen Grottoes)とすることを例にすると、龍門石窟の仏像の複数の対象(例えば、仏像の顔部、眼部、手部)の輪郭から特徴領域を選択することができる。
具体的には、前記特徴領域の認識過程で、前記画像に含まれる特徴領域を分類してもよく、クラスタリングアルゴリズムで、前記画像に含まれる特徴領域を人物特徴領域、物体特徴領域、景色特徴領域及び景観特徴領域のうちの少なくとも1種に分割する。
画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除するステップをさらに含む。
画像認識技術でインターネット又はユーザ生成コンテンツ(UGC)イメージライブラリから前記再構成しようとするシーンに関連する第2画像集合を検索するステップと、
第2画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第1画像集合とするステップと、を含む。
次に、文献2に記載の方法で残りの画像集合の画像から特徴領域を抽出し、特徴領域に基づいて残りの画像集合の画像にクラスタリング処理を再び行って、クラスタが最も多い1組の画像集合を検索し、当該組の画像集合における画像数が所定の閾値範囲を超える場合、この組の画像集合には前記再構成しようとするシーンの大多数の画像のコンテンツが含まれると考えられ、そのまま再構成画像の作成に用いることができる。文献2:Kim E, Li H, Huang X. A hierarchical image clustering cosegmentation framework[C]//Computer Vision and Pattern Recognition (CVPR), 2012 IEEE Conference on. IEEE, 2012: 686−693.(Edward Kim, Hongsheng Li, Xiaolei Huang;マルチスケール画像クラスタリングに基づく相乗的分割フレームワーク;コンピュータビジョン・パターン認識会議;2012)
同一景観が複数の撮影視角に対応する可能性があり、つまり、複数のクラスタリング中心が発生する可能性があり、この時に、特徴マッチングアルゴリズムでカテゴリ間の連続性を判断し、ある組の画像集合における画像の特徴が、上記クラスタが最も多い1組の画像集合の特徴とマッチングする数が所定閾値より大きい場合、当該組の画像集合も再構成画像に用いる。
画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択するステップと、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定するステップと、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うステップと、を含む。
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入するステップと、
隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択するステップと、を含む。
大量の画像から空間的な表現が最も豊富な画像を選択するために、本実施例では、画像間のレンダリングコストを計算することによって、最短経路計画方法で選択する。このため、レンダリングコストは画像の空間的位置、視点方向、光場、変形率、解像度等を含むだけでなく、さらに画像間の時間的差異性を計算する。
前記第1画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成するステップを含む。
実施例2
図2は本発明の実施例2に係るシーン再構成装置の構成概略図であり、図2に示すように、具体的には、画像取得モジュール21、特徴抽出モジュール22、特徴認識モジュール23及び再構成モジュール24を備え、
前記画像取得モジュール21は再構成しようとするシーンにマッチングする第1画像集合を取得し、
前記特徴抽出モジュール22は特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出し、
前記特徴認識モジュール23は前記特徴領域を認識して画像における景観特徴領域を取得し、
前記再構成モジュール24は前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する。
例示的に、上記実施例をもとに、前記特徴領域はさらに人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも1種を含み、対応した前記装置は、前記再構成モジュール24が前記画像における景観特徴領域に基づいて前記再構成しようとするシーンを三次元再構成する前に、画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除する特徴削除モジュール25をさらに備える。
画像認識技術でインターネット又はユーザ生成コンテンツ(UGC)イメージライブラリから前記再構成しようとするシーンに関連する第2画像集合を検索し、第2画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第1画像集合とする。
前記キーフレーム選択モジュール26は、前記再構成モジュール24が前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後に、前記再構成しようとするシーンをレンダリングして生成する前に、画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択し、
前記近接キーフレーム決定モジュール27は、キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定し、
前記経路計画モジュール28は、決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行う。
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入し、隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択する。
前記第1画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成する。
図3は、本発明の実施例3に係るシーン再構成を実現する端末機器のハードウェア構成概略図であり、当該端末機器は、一つ又は複数のプロセッサ31(図3では、一つのプロセッサ31を例にする)、メモリ32、一つ又は複数のモジュールを備え、前記一つ又は複数のモジュール(例えば、図2に示されるシーン再構成装置の画像取得モジュール21、特徴抽出モジュール22、特徴認識モジュール23、再構成モジュール24、特徴削除モジュール25、キーフレーム選択モジュール26、近接キーフレーム決定モジュール27及び経路計画モジュール28)が前記メモリ32に記憶され、端末機器のプロセッサ31とメモリ32とが、バス又はほかの方式によって接続され、図3ではバスによる接続を例にする。
再構成しようとするシーンにマッチングする第1画像集合を取得し、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出し、
前記特徴領域を認識して画像における景観特徴領域を取得し、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する。
例示的に、好ましくは、前記特徴領域は、さらに人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも1種であり、前記プロセッサ31は、前記画像における景観特徴領域に基づいて前記再構成しようとするシーンを三次元再構成する前に、画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除する。
実施例4
本発明の実施例は、不揮発性コンピュータ記憶媒体をさらに提供し、前記コンピュータ記憶媒体に一つ又は複数のモジュールが記憶され、前記一つ又は複数のモジュールがシーン再構成方法を実行する機器により実行される時に、前記機器に、
再構成しようとするシーンにマッチングする第1画像集合を取得する操作、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する操作、
前記特徴領域を認識して画像における景観特徴領域を取得する操作、及び
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する操作を実行させる。
画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除する。
画像認識技術でインターネット又はユーザ生成コンテンツ(UGC)イメージライブラリから前記再構成しようとするシーンに関連する第2画像集合を検索するステップと、
第2画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第1画像集合とするステップと、を含む。
画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択するステップと、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定するステップと、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うステップと、をさらに含む。
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入するステップと、
隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択するステップと、を含む。
前記第1画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成するステップを含む。
一つ又は複数のプロセッサと、
メモリと、
前記メモリに記憶される一つ又は複数のモジュールと、を備えており、
前記一つ又は複数のモジュールは、前記一つ又は複数のプロセッサにより実行される時に、
再構成しようとするシーンにマッチングする第1画像集合を取得する処理と、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する処理と、
前記特徴領域を認識して画像における景観特徴領域を取得する処理と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する処理と、を実行する。
再構成しようとするシーンにマッチングする第1画像集合を取得する処理と、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する処理と、
前記特徴領域を認識して画像における景観特徴領域を取得する処理と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する処理と、を実行させる。
実施例4
本発明の実施例は、不揮発性コンピュータ記憶媒体をさらに提供し、前記コンピュータ記憶媒体に一つ又は複数のモジュールが記憶され、前記一つ又は複数のモジュールがシーン再構成方法を実行する機器により実行される時に、前記機器に、
再構成しようとするシーンにマッチングする第1画像集合を取得する処理、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する処理、
前記特徴領域を認識して画像における景観特徴領域を取得する処理、及び
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する処理を実行させる。
Claims (14)
- 再構成しようとするシーンにマッチングする第1画像集合を取得するステップと、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出するステップと、
前記特徴領域を認識して画像における景観特徴領域を取得するステップと、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成するステップと、を含む
ことを特徴とするシーン再構成方法。 - 前記特徴領域はさらに人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも1種を含み、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行う前に、
画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除するステップをさらに含む
ことを特徴とする請求項1に記載の方法。 - 再構成しようとするシーンにマッチングする第1画像集合を取得するステップにおいては、
画像認識技術でインターネット又はユーザ生成コンテンツ(UGC)イメージライブラリから前記再構成しようとするシーンに関連する第2画像集合を検索するステップと、
第2画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第1画像集合とするステップと、を含む
ことを特徴とする請求項1に記載の方法。 - 前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後に、前記再構成しようとするシーンをレンダリングして生成する前に、
画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択するステップと、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定するステップと、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うステップと、をさらに含む
ことを特徴とする請求項1〜3のいずれか一項に記載の方法。 - 決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行うステップにおいては、
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入するステップと、
隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択するステップと、を含む
ことを特徴とする請求項4に記載の方法。 - 前記再構成しようとするシーンをレンダリングして生成するステップにおいては、
前記第1画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成するステップを含む
ことを特徴とする請求項1に記載の方法。 - 再構成しようとするシーンにマッチングする第1画像集合を取得する画像取得モジュールと、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する特徴抽出モジュールと、
前記特徴領域を認識して画像における景観特徴領域を取得する特徴認識モジュールと、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する再構成モジュールと、を備える
ことを特徴とするシーン再構成装置。 - 前記特徴領域はさらに人物特徴領域、物体特徴領域及び景色特徴領域のうちの少なくとも1種を含み、
それに対応して、前記装置は、
前記再構成モジュールが前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行う前に、画像から人物特徴領域、物体特徴領域及び景色特徴領域を削除する特徴削除モジュールをさらに備える
ことを特徴とする請求項7に記載の装置。 - 前記画像取得モジュールは、具体的に、
画像認識技術でインターネット又はユーザ生成コンテンツ(UGC)イメージライブラリから前記再構成しようとするシーンに関連する第2画像集合を検索し、
第2画像集合における、所定要件を満たさない画像を削除し、残りの画像を前記再構成しようとするシーンにマッチングする第1画像集合とする
ことを特徴とする請求項7に記載の装置。 - 前記再構成モジュールが前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行った後に、前記再構成しようとするシーンをレンダリングして生成する前に、画像に含まれる景観特徴領域の数が所定数を超える画像をキーフレームとして選択するキーフレーム選択モジュールと、
キーフレーム画像における表示シーンの空間的関係と画像撮影時間とに基づいて、キーフレームの近接関係を決定する近接キーフレーム決定モジュールと、
決定した近接キーフレームに基づいて前記再構成しようとするシーンに経路計画を行う経路計画モジュールと、を備える
ことを特徴とする請求項7〜9のいずれか一項に記載の装置。 - 前記経路計画モジュールは、具体的に、
隣接キーフレームの間に時間差がある場合、隣接キーフレームの間に時間差内の遷移画像を挿入し、
隣接キーフレームの間に空間差がある場合、前記キーフレームに空間的に関連付けられた画像を遷移画像として選択する
ことを特徴とする請求項10に記載の装置。 - 前記再構成モジュールは、具体的に、
前記第1画像集合における各画像の撮影時間に基づいて、異なる時間の再構成シーンをレンダリングして生成する
ことを特徴とする請求項7に記載の装置。 - 一つ又は複数のプロセッサと、
メモリと、
前記メモリに記憶される一つ又は複数のモジュールと、を備えており、
前記一つ又は複数のモジュールは、前記一つ又は複数のプロセッサにより実行される時に、
再構成しようとするシーンにマッチングする第1画像集合を取得する操作と、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する操作と、
前記特徴領域を認識して画像における景観特徴領域を取得する操作と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する操作と、を実行する
ことを特徴とするシーン再構成を実現する端末機器。 - 不揮発性コンピュータ記憶媒体であって、
前記コンピュータ記憶媒体に一つ又は複数のモジュールが記憶されており、
前記一つ又は複数のモジュールが、シーン再構成方法を実行する機器により実行される時に、前記機器に、
再構成しようとするシーンにマッチングする第1画像集合を取得する操作と、
特徴抽出アルゴリズムを用いて、前記第1画像集合における画像の少なくとも一つの特徴領域を抽出する操作と、
前記特徴領域を認識して画像における景観特徴領域を取得する操作と、
前記画像における景観特徴領域に基づいて前記再構成しようとするシーンに三次元の再構成を行い、前記再構成しようとするシーンをレンダリングして生成する操作と、を実行させる
ことを特徴とする不揮発性コンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510483318.4 | 2015-08-03 | ||
CN201510483318.4A CN105139445B (zh) | 2015-08-03 | 2015-08-03 | 场景重建方法及装置 |
PCT/CN2015/096623 WO2017020467A1 (zh) | 2015-08-03 | 2015-12-08 | 场景重建方法、装置、终端设备及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018526736A true JP2018526736A (ja) | 2018-09-13 |
JP6553285B2 JP6553285B2 (ja) | 2019-07-31 |
Family
ID=54724777
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018506162A Active JP6553285B2 (ja) | 2015-08-03 | 2015-12-08 | シーン再構成方法、装置、端末機器及び記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10467800B2 (ja) |
EP (1) | EP3324368B1 (ja) |
JP (1) | JP6553285B2 (ja) |
KR (1) | KR102033262B1 (ja) |
CN (1) | CN105139445B (ja) |
WO (1) | WO2017020467A1 (ja) |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109076148B (zh) | 2016-04-12 | 2021-02-05 | 奎蒂安特有限公司 | 日常场景重建引擎 |
CN107657660A (zh) * | 2017-09-15 | 2018-02-02 | 南开大学 | 一种基于等距正视摄影测量约束的无人机视觉快速三维重建方法 |
CN108030452A (zh) * | 2017-11-30 | 2018-05-15 | 深圳市沃特沃德股份有限公司 | 视觉扫地机器人及建立场景地图的方法 |
US11875476B2 (en) | 2018-05-02 | 2024-01-16 | Quidient, Llc | Codec for processing scenes of almost unlimited detail |
CN108765487B (zh) * | 2018-06-04 | 2022-07-22 | 百度在线网络技术(北京)有限公司 | 重建三维场景的方法、装置、设备和计算机可读存储介质 |
CN109934777B (zh) * | 2019-01-09 | 2023-06-02 | 深圳市三宝创新智能有限公司 | 图像局部不变特征提取方法、装置、计算机设备及存储介质 |
CN110134801A (zh) * | 2019-04-28 | 2019-08-16 | 福建星网视易信息系统有限公司 | 一种作品名称与多媒体文件的匹配方法及存储介质 |
CN111383337B (zh) * | 2020-03-20 | 2023-06-27 | 北京百度网讯科技有限公司 | 用于识别对象的方法和装置 |
CN111556291B (zh) * | 2020-04-23 | 2021-07-13 | 东电创新(北京)科技发展股份有限公司 | 一种便携式一体化视频采集及回传系统 |
CN112750203B (zh) * | 2021-01-21 | 2023-10-31 | 脸萌有限公司 | 模型重建方法、装置、设备及存储介质 |
CN113050643A (zh) * | 2021-03-19 | 2021-06-29 | 京东鲲鹏(江苏)科技有限公司 | 无人车路径规划方法、装置、电子设备和计算机可读介质 |
US11961184B2 (en) * | 2021-09-17 | 2024-04-16 | Samsung Electronics Co., Ltd. | System and method for scene reconstruction with plane and surface reconstruction |
CN114549766B (zh) * | 2022-04-24 | 2022-09-09 | 成都纵横自动化技术股份有限公司 | 一种实时ar可视化方法、装置、设备及存储介质 |
CN115222896B (zh) * | 2022-09-20 | 2023-05-23 | 荣耀终端有限公司 | 三维重建方法、装置、电子设备及计算机可读存储介质 |
CN116452776B (zh) * | 2023-06-19 | 2023-10-20 | 国网浙江省电力有限公司湖州供电公司 | 基于视觉同步定位与建图系统的低碳变电站场景重建方法 |
CN117538881B (zh) * | 2024-01-10 | 2024-05-07 | 海底鹰深海科技股份有限公司 | 一种声呐水体成像波束形成方法、系统、设备及介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009129182A (ja) * | 2007-11-22 | 2009-06-11 | Internatl Business Mach Corp <Ibm> | 画像を記憶する方法、装置 |
CN104699842A (zh) * | 2015-03-31 | 2015-06-10 | 百度在线网络技术(北京)有限公司 | 图片展示方法和装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5598515A (en) * | 1994-01-10 | 1997-01-28 | Gen Tech Corp. | System and method for reconstructing surface elements of solid objects in a three-dimensional scene from a plurality of two dimensional images of the scene |
JP3516942B2 (ja) | 2001-11-26 | 2004-04-05 | ザイオソフト株式会社 | 3次元画像処理方法、装置およびプログラム |
US7142726B2 (en) * | 2003-03-19 | 2006-11-28 | Mitsubishi Electric Research Labs, Inc. | Three-dimensional scene reconstruction from labeled two-dimensional images |
JP4779479B2 (ja) * | 2005-07-15 | 2011-09-28 | 大日本印刷株式会社 | 物体の三次元形状データの削減装置および削減方法 |
KR100721536B1 (ko) * | 2005-12-09 | 2007-05-23 | 한국전자통신연구원 | 2차원 평면상에서 실루엣 정보를 이용한 3차원 구조 복원방법 |
JP4923101B2 (ja) * | 2006-03-22 | 2012-04-25 | ピルツ ゲーエムベーハー アンド コー.カーゲー | 画像間の空間対応を判別して三次元再構成をする方法および装置 |
US8655052B2 (en) * | 2007-01-26 | 2014-02-18 | Intellectual Discovery Co., Ltd. | Methodology for 3D scene reconstruction from 2D image sequences |
CN101777059B (zh) * | 2009-12-16 | 2011-12-07 | 中国科学院自动化研究所 | 一种提取地标性场景摘要的方法 |
CN101739721B (zh) * | 2010-01-21 | 2012-01-11 | 西北工业大学 | 基于时变和无序多图像的四维场景建模方法 |
CN101984463A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
JP5821526B2 (ja) | 2011-10-27 | 2015-11-24 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR101706216B1 (ko) * | 2012-04-03 | 2017-02-13 | 한화테크윈 주식회사 | 고밀도 삼차원 영상 재구성 장치 및 방법 |
KR101443327B1 (ko) * | 2013-01-02 | 2014-09-26 | 주식회사 오렌지큐브 | 실시간 렌더링 3d 오브젝트 인터렉티브 멀티비전 시스템 및 그의 실시간 렌더링 3d 오브젝트 처리방법 |
CN103139479A (zh) | 2013-02-25 | 2013-06-05 | 广东欧珀移动通信有限公司 | 一种结束全景预览扫描方法及装置 |
CN104463962B (zh) * | 2014-12-09 | 2017-02-22 | 合肥工业大学 | 基于gps信息视频的三维场景重建方法 |
-
2015
- 2015-08-03 CN CN201510483318.4A patent/CN105139445B/zh active Active
- 2015-12-08 US US15/749,642 patent/US10467800B2/en active Active
- 2015-12-08 EP EP15900236.9A patent/EP3324368B1/en active Active
- 2015-12-08 KR KR1020187005930A patent/KR102033262B1/ko active IP Right Grant
- 2015-12-08 JP JP2018506162A patent/JP6553285B2/ja active Active
- 2015-12-08 WO PCT/CN2015/096623 patent/WO2017020467A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009129182A (ja) * | 2007-11-22 | 2009-06-11 | Internatl Business Mach Corp <Ibm> | 画像を記憶する方法、装置 |
CN104699842A (zh) * | 2015-03-31 | 2015-06-10 | 百度在线网络技术(北京)有限公司 | 图片展示方法和装置 |
JP2017518556A (ja) * | 2015-03-31 | 2017-07-06 | バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド | 画像表示方法及び装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3324368B1 (en) | 2019-10-23 |
US10467800B2 (en) | 2019-11-05 |
US20180225864A1 (en) | 2018-08-09 |
KR20180035869A (ko) | 2018-04-06 |
WO2017020467A1 (zh) | 2017-02-09 |
JP6553285B2 (ja) | 2019-07-31 |
KR102033262B1 (ko) | 2019-10-16 |
CN105139445A (zh) | 2015-12-09 |
CN105139445B (zh) | 2018-02-13 |
EP3324368A4 (en) | 2018-05-23 |
EP3324368A1 (en) | 2018-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6553285B2 (ja) | シーン再構成方法、装置、端末機器及び記憶媒体 | |
Niklaus et al. | 3d ken burns effect from a single image | |
Kelly et al. | BigSUR: Large-scale structured urban reconstruction | |
EP3602494B1 (en) | Robust mesh tracking and fusion by using part-based key frames and priori model | |
Izadinia et al. | Im2cad | |
Yang et al. | Mobile3DRecon: Real-time monocular 3D reconstruction on a mobile phone | |
Li et al. | Reconstructing building mass models from UAV images | |
US8953024B2 (en) | 3D scene model from collection of images | |
US9626585B2 (en) | Composition modeling for photo retrieval through geometric image segmentation | |
Konrad et al. | Automatic 2d-to-3d image conversion using 3d examples from the internet | |
Ling et al. | Virtual contour guided video object inpainting using posture mapping and retrieval | |
JP2008186456A (ja) | 2dイメージシーケンスからの3dシーン再構成方法 | |
CN110176079B (zh) | 一种基于准共形映射的三维模型变形算法 | |
US20210272253A1 (en) | Automatically merging people and objects from multiple digital images to generate a composite digital image | |
CN111951368A (zh) | 一种点云、体素和多视图融合的深度学习方法 | |
Hyeon et al. | Pose correction for highly accurate visual localization in large-scale indoor spaces | |
Yang et al. | Automatic objects removal for scene completion | |
Fang et al. | Narrative collage of image collections by scene graph recombination | |
CN112819937B (zh) | 一种自适应多对象光场三维重建方法、装置及设备 | |
US20080111814A1 (en) | Geometric tagging | |
JP5192437B2 (ja) | 物体領域検出装置、物体領域検出方法および物体領域検出プログラム | |
Bai | Graph-Based Methods in Computer Vision: Developments and Applications: Developments and Applications | |
Dimiccoli et al. | Hierarchical region-based representation for segmentation and filtering with depth in single images | |
Doulamis | Automatic 3D reconstruction from unstructured videos combining video summarization and structure from motion | |
Shen et al. | Structure Preserving Large Imagery Reconstruction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180622 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190401 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190625 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190703 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6553285 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |