JP2022534262A - パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ - Google Patents
パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ Download PDFInfo
- Publication number
- JP2022534262A JP2022534262A JP2021570386A JP2021570386A JP2022534262A JP 2022534262 A JP2022534262 A JP 2022534262A JP 2021570386 A JP2021570386 A JP 2021570386A JP 2021570386 A JP2021570386 A JP 2021570386A JP 2022534262 A JP2022534262 A JP 2022534262A
- Authority
- JP
- Japan
- Prior art keywords
- matching
- confidence
- block
- template
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 21
- 238000000034 method Methods 0.000 claims abstract description 59
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 36
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 36
- 238000013507 mapping Methods 0.000 claims abstract description 32
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 230000003068 static effect Effects 0.000 claims abstract description 21
- 239000002131 composite material Substances 0.000 claims abstract description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 43
- 239000011159 matrix material Substances 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 33
- 238000012795 verification Methods 0.000 claims description 26
- 238000003708 edge detection Methods 0.000 claims description 5
- 230000000694 effects Effects 0.000 abstract description 9
- 238000001514 detection method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000251468 Actinopterygii Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
- G06T3/047—Fisheye or wide-angle transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
Description
S101:隣接する2つのカメラによって撮像された魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する2枚のストライプ画像を形成する。
S102:2枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得する。
S103:領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得する。
S104:最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得する。
S201:2枚の魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する2枚のストライプ画像を形成する。
S202:2枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得する。
S203:領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得する。
S204:最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ画像合成を行ってシームレスなパノラマ画像を取得する。
S2051:テンプレートストライプ画像における静止領域を検出する。前記静止領域は、画像静止領域、またはマッチング状態が安定する領域である。
S2052:前フレームの各最終信頼マッチングブロックの状態キューを解析し、検証連続失敗の回数または再マッチング失敗の回数が設定閾値よりも大きい最終信頼マッチングブロックの所在する行を失敗行にマーキングする。
S2053:前フレームの各最終信頼マッチングブロックに対して、その視差に基づいて、マッチング待ちストライプ画像における、前フレームの各最終信頼マッチングブロックが対応する正方領域を見つけ、この2つの等面積の領域のNCC値を計算し、NCCが設定閾値よりも大きい場合、当該最終信頼マッチングブロックを検証成功にマーキングし、最終信頼マッチングブロックの状態キューを更新し、逆の場合、当該最終信頼マッチングブロックを検証失敗にマーキングし、最終信頼マッチングブロックの状態キューを更新する。
S2054:各行の最終信頼マッチングブロックの状態キューを解析し、非ノードフレームの場合、最終信頼マッチングブロックの検証連続失敗の回数が設定閾値よりも大きい行を再マッチング行にし、ノードフレームの場合、全ての非静止領域の行を再マッチング行にする。
S2022、S2023、S203及びS204に基づいてすべての再マッチング行に操作を行うとともに、最終信頼マッチングブロックの状態キューを更新し、再マッチングが成功した行に含まれる最終信頼マッチングブロックを再マッチング成功にマーキングし、再マッチングが失敗した行における最終信頼マッチングブロックを再マッチング失敗にマーキングする。
図1を参照し、本発明の第1の実施例によって提供されるパノラマ画像合成方法では、複数のカメラから構成されるパノラマカメラによって撮像された魚眼写真に対して、各隣接する2つのカメラによって撮像された魚眼写真に以下のステップを実行する。
S101:隣接する2つのカメラによって撮像された魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する2枚のストライプ画像を形成する。
S102:2枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得する。
S1021:2枚のストライプ画像のいずれか1枚のストライプ画像を選択してテンプレートストライプ画像とし、もう1枚のストライプ画像をマッチング待ちストライプ画像とし、テンプレートストライプ画像をM行N列の正方行列に分割するとともに、正方行列における各正方を1つのテンプレートブロックとし、正方行列における、隣接する行が重複部分を有し、正方行列がテンプレートストライプ画像全体を被覆し、マッチング待ちストライプ画像をM行の正方領域に分割し、正方領域における、隣接する行が重複部分を有し、M及びNはいずれも1よりも大きい正整数である。
S1022:マッチング待ちストライプ画像において各テンプレートブロックをテンプレートマッチングし、マッチング領域が、マッチング待ちストライプ画像における、テンプレートブロックの同一行に対応する行全体領域であり、各テンプレートブロックをテンプレートマッチングした後に1つのNCC(Normalized Cross-Correlation:正規化相互相関)行列を取得することで、M×N個のNCC行列を取得する。
S1023:各NCC行列において最大値を見つけ、最大値のNCC行列における所在位置により、マッチング待ちストライプ画像の対応領域における前記テンプレートブロックの中心位置を算出し、テンプレートストライプ画像における既知のテンプレートブロックの中心の位置に基づいて、前記テンプレートブロックの視差(Disparity)を計算し、各テンプレートブロックの視差を算出して初期テンプレートマッチング結果とする。
S1031:各テンプレートブロックに対して、NCC行列を利用し、同一行で左方及び右方の双方向へ拡張して1つのマッチングブロック候補を形成し、各マッチングブロック候補に対して、視差一致性、マッチングブロック候補の幅及びNCC値で、予め設定された重み付け値によりマッチング信頼度Mを構築し、マッチング信頼度Mで各行のマッチングブロック候補をソートし、マッチング信頼度の最も高いマッチングブロック候補を選出して当該行の信頼マッチングブロックとする。
S10331:拡張開始行を決定する。各行に対して、信頼マッチングブロックの視差と領域平均値との一致性、及び信頼マッチングブロックの信頼度に基づいて予め設定された重み付け値で行の信頼度値を構築し、各行の信頼度値をソートし、信頼度値が前から予め設定された数量の行(例えば、前の10行)を選択して拡張開始行とする。
S10332:各拡張開始行を上方及び下方の双方向に拡張する。拡張待ち行の各マッチング候補に対して、目前拡張行の最適マッチングと当該マッチング候補との視差一致性の尺度Cを計算し、視差一致性の尺度Cが設定された視差一致性閾値よりも大きい場合、前記視差一致性の尺度Cを予め設定された重み付け値として、前記マッチング候補のマッチング信頼度M内に更新し、マッチング信頼度Mで拡張待ち行のすべてのマッチング候補をソートし、M値の最も大きいマッチングブロック候補を選択して目前拡張領域内に格納する。目前拡張行の最適マッチングと拡張待ち行の任意のマッチング候補との視差一致性の尺度Cがいずれも設定された視差一致性閾値よりも小さい場合、目前領域の拡張を中断して、各領域に対して複数の拡張候補領域を与えることができる。
S10333:各拡張候補領域に対して、領域に含まれるマッチングブロック候補の平均マッチング信頼度及び領域の大きさで当該領域のマッチング信頼度を構築し、当該領域におけるすべてのマッチングブロック候補のマッチング信頼度Mに対して当該領域のマッチング信頼度を使用して割り当て、当該領域内のすべてのマッチングブロック候補を領域信頼マッチングブロックとしてマーキングし、各行の複数の領域信頼マッチングブロックに対して、マッチング信頼度Mの最も高い領域信頼マッチングブロックを選択して当該行の最終信頼マッチングブロックとし、当該最終信頼マッチングブロックに対応する視差は当該行の最終視差である。
S1034:S1032を再実行する。
S1051:テンプレートストライプ画像における静止領域を検出する。前記静止領域は、画像静止領域、またはマッチング状態が安定する領域である。
図2を参照し、本発明の第2の実施例は、パノラマ画像合成方法を提供し、重複領域を有する2枚の魚眼写真に対して、以下のステップを実行する。
S201:2枚の魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する2枚のストライプ画像を形成する。
S202:2枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得する。
S2021:2枚のストライプ画像のいずれか1枚のストライプ画像を選択してテンプレートストライプ画像とし、もう1枚のストライプ画像をマッチング待ちストライプ画像とし、テンプレートストライプ画像をM行N列の正方行列に分割するとともに、正方行列における各正方を1つのテンプレートブロックとし、正方行列における、隣接する行が重複部分を有し、正方行列がテンプレートストライプ画像全体を被覆し、マッチング待ちストライプ画像をM行の正方領域に分割し、正方領域における、隣接する行が重複部分を有し、M及びNはいずれも1よりも大きい正整数である。
S2022:マッチング待ちストライプ画像において各テンプレートブロックをテンプレートマッチングし、マッチング領域が、マッチング待ちストライプ画像における、テンプレートブロックの同一行に対応する行全体領域であり、各テンプレートブロックをテンプレートマッチングした後に1つのNCC(Normalized Cross-Correlation:正規化相互相関)行列を取得することで、M×N個のNCC行列を取得する。
S2023:各NCC行列において最大値を見つけ、最大値のNCC行列における所在位置により、マッチング待ちストライプ画像の対応領域における前記テンプレートブロックの中心位置を算出し、テンプレートストライプ画像における既知のテンプレートブロックの中心の位置に基づいて、前記テンプレートブロックの視差(Disparity)を計算し、各テンプレートブロックの視差を算出して初期テンプレートマッチング結果とする。
図5及び図6を参照し、本発明の第2の実施例では、S203は、具体的に以下のステップを含んでもよい。
S2031:各テンプレートブロックに対して、NCC行列を利用し、同一行で左方及び右方の双方向へ拡張して1つのマッチングブロック候補を形成し、各マッチングブロック候補に対して、視差一致性、マッチングブロック候補の幅及びNCC値で、予め設定された重み付け値によりマッチング信頼度Mを構築し、マッチング信頼度Mで各行のマッチングブロック候補をソートし、マッチング信頼度の最も高いマッチングブロック候補を選出して当該行の信頼マッチングブロックとする。
S20331:拡張開始行を決定する。各行に対して、信頼マッチングブロックの視差と領域平均値との一致性、及び信頼マッチングブロックの信頼度に基づいて予め設定された重み付け値で行の信頼度値を構築し、各行の信頼度値をソートし、信頼度値が前から予め設定された数量の行(例えば、前の10行)を選択して拡張開始行とする。
S20332:各拡張開始行を上方及び下方の双方向に拡張する。拡張待ち行の各マッチング候補に対して、目前拡張行の最適マッチングと当該マッチング候補との視差一致性の尺度Cを計算し、視差一致性の尺度Cが設定された視差一致性閾値よりも大きい場合、前記視差一致性の尺度Cを予め設定された重み付け値として、前記マッチング候補のマッチング信頼度M内に更新し、マッチング信頼度Mで拡張待ち行のすべてのマッチング候補をソートし、M値の最も大きいマッチングブロック候補を選択して目前拡張領域内に格納する。目前拡張行の最適マッチングと拡張待ち行の任意のマッチング候補との視差一致性の尺度Cがいずれも設定された視差一致性閾値よりも小さい場合、目前領域の拡張を中断して、各領域に対して複数の拡張候補領域を与えることができる。
本発明の第3の実施例は、パノラマビデオ合成方法を提供し、前記パノラマビデオ合成方法は、第2の実施例のいずれかのパノラマ画像合成方法によりパノラマビデオの第1のフレームを合成することを特徴とする。
本発明の第4の実施例は、パノラマビデオ合成方法を提供し、前記パノラマビデオ合成方法は、第2の実施例のいずれかのパノラマ画像合成方法によりパノラマビデオの中間フレームを合成し、S2022の前に、以下のステップをさらに含む。
S2051:テンプレートストライプ画像における静止領域を検出する。前記静止領域は、画像静止領域、またはマッチング状態が安定する領域である。
本発明の第5の実施例は、コンピュータ読み取り可能な記録媒体を提供し、前記コンピュータ読み取り可能な記録媒体は、コンピュータプログラムを記録しており、前記コンピュータプログラムがプロセッサによって実行されると、第1の実施例または第2の実施例のいずれかのパノラマ画像合成方法のステップを実現することを特徴とする。前記コンピュータ読み取り可能な記録媒体は、非一時的なコンピュータ読み取り可能な記録媒体であってもよい。
本発明の第6の実施例は、コンピュータ読み取り可能な記録媒体を提供する。前記コンピュータ読み取り可能な記録媒体は、コンピュータプログラムを記録しており、前記コンピュータプログラムがプロセッサによって実行されると、第3の実施例または第4の実施例のいずれかのパノラマビデオ合成方法のステップを実現する。前記コンピュータ読み取り可能な記録媒体は、非一時的なコンピュータ読み取り可能な記録媒体であってもよい。
図7は、本発明の実施例5によって提供される携帯端末の具体的な構成を示すブロック図。携帯端末100は、1つまたは複数のプロセッサ101と、メモリ102と、1つまたは複数のコンピュータプログラムとを含み、前記プロセッサ101は、バスにより前記メモリ102に接続され、前記1つまたは複数のコンピュータプログラムは、前記メモリ102内に記録されているとともに、前記1つまたは複数のプロセッサ101によって実行されるよう設定され、前記プロセッサ101は、前記コンピュータプログラムを実行すると、本発明の第1の実施例または第2の実施例によって提供されるパノラマ画像合成方法のステップを実現する。
図7は、本発明の実施例6によって提供される携帯端末の具体的な構成を示すブロック図であり、携帯端末100は、1つまたは複数のプロセッサ101と、メモリ102と、1つまたは複数のコンピュータプログラムとを含み、前記プロセッサ101は、バスにより前記メモリ102に接続され、前記1つまたは複数のコンピュータプログラムは、前記メモリ102内に記録されているとともに、前記1つまたは複数のプロセッサ101によって実行されるよう設定され、前記プロセッサ101は、前記コンピュータプログラムを実行すると、本発明の第3の実施例または第4の実施例によって提供されるパノラマビデオ合成方法のステップを実現する。
Claims (25)
- パノラマ画像合成方法であって、
複数のカメラから構成されるパノラマカメラによって撮像された魚眼写真に対して、各隣接する2つのカメラによって撮像された魚眼写真に、
隣接する2つのカメラによって撮像された魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する2枚のストライプ画像を形成するステップS101と、
2枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得するステップS102と、
領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得するステップS103と、
最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得するステップS104と、を実行することを特徴とするパノラマ画像合成方法。 - S102の前に、2枚のストライプ画像にガウスぼかしを行うステップをさらに含むことを特徴とする請求項1に記載の方法。
- S102は、具体的に、
2枚のストライプ画像のいずれか1枚のストライプ画像を選択してテンプレートストライプ画像とし、もう1枚のストライプ画像をマッチング待ちストライプ画像とし、テンプレートストライプ画像をM行N列の正方行列に分割するとともに、正方行列における各正方を1つのテンプレートブロックとし、正方行列における、隣接する行が重複部分を有し、正方行列がテンプレートストライプ画像全体を被覆し、マッチング待ちストライプ画像をM行の正方領域に分割し、正方領域における、隣接する行が重複部分を有し、M及びNはいずれも1よりも大きい正整数であるステップS1021と、
マッチング待ちストライプ画像において各テンプレートブロックをテンプレートマッチングし、マッチング領域が、マッチング待ちストライプ画像における、テンプレートブロックの同一行に対応する行全体領域であり、各テンプレートブロックをテンプレートマッチングした後に1つのNCC行列を取得することで、M×N個のNCC行列を取得するステップS1022と、
各NCC行列において最大値を見つけ、最大値のNCC行列における所在位置により、マッチング待ちストライプ画像の対応領域における前記テンプレートブロックの中心位置を算出し、テンプレートストライプ画像における既知のテンプレートブロックの中心の位置に基づいて、前記テンプレートブロックの視差を計算し、各テンプレートブロックの視差を算出して初期テンプレートマッチング結果とするステップS1023と、を含むことを特徴とする請求項1または請求項2に記載の方法。 - S1021のテンプレートブロックは、有効テンプレートブロックであり、
前記有効テンプレートブロックは、Cannyエッジ検出によって得られた画像の勾配情報に基づいて、各マッチング正方のテクスチャの豊かさを計算し、テクスチャの豊かさが設定閾値よりも大きい場合に有効テンプレートブロックにマーキングすることで決定されることを特徴とする請求項3に記載の方法。 - S103は、具体的に、
各テンプレートブロックに対して、NCC行列を利用し、同一行で左方及び右方の双方向へ拡張して1つのマッチングブロック候補を形成し、各マッチングブロック候補に対して、視差一致性、マッチングブロック候補の幅及びNCC値で、予め設定された重み付け値によりマッチング信頼度Mを構築し、マッチング信頼度Mで各行のマッチングブロック候補をソートし、マッチング信頼度の最も高いマッチングブロック候補を選出して当該行の信頼マッチングブロックとするステップS1031と、
信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして複数の領域を取得し、同一領域内の隣接する行の視差のx分量の差が設定閾値を超えないようにし、領域の大きさによって領域をフィルタリングし、予め設定された行数よりも少ない行数の領域を削除し、領域が形成されない行を失敗行に設定し、再び信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして領域情報を更新するステップS1032と、
各領域を上下行に拡張するステップS1033と、
S1032を再実行するステップS1034と、を含むことを特徴とする請求項3に記載の方法。 - S1033は、具体的に、
各行に対して、信頼マッチングブロックの視差と領域平均値との一致性、及び信頼マッチングブロックの信頼度に基づいて予め設定された重み付け値で行の信頼度値を構築し、各行の信頼度値をソートし、信頼度値が前から予め設定された数量の行を選択して拡張開始行とし、拡張開始行を決定するステップS10331と、
拡張待ち行の各マッチング候補に対して、目前拡張行の最適マッチングと当該マッチング候補との視差一致性の尺度を計算し、視差一致性の尺度が設定された視差一致性閾値よりも大きい場合、前記視差一致性の尺度を予め設定された重み付け値として、前記マッチング候補のマッチング信頼度に更新し、マッチング信頼度で拡張待ち行のすべてのマッチング候補をソートし、前記マッチング信頼度値の最も高いマッチング候補を選択して目前拡張領域内に格納し、目前拡張行の最適マッチングと拡張待ち行の任意のマッチング候補との視差一致性の尺度がいずれも設定された視差一致性閾値よりも小さい場合、目前領域の拡張を中断して、各領域に対して複数の拡張候補領域を与え、各拡張開始行を上方及び下方の双方向に拡張するステップS10332と、
各拡張候補領域に対して、領域に含まれるマッチングブロック候補の平均マッチング信頼度及び領域の大きさで当該領域のマッチング信頼度を構築し、当該領域におけるすべてのマッチングブロック候補のマッチング信頼度に対して当該領域のマッチング信頼度を使用して割り当て、当該領域内のすべてのマッチングブロック候補を領域信頼マッチングブロックとしてマーキングし、各行の複数の領域信頼マッチングブロックに対して、マッチング信頼度の最も高い領域信頼マッチングブロックを選択して当該行の最終信頼マッチングブロックとし、当該最終信頼マッチングブロックに対応する視差は当該行の最終視差であるステップS10333と、を含むことを特徴とする請求項5に記載の方法。 - S104では、具体的に、
各行の最終信頼マッチングブロックと、最終信頼マッチングブロックの対応する視差とに基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得することを特徴とする請求項6に記載の方法。 - パノラマ画像合成方法は、パノラマビデオ合成に応用される場合にパノラマビデオの第1のフレームに適用され、すなわち、前記魚眼写真は、パノラマビデオの第1のフレームの対応する魚眼写真であり、パノラマビデオの中間フレームに対して、S1022の前に、
テンプレートストライプ画像における、画像静止領域、またはマッチング状態が安定する領域である静止領域を検出するステップS1051と、
前フレームの各最終信頼マッチングブロックの状態キューを解析し、検証連続失敗の回数または再マッチング失敗の回数が設定閾値よりも大きい最終信頼マッチングブロックの所在する行を失敗行にマーキングするステップS1052と、
前フレームの各最終信頼マッチングブロックに対して、その視差に基づいて、マッチング待ちストライプ画像における、前フレームの各最終信頼マッチングブロックが対応する正方領域を見つけ、この2つの等面積の領域のNCC値を計算し、NCCが設定閾値よりも大きい場合、当該最終信頼マッチングブロックを検証成功にマーキングし、最終信頼マッチングブロックの状態キューを更新し、逆の場合、当該最終信頼マッチングブロックを検証失敗にマーキングし、最終信頼マッチングブロックの状態キューを更新するステップS1053と、
各行の最終信頼マッチングブロックの状態キューを解析し、非ノードフレームの場合、最終信頼マッチングブロックの検証連続失敗の回数が設定閾値よりも大きい行を再マッチング行にし、ノードフレームの場合、全ての非静止領域の行を再マッチング行にするステップS1054と、をさらに含み、
S1022、S1023、S103及びS104に基づいてすべての再マッチング行に操作を行うとともに、最終信頼マッチングブロックの状態キューを更新し、再マッチングが成功した行に含まれる最終信頼マッチングブロックを再マッチング成功にマーキングし、再マッチングが失敗した行における最終信頼マッチングブロックを再マッチング失敗にマーキングすることを特徴とする請求項7に記載の方法。 - 前記テンプレートストライプ画像における、マッチング状態が安定する領域検出することは、具体的に、
テンプレートブロックの状態キューを解析し、検証成功の回数が設定閾値よりも大きくてNCC値変化が設定閾値よりも小さいテンプレートブロックの所在する行を、静止領域にマーキングすることを特徴とする請求項8に記載の方法。 - コンピュータプログラムが記録されているコンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項1~9のいずれか一項に記載のパノラマ画像合成方法のステップを実現し、
非一時的なコンピュータ読み取り可能な記録媒体であることを特徴とするコンピュータ読み取り可能な記録媒体。 - 1つまたは複数のプロセッサと、メモリと、1つまたは複数のコンピュータプログラムとを含み、
前記プロセッサは、バスにより前記メモリに接続され、
前記1つまたは複数のコンピュータプログラムは、前記メモリ内に記録されているとともに、前記1つまたは複数のプロセッサによって実行されるよう設定されるパノラマカメラであって、
前記プロセッサは、前記コンピュータプログラムを実行すると、請求項1~9のいずれか一項に記載のパノラマ画像合成方法のステップを実現することを特徴とするパノラマカメラ。 - パノラマ画像合成方法であって、
重複領域を有する2枚の魚眼写真に対して、
2枚の魚眼写真を球体モデルの対応の合成領域に写像し、重複領域を有する2枚のストライプ画像を形成するステップS201と、
2枚のストライプ画像に対して分割テンプレートマッチングを行い、初期テンプレートマッチング結果を取得するステップS202と、
領域拡張に基づくマッチングフィルタリングアルゴリズムを用いて、初期テンプレートマッチング結果をマッチングフィルタリングして最終のマッチング結果を取得するステップS203と、
最終のマッチング結果に基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ画像合成を行ってシームレスなパノラマ画像を取得するステップS204と、を実行することを特徴とするパノラマ画像合成方法。 - S202の前に、2枚のストライプ画像にガウスぼかしを行うステップをさらに含むことを特徴とする請求項12に記載の方法。
- S202は、具体的に、
2枚のストライプ画像のいずれか1枚のストライプ画像を選択してテンプレートストライプ画像とし、もう1枚のストライプ画像をマッチング待ちストライプ画像とし、テンプレートストライプ画像をM行N列の正方行列に分割するとともに、正方行列における各正方を1つのテンプレートブロックとし、正方行列における、隣接する行が重複部分を有し、正方行列がテンプレートストライプ画像全体を被覆し、マッチング待ちストライプ画像をM行の正方領域に分割し、正方領域における、隣接する行が重複部分を有し、M及びNはいずれも1よりも大きい正整数であるステップS2021と、
マッチング待ちストライプ画像において各テンプレートブロックをテンプレートマッチングし、マッチング領域が、マッチング待ちストライプ画像における、テンプレートブロックの同一行に対応する行全体領域であり、各テンプレートブロックをテンプレートマッチングした後に1つのNCC行列を取得することで、M×N個のNCC行列を取得するステップS2022と、
各NCC行列において最大値を見つけ、最大値のNCC行列における所在位置により、マッチング待ちストライプ画像の対応領域における前記テンプレートブロックの中心位置を算出し、テンプレートストライプ画像における既知のテンプレートブロックの中心の位置に基づいて、前記テンプレートブロックの視差を計算し、各テンプレートブロックの視差を算出して初期テンプレートマッチング結果とするステップS2023と、を含むことを特徴とする請求項12に記載の方法。 - S2021におけるテンプレートブロックは、有効テンプレートブロックであり、
前記有効テンプレートブロックは、Cannyエッジ検出によって得られた画像の勾配情報に基づいて、各マッチング正方のテクスチャの豊かさを計算し、テクスチャの豊かさが設定閾値よりも大きい場合に有効テンプレートブロックにマーキングすることで決定されることを特徴とする請求項14に記載の方法。 - S203は、具体的に、
各テンプレートブロックに対して、NCC行列を利用し、同一行で左方及び右方の双方向へ拡張して1つのマッチングブロック候補を形成し、各マッチングブロック候補に対して、視差一致性、マッチングブロック候補の幅及びNCC値で、予め設定された重み付け値によりマッチング信頼度Mを構築し、マッチング信頼度Mで各行のマッチングブロック候補をソートし、マッチング信頼度の最も高いマッチングブロック候補を選出して当該行の信頼マッチングブロックとするステップS2031と、
信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして複数の領域を取得し、同一領域内の隣接する行の視差のx分量の差が設定閾値を超えないようにし、領域の大きさによって領域をフィルタリングし、予め設定された行数よりも少ない行数の領域を削除し、領域が形成されない行を失敗行に設定し、再び信頼マッチングブロックの視差一致性に基づいて、信頼マッチングブロックをクラスタリングして領域情報を更新するステップS2032と、
各領域を上下行に拡張するステップS2033と、
S2032を再実行するステップS2034と、を含むことを特徴とする請求項14に記載の方法。 - S2033は、具体的に、
各行に対して、信頼マッチングブロックの視差と領域平均値との一致性、及び信頼マッチングブロックの信頼度に基づいて予め設定された重み付け値で行の信頼度値を構築し、各行の信頼度値をソートし、信頼度値が前から予め設定された数量の行を選択して拡張開始行とし、拡張開始行を決定するステップS20331と、
拡張待ち行の各マッチング候補に対して、目前拡張行の最適マッチングと当該マッチング候補との視差一致性の尺度を計算し、視差一致性の尺度が設定された視差一致性閾値よりも大きい場合、前記視差一致性の尺度を予め設定された重み付け値として、前記マッチング候補のマッチング信頼度に更新し、マッチング信頼度で拡張待ち行のすべてのマッチング候補をソートし、前記マッチング信頼度値の最も高いマッチング候補を選択して目前拡張領域内に格納し、目前拡張行の最適マッチングと拡張待ち行の任意のマッチング候補との視差一致性の尺度がいずれも設定された視差一致性閾値よりも小さい場合、目前領域の拡張を中断して、各領域に対して複数の拡張候補領域を与え、各拡張開始行を上方及び下方の双方向に拡張するステップS20332と、
各拡張候補領域に対して、領域に含まれるマッチングブロック候補の平均マッチング信頼度及び領域の大きさで当該領域のマッチング信頼度を構築し、当該領域におけるすべてのマッチングブロック候補のマッチング信頼度に対して当該領域のマッチング信頼度を使用して割り当て、当該領域内のすべてのマッチングブロック候補を領域信頼マッチングブロックとしてマーキングし各行の複数の領域信頼マッチングブロックに対して、マッチング信頼度の最も高い領域信頼マッチングブロックを選択して当該行の最終信頼マッチングブロックとし、当該最終信頼マッチングブロックに対応する視差は当該行の最終視差であるステップS20333と、を含むことを特徴とする請求項16に記載の方法。 - S204では、具体的に、
各行の最終信頼マッチングブロックと、最終信頼マッチングブロックの対応する視差とに基づいて、魚眼写真と球体モデルの対応の合成領域との写像関係を更新し、更新後の写像関係によりパノラマ合成を行ってシームレスなパノラマ画像を取得することを特徴とする請求項17に記載の方法。 - パノラマビデオ合成方法であって、
前記パノラマビデオ合成方法は、請求項12~18のいずれか一項に記載のパノラマ画像合成方法によりパノラマビデオの第1のフレームを合成することを特徴とするパノラマビデオ合成方法。 - パノラマビデオ合成方法であって、
請求項12~18のいずれか一項に記載のパノラマ画像合成方法によりパノラマビデオの中間フレームを合成し、
S2022の前に、
テンプレートストライプ画像における、画像静止領域、またはマッチング状態が安定する領域である静止領域を検出するステップS2051と、
前フレームの各最終信頼マッチングブロックの状態キューを解析し、検証連続失敗の回数または再マッチング失敗の回数が設定閾値よりも大きい最終信頼マッチングブロックの所在する行を失敗行にマーキングするステップS2052と、
前フレームの各最終信頼マッチングブロックに対して、その視差に基づいて、マッチング待ちストライプ画像における、前フレームの各最終信頼マッチングブロックが対応する正方領域を見つけ、この2つの等面積の領域のNCC値を計算し、NCCが設定閾値よりも大きい場合、当該最終信頼マッチングブロックを検証成功にマーキングし、最終信頼マッチングブロックの状態キューを更新し、逆の場合、当該最終信頼マッチングブロックを検証失敗にマーキングし、最終信頼マッチングブロックの状態キューを更新するステップS2053と、
各行の最終信頼マッチングブロックの状態キューを解析し、非ノードフレームの場合、最終信頼マッチングブロックの検証連続失敗の回数が設定閾値よりも大きい行を再マッチング行にし、ノードフレームの場合、全ての非静止領域の行を再マッチング行にするステップS2054と、をさらに含み、
S2022、S2023、S203及びS204に基づいてすべての再マッチング行に操作を行うとともに、最終信頼マッチングブロックの状態キューを更新し、再マッチングが成功した行に含まれる最終信頼マッチングブロックを再マッチング成功にマーキングし、再マッチングが失敗した行における最終信頼マッチングブロックを再マッチング失敗にマーキングすることを特徴とする方法。 - 前記テンプレートストライプ画像における、マッチング状態が安定する領域検出することは、具体的に、
テンプレートブロックの状態キューを解析し、検証成功の回数が設定閾値よりも大きくてNCC値変化が設定閾値よりも小さいテンプレートブロックの所在する行を、静止領域にマーキングすることを特徴とする請求項20に記載の方法。 - コンピュータプログラムが記録されているコンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項12~18のいずれか一項に記載のパノラマ画像合成方法のステップを実現し、
非一時的なコンピュータ読み取り可能な記録媒体であることを特徴とするコンピュータ読み取り可能な記録媒体。 - コンピュータプログラムが記録されているコンピュータ読み取り可能な記録媒体であって、
前記コンピュータプログラムがプロセッサによって実行されると、請求項19~21のいずれか一項に記載のパノラマビデオ合成方法のステップを実現し、
非一時的なコンピュータ読み取り可能な記録媒体であることを特徴とするコンピュータ読み取り可能な記録媒体。 - 1つまたは複数のプロセッサと、メモリと、1つまたは複数のコンピュータプログラムとを含み、
前記プロセッサは、バスにより前記メモリに接続され、
前記1つまたは複数のコンピュータプログラムは、前記メモリ内に記録されているとともに、前記1つまたは複数のプロセッサによって実行されるよう設定されるパノラマカメラであって、
前記プロセッサは、前記コンピュータプログラムを実行すると、請求項12~18のいずれか一項に記載のパノラマ画像合成方法のステップを実現することを特徴とするパノラマカメラ。 - 1つまたは複数のプロセッサと、メモリと、1つまたは複数のコンピュータプログラムとを含み、
前記プロセッサは、バスにより前記メモリに接続され、
前記1つまたは複数のコンピュータプログラムは、前記メモリ内に記録されているとともに、前記1つまたは複数のプロセッサによって実行されるよう設定されるパノラマカメラであって、
前記プロセッサは、前記コンピュータプログラムを実行すると、請求項19~21のいずれか一項に記載のパノラマビデオ合成方法のステップを実現することを特徴とするパノラマカメラ。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910464435.4 | 2019-05-30 | ||
CN201910464435.4A CN110189256B (zh) | 2019-05-30 | 2019-05-30 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
PCT/CN2020/092344 WO2020238897A1 (zh) | 2019-05-30 | 2020-05-26 | 一种全景图像、视频拼接方法、计算机可读存储介质及全景相机 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022534262A true JP2022534262A (ja) | 2022-07-28 |
JP7350893B2 JP7350893B2 (ja) | 2023-09-26 |
Family
ID=67719082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021570386A Active JP7350893B2 (ja) | 2019-05-30 | 2020-05-26 | パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220237736A1 (ja) |
EP (1) | EP3982322A4 (ja) |
JP (1) | JP7350893B2 (ja) |
CN (1) | CN110189256B (ja) |
WO (1) | WO2020238897A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110189256B (zh) * | 2019-05-30 | 2023-05-02 | 影石创新科技股份有限公司 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
CN114764824A (zh) * | 2020-12-30 | 2022-07-19 | 安霸国际有限合伙企业 | 使用导引节点的视差图构建 |
CN113344782B (zh) * | 2021-05-31 | 2023-07-18 | 浙江大华技术股份有限公司 | 图像拼接方法、装置、存储介质及电子装置 |
CN113793281B (zh) * | 2021-09-15 | 2023-09-08 | 江西格灵如科科技有限公司 | 一种基于gpu实现的全景图缝隙实时缝合方法及系统 |
CN114494083B (zh) * | 2022-04-14 | 2022-07-29 | 杭州雄迈集成电路技术股份有限公司 | 一种自适应提升视频通透性方法和系统 |
CN115460356B (zh) * | 2022-08-26 | 2024-06-25 | 中南民族大学 | 一种基于接缝查找优化技术的视频拼接方法及装置 |
CN115620181B (zh) * | 2022-12-05 | 2023-03-31 | 海豚乐智科技(成都)有限责任公司 | 基于墨卡托坐标切片的航拍图像实时拼接方法 |
CN116485645A (zh) * | 2023-04-13 | 2023-07-25 | 北京百度网讯科技有限公司 | 图像拼接方法、装置、设备及存储介质 |
CN116563186B (zh) * | 2023-05-12 | 2024-07-12 | 中山大学 | 一种基于专用ai感知芯片的实时全景感知系统及方法 |
CN116452426B (zh) * | 2023-06-16 | 2023-09-05 | 广汽埃安新能源汽车股份有限公司 | 一种全景图拼接方法及装置 |
CN116612390B (zh) * | 2023-07-21 | 2023-10-03 | 山东鑫邦建设集团有限公司 | 一种建筑工程用的信息管理系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998054674A1 (en) * | 1997-05-30 | 1998-12-03 | Enroute, Inc. | Combining digital images |
JP2016040670A (ja) * | 2014-08-12 | 2016-03-24 | 株式会社リコー | 画像処理システム、画像処理装置、プログラムおよび撮像システム |
JP2018059767A (ja) * | 2016-10-04 | 2018-04-12 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1272750C (zh) * | 2003-01-24 | 2006-08-30 | 上海杰图软件技术有限公司 | 一种基于两张鱼眼图像的智能型全景生成方法 |
JP5428618B2 (ja) * | 2009-07-29 | 2014-02-26 | ソニー株式会社 | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム |
CN103971375B (zh) * | 2014-05-22 | 2016-03-02 | 中国人民解放军国防科学技术大学 | 一种基于图像拼接的全景凝视相机空间标定方法 |
CN104104911B (zh) * | 2014-07-04 | 2017-09-29 | 华中师范大学 | 全景图像生成过程中的时间戳消除和重置方法及系统 |
CN105678729B (zh) * | 2016-02-24 | 2018-03-09 | 段梦凡 | 鱼眼镜头全景图像拼接方法 |
CN107666606B (zh) * | 2016-07-29 | 2019-07-12 | 东南大学 | 双目全景图像获取方法及装置 |
JP7268369B2 (ja) * | 2019-01-30 | 2023-05-08 | 株式会社リコー | 撮像システム、現像システム、撮像方法、及びプログラム |
CN110189256B (zh) * | 2019-05-30 | 2023-05-02 | 影石创新科技股份有限公司 | 一种全景图像拼接方法、计算机可读存储介质及全景相机 |
-
2019
- 2019-05-30 CN CN201910464435.4A patent/CN110189256B/zh active Active
-
2020
- 2020-05-26 JP JP2021570386A patent/JP7350893B2/ja active Active
- 2020-05-26 US US17/615,571 patent/US20220237736A1/en active Pending
- 2020-05-26 WO PCT/CN2020/092344 patent/WO2020238897A1/zh unknown
- 2020-05-26 EP EP20814063.2A patent/EP3982322A4/en not_active Withdrawn
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1998054674A1 (en) * | 1997-05-30 | 1998-12-03 | Enroute, Inc. | Combining digital images |
JP2016040670A (ja) * | 2014-08-12 | 2016-03-24 | 株式会社リコー | 画像処理システム、画像処理装置、プログラムおよび撮像システム |
JP2018059767A (ja) * | 2016-10-04 | 2018-04-12 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7350893B2 (ja) | 2023-09-26 |
EP3982322A4 (en) | 2023-03-22 |
EP3982322A1 (en) | 2022-04-13 |
CN110189256A (zh) | 2019-08-30 |
CN110189256B (zh) | 2023-05-02 |
US20220237736A1 (en) | 2022-07-28 |
WO2020238897A1 (zh) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022534262A (ja) | パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ | |
Hu et al. | Unsupervised video object segmentation using motion saliency-guided spatio-temporal propagation | |
US8718324B2 (en) | Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation | |
JP5554984B2 (ja) | パターン認識方法およびパターン認識装置 | |
WO2019218824A1 (zh) | 一种移动轨迹获取方法及其设备、存储介质、终端 | |
Li et al. | A weighted sparse coding framework for saliency detection | |
WO2022078041A1 (zh) | 遮挡检测模型的训练方法及人脸图像的美化处理方法 | |
Chen et al. | A hierarchical model incorporating segmented regions and pixel descriptors for video background subtraction | |
WO2020181872A1 (zh) | 一种物体检测方法、装置及电子设备 | |
JP2022504292A (ja) | 画像処理方法、装置、デバイスおよびコンピュータプログラム | |
WO2014022254A2 (en) | Identifying key frames using group sparsity analysis | |
CN107223242B (zh) | 用于在多个已存储图像中搜索相似图像的方法 | |
Xiao et al. | Defocus blur detection based on multiscale SVD fusion in gradient domain | |
CN110012350B (zh) | 一种视频处理方法及装置、设备、存储介质 | |
WO2022206680A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
JP2018045302A (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN111222508A (zh) | 基于roi的户型图比例尺识别方法、装置、计算机设备 | |
KR101851896B1 (ko) | 파티클 기반 특징점을 이용한 비디오 안정화 방법 및 그 장치 | |
CN109299702B (zh) | 一种基于深度时空图的人体行为识别方法及系统 | |
Meena et al. | Image splicing forgery detection using noise level estimation | |
CN116681986A (zh) | 人脸预测模型的训练及多任务预测方法、装置和直播系统 | |
WO2022206679A1 (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
CN111104857A (zh) | 一种基于步态能量图的身份识别方法及系统 | |
JP2016081472A (ja) | 画像処理装置、画像処理方法及びプログラム | |
Yin et al. | Scaling resilient adversarial patch |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230307 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230913 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7350893 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |