JP2016100899A - 映像補正方法及び装置 - Google Patents

映像補正方法及び装置 Download PDF

Info

Publication number
JP2016100899A
JP2016100899A JP2015225940A JP2015225940A JP2016100899A JP 2016100899 A JP2016100899 A JP 2016100899A JP 2015225940 A JP2015225940 A JP 2015225940A JP 2015225940 A JP2015225940 A JP 2015225940A JP 2016100899 A JP2016100899 A JP 2016100899A
Authority
JP
Japan
Prior art keywords
video
feature point
viewpoint
frame
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015225940A
Other languages
English (en)
Other versions
JP6767743B2 (ja
Inventor
孝 錫 黄
Hyo Seok Huang
孝 錫 黄
良 鎬 趙
Yang-Ho Cho
良 鎬 趙
東 ▲きょん▼ 南
Dong Kyung Nam
東 ▲きょん▼ 南
旭 崔
Wook Choi
旭 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2016100899A publication Critical patent/JP2016100899A/ja
Application granted granted Critical
Publication of JP6767743B2 publication Critical patent/JP6767743B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/25Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

【課題】 多視点映像を補正する映像補正方法及び装置を提供すること。
【解決手段】 一実施形態によると、映像補正装置は、多視点映像から特徴点を抽出し、抽出された特徴点に基づいて映像補正を行う。映像補正装置は、第1視点映像の時間的に連続する映像フレームの間で互いに対応する特徴点を追跡することができる。映像補正装置は、第1視点映像で追跡された特徴点と第2視点映像の特徴点との間で互いに対応する特徴点の対に基づいて映像補正を行う。
【選択図】 図1

Description

本発明は、多視点映像を補正する映像補正方法及び装置に関する。
3D(Dimensional)映像を表示する3Dディスプレイ装置は、表示される複数の映像を生成するために一般的に左映像及び右映像を含むステレオ映像で複数の視点映像を生成する方式を用いる。複数の視点映像が生成される過程で、左映像及び右映像に基づいて深度映像(Depth Image)が生成され、左映像と右映像との間の対応する全てのピクセルの高さ値を一致させる映像整列(Image Rectification)が行われる。一般に、映像整列では、エピポーラ幾何(Epipolar Geometry)に基づいた整列を用いて左映像と右映像との間の高さ差を調整する。
本発明の目的は、多視点映像を補正する映像補正方法及び装置を提供することにある。
一実施形態に係る映像補正方法は、第1視点映像及び第2視点映像を含む多視点映像から特徴点を抽出するステップと、前記第1視点映像の現在の映像フレームに含まれた特徴点のうち、前記第1視点映像の以前の映像フレームの特徴点に対応する第1特徴点を決定するステップと、前記第1特徴点のうち前記第2視点映像の現在の映像フレームに含まれた特徴点に対応する第2特徴点を決定するステップと、前記第2特徴点に基づいて前記第2視点映像の現在の映像フレームを映像補正するステップとを含む。
一実施形態に係る映像補正方法において、前記第1特徴点を決定するステップは、前記第1視点映像の現在の映像フレームと前記第1視点映像の以前の映像フレームとの間で互いに対応する特徴点の対を決定するステップと、前記第1視点映像の現在の映像フレームと前記第1視点映像の以前の映像フレームとの間の基本行列を用いて、前記特徴点の対から前記第1特徴点を決定するステップとを含んでもよい。
一実施形態に係る映像補正方法において、前記第1特徴点を決定するステップは、前記決定された特徴点の対のうち予め設定された個数の特徴点の対を任意に選択するステップと、前記選択された特徴点の対の位置情報に基づいて前記基本行列を決定するステップとを含んでもよい。
一実施形態に係る映像補正方法において、前記第2視点映像の現在の映像フレームを映像補正するステップは、前記第2特徴点に対応する前記第2視点映像の現在の映像フレームの第3特徴点及び前記第2特徴点に基づいて前記第2視点映像の現在の映像フレームを映像補正するステップを含んでもよい。
一実施形態に係る映像補正方法において、前記第2視点映像の現在の映像フレームを映像補正するステップは、前記第2特徴点の位置情報及び前記第3特徴点の位置情報に基づいて、前記第1視点映像の現在の映像フレームと前記第2視点映像の現在の映像フレームとの間のホモグラフィを決定するステップと、前記ホモグラフィを前記第2視点映像の現在の映像フレームに適用して前記第2視点映像の現在の映像フレームに含まれたピクセルの位置を調整するステップとを含んでもよい。
一実施形態に係る映像補正方法において、前記第2視点映像の現在の映像フレームを映像補正するステップは、探索領域に基づいて前記第2特徴点をフィルタリングするステップと、前記フィルタリングの後に残った第2特徴点のうち、少なくとも1つに基づいて前記第2視点映像の現在の映像フレームを映像補正するステップとを含んでもよい。
一実施形態に係る映像補正方法は、前記第1視点映像の現在の映像フレームと前記第2視点映像の現在の映像フレームとの間のホモグラフィに基づいて、前記第2視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整するステップをさらに含んでもよい。
一実施形態に係る映像補正方法において、記カラー値を調整するステップは、前記ホモグラフィを用いて前記第2視点映像の現在の映像フレームをワーピングするステップと、前記ワーピングされた第2視点映像の現在の映像フレームを前記第1視点映像の現在の映像フレームにマッピングするステップと、前記マッピングされた第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームで互いに対応するピクセルを識別するステップと、前記識別されたピクセルのカラー値に基づいてカラー変換行列を決定するステップと、前記カラー変換行列を前記第2視点映像の現在の映像フレームに適用して前記第2視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整するステップとを含んでもよい。
一実施形態に係る映像補正方法において、前記特徴点を抽出するステップは、前記第1視点映像の現在の映像フレームをダウンサンプリングするステップと、前記ダウンサンプリングされた現在の映像フレームで特徴点を抽出するステップとを含んでもよい。
一実施形態に係る映像補正装置は、第1視点映像及び第2視点映像を含む多視点映像から特徴点を抽出する特徴点抽出部と、前記第1視点映像の以前の映像フレームに含まれた特徴点に基づいて、前記第1視点映像の現在の映像フレーム及び第2視点映像の現在の映像フレームから映像補正に使用される特徴点を決定する特徴点決定部と、前記決定された特徴点に基づいて映像補正を行う映像補正部とを含む。
一実施形態に係る映像補正装置において、前記映像補正部は、前記映像補正に使用される特徴点の位置情報に基づいて前記第2視点映像の現在の映像フレームに含まれたピクセルの位置を調整する幾何補正部を含んでもよい。
一実施形態に係る映像補正装置において、前記映像補正部は、前記第1視点映像の現在の映像フレームと前記第2視点映像の現在の映像フレームとの間のホモグラフィに基づいて、前記第2視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整するカラー補正部を含んでもよい。
一実施形態に係る映像補正装置において、前記カラー補正部は、前記ホモグラフィに基づいてカラー変換行列を決定し、前記カラー変換行列を前記第2視点映像の現在の映像フレームに適用して他の視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整してもよい。
本発明によると、多視点映像を補正する映像補正方法及び装置を提供することができる。
一実施形態に係る映像補正装置の全体的な動作を説明するための図である。 一実施形態に係る映像補正装置が第1視点映像及び第2視点映像に基づいて映像補正を行う一例を説明するための図である。 一実施形態に係る映像補正装置の構成を示す図である。 一実施形態に係る基準特徴点を決定する過程を説明するための図である。 一実施形態に係る局部最大検出を行う過程を説明するための図である。 一実施形態に係る基準特徴点に基づいて映像整列を行う過程を説明するための図である。 一実施形態に係る映像補正方法の動作を示すフローチャートである。 一実施形態に係る基本行列に基づいて特徴点マッチングの成功有無を決定する動作を説明するためのフローチャートである。 一実施形態に係るカラー補正を行う動作を説明するためのフローチャートである。
以下、実施形態を添付する図面を参照しながら詳細に説明する。以下の特定の構造的ないし機能的説明は、単に実施形態を説明することを目的として例示されたものであり、実施形態の範囲が本文に説明された内容に限定されるものと解釈されることはない。関連の技術分野において通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。また、各図面に提示された同一の参照符号は同一の部材を示し、公知された機能及び構造は省略する。
図1は、一実施形態に係る映像補正装置の全体的な動作を説明するための図である。
映像補正装置は多視点映像(multi−view image)を補正する。多視点映像とは、同一の被写体を互いに異なる複数の視点(又は角度)で撮影した映像が組合わされた映像を示す。左映像及び右映像の2つの視点映像から構成されたステレオ映像が多視点映像の一例である。多視点映像は、3個以上の視点映像にも構成されてもよい。多視点映像は、放送局やウェブサーバなどのような外部ソース、内外部格納媒体、又は、再生装置などから映像補正装置に提供され得る。多視点映像に含まれたそれぞれの視点映像は、時間上に連続する複数の映像フレームから構成され得る。
以下は説明の便宜のために多視点映像に含まれた第1視点映像及び第2視点映像に基づいて映像補正装置の動作について説明する。第2視点映像は、第1視点映像の視点と異なる視点で撮影された映像を示す。例えば、第1視点映像は左映像であり、第2視点映像は右映像であるか、又は、反対に第1視点映像が右映像であり、第2視点映像は左映像であってもよい。第1視点映像及び第2視点映像だけでなく、3個以上の視点映像を含む多視点映像に対しても以下の内容が同一に適用され得る。
映像補正装置は、多視点映像に含まれた複数の視点映像の間の映像高さ差又はカラー差を調整することができる。例えば、映像補正装置は、第1視点映像と第2視点映像との間の映像高さ差が目的とする高さ差(例えば、最小)になるよう第2視点映像の高さを調整したり、第2視点映像のカラー特性が第1視点映像のカラー特性に類似するように第2視点映像のカラー値を調整し得る。映像補正装置は、多視点映像から抽出された特徴点(keypoint)に基づいて映像の高さ又はカラーを調整する映像補正を行う。
映像補正装置は、多視点映像で抽出された特徴点をフィルタリングして映像の高さ調整又はカラー補正などの映像補正に使用される特徴点を決定し得る。映像補正装置は、特定の視点映像で時間上に連続する映像フレームに対して特徴点の追跡を行い、互いに異なる視点映像の間で特徴点マッチングを行って映像補正に使用される特徴点を決定することができる。例えば、映像補正装置は、第1視点映像で時間的に連続するフレーム間で特徴点を追跡し、第1視点映像で追跡された特徴点に基づいて、第1視点映像と第2視点映像との間の特徴点の対を決定することができる。
第1視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応する特徴点の対を決定することを時間的フィルタリング又は時間的マッチングと称し、第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間で互いに対応する特徴点の対を決定することを空間的フィルタリング又は空間的マッチングと称する。
多視点映像が映像補正装置(例えば、図3に示す映像補正装置300)に入力された後、ステップS110で映像補正装置は多視点映像から特徴点を抽出する。例えば、映像補正装置は、視点映像のピクセル値分布に基づいてエッジ領域又はコーナー領域などを特徴点として抽出し得る。一実施形態によると、映像補正装置は、ハリスコーナー(Harris corner)方式、SIFT(Scale Invariant Feature Transform)方式、又はFAST(Features from Accelerated Segment Test)方式などを用いて多視点映像から特徴点を抽出してもよい。
ステップS120において、映像補正装置は多視点映像から抽出された特徴点に対して時間的フィルタリングを行う。映像補正装置は、いずれか1つの視点映像の時間的に連続する映像フレームの間で互いに対応する特徴点を追跡することができる。例えば、映像補正装置は、第1視点映像の以前の映像フレームの特徴点と現在の映像フレームの特徴点との間で互いに対応する特徴点を決定する。以前の映像フレームは、時間的に現在の映像フレームが撮影される以前に撮影された映像フレームを示す。第1視点映像の現在の映像フレームで抽出された特徴点のうち、以前の映像フレームの特徴点に対応しない特徴点はフィルタリングされて特徴点の対象から除外される。時間的フィルタリングでは、以前の映像フレームの特徴点のうち映像補正に用いられた特徴点に基づいて現在の映像フレームの特徴点がフィルタリングされる。時間的フィルタリングによって互いに異なる時間における映像フレームごとに映像整列の結果映像の形状が異なり、震え現象が発生することを最小化できる。
ステップS130において、映像補正装置は、時間的フィルタリングが実行された特徴点に対して空間的フィルタリングを行う。映像補正装置は、特定の視点映像の連続する映像フレームの間でフィルタリングされて残存している特徴点のうち、他の視点映像に含まれた特徴点に基づいて特徴点を再びフィルタリングしてもよい。時間的フィルタリングが1つの視点映像で時間軸上で互いに対応する特徴点を決定する過程であれば、空間的フィルタリングは、互いに異なる視点映像の間で空間上で互いに対応する特徴点を決定する過程である。
例えば、映像補正装置は、時間的フィルタリングが実行された後、第1視点映像の現在の映像フレームに残存する特徴点のうち、第2視点映像の現在の映像フレームの特徴点に対応する特徴点を決定し得る。第1視点映像の現在の映像フレームに含まれた特徴点のうち、第2視点映像の現在の映像フレームの特徴点に対応していない特徴点は、フィルタリングされて特徴点の対象から除外されてもよい。時間的フィルタリング及び空間的フィルタリングが実行された後に映像補正に使用される特徴点が決定され得る。
ステップS140において、映像補正装置は、時間的フィルタリング及び空間的フィルタリングが実行されて決定された特徴点に基づいて映像補正を行う。映像補正装置は、時間的フィルタリング及び空間的フィルタリングによって決定された多視点映像の特徴点に基づいて歪曲のない幾何補正及びカラー補正を行う。
時間的フィルタリング及び空間的フィルタリングが全て実行された後、第1視点映像の現在の映像フレームで決定された特徴点を第1基準特徴点といい、第2視点映像の現在の映像フレームに含まれた特徴点のうち第1基準特徴点に対応する特徴点を第2基準特徴点というとすれば、映像補正装置は、このような基準特徴点に基づいて第1視点映像と第2視点映像との間の垂直離隔度(vertical disparity)又はカラーディスパリティ(color disparity)を最小化するための映像補正を行うことができる。
例えば、映像補正装置は、第1基準特徴点と第2基準特徴点との間の位置関係に基づいて、第2視点映像に含まれたピクセルの高さを調整することができ、これによって第1視点映像と第2視点映像との間の垂直離隔度が減少(例えば、最小化)する。又は、映像補正装置は、第1基準特徴点と第2基準特徴点のカラー情報を用いて第2視点映像の明るさ又はカラーを調整することができ、これによって、第1視点映像と第2視点映像との間の明るさ差又はカラー差が減少し得る(例えば、最小化)。
映像補正装置によって補正された多視点映像は、立体映像のような3Dコンテンツを生成するために利用され得る。一実施形態によると、補正された多視点映像に基づいて被写体までの距離情報を含む深度映像が生成され、深度映像を用いて視聴者に立体感を提供する3Dコンテンツが生成され得る。
図2は、一実施形態に係る映像補正装置が第1視点映像及び第2視点映像に基づいて映像補正を行う一例を説明するための図である。
映像フレーム210、230、250は第1視点映像で時間的に連続する映像フレームを示し、映像フレーム220、240、260は第2視点映像で時間的に連続する映像フレームを示す。それぞれの映像フレーム225、245、265は、それぞれの映像フレーム220、240、260が映像補正装置によって補正された映像フレームを示す。
図2に示された映像フレーム210、220、230、240、250、260は、全体時間区間のうち中間の特定の時間区間で撮影された映像フレームを示す。映像フレーム210、220は図2に示された全体映像フレームのうち時間上で最初に撮影された映像フレームであり、映像フレーム250、260は時間上で最後に撮影された映像フレームであり、映像フレーム230、240は、映像フレーム210、220と映像フレーム250、260との間で撮影された映像フレームである。映像補正装置は、各映像フレーム210、220、230、240、250、260で特徴点を抽出し、抽出された特徴点に基づいて映像補正を行うことができる。
一実施形態に係る映像補正装置が映像フレーム230及び映像フレーム240を用いて映像補正を行う過程は次の通りである。
映像補正装置は、映像フレーム230で抽出された特徴点のうち映像フレーム230の以前の映像フレームである映像フレーム210の特徴点に対応する第1特徴点を決定し得る。映像補正装置は、映像フレーム230で決定された第1特徴点の個数に基づいて、映像フレーム210と映像フレーム230との間の特徴点の追跡が成功したか否かを決定する。例えば、映像フレーム230で決定された第1特徴点の個数が予め設定された個数よりも多い場合、映像補正装置は、映像フレーム210と映像フレーム230との間の特徴点の追跡が成功したと決定する。そして、映像フレーム230で決定された第1特徴点の個数が予め設定された個数以下である場合、映像補正装置は、映像フレーム210と映像フレーム230との間の特徴点の追跡が失敗したと決定する。
映像フレーム210と映像フレーム230との間の特徴点の追跡が成功したと決定された場合、映像補正装置は、映像フレーム230で決定された第1特徴点のうち、第2視点映像の映像フレーム240に含まれた特徴点に対応する第2特徴点を決定し得る。例えば、映像フレーム230で抽出された特徴点の個数が100個であると仮定すると、第1特徴点は100以下の個数に決定され、第2特徴点は第1特徴点の個数以下に決定される。これは、映像フレームで抽出された全体特徴点のうち、映像補正に使用されない特徴点が以前の映像フレームの特徴点及び他の視点の映像フレームの特徴点に基づいてフィルタリングされるためである。
第1視点映像の映像フレーム230で決定された第2特徴点は、時間的フィルタリング及び空間的フィルタリングが全て実行されて映像補正に使用される第1基準特徴点を示す。第2視点映像の映像フレーム240に含まれた特徴点のうち、映像フレーム230の第1基準特徴点に対応する第3特徴点は映像補正に使用される第2基準特徴点を示す。
映像補正装置は、第1視点映像の映像フレーム230で決定された第1基準特徴点に基づいて第2視点映像の映像フレーム240を補正する。映像補正装置は、映像フレーム240で抽出された特徴点のうち、映像フレーム230の第1基準特徴点に対応する第2基準特徴点の位置情報と第1基準特徴点の位置情報に基づいて映像フレーム240に対して幾何補正を行うことができる。例えば、映像補正装置は、第1基準特徴点と第2基準特徴点の位置情報に基づいて映像フレーム230と映像フレーム240との間のホモグラフィ(homography)を決定し、ホモグラフィを映像フレーム240に適用し、映像フレーム240に含まれたピクセルの位置を調整して映像フレーム230と映像フレーム240との間の垂直離隔を減少させることができる。
映像補正装置は、第1基準特徴点と第2基準特徴点のカラー情報に基づいて幾何補正が実行された映像フレーム240に対してカラー補正を加えて行うことができる。例えば、映像補正装置は、第1基準特徴点と第2基準特徴点のカラー情報に基づいてカラー変換行列を決定し、カラー変換行列を映像フレーム240に適用して映像フレーム240の明るさ又はカラーを調整し得る。映像補正が実行された後に映像フレーム240が補正された映像フレーム245が生成され、映像フレーム230と映像フレーム245に基づいて3Dコンテンツが生成され得る。
映像フレーム210と映像フレーム230との間の特徴点の追跡が失敗したものと決定された場合、映像補正装置は映像フレーム230で場面転換(scene change)が発生したと決定する。場面転換は、映像フレームに表示された場面の間の連続性が特定映像フレームで中断されて他の場面に変換することを示す。場面転換が発生した場合、映像補正装置は、時間的フィルタリングを実行することなく、映像フレーム230と映像フレーム240との間の空間的フィルタリングを行って映像補正を行うことができる。例えば、映像補正装置は、映像フレーム210の特徴点を利用せず、映像フレーム230と映像フレーム240との間の互いに対応する特徴点の対に基づいて映像フレーム240を映像補正することができる。
映像フレーム230の次の時間区間の映像フレームである映像フレーム250の場合、映像補正装置は、映像フレーム230と映像フレーム250との間の特徴点の追跡を行って特徴点の追跡が成功したか否かを決定する。例えば、映像補正装置は、映像フレーム230と映像フレーム250との間の互いに対応する特徴点の対の個数が予め設定された個数よりも多ければ、映像フレーム230と映像フレーム250との間の特徴点の追跡が成功したと決定する。
映像フレーム230と映像フレーム250との間の特徴点の追跡が成功したと決定された場合、映像フレーム240を補正するために使用された映像フレーム230の第1基準特徴点は、次の時間区間の映像フレーム250を補正するために用いられてもよい。映像補正装置は、映像フレーム230の第1基準特徴点と映像フレーム250の特徴点との間の対応する特徴点の対に基づいて時間的フィルタリングを行い、残存する特徴点のうち映像フレーム260の特徴点に基づいて空間的フィルタリングを行った後、残存する特徴点に基づいて映像フレーム260を映像補正することができる。
映像フレーム230と映像フレーム250との間の特徴点の追跡が失敗したと決定された場合、映像補正装置は、映像フレーム250で場面転換が発生したと決定する。映像フレーム250で場面転換が発生したと決定した場合、映像補正装置は映像フレーム230の特徴点を利用せず、映像フレーム250と映像フレーム260との間の互いに対応する特徴点の対に基づいて映像フレーム260を映像補正することができる。
図3は、一実施形態に係る映像補正装置の構成を示す図である。図3を参照すると、映像補正装置300は、特徴点抽出部310、特徴点決定部320、及び映像補正部330を含む。映像補正装置300は、多視点映像を処理するいずれかのディスプレイ装置に含まれ得る。例えば、映像補正装置300は、3Dテレビ、ビデオプレーヤー、セットトップボックス、又は、ビデオソースとディスプレイ間に接続されたドングル(dongle)に含まれてもよい。また、映像補正装置300は、HMD(Head−Mounted Display)に含まれてもよい。
入力映像の多視点映像は映像補正装置300に伝えられ、特徴点抽出部310は多視点映像から特徴点を抽出する。特徴点抽出部310は、多視点映像でエッジ領域又はコーナー領域などを特徴点として抽出し得る。例えば、特徴点抽出部310は、ハリスコーナー方式、SIFT方式、又はFAST方式などの様々な方式を用いて多視点映像から特徴点を抽出することができる。
他の実施形態によると、特徴点抽出部310は、多視点映像の大きさに応じて多視点映像のダウンサンプリングの過程を選択的に行うことができる。例えば、多視点映像の大きさが予め設定された大きさよりも大きい場合、特徴点抽出部310は、多視点映像をダウンサンプリングして映像の大きさを縮小し、縮小された多視点映像から特徴点を抽出し得る。その後、特徴点抽出部310は、抽出された特徴点の位置にダウンサンプリング過程に適用されたスケール値を適用して本来の大きさの多視点映像における特徴点位置を決定し得る。ダウンサンプリングされた多視点映像で特徴点を抽出することによって処理時間を短縮することができる。
特徴点決定部320は、多視点映像で抽出された特徴点のうち映像補正に使用される特徴点を決定する。特徴点決定部320は、第1視点映像の以前の映像フレームに含まれた特徴点に基づいて、第1視点映像の現在の映像フレーム及び第2視点映像の現在の映像フレームに含まれた特徴点のうち映像補正に使用される特徴点を決定し得る。
特徴点決定部320は、第1視点映像の連続する映像フレームで互いに対応する特徴点を追跡し、場面転換が発生したか否かを検出する。特徴点決定部320は、第1視点映像の連続する映像フレームで特徴点の追跡が失敗した場合に場面転換が発生したと決定する。特徴点決定部320は、第1視点映像の以前の映像フレームと現在の映像フレームの実際ピクセル座標の間の幾何学的な関係を表現する基本行列を用いて、特徴点の追跡が成功したか、又は失敗したか否かを決定することができる。例えば、特徴点決定部320は、第1視点映像の以前の映像フレームと現在の映像フレームとの間に互いに対応する特徴点の対の個数が予め設定された個数以下である場合、現在の映像フレームで場面転換が発生したと決定し得る。
場面転換が発生したと決定した場合、特徴点決定部320は時間的フィルタリングを実行することなく、空間的フィルタリングを行って映像補正に使用される特徴点を決定する。例えば、特徴点決定部320は、現在の映像フレームで場面転換が発生した場合に第1視点映像の以前の映像フレームに含まれた特徴点を利用せず、第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間に互いに対応する特徴点の対を決定することができる。
現在の映像フレームで場面転換が発生していないと決定された場合、特徴点決定部320は、第1視点映像の現在の映像フレームに含まれた特徴点のうち以前の映像フレームの特徴点に対応する第1特徴点を決定する。
特徴点決定部320は、第1視点映像の以前の映像フレームと現在の映像フレームとの間で追跡された特徴点に基づいて、特徴点の情報を含む特徴セットを構成及び管理する。特徴セットは、以前の映像フレームで映像補正に用いられた特徴点に関する情報を含み得る。
特徴点決定部320は、第1視点映像の以前の映像フレームと現在の映像フレームとの間の特徴点の対応によって特徴点の追跡を行う。特徴点決定部320は、特徴点ディスクリプタの差に基づいて第1視点映像の以前の映像フレームの特徴点と現在の映像フレームの特徴点のうち互いに対応する特徴点の対を決定し得る。
以下の説明において、特徴点抽出部310によって第1視点映像及び第2視点映像から抽出された局部(local)特徴点がSIFTであり、それぞれの特徴点は128の大きさを有するベクトルをディスクリプタとして有するものと仮定する。SIFTは、特徴点周辺のローカルの勾配(gradient)分布特性を表現する特徴を有する。SIFT特徴ベクトルは、特徴点周辺のパッチ領域(patch region)を4×4ブロックに分割し、各ブロックに含まれたピクセルの勾配方向と勾配大きさに対するヒストグラムを決定した後、当該ヒストグラムのビン(bin)値を一列に連結した128次元のベクトルである。
第1視点映像の時間tにおける現在の映像フレームをI 、第2視点映像の時間tにおける現在の映像フレームをI 、第1視点映像の現在の映像フレームで抽出された特徴点の集合をF 、第2視点映像の現在の映像フレームで抽出された特徴点の集合をF 、F に含まれたそれぞれの特徴点をfpL,i 、及びF に含まれたそれぞれの特徴点をfpR,i であるとそれぞれ仮定する。fpL,i 及びfpR,i において、iは特徴点を区分するためのインデックスであり、1からN(対応する特徴点の個数)までの範囲を有する。それぞれの特徴点は、映像フレーム内における位置情報(x、y)とスコアsを有すると仮定する。ここで、スコアは、特徴点が抽出されるとき特徴点に対する信頼度を示す。言い換えれば、スコアは、抽出された特徴点が有効な特徴点の対である確率を示すことができる。スコアは、例えば、抽出された特徴点が空間フィルタリングに用いられるか否かを判断するための基準として用いることができる。
L,i に含まれたインデックスiの特徴点が有するディスクリプタをdL,i とすると、第1視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応する特徴点の集合M は次の数式(1)に基づいて決定され得る。
数式(1)において、mL,i は第1視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応する特徴点のうち現在の映像フレームに含まれた特徴点を示す。mL,i t−1は、第1視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応する特徴点のうち以前の映像フレームに含まれた特徴点を示す。mL,k は、第1視点映像の現在の映像フレームで抽出された特徴点を示し、mL,j t−1は、以前の映像フレームで抽出された特徴点を示す。ここで、i、j、及びkはそれぞれ特徴点を区別するためのインデックスである。
数式(1)によると、以前の映像フレームのj番目の特徴点とLnormが最も小さい値を有する現在の映像フレームのk番目の特徴点が互いに対応する特徴点の対として決定する。特徴点決定部320は、数式(1)に基づいて決定された特徴点の対のうち、最小L距離値が予め設定された閾値よりも大きい場合、当該の特徴点を対応する特徴点の対から除外させることができる。粒界値は、経験的な根拠又はユーザ定義に基づく。ここで、L距離は、第1視点映像の現在の映像フレームの特徴点の座標と第1視点映像の以前の映像フレームの対応する特徴点の座標との間の差を示すユークリッド距離であり得る。当該の差異は、第1視点映像の現在の映像フレームの特徴点の位置(又は、座標)と第1視点映像の以前の映像フレームの特徴点の位置(又は、座標)を比較することによって決定され得る。
特徴点決定部320は、第1視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点の対の位置情報に基づいて基本行列を決定する。例えば、映像補正装置300は、L距離値に基づいて決定された特徴点の対のうち予め設定された個数の特徴点の対を任意に選択し、任意に選択された特徴点の対の位置情報に基づいて基本行列を決定する。
一実施形態によると、特徴点決定部320は、第1視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点セットmL,i t−1及びmL,i で8個の特徴点の対を任意に抽出し得る。以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点セットmL,i t−1及びmL,i はエピポーラ幾何(epipolar geometry)によって次の数式(2)を満足する。
数式(2)において、Fは基本行列を示し、ランク(rank)2を有する3×3行列である。特徴点決定部320は、以前の映像フレームと現在の映像フレームとの間で互いに対応する特徴点の対のうち8個の対を任意に抽出し、抽出された8個の特徴点の対を数式(2)に適用してもよい。数式(2)は、8個の特徴点の対の位置情報に基づいて数式(3)のように示すことができる。
数式(3)において、x はm の特徴点のx座標を示し、y はm の特徴点のy座標を示す。x t−1はm t−1の特徴点のx座標を示し、y t−1はm t−1の特徴点のy座標を示す。f11−f33は、基本行列Fのエレメントを示す。特徴点決定部320は、最小自乗法(least−square method)などを用いて数式(3)から基本行列を決定し、このように決定された基本行列を特徴点セットmL,i t−1、mL,i に含まれた特徴点の対に適用して適用結果が予め設定された条件を満足するか否かを決定する。予め設定された条件は、経験的な根拠又はユーザ定義に基づく。特徴点決定部320は、特徴点セットmL,i t−1、mL,i で8個の特徴点の対を任意に抽出し、抽出された特徴点の対の位置情報に基づいて決定された基本行列が予め設定された条件を満足するか否かを決定する過程を繰り返し行う。
例えば、特徴点決定部320は、数式(3)を用いて決定された基本行列と特徴点セットmL,i t−1、mL,i を用いてSampson距離を決定し、当該Sampson距離が0.5ピクセル以下に含まれる特徴点をインライア(inlier)として決定する。特徴点決定部320は、インライアの比率が99%以上である場合、当該の基本行列を最終の基本行列として決定する。インライアの比率が99%未満である場合、特徴点決定部320は、予め設定された反復回数(例えば、10000回)に達するまで特徴点セットmL,i t−1、mL,i で8個の特徴点の対を任意に抽出し、抽出された特徴点の対の位置情報と数式(3)に基づいて基本行列を決定した後、決定された基本行列が予め設定された条件を満足するか否かを決定する過程を繰り返し行う。
特徴点決定部320は、反復回数が予め設定された反復回数以上であり、最も高いインライアの比率が20%を超過する場合、第1視点映像の以前の映像フレームと現在の映像フレームに対する特徴点の追跡を成功したと決定することができる。特徴点決定部320は、インライアの比率が20%以下である場合には、特徴点の追跡を失敗したと決定し得る。
特徴点の追跡が失敗したと決定された場合、現在の映像フレームが最初の映像フレームであるか、現在の映像フレームで場面転換が発生した確率が高い。場面転換が発生した場合、カメラの内部パラメータ及び外部パラメータが変わり得るため、映像補正過程が再び行われる必要がある。第1視点映像の以前の映像フレームと現在の映像フレームとの間で特徴点の追跡が失敗したと決定された場合、映像補正装置300は、以前の映像フレームと現在の映像フレームとの間の特徴点の追跡結果を適用することなく、第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間の特徴点の対応結果を用いて映像補正を行うことができる。
第1視点映像の以前の映像フレームと現在の映像フレームとの間の特徴点の追跡が成功した場合、特徴点決定部320は、以前の映像フレームと現在の映像フレームとの間に対応に成功した特徴点に基づいて特徴点セットをアップデートすることができる。上記のような時間的フィルタリング又は時間的マッチングを用いて、第1視点映像の現在のフレームに含まれた特徴点のうち以前の映像フレームの特徴点に対応する第1特徴点を決定することができる。
特徴点決定部320は、第1視点映像の現在の映像フレームに含まれた第1特徴点のうち、第2視点映像の現在の映像フレームの特徴点に対応する第2特徴点を決定し得る。第2視点映像の現在の映像フレームに含まれた特徴点のうち、第1視点映像の第2特徴点に対応する特徴点を第3特徴点と言う。特徴点決定部320は、例えば、第1特徴点と第2視点映像の特徴点のうちディスクリプタ間のL距離値が予め設定された基準を満足する特徴点が互いに対応する特徴点として決定し得る。このような互い対応する特徴点のうち、特徴点決定部320は、第2及び第3特徴点の決定に第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間の基本行列を用いることができる。
一実施形態によると、時間的マッチング過程でインライアとして決定され、第1視点映像の現在のフレームに含まれた第1特徴点をmL,i とするとき、特徴点決定部320は、第2視点映像の現在の映像フレームに含まれた特徴点のうちmL,i のディスクリプタとL距離が最も近いディスクリプタを有する特徴点mR,i を決定し得る。
その後、特徴点決定部320は、第1視点映像のmL,i と第2視点映像のmR,i に基づいて第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間の基本行列を決定する。例えば、特徴点決定部320は、数式(3)に基づいて第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間の基本行列を算出することができる。ランダムサンプルコンセンサス(RANSAC)によって最もインライア値が高い第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間の対応特徴点をそれぞれpL,i 、pR,i とすると、pL,i は第1視点映像の現在の映像フレームに含まれた第2特徴点に対応し、pR,i は第2視点映像の現在の映像フレームに含まれた第3特徴点に対応する。特徴点決定部320はpL,i 、pR,i を決定した後、決定されたpL,i 、pR,i を特徴セットに追加する。
他の実施形態によると、特徴点決定部320は特徴セットの大きさを調整し得る。第1視点映像の映像フレームの間で互いにマッチングされた特徴点及び第1視点映像と第2視点映像の間で互いにマッチングした特徴点は特徴セットに格納され、特徴点マッチング過程が行われるほど特徴セットに格納される特徴点の数は増加する。特徴点決定部320は、特徴セットの大きさが大きすぎることを防止するため、探索領域に基づいて特徴セットから除外する特徴点を決定できる。
特徴点決定部320は、探索領域に基づいて第2特徴点をフィルタリングし、フィルタリングされて残った特徴点を映像補正に使用する特徴点として決定することができる。例えば、特徴点決定部320は、第2特徴点を中心に探索領域を設定し、各探索領域に含まれた第2特徴点のうちスコアが最も大きい第2特徴点を保持し、残りの第2特徴点は除外させる。スコアは、特徴点が抽出されるとき当該の特徴点に対する信頼度の値を示す。探索領域の大きさは、予め設定された大きさであるか、又は、第1視点映像の現在の映像フレームで決定された第2特徴点の個数又は第2特徴点の分布に基づいて適応的に決定することができる。
特徴点決定部320は、第1視点映像の第2特徴点に対応する第2視点映像の第3特徴点に対しても探索領域に基づいてフィルタリングを行い、フィルタリングされて残存した第3特徴点を映像補正に使用される特徴点として決定する。ここで、第2視点映像の現在の映像フレームに適用される探索領域の大きさは、第1視点映像の現在の映像フレームに適用される探索領域の大きさと同一であってもよい。
例えば、第1視点映像の現在の映像フレームに含まれた第2特徴点pL,i と第2視点映像の現在の映像フレームに含まれた第3特徴点pR,i に対して、特徴点決定部320は探索領域を用いた局部最大検出(local maximum detection)を行うことができる。局部最大検出を用いて、既存の特徴セットに含まれた特徴点と新しく追加される特徴点が重複することを防止できる。
特徴点決定部320は全ての第2特徴点pL,i を特徴セットに含ませ、特徴セットに属する第2特徴点のうち、探索領域内で最大のスコアを有する第2特徴点を決定し得る。例えば、i番目の第2特徴点pL,i の位置で半径rの探索領域内に存在する第2特徴点のインデックス集合をjとしたとき、特徴点決定部320は次の数式(4)及び数式(5)に基づいて局部最大検出を行う。
数式(4)において、s(x)は特徴点xのスコアを示し、G(x1、x2)はx2がx1よりも大きいスコアを有する場合に1の結果値を出力し、それ他の場合は0の結果値を出力する関数である。
数式(5)において、L(p )は探索領域に含まれたいずれかの第2特徴点p が探索領域に含まれた他の第2特徴点p よりもスコアが大きい場合に1の結果値を出力し、それ以外の場合は0の結果値を出力する関数である。
G(x1、x2)は数式(4)によって1又は0の結果値を有する。探索領域内に含まれた第2特徴点のうち特徴点p のスコアが最も大きい場合L(p )は1の結果値を有し、特徴点決定部320は、当該の探索領域で第2特徴点p のスコアが最も大きい局部最大として判断する。特徴点決定部320は、第2特徴点p を除いた探索領域内の他の第2特徴点は特徴セットから除去する。
特徴点決定部320は、特徴セットを管理することができる。例えば、特徴点決定部320は、特徴セットに新しい特徴点を追加したり既存の特徴点を除去してもよい。特徴点決定部320は、既存の特徴点を除去して特徴セットの大きさが大き過ぎることを防止できる。特徴セットの大きさが大きくなるほど、新しく追加された特徴点が映像補正に及ぼす影響は小さくなる。特徴セットはqueueの形態に構成してもよい。
局部最大検出によりフィルタリングされた特徴セットの大きさが一定のサイズよりも大きくなる場合、特徴点決定部320は、特徴セットで最初に格納された特徴点を除去する。特徴セットに最初に格納された特徴点が現在の映像フレームの映像補正のための特徴点として作用する確率が最も低いためである。また、特徴点決定部320は、時間的マッチングが実行された後に特徴セットに含まれた特徴点のスコアを一定比率(例えば、10%)だけ減少させ得る。そのため、現在の映像フレームと関連性の少ない古い映像フレームで抽出された特徴点が有する信頼度は低くなる。
特徴点決定部320は、上記のような過程を経て決定された、映像補正に使用される特徴点を映像補正部330に伝達し得る。
映像補正部330は、第1視点映像の第2特徴点及び第2視点映像の第3特徴点に基づいて映像補正を行う。映像補正部330は、このような基準特徴点の間の位置関係に基づいて映像整列を行った後カラー補正を行う。基準特徴点は、第2特徴点及び第3特徴点のように映像補正に使用される特徴点を示す。映像補正部330は、幾何補正部340及びカラー補正部350を含む。
幾何補正部340は、第1視点映像と第2視点映像の基準特徴点の位置情報に基づいて映像整列を行う。例えば、幾何補正部340は、対応する特徴点の異なる視点映像におけるエピポーラライン(epipolar line)上に存在している点を用いて、視点映像間でエピポーラ線を水平に合わせる映像整列を用いて、第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間の垂直離隔度を減らすように第2視点映像の現在の映像フレームを変換することができる。
幾何補正部340は、エピポーラ幾何に基づいた映像変換行列を用いて映像整列を行う。任意のポイントPをA視点映像の位置で観測した3次元カメラ座標と、ポイントPをB視点映像の位置で観測した3次元カメラ座標との間で成立する線形変換関係を示す行列のホモグラフィが映像変換行列として用いられてもよい。幾何補正部340は、基準特徴点の位置情報に基づいて第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間のホモグラフィを決定し得る。幾何補正部340は、決定されたホモグラフィを第2視点映像の現在の映像フレームに適用して第2視点映像の現在の映像フレームに含まれたピクセルの位置を調整し得る。
例えば、幾何補正部340は、特徴点の対応により取得された基準特徴点fL,i 、fR,i の位置情報に基づいて映像整列を行うことができる。fL,i は第1視点映像の現在の映像フレームで決定された基準特徴点を示し、fR,i は第2視点映像の現在の映像フレームで決定された基準特徴点を示す。
基準特徴点fL,i 、fR,i のy座標値が調整されて高さが一致する特徴点をf’L,i 、f’R,i とするとき、fL,i 、fR,i は次の数式(6)を満足し、f’L,i 、f’R,i は次の数式(7)を満足する。
数式(6)でFは基本行列を示す。
数式(7)において、[i]は行列のi番目の行を示す。本来の基準特徴点と映像整列した基準特徴点との間の関係は次の数式(8)のように示すことができる。
数式(8)において、H は第1幾何ホモグラフィを示し、H は第2幾何ホモグラフィを示す。
一実施形態によると、第1視点映像はオリジナル映像と同一に設定して安定性を向上させるために、第1幾何ホモグラフィは単位行列に固定され得る。幾何補正部340は、次の数式(9)に基づいて第2幾何ホモグラフィH を算出することができる。
数式(9)において、x=x’=x(fR,i )、 y=y(fR,i )、y’=y(fL,i )の関係が成立する。h11〜h33は第2幾何ホモグラフィH のエレメントであり、幾何補正部340は、最小自乗法に基づいて第2幾何ホモグラフィH のエレメントを算出することができる。幾何補正部340は、第2幾何ホモグラフィH を第2視点映像の現在の映像フレームに適用して映像整列を行う。
次の数式(10)において、x、yはそれぞれ第2視点映像の現在の映像フレームに含まれた全体ピクセルのうちi番目のピクセルのx座標値及びy座標値を示す。Hは、第2視点映像の現在の映像フレームに適用される第2幾何ホモグラフィを示す。x’、y’は、第2幾何ホモグラフィHが適用されて調整されたi番目のピクセルのx座標値及びy座標値を示す。
第2幾何ホモグラフィによって第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームで互いに対応するピクセル間のy座標値差を最小化することができる。
カラー補正部350は、映像整列が実行された後に視点映像間のカラー差を減らすためにカラー補正を行うことができる。一実施形態によると、カラー補正部350は、最小自乗法などを用いて第1視点映像の現在の映像フレームのカラー値を基準にして第2視点映像の現在のフレームのカラー値を調整し得る。カラー補正部350は、基準特徴点に基づいて第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間で互いに対応するピクセルのカラー差を最小化することができる。
カラー補正部350は、第1視点映像の現在の映像フレームに含まれたピクセルと第2視点映像の現在の映像フレームに含まれたピクセルとの間のカラー差を用いてカラー変換行列を決定し、決定されたカラー変換行列を第2視点映像の現在の映像フレームに適用して第2視点映像の現在の映像フレームのカラーを調整することができる。
例えば、カラー補正部350は、幾何補正が実行されて調整された基準特徴点f’L,i 、f’R,i を用いて第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間のホモグラフィHを決定する。カラー補正で用いられるホモグラフィHをフォトメトリックホモグラフィとすると、カラー補正部350は、数式(10)に基づいてフォトメトリックホモグラフィHを算出し得る。ここで、数式(10)のh11〜h33はフォトメトリックホモグラフィHのエレメントを示す。
カラー補正部350は、第2視点映像の現在の映像フレームにHの逆関数を適用して第2視点映像の現在の映像フレームをワーピングさせ、第1視点映像の現在の映像フレームとワーピングされた第2視点映像の現在の映像フレームとの間の重なった領域に含まれたピクセルのカラー情報(例えば、RGB値)に基づいてカラー変換行列を決定する。例えば、カラー補正部350は次の数式(11)に基づいてカラー変換行列Tを決定することができる。
数式(11)において、各R(h,w) 、G(h,w) 、及びB(h,w) は上記重なった領域に含まれた第2視点映像の現在の映像フレームのピクセルのR(red)、G(green)、及びB(blue)カラー値を示す。そして、各R(h,w) 、G(h,w) 、及びB(h,w) は上記重なった領域に含まれた第1視点映像の現在の映像フレームのピクセルが有するR(red)、G(green)、及びB(blue)カラー値を示す。h及びwは、RGBサブピクセルから構成されるピクセルの位置を識別するためのインデックスである。
カラー補正部350は、最小自乗法などを用いて数式(11)からカラー変換行列Tを算出し、第2視点映像の現在の映像フレームに含まれた全体ピクセルのRGB値にカラー変換行列Tを適用して第2視点映像の現在の映像フレームのカラー値を補正する。カラー補正によって第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間のカラーディスパリティを減らすことができる。
映像補正装置300から幾何補正及びカラー補正が実行された第2視点映像が出力され、補正された第2視点映像は、第1視点映像と共に立体映像のような3Dコンテンツを生成するために使用される。
図4は、一実施形態に係る基準特徴点を決定する過程を説明するための図である。
映像フレーム430は第1視点映像の現在の映像フレームを示し、映像フレーム410は第1視点映像の以前の映像フレームを示す。同様に、映像フレーム440は映像フレーム430に対応する第2視点映像の現在の映像フレームを示し、映像フレーム420は映像フレーム410に対応する第2視点映像の以前の映像フレームを示す。
映像補正装置は、第1視点映像の映像フレーム410と映像フレーム430との間で互いに対応する特徴点を追跡し得る。映像補正装置は、映像フレーム430で抽出された特徴点のうち、映像フレーム410の特徴点に対応する第1特徴点を決定し得る。映像フレーム410と映像フレーム430との間に特徴点の対応が成功した場合は特徴点412のように実線に表示され、特徴点の対応が失敗した場合は特徴点414のように点線に表示されている。図4では、映像フレーム430で合わせて8個の特徴点が抽出されているが、6個の特徴点のみが映像フレーム410の特徴点と対応するものと図示されている。
映像補正装置は、基本行列を用いて映像フレーム410と映像フレーム430との間で特徴点の追跡が成功したか失敗したかを判断する。映像フレーム410と映像フレーム430との間の対応する特徴点の個数が予め設定された個数よりも多い場合、映像補正装置は、映像フレーム410と映像フレーム430との間の特徴点の追跡が成功したものと決定する。映像フレーム410と映像フレーム430との間の対応する特徴点の個数が予め設定された個数以下である場合、映像補正装置は、映像フレーム410と映像フレーム430との間の特徴点の追跡が失敗したものと決定する。
映像フレーム410と映像フレーム430との間の特徴点の追跡が失敗したと決定された場合、映像補正装置は、映像フレーム410で抽出された特徴点を考慮することなく、映像フレーム430と映像フレーム440との間で互いに対応する特徴点の対に基づいて映像フレーム440を映像補正することができる。
映像フレーム410と映像フレーム430との間の特徴点の追跡が成功したと決定された場合、映像補正装置は、映像フレーム410と映像フレーム430との間の基本行列を決定し、決定された基本行列に基づいて映像フレーム410と映像フレーム430との間で互いに対応する特徴点の対を決定することができる。
映像フレーム430で抽出された特徴点のうち、映像フレーム410の特徴点に対応する第1特徴点が決定されれば、映像補正装置は、第2視点映像の現在の映像フレームである映像フレーム440で抽出された特徴点に基づいて第1特徴点をフィルタリングする。映像補正装置は、映像フレーム430で決定された第1特徴点のうち、映像フレーム440の特徴点に対応する第2特徴点を決定する。映像補正装置は、映像フレーム430と映像フレーム440との間の基本行列を決定し、決定された基本行列に基づいて映像フレーム430と映像フレーム440との間で互いに対応する特徴点の対を決定する。
映像フレーム430と映像フレーム440との間に特徴点の対応が成功した場合は特徴点450のように実線に表示され、特徴点の対応が失敗した場合は特徴点460のように点線に表示されている。図4を参照すると、映像フレーム430で合わせて6個の第1特徴点が決定されているが、第1特徴点のうち5個のみが映像フレーム440の特徴点に対応し、第2特徴点として決定されたものとして図示されている。
映像フレーム440で抽出された特徴点のうち、第2特徴点に対応する特徴点である第3特徴点と第2特徴点が映像補正過程で用いられてもよい。例えば、映像補正装置は、映像フレーム430の第2特徴点と映像フレーム440の第3特徴点の位置情報に基づいて、映像フレーム430と映像フレーム440との間のホモグラフィを決定し、決定されたホモグラフィを映像フレーム440に適用して映像フレーム430と映像フレーム440との間の映像高さ差を減らすことができる。
図5は、一実施形態に係る局部最大検出を行う過程を説明するための図である。
第1視点映像の映像フレーム間で互いに対応するものとして決定された特徴点は特徴セットに蓄積され、時間の経過により特徴セットの大きさが次第に増加し得る。映像補正装置は、特徴セットの大きさを一定に保持するために局部最大検出を用いて映像補正に使用される特徴点の個数を調整できる。
映像補正装置は、探索領域を用いて第1視点映像の第2特徴点と第2視点映像の第3特徴点をフィルタリングする。図5では、映像補正装置が第1視点映像の現在の映像フレームに含まれた第2特徴点の個数を減らす一例を説明している。
映像補正装置は、第1視点映像の現在の映像フレーム510に含まれたそれぞれの第2特徴点520の位置に基づいて探索領域を設定し、探索領域内で最大のスコアを有する特徴点を決定し得る。ここで、探索領域の大きさは、経験的な根拠又はユーザ定義に基づく。映像フレーム530は、映像フレーム510に対して局部最大検出が実行された結果映像フレームを示す。例えば、映像補正装置は、探索領域540内に含まれた第2特徴点550、555、560のうちスコアが最も大きい第2特徴点560を局部最大として判断し、第2特徴点560を除いた他の第2特徴点550、555は特徴セットから除外する。第2特徴点550、555、560のうち第2特徴点560のみが基準特徴点として決定されて映像補正過程で使用される。
図6は、一実施形態に係る基準特徴点に基づいて映像整列を行う過程を説明するための図である。
映像フレーム610は第1視点映像の現在の映像フレームを示し、映像フレーム620は第2視点映像の現在の映像フレームを示す。映像補正装置は、映像フレーム610で決定された基準特徴点630及び映像フレーム620で決定された基準特徴点640に基づいて、映像フレーム620に含まれたピクセルの位置を調整し得る。基準特徴点630と基準特徴点640は互いに対応する関係にある。
映像補正装置は、映像座標上でホモグラフィ基盤の映像整列を行うことができる。映像補正装置は、基準特徴点630と基準特徴点640の位置情報に基づいて、映像フレーム610と映像フレーム620との間のホモグラフィを決定し得る。映像補正装置は、決定されたホモグラフィを映像フレーム620に適用して映像フレーム620に含まれたピクセルの位置を調整し得る。これに対する詳しい内容は、図3を参照して説明した内容を参照すればよい。
それぞれの基準特徴点630を経過するラインはエピポーララインを示すものであり、映像補正装置は、映像フレーム620に含まれたピクセルのy位置値を調整することができる。例えば、映像フレーム610と映像フレーム620との間のホモグラフィが映像フレーム620に適用される場合、基準特徴点640のyの位置が位置650に調整され得る。
図7は、一実施形態に係る映像補正方法の動作を示すフローチャートである。
ステップS710において、映像補正装置は、第1視点映像及び第2視点映像を含む多視点映像から特徴点を抽出する。例えば、映像補正装置は、ハリスコーナー方式、SIFT方式、又はFAST方式などの様々な方式に基づいて多視点映像から特徴点を抽出し得る。
ステップS720において、映像補正装置は第1視点映像の現在の映像フレームに含まれた特徴点のうち、以前の映像フレームの特徴点に対応する第1特徴点を決定する。第1視点映像の現在の映像フレームと以前の映像フレームとの間で互いに対応する特徴点の対はディスクリプタの差に基づいて決定され得る。例えば、第1視点映像の現在の映像フレームと以前の映像フレームの特徴点のうち、特徴点ディスクリプタ間のL距離値が予め設定された基準を満足する特徴点の対が互いに対応するものと決定され得る。このような特徴点の対のうち、映像補正装置は、第1視点映像の現在の映像と以前の映像フレーム間の基本行列を用いて第1特徴点を決定できる。
ステップS730において、映像補正装置はステップS720で決定された第1特徴点のうち、第2視点映像の現在の映像フレームに含まれた特徴点に対応する第2特徴点を決定する。例えば、映像補正装置は、第1特徴点と第2視点映像の現在の映像フレームの特徴点のうち、特徴点ディスクリプタ間のL距離値が予め設定された基準を満足する特徴点の対を互いに対応するものと決定され得る。このような特徴点の対のうち、映像補正装置は、第1視点映像の現在の映像と第2視点映像の現在の映像との間の基本行列を用いて第2特徴点を決定できる。
ステップS740において、映像補正装置は、ステップS730で決定された第1視点映像の第2特徴点に基づいて第2視点映像の現在の映像フレームに含まれたピクセルの位置を調整する。映像補正装置は、第2特徴点の位置情報と第2視点映像の現在の映像フレームの特徴点のうち、第2特徴点に対応する第3特徴点の位置情報に基づいて、第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間のホモグラフィを決定し、決定されたホモグラフィを第2視点映像の現在の映像フレームに適用して第2視点映像の現在の映像フレームに含まれたピクセルの位置を調整することができる。
映像補正装置は、ステップS750を選択的に行ってもよい。ステップS750で、映像補正装置は、第2視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整する。映像補正装置は、第1視点映像の現在の映像フレームに含まれたピクセルと第2視点映像の現在の映像フレームに含まれたピクセルとの間のカラー差を用いてカラー変換行列を推定し得る。映像補正装置は、第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間のカラー変換行列を第2視点映像の現在の映像フレームに適用して第2視点映像の現在の映像フレームのカラーを調整し得る。ステップS750の動作は、図10を参照してより具体的に説明することにする。図7に記載していない説明は、図3を参照して説明した関連説明を参照すればよい。
図7は、2つの視点映像を例に挙げて説明しているが、3個以上の視点を有する多視点映像にも上記に説明した映像補正方法が適用され得る。例えば、3個の視点を有する多視点映像の場合、映像補正装置は、第1視点映像の第1特徴点のうち第2視点映像の現在の映像フレームに含まれた特徴点に対応する特徴点を決定し、第1視点映像の第1特徴点のうち、第3視点映像の現在の映像フレームに含まれた特徴点に対応する特徴点を決定することができる。第1視点映像と第2視点映像との間の特徴点マッチング過程及び第1視点映像と第3視点映像との間の特徴点マッチング過程は独立的に行われてもよい。他のステップは、図7及び図3の説明と同一である。
図8は、一実施形態に係る基本行列に基づいて特徴点マッチングの成否を決定する動作を説明するためのフローチャートである。
ステップS810において、映像補正装置は、第1視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点の対をサンプリングする。映像補正装置は、第1視点映像の以前の映像フレームと現在の映像フレームとの間で決定された全体特徴点の対のうち、特定個数の特徴点の対を任意にサンプリングしてもよい。
ステップS820において、映像補正装置は、第1視点映像の以前の映像フレームと第1視点映像の現在の映像フレームとの間の基本行列を決定する。映像補正装置は、第1視点映像の以前の映像フレームと現在の映像フレームとの間で互いに対応するものとして決定された特徴点の対の位置情報に基づいて基本行列を決定する。例えば、映像補正装置は、最小自乗法に基づいて数式(2)及び数式(3)から基本行列を決定することができる。
ステップS830において、映像補正装置は、基本行列を適用した結果が第1条件を満足するか否かを決定する。例えば、映像補正装置は、それぞれの特徴点の対の位置情報と基本行列に基づいてSampson距離を決定し、Sampson距離が特定の距離以下に含まれる特徴点の対の比率が予め設定された範囲を満足するか否かを判断する。
基本行列を適用した結果が第1条件を満足しない場合、ステップS840において、映像補正装置は、現在の反復回数が予め設定された回数以上であるか否かを判断する。例えば、映像補正装置は、現在の反復回数が10000回を超過したか否かを判断する。
現在の反復回数が予め設定された回数未満である場合、映像補正装置は、ステップS810から再び開始して第1視点映像の以前の映像フレームと現在の映像フレームとの間で決定された全体特徴点の対のうち特定個数の特徴点の対を任意にサンプリングする。現在の反復回数が予め設定された回数以上である場合、ステップS850において、映像補正装置は、基本行列を適用した結果が予め設定された第2条件を満足するか否かを判断する。
基本行列を適用した結果が予め設定された第1条件又は第2条件を満足する場合、ステップS860において、映像補正装置は、第1視点映像の以前の映像フレームと現在の映像フレームとの間に特徴点マッチングが成功したものと決定する。特徴点マッチングが成功した場合、映像補正装置は、特徴点マッチング結果に基づいて第2視点映像の現在の映像フレームに対して映像補正を行う。第1条件及び第2条件は、図3を参照して説明しインライアの比率を参照すればよい。
ステップS850で基本行列を適用した結果が第2条件を満足しない場合、ステップS870において、映像補正装置は、第1視点映像の以前の映像フレームと現在の映像フレームとの間に特徴点マッチングが失敗したと決定する。特徴点マッチングが失敗した場合、映像補正装置は、第1視点映像の現在の映像フレームに場面転換が発生したと判断し、特徴点マッチング結果を利用することなく映像補正を行う。例えば、映像補正装置は、第1視点映像の以前の映像フレームを考慮することなく、第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間の特徴点マッチングによって決定された特徴点の対に基づいて映像補正を行うことができる。
図9は、一実施形態に係るカラー補正を行う動作を説明するためのフローチャートである。
ステップS910において、映像補正装置(例えば、図3に示す映像補正装置300)は、第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間のホモグラフィを決定する。例えば、映像補正装置は、数式(9)に基づいて第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームとの間のホモグラフィを決定してもよい。
ステップS920において、映像補正装置は、ステップS910で決定されたホモグラフィに基づいて第2視点映像の現在の映像フレームをワーピングする。例えば、映像補正装置は、第2視点映像の現在の映像フレームにホモグラフィの逆関数を適用して第2視点映像の現在の映像フレームをワーピングさせてもよい。
ステップS930において、映像補正装置は、カラー変換行列を決定する。映像補正装置はワーピングされた第2視点映像の現在の映像フレームを第1視点映像の現在の映像フレームにマッピングする。映像補正装置は、マッピングされた第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームで互いに対応するピクセルを識別し、識別されたピクセルのカラー情報に基づいてカラー変換行列を決定する。例えば、映像補正装置は、第1視点映像の現在の映像フレームとワーピングされた第2視点映像の現在の映像フレーム間の重なった領域に含まれたピクセルのカラー情報と数式(11)に基づいてカラー変換行列を決定することができる。
ステップS940において、映像補正装置は、カラー変換行列に基づいて第2視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整する。映像補正装置は、カラー変換行列を第2視点映像の現在の映像フレームに適用して第2視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整し得る。
以上で説明した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び/又はハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、プロセッサ、コントローラ、ALU(arithmetic logic unit)、デジタル信号プロセッサ(digital signal processor)、マイクロコンピュータ、FPA(field programmable array)、PLU(programmable logic unit)、マイクロプロセッサー、または、命令(instruction)を実行して応答できる異なる装置のように、1つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム(OS)及び前記オペレーティングシステム上で行われる1つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は1つ使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素(processing element)及び/又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは1つのプロセッサ及び1つのコントローラを含んでもよい。また、並列プロセッサ(parallel processor)のような、他の処理構成も可能である。
ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの1つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び/又はデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ記録媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは1つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち1つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー(登録商標)ディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、光ディスクのような光磁気媒体、及びROM、RAM、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために1つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

Claims (31)

  1. 第1視点映像及び第2視点映像を含む多視点映像から特徴点を抽出するステップと、
    前記第1視点映像の現在の映像フレームに含まれた特徴点のうち、前記第1視点映像の以前の映像フレームの特徴点に対応する第1特徴点を決定するステップと、
    前記第1特徴点のうち前記第2視点映像の現在の映像フレームに含まれた特徴点に対応する第2特徴点を決定するステップと、
    前記第2特徴点に基づいて前記第2視点映像の現在の映像フレームを映像補正するステップと、
    を含む、映像補正方法。
  2. 前記第1特徴点を決定するステップは、
    前記第1視点映像の現在の映像フレームと前記第1視点映像の以前の映像フレームとの間で互いに対応する特徴点の対を決定するステップと、
    前記第1視点映像の現在の映像フレームと前記第1視点映像の以前の映像フレームとの間の基本行列を用いて、前記特徴点の対から前記第1特徴点を決定するステップと、
    を含む、請求項1に記載の映像補正方法。
  3. 前記第1特徴点を決定するステップは、
    前記決定された特徴点の対のうち予め設定された個数の特徴点の対を任意に選択するステップと、
    前記選択された特徴点の対の位置情報に基づいて前記基本行列を決定するステップと、
    を含む、請求項2に記載の映像補正方法。
  4. 前記特徴点の対を決定するステップは、特徴点の周辺特性を示す特徴点ディスクリプタの差に基づいて前記特徴点の対を決定するステップを含む、請求項2に記載の映像補正方法。
  5. 前記第2視点映像の現在の映像フレームを映像補正するステップは、前記第2特徴点に対応する前記第2視点映像の現在の映像フレームの第3特徴点及び前記第2特徴点に基づいて前記第2視点映像の現在の映像フレームを映像補正するステップを含む、請求項1乃至4いずれか一項に記載の映像補正方法。
  6. 前記第2視点映像の現在の映像フレームを映像補正するステップは、
    前記第2特徴点の位置情報及び前記第3特徴点の位置情報に基づいて、前記第1視点映像の現在の映像フレームと前記第2視点映像の現在の映像フレームとの間のホモグラフィを決定するステップと、
    前記ホモグラフィを前記第2視点映像の現在の映像フレームに適用して前記第2視点映像の現在の映像フレームに含まれたピクセルの位置を調整するステップと、
    を含む、請求項5に記載の映像補正方法。
  7. 前記第2視点映像の現在の映像フレームを映像補正するステップは、
    探索領域に基づいて前記第2特徴点をフィルタリングするステップと、
    前記フィルタリングの後に残った第2特徴点のうち、少なくとも1つに基づいて前記第2視点映像の現在の映像フレームを映像補正するステップと、
    を含む、請求項5または6に記載の映像補正方法。
  8. 前記第2視点映像の現在の映像フレームを映像補正するステップは、前記第2特徴点の位置情報及び前記第3特徴点の位置情報に基づいて前記第2視点映像の現在の映像フレームに含まれたピクセルの垂直座標値を調整するステップを含む、請求項5乃至7いずれか一項に記載の映像補正方法。
  9. 前記第1視点映像の現在の映像フレームと前記第2視点映像の現在の映像フレームとの間のホモグラフィに基づいて、前記第2視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整するステップをさらに含む、請求項1乃至8いずれか一項に記載の映像補正方法。
  10. 前記カラー値を調整するステップは、
    前記ホモグラフィを用いて前記第2視点映像の現在の映像フレームをワーピングするステップと、
    前記ワーピングされた第2視点映像の現在の映像フレームを前記第1視点映像の現在の映像フレームにマッピングするステップと、
    前記マッピングされた第1視点映像の現在の映像フレームと第2視点映像の現在の映像フレームで互いに対応するピクセルを識別するステップと、
    前記識別されたピクセルのカラー値に基づいてカラー変換行列を決定するステップと、
    前記カラー変換行列を前記第2視点映像の現在の映像フレームに適用して前記第2視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整するステップと、
    を含む、請求項9に記載の映像補正方法。
  11. 前記特徴点を抽出するステップは、
    前記第1視点映像の現在の映像フレームをダウンサンプリングするステップと、
    前記ダウンサンプリングされた現在の映像フレームで特徴点を抽出するステップと、
    を含む、請求項1乃至10いずれか一項に記載の映像補正方法。
  12. 前記多視点映像は第3視点映像を含む、請求項1乃至11いずれか一項に記載の映像補正方法。
  13. 請求項1乃至12いずれか一項に記載の方法を実行するためのプログラムが記録されたコンピュータで読み出し可能な記録媒体。
  14. 第1視点映像及び第2視点映像を含む多視点映像から特徴点を抽出する特徴点抽出部と、
    前記第1視点映像の以前の映像フレームに含まれた特徴点に基づいて、前記第1視点映像の現在の映像フレーム及び第2視点映像の現在の映像フレームから映像補正に使用される特徴点を決定する特徴点決定部と、
    前記決定された特徴点に基づいて映像補正を行う映像補正部と、
    を含む、映像補正装置。
  15. 前記特徴点決定部は、
    前記第1視点映像の現在の映像フレームに含まれた特徴点のうち前記以前の映像フレームの特徴点に対応する第1特徴点を決定し、
    前記第1特徴点のうち前記第2視点映像の現在の映像フレームに含まれた特徴点に対応する第2特徴点を前記映像補正に使用される特徴点として決定する、請求項14に記載の映像補正装置。
  16. 前記特徴点決定部は、前記第1視点映像の現在の映像フレームと以前の映像フレームとの間で互いに対応する特徴点の対を決定し、前記第1視点映像の現在の映像フレームと以前の映像フレームとの間の基本行列を用いて前記特徴点の対から前記第1特徴点を決定する、請求項15に記載の映像補正装置。
  17. 前記映像補正部は、前記映像補正に使用される特徴点の位置情報に基づいて前記第2視点映像の現在の映像フレームに含まれたピクセルの位置を調整する幾何補正部を含む、請求項14乃至16いずれか一項に記載の映像補正装置。
  18. 前記幾何補正部は、前記映像補正に使用される特徴点の位置情報に基づいて前記第1視点映像の現在の映像フレームと前記第2視点映像の現在の映像フレームと間のホモグラフィを決定し、前記ホモグラフィを前記第2視点映像の現在の映像フレームに適用して前記第2視点映像の現在の映像フレームに含まれたピクセルの位置を調整する、請求項17に記載の映像補正装置。
  19. 前記映像補正部は、前記第1視点映像の現在の映像フレームと前記第2視点映像の現在の映像フレームとの間のホモグラフィに基づいて、前記第2視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整するカラー補正部を含む、請求項14乃至18いずれか一項に記載の映像補正装置。
  20. 前記カラー補正部は、前記ホモグラフィに基づいてカラー変換行列を決定し、前記カラー変換行列を前記第2視点映像の現在の映像フレームに適用して他の視点映像の現在の映像フレームに含まれたピクセルのカラー値を調整する、請求項19に記載の映像補正装置。
  21. 対応する第1特徴点を決定するために第1視点映像の現在のフレームの特徴点と前記第1視点映像の以前フレームの特徴点とをマッチングし、前記第1視点映像の前記現在のフレームに対して第1フィルタリングを行い、対応する第2特徴点を決定するために前記マッチングされる特徴点と第2視点映像の現在のフレームの特徴点とをマッチングし、前記第2視点映像の前記現在のフレームに対して第2フィルタリングを行う特徴点決定部と、
    前記対応する第2特徴点に基づいて多視点映像を補正する映像補正部と、
    を含む、映像補正装置。
  22. 前記特徴点決定部は、前記第1視点映像の前記以前フレームと前記第1視点映像の前記現在のフレームとの間の特徴点の対を決定し、前記第1視点映像の前記以前フレームと前記第1視点映像の前記現在のフレームとの間の基本行列を用いて前記特徴点の対から特徴点を選択することによって前記第1フィルタリングを行う、請求項21に記載の映像補正装置。
  23. 前記映像補正部は、前記対応する第2特徴点の位置情報に基づいて前記第2視点映像の前記現在のフレームに含まれたピクセルの位置を調整する幾何補正部を含む、請求項21または22に記載の映像補正装置。
  24. 前記幾何補正部は、前記対応する第2特徴点の位置情報に基づいて前記第2視点映像が前記現在のフレームと前記第1視点映像の前記現在のフレームとの間のホモグラフィを決定し、前記ホモグラフィを用いて前記第2視点映像の前記現在のフレームに含まれたピクセルの位置を調整する、請求項23に記載の映像補正装置。
  25. 前記第2視点映像の前記現在のフレームと前記第1視点映像の前記現在のフレームとの間のホモグラフィに基づいて、前記第2視点映像の前記現在のフレームに含まれたピクセルのカラー値を調整するカラー補正部を含む、請求項21乃至24いずれか一項に記載の映像補正装置。
  26. 前記カラー補正部は、前記ホモグラフィに基づいてカラー変換行列を決定し、前記カラー変換行列を用いて前記第2視点映像の前記現在のフレームに含まれたピクセルのカラー値を調整する、請求項25に記載の映像補正装置。
  27. 第1視点映像の現在のフレームから特徴点を抽出する特徴点抽出部と、
    前記第1視点映像の以前フレームの最初特徴点と前記抽出された特徴点との間に対応する特徴点の対を決定し、前記特徴点の対を用いて基本行列を生成し、前記基本行列に基づいて前記第1視点映像の前記現在のフレームと前記第1視点映像の前記以前フレームとの間に場面転換が発生するか否かを決定する特徴点決定部と、
    を含む、映像補正装置。
  28. 前記特徴点決定部は、マッチングされる特徴点の対を生成するために前記最初特徴点の座標と前記抽出された特徴点の座標との間の距離に基づいて前記最初特徴点と前記抽出された特徴点をマッチングし、マッチングされる特徴点の間の距離が閾値以下である特徴点の対を前記対応する特徴点の対として決定する、請求項27に記載の映像補正装置。
  29. 前記特徴点決定部は、前記対応する特徴点の対の個数を任意に決定し、前記決定された個数の特徴点の対の位置情報を用いて前記基本行列を生成する、請求項27または28に記載の映像補正装置。
  30. 前記場面転換が発生しない場合、前記対応する特徴点の対を用いて多視点映像を補正し、前記場面転換が発生する場合、前記対応する特徴点の対を用いることなく前記多視点映像を補正する映像補正部をさらに含む、請求項27乃至29いずれか一項に記載の映像補正装置。
  31. 前記特徴点決定部は、前記第1視点映像の前記現在のフレームを前記抽出された特徴点を含む検索領域に分割し、それぞれの検索領域で最も大きいスコアを有する抽出された特徴点を選択することによって前記抽出された特徴点の個数を減らし、
    前記スコアは、前記抽出された特徴点が前記対応する特徴点の対に含まれる確率を示す、請求項27乃至30いずれか一項に記載の映像補正装置。
JP2015225940A 2014-11-20 2015-11-18 映像補正方法及び装置 Active JP6767743B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2014-0162651 2014-11-20
KR1020140162651A KR102281184B1 (ko) 2014-11-20 2014-11-20 영상 보정 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020156906A Division JP7163345B2 (ja) 2014-11-20 2020-09-18 映像補正方法及び装置

Publications (2)

Publication Number Publication Date
JP2016100899A true JP2016100899A (ja) 2016-05-30
JP6767743B2 JP6767743B2 (ja) 2020-10-14

Family

ID=54545007

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015225940A Active JP6767743B2 (ja) 2014-11-20 2015-11-18 映像補正方法及び装置
JP2020156906A Active JP7163345B2 (ja) 2014-11-20 2020-09-18 映像補正方法及び装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2020156906A Active JP7163345B2 (ja) 2014-11-20 2020-09-18 映像補正方法及び装置

Country Status (5)

Country Link
US (2) US10506213B2 (ja)
EP (1) EP3024229B1 (ja)
JP (2) JP6767743B2 (ja)
KR (1) KR102281184B1 (ja)
CN (1) CN105635719B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10943109B2 (en) 2017-09-06 2021-03-09 Samsung Electronics Co., Ltd. Electronic apparatus, method for controlling thereof and the computer readable recording medium
WO2022185462A1 (ja) * 2021-03-03 2022-09-09 日本電気株式会社 基本行列生成装置、制御方法、及びコンピュータ可読媒体
WO2022185436A1 (ja) * 2021-03-03 2022-09-09 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
WO2022190224A1 (ja) * 2021-03-09 2022-09-15 日本電気株式会社 基礎行列生成装置、制御方法、及びコンピュータ可読媒体

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9977992B2 (en) * 2012-02-28 2018-05-22 Snell Advanced Media Limited Identifying points of interest in an image
US10063831B2 (en) 2015-02-09 2018-08-28 Samsung Electronics Co., Ltd. Method and apparatus for stereo image rectification
CN105518709B (zh) * 2015-03-26 2019-08-09 北京旷视科技有限公司 用于识别人脸的方法、系统和计算机程序产品
DE102015010264A1 (de) * 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
US9721371B2 (en) * 2015-12-02 2017-08-01 Caterpillar Inc. Systems and methods for stitching metallographic and stereoscopic images
US10580135B2 (en) 2016-07-14 2020-03-03 Shanghai United Imaging Healthcare Co., Ltd. System and method for splicing images
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
CN106485739B (zh) * 2016-09-22 2019-06-11 哈尔滨工业大学 一种基于l2距离的点集配准方法
KR102560780B1 (ko) * 2016-10-05 2023-07-28 삼성전자주식회사 복수의 이미지 센서를 포함하는 이미지 처리 시스템 및 그것을 포함하는 전자 장치
US10453204B2 (en) * 2016-12-06 2019-10-22 Adobe Inc. Image alignment for burst mode images
CN108230395A (zh) * 2017-06-14 2018-06-29 深圳市商汤科技有限公司 双视角图像校准及图像处理方法、装置、存储介质和电子设备
CN107481327B (zh) * 2017-09-08 2019-03-15 腾讯科技(深圳)有限公司 关于增强现实场景的处理方法、装置、终端设备及系统
WO2019047245A1 (zh) * 2017-09-11 2019-03-14 深圳市柔宇科技有限公司 图像处理方法、电子装置和计算机可读存储介质
WO2019237286A1 (zh) * 2018-06-13 2019-12-19 华为技术有限公司 一种筛选局部特征点的方法及装置
KR102596053B1 (ko) * 2018-08-27 2023-11-01 엘지이노텍 주식회사 영상 처리 장치 및 영상 처리 방법
JP6956051B2 (ja) * 2018-09-03 2021-10-27 株式会社東芝 画像処理装置、運転支援システム、画像処理方法及びプログラム
KR102628012B1 (ko) * 2018-10-23 2024-01-22 삼성전자주식회사 캘리브레이션 방법 및 장치
CN109462748B (zh) * 2018-12-21 2020-10-09 福州大学 一种基于单应性矩阵的立体视频颜色校正算法
CN110785772A (zh) * 2019-03-11 2020-02-11 深圳市大疆创新科技有限公司 一种图像处理方法、设备、系统及存储介质
CN110866945A (zh) * 2019-11-13 2020-03-06 镜城科技(杭州)有限公司 一种倾斜摄影模型自动识别生成三维树的方法
US11354883B2 (en) * 2019-12-30 2022-06-07 Sensetime International Pte. Ltd. Image processing method and apparatus, and electronic device
KR20210143607A (ko) * 2020-05-20 2021-11-29 삼성전자주식회사 이미지 생성 장치 및 방법
CN113225461A (zh) * 2021-02-04 2021-08-06 江西方兴科技有限公司 一种检测视频监控场景切换的系统及方法
TWI807449B (zh) 2021-10-15 2023-07-01 國立臺灣科技大學 多視角立體影像產生方法及系統
CN114331914B (zh) * 2022-03-07 2022-05-24 中咨数据有限公司 一种图像快速校准与实时渲染方法、系统、介质及移动端

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JP2005317020A (ja) * 2004-04-27 2005-11-10 Microsoft Corp マルチスケールの有向パッチ(multi−scaleorientedpatches)を使用したマルチ画像フィーチャ(feature)のマッチング
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
JP2012515399A (ja) * 2009-01-14 2012-07-05 エーナイン・ドット・コム インコーポレイテッド 画像パッチを表現するための方法及びシステム
JP2012203852A (ja) * 2011-03-28 2012-10-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2014003520A (ja) * 2012-06-20 2014-01-09 Olympus Corp 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム
JP2014032623A (ja) * 2012-08-06 2014-02-20 Kddi Corp 画像処理装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4149732B2 (ja) 2002-04-26 2008-09-17 アジア航測株式会社 ステレオマッチング方法、3次元計測方法及び3次元計測装置並びにステレオマッチング方法のプログラム及び3次元計測のプログラム
KR100526817B1 (ko) 2003-04-22 2005-11-08 학교법인 중앙대학교 스테레오 영상 구현 시 기본행렬을 구하는 방법
KR100850931B1 (ko) 2006-06-29 2008-08-07 성균관대학교산학협력단 실시간 스테레오 영상 교정 시스템 및 방법
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
US8358840B2 (en) 2007-07-16 2013-01-22 Alexander Bronstein Methods and systems for representation and matching of video content
JP5251410B2 (ja) * 2008-10-03 2013-07-31 株式会社ニコン カメラワーク算出プログラム、撮像装置及びカメラワーク算出方法
US20110025830A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
US9445072B2 (en) * 2009-11-11 2016-09-13 Disney Enterprises, Inc. Synthesizing views based on image domain warping
US8483432B2 (en) 2009-12-23 2013-07-09 General Electric Company Methods for automatic segmentation and temporal tracking
FR2958767B1 (fr) 2010-04-09 2016-11-11 Commissariat Energie Atomique Procede de detection de cibles dans des images stereoscopiques.
WO2011140178A1 (en) 2010-05-04 2011-11-10 Bae Systems National Security Solutions Inc. Inverse stereo image matching for change detection
CN102243764B (zh) 2010-05-13 2015-07-15 东软集团股份有限公司 运动特征点检测方法及装置
KR101150871B1 (ko) 2010-07-29 2012-06-13 연세대학교 산학협력단 수평 변이 및 수평 변이에 기초한 스테레오 영상의 피로도 계산 방법 및 장치
US8494254B2 (en) 2010-08-31 2013-07-23 Adobe Systems Incorporated Methods and apparatus for image rectification for stereo display
EP2640059B1 (en) 2010-11-11 2018-08-29 Panasonic Intellectual Property Corporation of America Image processing device, image processing method and program
US8988536B2 (en) * 2010-12-23 2015-03-24 Samsung Electronics Co., Ltd. Image processing circuit, method of operation thereof, and digital camera including same
JP5954712B2 (ja) * 2011-01-13 2016-07-20 パナソニックIpマネジメント株式会社 画像処理装置、画像処理方法、及びそのプログラム
WO2012129421A2 (en) 2011-03-23 2012-09-27 Tk Holdings Inc. Dynamic stereo camera calibration system and method
JP2012203851A (ja) * 2011-03-28 2012-10-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
US9087375B2 (en) * 2011-03-28 2015-07-21 Sony Corporation Image processing device, image processing method, and program
TWI475515B (zh) * 2011-04-13 2015-03-01 Univ Nat Taiwan 產生立體影片之深度圖的方法
US9600923B2 (en) * 2011-05-26 2017-03-21 Thomson Licensing Scale-independent maps
JP2012257022A (ja) 2011-06-08 2012-12-27 Sony Corp 画像処理装置および方法、並びにプログラム
CN102404595B (zh) 2011-08-16 2013-11-20 上海交通大学 可提供3d节目拍摄指导的极线校正方法
CA2846425A1 (en) * 2011-08-30 2013-03-07 Nokia Corporation An apparatus, a method and a computer program for video coding and decoding
CN102435172A (zh) 2011-09-02 2012-05-02 北京邮电大学 一种球形机器人视觉定位系统及视觉定位方法
CN103020945B (zh) 2011-09-21 2016-02-10 中国科学院电子学研究所 一种多源传感器的遥感图像配准方法
JP5787695B2 (ja) * 2011-09-28 2015-09-30 株式会社トプコン 画像取得装置
KR101313307B1 (ko) * 2011-10-31 2013-09-30 (주)컨벡스 영상보정방법 및 장치
JP5414947B2 (ja) * 2011-12-27 2014-02-12 パナソニック株式会社 ステレオ撮影装置
KR20130112133A (ko) 2012-04-03 2013-10-14 주식회사 사이버메드 뇌수술 환경에서의 스테레오 엔도스코프를 활용한 깊이 맵 추출 정확도 향상 방법
US9183618B2 (en) * 2012-05-09 2015-11-10 Nokia Technologies Oy Method, apparatus and computer program product for alignment of frames
TWI435162B (zh) * 2012-10-22 2014-04-21 Nat Univ Chung Cheng Low complexity of the panoramic image and video bonding method
US8929683B2 (en) * 2012-10-25 2015-01-06 Nvidia Corporation Techniques for registering and warping image stacks
EP2741502A1 (en) * 2012-12-07 2014-06-11 Thomson Licensing Method and apparatus for color transfer between images
JP5910613B2 (ja) * 2013-11-01 2016-04-27 カシオ計算機株式会社 画像合成装置及びプログラム
JP6376618B2 (ja) * 2014-05-15 2018-08-22 華為技術有限公司Huawei Technologies Co.,Ltd. マルチフレームノイズ低減方法および端末
TWI554103B (zh) * 2014-11-13 2016-10-11 聚晶半導體股份有限公司 影像擷取裝置及其數位變焦方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
JPH09161071A (ja) * 1995-12-12 1997-06-20 Sony Corp 領域対応付け装置および領域対応付け方法
JP2005317020A (ja) * 2004-04-27 2005-11-10 Microsoft Corp マルチスケールの有向パッチ(multi−scaleorientedpatches)を使用したマルチ画像フィーチャ(feature)のマッチング
JP2006113807A (ja) * 2004-10-14 2006-04-27 Canon Inc 多視点画像の画像処理装置および画像処理プログラム
JP2012515399A (ja) * 2009-01-14 2012-07-05 エーナイン・ドット・コム インコーポレイテッド 画像パッチを表現するための方法及びシステム
JP2012203852A (ja) * 2011-03-28 2012-10-22 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2014003520A (ja) * 2012-06-20 2014-01-09 Olympus Corp 画像処理装置及びそれを備えた撮像装置、画像処理方法、並びに画像処理プログラム
JP2014032623A (ja) * 2012-08-06 2014-02-20 Kddi Corp 画像処理装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10943109B2 (en) 2017-09-06 2021-03-09 Samsung Electronics Co., Ltd. Electronic apparatus, method for controlling thereof and the computer readable recording medium
WO2022185462A1 (ja) * 2021-03-03 2022-09-09 日本電気株式会社 基本行列生成装置、制御方法、及びコンピュータ可読媒体
WO2022185436A1 (ja) * 2021-03-03 2022-09-09 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
US11967138B2 (en) 2021-03-03 2024-04-23 Nec Corporation Processing apparatus, information processing method and recording medium
JP7477043B2 (ja) 2021-03-03 2024-05-01 日本電気株式会社 基本行列生成装置、制御方法、及びプログラム
JP7521682B2 (ja) 2021-03-03 2024-07-24 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
WO2022190224A1 (ja) * 2021-03-09 2022-09-15 日本電気株式会社 基礎行列生成装置、制御方法、及びコンピュータ可読媒体
JP7477045B2 (ja) 2021-03-09 2024-05-01 日本電気株式会社 基礎行列生成装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
EP3024229A2 (en) 2016-05-25
JP2021005890A (ja) 2021-01-14
CN105635719A (zh) 2016-06-01
US20200053338A1 (en) 2020-02-13
US20160150211A1 (en) 2016-05-26
US11140374B2 (en) 2021-10-05
JP6767743B2 (ja) 2020-10-14
CN105635719B (zh) 2019-08-13
EP3024229B1 (en) 2020-09-16
EP3024229A3 (en) 2016-06-08
KR102281184B1 (ko) 2021-07-23
JP7163345B2 (ja) 2022-10-31
US10506213B2 (en) 2019-12-10
KR20160060403A (ko) 2016-05-30

Similar Documents

Publication Publication Date Title
JP7163345B2 (ja) 映像補正方法及び装置
JP5954712B2 (ja) 画像処理装置、画像処理方法、及びそのプログラム
US20170148186A1 (en) Multi-directional structured image array capture on a 2d graph
US9948913B2 (en) Image processing method and apparatus for processing an image pair
WO2017076106A1 (zh) 图像的拼接方法和装置
US9532036B2 (en) Stereo source image calibration method and apparatus
US8897548B2 (en) Low-complexity method of converting image/video into 3D from 2D
US10116917B2 (en) Image processing apparatus, image processing method, and storage medium
KR102551713B1 (ko) 전자 장치 및 그 이미지 처리 방법
KR101983586B1 (ko) 스테레오 이미지들에 관한 깊이 맵 스티칭 방법
KR102362345B1 (ko) 이미지 처리 방법 및 장치
Wang et al. Stereoscopic image retargeting based on 3D saliency detection
JP2013185905A (ja) 情報処理装置及び方法、並びにプログラム
EP2745520B1 (en) Auxiliary information map upsampling
US9197874B1 (en) System and method for embedding stereo imagery
CN104637043B (zh) 支持像素选择方法、装置、视差值确定方法
KR101718309B1 (ko) 색상 정보를 활용한 자동 정합·파노라믹 영상 생성 장치 및 방법
US11516448B2 (en) Method and apparatus for compensating projection images
WO2017209213A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体
US20130229408A1 (en) Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images
US10531063B2 (en) Method and apparatus for processing stereoscopic video
US20140292748A1 (en) System and method for providing stereoscopic image by adjusting depth value
KR101993961B1 (ko) 임의시점 영상의 홀 채움 방법
KR102513220B1 (ko) 3차원 영상을 위한 복수의 카메라 간의 인접 카메라 인식 시스템 및 방법
JP2017005480A (ja) 立体動画像処理装置、立体動画像処理方法、立体動画像処理プログラム、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181107

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200727

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200918

R150 Certificate of patent or registration of utility model

Ref document number: 6767743

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250