JP2015032313A - 特徴点の生成を用いたイメージの補正方法及び装置 - Google Patents

特徴点の生成を用いたイメージの補正方法及び装置 Download PDF

Info

Publication number
JP2015032313A
JP2015032313A JP2014157377A JP2014157377A JP2015032313A JP 2015032313 A JP2015032313 A JP 2015032313A JP 2014157377 A JP2014157377 A JP 2014157377A JP 2014157377 A JP2014157377 A JP 2014157377A JP 2015032313 A JP2015032313 A JP 2015032313A
Authority
JP
Japan
Prior art keywords
image
image correction
feature points
forced
vertex
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014157377A
Other languages
English (en)
Inventor
チョル キム，ファン
Hwan Chul Kim
チョル キム，ファン
リョン ガン，スゥ
Su Ryeon Kang
リョン ガン，スゥ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CJ CGV CO Ltd
Original Assignee
CJ CGV CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CJ CGV CO Ltd filed Critical CJ CGV CO Ltd
Publication of JP2015032313A publication Critical patent/JP2015032313A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】特徴点の生成を用いたイメージの補正方法を提供する。
【解決手段】（ａ）イメージに複数の特徴点がマッピングされるステップと、（ｂ）前記イメージに追加の特徴点がマッピングされるステップと、（ｃ）追加の特徴点のマッピングにより、特徴点の配置が変化されるステップと、を含み、前記複数の特徴点は、位置が強制された特徴点若しくは位置が強制されていない特徴点としてそれぞれ設定され、前記ステップ（ｃ）において、前記位置が強制されていない特徴点のみを移動させることを特徴とする。
【選択図】図２

Description

本発明は、特徴点の生成を用いたイメージの補正方法及び装置に係り、より詳しくは、複数の特徴点がマッピングされたイメージの上に追加の特徴点をマッピングさせ、特定の特徴点の移動と連携して前記複数の特徴点を再配置し、このような過程を通じてイメージをスムーズに補正することのできるイメージの補正方法及び装置に関する。
投射装置（Ｐｒｏｊｅｃｔｏｒ）と投射面を用いてイメージを実現する場合、投射面の幾何学的な情報を基に投射装置が投射する映像を補正することが必要である。投射面の幾何学的な構造（例えば、投射面全体の傾斜、表面の形状、表面に設けられた構造物など）により投射面に投射されるイメージが歪むことがあるため、映像の補正を用いてこのような幾何学的な構造による映像の歪みを相殺する必要があるためである。
投射面の幾何学的な構造によるイメージの歪みを相殺する補正は、大きく、２種類に大別できる。具体的に、投射面の全体的な配置状態を考慮する「全体的な補正」と、投射面の地域的な構造を考慮する「地域的な補正」とに大別できる。
ここで、前記「全体的な補正」は、投射装置と投射面が垂直な状態に配置されていない場合に発生し得るイメージの歪みを相殺するための補正であり、キーストーン補正若しくはコーナーピン補正とも呼ばれる。例えば特許文献１参照方。
また、前記「地域的な補正」は、投射面が滑らかな平面ではない場合、投射面の表面に構造物が設けられている場合などに発生し得る地域的な歪みを相殺するための補正であり、ワーピング（Ｗａｒｐｉｎｇ）補正とも呼ばれる。
一方、図１を参照して前記「地域的な補正」についてより具体的に説明すると、従来の「地域的な補正」では、投射すべきイメージに複数の特徴点をマッピングさせた後に、前記複数の特徴点をそれぞれ別々に制御（それぞれ別々に移動）する方式を用いてイメージを補正していた。例えば、図１に示すように、投射すべきイメージにメッシュ及び複数のバーテックス（Ｖｅｒｔｅｘ、複数の特徴点の役割を果たす）をマッピングさせた後に、前記複数のバーテックスをそれぞれ別々に制御する方式（特定の特徴点の移動が他の特徴点に影響を及ぼさない）を用いてイメージを補正していた。
しかしながら、このような従来の方式は、単一の特徴点の移動度に応じてイメージが過剰に歪まれる虞があり、ユーザーの入力情報に基づいて前記特徴点を移動させる場合には柔らかなイメージを実現するために過度な入力情報が必要であった。なお、イメージの上に追加の特徴点をマッピングさせる場合には、柔らかなイメージを実現するためにさらに過度な入力情報が必要であった。
この理由から、このような問題を解決し得る新規なイメージ補正技術が望まれている。
特開２００４−１４７０６４号公報
本発明は前記のような点に鑑みてなされたものであって、本発明の目的は、イメージの上にマッピングされている「複数の特徴点」及び「追加的にマッピングされる特徴点」を用いてイメージにスムーズな補正処理を行う技術を提供することにある。
また、本発明は、上述した課題に加えて、その他の明細書の記載から導き出される追加の課題を解決することにある。
このような目的を達成するための、本発明の一実施形態によるイメージの補正方法は、（ａ）イメージ補正装置がイメージに複数の特徴点をマッピングするステップと、（ｂ）イメージ補正装置が前記イメージに追加の特徴点をマッピングするステップと、を含み、前記複数の特徴点は、位置が強制された特徴点若しくは位置が強制されていない特徴点としてそれぞれ設定されることを特徴とする。
また、本発明の一実施形態によるイメージの補正方法は、前記ステップ（ｂ）において、前記イメージ補正装置が、外部入力情報または自体的な演算情報を基に前記イメージ内の特定の領域に補正が必要であると認められた場合、前記追加の特徴点をマッピングすることを特徴とする。
さらに、本発明の一実施形態によるイメージの補正方法は、前記追加の特徴点も、位置が強制された特徴点若しくは位置が強制されていない特徴点として設定されることを特徴とする。
さらに、本発明の一実施形態によるイメージの補正方法は、前記特徴点が、前記イメージにマッピングされたメッシュのバーテックスであることを特徴とする。
さらに、本発明の一実施形態によるイメージの補正方法は、前記メッシュが、多角形を基本とするメッシュであることを特徴とする。
さらに、本発明の一実施形態によるイメージの補正方法は、前記メッシュが、三角形を基本とするメッシュであり、追加のバーテックスが三角形の内部にマッピングされた場合、追加のバーテックスが前記三角形を構成する３つのバーテックスとそれぞれ接続され、追加のバーテックスが前記メッシュの線分の上にマッピングされた場合、追加のバーテックスが前記線分と向かい合う２つのバーテックスとそれぞれ接続されて、前記メッシュの構造が変形されることを特徴とする。
さらに、本発明の一実施形態によるイメージの補正方法は、（ｃ）特定の特徴点が移動された場合、イメージ補正装置が他の特徴点の位置を一緒に変化させるステップをさらに含むことを特徴とする。
さらに、本発明の一実施形態によるイメージの補正方法は、前記ステップ（ｃ）において、前記イメージ補正装置が、位置が強制されていない特徴点の位置のみを変化させることを特徴とする。
さらに、本発明の一実施形態によるイメージの補正方法は、前記特徴点が、前記イメージにマッピングされたメッシュのバーテックスであり、位置が強制されていないバーテックスは、前記メッシュ構造上において自分と接続されたバーテックスの位置情報に基づいて再配置されることを特徴とする。
さらに、本発明の一実施形態によるイメージの補正方法は、前記位置が強制されていないバーテックスが、以下の数式に基づいて再配置され、
Figure 2015032313
式中、Ｖｉは、位置が強制されていないバーテックスが再配置される位置を示し、Ｖｊは、位置が強制されていないバーテックスに接続されたバーテックスの位置を示し、Ｎは、位置が強制されていないバーテックスに接続されたバーテックスの数を示すことを特徴とする。
さらに、本発明の一実施形態によるイメージの補正方法は、前記イメージが、上映劇場の壁面に投射されるイメージであることを特徴とする。
一方、このような前記イメージの補正方法は、プログラムの形で実現され、プログラムの形で実現された後に電子装置により読取り可能な記録媒体に記録される。
一方、上述した課題を解決するための本発明の一実施形態によるイメージ補正装置は、イメージが格納される格納部と、前記イメージに複数の特徴点をマッピングさせた後に、追加の特徴点をマッピングさせ、前記特徴点を用いて前記イメージを補正するイメージ補正部と、を備え、前記イメージ補正部は、前記複数の特徴点を位置が強制された特徴点若しくは位置が強制されていない特徴点としてそれぞれ設定されることを特徴とする。
また、本発明の一実施形態によるイメージ補正装置は、前記イメージ補正部が、外部入力情報または自体的な演算情報を基に前記イメージ内の特定の領域に補正が必要であると認められた場合、前記追加の特徴点をマッピングすることを特徴とする。
さらに、本発明の一実施形態によるイメージ補正装置は、前記特徴点が、前記イメージにマッピングされたメッシュのバーテックスであることを特徴とする。
さらに、本発明の一実施形態によるイメージ補正装置は、前記メッシュが、多角形を基本とするメッシュであることを特徴とする。
さらに、本発明の一実施形態によるイメージ補正装置は、前記メッシュが、三角形を基本とするメッシュであり、前記イメージ補正部は、追加のバーテックスが三角形の内部にマッピングされた場合、追加のバーテックスを前記三角形を構成する３つのバーテックスにそれぞれ接続させ、追加のバーテックスが前記メッシュの線分の上にマッピングされた場合、追加のバーテックスを前記線分と向かい合う２つのバーテックスにそれぞれ接続させて、前記メッシュの構造を変形させることを特徴とする。
さらに、本発明の一実施形態によるイメージ補正装置は、前記イメージ補正部が、特定の特徴点の位置が変更された場合、他の特徴点の位置を一緒に変化させることを特徴とする。
さらに、本発明の一実施形態によるイメージ補正装置は、情報を受け取るための入力部をさらに備え、前記イメージ補正部は、前記入力部を介して入力される情報により特定の特徴点の位置が変更された場合、前記位置が強制されていない特徴点の位置を一緒に変化させることを特徴とする。
さらに、本発明の一実施形態によるイメージ補正装置は、前記特徴点が、前記イメージにマッピングされたメッシュのバーテックスであり、位置が強制されていないバーテックスは、前記メッシュ構造上において自分と接続されたバーテックスの位置情報に基づいて再配置されることを特徴とする。
さらに、本発明の一実施形態によるイメージ補正装置は、前記イメージ補正部が、前記位置が強制されていないバーテックスを以下の数式に基づいて再配置し、
Figure 2015032313
式中、Ｖｉは、位置が強制されていないバーテックスが再配置される位置を示し、Ｖｊは、位置が強制されていないバーテックスに接続されたバーテックスの位置を示し、Ｎは、位置が強制されていないバーテックスに接続されたバーテックスの数を示すことを特徴とする。
本発明によれば、複数の特徴点がマッピングされているイメージの上に追加の特徴点をマッピングさせることができ、特定の特徴点が移動される場合に他の特徴点を一緒に移動（既に設定された演算により移動）させることができるので、スムーズな補正イメージを生成することができる。
また、本発明は、イメージの上にマッピングされている特徴点を「位置が強制された特徴点」と、「位置が強制されていない特徴点」とに区分設定し、特定の特徴点が移動される場合に、前記「位置が強制されていない特徴点」のみを既に設定された演算により一緒に移動（再配置）させることができる。これにより、（位置が強制された特徴点を用いて）補正されるべきイメージ領域が乱れることを防ぐことができるとともに、（位置が強制されていない特徴点を用いて）イメージの補正中にスムーズなイメージを生成することができる。
さらに、本発明は、「位置が強制されていない特徴点」の再配置位置を当該特徴点と接続された周りの特徴点の位置情報を基に決定することができる。例えば、本発明は、前記特徴点がメッシュ構造のバーテックスにより形成される場合、「位置が強制されていないバーテックス」と接続されているバーテックスの位置情報に基づいて、「位置が強制されていないバーテックス」を移動させることができる。したがって、本発明によれば、「位置が強制されていない特徴点」の再配置位置が、周りの特徴点との調和を考慮した状態で決定され、これにより、さらにスムーズな補正イメージが生成される。
さらに、本発明は、メッシュ構造のバーテックスを用いて特徴点を構成する場合、追加のバーテックスがマッピングされる位置に応じて様々な方法によりメッシュ構造を変形することができる。例えば、本発明は、前記メッシュ構造を三角形のメッシュ構造（Ｔｒｉａｎｇｕｌａｒ ｍｅｓｈ）に形成する場合、追加されるバーテックスの位置が三角形の内部であるか、または、線分上であるかによって異なる方式によりメッシュ構造を変形することができ、このような方式を用いて一層細かく、しかも、個別位置に最適化されたイメージの補正を行うことができる。
さらに、本発明は、上映劇場の「壁面」に投射されるイメージを補正する過程にも適用され、これにより、上映劇場の「壁面」にスムーズなイメージが実現される。
さらに、本発明は、上映劇場情報ＤＢ（特に、上映劇場の壁面情報ＤＢ）を演算の基礎情報として活用してイメージ補正プロセスを行うことができる。これにより、これを用いて上映劇場の特性に合う映像補正プロセスを容易に行うことができる。
イメージの上に特徴点がマッピングされ、特徴点の移動によりイメージが補正されることを示す例示図である。 本発明の一実施形態によるイメージの補正方法の代表的なステップを示すフローチャートである。 イメージの上に特徴点が追加されることを示す例示図である。 特定の特徴点が移動されることに伴い、他の特徴点が一緒に再配置されることを示す例示図である。 三角形のメッシュ構造及びバーテックスにより特徴点を構成したことを示す例示図である。 三角形のメッシュ構造にバーテックスが追加された場合に実現される「メッシュ構造の変形」及び「バーテックスの移動」を示す例示図である。 三角形のメッシュ構造にバーテックスが追加された場合に実現される「メッシュ構造の変形」及び「バーテックスの移動」を示す例示図である。 本発明の一実施形態によるイメージ補正装置の代表的な構成を示す構成図である。
以下、添付図面に基づき、本発明の実施形態による「特徴点の生成を用いたイメージの補正方法及び装置」について詳細に説明する。説明する実施形態は、本発明の技術思想を当業者が容易に理解できるように提供するものであり、これらにより本発明が限定されることはない。なお、添付図面に表現された事項は、本発明の実施形態を容易に説明するために図式化したものであり、実際に実現される形態とは異なる場合がある。
一方、以下において表現される各構成部は、本発明を実現するための一例に過ぎない。したがって、本発明の他の実現に当たっては、本発明の思想及び範囲を逸脱しない範囲内において他の構成部が使用可能である。また、各構成部は単にハードウェアまたはソフトウェアの構成だけで実現されてもよいが、同じ機能を行う様々なハードウェア及びソフトウェア構成の組み合わせにより実現してもよい。
また、ある構成要素を「備える」という表現は、「開放型の表現」であり、当該構成要素が存在することを単に指し示す表現であり、追加の構成要素を排除するものと理解してはならない。
さらに、「第１、第２、第３」などの序数を含む用語は、様々な構成要素を説明するのに使用可能であるが、これらの用語は、ある構成要素を他の構成要素と区別する目的にのみ用いられ、前記構成要素の属性が前記用語により限定されることはない。
そして、ある構成要素が他の構成要素に「接続されて」いると言及されるときには、その他の構成要素に直接的に接続していてもよいが、これらの間に他の構成要素が介在していてもよいと理解すべきである。
以下、図２から図７に基づき、本発明の一実施形態によるイメージの補正方法について説明する。
参考までに、後述するイメージの補正方法は、様々な種類のイメージを補正するのに活用される。例えば、投射装置により投射されるイメージ、ＬＥＤ、ＬＣＤ、ＣＲＴなどのディスプレイ装置において再生されるイメージ、有無線通信網を介して提供されるイメージなど様々な種類のイメージを補正するのに活用される。
但し、後述するイメージの補正方法は、「投射装置により投射されるイメージ」を補正する過程において活用する場合にその効果が極大化され、特に、投射イメージのワーピング補正過程において活用する場合にその効果が極大化される。イメージのワーピング補正過程においては、投射面の表面構造を考慮してイメージを逆に歪ませるとともに、投射面の上には、正常的であり、且つ、柔らかなイメージを実現する必要があるが、本発明の一実施形態によるイメージの補正方法によりこのような過程が効果的に達成されるためである。
また、後述するイメージの補正方法は、様々な装置により実現される。例えば、後述するイメージの補正方法は、サーバー（Ｓｅｒｖｅｒ）、パソコン（ＰＣ）、ノート型パソコン、タブレット端末、モバイル機器などの単一の電子装置により実現され、二つ以上の電子装置が連動した形で実現され、加えて、イメージ情報が処理可能な様々な電子装置により実現される。さらに、後述するイメージの補正方法は、投射装置、撮影装置など装置の動作を含む形で実現される。
本発明の一実施形態によるイメージの補正方法は、（ａ）イメージに複数の特徴点がマッピングされるステップと、（ｂ）前記イメージに追加の特徴点がマッピングされるステップと、（ｃ）特定の特徴点が移動され、前記特定の特徴点の移動に伴い、他の特徴点の配置が一緒に変化するステップと、を含む。
前記ステップ（ａ）は、補正されるべきイメージの上に複数の特徴点１１０をマッピングさせるステップである。ここで、前記特徴点１１０は種々に実現されるが、図５に示すように、メッシュを構成するバーテックス状に実現されることが好ましい。また、この場合、前記メッシュは、多角形構造のメッシュとして形成されることが好ましい。
また、前記複数の特徴点１１０は、２種類の特徴点から構成されることが好ましいが、具体的に「位置が強制された特徴点１１２」と、「位置が強制されていない特徴点１１４」とに区分設定されることが好ましい。ここで、「位置が強制された特徴点１１２」とは、特定の特徴点の移動などのイベントにより位置が変化されていない特徴点のことをいう。さらに、「位置が強制されていない特徴点１１４」とは、特定の特徴点の移動などのように、イベントの発生により既に設定された演算に基づいて位置が変化される特徴点のことをいう。
このような「位置が強制された特徴点１１２」及び「位置が強制されていない特徴点１１４」の区分設定は、外部入力情報または自体的な演算により行われる。具体的に、ユーザー入力情報などの外部入力情報などを基に区分設定してもよく、イメージ補正を行う装置の自体的な演算により区分設定してもよい。
また、前記イメージの補正方法がイメージのワーピング補正過程において活用される場合には、前記特徴点１１０を区分設定（１１２または１１４）する過程において撮影装置が生成する情報が活用される。具体的に、前記撮影装置が投射面に投射されるイメージを撮影した情報を基に「位置が強制された特徴点１１２」及び「位置が強制されていない特徴点１１４」を区分設定する。参考までに、設定された「位置が強制された特徴点」及び「位置が強制されていない特徴点」は変更されてもよく、個別の特徴点単位で再び設定されてもよく、あるいは、グループ単位で再び設定されてもよい。
一方、このようにイメージの上にマッピングされた各特徴点１１０は、位置の移動を基に前記イメージを補正することができる。例えば、図１に示すように、特徴点が移動することに伴い、特徴点の移動度に比例してイメージが補正される。
前記ステップ（ｂ）は、前記イメージの上に複数の特徴点１１０がマッピングされた後に、追加の特徴点１２０がマッピングされるステップである。ここで、前記追加の特徴点１２０は、既存にマッピングされた特徴点１１０と完全に一致する位置を除いては、前記イメージ上の様々な位置にマッピングされる。図３には、追加の特徴点１２０がマッピングされることが例示されている。
また、前記ステップ（ｂ）において、「追加的にマッピングされる特徴点１２０」もまた、他の特徴点１１０と同様に、「位置が強制された特徴点１２２」または「位置が強制されていない特徴点１２４」に設定される。具体的に、図３に示すように、追加的にマッピングされる特徴点１２０も、「位置が強制された特徴点１２２」または「位置が強制されていない特徴点１２４」に設定される。このため、追加的にマッピングされる特徴点１２０もまた、特定の特徴点の移動などのイベントの発生により移動しても移動しなくてもよい。
さらに、前記追加の特徴点１２０は、ステップ（ａ）と同様に、外部入力情報または自体的な演算動作に基づいてマッピングまたは設定される。
一方、前記複数の特徴点１１０がメッシュ構造のバーテックス状に構成される場合、特徴点１２０の追加によりメッシュ構造そのものも変形されることが好ましい。また、この場合、特徴点１２０が追加される位置に応じて異なる方式によりメッシュ構造を変形させることが好ましい。このような方式により、さらに細かく個別の位置に最適化されたイメージ補正が行われるためである。例えば、前記複数の特徴点１１０が、図５に示すように、三角形メッシュ構造のバーテックスから構成される場合、前記メッシュ構造は追加されるバーテックスの位置に応じて異なる方式により変形される。具体的に、１）図６に示すように、追加のバーテックスＶ１０が三角形の内部にマッピングされた場合には、追加のバーテックスＶ１０を前記三角形を構成する３つのバーテックスＶ２、Ｖ５、Ｖ６とそれぞれ接続して前記メッシュ構造を変形させることが好ましい。また、２）図７に示すように、追加のバーテックスＶ１０が前記メッシュの線分の上にマッピングされる場合には、追加のバーテックスＶ１０を前記線分と向かい合う２つのバーテックスＶ３、Ｖ５とそれぞれ接続することが好ましい。要するに、このような過程を経て追加されるバーテックスの位置に応じて異なる方式によりメッシュ構造を変形することができる。
前記ステップ（ｃ）は、特定の特徴点（前記ステップ（ａ）においてマッピングされた複数の特徴点であってもよく、前記ステップ（ｂ）において追加的にマッピングされた特徴点であってもよい）が移動されるイベントが発生した場合、既に設定された演算により他の特徴点を一緒に再配置する動作を行うステップであり、このような特徴点の移動を基にイメージを補正するステップである。
この場合、他の特徴点の再配置動作は、「位置が強制されていない特徴点」の移動により行われ、「位置が強制された特徴点」は、イベントの発生とは無関係に自分の位置を維持する。また、ここで、移動する「位置が強制されていない特徴点」には、特徴点の追加前に「位置が強制されていない特徴点」に設定された特徴点１１４だけではなく、「位置が強制されていない特徴点」に設定された状態で追加される特徴点１２４も含まれる。図４には、これらの特徴点１１４、１２４の再配置動作が例示されている。具体的に、選択された特定の特徴点が移動することに伴い、「位置が強制された特徴点」１１２、１２２は自分の位置を維持し、「位置が強制されていない特徴点」１１４、１２４が既に設定された演算により自分の位置を変化させる実施形態が例示されている。
また、前記「位置が強制されていない特徴点１１４、１２４」を移動させる演算は、様々なアルゴリズムにより行われるが、好ましくは、自分の周りに配置された特徴点の位置情報に基づいて移動すべき位置を決定するアルゴリズムにより実現される。
特徴点を「メッシュ構造のバーテックス」から構成した実施形態に基づいて述べると、「位置が強制されていないバーテックス」（位置が強制されていない特徴点）は、メッシュ構造の上において自分と接続されたバーテックスの位置情報に基づいて自分の位置を再配置することができる。また、この場合、前記「位置が強制されていないバーテック」は、下記の数式１に基づいて自分の位置を再配置することができる。
Figure 2015032313
ここで、Ｖｉは、位置が強制されていないバーテックスが再配置される位置を示し、Ｖｊは、位置が強制されていないバーテックスに接続されたバーテックスの位置を示し、Ｎは、位置が強制されていないバーテックスに接続されたバーテックスの数を示す。
図７に基づいて具体例について述べると、Ｖ１０のバーテックスが追加され、Ｖ５バーテックスが「位置が強制されていないバーテックス」である場合、前記Ｖ５バーテックスは、下記の数式２に基づいて位置が変わることがある。
Figure 2015032313
また、図７において追加されたＶ１０バーテックスが「位置が強制されていないバーテックス」に設定された場合、前記Ｖ１０バーテックスは、下記の数式３に基づいて位置が変わることがある。
Figure 2015032313
一方、「位置が強制されていないバーテックス」が互いに接続されており、一緒に移動しなければならない場合には、相互間の位置情報を動的に演算して互いの位置を算出することが好ましい。例えば、上述した実施形態において、Ｖ５バーテックスとＶ１０バーテックスは両方とも「位置が強制されていないバーテックス」であり、互いに接続されているため、互いの位置情報を動的に考慮して移動すべき位置を決定することが好ましい。この場合、相互間の動的な位置を確率的な演算により計算してもよく、確率的な情報に基づいて自分の位置を決定してもよい。
一方、前記特定の特徴点の選択及び移動は、外部入力情報または自体的な演算により行われる。具体的に、ユーザー入力情報などの外部入力情報などを基に区分されて移動されてもよく、イメージ補正を行う装置の自体的な演算により移動されてもよい。
また、前記特定の特徴点の選択及び移動は、外部入力情報または自体的な演算により強圧的に起こる位置移動であるため、「位置が強制された特徴点１１２、１２２」及び「位置が強制されていない特徴点１１４、１２４」がいずれも前記特定の特徴点になり得る。すなわち、前記「位置が強制された特徴点１１２、１２２」及び前記「位置が強制されていない特徴点１１４、１２４」の区別は、前記「特定の特徴点の選択及び移動」の過程においては意味がなく、前記「特定の特徴点の選択及び移動」と連携して同時に行われる、「他の特徴点の再配置過程」においてのみ意味がある。
一方、前記イメージの補正方法がイメージのワーピング補正過程において活用される場合には、前記特定の特徴点１１０または１２０の移動過程において撮影装置が生成する情報が活用される。具体的に、前記撮影装置が投射面に投射されるイメージを撮影した情報を基に前記特定の特徴点１１０または１２０の移動方向、移動度などが決定される。
図２に基づき、このようなイメージの補正方法の流れについてより詳細に説明すると、前記イメージの補正方法は、先ず、イメージに複数の特徴点がマッピングされるステップ（Ｓ１０）を含む。ここで、マッピングされる複数の特徴点は、「位置が強制された特徴点」または「位置が強制されていない特徴点」に区分設定された状態でマッピングされる。
前記Ｓ１０ステップ後には、特徴点が追加されるイベントが行われ（Ｓ１１におけるはい）る。この場合、イメージの上に追加の特徴点がマッピング（Ｓ１２）され、前記追加の特徴点もまた、「位置が強制された特徴点」または「位置が強制されていない特徴点」に区分設定される。
前記Ｓ１２ステップ後または前記Ｓ１１ステップにおいて特徴点が追加されるイベントが発生しない場合（Ｓ１１におけるいいえ）には、イメージの上にマッピングされた特徴点のうちから選択された特定の特徴点が移動（Ｓ１３におけるはい）される。この場合、前記特定の特徴点の移動は、外部入力情報または自体的な演算に基づいて行われる。
また、前記特定の特徴点が移動された場合（Ｓ１３におけるはい）には、前記特定の特徴点の移動に伴い他の特徴点が一緒に再配置（Ｓ１４）される。具体的に、「位置が強制されていない特徴点」に設定されている特徴点が既に設定された演算に基づいて移動されてもよく、このような過程を経て他の特徴点が一緒に再配置（Ｓ１４）されてもよい。
一方、前記Ｓ１４ステップにより特徴点が再配置されるか、あるいは、前記Ｓ１３ステップにおいて特定の特徴点が移動されていない場合（Ｓ１３におけるいいえ）には、イメージの補正状態に応じて補正作業が完了（Ｓ１５におけるはい）するか、あるいは、補正作業が繰り返し行われる（Ｓ１５における）。具体的に、外部入力情報または内部演算によりイメージの補正作業が完了したと判断された場合（Ｓ１５におけるはい）には、イメージの補正作業が終了される。逆に、外部入力情報または内部演算によりイメージの補正作業が完了していないと判断された場合（Ｓ１５におけるいいえ）には、上述したステップが繰り返し行われる。
上述した本発明の一実施形態によるイメージの補正方法は、プログラム指令、データファイル、データ構造などの形で実現され、このような形で実現された後に電子装置にて読取り可能な記録媒体に記録される。また、ここで、前記記録媒体は、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープなどの磁気媒体（Ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤなどの光記録媒体（Ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）などの磁気−光媒体（Ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、ＲＯＭ、ＲＡＭ、フラッシュメモリなどの格納媒体により実現され、このような格納媒体に加えて、様々な格納媒体により実現される。
さらに、上述した本発明の一実施形態によるイメージの補正方法は、投射装置により投射されるイメージを補正する過程において活用されることが好ましく、特に、上映劇場の「壁面」に投射されるイメージを補正する過程において活用される場合にその効果が極大化される。
この場合、前記イメージの補正方法は、外部入力情報を基に前記ステップ（ａ）（複数の特徴点のマッピング）、ステップ（ｂ）（追加の特徴点のマッピング）、ステップ（ｃ）（特定の特徴点の移動及び特徴点の再配置）を行うが、好ましくは、「上映劇場情報ＤＢ」に基づく自体的な演算を用いて前記ステップ（ａ）から前記ステップ（ｃ）を行う。例えば、前記イメージの補正方法は、前記上映劇場情報ＤＢに含まれている「壁面に設けられた構造物情報」、「壁面の表面凹凸情報」、「壁面の傾斜情報」などを基に自体的な演算を行ってもよく、このような演算を基に前記ステップ（ａ）からステップ（ｃ）を行ってもよい。
以下、図８に基づき、本発明の一実施形態によるイメージ補正装置について説明する。
後述するイメージ補正装置は、カテゴリは異なるが、上述したイメージの補正方法と実質的に同じ技術的な特徴を含む。このため、前記イメージの補正方法と結び付けて上述した特徴は、当然のことながら、矛盾のない範囲内において前記イメージ装置にも類推・適用される。
図８を参照すると、本発明の一実施形態によるイメージ補正装置２００は、イメージが格納される格納部２１０と、イメージ補正動作を行うイメージ補正部２２０と、外部入力情報を受け取るための入力部２３０と、撮影動作を行うための撮影部２４０と、ディスプレイ動作を行うディスプレイ部２５０と、前記格納部、前記イメージ補正部、前記入力部、前記撮影部及び前記ディスプレイ部をはじめとする構成部を制御する制御部２６０と、を備える。
また、本発明の一実施形態によるイメージ補正装置２００は、通信網を介して情報を送受信するための通信部と、前記格納部に格納されたイメージを投射するための投射部と、をさらに備え、このような前記通信部もまた前記制御部２６０により制御される。
一方、このような前記イメージ補正装置２００は、単一の電子装置の形で実現されてもよく、二つ以上の電子装置が有線または無線にて接続された形で実現されてもよい。また、前記イメージ補正装置２００が備える各構成部は、ハードウェア単独またはソフトウェア単独で実現されてもよく、同じ機能を行う様々なハードウェア及びソフトウェアの組み合わせにより実現されてもよい。
前記格納部２１０は、補正の対象となるイメージまたは補正が完了したイメージを一時的にまたは継続的に格納する構成要素である。このような前記格納部２１０は前記イメージ補正部２２０に補正されるべきイメージを転送し、前記イメージ補正部２２０により補正が完了したイメージを受け取って新たに格納する。
一方、前記格納部２１０は様々な電子装置により実現されるが、例えば、揮発性メモリ素子により実現され、不揮発性メモリまたは不揮発性電磁気的な格納素子により実現される。なお、このような素子に加えて、様々なメモリ装置により実現される。
前記入力部２３０は、ユーザー入力情報などの外部入力情報を受け取るための構成要素である。このような前記入力部２３０は、イメージの補正動作において活用可能な様々な情報を受け取るが、例えば、追加の特徴点のマッピングに関する情報、特定の特徴点の移動に関する情報、個別的な特徴点の設定情報（「位置が強制された特徴点」または「位置が強制されていない特徴点」に設定された情報）など様々な情報を受け取る。
また、前記入力部２３０は、様々な電子装置により実現されるが、例えば、マウス、キーパッド、タッチスクリーン、キーボードなどの様々な入力装置により実現される。
一方、前記入力部２３０は、後述する通信部と連動されるように実現される。具体的に、前記入力部は、前記通信部を介して外部の端末（例えば、モバイル機器、パソコン（ＰＣ）、ノート型パソコンなどのユーザー端末など）と無線また有線にて接続された状態で、外部入力情報を受信するように実現される。
前記撮影部２４０は、撮影動作を行う構成要素である。このような前記撮影部２４０は、特に、前記イメージ補正装置２００が「投射面に投射されるイメージ」を補正する装置である場合に、投射面に投射されるイメージ（前記投射部が投射するイメージ）を撮影する役割を果たす。
また、前記撮影部２４０が撮影したイメージは、前記ディスプレイ部２５０に転送されてディスプレイされるか、あるいは、前記イメージ補正部２２０に転送されて分析されるが、後者の場合には、追加の特徴点のマッピング、特定の特徴点の移動、個別的な特徴点の区分設定（「位置が強制された特徴点」または「位置が強制されていない特徴点」に区分設定）などの演算のための基礎情報として活用される。
一方、前記撮影部２４０は、様々な撮像素子の形で実現されるが、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの様々な撮像素子の形で実現される。
前記ディスプレイ部２５０は、ディスプレイ動作を行うための構成要素である。このような前記ディスプレイ部２５０は、前記イメージ補正装置２００の動作と関連する様々な情報をディスプレイするが、例えば、補正されるべきイメージ、イメージが補正される過程（例えば、メッシュ構造、バーテックスのマッピング、バーテックスの移動など）、補正が完了したイメージ、前記撮影部２４０が撮影したイメージなど前記イメージ補正装置２００の動作と関連する様々な情報をディスプレイする。
このような前記ディスプレイ部２５０は、情報を表示する様々なディスプレイ装置により実現されるが、例えば、液晶表示装置（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｅｄ Ｄｉｏｄｅ）などをはじめとする様々なディスプレイ装置により実現される。
前記投射部は、イメージを投射面に投射するための構成要素である。前記イメージ補正装置２００が「投射面に投射されるべきイメージ」を補正する場合には、投射面に投射されるイメージを直接的に確認（チェック）しながらイメージの補正動作を行う必要があるため、前記イメージ補正装置に前記投射部が付設される。
このような前記投射部は、前記格納部２１０に格納されている補正されるべきイメージを投射面に投射するか、あるいは、補正が行われているイメージ（例えば、メッシュ構造及びバーテックスがマッピングされ、バーテックスの追加または移動により補正されるイメージ）を投射面にリアルタイムにて投射する。なお、前記投射部は、補正が完了したイメージも投射面に投射し、このような動作によりイメージの補正結果が点検される。
一方、前記投射部は、光学系及び発熱部を備える様々な投射装置により実現される。例えば、前記投射部は、陰極線管（ＣＲＴ）方式の投射装置、液晶ディスプレイ（ＬＣＤ）方式の投射装置、ＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ） チップを用いるデジタル光処理（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ；ＤＬＰ）、ＤＬＰ方式の投射装置、ＬｃｏＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ ｏｎ Ｓｉｌｉｃｏｎ）方式の投射装置などにより実現され、このような投射装置に加えて、様々な形で実現される。
前記通信部は、有線または無線通信網を介して様々な情報を送受信するための構成要素である。このような前記通信部は、ＩＥＥＥ、ＩＳＯ、ＩＥＴ、ＩＴＵなどの標準を満たす様々な有線通信装置または無線通信装置の形で実現される。
前記イメージ補正部２２０は、イメージの補正動作を行う構成要素である。具体的に、前記イメージ補正部２２０は、上述した「本発明の一実施形態によるイメージの補正方法」が含んでいる様々なイメージの補正動作を行う。このため、重複する説明を避けるために詳細な記載は省略するが、前記「イメージの補正方法」と関連して上述した特徴は、前記イメージ補正部２２０の動作にもそのまま類推・適用される。
このような前記イメージ補正部２２０の代表的な動作について簡略に説明すると、先ず、前記イメージ補正部２２０は、補正すべきイメージに複数の特徴点をマッピングする。ここで、前記特徴点は、メッシュ構造のバーテックスから構成されることが好ましく、前記メッシュ構造は、多角形を基本とするメッシュ構造に形成されることが好ましい。また、前記イメージ補正部２２０は、前記複数の特徴点を「位置が強制された特徴点」と「位置が強制されていない特徴点」に区分して設定する。
また、前記イメージ補正部２２０は、前記イメージに追加の特徴点をマッピングする。この場合、前記イメージ補正部２２０は、前記追加の特徴点を「位置が強制された特徴点」または「位置が強制されていない特徴点」に設定する。
さらに、前記イメージ補正部２２０は、自体的に演算した情報、前記入力部２３０を介して入力された情報または前記撮影部２４０が生成する情報を基に、特定の特徴点の位置を変更し、このような特定の特徴点の位置変化に伴い、「位置が強制されていない特徴点」の配置を一緒に変化させる。
さらに、前記イメージ補正部２２０は、様々なアルゴリズムを用いて「位置が強制されていない特徴点」を移動させるが、好ましくは、当該特徴点の周りに配置された特徴点の位置情報に基づいて当該特徴点を移動させる。
特徴点を「メッシュ構造のバーテックス」から構成した実施形態に基づいて述べると、前記イメージ補正部２２０は、特定のバーテックスを「位置が強制されていないバーテックス」に設定した場合、前記メッシュ構造上において前記特定のバーテックスと接続されたバーテックスの位置情報を基に前記特定のバーテックスを移動させる。なお、この場合、前記イメージ補正部２２０は、上述した数式１に基づいて前記特定のバーテックスを移動させる。
また、前記イメージ補正部２２０は、前記複数の特徴点がメッシュ構造のバーテックス状に構成される場合、特徴点の追加によりメッシュ構造そのものを変形させる。さらに、この場合、特徴点が追加される位置に応じて異なる方式によりメッシュ構造を変形させる。このような方式を用いて、さらに細かく個別位置に最適化されたイメージ補正が行われるためである。例えば、前記イメージ補正部２２０は、前記複数の特徴点が、図５に示すように、三角形メッシュ構造のバーテックスから構成される場合、追加されるバーテックスの位置に応じて異なる方式により前記メッシュ構造を変形させる。具体的に、１）図６に示すように、追加のバーテックスＶ１０が三角形の内部にマッピングされた場合には、追加のバーテックスＶ１０を前記三角形を構成する３つのバーテックスＶ２、Ｖ５、Ｖ６とそれぞれ接続して前記メッシュ構造を変形させる。また、２）図７に示すように、追加のバーテックスＶ１０が前記メッシュの線分の上にマッピングされる場合には、追加のバーテックスＶ１０を前記線分と向かい合う２つのバーテックスＶ３、Ｖ５とそれぞれ接続してメッシュ構造を変形させる。要するに、このような過程を経て、前記イメージ補正部２２０は、追加されるバーテックスの位置に応じて異なる方式によりメッシュ構造を変形させる。
一方、前記イメージ補正部２２０は、前記入力部２３０を介して入力される情報または前記撮影部２４０が生成する情報を基に、「追加の特徴点をマッピング」するか、あるいは、個別的な特徴点の設定情報（「位置が強制されていない特徴点」または位置が強制された特徴点」）を決定または変更する。
前記制御部２６０は、前記格納部２１０と、前記イメージ補正部２２０と、前記入力部２３０と、前記撮影部２４０と、前記ディスプレイ部２５０と、前記投射部及び前記通信部を備える前記イメージ補正装置２００の様々な動作を制御するための構成要素である。
このような前記制御部２６０は、少なくとも一つの演算装置を備えるが、ここで、前記演算装置は、汎用的な中央演算装置（ＣＰＵ）であってもよいが、特定の目的に見合うように実現されたプログラマブルデバイス素子（ＣＰＬＤ、ＦＰＧＡ）や注文型半導体演算装置（ＡＳＩＣ）またはマイクロコントローラチップであってもよい。
また、前記制御部２６０は、このような素子に加えて、様々な素子を備え、様々な電子素子の形で実現される。
一方、上述した本発明の一実施形態によるイメージ補正装置は、投射装置により投射されるイメージを補正する過程において活用されることが好ましく、特に、上映劇場の「壁面」に投射されるイメージを補正する過程において活用される場合にその効果が極大化される。
この場合、前記イメージ補正装置は、外部入力情報を基に、「イメージに複数の特徴点をマッピングさせる動作」、「イメージに追加特徴点マッピングさせる動作」、「特定の特徴点が移動し、特徴点の再配置される動作」などを行うが、好ましくは、「上映劇場情報ＤＢ」に基づく自体的な演算を用いてこのような補正関係の動作を行う。例えば、前記イメージ補正装置は、前記上映劇場情報ＤＢに含まれている「壁面に設けられた構造物情報」、「壁面の表面凹凸情報」、「壁面の傾斜情報」などを基に自体的な演算を行い、このような演算を基に補正関係の動作を行う。
上述した本発明の実施形態は、例示の目的のために開示されたものであり、これらにより本発明が限定されることはない。また、本発明が属する技術分野において通常の知識を有する者であれば、本発明の思想と範囲内において様々な修正及び変更を加えることができる筈であり、このような修正及び変更は本発明の範囲に属するものと認めるべきである。
本発明は、特徴点の生成を用いたイメージの補正方法及び装置に係る分野に適用できる。
１１０ イメージにマッピングされた特徴点
１１２ 位置が強制された特徴点
１１４ 位置が強制されていない特徴点
１２０ 追加的にマッピングされた特徴点
１２２ 位置が強制された特徴点
１２４ 位置が強制されていない特徴点
２００ イメージ補正装置
２１０ 格納部
２２０ イメージ補正部
２３０ 入力部
２４０ 撮影部
２５０ ディスプレイ部
２６０ 制御部

Claims (20)

  1. （ａ）イメージ補正装置がイメージに複数の特徴点をマッピングするステップと、
    （ｂ）イメージ補正装置が前記イメージに追加の特徴点をマッピングするステップと、
    を含み、
    前記複数の特徴点は、位置が強制された特徴点若しくは位置が強制されていない特徴点としてそれぞれ設定されることを特徴とするイメージの補正方法。
  2. 前記ステップ（ｂ）において、
    前記イメージ補正装置は、外部入力情報または自体的な演算情報を基に前記イメージ内の特定の領域に補正が必要であると認められた場合、前記追加の特徴点をマッピングすることを特徴とする請求項１に記載のイメージの補正方法。
  3. 前記追加の特徴点も、位置が強制された特徴点若しくは位置が強制されていない特徴点として設定されることを特徴とする請求項１に記載のイメージの補正方法。
  4. 前記特徴点は、前記イメージにマッピングされたメッシュのバーテックスであることを特徴とする請求項１に記載のイメージの補正方法。
  5. 前記メッシュは、多角形を基本とするメッシュであることを特徴とする請求項４に記載のイメージの補正方法。
  6. 前記メッシュは、三角形を基本とするメッシュであり、
    追加のバーテックスが三角形の内部にマッピングされた場合、追加のバーテックスが前記三角形を構成する３つのバーテックスとそれぞれ接続され、
    追加のバーテックスが前記メッシュの線分の上にマッピングされた場合、追加のバーテックスが前記線分と向かい合う２つのバーテックスとそれぞれ接続されて、
    前記メッシュの構造が変形されることを特徴とする請求項５に記載のイメージの補正方法。
  7. （ｃ）特定の特徴点が移動された場合、イメージ補正装置が他の特徴点の位置を一緒に変化させるステップをさらに含むことを特徴とする請求項１に記載のイメージの補正方法。
  8. 前記ステップ（ｃ）において、前記イメージ補正装置は、位置が強制されていない特徴点の位置のみを変化させることを特徴とする請求項７に記載のイメージの補正方法。
  9. 前記特徴点は、前記イメージにマッピングされたメッシュのバーテックスであり、
    位置が強制されていないバーテックスは、前記メッシュ構造上において自分と接続されたバーテックスの位置情報に基づいて再配置されることを特徴とする請求項８に記載のイメージの補正方法。
  10. 前記位置が強制されていないバーテックスは、以下の数式に基づいて再配置され、
    Figure 2015032313
    式中、Ｖｉは、位置が強制されていないバーテックスが再配置される位置を示し、Ｖｊは、位置が強制されていないバーテックスに接続されたバーテックスの位置を示し、Ｎは、位置が強制されていないバーテックスに接続されたバーテックスの数を示すことを特徴とする請求項９に記載のイメージの補正方法。
  11. 前記イメージは、上映劇場の壁面に投射されるイメージであることを特徴とする請求項１に記載のイメージの補正方法。
  12. イメージが格納される格納部と、
    前記イメージに複数の特徴点をマッピングさせた後に、追加の特徴点をマッピングさせ、前記特徴点を用いて前記イメージを補正するイメージ補正部と、
    を備え、
    前記イメージ補正部は、前記複数の特徴点を位置が強制された特徴点若しくは位置が強制されていない特徴点としてそれぞれ設定されることを特徴とするイメージ補正装置。
  13. 前記イメージ補正部は、外部入力情報または自体的な演算情報を基に前記イメージ内の特定の領域に補正が必要であると認められた場合、前記追加の特徴点をマッピングすることを特徴とする請求項１２に記載のイメージ補正装置。
  14. 前記特徴点は、前記イメージにマッピングされたメッシュのバーテックスであることを特徴とする請求項１２に記載のイメージ補正装置。
  15. 前記メッシュは、多角形を基本とするメッシュであることを特徴とする請求項１４に記載のイメージ補正装置。
  16. 前記メッシュは、三角形を基本とするメッシュであり、
    前記イメージ補正部は、
    追加のバーテックスが三角形の内部にマッピングされた場合、追加のバーテックスを前記三角形を構成する３つのバーテックスにそれぞれ接続させ、
    追加のバーテックスが前記メッシュの線分の上にマッピングされた場合、追加のバーテックスを前記線分と向かい合う２つのバーテックスにそれぞれ接続させて、
    前記メッシュの構造を変形させることを特徴とする請求項１５に記載のイメージ補正装置。
  17. 前記イメージ補正部は、特定の特徴点の位置が変更された場合、他の特徴点の位置を一緒に変化させることを特徴とする請求項１２に記載のイメージ補正装置。
  18. 情報を受け取るための入力部をさらに備え、
    前記イメージ補正部は、前記入力部を介して入力される情報により特定の特徴点の位置が変更された場合、前記位置が強制されていない特徴点の位置を一緒に変化させることを特徴とする請求項１７に記載のイメージ補正装置。
  19. 前記特徴点は、前記イメージにマッピングされたメッシュのバーテックスであり、
    位置が強制されていないバーテックスは、前記メッシュ構造上において自分と接続されたバーテックスの位置情報に基づいて再配置されることを特徴とする請求項１８に記載のイメージ補正装置。
  20. 前記イメージ補正部は、前記位置が強制されていないバーテックスを以下の数式に基づいて再配置し、
    Figure 2015032313
    式中、Ｖｉは、位置が強制されていないバーテックスが再配置される位置を示し、Ｖｊは、位置が強制されていないバーテックスに接続されたバーテックスの位置を示し、Ｎは、位置が強制されていないバーテックスに接続されたバーテックスの数を示すことを特徴とする請求項１９に記載のイメージ補正装置。
JP2014157377A 2013-08-01 2014-08-01 特徴点の生成を用いたイメージの補正方法及び装置 Pending JP2015032313A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020130091330A KR20150015680A (ko) 2013-08-01 2013-08-01 특징점의 생성을 이용한 이미지 보정 방법 및 장치
KR10-2013-0091330 2013-08-01

Publications (1)

Publication Number Publication Date
JP2015032313A true JP2015032313A (ja) 2015-02-16

Family

ID=52427730

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014157377A Pending JP2015032313A (ja) 2013-08-01 2014-08-01 特徴点の生成を用いたイメージの補正方法及び装置

Country Status (7)

Country Link
US (1) US10043094B2 (ja)
EP (1) EP3028245A4 (ja)
JP (1) JP2015032313A (ja)
KR (1) KR20150015680A (ja)
CN (1) CN104346779B (ja)
MY (1) MY176284A (ja)
WO (1) WO2015016596A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020162011A (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 映像投影システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101677A (zh) * 2016-08-17 2016-11-09 郑崧 投影图像调整系统及调整方法
CN108596962A (zh) * 2018-04-23 2018-09-28 武汉大学 一种迭代三角网络约束下的异源遥感影像可靠匹配方法
JP6787375B2 (ja) * 2018-08-29 2020-11-18 セイコーエプソン株式会社 表示システム、制御装置、表示システムの制御方法、およびプログラム
KR102196749B1 (ko) * 2018-11-28 2020-12-31 주식회사 큐램 가중치 특징점을 이용한 이미지 정합 방법 및 그 시스템
CN111918043B (zh) * 2019-05-10 2022-04-15 中强光电股份有限公司 投影系统、投影画面调整方法以及投影机
CN110475110A (zh) * 2019-09-25 2019-11-19 上海迪东实业有限公司 投影图像几何校正方法、投影图像几何校正设备及投影仪
CN114567763B (zh) * 2022-02-22 2023-03-24 湖南泊湾科技有限公司 一种可任意加点的双线性几何校正方法及系统
CN117319613A (zh) * 2022-06-20 2023-12-29 苏州佳世达光电有限公司 画面校正方法及应用其之投影机

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185729A (ja) * 1995-12-28 1997-07-15 Honda Motor Co Ltd 直交差分メッシュの作成方法
JP2001083949A (ja) * 1999-09-16 2001-03-30 Japan Science & Technology Corp 映像投影装置
JP2004295254A (ja) * 2003-03-25 2004-10-21 Hokkaido Univ 初期制御メッシュ導出システム及び初期制御メッシュ導出プログラム
JP2005242651A (ja) * 2004-02-26 2005-09-08 Hokkaido Univ 高品質メッシュモデルの生成システムおよび生成プログラム
US20060120620A1 (en) * 2004-12-07 2006-06-08 Silicon Optix Inc. Dynamic warp map generation system and method
WO2006062508A1 (en) * 2004-12-07 2006-06-15 Silicon Optix Inc. Dynamic warp map generation system and method
JP2006285765A (ja) * 2005-04-01 2006-10-19 Univ Of Tokyo 画像処理システムおよび画像処理プログラム
JP2008512767A (ja) * 2004-09-09 2008-04-24 シリコン オプティックス インコーポレイテッド 一般的な２次元空間変換の表現システム及び方法
US20080240615A1 (en) * 2007-03-27 2008-10-02 Seiko Epson Corporation Image processing for image deformation
JP2008543071A (ja) * 2005-05-30 2008-11-27 トウシバ エレクトロニクス ヨーロッパ ゲゼルシャフト ミット ベシュレンクテル ハフツング ワーピング演算ユニットを有する集積回路
JP2009237627A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置
JP2012048662A (ja) * 2010-08-30 2012-03-08 Toshiba Corp 画像処理装置、方法、及びプログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2856207B1 (ja) * 1997-09-10 1999-02-10 日本電気株式会社 画像位置調整装置及び画像位置調整プログラムを記録したコンピュータが読み取り可能な記録媒体
JP2000125174A (ja) * 1998-10-12 2000-04-28 Fuji Photo Film Co Ltd 画像情報における歪曲収差補正方法および装置
KR100411760B1 (ko) * 2000-05-08 2003-12-18 주식회사 모리아테크놀로지 애니메이션 영상 합성 장치 및 방법
JP3886769B2 (ja) * 2001-10-26 2007-02-28 富士通株式会社 補正画像生成装置および補正画像生成プログラム
KR100510653B1 (ko) 2002-10-11 2005-08-31 엘지전자 주식회사 디지털 ｔｖ의 영상 왜곡 보정 장치
US20050089213A1 (en) * 2003-10-23 2005-04-28 Geng Z. J. Method and apparatus for three-dimensional modeling via an image mosaic system
WO2005093653A1 (ja) * 2004-03-25 2005-10-06 Sanyo Electric Co., Ltd 画像補正装置と方法、画像補正データベース作成方法、情報データ提供装置、画像処理装置、情報端末、および情報データベース装置
US20120182403A1 (en) * 2004-09-30 2012-07-19 Eric Belk Lange Stereoscopic imaging
US7551802B2 (en) * 2005-09-22 2009-06-23 Konica Minolta Systems Laboratory, Inc. Map image matching method and apparatus
US7751599B2 (en) * 2006-08-09 2010-07-06 Arcsoft, Inc. Method for driving virtual facial expressions by automatically detecting facial expressions of a face image
JP4694624B2 (ja) * 2006-09-13 2011-06-08 パイオニア株式会社 画像補正装置及び方法、並びにコンピュータプログラム
CA2668941C (en) * 2006-11-17 2015-12-29 Thomson Licensing System and method for model fitting and registration of objects for 2d-to-3d conversion
KR100858087B1 (ko) * 2007-02-14 2008-09-10 삼성전자주식회사 객체 포즈 정규화 방법과 장치 및 객체 인식 방법
WO2008111452A1 (ja) * 2007-03-09 2008-09-18 Omron Corporation 認識処理方法およびこの方法を用いた画像処理装置
JP5191167B2 (ja) * 2007-06-06 2013-04-24 オリンパスメディカルシステムズ株式会社 医用ガイドシステム
US7872653B2 (en) * 2007-06-18 2011-01-18 Microsoft Corporation Mesh puppetry
JP4946730B2 (ja) * 2007-08-27 2012-06-06 ソニー株式会社 顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラム
US8830268B2 (en) * 2008-11-07 2014-09-09 Barco Nv Non-linear image mapping using a plurality of non-linear image mappers of lesser resolution
US8405659B2 (en) * 2009-06-24 2013-03-26 International Business Machines Corporation System and method for establishing correspondence, matching and repairing three dimensional surfaces of arbitrary genus and arbitrary topology in two dimensions using global parameterization
US9019349B2 (en) * 2009-07-31 2015-04-28 Naturalpoint, Inc. Automated collective camera calibration for motion capture
WO2011086889A1 (ja) * 2010-01-12 2011-07-21 日本電気株式会社 特徴点選択システム、特徴点選択方法および特徴点選択プログラム
JP5588196B2 (ja) * 2010-02-25 2014-09-10 キヤノン株式会社 認識装置及びその制御方法、コンピュータプログラム
US9053553B2 (en) * 2010-02-26 2015-06-09 Adobe Systems Incorporated Methods and apparatus for manipulating images and objects within images
KR20110123950A (ko) * 2010-05-10 2011-11-16 삼성전자주식회사 이미지 처리 장치 및 방법
JP5664659B2 (ja) * 2010-11-08 2015-02-04 日本電気株式会社 画像照合装置
CN102567724B (zh) 2010-12-11 2016-06-22 罗普特（厦门）科技集团有限公司 图像校正系统及方法
KR101181199B1 (ko) * 2011-01-03 2012-09-18 한국과학기술원 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
JP2014522591A (ja) * 2011-05-25 2014-09-04 サード ディメンション アイピー リミテッド ライアビリティー カンパニー 角スライス実像３ｄディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
WO2012167616A1 (en) * 2011-06-09 2012-12-13 The Hong Kong University Of Science And Technology Image based tracking
US20130004059A1 (en) * 2011-07-01 2013-01-03 Amir Said Aligning stereoscopic images
KR20130054868A (ko) * 2011-11-17 2013-05-27 한국전자통신연구원 회귀 베지어 패치 분할에 기반하는 기하 보정 장치 및 방법
JP6070307B2 (ja) * 2012-05-21 2017-02-01 株式会社リコー パターン抽出装置、画像投影装置、パターン抽出方法およびプログラム
US20150213328A1 (en) * 2012-08-23 2015-07-30 Nec Corporation Object identification apparatus, object identification method, and program
KR20150004989A (ko) * 2013-07-03 2015-01-14 한국전자통신연구원 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
CN104574321B (zh) * 2015-01-29 2018-10-23 京东方科技集团股份有限公司 图像修正方法、图像修正装置和视频系统
US10290111B2 (en) * 2016-07-26 2019-05-14 Qualcomm Incorporated Systems and methods for compositing images

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185729A (ja) * 1995-12-28 1997-07-15 Honda Motor Co Ltd 直交差分メッシュの作成方法
JP2001083949A (ja) * 1999-09-16 2001-03-30 Japan Science & Technology Corp 映像投影装置
JP2004295254A (ja) * 2003-03-25 2004-10-21 Hokkaido Univ 初期制御メッシュ導出システム及び初期制御メッシュ導出プログラム
JP2005242651A (ja) * 2004-02-26 2005-09-08 Hokkaido Univ 高品質メッシュモデルの生成システムおよび生成プログラム
JP2008512767A (ja) * 2004-09-09 2008-04-24 シリコン オプティックス インコーポレイテッド 一般的な２次元空間変換の表現システム及び方法
US20060120620A1 (en) * 2004-12-07 2006-06-08 Silicon Optix Inc. Dynamic warp map generation system and method
WO2006062508A1 (en) * 2004-12-07 2006-06-15 Silicon Optix Inc. Dynamic warp map generation system and method
JP2006285765A (ja) * 2005-04-01 2006-10-19 Univ Of Tokyo 画像処理システムおよび画像処理プログラム
JP2008543071A (ja) * 2005-05-30 2008-11-27 トウシバ エレクトロニクス ヨーロッパ ゲゼルシャフト ミット ベシュレンクテル ハフツング ワーピング演算ユニットを有する集積回路
US20080240615A1 (en) * 2007-03-27 2008-10-02 Seiko Epson Corporation Image processing for image deformation
JP2009237627A (ja) * 2008-03-25 2009-10-15 Seiko Epson Corp 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置
JP2012048662A (ja) * 2010-08-30 2012-03-08 Toshiba Corp 画像処理装置、方法、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020162011A (ja) * 2019-03-27 2020-10-01 パナソニックＩｐマネジメント株式会社 映像投影システム
JP7281782B2 (ja) 2019-03-27 2023-05-26 パナソニックＩｐマネジメント株式会社 映像投影システム

Also Published As

Publication number Publication date
EP3028245A4 (en) 2017-04-26
CN104346779A (zh) 2015-02-11
EP3028245A1 (en) 2016-06-08
CN104346779B (zh) 2017-05-03
US20150036937A1 (en) 2015-02-05
US10043094B2 (en) 2018-08-07
WO2015016596A1 (en) 2015-02-05
MY176284A (en) 2020-07-27
KR20150015680A (ko) 2015-02-11

Similar Documents

Publication Publication Date Title
JP2015032313A (ja) 特徴点の生成を用いたイメージの補正方法及び装置
JP4986864B2 (ja) 画像投射装置
US9818377B2 (en) Projection system, image processing apparatus, and correction method
JP4501481B2 (ja) マルチプロジェクションシステムのための画像補正方法
US10209943B2 (en) Display control apparatus, control method thereof and storage medium
WO2021042638A1 (zh) 投影仪振镜测试目标图的提取方法、装置及电子设备
JP6423650B2 (ja) 投射装置のクラスターリング方法、これを用いた管理装置及び管理システム
JP2015097350A (ja) 画像処理装置およびマルチプロジェクションシステム
TW201547281A (zh) 投影系統及其亮度調整方法
CN114125411B (zh) 投影设备校正方法、装置、存储介质以及投影设备
US10573277B2 (en) Display device, display system, and non-transitory recording medium, to adjust position of second image in accordance with adjusted zoom ratio of first image
JP2011002826A (ja) 表示装置、画像処理方法およびコンピューター読み取り可能な記憶媒体
CN114449236A (zh) 投影装置与其投影画面校正方法
JP2020507100A (ja) 曲面投影領域へのイメージ投影方法およびそのための投影システム
JP6508874B2 (ja) 映像投影装置、映像投影方法、およびコンピュータプログラム
JP2012027953A (ja) 変化画像検出装置、変化画像検出方法、及びそれらの機能を実現するためのコンピュータプログラム並びにそのコンピュータプログラムを記録した記録媒体
US11575863B2 (en) Depth-based projection of image-based content
JP2005252676A (ja) マルチプロジェクションシステムのための画像補正方法
JP2019191443A (ja) 投影装置
KR102191529B1 (ko) 멀티 프로젝션 시스템 및 방법
JP6056220B2 (ja) プロジェクター及びその制御方法
JP7020225B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20170094943A (ko) 멀티 프로젝션 영상의 블렌딩 세부보정 장치 및 방법
JP2023125177A (ja) 投写画像の調整方法、投写システム及び制御装置
JP2024033487A (ja) 表示方法、表示装置及びプログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150421

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160322

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160816