JP2014002747A - シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法 - Google Patents

シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法 Download PDF

Info

Publication number
JP2014002747A
JP2014002747A JP2013129468A JP2013129468A JP2014002747A JP 2014002747 A JP2014002747 A JP 2014002747A JP 2013129468 A JP2013129468 A JP 2013129468A JP 2013129468 A JP2013129468 A JP 2013129468A JP 2014002747 A JP2014002747 A JP 2014002747A
Authority
JP
Japan
Prior art keywords
feature point
image
point information
tile
information extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013129468A
Other languages
English (en)
Other versions
JP6121810B2 (ja
Inventor
Yong Min Tai
龍 旻 太
Young-Su Moon
永 秀 文
Jeong-Uk Cho
程 ▲うく▼ 趙
Jun-Seok Cha
俊 赫 車
Hyun-Sang Park
賢 相 朴
Shi-Hwa Lee
時 和 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2014002747A publication Critical patent/JP2014002747A/ja
Application granted granted Critical
Publication of JP6121810B2 publication Critical patent/JP6121810B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】ＳＲＡＭ及びＤＲＡＭを並行に使用し、ＳＲＡＭ容量を大きく拡張しなくても任意の解像度を有する映像を処理可能にしてシフトアルゴリズムを行う。
【解決手段】特徴点情報抽出装置１００は、大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する第１インタフェース部と、前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出する特徴点情報抽出部とを備え、前記第１インタフェース部は、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割し、前記少なくとも１つ以上のタイルイメージを生成する。
【選択図】図１

Description

下記の実施形態は、ソースイメージを少なくとも１つ以上のタイルイメージに分割して読み出すことによって、大容量ソースイメージに対してもシフトコアの処理容量に関係なくシフトアルゴリズムを適用して特徴点情報を抽出する装置及び方法に関する。
シフト（ＳＩＦＴ：Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）アルゴリズムは映像処理分野で広く用いられる方法として、映像内で特徴点の位置を抽出して特徴点周辺の情報（ｄｅｓｃｒｉｐｔｏｒ）を格納する。
シフトアルゴリズムから生成される特徴点の位置と特徴点周辺の情報を含む特徴点情報は、照明変化（ｉｌｌｕｍｉｎａｔｉｏｎ）、回転（ｒｏｔａｔｉｏｎ）、大きさの変化（ｓｃａｌｉｎｇ）、視点（ｖｉｅｗｐｏｉｎｔ）にも強靭な性質を有する。
これによって、シフトアルゴリズムは、映像処理分野で２つ以上の映像を用いる場合に映像間のマッチングのために用いられている。
すなわち、シフトアルゴリズムは、映像の大きさの変化、回転、照明変化に強靭な特徴点を抽出するため、映像において正確なマッチングが必要な場合に用いられる。
シフトアルゴリズムで特徴点情報を抽出するためには比較的に多くの算出量が必要である。シフトアルゴリズムをハードウェアとして実現し、上位アルゴリズムに対してソフトウェアに実現する処理方式は高画質の大容量映像を処理するために有利である。シフトアルゴリズムそのものもハードウェア及びソフトウェアに分類されて分散処理が可能であるが、高画質の大容量映像を高速処理するためにはハードウェア費用を勘案しても全ての機能をハードウェアに処理することが望ましい。
本発明の目的は、ＳＲＡＭ及びＤＲＡＭを並行に使用し、ＳＲＡＭ容量を大きく拡張しなくても任意の解像度を有する映像を処理可能にしてシフトアルゴリズムを行うことにある。
一実施形態に係る特徴点情報抽出装置は、大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する第１インタフェース部と、前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出する特徴点情報抽出部とを備え、前記第１インタフェース部は、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割し、前記少なくとも１つ以上のタイルイメージを生成する。
一実施形態に係るそれぞれの部分は互いに重なってもよい。一実施形態に係る第１インタフェースは、第１ソースイメージの水平解像度がバッファメモリの水平容量よりも大きくなる場合、前記生成された少なくとも１つ以上のタイルイメージを前記大容量臨時記憶装置の容量よりも小さい容量を有するバッファメモリに記録してもよい。
一実施形態に係る前記バッファメモリは、ＳＲＡＭメモリまたは前記大容量臨時記憶装置であってもよい。一実施形態に係る前記第１インタフェースと前記特徴点情報抽出部はＡＲＭ構造に適してもよい。一実施形態に係る前記特徴変換は、シフトアルゴリズム（ＳＩＦＴ、ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）であってもよい。
一実施形態に係る前記第１インタフェース部は、前記第１ソースイメージの水平解像度を基準として前記第１ソースイメージを分割し、第１タイルイメージ及び第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域が存在するように前記第１タイルイメージと前記第２タイルイメージを生成してもよい。
一実施形態に係る第１インタフェース部は、大容量臨時記憶装置に格納されたソースイメージのそれぞれの部分を読み出し、ソースイメージの一部を第１タイルイメージとしてバッファメモリに格納し、前記バッファメモリは、前記大容量臨時記憶装置と区別され、前記バッファメモリは、前記大容量臨時記憶装置の水平容量よりも小さい水平容量を有してもよい。
一実施形態に係る前記特徴点情報抽出部は、前記特徴点情報として前記第１タイルイメージの特徴領域と、前記特徴領域に対応するディスクリプタを抽出してもよい。
一実施形態に係る前記特徴点情報抽出部は、前記少なくとも１つ以上のタイルイメージの特徴点位置及び前記特徴点位置に対応するディスクリプタのうち少なくとも１つを前記特徴点情報として抽出してもよい。
一実施形態に係る前記特徴点情報抽出部は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記少なくとも１つ以上の第１オクターブとガウスフィルタを畳み込み演算して少なくとも１つ以上のガウス映像を生成し、前記生成された少なくとも１つ以上のガウス映像から少なくとも１つ以上のガウス差値映像を生成し、前記生成された少なくとも１つ以上のガウス差値映像から候補特徴点を生成し、前記生成された候補特徴点のうち前記特徴点情報を抽出してもよい。
一実施形態に係る前記特徴点情報抽出部は、前記少なくとも１つ以上の第１オクターブを決定し、前記少なくとも１つ以上のガウスイメージを生成し、前記少なくとも１つ以上のＤｏＧイメージを生成し、前記生成されたＤｏＧイメージから前記候補特徴点を生成し、シフトアルゴリズムによって前記特徴点情報を抽出してもよい。
一実施形態に係る前記特徴点情報抽出部は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定し、前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の第２オクターブを生成し、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定し、前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出してもよい。
一実施形態に係る前記特徴点情報抽出装置は、少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理する第２マスタインタフェース部をさらに備えてもよい。
一実施形態に係る前記第１インタフェース部は、前記大容量臨時記憶装置に格納された前記第２ソースイメージから少なくとも１つ以上のタイルイメージを生成し、前記特徴点情報抽出部は、前記第２ソースイメージから生成される少なくとも１つ以上のタイルイメージが第２オクターブとして入力されて前記第２候補特徴点を決定してもよい。
一実施形態に係る特徴点情報抽出装置は、大容量臨時記憶装置で第１ソースイメージから分割された少なくとも１つ以上の第１タイルイメージを読み出す読み出し部と、前記読み出した少なくとも１つ以上の第１タイルイメージにシフトアルゴリズムを適用して第１候補特徴点を生成し、前記少なくとも１つ以上の第１タイルイメージをダウンサイジングして少なくとも１つ以上の第２タイルイメージを出力するシフトアルゴリズム演算部と、前記出力される少なくとも１つ以上の第２タイルイメージを合成して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理する書き込み部とを備え、前記読み出し部は、前記第２ソースイメージから分割された少なくとも１つ以上の第２タイルイメージを読み出し、前記シフトアルゴリズム演算部は、前記読み出された少なくとも１つ以上の第２タイルイメージから第２候補特徴点を生成し、前記生成した第１候補特徴点と前記生成した第２候補特徴点に基づいて特徴点情報を生成してもよい。
一実施形態に係る前記読み出し部は、前記第１ソースイメージの水平解像度を基準として分割して前記少なくとも１つ以上の第１タイルイメージとして読み出し、前記第２ソースイメージの水平解像度を基準にして分割し、前記少なくとも１つ以上の第２タイルイメージとして読み出してもよい。
一実施形態に係る前記読み出し部は、選択された面積で重複領域が存在するように前記少なくとも１つ以上の第１タイルイメージのそれぞれを読み出すか、前記少なくとも１つ以上の第２タイルイメージのそれぞれを読み出してもよい。
一実施形態に係る前記書き込み部は、前記重複領域を考慮して前記少なくとも１つ以上の第２タイルイメージを合成して前記第２ソースイメージを生成してもよい。
一実施形態に係るソース映像の特徴点情報抽出方法は、第１インタフェース部で、大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成するステップと、特徴点情報抽出部で、前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出するステップとを含み、前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する前記ステップは、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割して第１タイルイメージ及び第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域が存在するように前記第１タイルイメージと前記第２タイルイメージを生成するステップを含む。
一実施形態に係る前記生成された第１タイルイメージをバッファメモリに格納するステップは、前記バッファメモリが、前記大容量臨時憶装置よりも小さい容量を有し、第１ソースイメージの水平解像度が前記大容量臨時憶装置の水平容量よりも小さくてもよい。
一実施形態に係る前記生成された第１タイルをバッファメモリに格納するステップは、ＳＲＡＭメモリであるバッファメモリに格納するステップを含み、前記大容量臨時憶装置から前記それぞれの部分を読み出すステップは、ＤＲＡＭメモリで動作する大容量臨時憶装置から前記それぞれの部分を読み出すステップを含んでもよい。
一実施形態に係る前記特徴変換は、シフトアルゴリズム（ＳＩＦＴ、ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）であってもよい。
一実施形態に係る前記特徴点情報を抽出するステップは、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定するステップと、前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の第２オクターブを生成し、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定するステップと、前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出するステップとを含む。
一実施形態に係るソース映像の特徴点情報抽出方法は、第２マスタインタフェース部で、少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理するステップをさらに含んでもよい。
一実施形態に係るソース映像の特徴点情報抽出方法は、前記第１インタフェース部で、前記大容量臨時記憶装置に格納された前記第２ソースイメージから少なくとも１つ以上のタイルイメージを生成するステップをさらに含み、前記第２候補特徴点を決定するステップは、前記第２ソースイメージから生成される少なくとも１つ以上のタイルイメージが第２オクターブとして入力されて前記第２候補特徴点を決定するステップを含んでもよい。
本発明によると、高解像度映像に対するシフトコアを効果的にハードウェア化することで、高付加価値映像処理アルゴリズムをリアルタイムで処理することができる。
また、一実施形態に係る特徴点情報抽出装置及び方法を応用すると、シフトアルゴリズムだけではなく、メモリを大容量に用いる映像処理アルゴリズムでも映像の解像度制約なしでシフトアルゴリズムを処理することができる。
一実施形態に係る特徴点情報抽出装置を説明する図である。 一実施形態に係る少なくとも１つ以上のタイルイメージに分割されるソースイメージを説明する図である。 シフトアルゴリズムを用いて候補特徴点を抽出した少なくとも１つ以上のタイルイメージに対してダウンサイジング（ｄｏｗｎｓｉｚｉｎｇ）後合成して書き込み処理する実施形態を説明する図である。 一実施形態に係る特徴点情報抽出部を具体的に説明する図である。 一実施形態に係る特徴点情報抽出部で各オクターブごとに生成するガウス映像及びガウス差値映像を生成することを説明する図である。 一実施形態に係る特徴点情報抽出装置を説明する図である。 一実施形態に係るソースイメージを説明する図である。 図７に示すソースイメージから生成される少なくとも１つ以上のタイルイメージを説明する図である。 少なくとも１つ以上のタイルイメージを用いてソースイメージから検出された少なくとも１つ以上の特徴点情報を表示する図である。 一実施形態に係る特徴点情報抽出方法を説明する図である。
以下、実施形態を添付する図面を参照しながら詳細に説明する。
実施形態の説明において、関連する公知機能または構成に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合にはその詳細な説明を省略する。そして、本明細書で用いられる用語（ｔｅｒｍｉｎｏｌｏｇｙ）は実施形態を適切に表現するために用いられる用語として、ユーザ、運用者の意図または当該技術が属する分野の慣例などによって変わり得る。したがって、用語に対する定義は、本明細書の全般にわたる内容に基づいて下されなければならない。各図面に提示された同一の参照符号は同一の部材を示す。
図１は、一実施形態に係る特徴点情報抽出装置１００を説明する図である。一実施形態に係る特徴点情報抽出装置１００は、大容量臨時記憶装置１１０に格納された第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する第１マスタインタフェース部１２０、及び前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出する特徴点情報抽出部１３０を備える。
例えば、一実施形態に係る大容量臨時記憶装置１１０は任意アクセス記憶装置（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）の一種類として、コンピュータなどの機器で記憶装置として頻繁に用いられるＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に解釈されてもよい。
また、第１マスタインタフェース部１２０は、前記第１ソースイメージの水平解像度を基準として前記第１ソースイメージを分割し、前記少なくとも１つ以上のタイルイメージを生成する。
本明細書では、説明の便宜のために水平解像度に基づいてソースイメージを少なくとも１つ以上のタイルイメージに分割すること、例えば、選定された水平解像度に応じてソースイメージをタイルイメージに分割することについて説明するが、本発明がこれに限定されることはない。
例えば、ソースイメージを分割することは、垂直解像度に基づいたり、垂直解像度と水平解像度の全てに基づいたり、あるいはその他の基準に基づいてもよい。
タイルイメージは、対称的であるか、または同じ属性を有しなくてもよく、ソースイメージの解像度と垂直解像度及び／または水平解像度を比較した場合より小さければよい。例えば、タイリングは、水平または垂直の軸によって分割されるものと限定されない。
前記少なくとも１つ以上のタイルイメージは、前記第１ソースから分割されるイメージに解釈されてもよい。
より具体的には、前記少なくとも１つ以上のタイルイメージは、第１ソースイメージの水平解像度を基準として垂直分割される部分イメージに解釈されてもよい。
言い換えれば、第１マスタインタフェース部１２０は、前記第１ソースイメージの水平解像度を基準として前記第１ソースイメージを分割して第１タイルイメージ及び第２タイルイメージを生成する。
第１タイルイメージと第２タイルイメージは、第１ソースイメージのそれぞれの部分のイメージデータを読み出すことによって生成されてもよい。第１タイルイメージと第２タイルイメージのための前記イメージデータは、第１ソースイメージのそれぞれの部分にラスタースキャンによって大容量臨時記憶装置１１０から読み出されてもよい。
一実施形態に係る第１マスタインタフェース１２０は、シフト処理のために各タイルイメージを同じ低容量バッファにシーケンスに応じて格納してもよい。
一実形態に係る前記インタフェースは、ＡＸＩインタフェースを含んでもよい。例えば、ＡＸＩインタフェースは、ＡＭＢＡ（Ａｄｖａｎｃｅｄ Ｍｉｃｒｏｃｏｎｔｒｏｌｌｅｒ Ｂｕｓ Ａｒｃｈｉｔｅｃｔｕｒｅ）によって動作してもよい。
また、特徴点情報抽出部１３０は、ＡＲＭ構造によって特徴点情報を抽出してもよい。
一実形態によると、第２及び／または第３マスタインタフェース部１４０、１５０は、ＡＭＢＡ構造によって類似に動作してもよい。
ＡＲＭ構造は、少なくとも１つ以上のコアを含んでもよい。
ここで、第１マスタインタフェース部１２０は、前記第１タイルイメージ及び前記第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域（ｏｖｅｒｌａｐｐｅｄ ａｒｅａ）が存在するように生成する。
前記重複領域は、前記第１タイルイメージと前記第２タイルイメージが連続しないため、シフトアルゴリズムによって抽出が困難になる特徴点情報に対しても抽出可能にするためのマージン（ｍａｒｇｉｎ）であると解釈されてもよい。前記抽出される特徴点情報はディスクリプタに解釈されてもよい。
ここで、第３マスタインタフェース部１５０は抽出される特徴点情報、すなわち、ディスクリプタをＤＲＡＭなど外部の大容量ＳＲＡＭバッファ（ＳＰＭ：Ｓｃｒａｔｃｈ ＰＡＤ Ｍｅｍｏｒｙ）に格納するためのマスタインタフェースに解釈されてもよい。
ＳＰＭ（Ｓｃｒａｔｃｈ Ｐａｄ Ｍｅｍｏｒｙ）は、外部の高容量ＳＲＡＭに解釈されてもよく、低容量ＳＲＡＭであるバッファメモリと区別される。低容量ＳＲＡＭであるバッファメモリはタイルイメージを格納してもよく、ＳＩＦＴ処理のために読み出されてもよい。
特徴点情報抽出装置１００は、第１マスタインタフェース部１２０、特徴点情報抽出部１３０、第２マスタインタフェース部１４０の動作を制御するためのコントローラを備えてもよい。
前記コントローラは、第１マスタインタフェース部１２０、特徴点情報抽出部１３０、第２マスタインタフェース部１４０のいずれか１つの構成に含まれてもよく、特徴点情報抽出装置１００の外部に位置してもよい。
前記少なくとも１つ以上のタイルイメージ、前記第１タイルイメージ、前記第２タイルイメージ、及び前記ソースイメージなどについて図２を参照して詳細に説明する。
図２は、一実施形態に係る少なくとも１つ以上のタイルイメージに分割されるソースイメージ２００を説明する図である。図２に示すように、ソースイメージ２００はＨ１×Ｖ１の解像度の大きさを有する映像に解釈されてもよい。すなわち、ソースイメージ２００の水平解像度はＨ１であり、垂直解像度Ｖ１であってもよい。
一実施形態に係るソースイメージ２００は、第１マスタインタフェース部で第１タイルイメージ２１０と第２タイルイメージ２２０を含む前記少なくとも１つ以上のタイルイメージに分割して読み出される。
ここで、第１タイルイメージ２１０と第２タイルイメージ２２０は、Ｈｏの幅で形成される重複領域２３０で共通のイメージを有する。
言い換えれば、一実施形態に係る第１マスタインタフェース部は、ソースイメージ２００に対してＨｏの幅に形成される重複領域２３０が存在するよう、第１タイルイメージ２１０と第２タイルイメージ２２０を分割してもよい。
同様に一実施形態に係る第１マスタインタフェース部は、他のタイルイメージに対してもＨｏの幅に形成される重複領域２３０が存在するよう、ソースイメージ２００を分割して生成してもよい。
前記第１タイルイメージ２１０と前記第２タイルイメージ２２０は、水平解像度Ｈｓと垂直解像度Ｖ１の大きさを有するイメージとして、ソースイメージ２００の一部分である。
また、Ｈｏの幅に形成される重複領域２３０で、前記第１タイルイメージ２１０と前記第２タイルイメージ２２０との間に共通するイメージを含んでもよい。また、前記第１タイルイメージ２１０は、Ｈｓ−Ｈ０の水平解像度に該当する面積で他のタイルイメージと重ならないイメージを含んでもよい。また、前記第２タイルイメージ２２０は、Ｈｓ−２Ｈ０の水平解像度に該当する面積で他のタイルイメージと重ならないイメージを含んでもよい。
再び図１を参考すると、一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上のタイルイメージの特徴点位置及び前記特徴点位置に対応するディスクリプタのうち、少なくとも１つを前記特徴点情報として抽出してもよい。
一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上のタイルイメージから前記特徴点位置及び前記特徴点位置に対応するディスクリプタを生成するためにシフトアルゴリズムを用いる。
具体的に、一実施形態に係る特徴点情報抽出部１３０は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定してもよい。
また、一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上の第１オクターブとガウスフィルタを畳み込み演算して少なくとも１つ以上のガウス映像を生成する。
一実施形態に係る特徴点情報抽出部１３０は、数式（１）を用いて前記第１オクターブとガウスフィルタからガウス映像を生成する。
Figure 2014002747
Figure 2014002747
 はガウス映像であり、
Figure 2014002747
 はガウスフィルタであり、
Figure 2014002747
 は入力される前記少なくとも１つ以上のタイルイメージ、すなわち、第１オクターブであると解釈されてもよい。
ここで、一実施形態に係る特徴点情報抽出部１３０は、前記ガウスフィルタのシグマ値σを変更しながらブラー（ｂｌｕｒ）の程度が変わるように前記少なくとも１つ以上のガウス映像を生成する。
前記ガウスフィルタのシグマ値σは入力映像、すなわち、ソースイメージに対して予め決定した様々な標準偏差係数値に解釈されてもよい。
言い換えれば、一実施形態に係る特徴点情報抽出部１３０は、前記ガウスフィルタのシグマ値σを変更しながら
Figure 2014002747
 を畳み込み演算して
Figure 2014002747
 を生成する。
例えば、前記ガウスフィルタの初期シグマ値σは１．６に決定され、
Figure 2014002747
 倍ずつ前記ガウスフィルタの初期シグマ値σを変更しながら前記少なくとも１つ以上のガウス映像を生成する。
また、一実施形態に係る特徴点情報抽出部１３０は、数式（１）を用いて数式（２）のように
Figure 2014002747
 を生成する。
Figure 2014002747
 数式（２）において、
Figure 2014002747
 はガウスフィルタであり、
Figure 2014002747
 は入力されるオクターブの位置情報であり、σはガウス映像のブラーを変更するための情報であると解釈されてもよい。
次に、一実施形態に係る特徴点情報抽出部１３０は、前記生成された少なくとも１つ以上のガウス映像から少なくとも１つ以上のガウス差値（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｇａｕｓｓｉａｎ）映像を生成する。このために、一実施形態に係る特徴点情報抽出部１３０は、数式（３）を用いて前記ガウス差値映像を生成する。すなわち、一実施形態に係る特徴点情報抽出部１３０は、各オクターブを構成している前記生成された少なくとも１つ以上のガウス映像間の差を用いて前記少なくとも１つ以上のガウス差値映像を生成する。
Figure 2014002747
Figure 2014002747
 は入力されるタイルイメージの位置のうち、
Figure 2014002747
 に識別される位置におけるガウス差値映像に解釈されてもよい。
Figure 2014002747
 はガウス映像の生成に用いられたガウスフィルタに解釈されてもよい。ここで、
Figure 2014002747
 はガウスフィルタのシグマ値
Figure 2014002747
 を有するフィルタと解釈されてもよく、
Figure 2014002747
 はガウスフィルタのシグマ値σを有するフィルタと解釈されてもよい。
Figure 2014002747
 によって生成されるガウス映像後に引き続づくガウス映像を生成するためのガウスフィルタに解釈されてもよい。
また、前記
Figure 2014002747
 は、ガウスフィルタのシグマ値を一定の倍数に増加させることにより生成されるガウス映像のブラーを変更させるための定数として、例えば
Figure 2014002747
 であってもよい。
Figure 2014002747
 は入力される前記少なくとも１つ以上のタイルイメージ、すなわち、第１オクターブに解釈されてもよい。
一実施形態に係る特徴点情報抽出部１３０は、数式（１）〜数式（３）を用いて第１オクターブに該当するガウス差値映像を生成してもよい。また、前記生成したガウス差値映像から特徴点に決定される第１候補特徴点を抽出してもよい。一実施形態に係る特徴点情報抽出部１３０は、数式（１）〜数式（３）を用いて第２オクターブに該当するガウス差値映像を生成してもよい。また、前記第２オクターブで生成したガウス差値映像から第２候補特徴点を抽出してもよい。
一実施形態に係る特徴点情報抽出部１３０は、このように選択された回数だけオクターブを相違にして候補特徴点を抽出し、抽出された候補特徴点から特徴点情報を抽出することができる。すなわち、一実施形態に係る特徴点情報抽出部１３０は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定してもよい。
次に、一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上の第１オクターブをダウンサイジングして縮小イメージ（ｒｅｄｕｃｅｄ ｉｍａｇｅ）を生成してもよい。
一実施形態に係る特徴点情報抽出部１３０は、前記縮小イメージから生成された第２ソースイメージを分割し、少なくとも１つ以上のタイルイメージに読み出し、前記読み出される少なくとも１つ以上のタイルイメージを第２オクターブとして生成してもよい。
一実施形態に係る特徴点情報抽出部１３０は、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定し、前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出してもよい。
ここで、前記第２オクターブは、前記少なくとも１つ以上の第１オクターブからダウンサイジングした後に生成された縮小イメージのうち、特定縮小イメージが２個ずつ結合して生成される少なくとも１つ以上のタイルイメージであると解釈されてもよい。
また、第２ソースイメージは、前記第２オクターブに含まれる少なくとも１つ以上のタイルイメージの重複領域を除去し、合成して生成される全体のイメージであると解釈されてもよい。
言い換えれば、前記第２ソースイメージは、前記第１ソースイメージの水平解像度と垂直解像度を選択された比率で縮小されたイメージであると解釈されてもよい。例えば、前記第２ソースイメージは、前記第１ソースイメージの水平解像度と垂直解像度をそれぞれ１／２倍縮小されたイメージであると解釈されてもよい。
一実施形態に係る特徴点情報抽出装置１００は、第１ソースイメージからダウンサイジングされた第２ソースイメージを生成するために第２マスタインタフェース部１４０をさらに備える。一実施形態に係る第２マスタインタフェース部１４０は少なくとも１つ以上の第１オクターブをダウンサイジングし、少なくとも１つ以上の縮小イメージを生成する。
また、一実施形態に係る第２マスタインタフェース部１４０は、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理してもよい。第２マスタインタフェース部１４０が合成する前記第２ソースイメージは、図３を参照して詳細に説明する。
図３は、シフトアルゴリズムを用いて候補特徴点を抽出した少なくとも１つ以上のタイルイメージに対してダウンサイジングした後に合成し、書き込み処理する実施形態を説明するための図である。
一実施形態に係る第２マスタインタフェース部１４０は、少なくとも１つ以上の第２オクターブが入力されてもよい。ここで、一実施形態に係る第２マスタインタフェース部１４０は、少なくとも１つ以上の第１オクターブをダウンサイジングし、少なくとも１つ以上の縮小イメージ３１０を生成する。
前記縮小イメージ３１０は、第１ソースイメージに対するタイルイメージから水平解像度及び垂直解像度が１／２倍の比率で縮小された少なくとも１つ以上のタイルイメージセットであると解釈されてもよい。すなわち、前記縮小イメージ３１０は、水平解像度Ｈｓ’を有し、垂直解像度Ｖ２を有する。
一実施形態に係る第２マスタインタフェース部１４０は、第１ソースイメージに対する各タイルイメージごとからダウンサイジングして生成される前記縮小イメージ３１０を合成して第２ソースイメージ３２０を生成する。第２ソースイメージ３２０は、第１ソースイメージから水平解像度及び垂直解像度が１／２倍だけ縮小されたものであり、Ｈ１／２になる大きさの水平解像度Ｈ２とＶ１／２になる大きさの垂直解像度Ｖ２に表現されてもよい。
一実施形態に係る第２マスタインタフェース部１４０は、前記縮小イメージ３１０が他の隣接した縮小イメージと重なる領域、すなわち、重複領域を考慮して第２ソースイメージ３２０を生成する。一実施形態に係る第２マスタインタフェース部１４０は、それぞれの縮小イメージで水平解像度Ｈｏ’に区別される重複領域を削除して合成することによって、重複領域が重複されないようにして第２ソースイメージ３２０を合成してもよい。
すなわち、一実施形態に係る第２マスタインタフェース部１４０が合成するそれぞれの縮小イメージで、実際の合成に用いられる水平解像度の大きさはＨｓ’−Ｈｏ’に解釈されてもよい。
一実施形態に係る特徴点情報抽出装置１００で処理可能なラインバッファの容量が第１ソースイメージの水平解像度である場合、すなわち、Ｈｓである場合について説明する。
一実施形態に係る特徴点情報抽出装置１００で処理可能なラインバッファの容量がＨｓである場合、Ｈｓ＝２Ｈｓ’の関係にしたがって、前記縮小イメージ３１０の２つが合わされたものが第２ソースイメージ３２０のタイルイメージである。
すなわち、ソースイメージが変わってもタイルイメージに対する水平解像度は同一である。言い換えれば、ソースイメージが変わってもタイルイメージに対する水平解像度はラインバッファの容量を考慮したものであるため、同一である。
一実施形態に係る第１マスタインタフェース部１２０は、大容量臨時記憶装置１１０に格納された前記第２ソースイメージ３２０から少なくとも１つ以上のタイルイメージを生成する。
また、一実施形態に係る特徴点情報抽出部１３０は、前記第２ソースイメージ３２０から生成される少なくとも１つ以上のタイルイメージが入力されて前記第２候補特徴点を決定する。
ここで、前記第２ソースイメージ３２０から生成される少なくとも１つ以上のタイルイメージは第２オクターブに解釈されてもよい。
また、第２オクターブは、第２イメージソース３２０からラインバッファが処理可能な容量だけ分割されるタイルイメージのセットとして、第１オクターブに含まれる少なくとも１つ以上のタイルイメージと、第２オクターブに含まれる少なくとも１つ以上のタイルイメージの水平解像度の大きさは同一である。
その後、一実施形態に係る特徴点情報抽出部１３０は、選択された回数だけ繰り返し前記第１候補特徴点及び前記第２候補特徴点を含む候補特徴点を生成し、前記生成した候補特徴点から特徴点情報を抽出してもよい。
一実施形態に係る特徴点情報抽出部１３０は、前記少なくとも１つ以上のタイルイメージの特徴点位置及び前記特徴点位置に対応するディスクリプタのうち、少なくとも１つを前記特徴点情報として抽出してもよい。
結局、一実施形態に係る特徴点情報抽出装置１００を利用すると、ソースイメージの解像度に依存することなく、シフトアルゴリズムを処理するハードウェアを提供することができる。
例えば、ラインバッファが固定された幅、例えば、固定された容量を有する場合にも、特徴点情報抽出装置１００は様々な解像度、例えば、ラインバッファの固定された幅よりも大きい水平解像度を有するイメージから特徴点情報を抽出してもよい。
例えば、ラインバッファが固定された幅を有する場合にも、高解像度のソースイメージが適するサイズのタイルイメージに分割されてもよい。
また、一実施形態に係る特徴点情報抽出装置１００を利用すると、ＳＲＡＭ及びＤＲＡＭを並行に使用し、ＳＲＡＭの容量を大きく拡張しなくても大容量の解像度を有する映像処理が可能である。また、一実施形態に係る特徴点情報抽出装置１００を利用すると、全体映像をＤＲＡＭに格納し、ＳＲＡＭで受容できる容量の映像だけをＤＲＡＭで読み出して繰り返し処理することができる。
図４は、一実施形態に係る特徴点情報抽出部４００を具体的に説明する図である。
一実施形態に係る特徴点情報抽出部４００は、コアが処理可能な水平方向の大きさだけソースイメージを少なくとも１つ以上のタイルイメージに分割して読み出し、前記読み出された少なくとも１つ以上のタイルイメージから特徴点情報を生成する。
そのために、一実施形態に係る特徴点情報抽出部４００は、ガウス映像生成部４１０、ガウス差値映像生成部４２０、候補特徴点位置算出部４３０、データ収集部４４０、特徴点決定部４５０、ディスクリプタ生成部４６０、及びダウンサイザー４７０を備える。
ガウス映像生成部４１０は、前記ソースイメージから分割された前記少なくとも１つ以上のタイルイメージを第１オクターブとして読み出してガウス映像を生成する。ここで、ガウス映像生成部４１０は、入力される前記少なくとも１つ以上のタイルイメージとガウスフィルタを畳み込み演算して少なくとも１つ以上のガウス映像を生成してもよい。
前記少なくとも１つ以上のガウス映像は、前記ガウスフィルタのシグマ値を変更しながらイメージに対するブラーの程度が変わるよう、前記少なくとも１つ以上のガウス映像を生成する。
一実施形態に係るガウス差値映像生成部４２０は、前記生成された少なくとも１つ以上のガウス映像から少なくとも１つ以上のガウス差値映像を生成する。
具体的に、一実施形態に係るガウス差値映像生成部４２０は、各オクターブを構成する前記生成された少なくとも１つ以上のガウス映像間の差を用いて前記少なくとも１つ以上のガウス差値映像を生成してもよい。
一実施形態に係る候補特徴点位置算出部４３０は、前記生成された少なくとも１つ以上のガウス差値映像から候補特徴点を生成する。一実施形態に係るデータ収集部４４０は、前記生成されたガウス映像からディスクリプタの生成に必要なデータを取得する。一実施形態に係る特徴点決定部４５０は、候補特徴点位置算出部４３０が生成する候補特徴点内で強靭な特徴点だけを抽出することによって特徴点を抽出する。
次に、一実施形態に係るディスクリプタ生成部４６０は、データ収集部４４０で取得したディスクリプタ生成に必要なデータと、特徴点決定部４５０で抽出された特徴点を用いて前記ディスクリプタを生成する。ここで、前記生成するディスクリプタは、本明細書で用いられる特徴点情報として解釈されてもよい。
一実施形態に係るダウンサイザー４７０は、ソースイメージから読み出されるオクターブの大きさを選択された比率に減らし、縮小イメージとして出力してもよい。ここで、前記縮小イメージは、出力後に重複領域を考慮して合成されて第２ソースイメージとしてＤＲＡＭなどの大容量臨時記憶装置に記録されてもよい。
図５は、一実施形態に係る特徴点情報抽出部１３０で各オクターブごとに生成するガウス映像及びガウス差値映像を生成することを説明する図である。
ソースイメージは、ラインバッファの容量に基づいて少なくとも１つ以上のタイルイメージに分割されてもよい。このように分割される少なくとも１つ以上のタイルイメージに対するセットは第１オクターブに解釈されてもよい。第１オクターブは、ガウスフィルタとの畳み込みによって少なくとも１つ以上のガウス映像５１０に生成されてもよい。
少なくとも１つ以上のガウス映像５１０は、第１オクターブに含まれている少なくとも１つ以上のタイルイメージと前記ガウスフィルタとの畳み込みによって生成されてもよい。
一実施形態で少なくとも１つ以上のガウス映像５１０は、前記ガウスフィルタのシグマσ値を順次変更して第１オクターブと畳み込み演算することによって生成されてもよい。
具体的に、シグマ値はσを初期値にして、
Figure 2014002747
 倍ずつ増加するよう順次変更されてもよい。
一例として、前記
Figure 2014002747
 は、ガウスフィルタのシグマ値を一定の倍数に増加させることによって、生成されるガウス映像のブラーを変更するための定数として、例えば、
Figure 2014002747
 であってもよい。
一実施形態に係る特徴点情報抽出部１３０は、前記第１オクターブで生成された前記ガウス映像５１０から少なくとも１つ以上のガウス差値映像５２０を生成する。
また、一実施形態に係る特徴点情報抽出部１３０は、ガウス差値映像５２０から第１候補特徴点を抽出してもよい。次に、一実施形態に係る特徴点情報抽出部１３０は、１／２倍縮小された第２ソースイメージから読み出される第２オクターブのガウス映像５３０を生成してもよい。
同様に、一実施形態に係る特徴点情報抽出部１３０は、前記生成された第２オクターブのガウス映像５３０から少なくとも１つ以上のガウス差値映像５４０を生成してもよい。また、一実施形態に係る特徴点情報抽出部１３０は、前記生成した少なくとも１つ以上のガウス差値映像５４０から第２候補特徴点を抽出してもよい。ここで、一実施形態に係る特徴点情報抽出部１３０は、前記抽出した第１候補特徴点と前記第２候補特徴点から特徴点情報を生成してもよい。
図６は、一実施形態に係る特徴点情報抽出装置を説明する図である。
一実施形態に係る特徴点情報抽出装置６００は、読み出し部６２０、シフトアルゴリズム演算部６３０、及び書き込み部６４０を備える。一実施形態に係る読み出し部６２０は、大容量臨時記憶装置で第１ソースイメージから分割された少なくとも１つ以上の第１タイルイメージを読み出す。
一実施形態に係るシフトアルゴリズム演算部６３０は、前記読み出した少なくとも１つ以上の第１タイルイメージにシフトアルゴリズムを適用して第１候補特徴点を生成し、前記少なくとも１つ以上の第１タイルイメージをダウンサイジングして少なくとも１つ以上の第２タイルイメージを出力する。
一実施形態に係る書き込み部６４０は、前記出力される少なくとも１つ以上の第２タイルイメージを合成して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込む。
また、一実施形態に係る読み出し部６２０は、前記第２ソースイメージから分割された少なくとも１つ以上の第２タイルイメージを読み出してもよい。
また、一実施形態に係るシフトアルゴリズム演算部６３０は、前記読み出された少なくとも１つ以上の第２タイルイメージから第２候補特徴点を生成し、前記生成した第１候補特徴点と前記生成した第２候補特徴点に基づいて特徴点情報を生成してもよい。
シフトアルゴリズムをハードウェアに実現するとき大きい障害要素となる部分は、処理する映像の大きさである。すなわち、シフトアルゴリズムでは、ガウス差値映像、多重のオクターブ、多重のスケールなどに対して演算するため、処理しようとする映像の大きさが大きければ障害となる。ここで、前記オクターブは映像の大きさに対応することができ、前記スケールは前記映像に加えられたガウスフィルタのステップとして解釈されてもよい。
ここで、一実施形態に係る特徴点情報抽出装置６００の読み出し部６２０は特徴点の位置を抽出するため、大容量臨時記憶装置６１０に格納されているソースイメージを選択された大きさのタイルイメージの形態に読み出してもよい。
タイルイメージのサイズは、シフトアルゴリズムで使用されるバッファの容量以下のサイズの水平解像度であってもよい。
ソースイメージの解像度を除いて、全てのタイルイメージの水平解像度は固定される。または、全てのタイルイメージの水平解像度は、ソースイメージの解像度のために選定されたサイズに異なって決定されてもよい。
すなわち、一実施形態に係る読み出し部６２０は、第１ソースイメージの水平解像度を基準として分割して少なくとも１つ以上の第１タイルイメージとして読み出し、第２ソースイメージの水平解像度を基準として分割して少なくとも１つ以上の第２タイルイメージとして読み出す。
ソースイメージの解像度は、ソースイメージが少なくとも1つ以上のタイルイメージに分割される前に決定されてもよい。ソースイメージの解像度は、バッファがシフトアルゴリズムを実行している間にバッファの容量以下に決定されてもよい。また、ソースイメージは、常に少なくとも１つ以上のタイルイメージに分割されてもよい。
ここで、一実施形態に係る読み出し部６２０は、選択された面積で重複領域（ｏｖｅｒｌａｐｐｅｄ ａｒｅａ）が存在するように前記少なくとも１つ以上の第１タイルイメージのそれぞれを読み出すか、前記少なくとも１つ以上の第２タイルイメージのそれぞれを読み出してもよい。
また、シフトアルゴリズム演算部６３０は、前記読み出されたタイルイメージに対して予め決定した様々な標準偏差係数値のガウスフィルタを適用して様々なガウス映像を生成してもよい。また、シフトアルゴリズム演算部６３０は、前記生成された様々なガウス映像の差を用いてガウス差値映像を生成してもよい。また、シフトアルゴリズム演算部６３０は、前記生成されたガウス差値映像から初期特徴点位置を探し、これから強靭な特徴点のみを抽出することができる。
前記生成されたガウス映像のうちの１つは映像の大きさを減らして次のオクターブの入力映像として用いられてもよい。
図７は、一実施形態に係るソースイメージを説明する図である。
一実施形態に係るソースイメージ７００は、１６００（水平解像度）×１２００（垂直解像度）の大容量映像であってもよい。
一実施形態に係る特徴点情報抽出装置は、少ないハードウェア費用でソースイメージ７００のような高画質の大容量映像のマルチフレーム後処理を準リアルタイムに処理することができる。
複数の別個のハードウェア処理要素は、ソースイメージの複数のタイルイメージに対してそれぞれ1つのタイルイメージにアクセスしてもよい。ソースイメージのシフト処理は、それぞれの処理要素によって同時に並列処理されてもよい。
また、このような処理は、複数のハードウェア処理ユニットまたは単一ハードウェア処理要素を用いて選定された順序に基づいて順次行われてもよい。
また、一実施形態に係る特徴点情報抽出装置は、ＳＲＡＭで受容できる容量の映像だけをＤＲＡＭからもってきて繰り返し処理する構造として、水平方向分割処理が可能であり、分割処理の繰り返しによって任意の大きさ映像に対してシフトアルゴリズムを適用し、特徴点情報を抽出することができる。
そのために、一実施形態に係る特徴点情報抽出装置はソースイメージ７００をタイルイメージに分割して読み出してもよい。
図８は、図７に示すソースイメージ７００から生成される少なくとも１つ以上のタイルイメージ８００を説明する図である。
少なくとも１つ以上のタイルイメージ８００は、第１タイルイメージ８１０、第２タイルイメージ８２０、及び第３タイルイメージ８３０を備える。
ソースイメージ７００が１６００×１２００の解像度である場合、第１タイルイメージ８１０、第２タイルイメージ８２０、及び第３タイルイメージ８３０はそれぞれ６６６、６６６、３３３の水平解像度に分割されてもよい。また、ここで、それぞれのタイルイメージ間に重複領域８４０の水平解像度は１３に決定されてもよい。
シフトコアではソースイメージをタイルイメージ単位に読み出してディスクリプタと縮小イメージを出力してもよい。出力されたディスクリプタは、第３マスタインタフェース部を介して外部の大容量ＳＲＡＭバッファ（ＳＰＭ：Ｓｃｒａｔｃｈ ＰＡＤ Ｍｅｍｏｒｙ）に格納されてもよい。
順次的または並列的にタイルイメージを読み出すことは、ソースイメージ７００に示すように、必ず左側から右側に実行する必要はない。複数のハードウェア処理要素が使用可能であり、複数のハードウェア処理要素の数とソースイメージ７００のタイルイメージの数とが同一である場合、それぞれのハードウェア処理要素はタイルイメージを個別に処理することができる。
複数のハードウェア処理要素の数がタイルイメージの数よりも少ない場合、少なくとも１つ以上のハードウェア処理要素は互いに異なるタイルイメージに対して順次にシフト処理を行ってもよい。複数のハードウェア処理要素の数がタイルイメージの数よりも多い場合、タイルイメージの数や水平解像度が変更されてもよい。タイルイメージそれぞれの水平解像度、タイルイメージの数、少なくとも１つ以上のハードウェア処理要素を用いたシフト処理を実行する他の方法は同一であってもよい。
また、出力された縮小イメージは、水平解像度と垂直解像度が全て１／２の大きさずつ減少された映像であるが、ＤＲＡＭに格納されてもよい。映像の解像度に依存しないシフトアルゴリズムを処理するためにソースイメージをタイルイメージの形態に読み出してもよい。全体映像をタイルイメージの形態に読み出すためにシフトコアは数式（４）のようにＲ回繰り返し駆動されてもよい。
Figure 2014002747
 ここで、前記Ｈはソースイメージの水平解像度、前記Ｖは前記ソースイメージの垂直解像度、前記Ｈｓはシフトコアが処理される最大水平解像度、前記Ｈｏはフィルタリングのためにタイルイメージ間に重なる領域幅、すなわち、重複領域であると解釈されてもよい。
ソースイメージで１番目のタイルイメージをＤＲＡＭで読み出す水平方向の部分は１〜（Ｈｓ−Ｈｏ）になる。また、前記１番目のタイルイメージに続く２番目のタイルイメージをＤＲＡＭで読み出す水平方向の部分は（Ｈｓ−３Ｈｏ）〜（２Ｈｓ−Ｈｏ）に決定されてもよい。
Ｎ番目のタイルをＤＲＡＭで読み出す水平方向の部分は（（Ｎ−１）×（Ｈｓ−２Ｈｏ）−Ｈｏ）〜（Ｎ×（Ｈｓ−２Ｈｏ）＋Ｈｏ）に決定されてもよい。
Ｒ番目のタイルイメージをＤＲＡＭで読み出す水平方向の部分は（（Ｒ−１）×（Ｈｓ−２Ｈｏ）−Ｈｏ）〜（Ｈ）に一般化されてもよい。ここで、垂直方向は常に１〜Ｖだけ読み出してもよい。
各タイルイメージはそれぞれの水平範囲に応じてラスタースキャン方式によって垂直方向に読み出されてもよい。タイルイメージの垂直解像度はＶと同一であるか小さくてもよい。
図９は、少なくとも１つ以上のタイルイメージを用いてソースイメージ９００から検出された少なくとも１つ以上の特徴点情報９１０を表示する図である。
抽出されたソースイメージ９００内の特徴点情報９１０は、特徴点の位置と前記特徴点周辺の情報に関する情報を含む。このような特徴点情報９１０は、照明変化、回転、大きさの変化、視点にも強靭な性質を有する。これで、映像処理分野で２つ以上の映像を用いる場合、映像間のマッチングのために広く用いられる。
図１０は、一実施形態に係る特徴点情報抽出方法を説明する図である。一実施形態に係る特徴点情報抽出方法は、大容量臨時記憶装置に格納された第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する（Ｓ１００１）。
前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力される少なくとも１つ以上のタイルイメージから候補特徴点を決定する（Ｓ１００２）。
具体的に、一実施形態に係る特徴点情報抽出方法は、前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定してもよい。
一実施形態に係る特徴点情報抽出方法は、前記ソースイメージに対して選択された回数だけダウンサイジングを繰り返したかを確認し、ダウンサイジングを再度行うかを判断する（Ｓ１００３）。
もし、ダウンサイジングする場合、一実施形態に係る特徴点情報抽出方法は、前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージを合成して新しいソースイメージに生成する（Ｓ１００４）。
ここで、一実施形態に係る特徴点情報抽出方法は、前記生成された少なくとも１つ以上の縮小イメージの重複領域を考慮して前記新しいソースイメージに生成してもよい。
次に、一実施形態に係る特徴点情報抽出方法は、前記ステップＳ１００１において、前記新しいソースイメージから生成される少なくとも１つ以上のタイルイメージを第２オクターブとして生成する。また、一実施形態に係る特徴点情報抽出方法はステップＳ１００２において、前記第２オクターブから第２候補特徴点を決定してもよい。
選択された回数の間に繰り返された場合、一実施形態に係る特徴点情報抽出方法はステップＳ１００３でダウンサイジングしないように判断する。
ここで、一実施形態に係る特徴点情報抽出方法は、決定された候補特徴点から最終的に特徴点情報を抽出する（Ｓ１００５）。
シフトアルゴリズムを適用した従来のハードウェアシステムは、制限された映像の解像度だけで特徴点を抽出することができる。しかし、カメラの性能が向上することによって順次高い解像度の映像が使用され、高解像度に対する映像処理が必須部分となっている。したがって、映像の解像度に依存しないシフトアルゴリズムを処理するハードウェア構造は、高解像度映像処理で重要な要素になり得る。
一実施形態に係る特徴点情報抽出装置及び方法を用いると、ＳＲＡＭ及びＤＲＡＭを並行に使用し、ＳＲＡＭ容量を大きく拡張しなくても任意の解像度を有する映像を処理可能にしてシフトアルゴリズムを行うことができる。
すなわち、一実施形態に係る特徴点情報抽出装置及び方法は、全体映像をＤＲＡＭに格納し、ＳＲＡＭで受容できる容量の映像のみをタイルイメージ単位にＤＲＡＭからもってきて繰り返し処理する構造を用いることができる。
これによって、高解像度映像に対するシフトコアを効果的にハードウェア化することで、高付加価値映像処理アルゴリズムをリアルタイムで処理することができる。
また、一実施形態に係る特徴点情報抽出装置及び方法を応用すると、シフトアルゴリズムだけではなく、メモリを大容量に用いる映像処理アルゴリズムでも映像の解像度制約なしでシフトアルゴリズムを処理することができる。
イメージの解像度と関係なく、イメージを処理することは、イメージの解像度がイメージの特徴点情報を抽出することができるか否かを決定しないことを意味する。イメージの解像度がバッファ容量よりも大きい場合にも特徴点情報を抽出することができる。
一実施形態に係る本発明は、大容量臨時記憶装置に格納ソースイメージの部分イメージ情報を読み出すこと、ソースイメージの部分を読み出して少なくとも１つ以上のタイルイメージを作成すること、それぞれのタイルイメージに対してシフトアルゴリズムを実行すること、第２ソースイメージデータを格納することに基づく。
図１及び図４に示されたＡＲＭプロセッサシステムは、ソースイメージの互いに異なるタイルイメージのためのシフトアルゴリズムを少なくとも１つ以上のコアで順次または並列的にそれぞれ実行してもよい。
しかし、本発明の他の実施形態では、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＲＰ（Ｒｅｃｏｎｆｉｇｕｒａｂｌｅ Ｐｒｏｃｅｓｓｏｒ）のように別のコアを含むプロセッサを用いてもよい。
代替プロセッサは、大容量イメージの様々なラインを格納するためにフィルタリング構造を選択してもよい。
例えば、ＤＲＡＭに格納された大きいハードウェアリソースに関するシフト処理を小さなハードウェアリソース、例えば、ＳＲＡＭに実行するために様々なラインを格納してもよい。
図１及び／または図４に示すように、特徴点情報を抽出するカメラは、一般的な撮影以外にもパノラミックビューや位置情報を取得することのできる機能のある製品であってもよい。
このようなカメラは、携帯電子イメージ機器や真空掃除機のようなロボットを含んでもよく、さらに、特徴点情報を抽出する装置は、デジタルカメラ、テレビ、携帯電話カメラ、ゲームカメラ、３Ｄモデリングが可能なカメラを含んでもよい。
本発明の装置は、特徴点情報、ディスプリプタ情報に依存するなど、シフト処理のための装置に限定されることはない。
シフト処理から得られる特徴点情報はスケール不変（ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ）の特徴点情報であってもよい。
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータ読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
１００：特徴点情報抽出装置
１１０：大容量臨時記憶装置
１２０：第１マスタインタフェース部
１３０：特徴点情報抽出部
１４０：第２マスタインタフェース部
１５０：第３マスタインタフェース部

Claims (28)

  1. 大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する第１インタフェース部と、
    前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出する特徴点情報抽出部と、
    を備え、
    前記第１インタフェース部は、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割し、前記少なくとも１つ以上のタイルイメージを生成することを特徴とする特徴点情報抽出装置。
  2. それぞれの部分は互いに重なることを特徴とする請求項１に記載の特徴点情報抽出装置。
  3. 第１インタフェースは、第１ソースイメージの水平解像度がバッファメモリの水平容量よりも大きくなる場合、前記生成された少なくとも１つ以上のタイルイメージを前記大容量臨時記憶装置の容量よりも小さい容量を有するバッファメモリに記録することを特徴とする請求項１に記載の特徴点情報抽出装置。
  4. それぞれの部分は、互いに重なることを特徴とする請求項３に記載の特徴点情報抽出装置。
  5. 前記バッファメモリは、ＳＲＡＭメモリまたは前記大容量臨時記憶装置であることを特徴とする請求項４に記載の特徴点情報抽出装置。
  6. 前記第１インタフェースと前記特徴点情報抽出部はＡＲＭ構造に適することを特徴とする請求項３に記載の特徴点情報抽出装置。
  7. 前記特徴変換は、シフトアルゴリズム（ＳＩＦＴ、ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）であることを特徴とする請求項３に記載の特徴点情報抽出装置。
  8. 前記第１インタフェース部は、前記第１ソースイメージの水平解像度を基準として前記第１ソースイメージを分割し、第１タイルイメージ及び第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域が存在するように前記第１タイルイメージと前記第２タイルイメージを生成することを特徴とする請求項１に記載の特徴点情報抽出装置。
  9. 第１インタフェース部は、大容量臨時記憶装置に格納されたソースイメージのそれぞれの部分を読み出し、ソースイメージの一部を第１タイルイメージとしてバッファメモリに格納し、
    前記バッファメモリは、前記大容量臨時記憶装置と区別され、
    前記バッファメモリは、前記大容量臨時記憶装置の水平容量よりも小さい水平容量を有することを特徴とする請求項８に記載の特徴点情報抽出装置。
  10. 前記特徴点情報抽出部は、前記特徴点情報として前記第１タイルイメージの特徴領域と、前記特徴領域に対応するディスクリプタを抽出することを特徴とする請求項９に記載の特徴点情報抽出装置。
  11. 前記特徴点情報抽出部は、前記少なくとも１つ以上のタイルイメージの特徴点位置及び前記特徴点位置に対応するディスクリプタのうち少なくとも１つを前記特徴点情報として抽出することを特徴とする請求項１に記載の特徴点情報抽出装置。
  12. 前記特徴点情報抽出部は、
    前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記少なくとも１つ以上の第１オクターブとガウスフィルタを畳み込み演算して少なくとも１つ以上のガウス映像を生成し、前記生成された少なくとも１つ以上のガウス映像から少なくとも１つ以上のガウス差値映像を生成し、前記生成された少なくとも１つ以上のガウス差値映像から候補特徴点を生成し、前記生成された候補特徴点のうち前記特徴点情報を抽出することを特徴とする請求項１に記載の特徴点情報抽出装置。
  13. 前記特徴点情報抽出部は、前記少なくとも１つ以上の第１オクターブを決定し、前記少なくとも１つ以上のガウスイメージを生成し、前記少なくとも１つ以上のＤｏＧイメージを生成し、前記生成されたＤｏＧイメージから前記候補特徴点を生成し、シフトアルゴリズムによって前記特徴点情報を抽出することを特徴とする請求項１２に記載の特徴点情報抽出装置。
  14. 前記特徴点情報抽出部は、
    前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定し、
    前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の第２オクターブを生成し、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定し、
    前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出することを特徴とする請求項１に記載の特徴点情報抽出装置。
  15. 少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理する第２マスタインタフェース部をさらに備えることを特徴とする請求項１４に記載の特徴点情報抽出装置。
  16. 前記第１インタフェース部は、前記大容量臨時記憶装置に格納された前記第２ソースイメージから少なくとも１つ以上のタイルイメージを生成し、
    前記特徴点情報抽出部は、前記第２ソースイメージから生成される少なくとも１つ以上のタイルイメージが第２オクターブとして入力されて前記第２候補特徴点を決定することを特徴とする請求項１５に記載の特徴点情報抽出装置。
  17. 大容量臨時記憶装置で第１ソースイメージから分割された少なくとも１つ以上の第１タイルイメージを読み出す読み出し部と、
    前記読み出した少なくとも１つ以上の第１タイルイメージにシフトアルゴリズムを適用して第１候補特徴点を生成し、前記少なくとも１つ以上の第１タイルイメージをダウンサイジングして少なくとも１つ以上の第２タイルイメージを出力するシフトアルゴリズム演算部と、
    前記出力される少なくとも１つ以上の第２タイルイメージを合成して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理する書き込み部と、
    を備え、
    前記読み出し部は、前記第２ソースイメージから分割された少なくとも１つ以上の第２タイルイメージを読み出し、
    前記シフトアルゴリズム演算部は、前記読み出された少なくとも１つ以上の第２タイルイメージから第２候補特徴点を生成し、前記生成した第１候補特徴点と前記生成した第２候補特徴点に基づいて特徴点情報を生成することを特徴とする特徴点情報抽出装置。
  18. 前記読み出し部は、前記第１ソースイメージの水平解像度を基準として分割して前記少なくとも１つ以上の第１タイルイメージとして読み出し、前記第２ソースイメージの水平解像度を基準にして分割し、前記少なくとも１つ以上の第２タイルイメージとして読み出すことを特徴とする請求項１７に記載の特徴点情報抽出装置。
  19. 前記読み出し部は、選択された面積で重複領域が存在するように前記少なくとも１つ以上の第１タイルイメージのそれぞれを読み出すか、前記少なくとも１つ以上の第２タイルイメージのそれぞれを読み出すことを特徴とする請求項１７に記載の特徴点情報抽出装置。
  20. 前記書き込み部は、前記重複領域を考慮して前記少なくとも１つ以上の第２タイルイメージを合成して前記第２ソースイメージを生成することを特徴とする請求項１９に記載の特徴点情報抽出装置。
  21. 第１インタフェース部で、大容量臨時記憶装置に格納された第１ソースイメージのそれぞれの部分を読み出して前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成するステップと、
    特徴点情報抽出部で、前記生成される少なくとも１つ以上のタイルイメージが入力され、前記入力された少なくとも１つ以上のタイルイメージに特徴変換を適用して前記入力される少なくとも１つ以上のタイルイメージから特徴点情報を抽出するステップと、
    を含み、
    前記第１ソースイメージから少なくとも１つ以上のタイルイメージを生成する前記ステップは、前記第１ソースイメージの水平解像度に基づいて第１ソースイメージのそれぞれの部分を用いて前記第１ソースイメージを分割して第１タイルイメージ及び第２タイルイメージを生成するが、前記第１タイルイメージと前記第２タイルイメージが選択された面積で重複領域が存在するように前記第１タイルイメージと前記第２タイルイメージを生成するステップを含むことを特徴とするソース映像の特徴点情報抽出方法。
  22. 前記生成された第１タイルイメージをバッファメモリに格納するステップは、
    前記バッファメモリが前記大容量臨時憶装置よりも小さい容量を有し、第１ソースイメージの水平解像度が前記大容量臨時憶装置の水平容量よりも小さいことを特徴とする請求項２１に記載のソース映像の特徴点情報抽出方法。
  23. 前記生成された第１タイルをバッファメモリに格納するステップは、ＳＲＡＭメモリであるバッファメモリに格納するステップを含み、
    前記大容量臨時憶装置から前記それぞれの部分を読み出すステップは、ＤＲＡＭメモリで動作する大容量臨時憶装置から前記それぞれの部分を読み出すステップを含むことを特徴とする請求項２２に記載のソースイメージの特徴点情報抽出方法。
  24. 前記特徴変換は、シフトアルゴリズム（ＳＩＦＴ、ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）であることを特徴とする請求項２２に記載のソース映像の特徴点情報抽出方法。
  25. 前記特徴点情報を抽出するステップは、
    前記入力される少なくとも１つ以上のタイルイメージを少なくとも１つ以上の第１オクターブに決定し、前記決定された少なくとも１つ以上の第１オクターブから第１候補特徴点を決定するステップと、
    前記少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の第２オクターブを生成し、前記生成された少なくとも１つ以上の第２オクターブに基づいて第２候補特徴点を決定するステップと、
    前記決定された第１候補特徴点と前記決定された第２候補特徴点とを比較して前記特徴点情報を抽出するステップと、
    を含むことを特徴とする請求項２１に記載のソース映像の特徴点情報抽出方法。
  26. 第２マスタインタフェース部で、少なくとも１つ以上の第１オクターブをダウンサイジングして少なくとも１つ以上の縮小イメージを生成し、前記生成された少なくとも１つ以上の縮小イメージ間に重複領域を除去して第２ソースイメージを生成し、前記生成された第２ソースイメージを前記大容量臨時記憶装置に書き込み処理するステップをさらに含むことを特徴とする請求項２５に記載のソース映像の特徴点情報抽出方法。
  27. 前記第１インタフェース部で、前記大容量臨時記憶装置に格納された前記第２ソースイメージから少なくとも１つ以上のタイルイメージを生成するステップをさらに含み、
    前記第２候補特徴点を決定するステップは、前記第２ソースイメージから生成される少なくとも１つ以上のタイルイメージが第２オクターブとして入力されて前記第２候補特徴点を決定するステップを含むことを特徴とする請求項２６に記載のソース映像の特徴点情報抽出方法。
  28. 請求項２１に記載の方法を実行するプログラムが記録されたコンピュータで読み出し可能な記録媒体。
JP2013129468A 2012-06-20 2013-06-20 シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法 Active JP6121810B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0066061 2012-06-20
KR1020120066061A KR101904203B1 (ko) 2012-06-20 2012-06-20 시프트 알고리즘을 이용하여 대용량 소스 이미지의 특징점 정보를 추출하는 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2014002747A true JP2014002747A (ja) 2014-01-09
JP6121810B2 JP6121810B2 (ja) 2017-04-26

Family

ID=48793870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013129468A Active JP6121810B2 (ja) 2012-06-20 2013-06-20 シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法

Country Status (5)

Country Link
US (1) US9171227B2 (ja)
EP (1) EP2677463A3 (ja)
JP (1) JP6121810B2 (ja)
KR (1) KR101904203B1 (ja)
CN (1) CN103514451B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959661B2 (en) 2015-12-02 2018-05-01 Samsung Electronics Co., Ltd. Method and device for processing graphics data in graphics processing unit
US10559125B2 (en) 2015-12-02 2020-02-11 Samsung Electronics Co., Ltd. System and method of constructing bounding volume hierarchy tree
CN111401330B (zh) * 2020-04-26 2023-10-17 四川自由健信息科技有限公司 教学系统及采用该教学系统的智能镜
CN113643341B (zh) * 2021-10-12 2021-12-28 四川大学 一种基于分辨率自适应的异尺度目标图像配准方法
CN117934532B (zh) * 2024-03-22 2024-06-04 西南石油大学 一种图像边缘检测并行优化方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086540A (ja) * 2008-10-01 2010-04-15 Fuji Xerox Co Ltd 特徴記述子ベクトル生成方法、システムおよびプログラム
US20120045117A1 (en) * 2009-04-24 2012-02-23 Sony Corporation Method and device for training, method and device for estimating posture visual angle of object in image

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW439380B (en) 1995-10-09 2001-06-07 Hitachi Ltd Terminal apparatus
JPH1093819A (ja) 1996-09-12 1998-04-10 Canon Inc 画像処理装置
US7006111B1 (en) * 1999-11-09 2006-02-28 Intel Corporation Digital image stitching
US7373012B2 (en) 2005-02-01 2008-05-13 Mitsubishi Electric Research Laboratories, Inc. Detecting moving objects in videos with corner-based background model
JP2007067499A (ja) * 2005-08-29 2007-03-15 Olympus Corp 画像処理装置
ATE470912T1 (de) * 2006-04-28 2010-06-15 Toyota Motor Europ Nv Robuster detektor und deskriptor für einen interessenspunkt
JP4208895B2 (ja) 2006-05-30 2009-01-14 株式会社東芝 キャッシュメモリ装置および処理方法
US8103102B2 (en) * 2006-12-13 2012-01-24 Adobe Systems Incorporated Robust feature extraction for color and grayscale images
KR101270173B1 (ko) 2007-08-23 2013-05-31 삼성전자주식회사 디지털 이미지에서 특징점을 추출하는 방법 및 장치
US8306366B2 (en) * 2007-08-23 2012-11-06 Samsung Electronics Co., Ltd. Method and apparatus for extracting feature points from digital image
JP4958228B2 (ja) 2007-09-12 2012-06-20 公立大学法人大阪府立大学 文書および／または画像のデータベースへの登録方法およびその検索方法
US8233716B2 (en) 2008-06-27 2012-07-31 Palo Alto Research Center Incorporated System and method for finding stable keypoints in a picture image using localized scale space properties
KR100986809B1 (ko) 2008-07-17 2010-10-08 인하대학교 산학협력단 크기불변특징변환을 이용한 다중해상도 위성영상간자동기하보정 방법
KR101637229B1 (ko) 2008-12-23 2016-07-08 고려대학교 산학협력단 Ｓｉｆｔ 기반의 특징점 추출 장치 및 방법과 이를 이용한 얼굴 인식 시스템
US8441489B2 (en) * 2008-12-31 2013-05-14 Intel Corporation System and method for SIFT implementation and optimization
JP4748230B2 (ja) * 2009-02-17 2011-08-17 カシオ計算機株式会社 撮像装置、撮像方法及び撮像プログラム
RU2421814C2 (ru) * 2009-02-20 2011-06-20 Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." Способ формирования составного изображения
KR101069602B1 (ko) 2009-09-29 2011-10-05 한국과학기술원 뉴로-퍼지 시스템과 병렬처리 프로세서를 결합한 컴퓨터 시스템 및 이를 이용한 물체 인식 시스템
KR20110037183A (ko) 2009-10-06 2011-04-13 한국과학기술원 뉴로-퍼지 시스템과 병렬처리 프로세서가 결합된 전력 제어 가능한 컴퓨터 시스템, 이를 이용하여 영상에서 물체를 인식하는 방법 및 장치
KR20110060454A (ko) 2009-11-30 2011-06-08 한국전자통신연구원 영상 식별 장치 및 방법
KR101206213B1 (ko) 2010-04-19 2012-11-28 인하대학교 산학협력단 그래픽 가속기 기반 고속 ｓｌａｍ 시스템 및 방법
WO2012006578A2 (en) * 2010-07-08 2012-01-12 The Regents Of The University Of California End-to-end visual recognition system and methods
US20120051647A1 (en) * 2010-09-01 2012-03-01 Hong Kong Applied Science and Technology Research Institute Company Limited Icon design and method of icon recognition for human computer interface
US9036925B2 (en) * 2011-04-14 2015-05-19 Qualcomm Incorporated Robust feature matching for visual search
KR20140108726A (ko) * 2012-02-27 2014-09-12 아셀산 엘렉트로닉 사나이 베 티카렛 아노님 시르케티 이미지들 상의 객체 윤곽선들의 스케일 불변 특징들을 식별하기 위한 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010086540A (ja) * 2008-10-01 2010-04-15 Fuji Xerox Co Ltd 特徴記述子ベクトル生成方法、システムおよびプログラム
US20120045117A1 (en) * 2009-04-24 2012-02-23 Sony Corporation Method and device for training, method and device for estimating posture visual angle of object in image

Also Published As

Publication number Publication date
CN103514451B (zh) 2019-01-04
KR101904203B1 (ko) 2018-10-05
KR20130142661A (ko) 2013-12-30
CN103514451A (zh) 2014-01-15
EP2677463A3 (en) 2015-12-16
EP2677463A2 (en) 2013-12-25
JP6121810B2 (ja) 2017-04-26
US20130343655A1 (en) 2013-12-26
US9171227B2 (en) 2015-10-27

Similar Documents

Publication Publication Date Title
JP5555706B2 (ja) 高解像度映像獲得装置およびその方法
JP6121810B2 (ja) シフトアルゴリズムを用いて大容量ソースイメージの特徴点情報を抽出する装置及び方法
Barnes et al. Patchtable: Efficient patch queries for large datasets and applications
TWI298147B (en) System and method for representing a general two dimensional spatial transformation
JP5645079B2 (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP4613994B2 (ja) 動態推定装置、動態推定方法、プログラム
JP5238220B2 (ja) 解像度変換装置、方法およびプログラム
TWI529662B (zh) 基於深度資訊的模型建構方法、圖形處理裝置與紀錄媒體
KR101907029B1 (ko) 서식 자동화를 위한 테이블 생성 장치 및 방법
JP6278042B2 (ja) 情報処理装置、及び、画像処理方法
KR101028628B1 (ko) 영상 텍스쳐 필터링 방법, 이를 수행하는 프로그램을 기록한 기록매체 및 이를 수행하는 장치
JP2006155381A5 (ja)
JP6128617B2 (ja) 画像認識装置およびプログラム
Luo et al. Multi-operator image retargeting with automatic integration of direct and indirect seam carving
JP7118729B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2017084304A (ja) 画像表示装置、画像表示方法
JP5737387B2 (ja) 画像処理装置
JP7239050B2 (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
US20200372280A1 (en) Apparatus and method for image processing for machine learning
CN110572569A (zh) 全景图像生成方法及其文件存储格式和浏览方法
JP2018010359A (ja) 情報処理装置、情報処理方法、およびプログラム
JP5994320B2 (ja) 奥行き制作支援装置、奥行き制作支援方法、及びプログラム
JP6922690B2 (ja) 文字領域抽出プログラム、文字領域抽出装置及び文字領域抽出方法
JP4380376B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP5719271B2 (ja) 画像処理方法、画像処理装置及び画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170330

R150 Certificate of patent or registration of utility model

Ref document number: 6121810

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150