JP2013156722A - 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム - Google Patents

画像処理装置、画像処理方法、学習装置、学習方法およびプログラム Download PDF

Info

Publication number
JP2013156722A
JP2013156722A JP2012014872A JP2012014872A JP2013156722A JP 2013156722 A JP2013156722 A JP 2013156722A JP 2012014872 A JP2012014872 A JP 2012014872A JP 2012014872 A JP2012014872 A JP 2012014872A JP 2013156722 A JP2013156722 A JP 2013156722A
Authority
JP
Japan
Prior art keywords
image
feature point
conversion
unit
lens distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012014872A
Other languages
English (en)
Inventor
Takehiro Hamada
健宏 濱田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012014872A priority Critical patent/JP2013156722A/ja
Priority to US13/744,805 priority patent/US20130195351A1/en
Priority to CN2013100226751A priority patent/CN103226811A/zh
Publication of JP2013156722A publication Critical patent/JP2013156722A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T5/80—

Abstract

【課題】入力画像に合成画像を良好に合成可能とする。
【解決手段】レンズ歪みを考慮した参照画像の特徴点辞書を用いて、入力画像と参照画像の特徴点のマッチングを行う。マッチングで見つけられた対応点について、入力画像の特徴点の座標をレンズ歪データに基づいて補正した後、各対応点に基づいてホモグラフィ（射影関係）を算出する。入力画像にレンズ歪みが存在する場合にあっても、入力画像に合成画像を良好に合成できる。また、入力画像にレンズ歪補正を行うものではなく、入力画像の特徴点の座標にレンズ歪補正を行うものであり、計算量の大幅な抑制が可能となる。
【選択図】図２

Description

本技術は、画像処理装置、画像処理方法、学習装置、学習方法およびプログラムに関し、特に、入力画像の指定領域に所定の画像を合成し得る画像処理装置等に関する。
近年、拡張現実感に対するニーズが生じてきた。拡張現実感を実現するためにいくつかの方法がある。例えば、ＧＰＳ（Global Positioning System）などの位置情報を用いたものや、画像解析を用いたものなどが挙げられる。その１つに、特定物体認識の技術を用いて、特定物体の姿勢・位置を基準にＣＧ（Computer Graphics）の合成を行う拡張現実感がある。例えば、特許文献１には、姿勢・位置の推定結果に基づく画像処理装置が記載されている。
拡張現実感の品質を決める主な要素として、幾何学的整合性が挙げられる。幾何学的整合性とは、幾何的に違和感なく映像中にＣＧを合成することである。「幾何的に違和感が無い」とは、例えば、特定物体の姿勢・位置の推定の正確さのことであり、対象の領域が移動する場合に、追従してＣＧを動かす、または、カメラが動いたときに動きに追従してＣＧを動かすことである。
簡単のために、以下ではＣＧに画像を想定して、指定の平面領域に画像を貼り付けることを考える。例えば、屋外の広告看板を指定領域として、その上に画像を貼り付けるような場合である。幾何的整合性を達成するには、画像を貼り付けるための指定の領域の位置を推定することが必要である。特定の領域は、マーカーと呼ばれる特殊な２次元コードや任意の画像で定めるのが一般的である。以下では、指定領域をマーカーと呼ぶ。
マーカーを認識して画像を貼り付けるためのアルゴリズムでは、マーカーのデータを参照用の画像（参照画像）や、その特徴を表した辞書としてプログラムに記憶させておき、参照画像と入力画像を照合して、入力画像中のマーカーを探し出すという枠組みが一般に用いられる。マーカーの位置を認識する手法は、大きくわけて、（１）参照画像と入力画像間の各画像の密な濃淡の差分評価に基づく手法、（２）参照画像の事前学習に基づく手法の２つがある。
（１）の手法は、推定精度の面では有利だが、計算量が多く、リアルタイム処理に適さない。一方、（２）の手法は、事前に行う学習で多くの計算を行い、参照画像を解析する。そのため、各時刻の入力映像に対する認識処理が少ない計算で済むので、リアルタイムでの動作が期待される。
図１９は、撮像画像に合成画像を合成し得る画像処理装置４００の構成例を示している。この画像処理装置４００は、特徴点抽出部４０１と、マッチング部４０２と、ホモグラフィ算出部４０３と、合成画像座標変換部４０４と、出力画像生成部４０５と、記憶部４０６を有している。
特徴点抽出部４０１は、入力画像（撮像画像）の特徴点を抽出する。ここで、特徴点とは、輝度値を見たときに角（コーナー）となるような画素のことをいう。マッチング部４０２は、記憶部４０６に記憶されている、事前学習で作成された参照画像の特徴点辞書に基づいて、マッチング処理、つまり入力画像の特徴点が参照画像の特徴点に対応しているかを計算し、２画像間の特徴点の対応点を得る。
ホモグラフィ算出部４０３は、マッチング部４０２で求められた２つの画像の対応点を用いて、２画像間の画像変換であるホモグラフィを算出する。合成画像座標変換部４０４は、記憶部４０６に記憶されている合成画像を、ホモグラフィを用いて変換する。出力画像生成部４０５は、入力画像に変換された合成画像を合成して、出力画像を得る。
図２０のフローチャートは、図１９に示す画像処理装置４００における処理の流れの一例を示している。まず、画像処理装置４００は、ステップＳＴ１において、処理を開始し、その後に、ステップＳＴ２において、入力画像（撮像画像）を入力し、その後に、ステップＳＴ３の処理に移る。
画像処理装置４００は、ステップＳＴ３において、特徴点抽出部４０１により、入力画像の特徴点を抽出する。次に、画像処理装置４００は、ステップＳＴ４において、マッチング部４０２により、記憶部４０６に記憶されている参照画像の特徴点辞書と、特徴点抽出部４０１で抽出された入力画像の特徴点に基づいて、入力画像と参照画像の間で特徴点をマッチングする。このマッチング処理により、入力画像および参照画像の特徴点の対応点が求められる、
次に、画像処理装置４００は、ステップＳＴ５において、ホモグラフィ算出部４０３により、マッチング部４０２で求められた２つの画像の対応点を用いて、２画像間の画像変換であるホモグラフィを算出する。そして、画像処理装置４００は、ステップＳＴ６において、ホモグラフィ行列を算出できたか否かを判断する。
ホモグラフィ行列を算出できたとき、画像処理装置４００は、ステップＳＴ７において、このホモグラフィ行列に基づき、記憶部４０６に記憶されている合成画像を、ステップＳＴ５で算出されたホモグラフィ行列を用いて変換する。そして、画像処理装置４００は、ステップＳＴ８において、出力画像生成部４０５により、変換された合成画像を入力画像に合成して、出力画像を得る。
次に、画像処理装置４００は、ステップＳＴ９において、ステップＳＴ８で得られた出力画像を出力し、その後に、ステップＳＴ１０において、処理を終了する。一方、ステップＳＴ６でホモグラフィ行列を算出できなかったとき、画像処理装置４００は、ステップＳＴ１１において、入力画像をそのまま出力し、その後に、ステップＳＴ１０において、処理を終了する。
上述のマッチング処理において、マーカーが回転などして姿勢が変化しても頑強（ロバスト）に対応点を得ることができるかが技術的なポイントとなり、姿勢に頑強に対応点を得るための手法が様々提案されている。マーカーの姿勢変化にロバストな手法として、例えば、（１）非特許文献１に記載されるSIFT特徴量、（２）非特許文献２に記載される“Random Ferns”の２つが挙げられる。
SIFT特徴量は、特徴点周辺の画素の勾配方向を用いて特徴点を記述することで、マーカーの回転にロバストに認識を行うことができる。また、“Random Ferns”は、ベイズ統計を利用して参照画像を画像変換して事前に学習することでマーカーの姿勢変化にロバストに認識を行うことができる。
特開２００７−２１９７６４号公報
D. G. Lowe, "Object recognition from localscale invariant features", Proc. of IEEE International M. ?zuysal, M. Calonder, V. Lepetit, P. Fua Fast KeypointRecognition using Random Ferns IEEE Transactions on Pattern Analysis andMachine Intelligence, Vol. 32, Nr. 3, pp. 448 - 461, March 2010
従来手法の問題点の一つとして、入力画像がインターレースの場合やレンズ歪がある場合に対応していない点が挙げられる。この問題に起因するデメリットは、特徴点抽出の前処理として入力画像に対してＩＰ変換や、歪補正を行う必要があり、計算量が大幅に増加することにある。
この問題の原因は、事前学習に基づいた手法では、認識対象の画像上での見え方を考慮して学習を行うが、画像上での見え方は認識対象の姿勢変化とカメラの姿勢変化、特性によって決定されるのに対して、従来手法ではカメラの姿勢変化、特性を考慮していない点にある。このうち、認識対象の姿勢変化とカメラの姿勢変化は、相対的でありカメラの姿勢変化は認識対象の姿勢変化によって表現することができる。したがって、従来手法の問題点の原因は、カメラの特性を考慮していないことに集約される。
図２１の画像処理装置４００Ａは、特徴点抽出の前処理として入力画像（インターレース画像）に対してＩＰ変換や歪補正を行うようにした画像処理装置４００Ａの構成例を示している。この図２１において、図１９と対応する部分には同一符号を付し、適宜、その詳細説明は省略する。
この画像処理装置４００Ａは、特徴点抽出部４０１の前段に、ＩＰ変換部４１１およびレンズ歪み補正部４１２を有する。ＩＰ変換部４１１は、入力画像をインターレース画像からプログレッシブ画像に変換する。また、レンズ歪補正部４１２は、記憶部４０６に記憶されているレンズ歪データに基づいて、プログレッシブ画像に変換された入力画像のレンズ歪みを補正する。この場合のレンズ歪データは、入力画像を撮像したカメラのレンズ歪を示すデータであり、予め測定されて、記憶部４０６に記憶されている。
また、この画像処理装置４００Ａは、出力画像生成部４０５の後段に、レンズ歪変換部４１３およびＰＩ変換部４１４を有する。レンズ歪変換部４１３は、記憶部４０６に記憶されているレンズ歪データに基づいて、出力画像生成部４０５で生成された出力画像にレンズ歪みが付加されるように、レンズ歪変換を行う。上述したようレンズ歪補正部４１２により出力画像生成部４０５で生成された出力画像はレンズ歪みが除去されたものとなっている。
レンズ歪補正部４１３では、このように除去されたレンズ歪みを元の状態に戻し、撮影者が意図して撮影した画像に戻すためのものである。ＰＩ変換部４１４は、レンズ歪変換された出力画像をプログレッシブ画像からインターレース画像に変換して出力する。詳細説明は省略するが、この図２１に示す画像処理装置４００Ａのその他は、図１９に示す画像処理装置４００と同様に構成されている。
図２２のフローチャートは、図２１に示す画像処理装置４００Ａにおける処理の流れを示している。この図２２において、図２０と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。画像処理装置４００Ａは、ステップＳＴ１において、処理を開始し、ステップＳＴ２において、インターレース画像である入力画像（撮像画像）を入力し、その後に、ステップＳＴ２１の処理に移る。このステップＳＴ２１において、画像処理装置４００Ａは、入力画像をインターレース画像からプログレッシブ画像に変換する。
次に、画像処理装置４００Ａは、ステップＳＴ２２において、レンズ歪み補正部４１２により、記憶部４０６に記憶されているレンズ歪データに基づいて、プログレッシブ画像に変換された入力画像のレンズ歪みを補正する。そして、画像処理装置４００Ａは、ステップＳＴ３において、ＩＰ変換およびレンズ歪補正された入力画像の特徴点を抽出する。
また、画像処理装置４００Ａは、ステップＳＴ８の処理の後、ステップＳＴ２３において、レンズ歪変換部４１３により、記憶部４０６に記憶されているレンズ歪データに基づいて、得られた出力画像にレンズ歪変換を行ってレンズ歪みを付加する。次に、画像処理装置４００Ａは、ステップＳＴ２４において、レンズ歪変換された出力画像をプログレッシブ画像からインターレース画像に変換する。
そして、画像処理装置４００Ａは、ステップＳＴ９において、レンズ歪変換およびＰＩ変換が施された出力画像を出力する。詳細説明は省略するが、図２２のフローチャートのその他のステップは、図２０のフローチャートと同様である。
本技術の目的は、入力画像に合成画像を良好に合成可能とすることにある。
本技術の概念は、
カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出部と、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出部で抽出された入力画像の特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定部と、
上記対応関係決定部で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正部と、
上記対応関係決定部で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正部で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出部と、
上記射影関係算出部で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換部と、
上記入力画像に上記合成画像座標変換部で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成部とを備える
画像処理装置にある。
本技術において、特徴点抽出部により、入力画像の特徴点が抽出される。この入力画像は、カメラの撮像画像であり、例えば、カメラから直接得られるか、あるいはストレージから読み出されて得られるものである。対応関係決定部により、抽出された入力画像の特徴点と参照画像の特徴点との対応関係が決定される。すなわち、この対応関係決定部では、入力画像および参照画像の特徴点のマッチングが行われて対応点が得られる。この対応関係の決定は、参照画像からカメラのレンズ歪みを考慮して生成された特徴点辞書を用いて行われる。
特徴点座標歪補正部により、対応関係決定部で決定された、参照画像の特徴点に対応した入力画像の特徴点の座標が、カメラのレンズ歪データに基づいて補正される。そして、射影関係算出部により、決定された対応関係で、参照画像の特徴点の座標と特徴点座標変換部で変換された入力画像の特徴点の座標に基づいて、入力画像と参照画像の射影関係（ホモグラフィ）が算出される。そして、合成画像座標変換部により、算出された射影関係とカメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像が生成される。そして、出力画像生成部により、入力画像に生成された貼り合わせ用の合成画像が合成され、出力画像が得られる。
このように本技術においては、レンズ歪みを考慮した参照画像の特徴点辞書を用いて特徴点のマッチングが行われるものであり、入力画像にレンズ歪みが存在する場合にあっても、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。この場合、入力画像にレンズ歪補正を行うものではなく、入力画像の特徴点の座標にレンズ歪補正を行うものであり、計算量の大幅な抑制が可能となる。
なお、本技術において、例えば、特徴点辞書は、カメラのレンズ歪みの他に、さらにインターレース画像を考慮して生成されていてもよい。この場合、インターレース画像を考慮した参照画像の特徴点辞書を用いて特徴点のマッチングが行われるものであり、入力画像がインターレース画像であっても、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。この場合、インターレースの入力画像をプログレッシブ画像に変換するものではなく、計算量の大幅な抑制が可能となる。
なお、本技術の他の概念は、
参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換部と、
上記画像変換部で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録部とを備える
学習装置にある。
本技術においては、画像変換部により、参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換が施される。そして、辞書登録部により、変換された複数の変換画像に基づいて所定数の特徴点が抽出されて辞書に登録される。
例えば、辞書登録部は、画像変換部で変換された参照画像の特徴点を求める特徴点計算部と、この画像変換部で変換された画像の特徴点を求める特徴点計算部と、この特徴点計算部で求められた特徴点の座標を参照画像上の座標に変換する特徴点座標変換部と、画像変換部で変換された参照画像毎の特徴点座標変換部で変換された特徴点座標に基づいて、各特徴点の出現頻度を更新する出現頻度更新部と、この出現頻度更新部で出現頻度が更新された各特徴点のうち、出現頻度が上位から任意の数の特徴点を取り出して辞書に登録する特徴点登録部を有する、ようにされてもよい。
このように本技術においては、レンズ歪変換が施された複数の変換画像に基づいて所定数の特徴点が抽出されて辞書の登録が行われる。そのため、カメラのレンズ歪みを考慮した参照画像の特徴点辞書を良好に得ることができる。
なお、本技術において、例えば、画像変換部は、参照画像に、幾何変換およびレンズ歪変換と共に、プログレッシブ画像からインターレース画像に変換するプログレッシブ／インターレース変換を選択的に施して複数の変換画像を生成する、ようにされてもよい。この場合、カメラのレンズ歪みと、プログレッシブおよびインターレースの双方の画像を考慮した特徴点辞書を良好に得ることができる。
また、本技術において、例えば、画像変換部は、複数のレンズ歪みデータからランダムに選択されたレンズ歪データに基づいてレンズ歪み変換を施して複数の変換画像を生成する、ようにされてもよい。この場合、複数のカメラのレンズ歪みを考慮した特徴点辞書を良好に得ることができる。
本技術によれば、入力画像に合成画像を良好に合成できる。
この発明の実施の形態としての画像処理システムの構成例を示すブロック図である。 画像処理システムを構成する画像処理装置の構成例を示すブロック図である。 画像処理装置における処理の流れの一例を示すフローチャートである。 入力画像および参照画像の一例を示す図である。 入力画像および参照画像の特徴点のマッチング例を示す図である。 合成画像および出力画像の一例を示す図である。 画像処理システムを構成する学習装置の構成例を示すブロック図である。 学習装置を構成する特徴点抽出部の構成例を示すブロック図である。 特徴点の出現頻度を説明するための図である。 特徴点抽出部における処理の流れの一例を示すフローチャートである。 学習装置を構成する画像特徴学習部の構成例を示すブロック図である。 画像特徴学習部における処理の流れの一例を示すフローチャートである。 ＰＩ変換を行うか否かの判断処理を入れる場合における特徴点抽出部の処理の流れの一例を示すフローチャートである。 ＰＩ変換を行うか否かの判断処理を入れる場合における画像特徴学習部の処理の流れの一例を示すフローチャートである。 複数のカメラのレンズ歪変換が施された変換画像を用いる場合における特徴点抽出部の処理の流れの一例を示すフローチャートである。 複数のカメラのレンズ歪変換が施された変換画像を用いる場合における画像特徴学習部の処理の流れの一例を示すフローチャートである。 ＰＩ変換を行うか否かの判断処理を入れると共に、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における特徴点抽出部の処理の流れの一例を示すフローチャートである。 ＰＩ変換を行うか否かの判断処理を入れると共に、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における画像特徴学習部の処理の流れの一例を示すフローチャートである。 撮像画像に合成画像を合成し得る画像処理装置の構成例を示すブロック図である。 画像処理装置における処理の流れの一例を示すフローチャートである。 撮像画像に合成画像を合成し得る画像処理装置の他の構成例を示すブロック図である。 他の構成例の画像処理装置における処理の流れの一例を示すフローチャートである。
以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
１．実施の形態
２．変形例
＜１．実施の形態＞
［画像処理システムの構成例］
図１は、実施の形態としての画像処理システム１０の構成例を示している。この画像処理システム１０は、画像処理装置１００と学習装置２００により構成されている。
学習装置２００は、参照画像の画像特徴を抽出してデータベースとしての特徴点辞書を生成する。このとき、認識対象の姿勢変形とカメラの特性を考慮して画像特徴を抽出する。このように学習装置２００で参照画像の解析を行うことにより、認識対象の姿勢変化にロバストでカメラの特性に適した認識処理を行うことができる。この学習装置における処理は、オフライン処理であり、リアルタイム性は要求されない。画像処理装置１００は、特徴点辞書を用いて、入力画像の認識対象の位置を検出して、その位置に合成画像を重畳して出力画像を生成する。この画像処理装置１００における処理は、オンライン処理であり、リアルタイム性が要求される。
［画像処理装置の詳細］
画像処理装置１００の詳細を説明する。最初に、画像処理装置１００における処理の概要を述べる。画像処理装置１００での目標は、入力画像内の認識対象（マーカー）に対して、合成画像を貼り合わせて、出力画像を生成することである。どのように貼り合わせを行えばよいかを決めるためには、参照画像から入力画像内の認識対象への幾何的な変換を求めて、その変換を合成画像に対して行えばよい。
本技術では、認識対象を平面とするので、上述の幾何的な変換は、ホモグラフィと呼ばれる３＊３の行列で表現される。ホモグラフィは、入力画像内の認識対象と参照画像で、４つ以上の対応する点（同一である点）があれば求められることが知られている。点同士の対応関係を探す処理は、一般にマッチングと呼ばれる。マッチングは、学習装置２００で得られた辞書を用いて行う。また、点には、マッチングの精度を良くするために、特徴点と呼ばれる輝度で見て角（コーナー）となる点を用いる。したがって、入力画像、参照画像に対して特徴点を抽出する処理が必要となる。ここで、参照画像の特徴点に関しては、学習装置２００で事前に求めておく。
次に、画像処理装置１００の詳細構成を説明する。図２は、画像処理装置１００の構成例を示している。この画像処理装置１００は、特徴点抽出部１０１と、マッチング部１０２と、特徴点座標歪補正部１０３と、ホモグラフィ算出部１０４と、合成画像座標変換部１０５と、出力画像生成部１０６を有している。なお、画像処理装置１００は、カメラ等の画像入力装置と一体に構成されてもよく、あるいはディスプレイなどの画像表示装置と一体に構成されてもよい。
特徴点抽出部１０１は、入力画像（撮像画像）の特徴点を抽出して、特徴点の座標を得る。この場合、特徴点抽出部１０１は、入力画像のある時刻のフレームを対象として特徴点を抽出する。特徴点抽出の手法として、例えば、ハリスコーナー（Harris Corner)やＳＩＦＴ（Scale Invariant FeatureTransform）などの様々な手法が提案されている。ここでは、任意の手法を用いることができる。
マッチング部１０２は、記憶部１０７に記憶されている、学習装置２００において事前学習で作成された参照画像の特徴点辞書に基づいて、マッチング処理、つまり入力画像の特徴点が参照画像の特徴点に対応しているかを計算し、２画像間の特徴点の対応点を得る。ここで、特徴点辞書は、カメラのレンズ歪みと、インターレース画像およびプログレッシブ画像の双方を考慮して生成されたものである。
マッチング処理として様々な方法が提案されている。ここでは、例えば、一般に良く知られるベイズ統計に基づいた方法を用いる。このベイズ統計に基づいた方法では、以下の（１）式を満たす参照画像の特徴点を対応点とする。
ここで、I_kをk番目の特徴点とする。f_1，・・・，f_Nは、特徴点に対するテストを表している。テストとは特徴点周りのテクスチャを表すための操作で、例えば、特徴点周辺の２点間の大小関係が用いられ、f_1からf_NまでのＮ組の２点間の大小関係が比較される。テストには、他にも差分絶対値和（ＳＡＤ）やヒストグラムの比較など様々な手法が考えられる。ここでも、任意の手法を用いることができる。
（１）式が意味することは、入力画像のある特徴点に対して、f_1，・・・，f_Nのテスト（大小判定）を行い、その結果から確率分布Ｐが最も大きくなる参照画像の特徴点I_kを対応点とする。このとき、Ｐの分布が必要となるが、これは、学習装置２００において事前に求めておく。このＰの分布を辞書と呼ぶ。（１）式をそのまま用いると、辞書のデータ量が膨大になるので、一般にＰ０(f_1)，・・・，Ｐ(f_N)に対して、統計的独立やそれに準ずる仮定をして、同時分布の積などによって近似を行う。ここでは、そのような近似を用いることもできる。
特徴点座標歪補正部１０３は、マッチング部１０２で対応点が見つかった入力画像の特徴点に対して、記憶部１０７に記憶されているカメラのレンズ歪データに基づいて、座標値の歪み補正を行う。ホモグラフィ算出部１０４は、マッチング部１０２で見つかった対応点で、参照画像の特徴点の座標と、補正された入力画像の特徴点の座標に基づいて、入力画像と参照画像のホモグラフィ（射影関係）を算出する。ホモグラフィの求め方としては様々な手法が提案されている。ここでは、任意の手法を用いることができる。
合成画像座標変換部１０５は、ホモグラフィ算出部１０４で算出されたホモグラフィと、記憶部１０７に記憶されているカメラのレンズ歪データに基づいて、記憶部１０７に記憶されている合成画像から貼り合わせ用の合成画像を生成する。この場合、合成画像の３次元座標をＸg、ホモグラフィをＨ、レンズ歪変換をＴRとすると、座標変換後の座標Ｘ′gは、以下の（２）式のようになる。ただし、この（２）式において、ＴMは、以下の（３）式で表される。
この場合、座標変換後の合成画像Ｓ′gは、以下の（４）式のようになる。
出力画像生成部１０６は、入力画像に、合成画像座標変換部１０５で生成された変換された貼り合わせ用の合成画像を合成して、出力画像を得る。この場合、入力画像をＳ、合成のブレンド比率をαとすると、出力画像Ｓoは、以下の（５）式のようになる。
画像処理装置１００の各構成要素は、回路ロジックなどのハードウェアおよび／またはプログラムなどのソフトウェアとして構成される。ソフトウェアとして構成される構成要素は、例えば、図示しないＣＰＵ上でプログラムを実行することにより実現される。
図３のフローチャートは、図２に示す画像処理装置１００における処理の流れの一例を示している。まず、画像処理装置１００は、ステップＳＴ３１において、処理を開始し、その後に、ステップＳＴ３２において、入力画像（撮像画像）を入力し、その後に、ステップＳＴ３３の処理に移る。図４（ａ）は、入力画像Ｉ１の一例を示している。この入力画像Ｉ１には、マーカーＭとして斜めに吊り下げられた地図画像が含まれている。
画像処理装置１００は、ステップＳＴ３３において、特徴点抽出部１０１により、入力画像の特徴点を抽出する。次に、画像処理装置１００は、ステップＳＴ３４において、マッチング部１０２により、記憶部１０７に記憶されている参照画像の特徴点辞書と、特徴点抽出部１０１で抽出された入力画像の特徴点に基づいて、入力画像と参照画像の間で特徴点をマッチングする。このマッチング処理により、入力画像および参照画像の特徴点の対応点が求められる。
図４（ｂ）は、参照画像Ｒの一例を示している。また、図５は、特徴点のマッチング例を示している。この例では、入力画像Ｉ１中の特定領域（マーカーＭ）は、日本周辺の地図画像を示す参照画像Ｒにより指定されている。入力画像Ｉ１は、斜めに吊り下げられた地図画像（マーカーＭ）を斜め前方から捉えている。参照画像Ｒは、正立した状態のマーカーＭに対応する地図画像であり、輝度値のエッジ成分等、９つの特徴点Ｐ１〜Ｐ９が予め抽出されている。
なお、図では、便宜上、地図画像の輝度画像ではなく地図画像自体に特徴点Ｐが示されている。この例では、参照画像Ｒと入力画像Ｉ１の間で、対応関係にある同一の特徴点Ｐ（対応点）同士を結ぶ線分で示されるように、９つの特徴点Ｐ１〜Ｐ９のうち５つの特徴点Ｐ１〜Ｐ５がマッチングされたことを示している。
次に、画像処理装置１００は、ステップＳＴ３５において、特徴点座標歪補正部１０３により、マッチングされた入力画像の特徴点の座標を、記憶部１０７に記憶されているカメラのレンズ歪データに基づいて補正する。そして、画像処理装置１００は、ステップＳＴ３６において、参照画像の特徴点の座標と、補正された入力画像の特徴点の座標に基づいて、入力画像と参照画像のホモグラフィ行列を算出する。
次に、画像処理装置１００は、ステップＳＴ３７において、ホモグラフィ行列を算出できたか否かを判断する。ホモグラフィ行列を算出できたとき、画像処理装置１００は、ステップＳＴ３８において、このホモグラフィ行列に基づき、記憶部１０７に記憶されている合成画像を、ステップＳＴ３６で算出されたホモグラフィ行列および記憶部１０７に記憶されているカメラのレンズ歪データに基づいて変換し、貼り付け用の合成画像を得る。
次に、画像処理装置１００は、ステップＳＴ３９において、出力画像生成部１０６により、ステップＳＴ３８で生成された変換後の合成画像（貼り付け用の合成画像）を入力画像に合成して、出力画像を得る。図６（ａ）は、合成画像の一例を示している。また、図６（ｂ）は、入力画像Ｉ１に、変換された合成画像が合成されて得られた出力画像の一例を示している。
また、画像処理装置１００は、ステップＳＴ４０において、ステップＳＴ３９で得られた出力画像を出力し、その後に、ステップＳＴ４１において、処理を終了する。一方、ステップＳＴ３７でホモグラフィ行列を算出できなかったとき、画像処理装置１００は、ステップＳＴ４２において、入力画像をそのまま出力し、その後に、ステップＳＴ４１において、処理を終了する。
上述したように、図２に示す画像処理装置１００においては、マッチング部１０２で用いられる特徴点辞書は、カメラのレンズ歪みを考慮したものである。そのため、この画像処理装置１００においては、入力画像にレンズ歪みが存在する場合にあっても、そのレンズ歪みを考慮して特徴点のマッチングが行われるものであり、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。また、この場合、入力画像にレンズ歪補正を行うものではなく、特徴点座標歪補正部１０３で入力画像の特徴点の座標にレンズ歪補正を行うものであり、計算量の大幅な抑制が可能となる。
また、マッチング部１０２で用いられる特徴点辞書は、インターレース画像を考慮して生成されたものである。そのため、この画像処理装置１００においては、入力画像がインターレース画像であっても、インターレース画像を考慮して特徴点のマッチングが行われるものであり、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。また、この場合、インターレースの入力画像をプログレッシブ画像に変換するものではなく、計算量の大幅な抑制が可能となる。
［学習装置の詳細］
学習装置２００の詳細を説明する。学習装置２００は、図７に示すように、特徴点抽出部２００Ａおよび画像特徴学習部２００Ｂにより構成されている。特徴点抽出部２００Ａは、認識対象の姿勢変化やカメラの特性にロバストな特徴点の集合を算出する。画像特徴学習部２００Ｂでは、特徴点抽出部２００Ａで得られた各特徴点に対して、その周辺のテクスチャを解析することで、辞書を作成する。
「特徴点抽出部の詳細」
特徴点抽出部２００Ａについて説明をする。特徴点抽出部２００Ａでは、ロバストな特徴点の集合を算出することが目的である。そのために、参照画像に対して各種の変換を行った上で特徴点を求めることを、変換のパラメータをランダムに変化させながら複数回行う。複数回行った中で、出現頻度が高い特徴点をロバストな特徴点として辞書に登録する。
図８は、特徴点抽出部２００Ａの構成例を示している。この特徴点抽出部２００Ａは、変換パラメータ生成部２０１と、幾何変換部２０２と、レンズ歪変換部２０３と、ＰＩ変換部２０４と、特徴点計算部２０５と、特徴点座標変換部２０６と、特徴点出現頻度更新部２０７と、特徴点登録部２０８と、記憶部２０９を有している。
変換パラメータ生成部２０１は、幾何変換部２０２で用いる変換パラメータＨ（回転角や拡大率に相当）、レンズ歪変換部２０３で用いるδx, δy(レンズ中心)のパラメータ、さらに、ＰＩ変換部２０４で用いるδi(奇数と偶数のどちらのフィールドを用いるか)のパラメータをそれぞれ生成する。この場合、各パラメータは、乱数を用いてランダム値として生成される。
幾何変換部２０２は、変換パラメータＨに基づいて、追跡対象の姿勢変化に相当する変換ＴHで、記憶部２０９に記憶されている参照画像Ｓの回転、拡大等を行って、変換後の画像ＳH＝ＴH（Ｓ，Ｈ）を得る。変換ＴHには、想定する姿勢変化のクラスによって、アフィン変換やホモグラフィ変換などが用いられる。変換のパラメータは、想定する姿勢変化内でランダムに決められる。
レンズ歪変換部２０３は、画像ＳHに対して、記憶部２０９に記憶されているレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳR＝ＴR（ＳH，δx, δy）を得る。このとき、レンズ中心を参照画像の中心からx方向にδx、y方向にδy移動したとして変換を行う。δx, δyのパラメータは、想定するレンズ中心の変化内でランダムに決められる。なお、レンズ歪変換部２０３は、変換ＴRを、予めレンズ歪の測定を行って求めておく。
ＰＩ変換部２０４は、画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。この場合、変換ＴIは、ダウンサンプリングとなり、各種の実装（フィルタなど）を用いることができる。このとき、δiの値によって、奇数と偶数のどちらのフィールドを用いるかを決定する。特徴点計算部２０５は、画像ＳIの特徴点を算出する。特徴点座標変換部２０６は、画像ＳIの各特徴点に対して、ＴH，ＴR，ＴIの逆変換を行って、参照画像Ｓ上での特徴点座標を求める。
特徴点出現頻度更新部２０７は、参照画像Ｓ上での各座標において、特徴点の出現頻度を更新する。出現頻度は、図９に示すように、各特徴点の出現回数のヒストグラムである。ある特徴点が何番目の特徴点であるかは、参照画像Ｓ上での特徴点座標によって判定する。これは、参照画像Ｓ上での特徴点座標は、変換のパラメータによらず不変な量となるためである。特徴点登録部２０８は、Ｎ回の変換画像に対する特徴点抽出結果による各特徴点の出現頻度に基づいて、上位から任意の数の特徴点を、記憶部２０９の特徴点辞書に登録する。
特徴点抽出部２００Ａの各構成要素は、回路ロジックなどのハードウェアおよび／またはプログラムなどのソフトウェアとして構成される。ソフトウェアとして構成される構成要素は、例えば、図示しないＣＰＵ上でプログラムを実行することにより実現される。
図１０のフローチャートは、図８に示す特徴点抽出部２００Ａにおける処理の流れの一例を示している。まず、特徴点抽出部２００Ａは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２において、変換パラメータ生成部２０１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、生成される変換パラメータは、幾何変換部２０２で用いる変換パラメータＨ（回転角や拡大率に相当）、レンズ歪変換部２０３で用いるδx, δy(レンズ中心)のパラメータ、さらに、ＰＩ変換部２０４で用いるδi(奇数と偶数のどちらのフィールドを用いるか)のパラメータである。
次に、特徴点抽出部２００Ａは、ステップＳＴ５３において、幾何変換部２０２により、変換パラメータＨに基づいて、追跡対象の姿勢変化に相当する変換ＴHで、参照画像Ｓの回転、拡大等を行って、変換後の画像ＳH＝ＴH（Ｓ，Ｈ）を得る。また、特徴点抽出部２００Ａは、ステップＳＴ５４において、画像ＳHに対して、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳR＝ＴR（ＳH，δx, δy）を得る。さらに、特徴点抽出部２００Ａは、ステップＳＴ５５において、画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
次に、特徴点抽出部２００Ａは、ステップＳＴ５６において、特徴点計算部２０５により、ステップＳＴ５５で得られた画像ＳIの特徴点を算出する。そして、特徴点抽出部２００Ａは、ステップＳＴ５７において、特徴点座標変換部２０６により、ステップＳＴ５６で求められた画像ＳIの各特徴点に対して、ＴH，ＴR，ＴIの逆変換を行って、参照画像Ｓ上での特徴点座標を求める。そして、特徴点抽出部２００Ａは、ステップＳＴ５８において、特徴点出力頻度更新部２０７により、参照画像Ｓ上での各座標において、特徴点の出現頻度を更新する。
次に、特徴点抽出部２００Ａは、ステップＳ５９において、Ｎ回目の処理が終了したか否かを判断する。Ｎ回目に至っていないとき、特徴点抽出部２００Ａは、ステップＳＴ５２の処理に戻り、上述したと同様の処理を繰り返す。一方、Ｎ回目の処理が終了したとき、特徴点抽出部２００Ａは、ステップＳＴ６０において、特徴点登録部２０８により、各特徴点の出現頻度に基づいて、上位から任意の数の特徴点を、辞書に登録する。その後、特徴点抽出部２００Ａは、ステップＳＴ６１において、処理を終了する。
「画像特徴学習部の詳細」
画像特徴学習部２００Ｂについて説明をする。画像特徴学習部２００Ｂは、特徴点抽出部２００Ａで得られた各特徴点に対して、その周辺の画像特徴を解析して、辞書を作成することを目的とする。このとき、特徴点抽出部２００Ａと同様に参照画像に対して各種の変換を行って辞書を作成することによって、姿勢変化やカメラの特性に対して、ロバストな認識を行うことができる。
画像特徴学習部２００Ｂは、変換パラメータ生成部２１１と、幾何変換部２１２と、レンズ歪変換部２１３と、ＰＩ変換部２１４と、確率更新部２１５と、記憶部２１６を有している。変換パラメータ生成部２１１は、幾何変換部２１２で用いる変換パラメータＨ（回転角や拡大率に相当）、レンズ歪変換部２１３で用いるδx, δy(レンズ中心)のパラメータ、さらに、ＰＩ変換部２１４で用いるδi(奇数と偶数のどちらのフィールドを用いるか)のパラメータをそれぞれ生成する。この場合、各パラメータは、乱数を用いてランダム値として生成される。
詳細説明は省略するが、幾何変換部２１２、レンズ歪変換部２１３およびＰＩ変換部２１４は、それぞれ、図８に示す特徴点抽出部２００Ａにおける幾何変換部２０２、レンズ歪変換部２０３およびＰＩ変換部２０４と同様に構成されている。
確率更新部２１５は、変換画像ＳIにおいて、特徴点抽出部２００Ａで得られた各特徴点に対して、図２に示す画像処理装置１００のマッチング部１０２で述べたのと同様のテストを行って、記憶部２１６に記憶されている各特徴点の確率（辞書）を更新していく。確率更新部２１５は、Ｎ回の変換画像ＳIのそれぞれで各特徴点の確率（辞書）を更新していく。これにより、記憶部２１６には、特徴点と確率のデータをまとめた特徴点辞書が生成される。
上述の画像処理装置１００でのマッチング処理における確率の最大化はベイズ統計を用いて、以下の（６）式のように書ける。このことから、Ｐ(f_1,f_2,…,f_N | I_k)とＰ(I_k)が分かれば最大化が達成される。
ここで、Ｐ(f_1,f_2,…,f_N | I_k)は、特徴点I_kに関してテストが取りうる確率、Ｐ(I_k)は、I_kの出現確率を表している。前者に関しては、上述の各特徴点に対するテストを行えば求めることができ、後者は特徴点抽出部２００Ａの特徴点出現頻度がそれに値する。全特徴点に関してテスト処理を行う。
画像特徴学習部２００Ｂの各構成要素は、回路ロジックなどのハードウェアおよび／またはプログラムなどのソフトウェアとして構成される。ソフトウェアとして構成される構成要素は、例えば、図示しないＣＰＵ上でプログラムを実行することにより実現される。
図１２のフローチャートは、図１１に示す画像特徴学習部２００Ｂにおける処理の流れの一例を示している。まず、画像特徴学習部２００Ｂは、ステップＳＴ７１において、処理を開始し、その後に、ステップＳＴ７２において、変換パラメータ生成部２１１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、生成される変換パラメータは、幾何変換部２１２で用いる変換パラメータＨ（回転角や拡大率に相当）、レンズ歪変換部２１３で用いるδx, δy(レンズ中心)のパラメータ、さらに、ＰＩ変換部２１４で用いるδi(奇数と偶数のどちらのフィールドを用いるか)のパラメータである。
次に、画像特徴学習部２００Ｂは、ステップＳＴ７３において、幾何変換部２１２により、変換パラメータＨに基づいて、追跡対象の姿勢変化に相当する変換ＴHで、参照画像Ｓの回転、拡大等を行って、変換後の画像ＳH＝ＴH（Ｓ，Ｈ）を得る。また、画像特徴学習部２００Ｂは、ステップＳＴ７４において、画像ＳHに対して、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳR＝ＴR（ＳH，δx, δy）を得る。さらに、画像特徴学習部２００Ｂは、ステップＳＴ７５において、画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
次に、画像特徴学習部２００Ｂは、ステップＳＴ７６において、確率更新部２１５により、ステップＳＴ７５で得られた変換画像ＳIにおいて、特徴点抽出部２００Ａで得られた各特徴点に対してテストを行って、記憶部２１６に記憶されている特徴点の確率（辞書）を更新する。
そして、画像特徴学習部２００Ｂは、ステップＳＴ７７において、全特徴点を処理したか否かを判断する。全特徴点を処理していないとき、ステップＳＴ７６に戻って、特徴点の確率を更新することを繰り返す。一方、全特徴点を処理したとき、画像特徴学習部２００Ｂは、ステップＳＴ７８において、Ｎ回目の処理が終了したか否かを判断する。Ｎ回目に至っていないとき、画像特徴学習部２００Ｂは、ステップＳＴ７２の処理に戻り、上述したと同様の処理を繰り返す。一方、Ｎ回目の処理が終了したとき、画像特徴学習部２００Ｂは、ステップＳＴ７９において、処理を終了する。
上述したように、図７に示す学習装置２００においては、レンズ歪変換が施された複数の変換画像に基づいて所定数の特徴点が抽出されて辞書の登録が行われる。そのため、カメラのレンズ歪みを考慮した参照画像の特徴点辞書を良好に得ることができる。また、図７に示す学習装置２００においては、プログレッシブからインターレースに画像変換された変換画像に基づいて所定数の特徴点が抽出されて辞書の登録が行われる。そのため、インターレースの画像を考慮した特徴点辞書を良好に得ることができる。
＜２．変形例＞
「変形例１」
なお、上述の図７に示す学習装置２００においては、プログレッシブからインターレースに画像変換された変換画像に基づいて所定数の特徴点を抽出して辞書の登録を行うことで、インターレースの画像を考慮した特徴点辞書を得る例を示した。しかし、ＰＩ変換を行うか否かの判断処理を入れることで、プログレッシブとインターレースのどちらの形式にも対応した辞書を作成することが可能となる。
図１３のフローチャートは、ＰＩ変換を行うか否かの判断処理を入れる場合における特徴点抽出部２００Ａの処理の流れの一例を示している。この図１３のフローチャートにおいて、図１０と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
特徴点抽出部２００Ａは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２Ａにおいて、変換パラメータ生成部２０１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２０２で用いる変換パラメータＨ、レンズ歪変換部２０３で用いるδx, δyのパラメータ、ＰＩ変換部２０４で用いるδiのパラメータと共に、ＰＩ変換を行うか否かを示すパラメータである。特徴点抽出部２００Ａは、このステップＳＴ５２Ａの処理の後に、ステップＳＴ５３の処理に移る。
また、特徴点抽出部２００Ａは、ステップＳＴ５４の処理の後に、ステップＳＴ８１の処理に移る。このステップＳＴ８１において、特徴点抽出部２００Ａは、ステップＳＴ５２Ａで生成されたＰＩ変換を行うか否かのパラメータに基づいて、ＰＩ変換を行うか否かを判断する。ＰＩ変換を行うとき、特徴点抽出部２００Ａは、ステップＳＴ５５において、ステップＳＴ５４で得られた変換画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
特徴点抽出部２００Ａは、ステップＳＴ５５の処理の後、ステップＳＴ５６の処理に移る。一方、ステップＳＴ８１でＰＩ変換を行わないとき、特徴点抽出部２００Ａは、直ちに、ステップＳＴ５６の処理に移る。詳細説明は省略するが、図１３のフローチャートのその他のステップは、図１０のフローチャートと同様である。
また、図１４のフローチャートは、ＰＩ変換を行うか否かの判断処理を入れる場合における画像特徴学習部２００Ｂの処理の流れの一例を示している。この図１４のフローチャートにおいて、図１２と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
画像特徴学習部２００Ｂは、ステップＳＴ７１において、処理を開始した後に、ステップＳＴ７２Ａにおいて、変換パラメータ生成部２１１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２１２で用いる変換パラメータＨ、レンズ歪変換部２１３で用いるδx, δyのパラメータ、ＰＩ変換部２１４で用いるδiのパラメータと共に、ＰＩ変換を行うか否かを示すパラメータである。画像特徴学習部２００Ｂは、このステップＳＴ７２Ａの処理の後に、ステップＳＴ７３の処理に移る。
また、画像特徴学習部２００Ｂは、ステップＳＴ７４の処理の後に、ステップＳＴ８２の処理に移る。このステップＳＴ８２において、画像特徴学習部２００Ｂは、ステップＳＴ７２Ａで生成されたＰＩ変換を行うか否かのパラメータに基づいて、ＰＩ変換を行うか否かを判断する。ＰＩ変換を行うとき、画像特徴学習部２００Ｂは、ステップＳＴ７５において、ステップＳＴ７４で得られた変換画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
画像特徴学習部２００Ｂは、ステップＳＴ７５の処理の後、ステップＳＴ７６の処理に移る。一方、ステップＳＴ８２でＰＩ変換を行わないとき、画像特徴学習部２００Ｂは、直ちに、ステップＳＴ７６の処理に移る。詳細説明は省略するが、図１４のフローチャートのその他のステップは、図１２のフローチャートと同様である。
このように、ＰＩ変換を行うか否かの判断処理を入れることで、インターレースおよびプログレッシブの双方の画像を考慮した特徴点辞書を得ることができる。図２に示す画像処理装置１００においては、この特徴点辞書を用いることにより、入力画像がインターレースおよびプログレッシブのどちらであっても対処でき、入力画像の形式を設定する必要がなくなる。つまり、入力画像がインターレースおよびプログレッシブのどちらであっても、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。
「変形例２」
また、上述の図７に示す学習装置２００においては、あるカメラのレンズ歪変換が施された変換画像に基づいて所定数の特徴点を抽出して辞書の登録を行うことで、そのカメラのレンズ歪みを考慮した特徴点辞書を得る例を示した。しかし、複数のカメラのレンズ歪変換が施された変換画像を用いることで、それら複数のカメラのレンズ歪みに対応した辞書を作成することが可能となる。
図１５のフローチャートは、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における特徴点抽出部２００Ａの処理の流れの一例を示している。この図１５のフローチャートにおいて、図１０と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
特徴点抽出部２００Ａは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２Ｂにおいて、変換パラメータ生成部２０１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２０２で用いる変換パラメータＨ、レンズ歪変換部２０３で用いるδx, δyのパラメータ、ＰＩ変換部２０４で用いるδiのパラメータと共に、複数のカメラのレンズ歪データのうちどのレンズ歪みデータを用いるかを示すパラメータである。なお、複数のカメラのレンズ歪データは、予め測定され、記憶部２０９に登録しておく。特徴点抽出部２００Ａは、このステップＳＴ５２Ｂの処理の後に、ステップＳＴ５３の処理に移る。
また、特徴点抽出部２００Ａは、ステップＳＴ５３の処理の後に、ステップＳＴ５４Ｂの処理に移る。特徴点抽出部２００Ａは、このステップＳＴ５４Ｂにおいて、ステップＳＴ５３の処理で得られた画像ＳHに対して、レンズ歪変換の処理を行う。この場合、特徴点抽出部２００Ａは、どのレンズ歪みデータを用いるかのパラメータが示すレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳRを得る。特徴点抽出部２００Ａは、このステップＳＴ５４Ｂの処理の後に、ステップＳＴ５５の処理に移る。詳細説明は省略するが、図１５のフローチャートのその他のステップは、図１０のフローチャートと同様である。
また、図１６のフローチャートは、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における画像特徴学習部２００Ｂの処理の流れの一例を示している。この図１６のフローチャートにおいて、図１２と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
画像特徴学習部２００Ｂは、ステップＳＴ７１において、処理を開始し、その後に、ステップＳＴ７２Ｂにおいて、変換パラメータ生成部２１１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２１２で用いる変換パラメータＨ、レンズ歪変換部２１３で用いるδx, δyのパラメータ、ＰＩ変換部２１４で用いるδiのパラメータと共に、複数のカメラのレンズ歪データのうちどのレンズ歪みデータを用いるかを示すパラメータである。なお、複数のカメラのレンズ歪データは、予め測定され、記憶部２１６に登録しておく。画像特徴学習部２００Ｂは、このステップＳＴ７２Ｂの処理の後に、ステップＳＴ７３の処理に移る。
また、画像特徴学習部２００Ｂは、ステップＳＴ７３の処理の後に、ステップＳＴ７４Ｂの処理に移る。画像特徴学習部２００Ｂは、このステップＳＴ７４Ｂにおいて、ステップＳＴ７３の処理で得られた画像ＳHに対して、レンズ歪変換の処理を行う。この場合、画像特徴学習部２００Ｂは、どのレンズ歪みデータを用いるかのパラメータが示すレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳRを得る。画像特徴学習部２００Ｂは、このステップＳＴ７４Ｂの処理の後に、ステップＳＴ７５の処理に移る。詳細説明は省略するが、図１６のフローチャートのその他のステップは、図１２のフローチャートと同様である。
このように、複数のカメラのレンズ歪変換が施された変換画像を用いることで、それら複数のカメラのレンズ歪みを考慮した特徴点辞書を得ることができる。図２に示す画像処理装置１００においては、この特徴点辞書を用いることにより、複数のレンズ歪みのいずれにも対処できる。つまり、入力画像がそれら複数のレンズ歪みのいずれを持つ場合にあっても、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。
「変形例３」
上述の変形例１のようにＰＩ変換を行うか否かの判断処理を入れることでプログレッシブとインターレースのどちらの形式にも対応した辞書を作成することが可能となる。また、上述の変形例２のように複数のカメラのレンズ歪変換が施された変換画像を用いることで、それら複数のカメラのレンズ歪みに対応した辞書を作成することが可能となる。
図１７のフローチャートは、ＰＩ変換を行うか否かの判断処理を入れると共に、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における特徴点抽出部２００Ａの処理の流れの一例を示している。この図１７のフローチャートにおいて、図１０と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
特徴点抽出部２００Ａは、ステップＳＴ５１において、処理を開始し、その後に、ステップＳＴ５２Ｃにおいて、変換パラメータ生成部２０１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２０２で用いる変換パラメータＨ、レンズ歪変換部２０３で用いるδx, δyのパラメータ、ＰＩ変換部２０４で用いるδiのパラメータである。
さらに、ここで、ランダムに生成される変換パラメータは、ＰＩ変換を行うか否かを示すパラメータおよび複数のカメラのレンズ歪データのうちどのレンズ歪みデータを用いるかを示すパラメータである。なお、複数のカメラのレンズ歪データは、予め測定され、記憶部２０９に登録しておく。特徴点抽出部２００Ａは、このステップＳＴ５２Ｃの処理の後に、ステップＳＴ５３の処理に移る。
また、特徴点抽出部２００Ａは、ステップＳＴ５３の処理の後に、ステップＳＴ５４Ｃの処理に移る。特徴点抽出部２００Ａは、このステップＳＴ５４Ｃにおいて、ステップＳＴ５３の処理で得られた画像ＳHに対して、レンズ歪変換の処理を行う。この場合、特徴点抽出部２００Ａは、どのレンズ歪みデータを用いるかのパラメータが示すレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳRを得る。
また、特徴点抽出部２００Ａは、ステップＳＴ５４Ｃの処理の後に、ステップＳＴ８１の処理に移る。このステップＳＴ８１において、特徴点抽出部２００Ａは、ステップＳＴ５２Ｃで生成されたＰＩ変換を行うか否かのパラメータに基づいて、ＰＩ変換を行うか否かを判断する。ＰＩ変換を行うとき、特徴点抽出部２００Ａは、ステップＳＴ５５において、ステップＳＴ５４Ｃで得られた変換画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
特徴点抽出部２００Ａは、ステップＳＴ５５の処理の後、ステップＳＴ５６の処理に移る。一方、ステップＳＴ８１でＰＩ変換を行わないとき、特徴点抽出部２００Ａは、直ちに、ステップＳＴ５６の処理に移る。詳細説明は省略するが、図１７のフローチャートのその他のステップは、図１０のフローチャートと同様である。
図１８のフローチャートは、ＰＩ変換を行うか否かの判断処理を入れると共に、複数のカメラのレンズ歪変換が施された変換画像を用いる場合における画像特徴学習部２００Ｂの処理の流れの一例を示している。この図１８のフローチャートにおいて、図１２と対応するステップには同一符号を付し、適宜、その詳細説明は省略する。
画像特徴学習部２００Ｂは、ステップＳＴ７１において、処理を開始し、その後に、ステップＳＴ７２Ｃにおいて、変換パラメータ生成部２１１により、変換パラメータを、乱数を用いてランダム値として生成する。ここで、ランダムに生成される変換パラメータは、幾何変換部２１２で用いる変換パラメータＨ、レンズ歪変換部２１３で用いるδx, δyのパラメータ、ＰＩ変換部２１４で用いるδiのパラメータである。
さらに、ここで、ランダムに生成される変換パラメータは、ＰＩ変換を行うか否かを示すパラメータおよび複数のカメラのレンズ歪データのうちどのレンズ歪みデータを用いるかを示すパラメータである。なお、複数のカメラのレンズ歪データは、予め測定され、記憶部２０９に登録しておく。画像特徴学習部２００Ｂは、このステップＳＴ７２Ｃの処理の後に、ステップＳＴ７３の処理に移る。
また、画像特徴学習部２００Ｂは、ステップＳＴ７３の処理の後に、ステップＳＴ７４Ｃの処理に移る。画像特徴学習部２００Ｂは、このステップＳＴ７４Ｃにおいて、ステップＳＴ７３の処理で得られた画像ＳHに対して、レンズ歪変換の処理を行う。この場合、画像特徴学習部２００Ｂは、どのレンズ歪みデータを用いるかのパラメータが示すレンズ歪データに基づいて、カメラのレンズ歪に相当する変換ＴRを行って、変換後の画像ＳRを得る。
また、画像特徴学習部２００Ｂは、ステップＳＴ７４Ｃの処理の後に、ステップＳＴ８２の処理に移る。このステップＳＴ８２において、画像特徴学習部２００Ｂは、ステップＳＴ７２Ｃで生成されたＰＩ変換を行うか否かのパラメータに基づいて、ＰＩ変換を行うか否かを判断する。ＰＩ変換を行うとき、画像特徴学習部２００Ｂは、ステップＳＴ７５において、ステップＳＴ７４Ｃで得られた変換画像ＳRに対して、プログレッシブ画像からインターレース画像への変換ＴIを行って、変換後の画像ＳI＝ＴI（ＳR，δi）を得る。
画像特徴学習部２００Ｂは、ステップＳＴ７５の処理の後、ステップＳＴ７６の処理に移る。一方、ステップＳＴ８２でＰＩ変換を行わないとき、画像特徴学習部２００Ｂは、直ちに、ステップＳＴ７６の処理に移る。詳細説明は省略するが、図１８のフローチャートのその他のステップは、図１２のフローチャートと同様である。
このように、ＰＩ変換を行うか否かの判断処理を入れることで、インターレースおよびプログレッシブの双方の画像を考慮した特徴点辞書を得ることができる。また、複数のカメラのレンズ歪変換が施された変換画像を用いることで、それら複数のカメラのレンズ歪みを考慮した特徴点辞書を得ることができる。
図２に示す画像処理装置１００においては、この特徴点辞書を用いることにより、入力画像がインターレースおよびプログレッシブのどちらであっても対処でき、また、複数のレンズ歪みのいずれにも対処できる。つまり、カメラの特性によらず、入力画像と参照画像の特徴点の対応点を良好に見つけることができ、入力画像に合成画像を良好に合成できる。したがって、ユーザはカメラの特性（インターレース／プログレッシブ、レンズ歪み）を特定のものに設定しなくてもよくなり、利便性が向上する。
また、本技術は、以下のような構成をとることもできる。
（１）カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出部と、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出部で抽出された入力画像の特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定部と、
上記対応関係決定部で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正部と、
上記対応関係決定部で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正部で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出部と、
上記射影関係算出部で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換部と、
上記入力画像に上記合成画像座標変換部で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成部とを備える
画像処理装置。
（２）上記特徴点辞書は、上記カメラのレンズ歪みの他に、さらにインターレース画像を考慮して生成されている
前記（１）に記載の画像処理装置。
（３）カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出ステップと、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出ステップで抽出された特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定ステップと、
上記対応関係決定ステップで決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正ステップと、
上記対応関係決定ステップで決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正ステップで補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出ステップと、
上記射影関係算出ステップで算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換ステップと、
上記入力画像に上記合成画像座標変換ステップで生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成ステップとを備える
画像処理方法。
（４）コンピュータを、
カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出手段と、
参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出手段で抽出された特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定手段と、
上記対応関係決定手段で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正手段と、
上記対応関係決定手段で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正手段で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出手段と、
上記射影関係算出手段で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換手段と、
上記入力画像に上記合成画像座標変換手段で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成手段と
して機能させるプログラム。
（５）参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換部と、
上記画像変換部で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録部とを備える
学習装置。
（６）上記辞書登録部は、
上記画像変換部で変換された画像の特徴点を求める特徴点計算部と、
上記特徴点計算部で求められた特徴点の座標を上記参照画像上の座標に変換する特徴点座標変換部と、
上記画像変換部で変換された参照画像毎の上記特徴点座標変換部で変換された特徴点座標に基づいて、各特徴点の出現頻度を更新する出現頻度更新部と、
上記出現頻度更新部で出現頻度が更新された各特徴点のうち、出現頻度が上位から任意の数の特徴点を取り出して上記辞書に登録する特徴点登録部を有する
前記（５）に記載の学習装置。
（７）上記画像変換部は、
上記参照画像に、上記幾何変換および上記レンズ歪変換と共に、プログレッシブ画像からインターレース画像に変換するプログレッシブ／インターレース変換を選択的に施して上記複数の変換画像を生成する
前記（５）または（６）に記載の学習装置。
（８）上記画像変換部は、
複数のレンズ歪データからランダムに選択されたレンズ歪データに基づいて上記レンズ歪変換を施して上記複数の変換画像を生成する
前記（５）から（７）のいずれかに記載の学習装置。
（９）参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換ステップと、
上記画像変換ステップで変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録ステップとを備える
学習方法。
（１０）コンピュータを、
参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換手段と、
上記画像変換手段で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録手段と
して機能させるプログラム。
１０・・・画像処理システム
１００・・・画像処理装置
１０１・・・特徴点抽出部
１０２・・・マッチング部
１０３・・・特徴点座標補正部
１０４・・・ホモグラフィ算出部
１０５・・・合成画像座標変換部
１０６・・・出力画像生成部
２００・・・学習装置
２００Ａ・・・特徴点抽出部
２００Ｂ・・・画像特徴学習部
２０１・・・変換パラメータ生成部
２０２・・・幾何変換部
２０３・・・レンズ歪変換部
２０４・・・ＰＩ変換部
２０５・・・特徴点計算部
２０６・・・特徴点座標変換部
２０７・・・特徴点出現頻度更新部
２０８・・・特徴点登録部
２０９・・・記憶部
２１１・・・変換パラメータ生成部
２１２・・・幾何変換部
２１３・・・レンズ歪変換部
２１４・・・ＰＩ変換部
２１５・・・確率更新部
２１６・・・記憶部

Claims (10)

  1. カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出部と、
    参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出部で抽出された入力画像の特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定部と、
    上記対応関係決定部で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正部と、
    上記対応関係決定部で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正部で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出部と、
    上記射影関係算出部で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換部と、
    上記入力画像に上記合成画像座標変換部で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成部とを備える
    画像処理装置。
  2. 上記特徴点辞書は、上記カメラのレンズ歪みの他に、さらにインターレース画像を考慮して生成されている
    請求項１に記載の画像処理装置。
  3. カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出ステップと、
    参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出ステップで抽出された特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定ステップと、
    上記対応関係決定ステップで決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪データに基づいて補正する特徴点座標歪補正ステップと、
    上記対応関係決定ステップで決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正ステップで補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出ステップと、
    上記射影関係算出ステップで算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換ステップと、
    上記入力画像に上記合成画像座標変換ステップで生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成ステップとを備える
    画像処理方法。
  4. コンピュータを、
    カメラの撮像画像を入力画像とし、該入力画像の特徴点を抽出する特徴点抽出手段と、
    参照画像から上記カメラのレンズ歪みを考慮して生成された特徴点辞書を用いて、上記特徴点抽出手段で抽出された特徴点と上記参照画像の特徴点との対応関係を決定する対応関係決定手段と、
    上記対応関係決定手段で決定された、上記参照画像の特徴点に対応した上記入力画像の特徴点の座標を、上記カメラのレンズ歪みデータに基づいて補正する特徴点座標歪補正手段と、
    上記対応関係決定手段で決定された対応関係で、上記参照画像の特徴点の座標と上記特徴点座標歪補正手段で補正された上記入力画像の特徴点の座標に基づいて、上記入力画像と上記参照画像の射影関係を算出する射影関係算出手段と、
    上記射影関係算出手段で算出された射影関係と上記カメラのレンズ歪データに基づいて、合成画像から貼り合わせ用の合成画像を生成する合成画像座標変換手段と、
    上記入力画像に上記合成画像座標変換手段で生成された貼り合わせ用の合成画像を合成して出力画像を得る出力画像生成手段と
    して機能させるプログラム。
  5. 参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換部と、
    上記画像変換部で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録部とを備える
    学習装置。
  6. 上記辞書登録部は、
    上記画像変換部で変換された画像の特徴点を求める特徴点計算部と、
    上記特徴点計算部で求められた特徴点の座標を上記参照画像上の座標に変換する特徴点座標変換部と、
    上記画像変換部で変換された参照画像毎の上記特徴点座標変換部で変換された特徴点座標に基づいて、各特徴点の出現頻度を更新する出現頻度更新部と、
    上記出現頻度更新部で出現頻度が更新された各特徴点のうち、出現頻度が上位から任意の数の特徴点を取り出して上記辞書に登録する特徴点登録部を有する
    請求項５に記載の学習装置。
  7. 上記画像変換部は、
    上記参照画像に、上記幾何変換および上記レンズ歪変換と共に、プログレッシブ画像からインターレース画像に変換するプログレッシブ／インターレース変換を選択的に施して上記複数の変換画像を生成する
    請求項５に記載の学習装置。
  8. 上記画像変換部は、
    複数のレンズ歪データからランダムに選択されたレンズ歪データに基づいて上記レンズ歪変換を施して上記複数の変換画像を生成する
    請求項５に記載の学習装置。
  9. 参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換ステップと、
    上記画像変換ステップで変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録ステップとを備える
    学習方法。
  10. コンピュータを、
    参照画像に少なくとも変換パラメータによる幾何変換およびレンズ歪データによるレンズ歪変換を施す画像変換手段と、
    上記画像変換手段で変換された複数の変換画像に基づいて所定数の特徴点を抽出して辞書に登録する辞書登録手段と
    して機能させるプログラム。
JP2012014872A 2012-01-27 2012-01-27 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム Pending JP2013156722A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012014872A JP2013156722A (ja) 2012-01-27 2012-01-27 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム
US13/744,805 US20130195351A1 (en) 2012-01-27 2013-01-18 Image processor, image processing method, learning device, learning method and program
CN2013100226751A CN103226811A (zh) 2012-01-27 2013-01-22 图像处理器、图像处理方法、学习设备、学习方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012014872A JP2013156722A (ja) 2012-01-27 2012-01-27 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム

Publications (1)

Publication Number Publication Date
JP2013156722A true JP2013156722A (ja) 2013-08-15

Family

ID=48837246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012014872A Pending JP2013156722A (ja) 2012-01-27 2012-01-27 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム

Country Status (3)

Country Link
US (1) US20130195351A1 (ja)
JP (1) JP2013156722A (ja)
CN (1) CN103226811A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019139234A1 (ko) * 2018-01-15 2019-07-18 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
US10937134B2 (en) 2016-12-28 2021-03-02 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
JP2023529786A (ja) * 2021-05-07 2023-07-12 テンセント・アメリカ・エルエルシー パノラマ画像におけるグラウンド上のマーカを認識することによってカメラ間のポーズグラフおよび変換マトリクスを推定する方法

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102144394B1 (ko) * 2013-08-20 2020-08-13 한화테크윈 주식회사 영상 정합 장치 및 이를 이용한 영상 정합 방법
CN104732225B (zh) * 2013-12-24 2018-12-18 中国科学院深圳先进技术研究院 图像旋转处理方法
JP6316330B2 (ja) * 2015-04-03 2018-04-25 コグネックス・コーポレーション ホモグラフィの修正
JP6744747B2 (ja) * 2016-04-01 2020-08-19 キヤノン株式会社 情報処理装置およびその制御方法
US10481740B2 (en) * 2016-08-01 2019-11-19 Ams Sensors Singapore Pte. Ltd. Projecting a structured light pattern onto a surface and detecting and responding to interactions with the same
EP3504663A4 (en) 2016-08-26 2020-04-22 Nokia Technologies Oy METHOD, APPARATUS AND COMPUTER PROGRAM PRODUCT FOR REMOVING METEOROLOGICAL ELEMENTS FROM IMAGES
US11039121B2 (en) * 2017-06-20 2021-06-15 Sony Interactive Entertainment Inc. Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
CN107729824B (zh) * 2017-09-28 2021-07-13 湖北工业大学 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法
US11127129B2 (en) 2017-12-14 2021-09-21 The Joan and Irwin Jacobs Technion-Cornell Institute Techniques for identifying hazardous site conditions in geo-localized enhanced floor plans
US11010966B2 (en) * 2017-12-14 2021-05-18 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for creating geo-localized enhanced floor plans
US10783649B2 (en) * 2018-09-17 2020-09-22 Adobe Inc. Aligning digital images by selectively applying pixel-adjusted-gyroscope alignment and feature-based alignment models
US11190803B2 (en) * 2019-01-18 2021-11-30 Sony Group Corporation Point cloud coding using homography transform
CN111210410A (zh) * 2019-12-31 2020-05-29 深圳市优必选科技股份有限公司 一种信号灯状态检测方法与装置
CN111260565B (zh) * 2020-01-02 2023-08-11 北京交通大学 基于畸变分布图的畸变图像矫正方法及系统
CN113409373B (zh) * 2021-06-25 2023-04-07 浙江商汤科技开发有限公司 图像处理方法及相关终端、设备和存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7313289B2 (en) * 2000-08-30 2007-12-25 Ricoh Company, Ltd. Image processing method and apparatus and computer-readable storage medium using improved distortion correction
JP5018404B2 (ja) * 2007-11-01 2012-09-05 ソニー株式会社 画像識別装置および画像識別方法、並びに、プログラム
US20090232415A1 (en) * 2008-03-13 2009-09-17 Microsoft Corporation Platform for the production of seamless orthographic imagery
US8340453B1 (en) * 2008-08-29 2012-12-25 Adobe Systems Incorporated Metadata-driven method and apparatus for constraining solution space in image processing techniques

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937134B2 (en) 2016-12-28 2021-03-02 Ricoh Company, Ltd. Image processing apparatus, image capturing system, image processing method, and recording medium
WO2019139234A1 (ko) * 2018-01-15 2019-07-18 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
KR20190086964A (ko) * 2018-01-15 2019-07-24 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
KR102028469B1 (ko) 2018-01-15 2019-10-04 주식회사 스트리스 어안 렌즈 및 전방위 영상의 왜곡 제거를 위한 장치 및 방법
JP2023529786A (ja) * 2021-05-07 2023-07-12 テンセント・アメリカ・エルエルシー パノラマ画像におけるグラウンド上のマーカを認識することによってカメラ間のポーズグラフおよび変換マトリクスを推定する方法

Also Published As

Publication number Publication date
CN103226811A (zh) 2013-07-31
US20130195351A1 (en) 2013-08-01

Similar Documents

Publication Publication Date Title
JP2013156722A (ja) 画像処理装置、画像処理方法、学習装置、学習方法およびプログラム
US8126206B2 (en) Image processing apparatus, image processing method, and program
Rogez et al. Mocap-guided data augmentation for 3d pose estimation in the wild
JP6507730B2 (ja) 座標変換パラメータ決定装置、座標変換パラメータ決定方法及び座標変換パラメータ決定用コンピュータプログラム
JP5940453B2 (ja) 画像のシーケンス内のオブジェクトのリアルタイム表現のハイブリッド型追跡のための方法、コンピュータプログラム、および装置
US8379986B2 (en) Device, method, and computer-readable storage medium for recognizing an object in an image
US20140204084A1 (en) Systems and Methods for Animating the Faces of 3D Characters Using Images of Human Faces
US8644551B2 (en) Systems and methods for tracking natural planar shapes for augmented reality applications
CN110866953A (zh) 地图构建方法及装置、定位方法及装置
US20060193535A1 (en) Image matching method and image interpolation method using the same
JP2007257287A (ja) 画像レジストレーション方法
CN112435338B (zh) 电子地图的兴趣点的位置获取方法、装置及电子设备
CN104885098A (zh) 基于移动装置的文本检测及跟踪
JP6420605B2 (ja) 画像処理装置
JP5503510B2 (ja) 姿勢推定装置および姿勢推定プログラム
JP3940690B2 (ja) 画像処理装置及びその方法
JP6931267B2 (ja) 原画像を目標画像に基づいて変形した表示画像を生成するプログラム、装置及び方法
CN109598675B (zh) 多重复纹理图像的拼接方法
JP7118729B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2011070283A (ja) 顔画像高解像度化装置、及びプログラム
Wang et al. Markerless body motion capturing for 3d character animation based on multi-view cameras
JP4380376B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
Gao et al. Multi-frame super-resolution reconstruction based on global motion estimation using a novel CNN descriptor
Bastos et al. Automatic camera pose initialization, using scale, rotation and luminance invariant natural feature tracking
Lu et al. Pose guided image generation from misaligned sources via residual flow based correction