JP2015125618A - 対応点検出装置および対応点検出方法 - Google Patents

対応点検出装置および対応点検出方法 Download PDF

Info

Publication number
JP2015125618A
JP2015125618A JP2013270090A JP2013270090A JP2015125618A JP 2015125618 A JP2015125618 A JP 2015125618A JP 2013270090 A JP2013270090 A JP 2013270090A JP 2013270090 A JP2013270090 A JP 2013270090A JP 2015125618 A JP2015125618 A JP 2015125618A
Authority
JP
Japan
Prior art keywords
peak
image
corresponding point
sets
point detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013270090A
Other languages
English (en)
Other versions
JP5509441B1 (ja
Inventor
覚 大浦
Manabu Oura
覚 大浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BAYBIG CO Ltd
Original Assignee
BAYBIG CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BAYBIG CO Ltd filed Critical BAYBIG CO Ltd
Priority to JP2013270090A priority Critical patent/JP5509441B1/ja
Application granted granted Critical
Publication of JP5509441B1 publication Critical patent/JP5509441B1/ja
Priority to PCT/JP2014/005704 priority patent/WO2015097969A1/ja
Publication of JP2015125618A publication Critical patent/JP2015125618A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/421—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation by analysing segments intersecting the pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】対応点を低演算量で高精度に検出する。
【解決手段】対応点検出装置１２０は、第１画像および第２画像のそれぞれにおいて、平行線分毎に複数のピーク部分を検出するピーク検出部１２１と、平行線分毎に検出された複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、第１画像および第２画像のそれぞれに対して複数のピーク集合を決定する連結部１２２と、第１画像の複数のピーク集合のうちの１つである第１ピーク集合と、第２画像の複数のピーク集合のうちの１つである第２ピーク集合とを対応付ける対応付け部１２３と、第１ピーク集合から第１対応点を決定し、第２ピーク集合から第２対応点を決定することにより、第１対応点と第２対応点とを検出する対応点検出部１２４とを備える。
【選択図】図６

Description

本発明は、複数の画像から複数の対応点を検出する対応点検出装置および対応点検出方法に関する。
従来、視点が互いに異なる複数の画像のそれぞれから、被写体の表面上の同じ位置に対応する対応点を検出し、各視点の情報および各対応点の情報に基づいて、被写体の表面の立体的な形状を特定する技術がある。例えば、特許文献１〜４は、このような技術に関連する文献である。
特に、対応点の検出に関して、特許文献１および特許文献２には、等輝度線を利用する方法が示されている。また、特許文献３および特許文献４には、画像間におけるデータの相関を利用する方法が示されている。
このような技術に係る装置は、適切な対応点を利用することによって、被写体の表面の各位置に対応する距離を適切に算出し、被写体の表面の立体的な形状を適切に特定することができる。
特開平５−３４１１７号公報 特開２００１−１９４１２８号公報 特開２００８−１２３１４１号公報 特開２００８−１２３１４２号公報
しかしながら、対応点の検出に等輝度線を利用する方法では、画像全体の輝度情報が用いられるため、演算量が大きくなる可能性がある。また、画像間で色むら（輝度むら）が存在する場合、対応点を適切に求めることが困難である。
また、画像間におけるデータの相関が用いられる場合に、画像間におけるデータの比較回数が増加する可能性がある。したがって、相関の高いデータの検出に時間がかかることになり、対応点の検出に時間がかかる可能性がある。
そこで、本発明は、対応点を低演算量で高精度に検出することができる対応点検出装置を提供する。
上記課題を解決するため、本発明の一態様に係る対応点検出装置は、視点が互いに異なる第１画像および第２画像から、被写体の同一位置にそれぞれ対応する第１対応点および第２対応点を検出する対応点検出装置であって、前記第１画像および前記第２画像のそれぞれにおいて平行線分毎に、画素値のピークまたはボトムにそれぞれ対応する複数のピーク部分を検出するピーク検出部と、前記平行線分毎に検出された前記複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して複数のピーク集合を決定する連結部と、前記第１画像の前記複数のピーク集合のうちの１つである第１ピーク集合と、前記第２画像の前記複数のピーク集合のうちの１つである第２ピーク集合とを対応付ける対応付け部と、前記第１ピーク集合から前記第１対応点を決定し、前記第２ピーク集合から前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出する対応点検出部とを備える。
これにより、対応点検出装置は、ピーク部分に基づいて、対応点を検出する。特に、対応点検出装置は、ピーク部分を利用することにより、等輝度線を利用するよりも低演算量で対応点を検出することができる。また、ピーク部分は隣接画素間の画素値の関係に基づいているため、画像間の色むら等による影響が低減される。そして、ピーク集合の対応付けによって、画像間におけるデータの比較回数の増加が抑制される。したがって、対応点検出装置は、対応点を低演算量で高精度に検出することができる。
例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、エピポーラ線に平行な前記平行線分毎に、前記複数のピーク部分を検出し、前記対応点検出部は、前記第１ピーク集合から前記第１画像のエピポーラ線上の前記第１対応点を決定し、前記第２ピーク集合から前記第２画像のエピポーラ線上の前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出してもよい。
これにより、エピポーラ線上の対応点が適切に検出される。例えば、エピポーラ線が事前に特定されている場合、対応点検出装置は、エピポーラ制約に基づいて対応点を適切に検出することができる。
また、例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、画素値が走査される走査線に対応する前記平行線分毎に、前記複数のピーク部分を検出してもよい。
これにより、対応点検出装置は、走査順序に沿って、ピーク部分を効率的に検出することができる。
また、例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、画素値のピークまたはボトムにそれぞれが対応する複数のピーク点を前記複数のピーク部分として検出し、前記連結部は、前記平行線分毎に検出された前記複数のピーク点のそれぞれを隣接する平行線分のピーク点に連結して線状の前記ピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して、それぞれ線状の前記複数のピーク集合を決定してもよい。
これにより、対応点の検出に用いられる情報量が抑制される。したがって、対応点検出装置は、より少ない演算量で対応点を検出することができる。
また、例えば、対応付け部は、前記第１ピーク集合の長さと、前記第２ピーク集合の長さとに基づいて、前記第１ピーク集合と、前記第２ピーク集合とを対応付けてもよい。
これにより、対応点検出装置は、ピーク集合の特徴である長さに基づいて、ピーク集合の対応付けを行うことができる。
また、例えば、対応付け部は、前記第１画像における所定の基準線に交わる複数のピーク集合のうち最も長い前記第１ピーク集合と、前記第２画像における所定の基準線に交わる複数のピーク集合のうち最も長い前記第２ピーク集合とを対応付けてもよい。
これにより、対応点検出装置は、長さを用いて、特徴が類似する１対のピーク集合を適切に対応付けることができる。
また、例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、画素値のピークまたはボトムに対応する点をそれぞれが含む複数のピーク線分を前記複数のピーク部分として検出し、前記連結部は、前記平行線分毎に検出された前記複数のピーク線分のそれぞれを隣接する平行線分のピーク線分に連結して、領域を有する前記ピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して、それぞれが領域を有する前記複数のピーク集合を決定してもよい。
これにより、対応点検出装置は、ピーク点に限定せずに、対応点を適切に検出することができる。
また、例えば、対応付け部は、前記第１ピーク集合の大きさと、前記第２ピーク集合の大きさとに基づいて、前記第１ピーク集合と、前記第２ピーク集合とを対応付けてもよい。
これにより、対応点検出装置は、ピーク集合の特徴である大きさに基づいて、ピーク集合の対応付けを行うことができる。
また、例えば、対応付け部は、前記第１画像における所定の基準線に交わる複数のピーク集合のうち最も大きい前記第１ピーク集合と、前記第２画像における所定の基準線に交わる複数のピーク集合のうち最も大きい前記第２ピーク集合とを対応付けてもよい。
これにより、対応点検出装置は、大きさを用いて、特徴が類似する１対のピーク集合を適切に対応付けることができる。
また、例えば、前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、輝度値である画素値のピークまたはボトムにそれぞれが対応する前記複数のピーク部分を検出してもよい。
これにより、対応点検出装置は、輝度値に対応するピーク部分に基づいて、対応点を適切に検出することができる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの非一時的な記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本発明に係る対応点検出装置は、複数の画像から複数の対応点を低演算量で高精度に検出することができる。
図１は、実施の形態１に係る画像処理システムの構成を示すブロック図である。 図２は、実施の形態１に係る撮像方法の第１例を示す図である。 図３は、実施の形態１に係る撮像方法の第２例を示す図である。 図４は、実施の形態１に係るエピポーラ線を示す図である。 図５Ａは、実施の形態１に係る第１画像を示す図である。 図５Ｂは、実施の形態１に係る第２画像を示す図である。 図６は、実施の形態１に係る対応点検出装置の構成を示すブロック図である。 図７は、実施の形態１に係る対応点検出装置の動作を示すフローチャートである。 図８Ａは、実施の形態１に係る第１画像のエピポーラ線上の輝度を示す図である。 図８Ｂは、実施の形態１に係る第２画像のエピポーラ線上の輝度を示す図である。 図９は、実施の形態１に係るピーク集合を示す図である。 図１０Ａは、実施の形態１に係る第１画像のピーク集合を示す図である。 図１０Ｂは、実施の形態１に係る第２画像のピーク集合を示す図である。 図１１は、実施の形態２に係るピーク集合を示す図である。 図１２Ａは、実施の形態２に係る第１画像のピーク集合を示す図である。 図１２Ｂは、実施の形態２に係る第２画像のピーク集合を示す図である。 図１３Ａは、実施の形態３に係る第１画像のピーク集合を示す図である。 図１３Ｂは、実施の形態３に係る第２画像のピーク集合を示す図である。 図１４は、実施の形態３に係る対応付け方法の第１例を示す図である。 図１５は、実施の形態３に係る対応付け方法の第２例を示す図である。 図１６Ａは、実施の形態４に係る第１画像のピーク集合を示す図である。 図１６Ｂは、実施の形態４に係る第２画像のピーク集合を示す図である。 図１７は、実施の形態４に係る対応付け方法を示す図である。
以下、図面を用いて、本発明に係る実施の形態について説明する。なお、以下で説明する実施の形態は、本発明の好ましい一具体例を示す。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より望ましい形態を構成する任意の構成要素として説明される。
（実施の形態１）
図１は、本実施の形態に係る画像処理システムの構成を示すブロック図である。図１のように、画像処理システム１００は、撮像装置１１０、対応点検出装置１２０、形状算出装置１３０、および、表示装置１４０を備える。
撮像装置１１０は、視点が互いに異なる複数の画像を取得する。撮像装置１１０は、ステレオカメラのように複数のカメラを備え、複数のカメラによって複数の画像を取得してもよい。撮像装置１１０は、移動する１つのカメラを備え、移動する１つのカメラによって複数の画像を取得してもよい。また、撮像装置１１０は、移動する複数のカメラを備え、移動する複数のカメラによって複数の画像を取得してもよい。
対応点検出装置１２０は、視点が互いに異なる複数の画像から、画像間で互いに対応する複数の対応点を検出する。対応点は、各画像に含まれる点であり、被写体の同一位置を示す点である。対応点は、視点の違いに従って、画像毎に異なる位置に現れる。
形状算出装置１３０は、対応点検出装置１２０で画像毎に検出された対応点の位置に基づいて、被写体の現実の位置を算出する。形状算出装置１３０は、被写体の現実の位置を算出する際、カメラの位置、角度および設定パラメータ等の情報を用いてもよい。そして、形状算出装置１３０は、複数の対応点に基づいて、被写体の表面上の複数の位置を算出することで、被写体の表面形状を算出する。
対応点検出装置１２０がより多くの対応点を検出することにより、形状算出装置１３０は、被写体の表面上のより多くの位置を算出することができる。これにより、形状算出装置１３０は、被写体の表面形状をより正確に算出することができる。さらに、形状算出装置１３０は、被写体の表面形状を示す画像（立体画像）を生成し、生成された画像を表示装置１４０に表示する。
対応点検出装置１２０は、撮像装置１１０、形状算出装置１３０および表示装置１４０を含んでもよい。
図２は、図１に示された撮像装置１１０による撮像方法の第１例を示す図である。図２の場合、撮像装置１１０は、光軸が平行になるように並列に配置された２つのカメラを備え、２つのカメラによって被写体を撮像する。これにより、視点が互いに異なる２つの画像が得られる。
図３は、図１に示された撮像装置１１０による撮像方法の第２例を示す図である。図３の例では、撮像装置１１０は、移動する１つのカメラを備え、移動する１つのカメラによって被写体を複数回撮像する。これにより、視点が互いに異なる複数の画像が得られる。
本実施の形態では、図２に示された撮像方法で得られた複数の画像が用いられてもよいし、図３に示された撮像方法で得られた複数の画像が用いられてもよい。図２の撮像方法で得られた２つの画像のそれぞれに含まれる複数のエピポーラ線は平行である。図３の撮像方法で得られた２つの画像のそれぞれに含まれる複数のエピポーラ線は平行でない。
図４は、エピポーラ線を示す図である。第１視点の位置ｐ１と第２視点の位置ｐ２と被写体の位置ｐ３とを通る面がエピポーラ面である。エピポーラ面と画像の面（投影面）との交線がエピポーラ線である。この定義は一例であり、別の表現を用いて同等のエピポーラ面およびエピポーラ線が定義されてもよい。
撮像装置１１０は、図３の撮像方法で得られた２つの画像の関係において、２つの画像のそれぞれに含まれる複数のエピポーラ線が平行になるように、２つの画像を補正してもよい。そして、撮像装置１１０は、補正された２つの画像を対応点検出装置１２０に提供してもよい。このような補正は、別途の専用装置で行われてもよい。対応点検出装置１２０が、このような補正を行う補正部を備えてもよい。
撮像装置１１０は、光軸が平行になるように上下に並列に配置された、左右（円周上）に移動する２つのカメラを備え、左右（円周上）に移動する２つのカメラによって被写体を撮像してもよい。これにより、複数対の画像が、様々な角度から得られる。画像処理システム１００は、様々な角度から得られる複数対の画像を用いることで、被写体の表面形状をより正確に算出することができる。
図５Ａおよび図５Ｂは、撮像装置１１０によって得られた２つの画像を示す。２つの画像に対応する２つの視点は、互いに異なる。つまり、２つの画像は、視差を有する。この視差に基づいて、被写体の同一位置が２つの画像において互いに異なる位置に現れる。各画像において被写体の同一位置を示す点が対応点である。
なお、被写体の同一位置に対応する対応点は、１組（１対）の画像においてエピポーラ面を共有する１組のエピポーラ線上に現れる。別の同一位置に対応する別の対応点は、別のエピポーラ面を共有する別の１組のエピポーラ線上に現れる場合がある。
本実施の形態において、対応点検出装置１２０は、例えば、図５Ａに示されたエピポーラ線を含む領域３０１、および、図５Ｂに示されたエピポーラ線を含む領域３０２から、それぞれ、対応点を検出する。エピポーラ線、領域３０１および３０２は、予め定められていてもよいし、対応点の検出前に探索されてもよい。
具体的には、エピポーラ線は、視点の位置および角度に基づいて、予め定められていてもよい。また、対応点検出装置１２０は、対応点の検出前に、互いに類似する領域３０１および３０２をブロック毎のパターンマッチングによって探索してもよい。別の装置が、このような探索を行ってもよい。なお、対応点検出装置１２０は、領域３０１および３０２に限定せずに、図５Ａに示された第１画像の全領域、および、図５Ｂに示された第２画像の全領域から、対応点を検出してもよい。
以降の説明において、図５Ａに示された第１画像の領域３０１を単に第１画像と呼び、図５Ｂに示された第２画像の領域３０２を単に第２画像と呼ぶ場合がある。
図６は、図１に示された対応点検出装置１２０の構成を示すブロック図である。図６のように、対応点検出装置１２０は、ピーク検出部１２１、連結部１２２、対応付け部１２３および対応点検出部１２４を備える。例えば、これらは、それぞれ、専用または汎用の回路によって実装される。また、これらは、１つの回路で実装されてもよいし、複数の回路で実装されてもよい。以下、各構成要素の動作を説明する。
図７は、図６に示された対応点検出装置１２０の動作を示すフローチャートである。まず、ピーク検出部１２１は、対応点検出装置１２０に入力された複数の画像のそれぞれにおいて、平行線分毎に複数のピーク部分を検出する（Ｓ１０１）。
本実施の形態において、ピーク部分は、画素値のピークに対応するピーク点である。ピーク点は、画素値のボトムに対応してもよい。ここで、ピークおよびボトムは、極大および極小を意味する。そのため、１つの線分から複数のピーク部分が検出される。画素値は、輝度（輝度値）でもよいし、色差（色差値）でもよい。あるいは、画素値は、ＲＧＢ形式で表現される色成分の値などでもよい。
また、本実施の形態では、平行線分は、エピポーラ線に平行な線分である。しかし、平行線分は、エピポーラ線に平行であることに限られない。平行線分は、走査線に沿う線分でもよい。つまり、ピーク検出部１２１は、走査線毎にピーク部分を検出してもよい。
次に、連結部１２２は、平行線分毎に検出された複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、各画像において複数のピーク集合を決定する（Ｓ１０２）。
次に、対応付け部１２３は、第１画像の複数のピーク集合と第２画像の複数のピーク集合とを複数組のピーク集合として対応付ける（Ｓ１０３）。その際、対応付け部１２３は、第１画像に含まれる複数のピーク集合のうちの１つと、第２画像に含まれる複数のピーク集合のうちの１つとを１組のピーク集合として対応付ける。
例えば、対応付け部１２３は、第１画像に含まれる複数のピーク集合のうち第１ピーク集合と、第２画像に含まれる複数のピーク集合のうち、第１ピーク集合に対する類似度が最も大きい第２ピーク集合とを対応付ける。類似度は、ピーク集合の位置に基づいていてもよいし、ピーク集合の形状に基づいていてもよい。
次に、対応点検出部１２４は、第１画像および第２画像において対応付けられた２つのピーク集合のそれぞれの中から対応点を検出する（Ｓ１０４）。つまり、対応点検出部１２４は、１組のピーク集合から１組の対応点を検出する。
上記の動作によって、本実施の形態に係る対応点検出装置１２０は、第１画像および第２画像のそれぞれから、適切な対応点を検出することができる。以下、動作の詳細を具体的に示す。
図８Ａは、第１画像のエピポーラ線上の輝度を示す図である。図８Ｂは、第２画像のエピポーラ線上の輝度を示す図である。図８Ａのように、第１画像のエピポーラ線上には、ピーク点４１１および４１２が存在する。図８Ｂのように、第２画像のエピポーラ線上には、ピーク点４２１、４２２および４２３が存在する。
第１画像の１つのピーク点と、第２画像の１つのピーク点とは、それぞれ、被写体の同一位置に対応すると想定される。すなわち、第１画像の１つのピーク点と、第２画像の１つのピーク点とは、それぞれ、対応点と想定される。
しかしながら、図８Ａに示されたピーク点４１１が、図８Ｂに示されたピーク点４２１、４２２および４２３のいずれに対応するかは不明である。そのため、対応点検出装置１２０は、各ピーク点を他の平行線分で検出されたピーク点に連結してピーク集合を決定する。そして、対応点検出装置１２０は、画像間のピーク集合の対応付けに基づいて、適切な対応点を検出する。
図９は、本実施の形態に係るピーク集合を示す図である。例えば、ピーク検出部１２１は、Ｘ方向に沿う１つの線分上の輝度の変化に応じて、複数のピーク点を検出する。そして、ピーク検出部１２１は、Ｘ方向に沿う別の線分上の輝度の変化に応じて、複数のピーク点を検出する。ピーク検出部１２１は、このような動作を繰り返して、Ｘ方向に沿う複数の線分のそれぞれにおいて、複数のピーク点を検出する。そして、連結部１２２は、複数の線分に含まれる複数のピーク点を連結する。
例えば、連結部１２２は、第１線分に含まれる第１ピーク点を第２線分に含まれる第２ピーク点に連結する。ここで、第１線分および第２線分は、それぞれＸ方向に沿う複数の線分のうちの１つであって、互いに隣接する。第１ピーク点は、第１線分に含まれる複数のピーク点のうちの１つである。第２ピーク点は、第２線分に含まれる複数のピーク点のうち、第１ピーク点から所定範囲内のピーク点である。
連結部１２２は、上記の動作を繰り返して、複数のピーク点を連結し、複数のピーク集合を決定する。特に、本実施の形態では、複数のピーク集合は、線状の軌跡で表現される。
図１０Ａは、第１画像の複数のピーク集合の例を示す図である。図１０Ｂは、第２画像の複数のピーク集合の例を示す図である。図１０Ａのように、第１画像は、複数のピーク集合５１１、５１２、５１３、５１４、５１５および５１６を含む。また、図１０Ｂのように、第２画像は、複数のピーク集合５２１、５２２、５２３、５２４、５２５および５２６を含む。
例えば、対応付け部１２３は、各ピーク集合の位置に基づいて、２つのピーク集合を対応付ける。具体的には、対応付け部１２３は、第１画像におけるピーク集合５１１の位置に最も近いピーク集合を第２画像の複数のピーク集合５２１、５２２、５２３、５２４、５２５および５２６から探索する。第２画像における複数のピーク集合５２１、５２２、５２３、５２４、５２５および５２６のうちピーク集合５２１の位置が、第１画像におけるピーク集合５１１の位置に最も近い。
したがって、対応付け部１２３は、ピーク集合５１１とピーク集合５２１とを対応付ける。同様に、対応付け部１２３は、ピーク集合５１２とピーク集合５２２とを対応付け、ピーク集合５１３とピーク集合５２３とを対応付け、ピーク集合５１４とピーク集合５２４とを対応付け、ピーク集合５１５とピーク集合５２５とを対応付け、ピーク集合５１６とピーク集合５２６とを対応付ける。
対応付け部１２３は、各ピーク集合の絶対的な位置ではなく、相対的な位置に基づいて、複数のピーク集合を対応付けてもよい。
被写体の同一位置を示す１組の対応点は、各画像において異なる位置に現れる可能性がある。しかし、第１画像における複数の対応点の相対的な位置関係は、第２画像における複数の対応点の相対的な位置関係に一致すると想定される。複数のピーク集合の相対的な位置関係も同様である。したがって、各画像の複数のピーク集合に対して、左から順番に順序付けを行って、同じ順番を有する２つのピーク集合を対応付けてもよい。
視差が垂直方向には存在せず水平方向に存在する場合、対応付け部１２３は、各ピーク集合の垂直方向の絶対的な位置と水平方向の相対的な位置に基づいて、複数のピーク集合を対応付けてもよい。対応付け部１２３は、複数のピーク集合の形状の類似性に基づいて、複数のピーク集合を対応付けてもよい。
そして、対応点検出部１２４は、対応付けられたピーク集合５１３とピーク集合５２３とから、ピーク点４１１とピーク点４２１とをそれぞれ対応点として検出する。また、対応付けられたピーク集合５１５とピーク集合５２５とから、ピーク点４１２とピーク点４２３とをそれぞれ対応点として検出する。
すなわち、本実施の形態に係る対応点検出装置１２０は、１組の画像における１組のエピポーラ線上の複数組の対応点を複数組のピーク集合の対応付けに基づいて適切に検出することができる。特に、１組のエピポーラ線上に存在する多数のピーク点から、１組のピーク点（対応点）を検出することが難しい場合がある。しかし、本実施の形態に係る対応点検出装置１２０は、ピーク集合の対応付けに基づいて、多数のピーク点から１組の対応点を適切に検出することができる。
例えば、顔を撮像することで得られた画像のエピポーラ線上には、多数の毛穴に応じて、多数のピークが現れる。対応点検出装置１２０は、このような多数のピークを用いて、多数の対応点を検出することができる。つまり、対応点検出装置１２０は、顔の表面形状を高精度に検出するための多数の対応点を適切に検出することができる。
なお、対応点検出装置１２０は、エピポーラ線を用いずに、対応点を検出してもよい。例えば、ピーク検出部１２１は、エピポーラ線によらず、複数の走査線のそれぞれにおいて、ピーク部分を検出してもよい。この場合、連結部１２２および対応付け部１２３は、上記と同じ手順で、複数のピーク部分を連結し、複数のピーク集合を対応付ける。そして、対応点検出部１２４は、エピポーラ線によらず、１組のピーク集合から１組の対応点を検出する。
対応点検出部１２４は、エピポーラ線を用いずに対応点を検出する場合、線状の軌跡で表現されるピーク集合の中から、最大の画素値を有する点を対応点として検出してもよい。あるいは、対応点検出部１２４は、ピーク集合の中央を対応点として検出してもよい。あるいは、対応点検出部１２４は、ピーク集合内であるか否かにかかわらず、ピーク集合の中心を対応点として検出してもよい。
あるいは、対応点検出部１２４は、ピーク集合の重心を対応点として検出してもよい。ここで、対応点として検出される重心は、任意に定められる所定の重み付けに基づいていてもよい。例えば、重み付けは、ピーク集合における各画素値（各輝度）に基づいていてもよいし、ピーク集合の端または中心からの距離に基づいていてもよいし、これらの組み合わせに基づいていてもよい。なお、重み付けに基づく重心は、重み付け重心とも呼ばれ、重み付けに基づいて重心を決定する方法は、重み付け重心法とも呼ばれる。
また、上記の通り、ピーク検出部１２１は、ピークに対応するピーク点のみでなく、ボトムに対応するピーク点（ボトム点）を検出してもよい。これにより、より多くのピーク集合が特定され、より多くの対応点が検出される。ピーク検出部１２１は、さらに、ピークおよびボトムの間の半値位置をピークに対応するピーク点として検出してもよい。これにより、さらに、より多くのピーク集合が特定され、より多くの対応点が検出される。
また、対応点検出部１２４は、検出された対応点の総数が所定の数よりも少ない場合、各対応点の四方における半値位置を新たな対応点として検出してもよい。これにより、より多くの対応点が検出される。
また、対応点検出装置１２０は、図５Ａおよび図５Ｂに示された第１画像および第２画像の中から互いに類似する領域３０１および３０２を探索して、領域３０１および３０２を対応点の検出対象領域として決定する領域決定部を備えていてもよい。
上記の領域決定部は、第１画像および第２画像の中から顔領域を探索し、顔領域を対応点の検出対象領域として決定してもよい。そして、対応点検出装置１２０の各構成要素は、探索された顔領域に限定して、上記の処理を行ってもよい。これにより、対応点検出装置１２０は、処理量を抑制しつつ、顔領域において対応点を検出することができる。
本実施の形態に係る対応点検出装置１２０は、上記の動作に基づいて、複数組の対応点を適切に検出することができる。
（実施の形態２）
次に、実施の形態２に係る画像処理システムおよび対応点検出装置を説明する。本実施の形態に係る画像処理システムおよび対応点検出装置の基本的な構成および動作は、図１〜図７に示された実施の形態１の構成および動作と同様である。以下、図１および図６等に示された構成を用いて、本実施の形態に係る画像処理システムおよび対応点検出装置を説明する。
実施の形態１では、対応点の検出に、複数のピーク点で構成されるピーク集合が用いられる。しかし、対応点は、ピーク点に一致するとは限らない。例えば、第１対応点が第１画像のピーク点に一致する場合でも、第１対応点に対応する第２対応点が、第２画像のピーク点から少しずれている可能性がある。そのため、本実施の形態に係る対応点検出装置１２０は、ピーク点でない位置を含むピーク集合を用いて、対応点を検出する。
図１１は、本実施の形態に係るピーク集合を示す図である。実施の形態１では、図９のように、複数の平行線分における複数のピーク点が連結され、線状のピーク集合が決定される。実施の形態２では、図１１のように、複数の平行線分における複数のピーク線分が連結され、領域を有するピーク集合が決定される。
ピーク線分は、平行線分において画素値のピークを形成する部分の発生から消滅までの線分である。具体的には、例えば、ピーク線分は、Ｘ方向に沿って、輝度が上昇を開始してから下降を終了するまでの間の線分である。ピーク線分は、ピークの両側の２つの変曲点間の範囲に対応する線分でもよい。あるいは、ピーク線分は、ピークの両側の２つの変曲点に対する２つの接線が規定ラインに交わる２点間の範囲に対応する線分でもよい。ここで、規定ラインは、所定の輝度に対応する。
あるいは、ピーク線分は、輝度の移動平均よりも大きい輝度を有する部分でもよい。ここで、輝度の移動平均は、所定間隔における平均、または、平滑化された輝度などに対応する。あるいは、ピーク線分は、予め定められた輝度よりも大きい輝度を有する部分でもよい。あるいは、ピーク線分は、ピークの値と、ピークに隣接するボトムの値との間で設定される閾値よりも大きい輝度を有する部分でもよい。
ピーク線分は、ボトムに対応していてもよい。つまり、ピーク線分は、平行線分において画素値のボトムを形成する部分の発生から消滅までの線分でもよい。具体的には、例えば、ピーク線分は、Ｘ方向に沿って、輝度が下降を開始してから上昇を終了するまでの間の線分でもよい。ピーク線分は、ボトムの両側の２つの変曲点間の範囲に対応する線分でもよい。あるいは、ピーク線分は、ボトムの両側の２つの変曲点に対応する２つの接線が規定ラインに交わる２点間の範囲に対応する線分でもよい。
あるいは、ピーク線分は、輝度の移動平均よりも小さい輝度を有する部分でもよい。あるいは、ピーク線分は、予め定められた輝度よりも小さい輝度を有する部分でもよい。あるいは、ピーク線分は、ボトムの値と、ボトムに隣接するピークの値との間で設定される閾値よりも小さい輝度を有する部分でもよい。
あるいは、ピーク線分は、半値幅でもよい。半値幅は、ピークの値およびボトムの値などから求められてもよい。
本実施の形態において、ピーク検出部１２１は、平行線分毎に複数のピーク線分を検出する。そして、連結部１２２は、複数のピーク線分のそれぞれを隣接する平行線分のピーク線分に連結して、ピーク集合を決定する。例えば、連結部１２２は、ピーク線分を所定の範囲内のピーク線分に連結する。
図１２Ａは、第１画像の複数のピーク集合を示す図である。図１２Ｂは、第２画像の複数のピーク集合を示す図である。図１２Ａのように、第１画像は、複数のピーク集合６１１、６１２、６１３、６１４、６１５および６１６を含む。図１２Ｂのように、第２画像は、複数のピーク集合６２１、６２２、６２３、６２４、６２５および６２６を含む。
実施の形態１と同じ方法で、対応付け部１２３は、ピーク集合６１１とピーク集合６２１とを対応付けることができる。対応付け部１２３は、同様に、ピーク集合６１２とピーク集合６２２とを対応付け、ピーク集合６１３とピーク集合６２３とを対応付け、ピーク集合６１４とピーク集合６２４とを対応付け、ピーク集合６１５とピーク集合６２５とを対応付け、ピーク集合６１６とピーク集合６２６とを対応付けることができる。
本実施の形態において、対応付け部１２３は、２つの画像における２つのピーク集合の相対的な位置の重なりに基づいて、２つのピーク集合を対応付けてもよい。
対応点検出部１２４は、対応付けられたピーク集合６１３とピーク集合６２３とから１組の対応点を検出する。また、対応付けられたピーク集合６１５とピーク集合６２５とから１組の対応点を検出する。例えば、各対応点は、ピーク集合とエピポーラ線とが交わる線分の中心でもよい。各対応点は、ピーク集合とエピポーラ線とが交わる線分のうち、最大の画素値を有する点でもよい。
なお、実施の形態１と同様に、対応点検出装置１２０は、エピポーラ線を用いずに、対応点を検出してもよい。エピポーラ線が用いられない場合、対応点検出部１２４は、ピーク集合の領域のうち、最大の画素値を有する点を対応点として検出してもよい。あるいは、対応点検出部１２４は、ピーク集合内であるか否かにかかわらず、ピーク集合の中心を対応点として検出してもよい。
あるいは、対応点検出部１２４は、ピーク集合の重心を対応点として検出してもよい。ここで、対応点として検出される重心は、任意に定められる所定の重み付けに基づいていてもよい。例えば、重み付けは、ピーク集合における各画素値（各輝度）に基づいていてもよいし、ピーク集合の端または中心からの距離に基づいていてもよいし、これらの組み合わせに基づいていてもよい。なお、重み付けに基づく重心は、重み付け重心とも呼ばれ、重み付けに基づいて重心を決定する方法は、重み付け重心法とも呼ばれる。
また、実施の形態１と同様に、対応点検出部１２４は、検出された対応点の総数が所定の数よりも少ない場合、各対応点の四方における半値位置を新たな対応点として検出してもよい。これにより、より多くの対応点が検出される。
本実施の形態に係る対応点検出装置１２０は、上記の動作に基づいて、複数組の対応点を適切に検出することができる。
（実施の形態３）
次に、実施の形態３に係る画像処理システムおよび対応点検出装置を説明する。本実施の形態に係る画像処理システムおよび対応点検出装置の基本的な構成および動作は、図１〜図１０Ｂに示された実施の形態１の構成および動作と同様である。以下、図１および図６等に示された構成を用いて、本実施の形態に係る画像処理システムおよび対応点検出装置を説明する。特に、本実施の形態では、第１画像のピーク集合と第２画像のピーク集合とを対応付ける方法を示す。
図１３Ａは、本実施の形態に係る第１画像の複数のピーク集合の例を示す図である。図１３Ｂは、本実施の形態に係る第２画像の複数のピーク集合の例を示す図である。図１３Ａのように、第１画像は、複数のピーク集合８１１〜８２２を含む。図１３Ｂのように、第２画像は、複数のピーク集合８３１〜８４２を含む。複数のピーク集合８１１〜８２２および８３１〜８４２は、連結部１２２によって決定される。
図１３Ａに示された複数のピーク点７１１〜７１８は、それぞれ、第１画像におけるエピポーラ線上の輝度のピークに対応する。また、図１３Ｂに示された複数のピーク点７２１〜７２８は、それぞれ、第２画像におけるエピポーラ線上の輝度のピークに対応する。図１３Ａに示された第１画像におけるエピポーラ線、および、図１３Ｂに示された第２画像におけるエピポーラ線は、１つの同じエピポーラ面上の１対のエピポーラ線である。
そして、複数のピーク集合８１１〜８１８は、それぞれ、複数のピーク点７１１〜７１８を含む。また、複数のピーク集合８３１〜８３８は、それぞれ、複数のピーク点７２１〜７２８を含む。
対応付け部１２３は、第１画像の複数のピーク集合８１１〜８２２のうちの１つと、第２画像の複数のピーク集合８３１〜８４２のうちの１つとを対応付ける。その際、対応付け部１２３は、複数のピーク点７１１〜７１８および７２１〜７２８の情報を用いてもよい。
エピポーラ制約に基づいて、第１画像のエピポーラ線上の点に対して第２画像において対応する対応点は、第２画像のエピポーラ線上の点であると想定される。また、基本的には、第１画像におけるピーク点に対して第２画像において対応する対応点は、第２画像におけるピーク点であると想定される。
したがって、第１画像のエピポーラ線上のピーク点に対して第２画像において対応する対応点は、第２画像のエピポーラ線上のピーク点であると想定される。つまり、第１画像の複数のピーク点７１１〜７１８のうちの１つと、第２画像の複数のピーク点７２１〜７２８のうちの１つとは、互いに対応する１対の対応点であると想定される。
例えば、対応付け部１２３は、１対のエピポーラ線上の１対のピーク点である１対の対応点を決定する。決定された１対の対応点をそれぞれ含む１対のピーク集合を互いに対応付ける。対応付け部１２３は、互いに対応づけられた１対のピーク集合からの相対的な位置（距離）に基づいて、別の１対のピーク集合を互いに対応付けることができる。
しかしながら、１対の対応点は、視点の違いによって、互いに異なる位置に現れる可能性が高い。したがって、どのピーク点とどのピーク点とが互いに対応するかを判定することは困難である。そこで、以下のような対応付け方法が用いられる。
図１４は、本実施の形態に係る対応付け方法の第１例を示す図である。この例では、輝度の大きさが利用される。輝度曲線７１０は、第１画像のエピポーラ線上の輝度の大きさを示す曲線である。輝度曲線７１０は、複数のピーク点７１１〜７１８において、複数のピークを含む。輝度曲線７２０は、第２画像のエピポーラ線上の輝度の大きさを示す曲線である。輝度曲線７２０は、複数のピーク点７２１〜７２８において、複数のピークを含む。
例えば、対応付け部１２３は、輝度曲線７１０および輝度曲線７２０において最も大きな特徴（特徴量）を有する１対のピーク点を１対の対応点として決定してもよい。具体的には、輝度曲線７１０において、ピーク点７１４の輝度が最も大きい。また、輝度曲線７２０において、ピーク点７２３の輝度が最も大きい。そこで、対応付け部１２３は、ピーク点７１４とピーク点７２３とを１対の対応点として決定してもよい。
つまり、対応付け部１２３は、第１画像のエピポーラ線において最も大きい輝度を有するピーク点７１４と、第２画像のエピポーラ線において最も大きい輝度を有するピーク点７２３とを１対の対応点として決定してもよい。対応付け部１２３は、精度向上のため、ピーク点７１４に隣接するピーク点７１３、７１５の輝度と、ピーク点７２３に隣接するピーク点７２２、７２４の輝度との一致度に基づいて、ピーク点７１４とピーク点７２３とが１対の対応点であるか否かを決定してもよい。
そして、対応付け部１２３は、ピーク点７１４を含むピーク集合８１４と、ピーク点７２３を含むピーク集合８３３とを対応付ける。対応付け部１２３は、ピーク集合８１４またはピーク集合８３３からの相対的な位置に基づいて、別の１対のピーク集合を互いに対応付けることができる。
例えば、対応付け部１２３は、ピーク集合８１４の右隣のピーク集合８１５と、ピーク集合８３３の右隣のピーク集合８３４とを対応付ける。同様に、対応付け部１２３は、ピーク集合８１６とピーク集合８３５とを対応付け、ピーク集合８１７とピーク集合８３６とを対応付け、ピーク集合８１８とピーク集合８３７とを対応付ける。
また、対応付け部１２３は、ピーク集合８１４の左隣のピーク集合８１３と、ピーク集合８３３の左隣のピーク集合８３２とを対応付ける。同様に、対応付け部１２３は、ピーク集合８１２とピーク集合８３１とを対応付ける。
対応付け部１２３は、対応付けられた複数のピーク集合８１２〜８１８および８３１〜８３７からの相対的な位置に基づいて、それぞれエピポーラ線に交わりを有していないピーク集合８２１とピーク集合８３９とを対応付けてもよい。同様に、対応付け部１２３は、ピーク集合８２２とピーク集合８４０とを対応付けてもよい。
上記において、対応付け部１２３は、最も大きな特徴を有する１対のピーク点を用いて１対のピーク集合を互いに対応付けている。対応付け部１２３は、輝度曲線７１０の波形と、輝度曲線７２０の波形との間でパターンマッチングを行って、複数対のピーク集合を決定してもよい。パターンマッチングにおいて、歪みを考慮して窓処理が行われてもよい。
基本的には、視差によって、第１画像のエピポーラ線上のピーク間隔と、第２画像のエピポーラ線上のピーク間隔とは異なる。ピーク間隔の違いによって波形のパターンマッチングが適切に行われない可能性がある。そのため、対応付け部１２３は、ピークが等間隔で現れるように、輝度曲線７１０および輝度曲線７２０を変形してもよい。これにより、対応付け部１２３は、輝度曲線７１０の波形と、輝度曲線７２０の波形との間で適切なパターンマッチングを行うことができる。
具体的には、輝度曲線７１０における輝度のパターン９１１は、輝度曲線７２０における輝度のパターン９１２に適合する。したがって、パターン９１１におけるピーク点７１５、７１６、７１７は、パターン９１２におけるピーク点７２４、７２５、７２６にそれぞれ対応する。したがって、対応付け部１２３は、ピーク集合８１５、８１６および８１７をピーク集合８３４、８３５および８３６にそれぞれ対応付けることができる。
上記の通り、対応付け部１２３は、互いに対応づけられた１対のピーク集合に基づいて、別の１対のピーク集合を互いに対応付けることができる。したがって、対応付け部１２３は、パターンマッチングによっても、複数対のピーク集合を決定することができる。
対応点検出部１２４は、互いに対応づけられた１対のピーク集合から１対の対応点を検出する。例えば、対応点検出部１２４は、１対のエピポーラ線上の１対のピーク点を１対の対応点として検出する。対応点検出部１２４は、エピポーラ線上に限らず、実施の形態１と同様に、ピーク集合の中央、中心、重心または重み付け重心等を対応点として検出してもよい。
上記では、対応点検出装置１２０は、１対のエピポーラ線を用いる。しかしながら、１対のエピポーラ線が正確に得られない場合がある。そのため、対応点検出装置１２０は、１対のエピポーラ線に限らず、１対の基準線を用いてもよい。例えば、１対の基準線は、第１画像および第２画像における相対的な位置が互いに等しい１対の直線である。より具体的には、１対の基準線は、２つの画像における１対の中央の水平線でもよい。１対の基準線は、1対のエピポーラ線に一致していてもよいし、走査線に一致していてもよい。
また、例えば、撮像装置１１０は、被写体を撮像する際、被写体に向かって光線等を照射する照射部を備えてもよい。そして、対応点検出装置１２０は、１対の画像に映る光線等に基づいて、１対の基準線を抽出する抽出部を備えてもよい。あるいは、抽出部ではなく、ピーク検出部１２１が、１対の基準線を抽出してもよいし、その他の構成要素が１対の基準線を抽出してもよい。また、撮像装置１１０ではなく、対応点検出装置１２０が照射部を備えてもよい。
第１画像の基準線上のピーク点に対して第２画像において対応する対応点は、第２画像の基準線上、または、第２画像の基準線の近くに存在する可能性が高い。そのため、対応点検出装置１２０は、エピポーラ線を用いる場合と同様に、基準線を用いて、ピーク点の対応付けを行い、ピーク集合の対応付けを行うことができる。また、対応点検出装置１２０は、ピーク集合の中央、中心、重心または重み付け重心等を対応点として検出することにより、エピポーラ線上に限らず、対応点をより適切に検出することができる。
また、対応点検出装置１２０は、第１画像および第２画像における１対の基準線をずらしながら、第１画像の基準線に交わるピーク集合と、第２画像の基準線に交わるピーク集合とを対応付けてもよい。これにより、第１画像および第２画像の全体に対して、ピーク集合の適切な対応付けが行われる。
上記のように、対応点検出装置１２０は、複数対のピーク集合を適切に決定し、複数対の対応点を適切に検出することができる。上記では、ピーク集合の対応付けにおいて、輝度が直接的に用いられる。しかし、輝度は、視点に応じて変化する可能性がある。そのため、適切な対応付けが行われない可能性がある。
そこで、対応点検出装置１２０は、輝度ではなく、ピーク集合の特徴（特徴量）を用いてもよい。第１画像のピーク集合の特徴と、第２画像のピーク集合の特徴とが一致する場合、これらのピーク集合は、被写体の同じ部分に対応すると想定される。したがって、対応付け部１２３は、第１画像のエピポーラ線に交わる複数のピーク集合のうち最も大きな特徴を有するピーク集合と、第２画像のエピポーラ線に交わる複数のピーク集合のうち最も大きな特徴を有するピーク集合とを対応付けてもよい。
具体的には、第１画像のエピポーラ線に交わる複数のピーク集合のうち最も長いピーク集合と、第２画像のエピポーラ線に交わる複数のピーク集合のうち最も長いピーク集合とは、被写体の同じ部分に対応すると想定される。そこで、対応付け部１２３は、第１画像のエピポーラ線に交わる複数のピーク集合のうち最も長いピーク集合と、第２画像のエピポーラ線に交わる複数のピーク集合のうち最も長いピーク集合とを対応付けてもよい。
視点の違いにより、第１画像と第２画像との間で、エピポーラ線に沿う方向に対して、ずれは大きい。逆に、エピポーラ線に対して垂直方向に対して、ずれは小さい。したがって、垂直方向の長さがピーク集合の特徴に用いられてもよい。これにより、２つのピーク集合の一致度がより正確に判定される。
図１５は、本実施の形態に係る対応付け方法の第２例を示す図である。この例では、ピーク集合の長さが利用される。図１５において、上のグラフは、第１画像のエピポーラ線に交わる複数のピーク集合８１１〜８１８のそれぞれの長さを示す。図１５において、下のグラフは、第２画像のエピポーラ線に交わる複数のピーク集合８３１〜８３８のそれぞれの長さを示す。図１５に示される長さは、所定方向の長さでもよい。例えば、長さは、垂直方向の長さでもよい。
ピーク集合８１４は、ピーク集合８１１〜８１８のうち、最も長い。ピーク集合８３２は、ピーク集合８３１〜８３８のうち、最も長い。そこで、対応付け部１２３は、ピーク集合８１４とピーク集合８３２とを対応付ける。
また、対応付け部１２３は、長さが最も近い１対のピーク集合を互いに対応付けてもよい。例えば、対応付け部１２３は、ピーク集合８１４と、ピーク集合８１４の長さに最も近い長さを有するピーク集合８３２とを対応付けてもよい。
対応付け部１２３は、精度向上のため、ピーク集合８１４に隣接するピーク集合８１３、８１５の長さと、ピーク集合８３２に隣接するピーク集合８３１、８３３の長さとを比較してもよい。そして、対応付け部１２３は、ピーク集合８１３、８１５の長さと、ピーク集合８３１、８３３の長さとの一致度に基づいて、ピーク集合８１４とピーク集合８３２とを対応付けるか否かを判定してもよい。
また、対応付け部１２３は、第１画像の複数のピーク集合の長さのパターンと、第２画像の複数のピーク集合の長さのパターンとの間でパターンマッチングを行って、複数対のピーク集合を決定してもよい。その際、歪みを考慮して窓処理が行われてもよい。
本実施の形態に係る第１例と同様に、ピーク間隔の違いによってパターンマッチングが適切に行われない可能性がある。そのため、対応付け部１２３は、Ｘ方向に複数のピーク集合を等間隔に並べてもよい。これにより、対応付け部１２３は、適切なパターンマッチングを行うことができる。
具体的には、第１画像におけるピーク集合の長さのパターン９２１は、第２画像におけるピーク集合の長さのパターン９２２に適合する。したがって、パターン９２１におけるピーク集合８１５、８１６、８１７は、パターン９２２におけるピーク集合８３３、８３４、８３５にそれぞれ対応する。そこで、対応付け部１２３は、ピーク集合８１５、８１６および８１７をピーク集合８３３、８３４および８３５にそれぞれ対応付ける。
本実施の形態に係る第１例と同様に、対応付け部１２３は、互いに対応づけられた１対のピーク集合に基づいて、別の１対のピーク集合を互いに対応付けることができる。また、対応点検出部１２４は、１対のピーク集合から１対の対応点を検出する。対応点検出部１２４は、エピポーラ線上に限らず、ピーク集合の中央、中心、重心または重み付け重心等を対応点として検出してもよい。
また、本実施の形態に係る第１例と同様に、対応点検出装置１２０は、１対のエピポーラ線に限らず、１対の基準線を用いてもよい。特に、本第２例では、対応付け部１２３は、垂直方向に跨るピーク集合の特徴を用いるため、第１画像と第２画像との間に垂直方向のずれが存在する場合でも、ピーク集合の対応付けを適切に行うことができる。
また、本実施の形態に係る第１例と同様に、対応点検出装置１２０は、第１画像および第２画像における１対の基準線をずらしながら、第１画像の基準線に交わるピーク集合と、第２画像の基準線に交わるピーク集合とを対応付けてもよい。これにより、ピーク集合の適切な対応付けが行われる。
上記のように、本実施の形態において、対応点検出装置１２０は、複数対のピーク集合を適切に決定し、複数対の対応点を適切に検出することができる。また、対応点検出装置１２０は、ピーク集合の特徴を用いることにより、ピーク集合の対応付けを適切に行うことができる。ピーク集合の長さはピーク集合の特徴の一例であり、ピーク集合の他の特徴が用いられてもよい。
（実施の形態４）
次に、実施の形態４に係る画像処理システムおよび対応点検出装置を説明する。本実施の形態に係る画像処理システムおよび対応点検出装置の基本的な構成および動作は、図１〜図７に示された実施の形態１の構成および動作と同様であり、かつ、図１１〜１２Ｂ等に示された実施の形態２の構成および動作と同様である。
以下、図１および図６等に示された構成を用いて、本実施の形態に係る画像処理システムおよび対応点検出装置を説明する。特に、本実施の形態では、第１画像のピーク集合と第２画像のピーク集合とを対応付ける方法を示す。実施の形態３では、各ピーク集合の長さを用いて、第１画像のピーク集合と第２画像のピーク集合とを対応付ける方法が示された。本実施の形態では、各ピーク集合の大きさを用いて、第１画像のピーク集合と第２画像のピーク集合とを対応付ける方法を示す。
図１６Ａは、本実施の形態に係る第１画像の複数のピーク集合の例を示す図である。図１６Ｂは、本実施の形態に係る第２画像の複数のピーク集合の例を示す図である。図１６Ａのように、第１画像は、複数のピーク集合８５１〜８６２を含む。図１６Ｂのように、第２画像は、複数のピーク集合８７１〜８８２を含む。複数のピーク集合８５１〜８６２および８７１〜８８２は、連結部１２２によって決定される。
図１６Ａに示された複数のピーク点７１１〜７１８は、それぞれ、第１画像におけるエピポーラ線上の輝度のピークに対応する。また、図１６Ｂに示された複数のピーク点７２１〜７２８は、それぞれ、第２画像におけるエピポーラ線上の輝度のピークに対応する。図１６Ａに示された第１画像におけるエピポーラ線、および、図１６Ｂに示された第２画像におけるエピポーラ線は、１つの同じエピポーラ面上の１対のエピポーラ線である。
そして、複数のピーク集合８５１〜８５８は、それぞれ、複数のピーク点７１１〜７１８を含む。また、複数のピーク集合８７１〜８７８は、それぞれ、複数のピーク点７２１〜７２８を含む。
対応付け部１２３は、各ピーク集合の特徴を用いて、第１画像の複数のピーク集合８５１〜８６２のうちの１つと、第２画像の複数のピーク集合８７１〜８８２のうちの１つとを対応付ける。対応付け部１２３は、実施の形態３に係る第１例に基づいて対応付けを行ってもよい。つまり、対応付け部１２３は、エピポーラ線上の輝度を直接用いて、対応付けを行ってもよい。あるいは、対応付け部１２３は、ピーク集合の特徴を用いて、対応付けを行ってもよい。
実施の形態３でピーク集合の特徴として用いられたピーク集合の長さの代わりに、本実施の形態では、ピーク集合の特徴としてピーク集合の大きさが用いられる。長さと大きさの違いを除いて、実施の形態３と同様に、ピーク集合の対応付けが行われる。ピーク集合の大きさは、エピポーラ線に対して垂直方向の大きさでもよい。
図１７は、本実施の形態に係る対応付け方法を示す図である。本実施の形態では、ピーク集合の面積（大きさ）が利用される。図１７において、上のグラフは、第１画像のエピポーラ線に交わる複数のピーク集合８５１〜８５８のそれぞれの面積を示す。図１７において、下のグラフは、第２画像のエピポーラ線に交わる複数のピーク集合８７１〜８７８のそれぞれの面積を示す。
ピーク集合８５４は、ピーク集合８５１〜８５８のうち、最も大きい。ピーク集合８７２は、ピーク集合８７１〜８７８のうち、最も大きい。そこで、対応付け部１２３は、ピーク集合８５４とピーク集合８７２とを対応付ける。
また、対応付け部１２３は、面積が最も近い１対のピーク集合を互いに対応付けてもよい。例えば、対応付け部１２３は、ピーク集合８５４と、ピーク集合８５４の面積に最も近い面積を有するピーク集合８７２とを対応付けてもよい。
対応付け部１２３は、精度向上のため、ピーク集合８５４に隣接するピーク集合８５３、８５５の面積と、ピーク集合８７２に隣接するピーク集合８７１、８７３の面積とを比較してもよい。そして、対応付け部１２３は、ピーク集合８５３、８５５の面積と、ピーク集合８７１、８７３の面積との一致度に基づいて、ピーク集合８５４とピーク集合８７２とを対応付けるか否かを判定してもよい。
また、対応付け部１２３は、第１画像の複数のピーク集合の面積のパターンと、第２画像の複数のピーク集合の面積のパターンとの間でパターンマッチングを行って、複数対のピーク集合を決定してもよい。対応付け部１２３は、適切にパターンマッチングを行うため、Ｘ方向に複数のピーク集合を等間隔に並べてもよい。また、歪みを考慮して窓処理が行われてもよい。
例えば、第１画像におけるピーク集合の面積のパターン９３１は、第２画像におけるピーク集合の面積のパターン９３２に適合する。したがって、パターン９３１におけるピーク集合８５５、８５６、８５７は、パターン９３２におけるピーク集合８７３、８７４、８７５にそれぞれ対応する。そこで、対応付け部１２３は、ピーク集合８５５、８５６および８５７をピーク集合８７３、８７４および８７５にそれぞれ対応付ける。
実施の形態３と同様に、対応付け部１２３は、互いに対応づけられた１対のピーク集合に基づいて、別の１対のピーク集合を互いに対応付けることができる。また、対応点検出部１２４は、１対のピーク集合から１対の対応点を検出する。対応点検出部１２４は、エピポーラ線上に限らず、ピーク集合の中央、中心、重心または重み付け重心等を対応点として検出してもよい。
また、実施の形態３と同様に、対応点検出装置１２０は、１対のエピポーラ線に限らず、１対の基準線を用いてもよい。特に、本実施の形態では、対応付け部１２３は、垂直方向に跨るピーク集合の特徴を用いるため、第１画像と第２画像との間に垂直方向のずれが存在する場合でも、ピーク集合の対応付けを適切に行うことができる。
また、実施の形態３と同様に、対応点検出装置１２０は、第１画像および第２画像における１対の基準線をずらしながら、第１画像の基準線に交わるピーク集合と、第２画像の基準線に交わるピーク集合とを対応付けてもよい。これにより、ピーク集合の適切な対応付けが行われる。
上記のように、本実施の形態において、対応点検出装置１２０は、複数対のピーク集合を適切に決定し、複数対の対応点を適切に検出することができる。また、対応点検出装置１２０は、ピーク集合の特徴としてピーク集合の大きさを用いることにより、ピーク集合の対応付けを適切に行うことができる。
以上、本発明に係る対応点検出装置について、複数の実施の形態に基づいて説明したが、本発明は実施の形態に限定されるものではない。実施の形態に対して当業者が思いつく変形を施して得られる形態、および、複数の実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
例えば、特定の処理部が実行する処理を別の処理部が実行してもよい。また、処理を実行する順番が変更されてもよいし、複数の処理が並行して実行されてもよい。
また、本発明は、対応点検出装置として実現できるだけでなく、対応点検出装置を構成する処理手段をステップとする方法として実現できる。例えば、それらのステップは、コンピュータによって実行される。そして、本発明は、それらの方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。さらに、本発明は、そのプログラムを記録したＣＤ−ＲＯＭ等の非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
また、対応点検出装置に含まれる複数の構成要素は、集積回路であるＬＳＩとして実現されてもよい。これらの構成要素は、個別に１チップ化されてもよいし、一部または全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、システムＬＳＩ、スーパーＬＳＩまたはウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、対応点検出装置に含まれる構成要素の集積回路化を行ってもよい。
本発明に係る対応点検出装置は、複数の画像のそれぞれから対応点を検出することができ、例えば、被写体の位置を測定する距離測定システム、および、被写体の表面形状を検出する形状検出システムなどに利用可能である。
１００ 画像処理システム
１１０ 撮像装置
１２０ 対応点検出装置
１２１ ピーク検出部
１２２ 連結部
１２３ 対応付け部
１２４ 対応点検出部
１３０ 形状算出装置
１４０ 表示装置
３０１、３０２ 領域
４１１、４１２、４２１、４２２、４２３、７１１、７１２、７１３、７１４、７１５、７１６、７１７、７１８、７２１、７２２、７２３、７２４、７２５、７２６、７２８ ピーク点
５１１、５１２、５１３、５１４、５１５、５１６、５２１、５２２、５２３、５２４、５２５、５２６、６１１、６１２、６１３、６１４、６１５、６１６、６２１、６２２、６２３、６２４、６２５、６２６、８１１、８１２、８１３、８１４、８１５、８１６、８１７、８１８、８１９、８２０、８２１、８２２、８３１、８３２、８３３、８３４、８３５、８３６、８３７、８３８、８３９、８４０、８４１、８４２、８５１、８５２、８５３、８５４、８５５、８５６、８５７、８５８、８５９、８６０、８６１、８６２、８７１、８７２、８７３、８７４、８７５、８７６、８７７、８７８、８７９、８８０，８８１、８８２ ピーク集合
７１０、７２０ 輝度曲線
９１１、９１２、９２１、９２２、９３１、９３２ パターン

Claims (12)

  1. 視点が互いに異なる第１画像および第２画像から、被写体の同一位置にそれぞれ対応する第１対応点および第２対応点を検出する対応点検出装置であって、
    前記第１画像および前記第２画像のそれぞれにおいて平行線分毎に、画素値のピークまたはボトムにそれぞれ対応する複数のピーク部分を検出するピーク検出部と、
    前記平行線分毎に検出された前記複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して複数のピーク集合を決定する連結部と、
    前記第１画像の前記複数のピーク集合のうちの１つである第１ピーク集合と、前記第２画像の前記複数のピーク集合のうちの１つである第２ピーク集合とを対応付ける対応付け部と、
    前記第１ピーク集合から前記第１対応点を決定し、前記第２ピーク集合から前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出する対応点検出部とを備える
    対応点検出装置。
  2. 前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、エピポーラ線に平行な前記平行線分毎に、前記複数のピーク部分を検出し、
    前記対応点検出部は、前記第１ピーク集合から前記第１画像のエピポーラ線上の前記第１対応点を決定し、前記第２ピーク集合から前記第２画像のエピポーラ線上の前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出する
    請求項１に記載の対応点検出装置。
  3. 前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、画素値が走査される走査線に対応する前記平行線分毎に、前記複数のピーク部分を検出する
    請求項１に記載の対応点検出装置。
  4. 前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、画素値のピークまたはボトムにそれぞれが対応する複数のピーク点を前記複数のピーク部分として検出し、
    前記連結部は、前記平行線分毎に検出された前記複数のピーク点のそれぞれを隣接する平行線分のピーク点に連結して線状の前記ピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して、それぞれ線状の前記複数のピーク集合を決定する
    請求項１〜３のいずれか１項に記載の対応点検出装置。
  5. 対応付け部は、前記第１ピーク集合の長さと、前記第２ピーク集合の長さとに基づいて、前記第１ピーク集合と、前記第２ピーク集合とを対応付ける
    請求項４に記載の対応点検出装置。
  6. 対応付け部は、前記第１画像における所定の基準線に交わる複数のピーク集合のうち最も長い前記第１ピーク集合と、前記第２画像における所定の基準線に交わる複数のピーク集合のうち最も長い前記第２ピーク集合とを対応付ける
    請求項５に記載の対応点検出装置。
  7. 前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、画素値のピークまたはボトムに対応する点をそれぞれが含む複数のピーク線分を前記複数のピーク部分として検出し、
    前記連結部は、前記平行線分毎に検出された前記複数のピーク線分のそれぞれを隣接する平行線分のピーク線分に連結して、領域を有する前記ピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して、それぞれが領域を有する前記複数のピーク集合を決定する
    請求項１〜３のいずれか１項に記載の対応点検出装置。
  8. 対応付け部は、前記第１ピーク集合の大きさと、前記第２ピーク集合の大きさとに基づいて、前記第１ピーク集合と、前記第２ピーク集合とを対応付ける
    請求項７に記載の対応点検出装置。
  9. 対応付け部は、前記第１画像における所定の基準線に交わる複数のピーク集合のうち最も大きい前記第１ピーク集合と、前記第２画像における所定の基準線に交わる複数のピーク集合のうち最も大きい前記第２ピーク集合とを対応付ける
    請求項８に記載の対応点検出装置。
  10. 前記ピーク検出部は、前記第１画像および前記第２画像のそれぞれにおいて、前記平行線分毎に、輝度値である画素値のピークまたはボトムにそれぞれが対応する前記複数のピーク部分を検出する
    請求項１〜９のいずれか１項に記載の対応点検出装置。
  11. 視点が互いに異なる第１画像および第２画像から、被写体の同一位置にそれぞれ対応する第１対応点および第２対応点を検出する対応点検出方法であって、
    前記第１画像および前記第２画像のそれぞれにおいて平行線分毎に、画素値のピークまたはボトムにそれぞれ対応する複数のピーク部分を検出するピーク検出ステップと、
    前記平行線分毎に検出された前記複数のピーク部分のそれぞれを隣接する平行線分のピーク部分に連結してピーク集合を決定することにより、前記第１画像および前記第２画像のそれぞれに対して複数のピーク集合を決定する連結ステップと、
    前記第１画像の前記複数のピーク集合のうちの１つである第１ピーク集合と、前記第２画像の前記複数のピーク集合のうちの１つである第２ピーク集合とを対応付ける対応付けステップと、
    前記第１ピーク集合から前記第１対応点を決定し、前記第２ピーク集合から前記第２対応点を決定することにより、前記第１対応点と前記第２対応点とを検出する対応点検出ステップとを含む
    対応点検出方法。
  12. 請求項１１に記載の対応点検出方法をコンピュータに実行させるためのプログラム。
JP2013270090A 2013-12-26 2013-12-26 対応点検出装置および対応点検出方法 Expired - Fee Related JP5509441B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013270090A JP5509441B1 (ja) 2013-12-26 2013-12-26 対応点検出装置および対応点検出方法
PCT/JP2014/005704 WO2015097969A1 (ja) 2013-12-26 2014-11-13 対応点検出装置および対応点検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013270090A JP5509441B1 (ja) 2013-12-26 2013-12-26 対応点検出装置および対応点検出方法

Publications (2)

Publication Number Publication Date
JP5509441B1 JP5509441B1 (ja) 2014-06-04
JP2015125618A true JP2015125618A (ja) 2015-07-06

Family

ID=51031113

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013270090A Expired - Fee Related JP5509441B1 (ja) 2013-12-26 2013-12-26 対応点検出装置および対応点検出方法

Country Status (2)

Country Link
JP (1) JP5509441B1 (ja)
WO (1) WO2015097969A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076260A (ja) * 2015-10-15 2017-04-20 サクサ株式会社 画像処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0997342A (ja) * 1995-08-03 1997-04-08 Sumitomo Electric Ind Ltd 樹木離隔距離計測システム
JP2000171214A (ja) * 1998-12-08 2000-06-23 Meidensha Corp 対応点検索方法及びこれを利用した三次元位置計測方法
JP4207008B2 (ja) * 2005-02-21 2009-01-14 住友電気工業株式会社 画像処理システム、画像処理装置、コンピュータプログラム、及び画像遅延量算出方法
JP4382797B2 (ja) * 2006-11-09 2009-12-16 株式会社山武 対応点探索方法および３次元位置計測方法
JP5163164B2 (ja) * 2008-02-04 2013-03-13 コニカミノルタホールディングス株式会社 ３次元計測装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076260A (ja) * 2015-10-15 2017-04-20 サクサ株式会社 画像処理装置

Also Published As

Publication number Publication date
JP5509441B1 (ja) 2014-06-04
WO2015097969A1 (ja) 2015-07-02

Similar Documents

Publication Publication Date Title
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
US9613425B2 (en) Three-dimensional measurement apparatus, three-dimensional measurement method and program
KR102424135B1 (ko) 2개의 카메라로부터의 곡선의 세트의 구조형 광 매칭
JP6465682B2 (ja) 情報処理装置、情報処理方法及びプログラム
US9799117B2 (en) Method for processing data and apparatus thereof
JP5672112B2 (ja) ステレオ画像較正方法、ステレオ画像較正装置及びステレオ画像較正用コンピュータプログラム
JP2011185872A (ja) 情報処理装置、その処理方法及びプログラム
US10006762B2 (en) Information processing apparatus, information processing method, and storage medium
JP2014013147A5 (ja)
JP4701848B2 (ja) 画像マッチング装置、画像マッチング方法および画像マッチング用プログラム
JP2017142613A (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
CN106034213B (zh) 生成光雕投影内容的方法、设备和系统
JP6668594B2 (ja) 視差演算システム、情報処理装置、情報処理方法及びプログラム
JP2008275366A (ja) ステレオ３次元計測システム
JP5336325B2 (ja) 画像処理方法
JP6452361B2 (ja) 情報処理装置、情報処理方法、プログラム
JP5509441B1 (ja) 対応点検出装置および対応点検出方法
TW201715882A (zh) 深度估測裝置及方法
Stefańczyk et al. Multimodal segmentation of dense depth maps and associated color information
JP2015045919A (ja) 画像認識方法及びロボット
WO2020059575A1 (ja) ３次元画像生成装置、３次元画像生成方法、及びプログラム
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
JP2017045124A (ja) 視差検出装置
KR101869226B1 (ko) 이종 카메라를 위한 시차 맵 생성 방법
JPH10289315A (ja) 視差算出装置、距離算出装置およびこれらの方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140228

R150 Certificate of patent or registration of utility model

Ref document number: 5509441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees