JP2006258543A - 立体形状検出装置及び立体形状検出方法 - Google Patents

立体形状検出装置及び立体形状検出方法 Download PDF

Info

Publication number
JP2006258543A
JP2006258543A JP2005074869A JP2005074869A JP2006258543A JP 2006258543 A JP2006258543 A JP 2006258543A JP 2005074869 A JP2005074869 A JP 2005074869A JP 2005074869 A JP2005074869 A JP 2005074869A JP 2006258543 A JP2006258543 A JP 2006258543A
Authority
JP
Japan
Prior art keywords
dimensional shape
shape detection
edge
target object
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005074869A
Other languages
English (en)
Other versions
JP4243692B2 (ja
Inventor
Giyourin Cho
暁林 張
Takuo Kawai
拓郎 川合
Makoto Sato
佐藤  誠
Takeshi Kobayashi
剛 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2005074869A priority Critical patent/JP4243692B2/ja
Priority to CN2006800071015A priority patent/CN101133299B/zh
Priority to PCT/JP2006/305105 priority patent/WO2006109394A1/ja
Publication of JP2006258543A publication Critical patent/JP2006258543A/ja
Application granted granted Critical
Publication of JP4243692B2 publication Critical patent/JP4243692B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 エッジ画像における基準点の対応付けを簡単な処理で正確に行なうことでリアルタイム処理も可能な立体形状検出装置及び立体形状検出方法を提供する。
【解決手段】 対象物体20を撮影しその立体形状を検出するために、カメラ部10により少なくとも2つの所定の撮影位置から対象物体20を撮影する。カメラ部10は、レンズ1と撮像素子2とを有する。視軸微動装置4により、撮影位置間を結ぶ方向にカメラ部10の光軸を微小に移動させる。このときに撮影された複数枚の画像に、画像処理部3でエッジ強調等の画像処理を施し、対象物体20のエッジが抽出されたエッジ画像を生成し、そして2つの撮影位置からのエッジ画像を比較して、対象物体20の対応するエッジを検出する。
【選択図】図4

Description

本発明は立体形状を検出する装置及び方法に関し、特に、カメラの光軸を微小に移動させることにより距離情報を有するエッジ画像を生成し、これを用いて基準点の対応付けを行ない、立体形状を検出する立体形状検出装置及び立体形状検出方法に関する。
従来から、視差を用いて2つの画像による立体の形状を検出する方法が種々開発されている。これらは、通常、三角測量の原理を用いて、既知の2ヶ所の位置に配置された2つのカメラによって対象物体を撮影し、対象物体の基準点(対応点)を決定し、各カメラにて撮影された対象物体の基準点を合わせ、他の部分の視差を求めることで、カメラから対象物体の各エッジまでの距離を検出することが可能なものである。
ここで、視差を求めるためには、各カメラで撮影された対象物体の画像から、対象物体の同じ位置を示す基準点を決定する必要がある。基準点が対象物体の異なる位置に設定されてしまうと、立体形状を誤認してしまい正しい形状が検出できなくなってしまうため、これは非常に重要な問題であり、この問題に対する解法も種々提案されている。例えば、あるエッジの各画素に対する他のエッジの各画素間のx軸方向の位置の相対差が視差に対応するものと考え、2つのエッジ画像のエッジが対象物体の同じ線上のエッジに対応するのであれば、エッジ上の画素の視差はy軸方向のどの位置でもほぼ均しくなるという原理を用いるものがある。
さらに、特許文献1に記載のように、2つのエッジ画像のエッジを構成する各画素に対して相対差を求め、さらに各画素に関する濃度の部分情報に基づいて重み付けを行なうことで、より正確に対応する基準点を決定しようとしたものもある。
特開平6−180218号公報
しかしながら、従来の方法では対応する基準点を正確に求められたとしても、それには非常に多くの計算が必要となり、処理時間がかかるものであった。したがって、2つのカメラを用いて動く対象物体を撮影してリアルタイムで立体形状を検出するようなことは、処理時間の関係から難しかった。
本発明は、斯かる実情に鑑み、エッジ画像における基準点の対応付けを簡単な処理で正確に行なうことでリアルタイム処理も可能な立体形状検出装置及び立体形状検出方法を提供しようとするものである。
上述した本発明の目的を達成するために、本発明による立体形状検出装置は、対象物体への視線が異なる少なくとも2つの所定の撮影位置から対象物体を撮影するための、撮像素子とレンズとを有する少なくとも1つのカメラ手段と、前記少なくとも2つの所定の撮影位置間を結ぶ方向に前記カメラ手段の光軸を微小に移動させる視軸微動手段と、前記視軸微動手段により光軸が微小に移動させられるカメラ手段からの複数枚の画像を画像処理することで、前記少なくとも2つの所定の撮影位置における対象物体のエッジが抽出されたエッジ画像をそれぞれ生成し、前記それぞれのエッジ画像を比較して対象物体の対応するエッジを検出する画像処理手段と、を具備するものである。
ここで、所定の撮影位置は、水平方向、垂直方向、斜め方向の少なくとも1つの方向又はこれらの複数の方向に沿って配置されれば良い。
さらに、カメラ手段を所定の撮影位置に移動可能な、移動手段を有しても良い。
また、カメラ手段が少なくとも2つのカメラからなり、各カメラが所定の撮影位置に予め配置されたものであっても良い。
そして、少なくとも2つのカメラ手段はそれぞれ同期が取られ、同じ微小な移動で同時に撮影するようにしても良い。
また、視軸微動手段は、前記レンズを微小に移動させるか、カメラ手段を微小に移動させるようにすれば良い。
また、視軸微動手段は、圧電素子、超磁歪素子、静電アクチュエータ、油圧アクチュエータ、空圧アクチュエータ、電磁石、光アクチュエータ、形状記憶合金、高分子アクチュエータの何れかから構成されれば良い。
ここで、視軸微動手段による微小移動は、前記カメラ手段の光軸の法線方向への並進運動であれば良い。
また、視軸微動手段による微小移動は、所定の点を中心とする回転運動であっても良い。そのときの回転運動の回転角度は、無限遠に近い対象物体の撮像素子上での移動幅が、0〜3画素の幅となるような角度であれば良い。
さらに、本発明による立体形状検出方法は、対象物体への視線が異なる少なくとも2つの所定の撮影位置から、撮像素子とレンズとを有する少なくとも1つのカメラ手段で対象物体を撮影する過程と、前記撮影する過程の間に、前記少なくとも2つの所定の撮影位置間を結ぶ方向に前記カメラ手段の光軸を微小に移動させる過程と、前記光軸が微小に移動させられるカメラ手段からの複数枚の画像を画像処理することで、前記少なくとも2つの所定の撮影位置における対象物体のエッジが抽出されたエッジ画像をそれぞれ生成する過程と、前記それぞれのエッジ画像を比較して対象物体の対応するエッジを検出する過程と、を具備するものである。
ここで、エッジ画像を生成する過程は、前記複数枚の画像の各対応画素の濃淡値、又は彩度値を差分処理し、正規化を行なっても良い。さらに、2値化処理を加えても構わない。
また、対応するエッジを検出する過程は、前記エッジ画像の前記エッジの幅及び長さを基準に、前記少なくとも2つの所定の撮影位置におけるエッジ画像のエッジを対応付ければ良い。
さらに、対応するエッジを検出する過程は、パターンマッチング法により行なっても構わない。
そして、対応するエッジを検出する過程は、さらに対象物体への視線の方向も基準にしても良い。この場合、生成されたエッジ画像のエッジを、対象物体への視線の方向を基準に所定の基準幅に変換した後、それぞれのエッジ画像を比較するようにしても良い。
本発明の立体形状検出装置及び立体形状検出方法には、距離情報を有するエッジ画像が生成されるので、エッジ画像のエッジの幅と長さのみに着目して対応するエッジを容易に検出可能であるという利点がある。また、容易に検出可能であるため処理時間も短く、リアルタイム処理も可能であるという利点がある。
人間の眼球は、非常に小さな高周波の振動であるトレモア(tremor)や小さななめらかな動きであるドリフト(drift)、そして直線的な運動であるマイクロサッカード(microsaccade)というような微小振動を絶えず無意識で行なっている。このような微小振動が視覚認識においてどのような影響を与えているかについては、生理学と工学の両面から数多くの研究が行なわれており、視覚対象の奥行きを検出するための動きと考えられている。このような人間の眼球の動きの中で、特にマイクロサッカードの動きに注目し、マイクロサッカードと同じような動きを用いて立体形状の検出を精度良く高速にできる装置及び方法を開発した。
以下、本発明を実施するための最良の形態を図示例と共に説明する。図1は、本発明の立体形状検出装置で用いるカメラ部の詳細を説明するための概略図である。図示のように、カメラ部10はレンズ1と撮像素子2とからなる。レンズは短焦点レンズであってもズームレンズであっても構わず、また、その画角は広角であっても狭角であっても構わない。これらは立体形状検出装置の使用目的、対象物体までの距離等で種々変更又は選択等すれば良いものである。撮像素子2は、CCDやCMOS等の光電変換素子であり、レンズによって撮像素子に結像された像を電気信号に変換するものである。そして、撮像素子2に接続された画像処理部3により、撮像素子からの電気信号を用いて映像を生成する。
そして、本願発明の特徴的な部分である視軸微動装置4が、カメラ部10に接続されている。視軸微動装置4により、カメラ部が光軸に対して横方向に振動させられ、カメラ部の光軸が微小に横方向に移動させられる。振動周波数は特に限定されないが、例えば数Hzから数十Hz程度で適当に振動させれば良い。この辺りは対象物体の移動速度に対する追従性等を考慮して種々設定可能である。そして、カメラ部の光軸を振動中に、カメラ部10で対象物体を複数枚撮影する。なお、画像は最も移動した左右端部の位置の2枚の画像が最低限あれば良いため、視軸微動装置4とカメラ部10の撮影のタイミングとを図るようにしても良いし、高速シャッタを用いて多数の画像を生成するようにしても良い。但し、後述のように、エッジ画像を生成する上では左右端部だけでなく、その間の画像も複数枚あったほうがよりはっきりしたエッジ画像となるため、複数枚の画像を生成することが好ましい。この辺りは画像処理部3の処理能力と要求する立体形状検出速度に応じて、適宜調整すれば良い。なお、画像処理部3は、具体的にはパーソナルコンピュータ等の電子計算機であれば良いが、DSP等の専用チップにより実現しても勿論良い。
視軸微動装置4は、カメラ部10の光軸を所定の方向に微小に振動させることが可能であれば如何なるものを用いても良く、これらに限定されるものではないが、具体的な例を挙げると、例えば圧電素子や、超磁歪素子、静電アクチュエータ、油圧アクチュエータ、空圧アクチュエータ、電磁石、光アクチュエータ、形状記憶合金、高分子アクチュエータ等を用いることが可能である。
また、視軸微動装置4は、カメラ部10自体を微小に移動させるものであっても良いし、レンズ1を微小に移動させるものであっても構わない。レンズ1を微小に移動させる場合には、例えば図2に示すようにレンズ部を構成すれば良い。図2は、レンズを微小に移動させる場合のレンズ部の構造の一例を説明するための正面概略図である。図示のように、レンズ1の周りに、視軸微動装置4、例えば圧電素子、より具体的には圧電セラミックス等を配置し、適当な部材で圧電セラミックス4をレンズ1に接続する。図示の圧電セラミックス4は4つの部位に分かれており、各部位を制御することで、レンズ1をx軸方向、y軸方向の任意の方向に移動させることが可能となる。但し、左右のみの移動で足りる場合には、圧電セラミックスは4つの部位に分かれている必要はなく、2つに分かれていれば良い。なお、カメラ部10自体を移動させる場合も同様の構成が利用可能である。
図1を再度参照し、カメラ部10の光軸の変化に伴う、対象物体とレンズまでの距離とレンズから撮像素子までの距離及び撮像素子上での結像点の変化量の関係を説明する。図示のように、対象物体20からレンズ1までの距離をd、レンズ1から撮像素子2までの距離をh、カメラ部の移動距離をlとすると、カメラ部の移動前の結像点p1と移動後の結像点P2との間の距離sは、以下の式で表わされる。
s=hl/d (1)
式1から、dが小さければ小さいほどsは大きくなり、逆にdが大きければ大きいほどsは小さくなることが分かる。すなわち、レンズから対象物体までの距離が近ければ近いほど結像点の移動幅sは大きくなることになる。したがって、この結像点の移動幅sにより、対象物体までの距離がある程度わかることになる。すなわち、移動幅sには対象物体までの距離情報が含まれていると言える。したがって、カメラ部を移動させて複数枚撮影したものを合成していけば、移動幅sが大きい近くの対象物体の線が複数本集まることになり太く見え、遠くの対象物体の線は移動幅sが小さいため太くはならない。
図3を用いて、画像処理部3におけるエッジ画像の生成について説明する。なお、エッジ画像とは、対象物体を撮影した画像において、対象物体のエッジを強調した画像のことである。図3(a)は、視軸微動装置を用いない場合の従来技術によるエッジ画像である。これは例えば画像内の濃淡の急激な変化の部分の濃淡差を微分処理することによりエッジを強調したものである。対象物体を同一の位置から何枚撮影しようとエッジ画像に変化はなく、エッジの線幅は、元のエッジが同じ幅であれば同じ線幅となり、距離に関する情報は一切含まれない画像である。
ところが、本願発明に係る視軸微動装置を用いたカメラ部からの複数の画像を画像処理部3で処理したエッジ画像は、上述の移動幅sに応じて、図3(b)に示すように、近くのエッジは太く遠くのエッジは細くなる。したがって、このエッジ画像のエッジの幅には距離情報が含まれていると言え、同じ距離に位置する対象物体のエッジは同じ幅になることとなり、逆に違う幅のエッジであれば、異なる距離に位置することとなる。なお、図3(b)は、カメラ部の光軸を図面上水平方向左右に移動させた場合に得られるエッジ画像であり、左右に移動させることにより、上述の移動幅sに応じて縦方向のエッジが強調されたものとなっている。すなわち、縦方向のエッジには距離情報が含まれているが、横方向のエッジには距離情報は含まれていないことになる。したがって、完全に水平なエッジであれば、エッジの幅は太くはならないか、差分を取るような画像処理によっては、まったく表示されなくなるものである。
画像処理部3における画像処理は、上記のように各画像の濃淡差を微分処理してそれを重ね合わせていっても良いし、各画像の対応画素の濃淡値や彩度値の差分を取りそれを正規化しても良い。ここで、正規化とは、各画像の差分を取ると、マイナスの値が出力されるため、これの絶対値を取るか、あるいは全体の値をプラスの方向に移動する等の処理を言う。さらに、得られた画像を2値化して単純化しても良い。また、必要により誇張処理や細線化処理を加えても良い。このようなエッジ画像を生成するための画像処理には、従来の方法や今後開発され得るあらゆる処理が含まれるものである。
このように構成されたカメラ部を、立体形状の検出に用いる場合の構成を以下に説明する。図4は、本発明の立体形状検出装置の構成を説明するための概略ブロック図である。図示のように、カメラ部10を左右に平行に配置し、それぞれの出力を画像処理部3に入力する。なお、本明細書中で用語「視線」とは、カメラ部10と対象物体20とを結ぶ線を意味し、用語「光軸」とはカメラ部10の光学的な中心軸を意味するものとする。
また、以下では図4に示すように、カメラ部10を所定の2ヶ所に配置し、異なる視線の位置から対象物体20を撮影する例について主に説明するが、本発明はこれに限定されず、一つのカメラ部10を所定の撮影位置まで左右に大きく移動させ、視線の異なる2ヶ所から撮影するように構成しても良い。この場合、これに限定されないが、例えばレール等にカメラ部10を載置し、レール上を移動可能にするような移動機構を設ければ良い。さらに、撮影位置は2ヶ所に限定されるものではない。双眼タイプであれば2ヶ所で良いが、立体物の表面形状等をより細かく高精度に検出しようとする場合等には、複数ヶ所にカメラ部を配置するようなものとしても良い。すなわち、カメラ部10はx軸方向に並べられるだけではなく、さらにy軸方向にも並べることが可能である。なお、処理の容易性等の観点から、各カメラの撮像素子は、同一平面上に配置することが好ましい。
このように配置されたカメラ部10において、視軸微動装置4は、2つの所定の撮影位置間を結ぶ方向にカメラ部の光軸を微小に移動させる。この微小移動は、カメラ部10の光軸の法線方向への並進運動であれば良い。また、並進運動だけではなく、回転運動であっても良い。回転運動の場合、その回転中心はレンズの光学中心以外であり、光軸の上又は光軸付近であることが好ましい。すなわち、カメラ部10の光軸が変化するような動きであればどのような動きであっても構わない。例えば、人間の眼球は回転運動により微動しているので、人間型ロボットの目に本願発明の立体形状検出装置を適用した場合には、通常の目の動きをさせるアクチュエータ等をそのまま視軸微動装置としても利用可能となる。なお、処理の容易性等の観点から、各カメラの回転中心は、同一平面上に配置することが好ましい。また、カメラ部の回転角度は、無限遠に近い対象物体の撮像素子上での移動幅sが、0〜3画素程度の幅となるように調整することが好ましい。これにより、無限遠に近い遠くの対象物体のエッジは、できるだけ細く(例えば2画素分の幅)、又はまったく写らないようになる。
このように、本明細書中では、「2つの所定の撮影位置間を結ぶ方向の移動」とは、カメラ部の光軸の法線方向への並進運動だけではなく、カメラ部(レンズ)同士が互いに近づいたり遠ざかったりする方向の、所定の点を中心とする回転運動も含むものである。
図5を用いて本願発明に係る視軸微動装置4の移動方向を説明する。図5は、複数のカメラ部10の光軸を、それぞれを結ぶ方向に移動させる例を説明するための図であり、カメラ部を正面から見た正面概略図である。図5(a)はカメラ部が2つの場合の例であり、視軸微動装置は、カメラ部10aと10bを、abの方向に左右に微動させる。カメラ部が3つの場合には、例えば図5(b)に示すようにカメラ部を3角形の頂点の位置に配置するようにし、カメラ部10aと10bで撮影中にはabの方向に微動させ、撮影位置を切り替えてカメラ部10aと10cで撮影中にはacの方向に微動させる。さらに撮影位置を切り替えて、カメラ部10bと10cで撮影中には、bcの方向に微動させるようにする。このように複数の方向にカメラ部の光軸を微動させることにより、複数の方向のエッジの距離をより正確に検出することが可能となる。さらに、図5(c)に示すように、4つのカメラ部10a〜10dを用いて、上下左右にそれぞれ微動させることも勿論可能である。なお、本発明による立体形状検出装置では、撮影位置間を結ぶ方向に光軸を移動させれば良いため、図5(b)と図5(c)を組み合わせたような複数の方向に微動させても勿論構わない。
さらに、図5に示すカメラ部を結ぶ方向以外の方向にそれぞれ光軸を微動させることも勿論構わない。複数の方向に光軸を微動させることにより、人間の眼球の動きのようなマイクロサッカード以外のトレモアやドリフトの動きに対応した動きを実行し、エッジ画像を補完することも可能となる。
また、複数のカメラ部を用いる場合、各カメラ部の同期を取ることが好ましい。すなわち、各カメラ部の微小な移動は同じ移動であり、同時に同じ方向に同じ幅で同じように微小移動させるように構成する。また、撮影も同時に行なうようにする。これにより、動きのある対象物体に対しても良好なエッジ画像を得ることが可能となる。
このようにして得られたエッジ画像を用いて、各エッジ画像の基準点の対応付けを行なう手法を以下に説明する。一般的に2つのカメラ部を用いて撮影した画像の対応点を求めるには、パターンマッチング法が用いられており、本発明の場合においても勿論パターンマッチング法が利用可能である。また、例えば以下で説明する方法により、エッジ画像を単純化して高速処理が行なえるようにすることも可能である。
図6は、本発明に係る視軸微動装置を有する2つのカメラ部を用いて対象物体を撮影した場合に得られる各エッジ画像を説明するための図である。視軸微動装置によりカメラ部の光軸を左右に微動させたため、上下方向のエッジが強調された画像が生成されるが、これをさらに単純化し、縦方向のみのエッジだけを抽出するように画像処理を行なった結果が図示のものである。上述のように、本発明に係るエッジ画像のエッジには、距離情報が含まれているため、同じ距離にあるものは同じ幅のエッジになるので、このエッジの幅及びエッジの長さを基準に、2つのカメラ部からのエッジ画像のエッジを対応付けることが可能となる。すなわち、図6の左側のエッジ画像のエッジRa,Rb,Rcと右側のエッジ画像のエッジLa,Lb,Lcについて、例えば左側のエッジ画像のエッジRbに対応するエッジを右側のエッジ画像から決定する場合には、エッジRbのエッジ幅と長さと同じエッジ幅と長さを有するエッジを右側のエッジ画像から検出する。そうすると、同じ幅で同じ長さのエッジLbが検出されることになる。したがって、これらのエッジRb,Lbの例えば左上の頂点を基準点として左右のエッジ画像の対応付けを行なうことが可能となる。
なお、複雑な形状でエッジ画像のエッジの幅や長さが一定のものとならないような場合には、左右の画像における同様のパターンを見つけることで対応付けるパターンマッチング法を用いれば良い。
そして、基準点の対応付けが行なわれたエッジ画像を用いて、視差を求めることで、立体形状を検出することが可能となる。
このように、本願発明によれば、エッジ画像を非常に単純化でき、単にエッジ画像のエッジの長さと幅を基準にするだけで基準点の対応付けが行なえるため、対応付けに要する処理時間を大幅に削減することが可能となる。そして、必要により2ヶ所以上の撮影位置からのエッジ画像を加えることで、より細かい立体形状の検出も可能となる。さらに、立体画像を構築後、エッジで囲まれた部分の対象物体のなめらかな表面形状を、例えば濃淡値等を解析することにより求め、対象物体の表面の立体情報として立体画像に貼り付けることも可能である。
なお、左右のカメラ部の間の中心軸に近い位置に対象物体があれば上記のように得られたエッジ画像から対応付けが可能であるが、対象物体が左右のカメラ部の間の中心軸から大きく外れた位置にある場合、同じエッジでも各カメラ部からの距離が大きく変わってしまい、対応するエッジであるにもかかわらずエッジの幅が変わってしまうことがある。このような場合には、対象物体への視線の方向も基準に加えて対応するエッジを検出するようにすれば良い。例えば左側のエッジ画像において、エッジがエッジ画像の中心からどのくらいずれているのかを計測することによって視線の方向が分かるため、これも考慮に入れて右側のエッジ画像から左側の視線の方向にあるエッジの中から同じ長さのエッジを対応付けることが可能となる。さらに、対象物体への視線の方向を基準に、得られたエッジ画像のエッジをそれぞれ所定の基準幅に変換することも可能である。すなわち、ずれている視線の方向を光軸上に移動した場合の幅(基準幅)に変換することで、視線の方向を考慮せずに単純にエッジの幅と長さで比較することができるようにすることも可能である。
なお、本発明の立体形状検出装置及び立体形状検出方法は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
図1は、本発明の立体形状検出装置で用いるカメラ部の詳細を説明するための概略図である。 図2は、レンズを微小に移動させる場合のレンズ部の視軸微動装置を説明するための正面概略図である。 図3は、エッジ画像を説明するための図であり、図3(a)が視軸微動装置を用いない場合のエッジ画像を、図3(b)が視軸微動装置を用いた場合のエッジ画像である。 図4は、本発明の立体形状検出装置の構成を説明するための概略ブロック図である。 図5は、複数のカメラ部の光軸を、カメラ部間を結ぶ方向に移動させる例を説明するためのカメラ部の正面概略図である。 図6は、本発明に係る視軸微動装置を有する2つのカメラ部を用いて対象物体を撮影した場合に得られる各エッジ画像を説明するための図である。
符号の説明
1 レンズ
2 撮像素子
3 画像処理部
4 視軸微動装置
10 カメラ部
20 対象物体

Claims (18)

  1. 対象物体を撮影しその立体形状を検出する立体形状検出装置であって、該装置は、
    対象物体への視線が異なる少なくとも2つの所定の撮影位置から対象物体を撮影するための、撮像素子とレンズとを有する少なくとも1つのカメラ手段と、
    前記少なくとも2つの所定の撮影位置間を結ぶ方向に前記カメラ手段の光軸を微小に移動させる視軸微動手段と、
    前記視軸微動手段により光軸が微小に移動させられるカメラ手段からの複数枚の画像を画像処理することで、前記少なくとも2つの所定の撮影位置における対象物体のエッジが抽出されたエッジ画像をそれぞれ生成し、前記それぞれのエッジ画像を比較して対象物体の対応するエッジを検出する画像処理手段と、
    を具備することを特徴とする立体形状検出装置。
  2. 請求項1に記載の立体形状検出装置において、前記所定の撮影位置は、水平方向、垂直方向、斜め方向の少なくとも1つの方向又はこれらの複数の方向に沿って配置されることを特徴とする立体形状検出装置。
  3. 請求項1又は請求項2に記載の立体形状検出装置であって、さらに、前記カメラ手段を所定の撮影位置に移動可能な、移動手段を有することを特徴とする立体形状検出装置。
  4. 請求項1又は請求項2に記載の立体形状検出装置において、前記カメラ手段が少なくとも2つのカメラからなり、各カメラが所定の撮影位置に予め配置されることを特徴とする立体形状検出装置。
  5. 請求項4に記載の立体形状検出装置において、前記少なくとも2つのカメラ手段はそれぞれ同期が取られ、同じ微小な移動で同時に撮影することを特徴とする立体形状検出装置。
  6. 請求項1乃至請求項5の何れかに記載の立体形状検出装置において、前記視軸微動手段は、前記レンズを微小に移動させることを特徴とする立体形状検出装置。
  7. 請求項1乃至請求項5の何れかに記載の立体形状検出装置において、前記視軸微動手段は、前記カメラ手段を微小に移動させることを特徴とする立体形状検出装置。
  8. 請求項1乃至請求項7の何れかに記載の立体形状検出装置において、前記視軸微動手段は、圧電素子、超磁歪素子、静電アクチュエータ、油圧アクチュエータ、空圧アクチュエータ、電磁石、光アクチュエータ、形状記憶合金、高分子アクチュエータの何れかからなることを特徴とする立体形状検出装置。
  9. 請求項1乃至請求項8の何れかに記載の立体形状検出装置において、前記視軸微動手段による微小移動は、前記カメラ手段の光軸の法線方向への並進運動であることを特徴とする立体形状検出装置。
  10. 請求項1乃至請求項8の何れかに記載の立体形状検出装置において、前記視軸微動手段による微小移動は、所定の点を中心とする回転運動であることを特徴とする立体形状検出装置。
  11. 請求項10に記載の立体形状検出装置において、前記回転運動の回転角度は、無限遠に近い対象物体の撮像素子上での移動幅が、0〜3画素の幅となるような角度であることを特徴とする立体形状検出装置。
  12. 対象物体を撮影しその立体形状を検出する立体形状検出方法であって、該方法は、
    対象物体への視線が異なる少なくとも2つの所定の撮影位置から、撮像素子とレンズとを有する少なくとも1つのカメラ手段で対象物体を撮影する過程と、
    前記撮影する過程の間に、前記少なくとも2つの所定の撮影位置間を結ぶ方向に前記カメラ手段の光軸を微小に移動させる過程と、
    前記光軸が微小に移動させられるカメラ手段からの複数枚の画像を画像処理することで、前記少なくとも2つの所定の撮影位置における対象物体のエッジが抽出されたエッジ画像をそれぞれ生成する過程と、
    前記それぞれのエッジ画像を比較して対象物体の対応するエッジを検出する過程と、
    を具備することを特徴とする立体形状検出方法。
  13. 請求項12に記載の立体形状検出方法において、前記エッジ画像を生成する過程は、前記複数枚の画像の各対応画素の濃淡値又は彩度値を差分処理し、正規化を行なうことを特徴とする立体形状検出方法。
  14. 請求項13に記載の立体形状検出方法において、前記エッジ画像を生成する過程は、さらに2値化処理を行なうことを特徴とする立体形状検出方法。
  15. 請求項12乃至請求項14の何れかに記載の立体形状検出方法において、前記対応するエッジを検出する過程は、前記エッジ画像の前記エッジの幅及び長さを基準に、前記少なくとも2つの所定の撮影位置におけるエッジ画像のエッジを対応付けることを特徴とする立体形状検出方法。
  16. 請求項12乃至請求項14の何れかに記載の立体形状検出方法において、前記対応するエッジを検出する過程は、パターンマッチング法により、前記少なくとも2つの所定の撮影位置におけるエッジ画像のエッジを対応付けることを特徴とする立体形状検出方法。
  17. 請求項12乃至請求項16の何れかに記載の立体形状検出方法において、前記対応するエッジを検出する過程は、さらに、対象物体への視線の方向も基準にすることを特徴とする立体形状検出方法。
  18. 請求項17に記載の立体形状検出方法において、前記対応するエッジを検出する過程は、生成されたエッジ画像のエッジを、対象物体への視線の方向を基準に所定の基準幅に変換した後、それぞれのエッジ画像を比較することを特徴とする立体形状検出方法。
JP2005074869A 2005-03-16 2005-03-16 立体形状検出装置及び立体形状検出方法 Active JP4243692B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005074869A JP4243692B2 (ja) 2005-03-16 2005-03-16 立体形状検出装置及び立体形状検出方法
CN2006800071015A CN101133299B (zh) 2005-03-16 2006-03-15 立体形状检测装置和立体形状检测方法
PCT/JP2006/305105 WO2006109394A1 (ja) 2005-03-16 2006-03-15 立体形状検出装置及び立体形状検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005074869A JP4243692B2 (ja) 2005-03-16 2005-03-16 立体形状検出装置及び立体形状検出方法

Publications (2)

Publication Number Publication Date
JP2006258543A true JP2006258543A (ja) 2006-09-28
JP4243692B2 JP4243692B2 (ja) 2009-03-25

Family

ID=37086686

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005074869A Active JP4243692B2 (ja) 2005-03-16 2005-03-16 立体形状検出装置及び立体形状検出方法

Country Status (3)

Country Link
JP (1) JP4243692B2 (ja)
CN (1) CN101133299B (ja)
WO (1) WO2006109394A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007120993A (ja) * 2005-10-25 2007-05-17 Tokyo Institute Of Technology 物体形状測定装置
WO2010021114A1 (ja) 2008-08-20 2010-02-25 国立大学法人東京工業大学 遠距離視標探査カメラシステム
JP2010060708A (ja) * 2008-09-02 2010-03-18 Konica Minolta Opto Inc アクチュエータ、および撮像装置
DE102013100631A1 (de) 2012-01-27 2013-08-01 Denso Corporation Schallfeldsteuerungsvorrichtung und Programm
WO2017175779A1 (ja) * 2016-04-08 2017-10-12 コニカミノルタ株式会社 光学測定装置、画像の生成方法および画像の生成プログラム
CN111150402A (zh) * 2020-01-02 2020-05-15 秒针信息技术有限公司 确定家畜形体参数的方法、装置、存储介质及电子装置
CN114577112A (zh) * 2022-01-19 2022-06-03 格力电器(芜湖)有限公司 一种底盘螺栓位置检测方法及检测装置
CN114577112B (zh) * 2022-01-19 2024-05-24 格力电器(芜湖)有限公司 一种底盘螺栓位置检测方法及检测装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2807137B2 (ja) * 1992-12-15 1998-10-08 松下電工株式会社 立体形状検出方法
CN2325758Y (zh) * 1997-07-09 1999-06-23 北京医科大学口腔医学院 一种激光扫描数据采集装置
CN2306483Y (zh) * 1997-08-23 1999-02-03 李德功 微小形体单界光纵横断面仪
JP3907891B2 (ja) * 1999-11-11 2007-04-18 富士フイルム株式会社 画像撮像装置及び画像処理装置
JP2003295045A (ja) * 2002-04-04 2003-10-15 Omron Corp 測距装置及び測距方法
CN1219397C (zh) * 2002-10-22 2005-09-14 张晓林 仿生型自动视觉和视线控制系统及方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007120993A (ja) * 2005-10-25 2007-05-17 Tokyo Institute Of Technology 物体形状測定装置
WO2010021114A1 (ja) 2008-08-20 2010-02-25 国立大学法人東京工業大学 遠距離視標探査カメラシステム
JP2010060708A (ja) * 2008-09-02 2010-03-18 Konica Minolta Opto Inc アクチュエータ、および撮像装置
DE102013100631A1 (de) 2012-01-27 2013-08-01 Denso Corporation Schallfeldsteuerungsvorrichtung und Programm
WO2017175779A1 (ja) * 2016-04-08 2017-10-12 コニカミノルタ株式会社 光学測定装置、画像の生成方法および画像の生成プログラム
US11089225B2 (en) 2016-04-08 2021-08-10 Konica Minolta, Inc. Optical measuring device, image generating method, and image generating program
CN111150402A (zh) * 2020-01-02 2020-05-15 秒针信息技术有限公司 确定家畜形体参数的方法、装置、存储介质及电子装置
CN114577112A (zh) * 2022-01-19 2022-06-03 格力电器(芜湖)有限公司 一种底盘螺栓位置检测方法及检测装置
CN114577112B (zh) * 2022-01-19 2024-05-24 格力电器(芜湖)有限公司 一种底盘螺栓位置检测方法及检测装置

Also Published As

Publication number Publication date
JP4243692B2 (ja) 2009-03-25
WO2006109394A1 (ja) 2006-10-19
CN101133299A (zh) 2008-02-27
CN101133299B (zh) 2010-04-14

Similar Documents

Publication Publication Date Title
TWI283129B (en) Optical tracking system using variable focal length lens
WO2012039307A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP5510238B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
KR101737085B1 (ko) 3차원 카메라
JP4243692B2 (ja) 立体形状検出装置及び立体形状検出方法
CN105657237B (zh) 图像获取装置及其数字变焦方法
US20160182887A1 (en) Three dimensional imaging with a single camera
JP2009267787A (ja) 構図判定装置、構図判定方法、プログラム
CN102428707A (zh) 立体视用图像对位装置,立体视用图像对位方法及其程序
TW201216203A (en) Method and apparatus for generating image with shallow depth of field
JP6300346B2 (ja) Ip立体映像推定装置及びそのプログラム
JP5068732B2 (ja) 3次元形状生成装置
WO2014171418A1 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
CN104853080A (zh) 图像处理装置
JP2013042379A (ja) 撮像装置
JP2000152281A (ja) 撮像装置
KR20070081962A (ko) 입체 영상 제작장치 및 그 방법
JP2006329747A (ja) 画像撮影装置
US20130271572A1 (en) Electronic device and method for creating three-dimentional image
JP6409769B2 (ja) 3次元形状計測装置、3次元形状計測方法及び3次元形状計測プログラム
JP2014041074A (ja) 画像処理装置及び検査装置
CN108489469A (zh) 一种单目测距装置及方法
JP2007096480A (ja) 対象物追跡装置及び対象物追跡方法
KR101569787B1 (ko) 멀티 카메라에 의한 3d 동영상 정보 획득방법
CN207610664U (zh) 三维成像扫描装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080310

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20081009

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

R150 Certificate of patent or registration of utility model

Ref document number: 4243692

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250