JP2016136114A - 画像計測装置 - Google Patents

Abstract

【課題】撮影タイミングのずれを簡単な構成で安価に判定することが可能な画像計測装置を提供する。
【解決手段】画像計測装置１００において、視差を有する複数の撮影画像を取得する撮像部１０１と、視差を有する複数の撮影画像から同一の特徴を有する特徴点を検出して当該特徴点における視差値を算出し、当該視差値を用いて当該特徴点の実空間上での３次元位置情報を算出し、当該３次元位置情報から被写体上の所定領域までの距離および／または被写体上の所定領域のサイズを計測する計測部１０６と、視差を有する複数の撮影画像から、当該複数の撮影画像が撮影された撮影タイミングが一致しているか否か判定する同期検出部１０７と、を備え、同期検出部１０７は、視差を有する複数の撮影画像から特徴点を検出し、当該特徴点の当該複数の撮影画像間での位置関係を検出し、当該位置関係から撮影タイミングが一致しているか否か判定する。
【選択図】図１

Description

本発明は、視差を有する複数の撮影画像を取得し、被写体上の所定領域までの距離や被写体上の所定領域のサイズを計測することが可能な画像計測装置に関する。

非接触で対象までの距離を計測する技術として、一方向に並んで配置された２つの撮像装置で当該対象を撮影して取得した視差を有する撮影画像を用い、三角測量の原理によって対象（被写体）までの距離を計測する技術がある。また、被写体上の点に対して得られた距離から撮像装置を基準とした当該点の実空間上での３次元位置を求めることによって、被写体上の所定領域のサイズ（長さや大きさ（面積））を算出することが可能である。このように撮影するだけで非接触かつ容易に被写体を計測することができる。
例えば、特許文献１には、両眼視差を有するペア画像から被写体の３次元位置を細かく算出することで３次元モデルを生成し、ユーザの所望する２点間の長さを算出する技術に関して開示されている。

特開２０１１−２３２３３０号公報

しかしながら、動いている被写体を計測する場合には、２つの撮像装置の撮影タイミングが一致している（同期している）必要がある。これは、動いている被写体は時間的に位置が変化するため、２つの撮像装置の撮影タイミングがずれるとそれぞれの撮像装置が異なった被写体位置で撮影することになり、正確な位置が検出できなくなるためである。この時、２つの撮影画像間で撮影された瞬間の被写体位置の差によって計測誤差が変わり、被写体位置の差が大きいほど計測誤差も大きくなる。２つの撮影画像間での被写体位置の差は被写体の速度と撮影タイミングのずれによって決まる。例えば、撮影タイミングのずれ量が同じであっても被写体速度が速いほど、２画像間で撮影された際の被写体位置の差は大きくなる。また、逆に被写体速度が同じであっても撮影タイミングのずれ量が大きいほど、２画像間で撮影された際の被写体位置の差が大きくなる。

２画像間で撮影された際の被写体位置の差を小さくするために、２つの撮像装置のシャッターを同時に切る機能を搭載する場合があるが、撮像装置に撮影の実行を指示する信号が入力されてから実際にシャッターが切れるまでの期間には、個体ごとのバラつきがあるため、２つの撮像装置間で撮影タイミングを完全に一致させることは難しい。
また、２つの撮像装置において実際にシャッターが切れたタイミングを判定するのは難しく、そのような判定装置を備える場合にはシステムが複雑な構成になる。
また、そのような撮影タイミングのずれ量を判定できない場合には、撮影タイミングのずれた撮影画像を用いて計測する場合もあり、その場合は計測精度が低下する。例えば、何らかのシステムの不具合により、２つの撮像装置で撮影タイミングのずれが発生した場合には、計測誤差の大きな結果が出力されるが、それが計測誤差の大きな値（結果）かどうかの区別がつかない。

本発明は、上記の課題を鑑みてなされたものであり、視差を有する複数の撮影画像を取得し、被写体上の所定領域までの距離や被写体上の所定領域のサイズを計測することが可能な画像計測装置であって、撮影タイミングのずれを簡単な構成で安価に判定することが可能な画像計測装置を提供することを目的とする。

前記課題を解決するために、本発明の画像計測装置は、
視差を有する複数の撮影画像を取得する撮像部と、
前記視差を有する複数の撮影画像から同一の特徴を有する特徴点を検出して当該特徴点における視差値を算出し、当該視差値を用いて当該特徴点の実空間上での３次元位置情報を算出し、当該３次元位置情報から被写体上の所定領域までの距離および／または被写体上の所定領域のサイズを計測する計測部と、
前記視差を有する複数の撮影画像から、当該複数の撮影画像が撮影された撮影タイミングが一致しているか否か判定する同期検出部と、を備え、
前記同期検出部は、前記視差を有する複数の撮影画像から前記特徴点を検出し、当該特徴点の当該複数の撮影画像間での位置関係を検出し、当該位置関係から前記撮影タイミングが一致しているか否か判定することを特徴とする。

したがって、撮影画像から撮影タイミングが一致しているか否かを判定可能であるため、撮影タイミングのずれを簡単な構成で安価に判定することができる。

好ましくは、
前記同期検出部は、前記特徴点を２組以上検出し、組ごとに特徴点の位置関係を検出し、これらの位置関係から前記撮影タイミングが一致しているか否か判定するように構成することが可能である。

このように構成することによって、撮影タイミングが一致しているか否かを的確に判定することができる。

また、好ましくは、
前記同期検出部によって前記撮影タイミングが一致していると判定された場合には、前記計測部による計測結果を表示し、前記同期検出部によって前記撮影タイミングが一致していないと判定された場合には、前記計測結果を表示しないか、あるいは、前記計測結果を当該計測結果の誤差が大きいことを識別可能に表示する表示部を備えるように構成することが可能である。

このように構成することによって、計測結果の信頼性を向上させることが可能となる。

また、好ましくは、
前記撮像部は、
１回の計測に対して複数回の撮影を行い、
当該複数回の撮影のそれぞれで、前記視差を有する複数の撮影画像として基準画像および参照画像を取得し、
前記同期検出部は、
同期補正部を備え、
前記撮影タイミングが一致していないと判定した場合に、当該同期補正部によって、前記複数回の撮影で取得された前記参照画像と、当該複数回の撮影のうちの１回の撮影で取得された前記基準画像と、に基づき、当該１回の撮影で取得された前記参照画像上の前記所定領域の位置を、前記撮影タイミングが一致していた場合の位置に補正し、
前記計測部は、前記同期検出部によって前記撮影タイミングが一致していないと判定された場合には、前記同期補正部によって補正された撮影画像を用いて前記所定領域までの距離および／または前記所定領域のサイズを計測するように構成することが可能である。

このように構成することによって、正確な計測が可能となる。

本発明によれば、撮影タイミングのずれを簡単な構成で安価に判定することができる。

本発明の一実施形態による画像計測装置の一構成例を示す機能ブロック図である。 本発明の一実施形態による画像計測装置の計測部の一構成例を示す機能ブロック図である。 本発明の一実施形態による画像計測装置の同期検出部の一構成例を示す機能ブロック図である。 本発明の一実施形態による画像計測装置を用いた被写体計測システムの概要を示した図である。 （ａ），（ｂ）は、計測時における撮影画像を示した図である。 （ａ），（ｂ）は、ブロックマッチングの概要を示した図であり、（ｃ）は、ブロックマッチングのウィンドウ構成の一例を示した図である。 同期がずれた撮影に関して説明するための図である。 同期が一致した場合の２つの撮影画像の被写体領域を重畳表示した図である。 同期がずれた場合の２つの撮影画像の被写体領域を重畳表示した図である。 被写体位置に応じて被写体上の特徴点が撮像装置のセンサ面に結像した様子を示した概要図である。 本発明の一実施形態による画像計測装置の一構成例を示す機能ブロック図である。 本発明の一実施形態による画像計測装置の同期検出部の一構成例を示す機能ブロック図である。 同期がずれた撮影に関して説明するための図である。 同期がずれた撮影に関して説明するための被写体領域を重畳表示した図である。 計測領域の補正処理について説明した図である。

以下、本発明に係わる画像計測装置について各実施形態を挙げ図面を参照しながら説明する。

＜第１の実施形態＞
図１は、本発明の一実施形態による画像計測装置の一構成例を示す機能ブロック図である。
本実施形態における画像計測装置１００は、撮像部１０１と、画像処理部１０２と、記録部１０３と、出力部１０４と、入力部１０５と、計測部１０６と、同期検出部１０７とを有している。

撮像部１０１は、少なくとも２つの撮像装置（第１撮像装置１０１ａ、第２撮像装置１０１ｂ）を有する。それぞれの撮像装置１０１ａ，１０１ｂは、レンズ、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子、それらの動作を制御する制御部、メモリなどから構成される撮像装置の一般的な構成を有する。２つの撮像装置１０１ａ，１０１ｂは、それぞれの撮像装置１０１ａ，１０１ｂで取得された２つの撮影画像が視差を有するように、水平方向に並んで配置されている。

ここで、撮像装置１０１ａ，１０１ｂの撮影位置、すなわち視点位置が異なるため、被写体上の任意の点は、それぞれの撮影画像内で水平方向にずれた場所に位置し、このずれ量を視差という。一方向に並んで配置された２つの撮像装置によって取得された撮影画像の視差は、被写体が撮像装置に近いほど大きく、逆に遠いほど小さくなり、撮像装置間の長さに対して非常に遠い、すなわち無限遠領域での視差はほぼ０となる。ある距離における視差は、撮像装置間の距離である基線長や光学系、解像度などの撮像素子に関連するパラメータによって決まる。本実施形態では、２つの撮像装置１０１ａ，１０１ｂは同等の特性（仕様）を有し、レンズ、撮像素子などは同じものを使用しているものとして説明する。仕様が異なる場合には、基準となる撮像装置に対してもう一方の撮像装置の各パラメータを正規化すれば良い。このようにして、撮像部１０１で取得された撮影画像の画像データは、画像処理部１０２に出力される。この時、撮影時の基線長や焦点距離情報などの撮影情報を後述するカメラパラメータ取得部１１５に出力する。なお、カメラパラメータ取得部１１５は、別途カメラパラメータを事前に保持することで、撮像部１０１から直接出力しない構成も取り得る。
なお、以降、１回の撮影において撮像部１０１で取得された視差を有する撮影画像を「画像ａ」、「画像ｂ」と表記するものとする。

画像処理部１０２は、撮像部１０１によって取得された撮影画像の画像データに対して、明るさの調整や色の調整などの処理や、出力部１０４に合わせたデータ形式への変換処理を行ったり、記録部１０３との間でデータ出力処理やデータ読出処理を行ったりする。また、計測部１０６や同期検出部１０７へ画像データを出力したり、計測部１０６から得られた情報に基づいて撮影画像に文字やマークや図などの情報を重畳して出力部１０４などへ出力したりするなどの処理を行う。

記録部１０３は、ハードディスクやフラッシュメモリなどで構成され、画像処理部１０２から出力された画像データなどの記録を行う。

出力部１０４は、画像処理部１０２から受け取った画像や計測部１０６によって出力された計測結果などを、表示したり、計測結果に応じた識別信号に基づき視覚的にユーザに知らせたり、所望のデータ形式に変換して出力したりする装置である。
例えば画像や結果を表示するものであれば、液晶ディスプレイなどで構成される。この場合、出力部１０４は、タッチパネル液晶のように、後述する入力部１０５と一体型となった構成でも構わない。
また、出力部１０４は、計測結果があらかじめユーザが設定した基準に対して基準を満たすか否かを視覚的に通知する装置でもよい。当該装置としては、例えば、被写体サイズを計測して規定のサイズであるかどうかを判定するシステムにおいて、被写体サイズの計測結果が規定内で問題がない場合は青を表示、問題がある場合は赤を表示といったように発光色によって示すものを用いることができる。

入力部１０５は、計測対象となる領域（計測領域）を入力する装置である。
具体的には、ユーザにより指定された計測領域を計測するのであれば、入力部１０５は、例えば表示された撮影画像上のポインタを動かすための十字キーやタッチパネルなどで構成され、ユーザによる選択や決定などのコマンドの入力に基づき、計測領域を指定するための情報を生成して計測部１０６に出力する。
また、あらかじめ決められた計測領域を自動的に計測するのであれば、入力部１０５は、例えば計測領域を指定するための情報を保持可能に構成され、所定のタイミングで当該保持する計測領域を指定するための情報を計測部１０６に出力する。本実施形態では、あらかじめ決められた計測領域を入力部１０５に設定しておき、取得された撮影画像から計測領域を自動的に計測するものとする。また、自動計測領域以外の領域については、ユーザが表示された撮影画像上を指定することで、その指定された領域を計測領域として計測ができるものとする。

計測部１０６は、入力された計測領域に対して距離やサイズなどの計測値を算出する。
計測部１０６の詳細な構成を図２に示す。計測部１０６は、計測領域検出部１１１と、視差値算出部１１２と、３次元位置情報算出部１１３と、距離・サイズ情報算出部１１４と、カメラパラメータ取得部１１５とから構成され、撮影画像の画像データと撮影した撮像部１０１の情報と計測領域に関する情報から、計測領域までの距離や、計測領域のサイズ（長さや大きさ（面積））などを算出して出力する。各部の詳細については後述する。出力された計測結果（算出結果）は表示部（例えば、出力部１０４）に表示される。

同期検出部１０７は、撮像部１０１によって１回の撮影で取得された２つの画像ａ，ｂから、撮影タイミングが一致している（同期している）か否か判定する。
同期検出部１０７の詳細な構成を図３に示す。同期検出部１０７は、特徴領域検出部１２１と、変位量算出部１２２と、同期ずれ判定部１２３とから構成され、２つの撮像装置１０１ａ，１０１ｂによって取得された画像ａ，ｂ間の撮影タイミングが一致しているか否か判定して、当該判定結果を計測部１０６や出力部１０４に出力する。

ここで、本実施形態の画像計測装置１００の各構成部の処理の流れを説明する。本実施形態の画像計測装置１００は、移動する被写体を撮影し、その撮影画像から計測するシステムであり、移動する被写体が画像計測装置１００の撮影範囲を通過するたびに、あらかじめ指定された被写体上の計測領域までの距離や、あらかじめ指定された被写体上の計測領域のサイズ（長さや大きさ）を計測するものとする。図４にその概要を示す。

図４は、移動台１３１のそばに設置された撮像部１０１が、移動台１３１の上に配置されて移動方向１３２に沿って当該撮像部１０１の方に移動してくる被写体１３０を、撮影範囲１３３に入った際にシャッターを切って撮影する様子を示す図である。
被写体位置検出装置１３４は、被写体１３０が撮影範囲１３３に入ったかどうかを検出する装置であり、例えば、赤外レーザ光線を使った遮断式の検出センサである。被写体位置検出装置１３４は、被写体１３０上の計測領域が撮影範囲１３３に入ったことを検出できる場所に設置され、被写体１３０が撮影範囲１３３外の被写体位置１３５から撮影範囲１３３内の被写体位置１３６に到達した瞬間を検出して撮影タイミング信号を撮像部１０１に発信する。当該撮影タイミング信号を受信した撮像部１０１は、シャッターを切って被写体を撮影する。
なお、ここでは、被写体位置検出装置１３４として赤外レーザを使った検出センサを用いたが、被写体位置検出装置１３４は、これに限らず、撮影範囲１３３内に被写体１３０が入ったかどうか判定できるような構成であれば構わない。例えば、画像認識を使うのであれば、撮像部１０１によって連続して撮影し、画像認識により被写体１３０が撮影範囲１３３内に入ったかどうかを検出するのでもよい。

画像計測装置１００は、撮影画像から、あらかじめ設定された計測領域までの距離や、あらかじめ設定された計測領域のサイズ（長さや大きさ）を計測し、その結果を出力する。
なお、図４では、画像計測装置１００全体が一体となった構成として移動台１３１付近に配置されているが、撮像部１０１とその他の各構成部が分離された構成でもよく、例えば、移動台１３１付近に設置されている撮像部１０１によって取得された撮影画像の画像データを、移動台１３１から離れた場所に設置してあるその他の各構成部にネットワークによって伝送し、当該離れた場所で計測処理や表示処理を行う構成でも構わない。

次に、撮影画像を用いて計測する処理に関して説明する。被写体１３０が撮影範囲１３３に入ると、撮像部１０１によって被写体１３０の撮影が行われる。この時、撮像部１０１で取得された視差を有する画像ａ，ｂは、画像処理部１０２へ受け渡され、明るさの調整、ＪＰＥＧなどの静止画ファイルやＭＰＥＧなどの動画ファイルなど各種データ形式への変換などの処理が施された後、記録部１０３に記録される。また、撮影画像を表示する場合には出力部１０４に表示される。

入力部１０５は、計測領域を指定するための情報を入力するものであり、例えば、自動的に被写体に応じて計測領域を示すモデルデータが設定されており、撮影された被写体にあわせて計測領域に関する情報を計測部１０６に出力する。
計測部１０６は、取得された視差を有する画像ａ，ｂを用いて、入力部１０５より入力された計測領域情報に対応する距離やサイズを計測する。計測された結果は表示部（例えば、出力部１０４）に出力され、表示部によりユーザに通知される。

ここで、計測部１０６の処理について詳細に説明する。計測領域検出部１１１は、入力部１０５より入力された計測領域情報に応じて画像ａ（基準画像）から計測対象となる領域を検出して、その画像上の座標値を視差値算出部１１２に出力する。
被写体位置１３６に到着した被写体１３０を撮影して取得した撮影画像を図５に示す。図５（ａ）は第１撮像装置１０１ａによって取得された画像ａ（基準画像）であり、図５（ｂ）は第２撮像装置１０１ｂによって取得された画像ｂ（参照画像）である。撮像装置１０１ａ，１０１ｂは水平方向に並んで配置されているため、２つの画像ａ，ｂ上の被写体領域は、被写体領域１４０ａ，１４０ｂのように水平方向にずれている。また、被写体１３０上の同一の特徴を有する点を特徴点１４１ａ，１４１ｂとし、特徴点１４１ａ，１４１ｂとは異なる特徴の点であって同一の特徴を有する点を特徴点１４２ａ，１４２ｂとした場合に、それぞれのずれ量を、視差値１４１ｄ，１４２ｄとする。撮像装置１０１ａ，１０１ｂが一方向に並んで配置されている場合は、距離が遠いほど視差値は小さくなるため、撮像部１０１に近い特徴点１４１の視差値１４１ｄよりも、撮像部１０１から遠い特徴点１４２の視差値１４２ｄの方が小さい値となる。このように、視差値の大きさによって撮像部１０１からの位置関係が分かる。

ここでは、２つの撮像装置１０１ａ，１０１ｂは、光軸が平行になるように設置されているが、設置精度により光軸が平行でない場合には、光軸が平行になるように射影変換などの画像処理により、２つの画像ａ，ｂを光軸が平行化された画像に変換する処理を行う。
このような平行化の処理は、あらかじめ取得された撮像部１０１のパラメータを用いて行うことができる。具体的には、事前に既知の大きさのチャートを撮影することで画像データから撮像部１０１内部のパラメータや２つの撮像装置１０１ａ，１０１ｂの位置関係を示すパラメータを取得でき、このパラメータを用いて変換処理を行うことができる。

視差値算出部１１２では、このように視差を有する２つの画像ａ，ｂから同一の特徴点の視差値を算出する。視差値算出には、例えばブロックマッチング法を用いることができる。ブロックマッチング法による視差値算出は、ブロック単位での類似度により２つの撮影画像間で同じ被写体の特徴点位置を検出し、そのずれ量（視差値）を検出する。画像ａを基準画像とした場合に、画像ａ上の特徴点と同じ特徴を有する画像ｂ上の点を対応点と呼ぶ。対応点の探索を行うために評価関数としてＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を用いる。ＳＡＤでは、第１画像と第２画像のそれぞれで注目画素を中心にウィンドウを設定し、設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の総和を算出する。同様な処理を第２画像側の注目画素を変えながら行い、値が最も小さい注目画素が対応点であるとする。

ここで、図６を用いて、画像ａを基準に視差値を算出する場合において、被写体上の特徴点１４１に対するブロックマッチングの説明をする。図６（ａ），（ｂ）には図５（ａ），（ｂ）と同様の画像を、図６（ｃ）には設定した３×３のウィンドウを示す。特徴点１４１が画像ａ上の画素ａ１に存在するとした場合に、画素ａ１を中心とした３×３の大きさのウィンドウＭ１を設定する。次に、画像ｂにおいて画素ａ１と同一の位置にある画素ｂ１を探索開始点として設定し、３×３のウィンドウＭ２を設定する。次に設定したウィンドウ間の各画素の輝度の差を求め、その各画素間から得られた輝度の差の総和を算出する。例えば、図６（ｃ）のように、それぞれの設定したウィンドウの画素の値をＸ１〜Ｘ９、Ｘ’１〜Ｘ’９とした場合、式（１）を用いてＳＡＤ値（輝度の差の総和）を求めることができる。

一方向に並んで配置された撮像装置１０１ａ，１０１ｂで取得された視差を有する画像ａ，ｂは、無限遠が視差０であり、近くの被写体になるほど視差が大きくなる。このとき、画像ａを基準として画像ｂが右視点の場合には、画像ｂ上の特徴点は画像ａ上の特徴点よりも左側に位置する。そこで、探索方向を左方向として画素ｂ１から左方向に注目画素を変更していき、上述したＳＡＤ値を順次求め、得られたＳＡＤ値の中で最小値をとる注目画素を対応点とする。この場合、画像ｂ上の画素ｂ２が最も値が小さい結果となれば、この画素ｂ２を対応点とする。そして、特徴点と、それに対応する対応点と、のずれ量（視差値）を算出する。
対応点を求めたい画素に対し、このような処理を行うことで、その画素に対する視差値を取得することができる。本実施形態では、画像ａと画像ｂのサイズは１９２０×１０８０、ウィンドウサイズは注目画素を中心に２５×２５と設定して、視差値の算出を行っている。

なお、本実施形態では、上記の画像サイズやウィンドウサイズ（ブロックサイズ）を設定したが、画像サイズやウィンドウサイズは、これに限定されるものではなく、精度や処理量を考慮し適宜設定すればよい。また、本実施形態では、対応点の探索を行うために評価関数としてＳＡＤを用いたが、他の評価関数でも構わない。さらに、本実施形態では、輝度情報を用いてマッチングを行う例で説明したが、カラー情報を使用してＲＧＢ等の各色チャネルでマッチングして統合処理する方法やそのうち１チャネルを用いてマッチングする方法でも構わない。

また、特徴点を検出する方法は、ブロックマッチングのように領域ベースのマッチング方法に制限されず、その他の特徴点を検出する方法でも構わない。特徴点を検出する他の方法としては、例えば、画像上の濃淡値の変化が大きい点や領域を抽出し、その点や領域に対して特徴量を規定する処理を行い、類似性を識別する方法がある。特徴点を抽出し、その類似性を識別するための方法としては、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）を用いた特徴量検出方法がある。ＳＩＦＴは特徴点の周辺を数画素のブロックに分割し、ブロックごとに８方向の勾配ヒストグラムを求めて１２８次元の特徴ベクトルで示すものである。また、その他の特徴量検出にはＳＵＲＦ（Ｓｕｐｅｅｄｅｄ-Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）やＧＬＯＨ（Ｇｒａｄｉｅｎｔ Ｌｏｃａｔｉｏｎ−Ｏｒｉｅｎｔａｔｉｏｎ Ｈｉｓｔｇｒａｍ）といった手法もある。視差値には撮影位置からの距離と相対関係があり、距離が近いほど視差値は大きく、遠いほど視差値は小さく、無限遠で０になる。そのため、視差値を距離情報として扱うことができる。

視差値算出部１１２は、計測対象となる領域に含まれる特徴点（計測点）を検出し、当該特徴点における視差値（当該特徴点と、それに対応する対応点と、のずれ量）を算出して、３次元位置情報算出部１１３に出力する。
３次元位置情報算出部１１３では、特徴点（計測点）の撮像部１０１を基準とした実空間上の３次元位置座標が算出される。ここでは、基準画像の中心を原点とするため、３次元座標の原点は、第１撮像装置１０１ａの光学中心となる。３次元位置情報算出部１１３によって得られた特徴点（計測点）ごとの３次元位置情報は、距離・サイズ情報算出部１１４に出力される。

３次元位置情報算出部１１３は、入力された各計測点の視差情報（視差値）とカメラパラメータ取得部１１５から入力された情報とに基づいて、各計測点の実際の３次元位置情報を算出する。ここで、カメラパラメータ取得部１１５からは、撮像部１０１の外部カメラパラメータや内部カメラパラメータなどの情報が入力される。カメラパラメータ取得部１１５は、撮像部１０１からこのようなパラメータを取得したり、データベースとして保持しておいたりする。外部カメラパラメータとは、２つの撮影画像がどのような配置の撮像装置によって撮影されたかを示す情報であり、例えば、２つの撮像装置１０１ａ，１０１ｂ間の距離である基線長や撮像装置１０１ａ，１０１ｂ間の光軸の相対的角度を示す輻輳角などである。また、内部カメラパラメータとは、撮影における撮像装置の焦点距離情報、撮像素子の画素ピッチなどの情報である。カメラパラメータ取得部１１５は、このようなパラメータ情報を３次元位置情報算出部１１３へ出力する。

３次元位置情報算出部１１３が算出する３次元位置に関して説明する。３次元空間上に位置する被写体上の点Ｋの座標を（Ｘ，Ｙ，Ｚ）とし、点Ｋに対応する画像ａ，ｂ上の点を点ｋａ，ｋｂとした場合に、画像の中心を原点として表した点ｋａおよび点ｋｂの座標をそれぞれ（ｘａ，ｙａ）および（ｘｂ，ｙｂ）とする。また、２つの点ｋａ，ｋｂの視差値をＤとする。ここで、３次元位置情報として点Ｋの座標（Ｘ，Ｙ，Ｚ）を求める。この時、撮影時の焦点距離ｆ、基線長Ｂ、撮像素子の画素ピッチＰを用いて、点Ｋまでの実空間上の距離Ｚは下記の式（２）のように表すことができる。
Ｚ＝（Ｂ×ｆ）／（Ｄ×Ｐ）・・・（２）

また、撮像素子１画素あたりの大きさは距離Ｚの平面上ではＺ×Ｐ／ｆと示すことができるので、基準画像の中心を基準とした３次元位置情報（Ｘ，Ｙ，Ｚ）のＸとＹは、下記の式（３），（４）のように表すことができる。
Ｘ＝ｘ×Ｂ／Ｄ・・・（３）
Ｙ＝ｙ×Ｂ／Ｄ・・・（４）
上記のように計測点の実際の空間上での３次元位置情報を求めることができる。このようにして、各計測点の実空間上での３次元位置情報が得られる。

３次元位置情報算出部１１３によって算出された各計測点の３次元位置情報は、距離・サイズ情報算出部１１４に出力される。
距離・サイズ情報算出部１１４は、各計測点の３次元位置情報に基づいて、被写体上の所定領域までの距離や、被写体上の所定領域のサイズなどを算出する。ここで、「被写体上の所定領域までの距離」とは、例えば、撮像部１０１から被写体上の計測領域までの距離のことであり、具体的には、計測領域が点の場合には当該点（計測点）までの距離、計測領域が線の場合には当該線に含まれる計測点までの距離、計測領域が面の場合には当該面に含まれる計測点までの距離である。また、「被写体上の所定領域のサイズ」とは、例えば、被写体上の計測領域間の長さや、被写体上の計測領域のサイズのことであり、具体的には、計測領域が２つの点の場合には当該２点間の長さ、計測領域が線の場合には当該線の長さ、計測領域が面の場合には当該面の大きさ（面積）である。例えば、２つの計測点の３次元座標をＡ（Ｘａ，Ｙａ，Ｚａ）およびＢ（Ｘｂ，Ｙｂ，Ｚｂ）とすると、２点Ａ，Ｂ間の長さＬは下記の式（５）のように算出することができる。
Ｌ＝√（|Ｘａ−Ｘｂ’|２＋|Ｙｂ−Ｙｂ’|２ ＋|Ｚａ−Ｚｂ’|２）・・・（５）
そして、距離・サイズ情報算出部１１４によって算出された距離やサイズなどの計測結果は、出力部１０４に出力されて表示される。

次に、同期検出部１０７について説明する。
特徴領域検出部１２１は、入力部１０５から入力された計測領域情報に基づいて基準画像である画像ａから計測対象となる領域を検出し、当該領域から２つ以上の特徴点を検出する。また、特徴領域検出部１２１は、当該検出した特徴点と同一の特徴点（対応点）を参照画像である画像ｂから検出する。
特徴領域検出部１２１によって得られた２つの画像ａ，ｂ上の同一特徴点の座標情報は、変位量算出部１２２に出力される。
変位量算出部１２２では、画像ａ，ｂ間の特徴点の位置関係から変位量を判定し、各特徴点がどのようにずれたかを検出する。ここでの変位量とは、２つの撮像装置の撮影タイミングが一致して撮影した場合のそれぞれの撮影画像内の被写体位置を基準とした値であるものとする。詳細については後述する。このずれに関する情報は、同期ずれ判定部１２３に出力され、同期ずれ判定部１２３によって撮影タイミングが一致している（同期している）か否か判定される。

ここでまず、同期ずれによって特徴点位置がどのようになるかについて、図７を用いて説明する。図７において図４と同じ符号は同一の機能を有するものとする。
図７は、被写体１３０が撮影範囲１３３内の被写体位置１７１に到着した瞬間を被写体位置検出装置１３４によって検出し、当該検出を契機に被写体位置検出装置１３４から送信されたシャッター信号（撮影タイミング信号）に合わせて撮像部１０１が撮影を行う様子を示す図である。この時、撮影するタイミングが一致していた場合に撮影された画像ａ，ｂを重ね合わせた図を、図８に示す。この場合、第１撮像装置１０１ａによって撮影された画像ａと第２撮像装置１０１ｂによって撮影された画像ｂにおける特徴点１８１ａと特徴点１８１ｂとの視差値１８１ｄを用いることで、特徴点１８１の正確な３次元位置を求めることができる。

次に、２つの撮像装置１０１ａ，１０１ｂの同期がずれており、第２撮像装置１０１ｂの撮影タイミングが第１撮像装置１０１ａの撮影タイミングより遅れたために、画像ａは被写体位置１７１で撮影され、画像ｂは被写体位置１７２で撮影された場合について説明する。この場合の画像ａ，ｂを重ね合わせた図を、図９に示す。図８と比較すると、第１撮像装置１０１ａによって撮影された画像ａ上での被写体領域（実線上および実線内の領域）の位置は変わらないが、第２撮像装置１０１ｂによって撮影された画像ｂ上での被写体領域（二点鎖線上および二点鎖線内の領域）の位置は同期がずれたため異なっている。画像ａ上の特徴点１８１ａ，１８２ａに対応する画像ｂ上の特徴点（対応点）は、それぞれ特徴点１８１ｂ’，１８２ｂ’となり、特徴点１８１ａに対応する特徴点１８１ｂと特徴点１８１ｂ’の位置も、特徴点１８２ａに対応する特徴点１８２ｂと特徴点１８２ｂ’の位置も、異なっている。特徴点１８１ａと特徴点１８１ｂ’との視差値１８１ｄ’は、特徴点１８１における同期が取れた場合の視差値１８１ｄと異なるため、算出される３次元位置も異なる。この場合は、同期のずれた場合の視差値１８１ｄ’の方が、同期の取れた場合の視差値１８１ｄに比べて大きい値となっているため、実際の距離より近い距離が算出される。特徴点１８２に対しても同様に視差値が大きくなるために距離が近くに算出され、特徴点１８１ａと特徴点１８２ａとの間の長さとして実物よりも小さい値が算出される。このように、同期がずれることによって計測精度の低下が発生する。

一般的に、撮像装置にシャッター信号が入力されてから実際にシャッターが切れるまでの期間には個体差があり、複数の撮像装置に同じタイミングでシャッター信号が入力されたとしても、撮影タイミングがわずかにずれる場合が多い。この撮影タイミングのずれが大きいほど被写体位置のずれも大きくなるため、計測誤差が大きくなる。また、撮影タイミングのずれ量が同じであっても被写体速度が速くなるほど、２つの撮影画像間での被写体位置のずれは大きくなり、その分誤差も大きくなる。そのため、同期ずれによって生じた被写体位置のずれが許容される範囲であるかを撮影画像から検出することが必要となる。

ここで、撮影画像を用いて同期ずれの検出方法について説明する。
基本的に、視差を有する撮影画像を用いた画像計測を行う場合には２つの撮像装置の光軸が平行になるようにして撮影を行う。また、撮像装置の設置がずれた場合も画像処理により光軸が平行となるように補正処理を行う。補正処理は例えば、既知の間隔の格子状のチャートなどを撮影し、撮影画像から２つの撮像装置間の位置関係を算出し、その算出されたパラメータを用いて光軸が平行になるように射影変換するなどして行う。
本実施形態のように、水平方向に並んで配置された２つの撮像装置によって取得された視差を有する画像ａ，ｂでは、図８に示すように同期が取れている場合には、画像ａ，ｂの共通する特徴点の位置は水平方向にずれて、特徴点の垂直方向の座標がほぼ一致する。つまり、平行化された画像ではエピポーラ線が２つの撮像装置の配置方向に平行になる。図８に示す画像は、水平方向に並んで配置された撮像装置１０１ａ，１０１ｂによって取得された撮影画像であるため、特徴点１８１ａ，１８１ｂはともに水平直線１８３上に配置され、特徴点１８２ａ，１８２ｂはともに水平直線１８４上に配置される。

一方、図９に示すように、撮像装置１０１ｂの撮影タイミングがずれた場合の同期ずれ画像では、特徴点１８１ｂ’は、特徴点１８１ａを通る水平直線１８３上に配置されず、垂直方向にずれている。また、特徴点１８２ｂ’は、特徴点１８２ａを通る水平直線１８４上に配置されず、垂直方向にずれている。
このように、撮影タイミングが一致している場合には、２画像間の同一の特徴点は２つの撮像装置の配置方向に対して直交する方向の座標が一致するのに対し、撮影タイミングが一致していない場合には、２画像間の同一の特徴点は２つの撮像装置の配置方向に対して直交する方向の座標がずれる。本実施形態では、２つの撮像装置１０１ａ，１０１ｂの配置方向は水平方向であるが、例えば２つの撮像装置の配置方向が垂直方向である場合には、画像ａと画像ｂとの間の同一の特徴点は、同期が取れている場合には、水平方向の座標が一致し、垂直方向に視差を有することになる一方、同期がずれた場合には、水平方向の座標がずれる。このように、撮像装置１０１ａ，１０１ｂの配置方向に対して直交する方向における同一の特徴点の位置関係を検出することで、同期が取れているか判定することができる。

同期検出部１０７は、上述した判定処理を行うことで同期が取れているかどうかを撮影画像から判定する。
特徴領域検出部１２１は、入力部１０５より得られた計測領域情報に基づいて、画像処理部１０２から入力された視差を有する撮影画像から被写体上の特徴点を検出する。この時、複数の特徴点を検出し、検出された特徴点からより類似性の強い特徴点を抽出して、その特徴点を同期判定用の特徴点とすると、周辺に似たような特徴を有する点を同期判定用の特徴点として抽出して誤検出することが低減でき、同期判定時の検出精度が向上できるので望ましい。また、同期判定用の特徴点は２点以上選択するのがよく、特に、選択した特徴点の位置関係が２つの撮像装置の配置方向よりずれていることが望ましい。これは、１点のみでは被写体距離が変わっても画像上の特徴点位置が変わらないことがあり、その場合には判定できないためである。図１０を用いて詳細を説明する。

撮像装置のセンサ面をセンサ面１００１、焦点位置を焦点１００２とし、被写体１００３が被写体位置１００４に配置される場合に、被写体１００３上の特徴点１００６は、当該特徴点１００６と焦点１００２とを結ぶ直線と、センサ面１００１と、の交点である点１００８に結像される。同様にして、被写体１００３上の特徴点１００７は、点１００９に結像される。
次に、被写体１００３が撮像部に向かって移動して被写体位置１００５に配置された場合を考える。この時、特徴点１００６が、当該移動によって特徴点１００６’の位置となったとする。図１０に示す例のように、移動後の特徴点１００６’が特徴点１００６と焦点１００２とを結んだ線分上に配置される場合にはセンサ面１００１上の点１００８に結像され、移動前後で結像点（画像上の特徴点）の位置が変わらない。したがって、被写体位置が異なるにもかかわらず特徴点位置の差異がないため、被写体位置が異なっているか判定できない。

また、線分上でなくても被写体の移動に伴ってセンサ面１００１上の位置が点１００８から水平方向にずれるような場合にも、垂直方向の位置ずれが生じないため、被写体位置が異なっているか判定できない。そのため、確実に被写体位置が異なっているかを判定するためには２点以上の特徴点が必要であり、その２点の位置関係は垂直方向にずれた位置関係であればよい。例えば、特徴点１００６のセンサ面１００１上の位置と、特徴点１００７のセンサ面１００１上の位置と、は垂直方向にもずれているとする。ここで、特徴点１００６と移動後の特徴点１００６’が画像上で変位しないように被写体位置１００５へと移動した場合に、特徴点１００７に対応したセンサ面１００１上の点１００９と移動後の特徴点１００７’に対応したセンサ面１００１上の点１０１０とは、異なった位置となり、垂直方向の座標も異なる。これは、被写体１００３は大きさが変わらないため、撮像部１０１に近づくにつれて拡大され、その結果、センサ面１００１上の２つの特徴点の間隔も拡大されるためである。垂直方向にずれていると同様にずれ量が拡大される。そのため、２点あれば被写体の移動によって少なくとも１点以上は２つの撮像装置の配置方向に対して直交する方向に位置が変化する。このように、２つの撮像装置の配置方向に一致しない２つ以上の特徴点を抽出する。被写体移動による特徴点の変位は、被写体が撮像装置のセンサ面と平行にかつ２つの撮像装置の配置方向に沿って移動する場合には２つの撮像装置の配置方向にしか変位しないため、撮像装置の設置条件を、被写体の移動方向に対して、センサ面が平行かつ２つの撮像装置の配置方向が一致しないように設置する必要がある。

同期ずれ判定のために２つの画像ａ，ｂから同一の特徴点を検出する方法は、上述したブロックマッチング法や特徴量によるマッチングなど被写体上の同じ領域を２画像間から検出できる方法であれば構わないが、特徴量によるマッチングが望ましい。これは、広範囲の領域から数点の特徴点を検出するのに処理量を低減できるためである。ブロックマッチング法は密に対応点を検出できる反面、計算コストが高くなる特性を有し、探索する領域が大きいほど処理量も増大する。一方、特徴量を用いたマッチングでは疎な点の検出となるが、ブロックマッチングに対して同じ探索領域でも処理量を低減することができる。同期判定のための特徴点は密に取る必要性がなく、また、同期ずれが発生した場合には対応点位置が垂直方向にずれるため対応点を探索する領域を大きく取る必要が生じることから、特徴量を用いたマッチングの方が処理量を低減することができる。

画像ａ，ｂより検出された複数の特徴点ペア（画像ａ，ｂ間の同一の特徴点）の中から同期判定として用いる特徴点ペアを抽出する際には、特に類似性の高い特徴点ペアを抽出して、同期判定用の特徴点ペアとして間違って対応点を検出した特徴点ペアを抽出することを低減する。
特徴領域検出部１２１では、上述したように同期判定するための特徴点を画像ａ，ｂから検出して、その情報を変位量算出部１２２へと出力する。
変位量算出部１２２では、抽出された特徴点に対して画像ａ，ｂ上の位置関係を検出し、撮像装置１０１ａ，１０１ｂの配置方向に対して直交する方向にどれだけずれた位置であるかを検出する。例えば、図９に示すように同期がずれた撮影画像において、２つの同期判定用の特徴点を特徴点１８１，１８２にすると、特徴点１８１での画像ａ，ｂ上での垂直方向の変位量である変位量１９３を算出するとともに、特徴点１８２での画像ａ，ｂ上での垂直方向の変位量である変位量１９４を算出する。そして、これら変位量データを同期ずれ判定部１２３に出力する。

同期ずれ判定部１２３は、２つの画像ａ，ｂ間の変位量に基づいて、同期がずれていないか判定する。本実施形態では、変位量が全て０である場合には同期が取れている（撮影タイミングが一致している）と判定し、１つでも変位量が０でない特徴点がある場合には同期が取れていない（撮影タイミングが一致していない）と判定する。またこの時、許容される精度と同期によるずれ量が既知である場合には、許容されるずれ量を判定閾値として設定し、変位量が判定閾値以下である場合は同期が取れている、判定閾値より大きな場合は同期が取れていないと判定するのでもよい。例えば、撮像装置の仕様（解像度や焦点距離など）や撮影基準となる被写体距離によって１画素あたりの３次元位置のずれ量が定まる。そのため、使用する撮像装置や設置の条件と要求される計測精度に応じて同期によるずれが何画素分なると目的とする計測精度を満たさなくなるとの判定ができる。この画素数を判定閾値に設定するなどしてもよい。このように、同期ずれ判定部１２３は変位量から同期を判定し、その判定値を出力する。

同期検出部１０７は、上述したように撮影画像から同期が取れている（撮影タイミングが一致している）かを判定し、その判定情報を計測部１０６または表示部（例えば、出力部１０４）へと出力する。そして、表示部は、同期検出部１０７によって同期が取れていないと判定された場合には、計測結果の誤差が大きいため、計測部１０６による計測結果を出力（表示）しない、あるいは、計測部１０６による計測結果を出力（表示）するとともに同期がずれている（計測エラー）とユーザに通知する。このように、１回の撮影で取得された視差を有する撮影画像から簡単に同期が取れているかの検出できることで、計測値に同期による問題がないかを判定でき、信頼性向上が図れる。また、同期の判定値に応じた信頼度を設定し、出力された計測値に対して信頼度を付与するものでも構わない。例えば、３画素までのずれの場合は誤差が少ないので信頼度「高」、それ以上６画素までのずれは誤差が増えるため信頼「中」、それ以上はさらに誤差が大きくなるので信頼度「低」などと計測結果を分類するのでもよい。これらのずれ量に対する誤差量の関係は撮像象値と被写体との距離関係によって変わるため、撮影条件に応じて適切に設定する必要がある。

また、例えば、同一被写体に対して複数回の撮影を行った場合、同期検出部１０７の出力結果によって、計測結果として適切なものを選択したり、同期検出部１０７の出力結果によって、同一被写体に対して再撮影と再計測を実施したりすることができる。これにより、信頼度の高い計測結果を得ることができる。

以上説明したように、本実施形態の画像計測装置１００によれば、視差を有する複数の撮影画像を取得する撮像部１０１と、視差を有する複数の撮影画像から同一の特徴を有する特徴点（計測点）を検出して当該特徴点における視差値を算出し、当該視差値を用いて当該特徴点の実空間上での３次元位置情報を算出し、当該３次元位置情報から被写体上の所定領域（計測領域）までの距離および／または被写体上の所定領域（計測領域）のサイズを計測する計測部１０６と、視差を有する複数の撮影画像から、当該複数の撮影画像が撮影された撮影タイミングが一致しているか否か判定する同期検出部１０７と、を備えている。そして、同期検出部１０７は、視差を有する複数の撮影画像から特徴点を検出し、当該特徴点の当該複数の撮影画像間での位置関係を検出し、当該位置関係から撮影タイミングが一致しているか否か判定するように構成されている。

すなわち、視差を有する２つの撮影画像から同一の特徴点を検出し、撮像装置１０１ａ，１０１ｂの配置方向に対して直交する方向の当該同一の特徴点の位置関係を検出することで、同期が取れているか否かを判定することができる。
したがって、撮影画像から同期が取れているか否かを判定可能であるため、撮影タイミングのずれを簡単な構成で安価に判定することができる。
なお、撮像部１０１が、１回の撮影で取得する複数の撮影画像は、画像ａ、画像ｂに限ることはなく、互いに視差を有する複数の撮影画像であればよい。

また、本実施形態の画像計測装置１００によれば、同期検出部１０７は、特徴点を２組以上検出し、組ごとに特徴点の位置関係を検出し、これらの位置関係から撮影タイミングが一致しているか否か判定するように構成することが可能である。

このように構成することによって、撮影タイミングが一致しているか否かを的確に判定することができる。

また、本実施形態の画像計測装置１００によれば、同期検出部１０７によって撮影タイミングが一致していると判定された場合には、計測部１０６による計測結果を表示し、同期検出部１０７によって撮影タイミングが一致していないと判定された場合には、計測結果を表示しないか、あるいは、計測結果を当該計測結果の誤差が大きいことを識別可能に表示する表示部（例えば、出力部１０４）を備えるように構成することが可能である。

このように構成することによって、計測結果の信頼性を向上させることが可能となる。

なお、本実施形態では、被写体の移動を直線方向としたが、撮像部１０１に対して距離の変位があればよい。これは、撮像部１０１の配置方向に平行な方向に移動した場合以外には同期検出時に２画像ａ，ｂ間で特徴点の変位が発生するためである。
また、本実施形態では、撮像装置１０１ａ，１０１ｂが水平方向に並んで配置された構成を示しているが、これに制限されることはなく、撮像装置１０１ａ，１０１ｂは、例えば垂直方向に並んで配置されていても構わない。この場合は、撮像装置１０１ａ，１０１ｂの配置方向に対して直交する方向（この場合は水平方向）の変位量を検出すればよい。

＜第２の実施形態＞
第１の実施形態では、撮影画像から同期が取れているか否かの判定を行い、撮影画像を用いて正確な計測が可能かを検出できる構成を示したが、第２の実施形態では、さらに同期がずれた撮影画像を用いて正確な計測が行えるように補正処理を行う構成を示す。
図１１および図１２に、本実施形態による画像計測装置１００の構成を示す。具体的には、図１１は、本実施形態による画像計測装置１００の一構成例を示す機能ブロック図であり、図１２は、本実施形態による画像計測装置１００の同期検出部１１０１の一構成例を示す機能ブロック図である。

同期検出部１１０１は、図３に示す同期検出部１０７に加えてさらに同期ずれ補正部１１０２を有し、同期ずれが検出された場合には同期ずれ補正部１１０２によって正確な計測ができるように補正処理を行う。図１１および図１２において、同期検出部１１０１以外の図１、図２、図３と同じ符号の構成部については、前述した機能と同様の機能を有するものとする。

同期ずれ補正部１１０２の処理について、図１３を用いて詳細に説明する。図１３において図４と同じ符号は同様の機能を有するものとする。
図１３は、移動台１３１上に配置されて移動方向１３２に沿って移動する被写体１３０が、撮影範囲１３３に入った瞬間を被写体位置検出装置１３４で検出し、そのタイミングに合わせて撮像部１０１が撮影を行う様子を示す図である。この時、撮像部１０１は２回以上の撮影を行い、少なくとも２組の視差を有する撮影画像を取得する。ここで、被写体位置検出装置１３４は、被写体１３０が撮影範囲１３３に含まれる被写体位置１２０１ａに到着した瞬間を検出し、そのタイミングに合わせて撮像部１０１は撮影を行う。同期が合っている場合には、撮像装置１０１ａ，１０１ｂによって取得された画像ａ，ｂはともに被写体位置１２０１ａで撮影される。ここでは、同期がずれて第２撮像装置１０１ｂの撮影タイミングが第１撮像装置１０１ａの撮影タイミングよりもｔ１秒遅くなり、１回目の撮影で取得された画像ａおよび画像ｂは、それぞれ被写体位置１２０１ａおよび被写体位置１２０１ｂで撮影されたものとする。また、２回目の撮影で取得された画像ａおよび画像ｂは、それぞれ被写体位置１２０２ａおよび被写体位置１２０２ｂで撮影されたものとする。

同期検出部１１０１は、１回目の撮影で取得された画像ａ，ｂを用いて、前述したように被写体上の２つ以上の特徴点に対して画像ａ上と画像ｂ上の位置関係を検出し、その変位量から同期がずれているか否かを判定する。同期ずれ判定部１２３によって同期がずれていると判定した場合には、同期ずれ補正部１１０２によって、同期がずれた撮影画像における被写体領域の位置を、同期が合った場合の被写体領域の位置となるように補正処理を行う。

ここで、補正処理の方法について説明する。図１４は、第２撮像装置１０１ｂによって被写体位置１２０１ａ，１２０１ｂ，１２０２ｂで取得された撮影画像の被写体領域を重畳した図を示している。この時、画像上の被写体領域は、それぞれ被写体領域１３０１，１３０２，１３０３となる。また、被写体上の特徴点１３０４，１３０５，１３０６は、それぞれの被写体位置における同一の特徴点である。同様に特徴点１３０７，１３０８，１３０９は、それぞれの被写体位置における同一の特徴点である。

被写体１３０が直線的に移動する場合、被写体上の特徴点も同様に画像上で直線的に変位する。この時の特徴点１３０４の変位する軌道である軌道１３１０、特徴点１３０７の変位する軌道である軌道１３１１は、ともに直線となる。つまり、被写体の直線移動に伴って被写体上の特徴点は直線的に変位し、どのタイミングで撮影された場合にも直線軌道上に配置される。直線軌道は、特徴点の変位中に２か所の位置が検出できれば１つに定めることができる。例えば、被写体位置１２０１ｂと被写体位置１２０２ｂで撮影された場合の被写体上の特徴点１３０５と特徴点１３０６とを検出すれば、軌道１３１０が一意に決まる。被写体位置１２０１ａで撮影された場合にも軌道１３１０上に配置される。ここで、被写体領域１３１２は、第１撮像装置１０１ａによって被写体位置１２０１ａの時に撮影された被写体領域を示し、特徴点１３１３および特徴点１３１５は、それぞれ特徴点１３０４および特徴点１３０７と同じ特徴を有する特徴点である。

前述したように同期が取れている場合には、撮像装置１０１ａ，１０１ｂの配置方向（この場合は水平方向）に対応点が位置するため特徴点１３１３に対応する特徴点は水平直線１３１４上に配置される。このことから、軌道１３１０と水平直線１３１４との交点は同期の合っている場合の対応点の位置となることが分かる。同様に、２つの特徴点１３０８，１３０９から軌道１３１１を求め、当該軌道１３１１に対して、特徴点１３０８と同一の特徴を有する画像ａ上の特徴点１３１５と垂直座標が一致する点（つまり軌道１３１１と特徴点１３１５を通る水平直線１３１６との交点）を検出すれば、同期の合った場合の特徴点１３０７を求めることができる。このようにして、複数の撮像装置のうちの一の撮像装置（本実施形態の場合、第２撮像装置１０１ｂ）によって取得された撮影タイミングの異なる２つの撮影画像（本実施形態の場合、２つの画像ｂ）を用いて、当該２つの撮影画像とは異なる被写体位置で撮影された場合の撮影画像上での位置を求めることができる。

同期ずれ補正部１１０２は、同期ずれと判定された場合に、特徴領域検出部１２１から１回目の撮影で取得された画像ａ，ｂおよび２回目の撮影で取得された画像ｂにおいて被写体上の同じ特徴を有する特徴点の位置情報を受け取り、入力された撮影タイミングの異なる２つの画像ｂ上の当該特徴点の位置から軌道を求め、入力された画像ａ上の当該特徴点の垂直方向の座標値を用いて補正値を算出する。

計測領域が点の場合には、計測領域をそのまま同期補正用の特徴点として用いることで、補正後の特徴点の画素位置を直接求めることができる。前記補正後の画素位置情報を計測部１０６に出力すれば、計測部１０６によって、計測領域までの正確な距離や、２つの計測領域間の正確な長さなどが算出される。

また、計測領域がある程度の大きさを有する場合には、計測領域を含むようにして同期補正用の特徴点を設定し、それぞれの補正位置を算出することで、計測領域全体の補正位置を求める方がよい。図１５を用いて被写体位置１２０１ｂで撮影された撮影画像から被写体位置１２０１ａで撮影された場合の計測領域となるように補正処理する方法について説明する。
まず、同期補正のための特徴点を、被写体上の計測領域１４０１が含まれるように設定する。具体的には、例えば、４つの点１４０２、点１４０３、点１４０４、および点１４０５を特徴点として設定する。続いて、各同期補正用の特徴点に対して、前述したように被写体位置１２０１ａで撮影された場合の各特徴点位置を求めると、それぞれ点１４０２’、点１４０３’、点１４０４’、および点１４０５’となる。ここで、４つの点１４０２、点１４０３、点１４０４、および点１４０５が、点１４０２’、点１４０３’、点１４０４’、および点１４０５’の位置となるように射影変換処理を行う。この時、射影変換後の計測領域１４０１に対応する領域である計測領域１４０１’は、被写体位置１２０１ａで撮影された場合の計測領域に一致する。同期検出部１１０１から前記計測領域を補正した画像データを計測部１０６に出力し、計測部１０６において計測処理を行うことで、計測領域までの距離や、計測領域のサイズ（長さや大きさ（面積））として、正確な計測値を得ることができる。

以上説明したように、本実施形態の画像計測装置１００によれば、撮像部１０１は、１回の計測に対して複数回の撮影を行い、当該複数回の撮影のそれぞれで、視差を有する複数の撮影画像として基準画像（画像ａ）および参照画像（画像ｂ）を取得し、同期検出部１１０１は、同期補正部（同期ずれ補正部１１０２）を備え、撮影タイミングが一致していないと判定した場合に、当該同期補正部によって、複数回の撮影で取得された参照画像と、当該複数回の撮影のうちの１回の撮影で取得された基準画像と、に基づき、当該１回の撮影で取得された参照画像上の所定領域（計測領域）の位置を、撮影タイミングが一致していた場合の位置に補正し、計測部１０６は、同期検出部１１０１によって撮影タイミングが一致していないと判定された場合には、同期補正部によって補正された撮影画像を用いて所定領域（計測領域）までの距離および／または所定領域（計測領域）のサイズを計測するように構成されている。

このように、本実施形態では、撮影画像から同期撮影された画像であるか判定するだけではなく、同期ずれが発生した場合であっても、撮影タイミングの異なった２つ以上の参照画像（画像ｂ）から基準画像（画像ａ）が撮影された被写体位置での計測領域の位置を求めることができるので、正確な計測が可能となる。

なお、本実施形態では、被写体の移動を直線方向としたが、同期ずれが発生しているか検出するだけであれば、撮像部１０１に対して距離の変位があればよい。これは、撮像部１０１の配置方向に平行な方向に移動した場合以外には同期検出時に２画像ａ，ｂ間の特徴点の変位が発生するためである。
また、本実施形態では、撮像装置１０１ａ，１０１ｂが水平方向に並んで配置された構成を示しているが、これに制限されることはなく、撮像装置１０１ａ，１０１ｂは、例えば垂直方向に並んで配置されるのでも構わない。この場合は、撮像装置１０１ａ，１０１ｂの配置方向に対して直交する方向（この場合は水平方向）の変位量を検出すればよい。

上記の各実施形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。

１００ 画像計測装置
１０１ 撮像部
１０４ 出力部（表示部）
１０６ 計測部
１０７ 同期検出部
１１０２ 同期ずれ補正部（同期補正部）

Claims (4)

1. 視差を有する複数の撮影画像を取得する撮像部と、
   前記視差を有する複数の撮影画像から同一の特徴を有する特徴点を検出して当該特徴点における視差値を算出し、当該視差値を用いて当該特徴点の実空間上での３次元位置情報を算出し、当該３次元位置情報から被写体上の所定領域までの距離および／または被写体上の所定領域のサイズを計測する計測部と、
   前記視差を有する複数の撮影画像から、当該複数の撮影画像が撮影された撮影タイミングが一致しているか否か判定する同期検出部と、を備え、
   前記同期検出部は、前記視差を有する複数の撮影画像から前記特徴点を検出し、当該特徴点の当該複数の撮影画像間での位置関係を検出し、当該位置関係から前記撮影タイミングが一致しているか否か判定することを特徴とする画像計測装置。
2. 前記同期検出部は、前記特徴点を２組以上検出し、組ごとに特徴点の位置関係を検出し、これらの位置関係から前記撮影タイミングが一致しているか否か判定することを特徴とする請求項１に記載の画像計測装置。
3. 前記同期検出部によって前記撮影タイミングが一致していると判定された場合には、前記計測部による計測結果を表示し、前記同期検出部によって前記撮影タイミングが一致していないと判定された場合には、前記計測結果を表示しないか、あるいは、前記計測結果を当該計測結果の誤差が大きいことを識別可能に表示する表示部を備えることを特徴とする請求項１または請求項２に記載の画像計測装置。
4. 前記撮像部は、
   １回の計測に対して複数回の撮影を行い、
   当該複数回の撮影のそれぞれで、前記視差を有する複数の撮影画像として基準画像および参照画像を取得し、
   前記同期検出部は、
   同期補正部を備え、
   前記撮影タイミングが一致していないと判定した場合に、当該同期補正部によって、前記複数回の撮影で取得された前記参照画像と、当該複数回の撮影のうちの１回の撮影で取得された前記基準画像と、に基づき、当該１回の撮影で取得された前記参照画像上の前記所定領域の位置を、前記撮影タイミングが一致していた場合の位置に補正し、
   前記計測部は、前記同期検出部によって前記撮影タイミングが一致していないと判定された場合には、前記同期補正部によって補正された撮影画像を用いて前記所定領域までの距離および／または前記所定領域のサイズを計測することを特徴とする請求項１から請求項３の何れか一項に記載の画像計測装置。

Images