JP2020008415A - 測距カメラ - Google Patents

測距カメラ Download PDF

Info

Publication number
JP2020008415A
JP2020008415A JP2018129387A JP2018129387A JP2020008415A JP 2020008415 A JP2020008415 A JP 2020008415A JP 2018129387 A JP2018129387 A JP 2018129387A JP 2018129387 A JP2018129387 A JP 2018129387A JP 2020008415 A JP2020008415 A JP 2020008415A
Authority
JP
Japan
Prior art keywords
subject
distance
image
optical system
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018129387A
Other languages
English (en)
Other versions
JP7121269B2 (ja
Inventor
覚 須藤
Satoru Sudo
覚 須藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsumi Electric Co Ltd
Original Assignee
Mitsumi Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsumi Electric Co Ltd filed Critical Mitsumi Electric Co Ltd
Priority to JP2018129387A priority Critical patent/JP7121269B2/ja
Priority to CN201980042012.1A priority patent/CN112368544B/zh
Priority to PCT/JP2019/023487 priority patent/WO2020008832A1/ja
Priority to US17/258,131 priority patent/US11410321B2/en
Priority to EP19831107.8A priority patent/EP3819588A4/en
Publication of JP2020008415A publication Critical patent/JP2020008415A/ja
Application granted granted Critical
Publication of JP7121269B2 publication Critical patent/JP7121269B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/02Details
    • G01C3/06Use of electric means to obtain final indication
    • G01C3/08Use of electric radiation detectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10148Varying focus

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

【課題】被写体までの距離および被写体のサイズに関わらず、被写体までの距離を正確に算出することが可能な測距カメラを提供する。【解決手段】測距カメラ1は、第1の被写体像を形成するための第1の光学系OS1と、第2の被写体像を形成するための第2の光学系OS2と、第1の被写体像および第2の被写体像を撮像するための撮像部Sと、撮像部Sによって撮像された第1の被写体像の倍率と第2の被写体像の倍率との像倍比に基づいて、被写体100までの距離の第1の候補を算出し、さらに、第1の被写体像と第2の被写体像との間の並進視差に基づいて、被写体100までの距離の第2の候補を算出するための距離算出部4と、を備える。距離算出部4は、所定の条件に従って、第1の候補および第2の候補のいずれか一方を、被写体100までの距離として選択する。【選択図】図4

Description

本発明は、一般に、被写体までの距離を測定するための測距カメラに関し、より具体的には、少なくとも2つの光学系によって形成された少なくとも2つの被写体像間の像倍比または少なくとも2つの被写体像間の並進視差に基づいて、被写体までの距離を測定する測距カメラに関する。
従来より、被写体を撮像することにより、被写体までの距離を測定する測距カメラが提案されている。このような測距カメラとしては、被写体からの光を集光し、被写体像を形成するための光学系と、該光学系によって形成された被写体像を画像信号に変換するための撮像素子とを少なくとも2対備えるステレオカメラ方式の測距カメラが知られている(例えば、特許文献1参照)。
特許文献1が開示するようなステレオカメラ方式の測距カメラは、光軸方向に対して垂直な方向に互いにシフトして配置された2つ光学系によって形成された2つ被写体像間の並進視差(光軸方向に対して垂直な方向の視差)を算出し、この並進視差の値に基づいて、被写体までの距離を算出することができる。
このような被写体像間の並進視差に基づく測距を用いる場合、被写体像間の並進視差が小さいと、被写体までの距離を正確に算出することができない。よって、被写体像間の並進視差を十分に大きくするために、2つの光学系を光軸に対して垂直な方向に大きく離間して配置する必要がある。このことは、測距カメラのサイズを小さくすることを困難としている。
また、被写体が近距離に位置していると、得られる画像の視野の関係から、並進視差を算出するための被写体像の特徴点が一方の画像内には写っているが、他方の画像内では写っていないという状況が発生してしまう。この状況を避けるためには、2つの光学系を近接して配置する必要がある。しかしながら、2つの光学系を近接して配置すると被写体像間の並進視差が小さくなってしまい、測距の精度が低下する。そのため、被写体像間の並進視差に基づく測距を用いて、近距離に位置する被写体までの距離を正確に算出することは困難である。
一方、被写体像間の並進視差は、得られる各画像内の被写体像のサイズ(各画像内の被写体像の占有率)に依存しない。そのため、被写体像間の並進視差に基づく測距は、各画像内での被写体像のサイズが小さい場合であっても、被写体までの距離を正確に算出することができる。各画像内での被写体像のサイズが小さくなる状況としては、被写体のサイズがそもそも小さい状況および被写体が遠距離に位置する状況が挙げられる。そのため、被写体像間の並進視差に基づく測距は、サイズの小さい被写体および遠距離に位置する被写体までの距離を測定するのに適している。
したがって、被写体像間の並進視差に基づく測距は、近距離に位置する被写体までの距離を測定するためには不向きであるが、サイズが小さい被写体および遠距離に位置する被写体までの距離を測定するためには適している。
一方、本発明者らによって、2つの被写体像間の像倍比(倍率の比)に基づいて、被写体までの距離を算出する像倍比方式の測距カメラが提案されている。像倍比方式の測距カメラでは、被写体までの距離に応じた被写体像の倍率の変化が互いに異なる2つの光学系が用いられ、該2つの光学系によって形成された2つの被写体像間の像倍比(倍率の比)に基づいて、被写体までの距離が算出される(特許文献2参照)。
このような被写体像間の像倍比に基づく測距では、被写体までの距離を算出するために被写体像間の並進視差が利用されないため、2つの光学系を近接して配置しても、被写体までの距離を正確に算出することができる。そのため、測距カメラのサイズを小さくすることができる。
被写体像間の像倍比は、2つの光学系によって形成された2つの被写体像を撮像することによって得られた2つの画像を取得し、さらに、2つの画像から実測された2つの被写体像のサイズ(第1の被写体像のサイズおよび第2の被写体像のサイズ)の比を取ることによって取得される。各画像内の被写体像のサイズ(各画像内の被写体像の占有率)が大きい場合には、各画像から被写体像のサイズを正確に実測することできる。そのため、各画像内の被写体像のサイズが大きい場合には、被写体像間の像倍比を正確に取得し、被写体までの距離を正確に算出することが可能となる。各画像内での被写体像のサイズが大きくなる状況としては、被写体のサイズがそもそも大きい状況および被写体が近距離に位置する状況が挙げられる。このような理由により、被写体像間の像倍比に基づく測距は、サイズの大きい被写体または近距離に位置する被写体までの距離を算出するために適している。
一方、各画像内の被写体像のサイズ(各画像内の被写体像の占有率)が小さい場合には、各画像から被写体像のサイズを正確に実測することが困難である。そのため、各画像内の被写体像のサイズが小さい場合には、被写体像間の像倍比を正確に取得し、被写体までの距離を正確に算出することが困難となる。上述のように、各画像内での被写体像のサイズが小さくなる状況としては、被写体のサイズがそもそも小さい状況および被写体が遠距離に位置する状況が挙げられる。このような理由により、被写体像間の像倍比に基づく測距は、サイズの小さい被写体または遠距離に位置する被写体までの距離を算出するためには不向きである。
したがって、被写体像間の像倍比に基づく測距は、サイズの大きい被写体および近距離に位置する被写体までの距離を測定するためには適しているが、サイズの小さい被写体および遠距離に位置する被写体までの距離を算出するためには不向きである。
このように、被写体像間の並進視差に基づく測距および被写体像間の像倍比に基づく測距は、それぞれ得意な領域および不得意な領域を有しており、被写体までの距離および被写体のサイズに関わらず、被写体までの距離を正確に算出することができなかった。
特開2012−26841号公報 特願2017−241896号
本発明は、上記従来の問題点を鑑みたものであり、その目的は、被写体までの距離および被写体のサイズに関わらず、被写体までの距離を正確に算出することができる測距カメラを提供することにある。
このような目的は、以下の(1)〜(8)の本発明により達成される。
(1)被写体からの光を集光し、第1の被写体像を形成するための第1の光学系と、
前記第1の光学系に対して、前記第1の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第2の被写体像を形成するための第2の光学系と、
前記第1の光学系によって形成された前記第1の被写体像および前記第2の光学系によって形成された前記第2の被写体像を撮像するための撮像部と、
前記撮像部によって撮像された前記第1の被写体像の倍率と前記第2の被写体像の倍率との像倍比に基づいて、前記被写体までの距離の第1の候補を算出し、さらに、前記第1の被写体像と前記第2の被写体像との間の並進視差に基づいて、前記被写体までの前記距離の第2の候補を算出するための距離算出部と、を備え、
前記距離算出部は、所定の条件に従って、前記第1の候補および前記第2の候補のいずれか一方を、前記被写体までの前記距離として選択することを特徴とする測距カメラ。
(2)前記距離算出部は、前記被写体のサイズが所定のしきい値未満である場合、前記並進視差に基づいて算出された前記第2の候補を前記被写体までの前記距離として選択し、前記被写体の前記サイズが前記所定のしきい値以上である場合、前記像倍比に基づいて算出された前記第1の候補を前記被写体までの前記距離として選択する上記(1)に記載の測距カメラ。
(3)前記距離算出部は、前記第1の候補および前記第2の候補が所定のしきい値未満である場合、前記像倍比に基づいて算出された前記第1の候補を前記被写体までの前記距離として選択し、前記第1の候補および前記第2の候補が前記所定のしきい値以上である場合、前記並進視差に基づいて算出された前記第2の候補を前記被写体までの前記距離として選択する上記(1)に記載の測距カメラ。
(4)前記第1の光学系および前記第2の光学系は、前記被写体からの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体からの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるように構成されている上記(1)ないし(3)のいずれかに記載の測距カメラ。
(5)前記第1の光学系および前記第2の光学系は、前記第1の光学系の焦点距離と、前記第2の光学系の焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の前記変化と異なるようになっている上記(4)に記載の測距カメラ。
(6)前記第1の光学系および前記第2の光学系は、前記第1の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第1の光学系によって形成される前記第1の被写体像の結像位置までの距離と、前記第2の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第2の光学系によって形成される前記第2の被写体像の結像位置までの距離とが異なるように構成されており、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の前記変化と異なるようになっている上記(4)または(5)に記載の測距カメラ。
(7)前記第1の光学系の前側主点と前記第2の光学系の前側主点との間に、前記第1の光学系の前記光軸方向の奥行視差が存在し、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるようになっている上記(4)ないし(6)のいずれかに記載の測距カメラ。
(8)前記撮像部は、前記第1の被写体像を撮像するための第1の撮像素子と、前記第2の被写体像を撮像するための第2の撮像素子とを含む上記(1)ないし(7)のいずれかに記載の測距カメラ。
本発明の測距カメラでは、被写体像間の像倍比に基づいて算出された第1の候補および被写体像間の並進視差に基づいて算出された第2の候補のいずれか一方が、所定の条件に従って、被写体までの距離として選択される。そのため、本発明の測距カメラによれば、被写体までの距離および被写体のサイズに関わらず、被写体までの距離を正確に算出することができる。
また、本発明の測距カメラは、被写体が近距離に位置する場合には、被写体像間の像倍比に基づいて算出された第1の候補を被写体までの距離として選択するため、被写体像間の並進視差は、近距離に位置する被写体までの距離を算出するために用いられない。したがって、本発明の測距カメラでは、被写体が近距離に位置する場合の被写体像間の並進視差を考慮する必要がないので、第1の光学系および第2の光学系を近接して配置することができる。そのため、従来のステレオカメラ方式のカメラと比較して、本発明の測距カメラを小型化することができる。
本発明の測距カメラにおいて用いられる被写体像間の像倍比に基づく測距原理を説明するための図である。 本発明の測距カメラにおいて用いられる被写体像間の像倍比に基づく測距原理を説明するための図である。 図2に示す第1の光学系によって形成される第1の被写体像の倍率と、図2に示す第2の光学系によって形成される第2の被写体像の倍率との像倍比が、被写体までの距離に応じて変化することを説明するためのグラフである。 本発明の第1実施形態に係る測距カメラを概略的に示すブロック図である。 被写体までの距離を固定した場合の被写体のサイズの変化に対する被写体像間の並進視差に基づく測距と被写体像間の像倍比に基づく測距の誤差の大きさ(絶対値)の変化の一例を示す図である。 被写体のサイズを固定した場合の被写体までの距離の変化に対する被写体像間の並進視差に基づく測距と被写体像間の像倍比に基づく測距の誤差の大きさ(絶対値)の変化の一例を示す図である。 本発明の第2実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第3実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の第4実施形態に係る測距カメラを概略的に示すブロック図である。 本発明の測距カメラによって実行される測距方法を説明するためのフローチャートである。
最初に、本発明の測距カメラにおいて用いられている、被写体像間の像倍比に基づいて被写体までの距離を算出するための原理について説明する。なお、各図において、同様または類似した機能を発揮するコンポーネントには、同一の参照符号を付す。
光学系により形成される被写体像の倍率mODは、光学系の前側主点(前側主面)から被写体までの距離(被写体距離)a、光学系の後側主点(後側主面)から被写体像の結像位置までの距離bOD、および光学系の焦点距離fによって、レンズの公式から下記式(1)のように表すことができる。
Figure 2020008415
また、被写体像のサイズYODは、被写体像の倍率mODと、被写体の実際のサイズszから、下記式(2)のように表すことができる。
Figure 2020008415
センサー等の撮像素子の撮像面が被写体像の結像位置にある場合、すなわち、ベストピントである場合、被写体像のサイズYODは、上記式(2)で表すことができる。光学系がオートフォーカス機能を有しており、常にベストピントで撮像を行う場合には、上記式(2)を用いて被写体像のサイズYODを求めることができる。
しかしながら、光学系がオートフォーカス機能を有さない固定焦点系であり、センサー等の撮像素子の撮像面が被写体像の結像位置にない場合、すなわち、デフォーカスが存在する場合、撮像素子の撮像面上に形成される被写体像のサイズYFDを求めるためには、デフォーカス量、すなわち、被写体像の結像位置と撮像素子の撮像面の位置の奥行方向(光軸方向)の差(シフト量)を考慮する必要がある。
図1に示すように、光学系の射出瞳から、被写体が無限遠に存在する場合の被写体像の結像位置までの距離をEPとし、光学系の射出瞳から、被写体が任意の距離aに存在する場合の被写体像の結像位置までの距離をEPODとし、光学系の射出瞳から撮像素子の撮像面までの距離(フォーカス距離:Focus Distance)をEPFDとする。また、光学系の後側主点から、被写体が任意の距離aに存在する場合の被写体像の結像位置までの距離をbODとし、光学系の後側主点から撮像素子の撮像面までの距離をbFDとする。なお、図示の形態では、説明の簡略化のため、光学系は、光学系の後側主点が、光学系の中心位置にあるものとして概略的に示されている。
光学系の後側主点から、任意の距離aに被写体が存在する場合の被写体像の結像位置までの距離bODは、レンズの公式から下記式(3)によって求めることができる。
Figure 2020008415
したがって、焦点距離fと距離bODとの差ΔbODは、下記式(4)によって求めることができる。
Figure 2020008415
また、光学系の後側主点から撮像素子の撮像面までの距離bFDは、撮像素子の撮像面で被写体像がベストピントとなる場合の光学系の前側主点から被写体までの距離aFDを用いて、レンズの公式から下記式(5)によって求めることができる。
Figure 2020008415
よって、焦点距離fと距離bFDとの差ΔbFDは、下記式(6)によって求めることができる。
Figure 2020008415
また、図1から明らかなように、光軸と光学系の射出瞳との交点を頂点の一つとし、任意の距離aに被写体が存在する場合の被写体像の結像位置における被写体像のサイズYODを1つの辺とする直角三角形と、光軸と光学系の射出瞳との交点を頂点の一つとし、撮像素子の撮像面における被写体像のサイズYFDを1つの辺とする直角三角形とは相似関係にある。そのため、相似関係から、EPOD:EPFD=YOD:YFDが成立し、下記式(7)から撮像素子の撮像面における被写体像のサイズYFDを求めることができる。
Figure 2020008415
上記式(7)から明らかなように、撮像素子の撮像面における被写体像のサイズYFDは、被写体の実際のサイズsz、光学系の焦点距離f、光学系の射出瞳から、被写体が無限遠に存在する場合の被写体像の結像位置までの距離EP、光学系の射出瞳から被写体までの距離(被写体距離)a、および撮像素子の撮像面で被写体像がベストピントとなる場合の光学系の射出瞳から被写体までの距離(フォーカス距離)aFDの関数として表すことができる。
次に、図2に示すように、同じ被写体100を、2つの撮像系IS1、IS2を用いて撮像した場合を想定する。第1の撮像系IS1は、被写体100からの光を集光し、第1の被写体像を形成する第1の光学系OS1と、第1の光学系OS1によって形成された第1の被写体像を撮像するための第1の撮像素子S1とを備えている。第2の撮像系IS2は、被写体100からの光を集光し、第2の被写体像を形成する第2の光学系OS2と、第2の光学系OS2によって形成された第2の被写体像を撮像するための第2の撮像素子S2とを備えている。また、図2から明らかなように、第1の撮像系IS1の第1の光学系OS1の光軸と、第2の撮像系IS2の第2の光学系OS2の光軸は、平行であるが一致していない。また、第2の光学系OS2は、第1の光学系OS1の光軸方向に対して垂直な方向に、距離Pだけ離間して配置されている。そのため、第1の光学系OS1によって形成される第1の被写体像と、第2の光学系OS2によって形成される第2の被写体像との間には、並進視差(第1の光学系OS1または第2の光学系OS2の光軸方向に対して垂直な方向の視差)が存在する。
なお、図示の構成では、第1の光学系OS1の光軸と第2の光学系OS2の光軸は平行であるが、本発明はこれに限られない。例えば、第1の光学系OS1の光軸の角度(3次元極座標の角度パラメーターθ、φ)および第2の光学系OS2の光軸の角度が互いに異なるように、第1の光学系OS1および第2の光学系OS2が配置されていてもよい。しかしながら、説明の簡略化のため、第1の光学系OS1および第2の光学系OS2は、図2に示すように、第1の光学系OS1の光軸と第2の光学系OS2の光軸が平行であるが一致せず、互いに距離Pだけ離間するよう、配置されているものとする。
第1の光学系OS1および第2の光学系OS2は、それぞれ焦点距離f、fを有する固定焦点の光学系である。第1の撮像系IS1が構成される際において、第1の光学系OS1の位置(レンズ位置)、すなわち、第1の光学系OS1と第1の撮像素子S1の離間距離は、任意の距離aFD1にある被写体100の第1の被写体像が第1の撮像素子S1の撮像面上に形成される、すなわち、任意の距離aFD1にある被写体100がベストピントとなるように調整されている。同様に、第2の撮像系IS2が構成される際において、第2の光学系OS2の位置(レンズ位置)、すなわち、第2の光学系OS2と第2の撮像素子S2の離間距離は、任意の距離aFD2にある被写体100の第2の被写体像が第2の撮像素子S2の撮像面上に形成される、すなわち、任意の距離aFD2にある被写体100がベストピントとなるように調整されている。
また、第1の光学系OS1の射出瞳から、被写体100が無限遠に存在する場合の第1の被写体像の結像位置までの距離はEPであり、第2の光学系OS2の射出瞳から、被写体100が無限遠に存在する場合の第2の被写体像の結像位置までの距離はEPである。
第1の光学系OS1および第2の光学系OS2は、第1の光学系OS1の前側主点(前側主面)と、第2の光学系OS2の前側主点(前側主面)との間に、奥行方向(光軸方向)の差(奥行視差)Dが存在するよう構成および配置されている。すなわち、第1の光学系OS1の前側主点から被写体100までの距離(被写体距離)をaとすると、第2の光学系OS2の前側主点から被写体100までの距離は、a+Dとなる。
図1を参照して説明した相似関係を利用することにより、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mは、下記式(8)で表すことができる。
Figure 2020008415
ここで、EPOD1は、第1の光学系OS1の射出瞳から、距離aに被写体100が存在する場合の第1の被写体像の結像位置までの距離であり、EPFD1は、第1の光学系OS1の射出瞳から、第1の撮像素子S1の撮像面までの距離である。これら距離EPOD1および距離EPFD1の位置関係は、第1の撮像系IS1が構成される際において、任意の距離aFD1にある被写体100がベストピントとなるように第1の光学系OS1の位置(レンズ位置)を調整することにより決定される。また、ΔbOD1は、焦点距離fと、第1の光学系OS1の後側主点から、距離aに被写体100が存在する場合の第1の被写体像の結像位置までの距離bOD1との差であり、ΔbFD1は、焦点距離fと、第1の光学系OS1の後側主点から第1の撮像素子S1の撮像面までの距離bFD1との差であり、mOD1は、距離aに被写体100が存在する場合の第1の被写体像の結像位置における第1の被写体像の倍率である。
上記式(1)、(4)および(6)が第1の光学系OS1による結像にも適用できるので、上記式(8)は、下記式(9)で表すことができる。
Figure 2020008415
ここで、aFD1は、第1の撮像素子S1の撮像面で第1の被写体像がベストピントとなる場合の第1の光学系OS1の前側主点から被写体100までの距離である。
同様に、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mは、下記式(10)で表すことができる。
Figure 2020008415
ここで、EPOD2は、第2の光学系OS2の射出瞳から、距離a+Dに被写体100が存在する場合の第2の被写体像の結像位置までの距離であり、EPFD2は、第2の光学系OS2の射出瞳から第2の撮像素子S2の撮像面までの距離である。これら距離EPOD2および距離EPFD2の位置関係は、第2の撮像系IS2が構成される際において、任意の距離aFD2にある被写体100がベストピントとなるように第2の光学系OS2の位置(レンズ位置)を調整することにより決定される。また、ΔbOD2は、焦点距離fと、第2の光学系OS2の後側主点から、距離a+Dに被写体100が存在する場合の第2の被写体像の結像位置までの距離bOD2との差であり、ΔbFD2は、焦点距離fと、第2の光学系OS2の後側主点から第2の撮像素子S2の撮像面までの距離bFD2との差であり、mOD2は、距離a+Dに被写体100が存在する場合の第2の被写体像の結像位置における第2の被写体像の倍率であり、aFD2は、第2の撮像素子S2の撮像面で第2の被写体像がベストピントとなる場合の第2の光学系OS2の前側主点から被写体100までの距離である。
したがって、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mと、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mとの像倍比MRは、下記式(11)で表すことができる。
Figure 2020008415
ここで、Kは、係数であり、第1の撮像系IS1および第2の撮像系IS2の構成により決定される固定値f、f、EP、EP、aFD1、およびaFD2から構成される下記式(12)で表される。
Figure 2020008415
上記式(11)から明らかなように、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mと、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mとの像倍比MRは、被写体100から第1の光学系OS1の前側主点までの距離aに応じて変化することがわかる。
また、上記式(11)を距離aについて解くと、被写体100までの距離aについての一般式(13)を得ることができる。
Figure 2020008415
上記式(13)中において、f、f、EP、EP、DおよびKは、第1の撮像系IS1および第2の撮像系IS2の構成および配置により決定される固定値なので、像倍比MRを得ることができれば、被写体100から第1の光学系OS1の前側主点までの距離aを算出することができる。
図3には、上記式(13)に基づいて算出された、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像の倍率mと、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像の倍率mとの像倍比MRと、被写体100までの距離aとの関係の一例が示されている。図3から明らかなように、像倍比MRの値と、被写体100までの距離aとの間には、一対一関係が成立している。
一方、像倍比MRは、下記式(14)によって算出することができる。
Figure 2020008415
ここで、szは、被写体100の実際のサイズ(高さまたは幅)、YFD1は、第1の光学系OS1によって第1の撮像素子S1の撮像面上に形成される第1の被写体像のサイズ(像高または像幅)、YFD2は、第2の光学系OS2によって第2の撮像素子S2の撮像面上に形成される第2の被写体像のサイズ(像高または像幅)である。
第1の被写体像のサイズYFD1および第2の被写体像のサイズYFD2は、第1の撮像素子S1および第2の撮像素子S2が第1の被写体像および第2の被写体像を撮像することにより取得される、第1の被写体像の画像信号および第2の被写体像の画像信号から実測することができる。そのため、実際に被写体100を第1の撮像系IS1および第2の撮像系IS2を用いて撮像することにより得られた第1の被写体像の画像信号および第2の被写体像の画像信号から、第1の被写体像のサイズYFD1および第2の被写体像のサイズYFD2を実測し、それに基づいて、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを得ることができる。
本発明の測距カメラは、上述の原理により、実測される第1の被写体像のサイズYFD1および第2の被写体像のサイズYFD2に基づいて、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出することにより、第1の光学系OS1の前側主点から被写体100までの距離aを算出する。像倍比MRに基づいて算出された被写体100までの距離aは、被写体100までの距離aの第1の候補として扱われる。
なお、上記式(11)から明らかなように、第1の光学系OS1の焦点距離fが第1の光学系OS1の焦点距離fと等しく(f=f)、第1の光学系OS1の射出瞳から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPが、第2の光学系OS2の射出瞳から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPと等しく(EP=EP)、かつ、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間の奥行方向(光軸方向)の奥行視差Dが存在しない(D=0)場合、像倍比MRが距離aの関数として成立せず、像倍比MRは定数となる。この場合、被写体100までの距離aに応じた第1の被写体像の倍率mの変化が、被写体100までの距離aに応じた第2の被写体像の倍率mの変化と同一になってしまい、像倍比MRに基づいて第1の光学系OS1から被写体までの距離aの第1の候補を算出することが不可能となる。
また、特別な条件として、f≠f、EP≠EP、かつD=0の場合であっても、f=EPかつf=EPの場合、像倍比MRが距離aの関数として成立せず、像倍比MRは定数となる。このような特別な場合にも、像倍比MRに基づいて第1の光学系OS1から被写体までの距離aの第1の候補を算出することが不可能となる。
したがって、本発明の測距カメラでは、以下の3つの条件の少なくとも1つが満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置され、これにより、被写体100までの距離aに応じた第1の被写体像の倍率mの変化が、被写体100までの距離aに応じた第2の被写体像の倍率mの変化と異なるようになっている。
(第1の条件)第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが、互いに異なる(f≠f
(第2の条件)第1の光学系OS1の射出瞳から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPと、第2の光学系OS2の射出瞳から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPとが、互いに異なる(EP≠EP
(第3の条件)第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間に奥行方向(光軸方向)の差Dが存在する(D≠0)
加えて、上記第1〜第3の条件の少なくとも1つを満たしていたとしても、上述したような特別な場合(f≠f、EP≠EP、D=0、f=EPかつf=EP)には、像倍比MRが距離aの関数として成立せず、像倍比MRに基づいて、第1の光学系OS1から被写体100までの距離aを算出することが不可能となる。したがって、像倍比MRに基づいて第1の光学系OS1から被写体100までの距離aの第1の候補を算出するために、本発明の測距カメラは、像倍比MRが距離aの関数として成立しているという第4の条件をさらに満たすよう構成されている。
そのため、本発明の測距カメラを用いて取得された第1の被写体像の画像信号および第2の被写体像の画像信号から実測される第1の被写体像のサイズYFD1および第2の被写体像のサイズYFD2から像倍比MRを算出することにより、第1の光学系OS1の前側主点から被写体100までの距離aの第1の候補を算出することができる。
また、上述のように、第2の光学系OS2は、第1の光学系OS1の光軸方向に対して垂直な方向に、距離Pだけ離間して配置されているため、第1の光学系OS1によって形成される第1の被写体像と、第2の光学系OS2によって形成される第2の被写体像との間には、並進視差(第1の光学系OS1または第2の光学系OS2の光軸方向に対して垂直な方向の視差)が存在する。そのため、本発明の測距カメラは、上述した原理を利用した像倍比MRに基づく被写体100までの距離aの第1の候補の算出とは別に、第1の被写体像と第2の被写体像との間の並進視差に基づいて、被写体100までの距離aの第2の候補を算出することが可能である。なお、第1の被写体像と第2の被写体像との間の並進視差に基づく被写体100までの距離aの第2の候補の算出は、ステレオカメラ方式の測距カメラの分野において既知の種々の方法を用いて実行することができる。
このように、本発明の測距カメラは、被写体像間の像倍比MRに基づく測距と被写体像間の並進視差に基づく測距の双方を実行可能に構成されている。背景技術の欄において述べたように、被写体像間の並進視差に基づく測距は、近距離に位置する被写体100までの距離aを測定するためには不向きであるが、サイズszの小さい被写体100および遠距離に位置する被写体100までの距離aを測定するためには適している。一方、被写体像間の像倍比MRに基づく測距は、サイズszの小さい被写体100および遠距離に位置する被写体100までの距離aを算出するためには不向きであるが、サイズszの大きい被写体100および近距離に位置する被写体100までの距離aを測定するためには適している。
このように、被写体像間の並進視差に基づく測距および被写体像間の像倍比MRに基づく測距は、それぞれ得意な領域および不得意な領域を有している。そこで、本発明の測距カメラは、被写体像間の像倍比MRに基づいて被写体100までの距離aの第1の候補を算出し、さらに、被写体像間の並進視差に基づいて被写体100までの距離aの第2の候補を算出し、所定の条件に従って、第1の候補と第2の候補のいずれか一方を被写体100までの距離aとして選択するよう構成されている。
そのため、本発明の測距カメラによれば、被写体100までの距離aの大きさおよび被写体100のサイズszに関わらず、被写体100までの距離aを正確に算出することができる。以下、上述のように被写体100までの距離aを算出する本発明の測距カメラを、添付図面に示す好適な実施形態に基づいて詳述する。
<第1実施形態>
最初に、図4〜図6を参照して本発明の測距カメラの第1実施形態を説明する。図4は、本発明の第1実施形態に係る測距カメラを概略的に示すブロック図である。図5は、被写体までの距離を固定した場合の被写体のサイズの変化に対する被写体像間の並進視差に基づく測距と被写体像間の像倍比に基づく測距の誤差の大きさ(絶対値)の変化の一例を示す図である。図6は、被写体のサイズを固定した場合の被写体までの距離の変化に対する被写体像間の並進視差に基づく測距と被写体像間の像倍比に基づく測距の誤差の大きさ(絶対値)の変化の一例を示す図である。
図4に示す測距カメラ1は、プロセッサーとメモリーを有し、測距カメラ1の制御を行う制御部2と、被写体100からの光を集光し、第1の被写体像を形成するための第1の光学系OS1と、第1の光学系OS1の光軸方向に対して垂直な方向に距離Pだけシフトして配置され、被写体100からの光を集光し、第2の被写体像を形成するための第2の光学系OS2と、第1の光学系OS1によって形成された第1の被写体像および第2の光学系OS2によって形成された第2の被写体像を撮像するための撮像部Sと、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRと、被写体100までの距離aの第1の候補とを関連付ける関連付情報を記憶している関連付情報記憶部3と、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRに基づいて、被写体100までの距離aの第1の候補を算出し、さらに、第1の被写体像と第2の被写体像との間の並進視差に基づいて、被写体100までの距離aの第2の候補を算出し、所定の条件に従って、第1の候補および第2の候補のいずれか一方を、被写体100までの距離aとして選択する距離算出部4と、撮像部Sが取得した第1の被写体像または第2の被写体像と、距離算出部4によって算出された被写体100までの距離aとに基づいて、被写体100の3次元画像を生成するための3次元画像生成部5と、液晶パネル等の任意の情報を表示するための表示部6と、使用者による操作を入力するための操作部7と、外部デバイスとの通信を実行するための通信部8と、測距カメラ1の各コンポーネント間のデータの授受を実行するためのデータバス9と、を備えている。
本実施形態の測距カメラ1は、像倍比MRに基づいて被写体100までの距離aの第1の候補を算出するために要求される上述の3つの条件の内、第1の光学系OS1の焦点距離fと、第2の光学系OS2の焦点距離fとが、互いに異なる(f≠f)という第1の条件が満たされるよう、第1の光学系OS1および第2の光学系OS2が構成されていることを特徴とする。一方、本実施形態では、第1の光学系OS1および第2の光学系OS2は、上述の3つの条件の内、その他の2つの条件(EP≠EPおよびD≠0)を満たすように構成および配置されていない。さらに、本実施形態の測距カメラ1は、像倍比MRが距離aの関数として成立しているという第4の条件が満たされるよう構成されている。
そのため、像倍比MRを用いて被写体100までの距離aを算出するための上記一般式(13)は、EP=EP=EPおよびD=0の条件により単純化され、下記式(15)で表すことができる。
Figure 2020008415
ここで、係数Kは、下記式(16)で表される。
Figure 2020008415
本実施形態の測距カメラ1は、撮像部Sによって被写体100を撮像することにより第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出し、さらに、上記式(15)を用いて、被写体100までの距離aの第1の候補を算出する。上記式(15)を用いて算出された被写体100までの距離aの第1の候補は、制御部2のメモリー内に一時保存される。
さらに、図4に示すように、第1の光学系OS1および第2の光学系OS2は、第1の光学系OS1の光軸および第2の光学系OS2の光軸が、第1の光学系OS1の光軸方向に対して垂直な方向に距離Pだけ互いに離間するよう、配置されている。そのため、第1の光学系OS1によって形成される第1の被写体像と、第2の光学系OS2によって形成される第2の被写体像との間には、並進視差(第1の光学系OS1または第2の光学系OS2の光軸方向に対して垂直な方向の視差)が存在する。本実施形態の測距カメラ1は、撮像部Sによって被写体100を撮像することにより第1の被写体像と第2の被写体像との間の並進視差を算出し、さらに、算出した並進視差に基づいて被写体100までの距離aの第2の候補を算出する。このようにして算出された被写体100までの距離aの第2の候補は、制御部2のメモリー内に一時保存される。
その後、本実施形態の測距カメラ1は、所定の条件に従って、制御部2のメモリー内に一時保存された被写体100までの距離aの第1の候補および第2の候補のいずれか一方を、被写体100までの距離aとして選択する。
以下、測距カメラ1の各コンポーネントについて詳述する。制御部2は、データバス9を介して、各コンポーネントとの間の各種データや各種指示の授受を行い、測距カメラ1の制御を実行する。制御部2は、演算処理を実行するためのプロセッサーと、測距カメラ1の制御を行うために必要なデータ、プログラム、モジュール等を保存しているメモリーとを備えており、制御部2のプロセッサーは、メモリー内に保存されているデータ、プログラム、モジュール等を用いることにより、測距カメラ1の制御を実行する。また、制御部2のプロセッサーは、測距カメラ1の各コンポーネントを用いることにより、所望の機能を提供することができる。例えば、制御部2のプロセッサーは、距離算出部4を用いることにより、撮像部Sによって撮像された第1の被写体像および第2の被写体像に基づいて、被写体100までの距離aを算出するための処理を実行することができる。
制御部2のプロセッサーは、例えば、1つ以上のマイクロプロセッサー、マイクロコンピューター、マイクロコントローラー、デジタル信号プロセッサー(DSP)、中央演算処理装置(CPU)、メモリーコントロールユニット(MCU)、画像処理用演算処理装置(GPU)、状態機械、論理回路、特定用途向け集積回路(ASIC)、またはこれらの組み合わせ等のコンピューター可読命令に基づいて信号操作等の演算処理を実行する演算ユニットである。特に、制御部2のプロセッサーは、制御部2のメモリー内に保存されているコンピューター可読命令(例えば、データ、プログラム、モジュール等)をフェッチし、演算、信号操作および制御を実行するよう構成されている。
制御部2のメモリーは、1つ以上の揮発性記憶媒体(例えば、RAM、SRAM、DRAM)、不揮発性記憶媒体(例えば、ROM、EPROM、EEPROM、フラッシュメモリー、ハードディスク、光ディスク、CD−ROM、デジタル多用途ディスク(DVD)、磁気カセット、磁気テープ、磁気ディスク)、またはこれらの組み合わせを含む着脱式または非着脱式のコンピューター可読媒体である。
第1の光学系OS1は、被写体100からの光を集光し、撮像部Sの第1の撮像素子S1の撮像面上に第1の被写体像を形成する機能を有する。第2の光学系OS2は、被写体100からの光を集光し、撮像部Sの第2の撮像素子S2の撮像面上に第2の被写体像を形成するための機能を有する。第1の光学系OS1および第2の光学系OS2は、1つ以上のレンズと絞り等の光学素子から構成されている。
上述のように、第1の光学系OS1および第2の光学系OS2は、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとが、互いに異なるよう(f≠f)、構成されている。これにより、第1の光学系OS1によって形成される第1の被写体像の倍率mの被写体100までの距離aに応じた変化が、第2の光学系OS2によって形成される第2の被写体像の倍率mの被写体100までの距離に応じた変化と異なるようになっている。このような第1の光学系OS1および第2の光学系OS2の構成によって得られる第1の被写体像の倍率mと第2の被写体像の倍率mとの比である像倍比MRは、被写体100までの距離aの第1の候補を算出するために用いられる。
また、図示のように、第1の光学系OS1の光軸と、第2の光学系OS2の光軸は、平行であるが、一致していない。さらに、第2の光学系OS2は、第1の光学系OS1の光軸方向に対して垂直な方向に距離Pだけシフトして配置されている。そのため、第1の光学系OS1によって形成される第1の被写体像と、第2の光学系OS2によって形成される被写体像との間には、並進視差が存在する。この第1の被写体像と第2の被写体像との間の並進視差は、被写体100までの距離aの第2の候補を算出するために用いられる。
撮像部Sは、第1の光学系OS1によって形成された第1の被写体像および第2の光学系OS2によって形成された第2の被写体像を撮像し、第1の被写体像の画像信号および第2の被写体像の画像信号を取得する機能を有している。本実施形態では、撮像部Sは、第1の被写体像を撮像し、第1の被写体像の画像信号を取得するための第1の撮像素子S1と、第2の被写体像を撮像し、第2の被写体像の画像信号を取得するための第2の撮像素子S2と、を備えている。
なお、図示の形態では、第1の撮像素子S1および第1の光学系OS1が、同一の筐体内に設けられており、第2の撮像素子S2および第2の光学系OS2が、別の同一の筐体内に設けられているが、本発明はこれに限られない。第1の光学系OS1、第2の光学系OS2、第1の撮像素子S1、および第2の撮像素子S2がすべて同一の筐体内に設けられているような様態も、本発明の範囲内である。
第1の撮像素子S1および第2の撮像素子S2のそれぞれは、ベイヤー配列等の任意のパターンで配列されたRGB原色系カラーフィルターやCMY補色系カラーフィルターのようなカラーフィルターを有するCMOS画像センサーやCCD画像センサー等のカラー撮像素子であってもよいし、そのようなカラーフィルターを有さない白黒撮像素子であってもよい。この場合、第1の撮像素子S1によって得られる第1の被写体像の画像信号および第2の撮像素子S2によって得られる第2の被写体像の画像信号は、被写体100のカラーまたは白黒の輝度情報である。
また、第1の撮像素子S1および第2の撮像素子S2のそれぞれは、被写体100の位相情報を取得する位相センサーであってもよい。この場合、第1の撮像素子S1によって得られる第1の被写体像の画像信号および第2の撮像素子S2によって得られる第2の被写体像の画像信号は、被写体100の位相情報である。
第1の光学系OS1によって、第1の撮像素子S1の撮像面上に第1の被写体像が形成され、第1の撮像素子S1によって第1の被写体像の画像信号が取得される。取得された第1の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。同様に、第2の光学系OS2によって、第2の撮像素子S2の撮像面上に第2の被写体像が形成され、第2の撮像素子S2によって第2の被写体像の画像信号が取得される。取得された第2の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。距離算出部4に送られた第1の被写体像の画像信号および第2の被写体像の画像信号は、被写体100までの距離aを算出するために用いられる。一方、制御部2に送られた第1の被写体像の画像信号および第2の被写体像の画像信号は、表示部6による画像表示や通信部8による画像信号の通信のために用いられる。
関連付情報記憶部3は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)と、第1の光学系OS1の前側主点から被写体100までの距離(被写体距離)aの第1の候補とを関連付ける関連付情報を記憶するための任意の不揮発性記録媒体(例えば、ハードディスク、フラッシュメモリー)である。関連付情報記憶部3に保存されている関連付情報は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)から、被写体100までの距離aの第1の候補を算出するための情報である。
典型的には、関連付情報記憶部3に保存されている関連付情報は、像倍比MRに基づいて被写体100までの距離aの第1の候補を算出するための上記式(15)(または、一般式(13))、並びに、該式中の第1の光学系OS1および第2の光学系OS2の構成および配置によって決定される上述の固定値(上記式(15)用であれば、固定値であるf、f、EP、およびK)である。代替的に、関連付情報記憶部3に保存されている関連付情報は、像倍比MRと被写体100までの距離aとを一意に対応づけたルックアップテーブルであってもよい。関連付情報記憶部3に保存されているこのような関連付情報を参照することにより、像倍比MRに基づいて被写体100までの距離aの第1の候補を算出することが可能となる。
距離算出部4は、撮像部Sによって撮像された第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRに基づいて、被写体100までの距離aの第1の候補を算出し、さらに、第1の被写体像と第2の被写体像との間の並進視差に基づいて、被写体100までの距離aの第2の候補を算出し、所定の条件に従って、第1の候補および第2の候補のいずれか一方を、被写体100までの距離aとして選択する機能を有している。
距離算出部4は、撮像部Sの第1の撮像素子S1から第1の被写体像の画像信号を受信し、さらに、撮像部Sの第2の撮像素子S2から第2の被写体像の画像信号を受信する。その後、距離算出部4は、第1の被写体像の画像信号および第2の被写体像の画像信号に対して、Cannyのようなフィルター処理を施し、第1の被写体像の画像信号内における第1の被写体像のエッジ部および第2の被写体像の画像信号内における第2の被写体像のエッジ部を抽出する。距離算出部4は、抽出した第1の被写体像のエッジ部に基づいて、第1の被写体像のサイズ(像幅または像高)YFD1を算出し、さらに、抽出した第2の被写体像のエッジ部に基づいて、第2の被写体像のサイズ(像幅または像高)YFD2を算出する。
距離算出部4が、抽出した第1の被写体像のエッジ部および第2の被写体像のエッジ部に基づいて、第1の被写体像のサイズYFD1および第2の被写体像のサイズYFD2を算出する方法は特に限定されないが、例えば、各画像信号中において、被写体像のエッジ部の最も上側にある部分と最も下側にある部分との離間距離を被写体像の像高としてもよいし、被写体像のエッジ部の最も左側にある部分と最も右側にある部分との離間距離を被写体像の像幅としてもよい。
その後、距離算出部4は、算出した第1の被写体像のサイズYFD1および第2の被写体像のサイズYFD2に基づき、上記式(14)MR=YFD2/YFD1によって、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出する。像倍比MRが算出されると、距離算出部4は、関連付情報記憶部3に保存されている関連付情報を参照し、像倍比MRに基づいて、被写体100までの距離aの第1の候補を算出する。算出された被写体100までの距離aの第1の候補は、制御部2のメモリー内に一時保存される。
被写体100までの距離aの第1の候補の算出に加えて、距離算出部4は、第1の被写体像の画像信号中における第1の被写体像の任意の特徴点(例えば、任意のエッジ部)の位置を検出し、さらに、第2の被写体像の画像信号中における第1の被写体像の任意の特徴点に対応する第2の被写体像の特徴点を検出する。第1の光学系OS1と第2の光学系OS2との間の幾何学的相対関係は、既知であるので、距離算出部4は、第1の被写体像の画像信号中の第1の被写体像の特徴点の2次元座標(xy座標)と、第2の被写体像の画像信号中の第2の被写体像の対応する特徴点の2次元座標との差から、第1の被写体像と第2の被写体像との間の並進視差を算出することができる。
距離算出部4は、第1の被写体像と第2の被写体像との間の並進視差を算出した後、算出された第1の被写体像と第2の被写体像との間の並進視差に基づいて、被写体100までの距離aの第2の候補を算出する。第1の被写体像と第2の被写体像との間の並進視差に基づいて、被写体100までの距離aの第2の候補を算出する方法は特に限定されず、本分野において既知の種々の方法を用いて、第1の被写体像と第2の被写体像との間の並進視差に基づいて、被写体100までの距離aの第2の候補を算出することができる。算出された被写体100までの距離aの第2の候補は、制御部2のメモリー内に一時保存される。
その後、距離算出部4は、所定の条件に従って、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択する。上述のように、被写体像間の並進視差に基づく測距は、近距離に位置する被写体100までの距離aを測定するためには不向きであるが、サイズszの小さい被写体100および遠距離に位置する被写体100までの距離aを測定するためには適している。一方、被写体像間の像倍比MRに基づく測距は、サイズszの小さい被写体100および遠距離に位置する被写体100までの距離aを算出するためには不向きであるが、サイズszの大きい被写体100および近距離に位置する被写体100までの距離aを測定するためには適している。
そこで、距離算出部4は、被写体100のサイズszに関する条件または被写体100までの距離aに関する条件を用いて、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択する。距離算出部4が、被写体100のサイズszに関する条件および被写体100までの距離aに関する条件のいずれを、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択するための所定の条件として用いるかは、測距カメラ1の使用用途に応じて事前に設定される。
例えば、測距カメラ1を用いて顔の3次元形状計測を実行する場合には、被写体100のサイズszに関する条件が、所定の条件として用いられる。顔の3次元形状計測を実行する際、測距カメラ1から顔全体までの距離は一定であり、顔の各パーツ(顔の輪郭、眼、鼻、口、耳等)に対する測距を実行する必要がある。この場合、顔の各パーツ(顔の輪郭、眼、鼻、口、耳等)が、測距対象の被写体100に対応する。
サイズの小さいパーツ(眼、鼻、口、耳等)に対する測距では、被写体像間の並進視差に基づいて算出され、制御部2のメモリー内に一時保存されている第2の候補が被写体100までの距離aとして選択される。サイズの大きいパーツ(顔の輪郭等)に対する測距では、被写体像間の像倍比MRに基づいて算出され、制御部2のメモリー内に一時保存されている第1の候補が被写体100までの距離aとして選択される。このような構成により、被写体100のサイズszに関わらず、被写体100までの距離aを正確に算出することができる。
一方、例えば、測距カメラ1をFA(Factory Automation)用途に用いる場合には、被写体100までの距離aに関する条件が所定の条件として用いられる。FA用途で用いられるロボットアームに測距カメラ1を用いる場合、測距カメラ1がロボットアーム内に組み込まれ、測距カメラ1によってロボットアームから、ピッキング対象の部品または製品までの距離が算出される。この場合、ピッキング対象の部品または製品が、測距対象の被写体100に対応する。
部品または製品のサイズは一定であるが、ロボットアームの姿勢や位置により、ロボットアームから部品または製品までの距離が変化する。ロボットアームから部品または製品までの距離が短い場合、被写体像間の像倍比MRに基づいて算出され、制御部2のメモリー内に一時保存されている第1の候補が被写体100までの距離aとして選択される。ロボットアームから部品または製品までの距離が長い場合、被写体像間の並進視差に基づいて算出され、制御部2のメモリー内に一時保存されている第2の候補が被写体100までの距離aとして選択される。このような構成により、被写体100までの距離aに関わらず、被写体100までの距離aを正確に算出することができる。
このように、測距カメラ1の使用用途に応じて、被写体100のサイズszに関する条件および被写体100までの距離aに関する条件のいずれを、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択するための所定の条件として用いるかが、事前に設定される。
被写体100のサイズszに関する条件に関し、図5は、被写体100までの距離aを固定とした場合(この例では、a=300mm)の被写体100のサイズszの変化に対する被写体像間の並進視差に基づく測距と被写体像間の像倍比に基づく測距の誤差の大きさ(絶対値)を示している。
なお、図5のグラフは、以下の条件により本出願の測距カメラ1を構成した場合における、像倍比に基づく測距の誤差の大きさ(絶対値)および並進視差に基づく測距の誤差の大きさの変化の一例である。
第1の光学系OS1の焦点距離f:12.4mm
第1の光学系OS1の射出瞳から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EP:34.5mm
第1の被写体像が第1の撮像素子S1上においてベストピントとなる際の第1の光学系OS1の前側主点から被写体100までの距離aFD1:458mm
第2の光学系OS2の焦点距離f:5.1mm
第2の光学系OS2の射出瞳から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EP:147.4mm
第2の被写体像が第2の撮像素子S2上においてベストピントとなる際の第2の光学系OS2の前側主点から被写体100までの距離aFD2:292mm
第1の光学系OS1の光軸と第2の光学系OS2の光軸の第1の光学系OS1の光軸方向に対しして垂直な方向の離間距離P:27mm
第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間の奥行視差D:123mm
なお、図5のグラフの条件では、第1の光学系OS1および第2の光学系OS2は、被写体像間の像倍比MRに基づいて被写体100までの距離aの第1の候補を算出するための上述の第1〜第3の条件(f≠f、EP≠EP、およびD≠0)が全て満たされるよう構成および配置されているが、図5のグラフを参照して説明される被写体像間の像倍比MRに基づく測距と被写体像間の並進視差に基づく測距との間の測距の誤差に関する関係は、上述の第1〜第3の条件(f≠f、EP≠EP、およびD≠0)に関わらず成立する。すなわち、本実施形態のように、第1の光学系OS1および第2の光学系OS2が、第1の条件(f≠f)のみを満たすよう構成されている場合であっても、後述の実施形態のように、第1の光学系OS1および第2の光学系OS2が、第2の条件(EP≠EP)または第3の条件(D≠0)のみを満たすよう構成および配置されている場合であっても、第1の光学系OS1および第2の光学系OS2が、第1〜第3の条件のうち2つまたは全てを満たすよう構成および配置されている場合であっても、図5のグラフを参照して説明される被写体像間の像倍比MRに基づく測距と被写体像間の並進視差に基づく測距との間の測距の誤差に関する関係は、成立する。この議論は、図6を参照して後述する被写体像間の像倍比MRに基づく測距と被写体像間の並進視差に基づく測距との間の測距の誤差に関する関係に対しても同様に適用可能である。
図5から明らかなように、被写体像間の像倍比MRに基づく測距の誤差の大きさを表す曲線(実線)と、被写体像間の並進視差に基づく測距の誤差の大きさを表す曲線(点線)との交点を境として、被写体像間の像倍比MRに基づく測距と被写体像間の並進視差に基づく測距のいずれがより精度が高くなるかが変化する。そのため、被写体像間の像倍比MRに基づく測距の誤差の大きさを表す曲線と、被写体像間の並進視差に基づく測距の誤差の大きさを表す曲線との交点が、距離算出部4が、第1の候補と第2の候補のいずれか一方を被写体100までの距離aとして選択するかを判別するための被写体100のサイズszに関するしきい値となる。
なお、図5中では、被写体100のサイズszが増大するにつれて被写体像間の並進視差に基づく測距の誤差が増大している。これは、被写体像間の並進視差が、被写体100のサイズszの増大に応じて減少することを意味するものではない。被写体100のサイズszが増大に伴う被写体像間の並進視差に基づく測距の誤差の増大は、第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fの差や、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間の奥行視差Dの存在に起因するものである。例えば、上述の図5のグラフの条件のように第1の光学系OS1の焦点距離fと第2の光学系OS2の焦点距離fとが互いに異なっている(f≠f)場合、第1の被写体像と第2の被写体像に同じピクセル数の誤差(像位置の変動)を与えると、焦点距離の短い光学系により形成された被写体像に対する誤差の影響よりも、焦点距離の長い光学系により形成された被写体像に対する誤差の影響のほうが大きくなる。このため、図5中では、被写体100のサイズszが増大するにつれて、被写体像間の並進視差に基づく測距の誤差が増大している。換言すれば、第1の光学系OS1と第2の光学系OS2の特性が同一であり、かつ、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間の奥行視差Dが存在しない場合には、被写体像間の並進視差に基づく測距の誤差は、被写体100のサイズszに依存せず、被写体100のサイズszに対して一定となる。
上述の測距カメラ1の構成条件の場合、被写体100のサイズszに関するしきい値は、約4mmである。このしきい値は、測距カメラ1の構成に応じて予め規定され、測距カメラ1の製造時または出荷時に、制御部2のメモリー内に書き換え不能に保存される。
被写体100のサイズszが上述のしきい値未満である場合には、被写体像間の並進視差に基づく測距の誤差の大きさは、被写体像間の像倍比MRに基づく測距の誤差の大きさよりも小さい。一方、被写体100のサイズszが上述のしきい値を超える場合には、被写体像間の像倍比MRに基づく測距の誤差の大きさは、被写体像間の並進視差に基づく測距の誤差の大きさよりも小さい。したがって、被写体100のサイズszが上述のしきい値未満である場合には、被写体像間の並進視差に基づいて算出された第2の候補を被写体100までの距離aとして選択することが好ましく、被写体100のサイズszが上述のしきい値を超える場合には、被写体像間の像倍比MRに基づいて算出された第1の候補を被写体100までの距離aとして選択することが好ましい。
また、距離算出部4によって算出され、制御部2のメモリー内に保存されている被写体100までの距離aの第1の候補および第2の候補は、暫定的な被写体100までの距離aと見なすことができる。そのため、距離算出部4は、三角形の相似関係から得られる第1の被写体像と被写体100との間の関係式(被写体100のサイズsz:第1の被写体像のサイズYFD1=被写体100までの距離aの第1の候補または第2の候補:第1の光学系OS1の後側主点から第1の撮像素子S1の撮像面までの距離bFD1)から、被写体100までの距離aの第1の候補に基づく被写体100のサイズszの第1の暫定値と、被写体100までの距離aの第2の候補に基づく被写体100のサイズszの第2の暫定値を得ることができる。
したがって、距離算出部4が、被写体100のサイズszに関する条件を、前述の所定の条件として用いるよう設定されている場合、距離算出部4は、被写体100のサイズszの第1の暫定値および第2の暫定値が上述のしきい値未満の場合、被写体像間の並進視差に基づいて算出された第2の候補を被写体100までの距離aとして選択し、被写体100のサイズszの第1の暫定値および第2の暫定値が上述のしきい値以上の場合、被写体像間の像倍比MRに基づいて算出された第1の候補を被写体100までの距離aとして選択する。
これ以外の場合、すなわち、被写体100のサイズszの第1の暫定値が上述のしきい値未満であり、被写体100のサイズszの第2の暫定値が上述のしきい値以上である場合または被写体100のサイズszの第1の暫定値が上述のしきい値以上であり、被写体100のサイズszの第2の暫定値が上述のしきい値未満である場合には、距離算出部4は、被写体100のサイズszに関する条件では、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを適切に判別することができない。この場合、距離算出部4は、被写体100のサイズszに関する条件ではなく、後述の被写体100までの距離aに関する条件を用いて、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを判別することが好ましい。
被写体100までの距離aに関する条件に関し、図6は、被写体100のサイズszを固定とした場合の(この例では、sz=80mm)被写体100までの距離aの変化に対する被写体像間の並進視差に基づく測距と被写体像間の像倍比に基づく測距の誤差の大きさ(絶対値)の変化の一例を示している。なお、図6のグラフは、上述した図5のグラフを得るために設定された測距カメラ1の構成条件と同じ条件で測距カメラ1を構成することにより得られている。
図6から明らかなように、被写体像間の像倍比MRに基づく測距の誤差の大きさを表す曲線(実線)と、被写体像間の並進視差に基づく測距の誤差の大きさを表す曲線(点線)との交点を境として、被写体像間の像倍比MRに基づく測距と被写体像間の並進視差に基づく測距のいずれがより精度が高くなるかが変化する。そのため、被写体像間の像倍比MRに基づく測距の誤差の大きさを表す曲線と、被写体像間の並進視差に基づく測距の誤差の大きさを表す曲線との交点が、距離算出部4が、第1の候補と第2の候補のいずれか一方を被写体100までの距離aとして選択するかを判別するための被写体100までの距離aに関するしきい値となる。
上述の測距カメラ1の構成条件の場合、被写体100までの距離aに関するしきい値は、約550mmである。このしきい値は、測距カメラ1の構成に応じて予め規定され、測距カメラ1の製造時または出荷時に、制御部2のメモリー内に書き換え不能に保存される。
被写体100までの距離aが上述のしきい値未満である場合には、被写体像間の像倍比MRに基づく測距の誤差の大きさは、被写体像間の並進視差に基づく測距の誤差の大きさよりも小さい。一方、被写体100までの距離aが上述のしきい値を超える場合には、被写体像間の並進視差に基づく測距の誤差の大きさは、被写体像間の像倍比MRに基づく測距の誤差の大きさよりも小さい。したがって、被写体100までの距離aが上述のしきい値未満である場合には、被写体像間の像倍比MRに基づいて算出された第1の候補を被写体100までの距離aとして選択することが好ましく、被写体100までの距離aが上述のしきい値を超える場合には、被写体像間の並進視差に基づいて算出された第2の候補を被写体100までの距離aとして選択することが好ましい。
また、上述のように、距離算出部4によって算出され、制御部2のメモリー内に保存されている被写体100までの距離aの第1の候補および第2の候補は、暫定的な被写体100までの距離aと見なすことができる。そのため、距離算出部4が、被写体100までの距離aに関する条件を、前述の所定の条件として用いるよう設定されている場合、距離算出部4は、制御部2のメモリー内に保存されている第1の候補および第2の候補に基づいて、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択する。
具体的には、距離算出部4は、制御部2のメモリー内に保存されている第1の候補および第2の候補が上述のしきい値未満の場合、被写体像間の像倍比MRに基づいて算出された第1の候補を被写体100までの距離aとして選択し、制御部2のメモリー内に保存されている第1の候補および第2の候補が上述のしきい値以上である場合、被写体像間の並進視差に基づいて算出された第2の候補を被写体100までの距離aとして選択する。
これ以外の場合、すなわち、第1の候補が上述のしきい値未満であり、第2の候補が上述のしきい値以上である場合または第1の候補が上述のしきい値以上であり、第2の候補が上述のしきい値未満である場合には、距離算出部4は、被写体100までの距離aに関する条件では、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを適切に判別することができない。この場合、距離算出部4は、被写体100までの距離aに関する条件ではなく、上述の被写体100のサイズszに関する条件を用いて、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを判別することが好ましい。
なお、距離算出部4が、被写体100のサイズszに関する条件および被写体100までの距離aに関する条件のいずれを用いても、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを判別することができない場合には、距離算出部4は、表示部6にエラーを表示し、測距カメラ1の使用者に、撮影条件を変更するよう促す。代替的に、距離算出部4は、測距カメラ1の使用者に撮影条件を変更するよう促すことなく、測距の失敗を示すコードをデータとして記録してもよい。このようなデータは、測距カメラ1の使用者によって後にチェックされ、どのような撮影条件で、被写体100までの距離aの測距に不具合が発生するかを分析するために活用される。
ここまで詳述したように、距離算出部4は、被写体100のサイズszに関する条件または被写体100までの距離aに関する条件を用いて、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択する。そのため、本発明の測距カメラ1は、被写体100までの距離aの大きさおよび被写体100のサイズszに関わらず、被写体100までの距離aを正確に算出することができる。
また、距離算出部4は、被写体100が近距離に位置する場合には、被写体像間の像倍比MRに基づいて算出された第1の候補を被写体100までの距離aとして選択する。したがって、本発明の測距カメラ1では、被写体100が近距離に位置する場合の被写体像間の並進視差を考慮する必要がないので、第1の光学系OS1および第2の光学系OS2を近接して配置することができる。そのため、従来のステレオカメラ方式のカメラと比較して、本発明の測距カメラ1を小型化することができる。
3次元画像生成部5は、距離算出部4によって算出された被写体100までの距離aおよび撮像部Sが取得した被写体100のカラーまたは白黒の輝度情報(第1の被写体像の画像信号または第2の被写体像の画像信号)に基づいて、被写体100の3次元画像を生成する機能を有している。ここで言う「被写体100の3次元画像」とは、通常の被写体100のカラーまたは白黒の輝度情報を表す2次元画像の各ピクセルに対して、算出された被写体100までの距離aが関連付けられているデータを意味する。なお、撮像部Sの第1の撮像素子S1および第2の撮像素子S2が、被写体100の位相情報を取得する位相センサーである場合には、3次元画像生成部5は省略される。
表示部6は、液晶表示部等のパネル型表示部であり、制御部2のプロセッサーからの信号に応じて、撮像部Sによって取得された被写体100のカラーまたは白黒の輝度情報または被写体100の位相情報(第1の被写体像の画像信号または第2の被写体像の画像信号)、距離算出部4によって算出された被写体100までの距離a、3次元画像生成部5によって生成された被写体100の3次元画像、測距カメラ1を操作するための情報等が文字または画像の形態で表示部6に表示される。
操作部7は、測距カメラ1の使用者が操作を実行するために用いられる。操作部7は、測距カメラ1の使用者が操作を実行することができれば特に限定されず、例えば、マウス、キーボード、テンキー、ボタン、ダイヤル、レバー、タッチパネル等を操作部7として用いることができる。操作部7は、測距カメラ1の使用者による操作に応じた信号を制御部2のプロセッサーに送信する。
通信部8は、測距カメラ1に対するデータの入力または測距カメラ1から外部デバイスへのデータの出力を行う機能を有している。通信部8は、インターネットのようなネットワークに接続可能に構成されていてもよい。この場合、測距カメラ1は、通信部8を用いることにより、外部に設けられたウェブサーバーやデータサーバーのような外部デバイスと通信を行うことができる。
このように、本実施形態の測距カメラ1は、所定の条件に従って、制御部2のメモリー内に一時保存された被写体100までの距離aの第1の候補および第2の候補のいずれか一方を、被写体100までの距離aとして選択する。そのため、本発明の測距カメラ1によれば、被写体100までの距離aの大きさおよび被写体100のサイズszに関わらず、被写体100までの距離aを正確に算出することができる。
さらに、本発明の測距カメラ1では、被写体100が近距離に位置する場合の被写体像間の並進視差を考慮する必要がないので、第1の光学系OS1および第2の光学系OS2を近接して配置することができる。そのため、従来のステレオカメラ方式のカメラと比較して、本発明の測距カメラ1を小型化することができる。
<第2実施形態>
次に、図7を参照して、本発明の第2実施形態に係る測距カメラ1について詳述する。図7は、本発明の第2実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第2実施形態の測距カメラ1について、第1実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1は、第1の光学系OS1および第2の光学系OS2の構成が変更されている点を除き、第1実施形態の測距カメラ1と同様である。
本実施形態の測距カメラ1は、像倍比MRに基づいて被写体100までの距離aの第1の候補を算出するために要求される上述の3つの条件の内、第1の光学系OS1の射出瞳から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPと、第2の光学系OS2の射出瞳から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPとが、互いに異なる(EP≠EP)という第2の条件が満たされるよう、第1の光学系OS1および第2の光学系OS2が構成されていることを特徴とする。一方、本実施形態では、第1の光学系OS1および第2の光学系OS2は、上述の3つの条件の内、その他の2つの条件(f≠fおよびD≠0)を満たすように構成および配置されていない。さらに、本実施形態の測距カメラ1は、像倍比MRが距離aの関数として成立しているという第4の条件が満たされるよう構成されている。
像倍比MRに基づいて被写体100までの距離aを算出するための上記一般式(13)は、f=f=fおよびD=0の条件により単純化され、下記式(17)で表すことができる。
Figure 2020008415
ここで、係数Kは、下記式(18)で表される。
Figure 2020008415
このように、本実施形態の測距カメラ1では、第1の光学系OS1の射出瞳から、被写体100が無限遠にある場合の第1の被写体像の結像位置までの距離EPと、第2の光学系OS2の射出瞳から、被写体100が無限遠にある場合の第2の被写体像の結像位置までの距離EPとが、互いに異なるよう(EP≠EP)、第1の光学系OS1および第2の光学系OS2が構成されており、これにより、被写体100までの距離aに対する第1の被写体像の倍率mの変化と、被写体100までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっている。そのため、本実施形態の測距カメラ1は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100までの距離aの第1の候補を一意に算出することができる。
そのため、本実施形態の測距カメラ1は、上述の第1実施形態の測距カメラ1と同様に、被写体像間の像倍比MRに基づいて被写体100までの距離aの第1の候補を算出し、さらに、被写体像間の並進視差に基づいて被写体100までの距離aの第2の候補を算出し、所定の条件に従って、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択することができる。そのため、本実施形態によっても、上述の第1の実施形態と同様の効果を発揮することができる。
<第3実施形態>
次に、図8を参照して、本発明の第3実施形態に係る測距カメラ1について詳述する。図8は、本発明の第3実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第3実施形態の測距カメラ1について、第1実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。本実施形態の測距カメラ1は、第1の光学系OS1および第2の光学系OS2の構成および配置が変更されている点を除き、第1実施形態の測距カメラ1と同様である。
本実施形態の測距カメラ1は、像倍比MRに基づいて被写体100までの距離aの第1の候補を算出するために要求される上述の3つの条件の内、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間に奥行方向(光軸方向)の差Dが存在する(D≠0)という第3の条件が満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置されていることを特徴とする。一方、本実施形態では、第1の光学系OS1および第2の光学系OS2は、上述の3つの条件の内、その他の2つの条件(f≠fおよびEP≠EP)を満たすように構成されていない。さらに、本実施形態の測距カメラ1は、像倍比MRが距離aの関数として成立しているという第4の条件が満たされるよう構成されている。
像倍比MRに基づいて被写体100までの距離aを算出するための上記一般式(13)は、f=f=fおよびEP=EP=EPの条件により単純化され、下記式(19)で表すことができる。
Figure 2020008415
ここで、係数Kは、下記式(20)で表される。
Figure 2020008415
このように、本実施形態の測距カメラ1では、第1の光学系OS1の前側主点と、第2の光学系OS2の前側主点との間に奥行方向(光軸方向)の差Dが存在するよう(D≠0)、構成および配置されており、これにより、被写体100までの距離aに対する第1の被写体像の倍率mの変化と、被写体100までの距離aに対する第2の被写体像の倍率mの変化とが、互いに異なるようになっている。そのため、本実施形態の測距カメラ1は、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MR(m/m)に基づいて、被写体100までの距離aの第1の候補を一意に算出することができる。
そのため、本実施形態の測距カメラ1は、上述の第1実施形態の測距カメラ1と同様に、被写体像間の像倍比MRに基づいて被写体100までの距離aの第1の候補を算出し、さらに、被写体像間の並進視差に基づいて被写体100までの距離aの第2の候補を算出し、所定の条件に従って、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択することができる。そのため、本実施形態によっても、上述の第1の実施形態と同様の効果を発揮することができる。
<第4実施形態>
次に、図9を参照して、本発明の第4実施形態に係る測距カメラ1について詳述する。図9は、本発明の第4実施形態に係る測距カメラを概略的に示すブロック図である。
以下、第4実施形態の測距カメラ1について、第1実施形態から第3実施形態の測距カメラ1との相違点を中心に説明し、同様の事項については、その説明を省略する。第4実施形態の測距カメラ1は、撮像部Sが第2の撮像素子S2のみから構成されている点、第1の光学系OS1および第2の光学系OS2が同一の筐体内に設けられている点、第1の被写体像を形成する光の波長を制限する第1の波長選択素子WS1が第1の被写体像を形成する光の光路上に設けられている点、および第2の被写体像を形成する光の波長を制限する第2の波長選択素子WS2が第2の被写体像を形成する光の光路上に設けられている点、第2の撮像素子S2がカラー撮像素子に限定される点を除き、第1実施形態の測距カメラ1と同様である。
本実施形態では、第1の光学系OS1および第2の光学系OS2は、像倍比MRに基づいて被写体100までの距離aの第1の候補を算出するために要求される上述の第1の条件から第3の条件の少なくとも1つ、並びに、像倍比MRが距離aの関数として成立しているという第4の条件が満たされるよう構成されている。すなわち、本実施形態の第1の光学系OS1および第2の光学系OS2は、上述した第1実施形態から第3実施形態の第1の光学系OS1および第2の光学系OS2のいずれか1つ、または、それらの組み合わせと同様に構成されている。
また、図9に示すように、本実施形態では、第1の光学系OS1および第2の光学系OS2が同一筐体内に配置されている。また、第1の光学系OS1によって集光され、第1の被写体像を形成する光の光路上に、第1の波長選択素子WS1が設けられている。さらに、第2の光学系OS2によって集光され、第2の被写体像を形成する光の光路上に、第2の波長選択素子WS2が設けられている。
本実施形態において、第1の波長選択素子WS1は、波長選択プレート型ミラーであり、特定の波長帯域の光のみを選択的に反射する機能を有する。第2の波長選択素子WS2は、波長選択プリズム型ミラーであり、プリズムの一方の側から入射した光の波長帯域を制限し、制限された波長帯域の光のみを選択的に通過させる機能、および、プリズムの他方の側から入射した光を反射する機能を有している。第1の波長選択素子WS1および第2の波長選択素子WS2は、第1の波長選択素子WS1によって制限された光の波長帯域と、第2の波長選択素子WS2によって制限された光の波長帯域とが異なるよう、構成されている。
第1の光学系OS1によって集光された被写体100からの光は、第1の波長選択素子WS1(波長選択プレート型ミラー)によって反射される。この際、第1の光学系OS1によって集光された光の波長帯域は、第1の波長選択素子WS1によって制限される。その後、第1の波長選択素子WS1によって反射された光は、第2の波長選択素子WS2(波長選択プリズム型ミラー)によって反射され、第2の撮像素子S2の撮像面に到達する。これにより、第1の被写体像が、第2の撮像素子S2の撮像面上に形成される。なお、第2の波長選択素子WS2は、第1の被写体像を形成する光が第2の波長選択素子WS2で反射される際、第1の被写体像を形成する光の波長帯域をさらに制限するよう構成されていてもよいし、さらに制限しないよう構成されていてもよい。
一方、第2の光学系OS2によって集光された被写体100からの光は、第2の波長選択素子WS2(波長選択プリズム型ミラー)を通過する。この際、第2の光学系OS2によって集光された光の波長帯域は、第2の波長選択素子WS2によって制限される。その後、第2の波長選択素子WS2を通過した光は、第2の撮像素子S2の撮像面に到達する。これにより、第2の被写体像が、第2の撮像素子S2の撮像面上に形成される。
したがって、本実施形態においては、第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方が、第2の撮像素子S2の撮像面上に形成される。さらに、上述のように、第1の波長選択素子WS1によって制限された光の波長帯域と、第2の波長選択素子WS2によって制限された光の波長帯域とは異なるため、第1の被写体像を形成する光の波長帯域と、第2の被写体像を形成する光の波長帯域は互いに異なったものとなる。
本実施形態において、第2の撮像素子S2は、ベイヤー配列のような任意のパターンで配列されたRGB原色系カラーフィルターやCMY補色系カラーフィルターのようなカラーフィルターを有するカラー撮像素子である。第1の波長選択素子WS1によって制限された光の波長帯域は、第2の撮像素子S2が有する複数のカラーフィルターのいずれか1つに対応しており、第2の波長選択素子WS2によって制限された光の波長帯域は、第2の撮像素子S2が有する複数のカラーフィルターの異なる1つに対応している。
これにより、第2の撮像素子S2によって取得される各カラーフィルターに対応する画像信号(例えば、赤色画像信号、緑色画像信号、および青色画像信号)のいずれか1つが、第1の被写体像の画像信号に対応し、異なる1つが第2の被写体像の画像信号に対応する。そのため、第2の撮像素子S2は、第1の被写体像の画像信号と第2の被写体像の画像信号を分離して同時取得することができる。
例えば、第1の波長選択素子WS1によって制限された光の波長帯域が、第2の撮像素子S2が有する複数のカラーフィルターの赤カラーフィルターの透過波長帯域に対応している場合、第2の撮像素子S2によって取得される赤色画像信号が、第1の被写体像の画像信号となる。一方、第2の波長選択素子WS2によって制限された光の波長帯域が、第2の撮像素子S2が有する複数のカラーフィルターの緑カラーフィルターの透過波長帯域に対応している場合、第2の撮像素子S2によって取得される緑色画像信号が、第2の被写体像の画像信号となる。
このような態様により、撮像部Sを、第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方を撮像する単一のカラー撮像素子(第2の撮像素子S2)で構成することができる。そのため、測距カメラ1の小型化および低コスト化を実現することができる。
なお、本実施形態では、第1の波長選択素子WS1として波長選択プレート型ミラーを用い、さらに、第2の波長選択素子WS2として波長選択プリズム型ミラーを用いたが、本発明はこれに限られない。第1の波長選択素子WS1および第2の波長選択素子WS2は、それぞれ、第1の被写体像を形成する光の波長帯域と第2の被写体像を形成する光の波長待機を制限することができれば如何なる態様であってもよい。例えば、第1の波長選択素子WS1として第1の光学系OS1の前側または後側に設けられた波長選択フィルターまたは波長選択機能を有する任意の光学部品を用い、さらに、第2の波長選択素子WS2として第2の光学系OS2の前側または後側に設けられた波長選択フィルターまたは波長選択機能を有する任意の光学部品を用いてもよい。この場合、本実施形態の第1の波長選択素子WS1が配置されている箇所に通常のミラーが配置され、第2の波長選択素子WS2が配置されている箇所に通常のプリズム型ミラーが配置される。
また、本実施形態では、第1の波長選択素子WS1および第2の波長選択素子WS2を用いて、単一の撮像素子(第2の撮像素子S2)が第1の光学系OS1によって形成される第1の被写体像および第2の光学系OS2によって形成される第2の被写体像の双方を撮像することを可能としたが、本発明はこれに限られない。例えば、第1の光学系OS1および第2の光学系OS2のそれぞれの前側にシャッターが設けられ、第1の光学系OS1の前方に設けられたシャッターと第2の光学系OS2の前方に設けられたシャッターが交互に開かれることによって、単一の撮像素子(第2の撮像素子S2)が第1の被写体像および第2の被写体像の双方を個別に撮像するような態様も本発明の範囲内である。この場合、撮像素子S(第2の撮像素子S2)は、位相センサーであってもよい。
ここまで各実施形態を参照して詳述したように、本発明の測距カメラ1は、所定の条件に従って、制御部2のメモリー内に一時保存された被写体100までの距離aの第1の候補および第2の候補のいずれか一方を、被写体100までの距離aとして選択する。そのため、本発明の測距カメラ1によれば、被写体100までの距離aの大きさおよび被写体100のサイズszに関わらず、被写体100までの距離aを正確に算出することができる。
また、上記各実施形態では、第1の光学系OS1および第2の光学系OS2の2つの光学系が用いられているが、用いられる光学系の数はこれに限られない。例えば、第1の光学系OS1および第2の光学系OS2に加え、追加的な光学系をさらに備えるような態様もまた本発明の範囲内である。この場合、追加的な光学系は、追加的な光学系によって形成される被写体像の倍率の被写体100までの距離aに対する変化が、第1の被写体像の倍率mの被写体までの距離aに対する変化および第2の被写体像の倍率mの被写体までの距離aに対する変化と異なるように構成および配置されている。さらに、追加的な光学系は、追加的な光学系によって形成される被写体像と、第1の被写体像および第2の被写体像との間に並進視差が存在するように、第1の光学系OS1および第2の光学系OS2に対して、第1の光学系OS1または第2の光学系OS2の光軸方向に対して垂直な方向にシフトして配置される。
なお、上述した第1〜第3実施形態は、像倍比MRに基づいて被写体100までの距離aの第1の候補を算出するために要求される上述の3つの条件の内のいずれか1つを満たすよう第1の光学系OS1および第2の光学系OS2が構成および配置されているが、上述の3つの条件の内の少なくとも1つが満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置されていれば、本発明はこれに限られない。例えば、上述の3つの条件の内の全てまたは任意の組み合わせが満たされるよう、第1の光学系OS1および第2の光学系OS2が構成および配置されている態様も、本発明の範囲内である。
<測距方法>
次に図10を参照して、本発明の測距カメラ1によって実行される測距方法について説明する。図10は、本発明の測距カメラによって実行される測距方法を説明するためのフローチャートである。なお、以下に詳述する測距方法は、上述した本発明の第1〜第4実施形態に係る測距カメラ1および測距カメラ1と同等の機能を有する任意の装置を用いて実行することができるが、第1実施形態に係る測距カメラ1を用いて実行されるものとして説明する。
図10に示す測距方法S100は、測距カメラ1の使用者が操作部7を用いて、被写体100までの距離aを測定するための操作を実行することにより開始される。工程S101において、撮像部Sの第1の撮像素子S1によって、第1の光学系OS1によって形成された第1の被写体像が撮像され、第1の被写体像の画像信号が取得される。第1の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。工程S102において、距離算出部4は、受信した第1の被写体像の画像信号から、第1の被写体像のサイズ(像高または像幅)YFD1を算出する。
一方、工程S103において、撮像部Sの第2の撮像素子S2によって、第2の光学系OS2によって形成された第2の被写体像が撮像され、第2の被写体像の画像信号が取得される。第2の被写体像の画像信号は、データバス9を介して、制御部2や距離算出部4に送られる。工程S104において、距離算出部4は、受信した第2の被写体像の画像信号から、第2の被写体像のサイズ(像高または像幅)YFD2を算出する。
なお、工程S101および工程S102における第1の被写体像の画像信号の取得と第1の被写体像のサイズYFD1の算出は、工程S103および工程S104における第2の被写体像の画像信号の取得と第2の被写体像のサイズYFD2の算出と同時に実行されてもよいし、別々に実行されてもよい。
第1の被写体像のサイズYFD1および第2の被写体像のサイズYFD2の双方が算出されると、処理は、工程S105に移行する。工程S105において、距離算出部4は、第1の被写体像のサイズYFD1および第2の被写体像のサイズYFD2から、上記式(14)MR=YFD2/YFD1に基づいて、第1の被写体像の倍率mと第2の被写体像の倍率mとの像倍比MRを算出する。
次に、工程S106において、距離算出部4は、関連付情報記憶部3に保存されている関連付情報を参照し、算出した像倍比MRに基づいて、被写体100までの距離aの第1の候補を算出する。算出された被写体100までの距離aの第1の候補は、制御部2のメモリー内に一時保存される。
一方、上述の被写体100までの距離aの第1の候補の算出と同時または別々に、距離算出部4は、工程S107およびS108において、被写体100までの距離aの第2の候補を算出する。工程S101における第1の被写体像の撮影および工程S103における第2の被写体像の撮影の後、距離算出部4は、工程S107において、第1の被写体像の画像信号中における第1の被写体像の任意の特徴点の位置を検出し、さらに、第2の被写体像の画像信号中における第1の被写体像の任意の特徴点に対応する第2の被写体像の特徴点を検出する。第1の光学系OS1と第2の光学系OS2との間の幾何学的相対関係は、既知であるので、距離算出部4は、第1の被写体像の画像信号中の第1の被写体像の特徴点の2次元座標と、第2の被写体像の画像信号中の第2の被写体像の対応する特徴点の2次元座標との差から、第1の被写体像と第2の被写体像との間の並進視差を算出する。
その後、工程S108において、距離算出部4は、算出された第1の被写体像と第2の被写体像との間の並進視差に基づいて、被写体100までの距離aの第2の候補を算出する。算出された被写体100までの距離aの第2の候補は、制御部2のメモリー内に一時保存される。
工程S106における被写体100までの距離aの第1の候補の算出と、工程S108における被写体100までの距離aの第2の候補の算出の双方が終了すると、処理は、工程S109に移行する。工程S109において、距離算出部4は、所定の条件に従って、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択する。
より具体的には、距離算出部4は、被写体100のサイズszに関する条件または被写体100までの距離aに関する条件を用いて、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択する。
距離算出部4が、被写体100のサイズszに関する条件を、所定の条件として用いるよう設定されている場合、距離算出部4は、上述の三角形の相似関係から得られる第1の被写体像と被写体100との間の関係式に基づいて、被写体100までの距離aの第1の候補に基づいて取得された被写体100のサイズszの第1の暫定値および被写体100までの距離aの第2の候補に基づいて取得された被写体100のサイズszの第2の暫定値を算出する。その後、距離算出部4は、被写体100のサイズszの第1の暫定値および第2の暫定値に基づいて、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択するかを判別する。
具体的には、距離算出部4は、被写体100のサイズszの第1の暫定値および第2の暫定値が、制御部2のメモリー内に保存されている被写体100のサイズszに関する所定のしきい値未満の場合、被写体像間の並進視差に基づいて算出された第2の候補を被写体100までの距離aとして選択し、被写体100のサイズszの第1の暫定値および第2の暫定値が、制御部2のメモリー内に保存されている被写体100のサイズszに関する所定のしきい値以上の場合、被写体像間の像倍比MRに基づいて算出された第1の候補を被写体100までの距離aとして選択する。
これ以外の場合、すなわち、被写体100のサイズszの第1の暫定値が上述のしきい値未満であり、被写体100のサイズszの第2の暫定値が上述のしきい値以上である場合または被写体100のサイズszの第1の暫定値が上述のしきい値以上であり、被写体100のサイズszの第2の暫定値が上述のしきい値未満である場合には、距離算出部4は、被写体100のサイズszに関する条件では、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを適切に判別することができない。この場合、距離算出部4は、被写体100のサイズszに関する条件ではなく、被写体100までの距離aに関する条件を用いて、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを判別する。なお、被写体100のサイズszに関する所定のしきい値は、測距カメラ1の構成に応じて予め規定され、測距カメラ1の製造時または出荷時に、制御部2のメモリー内に書き換え不能に保存されている。
一方、距離算出部4が、被写体100までの距離aに関する条件を、前述の所定の条件として用いるよう設定されている場合、距離算出部4は、制御部2のメモリー内に保存されている第1の候補および第2の候補に基づいて、第1の候補および第2の候補のいずれかを被写体100までの距離aとして選択する。
具体的には、距離算出部4は、制御部2のメモリー内に保存されている第1の候補および第2の候補が、制御部2のメモリー内に保存されている被写体100までの距離aに関するしきい値未満の場合、被写体像間の像倍比MRに基づいて算出された第1の候補を被写体100までの距離aとして選択し、制御部2のメモリー内に保存されている第1の候補および第2の候補が、制御部2のメモリー内に保存されている被写体100までの距離aに関するしきい値以上である場合、被写体像間の並進視差に基づいて算出された第2の候補を被写体100までの距離aとして選択する。
これ以外の場合、すなわち、第1の候補が、制御部2のメモリー内に保存されている被写体100までの距離aに関するしきい値未満であり、第2の候補が、制御部2のメモリー内に保存されている被写体100までの距離aに関するしきい値以上である場合、または、第1の候補が、制御部2のメモリー内に保存されている被写体100までの距離aに関するしきい値以上であり、第2の候補が、制御部2のメモリー内に保存されている被写体100までの距離aに関するしきい値未満である場合には、距離算出部4は、被写体100までの距離aに関する条件では、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを適切に判別することができない。この場合、距離算出部4は、被写体100までの距離aに関する条件ではなく、上述の被写体100のサイズszに関する条件を用いて、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを判別する。なお、被写体100までの距離aに関するしきい値は、測距カメラ1の構成に応じて予め規定され、測距カメラ1の製造時または出荷時に、制御部2のメモリー内に書き換え不能に保存されている。
なお、距離算出部4が、被写体100のサイズszに関する条件および被写体100までの距離aに関する条件のいずれを用いても、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを判別することができない場合には、距離算出部4は、表示部6にエラーを表示し、測距カメラ1の使用者に、撮影条件を変更するよう促す。代替的に、距離算出部4は、測距カメラ1の使用者に撮影条件を変更するよう促すことなく、測距の失敗を示すコードをデータとして記録してもよい。このように、被写体100のサイズszに関する条件および被写体100までの距離aに関する条件のいずれを用いても、第1の候補および第2の候補のいずれを被写体100までの距離aとして選択するかを判別することができない場合、測距方法S100は終了する。
工程S109において、距離算出部4が、第1の候補および第2の候補のいずれか一方を被写体100までの距離aとして選択すると、処理は、工程S110に移行する。工程S110において、3次元画像生成部5が、距離算出部4によって算出された被写体100までの距離aおよび撮像部Sが取得した被写体100のカラーまたは白黒の輝度情報(第1の被写体像の画像信号または第2の被写体像の画像信号)に基づいて、被写体100の3次元画像を生成する。なお、撮像部Sの第1の撮像素子S1および第2の撮像素子S2が、被写体100の位相情報を取得する位相センサーである場合には、工程S110は省略される。
その後、ここまでの工程において取得された被写体のカラー若しくは白黒の輝度情報または位相情報、被写体100までの距離a、および/または被写体100の3次元画像が、表示部6に表示され、または通信部8によって外部デバイスに送信され、測距方法S100は終了する。
以上、本発明の測距カメラを図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。本発明の各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、本発明の各構成に任意の構成のものを付加することができる。
本発明の属する分野および技術における当業者であれば、本発明の原理、考え方、および範囲から有意に逸脱することなく、記述された本発明の測距カメラの構成の変更を実行可能であろうし、変更された構成を有する測距カメラもまた、本発明の範囲内である。例えば、第1実施形態から第4実施形態の測距カメラを任意に組み合わせた態様も、本発明の範囲内である。
また、図4および図7〜図9に示された測距カメラのコンポーネントの数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意のコンポーネントが追加若しくは組み合わされ、または任意のコンポーネントが削除された態様も、本発明の範囲内である。また、測距カメラの各コンポーネントは、ハードウェア的に実現されていてもよいし、ソフトウェア的に実現されていてもよいし、これらの組み合わせによって実現されていてもよい。
また、図10に示された測距方法S100の工程の数や種類は、説明のための例示にすぎず、本発明は必ずしもこれに限られない。本発明の原理および意図から逸脱しない範囲において、任意の工程が、任意の目的で追加若しくは組み合され、または、任意の工程が削除される態様も、本発明の範囲内である。
1…測距カメラ 2…制御部 3…関連付情報記憶部 4…距離算出部 5…3次元画像生成部 6…表示部 7…操作部 8…通信部 9…データバス 100…被写体 EP、EP、EP…光学系の射出瞳から、被写体が無限遠にある場合の被写体像の結像位置までの距離 EPOD…光学系の射出瞳から、任意の距離に被写体が存在する場合の被写体像の結像位置までの距離 EPFD…光学系の射出瞳から、撮像素子の撮像面までの距離 IS1…第1の撮像系 IS2…第2の撮像系 OS1…第1の光学系 OS2…第2の光学系 S…撮像部 S1…第1の撮像素子 S2…第2の撮像素子 P…第1の光学系の光軸と第2の光学系の光軸との間の第1の光学系の光軸方向に対して垂直な方向の離間距離 WS1…第1の波長選択素子 WS2…第2の波長選択素子 S100…測距方法 S101、S102、S103、S104、S105、S106、S107、S108、S109、S110…工程 a…被写体までの距離 D…奥行視差 bFD…光学系の後側主点から撮像素子の撮像面までの距離 bOD…光学系の後側主点から、任意の距離に被写体が存在する場合の被写体像の結像位置までの距離 f…焦点距離 f…第1の光学系の焦点距離 f…第2の光学系の焦点距離 YFD…撮像素子の撮像面における被写体像のサイズ YOD…被写体像の結像位置における被写体像のサイズ ΔbOD…焦点距離fと距離bODとの差 ΔbFD…焦点距離fと距離bFDとの差

Claims (8)

  1. 被写体からの光を集光し、第1の被写体像を形成するための第1の光学系と、
    前記第1の光学系に対して、前記第1の光学系の光軸方向に対して垂直な方向にシフトして配置され、前記被写体からの前記光を集光し、第2の被写体像を形成するための第2の光学系と、
    前記第1の光学系によって形成された前記第1の被写体像および前記第2の光学系によって形成された前記第2の被写体像を撮像するための撮像部と、
    前記撮像部によって撮像された前記第1の被写体像の倍率と前記第2の被写体像の倍率との像倍比に基づいて、前記被写体までの距離の第1の候補を算出し、さらに、前記第1の被写体像と前記第2の被写体像との間の並進視差に基づいて、前記被写体までの前記距離の第2の候補を算出するための距離算出部と、を備え、
    前記距離算出部は、所定の条件に従って、前記第1の候補および前記第2の候補のいずれか一方を、前記被写体までの前記距離として選択することを特徴とする測距カメラ。
  2. 前記距離算出部は、前記被写体のサイズが所定のしきい値未満である場合、前記並進視差に基づいて算出された前記第2の候補を前記被写体までの前記距離として選択し、前記被写体の前記サイズが前記所定のしきい値以上である場合、前記像倍比に基づいて算出された前記第1の候補を前記被写体までの前記距離として選択する請求項1に記載の測距カメラ。
  3. 前記距離算出部は、前記第1の候補および前記第2の候補が所定のしきい値未満である場合、前記像倍比に基づいて算出された前記第1の候補を前記被写体までの前記距離として選択し、前記第1の候補および前記第2の候補が前記所定のしきい値以上である場合、前記並進視差に基づいて算出された前記第2の候補を前記被写体までの前記距離として選択する請求項1に記載の測距カメラ。
  4. 前記第1の光学系および前記第2の光学系は、前記被写体からの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体からの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるように構成されている請求項1ないし3のいずれかに記載の測距カメラ。
  5. 前記第1の光学系および前記第2の光学系は、前記第1の光学系の焦点距離と、前記第2の光学系の焦点距離とが、互いに異なるよう構成されており、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の前記変化と異なるようになっている請求項4に記載の測距カメラ。
  6. 前記第1の光学系および前記第2の光学系は、前記第1の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第1の光学系によって形成される前記第1の被写体像の結像位置までの距離と、前記第2の光学系の射出瞳から、前記被写体が無限遠に存在する場合の前記第2の光学系によって形成される前記第2の被写体像の結像位置までの距離とが異なるように構成されており、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の前記変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の前記変化と異なるようになっている請求項4または5に記載の測距カメラ。
  7. 前記第1の光学系の前側主点と前記第2の光学系の前側主点との間に、前記第1の光学系の前記光軸方向の奥行視差が存在し、これにより、前記被写体までの前記距離に応じた前記第1の被写体像の前記倍率の変化が、前記被写体までの前記距離に応じた前記第2の被写体像の前記倍率の変化と異なるようになっている請求項4ないし6のいずれかに記載の測距カメラ。
  8. 前記撮像部は、前記第1の被写体像を撮像するための第1の撮像素子と、前記第2の被写体像を撮像するための第2の撮像素子とを含む請求項1ないし7のいずれかに記載の測距カメラ。
JP2018129387A 2018-07-06 2018-07-06 測距カメラ Active JP7121269B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018129387A JP7121269B2 (ja) 2018-07-06 2018-07-06 測距カメラ
CN201980042012.1A CN112368544B (zh) 2018-07-06 2019-06-13 测距摄像机
PCT/JP2019/023487 WO2020008832A1 (ja) 2018-07-06 2019-06-13 測距カメラ
US17/258,131 US11410321B2 (en) 2018-07-06 2019-06-13 Distance measuring camera
EP19831107.8A EP3819588A4 (en) 2018-07-06 2019-06-13 DISTANCE MEASURING CAMERA

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018129387A JP7121269B2 (ja) 2018-07-06 2018-07-06 測距カメラ

Publications (2)

Publication Number Publication Date
JP2020008415A true JP2020008415A (ja) 2020-01-16
JP7121269B2 JP7121269B2 (ja) 2022-08-18

Family

ID=69060048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018129387A Active JP7121269B2 (ja) 2018-07-06 2018-07-06 測距カメラ

Country Status (5)

Country Link
US (1) US11410321B2 (ja)
EP (1) EP3819588A4 (ja)
JP (1) JP7121269B2 (ja)
CN (1) CN112368544B (ja)
WO (1) WO2020008832A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7104301B2 (ja) 2018-03-19 2022-07-21 ミツミ電機株式会社 測距カメラ
TWI728696B (zh) * 2020-02-13 2021-05-21 日商泰克霍隆公司 距離測定裝置
US11968353B2 (en) * 2021-04-05 2024-04-23 Acumera, Inc. Camera health determination based on local analysis of scene information content

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03200007A (ja) * 1989-12-28 1991-09-02 Nippon Telegr & Teleph Corp <Ntt> ステレオ計測装置
JP2001141422A (ja) * 1999-11-10 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2015005200A (ja) * 2013-06-21 2015-01-08 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
WO2016063545A1 (ja) * 2014-10-24 2016-04-28 京セラ株式会社 ステレオカメラ装置及びステレオカメラ装置を備える車両
WO2018042801A1 (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2095756C1 (ru) * 1992-04-16 1997-11-10 Сергей Александрович Елманов Способ определения расстояния до объекта при помощи оптического прибора
JP3200007B2 (ja) 1996-03-26 2001-08-20 シャープ株式会社 光結合器及びその製造方法
RU2340872C1 (ru) 2007-05-02 2008-12-10 Институт мониторинга климатических и экологических систем Моностатический способ определения расстояния до объекта, его направления и скорости движения
JP5489897B2 (ja) * 2010-07-22 2014-05-14 パナソニック株式会社 ステレオ測距装置及びステレオ測距方法
JP7104294B2 (ja) 2017-12-18 2022-07-21 ミツミ電機株式会社 測距カメラ
JP7157303B2 (ja) * 2018-02-01 2022-10-20 ミツミ電機株式会社 認証装置
EP3825649A4 (en) * 2018-07-18 2022-04-20 Mitsumi Electric Co., Ltd. DISTANCE CAMERA
JP7132501B2 (ja) * 2018-11-01 2022-09-07 ミツミ電機株式会社 測距カメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03200007A (ja) * 1989-12-28 1991-09-02 Nippon Telegr & Teleph Corp <Ntt> ステレオ計測装置
JP2001141422A (ja) * 1999-11-10 2001-05-25 Fuji Photo Film Co Ltd 画像撮像装置及び画像処理装置
JP2015005200A (ja) * 2013-06-21 2015-01-08 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体
WO2016063545A1 (ja) * 2014-10-24 2016-04-28 京セラ株式会社 ステレオカメラ装置及びステレオカメラ装置を備える車両
WO2018042801A1 (ja) * 2016-09-01 2018-03-08 ソニーセミコンダクタソリューションズ株式会社 撮像装置

Also Published As

Publication number Publication date
EP3819588A4 (en) 2021-11-24
CN112368544B (zh) 2022-11-04
US20210279901A1 (en) 2021-09-09
US11410321B2 (en) 2022-08-09
JP7121269B2 (ja) 2022-08-18
EP3819588A1 (en) 2021-05-12
CN112368544A (zh) 2021-02-12
WO2020008832A1 (ja) 2020-01-09

Similar Documents

Publication Publication Date Title
JP4852591B2 (ja) 立体画像処理装置、方法及び記録媒体並びに立体撮像装置
JP4894939B2 (ja) 撮像装置、表示方法、および、プログラム
JP5712519B2 (ja) 撮像装置および撮像方法
JP7104294B2 (ja) 測距カメラ
WO2020008832A1 (ja) 測距カメラ
JP2019032295A (ja) 測距カメラ
JP7288226B2 (ja) 測距カメラ
CN111868474B (zh) 测距摄像机
CN112585423B (zh) 测距摄像机
WO2020017377A1 (ja) 測距カメラ
JP2019168479A (ja) 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
JP2014194502A (ja) 撮像装置および撮像システム
JP7328589B2 (ja) 測距カメラ
JP2016099432A (ja) 焦点検出装置及び方法、プログラム、記憶媒体
CN113424020B (zh) 测距摄像机
CN112424566B (zh) 测距摄像机
JP6257201B2 (ja) 焦点検出装置、その制御方法、および制御プログラム、並びに撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R150 Certificate of patent or registration of utility model

Ref document number: 7121269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150