JP2023065092A - 測距装置、画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】画像から測定される距離の精度を向上させることが可能な測距装置、画像処理装置、方法及びプログラムを提供することにある。【解決手段】実施形態に係る測距装置は、格納手段と、第１取得手段と、第２取得手段と、第３取得手段と、第１変換手段とを具備する。格納手段は、第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する。第１取得手段は、撮像部によって撮像された第２画像を取得する。第２取得手段は、第２画像が撮像された際のピント位置に関するピント位置情報を取得する。第３取得手段は、第２画像を統計モデルに入力することによって当該統計モデルから出力される第２画像中の被写体に生じるぼけを示すぼけ値を取得する。第１変換手段は、ピント位置情報に基づいてぼけ値を被写体までの距離に変換する。【選択図】図１

Description

本発明の実施形態は、測距装置、画像処理装置、方法及びプログラムに関する。

一般的に、被写体までの距離を測定（取得）するために、２つの撮像装置（カメラ）やステレオカメラ（複眼のカメラ）で撮像された画像を用いることが知られていたが、近年では、１つの撮像装置（単眼のカメラ）で撮像された画像を用いて被写体までの距離を測定する技術が開示されている。

しかしながら、１つの撮像装置で撮像された画像から被写体までの距離（被写体と撮像装置との間の実距離）を測定する場合には、当該距離の精度が低い場合がある。

特開２０２１－０４３１１５号公報

そこで、本発明が解決しようとする課題は、画像を用いて測定される距離の精度を向上させることが可能な測距装置、画像処理装置、方法及びプログラムを提供することにある。

実施形態によれば、撮像部を備える測距装置が提供される。前記測距装置は、格納手段と、第１取得手段と、第２取得手段と、第３取得手段と、第１変換手段とを具備する。前記格納手段は、前記撮像部の光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する。前記第１取得手段は、前記撮像部によって撮像された第２画像であって、当該撮像部の光学系の収差の影響を受けた第２画像を取得する。前記第２取得手段は、前記第２画像が撮像された際のピント位置に関するピント位置情報を取得する。前記第３取得手段は、前記取得された第２画像を前記統計モデルに入力することによって当該統計モデルから出力される当該第２画像中の被写体に生じるぼけを示すぼけ値を取得する。前記第１変換手段は、前記取得されたピント位置情報に基づいて、前記取得されたぼけ値を前記被写体までの距離に変換する。

実施形態に係る測距装置の構成の一例を示す図。 測距装置のシステム構成の一例を示す図。 測距装置の動作の概要について説明するための図。 単レンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示す図。 色消しレンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示す図。 撮像部の光学系に備えられている絞り機構の開口部の大きさとＰＳＦ形状との関係性を示す図。 各チャンネルの画像に生じるＰＳＦ形状の一例を示す図。 各チャンネルの画像に生じるＰＳＦ形状の別の例を示す図。 画像中の各位置に生じるＰＳＦ形状の一例を示す図。 レンズの種別に応じたＰＳＦ形状の位置依存性について具体的に説明するための図。 ＰＳＦ形状の非線形性と絞り機構の開口部の形状との関係を表す図。 画像からぼけを推定する第１方式を説明するための図。 第１方式において統計モデルに入力される情報の一例を示す図。 画像からぼけを推定する第２方式を説明するための図。 第２方式において統計モデルに入力される情報の一例を示す図。 画像からぼけを推定する第３方式を説明するための図。 画像に生じるぼけと当該画像中の被写体までの距離との相関について具体的に説明するための図。 統計モデルの学習処理の一例を示す図。 統計モデルの学習処理の処理手順の一例を示すフローチャート。 被写体までの距離を測定する際の測距装置の処理手順の一例を示すシーケンスチャート。 ピント位置情報について説明するための図。 ピント位置情報と実ピント距離との対応関係を示す図。 測距装置の構成の他の例を示す図。 測距装置が組み込まれている移動体の機能構成の一例を示す図。 移動体が自動車である場合について説明するための図。 移動体がドローンである場合について説明するための図。 移動体が自立型の移動ロボットである場合について説明するための図。 移動体がロボットアームである場合について説明するための図。

以下、図面を参照して、実施形態について説明する。
図１は、本実施形態に係る測距装置の構成の一例を示す。図１に示す測距装置１は、画像を撮像し、当該撮像された画像を用いて撮像地点から被写体までの距離を測定（取得）するために用いられる。

図１に示すように、測距装置１は、撮像部２及び画像処理部３を備える。本実施形態においては、測距装置１が撮像部２及び画像処理部３を備える１つの装置として実現されるものとして説明するが、測距装置１は、例えば撮像部２及び画像処理部３がそれぞれ別個の装置である撮像装置及び画像処理装置として実現された測距システム（画像処理システム）であってもよい。撮像部２及び画像処理部３を備える測距装置１の場合には、例えばデジタルカメラ、スマートフォン及びタブレットコンピュータ等を当該測距装置１として用いることができる。一方、撮像部２及び画像処理部３が別個の装置である撮像装置及び画像処理装置として実現されている測距システムの場合には、例えばデジタルカメラ等を撮像装置として用い、パーソナルコンピュータ、スマートフォンまたはタブレットコンピュータ等を画像処理装置として用いることができる。この場合、画像処理装置は、例えばクラウドコンピューティングサービスを実行するサーバ装置として動作するものであってもよい。

撮像部２は、測距装置１に組み込まれたカメラ（撮像装置）によって実現され、レンズ２１とイメージセンサ２２とを備える。レンズ２１及びイメージセンサ２２は、撮像部２の光学系（単眼カメラ）に相当する。

本実施形態において、レンズ２１は、当該レンズ２１の位置を調整することによりピント位置を制御するための信号処理部（信号処理回路）及びレンズ駆動部（レンズ駆動回路）等と、撮像部２の光学系に取り込まれる光の量（入射光）を調節するための開口部を有する絞り機構及び絞り制御回路等と、当該レンズ２１に関する情報（以下、レンズ情報と表記）を保持するメモリが搭載される制御回路等とともにレンズユニットを構成する。

また、本実施形態において、レンズ２１（レンズユニット）は、手動で他のレンズに交換可能であってもよい。この場合、測距装置１を使用するユーザは、例えば標準レンズ、望遠レンズ及び広角レンズ等の複数の種別のレンズのうちの１つを測距装置１に装着して用いることができる。なお、レンズを交換した場合には、焦点距離やＦ値（絞り値）が変わり、測距装置１において用いられるレンズに応じた画像を撮像することができる。

本実施形態において、焦点距離とは、レンズから、当該レンズに対して平行に光が入射したときに当該光が収束する位置までの距離をいう。また、Ｆ値とは、絞り機構に応じて撮像部２（イメージセンサ２２）に取り込まれる光の量を数値化したものである。なお、Ｆ値は、値が小さくなるについて、撮像部２に取り込まれる光の量が多くなる（つまり、開口部の大きさが大きくなる）ことを示す。

レンズ２１には、被写体で反射した光が入射する。レンズ２１に入射した光は、レンズ２１を透過する。レンズ２１を透過した光は、イメージセンサ２２に到達し、当該イメージセンサ２２によって受光（検出）される。イメージセンサ２２は、受光した光を電気信号に変換（光電変換）することによって、複数の画素から構成される画像を生成する。

なお、イメージセンサ２２は、例えばＣＣＤ（Change Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等により実現される。イメージセンサ２２は、例えば赤色（Ｒ）の波長帯域の光を検出する第１センサ（Ｒセンサ）２２１、緑色（Ｇ）の波長帯域の光を検出する第２センサ（Ｇセンサ）２２２及び青色（Ｂ）の波長帯域の光を検出する第３センサ（Ｂセンサ）２２３を含む。イメージセンサ２２は、第１～第３センサ２２１～２２３により対応する波長帯域の光を受光して、各波長帯域（色成分）に対応するセンサ画像（Ｒ画像、Ｇ画像及びＢ画像）を生成することができる。すなわち、撮像部２によって撮像される画像はカラー画像（ＲＧＢ画像）であり、当該画像にはＲ画像、Ｇ画像及びＢ画像が含まれる。

なお、本実施形態においてはイメージセンサ２２が第１～第３センサ２２１～２２３を含むものとして説明するが、イメージセンサ２２は、第１～第３センサ２２１～２２３のうちの少なくとも１つを含むように構成されていればよい。また、イメージセンサ２２は、第１～第３センサ２２１～２２３に代えて、例えばモノクロ画像を生成するためのセンサを含むように構成されていてもよい。

本実施形態においてレンズ２１を透過した光に基づいて生成された画像は、撮像部２の光学系（レンズ２１）の収差の影響を受けた画像であり、当該収差により生じるぼけを含む。なお、画像に生じるぼけの詳細については後述する。

図１に示すように、撮像部２は、第１画像取得部２３及び第１ピント位置情報取得部２４を更に含む。

第１画像取得部２３は、撮像部２（カメラ）によって撮像された画像を取得する。第１画像取得部２３によって取得された画像は、撮像部２から画像処理部３に送信される。

第１ピント位置情報取得部２４は、撮像部２によって画像が撮像された際のピント位置（当該画像においてピントが合っている位置）に関する情報（以下、ピント位置情報と表記）を取得する。第１ピント位置情報取得部２４によって取得されたピント位置情報は、上記した第１画像取得部２３によって取得された画像に付加されて撮像部２から画像処理部３に送信される。

画像処理部３は、撮像部２と接続されており、格納部３１、第２画像取得部３２、第２ピント位置情報取得部３３、ぼけ値取得部３４、実距離変換部３５及び出力部３６を含む。

格納部３１には、被写体までの距離を撮像部２によって撮像された画像から測定するために用いられる統計モデルが格納されている。格納部３１に格納されている統計モデルは、上記した撮像部２の光学系の収差の影響を受けた画像に生じる、当該画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成されている。

なお、統計モデルは、例えばニューラルネットワークまたはランダムフォレスト等の既知の様々な機械学習のアルゴリズムを適用して生成することができるものとする。また、本実施形態において適用可能なニューラルネットワークには、例えば畳み込みニューラルネットワーク（ＣＮＮ:Convolutional Neural Network）、全結合ニューラルネットワーク及び再帰型ニューラルネットワーク等が含まれていてもよい。

第２画像取得部３２は、上記した撮像部２から送信された画像を取得する。第２ピント位置情報取得部３３は、第２画像取得部３２によって取得された画像（つまり、撮像部２から送信された画像）に付加されているピント位置情報を取得する。

ぼけ値取得部３４は、第２画像取得部３２によって取得された画像を格納部３１に格納されている統計モデルに入力することによって当該統計モデルから出力される当該画像中の被写体に生じるぼけを示すぼけ値を取得する。

実距離変換部３５は、第２ピント位置情報取得部３３によって取得されたピント位置情報に基づいて、ぼけ値取得部３４によって取得されたぼけ値を第２画像取得部３２によって取得された画像中の被写体までの距離（つまり、測距装置１から被写体までの実距離）に変換する。

出力部３６は、実距離変換部３５によってぼけ値から変換された被写体までの距離（を示す距離情報）を出力する。

図２は、測距装置１のシステム構成の一例を示す。測距装置１は、ＣＰＵ１０１、不揮発性メモリ１０２、ＲＡＭ１０３及び通信デバイス１０４を備える。また、測距装置１は、ＣＰＵ１０１、不揮発性メモリ１０２、ＲＡＭ１０３及び通信デバイス１０４を相互に接続するバス１０５を有する。

なお、本実施形態に係る測距装置１には上記した図１において説明したレンズ２１及びイメージセンサ２２を備えるカメラが組み込まれている場合を想定しているが、図２においては、当該カメラは省略されている。

ＣＰＵ１０１は、測距装置１内の様々なコンポーネントの動作を制御するためのプロセッサである。ＣＰＵ１０１は、単一のプロセッサであってもよいし、複数のプロセッサで構成されていてもよい。ここではコンポーネントの動作を制御するプロセッサとしてＣＰＵ（Central Processing Unit）を用いて説明するが、当該プロセッサは、ＧＰＵ（Graphics Processing Unit）であってもよい。ＣＰＵ１０１は、不揮発性メモリ１０２からＲＡＭ１０３にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）や例えば測距プログラム１０３Ａを含む様々なアプリケーションプログラムを含む。

不揮発性メモリ１０２は、補助記憶装置として用いられる記憶媒体である。ＲＡＭ１０３は、主記憶装置として用いられる記憶媒体である。図２においては不揮発性メモリ１０２及びＲＡＭ１０３のみが示されているが、測距装置１は、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）等の他の記憶装置を備えていてもよい。

なお、本実施形態において、図１に示す格納部３１は、例えば不揮発性メモリ１０２または他の記憶装置等によって実現される。

また、本実施形態において、図１に示す第１画像取得部２３、第１ピント位置情報取得部２４、第２画像取得部３２、第２ピント位置情報取得部３３、ぼけ値取得部３４、実距離変換部３５及び出力部３６の一部または全ては、ＣＰＵ１０１（つまり、測距装置１のコンピュータ）に測距プログラム１０３Ａを実行させること、すなわち、ソフトウェアによって実現されるものとする。この測距プログラム１０３Ａは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じて測距装置１にダウンロードされてもよい。なお、これらの各部２３、２４及び３２～３６の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

ここでは測距装置１に含まれる各部２３、２４及び３２～３６が単一のプログラム（測距プログラム１０３Ａ）によって実現されるものとして説明したが、例えば撮像部２に含まれる第１画像取得部２３及び第１ピント位置情報取得部２４と画像処理部３に含まれる第２画像取得部３２、第２ピント位置情報取得部３３、ぼけ値取得部３４、実距離変換部３５及び出力部３６とは、異なるプログラム（ソフトウェア）によって実現されても構わない。

通信デバイス１０４は、有線通信または無線通信を実行するように構成されたデバイスである。

図２においては省略されているが、測距装置１は、入力デバイス及び表示デバイス等の他のデバイスを更に備えていてもよい。

次に、図３を参照して、本実施形態における測距装置１の動作の概要について説明する。測距装置１において、撮像部２（イメージセンサ２２）は、上記したように当該撮像部２の光学系（レンズ２１）の収差の影響を受けた画像を撮像する。

画像処理部３（第２画像取得部３２）は、撮像部２によって撮像された画像を取得し、当該画像を格納部３１に格納されている統計モデルに入力する。

ここで、本実施形態における統計モデルは上記したように画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成されているところ、当該統計モデルに画像が入力された場合には、当該画像中の被写体までの距離に応じて当該画像に生じるぼけを示すぼけ値（ぼけ情報）が当該統計モデルから出力される。後述するように画像中の被写体までの距離と当該距離に応じて画像に生じるぼけの色、サイズ及び形状とは相関があり、画像処理部３（実距離変換部３５）は、統計モデルから出力されたぼけ値を距離に変換することによって、当該被写体までの距離を取得することができる。

このように本実施形態においては、統計モデルを用いて、撮像部２によって撮像された画像から被写体までの距離（距離情報）を測定することができる。

ここで、本実施形態において撮像部２によって撮像された画像には、上記したように当該撮像部２の光学系の収差（レンズ収差）に起因するぼけが生じている。以下、撮像部２によって撮像された画像に生じるぼけについて説明する。まず、撮像部２の光学系の収差に起因するぼけのうち、色収差について説明する。

図４は、被写体までの距離と色収差により画像に生じるぼけとの関係性について示している。

収差のあるレンズ２１を透過する際の光の屈折率は波長帯域毎に異なるため、例えば被写体の位置がピント位置からずれているような場合には、各波長帯域の光が１点に集まらず異なった点に到達する。これが画像上で色収差（ぼけ）として現れる。

図４の上段は、測距装置１（イメージセンサ２２）に対する被写体の位置がピント位置よりも遠い（つまり、被写体の位置がピント位置よりも奥にある）場合を示している。

この場合、赤色の波長帯域の光４０１に関しては、イメージセンサ２２（第１センサ２２１）において比較的小さいぼけｂ_Ｒを含む画像が生成される。一方、青色の波長帯域の光４０２に関しては、イメージセンサ２２（第３センサ２２３）において比較的大きいぼけｂ_Ｂを含む画像が生成される。なお、緑色の波長帯域の光４０３に関しては、ぼけｂ_Ｒとぼけｂ_Ｂとの中間の大きさのぼけを含む画像が生成される。したがって、このような被写体の位置がピント位置よりも遠い状態で撮像された画像においては、当該画像中の被写体の外側に青色のぼけが確認される。

一方、図４の下段は、測距装置１（イメージセンサ２２）に対する被写体の位置がピント位置よりも近い（つまり、被写体の位置がピント位置よりも手前にある）場合を示している。

この場合、赤色の波長帯域の光４０１に関しては、イメージセンサ２２（第１センサ２２１）において比較的大きいぼけｂ_Ｒを含む画像が生成される。一方、青色の波長帯域の光４０２に関しては、イメージセンサ２２（第３センサ２２３）において比較的小さいぼけｂ_Ｂを含む画像が生成される。なお、緑色の波長帯域の光４０３に関しては、ぼけｂ_Ｒとぼけｂ_Ｂとの中間の大きさのぼけを含む画像が生成される。したがって、このような被写体の位置がピント位置よりも近い状態で撮像された画像においては、当該画像中の被写体の外側に赤色のぼけが観察される。

ここで、図４はレンズ２１が単純な単レンズである例を示しているが、当該レンズ２１として、例えば色収差補正が施されたレンズ（以下、色消しレンズと表記）が用いられる場合がある。なお、色消しレンズとは、低分散の凸レンズと高分散の凹レンズとを組み合わせたレンズであり、色収差を補正するレンズとして最もレンズ枚数が少ないレンズである。

図５は、レンズ２１として上記した色消しレンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示している。色消しレンズにおいては青色の波長と赤色の波長の焦点位置を揃える設計がされているが、色収差は完全に除去することができない。このため、被写体の位置がピント位置よりも遠い場合には図５の上段に示すように緑色のぼけが発生し、被写体の位置がピント位置よりも近い場合には図５の下段に示すように紫色のぼけが発生する。

なお、図４及び図５の中段は、測距装置１（イメージセンサ２２）に対する被写体の位置とピント位置とが一致している場合を示している。この場合には、イメージセンサ２２（第１～第３センサ２２１～２２３）においてぼけの少ない画像が生成される。

ここで、撮像部２の光学系（レンズユニット）には上記したように絞り機構が備えられているが、当該撮像部２によって撮像された画像に生じるぼけの形状は、当該絞り機構の開口部の大きさによっても異なる。なお、ぼけの形状は、ＰＳＦ（Point Spread Function）形状と称され、点光源が撮像されたときに生じる光の拡散分布を示している。

図６の上段は、焦点距離が５０ｍｍのレンズを用いた撮像部２（の光学系）においてピント位置を１５００ｍｍ、Ｆ値（絞り）をＦ１．８とした場合に当該撮像部２によって撮像された画像の中央部に生じるＰＳＦ形状を、被写体の位置が測距装置１から近い順に左から示している。図６の下段は、焦点距離が５０ｍｍのレンズを用いた撮像部２（の光学系）においてピント位置を１５００ｍｍ、Ｆ値（絞り）をＦ４とした場合に当該撮像部２によって撮像された画像の中央部に生じるＰＳＦ形状を、被写体の位置が測距装置１から近い順に左から示している。なお、図６の上段及び下段の中央は、被写体の位置がピント位置と一致している場合のＰＳＦ形状を示している。

図６の上段及び下段の対応する位置に示されているＰＳＦ形状は測距装置１に対する被写体の位置が同一である場合のＰＳＦ形状であるが、当該被写体の位置が同一である場合であっても、上段のＰＳＦ形状（Ｆ値をＦ１．８として撮像した画像に生じるＰＳＦ形状）と下段のＰＳＦ形状（Ｆ値をＦ４として撮像した画像に生じるＰＳＦ形状）とでは形状が異なっている。

更に、図６の最も左側のＰＳＦ形状と最も右側のＰＳＦ形状に示すように、例えば被写体の位置からピント位置までの距離が同程度である場合であっても、当該被写体の位置がピント位置よりも近い場合と当該被写体の位置がピント位置よりも遠い場合とで、ＰＳＦ形状が異なっている。

なお、上記したように絞り機構の開口部の大きさや測距装置１に対する被写体の位置に応じてＰＳＦ形状が異なる現象は、各チャンネル（ＲＧＢ画像、Ｒ画像、Ｇ画像及びＢ画像）においても同様に生じる。図７は、焦点距離が５０ｍｍのレンズを用いた撮像部２においてピント位置を１５００ｍｍ、Ｆ値をＦ１．８とした場合に当該撮像部２によって撮像された各チャンネルの画像に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い（手前にある）場合と被写体の位置がピント位置よりも遠い（奥にある）場合とに分けて示している。図８は、焦点距離が５０ｍｍのレンズを用いた撮像部２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像部２によって撮像された各チャンネルの画像に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

更に、撮像部２によって撮像された画像に生じるＰＳＦ形状は、当該画像中の位置によっても異なる。

図９の上段は、焦点距離が５０ｍｍのレンズを用いた撮像部２においてピント位置を１５００ｍｍ、Ｆ値をＦ１．８とした場合に当該撮像部２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図９の中段は、焦点距離が５０ｍｍのレンズを用いた撮像部２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像部２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図９の上段及び中段に示すように、撮像部２によって撮像された画像の端部近傍（特に、左上等の角部近傍）においては、例えば画像中央付近に位置するＰＳＦ形状とは異なるＰＳＦ形状を観察することができる。

また、図９の下段は、焦点距離が１０５ｍｍのレンズを用いた撮像部２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像部２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

上記した図９の上段及び中段は同一のレンズを用いて撮像された画像に生じるＰＳＦ形状を示しているが、図９の下段に示すように、焦点距離が異なるレンズを用いた場合には当該レンズに応じた異なるＰＳＦ形状（図９の上段及び中段とは異なるＰＳＦ形状）が観察される。

次に、図１０を参照して、上記した撮像部２の光学系に用いるレンズの種別に応じたＰＳＦ形状（レンズの収差）の位置依存性について具体的に説明する。図１０は、焦点距離が異なる複数のレンズの各々を用いて撮像された画像の中央付近（画面中央）及び端部付近（画面端）に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図１０に示すように、画像の中央付近に生じるＰＳＦ形状は、レンズの種別が異なる場合であっても概ね円形で同一であるが、画像の端部付近に生じるＰＳＦ形状は、画像の中央付近に生じるＰＳＦ形状と異なる形状を有し、かつ、レンズの種別に応じてそれぞれ特性（特徴）が異なる。なお、上記した図５において説明した被写体の位置がピント位置よりも近い場合にはＰＳＦ形状のふち付近に紫色のぼけが発生し、被写体の位置がピント位置よりも遠い場合にはＰＳＦ形状のふち付近に緑色のぼけが発生する点については、レンズの種別が異なる場合であっても共通している。

また、図１０においては、焦点距離が５０ｍｍのレンズに関しては２つの例（＃１及び＃２）が示されているが、これは、焦点距離が５０ｍｍで同一であるが、レンズの製造元が異なる（つまり、異なる製品である）ことを示している。焦点距離が８５ｍｍのレンズについても同様である。

上記したように本実施形態における被写体までの距離に応じて非線形に変化するぼけには、上記した図４及び図５において説明した撮像部２の光学系の色収差により生じるぼけ、図６～図８において説明した撮像部２の光学系に取り込まれる光の量を調節する絞り機構の開口部の大きさ（つまり、Ｆ値）に応じて生じるぼけ、図９及び図１０において説明した撮像部２によって撮像された画像中の位置に応じて変化するぼけ等が含まれる。

なお、ＰＳＦ形状は、絞り機構の開口部の形状によっても異なる。ここで、図１１は、ＰＳＦ形状の非線形性（非対称性）と絞り機構の開口部の形状との関係を表している。上記したＰＳＦ形状の非線形性は、絞り機構の開口部の形状が円以外の場合に生じやすい。特に、ＰＳＦ形状の非線形性は、開口部の形状が奇数角形、或いはイメージセンサ２２の水平または垂直軸に対して非対称に配置された偶数角形の場合により生じやすい。

本実施形態に係る測距装置１においては、上記した画像に生じるぼけ（色、サイズ及び形状）が被写体までの距離に関する物理的な手掛かりとなる点に着目して生成された統計モデルを用いて当該画像に生じるぼけを示すぼけ値が推定（予測）される。なお、本実施形態において統計モデルによって推定される（つまり、当該統計モデルから出力される）ぼけ値とは、画像に生じるぼけの色、サイズ及び形状を含むぼけ量を表すスカラー量である。

以下、本実施形態において統計モデルによって画像からぼけ（を示すぼけ値）を推定する方式の一例について説明する。ここでは、第１～第３方式について説明する。

まず、図１２を参照して、第１方式について説明する。第１方式においては、画像５０１から局所領域（画像パッチ）５０１ａが抽出される。

この場合、例えば画像５０１の全領域をマトリクス状に分割し、当該分割後の部分領域を局所領域５０１ａとして順次抽出するようにしてもよいし、画像５０１を認識して、被写体（像）が検出された領域を網羅するように局所領域５０１ａを抽出するようにしてもよい。また、局所領域５０１ａは、他の局所領域５０１ａとの間で一部がオーバーラップしていてもよい。

次に、抽出された局所領域５０１ａ毎に、当該局所領域５０１ａに関する情報（画像５０１の情報）が統計モデルに入力されることによって、当該局所領域５０１ａ中の被写体までの距離に応じて生じるぼけを示すぼけ値が推定される。

このように局所領域５０１ａに関する情報が入力された統計モデルは、当該局所領域５０１ａを構成する画素毎にぼけ値５０２を推定する。

ここで、例えば特定の画素が第１局所領域５０１ａ及び第２局所領域５０１ａの両方に属する（つまり、第１局所領域５０１ａ及び第２局所領域５０１ａとの間で当該画素を含む領域がオーバーラップしている）場合、当該画素が第１局所領域５０１ａに属するものとして推定されたぼけ値と、当該画素が第２局所領域５０１ａに属するものとして推定されたぼけ値とでは異なる場合がある。

このため、例えば上記したように一部がオーバーラップする複数の局所領域５０１ａが抽出されている場合、当該複数の局所領域５０１ａがオーバーラップしている領域を構成する画素のぼけ値は、例えば当該オーバーラップしている一方の局所領域５０１ａの一部の領域（画素）について推定されたぼけ値と他方の局所領域５０１ａの一部の領域（画素）について推定されたぼけ値との平均値としてもよい。また、一部がオーバーラップする３以上の局所領域５０１ａの一部の領域毎に推定されたぼけ値による多数決で決定されてもよい。

図１３は、上記した第１方式において統計モデルに入力される局所領域５０１ａに関する情報の一例を示す。

図１３に示すように、統計モデルには、画像５０１から抽出された局所領域５０１ａの勾配データが入力される。局所領域５０１ａの勾配データは、画像５０１に含まれるＲ画像、Ｇ画像及びＢ画像の各々から生成され、Ｒ画像の勾配データ、Ｇ画像の勾配データ及びＢ画像の勾配データを含む。

なお、勾配データは、各画素と当該画素に隣接する画素との画素値の差分（差分値）を示す。例えば、局所領域５０１ａがｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の矩形領域として抽出される場合、当該局所領域５０１ａ内の各画素について算出した例えば右隣の画素との差分値をｎ行×ｍ列のマトリクス状に配置した勾配データが生成される。

統計モデルは、Ｒ画像の勾配データと、Ｇ画像の勾配データと、Ｂ画像の勾配データとを用いて、当該各画像に生じているぼけを示すぼけ値を推定する。図１３においてはＲ画像、Ｇ画像及びＢ画像の各々の勾配データが統計モデルに入力される場合について示しているが、画像５０１（ＲＧＢ画像）の勾配データが統計モデルに入力される構成であってもよい。

次に、図１４を参照して、第２方式について説明する。第２方式においては、第１方式における局所領域５０１ａに関する情報として、当該局所領域（画像パッチ）５０１ａ毎の勾配データ及び画像５０１における当該局所領域５０１ａの位置情報が統計モデルに入力される。

位置情報５０１ｂは、例えば局所領域５０１ａの中心点を示すものであってもよいし、左上辺等の予め定められた一辺を示すものであってもよい。また、位置情報５０１ｂとして、局所領域５０１ａを構成する画素それぞれの画像５０１上での位置を用いてもよい。

上記したように位置情報５０１ｂを更に統計モデルに入力することで、例えばレンズ２１の中心部を透過する光によって結像された被写体像のぼけと、当該レンズ２１の端部を透過する光によって結像された被写体像のぼけとの間の差異を考慮したぼけ値５０２を推定することができる。

つまり、この第２方式によれば、画像上の位置との相関に基づいて画像５０１からぼけ値を推定することができる。

図１５は、上記した第２方式において統計モデルに入力される局所領域５０１ａに関する情報の一例を示す。

例えばｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の矩形領域が局所領域５０１ａとして抽出される場合、当該局所領域５０１ａの例えば中心点に対応する画像５０１上のＸ座標値（Ｘ座標データ）と、当該局所領域５０１ａの例えば中心点に対応する画像５０１上のＹ座標値（Ｙ座標データ）とが取得される。

第２方式においては、このように取得されたＸ座標データ及びＹ座標データが、上記したＲ画像、Ｇ画像及びＢ画像の勾配データとともに、統計モデルに入力される。

更に、図１６を参照して、第３方式について説明する。第３方式においては、上記した第１方式及び第２方式のような画像５０１からの局所領域５０１ａの抽出は行われない。第３方式においては、例えば画像５０１の全領域に関する情報（Ｒ画像、Ｇ画像及びＢ画像の勾配データ）が統計モデルに入力される。

局所領域５０１ａ毎にぼけ値５０２を推定する第１方式及び第２方式と比較して、第３方式は、統計モデルによる推定の不確実性が高くなる可能性があるが、当該推定にかかる処理の負荷を軽減することができる。

以下の説明においては、上記した第１～第３方式において統計モデルに入力される情報を、便宜的に、画像に関する情報と称する。

ここでは画素毎にぼけ値が推定されるものとして説明したが、当該ぼけ値は、少なくとも１つの画素を含む所定の領域毎に推定されても構わない。

以下、図１７を参照して、本実施形態における画像に生じるぼけと当該画像中の被写体までの距離との相関について具体的に説明する。

図１７においては、被写体がピント位置よりも近い（手前にある）場合に生じるぼけのサイズをＸ軸上においてマイナスの値で示し、被写体がピント位置よりも遠い（奥にある）場合に生じるぼけのサイズをＸ軸上においてプラスの値で示している。つまり、上記したように被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とで当該被写体に生じるぼけにおいて観察される色が異なることを鑑みると、図１７においては、ぼけの色及びサイズが正負の値で示されているといえる。

また、図１７においては、被写体の位置がピント位置よりも近い場合及び被写体の位置がピント位置よりも遠い場合のいずれの場合においても、被写体がピント位置から離れるほど、ぼけのサイズ（ピクセル）の絶対値が大きくなることが示されている。

図１７に示す例では、画像を撮像した撮像部２の光学系におけるピント位置が約１５００ｍｍである場合を想定している。この場合、例えば約－４．８ピクセルのぼけは光学系から約１０００ｍｍの距離に対応し、０ピクセルのぼけは光学系から１５００ｍｍの距離に対応し、約４．８ピクセルのぼけは光学系から約７５０ｍｍの距離に対応する。

ここでは、便宜的に、ぼけの色及びサイズ（ピクセル）をＸ軸上に示す場合について説明したが、上記した図６～図１０において説明したように、画像に生じるぼけの形状（ＰＳＦ形状）についても、被写体がピント位置よりも近い場合と当該被写体がピント位置よりも遠い場合とで異なるし、画像中の位置によっても異なる。このため、図１７においてＸ軸上に示す値（つまり、ぼけ値）は、実際には当該ぼけの形状（ＰＳＦ形状）を反映した値である。

上記した被写体までの距離とぼけの色、サイズ及び形状とは例えば図１７の線分ｄ１によって示されるような相関があるため、距離を推定することと、ぼけの色、サイズ及び形状（を示すぼけ値）を推定することとは同義である。

なお、例えば統計モデルに直接的に距離を推定させる構成も考えられるが、統計モデルにぼけ値を推定させる構成の方が、光学系におけるピント位置（合焦距離）を変更したような場合であっても同一の統計モデルを用いることが可能であり、汎用性が高いといえる。

本実施形態においては、上記した統計モデルを用いることによって画像から当該画像中の被写体までの距離に応じて当該画像に生じるぼけを示すぼけ値を取得（推定）することができるが、当該統計モデルは、上記したように撮像部２の光学系の収差の影響を受けた画像に生じるぼけ（当該画像中の被写体までの距離に応じて非線形に変化するぼけ）を学習する処理（以下、学習処理と表記）を実行することによって生成される。

以下、統計モデルを生成するために実行される学習処理（以下、統計モデルの学習処理と表記）の概要について説明する。

図１８は、本実施形態における統計モデルの学習処理（学習方法）の一例を示す。統計モデルの学習処理は、当該統計モデルを学習させるために用意された画像（以下、学習用画像と表記）を用いて実行される。学習用画像は、例えば撮像部２によって撮像された画像であればよいが、当該撮像部２の光学系と同様の光学系を有する他の撮像装置（カメラ等）によって撮像された画像であってもよい。

上記した図１２を参照して説明した第１方式、図１４を参照して説明した第２方式、図１６を参照して説明した第３方式のいずれの方式を用いる場合においても、統計モデルの学習処理は、基本的に、学習用画像６０１（に関する情報）を統計モデルに入力し、当該統計モデルによって推定されたぼけ値６０２と正解値６０３との誤差を当該統計モデルにフィードバックすることによって行われる。なお、フィードバックとは、誤差が減少するように統計モデルのパラメータ（例えば、重み係数）を更新することをいう。

上記した画像からぼけ値を推定する方式として第１方式が適用される場合には、統計モデルの学習処理時においても、学習用画像６０１から抽出された局所領域（画像パッチ）毎に、当該局所領域に関する情報（勾配データ）が統計モデルに入力され、当該統計モデルによって各局所領域内の各画素のぼけ値６０２が推定される。このように推定されたぼけ値６０２と正解値６０３とが比較されることによって得られる誤差が、当該統計モデルにフィードバックされる。

同様に、画像からぼけ値を推定する方式として第２方式が適用される場合には、統計モデルの学習処理時においても、学習用画像６０１から抽出された局所領域（画像パッチ）毎に、当該局所領域に関する情報として勾配データ及び位置情報が統計モデルに入力され、当該統計モデルによって各局所領域内の各画素のぼけ値６０２が推定される。このように推定されたぼけ値６０２と正解値６０３とが比較されることによって得られる誤差が、統計モデルにフィードバックされる。

また、画像から距離を推定する方式として第３方式が適用される場合には、統計モデルの学習処理時においても、学習用画像６０１の全領域に関する情報（勾配データ）が一括して統計モデルに入力され、当該統計モデルによって当該学習用画像６０１内の各画素のぼけ値６０２が推定される。このように推定されたぼけ値６０２と正解値６０３とが比較されることによって得られる誤差が、統計モデルにフィードバックされる。

上記した統計モデルの学習処理によれば、ぼけ値６０２と正解値６０３との誤差が減少するように統計モデルのパラメータが更新され、当該統計モデルは学習用画像６０１に生じているぼけを学習することができる。

なお、本実施形態における統計モデルは、例えばピント位置を固定した状態で撮像部２から被写体までの距離を変化させながら撮像された学習用画像を用いた学習処理が繰り返し実行されることによって生成される。また、１つのピント位置についての学習処理が完了した場合には、他のピント位置についても同様に学習処理を実行することによって、より精度の高い統計モデルを生成することができる。

また、本実施形態における統計モデルの学習処理において用いられる正解値は、上記したように学習用画像が撮像された際の被写体までの実際の距離から変換されたぼけ値（つまり、当該実際の距離に対応するぼけの色、サイズ及び形状を示すぼけ値）であるものとする。

次に、図１９のフローチャートを参照して、統計モデルの学習処理の処理手順の一例について説明する。なお、図１９に示す処理は、例えば測距装置１（画像処理部３）において実行されてもよいし、他の装置等において実行されてもよい。

まず、予め用意された学習用画像（に関する情報）が統計モデルに入力される（ステップＳ１）。この学習用画像は、例えば撮像部２に備えられるレンズ２１を透過した光に基づいてイメージセンサ２２によって生成された画像であって、撮像部２の光学系（レンズ２１）の収差の影響を受けた画像である。具体的には、学習用画像には、図４～図１０において説明した被写体までの距離に応じて非線形に変化するぼけが生じている。

なお、統計モデルの学習処理においては、測距装置１において測定（推定）可能な距離の下限値（手前）から上限値（奥）まで極力細かい粒度で被写体を各距離で撮像した学習用画像が予め用意されているものとする。また、学習用画像としては、被写体が異なる様々な画像を用意しておくことが好ましい。

画像からぼけ値を推定する方式として上記した第１方式が適用される場合には、学習用画像に関する情報として、当該学習用画像の局所領域毎に、Ｒ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力される。

画像からぼけ値を推定する方式として上記した第２方式が適用される場合には、学習用画像に関する情報として、当該学習用画像の局所領域毎に、Ｒ画像、Ｇ画像及びＢ画像の勾配データと当該局所領域の学習用画像上における位置情報とが統計モデルに入力される。

画像からぼけ値を推定する方式として上記した第３方式が適用される場合には、学習用画像に関する情報として、当該学習用画像の全領域分のＲ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力される。

なお、本実施形態においてはＲ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力されるものとして説明するが、当該統計モデルが画像に生じるぼけの形状（ＰＳＦ形状）の観点からぼけ値を推定する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも１つの勾配データが統計モデルに入力されればよい。一方、統計モデルが色収差により画像に生じるぼけの色及びサイズの観点からぼけ値を推定する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも２つの勾配データが統計モデルに入力されればよい。

ステップＳ１の処理が実行されると、統計モデルによってぼけ値が推定される（ステップＳ２）。

ステップＳ２において推定されたぼけ値は、学習用画像の撮像時に得られている正解値と比較される（ステップＳ３）。

ステップＳ３における比較結果（誤差）は、統計モデルにフィードバックされる（ステップＳ４）。これにより、統計モデルにおいては、誤差が減少するようにパラメータが更新される（つまり、被写体までの距離に応じて学習用画像に生じているぼけが学習される）。

上記した図１９に示す処理が学習用画像毎に繰り返し実行されることによって、推定精度の高い統計モデルが生成される。このように生成された統計モデルは、画像処理部３に含まれる格納部３１に格納される。

本実施形態に係る測距装置１は、上記したように生成される統計モデルを用いて撮像部２によって撮像された画像中の被写体までの距離を測定する。

以下、図２０のシーケンスチャートを参照して、被写体までの距離を測定する際の測距装置１（撮像部２及び画像処理部３）の処理手順の一例について説明する。

まず、撮像部２に含まれる第１画像取得部２３は、当該撮像部２（イメージセンサ２２）によって撮像された被写体を含む画像（以下、撮像画像と表記）を取得する（ステップＳ１１）。この撮像画像は、上記したように撮像部２の光学系（レンズ２１）の収差の影響を受けた画像である。なお、図２０においては省略されているが、ステップＳ１１において取得された撮像画像は、撮像部２内に記録されてもよい。

次に、撮像部２に含まれる第１ピント位置情報取得部２４は、上記した撮像画像が撮像された際のピント位置に関するピント位置情報を取得する（ステップＳ１２）。

以下、図２１を参照して、本実施形態におけるピント位置情報について説明する。図２１は、撮像部２の光学系を模式的に示している。

図２１に示すように、ピント位置（撮像部２によって撮像された画像においてピントが合う位置）は、レンズ２１とイメージセンサ２２との間の距離（レンズ相対位置）に依存する。換言すれば、ピント位置は、レンズ２１の位置を光学系の光軸に対して平行方向に移動する（つまり、レンズ２１を駆動する）ことによって調整（設定）される。

ところで、上記したようにレンズ２１はレンズユニットを構成するが、当該レンズユニットは、信号処理部２ａ及びレンズ駆動部２ｂを備える。信号処理部２ａ及びレンズ駆動部２ｂは、レンズ２１の位置を制御するように動作する。具体的には、信号処理部２ａは、撮像部２（カメラ）の動作を制御する制御回路（図示せず）からの指示（例えば、オートフォーカス機能によって指定されたピント位置）に応じてレンズ２１を駆動するための制御信号値（調整値）を生成し、当該制御信号値をレンズ駆動部２ｂに送信する。レンズ駆動部２ｂは、信号処理部２ａから送信された制御信号値に基づいてレンズ２１を駆動する。

上記したようにレンズ２１を駆動することによってピント位置が調整される場合、当該レンズ２１を駆動するための制御信号値をピント位置情報として利用することができる。

具体的には、例えばレンズ２１の位置が電気駆動により機械的に制御される場合、信号処理部２ａにおいて任意のレンズ２１の移動量に応じた電圧値が制御信号値として生成され、当該電圧値がレンズ駆動部２ｂに送信される。この場合には、信号処理部２ａからレンズ駆動部２ｂに送信される電圧値がピント位置情報として利用される。

また、予め設定されたピント位置（基準値）に対する固有のピント調整量がカメラ撮影ソフトウェア（画像を撮像するために動作するソフトウェア）の内部に保持されているような構成においては、当該ピント調整量が信号処理部２ａに送信され、当該ピント調整量から変換された電圧値が信号処理部２ａからレンズ駆動部２ｂに送信される。この場合には、ソフトウェアの内部に保持されているピント調整量（つまり、信号処理部２ａに送信されたピント調整量）がレンズ２１を駆動するための制御信号値に相当するとして、当該ピント調整量をピント位置情報として利用してもよい。

なお、ここで説明したレンズ２１を駆動するための制御信号値は一例であり、ピント位置情報は、レンズ２１の駆動に関わる他の制御信号値であってもよい。

また、ピント位置情報は、例えば撮像部２の光学系の光軸に対して平行方向に移動するレンズ２１の位置に関する情報であってもよい。

具体的には、ピント位置（つまり、レンズ２１の位置）は、例えばレンズ２１が配置されている鏡筒２１ａや他のねじ等を手動で回すことによって調整される場合がある。この場合には、例えば鏡筒２１ａやねじの回転数をピント位置情報として利用することができる。

また、鏡筒２１ａ内部におけるレンズ２１の相対位置（つまり、イメージセンサ２２に対するレンズ２１の位置）がピント位置情報として利用されてもよい。このレンズ２１の相対位置は、例えば当該レンズ２１の主点２１ｂとイメージセンサ２２との間の距離であってもよいし、鏡筒２１ａの基準点に対するレンズ２１の主点２１ｂの位置であってもよい。ここではレンズ２１の主点２１ｂを用いる場合について主に説明したが、必ずしもレンズ２１の主点２１ｂを用いる必要はなく、例えばレンズ２１の先端部と鏡筒２１ａの端との間の距離がピント位置情報として利用されてもよい。上記したレンズ２１の相対位置は、例えば所定のセンサ等を用いて得ることが可能であるが、他の手法により得るようにしてもよい。

なお、ステップＳ１２においては撮像画像が撮像された際のピント位置に関するピント位置情報が取得されるものとして説明したが、当該ピント位置情報は、ピント位置が調整（設定）された時点で取得することができる。すなわち、ステップＳ１２の処理は、ピント位置が調整された後、撮像画像が撮像される（つまり、ステップＳ１１の処理が実行される）前に実行されてもよい。

また、ステップＳ１２においてはピント位置情報が取得されるものとして説明したが、撮像画像が撮像された際のピント位置に関するピント位置情報が存在しない（または当該ピント位置情報を取得することができない）場合には、予め用意されているピント位置情報（または人手により設定されたピント位置情報）を取得するようにしてもよい。

次に、ステップＳ１１において取得された撮像画像に対して、ステップＳ１２において取得されたピント位置情報が付加される（ステップＳ１３）。この場合、ピント位置情報は、例えば画像が撮像された日時やその他の設定データ（焦点距離及び絞り値等）を当該画像に保存することができるデジタルカメラ用のフォーマットであるＥＸＩＦ（Exchangeable Image File Format）のような画像のメタファイル（メタデータ）として撮像画像内に記録される。これによれば、ピント位置情報がメタファイルとしてヘッダ部に埋め込まれた撮像画像が取得される。

ここではピント位置情報が撮像画像に埋め込まれるものとして説明したが、当該ピント位置情報は、他の電子ファイルとして撮像画像に付加されてもよい。

ステップＳ１３の処理が実行されると、当該ステップＳ１３においてピント位置情報が付加された撮像画像が撮像部２から画像処理部３に送信される（ステップＳ１４）。

ステップＳ１４において送信された撮像画像は、画像処理部３によって受信される。これにより、画像処理部３に含まれる第２画像取得部３２は、画像処理部３によって受信された撮像画像を取得する（ステップＳ１５）。

また、画像処理部３に含まれる第２ピント位置情報取得部３３は、ステップＳ１５において取得された撮像画像に付加されているピント位置情報を取得する（ステップＳ１６）。

次に、第２ピント位置情報取得部３３は、ステップＳ１６において取得されたピント位置情報に基づいて、実ピント距離（つまり、測距装置１からピント位置までの実際の距離）を取得する（ステップＳ１７）。

ここで、図２２は、ピント位置情報と実ピント距離との対応関係を示している。なお、図２２においては、便宜的に、正規化されたピント位置情報及び実ピント距離が示されている。

本実施形態においては、図２２に示すようなピント位置情報と実ピント距離との対応関係（関係性）を表す数式モデル（実ピント距離変換モデル）が画像処理部３（第２ピント位置情報取得部３３）内に保持されておいるものとする。これによれば、第２ピント位置情報取得部３３は、このような数式モデルを参照してステップＳ１６において取得されたピント位置情報を実ピント距離に変換することによって、当該実ピント距離を取得することができる。

ここではピント位置情報と実ピント距離との対応関係が数式モデルの形式で画像処理部３内に保持されているものとして説明したが、当該対応関係はテーブルのような形式で保持されていてもよい。

なお、上記したピント位置情報と実ピント距離との対応関係は、例えば実験的手段等によって（つまり、ピント位置情報に対応する実ピント距離を実際に計測することによって）予め得られているものとする。

ステップＳ１７の処理が実行されると、ぼけ値取得部３４は、ステップＳ１５において取得された撮像画像を格納部３１に格納されている統計モデルに入力し、当該統計モデルから出力されたぼけ値（つまり、当該統計モデルにおいて推定されたぼけ値）を取得する（ステップＳ１８）。このステップＳ１８において取得されたぼけ値は、上記したように撮像画像中の被写体までの距離に応じた相対距離情報に相当する。ステップＳ１８の処理は上記した図１９に示すステップＳ１及びＳ２の処理に相当するため、ここではその詳しい説明を省略する。

なお、図２０においてはステップＳ１７及びＳ１８の順に処理が実行されるものとして説明したが、当該ステップＳ１７及びＳ１８の処理が実行される順番は入れ替えられても構わない。

次に、実距離変換部３５は、ステップＳ１７において取得された実ピント距離に基づいて、ステップＳ１８において取得されたぼけ値を実距離（つまり、撮像画像中の被写体までの実際の距離）に変換する（ステップＳ１９）。

ここで、ステップＳ１９においてぼけ値から変換される実距離ｕは、ぼけ値ｂを用いた以下の式（１）により表される。

式（１）におけるｆは、撮像画像を撮像した撮像部２の光学系（レンズ２１）における焦点距離を表している。ｕ_ｆは、撮像画像が撮像された際の実ピント距離を表している。Ｆは、撮像画像を撮像した撮像部２の光学系におけるＦ値（絞り値）を表している。

すなわち、本実施形態においては、ステップＳ１７において取得された実ピント距離、ステップＳ１８において取得されたぼけ値、撮像部２の光学系における焦点距離及びＦ値を式（１）に適用することによって実距離を計算することができる。

なお、撮像部２の光学系における焦点距離及びＦ値は、上記したレンズ情報としてレンズユニット（制御回路）に搭載されるメモリに保持されているため、撮像部２から取得可能である。また、レンズ情報（焦点距離及びＦ値）は、上記したピント位置情報と同様に、メタファイルとして撮像画像に付加（記録）されていてもよい。

ステップＳ１９の処理が実行されると、出力部３６は、ステップＳ１９においてぼけ値から変換された距離を示す距離情報を、例えば撮像画像と位置的に対応づけて配置したマップ形式で出力する（ステップＳ２０）。なお、本実施形態においては、距離情報がマップ形式で出力されるものとして説明したが、当該距離情報は、他の形式で出力されてもよい。

なお、ここでは例えば実ピント距離変換モデルを参照して撮像部２（第１ピント位置情報取得部２４）において取得されたピント位置情報を実ピント距離に変換する処理が実行されるものとして説明したが、例えば測距装置１の外部の距離センサ等を用いて撮像画像においてピントが合っている被写体（例えば撮像画像中の複数の被写体のうちの１つの被写体）までの距離を計測（取得）することができるのであれば、当該距離（測距した値）を実ピント距離として用いることができる。距離センサとしては、例えば被写体に対して送信された光（電磁波）の反射波を受信することによって当該被写体までの距離を計測することが可能なＬｉｄａｒ（Light detection and ranging）等を使用することができる。このような構成によれば、画像処理部３におけるピント位置情報を実ピント距離に変換する処理（実ピント距離変換処理）を省略することができるため、処理コスト（計算コスト）を低減しつつ、実ピント距離に基づく実距離（実ピント距離を用いてぼけ値から変換されるカメラから被写体までの実際の距離）の精度を向上させることができる。

また、図２０においては格納部３１に１つの統計モデルが格納されている場合を想定して説明したが、上記したように測距装置１がレンズを交換することが可能なように構成されている場合には、当該測距装置１において用いることが可能なレンズ（つまり、当該測距装置１に装着可能なレンズ）毎に統計モデルを用意しておくことが考えられる。この場合、例えば上記したレンズ情報（焦点距離、Ｆ値及びカメラの機種名等を含むレンズの仕様または設計値の情報）を利用して測距装置１に装着されているレンズに応じた統計モデルを選定し、当該選定された統計モデルを用いてぼけ値を推定するような構成としてもよい。

上記したように本実施形態においては、撮像画像（撮像部２によって撮像された第２画像であって、当該撮像部２の光学系の収差の影響を受けた第２画像）を取得し、当該撮像画像が撮像された際のピント位置に関するピント位置情報を取得し、当該撮像画像を統計モデル（撮像部２の光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデル）に入力することによって当該統計モデルから出力されるぼけ値（撮像画像中の被写体に生じるぼけを示すぼけ値）を取得し、当該ピント位置情報に基づいて、当該ぼけ値を被写体までの実距離に変換する。

本実施形態においては、上記したように撮像画像を取得する際に、当該撮像画像の撮像時におけるピント位置に関するピント位置情報を取得することにより、当該撮像画像から測定される距離の精度を向上させることができる。

具体的には、撮像画像中の被写体に生じるぼけを示すぼけ値を実距離に変換するためには、上記した式（１）に表されるように、実ピント距離が必要である。このような実ピント距離を例えば人手により設定するような場合には、人為的な要因に基づく誤差（実ピント距離の設定誤差）が生じる可能性があり、このような実ピント距離の誤差はぼけ値から変換される実距離の精度の低下を招く。

更に、例えば被写体の位置がピント位置から過度に離れている（つまり、ぼけの大きさが過度に大きい）場合には測距装置１によって当該被写体までの実距離を測定することができない可能性があるが、この場合には、当該被写体を含む画像を撮像する際にピント位置を変更（調整）することが考えられる。例えばピント位置が変更される前に正確な実ピント距離が設定されていたとしても、このようにピント位置が変更された場合には、当該変更されたピント位置に基づく実ピント距離（測距装置１からピント位置までの実際の距離）を新たに設定する必要があり、上記した人為的な要因に基づく誤差が生じる可能性がある。更に、ピント位置の変更に伴って実ピント距離を計測及び設定する手間もかかる。

これに対して、本実施形態においては、撮像画像が撮像された際のピント位置情報を取得し、当該ピント位置情報に基づいてぼけ値を実距離に変換する構成であるため、実ピント距離の設定誤差を回避するとともに、撮像画像を撮像する際のピント位置の変更にも容易に対応することができる。

なお、本実施形態におけるピント位置情報としては、例えばレンズ２１を駆動するための制御信号値または撮像部２の光学系の光軸に対して平行方向に移動するレンズの位置を利用することができる。

更に、本実施形態においては、実ピント距離変換モデルを参照してピント位置情報を実ピント距離に変換し、当該実ピント距離を用いてぼけ値を実距離に変換する構成であるため、被写体までの適切な実距離を測定（取得）することができる。

また、本実施形態において、撮像画像を撮像する撮像部２（第１ピント位置情報取得部２４）において取得されたピント位置情報は当該撮像画像に付加されて画像処理部３に送信されるが、当該ピント位置情報は、メタデータ（メタファイル）として撮像画像のヘッダ部に埋め込まれていてもよいし、当該撮像画像とは異なる電子ファイルとして当該撮像画像に付加されていてもよい。すなわち、本実施形態においては、撮像部２側で取得された撮像画像及び当該撮像画像が撮像されたピント位置に関するピント位置情報が当該撮像部２から画像処理部３に渡される構成であればよい。

ところで、一般に、測距装置１に組み込まれるカメラ（製品としてのカメラ）には個体差があり、上記したピント位置情報と実ピント距離との対応関係は、当該カメラの個体毎に異なる場合がある。

このため、本実施形態おいては、例えば図２３に示すように、撮像部２がピント位置情報補正部２５を更に含む構成としてもよい。

ピント位置情報補正部２５は、予め保持（用意）されている補正値に基づいて、第１ピント位置情報取得部２４によって取得されたピント位置情報を補正する。ピント位置情報補正部２５によって補正されたピント位置情報は、第１画像取得部２３によって取得された画像に付加されて撮像部２から画像処理部３に送信される。

ここで、本実施形態においては、ピント位置情報と実ピント距離との対応関係を表す実ピント距離変換モデルが画像処理部３（第２ピント位置情報取得部３３）において予め保持されているものとして説明したが、ピント位置情報補正部２５によって保持される補正値は、第１ピント位置情報取得部２４によって取得されたピント位置情報が当該実ピント距離変換モデルを参照して適切な実ピント距離に変換される（つまり、上記した個体差を吸収する）ように当該ピント位置情報を補正するための値である。

この補正値（つまり、測距装置１に組み込まれているカメラと基準となるカメラとのピント位置情報のずれ量）は、例えば製品（カメラ）の出荷時の製品検査等において任意のピント位置で画像が撮像された際のピント位置情報と実ピント距離（測距装置１からピント位置までの実際の距離）との対応関係と、上記した画像処理部３において保持されている実ピント距離変換モデル（によって表されるピント位置情報と実ピント距離との対応関係）とを比較することによって取得されるものとする。

このような構成によれば、測距装置１に組み込まれるカメラに個体差が生じている場合であっても、当該個体差を吸収するように補正されたピント位置情報に基づいて適切に被写体までの実距離を測定することができる。

ここでは撮像部２（ピント位置情報補正部２５）がピント位置情報を補正するものとして説明したが、当該ピント位置情報の補正は、例えば画像処理部３側で実行されてもよい。

また、本実施形態において画像処理部３が各部３１～３６を含むものとして説明したが、例えば格納部３１は、測距装置１とは異なる外部の装置に配置されていてもよい。この場合、画像処理部３は、外部の装置から取得された統計モデルを利用するように動作してもよい。また、本実施形態は、例えば各部３２～３６によって実行される処理の一部が外部の装置で実行される構成であってもよい。

（応用例）
以下、本実施形態に係る測距装置１が適用される応用例について説明する。

図２４は、測距装置１が組み込まれている移動体７００の機能構成の一例を示す。移動体７００は、例えば自動運転機能を有する自動車、無人航空機、自立型の移動ロボット等として実現され得る。無人航空機は、人が乗ることができない飛行機、回転翼航空機、滑空機、飛行船であって、遠隔操作または自動操縦により飛行させることができるものであり、例えばドローン（マルチコプター）、ラジコン機、農薬散布用ヘリコプター等を含む。自立型の移動ロボットは、無人搬送車（ＡＧＶ：Automated Guided Vehicle）のような移動ロボット、床を掃除するための掃除ロボット、来場者に各種案内を行うコミュニケーションロボット等を含む。移動体７００には、ロボット本体が移動するものだけでなく、ロボットアームのような、ロボットの一部分を移動または回転させるような駆動機構を有する産業用ロボット等も含まれる。

図２４に示すように、移動体７００は、例えば測距装置１と制御信号生成部７０１と駆動機構７０２とを有する。測距装置１は、例えば撮像部２が移動体７００またはその一部分の進行方向の被写体を撮像することができるように設置される。

図２５に示すように、移動体７００が自動車７００Ａである場合、測距装置１は、前方を撮像するいわゆるフロントカメラとして設置される。なお、測距装置１は、バック時に後方を撮像するいわゆるリアカメラとして設置されてもよい。また、フロントカメラ及びリアカメラとして複数の測距装置１が設置されてもよい。更に、測距装置１は、いわゆるドライブレコーダーとしての機能を兼ねて設置されるものであってもよい。すなわち、測距装置１は録画機器であってもよい。

図２６は、移動体７００がドローン７００Ｂである場合の例を示す。ドローン７００Ｂは、駆動機構７０２に相当するドローン本体７１１と４つのプロペラ部７１２～７１５とを備える。各プロペラ部７１２～７１５は、プロペラとモータとを有する。モータの駆動がプロペラに伝達されることによって、当該プロペラが回転し、その回転による揚力によってドローン７００Ｂが浮上する。ドローン本体７１１の例えば下部には、測距装置１が搭載されている。

また、図２７は、移動体７００が自立型の移動ロボット７００Ｃである場合の例を示す。移動ロボット７００Ｃの下部には、駆動機構７０２に相当する、モータや車輪等を含む動力部７２１が設けられている。動力部７２１は、モータの回転数や車輪の向きを制御する。移動ロボット７００Ｃは、モータの駆動が伝達されることによって、路面または床面に設置する車輪が回転し、当該車輪の向きが制御されることにより任意の方向に移動することができる。図２７に示す例では、測距装置１は、例えば撮像部２が人型の移動ロボット７００Ｃの前方を撮像するように、当該移動ロボット７００Ｃの頭部に設置されている。なお、測距装置１は、移動ロボット７００Ｃの後方や左右を撮像するように設置されてもよいし、複数の方位を撮像するように複数設置されてもよい。また、センサ等を搭載するためのスペースが少ない小型ロボットに測距装置１を設けて、自己位置、姿勢及び被写体の位置を推定することにより、デッドレコニングを行うこともできる。

なお、図２８に示すように移動体７００がロボットアーム７００Ｄであり、当該ロボットアーム７００Ｄの一部分の移動及び回転を制御する場合には、測距装置１は、当該ロボットアーム７００Ｄの先端等に設置されてもよい。この場合、測距装置１に備えられる撮像部２によってロボットアーム７００Ｄで把持される物体が撮像され、画像処理部３は、ロボットアーム７００Ｄが把持しようとする物体までの距離を測定することができる。これにより、ロボットアーム７００Ｄにおいて、物体の正確な把持動作を行うことができる。

制御信号生成部７０１は、測距装置１（画像処理部３）から出力される被写体までの距離を示す距離情報に基づいて駆動機構７０２を制御するための制御信号を出力する。駆動機構７０２は、制御信号生成部７０１から出力される制御信号により、移動体７００または当該移動体７００の一部分を駆動する。駆動機構７０２は、例えば移動体７００または当該移動体７００の一部分の移動、回転、加速、減速、推力（揚力）の加減、進行方向の転換、通常運転モードと自動運転モード（衝突回避モード）との切り替え及びエアバッグ等の安全装置の作動のうちの少なくとも１つを行う。駆動機構７０２は、例えば被写体までの距離が閾値未満である場合に、移動、回転、加速、推力（揚力）の加減、物体に近寄る方向への方向転換及び自動運転モード（衝突回避モード）から通常運転モードへの切り替えのうちの少なくとも１つを行ってもよい。

なお、図２５に示す自動車７００Ａの駆動機構７０２は、例えばタイヤである。図２６に示すドローン７００Ｂの駆動機構７０２は、例えばプロペラである。図２７に示す移動ロボット７００Ｃの駆動機構７０２は、例えば脚部である。図２８に示すロボットアーム７００Ｄの駆動機構７０２は、例えば測距装置１が設けられた先端を支持する支持部である。

移動体７００は、測距装置１から出力された被写体までの距離に関する情報（距離情報）が入力されるスピーカやディスプレイを更に備えていてもよい。このスピーカやディスプレイは、測距装置１と有線または無線で接続されており、被写体までの距離に関する音声または画像を出力するように構成されている。更に、移動体７００は、測距装置１から出力された被写体までの距離に関する情報が入力され、例えば被写体までの距離に応じて点灯及び消灯することができる発光部を有していてもよい。

また、例えば移動体７００がドローン７００Ｂである場合においては、上空から、地図（物体の三次元形状）の作成、ビルや地形の構造調査、ひび割れや電線破断等の点検等が行われる際に、撮像部２が対象を撮像した画像を取得し、被写体までの距離が閾値以上であるか否かを判定する。制御信号生成部７０１は、この判定結果に基づいて、点検対象との距離が一定になるようにドローン７００Ｂの推力を制御するための制御信号を生成する。ここで、推力には揚力も含まれるものとする。駆動機構７０２がこの制御信号に基づいてドローン７００Ｂを動作させることにより、当該ドローン７００Ｂを点検対象に対して平行して飛行させることができる。移動体７００が監視用のドローン７００Ｂである場合、制御信号生成部７０１は、監視対象の物体との距離を一定に保つように当該ドローン７００Ｂの推力を制御するための制御信号を生成してもよい。

なお、移動体７００（例えば、ドローン７００Ｂ）が各種インフラストラクチャー（以下、単にインフラと表記）の保守点検等に用いられる場合には、当該インフラにおけるひび割れ箇所または錆が発生している箇所等を含む補修が必要な箇所（以下、補修箇所と表記）の画像を撮像部２で撮像することによって、当該補修箇所までの距離を得ることができる。この場合、補修箇所までの距離を利用することによって画像から当該補修箇所のサイズを算出することが可能である。これによれば、例えばインフラ全体を表すマップ上に補修箇所を表示することによって、当該インフラの保守点検者に補修箇所を認識させることができる。また、補修箇所のサイズを事前に保守点検者に伝えておくことは、円滑な補修作業を実施するためにも有用である。

なお、ここでは測距装置１が組み込まれている移動体７００（例えば、ドローン７００Ｂ）がインフラの保守点検等に用いられる場合について説明したが、例えば測距装置１がスマートフォン等として実現されている場合には、例えば保守点検者が当該スマートフォンを用いて補修箇所を撮像することによってインフラの保守点検を実施することができる。また、上記した測距システムに備えられる撮像装置がスマートフォン等として実現されている場合には、保守点検者が当該スマートフォンを用いて撮像された補修箇所の画像が画像処理装置にアップロードされることによって同様の保守点検を実現することができる。

画像をアップロードする際、例えばネットワークを経由してサーバ上の画像処理装置に画像を転送する方法を用いることで、保守点検の現場で手軽に点検作業ができる。

また、ドローン７００Ｂの飛行時に、撮像部２が地面方向を撮像した画像を取得し、地面との距離が閾値以上であるか否かを判定する。制御信号生成部７０１は、この判定結果に基づいて地面からの高さが指定された高さになるようにドローン７００Ｂの推力を制御するための制御信号を生成する。駆動機構７０２がこの制御信号に基づいてドローン７００Ｂを動作させることにより、当該ドローン７００Ｂを指定された高さで飛行させることができる。ドローン７００Ｂが農薬散布用ドローンであれば、このようにドローン７００Ｂの地面からの高さを一定に保つことで、農薬を均等に散布しやすくなる。

また、移動体７００が自動車７００Ａまたはドローン７００Ｂである場合、自動車７００Ａの連隊走行やドローン７００Ｂの連携飛行時に、撮像部２が前方の自動車や周囲のドローンを撮像し、当該自動車やドローンまでの距離が閾値以上であるか否かを判定する。制御信号生成部７０１は、この判定結果に基づいて、前方の自動車や周囲のドローンとの距離が一定になるように、自動車７００Ａの速度やドローン７００Ｂの推力を制御するための制御信号を生成する。駆動機構７０２がこの制御信号に基づいて自動車７００Ａやドローン７００Ｂを動作させることにより、自動車７００Ａの連隊走行やドローン７００Ｂの連携飛行を容易に行うことができる。

更に、移動体７００が自動車７００Ａである場合、自動車７００Ａのドライバーが閾値を設定（変更）することができるように、ユーザインタフェースを介してドライバーの指示を受理可能な構成としてもよい。これにより、ドライバーが好む車間距離で自動車７００Ａを走行させるようなことができる。また、前方の自動車との安全な車間距離を保つために、自動車７００Ａの速度に応じて閾値を変化させてもよい。安全な車間距離は、自動車７００Ａの速度によって異なる。そこで、自動車７００Ａの速度が速いほど閾値を大きく（長く）設定することができる。

また、移動体７００が自動車７００Ａである場合には、進行方向の所定の距離を閾値に設定しておき、当該閾値の手前に物体が表れた際にブレーキを作動させるまたはエアバッグ等の安全装置を作動させる制御信号を生成するようにしてもよい。この場合、自動ブレーキやエアバッグ等の安全装置が駆動機構７０２に設けられる。

本実施形態に記載された様々な機能の各々は、回路（処理回路）によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム（命令群）を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたＣＰＵ以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。

また、本実施形態の各種処理はコンピュータプログラムによって実現することができるため、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…測距装置、２…撮像部、２ａ…信号処理部、２ｂ…レンズ駆動部、３…画像処理部、２１…レンズ、２２…イメージセンサ、２３…第１画像取得部、２４…第１ピント位置情報取得部、２５…ピント位置情報補正部、３１…格納部、３２…第２画像取得部、３３…第２ピント位置情報取得部、３４…ぼけ値取得部、３５…実距離変換部、３６…出力部、１０１…ＣＰＵ、１０２…不揮発性メモリ、１０３…ＲＡＭ、１０３Ａ…測距プログラム、１０４…通信デバイス。

Claims (13)

1. 撮像部を備える測距装置において、
   前記撮像部の光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段と、
   前記撮像部によって撮像された第２画像であって、当該撮像部の光学系の収差の影響を受けた第２画像を取得する第１取得手段と、
   前記第２画像が撮像された際のピント位置に関するピント位置情報を取得する第２取得手段と、
   前記取得された第２画像を前記統計モデルに入力することによって当該統計モデルから出力される当該第２画像中の被写体に生じるぼけを示すぼけ値を取得する第３取得手段と、
   前記取得されたピント位置情報に基づいて、前記取得されたぼけ値を前記被写体までの距離に変換する第１変換手段と
   を具備する測距装置。
2. 前記撮像部の光学系は、当該光学系の光軸に対して平行方向に移動するレンズを含み、
   前記ピント位置情報は、前記レンズを駆動するための制御信号値を含む
   請求項１記載の測距装置。
3. 前記撮像部の光学系は、当該光学系の光軸に対して平行方向に移動するレンズを含み、
   前記ピント位置情報は、前記レンズの位置を含む
   請求項１記載の測距装置。
4. 前記取得されたピント位置情報を、前記ピント位置までの距離に変換する第２変換手段を更に具備し、
   前記第１変換手段は、前記ピント位置情報から変換された前記ピント位置までの距離に基づいて、前記取得されたぼけ値を前記被写体までの距離に変換する
   請求項１記載の測距装置。
5. 前記ピント位置情報は、前記撮像部において前記第２画像に付加されて当該撮像部から送信される請求項１～４のいずれか一項に記載の測距装置。
6. 前記ピント位置情報は、メタデータとして前記第２画像のヘッダ部に埋め込まれる請求項５記載の測距装置。
7. 前記ピント位置情報は、前記第２画像とは異なる電子ファイルとして当該第２画像に付加される請求項５記載の測距装置。
8. 前記取得されたピント位置情報を予め保持されている補正値に基づいて補正する補正手段を更に具備する請求項１～７のいずれか一項に記載の測距装置。
9. 撮像装置と接続される画像処理装置において、
   撮像装置の光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段と、
   前記撮像装置によって撮像された第２画像であって、当該撮像装置の光学系の収差の影響を受けた第２画像を、前記撮像装置から取得する第１取得手段と、
   前記第２画像が撮像された際のピント位置に関するピント位置情報を、前記撮像装置から取得する第２取得手段と、
   前記取得された第２画像を前記統計モデルに入力することによって当該統計モデルから出力される当該第２画像中の被写体に生じるぼけを示すぼけ値を取得する第３取得手段と、
   前記取得されたピント位置情報に基づいて、前記取得されたぼけ値を前記被写体までの距離に変換する変換手段と
   を具備する画像処理装置。
10. 撮像部と、前記撮像部の光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段とを備える測距装置が実行する方法であって、
    前記撮像部によって撮像された第２画像であって、当該撮像部の光学系の収差の影響を受けた第２画像を取得するステップと、
    前記第２画像が撮像された際のピント位置に関するピント位置情報を取得するステップと、
    前記取得された第２画像を前記統計モデルに入力することによって当該統計モデルから出力される当該第２画像中の被写体に生じるぼけを示すぼけ値を取得するステップと、
    前記取得されたピント位置情報に基づいて、前記取得されたぼけ値を前記被写体までの距離に変換するステップと
    を具備する方法。
11. 撮像装置と接続される画像処理装置であって、前記撮像装置の光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段を備える画像処理装置が実行する方法であって、
    前記撮像装置によって撮像された第２画像であって、当該撮像装置の光学系の収差の影響を受けた第２画像を、前記撮像装置から取得するステップと、
    前記第２画像が撮像された際のピント位置に関するピント位置情報を、前記撮像装置から取得するステップと、
    前記取得された第２画像を前記統計モデルに入力することによって当該統計モデルから出力される当該第２画像中の被写体に生じるぼけを示すぼけ値を取得するステップと、
    前記取得されたピント位置情報に基づいて、前記取得されたぼけ値を前記被写体までの距離に変換するステップと
    を具備する方法。
12. 撮像部と、前記撮像部の光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段とを備える測距装置のコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    前記撮像部によって撮像された第２画像であって、当該撮像部の光学系の収差の影響を受けた第２画像を取得するステップと、
    前記第２画像が撮像された際のピント位置に関するピント位置情報を取得するステップと、
    前記取得された第２画像を前記統計モデルに入力することによって当該統計モデルから出力される当該第２画像中の被写体に生じるぼけを示すぼけ値を取得するステップと、
    前記取得されたピント位置情報に基づいて、前記取得されたぼけ値を前記被写体までの距離に変換するステップと
    を実行させるためのプログラム。
13. 撮像装置と接続される画像処理装置であって、前記撮像装置の光学系の収差の影響を受けた第１画像に生じる、当該第１画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段を備える画像処理装置のコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    前記撮像装置によって撮像された第２画像であって、当該撮像装置の光学系の収差の影響を受けた第２画像を、前記撮像装置から取得するステップと、
    前記第２画像が撮像された際のピント位置に関するピント位置情報を、前記撮像装置から取得するステップと、
    前記取得された第２画像を前記統計モデルに入力することによって当該統計モデルから出力される当該第２画像中の被写体に生じるぼけを示すぼけ値を取得するステップと、
    前記取得されたピント位置情報に基づいて、前記取得されたぼけ値を前記被写体までの距離に変換するステップと
    を実行させるためのプログラム。

Images