JP2023069681A - 画像処理装置、方法及びプログラム - Google Patents

Abstract

【課題】画像を用いて測定される距離の精度を向上させることが可能な画像処理装置、方法及びプログラムを提供することにある。【解決手段】実施形態によれば、撮像装置によって撮像された画像を用いて当該撮像装置から当該画像中の被写体までの撮像距離を測定する際に用いられる画像処理装置が提供される。画像処理装置は、第１取得手段と、第２取得手段と、第３取得手段と、作成手段と、出力処理手段とを具備する。第１取得手段は、撮像装置によって撮像された画像を取得する。第２取得手段は、撮像装置の光学系に関する構成情報を取得する。第３取得手段は、画像に基づいて、当該画像に対する撮像距離を取得する。作成手段は、構成情報及び撮像距離に基づいて、被写体までの距離を測定するために適した画像の第１撮像条件を作成する。出力処理手段は、第１撮像条件を出力する。【選択図】図１

Description

本発明の実施形態は、画像処理装置、方法及びプログラムに関する。

一般的に、被写体までの距離を測定（取得）するために、２つの撮像装置（カメラ）やステレオカメラ（複眼のカメラ）で撮像された画像を用いることが知られていたが、近年では、１つの撮像装置（単眼のカメラ）で撮像された画像から被写体までの距離を測定する技術が開示されている。

しかしながら、１つの撮像装置で撮像された画像から被写体までの距離を測定する（つまり、単眼のカメラで撮像された１枚の画像で測距する）ことは利便性が高い一方で、当該測距の精度を向上させるためには撮像条件を調整する必要がある。

特開２０２０－０４８０３４号公報 特開２０２０－１４８４８３号公報

Masako Kashiwagi, Nao Mishima, Tatsuo Kozakaya, Shinsaku Hiura, "Deep Depth from Aberration Map", 2019 IEEE/CVF International Conference on Computer Vision (ICCV), IEEE, 27 Oct.-2 Nov. 2019, pp. 4069-4078

そこで、本発明が解決しようとする課題は、画像を用いて測定される距離の精度を向上させることが可能な画像処理装置、方法及びプログラムを提供することにある。

実施形態によれば、撮像装置によって撮像された当該撮像装置の光学系の収差の影響を受けた画像を用いて当該撮像装置から当該画像中の被写体までの撮像距離を測定する際に用いられる画像処理装置が提供される。前記画像処理装置は、第１取得手段と、第２取得手段と、第３取得手段と、作成手段と、出力処理手段とを具備する。前記第１取得手段は、前記撮像装置によって撮像された画像を取得する。前記第２取得手段は、前記撮像装置の光学系に関する構成情報を取得する。前記第３取得手段は、前記取得された画像に基づいて、当該画像に対する撮像距離を取得する。前記作成手段は、前記取得された構成情報及び前記取得された撮像距離に基づいて、前記被写体までの距離を測定するために適した画像の第１撮像条件を作成する。前記出力処理手段は、前記作成された第１撮像条件を出力する。

第１実施形態における画像処理システムの構成の一例を示す図。 撮像条件提示装置のシステム構成の一例を示す図。 統計モデルの概要について説明するための図。 単レンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示す図。 色消しレンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示す図。 撮像装置の光学系に備えられている絞り機構の開口部の大きさとＰＳＦ形状との関係性を示す図。 各チャンネルの画像に生じるＰＳＦ形状の一例を示す図。 各チャンネルの画像に生じるＰＳＦ形状の別の例を示す図。 画像中の各位置に生じるＰＳＦ形状の一例を示す図。 レンズの種別に応じたＰＳＦ形状の位置依存性について具体的に説明するための図。 ＰＳＦ形状の非線形性と絞り機構の開口部の形状との関係を表す図。 画像からぼけを推定する第１方式を説明するための図。 第１方式において統計モデルに入力される情報の一例を示す図。 画像からぼけを推定する第２方式を説明するための図。 第２方式において統計モデルに入力される情報の一例を示す図。 画像からぼけを推定する第３方式を説明するための図。 画像に生じるぼけと当該画像中の被写体までの距離との相関について具体的に説明するための図。 統計モデルの学習処理の一例を示す図。 統計モデルの学習処理の処理手順の一例を示すフローチャート。 撮像条件提示装置の処理手順の一例を示すフローチャート。 第２実施形態における画像処理システムの構成の一例を示す図。 撮像条件提示装置の処理手順の一例を示すフローチャート。 撮像装置及び測距装置が組み込まれている移動体の機能構成の一例を示す図。 移動体が自動車である場合について説明するための図。 移動体がドローンである場合について説明するための図。 移動体が自立型の移動ロボットである場合について説明するための図。 移動体がロボットアームである場合について説明するための図。

以下、図面を参照して、各実施形態について説明する。
（第１実施形態）
まず、第１実施形態について説明する。図１は、本実施形態における画像処理システムの構成の一例を示す。図１に示すように、画像処理システム１は、撮像装置２及び撮像条件提示装置（画像処理装置）３を備える。

本実施形態に係る撮像条件提示装置３は、撮像装置２によって撮像された画像を用いて撮像地点から被写体までの距離を測定する際の当該画像の撮像条件を提示する（つまり、距離を測定するために適した画像の撮像条件を提案する）ために用いられる。

なお、本実施形態においては、画像処理システム１が別個の装置である撮像装置２及び撮像条件提示装置３を備えるものとして説明するが、当該画像処理システム１は、撮像装置２が撮像部として機能し、撮像条件提示装置３が撮像条件改善部として機能する１つの装置として実現されていてもよい。画像処理システム１が別個の装置である撮像装置２及び撮像条件提示装置３を備える構成の場合には、例えばデジタルカメラ等を撮像装置２として用い、パーソナルコンピュータ、スマートフォンまたはタブレットコンピュータ等を撮像条件提示装置３として用いることができる。この場合、撮像条件提示装置３は、例えばクラウドコンピューティングサービスを実行するサーバ装置として動作するものであってもよい。一方、画像処理システム１が１つの装置として実現されている場合には、デジタルカメラ、スマートフォンまたはタブレットコンピュータ等を当該画像処理システム１として用いることができる。

更に、上記したように撮像条件提示装置３を用いて画像の撮像条件が改善された場合、当該改善された撮像条件に従って撮像装置２によって撮像された画像から被写体までの距離が測定されるが、当該被写体までの距離を測定する処理は、撮像条件提示装置３とは別個の装置（以下、測距装置）によって実行されるものとする。なお、測距装置は、撮像装置２を搭載した１つの装置として実現されてもよいし、撮像条件提示装置３と一体として構成されていてもよい。

撮像装置２は、各種画像を撮像するために用いられる。撮像装置２は、レンズ２１とイメージセンサ２２とを備える。レンズ２１及びイメージセンサ２２は、撮像装置２の光学系（単眼カメラ）に相当する。また、本実施形態において、レンズ２１は、当該レンズ２１の位置を調整することによりピント位置（合焦距離）を制御するための機構及びレンズ駆動回路等と、撮像装置２の光学系に取り込まれる光の量（入光量）を調節するための開口部を有する絞り機構及び絞り制御回路等と、当該レンズ２１に関する情報及びその他のパラメータ等の撮像装置２の光学系に関する構成情報（以下、撮像装置２の構成情報と表記）を保持しているメモリが搭載される制御回路等とともにレンズユニットを構成する。

また、本実施形態において、撮像装置２は、レンズ２１（レンズユニット）を手動で他のレンズに交換可能に構成されていてもよい。この場合、撮像装置２を使用するユーザは、例えば標準レンズ、望遠レンズ及び広角レンズ等の複数の種別のレンズのうちの１つを撮像装置２に装着して用いることができる。なお、レンズを交換した場合には、焦点距離やＦ値（絞り値）が変わり、撮像装置２において用いられるレンズに応じた画像を撮像することができる。

本実施形態において、焦点距離とは、レンズから、当該レンズに対して平行に光が入射したときに当該光が収束する位置までの距離をいう。また、Ｆ値とは、絞り機構に応じて撮像装置２に取り込まれる光の量を数値化したものである。なお、Ｆ値は、値が小さくなるにつれて、撮像装置２に取り込まれる光の量が多くなる（つまり、開口部の大きさが大きくなる）ことを示す。

レンズ２１には、被写体で反射した光が入射する。レンズ２１に入射した光は、レンズ２１を透過する。レンズ２１を透過した光は、イメージセンサ２２に到達し、当該イメージセンサ２２によって受光（検出）される。イメージセンサ２２は、受光した光を電気信号に変換（光電変換）することによって、複数の画素から構成される画像を生成する。

なお、イメージセンサ２２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等により実現される。イメージセンサ２２は、例えば赤色（Ｒ）の波長帯域の光を検出する第１センサ（Ｒセンサ）２２１、緑色（Ｇ）の波長帯域の光を検出する第２センサ（Ｇセンサ）２２２及び青色（Ｂ）の波長帯域の光を検出するセンサ（Ｂセンサ）２２３を含む。イメージセンサ２２は、第１～第３センサ２２１～２２３により対応する波長帯域の光を受光して、各波長帯域（色成分）に対応するセンサ画像（Ｒ画像、Ｇ画像及びＢ画像）を生成することができる。すなわち、撮像装置２によって撮像される画像はカラー画像（ＲＧＢ画像）であり、当該画像にはＲ画像、Ｇ画像及びＢ画像が含まれる。

なお、本実施形態においてはイメージセンサ２２が第１～第３センサ２２１～２２３を含むものとして説明するが、イメージセンサ２２は、第１～第３センサ２２１～２２３のうちの少なくとも１つを含むように構成されていればよい。また、イメージセンサ２２は、第１～第３センサ２２１～２２３に代えて、例えばモノクロ画像を生成するためのセンサを含むように構成されていてもよい。

本実施形態においてレンズ２１を透過した光に基づいて生成された画像は、光学系（に含まれるレンズ２１）の収差の影響を受けた画像であり、当該収差により生じるぼけを含む。なお、画像に生じるぼけの詳細については後述する。

撮像条件提示装置３は、機能構成として、格納部３１、画像取得部３２、構成情報取得部３３、撮像距離取得部３４、撮像条件作成部３５及び出力処理部３６を含む。

格納部３１には、被写体までの距離（奥行）を撮像装置２によって撮像された画像から測定するために用いられる統計モデル（距離推定モデル）が格納されている。なお、本実施形態において、上記した測距装置は、この格納部３１に格納されている統計モデル（つまり、撮像条件提示装置３において用いられる統計モデル）と同一の統計モデルを用いて画像から被写体までの距離を測定するように構成されているものとする。

統計モデルは、上記した光学系の収差の影響を受けた画像に生じる、当該画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成されている。

なお、統計モデルは、例えばニューラルネットワークまたはランダムフォレスト等の既知の様々な機械学習のアルゴリズムを適用して生成することができるものとする。また、本実施形態において適用可能なニューラルネットワークには、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）、全結合ニューラルネットワーク及び再帰型ニューラルネットワーク等が含まれていてもよい。

画像取得部３２は、上記した撮像装置２によって撮像された画像を、当該撮像装置２（イメージセンサ２２）から取得する。

構成情報取得部３３は、画像取得部３２によって取得された画像が撮像された際の撮像装置２の構成情報を取得する。なお、撮像装置２の構成情報は、例えば画像が撮像された日時やその他の設定データを当該画像に保存することができるデジタルカメラ用のフォーマットであるＥＸＩＦ（Exchangeable Image File Format）のような画像のメタファイル（ＥＸＩＦ情報）として撮像装置２によって撮像された画像内に埋め込まれているものとする。この場合、構成情報取得部３３は、画像取得部３２によって取得された画像（ＥＸＩＦ情報）から撮像装置２の構成情報を取得することができる。

撮像距離取得部３４は、画像取得部３２によって取得された画像に基づいて、当該画像に対する撮像距離を取得する。なお、本実施形態において撮像距離とは、画像取得部３２において取得された画像が撮像された際の当該画像中の被写体と当該撮像装置２との距離であり、当該被写体を基準とした撮像装置２の位置に相当する。この撮像距離は、例えば格納部３１に格納されている統計モデル及び構成情報取得部３３によって取得された撮像装置２の構成情報を用いて取得される。

撮像条件作成部３５は、構成情報取得部３３によって取得された撮像装置２の構成情報及び撮像距離取得部３４によって取得された撮像距離に基づいて、撮像装置２から被写体までの距離を測定するために適した画像の撮像条件を作成する。

出力処理部３６は、撮像条件作成部３５によって作成された撮像条件を出力する。この場合、撮像条件は、被写体までの適切な距離の測定を実現するための画像の撮像条件として例えば撮像装置２を使用するユーザ（撮像装置２を用いて画像を撮影する撮影者）に対して提示（提案）される。

図２は、図１に示す撮像条件提示装置３のシステム構成の一例を示す。図２に示すように、撮像条件提示装置３は、ＣＰＵ３０１、不揮発性メモリ３０２、ＲＡＭ３０３、通信デバイス３０４、入力デバイス３０５及び出力デバイス３０６等を備える。また、撮像条件提示装置３は、ＣＰＵ３０１、不揮発性メモリ３０２、ＲＡＭ３０３、通信デバイス３０４、入力デバイス３０５及び出力デバイス３０６を相互に接続するバス３０７を有する。

ＣＰＵ３０１は、撮像条件提示装置３内の様々なコンポーネントの動作を制御するためのプロセッサである。ＣＰＵ３０１は、単一のプロセッサであってもよいし、複数のプロセッサで構成されていてもよい。ここではコンポーネントの動作を制御するプロセッサとしてＣＰＵ（Central processing Unit）を用いて説明するが、当該プロセッサは、ＧＰＵ（Graphics Processing Unit）であってもよい。ＣＰＵ３０１は、不揮発性メモリ３０２からＲＡＭにロードされる様々なプログラムを実行する。ＣＰＵ３０１によって実行されるプログラムはオペレーティングシステムや様々なアプリケーションプログラムを含み、当該アプリケーションプログラムは撮像条件提示プログラム（画像処理プログラム）３０３Ａを含む。

不揮発性メモリ３０２は、補助記憶装置として用いられる記憶媒体である。ＲＡＭ３０３は、主記憶装置として用いられる記憶媒体である。図２においては不揮発性メモリ３０２及びＲＡＭ３０３のみが示されているが、撮像条件提示装置３は、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）等の他の記憶装置を備えていてもよい。

なお、本実施形態において、図１に示す格納部３１は、例えば不揮発性メモリ３０２または他の記憶装置等によって実現される。

また、本実施形態において、図１に示す画像取得部３２、構成情報取得部３３、撮像距離取得部３４、撮像条件作成部３５及び出力処理部３６の一部または全ては、ＣＰＵ３０１（つまり、撮像条件提示装置３のコンピュータ）に撮像条件提示プログラム３０３Ａを実行させること、すなわち、ソフトウェアによって実現されるものとする。この撮像条件提示プログラム３０３Ａは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じて撮像条件提示装置３にダウンロードされてもよい。なお、これらの各部３２～３６の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。

通信デバイス３０４は、有線通信または無線通信を実行するように構成されたデバイスである。通信デバイス３０４は、ネットワークを介した外部機器との通信等を実行する。この外部機器には、撮像装置２が含まれる。この場合、撮像条件提示装置３は、通信デバイス３０４を介して、撮像装置２から画像及び当該撮像装置２の構成情報を受信する。

入力デバイス３０５は、例えばマウスまたはキーボード等を含む。出力デバイス３０６は、例えばディスプレイ及びスピーカー等を含む。なお、入力デバイス３０５及び出力デバイス３０６は、例えばタッチスクリーンディスプレイのように一体として構成されていてもよい。

ここで、本実施形態においては、格納部３１に格納されている統計モデルを用いて撮像距離を取得し、当該撮像距離に基づいて撮像条件を作成する構成を想定しているが、以下、図３を参照して、本実施形態において用いられる統計モデルの概要について説明する。

本実施形態において、統計モデルは、撮像装置２によって撮像された画像（イメージセンサ２２によって生成された画像）を入力するように構築されている。なお、統計モデルに入力される画像は、上記したように撮像装置２の光学系（レンズ２１）の収差の影響を受けた画像である。

本実施形態における統計モデルは上記したように画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成されているところ、当該統計モデルによれば、当該統計モデルに入力された画像中の被写体までの距離に応じて当該画像に生じるぼけを示すぼけ値（ぼけ情報）が推定され、当該ぼけ値が出力される。後述するように画像中の被写体までの距離と当該距離に応じて画像に生じるぼけの色、サイズ及び形状とは相関があるため、統計モデルから出力されたぼけ値を距離に変換することによって、当該被写体までの距離を取得することができる。

本実施形態においては、このように統計モデルを用いて取得される被写体までの距離を上記した撮像距離として利用するものとする。

ここで、本実施形態において撮像装置２によって撮像された画像に生じているぼけ（当該撮像装置２の光学系の収差に起因するぼけ）について説明する。

まず、撮像装置２の光学系の収差に起因するぼけのうち、色収差について説明する。図４は、被写体までの距離と色収差により画像に生じるぼけとの関係性について示している。以下の説明では、撮像装置２によって撮像される画像においてピントが合う位置をピント位置と称する。

収差のあるレンズ２１を透過する際の光の屈折率は波長帯域毎に異なるため、例えば被写体の位置がピント位置からずれているような場合には、各波長帯域の光が１点に集まらず異なった点に到達する。これが画像上で色収差（ぼけ）として現れる。

図４の上段は、撮像装置（イメージセンサ２２）に対する被写体の位置がピント位置よりも遠い（つまり、被写体の位置がピント位置よりも奥にある）場合を示している。

この場合、赤色の波長帯域の光４０１に関しては、イメージセンサ２２（第１センサ２２１）において比較的小さいぼけｂ_Ｒを含む画像が生成される。一方、青色の波長帯域の光４０２に関しては、イメージセンサ２２（第３センサ２２３）において比較的大きいぼけｂ_Ｂを含む画像が生成される。なお、緑色の波長帯域の光４０３に関しては、ぼけｂ_Ｒとぼけｂ_Ｂとの中間の大きさのぼけを含む画像が 成される。したがって、このような被写体の位置がピント位置よりも遠い状態で撮像された画像においては、当該画像中の被写体の外側に青色のぼけが確認される。

一方、図４の下段は、撮像装置２（イメージセンサ２２）に対する被写体の位置がピント位置よりも近い（つまり、被写体の位置がピント位置よりも手前にある）場合を示している。

この場合、赤色の波長帯域の光４０１に関しては、イメージセンサ２２（第１センサ２２１）において比較的大きいぼけｂ_Ｒを含む画像が生成される。一方、青色の波長帯域の光４０２に関しては、イメージセンサ２２（第３センサ２２３）において比較的小さいぼけｂ_Ｂを含む画像が生成される。なお、緑色の波長帯域の光４０３に関しては、ぼけｂ_Ｒとぼけｂ_Ｂとの中間の大きさのぼけを含む画像が生成される。したがって、このような被写体の位置がピント位置よりも近い状態で撮像された画像においては、当該画像中の被写体の外側に赤色のぼけが観察される。

ここで、図４はレンズ２１が単純な単レンズである例を示しているが、一般的に、撮像装置２においては、例えば色収差補正が施されたレンズ（以下、色消しレンズと表記）が用いられる場合がある。なお、色消しレンズとは、低分散の凸レンズと高分散の凹レンズとを組み合わせたレンズであり、色収差を補正するレンズとして最もレンズ枚数が少ないレンズである。

図５は、レンズ２１として上記した色消しレンズを用いた場合における被写体までの距離と色収差により画像に生じるぼけとの関係性を示している。色消しレンズにおいては青色の波長と赤色の波長の焦点位置を揃える設計がされているが、色収差は完全に除去することができない。このため、被写体の位置がピント位置よりも遠い場合には図５の上段に示すように緑色のぼけが発生し、被写体の位置がピント位置よりも近い場合には図５の下段に示すように紫色のぼけが発生する。

なお、図４及び図５の中段は、撮像装置２（イメージセンサ２２）に対する被写体の位置とピント位置とが一致している場合を示している。この場合には、イメージセンサ２２（第１～第３センサ２２１～２２３）においてぼけの少ない画像が生成される。

ここで、撮像装置２の光学系（レンズユニット）には上記したように絞り機構が備えられているが、当該撮像装置２によって撮像された画像に生じるぼけの形状は、当該絞り機構の開口部の大きさによっても異なる。なお、ぼけの形状は、ＰＳＦ（Point Spread Function）形状と称され、点光源が撮像されたときに生じる光の拡散分布を示している。

図６の上段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２（の光学系）においてピント位置を１５００ｍｍ、Ｆ値（絞り）をＦ１．８とした場合に当該撮像装置２によって撮像された画像の中央部に生じるＰＳＦ形状を、被写体の位置が撮像装置２から近い順に左から示している。図６の下段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２（の光学系）においてピント位置を１５００ｍｍ、Ｆ値（絞り）をＦ４とした場合に当該撮像装置２によって撮像された画像の中央部に生じるＰＳＦ形状を、被写体の位置が撮像装置２から近い順に左から示している。なお、図６の上段及び下段の中央は、被写体の位置がピント位置と一致している場合のＰＳＦ形状を示している。

図６の上段及び下段の対応する位置に示されているＰＳＦ形状は撮像装置２に対する被写体の位置が同一である場合のＰＳＦ形状であるが、当該被写体の位置が同一である場合であっても、上段のＰＳＦ形状（Ｆ値をＦ１．８として撮像した画像に生じるＰＳＦ形状）と下段のＰＳＦ形状（Ｆ値をＦ４として撮像した画像に生じるＰＳＦ形状）とでは形状が異なっている。

更に、図６の最も左側のＰＳＦ形状と最も右側のＰＳＦ形状に示すように、例えば被写体の位置からピント位置までの距離が同程度である場合であっても、当該被写体の位置がピント位置よりも近い場合と当該被写体の位置がピント位置よりも遠い場合とで、ＰＳＦ形状が異なっている。

なお、上記したように絞り機構の開口部の大きさや撮像装置２に対する被写体の位置に応じてＰＳＦ形状が異なる現象は、各チャンネル（ＲＧＢ画像、Ｒ画像、Ｇ画像及びＢ画像）においても同様に生じる。図７は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ１．８とした場合に当該撮像装置２によって撮像された各チャンネルの画像に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い（手前にある）場合と被写体の位置がピント位置よりも遠い（奥にある）場合とに分けて示している。図８は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像装置２によって撮像された各チャンネルの画像に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

更に、撮像装置２によって撮像された画像に生じるＰＳＦ形状は、当該画像中の位置によっても異なる。

図９の上段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ１．８とした場合に当該撮像装置２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図９の中段は、焦点距離が５０ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像装置２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

図９の上段及び中段に示すように、撮像装置２によって撮像された画像の端部近傍（特に、左上等の角部近傍）においては、例えば画像中央付近に位置するＰＳＦ形状とは異なるＰＳＦ形状を観察することができる。

また、図９の下段は、焦点距離が１０５ｍｍのレンズを用いた撮像装置２においてピント位置を１５００ｍｍ、Ｆ値をＦ４とした場合に当該撮像装置２によって撮像された画像中の各位置に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示している。

上記した図９の上段及び中段は同一のレンズを用いて撮像された画像に生じるＰＳＦ形状を示しているが、図９の下段に示すように、焦点距離が異なるレンズを用いた場合には当該レンズに応じた異なるＰＳＦ形状（図９の上段及び中段とは異なるＰＳＦ形状）が観察される。

次に、図１０を参照して、上記した撮像装置２の光学系に用いるレンズの種別に応じたＰＳＦ形状（レンズの収差）の位置依存性について具体的に説明する。図１０は、焦点距離が異なる複数のレンズの各々を用いて撮像された画像の中央付近（画面中央）及び端部付近（画面端）に生じるＰＳＦ形状を、被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とに分けて示されている。

図１０に示すように、画像の中央付近に生じるＰＳＦ形状は、レンズの種別が異なる場合であっても概ね円形で同一であるが、画像の端部付近に生じるＰＳＦ形状は、画像の中央付近に生じるＰＳＦ形状と異なる形状を有し、かつ、レンズの種別に応じてそれぞれ特性（特徴）が異なる。なお、上記した図５において説明した被写体の位置がピント位置よりも近い場合にはＰＳＦ形状のふち付近に紫色のぼけが発生し、被写体の位置がピント位置よりも遠い場合にはＰＳＦ形状のふち付近に緑色のぼけが発生する点については、レンズの種別が異なる場合であっても共通している。

また、図１０においては、焦点距離が５０ｍｍのレンズに関しては２つの例（＃１及び＃２）が示されているが、これは、焦点距離が５０ｍｍで同一であるが、レンズの製造元が異なる（つまり、異なる製品である）ことを示している。焦点距離が８５ｍｍのレンズについても同様である。

上記したように本実施形態における被写体までの距離に応じて非線形に変化するぼけには、上記した図４及び図５において説明した撮像装置２の光学系の色収差により生じるぼけ、図６～図８において説明した撮像装置２の光学系に取り込まれる光の量を調節する絞り機構の開口部の大きさ（つまり、Ｆ値）に応じて生じるぼけ、図９及び図１０において説明した撮像装置２によって撮像された画像中の位置に応じて変化するぼけ等が含まれる。

なお、ＰＳＦ形状は、絞り機構の開口部の形状によっても異なる。ここで、図１１は、ＰＳＦ形状の非線形性（非対称性）と絞り機構の開口部の形状との関係を表している。上記したＰＳＦ形状の非線形性は、絞り機構の開口部の形状が円以外の場合に生じやすい。特に、ＰＳＦ形状の非線形性は、開口部の形状が奇数角形、或いはイメージセンサ２２の水平または垂直軸に対して非対称に配置された偶数角形の場合により生じやすい。

本実施形態においては、上記した画像に生じるぼけ（色、サイズ及び形状）が被写体までの距離に関する物理的な手掛かりとなる点に着目して生成された統計モデルを用いて当該画像に生じるぼけを示すぼけ値が推定（予測）される。なお、本実施形態において統計モデルによって推定される（つまり、当該統計モデルから出力される）ぼけ値とは、画像に生じるぼけの色、サイズ及び形状を含むぼけ量を表すスカラー量である。

以下、本実施形態において統計モデルによって画像からぼけ（を示すぼけ値）を推定する方式の一例について説明する。ここでは、第１～第３方式について説明する。

まず、図１２を参照して、第１方式について説明する。第１方式においては、画像５０１から局所領域（画像パッチ）５０１ａが抽出される。

この場合、例えば画像５０１の全領域をマトリクス状に分割し、当該分割後の部分領域を局所領域５０１ａとして順次抽出するようにしてもよいし、画像５０１を認識して、被写体（像）が検出された領域を網羅するように局所領域５０１ａを抽出するようにしてもよい。また、局所領域５０１ａは、他の局所領域５０１ａとの間で一部がオーバーラップしていてもよい。

次に、抽出された局所領域５０１ａ毎に、当該局所領域５０１ａに関する情報（画像５０１の情報）が統計モデルに入力されることによって、当該局所領域５０１ａ中の被写体までの距離に応じて生じるぼけを示すぼけ値が推定される。

このように局所領域５０１ａに関する情報が入力された統計モデルは、当該局所領域５０１ａを構成する画素毎にぼけ値５０２を推定する。

ここで、例えば特定の画素が第１局所領域５０１ａ及び第２局所領域５０１ａの両方に属する（つまり、第１局所領域５０１ａ及び第２局所領域５０１ａとの間で当該画素を含む領域がオーバーラップしている）場合、当該画素が第１局所領域５０１ａに属するものとして推定されたぼけ値と、当該画素が第２局所領域５０１ａに属するものとして推定されたぼけ値とでは異なる場合がある。

このため、例えば上記したように一部がオーバーラップする複数の局所領域５０１ａが抽出されている場合、当該複数の局所領域５０１ａがオーバーラップしている領域を構成する画素のぼけ値は、例えば当該オーバーラップしている一方の局所領域５０１ａの一部の領域（画素）について推定されたぼけ値と他方の局所領域５０１ａの一部の領域（画素）について推定されたぼけ値との平均値としてもよい。また、一部がオーバーラップする３以上の局所領域５０１ａの一部の領域毎に推定されたぼけ値による多数決で決定されてもよい。

図１３は、上記した第１方式において統計モデルに入力される局所領域５０１ａに関する情報の一例を示す。

図１３に示すように、統計モデルには、画像５０１から抽出された局所領域５０１ａの勾配データが入力される。局所領域５０１ａの勾配データは、画像５０１に含まれるＲ画像、Ｇ画像及びＢ画像の各々から生成され、Ｒ画像の勾配データ、Ｇ画像の勾配データ及びＢ画像の勾配データを含む。

なお、勾配データは、各画素と当該画素に隣接する画素との画素値の差分（差分値）を示す。例えば、局所領域５０１ａがｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の矩形領域として抽出される場合、当該局所領域５０１ａ内の各画素について算出した例えば右隣の画素との差分値をｎ行×ｍ列のマトリクス状に配置した勾配データが生成される。

統計モデルは、Ｒ画像の勾配データと、Ｇ画像の勾配データと、Ｂ画像の勾配データとを用いて、当該各画像に生じているぼけを示すぼけ値を推定する。図１３においてはＲ画像、Ｇ画像及びＢ画像の各々の勾配データが統計モデルに入力される場合について示しているが、画像５０１（ＲＧＢ画像）の勾配データが統計モデルに入力される構成であってもよい。

次に、図１４を参照して、第２方式について説明する。第２方式においては、第１方式における局所領域５０１ａに関する情報として、当該局所領域（画像パッチ）５０１ａ毎の勾配データ及び画像５０１における当該局所領域５０１ａの位置情報が統計モデルに入力される。

位置情報５０１ｂは、例えば局所領域５０１ａの中心点を示すものであってもよいし、左上辺等の予め定められた一辺を示すものであってもよい。また、位置情報５０１ｂとして、局所領域５０１ａを構成する画素それぞれの画像５０１上での位置を用いてもよい。

上記したように位置情報５０１ｂを更に統計モデルに入力することで、例えばレンズ２１の中心部を透過する光によって結像された被写体像のぼけと、当該レンズ２１の端部を透過する光によって結像された被写体像のぼけとの間の差異を考慮したぼけ値５０２を推定することができる。

つまり、この第２方式によれば、画像上の位置との相関に基づいて画像５０１からぼけ値を推定することができる。

図１５は、上記した第２方式において統計モデルに入力される局所領域５０１ａに関する情報の一例を示す。

例えばｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の矩形領域が局所領域５０１ａとして抽出される場合、当該局所領域５０１ａの例えば中心点に対応する画像５０１上のＸ座標値（Ｘ座標データ）と、当該局所領域５０１ａの例えば中心点に対応する画像５０１上のＹ座標値（Ｙ座標データ）とが取得される。

第２方式においては、このように取得されたＸ座標データ及びＹ座標データが、上記したＲ画像、Ｇ画像及びＢ画像の勾配データとともに、統計モデルに入力される。

更に、図１６を参照して、第３方式について説明する。第３方式においては、上記した第１方式及び第２方式のような画像５０１からの局所領域５０１ａの抽出は行われない。第３方式においては、例えば画像５０１の全領域に関する情報（Ｒ画像、Ｇ画像及びＢ画像の勾配データ）が統計モデルに入力される。

局所領域５０１ａ毎にぼけ値５０２を推定する第１方式及び第２方式と比較して、第３方式は、統計モデルによる推定の不確実性が高くなる可能性があるが、当該推定にかかる処理の負荷を軽減することができる。

以下の説明においては、上記した第１～第３方式において統計モデルに入力される情報を、便宜的に、画像に関する情報と称する。

ここでは画素毎にぼけ値が推定されるものとして説明したが、当該ぼけ値は、少なくとも１つの画素を含む所定の領域毎に推定されても構わない。

以下、図１７を参照して、本実施形態における画像に生じるぼけと当該画像中の被写体までの距離との相関について具体的に説明する。

図１７においては、被写体がピント位置よりも近い（手前にある）場合に生じるぼけのサイズをＸ軸上においてマイナスの値で示し、被写体がピント位置よりも遠い（奥にある）場合に生じるぼけのサイズをＸ軸上においてプラスの値で示している。つまり、上記したように被写体の位置がピント位置よりも近い場合と被写体の位置がピント位置よりも遠い場合とで当該被写体に生じるぼけにおいて観察される色が異なることを鑑みると、図１７においては、ぼけの色及びサイズが正負の値で示されているといえる。

また、図１７においては、被写体の位置がピント位置よりも近い場合及び被写体の位置がピント位置よりも遠い場合のいずれの場合においても、被写体がピント位置から離れるほど、ぼけのサイズ（ピクセル）の絶対値が大きくなることが示されている。

図１７に示す例では、画像を撮像した撮像装置２の光学系におけるピント位置が約１５００ｍｍである場合を想定している。この場合、例えば約－４．８ピクセルのぼけは光学系から約１０００ｍｍの距離に対応し、０ピクセルのぼけは光学系から１５００ｍｍの距離に対応し、約４．８ピクセルのぼけは光学系から約７５０ｍｍの距離に対応する。

ここでは、便宜的に、ぼけの色及びサイズ（ピクセル）をＸ軸上に示す場合について説明したが、上記した図６～図１０において説明したように、画像に生じるぼけの形状（ＰＳＦ形状）についても、被写体がピント位置よりも近い場合と当該被写体がピント位置よりも遠い場合とで異なるし、画像中の位置によっても異なる。このため、図１７においてＸ軸上に示す値（つまり、ぼけ値）は、実際にはぼけの形状（ＰＳＦ形状）を反映した値である。

上記した被写体までの距離とぼけの色、サイズ及び形状とは例えば図１７の線分ｄ１によって示されるような相関があるため、距離を推定することと、ぼけの色、サイズ及び形状（を示すぼけ値）を推定することとは同義である。

なお、例えば統計モデルに直接的に距離を推定される構成も考えられるが、統計モデルにぼけ値を推定させる構成の方が、光学系におけるピント位置（合焦距離）を変更したような場合であっても同一の統計モデルを用いることが可能であり、汎用性が高いといえる。

本実施形態においては、上記した統計モデルを用いることによって画像から当該画像中の被写体までの距離に応じて当該画像に生じるぼけを示すぼけ値を取得（推定）することができるが、当該統計モデルは、上記したように撮像装置２の光学系の収差の影響を受けた画像に生じるぼけ（当該画像中の被写体までの距離に応じて非線形に変化するぼけ）を学習する処理（以下、学習処理と表記）を実行することによって生成される。

以下、統計モデルを生成するために実行される学習処理（以下、統計モデルの学習処理と表記）の概要について説明する。

図１８は、本実施形態における統計モデルの学習処理（学習方法）の一例を示す。統計モデルの学習処理は、当該統計モデルを学習させるために用意された画像（以下、学習用画像と表記）を用いて実行される。学習用画像は、例えば撮像装置２によって撮像された画像であればよいが、当該撮像装置２の光学系と同様の光学系を有する他のデバイス（カメラ等）によって撮像された画像であってもよい。

上記した図１２を参照して説明した第１方式、図１４を参照して説明した第２方式、図１６を参照して説明した第３方式のいずれの方式を用いる場合においても、統計モデルの学習処理は、基本的に、学習用画像６０１（に関する情報）を統計モデルに入力し、当該統計モデルによって推定されたぼけ値６０２と正解値６０３との誤差を当該統計モデルにフィードバックすることによって行われる。なお、フィードバックとは、誤差が減少するように統計モデルのパラメータ（例えば、重み係数）を更新することをいう。

上記した画像からぼけ値を推定する方式として第１方式が適用される場合には、統計モデルの学習処理時においても、学習用画像６０１から抽出された局所領域（画像パッチ）毎に、当該局所領域に関する情報（勾配データ）が統計モデルに入力され、当該統計モデルによって各局所領域内の各画素のぼけ値６０２が推定される。このように推定されたぼけ値６０２と正解値６０３とが比較されることによって得られる誤差が、当該統計モデルにフィードバックされる。

同様に、画像からぼけ値を推定する方式として第２方式が適用される場合には、統計モデルの学習処理時においても、学習用画像６０１から抽出された局所領域（画像パッチ）毎に、当該局所領域に関する情報として勾配データ及び位置情報が統計モデルに入力され、当該統計モデルによって各局所領域内の各画素のぼけ値６０２が推定される。このように推定されたぼけ値６０２と正解値６０３とが比較されることによって得られる誤差が、統計モデルにフィードバックされる。

また、画像から距離を推定する方式として第３方式が適用される場合には、統計モデルの学習処理時においても、学習用画像６０１の全領域に関する情報（勾配データ）が一括して統計モデルに入力され、当該統計モデルによって当該学習用画像６０１内の各画素のぼけ値６０２が推定される。このように推定されたぼけ値６０２と正解値６０３とが比較されることによって得られる誤差が、統計モデルにフィードバックされる。

上記した統計モデルの学習処理によれば、ぼけ値６０２と正解値６０３との誤差が減少するように統計モデルのパラメータが更新され、当該統計モデルは学習用画像６０１に生じているぼけを学習することができる。

なお、本実施形態における統計モデルは、例えばピント位置を固定した状態で撮像装置２から被写体までの距離を変化させながら撮像された学習用画像を用いた学習処理が繰り返し実行されることによって生成される。また、１つのピント位置についての学習処理が完了した場合には、他のピント位置についても同様に学習処理を実行することによって、より精度の高い統計モデルを生成することができる。

また、本実施形態における統計モデルの学習処理において用いられる正解値は、上記したように学習用画像が撮像された際の被写体までの実際の距離から変換されたぼけ値（つまり、実際の距離に対応するぼけの色、サイズ及び形状を示すぼけ値）であるものとする。

次に、図１９のフローチャートを参照して、統計モデルの学習処理の処理手順の一例について説明する。なお、図１９に示す処理は、例えば撮像条件提示装置３において実行されてもよいし、他の装置等において実行されてもよい。

まず、予め用意された学習用画像（に関する情報）が統計モデルに入力される（ステップＳ１）。この学習用画像は、例えば撮像装置２に備えられるレンズ２１を透過した光に基づいてイメージセンサ２２によって生成された画像であって、撮像装置２の光学系（レンズ２１）の収差の影響を受けた画像である。具体的には、学習用画像には、図４～図１０において説明した被写体までの距離に応じて非線形に変化するぼけが生じている。

なお、統計モデルの学習処理においては、当該統計モデルを用いて測定（推定）可能な距離の下限値（手前）から上限値（奥）まで極力細かい粒度で被写体を各距離で撮像した学習用画像が予め用意されているものとする。また、学習用画像としては、被写体が異なる様々な画像を用意しておくことが好ましい。

画像からぼけ値を推定する方式として上記した第１方式が適用される場合には、学習用画像に関する情報として、当該学習用画像の局所領域毎に、Ｒ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力される。

画像からぼけ値を推定する方式として上記した第２方式が適用される場合には、学習用画像に関する情報として、当該学習用画像の局所領域毎に、Ｒ画像、Ｇ画像及びＢ画像の勾配データと当該局所領域の学習用画像上における位置情報とが統計モデルに入力される。

画像からぼけ値を推定する方式として上記した第３方式が適用される場合には、学習用画像に関する情報として、当該学習用画像の全領域分のＲ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力される。

なお、本実施形態においてはＲ画像、Ｇ画像及びＢ画像の勾配データが統計モデルに入力されるものとして説明するが、当該統計モデルが画像に生じるぼけの形状（ＰＳＦ形状）の観点からぼけ値を推定する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも１つの勾配データが統計モデルに入力されればよい。一方、統計モデルが色収差により画像に生じるぼけの色及びサイズの観点からぼけ値を推定する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも２つの勾配データが統計モデルに入力されればよい。

ステップＳ１の処理が実行されると、統計モデルによってぼけ値が推定される（ステップＳ２）。

ステップＳ２において推定されたぼけ値は、学習用画像の撮像時に得られている正解値と比較される（ステップＳ３）。

ステップＳ３における比較結果（誤差）は、統計モデルにフィードバックされる（ステップＳ４）。これにより、統計モデルにおいては、誤差が減少するようにパラメータが更新される（つまり、被写体までの距離に応じて学習用画像に生じているぼけが学習される）。

上記した図１９に示す処理が学習用画像毎に繰り返し実行されることによって、推定精度の高い統計モデルが生成される。このように生成された統計モデルは、撮像条件提示装置３に含まれる格納部３１に格納される。

なお、本実施形態において、上記した統計モデルは測距装置においても保持されており、当該測距装置は、撮像装置２によって撮像された画像を当該統計モデルに入力することによって当該統計モデルから出力されるぼけ値を距離に変換することによって、当該画像中の被写体までの距離を測定する（つまり、測距する）。

すなわち、本実施形態に係る撮像条件提示装置３は、このように測距装置が統計モデルを用いて画像から被写体までの距離を測定することを考慮して、当該統計モデル（と同一の統計モデル）を用いて撮像距離を取得し、当該取得された撮像距離に基づいて撮像条件（被写体までの距離を測定するために適した画像を撮像する条件）を作成及び出力することにより、測距装置によって測定される被写体までの距離の精度を向上させるものである。

以下、図２０のフローチャートを参照して、本実施形態に係る撮像条件提示装置３の処理手順の一例について説明する。

まず、画像取得部３２は、撮像装置２（イメージセンサ２２）によって撮像された被写体を含む画像（以下、撮像画像と表記）を取得する（ステップＳ１１）。この撮像画像は、上記したように撮像装置２の光学系（レンズ２１）の収差の影響を受けた画像である。ステップＳ１１において取得された撮像画像は、撮像距離取得部３４に渡される。

なお、画像取得部３２から撮像距離取得部３４に渡される撮像画像（画像データ）は、例えばＲＡＷデータであってもよいし、当該ＲＡＷデータを所定の形式に変換する現像処理または解像度を変更する処理等の所定の画像処理（データ処理）が実行された後のデータであってもよい。なお、撮像画像に対して実行される画像処理は、例えば撮像画像を統計モデルに入力するための前処理及び撮像条件提示装置３における処理時間（処理量）を低減させるための処理等を含む。

次に、構成情報取得部３３は、撮像画像が撮像された際の撮像装置２の構成情報を例えば当該撮像画像（のＥＸＩＦ情報）から取得する（ステップＳ１２）。本実施形態において、撮像装置２の構成情報は、当該撮像装置２の光学系に関する情報であり、例えばピント距離を含む。本実施形態において、ピント距離は、上記した撮像画像においてピントが合う位置（撮像画像におけるピント位置）までの距離であり、撮像装置２の光学系（レンズ２１とイメージセンサ２２との間の距離）によって定まる。また、撮像装置２の構成情報には、当該撮像装置２の光学系における焦点距離、Ｆ値、レンズ２１の位置及びイメージセンサ２２のサイズ（イメージセンサ２２における１画素の大きさ）等が更に含まれているものとする。ステップＳ１２において取得された撮像装置２の構成情報は、撮像距離取得部３４及び撮像条件作成部３５に渡される。

撮像距離取得部３４は、撮像画像に対する撮像距離（つまり、現在の撮像距離）を取得する（ステップＳ１３）。このステップＳ１３の処理は、格納部３１に格納されている統計モデルを用いた距離推定処理を含む。

以下、ステップＳ１３の処理について説明する。まず、撮像距離取得部３４は、画像取得部３２から渡された撮像画像を統計モデルに入力することによって当該統計モデルから出力されるぼけ値（つまり、当該統計モデルにおいて推定されたぼけ値）を取得する。なお、このぼけ値を取得する処理は、上記した図１９に示すステップＳ１及びＳ２の処理に相当するため、ここではその詳しい説明を省略する。

次に、撮像距離取得部３４は、取得されたぼけ値を距離に変換する。なお、ぼけ値から距離への変換には、構成情報取得部３３から渡された撮像装置２の構成情報が用いられる。具体的には、距離ｕは、ぼけ値ｂを用いた以下の式（１）により表される。

式（１）におけるｆは、撮像画像を撮像した撮像装置２の光学系における焦点距離を表している。ｕ_ｆは、撮像画像においてピントが合う位置までの距離（つまり、ピント距離）を表している。Ｆは、撮像画像を撮像した撮像装置２の光学系におけるＦ値（絞り値）を表している。

すなわち、本実施形態においては、上記したように統計モデルを用いて取得されたぼけ値と、撮像装置２の構成情報に含まれるピント距離、焦点距離及びＦ値とを式（１）に適用することによって距離を計算することができる。

ステップＳ１３においては、上記したように計算された距離（つまり、ぼけ値から変換された距離）が撮像距離として取得される。

ここで、撮像画像が統計モデルに入力された場合、当該統計モデルは当該撮像画像を構成する画素毎にぼけ値を出力するため、撮像距離取得部３４は、当該画素毎に出力されたぼけ値の各々を距離に変換する（つまり、画素毎に距離を計算する）。この場合、撮像距離取得部３４は、画素毎に計算された距離に基づいて、撮像距離を取得（決定）する。

具体的には、撮像距離取得部３４は、例えば画素毎に計算された距離の平均値または中央値のような統計値（統計量）を計算し、当該統計値を撮像距離として取得する。

ここでは、画素毎に計算された距離の統計値を撮像距離として取得するものとして説明したが、撮像画像を構成する複数の画素のうちの特定の画素（例えば、撮像画像の中央に位置する画素またはユーザによって指定された画素等）について計算された距離が撮像距離として取得されてもよい。

また、例えば撮像画像中の注目領域を構成する画素毎に計算された距離に基づいて、撮像距離を取得するようにしてもよい。具体的には、例えば撮像画像中の被写体を含む領域を注目領域として抽出し、当該注目領域を構成する画素毎に計算された距離の統計値を撮像距離として取得することができる。

この場合における注目領域は、例えば矩形形状の領域等であればよいが、当該被写体の輪郭に沿う形状の領域（つまり、被写体の形状と対応するマスクのような領域）であってもよい。

なお、注目領域は、撮像画像に対する画像処理が実行されることによって自動的に抽出されればよいが、例えば予め用意された機械学習済モデルを利用して抽出されてもよい。このような注目領域を抽出するために利用される機械学習済モデルとしては、例えば画像中の被写体（物体）を検出することによって当該被写体を包含する領域（矩形領域等）を抽出（提示）するように学習した機械学習モデルや画像を構成する複数の画素の各々を画素単位で分類することによって同一の被写体（に相当するカテゴリ）に分類された画素から構成される領域を抽出するように学習した機械学習モデル等が考えられるが、他の機械学習モデルが利用されてもよい。また、注目領域は、ユーザによって手動で指定されてもよい。

更に、本実施形態においては統計モデルが画像を構成する画素毎にぼけ値を推定するものとして説明したが、当該統計モデルは、当該ぼけ値を推定するとともに、当該ぼけ値の不確実性の度合いを示す不確実度を算出する（つまり、画像が入力された場合にぼけ値及び不確実度を出力する）ように構築されていてもよい。このような統計モデルを用いる場合には、当該統計モデルにおいて推定されたぼけ値から変換された距離（画素毎に計算された距離）に対する不確実度を得ることができるため、撮像距離は、当該不確実度を利用して取得されてもよい。具体的には、例えば撮像距離として取得する統計値を計算する対象から不確実度が予め定められた値（閾値）以上である距離を除外し、当該不確実度が当該閾値未満である距離の統計値を撮像距離として取得するような構成とすることができる。

なお、ここでは複数の撮像距離の取得方法について説明したが、本実施形態において採用される撮像距離の取得方法は、例えばユーザによって予め設定されていてもよいし、画像に応じて動的に変更されてもよい。

ステップＳ１３の処理が実行されると、当該ステップＳ１３において取得された撮像距離が撮像条件作成部３５に渡される。

次に、撮像条件作成部３５は、構成情報取得部３３から渡された撮像装置２の構成情報及び撮像距離取得部３４から渡された撮像距離に基づいて、撮像条件を作成する（ステップＳ１４）。なお、ステップＳ１４において作成される撮像条件は、上記した統計モデルを用いた測距の精度を向上させるための画像の撮像条件である。

ここで、一般的に、画像処理の精度は画像の鮮明度に依存するが、当該画像に大きなサイズのぼけが含まれている場合には、当該画像処理の精度は低下すると考えられる。これによれば、上記した統計モデルを用いて画像中の被写体までの距離を測定する（つまり、画像を統計モデルに入力することによって当該統計モデルから出力されたぼけ値を距離に変換する）構成においては、例えば測距の対象となる被写体がピント位置付近に存在する場合に、当該被写体までの距離の測定精度が高くなる。一方、ぼけが大きい場合には当該ぼけの特徴を捉えにくくなることから、被写体がピント位置から離れる（つまり、ぼけが大きくなる）ほど、当該被写体までの距離の測定精度が低くなる。

そこで、ステップＳ１４においては、このような観点に基づいて、例えば被写体と撮像装置２との間の距離がピント距離に近づく（つまり、被写体の位置がピント位置付近となる）ように被写体と撮像装置２との間の距離を変更することを提案する撮像条件が作成されるものとする。

具体的には、ステップＳ１４においては、撮像距離（被写体と撮像装置２との間の距離）として、例えばピント距離を含む撮像条件が作成される。このような撮像条件によれば、被写体と撮像装置２との間の距離をピント距離にするよう提案（指示）することができる。

なお、よりユーザが直感的に撮像条件を把握することができるように、撮像条件には、上記した撮像距離を実現する（つまり、ピント距離で被写体を撮像させる）ために撮像装置２が移動すべき方向及び距離（以下、撮像装置２の移動方向及び移動量と表記）が含まれていてもよい。この場合における撮像装置２の移動方向及び移動量は、例えばステップＳ１２において取得された撮像装置２の構成情報に含まれるピント距離とステップＳ１３において取得された撮像距離とを比較することによって決定される。

具体的には、例えばステップＳ１３において取得された撮像距離がピント距離よりも長い場合、撮像装置２の移動方向は前方向（つまり、被写体に近づく方向）となる。一方、例えばステップＳ１３において取得された撮像距離がピント距離よりも短い場合、撮像装置２の移動方向は後方向（つまり、被写体から遠ざかる方向）となる。

なお、撮像距離を取得する際に撮像画像から注目領域が抽出されている（つまり、被写体が検出されている）場合には、撮像画像上の当該注目領域（被写体）の位置に応じて、左方向または右方向のような一定の角度で区切った方向を撮像装置２の移動方向としてもよい。更に、撮像装置２の移動方向は、撮像装置２の撮像時の方向を基準とした、撮像画像上の注目領域の位置に応じた角度（例えば、３０°等）であってもよい。また、例えば撮像画像に基づいて注目領域に含まれている被写体の向きを判別することが可能であれば、当撮像装置２の移動方向は、例えば当該被写体を正面から撮像することができる位置の方向（つまり、被写体に対する撮像角度）であってもよい。

また、撮像装置２の移動量は、ピント距離と撮像距離との差分に基づく実距離であればよいが、例えば撮像装置２を使用するユーザの歩数やマス目のような一定の区切り（つまり、当該ユーザが移動する際に目安となる単位）で定義された距離であってもよい。

また、ここでは撮像装置２の移動方向及び移動量が撮像条件に含まれるものとして説明したが、被写体と撮像装置２との間の距離がピント距離に近づくのであれば、撮像条件は、例えば被写体の移動方向及び移動量を含むものであってもよい。

また、統計モデルを用いて一定の精度で測定可能な被写体までの距離の範囲（下限値及び上限値）は撮像装置２の光学系（ピント位置、焦点距離及びＦ値等）に基づいて変化するところ、ステップＳ１４において、撮像条件作成部３５は、当該撮像装置２の構成情報に基づいて当該距離の範囲（以下、測距可能範囲と表記）を推定し、当該測距可能範囲に基づいて撮像条件を作成してもよい。この場合、撮像条件作成部３５は、例えば推定された測距可能範囲を撮像距離として含む撮像条件を作成することによって、例えば被写体全体が測距可能範囲に収まるような画像の撮像を提案することができる。また、このような撮像条件においては、測距可能範囲に被写体全体を収めるために必要な画角等が更に含まれていてもよい。

更に、ステップＳ１４において作成される撮像条件には、上記した撮像距離に代えて、撮像装置２の構成情報及び撮像距離に基づいて決定される撮像装置２の設定値が含まれていてもよい。なお、撮像装置２の設定値は、例えば現在の被写体と撮像装置２との間の距離（つまり、撮像距離）にピント距離が近づくような当該ピント距離（ピント位置）の変更量であってもよいし、撮像装置２に対する被写体の位置が測距可能範囲に含まれるように当該測距可能範囲を変更するための焦点距離及びＦ値等であってもよい。

また、撮像条件作成部３５は、上記した撮像距離を含む撮像条件（距離に関する条件）と撮像装置２の設定値を含む撮像条件（光学系に関する条件）とを作成し、当該２つの撮像条件のうちのいずれを優先するかを決定する構成であってもよい。この場合、例えば撮像距離に基づいて当該撮像装置２を移動する必要がある距離（ピント距離と現在の撮像距離との差分）が予め定められた値未満であるような場合には、距離に関する条件を優先するように決定することができる。一方、例えば撮像距離に基づいて当該撮像装置２を移動する必要がある距離が予め定められた値以上であるような場合には、光学系に関する条件を優先するように決定することができる。また、撮像装置２の光学系における画角と被写体との関係性（例えば、被写体が適切に画角に含まれているか）等に基づいて優先すべき撮像条件を決定するような構成であってもよい。撮像装置２の設定値を変更することで、画像の撮像に悪影響を及ぼす可能性がある場合（例えば、絞りを開くことによる白飛び）には、距離に関する条件を優先するように決定してもよい。なお、優先すべき撮像条件は、例えば撮像装置２を使用するユーザによって指定されてもよい。

ステップＳ１４の処理が実行されると、出力処理部３６は、当該ステップＳ１４において作成された撮像条件を出力する（ステップＳ１５）。

以下、ステップＳ１５の処理について説明する。ステップＳ１５において、出力処理部３６は、例えば撮像条件を出力デバイス３０６に出力することによって、当該撮像条件をユーザに提示する（すなわち、距離を測定するために適した撮像を促す条件の提示を行う）。

例えば出力デバイス３０６がディスプレイである場合には、ステップＳ１４において作成された撮像条件は、ユーザが理解できる形で表示される。

具体的には、撮像条件が撮像距離（つまり、ピント距離）を含む場合には、出力処理部３６は、当該撮像距離を例えば撮像画像上に重畳して表示することができる。

また、撮像条件が撮像距離を実現するための撮像装置２の移動方向及び移動量を含む場合において、例えば撮像装置２の移動方向が前方向であり、当該撮像装置２の移動量が１ｍであるものとすると、出力処理部３６は、前方向（に移動すること）を示す矢印を撮像画像上に重畳して表示するとともに当該矢印の近傍に「１ｍ」を表示する。この場合、例えば統計モデルによって推定された距離（ぼけ値から変換された距離）が１ｍである撮像画像上の位置にマーカ（線のような図形）を配置（表示）してもよい。これによれば、撮像装置２が移動すべき位置をユーザが直感的に把握することが可能となる。

ここでは撮像条件が撮像距離（撮像装置２の移動方向及び移動量）を含む場合について説明したが、撮像条件が撮像装置２の設定値を含む場合には、当該撮像装置２の設定値が撮像画像上に重畳して表示されればよい。

なお、撮像条件は、撮像画像上に表示される必要はなく、例えば距離マップ（各画素に当該画素について計算された距離が割り当てられたマップ）上に表示されてもよいし、他の態様で表示されてもよい。

また、ここでは出力デバイス３０６がディスプレイである場合について説明したが、当該出力デバイス３０６がスピーカーである場合には、撮像条件は、音声として出力されてユーザに提示されてもよい。

すなわち、本実施形態において、撮像条件は、ユーザが把握可能な態様で出力（提案）されればよい。

なお、図２０においては省略されているが、上記したステップＳ１４及びＳ１５の処理は、例えばステップＳ１２において取得された構成情報に含まれるピント距離とステップＳ１３において取得された撮像距離との差分が予め定められた値以上である場合に実行されてもよい。換言すれば、本実施形態においては、被写体の位置がピント位置付近でなく、撮像条件を変更する必要がある場合に、撮像条件を作成及び出力する構成であってもよい。なお、ステップＳ１２において取得された構成情報に含まれるピント距離とステップＳ１３において取得された撮像距離との差分が予め定められた値以上でない場合には、ステップＳ１４が省略され、ステップＳ１５において撮像条件を変更する必要がないことがユーザに提示（出力）されればよい。

上記したようにステップＳ１５の処理が実行されることによって撮像条件がユーザに対して提示された場合、ユーザは、当該撮像条件を参照して、現在の撮像条件を変更する（つまり、距離を測定するために適した撮像条件に変更する）ことができる。

具体的には、撮像条件に撮像距離が含まれる場合、ユーザは、当該撮像距離を実現するように撮像装置２（または被写体）を移動すればよい。また、撮像条件に撮像装置２の設定値として焦点距離が含まれる場合、ユーザは、当該焦点距離を例えばレンズ２１に設定されている範囲内で変更することができるが、当該レンズ２１を交換することによって当該焦点距離を変更してもよい。また、撮像条件に撮像装置２の設定値としてＦ値が含まれる場合、ユーザは、上記した絞り機構を駆動（操作）することによって当該Ｆ値を変更することができる。

このように現在の撮像条件が距離を測定するために適した撮像条件に変更された場合には、測距装置は、当該撮像条件の下で撮像装置２によって撮像された画像において、撮像装置２から当該画像中の被写体までの距離を測定することができる。なお、測距装置は、上記した格納部３１に格納されている統計モデルと同一の統計モデルを用いて被写体までの距離を測定するものとする。

なお、ここでは撮像条件がユーザに対して提示されることによって当該ユーザが撮像条件を変更（改善）するものとして説明したが、出力処理部３６は、現在の撮像条件が距離を測定するために適した撮像撮像条件に自動的に変更されるように当該撮像条件を出力してもよい。すなわち、本実施形態においては、出力された撮像条件（の提案結果）に基づいて自動的に撮像条件の変更が実行されてもよい。具体的には、撮像条件に撮像距離（撮像装置２の移動方向及び移動量）が含まれている場合であって、撮像装置２を自律的に移動させる移動機構に当該撮像装置２が搭載されている場合には、当該撮像条件が当該移動機構に出力されることによって、出力された撮像条件に含まれる撮像距離を実現することができる位置に当該撮像装置２を自動的に移動させるようにしてもよい。更に、撮像条件に撮像装置２の設定値が含まれている場合には、当該撮像条件が当該撮像装置２に出力されることによって、現在の撮像装置２の設定値を撮像装置２の設定値に自動的に変更するようにしてもよい。

ところで、上記した統計モデルにおいて推定されたぼけ値を距離に変換する際にはピント距離を用いて当該距離を計算する必要があるところ、撮像条件（撮像装置２の設定値）に基づいてピント距離が変更された場合には、当該変更後のピント距離が撮像装置２の内部に（つまり、撮像装置２の構成情報として）再設定されるものとする。なお、このような変更後のピント距離は、撮像装置２を使用するユーザによって再設定されてもよいし、ピント位置に関する情報（例えば、レンズ２１の位置または当該レンズ２１を駆動するための制御信号等）に基づいて自動的に再設定されてもよい。

上記したように本実施形態においては、撮像装置２によって撮像された画像（当該撮像装置２の光学系の収差の影響を受けた画像）を取得し、当該撮像装置２の構成情報（撮像装置２の光学系に関する情報）を取得し、当該取得された画像に基づいて、当該画像に対する撮像距離を取得する。また、本実施形態においては、撮像装置２の構成情報及び撮像距離に基づいて、撮像条件（被写体までの距離を測定するために適した画像の撮像条件）を作成し、当該作成された撮像条件を出力する。

このように撮像条件が出力された場合には、当該撮像条件に従って撮像装置２によって撮像された画像から当該画像中の被写体までの距離が測定されるため、画像を用いて測定される距離の精度を向上させることが可能となる。

なお、本実施形態においては、測距装置が統計モデル（撮像装置２の光学系の収差の影響を受けた画像に生じる、当該画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデル）を用いて撮像装置２の光学系の収差の影響を受けた画像から被写体までの距離を測定することを想定しているため、撮像条件提示装置３においても当該統計モデルを用いて取得された撮像距離に基づいて撮像条件を作成（提案）するが、当該測距装置及び撮像条件提示装置３は当該統計モデルを用いない（つまり、統計モデルによらない収差による測距を行う）構成であってもよい。

また、本実施形態においては、撮像装置２の構成情報及び撮像画像に対する撮像距離に基づいて距離を測定するために適した撮像距離（を実現するための当該撮像装置２が移動すべき方向及び距離）を含む撮像条件が作成されることにより、被写体までの距離を測定するために適した画像を撮像するために現在の撮像装置２の位置を適切な位置に変更する（つまり、撮像装置２を移動する）ことができる。

また、本実施形態においては、撮像装置２の構成情報及び撮像画像に対する撮像距離に基づいて撮像装置２の設定値を含む撮像条件が作成されることにより、被写体までの距離を測定するために適した画像を撮像するために現在の撮像装置２の設定値を適切な設定値に変更することができる。

なお、上記した撮像距離及び撮像装置２の設定値は、撮像装置２の構成情報に含まれるピント距離（撮像装置２によって撮像された画像においてピントが合う位置までの距離）に基づいて決定され得る。

更に、本実施形態においては、上記した撮像距離を含む撮像条件と撮像装置２の設定値を含む撮像条件とが作成され、当該撮像条件のうちの一方が優先的に出力される構成であってもよい。このような構成によれば、適切な撮像条件が撮像条件として出力される（例えば、ユーザに対して提示される）ため、撮像条件を変更するユーザの利便性を向上させることができる。

本実施形態においては撮像距離を含む撮像条件及び撮像装置２の設定値を含む撮像条件のうちの一方が出力されるものとして主に説明したが、本実施形態は、当該撮像距離及び撮像装置２の設定値の両方を含む撮像条件が出力（提示）される構成であってもよい。このような構成の場合には、ユーザは、提示された撮像条件に含まれる撮像距離及び撮像装置２の設定値を選択して、現在の撮像条件を変更するようなことが可能となる。

なお、ここでは撮像距離及び撮像装置２の設定値について説明したが、撮像条件は、撮像装置２の構成情報に基づいて推定された測距可能範囲（被写体までの距離を測定することが可能な撮像装置２から被写体までの距離の範囲）に基づいて作成されてもよく、統計モデルを用いて被写体までの距離を測定するために適した画像の撮像条件を提案するものであればよい。

また、本実施形態において統計モデルが画像を入力することによってぼけ値及び当該ぼけ値に対する不確実度を出力するように構築されている場合には、当該不確実度に基づいて撮像距離を取得する構成であってもよい。このような構成によれば、より精度の高い撮像距離を取得することが可能であるため、より適切な撮像条件を作成することが可能である。

更に、本実施形態においては、撮像装置２によって撮像された画像が統計モデルに入力されることによって当該統計モデルから出力されるぼけ値から変換された距離を撮像距離として取得するものとして主に説明したが、撮像距離は、例えば撮像装置２によって撮像された画像中の特定の被写体を含む領域を統計モデルに入力することによって当該統計モデルから出力されるぼけ値から変換される距離であってもよい。このような構成によれば、例えばユーザが意図する被写体に基づく撮像距離を取得することが可能であるため、当該撮像距離に基づいて当該被写体までの距離を測定するために適切な撮像条件を作成することができる。

また、本実施形態においては、撮像装置２を使用するユーザに対して撮像条件を提示する構成により、当該ユーザは、当該撮像条件を採用して被写体までの距離を測定するか否かを判断し、当該提示された撮像条件に基づいて適切な測距が可能な画像を直感的に撮像することができるようになる。

また、本実施形態においては、現在の撮像条件が距離を測定するために適した撮像条件に自動的に変更される構成であってもよい。このような構成によれば、現在の撮像条件を距離を測定するために適した撮像条件に変更するユーザの手間を軽減することができる。

なお、本実施形態においては格納部３１に１つの統計モデルが格納されている場合を想定して説明したが、上記したように撮像装置２がレンズを交換することが可能なように構成されている場合には、当該撮像装置２において用いることが可能なレンズ（つまり、当該撮像装置２に装着可能なレンズ）毎に統計モデルを用意しておく（つまり、測距装置がレンズに応じた統計モデルを用いて被写体までの距離を測定するように構成されている）ことが考えられる。この場合、撮像条件提示装置３（及び測距装置）は、撮像装置２の構成情報（焦点距離等）を利用して当該撮像装置２に装着されているレンズに応じた統計モデルを選定し、当該選定された統計モデルを用いるように構成されていてもよい。

また、本実施形態においては撮像条件提示装置３が各部３１～３６を含むものとして説明したが、例えば格納部３１は、撮像条件提示装置３とは異なる外部の装置に配置されていてもよい。この場合、撮像条件提示装置３は、外部の装置から取得された統計モデルを利用するよう動作してもよい。また、本実施形態は、例えば各部３２～３６によって実行される処理の一部が外部の装置で実行される構成であってもよい。

（第２実施形態）
次に、第２実施形態について説明する。なお、本実施形態においては、前述した第１実施形態と同様の部分についての説明を省略し、当該第１実施形態と異なる部分について主に説明する。

図２１は、本実施形態における画像処理システムの構成の一例を示す。図２１においては、前述した図１と同一の部分には同一参照符号を付してその詳しい説明を省略し、当該図１と異なる部分について説明する。

前述した第１実施形態においては、撮像装置２によって撮像された画像を用いて撮像地点から被写体までの距離を測定する際の当該画像の撮像条件を改善するために撮像条件提示装置３が用いられる場合について説明したが、当該画像から測定された被写体までの距離は、当該画像中の被写体のサイズを計測（推定）するために使用することができる。なお、画像中の被写体のサイズを計測する処理は、上記した測距装置によって実行されればよいが、他の装置によって実行されてもよい。

このため、本実施形態に係る撮像条件提示装置３は、上記した画像中の被写体までの距離を測定することに加えて、当該被写体のサイズを計測することを考慮した撮像条件を作成する点で、前述した第１実施形態とは異なる。

図２１に示すように、本実施形態において、撮像条件作成部３５は、第１作成部３５ａ及び第２作成部３５ｂを含む。

第１作成部３５ａは、前述した第１実施形態に係る撮像条件提示装置３に含まれる撮像条件作成部３５と同様の機能部である。すなわち、第１作成部３５ａは、構成情報取得部３３によって取得された撮像装置２の構成情報及び撮像距離取得部３４によって取得された撮像距離に基づいて、被写体までの距離を測定するために適した画像の撮像条件（以下、測距条件と表記）を作成する。

第２作成部３５ｂは、構成情報取得部３３によって取得された撮像装置２の構成情報及び撮像距離取得部３４によって取得された撮像距離に基づいて、被写体のサイズを計測するために適した画像の撮像条件（以下、サイズ計測条件と表記）を作成する。

本実施形態において、出力処理部３６は、第１作成部３５ａによって作成された測距条件及び第２作成部３５ｂによって作成されたサイズ計測条件のうちの少なくとも一方を出力する。

以下、図２２のフローチャートを参照して、本実施形態に係る撮像条件提示装置３の処理手順の一例について説明する。

まず、前述した図２０に示すステップＳ１１～Ｓ１３の処理に相当するステップＳ２１～Ｓ２３の処理が実行される。

次に、撮像条件作成部３５に含まれる第１作成部３５ａは、構成情報取得部３３から渡された撮像装置２の構成情報及び撮像距離取得部３４から渡された撮像距離に基づいて、測距条件を作成する（ステップＳ２４）。なお、ステップＳ２４の処理は前述した図２０に示すステップＳ１４の処理と同様であるため、ここではその詳しい説明を省略する。

また、撮像条件作成部３５に含まれる第２作成部３５ｂは、構成情報取得部３３から渡された撮像装置２の構成情報または撮像距離取得部３４から渡された撮像距離に基づいて、サイズ計測条件を作成する（ステップＳ２５）。

ここで、画像中の被写体のサイズ（実サイズ）を計測する場合において、当該被写体が撮像装置２から離れすぎていると、当該画像中において被写体が占める領域が小さくなる（つまり、当該被写体が潰れてしまう）ため、所望の分解能で当該被写体のサイズを計測することができなくなる。

そこで、ステップＳ２５においては、このような観点に基づいて、要求される分解能を満たすようなサイズ計測条件が作成されるものとする。

ここで、壁面の亀裂を含む画像から当該亀裂の幅を計測する場合を想定する。なお、画像中のサイズを計測する対象となる被写体（ここでは、亀裂）は、例えばユーザによる手動で指定されてもよいし、自動的に検出（判別）されてもよい。

まず、亀裂の両端に相当する２点を示す画素を端点ａ１及び端点ａ２とすると、当該端点ａ１から端点ａ２までの距離に相当する当該亀裂の幅ｗは、以下の式（２）により計算される。なお、実際の亀裂の幅は当該亀裂の幅の水平成分と垂直成分とを合成することによって得られるが、以下の説明においては、便宜的に、当該亀裂の幅の水平成分を単に亀裂の幅といて説明する。

式（２）におけるＺは、撮像装置２から端点ａ１までの距離（実スケールでの奥行）を表している。ｓ_ｘは、撮像装置２が備えるイメージセンサ２２（全体）の水平方向のサイズを表している。ｆは、撮像装置２の光学系における焦点距離を表している。ｒ_ｘは、撮像装置２によって撮像される画像の水平方向の画素数（解像度）を表している。Δｘは、亀裂の水平方向の幅に相当する画素数を表している。なお、亀裂の幅は微小であることから、式（２）においては端点ａ１までの距離と端点ａ２までの距離とが等しい場合を想定している。

なお、式（２）におけるＺとしては、統計モデルを用いて推定される亀裂までの距離が利用される。また、ｓ_ｘ、ｆ及びｒ_ｘは、撮像装置２の構成情報から取得可能である。更に、Δｘは、撮像装置２によって撮像された画像に基づいて取得可能である。

上記した式（２）によれば、撮像装置２によって撮像された画像及び当該撮像装置２の構成情報から当該画像中の亀裂の幅を計算することが可能である。

ここで、本実施形態においては例えば上記した式（２）によって計算される亀裂の幅において要求される分解能を満たすようなサイズ計測条件を作成する必要があるが、ここでは画像中の１画素分の亀裂の幅を０．１ｍｍの分解能で計測する場合を想定する。これは、Δｘ＝１である場合（つまり、Δｘを１画素とした場合）に式（２）において計算される亀裂の幅ｗが０．１になることを意味する。なお、イメージセンサ２２の水平方向のサイズｓ_ｘ及び撮像装置２によって撮像される画像の水平方向の画素数ｒ_ｘは、固定値である。

すなわち、画像から計測される亀裂の幅において０．１ｍｍの分解能を実現するためには、式（２）におけるｗが０．１（以下）となるように当該亀裂までの距離Ｚと撮像装置２の光学系における焦点距離ｆとを調整（決定）する必要がある。

この場合、例えば式（２）における焦点距離を現在の撮像装置２の光学系における焦点距離（つまり、ステップＳ２２において取得された撮像装置２の構成情報に含まれる焦点距離）に固定した場合には、当該式（２）から０．１ｍｍの分解能を実現するために許容される距離Ｚの最大値（つまり、許容される亀裂までの最長の距離）を計算することができる。

この場合、ステップＳ２５においては、上記したように計算された距離Ｚの最大値（以下、最長距離と表記）を撮像距離として含むサイズ計測条件が作成される。

なお、ここでは撮像距離として最長距離を含むサイズ計測条件が作成されるものとして説明したが、前述した第１実施形態において説明した改善後の撮像条件と同様に、サイズ計測条件には、撮像距離を実現する（つまり、当該最長距離から被写体を撮像させる）ために撮像装置２が移動すべき方向及び距離（撮像装置２の移動方向及び移動量）が含まれていてもよい。なお、この撮像装置２の移動方向及び移動量については、前述した第１実施形態において説明した通りであるため、ここではその詳しい説明を省略する。

一方、例えば式（２）における亀裂までの距離ＺをステップＳ２３において取得された撮像距離（統計モデルを用いて推定された亀裂までの距離）に固定した場合には、０．１ｍｍの分解能を実現するために許容される焦点距離ｆの最小値（つまり、許容される撮像装置２の光学系における最短の焦点距離）を計算することができる。

この場合、ステップＳ２５においては、上記したように計算された焦点距離ｆの最小値（以下、最短焦点距離と表記）を撮像装置２の設定値として含むサイズ計測条件が作成される。

なお、本実施形態においては上記した撮像距離（最長距離）を含むサイズ計測条件と撮像装置２の設定値（最短焦点距離）を含むサイズ計測条件の一方が作成されればよいが、前述した第１実施形態と同様に、当該撮像距離を含むサイズ計測条件と当該撮像装置２の設定値を含むサイズ計測条件とを作成し、当該２つのサイズ計測条件のうちのいずれを優先するかを決定する構成としてもよい。

また、本実施形態においては、被写体（例えば、壁面の亀裂）が撮像装置２から離れすぎていると所望の分解能で被写体のサイズを計測することができないことについて説明したが、画像中の被写体を大きくするために撮像装置２が当該被写体に近づきすぎる場合には、当該画像中の被写体に生じるぼけが大きくなり、当該被写体までの距離の測定精度または当該被写体の検出（判別）精度が低下する。この場合、結果として、当該被写体のサイズの計測精度にも影響を及ぼすこととなる。換言すれば、例えば亀裂のような微小な被写体のサイズを計測する場合、当該被写体に生じるぼけの大きさ次第では、当該サイズの計測精度が低下する場合がある。なお、例えば画角や障害物の影響で被写体に近づくことが困難な場合があるが、このような場合において撮像装置２が被写体から遠すぎる場合についても同様である。

このため、ステップＳ２５においては、例えばステップＳ２３の処理が実行される際に撮像画像を入力した統計モデルから出力されたぼけ値（被写体に生じているぼけを示すぼけ値）を更に考慮することによって、当該ぼけ値の絶対値（つまり、被写体に生じるぼけの大きさ）が被写体のサイズを計測するために許容できる最大値以上とならない最長距離または最短焦点距離を含むサイズ計測条件が作成されてもよい。なお、被写体のサイズを計測するために許容できるぼけ値の絶対値の最大値は、当該被写体の種別またはサイズ等によって変動するが、当該被写体に応じて予め設定されていればよい。

ステップＳ２５の処理が実行されると、出力処理部３６は、ステップＳ２４において作成された測距条件及びステップＳ２５において作成されたサイズ計測条件を比較し、当該測距条件及びサイズ計測条件のうちの一方（つまり、撮像条件）を選択する（ステップＳ２６）。

出力処理部３６は、ステップＳ２６において選択された測距条件またはサイズ計測条件を撮像条件として出力する（ステップＳ２７）。

すなわち、本実施形態においては、ステップＳ２４において作成された測距条件及びステップＳ２５において作成されたサイズ計測条件のうちの一方が優先的に出力される。

以下、ステップＳ２６及びＳ２７の処理について説明する。まず、ステップＳ２６においては、測距条件がサイズ計測条件を満たす場合には、測距条件が選択されるものとする。一方、測距条件がサイズ計測条件を満たさない場合には、サイズ計測条件が選択されるものとする。

具体的には、例えば測距条件がピント距離を含み、サイズ計測条件が最長距離を含む場合において、当該ピント距離が当該最長距離以下である場合には、ステップＳ２６においては測距条件が選択され、ステップＳ２７においては当該測距条件が出力される。これによれば、被写体までの距離を測定する精度を向上させ、かつ、当該被写体のサイズを適切に計測することが可能な撮像条件を提示することができる。

一方、ピント距離が最長距離よりも長い場合には、ステップＳ２６においてはサイズ計測条件が選択され、ステップＳ２７においては当該サイズ計測条件が出力される。これによれば、被写体までの距離を測定する精度を大きく向上させることができない可能性はあるが、少なくとも当該被写体のサイズを適切に計測することが可能な撮像条件を提示することができる。

また、例えば測距条件が撮像装置２の設定値として焦点距離を含み、サイズ計測条件が撮像装置２の設定値として最短焦点距離を含む場合において、当該測距条件に含まれる焦点距離が当該最短焦点距離よりも長い場合には、ステップＳ２６においては測距条件が選択され、ステップＳ２７においては当該測距条件が出力される。一方、測距条件に含まれる焦点距離が最短焦点距離よりも短い場合には、ステップＳ２６においてはサイズ計測条件が選択され、ステップＳ２７においては当該サイズ計測条件が出力される。

なお、ステップＳ２７において測距条件が出力される場合には、前述した図２０に示すステップＳ１５と同様の処理が実行されればよい。

また、ステップＳ２７においてサイズ計測条件が出力される場合であっても、前述した図２０に示すステップＳ１５と同様の処理が実行されることによって、当該サイズ計測条件（撮像距離または撮像装置２の設定値）を様々な態様で出力（提示）することができる。

上記したように本実施形態においては、撮像装置２の構成情報及び撮像画像に対する撮像距離に基づいてサイズ計測条件（被写体のサイズを計測するために適した画像の第２撮像条件）を作成し、測距条件がサイズ計測条件を満たさない場合、当該サイズ計測条件を優先的に出力する構成により、壁面の亀裂のような微小な被写体のサイズを計測するような場合において要求される当該サイズの計測精度を満たすような撮像条件を提示（提案）することが可能となる。

このように撮像条件が出力された場合には、当該撮像条件に従って撮像装置２によって撮像された画像から当該画像中の被写体のサイズが計測されるため、当該画像を用いて適切に被写体のサイズを計測することが可能となる。

更に、本実施形態においては、撮像画像を統計モデルに入力することによって当該統計モデルから出力される当該画像中の被写体に生じるぼけを示すぼけ値に基づいてサイズ計測条件を作成することにより、当該被写体に生じるぼけのサイズが大きくなることにより当該被写体のサイズの計測精度が低下することを抑制することができる。

なお、本実施形態においては、測距条件及びサイズ計測条件のうちの一方が優先的に出力されるものとして説明したが、当該測距条件及びサイズ計測条件の両方が出力（提示）され、ユーザによって適切な撮像条件が選択されるような構成であってもよい。

また、本実施形態における測距条件及びサイズ計測条件には、撮像距離及び撮像装置２の設定値のうちの一方が含まれていてもよいし、撮像距離及び撮像装置２の設定値の両方が含まれていてもよい。

なお、撮像条件（測距条件及びサイズ計測条件のうちの少なくとも一方）をユーザに提示してもよいし、現在の撮像条件が当該被写体のサイズを計測するために適した撮像条件に自動的に変更されてもよい点については、前述した第１実施形態と同様である。

（応用例）
前述した各実施形態においては、撮像条件提示装置３から出力された撮像条件に従って撮像装置２が画像を撮像することによって、当該画像中の被写体までの距離の測定精度及び当該被写体のサイズの計測精度を向上させることについて説明したが、以下、当該撮像装置２によって撮像された画像から被写体までの距離を測定し、当該被写体のサイズを計測する処理等を実行する測距装置が適用される応用例について説明する。

図２３は、撮像装置２及び測距装置４が組み込まれている移動体７００の機能構成の一例を示す。

移動体７００は、例えば自動運転機能を有する自動車、無人航空機、自立型の移動ロボット等として実現され得る。無人航空機は、人が乗ることができない飛行機、回転翼航空機、滑空機、飛行船であって、遠隔操作または自動操縦により飛行させることができるものであり、例えばドローン（マルチコプター）、ラジコン機、農薬散布用ヘリコプター等を含む。自立型の移動ロボットは、無人搬送車（ＡＧＶ：Automated Guided Vehicle）のような移動ロボット、床を掃除するための掃除ロボット、来場者に各種案内を行うコミュニケーションロボット等を含む。移動体７００には、ロボット本体が移動するものだけでなく、ロボットアームのような、ロボットの一部分を移動または回転させるような駆動機構を有する産業用ロボット等も含まれる。

図２３に示すように、移動体７００は、例えば撮像装置２と、測距装置４と、制御信号生成部７０１と、駆動機構７０２とを有する。撮像装置２は、例えば移動体７００またはその一部分の進行方向の被写体を撮像することができるように設置される。

図２４に示すように、移動体７００が自動車７００Ａである場合、撮像装置２は、前方を撮像するいわゆるフロントカメラとして設置される。なお、撮像装置２は、バック時に後方を撮像するいわゆるリアカメラとして設置されてもよい。また、フロントカメラ及びリアカメラとして複数の撮像装置２が設置されてもよい。更に、撮像装置２は、いわゆるドライブレコーダーとしての機能を兼ねて設置されるものであってもよい。すなわち、撮像装置２は録画機器であってもよい。

図２５は、移動体７００がドローン７００Ｂである場合の例を示す。ドローン７００Ｂは、駆動機構７０２に相当するドローン本体７１１と４つのプロペラ部７１２～７１５とを備える。各プロペラ部７１２～７１５は、プロペラとモータとを有する。モータの駆動がプロペラに伝達されることによって、当該プロペラが回転し、その回転による揚力によってドローン７００Ｂが浮上する。ドローン本体７１１の例えば下部には、撮像装置２が搭載されている。

また、図２６は、移動体７００が自立型の移動ロボット７００Ｃである場合の例を示す。移動ロボット７００Ｃの下部には、駆動機構７０２に相当する、モータや車輪等を含む動力部７２１が設けられている。動力部７２１は、モータの回転数や車輪の向きを制御する。移動ロボット７００Ｃは、モータの駆動が伝達されることによって、路面または床面に設置する車輪が回転し、当該車輪の向きが制御されることにより任意の方向に移動することができる。図２６に示す例では、撮像装置２は、例えば人型の移動ロボット７００Ｃの前方を撮像するように、当該移動ロボット７００Ｃの頭部に設置されている。なお、撮像装置２は、移動ロボット７００Ｃの後方や左右を撮像するように設置されてもよいし、複数の方位を撮像するように複数設置されてもよい。また、センサ等を搭載するためのスペースが少ない小型ロボットに撮像装置２を設けて、自己位置、姿勢及び被写体の位置を推定することにより、デッドレコニングを行うこともできる。

なお、図２７に示すように移動体７００がロボットアーム７００Ｄであり、当該ロボットアーム７００Ｄの一部分の移動及び回転を制御する場合には、撮像装置２は、当該ロボットアーム７００Ｄの先端等に設置されてもよい。この場合、撮像装置２によってロボットアーム７００Ｄで把持される物体が撮像され、測距装置４は、ロボットアーム７００Ｄが把持しようとする物体までの距離を測定することができる。これにより、ロボットアーム７００Ｄにおいて、物体の正確な把持動作を行うことができる。

制御信号生成部７０１は、測距装置４から出力される被写体までの距離を示す距離情報に基づいて駆動機構７０２を制御するための制御信号を出力する。駆動機構７０２は、制御信号生成部７０１から出力される制御信号により、移動体７００または当該移動体７００の一部分を駆動する。駆動機構７０２は、例えば移動体７００または当該移動体７００の一部分の移動、回転、加速、減速、推力（揚力）の加減、進行方向の転換、通常運転モードと自動運転モード（衝突回避モード）との切り替え及びエアバッグ等の安全装置の作動のうちの少なくとも１つを行う。駆動機構７０２は、例えば被写体までの距離が閾値未満である場合に、移動、回転、加速、推力（揚力）の加減、物体に近寄る方向への方向転換及び自動運転モード（衝突回避モード）から通常運転モードへの切り替えのうちの少なくとも１つを行ってもよい。

なお、図２４に示す自動車７００Ａの駆動機構７０２は、例えばタイヤである。図２５に示すドローン７００Ｂの駆動機構７０２は、例えばプロペラである。図２６に示す移動ロボット７００Ｃの駆動機構７０２は、例えば脚部である。図２７に示すロボットアーム７００Ｄの駆動機構７０２は、例えば撮像装置２が設けられた先端を支持する支持部である。

移動体７００は、測距装置４から出力された被写体までの距離に関する情報（距離情報）が入力されるスピーカーやディスプレイを更に備えていてもよい。このスピーカーやディスプレイは、測距装置４と有線または無線で接続されており、被写体までの距離に関する音声または画像を出力するように構成されている。更に、移動体７００は、測距装置４から出力された被写体までの距離に関する情報が入力され、例えば被写体までの距離に応じて点灯及び消灯することができる発光部を有していてもよい。

また、例えば移動体７００がドローン７００Ｂである場合においては、上空から、地図（物体の三次元形状）の作成、ビルや地形の構造調査、ひび割れや電線破断等の点検等が行われる際に、撮像装置２が対象を撮像した画像を取得し、被写体までの距離が閾値以上であるか否かを判定する。制御信号生成部７０１は、この判定結果に基づいて、点検対象との距離が一定になるようにドローン７００Ｂの推力を制御するための制御信号を生成する。ここで、推力には揚力も含まれるものとする。駆動機構７０２がこの制御信号に基づいてドローン７００Ｂを動作させることにより、当該ドローン７００Ｂを点検対象に対して平行して飛行させることができる。移動体７００が監視用のドローン７００Ｂである場合、制御信号生成部７０１は、監視対象の物体との距離を一定に保つように当該ドローン７００Ｂの推力を制御するための制御信号を生成してもよい。

なお、移動体７００（例えば、ドローン７００Ｂ）が各種インフラストラクチャー（以下、単にインフラと表記）の保守点検等に用いられる場合には、当該インフラにおけるひび割れ箇所または錆が発生している箇所等を含む補修が必要な箇所（以下、補修箇所と表記）の画像を撮像装置２で撮像することによって、当該補修箇所までの距離を得ることができる。この場合、補修箇所までの距離を利用することによって画像から当該補修箇所のサイズを計測することが可能である。これによれば、例えばインフラ全体を表すマップ上に補修箇所を表示することによって、当該インフラの保守点検者に補修箇所を認識させることができる。また、補修箇所のサイズを事前に保守点検者に伝えておくことは、円滑な補修作業を実施するためにも有用である。

なお、ここでは測距装置４が組み込まれている移動体７００（例えば、ドローン７００Ｂ）がインフラの保守点検等に用いられる場合について説明したが、例えば測距装置４が撮像装置２を搭載したスマートフォン等として実現されている場合には、例えば保守点検者が当該スマートフォンを用いて補修箇所を撮像することによってインフラの保守点検を実施することができる。また、撮像装置２がスマートフォン等として実現されている場合には、保守点検者が当該スマートフォンを用いて撮像された補修箇所の画像が測距装置４にアップロードされることによって同様の保守点検を実現することができる。

画像をアップロードする際、例えばネットワークを経由して測距装置４（サーバ装置）に画像を転送する方法を用いることで、保守点検の現場で手軽に点検作業ができる。

また、ドローン７００Ｂの飛行時に、撮像装置２が地面方向を撮像した画像を取得し、地面との距離が閾値以上であるか否かを判定する。制御信号生成部７０１は、この判定結果に基づいて地面からの高さが指定された高さになるようにドローン７００Ｂの推力を制御するための制御信号を生成する。駆動機構７０２がこの制御信号に基づいてドローン７００Ｂを動作させることにより、当該ドローン７００Ｂを指定された高さで飛行させることができる。ドローン７００Ｂが農薬散布用ドローンであれば、このようにドローン７００Ｂの地面からの高さを一定に保つことで、農薬を均等に散布しやすくなる。

また、移動体７００が自動車７００Ａまたはドローン７００Ｂである場合、自動車７００Ａの連隊走行やドローン７００Ｂの連携飛行時に、撮像装置２が前方の自動車や周囲のドローンを撮像し、当該自動車やドローンまでの距離が閾値以上であるか否かを判定する。制御信号生成部７０１は、この判定結果に基づいて、前方の自動車や周囲のドローンとの距離が一定になるように、自動車７００Ａの速度やドローン７００Ｂの推力を制御するための制御信号を生成する。駆動機構７０２がこの制御信号に基づいて自動車７００Ａやドローン７００Ｂを動作させることにより、自動車７００Ａの連隊走行やドローン７００Ｂの連携飛行を容易に行うことができる。

更に、移動体７００が自動車７００Ａである場合、自動車７００Ａのドライバーが閾値を設定（変更）することができるように、ユーザインタフェースを介してドライバーの指示を受理可能な構成としてもよい。これにより、ドライバーが好む車間距離で自動車７００Ａを走行させるようなことができる。また、前方の自動車との安全な車間距離を保つために、自動車７００Ａの速度に応じて閾値を変化させてもよい。安全な車間距離は、自動車７００Ａの速度によって異なる。そこで、自動車７００Ａの速度が速いほど閾値を大きく（長く）設定することができる。

また、移動体７００が自動車７００Ａである場合には、進行方向の所定の距離を閾値に設定しておき、当該閾値の手前に物体が表れた際にブレーキを作動させるまたはエアバッグ等の安全装置を作動させる制御信号を生成するようにしてもよい。この場合、自動ブレーキやエアバッグ等の安全装置が駆動機構７０２に設けられる。

以上述べた少なくとも１つの実施形態によれば、画像を用いて測定される距離の精度を向上させることが可能な画像処理装置、方法及びプログラムを提供することができる。

本実施形態に記載された様々な機能の各々は、回路（処理回路）によって実現されてもよい。処理回路の例には、中央処理装置（ＣＰＵ）のような、プログラムされたプロセッサが含まれる。このプロセッサは、メモリに格納されたコンピュータプログラム（命令群）を実行することによって、記載された機能それぞれを実行する。このプロセッサは、電気回路を含むマイクロプロセッサであってもよい。処理回路の例には、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、マイクロコントローラ、コントローラ、他の電気回路部品も含まれる。本実施形態に記載されたＣＰＵ以外の他のコンポーネントの各々もまた処理回路によって実現されてもよい。

また、本実施形態の各種処理はコンピュータプログラムによって実現することができるため、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…画像処理システム、２…撮像装置、３…撮像条件提示装置、２１…レンズ、２２…イメージセンサ、３１…格納部、３２…画像取得部、３３…構成情報取得部、３４…撮像距離取得部、３５…撮像条件作成部、３５ａ…第１作成部、３５ｂ…第２作成部、３６…出力処理部、３０１…ＣＰＵ、３０２…不揮発性メモリ、３０３…ＲＡＭ、３０３Ａ…撮像条件提示プログラム、３０４…通信デバイス、３０５…入力デバイス、３０６…出力デバイス。

Claims (19)

1. 撮像装置によって撮像された当該撮像装置の光学系の収差の影響を受けた画像を用いて当該撮像装置から当該画像中の被写体までの撮像距離を測定する際に用いられる画像処理装置において、
   前記撮像装置によって撮像された画像を取得する第１取得手段と、
   前記撮像装置の光学系に関する構成情報を取得する第２取得手段と、
   前記取得された画像に基づいて、当該画像に対する撮像距離を取得する第３取得手段と、
   前記取得された構成情報及び前記取得された撮像距離に基づいて、前記被写体までの距離を測定するために適した画像の第１撮像条件を作成する作成手段と、
   前記作成された第１撮像条件を出力する出力処理手段と
   を具備する画像処理装置。
2. 前記作成手段は、前記取得された構成情報及び前記取得された撮像距離に基づいて、前記被写体までの距離を測定するために適した撮像距離を実現するために前記撮像装置が移動すべき方向及び距離を含む第１撮像条件を作成する請求項１記載の画像処理装置。
3. 前記作成手段は、前記取得された構成情報及び前記取得された撮像距離に基づいて、前記被写体までの距離を測定するために適した前記撮像装置の設定値を含む第１撮像条件を作成する請求項１記載の画像処理装置。
4. 前記作成手段は、前記取得された構成情報及び前記取得された撮像距離に基づいて前記撮像装置が移動すべき方向及び距離を含む第１撮像条件と前記撮像装置の設定値を含む第１撮像条件とを作成し、
   前記第１撮像条件のうちのの一方が優先的に出力される
   請求項１記載の画像処理装置。
5. 前記作成手段は、前記取得された構成情報に基づいて前記被写体までの距離を測定することが可能な前記撮像装置から前記被写体までの距離の範囲を推定し、当該距離の範囲に基づいて前記第１撮像条件を作成する請求項１記載の画像処理装置。
6. 前記取得された構成情報は、前記撮像装置によって撮像された画像においてピントが合う位置までの距離を含む請求項１～５のいずれか一項に記載の画像処理装置。
7. 前記撮像装置の光学系の収差の影響を受けた画像に生じる、当該画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段を更に具備し、
   前記第３取得手段は、前記取得された画像を前記統計モデルに入力することによって当該統計モデルから出力される当該画像中の被写体に生じるぼけを示すぼけ値から変換された当該被写体までの距離を前記撮像距離として取得する
   請求項１～６のいずれか一項に記載の画像処理装置。
8. 前記統計モデルは、前記取得された画像を入力することによって当該統計モデルから出力されるぼけ値に対する不確実度を更に出力するように構築されており、
   前記第３取得手段は、前記統計モデルから出力される不確実度に基づいて前記撮像距離を取得する
   請求項７記載の画像処理装置。
9. 前記第３取得手段は、前記取得された画像中の被写体を含む領域を前記統計モデルに入力することによって当該統計モデルから出力される当該被写体に生じるぼけを示すぼけ値から変換された当該被写体までの距離を前記撮像距離として取得する請求項７または８記載の画像処理装置。
10. 前記作成手段は、前記取得された構成情報及び前記取得された撮像距離に基づいて、前記被写体のサイズを計測するために適した画像の第２撮像条件を作成し、
    前記出力処理手段は、前記作成された第２撮像条件を更に出力する
    請求項１～９のいずれか一項に記載の画像処理装置。
11. 前記作成手段は、前記取得された構成情報及び前記取得された撮像距離に基づいて、前記被写体のサイズを計測するために適した画像の第２撮像条件を作成し、
    前記第２撮像条件は、前記取得された画像中の被写体のサイズを推定することが可能な前記撮像装置から当該被写体までの最長の撮像距離を含み、
    前記出力処理手段は、前記第１撮像条件が前記第２撮像条件を満たさない場合、前記第２撮像条件を優先的に出力する
    請求項２記載の画像処理装置。
12. 前記作成手段は、前記取得された構成情報及び前記取得された撮像距離に基づいて、前記被写体のサイズを計測するために適した画像の第２撮像条件を作成し、
    前記第１撮像条件に含まれる設定値は、前記撮像装置の光学系における焦点距離を含み、
    前記第２撮像条件は、前記取得された画像中の被写体のサイズを計測することが可能な最短の焦点距離を含み、
    前記出力処理手段は、前記第１撮像条件が前記第２撮像条件を満たさない場合、前記第２撮像条件を優先的に出力する
    請求項３記載の画像処理装置。
13. 前記撮像装置の光学系の収差の影響を受けた画像に生じる、当該画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成された統計モデルを格納する格納手段を更に具備し、
    前記作成手段は、前記取得された画像を前記統計モデルに入力することによって当該統計モデルから出力される当該画像中の被写体に生じるぼけを示すぼけ値に基づいて前記第２撮像条件を作成する
    請求項１０～１２のいずれか一項に記載の画像処理装置。
14. 前記出力処理手段は、前記撮像装置を使用するユーザに対して前記第１撮像条件を提示する請求項１～１３のいずれか一項に記載の画像処理装置。
15. 前記出力処理手段は、前記撮像装置を使用するユーザに対して前記第２撮像条件を提示する請求項１０～１３のいずれか一項に記載の画像処理装置。
16. 前記出力処理手段は、現在の撮像条件が前記第１撮像条件に自動的に変更されるように当該第１撮像条件を出力する請求項１～１３のいずれか一項に記載の画像処理装置。
17. 前記出力処理手段は、現在の撮像条件が前記第２撮像条件に自動的に変更されるように当該第２撮像条件を出力する請求項１０～１３のいずれか一項に記載の画像処理装置。
18. 撮像装置によって撮像された当該撮像装置の光学系の収差の影響を受けた画像を用いて当該撮像装置から当該画像中の被写体までの撮像距離を測定する際に用いられる画像処理装置が実行する方法であって、
    前記撮像装置によって撮像された画像を取得するステップと、
    前記撮像装置の光学系に関する構成情報を取得するステップと、
    前記取得された画像に基づいて、当該画像に対する撮像距離を取得するステップと、
    前記取得された構成情報及び前記取得された撮像距離に基づいて、前記被写体までの距離を測定するために適した画像の撮像条件を作成するステップと、
    前記作成された撮像条件を出力するステップと
    を具備する方法。
19. 撮像装置によって撮像された当該撮像装置の光学系の収差の影響を受けた画像を用いて当該撮像装置から当該画像中の被写体までの撮像距離を測定する際に用いられる画像処理装置のコンピュータによって実行されるプログラムであって、
    前記コンピュータに、
    前記撮像装置によって撮像された画像を取得するステップと、
    前記撮像装置の光学系に関する構成情報を取得するステップと、
    前記取得された画像に基づいて、当該画像に対する撮像距離を取得するステップと、
    前記取得された構成情報及び前記取得された撮像距離に基づいて、前記被写体までの距離を測定するために適した画像の撮像条件を作成するステップと、
    前記作成された撮像条件を出力するステップと
    を実行させるためのプログラム。

Images