JP2006311505A - 画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法 - Google Patents

Abstract

【課題】撮像範囲内の部分領域ごとに算出された距離に基づいて、画像処理する。
【解決手段】本発明に係る画像処理システムは、撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部と、距離情報取得部が取得した被写体距離情報に応じて、撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部とを備える。
【選択図】図２

Description

本発明は、画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法に関する。特に、本発明は、画像処理装置を含む画像処理システム、画像処理方法、画像処理プログラム、撮像装置、及び撮像方法に関する。

従来、複数の合焦距離で撮像した撮像画像間の差分データを平均化して、画像をトリミングする方法が提案されている（例えば、特許文献１参照）。また、被写体にピントが合った合焦画像と、ピントがずれた非合焦画像との比較により初期輪郭を設定して、初期輪郭内から背景画像を除去することにより、被写体をトリミングする方法が提案されている（例えば、特許文献２参照）。
特開平０９−１８６９３１号公報 特開平０９−１８６９３５号公報

しかしながら、特許文献１及び特許文献２に記載されている発明においては、被写体の境界を明確に決定することができず、被写体の境界と背景画像とを明確に分離することが困難な場合がある。したがって、精度よく、被写体のトリミングをすることが困難であるという問題がある。

そこで本発明は、上記課題を解決することができる画像処理システム、画像処理方法、及び画像処理プログラム並びに撮像装置、及び撮像方法を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、画像処理装置を含む画像処理システムであって、撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部と、距離情報取得部が取得した被写体距離情報に応じて、撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部とを備える。

また、距離情報取得部が取得した被写体距離情報に基づいて、撮像画像取得部が取得した撮像画像におけるオブジェクトの境界を特定する境界特定部をさらに備え、画像処理部は、境界特定部が特定した境界を用いて、撮像画像取得部が取得した撮像画像に画像処理を施してもよい。また、画像処理部は、境界特定部が特定した境界を用いて、撮像画像取得部が取得した撮像画像をトリミングしてもよい。また、境界特定部が特定した境界を用いて、撮像画像取得部が取得した撮像画像に含まれる主要被写体の領域である主要被写体領域を特定する主要被写体領域特定部を更に備え、画像処理部は、主要被写体領域の画像と主要被写体領域を除く領域の画像とにそれぞれ異なる画像処理を施してもよい。

更に、画像処理部は、主要被写体領域を除く領域の画像に対して主要被写体領域の画像よりも鮮明度をより低くする画像処理を施してもよく、画像処理部は、主要被写体領域を除く領域の画像に対してガンマ補正をして、主要被写体領域の画像よりも鮮明度をより低くする画像処理を施してもよい。また、画像処理部は、距離情報取得部が取得した被写体距離情報が示す、撮像装置からの距離がより遠い部分領域の画像に対して、鮮明度をより低くする画像処理を施してもよい。

また、距離情報取得部は、撮像装置が備える合焦距離制御部によって撮像部の合焦距離が順次変化されているときに、撮像部により合焦距離毎に撮像された複数の予備画像を取得する予備画像取得部と、予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を算出する被写体距離算出部とを有してもよい。

更に、被写体距離算出部は、予備画像取得部が合焦距離毎に取得した複数の予備画像のそれぞれについて部分領域毎に空間周波数分布を算出する空間周波数算出部と、空間周波数算出部が算出した空間周波数分布を異なる予備画像の同一の部分領域で比較し、所定の部分領域において空間周波数成分のレベルが最も大きい予備画像の合焦距離を、所定の部分領域における撮像装置と被写体との距離として決定する被写体距離決定部とを有してもよい。また、距離情報取得部は、被写体距離情報として撮像装置が備える測距部によって測定された撮像装置と被写体との距離を示す測距データを取得する測距データ取得部を有してもよい。

また、本発明の第２の形態においては、画像処理方法であって、撮像装置によって撮像された撮像画像を取得する撮像画像取得段階と、撮像画像取得段階が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得段階と、距離情報取得段階が取得した被写体距離情報に応じて、撮像画像取得段階が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理段階とを備える。

また、本発明の第３の形態においては、撮像画像に画像処理を施す画像処理装置用の画像処理プログラムであって、画像処理装置を、撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部と、距離情報取得部が取得した被写体距離情報に応じて、撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部として機能させる。

また、本発明の第４の形態においては、撮像装置であって、撮像部と、撮像部の合焦距離を制御する合焦距離制御部と、合焦距離制御部によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、合焦距離制御部によって合焦距離決定部が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得部と、予備画像部が合焦距離毎に取得した複数の予備画像を、撮像画像取得部が取得した撮像画像とともに出力する画像出力部とを備える。

また、本発明の第５の形態においては、撮像方法であって、撮像部の合焦距離を制御する合焦距離制御段階と、合焦距離制御段階によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、合焦距離制御段階によって合焦距離決定段階が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得段階と、予備画像取得段階が合焦距離毎に取得した複数の予備画像を、撮像画像取得段階が取得した撮像画像とともに出力する画像出力段階とを備える。

また、本発明の第６の形態においては、撮像装置であって、撮像部と、撮像部の合焦距離を制御する合焦距離制御部と、合焦距離制御部によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、合焦距離制御部によって合焦距離決定部が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得部と、予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、撮像画像取得部が取得した撮像画像における複数の部分領域毎の、撮像部と被写体との距離を算出する被写体距離算出部とを備える。

また、本発明の第７の形態においては、撮像方法であって、撮像部の合焦距離を制御する合焦距離制御段階と、合焦距離制御段階によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、合焦距離制御段階によって合焦距離決定段階が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得段階と、予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、撮像画像取得段階が取得した撮像画像における複数の部分領域毎の、撮像部と被写体との距離を算出する被写体距離算出段階とを備える。

また、本発明の第８の形態においては、撮像装置であって、撮像部と、撮像部の撮像範囲内における複数の測距点について、撮像部と被写体との距離をそれぞれ測定する測距部と、撮像部が撮像した画像、及び撮像部が撮像した画像における複数の測距点の位置に対応づけて、測距部が測定した複数の距離を示す測距データをそれぞれ格納する測距データ格納部と、撮像部が撮像した画像を、測距データ格納部が格納している複数の測距データとともに出力する画像出力部とを備える。

また、本発明の第９の形態においては、撮像方法であって、撮像部の撮像範囲内における複数の測距点について、撮像部と被写体との距離をそれぞれ測定する測距段階と、撮像部が撮像した画像、及び撮像部が撮像した画像における複数の測距点の位置に対応づけて、測距段階が測定した複数の距離を示す測距データをそれぞれ格納する測距データ格納段階と、撮像部が撮像した画像を、測距データ格納段階が格納している複数の測距データとともに出力する画像出力段階とを備える。

また、本発明の第１０の形態においては、撮像装置であって、撮像部と、撮像部の撮像範囲内における測距点について、撮像部と被写体との距離を測定する測距部と、撮像部の合焦距離を制御する合焦距離制御部と、測距部が測定した距離を含む予め定められた範囲内で、合焦距離制御部によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、予備画像取得部が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、合焦距離制御部によって合焦距離決定部が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得部とを備える。また、測距部は、赤外光を撮像範囲に照射して、撮像部と撮像範囲に含まれる被写体との距離を測定してもよい。

また、本発明の第１１の形態においては、撮像方法であって、撮像部の撮像範囲内における測距点について、撮像部と被写体との距離を測定する測距段階と、撮像部の合焦距離を制御する合焦距離制御段階と、測距段階が測定した距離を含む予め定められた範囲内で、合焦距離制御段階によって合焦距離が順次変化されているときに、撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、予備画像取得段階が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、合焦距離制御段階によって合焦距離決定段階が決定した合焦距離に制御されているときに、撮像部により撮像された撮像画像を取得する撮像画像取得段階とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、撮像範囲内の部分領域ごとに算出した距離に基づいて、画像処理できる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る画像処理システム８００の概要を示す。画像処理システム８００は、撮像装置１０及び画像処理装置４０を備える。撮像装置１０は、ユーザ８０２が人物８０４及び城８０６を撮像した場合に、撮像装置１０と人物８０４及び城８０６との被写体距離情報を取得する。ここで、被写体距離情報とは、撮像画像の部分領域ごとにおける、撮像装置と被写体との距離を示す情報であってよい。また、被写体距離情報は、オートフォーカスによって被写体とピントが合った場合の合焦距離であってよい。更に、撮像装置と被写体との距離を示す測距データであってもよく、３Ｄ画像から算出される撮像装置と被写体との距離であってもよい。

そして、撮像装置１０は、被写体距離情報に基づいて、撮像画像８０８の部分領域ごとに画像処理をする。例えば、撮像装置１０は、部分領域ごとに算出された被写体距離情報に基づいて、人物８０４をトリミングする。そして、撮像装置１０は、トリミング画像８１０を出力する。なお、撮像装置１０において撮像された撮像画像を、画像処理装置４０が、画像処理してもよい。すなわち、画像処理装置４０が、人物８０４のトリミング処理をして、トリミング画像８１０を出力してもよい。

本実施形態に係る画像処理システム８００は、撮像範囲内の部分領域ごとに算出された距離に基づいて、撮像した画像に対して画像処理することを目的とする。

図２は、本実施形態に係る撮像装置１０の機能構成の第１の例を示す。撮像装置１０は、撮像部１００、合焦距離制御部１１０、予備画像取得部１２０、予備画像格納部１２２、合焦距離決定部１３０、撮像画像取得部１４０、撮像画像格納部１４２、画像出力部１５０、被写体距離算出部１６０、及び被写体距離格納部１７０を備える。また、被写体距離算出部１６０は、空間周波数算出部１６２及び被写体距離決定部１６４を有する。

合焦距離制御部１１０は、撮像部１００の合焦距離を制御する。そして、撮像部１００は、合焦距離が順次変化しているときに複数の予備画像を撮像する。ここで、予備画像とは、合焦位置などの撮像条件を決定することを目的として取得する画像であってよい。例えば、合焦位置ごとに撮像された画像であって、解像度が撮像画像よりも低い画像を予備画像としてよい。撮像部１００は、撮像した複数の予備画像を予備画像取得部１２０へ供給する。

予備画像取得部１２０は、撮像部１００が撮像した複数の予備画像を順次取得する。予備画像取得部１２０は、取得した複数の予備画像を、予備画像格納部１２２及び合焦距離決定部１３０へ供給する。合焦距離決定部１３０は、予備画像取得部１２０が合焦距離ごとに取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する。例えば、合焦距離決定部１３０は、各予備画像のそれぞれを解析して、予備画像の空間周波数成分を算出する。そして、合焦距離決定部１３０は、予備画像の高周波数成分のレベルが予め定められたレベルよりも高い場合に、当該予備画像を撮像した合焦距離を、主要被写体に対する合焦距離としてよい。

また、合焦距離決定部１３０は、主要被写体を、被写体の色情報、被写体の形状の特徴等を用いて決定できる。例えば、主要被写体として人物を想定した場合には、合焦距離決定部１３０は、顔の色情報、顔の形状の特徴を用いて、顔領域を自動的に抽出する。そして、合焦距離決定部１３０は、抽出された領域について画像の明るさ、色分布を解析することで、主要被写体が人物か否かを判定できる。これにより、主要被写体が撮像画像において占める位置にかかわらず、合焦距離決定部１３０は、適切な合焦距離を決定できる。

合焦距離決定部１３０は、決定した合焦距離を合焦距離制御部１１０へ供給する。合焦距離制御部１１０は、撮像部１００の合焦距離を制御する。そして、撮像部１００は、合焦距離を合焦距離決定部１３０が決定した合焦距離に制御して、画像を撮像する。続いて、撮像部１００は、撮像画像を撮像画像取得部１４０へ供給する。

撮像画像取得部１４０は、撮像部１００が合焦距離決定部１３０が決定した合焦距離で撮像した、撮像画像を取得する。そして、撮像画像取得部１４０は、取得した撮像画像を撮像画像格納部１４２及び被写体距離決定部１６４へ供給する。撮像画像格納部１４２は、撮像画像取得部１４０から受け取った撮像画像を、撮像画像を一意に識別できる識別子に対応づけて格納する。そして、撮像画像格納部１４２は、撮像画像を画像出力部１５０へ供給する。

予備画像格納部１２２は、予備画像取得部１２０から受け取った複数の予備画像を、予備画像を一意に識別できる識別子に対応づけて格納する。予備画像格納部１２２は、複数の予備画像を、画像出力部１５０及び空間周波数算出部１６２へ供給する。空間周波数算出部１６２は、予備画像格納部１２２から受け取った複数の予備画像のそれぞれについて、部分領域ごとに空間周波数分布を算出する。空間周波数算出部１６２は、算出された空間周波数分布を、被写体距離決定部１６４へ供給する。

被写体距離決定部１６４は、空間周波数算出部１６２が算出した空間周波数分布を、異なる予備画像の同一の部分領域で比較する。そして、被写体距離決定部１６４は、所定の部分領域の空間周波数成分のレベルが最も大きい予備画像に対応する合焦距離を、所定の部分領域における撮像装置１０と被写体との距離として決定する。なお、被写体距離決定部１６４が決定した所定の部分領域における撮像装置１０と被写体との距離は、被写体距離情報の一例である。また、被写体距離決定部１６４は、撮像画像取得部１４０から受け取った被写体距離情報を取得して、所定の部分領域における撮像装置１０と被写体との距離を決定してもよい。被写体距離情報は、例えば、撮像装置１０により測距された、撮像装置１０と被写体との距離を示す測距データであってよい。

被写体距離決定部１６４は、被写体距離決定部１６４が決定した撮像装置１０と被写体との複数の距離を被写体距離格納部１７０へ供給する。被写体距離格納部１７０は、受け取った撮像装置１０と被写体との距離を一意に識別できる識別子に対応づけて格納する。そして、被写体距離格納部１７０は、撮像装置１０と被写体との距離を、画像出力部１５０へ供給する。

画像出力部１５０は、予備画像格納部１２２から受け取った複数の予備画像を、撮像画像格納部１４２から受け取った撮像画像と共に出力する。また、被写体距離決定部１６４が決定した撮像装置１０と被写体との距離を示す、被写体距離情報も出力してよい。例えば、画像出力部１５０は、デジタルデータとしてメモリ装置等に被写体距離情報を出力する。また、画像処理装置４０、モニタ及び印刷装置等に出力してもよい。

本実施形態に係る撮像装置１０によれば、撮像画像における複数の部分領域ごとに、撮像部１００と被写体との距離を算出及び出力できるので、画像処理の段階においても被写体距離情報を用いることができる。これにより、被写体の撮像画像における奥行きが、被写体距離情報に基づいて決定できるので、被写体を精度よくトリミングすることができる。

図３は、被写体距離算出部１６０が被写体との距離を決定する方法の一例を示す。空間周波数算出部１６２は、予備画像取得部１２０が合焦距離３０２、合焦距離３０４、及び合焦距離３０６ごとに取得した、複数の予備画像３１０、予備画像３２０、及び予備画像３３０のそれぞれについて、予備画像の部分領域ごとに空間周波数成分を算出する。そして、被写体距離決定部１６４は、空間周波数算出部１６２が算出した空間周波数分布を、異なる予備画像の同一の部分領域で比較する。

ここで、グラフ３５０は、横軸が空間周波数（Ｈｚ）、縦軸が各予備画像の同一の部分領域における空間周波数のレベルを表す。被写体距離決定部１６４は、各予備画像の同一の部分領域において算出された、空間周波数のレベルを比較する。続いて、空間周波数のレベルが最も高い部分領域を含む予備画像を決定する。そして、被写体距離決定部１６４は、空間周波数のレベルが最も高い予備画像が撮像された合焦距離を、被写体距離情報として決定する。

例えば、被写体距離決定部１６４は、予備画像３１０の部分領域３１２の空間周波数、予備画像３２０の部分領域３２２の空間周波数、および予備画像３３０の部分領域３３２の空間周波数をそれぞれ比較する。グラフ３５０においては、部分領域３２２の空間周波数のレベル３２２'、部分領域３１２の空間周波数のレベル３１２'、そして、部分領域３３２の空間周波数のレベル３３２'の順で空間周波数のレベルが高い。

係る場合において被写体距離決定部１６４は、空間周波数のレベルが最も高い曲線３２２'に対応する部分領域３２２を含む予備画像３２０に対応する合焦距離を、部分領域３２２における撮像装置１０と被写体との距離として決定する。そして、被写体距離決定部１６４が決定した合焦距離３０４を、被写体距離決定部１６４は、予備画像３２０における、撮像装置位置３００と合焦距離３０４に位置する被写体との距離を示す被写体距離情報として決定する。

図４は、被写体距離算出部１６０が部分領域ごとの被写体との距離を算出する方法の一例を示す図である。図３での上記説明において、被写体距離決定部１６４が決定した予備画像の部分領域ごとの被写体距離情報を、被写体距離算出部１６０は、予備画像の各部分領域に対応づける。そして、被写体距離算出部１６０が各部分領域に対応付けた被写体距離情報は、被写体距離格納部１７０に供給される。続いて、被写体距離格納部１７０は、受け取った被写体距離情報を部分領域に対応づけて格納する。

例えば、予備画像５００の部分領域５０２において被写体距離決定部１６４が決定した合焦距離が３ｍだった場合には、部分領域５０２の被写体距離情報は３ｍであると、被写体距離算出部１６０は算出する。同様に予備画像５００の部分領域５０４においては被写体距離情報は３０ｍであると、被写体距離算出部１６０は算出する。また、被写体距離決定部１６４が決定した合焦距離が、予め定められた距離よりも大きい場合には、部分領域５０６に示すように、被写体距離算出部１６０は被写体距離情報を∞としてよい。

図５は、本発明に係る撮像装置１０の機能構成の第２の例を示す。撮像装置１０は、撮像部１００、撮像画像取得部１４０、撮像画像格納部１４２、画像出力部１５０、測距部２００、測距データ取得部２１０、及び測距データ格納部２２０を備える。ここで、撮像部１００、撮像画像取得部１４０、撮像画像格納部１４２、及び画像出力部１５０については、図２での上記説明において、同一の符号で説明した各構成部分と略同一の機能を有するので、説明は省略する。

測距部２００は、撮像部１００の撮像範囲内の複数の測距点について、撮像部１００と被写体との距離をそれぞれ測定する。例えば、測距部２００は、アクティブ方式、パッシブ方式、及び位相差検知方式等を用いて被写体との距離をそれぞれ測定する。また、測距部２００は、予備画像ごとに空間周波数を算出して、予め定められたレベルよりも高い周波数成分を示す予備画像に対応した合焦距離を被写体との距離としてもよい。測距部２００は、測定された測距データを測距データ取得部２１０へ供給する。

測距データ取得部２１０は、被写体距離情報として、測距部２００が測定した撮像装置１０と被写体との距離を示す測距データを取得する。測距データ取得部２１０は、取得した測距データを、測距データ格納部２２０へ供給する。測距データ格納部２２０は、撮像部１００が撮像した画像及び撮像部１００が撮像した画像における複数の測距点の位置に対応づけて、測距データ取得部２１０から受け取った測距データを格納する。そして、測距データ格納部２２０は、複数の測距データを画像出力部１５０へ供給する。

本実施形態に係る撮像装置１０によれば、撮像画像における複数の測距点ごとに、撮像部１００と被写体との距離を測定、及び出力できる。これにより、撮像画像の測距点ごとに算出された被写体距離情報に基づいて、トリミング処理等の画像処理に資することができる。

図６は、画像処理装置４０の機能構成の一例を示す。画像処理装置４０は、撮像画像取得部１４０、撮像画像格納部１４２、距離情報取得部４００、境界特定部４１０、主要被写体領域特定部４１５、及び画像処理部４２０を備える。そして、距離情報取得部４００は、予備画像取得部１２０、予備画像格納部１２２、被写体距離算出部１６０、測距データ取得部２１０、及び測距データ格納部２２０を有する。また、被写体距離算出部１６０は、空間周波数算出部１６２及び被写体距離決定部１６４を含む。ここで、予備画像取得部１２０、予備画像格納部１２２、撮像画像取得部１４０、撮像画像格納部１４２、被写体距離算出部１６０、空間周波数算出部１６２、被写体距離決定部１６４、測距データ取得部２１０、及び測距データ格納部２２０については、図２及び図３での上記説明において、同一の符号で説明した各構成部分と略同一の機能を有するので、説明は省略する。

境界特定部４１０は、距離情報取得部４００が取得した被写体距離情報に基づいて、撮像画像取得部１４０が取得した撮像画像におけるオブジェクトの境界を特定する。境界特定部４１０は、特定した境界の情報を主要被写体領域特定部４１５および画像処理部４２０に供給する。主要被写体領域特定部４１５は、境界特定部４１０が特定した境界を用いて、撮像画像取得部１４０が取得した撮像画像に含まれる主要被写体の領域である主要被写体領域を特定する。なお、主要被写体領域は部分領域の一例である。具体的には、主要被写体領域特定部４１５は、境界特定部４１０が特定したオブジェクトの境界によって示されるオブジェクトの中で、撮像画像に対して最も大きい領域を占めるオブジェクトの領域を主要被写体領域として特定してよい。また、主要被写体領域特定部４１５は、境界特定部４１０が特定したオブジェクトの境界によって示されるオブジェクトの撮像画像に対する領域の位置が、撮像画像の中央から予め定められた範囲内にある場合に、当該オブジェクトの領域を主要被写体領域として特定してもよい。例えば、主要被写体領域特定部４１５は、撮像画像の中央により近いオブジェクトの領域を、主要被写体領域として特定してよい。更に、主要被写体領域特定部４１５は、距離情報取得部４００が取得した被写体距離情報が示す撮像装置１０から被写体までの距離が、最も撮像装置１０に近いオブジェクトの領域を主要被写体領域として特定してもよい。主要被写体領域特定部４１５は、特定した主要被写体の領域に関する情報を画像処理部４２０に供給する。

画像処理部４２０は、撮像画像格納部１４２に格納された撮像画像、被写体距離決定部１６４が決定した被写体距離情報、境界特定部４１０が特定したオブジェクトの境界の情報、および主要被写体領域特定部４１５から主要被写体の領域に関する情報を受け取る。画像処理部４２０は、距離情報取得部４００が取得した被写体距離情報に基づいて、撮像画像取得部１４０が取得した撮像画像における複数の部分領域ごとに異なる画像処理を施す。例えば、撮像画像に含まれるオブジェクトをトリミングする。そして、撮像画像に含まれるオブジェクトの境界の外部をぼかす処理を施してもよい。また、画像処理部４２０は、主要被写体の領域に関する情報に基づいて、主要被写体領域の画像と主要被写体領域を除く領域の画像とにそれぞれ異なる画像処理を施す。なお、主要被写体の領域に関する情報は、撮像画像において主要被写体の領域が占める位置および大きさを示す情報であってよい。

また、画像処理部４２０は、主要被写体領域を除く領域の画像に対して主要被写体領域の画像よりも鮮明度をより低くする画像処理を施してよい。ここで、鮮明度とは、画素の濃淡、明度、彩度、およびコントラスト等の度合いである。そして、鮮明度を低くする画像処理とは、画素の濃淡変化を原画像の画素の濃淡変化よりも少なくする画像処理、明度を原画像の明度よりも下げる画像処理、彩度を原画像の彩度よりも下げる画像処理、およびコントラストを原画像のコントラストよりも低くする画像処理である。また、画像処理部４２０は、主要被写体領域を除く領域の画像に対してガンマ補正をして、主要被写体領域の画像よりも鮮明度を低くする画像処理を施してもよい。

更に、画像処理部４２０は、距離情報取得部４００が取得した被写体距離情報が示す、撮像装置１０からの距離がより遠い部分領域の画像に対して、鮮明度をより低くする画像処理を施してもよい。例えば、画像処理部４２０は、撮像装置１０からの距離がより遠い部分領域の画像を、よりぼかす画像処理をする。これにより、画像処理部４２０は、例えば、撮像装置１０からの距離が近い主要被写体領域の画像を明瞭にする一方で、主要被写体を含まない部分領域であって、撮像装置１０および主要被写体から離れた領域に対応する部分領域の画像をぼかす処理をすることができるので、ユーザは、主要被写体を強調した画像を容易に取得できる。

なお、境界特定部４１０及び画像処理部４２０は、図２及び図３での上記説明における撮像装置１０に備えてもよい。そして、撮像装置１０が備える、境界特定部４１０及び画像処理部４２０の処理に基づいて、撮像画像におけるオブジェクトの境界を特定するか、または、撮像画像に含まれるオブジェクトに対してトリミング等の画像処理を施してもよい。

本実施形態に係る画像処理装置４０によれば、撮像画像における複数の部分領域ごとに算出された被写体距離情報、及び撮像画像における複数の測距点ごとに測定された撮像部と被写体との距離に基づいて、撮像画像の画像処理ができる。これにより、オブジェクトの境界を検出する画像処理等を、精度よくできる。

図７は、本実施形態に係る境界特定部４１０がオブジェクトをトリミングする方法の一例を示す。境界特定部４１０は、距離情報取得部４００が取得した撮像画像における複数の部分領域ごとの被写体距離情報に基づいて、人物６０２をトリミングする。まず、境界特定部４１０は、同一の被写体距離情報に対応づけられる複数の部分領域に含まれるオブジェクトを、同一のオブジェクトとして特定する。そして、境界特定部４１０は、同一のオブジェクトが撮像されている部分領域とは異なる複数の部分領域を、特定されたオブジェクトとは異なるオブジェクト又は背景が撮像されている領域として特定する。これにより、境界特定部４１０は、オブジェクトを精度よくトリミングできる。なお、境界特定部４１０は、オブジェクトが含まれる部分領域が含まれるように、オブジェクトをトリミングしてよい。

例えば、人物６０２が含まれている各部分領域の、撮像装置１０と人物６０２との間の被写体距離情報が示す距離が３ｍであり、城６０４との間の被写体距離情報が示す距離が５０ｍであり、その他の部分領域の撮像装置１０との間の被写体距離情報が示す距離が∞であった場合を考える。係る場合には、境界特定部４１０は、被写体距離情報が示す距離が３ｍである部分を、人物６０２が含まれている領域として特定する。そして境界特定部４１０が特定した領域に基づいて、画像処理部４２０は、人物６０２が含まれている領域をトリミング画像６１０として抽出する。なお、画像処理部４２０は、人物６０２をトリミングするだけではなく、人物６０２が含まれている領域の外側の領域に対してぼかし処理をするか、または、色彩及び模様を施す画像処理をしてもよい。

図８は、本実施形態に係る画像処理部４２０の画像処理の一例を示す。まず境界特定部４１０は、距離情報取得部４００が取得した撮像装置１０から被写体までの距離を示す被写体距離情報に基づいて、撮像画像９００における被写体の境界を特定する。具体的には、境界特定部４１０は、人物９０２、城９０６、および人物９１２の領域を特定する。例えば、境界特定部４１０は、人物９０２の境界９０４、城９０６の境界９０８、および人物９１２の境界９１０をそれぞれ撮像装置１０から各被写体までの距離に基づいて特定する。続いて、主要被写体領域特定部４１５は、撮像画像９００における主要被写体領域を、撮像装置１０からの距離が他の被写体よりもより近い、人物９０２が含まれる境界９０４で囲まれる領域と特定する。

そして、画像処理部４２０は、境界９０４で囲まれている主要被写体領域と主要被写体領域を除く領域の画像とにそれぞれ異なる画像処理を施す。例えば、画像処理部４２０は、撮像装置１０からの距離がより遠い被写体を含む部分領域に対して、主要被写体領域の画像よりもよりぼかす処理を施してよい。すなわち、画像処理部４２０は、領域９１０および領域９０８に含まれる画像に対してぼかし処理を施して、生成画像９５０を生成してよい。生成画像９５０では人物９０２の領域の画像が明瞭に含まれる一方で、人物９５４および城９５６のそれぞれの領域の画像はぼかされている。これにより、画像処理部４２０は、主要被写体だけを強調した生成画像９５０を容易に生成できる。

また、撮像装置１０から人物９１２までの距離よりも撮像装置１０から城９０６までの距離がより遠い場合には、画像処理部４２０は、撮像装置１０から被写体までの距離に応じて異なる画像処理を施してよい。具体的には、画像処理部４２０は、撮像装置１０からの距離がより遠い城９０６が含まれる境界９０８で囲まれる領域の画像に対して、人物９１２が含まれる境界９１０で囲まれる領域の画像よりもよりぼかす処理を施してよい。なお、画像処理部４２０が部分領域に施す画像処理は、例えば、部分領域に含まれる画素の濃淡変化を平均化する処理、彩度を小さくする処理、コントラストを低くする処理等であってよい。また、画像処理部４２０は、ガンマ補正をして、部分領域に画像処理を施してよい。例えば、画像処理部４２０は、ガンマカーブを原画像が示すガンマカーブよりも下に凸にして、部分領域に画像処理を施してよい。

図９は、本発明に係る撮像装置１０の機能構成の第３の例を示す。撮像装置１０は、撮像部１００、合焦距離制御部１１０、予備画像取得部１２０、予備画像格納部１２２、合焦距離決定部１３０、撮像画像取得部１４０、撮像画像格納部１４２、被写体距離算出部１６０、被写体距離格納部１７０、測距部２００、測距データ取得部２１０、及び測距データ格納部２２０を備える。また、被写体距離算出部１６０は、空間周波数算出部１６２及び被写体距離決定部１６４を有する。ここで、図２、図３及び図６での上記説明において、同一の符号で説明した各構成部分は、図２、図３及び図６における各構成部分と略同一の機能を有するので、重複する内容についての説明は省略する。

測距部２００は、撮像部１００の撮像範囲内における複数の測距点について、撮像部１００と被写体との距離をそれぞれ測定する。また、測距部２００は、赤外光を撮像範囲に照射して、撮像部１００と撮像範囲に含まれる被写体との距離を測定してもよい。具体的には、測距部２００は、撮像範囲に赤外光を照射する赤外光照射部、撮像範囲に含まれる被写体が反射した赤外光を受光する赤外光受光部、および赤外光受光部が受光した赤外光に基づいて撮像部１００と撮像範囲に含まれる被写体との距離を算出する被写体距離特定部を含む赤外光測距部を有していてよい。測距部２００は、測距データを測距データ取得部２１０及び合焦距離制御部１１０へ供給する。予備画像取得部１２０は、測距部２００が測定した距離を含む予め定められた範囲内で、合焦距離制御部１１０が合焦距離を順次変化しているときに、撮像部１００が撮像した複数の予備画像を順次取得する。

撮像部１００は、測距部２００が測定した距離に基づいて、予め定められた距離の範囲内において複数の予備画像を取得する。そして、合焦距離決定部１３０は、予備画像取得部１２０が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する。例えば、合焦距離決定部１３０は、各予備画像における部分領域の空間周波数成分を算出する。そして、合焦距離決定部１３０は、空間周波数の高周波成分が予め定められたレベルよりも高いレベルを示す部分領域を含む予備画像に対して、合焦距離を合わせる。

なお、図６での上記説明における境界特定部４１０及び画像処理部４２０を、撮像装置１０は備えてもよい。撮像装置１０が境界特定部４１０及び画像処理部４２０を備えることにより、撮像装置１０は、撮像画像におけるオブジェクトの境界を特定するか、または、撮像画像に含まれるオブジェクトに対してトリミング等の画像処理を施すことができる。

本実施形態に係る撮像装置１０によれば、測距部２００が測距した測距データに基づいて、予め定められた範囲内で予備画像を撮像して、撮像された予備画像から合焦距離を決定できるので、撮像範囲において合焦距離の範囲内において、合焦距離の全範囲で合焦距離を順次変化させて予備画像を取得する必要がなくなり、撮像における処理量を低減できる。

図１０は、撮像装置１０による合焦距離を決定する方法の一例を示す。また、図１１は、撮像装置１０による合焦距離を決定する際の合焦距離と空間周波数の関係を示すグラフの一例である。図１１のグラフ７４０は、横軸に合焦距離をとり、縦軸に各合焦距離で撮像されたオブジェクトの空間周波数のレベルを示している。

測距部２００は、撮像部１００の撮像範囲７００内の複数の部分領域７０２等に含まれる複数の測距点７１２等において測距データを取得する。そして、例えば、測距点７１２において主要被写体である人物７３２と主要被写体ではない演台７３４及びマイク７３６が撮像されている場合を考える。係る場合においては、測距点７１２において測距された距離を中心として、予め定められた範囲の合焦距離において、撮像部１００は、複数の予備画像を撮像する。すなわち、測距部２００は、各測距点で測距した距離を算出する。続いて、合焦距離制御部１１０は、測距部２００が算出した測距データを中心として、予め定められた範囲の合焦距離を設定する。そして、合焦距離制御部１１０が設定した合焦距離の範囲内において、撮像部１００は、複数の予備画像を順次撮像する。

例えば、測距部２００が算出した測距データが１ｍであった場合には、合焦距離制御部１１０は合焦距離が１ｍである点を中心として、１ｍの前後５０ｃｍの範囲内を合焦距離として設定してよい。そして、撮像部１００は、合焦距離制御部１１０が設定した合焦距離の範囲内で複数の予備画像を取得する。また、測距部２００が算出した測距データが１０ｍであった場合には、合焦距離制御部１１０は合焦距離が１０ｍである点を中心として、１０ｍの前後１ｍの範囲内を合焦距離として設定してよい。そして、撮像部１００は、合焦距離制御部１１０が設定した合焦距離の範囲内で複数の予備画像を取得する。更に、測距部２００が算出した測距データが３０ｍであった場合には、合焦距離制御部１１０は合焦距離が３０ｍである点を中心として、３０ｍの前後４ｍの範囲内を合焦距離として設定して、撮像部１００は合焦距離が設定した合焦距離の範囲内で複数の予備画像を取得する。

このように、測距データがより遠方になるにしたがって、撮像部１００は、複数の予備画像をより広範囲の合焦距離で撮像してよい。そして、被写体距離決定部１６４は、撮像部１００が撮像した複数の予備画像において、部分領域ごとの空間周波数を算出する。そして、空間周波数のレベルが最も大きい合焦距離を、撮像装置１０とオブジェクトとの合焦距離として決定する。例えば、図１１のグラフ７４０に示すように、測距データに基づいて算出された合焦距離が、マイク７３６に合っていた場合において、空間周波数算出部１６２は、予備画像７３０における人物７３２、演台７３４、及びマイク７３６に対応する空間周波数のレベル７３２'、レベル７３４'、及びレベル７３６'を算出する。そして、空間周波数のレベルが最も大きい人物７３２に対応する合焦距離７３２'を、予備画像７３０における、撮像装置１０と人物７３２との合焦距離として決定する。

本実施形態に係る撮像装置１０によれば、撮像装置１０とオブジェクトとの距離を測距して、測距した測距データを基準として予め定められた範囲内で合焦距離を決定できる。これにより、測距データに基づいて決定した合焦距離が、主要被写体に合っていなかった場合でも、合焦距離を主要被写体に正確に合わせることができる。また、合焦距離を決定するための処理量を低減できる。

図１２は、本実施形態に係る画像処理装置４０のハードウェア構成の一例を示す。本実施形態に係る画像処理装置４０は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０及びＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、画像処理装置４０内のＣＰＵ１５０５が使用するプログラム及びデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、画像処理装置４０が起動時に実行するブート・プログラム及び画像処理装置４０のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラム又はデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される画像出力プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、又はＩＣカード等の記録媒体に格納されて利用者によって提供される。画像出力プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して画像処理装置４０内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。画像処理装置４０にインストールされて実行される画像出力プログラムは、ＣＰＵ１５０５等に働きかけて、画像処理装置４０を、図６から図８にかけて説明した、予備画像取得部１２０、予備画像格納部１２２、撮像画像取得部１４０、撮像画像格納部１４２、被写体距離算出部１６０、空間周波数算出部１６２、被写体距離決定部１６４、測距データ取得部２１０、測距データ格納部２２０、距離情報取得部４００、境界特定部４１０、主要被写体領域特定部４１５、および画像処理部４２０として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

画像処理システム８００の概念図である。 撮像装置１０の機能構成を示すブロック図である。 被写体距離算出部１６０が被写体との距離を決定する方法を示す図である。 被写体距離算出部１６０が部分領域ごとの被写体との距離を算出する方法を示す図である。 撮像装置１０の機能構成を示すブロック図である。 画像処理装置４０の機能構成を示す図である。 境界特定部４１０がオブジェクトをトリミングする方法を示す。 画像処理部４２０の画像処理を示す図である。 撮像装置１０の機能構成を示すブロック図である。 撮像装置１０による合焦距離を決定する方法を示す図である。 撮像装置１０による合焦距離を決定する際の合焦距離と空間周波数の関係を示すグラフである。 画像処理装置４０のハードウェア構成を示すブロック図である。

符号の説明

１０ 撮像装置
４０ 画像処理装置
１００ 撮像部
１１０ 合焦距離制御部
１２０ 予備画像取得部
１２２ 予備画像格納部
１３０ 合焦距離決定部
１４０ 撮像画像取得部
１４２ 撮像画像格納部
１５０ 画像出力部
１６０ 被写体距離算出部
１６２ 空間周波数算出部
１６４ 被写体距離決定部
１７０ 被写体距離格納部
２００ 測距部
２１０ 測距データ取得部
２２０ 測距データ格納部
３００ 撮像装置位置
３０２、３０４、３０６ 合焦距離
３１０、３２０、３３０ 予備画像
３１２、３２２、３３２ 部分領域
３５０ グラフ
４００ 距離情報取得部
４１０ 境界特定部
４２０ 画像処理部
５００ 予備画像
５０２、５０４、５０６ 部分領域
６００ 撮像画像
６０２ 人物
６０４ 城
６１０ トリミング画像
７００ 撮像範囲
７０２、７０４、７０６、７０８、７１０ 部分領域
７１２、７１４、７１６、７１８、７２０ 測距点
７３０ 予備画像
７３２ 人物
７３４ 演台
７３６ マイク
７４０ グラフ
８００ 画像処理システム
８０２ ユーザ
８０４ 人物
８０６ 城
８０８ 撮像画像
８１０ トリミング画像
９００ 撮像画像
９０２、９１２ 人物
９０６、９５６ 城
９０４、９０８、９１０ 境界
９５０ 生成画像
９５４ 人物
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (21)

1. 撮像装置によって撮像された撮像画像を取得する撮像画像取得部と、
   前記撮像画像取得部が取得した撮像画像における複数の部分領域毎の、前記撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部と、
   前記距離情報取得部が取得した被写体距離情報に応じて、前記撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部と
   を備える画像処理システム。
2. 前記距離情報取得部が取得した被写体距離情報に基づいて、前記撮像画像取得部が取得した撮像画像における被写体の境界を特定する境界特定部
   をさらに備え、
   前記画像処理部は、前記境界特定部が特定した境界を用いて、前記撮像画像取得部が取得した撮像画像に画像処理を施す
   請求項１に記載の画像処理システム。
3. 前記画像処理部は、前記境界特定部が特定した境界を用いて、前記撮像画像取得部が取得した撮像画像をトリミングする
   請求項２に記載の画像処理システム。
4. 前記境界特定部が特定した境界を用いて、前記撮像画像取得部が取得した撮像画像に含まれる主要被写体の領域である主要被写体領域を特定する主要被写体領域特定部
   を更に備え、
   前記画像処理部は、前記主要被写体領域の画像と前記主要被写体領域を除く領域の画像とにそれぞれ異なる画像処理を施す
   請求項２に記載の画像処理システム。
5. 前記画像処理部は、前記主要被写体領域を除く領域の画像に対して前記主要被写体領域の画像よりも鮮明度をより低くする画像処理を施す
   請求項４に記載の画像処理システム。
6. 前記画像処理部は、前記主要被写体領域を除く領域の画像に対してガンマ補正をして、前記主要被写体領域の画像よりも鮮明度をより低くする画像処理を施す
   請求項５に記載の画像処理システム。
7. 前記画像処理部は、前記距離情報取得部が取得した被写体距離情報が示す、前記撮像装置からの距離がより遠い部分領域の画像に対して、鮮明度をより低くする画像処理を施す
   請求項１に記載の画像処理システム。
8. 前記距離情報取得部は、
   前記撮像装置が備える合焦距離制御部によって撮像部の合焦距離が順次変化されているときに、前記撮像部により合焦距離毎に撮像された複数の予備画像を取得する予備画像取得部と、
   前記予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、前記撮像画像取得部が取得した撮像画像における複数の部分領域毎の、前記撮像装置と被写体との距離を算出する被写体距離算出部と
   を有する請求項１に記載の画像処理システム。
9. 前記被写体距離算出部は、
   前記予備画像取得部が合焦距離毎に取得した複数の予備画像のそれぞれについて部分領域毎に空間周波数分布を算出する空間周波数算出部と、
   前記空間周波数算出部が算出した空間周波数分布を異なる予備画像の同一の部分領域で比較し、所定の部分領域において空間周波数成分のレベルが最も大きい予備画像の合焦距離を、前記所定の部分領域における前記撮像装置と被写体との距離として決定する被写体距離決定部と
   を有する請求項８に記載の画像処理システム。
10. 前記距離情報取得部は、
    前記被写体距離情報として前記撮像装置が備える測距部によって測定された前記撮像装置と被写体との距離を示す測距データを取得する測距データ取得部
    を有する請求項１に記載の画像処理システム。
11. 画像処理方法であって、
    撮像装置によって撮像された撮像画像を取得する撮像画像取得段階と、
    前記撮像画像取得段階が取得した撮像画像における複数の部分領域毎の、前記撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得段階と、
    前記距離情報取得段階が取得した被写体距離情報に応じて、前記撮像画像取得段階が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理段階と
    を備える画像処理方法。
12. 撮像画像に画像処理を施す画像処理装置用の画像処理プログラムであって、前記画像処理装置を、
    撮像装置によって撮像された撮像画像を取得する撮像画像取得部、
    前記撮像画像取得部が取得した撮像画像における複数の部分領域毎の、前記撮像装置と被写体との距離を示す情報である被写体距離情報を取得する距離情報取得部、
    前記距離情報取得部が取得した被写体距離情報に応じて、前記撮像画像取得部が取得した撮像画像における複数の部分領域毎に異なる画像処理を施す画像処理部
    として機能させる画像処理プログラム。
13. 撮像部と、
    前記撮像部の合焦距離を制御する合焦距離制御部と、
    前記合焦距離制御部によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、
    前記予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、
    前記合焦距離制御部によって前記合焦距離決定部が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得部と、
    前記予備画像取得部が合焦距離毎に取得した複数の予備画像を、前記撮像画像取得部が取得した撮像画像とともに出力する画像出力部と
    を備える撮像装置。
14. 撮像部の合焦距離を制御する合焦距離制御段階と、
    前記合焦距離制御段階によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、
    前記予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、
    前記合焦距離制御段階によって前記合焦距離決定段階が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得段階と、
    前記予備画像取得段階が合焦距離毎に取得した複数の予備画像を、前記撮像画像取得段階が取得した撮像画像とともに出力する画像出力段階と
    を備える撮像方法。
15. 撮像部と、
    前記撮像部の合焦距離を制御する合焦距離制御部と、
    前記合焦距離制御部によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、
    前記予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、
    前記合焦距離制御部によって前記合焦距離決定部が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得部と、
    前記予備画像取得部が合焦距離毎に取得した複数の予備画像を解析して、前記撮像画像取得部が取得した撮像画像における複数の部分領域毎の、前記撮像部と被写体との距離を算出する被写体距離算出部と
    を備える撮像装置。
16. 撮像部の合焦距離を制御する合焦距離制御段階と、
    前記合焦距離制御段階によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、
    前記予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、
    前記合焦距離制御段階によって前記合焦距離決定段階が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得段階と、
    前記予備画像取得段階が合焦距離毎に取得した複数の予備画像を解析して、前記撮像画像取得段階が取得した撮像画像における複数の部分領域毎の、前記撮像部と被写体との距離を算出する被写体距離算出段階と
    を備える撮像方法。
17. 撮像部と、
    前記撮像部の撮像範囲内における複数の測距点について、前記撮像部と被写体との距離をそれぞれ測定する測距部と、
    前記撮像部が撮像した画像、及び前記撮像部が撮像した画像における複数の測距点の位置に対応づけて、前記測距部が測定した複数の距離を示す測距データをそれぞれ格納する測距データ格納部と、
    前記撮像部が撮像した画像を、前記測距データ格納部が格納している複数の測距データとともに出力する画像出力部と
    を備える撮像装置。
18. 撮像部の撮像範囲内における複数の測距点について、前記撮像部と被写体との距離をそれぞれ測定する測距段階と、
    前記撮像部が撮像した画像、及び前記撮像部が撮像した画像における複数の測距点の位置に対応づけて、前記測距段階が測定した複数の距離を示す測距データをそれぞれ格納する測距データ格納段階と、
    前記撮像部が撮像した画像を、前記測距データ格納段階が格納している複数の測距データとともに出力する画像出力段階と
    を備える撮像方法。
19. 撮像部と、
    前記撮像部の撮像範囲内における測距点について、前記撮像部と被写体との距離を測定する測距部と、
    前記撮像部の合焦距離を制御する合焦距離制御部と、
    前記測距部が測定した距離を含む予め定められた範囲内で、前記合焦距離制御部によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得部と、
    前記予備画像取得部が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定部と、
    前記合焦距離制御部によって前記合焦距離決定部が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得部と
    を備える撮像装置。
20. 前記測距部は、赤外光を撮像範囲に照射して、前記撮像部と前記撮像範囲に含まれる被写体との距離を測定する
    請求項１９に記載の撮像装置。
21. 撮像部の撮像範囲内における測距点について、前記撮像部と被写体との距離を測定する測距段階と、
    前記撮像部の合焦距離を制御する合焦距離制御段階と、
    前記測距段階が測定した距離を含む予め定められた範囲内で、前記合焦距離制御段階によって合焦距離が順次変化されているときに、前記撮像部により撮像された複数の予備画像を順次取得する予備画像取得段階と、
    前記予備画像取得段階が取得した複数の予備画像を解析して、主要被写体に対する合焦距離を決定する合焦距離決定段階と、
    前記合焦距離制御段階によって前記合焦距離決定段階が決定した合焦距離に制御されているときに、前記撮像部により撮像された撮像画像を取得する撮像画像取得段階と
    を備える撮像方法。
    

Images