JP2015018084A5 - 撮像装置、カメラシステム及び画像処理方法 - Google Patents

Description

本発明は、一部の画素を位相差方式の焦点検出素子として利用して焦点状態を検出する撮像素子の画素出力を処理する撮像装置、カメラシステム及び画像処理方法に関する。

本発明は、前記の事情に鑑みてなされたもので、焦点検出画素を有する撮像素子からの画素出力を処理する撮像装置において、絞り値やフォーカスレンズ位置、焦点距離等の光学情報をリアルタイムで取得できないような状況であっても焦点検出画素による画質の低下を抑えることが可能な撮像装置、カメラシステム及び画像処理方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、撮像装置において、撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子により撮像して画像データを出力する撮像部と、
前記画像データのうち前記焦点検出画素から出力される画素出力を補正関数により補正する画像処理部と、前記撮像部により繰り返し撮像動作を実行させ、複数のフレームに対応する画像データを取得する制御部とを具備し、前記画像処理部は、前記撮像素子に像を形成するための撮影光学系の光学情報を取得する光学情報取得部と、前記光学情報に基づいて前記補正関数を決定するための光学関数を算出する光学関数算出部と、前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出する画素関数算出部と、前記光学関数と前記画素関数と前記光学情報とに基づいて、前記複数のフレームのそれぞれ対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択する補正関数選択部とを有する。

前記の目的を達成するために、本発明の第２の態様のカメラシステムは、撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子を有するカメラ本体と該カメラ本体に着脱可能であり撮影光学系を有する交換レンズとを具備するカメラシステムにおいて、前記交換レンズは、前記撮影光学系に関する光学情報を生成する光学情報生成部と、前記カメラ本体と通信を行い、前記光学情報を送信するレンズ制御部とを具備し、前記カメラ本体は、前記撮像素子により撮像して画像データを出力する撮像部と、前記画像データのうち前記焦点検出画素から出力される画素出力を補正関数により補正する画像処理部と、前記レンズ制御部と通信を行って前記光学情報を取得し、前記撮像部により繰り返し撮像動作を実行させ複数のフレームに対応する画像データを取得する制御部とを具備し、前記画像処理部は、前記光学情報に基づいて前記補正関数を決定するための光学関数を算出する光学関数算出部と、前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出する画素関数算出部と、前記光学関数と前記画素関数と前記光学情報とに基づいて、前記複数のフレームのそれぞれ対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択する補正関数選択部とを有する。

前記の目的を達成するために、本発明の第３の態様の画像処理方法は、撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子により撮像された画像データにおける前記焦点検出画素から出力される画素出力を補正する画像処理方法において、前記撮像素子により繰り返し撮像動作を実行させて複数のフレームに対応する画像データを取得することと、前記撮像素子に像を形成するための撮影光学系の光学情報を取得することと、前記光学情報に基づいて補正関数を決定するための光学関数を算出することと、前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出することと、前記光学関数と前記画素関数と前記光学情報とに基づいて複数のフレームのそれぞれに対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択することとを具備する。

本発明によれば、焦点検出画素を有する撮像素子からの画素出力を処理する撮像装置において、絞り値やフォーカスレンズ位置、焦点距離等の光学情報をリアルタイムで取得できないような状況であっても焦点検出画素による画質の低下を抑えることが可能な撮像装置、カメラシステム及び画像処理方法を提供することができる。

Claims (25)

1. 撮像装置において、
   撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子により撮像して画像データを出力する撮像部と、
   前記画像データのうち前記焦点検出画素から出力される画素出力を補正関数により補正する画像処理部と、
   前記撮像部により繰り返し撮像動作を実行させ、複数のフレームに対応する画像データを取得する制御部と、
   を具備し、
   前記画像処理部は、
   前記撮像素子に像を形成するための撮影光学系の光学情報を取得する光学情報取得部と、
   前記光学情報に基づいて前記補正関数を決定するための光学関数を算出する光学関数算出部と、
   前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出する画素関数算出部と、
   前記光学関数と前記画素関数と前記光学情報とに基づいて、前記複数のフレームのそれぞれ対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択する補正関数選択部と、
   を有する撮像装置。
2. 前記補正関数選択部は、前記撮影光学系が光学的に変化している途中であると判定した場合に前記画素関数を前記補正関数として選択する請求項１に記載の撮像装置。
3. 前記撮影光学系は、焦点距離が可変であり、前記光学情報は前記撮影光学系の焦点距離を含む請求項１に記載の撮像装置。
4. 前記撮影光学系は、フォーカスレンズを有し、前記光学情報は前記フォーカスレンズの位置を含む請求項１の撮像装置。
5. 前記撮影光学系は、絞りを有し、前記光学情報は前記絞りの開口量を含む請求項１に記載の撮像装置。
6. 前記補正関数選択部は、前記画素関数の信頼性を表す画素関数信頼度と前記光学関数の信頼性を表す光学関数信頼度とのうちの少なくとも一方を算出し、該算出した画素関数信頼度と光学関数信頼度のうちの少なくとも一方に基づいて前記フレームにおける前記補正関数を選択することを特徴とする請求項１に記載の撮像装置。
7. 補正関数選択部は、前記複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出し、算出した画素関数信頼度及び光学関数信頼度のうちで第１の閾値よりも高いものを選択し、選択した画素関数信頼度及び光学関数信頼度のうちで最も新しいフレームの画素関数信頼度に対応した画素関数又は最も新しいフレームの光学関数信頼度に対応した光学関数に基づいて前記フレームにおける前記補正関数を選択する請求項６に記載の撮像装置。
8. 補正関数選択部は、複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出し、算出した画素関数信頼度及び光学関数信頼度のうちで最も信頼度が高いものに対応した画素関数又は光学関数に基づいて前記フレームにおける前記補正関数を選択する請求項６に記載の撮像装置。
9. 前記補正関数選択部は、複数のフレームに時間的に対応する前記画素関数信頼度の全てが第２の閾値よりも低い場合に前記光学関数を前記補正関数として選択する請求項６に記載の撮像装置。
10. 撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子を有するカメラ本体と該カメラ本体に着脱可能であり撮影光学系を有する交換レンズとを具備するカメラシステムにおいて、
    前記交換レンズは、
    前記撮影光学系に関する光学情報を生成する光学情報生成部と、
    前記カメラ本体と通信を行い、前記光学情報を送信するレンズ制御部と、
    を具備し、
    前記カメラ本体は、
    前記撮像素子により撮像して画像データを出力する撮像部と、
    前記画像データのうち前記焦点検出画素から出力される画素出力を補正関数により補正する画像処理部と、
    前記レンズ制御部と通信を行って前記光学情報を取得し、前記撮像部により繰り返し撮像動作を実行させ複数のフレームに対応する画像データを取得する制御部と、
    を具備し、
    前記画像処理部は、
    前記光学情報に基づいて前記補正関数を決定するための光学関数を算出する光学関数算出部と、
    前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出する画素関数算出部と、
    前記光学関数と前記画素関数と前記光学情報とに基づいて、前記複数のフレームのそれぞれ対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択する補正関数選択部と、
    を有するカメラシステム。
11. 前記補正関数選択部は、前記撮影光学系が光学的に変化している途中であると判定した場合に前記画素関数を前記補正関数として選択する請求項１０に記載のカメラシステム。
12. 前記撮影光学系は、焦点距離が可変であり、前記光学情報は前記撮影光学系の焦点距離を含む請求項１０に記載のカメラシステム。
13. 前記撮影光学系は、フォーカスレンズを有し、前記光学情報は前記フォーカスレンズの位置を含む請求項１０に記載のカメラシステム。
14. 前記撮影光学系は、絞りを有し、前記光学情報は前記絞りの開口量を含む請求項１０に記載のカメラシステム。
15. 前記光学情報生成部は、前記撮影光学系の歪曲収差情報を生成する請求項１０に記載のカメラシステム。
16. 前記補正関数選択部は、前記画素関数の信頼性を表す画素関数信頼度と前記光学関数の信頼性を表す光学関数信頼度とのうちの少なくとも一方を算出し、該算出した画素関数信頼度と光学関数信頼度のうちの少なくとも一方に基づいて前記フレームにおける前記補正関数を選択する請求項１０に記載のカメラシステム。
17. 補正関数選択部は、前記複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出し、算出した画素関数信頼度及び光学関数信頼度のうちで第１の閾値よりも高いものを選択し、選択した画素関数信頼度及び光学関数信頼度のうちで最も新しいフレームの画素関数信頼度に対応した画素関数又は最も新しいフレームの光学関数信頼度に対応した光学関数に基づいて前記フレームにおける前記補正関数を選択する請求項１６に記載のカメラシステム。
18. 補正関数選択部は、複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出し、算出した画素関数信頼度及び光学関数信頼度のうちで最も信頼度が高いものに対応した画素関数又は光学関数に基づいて前記フレームにおける前記補正関数を選択する請求項１６に記載のカメラシステム。
19. 前記補正関数選択部は、複数のフレームに時間的に対応する前記画素関数信頼度の全てが第２の閾値よりも低い場合に前記光学関数を前記補正関数として選択する請求項１６に記載のカメラシステム。
20. 撮像画素の一部の位置に焦点検出を行うための焦点検出画素が配置された撮像素子により撮像された画像データにおける前記焦点検出画素から出力される画素出力を補正する画像処理方法において、
    前記撮像素子により繰り返し撮像動作を実行させて複数のフレームに対応する画像データを取得することと、
    前記撮像素子に像を形成するための撮影光学系の光学情報を取得することと、
    前記光学情報に基づいて補正関数を決定するための光学関数を算出することと、
    前記焦点検出画素の周辺に位置する画素の画素出力に基づいて前記補正関数を決定するための画素関数を算出することと、
    前記光学関数と前記画素関数と前記光学情報とに基づいて複数のフレームのそれぞれに対応する前記焦点検出画素から出力される画素出力を補正するための前記補正関数を選択することと、
    を具備する画像処理方法。
21. 前記撮影光学系が光学的に変化している途中であると判定した場合に前記画素関数を前記補正関数として選択することをさらに具備する請求項２０に記載の画像処理方法。
22. 前記画素関数の信頼性を表す画素関数信頼度と前記光学関数の信頼性を表す光学関数信頼度とのうちの少なくとも一方を算出することと、
    該算出した画素関数信頼度と光学関数信頼度のうちの少なくとも一方に基づいて前記フレームにおける前記補正関数を選択することとを含む請求項２０に記載の画像処理方法。
23. 前記複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出することと、
    算出した画素関数信頼度及び光学関数信頼度のうちで第１の閾値よりも高いものを選択することと、
    選択した画素関数信頼度及び光学関数信頼度のうちで最も新しいフレームの画素関数信頼度に対応した画素関数又は最も新しいフレームの光学関数信頼度に対応した光学関数に基づいて前記フレームにおける前記補正関数を選択することと、
    を含む請求項２２に記載の画像処理方法。
24. 前記複数のフレームに時間的に対応する画素関数信頼度及び光学関数信頼度のうちの少なくとも一方を算出することと、
    算出した画素関数信頼度及び光学関数信頼度のうちで最も信頼度が高いものに対応した画素関数又は光学関数に基づいて前記フレームにおける前記補正関数を選択することと、
    を含む請求項２２に記載の画像処理方法。
25. 前記複数のフレームに時間的に対応する前記画素関数信頼度の全てが第２の閾値よりも低い場合に前記光学関数を前記補正関数として選択することを含む請求項２２に記載の画像処理方法。