JP2013125046A - 撮像装置及びカメラシステム - Google Patents
撮像装置及びカメラシステム Download PDFInfo
- Publication number
- JP2013125046A JP2013125046A JP2011271990A JP2011271990A JP2013125046A JP 2013125046 A JP2013125046 A JP 2013125046A JP 2011271990 A JP2011271990 A JP 2011271990A JP 2011271990 A JP2011271990 A JP 2011271990A JP 2013125046 A JP2013125046 A JP 2013125046A
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- imaging
- value
- camera body
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】 レンズ情報を取得することができない交換レンズを使用する場合でも、焦点検出用画素の補間処理を最適に行う。
【解決手段】 複数の撮像用画素及び複数の焦点検出用画素を有する撮像素子と、焦点検出用画素の画素値を周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータと撮影時のレンズ条件とが複数対応付けられたテーブルを記憶する記憶手段と、カメラ本体に装着されるアクセサリの種類に基づいて、テーブルにおける選択範囲を設定する設定手段と、設定手段で設定されたテーブルの選択範囲に含まれる複数のパラメータから、焦点検出用画素の画素値を前記周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータを決定するパラメータ決定手段と、パラメータ決定手段で決めたパラメータを用いて焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、を備えたことを特徴とする。
【選択図】 図7
【解決手段】 複数の撮像用画素及び複数の焦点検出用画素を有する撮像素子と、焦点検出用画素の画素値を周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータと撮影時のレンズ条件とが複数対応付けられたテーブルを記憶する記憶手段と、カメラ本体に装着されるアクセサリの種類に基づいて、テーブルにおける選択範囲を設定する設定手段と、設定手段で設定されたテーブルの選択範囲に含まれる複数のパラメータから、焦点検出用画素の画素値を前記周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータを決定するパラメータ決定手段と、パラメータ決定手段で決めたパラメータを用いて焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、を備えたことを特徴とする。
【選択図】 図7
Description
本発明は、撮像装置及びカメラシステムに関する。
従来、複数の撮像用画素を2次元状に配列した受光面の一部に焦点検出用の複数の画素を配列した撮像素子が知られている(特許文献1)。複数の撮像用画素は、複数の色成分の各々に対応する分光特性を有し、また、焦点検出用画素は、複数の撮像用画素とは異なる分光特性を有する。特許文献1に記載の画像処理装置では、焦点検出用画素の位置に対応する撮像用画素値を補間し、その後、撮像用画素値のうち欠落色成分の画素値を補間して3色の画像データを作る。
焦点検出用画素の位置に対応する撮像用画素値を補間する場合、撮像素子によって生成された画像のうち焦点検出用画素の近傍の撮像用画素の画素値を用いて焦点検出用画素の補間画素値を生成し、近傍の撮像用画素が焦点検出用画素と同じ分光特性を有した場合の画素値である評価画素値を算出する。
評価画素値は、加重係数とともに焦点検出用画素の近傍の複数の撮像用画素値を用いた加重和を求めることで算出している。加重係数は、焦点検出用画素の分光特性を複数の撮像用画素の各々の分光特性の加重和によって表すためパラメータであり、予め記憶部に記憶されている。この加重係数は、焦点検出用画素の分光感度とその周囲の撮像用画素の分光感度によって異なる。また、加重係数は撮像時に得られるレンズ条件、すなわち、絞り(F)値、及び射出瞳位置(PO値)に応じて光の集光が変化するため、レンズ条件毎に異なる値を使用することが望ましい。そこで、交換レンズにCPUやメモリ、及び通信用接点等を設け、撮影時に設定されているF値や、予めメモリに記憶されているPO値等のレンズ情報をカメラボディに送っている。
しかしながら、CPUやメモリなどが内蔵されていない交換レンズが直接、又はアダプタを介してカメラボディに装着されたときには、交換レンズからレンズ情報を得ることができない。このような場合に予め設定された固定値をパラメータとして処理を行っているが、この固定値が最適値であるとは限らないため、焦点検出用画素の補間がうまくいかないおそれがあった。
本発明は、レンズ情報を取得することができない交換レンズを使用する場合でも、焦点検出用画素の補間処理を最適に行うことができる撮像装置及びカメラシステムを提供することを目的とする。
本発明を例示する撮像装置の一態様は、複数の撮像用画素及び複数の焦点検出用画素を有する撮像素子と、前記焦点検出用画素の画素値を周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータと撮影時のレンズ条件とが複数対応付けられたテーブルを記憶する記憶手段と、カメラ本体に装着されるアクセサリの種類に基づいて、前記テーブルにおける選択範囲を設定する設定手段と、前記設定手段で設定された前記テーブルの選択範囲に含まれる複数のパラメータから、前記パラメータを決定するパラメータ決定手段と、前記パラメータ決定手段で決めたパラメータを用いて前記焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、を備えたことを特徴とする。
また、本発明のカメラシステムの一態様は、カメラ本体と、前記カメラ本体に装着されるアクセサリと、複数の撮像用画素及び複数の焦点検出用画素を有する撮像素子と、前記焦点検出用画素の画素値を周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータと撮影時のレンズ条件とが複数対応付けられたテーブルを記憶する記憶手段と、前記カメラ本体に装着される前記アクセサリの種類に基づいて、前記テーブルにおける選択範囲を設定する設定手段と、前記設定手段で設定された前記テーブルの選択範囲に含まれる複数のパラメータから、前記焦点検出用画素の画素値を前記周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータを決定するパラメータ決定手段と、前記パラメータ決定手段で決めたパラメータを用いて前記焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、を備えたことを特徴とする。
本発明によれば、レンズ情報を取得することができない交換レンズを使用する場合でも、焦点検出用画素の補間処理を最適に行うことができる。
以下、本発明を適用した電子カメラについて説明する。図1に示すように、電子カメラ10は、カメラボディ15と、交換レンズ16とから構成される。カメラボディ15の前面にはマウント部17が設けられる。交換レンズ16がカメラボディ15のマウント部17と互換性があるマウント部を備えた交換レンズ16Aである場合には、交換レンズ16Aは、カメラボディ15に直接装着することができる。カメラボディ15に直接装着できる交換レンズ16Aとしては、カメラボディ15への装着時にカメラボディ15との間でデータ通信可能な交換レンズ16A’や、カメラボディ15との間でデータ通信が不可となる交換レンズ16A”が挙げられる。
交換レンズ16の中には、カメラボディ15に設けられたマウント部17と互換性がないマウント部を備えた交換レンズ16Bがある。このような交換レンズ16Bの場合、交換アダプタ18が用いられる。交換アダプタ18は、カメラボディ15のマウント部17と互換性があるマウント部を有している。交換レンズ16Bをカメラボディ15に装着する場合には、まず、交換アダプタ18をカメラボディ15に装着する。この状態で、交換レンズ16Bを交換アダプタ18に装着する。ここで、交換アダプタ18を介してカメラボディ15に装着される交換レンズ16Bとしては、直接カメラボディ15に装着できる交換レンズ16Aと同様に、交換アダプタ18を介したカメラボディ15への装着時に、カメラボディ15との間でデータ通信可能な交換レンズ16B’や、カメラボディ15との間でデータ通信が不可となる交換レンズ16B”が挙げられる。
上述した交換アダプタ18としては、カメラボディ15のマウント部17に互換性がないマウント部を有する交換レンズ16Bをカメラボディ15に装着する場合に用いられる交換アダプタ(レンズ用交換アダプタ)の他に、例えばフィールドスコープや顕微鏡などへカメラボディ15を装着する際に用いる光学機器用の交換アダプタが挙げられる。なお、交換レンズ16や交換アダプタ18がカメラ本体15に装着されるアクセサリに対応している。
ここで、本発明のカメラ構成要素は、上述した交換レンズ16及び交換アダプタ18が対応する。
図2は、データ通信可能な交換レンズ16A’がカメラボディ15に直接装着された場合の電子カメラ10の構成を示すブロック図である。
カメラボディ15は、ボディ側CPU21を備えている。ボディ側CPU21には、不揮発性メモリ22、及びワークメモリ23が接続されており、不揮発性メモリ22には、ボディ側CPU21が種々の制御を行う際に参照される制御プログラムなどが格納されている。さらに、不揮発性メモリ22には、詳しくは後述する撮像素子24の種別毎の焦点検出用画素(AF画素)の位置情報、予め求めておいた画像処理プログラムに用いる各種閾値のデータや、焦点検出用画素補間用のパラメータ(加重係数)等を記述したテーブル、及び各種判定用テーブル等を記憶する。
焦点検出用画素補間用のパラメータとしては、焦点検出用画素補間処理(詳しくは後述する第2及び第3画素補間処理)を行う時に、撮影時のレンズ条件に応じたものが用いられる。また、撮影時のレンズ条件としては、交換レンズ16の種別毎に決められている射出瞳位置(PO値)、及び撮影時に決められる絞り(F)値が挙げられる。
ここで、本実施形態では、所定のレンズ条件の時に使用する基準の加重係数のみを記述した基準テーブルと、他のレンズ条件の時に使用する加重係数と基準の加重係数との差分を記述した差分テーブルとを持つ構成になっている。
[表1]に示すように、基準テーブルは、横軸(行)にPO値を、縦軸(列)にF値をとり、各行列の交点に加重係数が記述されている形態となっている。なお、[表1]においては、PO値及びF値に対応する加重係数を省略しているが、実際には、各PO値とF値とのそれぞれに対応する加重係数が記述されている。なお、基準テーブルは、R色、B色、G色の各色成分毎に加重係数をまとめたデータテーブルとなる。
ここで、本実施形態では、所定のレンズ条件の時に使用する基準の加重係数のみを記述した基準テーブルと、他のレンズ条件の時に使用する加重係数と基準の加重係数との差分を記述した差分テーブルとを持つ構成になっている。
[表1]に示すように、基準テーブルは、横軸(行)にPO値を、縦軸(列)にF値をとり、各行列の交点に加重係数が記述されている形態となっている。なお、[表1]においては、PO値及びF値に対応する加重係数を省略しているが、実際には、各PO値とF値とのそれぞれに対応する加重係数が記述されている。なお、基準テーブルは、R色、B色、G色の各色成分毎に加重係数をまとめたデータテーブルとなる。
差分テーブルは、図示は省略するが、他のレンズ条件の時に使用する加重係数と基準の加重係数との差分を記述したテーブルからなる。この差分テーブルも、基準テーブルと同様にして、横軸(行)にPO値を、縦軸(列)にF値をとり、各行列の交点に加重係数が記述されている形態となっている。なお、差分テーブルは、基準テーブルと同様に、R色、B色、G色の各色成分毎に加重係数の差分値をまとめたデータテーブルとなる。
本実施形態では、差分テーブルが、交換レンズ16がカメラボディ15に直接装着される場合に用いる第1の差分テーブルと、交換アダプタ18がカメラボディ15に装着される場合に用いる第2の差分テーブルとから構成される場合について説明する。
ボディ側CPU21は、不揮発性メモリ22に格納されている制御プログラムに従い、ワークメモリ23を一時記憶作業領域として利用して各部の制御を行い、電子カメラ10を構成する各部(回路)機能を作動させる。
撮像素子24は、その受光面において、交換レンズ16に設けた撮像レンズから入射する被写体光が結像される。撮像素子駆動回路25は、ボディ側CPU21からの制御信号に基づいて撮像素子24を駆動させる。撮像素子24は、ベイヤー配列型単板撮像素子になっており、前面には原色透過フィルタ26が取り付けられている。
原色透過フィルタ26は、撮像素子24の総画素数Nに対して、例えば、G(緑色)の解像度がN/2、R(赤色)及びB(青色)の解像度がN/4となる原色ベイヤー配列になっている。
撮像素子24の受光面に結像した被写体像は、アナログの画像信号に変換される。画像信号は、AFE(Analog Front End)回路を構成するCDS27、及びAMP28に順に送られて所定のアナログ処理が施され、その後、A/D(Analog/Digital変換器)29においてデジタルの画像データに変換されてから画像処理部30に送られる。
画像処理部30は、分離回路、ホワイトバランス処理回路、画素補間(デモザイキング)回路、マトリクス処理回路、非線形変換(γ補正)処理回路、及び輪郭強調処理回路等を備え、デジタルの画像データに対して、ホワイトバランス、画素補間、マトリクス、非線形変換(γ補正)、及び輪郭強調等の処理を施す。分離回路は、詳しくは後述する撮像用画素から出力される信号と、焦点検出用画素から出力される信号とを分離する。画素補間回路は、1画素当たり1色のベイヤー配列データを、1画素当たり3色からなる通常のカラー画像データに変換する。
画像処理部30から出力される3色の画像データは、バス31を通じてSDRAM32に格納される。SDRAM32に格納した画像データは、ボディ側CPU21の制御により読み出されて表示制御部33に送られる。表示制御部33は、入力された画像データを表示用の所定方式の信号(例えば、NTSC方式のカラー複合映像信号)に変換して表示部34にスルー画像として出力する。
また、シャッタレリーズに応答して取得した画像データは、SDRAM32から読み出した後に圧縮伸長処理部35に送られ、ここで圧縮処理が施されてからメディアコントローラ36を介して記録媒体であるカードメモリ37に記録される。
ボディ側CPU21には、レリーズボタン38、ISO感度設定部等を含む操作部39及び電源スイッチが接続されているとともに、撮像素子24の温度を検出する温度検出部40から温度情報が入力される。温度情報は、ボディ側CPU21に送られ、詳しくは後述するノイズ判定処理に利用される。
AE/AF検出部41は、焦点検出用画素の信号に基づいて瞳分割型位相差検出方式によりデフォーカス量、及びデフォーカスの方向を検出する。ボディ側CPU21は、AE/AF検出部41で得られるデフォーカス量、及びデフォーカスの方向に基づく駆動信号を交換レンズ16A’に向けて出力する。ここで、カメラボディ15に装着される交換レンズ16がカメラボディ15との間でデータ通信が不可となる交換レンズ16A”の場合には、AE/AF検出部41は、焦点検出用画素の信号に基づいたデフォーカス量、及びデフォーカスの方向の検出処理を行っている。
また、AE/AF検出部41は、撮像用画素の信号に基づいて算出した輝度値(Bv)と、撮影者がISO感度設定部で設定したSv値とを用いて光値(Lv=Sv+Bv)を算出する。そして、AE/AF検出部41は、露出値(Ev=Av+Tv)が光値(Lv)になるようにF値とシャッター速度とを決定する。この決定に基づいて、ボディ側CPU21は、交換レンズ16Aに向けて出力する。同時に、ボディ側CPU21は、撮像素子24の電子シャッターを制御する。なお、カメラボディ15に交換アダプタ18を介して装着される交換レンズ16がデータ通信可能な交換レンズ16B’となる場合も同様である。
一方、データ通信が不可となる交換レンズ16A”がカメラボディ15に装着される場合には、後述するレンズ条件選定処理により決定された絞り(F)値を用いて、シャッター速度を決定する。ボディ側CPU21は、決定されたシャッター速度に基づいて、撮像素子24の電子シャッターを制御する。カメラボディ15に交換アダプタ18を介して装着される交換レンズ16が、データ通信が不可となる交換レンズ16B”の場合も同様である。
撮像素子24は、その受光面上にある複数の撮像用画素の各々に、R(赤)、G(緑)、B(青)のいずれかの顔色透過フィルタ26がベイヤー配列型に設けられ、その上にマイクロレンズアレイが設けられたCCDやCMOSの半導体イメージセンサ等を適宜選択して用いる。さらに、本実施形態の撮像素子24は、受光面上の一部の領域に、水平走査方向に一次元的に配置された複数の焦点検出用画素(AF画素)を有する。それらのAF画素には、顔色透過フィルタ26が設置されていない。また、AF画素は、撮像レンズの光学系の瞳の左側、又は右側を通過する光束を受光する2種別存在する。撮像素子24は、撮像用画素群、及びAF画素群からの画素信号を個別に読み出しすることができる。
図3に示すように、各AF画素45は、セル中心(マイクロレンズの中心)から一方に偏ったセンサ開口部45a,45bを持ち、その偏りの方向に沿って1次元状に並べられている。隣接するセンサ開口部45a,45bは、偏りが互いに逆方向であり、その偏りの距離は同一である。センサ開口部45aを有するAF画素45は、RGB原色ベイヤー配列中のG画素の代わりに置かれ、また、センサ開口部45bを有するAF画素45は、RGB原色ベイヤー配列中のB画素の代わりに置かれている。このようなセンサ開口部45a,45bをもつAF画素45によって瞳分割位相差AF方式を実現する。つまり、射出瞳を通る光束の中で撮像レンズの光軸に対して対称な位置にある2つの部分光束を、センサ開口部45aをもつAF画素45とセンサ開口部45bをもつAF画素45でそれぞれ受光すれば、これら2つのAF画素45から出力された信号の位相差によりデフォーカスの方向と、デフォーカス量とが分かる。これにより速やかなフォーカス合わせが可能になる。
したがって、本実施形態におけるAF画素45の各々は、白色光の輝度に応じた左側、又は右側の瞳分割された検出信号を出力する。図4は、撮像素子24によって撮像された画像データのうち、AF画素45が配置された領域を中心とした画像データの一部を示す。それぞれのセルが1つの画素を表す。各セルの先頭の記号R、G及びBは、各顔色透過フィルタ2626を有する撮像用画素を示す。一方、記号X及びYは、左側又は右側からの光束に感度を有するAF画素45を示し、それらが交互に水平走査方向に一次元的に配列されている。これらの記号に続く2桁の番号は画素の位置を示す。
AF画素補間部50は、AF画素45の画素値(AF画素値)を撮像用画素の画素値(撮像用画素値)に補間するAF画素補間部と、AF画素値を撮像用画素値に補間した後に、ベイヤー配列からRGBへの線形補間法による色補間を行う画素補間部とを備える。
図5に示すように、AF画素補間部50は、ノイズ判定部51、及びフレア判定部52を備え、これら判定に基づいて異なるAF画素補間処理を行う。ノイズ判定部51は、撮影時の撮影条件に基づいてノイズが多く発生する条件かを判定する。撮影条件は、撮像素子24の温度、ISO感度、及び撮影時のシャッター速度等になっている。撮像素子24の温度情報は、ボディ側CPU21から得られる。また、温度情報とともに、撮影時に設定されているISO感度や撮影時のシャッター速度の情報もボディ側CPU21から得られる。
ノイズ判定部52は、撮像素子24の温度、ISO感度、及びシャッター速度との情報に基づいてノイズが多いか少ないかを判定する。なお、撮像素子24を実装するメイン基板に温度検出器を設け、メイン基板の温度、又は撮像素子24の周囲の温度を、撮像素子24の温度の代わりに利用してもよい。さらに、ノイズ判定に利用する情報としては、撮像素子24の温度、ISO感度、及びシャッター速度との3つの情報に限らず、このうちのいずれか一つ、又は2つの情報としてもよい。
ノイズが多いとノイズ判定部51が判定する場合には、AF画素値を用いず、その周囲の撮像用画素値を用いて、例えば単純平均補間を行う第1画素補間処理を行う。ノイズが少ないと判定する場合には、フレア判定部52でフレア判定を行い、フレアが発生しているか否かに応じて前記第1画素補間処理とは異なる第2、又は第3の画素補間処理を行う。
フレア判定部52は、画像データの輝度ヒストグラムに基づいて輝度が高い領域(高輝度領域)を抽出した後に、抽出された高輝度領域に、例えばマゼンタ色が存在するか否かを判定し、マゼンタ色が存在する場合、マゼンタ色となる領域(マゼンタ領域)における輝度成分の平均エッジ量、及び分散値を算出し、「マゼンタ領域の総面積」、「マゼンタ領域の分散値/マゼンタ領域の総面積」、及び「マゼンタ領域の輝度成分の平均エッジ量」を各々閾値判定してフレアが発生しているか否かを判定する。
なお、フレア判定としては、ジャイロセンサ又は加速度センサ等の姿勢検出部を設け、姿勢検出部から得られる出力値に基づく演算により撮像レンズの水平に対対する仰角をボディ側CPU21が求め、仰角とともに被写体距離、被写体輝度、撮影モード等の情報をフレア判定部52に送り、フレア判定部52で、仰角、被写体距離、被写体輝度、撮影モード等の情報に基づいて、屋外であるか屋内であるかの区別と、昼夜の区別と、及び電子カメラ10を上に向けたときの撮影画角に被写体として空が入っているかの区別とを行って、フレアが発生するか否かの判定を行ってもよい。
AF画素補間部50は、フレアが生じていないと判定する場合には、AF画素値を用いて画素補間をする第2画素補間処理(本発明の画素補間手段)を実行する。第2画素補間処理は、AF画素値(ホワイト(W)成分)から周囲の撮像用画素値を元に加重和で予測することで、そのAF画素値を補間する。このとき、予め決められている複数のパラメータのうち、レンズ条件に応じたパラメータ、すなわち詳しくは後述する加重係数を、色成分毎に選択して用いる。
AF画素補間部50は、フレアが生じていると判定する場合には、第3画素補間処理を実行する。第3画素補間処理は、フレア抑制処理と画素補間処理とを順に行う。フレア抑制処理は、AF画素45の周囲の撮像用画素値を重み係数により補正する周囲撮像用画素補正処理と、周囲撮像用画素補正処理で補正した撮像用画素値を平滑化する平滑化処理と、で構成されている。周囲撮像用画素補正処理は、AF画素45の近傍に位置する撮像用画素のうち、対象となる撮像用画素値から前記対象となる撮像用画素の近傍に位置する撮像用画素値と重み係数との加重和を減算することで、前記対象となる撮像用画素値を補正する。
フレア抑制処理としては、周囲撮像用画素補正処理と平滑化処理とで行う処理を、撮像用画素値に対する重み係数を変えて、例えば2回行うとともに、2回目の処理では重み計数を「0」にして平滑化処理のみを行う。その後、第2画素補間処理を実行する。これにより、AF画素45の周囲の撮像用画素に対してフレアにおける混色の影響を抑制することができる。よって、第2画素補間処理を行うに当たって、AF画素45を撮像用画素として生成した画素値にも混色の影響が抑制される。
図2に戻って、ボディ側CPU21は、通信検出部55、情報取得部56、レンズ条件選定部57及びパラメータ設定部58の機能を有している。これら通信検出部55、情報取得部56、レンズ条件選定部57及びパラメータ設定部58の機能は、例えば電子カメラ10の主電源がオンとなる場合に有効となる。ここで、これら機能は、電子カメラ10の主電源がオンとなる場合の他、例えば一定時間経過する度に有効となるようにしてもよい。
通信検出部55は、カメラボディ15に装着される交換レンズ16や交換アダプタ18との間で通信の可否を検出する。情報取得部56は、カメラボディ15に装着される交換レンズ16や交換アダプタ18との間で通信が可能である場合に、これら部材の基本情報を取得する。
レンズ条件選定部57は、通信検出部55の検出結果、及び情報取得部56により得られた交換レンズ又は交換アダプタ18の基本情報に基づいて、レンズ条件を選定する。詳細には、レンズ条件選定部57は、交換レンズ16や交換アダプタ18とのデータ通信が可能となる場合には、パラメータ設定部58によりパラメータを求める際に用いる差分テーブルを選定する。また、レンズ条件選定部57は、交換レンズ16とのデータ通信が不可となる場合には、基準テーブル及び選択された差分テーブルにおける使用範囲(選択範囲)を不揮発性メモリ22から読み出した後、撮影時に使用するレンズ条件を選定する。なお、撮影時のレンズ条件とは、交換レンズ16の種別毎に決められる射出瞳位置(PO値)、及び絞り(F)値が挙げられる。
パラメータ設定部58は、交換レンズ16とのデータ通信が可能となる場合、撮影レンズのレンズ情報から撮影時のレンズ条件を特定する。レンズ条件を特定した後、パラメータ設定部58は、レンズ条件選定部57にて選択された差分テーブルと基準テーブルとを用いて、特定されたレンズ条件に対応付けられた加重係数(パラメータ)を求める。
なお、交換レンズ16とのデータ通信が不可となる場合、パラメータ設定部58は、レンズ条件選定部57にて選定されたレンズ条件と、基準テーブル及び選択された差分テーブルとから、レンズ条件に対応付けられた加重係数(パラメータ)を求める。この加重係数は、後述する第2、又は第3画素補間処理で使用される。
上述したカメラボディ15に直接装着される交換レンズ16Aのうち、データ通信可能な交換レンズ16A’は、レンズ側CPU60、データメモリ61、撮像レンズ62、絞り63、レンズ駆動部64、絞り駆動部65及び端子部66などを備えている。交換レンズ16A’がカメラボディ15に直接装着されると、交換レンズ16A’の端子部66と、カメラボディ15の端子部67とが接触する。この状態でカメラボディ15の主電源がオンとなると、カメラボディ15から交換レンズ16A’に給電が行われ、ボディ側CPU21とレンズ側CPU60との間でデータの送受信が可能となる。
レンズ側CPU60は、カメラボディ15から出力される駆動信号に基づいてレンズ駆動部64を駆動して、撮像レンズ62のうち、フォーカスレンズを光軸方向で進退させて焦点調整を行う。また、カメラボディ15に設けられた操作部39によって撮影倍率を変更できる場合には、ボディ側CPU21から駆動信号が出力されるので、レンズ側CPU60は、この駆動信号に基づいて、撮像レンズ62のうち、ズームレンズを光軸方向に進退させて撮影倍率の調整を行う。また、撮像処理が実行されたときには、カメラボディ15から絞りの駆動信号が出力されるので、レンズ側CPU60は、絞り駆動部65を駆動して、絞り63の口径を制御して適正な露光量を得る。データメモリ61は、交換レンズ16A’の基本情報や、撮像レンズ62や絞り63に係る情報が記憶される。
図2においては、データ通信可能な交換レンズ16A’にレンズ側CPU60を設けた構成としているが、レンズ側CPU60を省略し、ボディ側CPU21にてレンズ駆動部64や絞り駆動部65を駆動制御する、またデータメモリ61に記憶された情報を直接読み出せるようにしてもよい。
図6に示すように、カメラボディ15に装着される交換アダプタ18は、アダプタ側CPU70、データメモリ71及び端子部72,73を備えている。交換アダプタ18がカメラボディ15に装着されると、交換アダプタ18の端子部72と、カメラボディ15の端子部67とが接触する。この状態でカメラボディ15の主電源がオンとなる場合に、カメラボディ15から交換アダプタ18に対して給電が行われる。
この状態で、交換アダプタ18にデータ通信可能な交換レンズ16B’が装着されると、交換アダプタ18の端子部73と、交換レンズ16B’の端子部66とが接触する。カメラボディ15の主電源がオンとなると、カメラボディ15から、交換アダプタ18及び交換レンズ16B’への給電が行われる。なお、図6においては、交換レンズ16B’の構成が交換レンズ16A’と同一の構成からなるため、便宜上、同一の符号を付して説明している。
アダプタ側CPU70は、カメラボディ15から送信された信号に基づき、データメモリ71から情報を読み出し、カメラボディ15に送信する。なお、この情報としては、例えば交換アダプタ18の基本情報が挙げられる。また、カメラボディ15から出力される交換レンズ16B’への信号や、交換レンズ16B’からカメラボディ15に出力される信号を中継する。
図6において、交換アダプタ18にアダプタ側CPU70を備えた場合を説明しているが、アダプタ側CPU70を省略し、ボディ側CPU21にてデータメモリ71に記憶された情報を直接読み出せるようにしてもよい。この場合には、カメラボディ15の端子部67と接触する端子部72と、交換レンズ16b’の端子部66と接触する端子部73との間を電気的に接続すればよい。
次に、レンズ条件選定処理について図7を用いて説明する。このレンズ条件選定処理は、電子カメラ10の主電源がオンとなる場合に実行される。レンズ条件設定処理の実行指示を受けて、ボディ側CPU21は、カメラボディ15に装着される交換レンズ16や交換アダプタ18との間でデータ通信が可能か否かを検出する(S−1)。例えばカメラボディ15に対して交換レンズ16Aが直接接続されていれば、ステップ(S−1)の処理は、カメラボディ15と交換レンズ16Aとの間のデータ通信の可否の検出である。また、カメラボディ15に交換アダプタ18が接続されていれば、まず、カメラボディ15と交換アダプタ18との間でデータ通信の可否を検出する。そして、カメラボディ15と交換アダプタ18との間でデータ通信可能であることが検出された場合、交換アダプタ18と、交換アダプタ18に装着されるカメラボディ16Bとの間でデータ通信の可否を検出する。
例えばカメラボディ15に装着される交換レンズ16や交換アダプタ18との間で通信が可能であると判定された場合(Yes側)、ボディ側CPU21は交換レンズ16や交換アダプタ18の基本情報を取得する(S−2)。
ボディ側CPU21は、カメラボディ15にデータ通信可能な交換レンズ16A’が装着されているか否かを判定する(S−3)。カメラボディ15に交換レンズ16がデータ通信可能な交換レンズ16A’が装着されている場合(S−3、Yes側)、ボディ側CPU21は、差分テーブルとして第1の差分テーブルを選択する(S−4)。そして、ボディ側CPU21は、選択された第1の差分テーブルを、パラメータ設定処理の際に用いる差分テーブルとして、ワークメモリ23に記憶する。
カメラボディ15に装着される交換レンズ16や交換アダプタ18との間で通信が不可となると判定された場合(S−1、No側)、ボディ側CPU21は、差分テーブルとして第1の差分テーブルを選択し(S−5)、基準テーブルと第1の差分テーブルにて使用可能となる射出瞳位置(PO値)及び絞り(F)値を決定する際の範囲(選択範囲)を設定する(S−6)。なお、[表2]に示すハッチングの領域が第1の差分テーブルにて設定される選択範囲である。
この場合、カメラボディ15にはデータ通信が不可となる交換レンズ16A”が装着されていると考えられる。データ通信が不可となる交換レンズ16A”は、単焦点レンズが用いられることが多く、その結果、使用できる射出瞳位置(PO値)及び絞り(F)値の範囲が限定される。そこで、ボディ側CPU21は、第1の差分テーブルにおいて使用可能な射出瞳位置(PO値)及び絞り(F)値の選択範囲の情報を不揮発性メモリ12から読み出す。なお、射出瞳位置(PO値)及び絞り(F)値の範囲の情報は、実験、統計などにより予め求めておき、データ通信が不可となる交換レンズ16A”が直接カメラボディ15に装着された場合に用いる選択範囲の情報として、不揮発性メモリ12に記憶させておけばよい。
選択範囲を設定した後、ボディ側CPU21は、設定された選択範囲からレンズ条件である射出瞳位置(PO値)及び絞り(F)値を選定する(S−7)。ここで、射出瞳位置(PO値)及び絞り(F)値の選定としては、例えば基準テーブル及び第1の差分テーブルに対して設定される選択範囲に含まれる加重係数のうち、加重係数の中間値、平均値又は近似する値のいずれかに対応する射出瞳位置(PO値)及び絞り(F)値を選定すればよい。また、この他に、レンズ条件選定処理の際に選択範囲のみを設定しておき、撮影時に得られる測光値に基づいて、選択範囲から射出瞳位置(PO値)及び絞り(F)値を決定することも可能である。ボディ側CPU21は、決定された射出瞳位置(PO値)及び絞り(F)値の情報をワークメモリ23に記憶する。
カメラボディ15にデータ通信可能な交換レンズ16A’が装着されていないと判定された場合(S−3、No側)、ボディ側CPU21は、カメラボディ15にレンズ用交換アダプタが装着されているか否かを判定する(S−8)。カメラボディ15にレンズ用交換アダプタが装着されている場合(S−8、Yes側)、ボディ側CPU21はレンズ用交換アダプタに装着される交換レンズ16がデータ通信可能な交換レンズ16B’であるか否かを判定する(S−9)。レンズ用交換アダプタに装着される交換レンズ16がデータ通信可能な交換レンズ16B’の場合(S−9、Yes側)、ボディ側CPU21は、差分テーブルとして第2の差分テーブルを選択する(S−10)。ボディ側CPU21は、選択された第2の差分テーブルを、パラメータ設定処理の際に用いる差分テーブルとしてワークメモリ23に記憶する。
レンズ用交換アダプタに装着される交換レンズ16が、データ通信が可能な交換レンズ16B’でないと判定された場合(S−9、No側)、ボディ側CPU21は、差分テーブルとして第2の差分テーブルを選択し(S−11)、使用する射出瞳位置(PO値)及び絞り(F)値の選択範囲を設定する(S−12)。
この場合、レンズ用交換アダプタを介してデータ通信が不可となる交換レンズ16B”がカメラボディ15に装着されていると考えられる。そこで、ボディ側CPU21は、第2の差分テーブルにおいて使用可能な射出瞳位置(PO値)及び絞り(F)値の選択範囲の情報を不揮発性メモリ12から読み出す。ここで、読み出される射出瞳位置(PO値)及び絞り(F)値の選択範囲は、データ通信が不可となる交換レンズ16B”が直接カメラボディ15に装着された場合に用いる選択範囲と異なる範囲となる。
選択範囲を設定した後、ボディ側CPU21は、設定された選択範囲からレンズ条件である射出瞳位置(PO値)及び絞り(F)値を決定する(S−13)。ボディ側CPU21は、決定された射出瞳位置(PO値)及び絞り(F)値の情報をワークメモリ23に記憶する。
カメラボディ15にレンズ用交換アダプタが装着されていない場合(S−8、No側)、ボディ側CPU21は、カメラボディ15に光学機器用の交換アダプタが装着されているか否かを判定する(S−14)。そして、カメラボディ15に光学機器用の交換アダプタが装着されている場合(S−14、Yes側)、ボディ側CPU21は、第2の差分テーブルを選択し(S−14)、使用する射出瞳位置(PO値)及び絞り(F)値の範囲を設定する(S−15)。
この場合、光学機器用の交換アダプタを介してカメラボディ15がフィールドスコープや顕微鏡などに装着されていると考えられる。そこで、ボディ側CPU21は、第2の差分テーブルにおいて使用可能な射出瞳位置(PO値)及び絞り(F)値の範囲の情報を不揮発性メモリ12から読み出す。この場合に使用される範囲は、データ通信が不可となる交換レンズがレンズ用交換アダプタを介して装着された場合に用いる範囲とは異なる範囲となる。
選択範囲を設定した後、ボディ側CPU21は、設定された選択範囲からレンズ条件である射出瞳位置(PO値)及び絞り(F)値を決定する(S−16)。ボディ側CPU21は、決定された射出瞳位置(PO値)及び絞り(F)値の情報をワークメモリ23に記憶する。
一方、ボディ側CPU21は、カメラボディ15に光学機器用の交換アダプタが装着されていない場合(S−14、No側)、第1の差分テーブルを選択し(S−5)、射出瞳位置(PO値)及び絞り(F)値の選択範囲の設定する(S−6)。そして、ボディ側CPU21は、射出瞳位置(PO値)及び絞り(F)値を決定する(S−7)。ボディ側CPU21は、決定された射出瞳位置(PO値)及び絞り(F)値の情報をワークメモリ23に記憶する。
このように、カメラボディ15に対してデータ通信可能な交換レンズ16が直接、又は交換アダプタ18を介して装着される場合には、撮影の条件の変化に基づいて撮影レンズのレンズ条件が変化するので、上述したレンズ条件選定処理では使用する差分テーブルのみが選定される。一方、カメラボディ15に対してデータ通信が不可となる交換レンズが直接、又は交換アダプタを介して装着される場合や、他の光学機器を接続するための交換アダプタが装着される場合には、装着される交換レンズのレンズ条件が交換レンズに適した射出瞳位置(PO値)及び絞り(F)値の範囲が設定される。そして、設定された範囲から使用する射出瞳位置(PO値)及び絞り(F)値が固定値として選択される。
次に、上記AF画素補間部50の作用について図8を参照しながら説明する。なお、本実施形態において、撮像用画素の各々に設置される原色透過フィルタ26がベイヤー配列のパターンであることから、図4に示す記号XのAF画素の位置には緑色(G)の撮像用画素値が補間され、記号YのAF画素の画素位置には青色(B)の撮像用画素値が補間される。以下の説明では、Y44の青色の撮像用画素値とX45の緑色の撮像用画素値とをそれぞれ補間する場合について説明する。他のAF画素における撮像用画素値を補間する手順も同様である。
電子カメラ10は、撮像素子24を駆動し、画像処理部30に画像データを取り込む。ボディ側CPU21は、画像処理後の画像データをノイズ判定部51に送る。また、ボディ側CPU21は、撮影時の撮像素子24の温度、ISO感度、及びシャッター速度の情報をノイズ判定部51に送る。そして、ノイズ判定部51は、その時点で取得した前記情報に基づいて、前記画像データに対してノイズが多いか少ないかを判定する(S−21)。
ノイズ判定部51の判定は、ノイズ判定用テーブルを参照して判定する。ノイズ判定用テーブルは、撮像素子24の温度範囲毎に複数用意されており、これらは不揮発性メモリ22に予め記憶されている。ボディ側CPU21は、画像データを取得した時の撮像素子24の温度に対応するノイズ判定用テーブルをノイズ判定部51に送る。
ノイズ用判定テーブルとしては、例えば撮像素子24の温度が40℃未満の時には[表3]に記載のテーブルを、また40℃以上50℃未満の範囲の時には[表4]に記載のテーブルを選択する。各テーブルには、シャッター速度とISO感度とで決めるノイズの予測結果が予め行った実験に基づいて決められている。
ノイズが多いと判定する場合は、AF画素の画素値を用いず、その周囲の画素の画素値のみを用いて以下に説明する第1画素補間処理を行う(S−22)。
なお、ノイズが少ないと判定する場合には、パラメータ設定処理(S−23)が実行される。このパラメータ設定の後、後述するフレア判定(S−24)の結果に基づいて、第2画素補間処理(S−25)または第3画素補間処理(S−26)の何れか一方が実行される。
以下、パラメータ決定処理について説明する。例えば、データ通信可能な交換レンズ16A’が直接装着される場合、ボディ側CPU21は、カメラボディ15に装着された交換レンズ16A’からレンズ情報を取得する。レンズ情報とは、例えば交換レンズ16A’の種別に応じた射出瞳位置(PO値)及び絞り(F)値の情報である。ボディ側CPU21は、取得したレンズ情報と、基準テーブル及び第1の差分テーブルとを用いて、射出瞳位置(PO値)及び絞り(F)値とに対応付けされた加重係数を求める。なお、基準テーブルと第1の差分テーブルとは、色成分毎の加重係数をまとめたデータテーブルであることから、このパラメータ設定処理により、各色成分の加重係数が求められる。
また、データ通信可能な交換レンズ16B’がレンズ用交換アダプタを介してカメラボディ15に装着される場合、上述したレンズ条件選定処理により第2の差分テーブルが選択されているので、ボディ側CPU21は、交換レンズ16B’から取得されたレンズ情報、基準テーブル及び第2の差分テーブルを用いて、画素補間処理にて使用する色成分毎の加重係数を求める。
一方、データ通信が不可となる交換レンズ16A”がカメラボディ15に直接装着される場合、上述したレンズ条件選定処理により第1の差分テーブルが選択され、また、射出瞳位置(PO値)及び絞り(F)値が選定される。ボディ側CPU21は、基準テーブル、第1の差分テーブルを用いて、選定された射出瞳位置(PO値)及び絞り(F)値に対応付けされた加重係数を色成分毎に求める。
また、データ通信が不可となる交換レンズ16B”がカメラボディ15にレンズ用交換アダプタを介して装着される場合、上述したレンズ条件選定処理により第2の差分テーブルが選択され、また、射出瞳位置(PO値)及び絞り(F)値が選定される。ボディ側CPU21は、基準テーブル、第2の差分テーブルを用いて、選定された射出瞳位置(PO値)及び絞り(F)値に対応付けされた加重係数を色成分毎に求める。
さらに、レンズ用交換アダプタとは異なる他の交換アダプタがカメラボディ15に装着される場合も、上述したレンズ条件選定処理により第2の差分テーブルが選択され、また、射出瞳位置(PO値)及び絞り(F)値が選定される。ボディ側CPU21は、基準テーブル、第2の差分テーブルを用いて、選定された射出瞳位置(PO値)及び絞り(F)値に対応付けされた加重係数を色成分毎に求める。
このようにして求めた色成分毎の加重係数は、ワークメモリ13に一時的に記憶され、詳しくは後述する第2、又は第3画素補間処理で使用される。
次に、第1画素補間処理について説明する。上述したように、第1画素補間処理は、ノイズが多いと判定される場合に実行される。
AF画素補間部50は、まず、撮像素子情報入力部53から撮像素子情報を取得して、撮像素子情報に基づいたAF画素の位置情報を不揮発性メモリ12から読み取ってAF画素の位置を特定する。その後、AF画素の位置に対して、例えば単に周囲の画素から平均補間してAF画素に対応する撮像用画素値を求める。具体的には、図4において、B画素の代わりに置かれたAF画素Y42の画素値は[数1]に記載の式から、また、AF画素Y44の画素値は[数2]に記載の式から、さらに、AF画素Y46の画素値は[数3]に記載の式からそれぞれ求める。
[数1]
Y42=(B22+B62)/2
[数2]
Y44=(B24+B64)/2
[数3]
Y46=(B26+B66)/2
Y42=(B22+B62)/2
[数2]
Y44=(B24+B64)/2
[数3]
Y46=(B26+B66)/2
また、G画素の代わりに置かれたAF画素X43の画素値は[数4]に記載の式から、また、AF画素X45の画素値は、[数5]に記載の式からそれぞれ求める。
[数4]
X43=(G32+G34+G52+G54)/4
[数5]
X45=(G34+G36+G54+G56)/4
X43=(G32+G34+G52+G54)/4
[数5]
X45=(G34+G36+G54+G56)/4
このように、ノイズが多い場合には、AF画素値を用いないで、その周辺の撮像用画素値のみからAF画素値を予測するため、予測するAF画素値がバラツキ、想定以上の補間をしてしまい、偽色とよばれる実際には存在しない色が発生することや、偽構造とよばれる存在しない構造が発生することを極力抑えることができる。なお、AF画素値を撮像用画素値に補間した画像データは、画像処理部30でベイヤー配列からRGBへの線形補間法による色補間が行われ、RGB毎の画像データとしてSDRAM32に格納される。
[第2画素補間処理]
第2画素補間処理について、図9のフォローチャートに基づき説明する。AF画素補間部50は、まず、撮像素子情報入力部53から撮像素子情報を取得して、不揮発性メモリ22から、取得した撮像素子情報に基づいたAF画素の位置情報を読み取ってAF画素の位置を特定する。そして、特定したAF画素の周辺の撮像用画素値を用いて画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素値を用いてAF画素の画素値を補間する。
第2画素補間処理について、図9のフォローチャートに基づき説明する。AF画素補間部50は、まず、撮像素子情報入力部53から撮像素子情報を取得して、不揮発性メモリ22から、取得した撮像素子情報に基づいたAF画素の位置情報を読み取ってAF画素の位置を特定する。そして、特定したAF画素の周辺の撮像用画素値を用いて画素値の変化率である変動値が最小となる方向を求める。そして、変動の最も小さい方向にある撮像用画素値を用いてAF画素の画素値を補間する。
(最小となる変動値の方向を算出)
AF画素補間部50は、X45及びY44のAF画素での撮像用画素値を補間するために、X45及びY44の周辺の撮像用画素の画素値を用いて4方向の画素値の変化率である方向変動H1〜H4の値を、[数6]〜[数9]に記載の式を用いてそれぞれ求める(S−31)。なお、本実施形態における4方向とは、水平走査方向、垂直走査方向、水平走査方向に対して45度及び135度方向である。
AF画素補間部50は、X45及びY44のAF画素での撮像用画素値を補間するために、X45及びY44の周辺の撮像用画素の画素値を用いて4方向の画素値の変化率である方向変動H1〜H4の値を、[数6]〜[数9]に記載の式を用いてそれぞれ求める(S−31)。なお、本実施形態における4方向とは、水平走査方向、垂直走査方向、水平走査方向に対して45度及び135度方向である。
[数6]
水平走査方向の方向変動H1=
2×(|G34−G36|+|G54−G56|)+|R33−R35|+|R53−R55|+|B24−B26|+|B64−B66|
[数7]
垂直走査方向の方向変動H2=
2×(|G34−G54|+|G36−G56|)+|R33−R53|+|R35−R55|+|B24−B64|+|B26−B66|
[数8]
水平走査方向に対して45度の方向変動H3=
2×(|G27−G36|+|G54−G63|)+|R35−R53|+|R37−R55|+|B26−B62|+|B28−B64|
[数9]
水平走査方向に対して135度の方向変動H4=
2×(|G23−G34|+|G56−G67|)+|R33−R55|+|R35−R57|+|B22−B66|+|B24−B68|
水平走査方向の方向変動H1=
2×(|G34−G36|+|G54−G56|)+|R33−R35|+|R53−R55|+|B24−B26|+|B64−B66|
[数7]
垂直走査方向の方向変動H2=
2×(|G34−G54|+|G36−G56|)+|R33−R53|+|R35−R55|+|B24−B64|+|B26−B66|
[数8]
水平走査方向に対して45度の方向変動H3=
2×(|G27−G36|+|G54−G63|)+|R35−R53|+|R37−R55|+|B26−B62|+|B28−B64|
[数9]
水平走査方向に対して135度の方向変動H4=
2×(|G23−G34|+|G56−G67|)+|R33−R55|+|R35−R57|+|B22−B66|+|B24−B68|
(最小変動値の方向に応じた周辺の撮像用画素値を用いてAF画素の画素値を補間)
AF画素補間部50は、ステップ(S−31)で求めた方向変動H1〜H4のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、AF画素X45の位置でのGの撮像用画素値GX45及びAF画素Y44の位置でのBの撮像用画素値BY44を[数10]〜[数13]のうちの選択した方向に対応する式を用いて求める(S−32)。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にX45及びY44等のAF画素の位置での撮像用画素値を補間することが可能となる。
AF画素補間部50は、ステップ(S−31)で求めた方向変動H1〜H4のうち最も小さい値の方向変動の方向を選択し、その方向にある撮像用画素の画素値を用いて、AF画素X45の位置でのGの撮像用画素値GX45及びAF画素Y44の位置でのBの撮像用画素値BY44を[数10]〜[数13]のうちの選択した方向に対応する式を用いて求める(S−32)。これにより、変動の小さい方向にある撮像用画素の画素値を用いることにより、より正確にX45及びY44等のAF画素の位置での撮像用画素値を補間することが可能となる。
[数10]
方向変動H1が最小の場合
BY44=(B24+B64)/2
GX45=(G34+G36+G54+G56)/4
[数11]
方向変動H2が最小の場合
BY44=(B24+B64)/2
GX45=(G25+G65)/2
[数12]
方向変動H3が最小の場合
BY44=(B26+B62)/2
GX45=(G36+G54)/2
[数13]
方向変動H4が最小の場合
BY44=(B22+B66)/2
GX45=(G34+G56)/2
方向変動H1が最小の場合
BY44=(B24+B64)/2
GX45=(G34+G36+G54+G56)/4
[数11]
方向変動H2が最小の場合
BY44=(B24+B64)/2
GX45=(G25+G65)/2
[数12]
方向変動H3が最小の場合
BY44=(B26+B62)/2
GX45=(G36+G54)/2
[数13]
方向変動H4が最小の場合
BY44=(B22+B66)/2
GX45=(G34+G56)/2
AF画素補間部50は、AF画素の配列方向である水平走査方向において、AF画素の画素値の方向変動H5を、例えば、AF画素のY44及びX45の白色光の画素値W44及びW45と、[数14]に記載の式とを用いて算出する。
[数14]
H5=|W44−W45|
H5=|W44−W45|
AF画素補間部50は、その方向変動H5が閾値th1を超えるか否かを判定する(S−33)。方向変動H5が閾値th1を超える場合(YES側)、AF画素補間部50は、ステップ(S−32)で求めたBY44及びGX45の補間した値をY44及びX45における撮像用画素値とし、画像データを更新する。画像処理部30は、更新した画像データに対して1画素当たり3色の画素値に補間して3色の画像データを生成し、3色の画像データを、バス31を介してSDRAM32に記録する(S−34)。
一方、方向変動H5が閾値th1以下の場合(NO側)、画像処理部30は、(S−35)へ移行する。なお、閾値th1は、例えば、12ビット画像を処理する場合、512程度の値にすれば良い。
AF画素補間部50は、ステップ(S−31)で求めた方向変動H2が閾値th2を超えるか否かを判定する(S−35)。方向変動H2が閾値th2を超える場合(YES側)、AF画素補間部50は、ステップ(S−32)で求めたBY44及びGX45の補間した値をY44及びX45における撮像用画素値とし、画像データを更新する。画像処理部30は、更新した画像データに対して3色の画素補間を施して3色の画像データを生成し、3色の画像データを、バス31を介してSDRAM32に格納する(S−34)。
一方、方向変動H2が閾値th2以下の場合(NO側)、画像処理部30は、(S−36)へ移行する。なお、閾値th2は、例えば、12ビット画像を処理する場合、64程度の値にすれば良い。
その後、AF画素補間部50は、右側からの光束に感度を有するY44等のAF画素における白色光の平均画素値<W44>等を、近傍にある色成分R、G及びBの撮像用画素値を用いて算出する(S−36)。具体的には、ステップ(S−31)において、例えば、画像処理部30が方向変動H2を最小であると判定した場合、Bの撮像用画素値は[数10]に記載の式にあるB24とB64とを用いる。一方、R及びGの画素値については、Bの撮像用画素B24とB64との位置におけるR及びGの画素値を、[数15]に記載の4つの式を用いて補間計算する。
[数15]
(1)RB24=(R13+R15+R33+R35)/4
(2)GB24=(G14+G23+G25+G34)/4
(3)RB64=(R53+R55+R73+R75)/4
(4)GB64=(G54+G63+G65+G74)/4
(1)RB24=(R13+R15+R33+R35)/4
(2)GB24=(G14+G23+G25+G34)/4
(3)RB64=(R53+R55+R73+R75)/4
(4)GB64=(G54+G63+G65+G74)/4
そして、AF画素補間部50は、撮像用画素B24及びB64の位置における白色光の画素値W24及びW64を、ワークメモリ13に記憶された色成分毎の加重係数を読み出し、読み出した加重係数、すなわち、R、G及びGの加重係数WR、WG、及びWBを用いて、[数16]に記載の式の加重和によって算出する。
[数16]
W24=WR×RB24+WG×GB24+WB×B24
W64=WR×RB64+WG×GB64+WB×B64
そして、画像処理部30は、Y44における白色光の平均画素値<W44>=(W24+W64)/2を算出する(S−22)。
W24=WR×RB24+WG×GB24+WB×B24
W64=WR×RB64+WG×GB64+WB×B64
そして、画像処理部30は、Y44における白色光の平均画素値<W44>=(W24+W64)/2を算出する(S−22)。
各色成分の加重係数は、AF画素の分光感度とその周囲の撮像用画素の分光感度によって異なる。また、レンズ条件であるF値、及びPO値が変わったとき、光の集光が変化するため、加重係数WR,WG、及びWBが変化する。そのため、各色成分に対するレンズ条件毎の加重係数を記述したテーブルを、撮像素子の分光感度特性(撮像素子の特性)毎にもつことが望ましい。
そこで、ボディ側CPU21は、撮像素子24の分光特性の種別を表す撮像素子情報を、図示しないインタフェースを介して撮像素子情報入力部53から撮影毎に取り込む。これにより、ボディ側CPU21は、撮影時に、撮像素子24の特性に応じた色成分毎のテーブルを不揮発性メモリ22に記憶のテーブル群から選択し、選択した色成分毎のテーブルを参照してレンズ条件に応じた加重係数を求める。なお、加重係数WR、WG、及びWBの詳しい求め方については後述する。
AF画素補間部50は、左側からの光束に感度を有するX45等のAF画素における白色光の平均画素値<W45>等を、ステップ(S−36)の場合と同様に、近傍にある色成分R、G及びBの撮像用画素の画素値を用いて算出する(S−37)。ステップ(S−31)において、画像処理部30が方向変動H2を最小であると判定した場合、Gの撮像用画素の画素値は、[数11]に記載の式にあるG25とG65とを用いる。一方、R及びBの画素値については、Gの撮像用画素G25とG65との位置におけるR及びBの画素値を[数17]に記載の4つの式を用いて補間計算する。
[数17]
(1)RG25=(R15+R35)/2
(2)BG25=(B24+B26)/2
(3)RG65=(R55+R75)/2
(4)BG65=(B64+G66)/2
(1)RG25=(R15+R35)/2
(2)BG25=(B24+B26)/2
(3)RG65=(R55+R75)/2
(4)BG65=(B64+G66)/2
そして、AF画素補間部50は、撮像用画素G25及びG65の位置における白色光の画素値W25及びW65を、[数18]に記載の式の加重和によって算出する。
[数18]
W25=WR×RG25+WG×G25+WB×BG25
W65=WR×RG65+WG×G65+WB×BG65
そして、画像処理部30は、X45における白色光の平均画素値<W45>=(W25+W65)/2を算出する(S−37)。
W25=WR×RG25+WG×G25+WB×BG25
W65=WR×RG65+WG×G65+WB×BG65
そして、画像処理部30は、X45における白色光の平均画素値<W45>=(W25+W65)/2を算出する(S−37)。
AF画素補間部50は、撮像素子2の各AF画素における白色光の画素値の高周波成分を、(S−36)及び(S−37)において求めた白色光の平均画素値を用いて求める(S−38)。AF画素補間部50は、撮像素子24の各AF画素の画素値から、各AF画素の画素位置における白色光の平均画素値を最初に求める。つまり、各AF画素の画素値は、左側又は右側からの光束を瞳分割した値である。したがって、各AF画素の位置における白色光の画素値を得るためには、左側及び右側からの光束の画素値を互いに加算する必要がある。そこで、本実施形態のAF画素補間部50は、各AF画素の画素値及び隣接するAF画素の画素値を用いて、例えば、AF画素Y44やX45の位置における白色光の平均画素値を[数19]に記載の式を用いて算出する。
[数19]
<W44>’=W44+(W43+W45)/2
<W45>’=W45+(W44+W46)/2
<W44>’=W44+(W43+W45)/2
<W45>’=W45+(W44+W46)/2
なお、ステップ(S−38)で説明した[数19]において、AF画素の配列方向に隣接するAF画素の画素値を用いて、各AF画素の位置における白色光の画素値を算出するので、配列方向に強い変動がある場合には、高周波成分の計算が不正確になり、白色光の画素値の配列方向の解像力が失われるおそれがある。そこで、前述したステップ(S−33)では、配列方向に強い変動がある場合に、高周波成分の付加を中止するようにしている。
その後、AF画素補間部50は、[数20]に記載の式から、Y44及びX45の位置における白色光の高周波成分HFY44及びHFX45を求める。
[数20]
HFY44=<W44>’−<W44>
HFX45=<W45>’−<W45>
HFY44=<W44>’−<W44>
HFX45=<W45>’−<W45>
AF画素補間部50は、ステップ(S−38)で求めた各AF画素の位置における白色光の画素値の高周波成分HFがその白色光の画素値に占める割合が、閾値th3(本実施形態では、例えば、10%程度)より小さいか否かを判定する(S−39)。閾値th3より高周波成分HFが小さい場合(YES側)、AF画素補間部50は、ステップS−36及びS−37で求めたBY44及びGX45の補間した値をY44及びX45における撮像用画素値とし、画像データを更新する。画像処理部30は、更新した画像データに対して3色の画素補間を施して3色の画像データを生成し、3色の画像データを、バス31を介してSDRAM32に格納する(S−34)。
一方、高周波成分HFが閾値th3以上の場合(NO側)、AF画素補間部50は、ステップ(S−40)へ移行する。なお、閾値th3の値についての説明は、後の加算係数WR、WG及びWBの説明とともに行う。
AF画素補間部50は、Y44やX45の近傍における各色成分R、G又はBの撮像用画素の画素値の色変動VR、VGr、VB及びVGbを算出する(S−40)。ここで、色変動VGr及びVGbは、R又はBの撮像用画素の位置におけるGの色変動を示す。AF画素補間部50は、[数21]に記載の2つの式に基づいて、色変動VRとVGrとを求める。
[数21]
(1)VR =|R33−R53|+|R35−R55|+|R37−R57|
(2)VGr=|(G32+G34)/2−(G52+G54)/2|+|(G34+G36)/2−(G54+G56)/2|+|(G36+G38)/2−(G56+G58)/2|
(1)VR =|R33−R53|+|R35−R55|+|R37−R57|
(2)VGr=|(G32+G34)/2−(G52+G54)/2|+|(G34+G36)/2−(G54+G56)/2|+|(G36+G38)/2−(G56+G58)/2|
なお、本実施形態のAF画素補間部50は、Rの撮像用画素の位置R33、R35、R37、R53、R55及びR57におけるGの画素値の平均値を求めてからVGrの値を計算する。
一方、AF画素補間部50は、[数22]に記載の2つの式に基づいて、色変動VBとVGbとを求める。
[数22]
(1)VB =|B22−B62|+|B24−B64|+|B26−B66|
(2)VGb=|(G21+G23)/2−(G61+G63)/2|+|(G23+G25)/2−(G63+G63)/2|+|(G25+G27)/2−(G65+G67)/2|
(1)VB =|B22−B62|+|B24−B64|+|B26−B66|
(2)VGb=|(G21+G23)/2−(G61+G63)/2|+|(G23+G25)/2−(G63+G63)/2|+|(G25+G27)/2−(G65+G67)/2|
なお、本実施形態のAF画素補間部50は、Bの撮像用画素の位置B22、B24、B26、B62、B64及びB66におけるGの画素値の平均値を求めてからVGbの値を計算する。
AF画素補間部50は、ステップ(S−40)で算出した色変動VR、VGr、VB及びVGbを用いて、色成分G及びBの白色光に対する色変動率KWG及びKWBを算出する(S−41)。まず、AF画素補間部50は、色変動VR、VGr、VB及びVGbから[数23]に記載の3つの式から色変動VR2、VG2及びVB2を求める。
[数23]
(1)VR2=(VR+α)×(VGb+α)
(2)VB2=(VB+α)×(VGr+α)
(3)VG2=(VGb+α)×(VGr+α)
(1)VR2=(VR+α)×(VGb+α)
(2)VB2=(VB+α)×(VGr+α)
(3)VG2=(VGb+α)×(VGr+α)
ここで、αは、色変動率の値を安定させるための適当な定数であり、例えば、12ビット画像を処理する場合には、α=256程度の値にすれば良い。
そして、画像処理部30は、色変動VR2、VG2及びVB2を用いて、[数24]に記載の式により白色光における色変動VWを算出する。
[数24]
VW=VR2+VG2+VB2
VW=VR2+VG2+VB2
よって、AF画素補間部50は、色変動率KWG及びKWBを[数25]から算出する。
[数25]
KWB=VG2/VW
KWB=VB2/VW
[数25]
KWB=VG2/VW
KWB=VB2/VW
AF画素補間部50は、ステップ(S−33)において求めた各AF画素の位置における白色光の画素値の高周波成分HFと、ステップ(S−41)で算出した色変動率KWG及びKWBとを用いて、各AF画素の位置における色成分G及びBの画素値の高周波成分を[数26]に記載の式から算出する(S−42)。
[数26]
HFBY44=HFY44×KWB
HFGX45=HFX45×KWG
HFBY44=HFY44×KWB
HFGX45=HFX45×KWG
AF画素補間部50は、ステップ(S−42)で求めた各AF画素における各色成分の高周波成分を、ステップ(S−32)で補間して求めた撮像用画素値に付加する(S−43)。CPU11は、例えば、[数27]に記載の式に基づいて、Y44及びX45の撮像用画素値B’及びG’をそれぞれ算出する。
[数27]
B’Y44=BY44+HFY44
G’X45=GX45+HFX45
B’Y44=BY44+HFY44
G’X45=GX45+HFX45
AF画素補間部50は、Y44やX45等のAF画素の位置において補間して求めたB’Y44及びG’X45等の画素値を、それぞれの位置における撮像用画素値として、画像データを更新する。画像処理部30は、更新した画像データに対して3色に画素補間等を施してSDRAM32に格納する(S−34)。
なお、AF画素の配列方向に変動はなくても、各色成分の撮像用画素の分光特性の加重和とAF画素の分光特性とのズレ等に起因して、白色光の画素値の高周波成分が若干の誤差を持つ。垂直走査方向(AF画素の配列方向に交わる方向)に画像の大きな変動がない場合には、高周波成分を付加しなくても補間値の精度は充分であり、高周波成分を付加することによってかえって誤差に起因する偽構造が生じる恐れがある。そこで、ステップ(S−35)では、そのような場合、高周波成分の付加を抑制する。
[加重係数WR、WG、WBの求め方]
次に、加重係数WR、WG、WBの求め方について、閾値th3とともに説明する。まず、図10に示すように、レンズ交換式の電子カメラ(製品)10、又はそれに組み込まれたものと同じ特性の撮像素子を組み込んだダミーの電子カメラを撮影位置にセットする(S−50)。そして、セットした電子カメラ10で、一様の白色パターンの画像を撮像し(S−51)、撮像した補間前(ベイヤー配列)の画像データを保存する(S−52)。この撮像は、所定の交換レンズを用いた条件、すなわち、撮影時のF値と交換レンズで決まる射出瞳位置(PO値)との条件で行われる。
次に、加重係数WR、WG、WBの求め方について、閾値th3とともに説明する。まず、図10に示すように、レンズ交換式の電子カメラ(製品)10、又はそれに組み込まれたものと同じ特性の撮像素子を組み込んだダミーの電子カメラを撮影位置にセットする(S−50)。そして、セットした電子カメラ10で、一様の白色パターンの画像を撮像し(S−51)、撮像した補間前(ベイヤー配列)の画像データを保存する(S−52)。この撮像は、所定の交換レンズを用いた条件、すなわち、撮影時のF値と交換レンズで決まる射出瞳位置(PO値)との条件で行われる。
続いて同じレンズ条件で、前記一様白色のパターンの画像を、カラーフィルタ(R,G,B)を用いて撮影をする(S−53)。そして、撮影した補間前の画像データを保存する(S−54)。なお、撮像データの保存は、必ずしも電子カメラ10のメモリや記憶部で行う必要はない。例えば電子カメラ10の組み立て・調整工程において外付けのパーソナルコンピュータ(PC)に転送して保存しても良い。
その後、周囲の撮像用画素値の重み付け加重和からAF画素値を推定するための各色成分の重み係数を算出する(S−55)。
詳しく説明すると、一様白色パターン画像を撮影した時に得た画像データに基づいて算出するパラメータを以下に設定する。
AW:AF画素値の平均の出力値。
RW:AF画素列の周囲のR色成分の撮像用画素値の平均値。
GW:AF画素列の周囲のG色成分の撮像用画素値の平均値。
BW:AF画素列の周囲のB色成分の撮像用画素値の平均値。
AW:AF画素値の平均の出力値。
RW:AF画素列の周囲のR色成分の撮像用画素値の平均値。
GW:AF画素列の周囲のG色成分の撮像用画素値の平均値。
BW:AF画素列の周囲のB色成分の撮像用画素値の平均値。
続いて、R色成分のカラーフィルタを用いて撮影した時に得た画像データに基づいて算出するパラメータを以下に設定する。
AR:AF画素値の平均の出力値。
RR:AF画素列の周囲のR色成分の撮像用画素値の平均値。
GW:AF画素列の周囲のG色成分の撮像用画素値の平均値。
BW:AF画素列の周囲のB色成分の撮像用画素値の平均値。
AR:AF画素値の平均の出力値。
RR:AF画素列の周囲のR色成分の撮像用画素値の平均値。
GW:AF画素列の周囲のG色成分の撮像用画素値の平均値。
BW:AF画素列の周囲のB色成分の撮像用画素値の平均値。
続いてG、Bのカラーフィルタを用いたときも同様に設定する。ここでは、一般化するために以下のように表す。
AC:AF画素値の平均の出力値
RC:あるカラーフィルタを通した場合(白色の場合はなし)のAF画素列の周囲のR色成分の撮像用画素値の平均値。
GW:あるカラーフィルタを通した場合(白色の場合はなし)のAF画素列の周囲のG色成分の撮像用画素値の平均値。
BW:あるカラーフィルタを通した場合(白色の場合はなし)のAF画素列の周囲のB色成分の撮像用画素値の平均値。
そして、周囲の撮像用画素のある重みの加重和からAF画素値を推定するには、未知の加重係数WR、WG、及びWBの関数として二乗誤差Eを[数28]に記載の式に定義する。
AC:AF画素値の平均の出力値
RC:あるカラーフィルタを通した場合(白色の場合はなし)のAF画素列の周囲のR色成分の撮像用画素値の平均値。
GW:あるカラーフィルタを通した場合(白色の場合はなし)のAF画素列の周囲のG色成分の撮像用画素値の平均値。
BW:あるカラーフィルタを通した場合(白色の場合はなし)のAF画素列の周囲のB色成分の撮像用画素値の平均値。
そして、周囲の撮像用画素のある重みの加重和からAF画素値を推定するには、未知の加重係数WR、WG、及びWBの関数として二乗誤差Eを[数28]に記載の式に定義する。
WR:AF画素列の周囲のR色成分の撮像用画素の重み係数
WG:AF画素列の周囲のG色成分の撮像用画素の重み係数
WB:AF画素列の周囲のB色成分の撮像用画素の重み係数
そして、二乗誤差Eを最小とする加重係数WR、WG及びWBを、すなわち二乗誤差EをWR、WG又はWBでそれぞれ偏微分した値を「0」にする加重係数WR、WG及びWBを[数29]〜[数34]に記載の式により求める。
さらに、求めた加重係数WR、WG及びWBに基づいて各撮像画像データnについて誤差率Knを[数35]に記載の式で求める。
[数35]
Kn=|WR×Rn+WG×Gn+WB×Bn−Wn|/Wn
Kn=|WR×Rn+WG×Gn+WB×Bn−Wn|/Wn
そして、Knの最大値を求め、閾値th3として不揮発性メモリ12に記録する。
このようにして、所定のレンズ条件の時に使用する加重係数WR、WG、及びWBを求めることができる。
前述したように、各色成分の加重係数は、AF画素の分光感度とその周囲の撮像用画素の分光感度によって異なる。また、レンズ条件であるF値、及びPO値が変わったとき、光の集光が変化するため、加重係数WR,WG、及びWBが変化する。そのため、各色成分に対するレンズ条件毎の加重係数を記述したテーブルを、撮像素子の分光感度特性(撮像素子の特性)毎に作成しておく。
また、各色成分に対するレンズ条件毎に加重係数を記述するテーブルを各色成分毎に記憶するのは無駄にメモリを消費するだけで効率的ではないことから、本実施形態では、所定のレンズ条件の時に使用する基準の加重係数WR、WG、及びWBのみを記述した基準テーブルと、他のレンズ条件の時に使用する加重係数を基準の加重係数との差分を記述した色成分毎の差分テーブルとを持つ構成としている。
このように、基準テーブルと差分テーブルとは、種々のレンズ条件にて実験を行った結果に基づいて作成されてPCの記憶部に記憶される(S−55〜S−58)。勿論、R色成分用だけでなく、G色成分とB色成分にも同様の基準テーブルと差分テーブルが作成され、これらは色成分毎に関連付けしてPCの記憶部に記憶される。そして、他の特性の撮像素子をもつ電子カメラに対しても前述したと同じ実験を行って、色成分毎の基準テーブルと、差分テーブルとを作成して記憶する(S−59)。全ての特性の撮像素子に対して実験を行うことで、撮像素子の特性に関連付けした色成分毎の基準テーブルと差分テーブルとが電子カメラに転送され、不揮発性メモリ12に記憶される(S−60)。その後、電子カメラ10が出荷される(S−61)。
これによれば、例えば、撮像素子を内蔵の交換レンズ15を交換自在に使用するカメラや製造途中で行われえる撮像素子の設計変更等により撮像素子が変更されても、その撮像素子の分光感度特性を含む撮像素子情報を得ることで、その撮像素子の特性に応じた色成分毎の基準テーブルと差分テーブルとを選択して加重係数を求めることができる。
また、レンズ交換がなされて他のレンズ条件になっても、差分テーブルからそのレンズ条件に応じた差分を読み出し、読み出した差分を基準の加重係数に加えることで、その時点のレンズ条件時に使用する加重係数を色成分毎に直ぐに求めることができる。
なお、加重係数を求める処理は、必ずしも電子カメラ本体内で行う必要はない。例えば加重係数の算出は、カメラの組み立て・調整工程において外付けのパーソナルコンピュータで行い、求めた基準テーブルと差分テーブルとをカメラに転送しても良い。
また、差分テーブルとしては、略同じ差分をもつレンズ条件の範囲をグループ分けして記憶することで差分テーブルを簡易化してもよい。
図11は、本実施形態の効果が発揮される画像構造の一例を表す。同図は凸構造(明るい線あるいは点)を含む縦5画素の画像構造を縦断した図であり、横軸は垂直走査方向(y座標)であり縦軸は光量または画素値である。そして、凸構造がちょうど水平走査方向に配列されたAF画素列上にある。
図11に示す○印は、Gの撮像用画素で撮像された画素値である。ただし、AF画素の位置にはGの撮像用画素が存在しないので、その位置でのGの画素値は得られない。従って、丁度AF画素の位置に凸構造がある場合には、AF画素の近傍のGの撮像用画素の画素値からだけでは、同図の凸構造を再現できない。実際、前述したステップ(S−32)において、AF画素の近傍のGの撮像用画素の画素値を用いてAF画素の位置で補間して求めたGの画素値(図11の●印)は、凸構造を再現していない。
一方、AF画素の位置では、白色光の画素値が得られる。ただし、通常の画素は瞳の全領域を通過する光を受光するのに対し、AF画素は瞳の右側あるいは左側を通過する光のみを受光するので、瞳分割の異なる隣接するAF画素を加算することにより通常の(瞳の全領域を通過した光の)白色光の画素値が算出される([数19])。
また、AF画素の近傍のGの撮像用画素の位置に、他の色成分R及びGを補間生成して、色成分R、G及びBの加重和を求めることにより、多くの場合には充分な精度で白色光の画素値を求めることができる([数16]及び[数18])。
図11に示す□印は、そのようにして求めた白色光の画素値の分布である。多くの場合、白色光の画素値の高周波成分と、色成分Gの画素値の高周波成分とは比例するので、白色光の画素値から算出した高周波成分は、Gの画素値の凸構造成分の情報を持つ。よって、白色光の画素値の高周波成分に基づいてGの画素値の高周波成分を求め、その値を●印のデータに加えることにより、☆印のGの画素値が得られ、凸構造を再現する([数26])。
次に、第3画素補間処理について図11を参照しながら説明する。AF画素補間部50は、ノイズ判定部51での判定結果によりノイズが少なく、かつフレア判定部52でのフレアが発生し易いと判断する場合、第3画素補間処理を選択して実行する。
第3画素補間処理では、まず、AF画素補間部50が、撮像素子情報入力部53から撮像素子情報を取得して、不揮発性メモリ12から、取得した撮像素子情報に基づいたAF画素の位置情報を読み取ってAF画素の位置を特定する。その後、AF画素の周囲の撮像用画素値を重み係数により補正し、補正した撮像用画素値を平滑化する処理を、撮像用画素値に対する重み係数を変えて2回行った後、前述した第2画素補間処理を実行する。以下、図4のAF画素X43及びAF画素Y44の2列に対する第3画素補間処理について説明する。
(AF画素列の周囲の撮像用画素値を重み係数により補正)
AF画素補間部50は、AF画素列の周囲に配置された撮像用画素の画素値が、閾値MAX_RAW以上となるか否かを判定し、その判定結果に基づいて、設定された重み係数を用いて補正する(S−71)。ここで、閾値MAX_RAWは、画素値が飽和しているか否かを判定するための閾値である。
AF画素補間部50は、AF画素列の周囲に配置された撮像用画素の画素値が、閾値MAX_RAW以上となるか否かを判定し、その判定結果に基づいて、設定された重み係数を用いて補正する(S−71)。ここで、閾値MAX_RAWは、画素値が飽和しているか否かを判定するための閾値である。
AF画素補間部50は、撮像用画素の画素値が閾値MAX_RAW以上となる場合には、撮像用画素値に対して補正は行わない。一方、AF画素補間部50は、撮像用画素の画素値が、閾値MAX_RAW未満となる場合には、重み係数を用いた加重和の値を元の画素値から減算することで撮像用画素の画素値を補正する。
AF画素補間部50は、R色成分の撮像用画素の画素値を[数36]〜[数39]を用いて補正する。
[数36]
R13’=R13−(R3U_0×R33+R3U_1×G34+R3U_2×B24)
[数37]
R33’=R33−(R1U_0×R33+R1U_1×G34+R1U_2×B24)
[数38]
R53’=R53−(R1S_0×R53+R1S_1×G54+R1S_2×B64)
[数39]
R73’=R73−(R3S_0×R53+R3S_1×G54+R3S_2×B64)
R13’=R13−(R3U_0×R33+R3U_1×G34+R3U_2×B24)
[数37]
R33’=R33−(R1U_0×R33+R1U_1×G34+R1U_2×B24)
[数38]
R53’=R53−(R1S_0×R53+R1S_1×G54+R1S_2×B64)
[数39]
R73’=R73−(R3S_0×R53+R3S_1×G54+R3S_2×B64)
ここで、R1U_0,R1U_1,R1U_2,R1S_0,R1S_1,R1S_2,R3U_0,R3U_1,R3U_2,R3S_0,R3S_1,R3S_2は、重み係数である。なお、重み係数中、文字Sは、AF画素よりも上方に位置することを示し、文字Uは、AF画素よりも下方に位置することを示している。
AF画素補間部50は、G色成分の撮像用画素の画素値を[数40]〜[数45]を用いて補正する。
[数40]
G14’=G14−(G3U_0×R33+G3U_1×G34+G3U_2×B24
[数41]
G23’=G23−(G2U_0×R33+G2U_1×G34+G2U_2×B24)
[数42]
G34’=G34−(G1U_0×R33+G1U_1×G34+G1U_2×B24)
[数43]
G54’=G54−(G1S_0×R53+G1S_1×G54+G1S_2×B64)
[数44]
G63’=G63−(G2S_0×R53+G2S_1×G54+G2S_2×B64)
[数45]
G74’=G74−(G3S_0×R53+G3S_1×G54+G3S_2×B64)
[数40]
G14’=G14−(G3U_0×R33+G3U_1×G34+G3U_2×B24
[数41]
G23’=G23−(G2U_0×R33+G2U_1×G34+G2U_2×B24)
[数42]
G34’=G34−(G1U_0×R33+G1U_1×G34+G1U_2×B24)
[数43]
G54’=G54−(G1S_0×R53+G1S_1×G54+G1S_2×B64)
[数44]
G63’=G63−(G2S_0×R53+G2S_1×G54+G2S_2×B64)
[数45]
G74’=G74−(G3S_0×R53+G3S_1×G54+G3S_2×B64)
ここで、G1U_0,G1U_1,G1U_2,G1S_0,G1S_1,G1S_2,G2U_0,G2U_1,G2U_2,G2S_0,G2S_1,G2S_2,G3U_0,G3U_1,G3U_2,G3S_0,G3S_1,G3S_2は、重み係数である。
また、AF画素補間部50は、B色成分の撮像用画素の画素値を、[数46],[数47]を用いて補正する。
[数46]
B24’=B24−(B2U_0×R33+B2U_1×G34+B2U_2×B24)
[数47]
B64’=B64−(B2S_0×R53+B2S_1×G54+B2S_2×B64)
B24’=B24−(B2U_0×R33+B2U_1×G34+B2U_2×B24)
[数47]
B64’=B64−(B2S_0×R53+B2S_1×G54+B2S_2×B64)
ここで、B2U_0,B2U_1,B2U_2,B2S_0,B2S_1,B2S_2は重み係数である。
(隣接するAF画素値を用いたクリップ量の算出)
AF画素補間部50は、隣接するAF画素X43,Y44(図2で説明したセンサ開口部46a,46bをもつAF画素)の画素値を読み出し、[数48]を用いてクリップ量th_LPFを求める(S−72)。
AF画素補間部50は、隣接するAF画素X43,Y44(図2で説明したセンサ開口部46a,46bをもつAF画素)の画素値を読み出し、[数48]を用いてクリップ量th_LPFを求める(S−72)。
[数48]
th_LPF=(X43+Y44)×K_TH_LPF
th_LPF=(X43+Y44)×K_TH_LPF
ここで、K_TH_LPFは係数であり、例えば「127」程度の大きな値が適用される。この係数K_TH_LPFは、その値が大きいほど平滑化処理の効果が高くなる。
(色成分毎の予測誤差を算出)
AF画素補間部50は、[数49]、[数50]を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、AF画素から遠い位置にある撮像用画素(遠位撮像用画素)の画素値と、AF画素から近い位置にある撮像用画素(近位撮像用画素)の画素値との差分を予測誤差として算出する(S−73)。
AF画素補間部50は、[数49]、[数50]を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、AF画素から遠い位置にある撮像用画素(遠位撮像用画素)の画素値と、AF画素から近い位置にある撮像用画素(近位撮像用画素)の画素値との差分を予測誤差として算出する(S−73)。
[数49]
deltaRU=R13’−R33’
deltaRS=R73’−R53’
[数50]
deltaGU=G14’−G34’
deltaGS=G74’−R54’
deltaRU=R13’−R33’
deltaRS=R73’−R53’
[数50]
deltaGU=G14’−G34’
deltaGS=G74’−R54’
(予測誤差がクリップ範囲から越えているか否かを判定)
AF画素補間部50は、[数49]、[数50]により求めた予測誤差deltaRU,deltaRS、deltaGU及びdeltaGSの各値が、[数48]にて求めたクリップ量に基づいたクリップ範囲(−th_LPF〜th_LPF)に含まれている否かを判定する(S−74)。
AF画素補間部50は、[数49]、[数50]により求めた予測誤差deltaRU,deltaRS、deltaGU及びdeltaGSの各値が、[数48]にて求めたクリップ量に基づいたクリップ範囲(−th_LPF〜th_LPF)に含まれている否かを判定する(S−74)。
(クリップ処理)
AF画素補間部50は、予測誤差deltaRU,deltaRS、deltaGU及びdeltaGSのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う(S−75)。ここで、クリップ処理とは、クリップ範囲から外れている予測誤差の値をクリップ範囲に含まれるようにクリッピングすることである。
AF画素補間部50は、予測誤差deltaRU,deltaRS、deltaGU及びdeltaGSのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う(S−75)。ここで、クリップ処理とは、クリップ範囲から外れている予測誤差の値をクリップ範囲に含まれるようにクリッピングすることである。
(近位撮像用画素値に予測誤差を加算)
AF画素補間部50は、[数51]により、予測誤差を各列の近位撮像用画素値に加算する(S−76)。ここで、予測誤差は、[数49],[数50]により求めた値、又は、クリッピングされた値である。
AF画素補間部50は、[数51]により、予測誤差を各列の近位撮像用画素値に加算する(S−76)。ここで、予測誤差は、[数49],[数50]により求めた値、又は、クリッピングされた値である。
[数51]
R33”=R33’+deltaRU
R53”=R53’+deltaRS
G34”=G34’+deltaGU
G54”=G54’+deltaGS
R33”=R33’+deltaRU
R53”=R53’+deltaRS
G34”=G34’+deltaGU
G54”=G54’+deltaGS
これにより、AF画素列の周囲の撮像用画素の画素値である、遠位撮像用画素及び近位撮像用画素の画素値がそれぞれ補正され、さらに、予測誤差を用いて近位撮像用画素の画素値が補正される。
(補正した撮像用画素値をSDRAMに記憶)
AF画素補間部50は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、SDRAM32に記憶する(S−77)。
AF画素補間部50は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、SDRAM32に記憶する(S−77)。
(2回目の処理)
1回目の処理が実行されると、2回目の処理が実行される。
1回目の処理が実行されると、2回目の処理が実行される。
(AF画素列の周囲の撮像用画素値を重み係数により補正)
AF画素補間部50は、1回目の処理により補正された撮像用画素の画素値を用いて、これら撮影用が素の画素値が閾値MAX_RAW以上となるか否かを判定する。この判定結果に基づいて、設定された重み係数を用いて補正する(S−78)。ここで、閾値MAX_RAWは、画素値が飽和しているか否かを判定するための閾値であり、1回目の処理(S−71)と同一の値が用いられる。
AF画素補間部50は、1回目の処理により補正された撮像用画素の画素値を用いて、これら撮影用が素の画素値が閾値MAX_RAW以上となるか否かを判定する。この判定結果に基づいて、設定された重み係数を用いて補正する(S−78)。ここで、閾値MAX_RAWは、画素値が飽和しているか否かを判定するための閾値であり、1回目の処理(S−71)と同一の値が用いられる。
AF画素補間部50は、撮像用画素の画素値が閾値MAX_RAW以上となる場合に、撮像用画素値に対して補正は行わない。AF画素補間部50は、撮像用画素の画素値が閾値MAX_RAW未満となる場合に、上述した[数36]〜[数47]における全ての重み係数を「0」に変えて補正する。つまり、この処理を行った場合、AF画素列の周囲に配置された撮像用画素の画素値は、元の値のままである。
[隣接するAF画素値を用いたクリップ量の算出]
[隣接するAF画素値を用いたクリップ量の算出]
AF画素補間部50は、隣接するAF画素X43,Y44の画素値を読み出し、上述した[数48]を用いてクリップ量th_LPFを求める(S−79)。ここで、K_TH_LPFの値は1回目の処理と同一の値が用いられる。
(色成分毎の予測誤差を算出)
AF画素補間部50は、上述した[数47]、[数48]を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、AF画素から遠い位置にある撮像用画素(遠位撮像用画素)の画素値と、AF画素から近い位置にある撮像用画素(近位撮像用画素)の画素値との差分を予測誤差として算出する(S−80)。
AF画素補間部50は、上述した[数47]、[数48]を用いて、同一列に配置された同一の色成分となる撮像用画素のうち、AF画素から遠い位置にある撮像用画素(遠位撮像用画素)の画素値と、AF画素から近い位置にある撮像用画素(近位撮像用画素)の画素値との差分を予測誤差として算出する(S−80)。
(予測誤差がクリップ範囲から越えているか否かを判定)
AF画素補間部50は、上述した[数49],[数50]により求めた予測誤差deltaRU,deltaRS、deltaGU及びdeltaGSの各値が、[数48]にて求めたクリップ量に基づいたクリップ範囲(−th_LPF〜th_LPF)に含まれている否かを判定する(S−81)。
AF画素補間部50は、上述した[数49],[数50]により求めた予測誤差deltaRU,deltaRS、deltaGU及びdeltaGSの各値が、[数48]にて求めたクリップ量に基づいたクリップ範囲(−th_LPF〜th_LPF)に含まれている否かを判定する(S−81)。
(クリップ処理)
AF画素補間部50は、予測誤差deltaRU,deltaRS、deltaGU及びdeltaGSのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う(S−82)。
AF画素補間部50は、予測誤差deltaRU,deltaRS、deltaGU及びdeltaGSのうち、クリップ範囲から外れている予測誤差に対して、クリップ処理を行う(S−82)。
(近位撮像用画素値に予測誤差を加算)
AF画素補間部50は、上述した[数51]を用いて、各列の近位撮像用画素値に加算する(S−83)。これにより、2回目の処理においては、近位撮像用画素値が予測誤差を用いて、さらに補正される。
AF画素補間部50は、上述した[数51]を用いて、各列の近位撮像用画素値に加算する(S−83)。これにより、2回目の処理においては、近位撮像用画素値が予測誤差を用いて、さらに補正される。
(補正した撮像用画素値をSDRAMに記憶)
AF画素補間部50は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、SDRAM23に記憶する(S−84)。
このように、第3画素補間処理においては、上述した補正処理が2回繰り返し実行される。この補正処理が2回繰り返し実行された後、第2画素補間処理が実行される。
AF画素補間部50は、重み係数により補正された遠位撮像用画素と、予測誤差により補正された近位撮像用画素とを、SDRAM23に記憶する(S−84)。
このように、第3画素補間処理においては、上述した補正処理が2回繰り返し実行される。この補正処理が2回繰り返し実行された後、第2画素補間処理が実行される。
(第2画素補間処理)
AF画素補間部50は、SDRAM32に記憶した撮像用画素値を用いて、上述した第2画素補間処理を実行する(S−85)。これにより、AF画素に対応する撮像用画素値が算出される。つまり、AF画素値が補間される。
AF画素補間部50は、SDRAM32に記憶した撮像用画素値を用いて、上述した第2画素補間処理を実行する(S−85)。これにより、AF画素に対応する撮像用画素値が算出される。つまり、AF画素値が補間される。
(補間したAF画素の画素値をSDRAMに記憶)
AF画素補間部50は、第2画素補間処理(S−85)により補間したAF画素値をSDRAM32に記憶する(S−86)。
AF画素補間部50は、第2画素補間処理(S−85)により補間したAF画素値をSDRAM32に記憶する(S−86)。
上記実施形態では、ノイズ判定を行い、その結果、ノイズが少ないと判定した場合に、レンズ条件に応じたパラメータを設定して第2又は第3画素補間処理を行うようにしているが、ノイズ判定の処理を省略し、常にパラメータを設定して第2又は第3画素補間処理を実行するように構成してもよい。また、フレア判定を省略し、第2又は第3画素補間処理の何れか一方を常に実行してもよい。
上記各実施形態では、AF画素の配列方向を水平走査方向としたが、本発明はこれに限定されず、AF画素は垂直走査方向又はその他の方向に配列されていても良い。
また、上記各実施形態では、AF画素の各々は左側又は右側からの光束を瞳分割する焦点検出画素としたが、本発明はこれに限定されず、AF画素の各々は左側及び右側からの光束を瞳分割する画素を有する焦点検出画素でも良い。
さらに、上記各実施形態では、本発明を電子カメラ10として説明しているが、カメラ付き携帯電話やスマートフォン等の撮像装置としてもよい。また、本発明の記憶手段としては、不揮発性メモリ12の代わりに、外部から交換可能なカードメモリとしてもよい。
10…電子カメラ、15…カメラボディ、16…交換レンズ、21…ボディ側CPU、22…不揮発性メモリ、55…通信検出部、56…情報取得部、57…レンズ条件選定部、58…パラメータ設定部
Claims (9)
- 複数の撮像用画素及び複数の焦点検出用画素を有する撮像素子と、
前記焦点検出用画素の画素値を周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータと撮影時のレンズ条件とが複数対応付けられたテーブルを記憶する記憶手段と、
カメラ本体に装着されるアクセサリの種類に基づいて、前記テーブルにおける選択範囲を設定する設定手段と、
前記設定手段で設定された前記テーブルの選択範囲に含まれる複数のパラメータから、前記焦点検出用画素の画素値を前記周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段で決めたパラメータを用いて前記焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、
を備えたことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記カメラ本体と前記アクセサリとの間でデータ通信の可否を検出する通信検出手段を備え、
前記設定手段は、前記通信検出手段により前記データ通信が不可となる場合に、前記テーブルにおける選択範囲を設定することを特徴とする撮像装置。 - 請求項2に記載の撮像装置において、
前記アクセサリは、交換レンズからなり、
前記通信検出手段は、前記カメラ本体と前記交換レンズとの間で前記データ通信の可否を検出することを特徴とする撮像装置。 - 請求項2に記載の撮像装置において、
前記アクセサリは、交換レンズを前記カメラ本体に装着する際に用いるアダプタからなり、
前記通信検出手段は、前記カメラ本体と前記アダプタとの間で前記データ通信の可否を検出することを特徴とする撮像装置。 - 請求項4に記載の撮像装置において、
前記通信検出手段は、前記カメラ本体と前記アダプタとの間で前記データ通信が可能となる場合に、前記アダプタと該アダプタに装着される前記交換レンズとの間で前記データ通信の可否をさらに検出し、
前記設定手段は、前記アダプタと該アダプタに装着される前記交換レンズとの間の前記データ通信が不可となる場合に、前記テーブルにおける選択範囲を設定することを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記設定手段により設定される前記テーブルにおける選択範囲は、前記カメラ本体に装着される前記アクセサリの種類に応じて異なる範囲となることを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記パラメータは、射出瞳距離と絞り値とで決まる加重係数であり、
前記テーブルは、前記射出瞳距離及び前記絞り値の組み合わせと、該組み合わせに対応付けられた前記加重係数とがまとめられたデータテーブルからなり、
前記選択範囲は、前記射出瞳距離及び前記絞り値の範囲からなることを特徴とする撮像装置。 - カメラ本体と、
前記カメラ本体に装着されるアクセサリと、
複数の撮像用画素及び複数の焦点検出用画素を有する撮像素子と、
前記焦点検出用画素の画素値を周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータと撮影時のレンズ条件とが複数対応付けられたテーブルを記憶する記憶手段と、
前記カメラ本体に装着される前記アクセサリの種類に基づいて、前記テーブルにおける選択範囲を設定する設定手段と、
前記設定手段で設定された前記テーブルの選択範囲に含まれる複数のパラメータから、前記焦点検出用画素の画素値を前記周囲の撮像用画素の画素値を用いて補間する時に使用するパラメータを決定するパラメータ決定手段と、
前記パラメータ決定手段で決めたパラメータを用いて前記焦点検出用画素の位置に対する撮像用画素の画素値を補間する画素補間手段と、
を備えたことを特徴とするカメラシステム。 - 請求項8に記載のカメラシステムにおいて、
前記カメラ本体に装着される前記アクセサリは、交換レンズ、前記交換レンズを前記カメラ本体に装着する際に使用する第1のアダプタと前記交換レンズとの組み合わせ、或いは前記交換レンズとは異なる光学機器と前記カメラ本体とを接続する際に使用する第2のアダプタのいずれかからなることを特徴とするカメラシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011271990A JP2013125046A (ja) | 2011-12-13 | 2011-12-13 | 撮像装置及びカメラシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011271990A JP2013125046A (ja) | 2011-12-13 | 2011-12-13 | 撮像装置及びカメラシステム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013125046A true JP2013125046A (ja) | 2013-06-24 |
Family
ID=48776340
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011271990A Pending JP2013125046A (ja) | 2011-12-13 | 2011-12-13 | 撮像装置及びカメラシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013125046A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168505A1 (ja) * | 2012-05-10 | 2013-11-14 | 富士フイルム株式会社 | 撮像装置及び信号補正方法 |
JP2016045245A (ja) * | 2014-08-20 | 2016-04-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2020092431A (ja) * | 2017-03-30 | 2020-06-11 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10197936A (ja) * | 1996-12-27 | 1998-07-31 | Canon Inc | カメラシステム |
JP2005062459A (ja) * | 2003-08-12 | 2005-03-10 | Olympus Corp | レンズ交換式カメラ及びカメラシステム |
JP2007282108A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 撮像装置、カメラおよび画像処理方法 |
JP2009303194A (ja) * | 2008-02-14 | 2009-12-24 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
JP2011176714A (ja) * | 2010-02-25 | 2011-09-08 | Nikon Corp | カメラおよび画像処理プログラム |
-
2011
- 2011-12-13 JP JP2011271990A patent/JP2013125046A/ja active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10197936A (ja) * | 1996-12-27 | 1998-07-31 | Canon Inc | カメラシステム |
JP2005062459A (ja) * | 2003-08-12 | 2005-03-10 | Olympus Corp | レンズ交換式カメラ及びカメラシステム |
JP2007282108A (ja) * | 2006-04-11 | 2007-10-25 | Nikon Corp | 撮像装置、カメラおよび画像処理方法 |
JP2009303194A (ja) * | 2008-02-14 | 2009-12-24 | Nikon Corp | 画像処理装置、撮像装置及び画像処理プログラム |
JP2011176714A (ja) * | 2010-02-25 | 2011-09-08 | Nikon Corp | カメラおよび画像処理プログラム |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168505A1 (ja) * | 2012-05-10 | 2013-11-14 | 富士フイルム株式会社 | 撮像装置及び信号補正方法 |
JP5657182B2 (ja) * | 2012-05-10 | 2015-01-21 | 富士フイルム株式会社 | 撮像装置及び信号補正方法 |
US9264636B2 (en) | 2012-05-10 | 2016-02-16 | Fujifilm Corporation | Imaging device and signal correcting method |
JP2016045245A (ja) * | 2014-08-20 | 2016-04-04 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP2020092431A (ja) * | 2017-03-30 | 2020-06-11 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
JP7060634B2 (ja) | 2017-03-30 | 2022-04-26 | 富士フイルム株式会社 | 撮像装置及び画像処理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6040594B2 (ja) | 撮像装置、画像処理装置及び画像処理プログラム | |
JP5994778B2 (ja) | フレア判定装置、撮像装置及びフレア判定プログラム | |
JP5200955B2 (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP4770560B2 (ja) | 撮像装置、カメラおよび画像処理方法 | |
US7873267B2 (en) | Focus detection device, focusing state detection method and imaging apparatus | |
JP5458475B2 (ja) | 焦点検出装置および撮像装置 | |
JP6124564B2 (ja) | 焦点検出装置及び方法、及び撮像装置 | |
JP2007282109A (ja) | 撮像装置、カメラおよび画像処理方法 | |
JP2009159226A (ja) | 撮像素子、焦点検出装置、焦点調節装置および撮像装置 | |
WO2014171304A1 (ja) | 撮像装置、撮像装置駆動方法、撮像装置制御プログラム | |
JP2014036262A (ja) | 撮像装置 | |
JP2013125046A (ja) | 撮像装置及びカメラシステム | |
JP2018174542A (ja) | 撮像素子および撮像装置 | |
JP5834542B2 (ja) | 撮像装置、画像処理装置、及びプログラム、並びに記録媒体 | |
JP2007195122A (ja) | 撮像装置、画像処理装置および画像処理方法 | |
US9143762B2 (en) | Camera module and image recording method | |
JP4718113B2 (ja) | ホワイトバランス調整方法および画像処理装置 | |
JP2012165147A (ja) | 画像処理装置およびその制御方法 | |
JP2013013006A (ja) | 撮像装置、撮像装置の製造方法、画像処理装置、及びプログラム、並びに記録媒体 | |
JP5407314B2 (ja) | 焦点検出装置および撮像装置 | |
JP2014164236A (ja) | 撮像装置 | |
JP2013247597A (ja) | 画像処理装置、撮像装置及び画像処理プログラム | |
JP5476702B2 (ja) | 撮像素子および撮像装置 | |
JP6349624B2 (ja) | 撮像素子および焦点検出装置 | |
JP2018019355A5 (ja) | 信号処理装置、信号処理方法、プログラムおよび記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141212 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150812 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150818 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20151215 |