JP2021097347A - 撮像装置およびその制御方法、プログラム - Google Patents

撮像装置およびその制御方法、プログラム Download PDF

Info

Publication number
JP2021097347A
JP2021097347A JP2019228209A JP2019228209A JP2021097347A JP 2021097347 A JP2021097347 A JP 2021097347A JP 2019228209 A JP2019228209 A JP 2019228209A JP 2019228209 A JP2019228209 A JP 2019228209A JP 2021097347 A JP2021097347 A JP 2021097347A
Authority
JP
Japan
Prior art keywords
image data
image
brightness
luminance
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019228209A
Other languages
English (en)
Other versions
JP2021097347A5 (ja
JP7479831B2 (ja
Inventor
雄介 山下
Yusuke Yamashita
雄介 山下
武範 小布施
Takenori Obuse
武範 小布施
石川 義和
Yoshikazu Ishikawa
義和 石川
木村 孝行
Takayuki Kimura
孝行 木村
徳朗 西田
Tokuaki Nishida
徳朗 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019228209A priority Critical patent/JP7479831B2/ja
Publication of JP2021097347A publication Critical patent/JP2021097347A/ja
Publication of JP2021097347A5 publication Critical patent/JP2021097347A5/ja
Application granted granted Critical
Publication of JP7479831B2 publication Critical patent/JP7479831B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Blocking Light For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

【課題】 異なる偏光角度により複数の画像を取得する場合であっても、不自然な明るさの画像が取得されることを抑制すること。【解決手段】 異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子と、撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を算出する算出手段と、複数の画像データのうち、少なくとも1つの画像データの輝度が所定の閾値以上となるか否かを判定する判定手段と、判定手段による判定の結果に基づいて、画像データの輝度を補正する輝度補正手段と、を有し、輝度補正手段は、少なくとも1つの画像データの輝度が所定の閾値以上となる場合に、被写体の偏光情報に基づいて、当該画像データの輝度を補正することを特徴とする構成とした。【選択図】 図1

Description

本発明は、撮像装置とその制御方法およびプログラムに関して、特に、露出制御に用いる測光値の取得方法に関する。
従来、デジタルカメラなどの撮像装置においては、任意の被写体に対応した適切な明るさの画像を取得するための種々の技術が知られている。例えば、撮像領域(撮影画面)内に人物の顔が存在している場合に、顔検出によって検出された顔領域を主たる被写体と判断し、当該顔領域が適正な明るさとなるように撮像装置が自動的にフォーカスやホワイトバランス、露出などを調整する。特許文献1では、デジタルカメラにおいて顔として認識された部分の測光値と画面全体の測光値とに重み付けをして露出制御用の測光値を生成する技術について提案されている。
ところで、光には、輝度や色などの要素の他にも、偏光と呼ばれる性質がある。偏光は光の振動方向と考えることができ、光源から発した光は、被写体で反射する際に様々な振動方向成分(偏光方向)を持つことが知られている。しかし、実際は偏光された光と偏光していない光がすべて合成されて人間の眼に届くため、人間が光の偏光方向を感知する機会は少ない。一方で、PL(Polarized Light:偏光)フィルタを使うなどして、光の偏光角度をコントロールすることで、不要な反射光を抑える技術が知られている。
近年、この偏光成分を積極的に利用する技術も提案されてきている。例えば、特許文献1では、CCDセンサを構成する複数の受光素子のうち、特定の画素上にカラーフィルタだけでなく偏光子を重ねて配置する技術について提案されている。また、特許文献2では、デジタルカメラの光路中に異なる偏光角度の偏光フィルタを挿入する技術について提案されている。例えば、特許文献2の技術であれば、撮像素子の領域ごとに異なる偏光角度の画像を得て、それらを任意の比率で合成することで、鏡面反射を除去した画像を取得できる点について開示されている。
特開2014−11754号公報 特開2016−10063号公報
例えば、特許文献1又は特許文献2で開示されている技術を用いて、異なる偏光角度のフィルタを介して取得した画像を任意の比率で合成する場合、ある偏光角度で得た画像が飽和すると、合成後の画像の輝度を正しく再現することができない場合がある。また、RGBカラーフィルタに合わせて偏光フィルタを配置する構成だと、特定の偏光角度かつ特定色の画素(G画素など)からの出力だけが飽和している場合は、色の再現性も低下する虞がある。
本発明の目的は、異なる偏光角度により複数の画像を取得する場合であっても、不自然な明るさの画像が取得されることを抑制することである。
上述の問題点を解決するため、本発明の撮像装置は、異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子と、前記撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を算出する算出手段と、前記複数の画像データのうち、少なくとも1つの画像データの輝度が所定の閾値以上となるか否かを判定する判定手段と、前記判定手段による判定の結果に基づいて、画像データの輝度を補正する輝度補正手段と、を有し、前記輝度補正手段は、少なくとも1つの画像データの輝度が所定の閾値以上となる場合に、前記被写体の偏光情報に基づいて、当該画像データの輝度を補正することを特徴とする。
本発明によれば、異なる偏光角度により複数の画像を取得する場合であっても、不自然な明るさの画像が取得されることを抑制することができる。
本発明を実施した撮像装置の第1実施形態である撮像装置100の構成を説明するブロック図である。 本発明の第1実施形態に係るセンサ102の画素および偏光フィルタの関係を例示的に説明する図である。 本発明の第1実施形態に係る対応する1画素の偏光角度に応じた画素の信号レベルをプロットすることで得られる分布図を例示的に説明する図である。 本発明の第1実施形態に係る重み付け加算平均処理の方法を例示的に説明するための図である。 所定の偏光角度θにおける画素の輝度値が飽和した状態の偏光角度の角度依存成分を例示的に説明する図である。 本発明の第1実施形態に係る各偏光角度の画像合成処理を示すフローチャートである。 本発明の第2実施形態に係る、センサ102の画素および偏光フィルタおよびカラーフィルタの関係を例示的に説明する図である。 異なる2つ以上の偏光角度θにおける輝度値の飽和状態における偏光角度の角度依存成分を例示的に説明する図である。 本発明の第2実施形態に係る各偏光角度の画像合成処理を示すフローチャートである。
(第1実施形態)
(撮像装置100の基本構成)
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて説明する。図1は、本発明を実施した撮像装置の第1実施形態である撮像装置100の構成を説明するブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよい。また、CPUやMPU等のプログラマブルプロセッサ(マイクロプロセッサ、マイクロコンピュータ)がソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
光学レンズ101は、不図示のフォーカスレンズ、シフトレンズ、ズームレンズや絞りなどを備え、被写体の光学像を示す光束を撮像装置100の内部に導くための撮像光学系であって、後述するセンサ102の撮像面に光を結像することができる。
センサ102は、光学レンズ101により導かれた被写体の光束を受光して電気的な画像信号に変換することができるCMOS等の電荷蓄積型の固体撮像素子を採用した撮像手段である。なお、撮像装置100においては、被写体の光束に対応する光学像を電気信号への変換する際の感度(受光感度)を変更することが可能である。この受光感度の調整および画像信号に変換後のデジタルゲイン量の調整により、画像信号の明るさを調整することができる。本実施形態では、これらを総称して撮影感度とし、撮像装置100においては、ISO感度を変更することで、この撮影感度を調整することが可能である。
なお、センサ102は、各画素上に偏光フィルタを備え、偏光フィルタの偏光角度として、少なくとも異なる3つ以上の角度を備える。この偏光フィルタを備えたセンサ102の詳細について、図2を参照して例示的に説明する。図2は、本発明の第1実施形態に係るセンサ102の画素および偏光フィルタの関係を例示的に説明する図である。なお、センサ102は、各画素上に偏光フィルタを備え、偏光フィルタの偏光角度として、少なくとも異なる3つ以上の角度を備える。この偏光フィルタを備えたセンサ102の詳細について、図2を参照して例示的に説明する。
図2に図示するように、センサ102は、例えば、16画素(連続する縦4画素×横4画素)を1つの画素群とする一部領域201について、各画素に合わせて偏光角度が0°、45°、90°、135°となる偏光フィルタが規則的に配設されている。なお、偏光角度の並びはこれに限定されるものではないが、規則的に各偏光フィルタを並べる方が、各偏光角度の画像データを得る際の処理負荷が軽減されるので好ましい。また、偏光角度としては上述した4つの角度以外を用いてもよい。したがって、センサ102は、一部領域201を基準とした場合、4つの偏光角度で撮像した画素出力(画像信号)を得ることができる。
図1に戻り、画像取得部103は、センサ102の出力を画像データとして取得する画像取得手段である。なお、センサ102の出力に基づいて各偏光角度の画像データは、偏光算出部104に出力する。また、記録用の画像データは画像処理部105へ出力する。
画像処理部105は、各偏光角度に対応する画像データを用いた任意の合成処理や、ディベイヤー処理、ガンマ補正などの種々の処理を実行する画像処理手段である。具体的な合成処理の一例としては、後述する偏光算出部104による判断結果に基づいて、任意の偏光角度の画像データを選択して出力する。または、各偏光角度の画像データを加重平均して出力することで、画像データにおける反射の度合いを任意に調整した1フレーム分の画像データを生成できる。そして、画像処理部105は、合成処理を施した後に、前述したディベイヤー処理やガンマ補正、また、ニー補正、ノイズリダクションなどの所定の画像処理を施すことができる。なお、本実施形態では、信号出力部106に出力する画像データに施す種々の処理に関してはこれに限定されるものではなく、その他の処理を施すことが可能な構成であってもよい。
信号出力部106は、画像処理部105から入力された画像信号を不図示の記憶手段(外部の記憶媒体を含む)へ出力する、および、不図示の表示部へ表示用の画像データを出力する信号出力手段である。
偏光算出部104は、画像取得部103から出力された画像データに基づいて、撮像範囲に含まれる被写体に対応した偏光角度を算出する算出手段(偏光情報取得手段)であって、被写体の偏光情報を取得することができる。具体的に、偏光算出部104は、各偏光角度の偏光フィルタに対応する画素から出力された信号に基づいて、0°、45°、90°、135°に対応する4画素を1組とし、上記4つの偏光角度に応じた画素の信号レベルを求める。ここで、輝度値の単位は、所謂APEX(ADDITIVE SYSTEM OF PHOTOGRAPHIC EXPOSURE)システムにおける1BVを輝度値の1段分とするが、他の単位を用いて輝度値を表す構成であってもよい。
図3は、本発明の第1実施形態に係る対応する1画素の偏光角度に応じた画素の信号レベルをプロットすることで得られる分布図を例示的に説明する図である。図3に図示するように、本実施形態では、複数の偏光角度の画像データに基づいて得られた関数(フィッティングカーブ)I(θ)は、180°周期の正弦関数または余弦関数で表すことができ、カーブの振幅が大きいほど偏光度合が高い状態を示す。
なお、3つ以上の偏光角度に関するそれぞれ1画素の輝度値が判明すれば、最小二乗法等の最適化技術を適用して、関数I(θ)を算出することができる。本実施形態では、より精度が高いフィッティングカーブを求めるために、サンプリングする偏光角度がある程度離し、45°間隔の4つの偏光角度でサンプリング用の画像を取得する。
図3に図示する関数I(θ)に基づいて、例えば、フィッティングカーブの算出に用いた1組の画素の輝度値の最小値は偏光角度の135°以降に位置し、輝度値の最大値が偏光角度の45°と90°の間に位置することがわかる。このように、関数I(θ)を求めることで、偏光角度に応じた輝度値を算出できる。
図1に戻り、カメラ制御部107は、撮像装置100の各部を統括的に制御する制御手段であって、不図示のマイクロプロセッサ(CPU)を備え、ROM(Read Only Memory)やRAMが接続されている。このうち、ROMは、不揮発性の記録素子であり、カメラ制御部107を動作させるためのプログラムや各種調整パラメータなどが記録されている。ROMから読み出されたプログラムは揮発性のRAMに展開されて実行される。なお、本実施形態では、カメラ制御部107により、前述した各部の動作が制御される構成であるが、カメラ制御部107以外の各部が協調して各動作を制御する構成であってもよい。
カメラ制御部107が制御する処理としては、例えば、偏光算出部104が算出した各画素の輝度値の補正処理(輝度値補正処理)がある。また、カメラ制御部107が制御する他の処理としては、偏光算出部が算出した各画素の輝度値に基づいて、各偏光角度に該当する画像に対する合成時の重み付け加算平均処理がある。当該重み付け加算平均処理について、図4を参照して説明する。
図4は、本発明の第1実施形態に係る重み付け加算平均処理の方法を例示的に説明するための図であって、図4(a)は、被写体像のうちの水面の反射を抑えた状態を示し、図4(b)は、水面の反射を強調させた状態を示した図である。なお、図4の各図における被写体の偏光角度ごとの輝度値が、前述した図3に図示した関数I(θ)に従って変化する場合を仮定する。
図4(a)に図示するように、水面での光の反射を抑制するためには、反射光に該当する被写体の偏光成分を抑制する必要がある。例えば、図3に図示する関数I(θ)では、偏光角度θ=45°付近で最も輝度値が高くなり、偏光角度θ=135°付近で最も輝度値が低くなる。したがって、偏光角度θ=45°に該当する出力信号に対する重み付けを小さくし、偏光角度θ=135°に該当する出力信号に対する重み付けを大きくすることで、各偏光角度の画素出力を合成した後の画像において、水面の反射度合を抑制することができる。
一方で、水面の反射度合を確認するためなど、あえて反射光に該当する被写体の偏光成分を画像中に残したい(あるいは強調したい)場合もある。例えば、図4(b)で示す例では、水面の反射を強調させた風景画像を取得した場合を示している。この場合、偏光角度θ=135°に該当する出力信号に対する重み付けよりも、偏光角度θ=45°に該当する出力信号に対する重み付けを大きくして各偏光角度の画素出力を合成することで、ユーザが所望する画像を取得することができる。
ここで、前述した重み付け加算平均処理を実行する際に、例えば、特定の被写体の輝度値が高い場合などに、特定の偏光角度の輝度値が飽和する場合がある。図5は、所定の偏光角度θにおける画素の輝度値が飽和した状態の偏光角度の角度依存成分を例示的に説明する図である。図5に図示する例では、偏光角度45°を略中心とした所定の範囲に該当する偏光角度に該当する1画素の輝度値が飽和する。この場合、飽和している画素をそのまま合成に用いると、実際の被写体の明るさに対して不自然な明るさの画像が得られる虞がある。そこで、本実施形態では、飽和している偏光角度に該当する画像信号(出力信号)に対して、関数I(θ)に基づく輝度値の補正を行うことで、この問題を解決する。
図6は、本発明の第1実施形態に係る各偏光角度の画像合成処理を示すフローチャートである。図6に図示するように、まず、ステップS601で偏光算出部104は、それぞれ偏光角度が異なる1組の画素(4画素)の輝度値を求め、偏光角度ごとの1画素の輝度値を検出する。
次に、ステップS602で偏光算出部104は、ステップS601で求めた偏光角度ごとの1画素の輝度値(出力)に基づいて、偏光角度の角度依存成分を算出する。具体的に、本実施形態では、偏光角度の角度依存成分として、前述した関数(フィッティングカーブ)I(θ)を求める。なお、関数I(θ)から、更に、最大の輝度値Imax、最小の輝度値Iminを算出し、両者の差分を、被写体の偏光角度の角度依存成分として求める構成であってもよい。この場合、差分Imax−Iminは、被写体における反射の度合いを示すため、偏光角度の角度依存成分に基づいて、反射の度合いが高い被写体が存在するか否を判定することもできる。
次に、ステップS603でカメラ制御部107は、ステップS601で検出した輝度値が飽和レベルに達しているか(所定の閾値以上であるか)否かを判定する。なお、飽和レベルを判定するための所定の閾値は、予め撮像装置100に設けられたメモリ(不図示)に格納されている。
何れの画素の輝度値も飽和レベルに到達していない(ステップS603でNO)と判定された場合、ステップS605に進み、カメラ制御部107は、各画素の出力信号を用いて、任意の比率で重み付け加算平均処理を実行する。なお、上述した任意の比率は、予め撮像装置100に設けられたメモリ(不図示)に格納されている。
また、輝度値が飽和レベルに到達している画素が存在する(ステップS603でYES)と判定された場合、ステップS604に進み、カメラ制御部107は、飽和レベルに到達している画素の輝度値を補正(輝度値補正処理を実行)する。例えば、図5に図示したように、偏光角度θ=45°の画素の輝度レベルが飽和レベルに到達していた場合、実際の輝度値を検出することはできない。
しかしながら、前述したように、本実施形態では、偏光角度の角度依存成分として関数I(θ)を算出しているため、当該関数I(θ)に基づいて、偏光角度θ=45°の輝度値を予測することができる。換言すると、飽和レベルに到達している偏光角度の画素の輝度値は、他の偏光角度の画素の輝度値(θ=0°、90°、135°)に基づいて算出することができる。そこで、本実施形態に係るステップS604の処理では、関数I(θ)に基づいて、飽和した画素の輝度値を補正し、飽和した画素については、補正後の輝度値を用いてステップS605の重み付け加算平均処理を実行する。
以上説明した構成により、本実施形態に係る撮像装置100は、任意の偏光角度の画素出力から飽和している偏光角度の画素出力を算出(予測)することで、各偏光角度の画素を合成した後の画像が不自然な明るさになることを低減することができる。すなわち、本実施形態の撮像装置100は、異なる偏光角度により複数の画像を取得する場合であっても、不自然な明るさの画像が取得されることを抑制することができる。
(第2実施形態)
次に、本発明の第2実施形態に係る撮像装置について、図7〜9を参照して説明する。なお、撮像装置100の構成は、前述した第1実施形態と同一なので説明は省略し、第1実施形態との差分についてのみ説明する。
前述した第1の実施形態では、飽和レベルに到達している画素の輝度値は、他の偏光角度に該当する画素の輝度値を用いて輝度値の補正処理を行う構成について説明した。しかしながら、例えば、異なる偏光角度に該当する複数の画素の輝度値が飽和している場合、輝度値の補正を正しく行えない場合がある。例えば、前述した第1実施形態では、4つの偏光角度に該当する画素のうち、2つ以上の画素の輝度値が飽和している場合、関数I(θ)を算出することができないため、輝度値補正処理を正しく実行することができない。そこで、本発明の第2実施形態に係る撮像装置100では、異なるカラーフィルタを介して出力される画素の輝度値に基づいて、飽和レベルに到達している画素の輝度レベルを補正する。
図7は、本発明の第2実施形態に係る、センサ102の画素および偏光フィルタおよびカラーフィルタの関係を例示的に説明する図である。なお、カラーフィルタ以外の構成については、図2に図示するセンサ102と略同一の構成である。図7に図示するように、センサ102に対して、偏光角度が異なる4画素(連続する縦2画素×横2画素)ごとに同一のカラーフィルタが配されている。本実施形態では、図7に図示するように、縦4画素×横4画素のセンサ102の配置に対して、左上4画素に合わせてカラーフィルタRが配されている。また、左下4画素および右上4画素に合わせてカラーフィルタGbとGrが配されている。そして、右下4画素に合わせてカラーフィルタBが配されている。すなわち、本実施形態に係るセンサ102は、異なる偏光角度に該当する4画素単位に合わせて所謂ベイヤー配列のカラーフィルタが搭載されている。
したがって、前述したセンサ102の一部領域201を基準とした場合、(不図示)のカラーフィルタごとに4つの偏光角度で撮像した画素出力(画像信号)が得られ、R、Gr、Gb、Bの各色成分を合わせた偏光角度ごとの画像信号を得ることができる。
図8は、異なる2つ以上の偏光角度θにおける輝度値の飽和状態における偏光角度の角度依存成分を例示的に説明する図である。図8に図示する例では、G画素(Gr、Gb)のうち2つの画素が飽和している場合を想定する。G画素に係る関数IG(θ)を算出するためには3つ以上の異なる偏光角度に係る画素出力が必要だが、2つの画素出力(の輝度値)が飽和しているため、関数IG(θ)を正しく算出することができない。
ここで、G画素に対して、R画素やB画素は光に対する感度が低く飽和しにくい特性を備えている。そこで、本実施形態に係る撮像装置100では、G画素の輝度値が飽和レベルに到達している場合は、同一の偏光角度に該当するR画素やB画素の角度依存成分IR(θ)、IB(θ)に基づいて、G画素の輝度レベルを算出する。
図9は、本発明の第2実施形態に係る各偏光角度の画像合成処理を示すフローチャートである。なお、図9におけるステップS901〜S903、ステップS907の処理は、前述した第1実施形態におけるステップS601〜S603、ステップS605の処理と略同一であるため、説明者省略する。
輝度値が飽和レベルに到達している画素が存在する(ステップS903でYES)と判定された場合、ステップS904に進む。そして、ステップS904でカメラ制御部107は、1組の画素群(すなわち同一のカラーフィルタで得られる画素群)に、飽和レベルに到達している画素が複数存在するか否かを判定する。本実施形態では、1つのカラーフィルタに対して4つの異なる偏光角度に該当する画素出力が得られるため、そのうちの半数(すなわち2画素)以上の画素の輝度レベルが飽和レベルに到達している否かを判定する。
1組の画素群で所定数(本実施形態では1つ)の画素の輝度値のみが飽和レベルに到達している場合(ステップS904でNO)と判定された場合はステップS906に進む。また、1組の画素群で複数(本実施形態では2つ)以上の画素の輝度値が飽和レベルに到達している場合(ステップS904でYES)と判定された場合はステップS905に進む。なお、ステップS906に係る処理は、前述した第1実施形態のステップS604の処理と略同一なので、説明は省略する。
ステップS905でカメラ制御部107は、任意のカラーフィルタを介して出力された1画素の輝度値が飽和している場合、他のカラーフィルタを介して出力された画素の輝度値に基づく偏光角度の角度依存成分に基づき、飽和画素の輝度値を算出(補正)する。例えば、図8に図示するように、偏光角度θ=45°を基準としたG画素の輝度値が飽和レベルに到達している場合を想定する。この場合、R画素またはB画素に該当する画素の輝度値に基づいて得られた関数IR(θ)または、関数IB(θ)に基づいて、G画素の飽和レベルに到達している偏光角度に該当する画素の輝度値を算出する。なお、輝度補正処理後の、重み付け加算平均処理は前述第1実施形態と略同一であるため、説明は省略する。
以上説明した構成により、本実施形態に係る撮像装置100は、任意のカラーフィルタを介して得られた画素出力の複数が飽和状態である場合、他のカラーフィルタを介して得られた画素出力に基づいて、飽和している画素出力を算出(予測)することができる。したがって、本実施形態に係る撮像装置100は、異なる複数の偏光角度で得られた画像が飽和している場合であっても、各偏光角度の画素を合成した後の画像が不自然な明るさになることを低減することができる。すなわち、本実施形態の撮像装置100は、異なる偏光角度により複数の画像を取得する場合であっても、不自然な明るさの画像が取得されることを抑制することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらに限定されず、その要旨の範囲内で種々の変形および変更が可能である。例えば、前述した実施形態では、光学レンズを一体的に備えた撮像装置について説明したが、所謂交換レンズを着脱可能なレンズ交換式の撮像装置を採用する構成であってもよい。
また、前述した実施形態では、異なる偏光角度の画像に対する重み付けの度合いを調整する構成について説明したが、例えば、飽和画素の出力に対する重み付けを0にすることで、飽和画素を画像合成に用いない構成であってもよい。
また、前述した実施形態では、センサ102を構成する画素および画素群ごとに偏光角度が異なる偏光フィルタを採用する例について説明したが、これに限定されるものではない。例えば、前述した各実施形態のセンサ102において、1画素に対して複数の異なる偏光角度が対応するように偏光フィルタを設ける構成であってもよい。この場合、1つの画素信号において異なる偏光角度を介して偏光できるため、画素単位で複数の振動方向の光以外を除去した画像データを得ることができる。
なお、前述した実施形態では、本発明を実施する撮像装置の一例としてデジタルカメラを想定して説明したが、これに限定されるものではない。例えば、デジタルビデオカメラやスマートフォンなどの可搬デバイスやウェアラブル端末、車載カメラやセキュリティーカメラなど、デジタルカメラ以外の撮像装置を採用する構成であってもよい。
100 撮像装置
102 センサ
104 偏光算出部
107 カメラ制御部

Claims (5)

  1. 異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子と、
    前記撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を算出する算出手段と、
    前記複数の画像データのうち、少なくとも1つの画像データの輝度が所定の閾値以上となるか否かを判定する判定手段と、
    前記判定手段による判定の結果に基づいて、画像データの輝度を補正する輝度補正手段と、
    を有し、
    前記輝度補正手段は、少なくとも1つの画像データの輝度が所定の閾値以上となる場合に、前記被写体の偏光情報に基づいて、当該画像データの輝度を補正することを特徴とする撮像装置。
  2. 前記偏光情報は、被写体の偏光角度に対する角度依存成分であって、
    前記算出手段は、異なる3つ以上の偏光角度に該当する画素の輝度に基づいて前記角度依存成分を算出し、
    前記輝度補正手段は、輝度が前記所定の閾値以上となる第1の画像データが存在する場合に、前記角度依存成分に基づいて、前記第1の画像データの輝度を補正することを特徴とする請求項1に記載の撮像装置。
  3. 前記撮像素子は、前記偏光フィルタの領域に合わせて複数の色のカラーフィルタが配されており、
    前記判定手段は、前記カラーフィルタのうちの第1のカラーフィルタを介して前記撮像素子から出力された前記異なる偏光角度ごとの複数の画像データのうち、少なくとも2つの画像データの輝度が前記所定の閾値以上となるか否かを判定し、
    前記輝度補正手段は、判定手段による判定の結果に基づいて、前記第1のカラーフィルタを介して得られた少なくとも2つの画像データの輝度が前記所定の閾値以上となる場合に、前記第1のカラーフィルタとは異なる色の第2のカラーフィルタを介して得られた複数の画像データに基づく前記被写体の偏光情報に基づいて、前記第1のカラーフィルタを介して得られた複数の画像の輝度を補正することを特徴とする請求項1又は2に記載の撮像装置。
  4. 異なる複数の偏光角度を有する領域を備えた偏光フィルタを介して得られた被写体の光学像を撮像する撮像素子を備えた撮像装置の制御方法であって、
    前記撮像素子から出力された異なる偏光角度ごとの複数の画像データに基づいて、被写体の偏光情報を算出する算出工程と、
    前記複数の画像データのうち、少なくとも1つの画像データの輝度が所定の閾値以上となるか否かを判定する判定工程と、
    画像データの輝度を補正する輝度補正工程と、
    を有し、
    前記輝度補正工程では、前記判定工程において、少なくとも1つの画像データの輝度が所定の閾値以上と判定された場合に、前記被写体の偏光情報に基づいて、当該画像データの輝度を補正することを特徴とする撮像装置の制御方法。
  5. 請求項4に記載の撮像装置の制御方法をコンピュータで実行させるためのコンピュータで読み取り可能なプログラム。
JP2019228209A 2019-12-18 2019-12-18 撮像装置およびその制御方法、プログラム Active JP7479831B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019228209A JP7479831B2 (ja) 2019-12-18 2019-12-18 撮像装置およびその制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019228209A JP7479831B2 (ja) 2019-12-18 2019-12-18 撮像装置およびその制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2021097347A true JP2021097347A (ja) 2021-06-24
JP2021097347A5 JP2021097347A5 (ja) 2022-12-22
JP7479831B2 JP7479831B2 (ja) 2024-05-09

Family

ID=76431670

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019228209A Active JP7479831B2 (ja) 2019-12-18 2019-12-18 撮像装置およびその制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP7479831B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115348372A (zh) * 2022-07-29 2022-11-15 大连海事大学 一种采用空分偏振照明的差分偏振成像装置及方法
WO2023145574A1 (ja) * 2022-01-31 2023-08-03 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017085993A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 画像処理装置と画像処理方法
WO2018074064A1 (ja) * 2016-10-17 2018-04-26 ソニー株式会社 画像処理装置と画像処理方法および撮像装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023145574A1 (ja) * 2022-01-31 2023-08-03 ソニーセミコンダクタソリューションズ株式会社 信号処理装置、信号処理方法、プログラム
CN115348372A (zh) * 2022-07-29 2022-11-15 大连海事大学 一种采用空分偏振照明的差分偏振成像装置及方法
CN115348372B (zh) * 2022-07-29 2023-09-05 大连海事大学 一种采用空分偏振照明的差分偏振成像装置及方法

Also Published As

Publication number Publication date
JP7479831B2 (ja) 2024-05-09

Similar Documents

Publication Publication Date Title
JP3892648B2 (ja) 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US10630920B2 (en) Image processing apparatus
JP5898466B2 (ja) 撮像装置、その制御方法、及びプログラム
JP5643563B2 (ja) 画像処理装置及びその制御方法
JP5767485B2 (ja) 画像処理装置及び制御方法
US9699387B2 (en) Image processing device for processing pupil-divided images obtained through different pupil regions of an imaging optical system, control method thereof, and program
US9270888B2 (en) Image processing apparatus and control method thereof
KR20120010205A (ko) 화상 합성 장치, 화상 합성 방법, 및 프로그램 프로덕트
US9589339B2 (en) Image processing apparatus and control method therefor
US9667882B2 (en) Image processing apparatus, image-pickup apparatus, image processing method, non-transitory computer-readable storage medium for generating synthesized image data
CN104221364B (zh) 成像装置和图像处理方法
JP2016072694A (ja) 画像処理装置およびその制御方法、プログラムならびに記録媒体
US11159740B2 (en) Image capturing device and control method thereof and medium
JP7479831B2 (ja) 撮像装置およびその制御方法、プログラム
JP6108680B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP7446804B2 (ja) 撮像装置およびその制御方法、プログラム
US9143762B2 (en) Camera module and image recording method
CN116055907A (zh) 图像处理设备、摄像设备、图像处理方法和存储介质
JP2010041682A (ja) 画像処理装置及び画像処理方法
JP4857856B2 (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム
JP6157274B2 (ja) 撮像装置、情報処理方法及びプログラム
JP5264695B2 (ja) 画像処理方法、画像処理装置、及び撮像装置
JP6272006B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2015126416A (ja) 画像処理装置、制御方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240307

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240424

R150 Certificate of patent or registration of utility model

Ref document number: 7479831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150