JP2016009043A - イメージセンサ、演算方法、および電子装置 - Google Patents

イメージセンサ、演算方法、および電子装置 Download PDF

Info

Publication number
JP2016009043A
JP2016009043A JP2014128834A JP2014128834A JP2016009043A JP 2016009043 A JP2016009043 A JP 2016009043A JP 2014128834 A JP2014128834 A JP 2014128834A JP 2014128834 A JP2014128834 A JP 2014128834A JP 2016009043 A JP2016009043 A JP 2016009043A
Authority
JP
Japan
Prior art keywords
pixel
light
shielding
shielded
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014128834A
Other languages
English (en)
Inventor
乾一 佐野
Kenichi Sano
乾一 佐野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014128834A priority Critical patent/JP2016009043A/ja
Priority to US15/318,751 priority patent/US10212332B2/en
Priority to PCT/JP2015/066829 priority patent/WO2015198875A1/ja
Publication of JP2016009043A publication Critical patent/JP2016009043A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704—Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Abstract

【課題】 遮光画素の配置の自由度を上げ、かつ、位相差を高精度で検出する。
【解決手段】 本開示の一側面であるイメージセンサは、縦横に配置された通常画素の間に遮光画素が配置されている画素部と、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部（テクスチャ判定部３２）と、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部（相関演算部３３）と、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部（位相差算出部３４）とを備える。本開示は、像面位相差AFを備える撮像装置に適用できる。
【選択図】 図３

Description

本開示は、イメージセンサ、演算方法、および電子装置に関し、特に、像面位相差AF(Auto Focus)機能を実装する場合に用いて好適なイメージセンサ、演算方法、および電子装置に関する。
従来、オートフォーカスの一方式として像面位相差AFが知られている。像面位相差AFを実現する固体撮像素子には、画素信号を得るための通常画素に加えて、入射光を瞳分割するための遮光画素が所定の位置に配置されている。より具体的には、受光面の右側が遮光されている右側遮光画素と、受光面の左側が遮光されている左側遮光画素との対が複数直線状に配置されている。そして、遮光画素から得られる位相差に基づいてレンズの焦点位置が調整される（例えば、特許文献１参照）。
特開２０１１−３３９７５号公報
上述したように、右側遮光画素と左側遮光画素の対を配置する場合、画質劣化の低減と高精度な位相差検出を両立するためには、遮光画素の配置と位相差の検出領域の大きな制約があった。
本開示はこのような状況に鑑みてなされたものであり、遮光画素の配置の自由度を上げ、かつ、位相差を高精度で検出できるようにするものである。
本開示の第１の側面であるイメージセンサは、縦横に配置された通常画素の間に遮光画素が配置されている画素部と、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える。
前記生成部は、さらに、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出することができる。
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する通常画素列を生成し、前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定することができる。
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する、前記遮光画素と同色の通常画素列を補間により生成することができる。
前記設定部は、生成した前記通常画素列のノイズを除去し、ノイズ除去後の前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定することができる。
前記設定部は、テクスチャ判定としては、ダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行うことができる。
本開示の第１の側面であるイメージセンサは、前記注目領域を選択する選択部をさらに備えることができる。
前記選択部は、複数の区画に区分けられた画面のうち、ユーザによって選択された前記区画に基づいて前記注目領域を選択することができる。
前記選択部は、ユーザによって選択された前記区画上の同一の奥行きを有する領域を前記注目領域として抽出することができる。
前記演算部は、前記注目画素としての前記遮光画素の輝度値を補正し、補正後の輝度値と、前記遮光画素の周囲の前記通常画素の輝度値との相関値を演算することができる。
前記生成部は、生成した前記相関度ヒストグラムに基づいて、検出した前記位相差の信頼度を算出することができる。
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向には疎に、かつ、画面全体に規則的に均等に配置されているようにすることができる。
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、画面全体にランダムに配置されているようにすることができる。
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、画面全体にランダムに配置されているようにすることができる。
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向に直線状に配置されているようにすることができる。
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって遮光方向に直線状に配置されているようにすることができる。
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、複数の列に配置されているようにすることができる。
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって複数の列に配置されているようにすることができる。
本開示の第１の側面である演算方法は、縦横に配置された通常画素の間に遮光画素が配置されている画素部を備えるイメージセンサにおける前記遮光画素とその周囲の前記通常画素との位相差の演算方法において、前記イメージセンサによる、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定ステップと、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算ステップと、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成し、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する検出ステップと含む。
本開示の第２の側面である電子装置は、イメージセンサが搭載された電子装置において、前記イメージセンサが、縦横に配置された通常画素の間に遮光画素が配置されている画素部と、注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える。
本開示の第１および第２の側面においては、注目領域に存在する注目画素としての遮光画素の周囲のテクスチャが判定され、前記テクスチャに基づいて重み付け係数が設定され、前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値が演算され、前記遮光画素に対して演算された前記相関値に前記重み付け係数が乗算され、前記注目領域に存在する前記遮光画素の分だけ積算されることにより相関度ヒストグラムが生成される。
本開示の第１および第２の側面によれば、遮光画素の配置の自由度を上げ、かつ、位相差を高精度で検出することができる。
本開示を適用した撮像装置の構成例を示すブロック図である。 画素部における遮光画素の第１の配置例を示す図である。 位相差信号生成部の詳細な構成例を示すブロック図である。 位相差を検出する領域を抽出する過程を説明するための図である。 遮光画素に対する通常画素列の生成を説明するための図である。 テクスチャ判定に基づく重み付け係数の設定を説明するための図である。 テクスチャ判定に基づく重み付け係数の設定を説明するための図である。 相関度ヒストグラムを生成する過程を説明するための図である。 位相差検出処理を説明するフローチャートである。 画素部における遮光画素の第２の配置例を示す図である。 画素部における遮光画素の第３の配置例を示す図である。 画素部における遮光画素の第４の配置例を示す図である。 画素部における遮光画素の第５の配置例を示す図である。 画素部における遮光画素の第６の配置例を示す図である。 画素部における遮光画素の第７の配置例を示す図である。 画素部における遮光画素の第８の配置例を示す図である。 画素部における遮光画素の第９の配置例を示す図である。 画素部における遮光画素の第１０の配置例を示す図である。 画素部における遮光画素の第１１の配置例を示す図である。 ４画素共有型CMOSイメージセンサの構成例を示す回路図である。 積層型CMOSイメージセンサの構成例を示すブロック図である。
以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。
＜本開示を適用した撮像装置の構成例＞
図１は、本開示を適用した撮像装置の構成例を示している。この撮像装置１０は、像面位相差AF機能を有するものであり、光学レンズ部１１、レンズ駆動部１２、イメージセンサ１３、画像データ生成部１４、および記録部１５から構成される。
光学レンズ部１１は、光学レンズ群、絞りなどから構成され、被写体像をイメージセンサ１３の画素部２１に集光させる。また、光学レンズ部１１は、レンズ駆動部１２からのフォーカス制御信号に基づいてフォーカスを移動させる。レンズ駆動部１２は、イメージセンサ１３から供給される位相差信号に基づき、フォーカス制御信号を生成して光学レンズ部１１に出力する。
イメージセンサ１３は、画素部２１と位相差信号生成部２２を有する。画素部２１は、縦横に配置された多数の通常画素の間に遮光画素が配置されており、光学レンズ部１１により集光された被写体の光学像に応じた各画素のRawデータを生成して画像データ生成部１４および位相差信号生成部２２に出力する。
図２は、画素部２１における遮光画素の第１の配置例を示している。第１の配置例では、受光面の右側が遮光されている右側遮光画素４１が、遮光方向（受光面の遮光されている部分を連ねた方向。いまの場合、右側が遮光されているので水平方向）には疎となるように、かつ、画面全体に規則的で均等に配置されている。第１の配置例によれば、画質の劣化を抑えつつ様々な撮像シーンでロバストに位相差を検出することができる。なお、画素部２１における遮光画素の他の配置例については後述する。
図１に戻る。位相差信号生成部２２は、画素部２１からの各画素のRawデータを入力として位相差信号を検出し、検出した位相差信号をレンズ駆動部１２に出力する。
画像データ生成部１４は、画素部２１からの各画素のRawデータに所定の信号処理を行うことにより、画像データを生成して記録部１５に出力する。記録部１５は、画像データを所定の記録メディアに記録したり、外部に出力したりする。
＜位相差信号生成部２２の詳細な構成例＞
図３は、位相差信号生成部２２の詳細な構成例を示している。位相差信号生成部２２は、領域選択部３１、テクスチャ判定部３２、相関演算部３３、および位相差算出部３４を有する。
領域選択部３１は、画素部２１からの各画素のRawデータが表わす画面上で、位相差を検出する領域（焦点を合わせる被写体が写っている領域)を抽出する。
図４は、位相差を検出する領域を抽出する過程を説明するための図である。同図Ａに示されるように、複数の矩形区画に区分されている画像上から、ユーザが指定する検出区画５１を選択し、次に、同図Ｂに示されるように、選択した検出区画５１の中で同一の奥行き（撮像装置１０からの距離）を有する可能性がある領域５２を抽出する。
なお、本実施の形態では、遮光画素を対として利用しなくてもよく、１個の遮光画素のみで利用できるので、画面を区分ける区画については、少なくとも１個の遮光画素を含んでいれば、そのサイズや形状に制約がない。換言すれば、ユーザに指定させる区画を、より細かく、より様々な形状に区分することができる。
同一の奥行きを有する可能性がある領域を抽出する方法について説明する。本実施の形態では、簡易的に同一の奥行きを有する可能性がある領域の抽出する方法の一例として、色情報およびエッジ情報を用いる方法を採用する。以下、同一の奥行きを有する可能性がある領域を、同一の奥行きを有する領域とも称する。
まず、同一の奥行きの領域は色が似ていること（すなわち、RGB値の割合が近い）、異なる奥行きの領域の境界にはエッジがあること（すなわち、輝度値の微分値が大きい）を仮定する。そして、選択された検出区画５１の中でエッジ検出を行い、検出されたエッジにより囲まれている領域を特定する。さらに各領域内部の色が似ているか否かを判定する。ここで、領域内部の色が似ていると判定した場合、その領域を同一の奥行きを有する領域として抽出する。
さらに他の方法として顔認識技術などを採用し、該技術により個別に識別された領域も同一の奥行きを有する領域として扱うようにしてもよい。
図３に戻る。テクスチャ判定部３２は、領域選択部３１で抽出された領域５２内に存在する各遮光画素に対応する通常画素列を生成する。
図５は、遮光画素に対する通常画素列の生成を説明するための図である。同図中央の遮光画素４１に対する通常画素列を生成する場合、該遮光画素４１を中心とする遮光方向の所定の長さ（同図の場合、９画素）の画素列に着目する。次に、着目した画素列のうち、遮光画素４１の位置の色（同図の場合、Ｇ）と異なる色（同図の場合、Ｂ）の通常画素については、その近傍の遮光画素４１の位置と同じ色（同図の場合、Ｇ）の通常画素を用いて補間する。また、遮光画素４１についても、その近傍の遮光画素４１の位置と同じ色（同図の場合、Ｇ）の通常画素を用いて補間する。これにより、遮光画素４１を中心とする遮光方向の所定の長さの、遮光画素４１の位置の色（同図の場合、Ｇ）の通常画素列が生成される。
また、テクスチャ判定部３２は、生成した通常画素列に対してLPF(Low Pass Filter)処理などを行うことでノイズを除去し、ノイズを除去した通常画素列のテクスチャ判定を行い、その判定結果に応じて重み付け係数を設定する。
テクスチャ判定としては、具体的には、ダイナミックレンジ判定、単調増加／減少判定、飽和判定などを行う。
ダイナミックレンジ判定では、通常画素列における最大画素値と最小画素値の差（ダイナミックレンジ）が所定の閾値よりも大きいか否かを判定する。単調増加／減少判定では、通常画素列における隣接した画素間での画素値の微分値を算出し、常に微分値が単調増加を表す所定の閾値よりも大きいか、または微分値が単調減少を表し所定の閾値よりも小さいかが成立しているか否かを判定する。飽和判定では、通常画素列における画素値が所定の上限の閾値よりも大きいか、または所定の下限の閾値よりも小さいかを判定する。
これら３種類の判定結果により、通常画素列に明瞭な位相差が発現しており、その位相差を誤検出なく高い精度で検出できると考えられる遮光画素（に対応する通常画素列）に対して、位相差検出時の重み付け係数に大きな値を設定する。
具体的には、例えば図６に示されるように、画素値のダイナミックレンジが広く、画素値の変化が単調である場合には、位相差を誤検出なく高精度に検出できると考えられるので、重み付け係数として大きな値を設定する。また、反対に、例えば図７に示されるように、画素値のダイナミックレンジが狭く、画素値の変化が単調ではない場合には、位相差を誤検出し易いと考えられるので、重み付け係数として小さな値を設定する。
なお、テクスチャ判定としては、上述したダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行い、その結果に基づいて重み付け係数を設定するようにしてもよい。
相関演算部３３は、領域選択部３１で抽出された領域内に存在する遮光画素毎に、感度補正を行い、感度補正後の遮光画素４１とその近傍の通常画素（上述した通常画素列の補間前の画素列）との画素値（輝度値）の相関値（相違値でもよい）を演算する。
なお、相関値の代わりに相違値を演算するようにしてもよい。また、遮光画素の感度補正を省略してもよい。
遮光画素の感度補正について説明する。遮光画素は遮光されている分だけ受光量が少なく、近傍の遮光されていない通常画素に比較して輝度値が小さいので、遮光率に応じて輝度値をゲイン倍する感度補正を行う。各遮光画素の遮光率の参照方法は、事前に算出した補正テーブルを利用する方法、または補正テーブルを利用せずに近傍の平坦部の遮光画素の画素値に基づいて算出した遮光率を参照する方法が考えられる。
補正テーブルを利用する方法では、予め、無地の被写体を撮像した時の近傍の通常画素と遮光画素の画素値（輝度値）を次式（１）に適用して用いて、遮光画素の遮光率（＝遮光画素の画素値／近傍の通常画素の画素値）を計算して補正テーブルを作成、保持しておく。
遮光画素の遮光率＝遮光画素の画素値／近傍の通常画素の画素値 ・・・（１）
そして、感度補正時には、補正テーブルから遮光画素の遮光率を取得し、次式（２）を利用して感度補正後の画素値を算出する。
感度補正後の遮光画素の画素値＝補正前の輝度値／遮光率 ・・・（２）
補正テーブルを利用しない方法では、注目している遮光画素の周辺の平坦部に存在する遮光画素を探索し、探索した遮光画素に対応する遮光率を式（１）により計算し、得られた遮光率を注目遮光画素の遮光率とみなし、式（２）を利用して感度補正後の画素値を算出する。
遮光画素と通常画素の相関演算について説明する。遮光画素の輝度補正を行った場合、遮光画素と通常画素の相関値として、図８の左側に示すように、遮光画素と通常画素の差分値（SAD値(Sum of Absolute Difference)、またはSSD値(Sum of Squared Difference)等）を算出する。
遮光画素の輝度補正を省略した場合、遮光画素と通常画素の相関値として、遮光画素と通常画素の内積値（NCC値（Normalized Cross-Correlation:正規化相互相関）等）を算出する。
図３に戻る。位相差算出部３４は、領域選択部３１で抽出された領域内に存在する遮光画素毎に演算された相関値に、テクスチャ判定部３２で設定された重み付け係数を乗算して積算することにより、図８右側に示されるような相関度ヒストグラムを生成し、相関度ヒストグラムに基づいて位相差を検出する。
相関度ヒストグラムに基づく位相差検出について説明する。まず、図８に示されるような相関度ヒストグラムにおいて相関値が最大である（相違度が最小である）点の位置をピクセル単位で探索する。さらに、ピクセルをより細分化したサブピクセル推定によりサブピクセル単位で相関値が最大になっている点を特定する。この特定したサブピクセル単位の点と遮光画素位置との差分値を遮光画素と通常画素の位相差として検出する。
さらに、位相差算出部３４は、相関度ヒストグラムの形状、値、積算された遮光画素数などに基づいて検出した位相差の信頼度を判定する。
なお、位相差算出部３４から出力される位相差は、遮光画素と通常画素の間の位相差であるが、画像部２１に右側遮光画素４１の他に左側遮光画素が存在すれば、該左側遮光画素と通常画素との位相差も得ることができる。そして、右側遮光画素４１と通常画素の間の位相差と、該通常画素と左側遮光画素の間の位相差を加算すれば、右側遮光画素４１と左側遮光画素との間の位相差を得ることができる。
＜位相差検出処理について＞
次に、図９は、位相差信号生成部２２による、遮光画素と通常画素の間の位相差検出処理を説明するフローチャートである。
ステップＳ１において、位相差信号生成部２２は、画素部２１から各画素のRawデータを取得する。ステップＳ２において、領域選択部３１は、ユーザからの操作に従い、画素部２１からの各画素のRawデータが表わす画面上で、位相差を検出す検出区画５１を選択し、さらに検出区画５１の中で同一の奥行を有する領域５２を抽出する。
ステップＳ３において、テクスチャ判定部３２は、領域選択部３１で抽出された領域５２内に存在する各遮光画素を１画素ずつ注目画素に指定する。ステップＳ４において、テクスチャ判定部３２は、注目画素を中心とする遮光方向の通常画素列を生成し、LPF処理などにより通常画素列のノイズを除去する。
ステップＳ５において、テクスチャ判定部３２は、ノイズを除去した通常画素列のテクスチャ判定を行い、その判定結果に応じて重み付け係数を設定する。ステップＳ６において、相関演算部３３は、注目画素の輝度補正を行い、ステップＳ７において、輝度補正した注目画素とその近傍の通常画素との相関値を演算する。
ステップＳ８において、テクスチャ判定部３２は、領域選択部３１で抽出された領域５２内に存在する各遮光画素のうち、注目画素に指定していないものが残っているか否かを確認する。注目画素に指定していないものが残っている場合、処理はステップＳ３に戻されて、それ以降が繰り返される。注目画素に指定していないものが残っていない場合、領域選択部３１で抽出された領域５２内に存在する全ての遮光画素に対する重み付け係数と、相関値が演算されたことになるので、処理はステップＳ９に進められる。
ステップＳ９において、位相差算出部３４は、領域選択部３１で抽出された領域内に存在する遮光画素毎に演算された相関値に、テクスチャ判定部３２で設定された重み付け係数を乗算して積算することにより相関度ヒストグラムを生成する。ステップＳ１０において、位相差算出部３４は、生成した相関度ヒストグラムに基づいて、サブピクセル単位で位相差を検出し、ステップＳ１１において、相関度ヒストグラムの形状、値、積算された遮光画素数などに基づいて検出した位相差の信頼度を判定する。
以上のようにして検出された位相差は、位相差信号として、レンズ駆動部１２に供給される。
以上で、位相差信号生成部２２による、遮光画素と通常画素の間の位相差検出処理の説明を終了する。
＜画素部２１における遮光画素の他の配置例＞
上述したように、画素部２１における遮光画素の配置は、図２に示された第１の配置例が好適であるが、他の配置であってもよい。
図１０は、画素部２１における遮光画素の他の配置例（第２の配置例）を示している。第２の配置例では、受光面の右側が遮光されている右側遮光画素７１と、受光面の左側が遮光されている左側遮光画素７２とが画面全体にランダムに配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第２の配置例であっても問題なく位相差を検出することができる。
図１１は、画素部２１における遮光画素のさらに他の配置例（第３の配置例）を示している。第３の配置例では、受光面の右側が遮光されている右側遮光画素７１だけが画面全体にランダムに配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第３の配置例であっても問題なく位相差を検出することができる。
図１２は、画素部２１における遮光画素のさらに他の配置例（第４の配置例）を示している。第４の配置例では、受光面の右側が遮光されている右側遮光画素７１が遮光方向（いまの場合、右側が遮光されているので水平方向）に直線状に連続して配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第４の配置例であっても問題なく位相差を検出することができる。
図１３は、画素部２１における遮光画素のさらに他の配置例（第５の配置例）を示している。第５の配置例では、受光面の下側が遮光されている下側遮光画素８１が遮光方向（いまの場合、下側が遮光されているので垂直方向）に直線状に連続して配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第５の配置例であっても問題なく位相差を検出することができる。
図１４は、画素部２１における遮光画素のさらに他の配置例（第６の配置例）を示している。第６の配置例では、受光面の左下側が遮光されている左下側遮光画素９１が遮光方向（いまの場合、左下側が遮光されているので右上がりの斜め方向）に直線状に連続して配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第６の配置例であっても問題なく位相差を検出することができる。
図１５は、画素部２１における遮光画素のさらに他の配置例（第７の配置例）を示している。第７の配置例では、受光面の右側が遮光されている右側遮光画素７１が複数の列に規則的に配置されている。本実施の形態の場合、遮光画素は対となって存在する必要がないので、第７の配置例であっても問題なく位相差を検出することができる。
図１６Ａは、画素部２１における遮光画素の他の配置例（第８の配置例）を示している。第８の配置例では、受光面の右側が遮光されている右側遮光画素７１と、受光面の左側が遮光されている左側遮光画素７２が遮光方向の直線状に対となって密に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、このままでは通常画素が足りず、位相差を検出することができる。そこで、同図Ｂに示すように、注目画素としての遮光画素４１の遮光方向に位置する画素の画素値を、それぞれの上下の通常画素の画素値を用いて推定し、位相差の検出に利用する。
図１７Ａは、画素部２１における遮光画素の他の配置例（第９の配置例）を示している。第９の配置例では、受光面の下側が遮光されている下側遮光画素８１と、受光面の上側が遮光されている上側遮光画素８２が遮光方向の直線状に対となって密に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、このままでは通常画素が足りず、位相差を検出することができる。そこで、同図Ｂに示すように、注目画素としての遮光画素４１の遮光方向に位置する画素の画素値を、それぞれの左右の通常画素の画素値を用いて推定し、位相差の検出に利用する。
図１８Ａは、画素部２１における遮光画素の他の配置例（第１０の配置例）を示している。第１０の配置例では、受光面の左下側が遮光されている左下側遮光画素９１と、受光面の右上側が遮光されている右上側遮光画素９２が遮光方向の直線状に対となって密に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、このままでは通常画素が足りず、位相差を検出することができる。そこで、同図Ｂに示すように、注目画素としての遮光画素４１の遮光方向に位置する画素の画素値を、それぞれの左上と右下の通常画素の画素値を用いて推定し、位相差の検出に利用する。
図１９Ａは、画素部２１における遮光画素の他の配置例（第１１の配置例）を示している。第１１の配置例では、受光面の右側が遮光されている右側遮光画素７１と、受光面の左側が遮光されている左側遮光画素７２が対となって複数の列に配置されている。本実施の形態の場合、注目する遮光画素とその遮光方向に位置する通常画素を用いるので、注目画素としての遮光画素４１と隣り合う遮光方向に位置する画素の画素値を、その上下の通常画素の画素値を用いて推定し、位相差の検出に利用する。
＜本実施の形態であるイメージセンサ１３の適用例＞
本実施の形態であるイメージセンサ１３は、表面照射型または裏面照射型のどちらに対しても適用できる。
また、本実施の形態であるイメージセンサ１３は、３トランジスタ型または４トランジスタ型のどちらに対しても適用できる。
さらに、本実施の形態であるイメージセンサ１３は、例えば、図２０に示される４画素共有型CMOSイメージセンサ１１０のように、複数の画素でFDなどを共有するように構成されたCMOSイメージセンサに対して適用できる。
またさらに、本実施の形態であるイメージセンサ１３は、例えば、図２１に示されような、センサ回路１５２（画素部２１に相当）が形成された基板１５１と、論理回路１５４（位相差信号生成部２２などに相当）が形成された基板１５３が積層されている積層型CMOSイメージセンサ１５０に対して適用できる。
なお、本実施の形態であるイメージセンサ１３は、撮像装置だけでなく、撮像機能を有するあらゆる種類の電子装置に適用できる。
本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本開示は以下のような構成も取ることができる。
（１）
縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部と
を備えるイメージセンサ。
（２）
前記生成部は、さらに、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する
前記（１）に記載のイメージセンサ。
（３）
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する通常画素列を生成し、前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
前記（１）または（２）に記載のイメージセンサ。
（４）
前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する、前記遮光画素と同色の通常画素列を補間により生成する
前記（３）に記載のイメージセンサ。
（５）
前記設定部は、生成した前記通常画素列のノイズを除去し、ノイズ除去後の前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
前記（３）または（４）に記載のイメージセンサ。
（６）
前記設定部は、テクスチャ判定としては、ダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行う
前記（１）から（５）のいずれかに記載のイメージセンサ。
（７）
前記注目領域を選択する選択部を
さらに備える前記（１）から（６）のいずれかに記載のイメージセンサ。
（８）
前記選択部は、複数の区画に区分けられた画面のうち、ユーザによって選択された前記区画に基づいて前記注目領域を選択する
前記（７）に記載のイメージセンサ。
（９）
前記選択部は、ユーザによって選択された前記区画上の同一の奥行きを有する領域を前記注目領域として抽出する
前記（８）に記載のイメージセンサ。
（１０）
前記演算部は、前記注目画素としての前記遮光画素の輝度値を補正し、補正後の輝度値と、前記遮光画素の周囲の前記通常画素の輝度値との相関値を演算する
前記（１）から（８）のいずれかに記載のイメージセンサ。
（１１）
前記生成部は、生成した前記相関度ヒストグラムに基づいて、検出した前記位相差の信頼度を算出する
前記（１）から（９）のいずれかに記載のイメージセンサ。
（１２）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向には疎に、かつ、画面全体に規則的に均等に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１３）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、画面全体にランダムに配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１４）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、画面全体にランダムに配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１５）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向に直線状に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１６）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって遮光方向に直線状に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１７）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、複数の列に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１８）
前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって複数の列に配置されている
前記（１）から（１０）のいずれかに記載のイメージセンサ。
（１９）
縦横に配置された通常画素の間に遮光画素が配置されている画素部を備えるイメージセンサにおける前記遮光画素とその周囲の前記通常画素との位相差の演算方法において、
前記イメージセンサによる、
注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定ステップと、
前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算ステップと、
前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成し、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する検出ステップと
含む演算方法。
（２０）
イメージセンサが搭載された電子装置において、
前記イメージセンサは、
縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える
電子装置。
１０ 撮像装置， １１ 光学レンズ部， １２ レンズ駆動部， １３ イメージセンサ， １４ 画像データ生成部， １５ 記録部， ２１ 画素部， ２２ 位相差信号生成部， ３１ 領域選択部， ３２ テクスチャ判定部， ３３ 相関演算部， ３４ 位相差算出部， ４１ 遮光画素

Claims (20)

  1. 縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
    注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
    前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
    前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部と
    を備えるイメージセンサ。
  2. 前記生成部は、さらに、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する
    請求項１に記載のイメージセンサ。
  3. 前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する通常画素列を生成し、前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
    請求項２に記載のイメージセンサ。
  4. 前記設定部は、注目画素としての前記遮光画素を中心として前記遮光画素の遮光方向に位置する、前記遮光画素と同色の通常画素列を補間により生成する
    請求項３に記載のイメージセンサ。
  5. 前記設定部は、生成した前記通常画素列のノイズを除去し、ノイズ除去後の前記通常画素列のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する
    請求項３に記載のイメージセンサ。
  6. 前記設定部は、テクスチャ判定としては、ダイナミックレンジ判定、単調増加／減少判定、または飽和判定の少なくとも一つを行う
    請求項３に記載のイメージセンサ。
  7. 前記注目領域を選択する選択部を
    さらに備える請求項２に記載のイメージセンサ。
  8. 前記選択部は、複数の区画に区分けられた画面のうち、ユーザによって選択された前記区画に基づいて前記注目領域を選択する
    請求項７に記載のイメージセンサ。
  9. 前記選択部は、ユーザによって選択された前記区画上の同一の奥行きを有する領域を前記注目領域として抽出する
    請求項８に記載のイメージセンサ。
  10. 前記演算部は、前記注目画素としての前記遮光画素の輝度値を補正し、補正後の輝度値と、前記遮光画素の周囲の前記通常画素の輝度値との相関値を演算する
    請求項２に記載のイメージセンサ。
  11. 前記生成部は、生成した前記相関度ヒストグラムに基づいて、検出した前記位相差の信頼度を算出する
    請求項２に記載のイメージセンサ。
  12. 前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向には疎に、かつ、画面全体に規則的に均等に配置されている
    請求項２に記載のイメージセンサ。
  13. 前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、画面全体にランダムに配置されている
    請求項２に記載のイメージセンサ。
  14. 前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、画面全体にランダムに配置されている
    請求項２に記載のイメージセンサ。
  15. 前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、遮光方向に直線状に配置されている
    請求項２に記載のイメージセンサ。
  16. 前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって遮光方向に直線状に配置されている
    請求項２に記載のイメージセンサ。
  17. 前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の一方が、複数の列に配置されている
    請求項２に記載のイメージセンサ。
  18. 前記画素部においては、受光面の第１領域が遮光されている第１遮光画素と、受光面の前記第１領域とは異なる第２領域が遮光されている第２左側遮光画素の両方が、対となって複数の列に配置されている
    請求項２に記載のイメージセンサ。
  19. 縦横に配置された通常画素の間に遮光画素が配置されている画素部を備えるイメージセンサにおける前記遮光画素とその周囲の前記通常画素との位相差の演算方法において、
    前記イメージセンサによる、
    注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定ステップと、
    前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算ステップと、
    前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成し、生成した前記相関度ヒストグラムに基づいて、前記注目領域に存在する前記遮光画素とその周囲の前記通常画素との位相差を検出する検出ステップと
    含む演算方法。
  20. イメージセンサが搭載された電子装置において、
    前記イメージセンサは、
    縦横に配置された通常画素の間に遮光画素が配置されている画素部と、
    注目領域に存在する注目画素としての前記遮光画素の周囲のテクスチャを判定し、前記テクスチャに基づいて重み付け係数を設定する設定部と、
    前記注目画素としての前記遮光画素の画素値と、前記遮光画素の周囲の前記通常画素の画素値との相関値を演算する演算部と、
    前記遮光画素に対して演算された前記相関値に前記重み付け係数を乗算し、前記注目領域に存在する前記遮光画素の分だけ積算することにより相関度ヒストグラムを生成する生成部とを備える
    電子装置。
JP2014128834A 2014-06-24 2014-06-24 イメージセンサ、演算方法、および電子装置 Pending JP2016009043A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014128834A JP2016009043A (ja) 2014-06-24 2014-06-24 イメージセンサ、演算方法、および電子装置
US15/318,751 US10212332B2 (en) 2014-06-24 2015-06-11 Image sensor, calculation method, and electronic device for autofocus
PCT/JP2015/066829 WO2015198875A1 (ja) 2014-06-24 2015-06-11 イメージセンサ、演算方法、および電子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014128834A JP2016009043A (ja) 2014-06-24 2014-06-24 イメージセンサ、演算方法、および電子装置

Publications (1)

Publication Number Publication Date
JP2016009043A true JP2016009043A (ja) 2016-01-18

Family

ID=54937966

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014128834A Pending JP2016009043A (ja) 2014-06-24 2014-06-24 イメージセンサ、演算方法、および電子装置

Country Status (3)

Country Link
US (1) US10212332B2 (ja)
JP (1) JP2016009043A (ja)
WO (1) WO2015198875A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10447915B2 (en) 2016-09-27 2019-10-15 Canon Kabushiki Kaisha Image sensor and imaging apparatus with first and second focus detection data at a top and bottom of captured image data

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6633746B2 (ja) * 2016-05-17 2020-01-22 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
TWI604221B (zh) * 2016-05-27 2017-11-01 致伸科技股份有限公司 影像景深測量方法以及應用該方法的影像擷取裝置
US10033949B2 (en) 2016-06-16 2018-07-24 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
WO2018168551A1 (ja) * 2017-03-16 2018-09-20 富士フイルム株式会社 撮像素子及び撮像装置
CN107147857B (zh) * 2017-05-17 2020-03-20 上海集成电路研发中心有限公司 一种高灵敏度的相位检测像素单元及其驱动方法
KR102375989B1 (ko) 2017-08-10 2022-03-18 삼성전자주식회사 화소 사이의 신호 차이를 보상하는 이미지 센서
US20190253607A1 (en) * 2018-02-15 2019-08-15 Qualcomm Incorporated Object tracking autofocus
US10812708B2 (en) * 2019-02-22 2020-10-20 Semiconductor Components Industries, Llc Imaging systems with weathering detection pixels
CN112004026B (zh) * 2020-09-01 2021-06-29 北京小米移动软件有限公司 相位对焦装置、方法、拍摄方法、装置、终端设备及介质
KR20220036630A (ko) 2020-09-16 2022-03-23 삼성전자주식회사 컬러 보정을 위한 영상 처리 장치, 영상 처리 방법 및 이를 포함하는 영상 처리 시스템

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4007716B2 (ja) * 1999-04-20 2007-11-14 オリンパス株式会社 撮像装置
JP4797606B2 (ja) * 2005-12-01 2011-10-19 株式会社ニコン 撮像装置
US7813900B2 (en) * 2006-02-01 2010-10-12 National University Corporation The University Of Electro-Communications Displacement detection method, displacement detection device, displacement detection program, phase singularity matching method and phase singularity matching program
JP5264131B2 (ja) * 2007-09-14 2013-08-14 キヤノン株式会社 撮像装置
JP5157400B2 (ja) 2007-12-03 2013-03-06 株式会社ニコン 撮像装置
JP5012495B2 (ja) * 2007-12-26 2012-08-29 株式会社ニコン 撮像素子、焦点検出装置、焦点調節装置および撮像装置
JP5219865B2 (ja) 2008-02-13 2013-06-26 キヤノン株式会社 撮像装置及び焦点制御方法
JP5179223B2 (ja) * 2008-02-26 2013-04-10 オリンパス株式会社 撮像装置及び撮像プログラム
JP5274299B2 (ja) * 2008-03-11 2013-08-28 キヤノン株式会社 撮像装置
JP5371331B2 (ja) * 2008-09-01 2013-12-18 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
JP5361535B2 (ja) * 2009-05-25 2013-12-04 キヤノン株式会社 撮像装置
JP5381472B2 (ja) 2009-08-05 2014-01-08 株式会社ニコン 撮像装置
EP2562246B1 (en) * 2010-04-23 2018-09-05 Hamamatsu Photonics K.K. Cell observation device and cell observation method
CN102870028B (zh) * 2010-04-28 2015-11-25 富士胶片株式会社 成像装置
JP5655543B2 (ja) * 2010-12-20 2015-01-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム。
JP5786355B2 (ja) 2011-02-17 2015-09-30 株式会社ニコン デフォーカス量検出装置および電子カメラ
JP5396566B2 (ja) * 2011-03-30 2014-01-22 富士フイルム株式会社 撮像装置及びそのオートフォーカス制御方法
CN103597811B (zh) * 2011-06-09 2015-07-29 富士胶片株式会社 拍摄立体移动图像和平面移动图像的图像拍摄元件以及装配有其的图像拍摄装置
WO2013042518A1 (ja) * 2011-09-22 2013-03-28 富士フイルム株式会社 デジタルカメラ
CN103874952B (zh) * 2011-09-29 2015-09-30 富士胶片株式会社 固体摄像元件、摄像装置及对焦控制方法
CN104041009B (zh) * 2011-12-28 2016-02-03 富士胶片株式会社 摄像元件及摄像装置
JP5966636B2 (ja) * 2012-06-06 2016-08-10 株式会社ニコン 撮像素子および撮像装置
JP5942697B2 (ja) * 2012-08-21 2016-06-29 株式会社ニコン 焦点検出装置および撮像装置
JP2014179939A (ja) * 2013-03-15 2014-09-25 Sony Corp 信号処理装置および信号処理方法
JP2014183206A (ja) * 2013-03-19 2014-09-29 Sony Corp 固体撮像装置および固体撮像装置の駆動方法ならびに電子機器
US9503698B2 (en) * 2013-08-01 2016-11-22 Harvest Imaging bvba Image sensor with shading detection
US9196044B2 (en) * 2014-02-26 2015-11-24 Raytheon Company False alarm rejection for boat detection candidates

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10447915B2 (en) 2016-09-27 2019-10-15 Canon Kabushiki Kaisha Image sensor and imaging apparatus with first and second focus detection data at a top and bottom of captured image data
US11356595B2 (en) 2016-09-27 2022-06-07 Canon Kabushiki Kaisha Image sensor and imaging apparatus for outputting image data by discriminating whether to add a result of AF calculation to a captured image data

Also Published As

Publication number Publication date
WO2015198875A1 (ja) 2015-12-30
US20170118398A1 (en) 2017-04-27
US10212332B2 (en) 2019-02-19

Similar Documents

Publication Publication Date Title
WO2015198875A1 (ja) イメージセンサ、演算方法、および電子装置
EP3354009B1 (en) Phase detection autofocus arithmetic
CN108141528B (zh) 相位检测自动聚焦降噪
JP5904281B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
US9383548B2 (en) Image sensor for depth estimation
CN104427251B (zh) 焦点检测设备、其控制方法、以及摄像设备
JP6131546B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
KR101763436B1 (ko) 상이한 광 감도들을 갖는 포토다이오드들을 갖는 이미징 어레이 및 관련 이미지 복원 방법들
JP2011171858A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US20160254300A1 (en) Sensor for dual-aperture camera
Chan et al. Enhancement of phase detection for autofocus
US9147257B2 (en) Consecutive thin edge detection system and method for enhancing a color filter array image
JP5638849B2 (ja) 撮像装置
JP2015177244A (ja) 画像処理装置及び画像処理方法
CN105580354A (zh) 摄像装置和图像处理方法
JP2015211343A5 (ja)
JP5927265B2 (ja) 画像処理装置及びプログラム
JP2015032842A (ja) 固体撮像素子、撮像装置、および補正方法
JP5673764B2 (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2009017583A (ja) 画像処理装置
JP2018064249A5 (ja)
JP2016195367A5 (ja)
JP2015070382A (ja) 画像処理装置
JP2010041491A (ja) 撮像装置