JP2018011246A

JP2018011246A - 固体撮像装置、補正方法、および電子装置

Info

Publication number: JP2018011246A
Application number: JP2016139998A
Authority: JP
Inventors: 毅都築; Takeshi Tsuzuki
Original assignee: Sony Semiconductor Solutions Corp
Current assignee: Sony Semiconductor Solutions Corp
Priority date: 2016-07-15
Filing date: 2016-07-15
Publication date: 2018-01-18

Abstract

【課題】ビニングによって出力された画素のうち、OCLの形状の異なる画素の画素値を適切に補間する。【解決手段】本開示の一側面である固体撮像装置は、所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイと、ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間部とを備える。本開示は、例えば、CMOSイメージセンサに適用できる。【選択図】図５

Description

本開示は、固体撮像装置、補正方法、および電子装置に関し、特に、位相差信号を生成するための位相差検出用画素の周囲に存在する色信号を生成するための標準画素の画素値を補正するようにした固体撮像装置、補正方法、および電子装置に関する。

デジタルカメラ等におけるＡＦ(Auto Focus)方式の一手法として像面位相差ＡＦが知られている。

像面位相差ＡＦを実現するためのイメージセンサには、色信号を出力する標準画素が縦横に配置されている画素アレイ上に、位相差信号を生成するための画素値を出力する部分的に遮光された位相差検出画素が配置されている。ただし、部分的に遮光された位相差検出画素を用いる場合、低照度時には適切な位相差信号を得られないためにＡＦ性能が低下してしまうことが起こり得た。

そのような事態を抑止できるイメージセンサとして、２×１OCL(On Chip Lens)構造を有する位相差検出画素（以下、２×１OCL画素と略称する）を標準画素間に離散的に配置する構成が提案されている。OCLは、画素の集光効率向上のために画素の受光側に形成されるレンズであるが、２×１OCL構造を有する位相差検出画素は、受光面に標準画素の２画素分の横長形状（または縦長形状）のOCLを備え、該OCLの右側と左側をそれぞれ通った光を位相差検出画素内の異なる受光素子で受光することにより得られる画素値から位相差信号を生成することができる。

なお、２×１OCL画素が画素アレイに混載されているイメージセンサからの出力を画像データとして使用する場合、２×１OCL画素の位置に対応する色信号を得るために適切な補間処理を行う必要がある。この補間には、例えば、２×１OCL画素の周辺領域の方向性を検出して補間する方向補間処理や、周辺領域の各色のレベルを利用した相関補間処理等を用いることができる。

ここで、イメージセンサが行うビニング(Binning)について説明する。ビニングは、画素混合とも称され、複数の画素の画素値を加算平均することにより、画像を低解像度化して出力する処理を指す。

イメージセンサがビニングを行うことにより、その後段の回路におけるデータ処理を削減できるので、該回路における消費電力を下げることができる。また、ビニングには、ノイズ低減の効果があることから、暗所または高感度設定時などのようにノイズが多いシーンの撮像に用いられたり、超高速撮像や小さい画面での画面確認用として使われたりする。

一般的なビニングでは、同色の複数の画素の画素値が加算平均されて、その結果が該複数の画素の中心の位相（位置）の画素値として出力される。

ただし、以下に説明する実施の形態では、加算平均の対象となる複数の画素の中に位相差画素が含まれる場合には位相差画素が保存されるという動作を前提とする。すなわち、該位相差画素の画素値が該位相差検出画素の位相（位置）に対応する画素値として出力される。この場合、イメージセンサの出力を像面位相差ＡＦに使用することができるので、ＡＦ性能を維持することができるメリットがある。

特開平０１−２１６３０６号公報

しかしながら、ビニングの出力における保存された位相差画素は、周囲の周囲画素との位置関係が失われている（位相がずれている）ので、その影響はエッジ部分で特に大きく、位相差検出画素の位置に対応する色信号を補間する場合、相関補間処理では精度が大幅に低下してしまうので方向補間処理に頼ることになる。

ただし、位相差検出画素の位置に対応する色信号を補間するために方向補間処理を行っても、複数のエッジが交わる領域では方向検出が難しいので誤補間が起こり得た。

本開示はこのような状況に鑑みてなされたものであり、ビニングによって出力された画素のうち、OCLの形状の異なる画素の画素値を適切に補間できるようにするものである。

本開示の第１の側面である固体撮像装置は、所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイと、ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間部とを備える。

前記第２の画素は、位相差検出画素とすることができる。

前記第２の画素のOCL(On Chip Lens)の寸法は、前記第１の画素のOCLの寸法の水平方向２倍、垂直方向１倍とすることができる。

前記第２の画素のOCL(On Chip Lens)の寸法は、前記第１の画素のOCLの寸法の水平方向１倍、垂直方向２倍とすることができる。

前記補間部は、前記画素アレイのビニング出力における前記第２の画素の画素値が保存されている補間対象位置の周辺のテクスチャの方向情報を検出する方向検出部を有することができる。

前記補間部は、前記画素アレイのビニング出力における前記第２の画素の画素値が保存されている補間対象位置に対し、その周辺のテクスチャの方向情報に従った方向補間処理を行うことができる。

前記補間部は、さらに、前記画素アレイのビニング出力における前記第２の画素の画素値が保存されている補間対象位置に対し、その周辺から複数のエッジが交わるコーナ領域を検出するコーナ検出部と、検出されたコーナ領域に基づき、補間対象位置の周辺のテクスチャの方向情報を修正する方向修正部と、修正した前記方向情報に従った方向補間処理を行う第１の方向補間部とを有することができる。

前記コーナ検出部は、前記補間対象位置に隣接する画素の画素値の平均値と、前記補間対象位置に隣接しない周囲の画素の画素値の平均値とに基づいて、前記コーナ領域を検出することができる。

前記方向修正部は、前記補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向が、検出された前記方向情報と略直交している場合、検出された前記方向情報を修正することができる。

前記方向修正部は、前記補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向が、検出された前記方向情報と略直交している場合、検出された前記方向情報を、前記補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向に修正することができる。

前記補間部は、さらに、検出された前記方向情報に従った方向補間処理を行う第２の方向補間部と、前記第１の方向補間部の結果と、前記第２の方向補間部の結果とを合成し、前記補間対象位置の補間値とする合成部とを有することができる。

本開示の第１の側面である補正方法は、所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイを備える固体撮像装置の補正方法において、前記固体撮像装置による、ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間ステップを含む。

本開示の第１の側面においては、ビニング処理が実施された第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理が行われる。

本開示の第２の側面である電子装置は、固体撮像装置が搭載されている電子装置において、前記固体撮像装置が、所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイと、ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間部とを備える。

本開示の第２の側面においては、固体撮像装置により、ビニング処理が実施された第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理が行われる。

本開示の第１および第２の側面によれば、ビニングによって出力された画素のうち、OCLの形状の異なる画素の画素値を適切に補間することができる。

また、本開示の第１および第２の側面によれば、画像に生じ得る見かけ上の違和感を抑止することができる。

カラーフィルタの配置例を示す図である。本開示を適用したイメージセンサの構成例を示すブロック図である。画素アレイ１１による垂直２画素ビニングを説明する図である。テクスチャの方向が複数ある領域の例を示す図である。異形画素補間部の第１の構成例を示すブロック図である。コーナ検出方法を説明するための図である。図４に示された画素値の大小関係を反転させた図である。方向性（方向情報）の定義を表す図である。異形画素補間部の第１の構成例による補間処理の動作を説明するフローチャートである。異形画素補間部の第２の構成例を示すブロック図である。異形画素補間部の第２の構成例による補間処理を説明するフローチャートである。体内情報取得システムの概略的な構成の一例を示すブロック図である。車両制御システムの概略的な構成の一例を示すブロック図である。車外情報検出部及び撮像部の設置位置の一例を示す説明図である。

以下、本開示を実施するための最良の形態（以下、実施の形態と称する）について、図面を参照しながら詳細に説明する。

なお、以下の説明において、イメージセンサ（固体撮像装置）の画素アレイに配置されている複数の画素のうち、色信号を生成するための１画素分の面積を占めるOCLを有する画素を標準画素と称する。また、位相差信号を生成するための画素値を出力する２画素分の面積を占めるOCL（すなわち、２×１OCL）を有する位相差検出画素を２×１OCL画素または異形画素とも称する。

本実施の形態であるイメージセンサは、ビニングを行う場合、同色の２画素分の画素値を１画素分の画素値として出力する。ただし、２画素が標準画素である場合、２画素の画素値を加算平均し、その値を２画素の中心の位置に対応する画素値として出力する。２画素のうちの一方が異形画素（位相差検出画素）である場合、異形画素の画素値だけを採用し、異形画素の位置に対応する画素値として後段に出力する。

なお、異形画素（位相差検出画素）とそのOCLの形状は、２×１に限るものではなく、標準画素とそのOCLの形状である１×１以外であれば、例えば１×２、２×２等であってもよい。また、画素アレイ上に２種類以上の異形OCLを有する画素を混載してもよい。

＜本実施の形態であるイメージセンサの構成例＞
図１は、本実施の形態であるイメージセンサ１０（図２）に搭載されている画素アレイ１１におけるカラーフィルタの配列例を示している。

この配置例は、基本的には標準画素および変形画素がベイヤ配列を成している。なお、図中のＲ(RED)，Ｇ(GREEN)，Ｂ(BLUE)は、それぞれＲ、Ｇ、またはＢのカラーフィルタで覆われている標準画素の配置を示している。

また、図中のＰＤは２×１OCL画素の配置を示しており、画素アレイ１１の全体に離散的に配置される。なお、ＰＤは、ベイヤ配列におけるＧとＢの２画素分の面積を占めており、Ｇのカラーフィルタで覆われているものとする。なお、２×１OCL画素を覆うカラーフィルタの色はＧに限らず、ＲまたはＢであってもよい。

なお、標準画素の配置例は、上述したベイヤ配列に限るものではなく、他の配列を適用してもよい。

次に、図２は、本開示の実施の形態であるイメージセンサ（固体撮像装置）の構成例を示している。このイメージセンサ１０は、像面位相差ＡＦ機能を備えた電子装置に搭載されるものである。なお、イメージセンサ１０は、表面照射型でも裏面照射型でもよい。また、イメージセンサ１０は、複数の基板から成る積層型でもよい。

イメージセンサ１０は、画素アレイ１１、位相差検出部１２、異形画素補間部１３、ＡＦ制御部１４、欠陥画素補正部１５、およびカメラ信号処理部１６を備える。

画素アレイ１１は、図１に示されたように混載されている標準画素と異形画素の各出力を位相差検出部１２に出力する（以下、この出力を通常出力と称する）。また、画素アレイ１１は、垂直方向に隣接する同色の２画素の画素値を１画素分の画素値として出力する垂直２画素ビニングを実行する（以下、該出力をビニング出力と称する）。

図３は、画素アレイ１１による垂直２画素ビニングを示している。同図Ａは、ビニングを行う垂直方向に隣接する同色の２画素が標準画素（図中の□）である場合として示している。この場合、２画素の画素値が加算平均されて、その値が２画素の中心の位相に対応する画素値として出力される。

同図Ｂおよび同図Ｃは、ビニングを行う垂直方向に隣接する同色の２画素に一方が位相差検出画素（異形画素＝２×１OCL画素）左右半分の一方（図中の■）である場合として示している。ただし、位相差検出画素である２×１OCL画素がビニングされる場合には、２×１OCL画素の左半分と右半分をそれぞれ１画素とみなされる。

例えば、図１のＰＤと記されていた２×１OCL画素の左半分の１画素がビニングされる場合には、縦方向に隣接するＧの標準画素と対になり、該左半分の画素値が該左半分の位相に対応する画素値として出力される。また、２×１OCL画素の右半分の１画素がビニングされる場合には、縦方向に隣接するＢの標準画素と対になり、該右半分の画素値が該右半分の位相に対応する画素値として出力される。

したがって、ビニング出力において、位相差検出画素に基づく画素値は、その周囲の標準画素が加算平均されている画素値に対して、垂直方向に位相がずれていることになる。

なお、ビニングを行う画素数は２に限るものではなく、それ以上、例えば４画素を加算平均するようにしてもよい。また、ビニングを行う方向は、垂直方向に限らず、水平方向に行う場合もある。

以下においては、画素アレイ１１がビニング出力する場合についてのみ言及する。

図２に戻る。位相差検出部１２は、画素アレイ１１のビニング出力から異形画素の画素値を抽出し、抽出した該画素値に基づいてフォーカスのずれに対応する位相差信号を検出して異形画素補間部１３およびＡＦ制御部１４に出力する。また、位相差検出部１２は、ビニング出力を異形画素補間部１３に出力する。

異形画素補間部１３は、前段からの入力に基づき、位相差画素（異形画素）の位置における色信号を、方向補間処理を用いて補間する（詳細後述）。そして、異形画素補間部１３は、異形画素の位置に対して色信号を補間したビニング出力を、欠陥画素補正部１５に出力する。

ＡＦ制御部１４は、検出された位相差信号に基づき、フォーカスレンズを駆動するためのレンズ制御信号を生成してレンズ駆動部（いずれも不図示）に出力する。

欠陥画素補正部１５は、前段からの入力に基づき、欠陥画素の色信号を補間する。また、欠陥画素補正部１５は、異形画素の位置に対して色信号が補間され、欠陥画素が補間されたビニング出力をカメラ信号処理部１６に出力する。

カメラ信号処理部１６は、各画素が有するＲ，Ｇ，Ｂのいずれかの色信号に対して、所定のカメラ信号処理（ホワイトバランス処理、デモザイク処理、リニアマトリックス処理、ガンマ補正処理等）を行い、その結果得られる各画素がＲ，Ｇ，Ｂの全ての色信号を有するRGB画像を後段に出力する。

＜イメージセンサ１０の動作＞
イメージセンサ１０においては、画素アレイ１１のビニング出力から位相差検出部１２によって位相差検出信号が検出されてＡＦ制御が行われる。また、異形画素補間部１３によって異形画素の位置に対して色信号が補間され、欠陥画素補正部１５によって欠陥画素の色信号が補間される。そしてそれらの補正結果に基づき、カメラ信号処理部１６によってRGB画像が生成されて出力される。

なお、異形画素補間部１３、および欠陥画素補正部１５の回路構成や処理順序は、図示するように直列である必要はなく、これらを並列に接続し、同時にそれぞれの処理を実行させるようにしてもよい。これによって、より速やかにイメージセンサ１０からRGB画像を出力させることができる。

＜異形画素補間部１３について＞
次に、異形画素補間部１３について詳述する。

異形画素の画素値は、色信号とは異なり、そのまま画像に用いると孤立点のように見えてしまうので、異形画素がベイヤ配列におけるＲまたはＢの位置である場合にのみ、異形画素補間部１３により、異形画素の位置に、その周囲のテクスチャの方向性を検出して補間する方向補間処理によって色信号を補間する。これは、ＲおよびＢの画素は、Ｇの画素に比較して画素数が少なく、より低周波の信号成分であり、この誤補間は画像における大面積の偽色につながり得る。よって、ＲとＢの誤補間を低減させることにより、画像上の偽色を低減させる効果を得るために実行される。

ただし、方向補間処理では、テクスチャの方向が複数ある領域では補間精度が低下してしまうことがある。

図４は、テクスチャの方向が複数ある領域の例を示している。すなわち、縦方向の線と横方向の線が交わるコーナ領域を想定し、該コーナ近傍の太い黒枠で囲んだ位置に対して、その周囲の５×５画素を用いて方向補間処理を行う場合を考える。

この場合、該コーナ領域には縦方向と横方向のエッジが存在しており、テクスチャの方向というもの自体を一義的に定義できないため、方向検出結果は不適切なものとなる。仮に、同図に矢印によって示す方向が検出されたとすると、矢印の両端が黒線の上に乗っているため、補間対象の位置には通常であれば黒線と同じ色を表す画素値が補間される。しかしながら、補間対象の位置には、本来は該コーナの内側の色を表す画素値の補間が望ましいので、黒線と同色を表す画素値の補間は誤補間であり、該コーナ付近に偽色点が発生することになる。

そこで、異形画素補間部１３では、補間位置（異形画素の左半分、または、右半分）の周辺におけるテクスチャの方向性を検出するとともに、補間位置の周囲におけるコーナ領域を検出し、検出したコーナ領域に基づき、検出した方向性を修正して方向補間処理を行うようにする。

＜異形画素補間部１３の第１の構成例について＞
図５は、上述したように動作する異形画素補間部１３の第１の構成例を示している。この第１の構成例は、方向検出部２１、コーナ検出部２２、方向修正部２３、および方向補間部２４を備える。

方向検出部２１は、補間位置の周辺におけるテクスチャの方向性を検出し、検出結果を方向修正部２３に出力する。コーナ検出部２２は、補間位置の周辺におけるコーナ領域を検出し、検出結果を方向修正部２３に出力する。なお検出されるコーナ領域は、補間位置とコーナの頂点との位置関係に応じて４種類に分類される。例えば、図４に示されたように、補間位置に対してコーナの頂点が右下にある場合には右下コーナに分類される。この他の場合には、左上コーナ、左下コーナ、または右上コーナに分類される。

方向修正部２３は、方向検出部２１によって検出されたテクスチャの方向性を、コーナ検出部２２によって検出されたコーナ領域の方向に基づいて修正し、修正結果を方向補間部２４に出力する。方向補間部２４は、修正されたテクスチャの方向性に従って方向補間処理を行う。

＜コーナ検出部２２によるコーナ検出方法について＞
図６は、コーナ検出部２２によるコーナ検出方法を示している。具体的には、補間位置がベイヤ配列におけるＲまたはＢの位置である場合に、補間位置を中心とする５×５画素を参照し、５×５画素に含まれるＧの画素のうちの４画素を用いて５種類の平均値を算出する。

すなわち、同図Ａに示されるように、１種類目の平均値として、補間位置の上下左右に位置するＧの４画素の平均値ctr4aveを算出する。また、同図Ｂに示されるように、２種類目の平均値として、補間位置の左上方向に位置するＧの４画素の平均値diag4ave[0]を算出する。同様に、同図Ｃ乃至同図Ｅに示されるように、３乃至５種類目の平均値として、補間位置の右上方向、右下方向、または左下方向に位置するＧの４画素の平均値diag4ave[1]乃至diag4ave[3]を算出する。

そして、算出した平均値を用い、次式（１）に示す条件が成立した場合にコーナ領域であると判定する。
(abs(max4ave-ctr4ave)＜TH1)&&(max4ave-min4ave＞TH2)
・・・（１）

ここで、max4aveは、４種類の平均値diag4ave[0]乃至diag4ave[3]の最大値である。min4aveは、４種類の平均値diag4ave[0]乃至diag4ave[3]の最小値である。TH1およびTH2は、所定の閾値である。

式（１）に基づいてコーナ領域であると判定された場合、max4aveに対応する平均値が算出された方向の反対側がコーナの方向となる。例えば、図４の場合、max4aveは、左上方向に位置するＧの４画素の平均値diag4ave[0]である。よって、該コーナは、その反対側の右下コーナであることが分かる。

なお、図４では、大きな画素値（例えば、白色）を有する背景に対して小さな画素値（例えば、黒色）の線によるコーナ領域がある場合を示していたが、これが反転した図７に示されるような場合でも上述した方法によってコーナ領域を検出できる。

図７は、小さな画素値（例えば、黒色）を有する背景に対して、大きな画素値（例えば、白色）の線によるコーナ領域がある場合を示している。ただし、この場合、min4aveに対応する平均値が算出された方向の反対側がコーナの方向となる。

＜方向修正部２３による方向修正方法について＞
次に、方向修正部２３による方向修正方法について説明する。

補間位置の周囲のテクスチャの方向性を修正するには、まず、方向検出部２１によって検出された方向性（以下、方向情報とも称する）が間違っているか否かを判定する必要がある。例えば、図４に示された例では、補間位置に対してコーナの方向は右下であり、このときに図中の矢印の方向に従って方向補間を行うと誤補間になる。

ここで、図７に示されるように、方向検出部２１によって検出された方向情報を数値化して定義する。例えば、図４の矢印の方向は１２と定義されている。また、例えば図４の矢印と直交する方向は４と定義されている。その他の方向については、図示するとおりとする。

図４に示された例のように、補間位置に対するコーナの方向が右下のときに、方向情報が１２かそれに近い値であれば誤補間となる可能性が高いと判定する。

なお、方向情報は点対称であるので、検出された方向が180度以上である場合には、その角度から180°を引いた角度と方向情報は同値となる。したがって、補間位置に対するコーナの方向が左上のときにも、方向情報が１２かそれに近い値であれば誤補間となる可能性が高いと判定する。

同様に、補間位置に対するコーナの方向が右上または左下のときも、方向情報が４かそれに近い値であれば誤補間となる可能性が高いと判定する。

検出された方向情報が誤補間となる可能性が高いと判定された場合、誤補間となる可能性が最も低くなるように、方向情報を、補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向に修正する。

図４に示される例で、検出された方向情報（図中の矢印）が誤補間となる可能性が高いと判定された場合であって、補間位置に対するコーナの方向が右下または左上であるときには、方向情報を４に修正する。この修正により、補間位置の画素値は、黒線と同じ色に補間されてしまう誤補間の場合に比較して、黒色と白色の間に補間されるので、単に平均値を適用するだけでも、誤補間のレベルが低減される。あるいは、補間位置の修正した方向情報に沿った両隣の画素のうち、補間位置の画素値と近い画素値を採用するようにすれば白色が補間される可能性が高くなり、補間結果の画質の向上が期待できる。

＜異形画素補間部１３の第１の構成例の動作について＞
図９は、異形画素補間部１３の第１の構成例による補間処理を説明するフローチャートである。

この補間処理は、２画素分のサイズを有する各異形画素の左半分と右半分のうち、ベイヤ配列におけるＲまたはＢの位置を順次補間位置に指定して実行されるものであり、その前提として、異形画素補間部１３に対しては、前段の位相差検出部１２を介して、画素アレイ１１からのビニング出力が供給されているものとする。

ステップＳ１において、方向検出部２１は、補間位置の周辺におけるテクスチャの方向性（方向情報）を検出し、検出結果を方向修正部２３に出力する。ステップＳ２において、コーナ検出部２２は、補間位置の周辺におけるコーナ領域を検出して４種類のいずれかに分類し、その結果を方向修正部２３に出力する。

ステップＳ３において、方向修正部２３は、方向検出部２１によって検出されたテクスチャの方向情報を、コーナ検出部２２によって検出されたコーナ領域の方向に基づいて修正し、その結果を方向補間部２４に出力する。ステップＳ４において、方向補間部２４は、修正されたテクスチャの方向情報に従って方向補間処理を行う。以上で、現在の補間位置に対する補間処理が終了される。

以上に説明した異形画素補間部１３の第１の構成例による補間処理によれば、異形画素の左半分と右半分のうち、ベイヤ配列におけるＲまたはＢの位置に相当する画素値を検出して補間することができるので、画像における見かけ上の違和感（孤立点等）を抑止することができる。

ただし、異形画素の左半分と右半分の一方がベイヤ配列におけるＲまたはＢであり、他方がＧである場合には、異形画素の左半分と右半分の一方のみが補間され、他方が補間されないことになる。この場合、補正されなかったＧの位置は孤立点として際立ってしまい、かえって画像の見栄えが悪くなることが生じ得る。

＜異形画素補間部１３の第２の構成例について＞
図１０は、上述した問題を解決し得る異形画素補間部１３の第２の構成例を示している。この第２の構成例は、方向検出部３１、コーナ検出部３２、方向修正部３３、方向補間部３４、方向補間部３５、およびαブレンド部３６を備える。

方向検出部３１は、図５の方向検出部２１と同様に、補間位置の周辺におけるテクスチャの方向性を検出し、検出結果を方向修正部３３および方向補間部３５に出力する。コーナ検出部３２は、図５のコーナ検出部２２と同様に、補間位置の周辺におけるコーナ領域を検出して４種類のいずれかに分類し、その結果を方向修正部３３に出力する。

方向修正部３３は、図５の方向修正部２３と同様に、方向検出部３１によって検出されたテクスチャの方向性を、コーナ検出部３２によって検出されたコーナ領域の方向に基づいて修正し、修正結果を方向補間部３４に出力する。方向補間部３４は、図５の方向補間部２４と同様に、修正されたテクスチャの方向性に従った方向補間処理（第１の方向補間処理）を行い、その結果をαブレンド部３６に出力する。

方向補間部３５は、方向検出部３１によって検出されたテクスチャの方向性に従って方向補間処理（第２の方向補間処理）を行い、その結果をαブレンド部３６に出力する。αブレンド部３６は、第１の方向補間処理の結果と、第２の方向補間処理の結果を所定のブレンド率に従って合成することにより補間値を生成して補間位置に対する画素値とする。

＜異形画素補間部１３の第２の構成例の動作について＞
図１１は、異形画素補間部１３の第２の構成例による補間処理を説明するフローチャートである。

ステップＳ１１において、方向検出部３１は、補間位置の周辺におけるテクスチャの方向性（方向情報）を検出し、検出結果を方向修正部３３および方向補間部３５に出力する。

ステップＳ１２において、コーナ検出部３２は、補間位置の周辺におけるコーナ領域を検出して４種類のいずれかに分類し、その結果を方向修正部３３に出力する。

ステップＳ１３において、方向修正部３３は、方向検出部３１によって検出されたテクスチャの方向情報を、コーナ検出部３２によって検出されたコーナ領域の方向に基づいて修正し、その結果を方向補間部３４に出力する。ステップＳ１４において、方向補間部３４は、修正されたテクスチャの方向情報に従って方向補間処理（第１の方向補間処理）を行い、その結果をαブレンド部３６に出力する。

ステップＳ１５において、方向補間部３５は、方向検出部３１によって検出されたテクスチャの方向性に従って方向補間処理（第２の方向補間処理）を行い、その結果をαブレンド部３６に出力する。

ステップＳ１６において、αブレンド部３６は、第１の方向補間処理の結果と、第２の方向補間処理の結果を所定のブレンド率に従って合成することにより補間値を生成して補間位置に対する画素値とする。以上で、現在の補間位置に対する補間処理が終了される。

以上に説明した異形画素補間部１３の第２の構成例による補間処理によれば、２種の方向情報にそれぞれ従った方向補間処理の結果が合成されて補間値とされるので、２画素分のサイズを有する各異形画素の左半分と右半分のうちの補間されない方の孤立が緩和される。よって、結果として最も見栄えの良いコーナ補正画質を得ることができる。

なお、本実施の形態では、２×１OCLを有する異形画素の目的を位相差ＡＦ制御のための位相差検出用としたが、標準画素とOCLの形状が異なる異形画素の目的は、位相差検出に限るものではない。

＜第１の応用例＞
本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、カプセル型内視鏡を用いた患者の体内情報取得システムに適用されてもよい。

図１２は、本開示に係る技術が適用され得る体内情報取得システム５４００の概略的な構成の一例を示す図である。図１２を参照すると、体内情報取得システム５４００は、カプセル型内視鏡５４０１と、体内情報取得システム５４００の動作を統括的に制御する外部制御装置５４２３と、から構成される。検査時には、カプセル型内視鏡５４０１が患者によって飲み込まれる。カプセル型内視鏡５４０１は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置５４２３に順次無線送信する。外部制御装置５４２３は、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための画像データを生成する。体内情報取得システム５４００では、このようにして、カプセル型内視鏡５４０１が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した画像を随時得ることができる。

カプセル型内視鏡５４０１と外部制御装置５４２３の構成及び機能についてより詳細に説明する。図示するように、カプセル型内視鏡５４０１は、カプセル型の筐体５４０３内に、光源部５４０５、撮像部５４０７、画像処理部５４０９、無線通信部５４１１、給電部５４１５、電源部５４１７、状態検出部５４１９及び制御部５４２１の機能が搭載されて構成される。

光源部５４０５は、例えばＬＥＤ（light emitting diode）等の光源から構成され、撮像部５４０７の撮像視野に対して光を照射する。

撮像部５４０７は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した電気信号、すなわち観察像に対応した画像信号を生成する。撮像部５４０７によって生成された画像信号は、画像処理部５４０９に提供される。なお、撮像部５４０７の撮像素子としては、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等、各種の公知の撮像素子が用いられてよい。

画像処理部５４０９は、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサによって構成され、撮像部５４０７によって生成された画像信号に対して各種の信号処理を行う。当該信号処理は、画像信号を外部制御装置５４２３に伝送するための最小限の処理（例えば、画像データの圧縮、フレームレートの変換、データレートの変換及び／又はフォーマットの変換等）であってよい。画像処理部５４０９が必要最小限の処理のみを行うように構成されることにより、当該画像処理部５４０９を、より小型、より低消費電力で実現することができるため、カプセル型内視鏡５４０１に好適である。ただし、筐体５４０３内のスペースや消費電力に余裕がある場合であれば、画像処理部５４０９において、更なる信号処理（例えば、ノイズ除去処理や他の高画質化処理等）が行われてもよい。画像処理部５４０９は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部５４１１に提供する。なお、画像処理部５４０９は、状態検出部５４１９によってカプセル型内視鏡５４０１の状態（動きや姿勢等）についての情報が取得されている場合には、当該情報と紐付けて、画像信号を無線通信部５４１１に提供してもよい。これにより、画像が撮像された体内における位置や画像の撮像方向等と、撮像画像とを関連付けることができる。

無線通信部５４１１は、外部制御装置５４２３との間で各種の情報を送受信可能な通信装置によって構成される。当該通信装置は、アンテナ５４１３と、信号の送受信のための変調処理等を行う処理回路等から構成される。無線通信部５４１１は、画像処理部５４０９によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ５４１３を介して外部制御装置５４２３に送信する。また、無線通信部５４１１は、外部制御装置５４２３から、カプセル型内視鏡５４０１の駆動制御に関する制御信号を、アンテナ５４１３を介して受信する。無線通信部５４１１は、受信した制御信号を制御部５４２１に提供する。

給電部５４１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部５４１５では、いわゆる非接触充電の原理を用いて電力が生成される。具体的には、給電部５４１５のアンテナコイルに対して外部から所定の周波数の磁界（電磁波）が与えられることにより、当該アンテナコイルに誘導起電力が発生する。当該電磁波は、例えば外部制御装置５４２３からアンテナ５４２５を介して送信される搬送波であってよい。当該誘導起電力から電力再生回路によって電力が再生され、昇圧回路においてその電位が適宜調整されることにより、蓄電用の電力が生成される。給電部５４１５によって生成された電力は、電源部５４１７に蓄電される。

電源部５４１７は、二次電池によって構成され、給電部５４１５によって生成された電力を蓄電する。図１２では、図面が煩雑になることを避けるために、電源部５４１７からの電力の供給先を示す矢印等の図示を省略しているが、電源部５４１７に蓄電された電力は、光源部５４０５、撮像部５４０７、画像処理部５４０９、無線通信部５４１１、状態検出部５４１９及び制御部５４２１に供給され、これらの駆動に用いられ得る。

状態検出部５４１９は、加速度センサ及び／又はジャイロセンサ等の、カプセル型内視鏡５４０１の状態を検出するためのセンサから構成される。状態検出部５４１９は、当該センサによる検出結果から、カプセル型内視鏡５４０１の状態についての情報を取得することができる。状態検出部５４１９は、取得したカプセル型内視鏡５４０１の状態についての情報を、画像処理部５４０９に提供する。画像処理部５４０９では、上述したように、当該カプセル型内視鏡５４０１の状態についての情報が、画像信号と紐付けられ得る。

制御部５４２１は、ＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することによりカプセル型内視鏡５４０１の動作を統括的に制御する。制御部５４２１は、光源部５４０５、撮像部５４０７、画像処理部５４０９、無線通信部５４１１、給電部５４１５、電源部５４１７及び状態検出部５４１９の駆動を、外部制御装置５４２３から送信される制御信号に従って適宜制御することにより、以上説明したような各部における機能を実現させる。

外部制御装置５４２３は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。外部制御装置５４２３は、アンテナ５４２５を有し、当該アンテナ５４２５を介して、カプセル型内視鏡５４０１との間で各種の情報を送受信可能に構成される。具体的には、外部制御装置５４２３は、カプセル型内視鏡５４０１の制御部５４２１に対して制御信号を送信することにより、カプセル型内視鏡５４０１の動作を制御する。例えば、外部制御装置５４２３からの制御信号により、光源部５４０５における観察対象に対する光の照射条件が変更され得る。また、外部制御装置５４２３からの制御信号により、撮像条件（例えば、撮像部５４０７におけるフレームレート、露出値等）が変更され得る。また、外部制御装置５４２３からの制御信号により、画像処理部５４０９における処理の内容や、無線通信部５４１１が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。

また、外部制御装置５４２３は、カプセル型内視鏡５４０１から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば現像処理（デモザイク処理）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が行われてよい。外部制御装置５４２３は、表示装置（図示せず）の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置５４２３は、生成した画像データを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。

以上、本開示に係る技術が適用され得る体内情報取得システム５４００の一例について説明した。本開示に係る技術は、以上説明した構成のうち、撮像部５４０７に好適に適用され得る。

＜第２の応用例＞
本開示に係る技術は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクタ）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。

図１３は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図１３に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。

各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図１３では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。

駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock Brake System）又はＥＳＣ（Electronic Stability Control）等の制御装置としての機能を有してもよい。

駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。

ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。

バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。

車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。

環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。

ここで、図１４は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。

なお、図１４には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。

車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。

図１３に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。

また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。

車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。

統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal Digital Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。

記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read Only Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。

汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global System of Mobile communications）、ＷｉＭＡＸ、ＬＴＥ（Long Term Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer To Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine Type Communication）端末）と接続してもよい。

専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless Access in Vehicle Environment）、ＤＳＲＣ（Dedicated Short Range Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両と家との間（Vehicle to Home）の通信及び歩車間（Vehicle to Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。

測位部７６４０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。

ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。

車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）又はＷＵＳＢ（Wireless USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又はＭＨＬ（Mobile High-definition Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。

車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。

統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。

マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。

音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１３の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。

なお、図１３に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。

なお、本実施の形態であるイメージセンサ１０の各機能を実現するためのコンピュータプログラムを、いずれかの制御ユニット等に実装することができる。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体を提供することもできる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。

以上説明した車両制御システム７０００において、本実施の形態であるイメージセンサ１０は、図１３に示した応用例の統合制御ユニット７６００に適用することができる。

また、イメージセンサ１０の少なくとも一部の構成要素は、図１３に示した統合制御ユニット７６００のためのモジュール（例えば、一つのダイで構成される集積回路モジュール）において実現されてもよい。あるいは、イメージセンサ１０が、図１３に示した車両制御システム７０００の複数の制御ユニットによって実現されてもよい。

なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。

本開示は以下のような構成も取ることができる。
（１）
所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイと、
ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間部と
を備える固体撮像装置。
（２）
前記第２の画素は、位相差検出画素である
前記（１）に記載の固体撮像装置。
（３）
前記第２の画素のOCL(On Chip Lens)の寸法は、前記第１の画素のOCLの寸法の水平方向２倍、垂直方向１倍である
前記（１）または（２）に記載の固体撮像装置。
（４）
前記第２の画素のOCL(On Chip Lens)の寸法は、前記第１の画素のOCLの寸法の水平方向１倍、垂直方向２倍である
前記（１）または（２）に記載の固体撮像装置。
（５）
前記補間部は、
前記画素アレイのビニング出力における前記第２の画素の画素値が保存されている補間対象位置の周辺のテクスチャの方向情報を検出する方向検出部を有する
前記（１）から（４）のいずれかに記載の固体撮像装置。
（６）
前記補間部は、前記画素アレイのビニング出力における前記第２の画素の画素値が保存されている補間対象位置に対し、その周辺のテクスチャの方向情報に従った方向補間処理を行う
前記（１）から（５）のいずれかに記載の固体撮像装置。
（７）
前記補間部は、さらに、
前記画素アレイのビニング出力における前記第２の画素の画素値が保存されている補間対象位置に対し、その周辺から複数のエッジが交わるコーナ領域を検出するコーナ検出部と、
検出されたコーナ領域に基づき、補間対象位置の周辺のテクスチャの方向情報を修正する方向修正部と、
修正した前記方向情報に従った方向補間処理を行う第１の方向補間部と
を有する
前記（５）または（６）に記載の固体撮像装置。
（８）
前記コーナ検出部は、前記補間対象位置に隣接する画素の画素値の平均値と、前記補間対象位置に隣接しない周囲の画素の画素値の平均値とに基づいて、前記コーナ領域を検出する
前記（７）に記載の固体撮像装置。
（９）
前記方向修正部は、前記補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向が、検出された前記方向情報と略直交している場合、検出された前記方向情報を修正する
前記（７）に記載の固体撮像装置。
（１０）
前記方向修正部は、前記補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向が、検出された前記方向情報と略直交している場合、検出された前記方向情報を、前記補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向に修正する
前記（９）に記載の固体撮像装置。
（１１）
前記補間部は、さらに、
検出された前記方向情報に従った方向補間処理を行う第２の方向補間部と、
前記第１の方向補間部の結果と、前記第２の方向補間部の結果とを合成し、前記補間対象位置の補間値とする合成部と
を有する
前記（７）から（１０）のいずれかに記載の固体撮像装置。
（１２）
所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイを備える固体撮像装置の補正方法において、
前記固体撮像装置による、
ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間ステップを
含む補正方法。
（１３）
固体撮像装置が搭載されている電子装置において、
前記固体撮像装置は、
所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイと、
ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間部とを備える
電子装置。

１０イメージセンサ，１１画素アレイ，１２位相差検出部，１３異形画素補間部，１４ＡＦ制御部，１５欠陥画素補正部，１６カメラ信号処理部，２１方向検出部，２２コーナ検出部，２３方向修正部，２４方向補間部，３１方向検出部，３２コーナ検出部，３３方向修正部，３４方向補間部，３５方向補間部，３６ αブレンド部

Claims

所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイと、
ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間部と
を備える固体撮像装置。
前記第２の画素は、位相差検出画素である
請求項１に記載の固体撮像装置。
前記第２の画素のOCL(On Chip Lens)の寸法は、前記第１の画素のOCLの寸法の水平方向２倍、垂直方向１倍である
請求項２に記載の固体撮像装置。
前記第２の画素のOCL(On Chip Lens)の寸法は、前記第１の画素のOCLの寸法の水平方向１倍、垂直方向２倍である
請求項２に記載の固体撮像装置。
前記補間部は、
前記画素アレイのビニング出力における前記第２の画素の画素値が保存されている補間対象位置の周辺のテクスチャの方向情報を検出する方向検出部を有する
請求項２に記載の固体撮像装置。
前記補間部は、前記画素アレイのビニング出力における前記第２の画素の画素値が保存されている補間対象位置に対し、その周辺のテクスチャの方向情報に従った方向補間処理を行う
請求項５に記載の固体撮像装置。
前記補間部は、さらに、
前記画素アレイのビニング出力における前記第２の画素の画素値が保存されている補間対象位置に対し、その周辺から複数のエッジが交わるコーナ領域を検出するコーナ検出部と、
検出されたコーナ領域に基づき、補間対象位置の周辺のテクスチャの方向情報を修正する方向修正部と、
修正した前記方向情報に従った方向補間処理を行う第１の方向補間部と
を有する
請求項５に記載の固体撮像装置。
前記コーナ検出部は、前記補間対象位置に隣接する画素の画素値の平均値と、前記補間対象位置に隣接しない周囲の画素の画素値の平均値とに基づいて、前記コーナ領域を検出する
請求項７に記載の固体撮像装置。
前記方向修正部は、前記補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向が、検出された前記方向情報と略直交している場合、検出された前記方向情報を修正する
請求項７に記載の固体撮像装置。
前記方向修正部は、前記補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向が、検出された前記方向情報と略直交している場合、検出された前記方向情報を、前記補間対象位置と検出されたコーナ領域の頂点を結ぶ線の方向に修正する
請求項９に記載の固体撮像装置。
前記補間部は、さらに、
検出された前記方向情報に従った方向補間処理を行う第２の方向補間部と、
前記第１の方向補間部の結果と、前記第２の方向補間部の結果とを合成し、前記補間対象位置の補間値とする合成部と
を有する
請求項７に記載の固体撮像装置。
所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイを備える固体撮像装置の補正方法において、
前記固体撮像装置による、
ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間ステップを
含む補正方法。
固体撮像装置が搭載されている電子装置において、
前記固体撮像装置は、
所定サイズの第１の画素と、前記所定サイズよりも大型の第２の画素が混在されている画素アレイと、
ビニング処理が実施された前記第２の画素に対応する補間対象位置に対し、前記補間対象位置の周辺に複数のエッジが交わる領域が存在するか否かに応じた補間処理を行う補間部とを備える
電子装置。