JP2015103151A - 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器 - Google Patents

画像処理装置、画像処理方法、固体撮像素子、及び、電子機器 Download PDF

Info

Publication number
JP2015103151A
JP2015103151A JP2013244948A JP2013244948A JP2015103151A JP 2015103151 A JP2015103151 A JP 2015103151A JP 2013244948 A JP2013244948 A JP 2013244948A JP 2013244948 A JP2013244948 A JP 2013244948A JP 2015103151 A JP2015103151 A JP 2015103151A
Authority
JP
Japan
Prior art keywords
pixel
target position
value
unit
interpolation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013244948A
Other languages
English (en)
Inventor
成希 中村
Shigeki Nakamura
成希 中村
康宣 人見
Yasunobu Hitomi
康宣 人見
光永　知生
Tomoo Mitsunaga
知生 光永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013244948A priority Critical patent/JP2015103151A/ja
Priority to US14/549,312 priority patent/US9659346B2/en
Publication of JP2015103151A publication Critical patent/JP2015103151A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403—Edge-driven scaling; Edge-based scaling

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】鮮鋭かつジャギーの少ない画像を得ることができるようにする。
【解決手段】対象位置選択部は、画素値を補間する対象位置として入力画像上の画素位置を選択し、候補ライン設定部は、対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定し、重み値算出部は、対象位置と、候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算し、方向分類部は、候補ライン上の各画素の重み値に応じて、対象位置の模様の方向に近い候補ラインの組を選択的に決定し、補間値算出部は、候補ライン上の各画素の重み値に応じて、対象位置の画素値を計算する。本技術は、例えば、画素値補間処理を実行する画像処理装置に適用することができる。
【選択図】図１

Description

本技術は、画像処理装置、画像処理方法、固体撮像素子、及び、電子機器に関し、特に、鮮鋭かつジャギーの少ない画像を得ることができるようにした画像処理装置、画像処理方法、固体撮像素子、及び、電子機器に関する。
従来から、画像の拡大時などに、画素値を補間する手法が用いられてきた。画素値補間を実現する単純な手法としては、ローパスフィルタを用いて補間対象位置の値を算出する手法があるが、この手法であると、補間結果にジャギーを生じさせやすい。また、ジャギー発現を防ぐために遮断周波数を低く設定すると、出力画像をぼかしてしまうことになる。
このような現象を解消するために、各種の手法が提案されている。例えば、補間処理により仮の値を得た後に、各対象位置について水平方向及び垂直方向への差分値により方向性を判定して、その方向へオペレータを重み付けることにより、ジャギーを低減させる手法が提案されている（例えば特許文献１参照）。
また、補間後の画像に対して方向性に従った重み付けオペレータにより平滑化を行うものとして、方向性の判定を、対象位置に対して点対称となる位置同士の画素値の比較や、対象位置とそれらの画素値の比較により行う手法が提案されている（例えば特許文献２参照）。
また、ブロックマッチングを用い、補間用画素を決定する手法が知られている。例えば、I/P変換などへの応用を目的とした一方向へ画像を拡大する手法が提案されている（例えば特許文献３参照）。さらに、対象位置に対して適切な位置の画素値を重ね合わせることで、ジャギー発現を軽減する手法が提案されている（例えば特許文献４参照）。
特開２０１０−０５５４１０号公報 特許４６２６００７号 特許４３４３２５５号 特開２０１２−２３４５０７号公報
このように、従来から、各種の手法が提案されているが、確実に、ジャギーの発生を低減するとともに、出力画像をぼかさないようにするための手法は確立されていない。
具体的には、特許文献１の手法では、各対象位置について水平方向及び垂直方向への差分値により方向を判定し、その方向へオペレータを重み付けることにより、ジャギーを低減するようにしているが、対応する模様の角度が限られるため、その精度に限界がある。
また、特許文献２の手法では、方向性の判定を、対象位置に対して点対称となる位置同士の画素値の比較や、対象位置とそれらの画素値の比較により行っているが、この手法の場合も対応できる角度が限られてしまい、さらに、補間後の画像を平滑化するため画がぼけやすくなってしまう。
特許文献３の手法は、対象位置に対し、点対称な位置同士の相似度を順次ブロックマッチングにより算出することで、対象位置と同じ模様上にある画素を探索し、それらの画素の平均で補間値を得るものであるが、対象位置における模様が拡大方向に近い急峻な角度を持っていた場合に、対応が困難になってしまう。
特許文献４の手法は、対象位置と同じ模様上に存在し、その対象位置のジャギーを効果的に打ち消す画素位置（ジャギー逆相位置）を探索するものである。この探索範囲は、多くの模様の角度に対応するように設定されている上に、原理的にジャギー逆相となりうる位置しか探索対象としていないため、計算コストを少なくできるが、補間画像上で重ね合わせを行うために、出力画像がぼけてしまう可能性があった。
本技術はこのような状況に鑑みてなされたものであり、確実に、ジャギーの発生を低減するとともに、出力画像をぼかさないようにすることで、鮮鋭かつジャギーの少ない画像を得ることができるようにするものである。
本技術の第１の側面の画像処理装置は、画素値を補間する対象位置として入力画像上の画素位置を選択する対象位置選択部と、前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定する候補ライン設定部と、前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算する重み値算出部と、前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定する方向分類部と、前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する第１の補間値算出部とを備える。
前記第１の補間値算出部は、前記候補ライン上の値が入っていない画素に、補間用の仮の画素値として前記候補ラインの延伸方向へ平滑化した補間値を設定してから、前記対象位置の画素値を計算することができる。
前記第１の補間値算出部は、前記対象位置の模様の方向に近い候補ライン上の画素のみを用い、前記対象位置の画素値を計算することができる。
前記第１の補間値算出部は、前記候補ラインの組ごとに補間値を計算することができ、前記候補ラインの組ごとに計算された補間値のうち、前記対象位置の模様の方向に近い候補ライン上の画素から計算された補間値を選択する補間値選択部をさらに設けることができる。
前記対象位置の模様の方向を勘案しない補間値を計算する第２の補間値算出部と、前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様を分類する模様分類部と、前記対象位置の模様の分類結果に従い、前記第１の補間値算出部により計算された補間値、又は、前記第２の補間値算出部により計算された補間値を選択する補間値選択部とをさらに設けることができる。
前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様を分類する模様分類部をさらに備え、前記第１の補間値算出部は、前記対象位置の模様の分類結果に応じて、補間値を計算することができる。
前記候補ライン設定部は、前記候補ラインを、組ごとに互いに平行に、かつ、組ごとに互いに前記対象位置に対して対称となるように設定することができる。
前記候補ライン設定部は、前記候補ラインの組を、直交するように設定することができる。
前記候補ライン設定部は、前記候補ラインを、前記対象位置を通るように設定することができる。
前記対象位置の模様の方向は、前記入力画像上の水平方向又は垂直方向であるようにすることができる。
前記入力画像は、水平方向又は垂直方向の少なくとも一方に拡大される画像であるようにすることができる。
前記入力画像は、所定の配列からなる色フィルタアレイを用いた固体撮像素子の出力値から得られる画像であるようにすることができる。
前記入力画像は、固体撮像素子の欠陥画素を含む画像であるようにすることができる。
本技術の第１の側面の画像処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本技術の第１の側面の画像処理方法は、上述した本技術の第１の側面の画像処理装置に対応する画像処理方法である。
本技術の第１の側面の画像処理装置及び画像処理方法においては、画素値を補間する対象位置として入力画像上の画素位置が選択され、前記対象位置の近傍に、値が入った画素を含む候補ラインの組が２組以上設定され、前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値が計算され、前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組が選択的に決定され、前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値が計算される。
本技術の第２の側面の固体撮像素子は、複数の色成分の各色成分に対応する画素を行列状に規則的に配置した画素アレイ部と、前記画素アレイ部からの画素信号に対し、所定の信号処理を行う信号処理部とを備え、前記信号処理部は、画素値を補間する対象位置として、前記画素アレイ部からの画素信号から得られる入力画像上の画素位置を選択する対象位置選択部と、前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定する候補ライン設定部と、前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算する重み値算出部と、前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定する方向分類部と、前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する補間値算出部とを備える。
本技術の第２の側面の固体撮像素子においては、画素値を補間する対象位置として入力画像上の画素位置が選択され、前記対象位置の近傍に、値が入った画素を含む候補ラインの組が２組以上設定され、前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値が計算され、前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組が選択的に決定され、前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値が計算される。
本技術の第３の側面の電子機器は、固体撮像素子と画像処理部とを備える電子機器において、前記固体撮像素子は、複数の色成分の各色成分に対応する画素を行列状に規則的に配置した画素アレイ部と、前記画素アレイ部からの画素信号に対し、所定の信号処理を行う信号処理部とを有し、前記画像処理部は、画素値を補間する対象位置として、前記固体撮像素子からの画素信号から得られる入力画像上の画素位置を選択する対象位置選択部と、前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定する候補ライン設定部と、前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算する重み値算出部と、前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定する方向分類部と、前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する補間値算出部とを有する。
本技術の第３の側面の電子機器においては、画素値を補間する対象位置として入力画像上の画素位置が選択され、前記対象位置の近傍に、値が入った画素を含む候補ラインの組が２組以上設定され、前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値が計算され、前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組が選択的に決定され、前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値が計算される。
本技術の第１の側面乃至第３の側面によれば、鮮鋭かつジャギーの少ない画像を得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
第１実施形態における画像処理装置の構成を示す図である。 入力画像の拡大の様子を模式的に示した図である。 対象位置の選択例を示した図である。 候補ラインの設定例を示した図である。 候補位置の重み値計算の例を示した図である。 模様の方向に応じて平滑化された画素の例を示した図である。 本技術と従来における平滑化成分での補間を比較した図である。 第１実施形態における画素値補間処理の流れを説明するフローチャートである。 第１実施形態における画像処理装置の他の構成を示す図である。 第１実施形態における画素値補間処理の流れを説明するフローチャートである。 各組における候補ラインを傾斜させた場合を示した図である。 候補ラインが対象位置を通る場合を示した図である。 第２実施形態における画像処理装置の構成を示す図である。 模様の分類処理の詳細を説明する図である。 第２実施形態における画素値補間処理の流れを説明するフローチャートである。 第２実施形態における画像処理装置の他の構成を示す図である。 第２実施形態における画素値補間処理の流れを説明するフローチャートである。 第３実施形態におけるデモザイク処理を説明する図である。 第３実施形態におけるデモザイク処理を説明する図である。 第４実施形態における欠陥画素の画素値補間処理を説明する図である。 第５実施形態における固体撮像素子の構成を示す図である。 第５実施形態における固体撮像素子の構成を示す図である。 第５実施形態における固体撮像素子の構成を示す図である。 第５実施形態における固体撮像素子の構成を示す図である。 第５実施形態における固体撮像素子の構成を示す図である。 第６実施形態における電子機器の構成を示す図である。 第７実施形態におけるコンピュータの構成を示す図である。
以下、図面を参照しながら本技術の実施形態について説明する。ただし、以下の順にしたがって説明するものとする。
１．第１実施形態：基本形（対象位置の模様に近い方向への平滑化成分を用いた画素値補間処理）
２．第２実施形態：応用形（基本形＋模様の分類処理）
３．第３実施形態：イメージセンサの出力値に対するデモザイク処理
４．第４実施形態：イメージセンサの欠陥画素の画素値補間処理
５．第５実施形態：固体撮像素子
６．第６実施形態：電子機器
７．第７実施形態：プログラム
＜１．第１実施形態＞
（画像処理装置の構成例）
図１は、第１実施形態における画像処理装置の構成を示す図である。
図１に示すように、画像処理装置１０は、対象位置選択部１０１、候補ライン設定部１０２、重み値算出部１０３、方向分類部１０４、及び、補間値算出部１０５から構成される。
対象位置選択部１０１は、入力画像上の画素値を補間する対象の位置（以下、「対象位置」という）を選択する処理を行い、その処理結果を候補ライン設定部１０２に供給する。
候補ライン設定部１０２は、対象位置選択部１０１から供給される処理結果に基づいて、対象位置が選択された入力画像に対して候補ラインを設定する処理を行い、その処理結果を重み値算出部１０３に供給する。ここで、候補ラインとは、入力画像上の対象位置と同じ模様上にある画素位置を探索するために設定されるラインである。
重み値算出部１０３は、候補ライン設定部１０２から供給される処理結果に基づいて、候補ライン上の各画素位置について、対象位置と同じ模様上にあると期待される度合いに対応する重み値を計算する処理を行い、その処理結果を方向分類部１０４及び補間値算出部１０５に供給する。
方向分類部１０４は、重み値算出部１０３から供給される処理結果に基づいて、対象位置の模様の方向に近い候補ラインの組を選択的に決定する処理を行い、その処理結果を補間値算出部１０５に供給する。
補間値算出部１０５には、入力画像のほか、重み値算出部１０３と方向分類部１０４から処理結果がそれぞれ供給される。補間値算出部１０５は、それらの処理結果等に基づいて、対象位置の模様の方向に近い候補ライン上の画素のみを用い、対象位置の画素値を計算する処理を行い、その処理結果から得られる出力画像を後段に出力する。
（画像拡大の例）
図２は、入力画像の拡大の様子を模式的に示した図である。図２において、四角は画像を構成する画素を表しており、四角により表される画素のうち、斜線の模様が施された画素は、値が入っている画素（以下、「原画素」ともいう）を示し、それ以外の画素は、値が入っていない画素（以下、「空き画素」ともいう）を示している。なお、入力画像は、水平方向又は垂直方向の少なくとも一方に拡大されるものである。
図２において、図中の左側の入力画像を水平方向と垂直方向にそれぞれ２倍に拡大する場合、図中の右側の拡大後の画像は、原画素だけでなく、空き画素を含んでいるため、それらの空き画素を画素値補間により埋める必要がある。そこで、次に、図３乃至図７を参照して、図１の画像処理装置１０により実行される画素値補間処理の一例として、入力画像を水平方向と垂直方向にそれぞれ２倍に拡大して、出力画像を生成する画像拡大処理を説明する。
図３は、入力画像を水平方向と垂直方向に２倍に拡大する場合において、画素値補間を行う前の状態を示している。図３において、７×１７の四角は、入力画像の一部を構成する画素を表しているが、四角により表される画素のうち、斜線の模様が施された画素は原画素を示し、それ以外の画素は空き画素を示している。また、図３において、複数の画素をまたがって表された模様３００は、出力画像において復元したい模様を表している。
対象位置選択部１０１は、補間対象となる対象位置として、図３の画像内に位置する特定の画素を、対象位置２００として選択する。
対象位置選択部１０１により対象位置２００が選択されると、図４に示すように、候補ライン設定部１０２は、候補ラインとして、対象位置２００の近傍に、原画素を２つ以上含む候補ラインの組を、２組以上設定する。ここで、候補ラインの組とは、候補ラインを１本以上含む集合を表している。図４の設定例では、対象位置２００の近傍に、４本の候補ラインＬ１乃至Ｌ４が設定されている。
すなわち、図４の設定例では、水平方向に延伸する２本の候補ラインＬ１，Ｌ２で構成される候補ラインの組と、垂直方向に延伸する候補ラインＬ３，Ｌ４で構成される候補ラインの組が設定されている。また、候補ラインは組ごとに互いに対象位置２００に対して対称に設定される。また、詳細は後述するが、同一の組の候補ラインを平行かつ対象位置に対して対称に設定することで、後段の重み値算出部１０３において、各候補位置の「同じ模様上にあると期待される度合い」を、より正確に算出することができる。
候補ライン設定部１０２により候補ラインＬ１乃至Ｌ４が選択されると、重み値算出部１０３は、候補ライン上の各画素位置について、対象位置と同じ模様にあると期待される度合いを算出する。
この重み値の計算方法は、特に限定されるものではなく、例えば、SSD(Sum of Squared Difference)やSAD(Sum of Absolute Difference)など様々な手法を用いることが可能である。ここでは、上述した特許文献４の中で用いられている手法に基づいて、対象位置、候補位置、及び、対象位置に対して候補位置と対象な位置の３点のそれぞれを中心とするブロックの相似度から、下記の式（１）乃至（４）を用い、重みｗΔpを計算することができる。
Figure 2015103151
Figure 2015103151
Figure 2015103151
Figure 2015103151
ただし、式（１）乃至（４）において、各文字記号は次の意味で用いられる。
p：画素位置
Δp：画素位置から候補位置へのベクトル
I(p)：画素位置pにおける画素値
Ω：対象位置の小ブロックに属する画素集合
NΩ：小ブロックに属する画素数
k，σ+，σ-，σ0：定数
具体的には、図５に示すように、対象位置２００に対して、候補位置２０３の重み値を計算する場合、対象位置２００と候補位置２０３のブロック類似度がD2 +、対象位置２００と候補位置２０４（対象位置２００に対して候補位置２０３と点対称な位置）のブロック相似度がD2 -、候補位置２０３と候補位置２０４のブロック相似度がD2 0である。
ここで、候補画素が、値の入っていない空き画素である場合には、近傍の原画素平滑化などにより、本技術の手法で用いるための仮の画素値を設定する。このように対象位置２００と、対象位置２００に対して点対称な２つの候補位置２０３，２０４の相似度を用いることで、重み値の計算用の仮の補間平面にジャギーが生じていた場合でも、ジャギーの影響を少なくして重み値の計算を行うことができる。
重み値算出部１０３により重み値が計算されると、方向分類部１０４は、重み値の総和を候補ラインの組ごとに比較して、模様の方向に最も近い候補ラインの組を選択的に決定する。この画像拡大処理の例では、対象位置の模様が水平方向と垂直方向のいずれの方向に近いかにより分類されることになる。上述した重み値は、同一の模様上にあると期待されるほど、高い値となるため、模様の総和が大きい方向が模様の方向に近いものとして分類される。
方向分類部１０４により方向が分類されると、補間値算出部１０５は、対象位置の模様の方向に近い候補ラインの組の画素のみを用いて、各候補画素の重み値に基づいて、補間値を計算する。ここで、候補ライン上の空き画素には、本技術の手法用の仮の画素値として、候補ラインの延伸方向へ平滑化した補間値を設定する。例えば、図６に示すように、対称位置２００の模様の方向に近い候補ラインの組が水平方向のものであると分類された場合には、画素２０６のように、水平方向の平滑化成分が与えられることになる。これにより、補間値算出用に用いられる画素に、模様をぼかす方向の平滑化成分（図６の例の場合は垂直方向の平滑化成分）が含まれないようにすることができる。
図７は、対象位置の補間値算出に用いられる候補画素のうち、重みが大きい画素を示した図である。ただし、図７においては比較のため、上述した特許文献４の手法を適用した第１ケース（図７Ａ）と、本技術の手法を適用した第２ケース（図７Ｂ）の２つのケースを示している。ただし、第１ケースでは、特定の画素が対象位置２０７として選択されている。また、複数の画素にまたがって表された模様３０１は、出力画像において復元したい模様であって、模様３００と同様の模様である。
特許文献４の手法を適用した第１ケースにおいては、対象位置２０７の上下１ラインから特定の画素（図７Ａの画素２０８乃至２１０と画素２１１乃至２１３）を補間用画素として、補間用画素値を取得する。これらの値は、近傍画素からの補間値であるため、対象位置２０７の位相の関係からこれらの補間値は垂直方向の平滑化成分を含んだものとなる。したがって、第１のケースにおいては、入力画像の拡大した結果得られる出力画像では、垂直方向、つまり、模様３０１と直交する方向にぼける可能性がある。
一方、本技術の手法を適用した第２ケースにおいては、対象位置２００の近傍に存在する原画素（例えば、図７Ｂの画素２１５，２１７と画素２１８，２２０）又は水平方向の平滑化成分の画素（例えば、図７Ｂの画素２１６，２１９）から、補間値を計算する。すなわち、第２ケースにおいては、模様３００は水平方向に近い模様であるため、補間値の算出に垂直方向の平滑化成分を含めると、その結果得られる出力画像にぼけが生じることになるため、対象位置２００の近傍の原画素又は水平方向の平滑化成分の画素のみから補間値を計算するようにしている。したがって、第２ケースにおいては、入力画像を拡大した結果得られる出力画像では、垂直方向、つまり、模様３００と直交する方向のぼけを低減することができる。
すなわち、出力画像において、模様に直交する方向へのぼけは目立つため、好ましくない。このため、本技術の手法では、候補ライン上の画素値を、原画素、又は、候補ラインの方向への平滑化成分のみで構成されるようにしている。また、候補ラインの延伸方向への平滑化成分を計算する必要があることから、本技術の手法では、原画素を２つ以上含むことを、候補ラインの条件としている。
（画素値補間処理）
次に、図８のフローチャートを参照して、図１の画像処理装置１０により実行される画素値補間処理の流れについて説明する。
ステップＳ１０１において、対象位置選択部１０１は、入力画像上の画素位置を、対象位置として選択する。
ステップＳ１０２において、候補ライン設定部１０２は、入力画像上の対象位置の近傍に、候補ラインの組を２組以上設定する。この候補ラインの設定処理においては、値が入っている原画素を２つ以上含む候補ラインの組が２組以上設定される。
ステップＳ１０３において、重み値算出部１０３は、候補ライン上の画素位置を選択する。
ステップＳ１０４において、重み値算出部１０３は、ステップＳ１０３の処理で選択した画素位置について、対象位置と同じ模様上にあると期待される度合いに対応する重み値を計算する。
ステップＳ１０５において、重み値算出部１０３は、候補ライン上の全ての画素位置について重み値を計算したかどうかを判定する。ステップＳ１０５において、候補ライン上の全ての画素位置の重みを計算していないと判定された場合、処理はステップＳ１０３に戻り、上述した処理が繰り返される。
そして、ステップＳ１０３乃至Ｓ１０５の処理が繰り返されることで、候補ライン上の全ての画素位置の重みの計算が完了し、ステップＳ１０５において、候補ライン上の全ての画素位置の重みを計算したと判定された場合、処理はステップＳ１０６に進められる。
ステップＳ１０６において、方向分類部１０４は、ステップＳ１０３，Ｓ１０４の処理が繰り返されることで計算された重み値の総和に基づいて、対象位置の模様の方向に近い候補ラインの組を選択的に決定する。ここでは、例えば、対象位置の模様が、水平方向と垂直方向のいずれに近いかにより分類されることになる。
ステップＳ１０７において、補間値算出部１０５は、ステップＳ１０６の処理で分類された対象位置の模様の方向に近い候補ライン上の画素のみを用い、対象位置の画素値を計算する。
ステップＳ１０８においては、ステップＳ１０１の処理によって全ての画素を対象位置として選択したかどうかが判定される。ステップＳ１０８において、全ての画素を対象位置として選択していないと判定された場合、処理はステップＳ１０１に戻り、上述した処理が繰り返される。
そして、ステップＳ１０１乃至Ｓ１０８の処理が繰り返されることで、ステップＳ１０１の処理によって全ての画素が対象位置として選択され、その対象位置の補間値が計算されて、ステップＳ１０８において、全ての画素を対象位置として選択したと判定された場合、処理はステップＳ１０９に進められる。
ステップＳ１０９においては、各対象位置の補間値に従い、出力画像が生成される。ステップＳ１０９の処理によって出力画像が生成されると、図８の画素値補間処理は終了する。
以上、図１の画像処理装置１０により実行される画素値補間処理について説明した。図８の画素値補間処理においては、対象位置の模様の方向に近い候補ライン上の画素であって、原画素又は模様に近い方向への平滑化成分の画素を用い、対象位置の画素値が計算される。
これにより、対象位置の模様の方向性を勘案しない平滑化成分を与える画素値補間処理と比べて、模様を直交する方向にぼかしにくく、鮮鋭かつジャギーの少ない出力画像を得ることができる。また、画素値補間処理を適用した後に平滑化処理を適用する手法と比較して、本技術の手法では直接、補間値を計算する点においても、出力画像をぼかしにくい。さらに、候補ラインの組を複数設定することで、より少ないコストで多くの模様の角度を探索することができる。
＜第１実施形態の変形例＞
（画像処理装置の構成例）
図９は、第１実施形態における画像処理装置の他の構成を示す図である。
図９に示すように、画像処理装置１０は、対象位置選択部１０１、候補ライン設定部１０２、重み値算出部１０３、方向分類部１０４、補間値算出部１０５、及び、補間値選択部１０６から構成される。
図９の画像処理装置１０においては、図１の画像処理装置１０と比較して、補間値選択部１０６が新たに設けられている。図９において、対象位置選択部１０１乃至方向分類部１０４は、図１の対象位置選択部１０１乃至方向分類部１０４と同様の処理を行う。
補間値算出部１０５には、入力画像のほか、重み値算出部１０３から処理結果が供給される。補間値算出部１０５は、重み値算出部１０３から処理結果等に基づいて、候補ラインの組ごとに補間値を計算する処理を行い、その処理結果を補間値選択部１０６に供給する。
補間値選択部１０６には、方向分類部１０４と補間値算出部１０５から処理結果がそれぞれ供給される。補間値選択部１０６は、候補ラインの組ごとの補間値の計算結果の中から、対象位置の模様に近い候補ラインの補間値の計算結果を選択する処理を行い、その処理結果から得られる出力画像を後段に出力する。
（画素値補間処理）
次に、図１０のフローチャートを参照して、図９の画像処理装置１０により実行される画素値補間処理の流れについて説明する。
ステップＳ１２１乃至Ｓ１２５においては、図８のステップＳ１０１乃至Ｓ１０５と同様に、対象位置に対する候補ラインが設定され、候補ライン上の全ての画素位置の重み値が計算される。
ステップＳ１２６において、補間値算出部１０５は、ステップＳ１２３，Ｓ１２４の処理が繰り返されることで計算された重み値の総和に基づいて、候補ラインの組ごとに補間値を計算する。
ステップＳ１２７において、方向分類部１０４は、ステップＳ１２３，Ｓ１２４の処理が繰り返されることで計算された重み値の総和に基づいて、対象位置の模様の方向に近い候補ラインの組を選択的に決定する。
ステップＳ１２８において、補間値選択部１０６は、ステップＳ１２７の処理結果に従い、ステップＳ１２６の処理で計算された候補ラインの組ごとの補間値の計算結果の中から、対象位置の模様に近い候補ラインの補間値の計算結果を選択する。
ステップＳ１２９においては、図８のステップＳ１０８と同様に、ステップＳ１２１の処理によって全ての画素を対象位置として選択したかどうかが判定され、全ての画素を対象位置として選択していないと判定された場合、処理はステップＳ１２１に戻り、上述した処理が繰り返される。
そして、ステップＳ１２１乃至Ｓ１２９の処理が繰り返されることで、ステップＳ１２１の処理によって全ての画素が対象位置として選択され、その対象位置の補間値が選択され、ステップＳ１２９において、全ての画素を対象位置として選択したと判定された場合、処理はステップＳ１３０に進められる。
ステップＳ１３０においては、各対象位置の補間値に従い、出力画像が生成される。ステップＳ１３０の処理によって出力画像が生成されると、図１０の画素値補間処理は終了する。
以上、図９の画像処理装置１０により実行される画素値補間処理について説明した。図１０の画素値補間処理においては、候補ラインの組ごとの補間値が計算され、それらの組ごとの補間値の計算結果の中から、対象位置の模様に近い候補ラインの補間値の計算結果が選択される。これにより、対象位置の模様の方向性を勘案しない平滑化成分を与える画素値補間処理と比べて、模様を直交する方向にぼかしにくく、鮮鋭かつジャギーの少ない出力画像を得ることができる。
（候補ラインの設定処理における他の設定例）
上述した図８のステップＳ１０２や、図１０のステップＳ１２２の候補ラインの設定処理においては、図４に示したように、候補ラインの組を水平方向と垂直方向にそれぞれ伸ばしていたが、その方向に制限はない。
例えば、図４において、図中の水平方向をＸ軸とし、図中の水平方向をＹ軸とした場合に、候補ラインＬ１，Ｌ２を45度の方向に傾ける一方、候補ラインＬ３，Ｌ４を135度の方向に傾けるなど、それらの候補ラインを任意の方向に傾けることができる。また、候補ラインの組の数は、上述した説明では２組であるとしたが、２組に限らず、例えば、水平方向、垂直方向、45度の方向、及び、135度の方向の４方向へ方向ごとに候補ラインの組を４組設定するなど、任意の組の数を設定することができる。
また、候補ラインの設定処理においては、対象位置を通る候補ラインが設定されるようにしてもよい。例えば、図１１では、図中の水平方向をＸ軸とし、図中の水平方向をＹ軸とした場合に、対象位置２２１に対して、45度の方向に延伸する２本の候補ラインＬ５，Ｌ６で構成される候補ラインの組と、135度の方向に延伸する２本の候補ラインＬ７，Ｌ８で構成される候補ラインの組が設定されている。
これに対して、図１２では、対象位置２２２を通る候補ラインを追加した場合の例を示しており、同一の方向に延伸する３本の候補ラインＬ９乃至Ｌ１１と、候補ラインＬ１２乃至Ｌ１４がそれぞれ、候補ラインの組となるものとする。この例では、候補ラインＬ９乃至Ｌ１１の組のうち、候補ラインＬ１０が対象位置２２２を通り、候補ラインＬ１２乃至Ｌ１４の組のうち、候補ラインＬ１３が対象位置２２２を通っている。
このように、対象位置２２２を通る候補ラインＬ１０，Ｌ１３を設定することで、模様（例えば、図３の模様３００）の角度が、45度又は135度の傾きとなる場合でも対応することが可能となる。
＜２．第２実施形態＞
（画像処理装置の構成例）
図１３は、第２実施形態における画像処理装置の構成を示す図である。
図１３に示すように、画像処理装置１０は、対象位置選択部１０１、候補ライン設定部１０２、重み値算出部１０３、方向分類部１０４、第１の補間値算出部１０５−１、第２の補間値算出部１０５−２、補間値選択部１０６、及び、模様分類部１０７から構成される。
図１３の画像処理装置１０においては、図１の画像処理装置１０と比較して、補間値算出部１０５の代わりに、第１の補間値算出部１０５−１と第２の補間値算出部１０５−２が設けられ、さらに、補間値選択部１０６と模様分類部１０７が新たに設けられている。図１３において、対象位置選択部１０１乃至方向分類部１０４は、図１の対象位置選択部１０１乃至方向分類部１０４と同様の処理を行う。
第１の補間値算出部１０５−１には、入力画像のほか、重み値算出部１０３と方向分類部１０４から処理結果がそれぞれ供給される。第１の補間値算出部１０５−１は、それらの処理結果等に基づいて、対象位置の模様の方向に近い候補ライン上の画素のみを用い、対象位置の画素値を計算する処理を行い、その処理結果を補間値選択部１０６に供給する。なお、以下、この補間値算出処理で得られる補間値を、「補間値１」と称する。
第２の補間値算出部１０５−２には、入力画像のほか、重み値算出部１０３と方向分類部１０４から処理結果がそれぞれ供給される。第２の補間値算出部１０５−２は、それらの処理結果等に基づいて、例えばローパスフィルタによる平滑化処理（等方的なフィルタ処理）を行い、その処理結果を補間値選択部１０６に供給する。なお、以下、この補間値算出処理で得られる補間値を、「補間値２」と称する。
模様分類部１０７には、対象位置選択部１０１と重み値算出部１０３から処理結果がそれぞれ供給される。模様分類部１０７は、それらの処理結果に基づいて、候補ライン上の各画素の重み値を用い、対象位置の模様を分類する処理を行い、その処理結果を補間値選択部１０６に供給する。
補間値選択部１０６には、第１の補間値算出部１０５−１、第２の補間値算出部１０５−２、及び、模様分類部１０７から処理結果がそれぞれ供給される。補間値選択部１０６は、模様分類部１０７からの処理結果に基づいて、対象位置の模様がエッジ部領域であるかどうかを判定する。補間値選択部１０６は、当該判定結果に従い、対象位置がエッジ部領域である場合、第１の補間値算出部１０５−１から供給される補間値１を選択し、対象位置が平坦領域である場合、第２の補間値算出部１０５−２から供給される補間値２を選択する。このようにして選択される補間値を用い、出力画像が生成され、後段に出力される。
（模様の分類処理）
次に、図１３の模様分類部１０７による模様の分類処理の詳細について説明する。
模様分類部１０７による模様の分類処理では、候補ライン上の各画素の重み値を用い、対象位置の模様を分類する。図１４に示すように、２組の候補ラインのうち、一方の組（候補ラインＬ１５，Ｌ１６）が水平方向に延伸し、他方の組（候補ラインＬ１７，Ｌ１８）が垂直方向に延伸している場合において、水平方向の重み値の総和をSh、垂直方向の重み値の総和をSvとする。ここで、例えば、閾値thをあらかじめ定めておくことで、｜Sv−Sh｜＜thとなる場合には、対象位置が平坦な模様である一方、｜Sv−Sh｜≧thとなる場合には、対象位置がエッジ部にある領域であると判定することができる。
そして、図１３の構成において、補間値選択部１０６は、模様分類部１０７による模様の分類結果に従い、対象位置がエッジ部領域である場合には、第１の補間値算出部１０５−１により計算された補間値１を出力し、対象位置が平坦領域である場合には、第２の補間値算出部１０５−２により計算された補間値２を出力するようにする。このように、エッジ部領域と平坦領域を分類して補正値を出力することで、エッジ部領域は鮮鋭な出力となり、平坦領域は平均化によりノイズリダクション効果を伴った出力が得られる。
なお、図１３の構成においては、第１の補間値算出部１０５−１と第２の補間値算出部１０５−２に限らず、補間値算出部を３つ以上並列に設定して、補間値選択部１０６によって、それらの補間値算出部により計算された補間値の中から、適切な補間値を選択するようにしてもよい。
（画素値補間処理）
次に、図１５のフローチャートを参照して、図１３の画像処理装置１０により実行される画素値補間処理の流れについて説明する。
ステップＳ１４１乃至Ｓ１４５においては、図８のステップＳ１０１乃至Ｓ１０５と同様に、対象位置に対する候補ラインが設定され、候補ライン上の全ての画素位置の重み値が計算される。
ステップＳ１４６において、方向分類部１０４は、ステップＳ１４３，Ｓ１４４の処理が繰り返されることで計算された重み値の総和に基づいて、対象位置の模様の方向に近い候補ラインの組を選択的に決定する。
ステップＳ１４７において、第１の補間値算出部１０５−１は、対象位置の模様の方向に近い候補ライン上の画素のみを用い、補間値１としてエッジの方向に沿った補間値を計算する。
ステップＳ１４８において、第２の補間値算出部１０５−２は、ローパスフィルタによる平滑化処理を行い、補間値２として模様の方向を勘案しない補間値を計算する。
ステップＳ１４９において、模様分類部１０７は、候補ライン上の各画素の重み値を用い、対象位置の模様の種類を分類する。
ステップＳ１５０において、模様分類部１０７は、対象位置の模様はエッジであるかどうかを判定する。ステップＳ１５０において、対象位置の模様はエッジであると判定された場合、処理はステップＳ１５１に進められる。ステップＳ１５１において、補間値選択部１０６は、補間値１及び補間値２のうち、補間値として補間値１を選択する。
一方、ステップＳ１５０において、対象位置の模様はエッジではない、すなわち、平坦な模様であると判定された場合、処理はステップＳ１５２に進められる。ステップＳ１５２において、補間値選択部１０６は、補間値１及び補間値２のうち、補間値として補間値２を選択する。
ステップＳ１５１，Ｓ１５２の処理によって、補間値として補間値１又は補間値２が選択されると、処理はステップＳ１５３に進められる。
ステップＳ１５３においては、図８のステップＳ１０８と同様に、ステップＳ１４１の処理によって全ての画素を対象位置として選択したかどうかが判定され、全ての画素を対象位置として選択していないと判定された場合、処理はステップＳ１４１に戻り、上述した処理が繰り返される。
そして、ステップＳ１４１乃至Ｓ１５３の処理が繰り返されることで、ステップＳ１４１の処理によって全ての画素が対象位置として選択され、その対象位置の補間値が選択され、ステップＳ１５３において、全ての画素を対象位置として選択したと判定された場合、処理はステップＳ１５４に進められる。
ステップＳ１５４においては、各対象位置の補間値に従い、出力画像が生成される。ステップＳ１５４の処理によって出力画像が生成されると、図１５の画素値補間処理は終了する。
以上、図１３の画像処理装置１０により実行される画素値補間処理について説明した。図１５の画素値補間処理においては、対象位置の模様に応じて、エッジの方向に沿った補間値１と、模様の方向を勘案しない補間値２が選択的に適用される。これにより、対象位置の模様の方向性を勘案しない平滑化成分を与える画素値補間処理と比べて、エッジ部領域は鮮鋭な出力となり、平坦領域は平均化によりノイズリダクション効果を伴った出力が得られる。
＜第２実施形態の変形例＞
図１３の画像処理装置１０においては、第１の補間値算出部１０５−１と第２の補間値算出部１０５−２によって２つの補間値を計算して、後段の模様分類部１０７によって、模様の分類結果に応じて、２つの補間値のうち、いずれか一方の補間値を選択している。しかしながら、模様分類部１０７による模様の分類処理を先に行い、その模様の分類結果に応じた補間値を１つだけ計算するという構成を採用することができる。そこで、次に、図１６及び図１７を参照して、そのような構成を採用した場合について説明する。
（画像処理装置の構成例）
図１６は、第２実施形態における画像処理装置の他の構成を示す図である。
図１６に示すように、画像処理装置１０は、対象位置選択部１０１、候補ライン設定部１０２、重み値算出部１０３、方向分類部１０４、補間値算出部１０５、及び、模様分類部１０７から構成される。
図１６の画像処理装置１０においては、図１の画像処理装置１０と比較して、模様分類部１０７が新たに設けられている。図１６において、対象位置選択部１０１乃至重み値算出部１０３は、図１の対象位置選択部１０１乃至重み値算出部１０３と同様の処理を行う。
模様分類部１０７には、対象位置選択部１０１と重み値算出部１０３から処理結果がそれぞれ供給される。模様分類部１０７は、それらの処理結果に基づいて、候補ライン上の各画素の重み値を用い、対象位置の模様を分類する処理を行い、その処理結果を方向分類部１０４及び補間値算出部１０５に供給する。
方向分類部１０４には、重み値算出部１０３と模様分類部１０７からの処理結果がそれぞれ供給される。方向分類部１０４は、対象位置がエッジ部領域である場合、重み値算出部１０３から供給される処理結果に基づいて、対象位置の模様の方向に近い候補ラインの組を選択的に決定する処理を行い、その処理結果を補間値算出部１０５に供給する。
補間値算出部１０５には、入力画像のほか、重み値算出部１０３、方向分類部１０４、及び、模様分類部１０７から処理結果がそれぞれ供給される。補間値算出部１０５は、対象位置がエッジ部領域である場合、対象位置の模様の方向に近い候補ライン上の画素のみを用い、対象位置の画素値を計算する処理を行う。また、補間値算出部１０５は、対象位置が平坦領域である場合、例えばローパスフィルタによる平滑化処理を行う。これにより得られる出力画像は、後段に出力される。
（画素値補間処理）
次に、図１７のフローチャートを参照して、図１６の画像処理装置１０により実行される画素値補間処理の流れについて説明する。
ステップＳ１８１乃至Ｓ１８５においては、図８のステップＳ１０１乃至Ｓ１０５と同様に、対象位置に対する候補ラインが設定され、候補ライン上の全ての画素位置の重み値が計算される。
ステップＳ１８６において、模様分類部１０７は、候補ライン上の各画素の重み値を用い、対象位置の模様の種類を分類する。
ステップＳ１８７において、模様分類部１０７は、対象位置の模様はエッジであるかどうかを判定する。ステップＳ１８７において、対象位置の模様はエッジであると判定された場合、処理はステップＳ１８８に進められる。
ステップＳ１８８において、方向分類部１０４は、ステップＳ１８３，Ｓ１８４の処理が繰り返されることで計算された重み値の総和に基づいて、対象位置の模様の方向に近い候補ラインの組を選択的に決定する。
ステップＳ１８９において、補間値算出部１０５は、対象位置の模様の方向に近い候補ライン上の画素のみを用い、エッジの方向に沿った補間値を計算する。
一方、ステップＳ１８７において、対象位置の模様はエッジではないと判定された場合、処理はステップＳ１９０に進められる。ステップＳ１９０において、補間値算出部１０５は、ローパスフィルタによる平滑化処理を行い、模様の方向を勘案しない補間値を計算する。
ステップＳ１８９，Ｓ１９０の処理によって、補間値が計算されると、処理はステップＳ１９１に進められる。
ステップＳ１９１においては、図８のステップＳ１０８と同様に、ステップＳ１８１の処理によって全ての画素を対象位置として選択したかどうかが判定され、全ての画素を対象位置として選択していないと判定された場合、処理はステップＳ１８１に戻り、上述した処理が繰り返される。
そして、ステップＳ１８１乃至Ｓ１９１の処理が繰り返されることで、ステップＳ１８１の処理によって全ての画素が対象位置として選択され、その対象位置の補間値が選択され、ステップＳ１９１において、全ての画素を対象位置として選択したと判定された場合、処理はステップＳ１９２に進められる。
ステップＳ１９２においては、各対象位置の補間値に従い、出力画像が生成される。ステップＳ１９２の処理によって出力画像が生成されると、図１７の画素値補間処理は終了する。
以上、図１６の画像処理装置１０により実行される画素値補間処理について説明した。図１７の画素値補間処理においては、対象位置の模様に応じて、エッジの方向に沿った補間値、又は、模様の方向を勘案しない補間値が選択的に適用される。これにより、対象位置の模様の方向性を勘案しない平滑化成分を与える画素値補間処理と比べて、エッジ部領域は鮮鋭な出力となり、平坦領域は平均化によりノイズリダクション効果を伴った出力が得られる。
＜３．第３実施形態＞
上述した第１実施形態と第２実施形態においては、本技術の画素値補間処理を、入力画像の拡大処理に用いた場合について説明したが、それ以外の処理に適用することができる。このような適用例として、例えば、撮像装置におけるデモザイク処理がある。図１８Ａに示すように、ベイヤー配列の色フィルタアレイを用いたイメージセンサにおいては、Ｇ（緑）の色フィルタが市松状に配され、残った部分にＲ（赤）と、Ｂ（青）の色フィルタが一列ごとに交互に配されている。
画像処理装置１０に入力される入力画像は、例えば、ベイヤー配列の色フィルタアレイが用いられたイメージセンサの出力値により構成される画像とされる。すなわち、入力画像は、イメージセンサから出力される信号に対応する画像となる。
したがって、図１８Ｂに示すように、入力画像ではＲの色フィルタが配置された画素からは、Ｒ成分の画素信号は得られるが、Ｇ成分及びＢ成分の画素信号は得られない。同様に、図１８Ｃに示すように、Ｇの画素からは、Ｇ成分の画素信号のみが得られ、Ｒ成分及びＢ成分の画素信号は得られず、図１８Ｄに示すように、Ｂの画素からは、Ｂ成分の画素信号のみが得られ、Ｒ成分及びＧ成分の画素信号は得られない。
そのため、画像処理装置１０においては、イメージセンサから出力される画素信号に対し、本技術の画素値補間処理を適用して、色ごとに空き画素への画素値補間を行うことで、Ｒ画素の画素信号、Ｇ画像の画素信号、及び、Ｂ画像の画素信号がそれぞれ求められ、出力画像として生成される。
なお、図１８では、色フィルタアレイとして、ベイヤー配列の色フィルタアレイが用いられる例を説明したが、図１９に示すように、ベイヤー配列以外の色フィルタアレイが用いられるようにしてもよい。図１９Ａと図１９Ｂに示している２つの画素配列は、共にHDR(High Dynamic Range)撮影に適したイメージセンサの画素配列の一例である。
図１９に示すように、Ｒ，Ｇ，Ｂの３種類の色フィルタアレイが配されているが、それぞれの色について、露光時間が長短の２種類存在している。図１９では、その露光時間の違いを、画素ごとに付している文字の末尾で表しており、末尾が「l」となる場合は長時間露光する画素を示し、末尾が「s」となる場合は短時間露光する画素を示している。
画像処理装置１０においては、この種の色フィルタアレイが用いられたイメージセンサから出力される画素信号に対し、本技術の画素値補間処理を適用して、長時間露光と短時間露光の露光時間別にデモザイク処理を行うことで、露光時間の異なる２種類の出力画像が生成される。そして、長時間露光の出力画像と、短時間露光の出力画像を合成することで、ダイナミックレンジの広い出力画像を得ることができる。
＜第３実施形態の変形例＞
上述した説明では、全ての画素について画素値補間処理を適用する例を説明したが、一部の画素にのみ、画素値補間処理が適用されるようにしてもよい。例えば、図１８に示したベイヤー配列の場合、Ｇ成分が、Ｒ成分やＢ成分に比べて、多く配置されている。このような場合、他の成分と比べて密に配置されているＧ成分の画素について、本技術の画素値補間処理を適用する一方、Ｇ成分と比べて疎となるＲ成分やＢ成分の画素については、例えば、ローパスフィルタによる画素値補間処理を施した後に、さらに最密色となるＧ成分の画素の高周波をのせる相関処理を施すことで、全色についての画素値の補間を行うことができる。
＜４．第４実施形態＞
また、本技術の画素値補間処理は、第１実施形態乃至第３実施形態で説明した入力画像の拡大処理やデモザイク処理のほか、例えば、イメージセンサの欠陥画素の画素値補間に用いることもできる。図２０は、画素面内に、欠陥画素２２４が存在している例を示している。この例の場合、欠陥画素２２４を対象位置とし、さらに、水平方向の候補ラインＬ１９，Ｌ２０の組と、垂直方向の候補ラインＬ２１，Ｌ２２の組を設定して、上述した本技術の画素値補間処理を適用することで、欠陥画素２２４の画素値の補間を行うことができる。
＜５．第５実施形態＞
図２１乃至図２５は、本技術を適用した固体撮像素子の構成例を示す図である。
図２１において、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ７００は、画素領域７１１と回路領域７１２とが同一の基板上に形成された単位画素７１０が行列状に２次元配置された画素アレイ部と、周辺回路部を有する構成となっている。画素アレイ部に配置された各単位画素７１０は、入射光量に応じた電荷量の電荷を発生して内部に蓄積する光電変換素子を有している。
周辺回路部は、画素アレイ部の画素列ごとに、選択行の各単位画素から垂直信号線を通して伝送される画素信号を、デジタル信号に変換するAD(Analog Digital)変換機能などを有する。また、周辺回路部は、図１等の画像処理装置１０の機能を有しており、例えば、画素アレイ部から出力される信号（入力画像）に対して、第３実施形態におけるデモザイク処理を行うことができる。
なお、図２２に示すように、画素領域７２０と回路領域７２１とが積層された積層構造からなるCMOSイメージセンサ７００において、周辺回路部が、図１等の画像処理装置１０の機能を有するようにしてもよい。
また、図２３乃至図２５に示すように、CMOSイメージセンサ７００に接続されたDSP(Digital Signal Processor)回路が、図１等の画像処理装置１０の機能を有するようにしてもよい。具体的には、図２３の構成では、CMOSイメージセンサ７００の後段に接続されたDSP回路部７３１内で各種の信号処理や第３実施形態におけるデモザイク処理等が行われる。また、図２４の構成では、CMOSイメージセンサ７００から出力される信号に対して、DSP回路部７４３が、第３実施形態におけるデモザイク処理等を行うことになる。さらに、図２５の構成では、積層構造からなるCMOSイメージセンサ７００から出力される信号に対して、DSP回路部７５２が、第３実施形態におけるデモザイク処理等を行うことになる。
なお、CMOSイメージセンサ７００は、固体撮像素子の一例であり、CCD（Charge Coupled Device）等の他の固体撮像素子を用いるようにしてもよい。
＜６．第６実施形態＞
図２６は、本技術を適用した電子機器の構成例を示す図である。
図２６に示すように、電子機器８００は、レンズ群などからなる光学部８０１、固体撮像素子８０２、及び、カメラ信号処理回路であるDSP回路８０３を備える。また、電子機器８００は、フレームメモリ８０４、表示部８０５、記録部８０６、操作部８０７、及び、電源部８０８も備える。DSP回路８０３、フレームメモリ８０４、表示部８０５、記録部８０６、操作部８０７、及び、電源部８０８は、バスライン８０９を介して相互に接続されている。
光学部８０１は、被写体からの入射光（像光）を取り込んで固体撮像素子８０２の撮像面上に結像する。固体撮像素子８０２は、光学部８０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像素子８０２として、第５実施形態におけるCMOSイメージセンサ７００等の固体撮像素子を用いることができる。この場合、DSP回路８０３は、第５実施形態におけるDSP回路部７３１（図２３）、DSP回路部７４３（図２４）、又は、DSP回路部７５２（図２５）等に相当するものである。
表示部８０５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像素子８０２で撮像された動画又は静止画を表示する。記録部８０６は、固体撮像素子８０２で撮像された動画又は静止画のデータを、半導体メモリ等の記録媒体に記録する。
操作部８０７は、ユーザの操作に応じて、電子機器８００が有する各種の機能についての操作を指示する。電源部８０８は、DSP回路８０３、フレームメモリ８０４、表示部８０５、記録部８０６、及び、操作部８０７などが動作するための電力を、これら供給対象に対して適宜供給する。
＜７．第７実施形態＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ９００において、CPU（Central Processing Unit）９０１，ROM（Read Only Memory）９０２，RAM（Random Access Memory）９０３は、バス９０４により相互に接続されている。バス９０４には、さらに、入出力インタフェース９１０が接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記録部９１３、通信部９１４、及び、ドライブ９１５が接続されている。
入力部９１１は、キーボード、マウス、マイクロフォンなどよりなる。出力部９１２は、ディスプレイ、スピーカなどよりなる。記録部９１３は、ハードディスクや不揮発性のメモリなどよりなる。通信部９１４は、ネットワークインタフェースなどよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア９２１を駆動する。
以上のように構成されるコンピュータ９００では、CPU９０１が、例えば、記録部９１３に記憶されているプログラムを、入出力インタフェース９１０及びバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ９００（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。コンピュータ９００では、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記録部９１３にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部９１４で受信し、記録部９１３にインストールすることができる。その他、プログラムは、ROM９０２や記録部９１３に、あらかじめインストールしておくことができる。
なお、コンピュータ９００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
ここで、本明細書において、コンピュータ９００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施形態は、上述した実施形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
（１）
画素値を補間する対象位置として入力画像上の画素位置を選択する対象位置選択部と、
前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定する候補ライン設定部と、
前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算する重み値算出部と、
前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定する方向分類部と、
前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する第１の補間値算出部と
を備える画像処理装置。
（２）
前記第１の補間値算出部は、前記候補ライン上の値が入っていない画素に、補間用の仮の画素値として前記候補ラインの延伸方向へ平滑化した補間値を設定してから、前記対象位置の画素値を計算する
（１）に記載の画像処理装置。
（３）
前記第１の補間値算出部は、前記対象位置の模様の方向に近い候補ライン上の画素のみを用い、前記対象位置の画素値を計算する
（２）に記載の画像処理装置。
（４）
前記第１の補間値算出部は、前記候補ラインの組ごとに補間値を計算し、
前記候補ラインの組ごとに計算された補間値のうち、前記対象位置の模様の方向に近い候補ライン上の画素から計算された補間値を選択する補間値選択部をさらに備える
（２）に記載の画像処理装置。
（５）
前記対象位置の模様の方向を勘案しない補間値を計算する第２の補間値算出部と、
前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様を分類する模様分類部と、
前記対象位置の模様の分類結果に従い、前記第１の補間値算出部により計算された補間値、又は、前記第２の補間値算出部により計算された補間値を選択する補間値選択部と
をさらに備える（１）に記載の画像処理装置。
（６）
前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様を分類する模様分類部をさらに備え、
前記第１の補間値算出部は、前記対象位置の模様の分類結果に応じて、補間値を計算する
（１）に記載の画像処理装置。
（７）
前記候補ライン設定部は、前記候補ラインを、組ごとに互いに平行に、かつ、組ごとに互いに前記対象位置に対して対称となるように設定する
（１）乃至（６）のいずれか一項に記載の画像処理装置。
（８）
前記候補ライン設定部は、前記候補ラインの組を、直交するように設定する
（１）乃至（７）のいずれか一項に記載の画像処理装置。
（９）
前記候補ライン設定部は、前記候補ラインを、前記対象位置を通るように設定する
（８）に記載の画像処理装置。
（１０）
前記対象位置の模様の方向は、前記入力画像上の水平方向又は垂直方向である
（１）乃至（９）のいずれか一項に記載の画像処理装置。
（１１）
前記入力画像は、水平方向又は垂直方向の少なくとも一方に拡大される画像である
（１）乃至（１０）のいずれか一項に記載の画像処理装置。
（１２）
前記入力画像は、所定の配列からなる色フィルタアレイを用いた固体撮像素子の出力値から得られる画像である
（１）乃至（１０）のいずれか一項に記載の画像処理装置。
（１３）
前記入力画像は、固体撮像素子の欠陥画素を含む画像である
（１）乃至（１０）のいずれか一項に記載の画像処理装置。
（１４）
画像処理装置の画像処理方法において、
前記画像処理装置が、
画素値を補間する対象位置として入力画像上の画素位置を選択し、
前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定し、
前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算し、
前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定し、
前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する
ステップを含む画像処理方法。
（１５）
複数の色成分の各色成分に対応する画素を行列状に規則的に配置した画素アレイ部と、
前記画素アレイ部からの画素信号に対し、所定の信号処理を行う信号処理部と
を備え、
前記信号処理部は、
画素値を補間する対象位置として、前記画素アレイ部からの画素信号から得られる入力画像上の画素位置を選択する対象位置選択部と、
前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定する候補ライン設定部と、
前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算する重み値算出部と、
前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定する方向分類部と、
前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する補間値算出部と
を備える固体撮像素子。
（１６）
固体撮像素子と画像処理部とを備える電子機器において、
前記固体撮像素子は、
複数の色成分の各色成分に対応する画素を行列状に規則的に配置した画素アレイ部と、
前記画素アレイ部からの画素信号に対し、所定の信号処理を行う信号処理部と
を有し、
前記画像処理部は、
画素値を補間する対象位置として、前記固体撮像素子からの画素信号から得られる入力画像上の画素位置を選択する対象位置選択部と、
前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定する候補ライン設定部と、
前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算する重み値算出部と、
前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定する方向分類部と、
前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する補間値算出部と
を有する電子機器。
１０ 画像処理装置， １０１ 対象位置選択部， １０２ 候補ライン設定部， １０３ 重み値算出部， １０４ 方向分類部， １０５ 補間値算出部， １０５−１ 第１の補間値算出部， １０５−２ 第２の補間値算出部， １０６ 補間値選択部， １０７ 模様分類部， ７００ 固体撮像素子， ８００ 電子機器， ９００ コンピュータ， ９０１ CPU

Claims (16)

  1. 画素値を補間する対象位置として入力画像上の画素位置を選択する対象位置選択部と、
    前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定する候補ライン設定部と、
    前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算する重み値算出部と、
    前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定する方向分類部と、
    前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する第１の補間値算出部と
    を備える画像処理装置。
  2. 前記第１の補間値算出部は、前記候補ライン上の値が入っていない画素に、補間用の仮の画素値として前記候補ラインの延伸方向へ平滑化した補間値を設定してから、前記対象位置の画素値を計算する
    請求項１に記載の画像処理装置。
  3. 前記第１の補間値算出部は、前記対象位置の模様の方向に近い候補ライン上の画素のみを用い、前記対象位置の画素値を計算する
    請求項２に記載の画像処理装置。
  4. 前記第１の補間値算出部は、前記候補ラインの組ごとに補間値を計算し、
    前記候補ラインの組ごとに計算された補間値のうち、前記対象位置の模様の方向に近い候補ライン上の画素から計算された補間値を選択する補間値選択部をさらに備える
    請求項２に記載の画像処理装置。
  5. 前記対象位置の模様の方向を勘案しない補間値を計算する第２の補間値算出部と、
    前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様を分類する模様分類部と、
    前記対象位置の模様の分類結果に従い、前記第１の補間値算出部により計算された補間値、又は、前記第２の補間値算出部により計算された補間値を選択する補間値選択部と
    をさらに備える請求項１に記載の画像処理装置。
  6. 前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様を分類する模様分類部をさらに備え、
    前記第１の補間値算出部は、前記対象位置の模様の分類結果に応じて、補間値を計算する
    請求項１に記載の画像処理装置。
  7. 前記候補ライン設定部は、前記候補ラインを、組ごとに互いに平行に、かつ、組ごとに互いに前記対象位置に対して対称となるように設定する
    請求項１に記載の画像処理装置。
  8. 前記候補ライン設定部は、前記候補ラインの組を、直交するように設定する
    請求項７に記載の画像処理装置。
  9. 前記候補ライン設定部は、前記候補ラインを、前記対象位置を通るように設定する
    請求項８に記載の画像処理装置。
  10. 前記対象位置の模様の方向は、前記入力画像上の水平方向又は垂直方向である
    請求項１に記載の画像処理装置。
  11. 前記入力画像は、水平方向又は垂直方向の少なくとも一方に拡大される画像である
    請求項１に記載の画像処理装置。
  12. 前記入力画像は、所定の配列からなる色フィルタアレイを用いた固体撮像素子の出力値から得られる画像である
    請求項１に記載の画像処理装置。
  13. 前記入力画像は、固体撮像素子の欠陥画素を含む画像である
    請求項１に記載の画像処理装置。
  14. 画像処理装置の画像処理方法において、
    前記画像処理装置が、
    画素値を補間する対象位置として入力画像上の画素位置を選択し、
    前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定し、
    前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算し、
    前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定し、
    前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する
    ステップを含む画像処理方法。
  15. 複数の色成分の各色成分に対応する画素を行列状に規則的に配置した画素アレイ部と、
    前記画素アレイ部からの画素信号に対し、所定の信号処理を行う信号処理部と
    を備え、
    前記信号処理部は、
    画素値を補間する対象位置として、前記画素アレイ部からの画素信号から得られる入力画像上の画素位置を選択する対象位置選択部と、
    前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定する候補ライン設定部と、
    前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算する重み値算出部と、
    前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定する方向分類部と、
    前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する補間値算出部と
    を備える固体撮像素子。
  16. 固体撮像素子と画像処理部とを備える電子機器において、
    前記固体撮像素子は、
    複数の色成分の各色成分に対応する画素を行列状に規則的に配置した画素アレイ部と、
    前記画素アレイ部からの画素信号に対し、所定の信号処理を行う信号処理部と
    を有し、
    前記画像処理部は、
    画素値を補間する対象位置として、前記固体撮像素子からの画素信号から得られる入力画像上の画素位置を選択する対象位置選択部と、
    前記対象位置の近傍に、値が入った画素を含む候補ラインの組を２組以上設定する候補ライン設定部と、
    前記対象位置と、前記候補ライン上の画素位置とが同じ模様上にあると期待される度合いに対応する重み値を計算する重み値算出部と、
    前記候補ライン上の各画素の重み値に応じて、前記対象位置の模様の方向に近い候補ラインの組を選択的に決定する方向分類部と、
    前記候補ライン上の各画素の重み値に応じて、前記対象位置の画素値を計算する補間値算出部と
    を有する電子機器。
JP2013244948A 2013-11-27 2013-11-27 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器 Pending JP2015103151A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013244948A JP2015103151A (ja) 2013-11-27 2013-11-27 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器
US14/549,312 US9659346B2 (en) 2013-11-27 2014-11-20 Image processing apparatus, image processing method, solid-state imaging device, and electronic apparatus configured to calculate a pixel value of a target position in accordance with a weighted value of each pixel on a candidate line of a plurality of candidate lines

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013244948A JP2015103151A (ja) 2013-11-27 2013-11-27 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器

Publications (1)

Publication Number Publication Date
JP2015103151A true JP2015103151A (ja) 2015-06-04

Family

ID=53182370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013244948A Pending JP2015103151A (ja) 2013-11-27 2013-11-27 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器

Country Status (2)

Country Link
US (1) US9659346B2 (ja)
JP (1) JP2015103151A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107205618B (zh) * 2015-02-10 2019-03-26 奥林巴斯株式会社 图像处理装置、内窥镜系统、图像处理方法以及记录介质
JP7248943B2 (ja) * 2018-09-28 2023-03-30 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4626007B2 (ja) 1999-06-14 2011-02-02 株式会社ニコン 画像処理方法、画像処理プログラムを記録した機械読み取り可能な記録媒体、および画像処理装置
JP2005311473A (ja) * 2004-04-16 2005-11-04 Sharp Corp 撮像装置および信号処理方法ならびにそのプログラムと記録媒体
JP4534594B2 (ja) * 2004-05-19 2010-09-01 ソニー株式会社 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US7869666B2 (en) * 2005-01-13 2011-01-11 Nvidia Corporation Video processing system and method with dynamic tag architecture
US7710458B2 (en) * 2005-06-17 2010-05-04 Casio Computer Co., Ltd. Image pick-up apparatus with a shake reducing function
US7551214B2 (en) * 2005-12-01 2009-06-23 Megachips Lsi Solutions Inc. Pixel interpolation method
JP4973031B2 (ja) * 2006-07-03 2012-07-11 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
US20090046202A1 (en) * 2007-08-17 2009-02-19 Himax Technologies Limited De-interlace method and apparatus
JP4343255B1 (ja) 2008-06-25 2009-10-14 株式会社東芝 画像伸張装置及び画像伸張方法
JP5460987B2 (ja) 2008-08-28 2014-04-02 京セラ株式会社 画像処理装置、画像処理方法、および画像処理プログラム
JP2012234507A (ja) 2011-04-20 2012-11-29 Sony Corp 画像処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US20150146064A1 (en) 2015-05-28
US9659346B2 (en) 2017-05-23

Similar Documents

Publication Publication Date Title
JP4646146B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US9560290B2 (en) Image processing including image correction
JP3915563B2 (ja) 画像処理装置および画像処理プログラム
JP6308748B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP6164564B1 (ja) 画像処理装置、画像処理方法、記録媒体、プログラム及び撮像装置
JP2005269645A (ja) カラー画像のデモザイク処理を行うための高品質グラディエント補正線形補間
JP2012191465A (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP2704423A1 (en) Image processing apparatus, image processing method, and image processing program
JP2008514134A (ja) 有効ダイナミック・レンジの拡張
JP2000134634A (ja) 画像変換方法
JP2008077501A (ja) 画像処理装置及び画像処理制御プログラム
JP2010187341A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記録媒体
JP2015103151A (ja) 画像処理装置、画像処理方法、固体撮像素子、及び、電子機器
JP2009047734A (ja) 撮像装置及び画像処理プログラム
US9979908B2 (en) Image processing devices and image processing methods with interpolation for improving image resolution
JP2016021689A (ja) 画像処理装置および画像処理方法
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6378531B2 (ja) 超解像装置及びプログラム
JP5933690B2 (ja) 画像処理装置及び方法、並びに画像処理プログラム
WO2015083502A1 (ja) 画像処理装置、該方法および該プログラム
JP5024300B2 (ja) 画像処理装置、画像処理方法、およびプログラム
WO2016035568A1 (ja) 信号処理装置および信号処理方法、固体撮像素子、撮像装置、電子機器、並びにプログラム
TWI502990B (zh) 產生高動態範圍影像的方法及其影像感測器
JP2013055622A (ja) 画像処理装置、および画像処理方法、情報記録媒体、並びにプログラム
JP2009017583A (ja) 画像処理装置