JP2017069926A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP2017069926A
JP2017069926A JP2015197209A JP2015197209A JP2017069926A JP 2017069926 A JP2017069926 A JP 2017069926A JP 2015197209 A JP2015197209 A JP 2015197209A JP 2015197209 A JP2015197209 A JP 2015197209A JP 2017069926 A JP2017069926 A JP 2017069926A
Authority
JP
Japan
Prior art keywords
image
parallax
unit
pixel
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015197209A
Other languages
English (en)
Inventor
高橋　宏彰
Hiroaki Takahashi
宏彰 高橋
健太郎 岡村
Kentaro Okamura
健太郎 岡村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2015197209A priority Critical patent/JP2017069926A/ja
Priority to US15/761,374 priority patent/US10621711B2/en
Priority to PCT/JP2016/077403 priority patent/WO2017057047A1/ja
Publication of JP2017069926A publication Critical patent/JP2017069926A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0088—Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

【課題】複数の撮像部により撮像される複数の画像を用いて画質を向上させる画像処理装置、および画像処理方法、並びにプログラムを提供する。【解決手段】高解像度撮像部３１により撮像された低感度な高解像度画像からなるメイン画像と、高感度撮像部３３により撮像された低解像度だが高感度画像からなるサブ画像とを用いて、相互の視差の有無を求め、視差があるときは、探索合成処理によりメイン画像の各画素について、サブ画像内を探索して類似した画素と合成し、視差がないときは最適合成処理で同一位置の画素間で画素を合成する。【選択図】図１

Description

本開示は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に、複数の撮像系で撮像された画像を合成することで、画像の高画質化を実現できるようにした画像処理装置、および画像処理方法、並びにプログラムに関する。
複数の異なる撮像系から構成される複眼カメラで撮影された画像を合成し、高画質化する技術が提案されている（特許文献１，２参照）。
特開２００４−３２８１３７号公報 特開２０１０−１５７８６３号公報
しかしながら、上述した特許文献１，２に代表される、これまでの手法では、異なる撮像系の間に存在する視差が無視された状態で合成されていた。
視差は被写体の撮像系からの距離に応じて変化するため、画素ごとに視差を正確に求めることは、コストが大きく、また、視差がある状態で複数の画像を合成するとアーティファクトや偽色を生じさせてしまう恐れがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、複数の撮像系により撮像された画像を、視差を考慮して合成することで、画像の高画質化を実現できるようにするものである。
本開示の一側面の画像処理装置は、第１の画像を撮像する第１の撮像部と、第２の画像を撮像する第２の撮像部と、前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部とを含む画像処理装置である。
前記第１の撮像部、および前記第２の撮像部は、同一面上で、かつ、それぞれの光軸を平行とすることができる。
前記第１の画像、および前記第２の画像は、画像特性が異なるようにすることができる。
前記第１の画像、および前記第２の画像は、画素数、画角、波長帯域、またはカラーフィルタの配列の少なくともいずれかの前記画像特性が異なるようにすることができる。
前記視差量判定部には、前記第１の画像および前記第２の画像の画素単位、または、複数の画素からなる、複数の領域に分割された領域単位で視差の有無を判定させるようにすることができる。
前記合成部には、前記視差判定部が、前記視差がないと判定した場合、前記第１の画像および前記第２の画像のそれぞれの対応する位置の画素を合成させ、前記視差判定部が、前記視差があると判定した場合、前記第１の画像の各画素について、前記第２の画像上において、類似した画素を探索させ、探索した画素と合成させるようにすることができる。
前記第１の画像および前記第２の画像の特性を一致するように調整する特性調整部をさらに含ませるようにすることができ、前記視差判定部には、前記特性調整部により前記特性が一致するように調整された前記第１の画像および前記第２の画像について、前記視差の有無を判定させるようにすることができる。
前記特性調整部には、前記第１の画像および前記第２の画像の、解像度、感度、空間周波数特性、または、光軸の方向、もしくは、レンズ歪みを修正する平行化処理のうちの少なくともいずれかを一致するように調整させるようにすることができる。
前記第１の画像に対して、前記第２の画像を平行移動して視差を低減する平行移動部をさらに含ませるようにすることができ、前記平行移動部には、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動して視差を低減させるようにすることができる。
前記平行移動部には、前記第１の撮像部から、前記合焦面までの距離、前記第１の撮像部および前記第２の撮像部の配置、光学特性、および解像度に応じて求められる視差量、前記第１の撮像部の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量、前記第１の画像および前記第２の画像の共通する特徴点間のズレとして求められる視差量、前記第１の画像および前記第２の画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求める視差量、または、予め設定された所定の視差量だけ、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動させるようにすることができる。
本開示の一側面の画像処理方法は、第１の画像を撮像し、第２の画像を撮像し、前記第１の画像および前記第２の画像の視差の有無を判定し、前記視差の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成するステップを含む画像処理方法である。
本開示の一側面のプログラムは、第１の画像を撮像する第１の撮像部と、第２の画像を撮像する第２の撮像部と、前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部としてコンピュータを機能させるプログラムである。
本開示の一側面においては、第１の画像が撮像され、第２の画像が撮像され、前記第１の画像および前記第２の画像の視差の有無が判定され、前記視差の有無の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素が合成される。
本開示の一側面によれば、２枚の画像を視差に応じて適切に合成することができるので、複数の撮像部により同一の範囲を撮像して重ね合わせるといった合成により、適切な高画質化を実現させることが可能となる。
本開示を適用した画像処理装置の構成例を説明する図である。 図１の画像処理装置による画像処理を説明するフローチャートである。 視差を説明する図である。 視差量の求め方を説明する図である。 被写体距離と視差量との関係を説明する図である。 図２の判定値算出処理を説明するフローチャートである。 評価値と判定値との関係を説明する図である。 図２の探索合成処理を説明するフローチャートである。 探索合成処理を説明する図である。 垂直方向に視差が発生したときの探索範囲を説明する図である。 水平方向に視差が発生したときの探索範囲を説明する図である。 図２の最適合成処理を説明するフローチャートである。 図２のブレンド合成処理を説明するフローチャートである。 本開示を適用した画像処理装置の第１の応用例を説明する図である。 本開示を適用した画像処理装置の第２の応用例を説明する図である。 図１５の画像処理装置による画像処理を説明するフローチャートである。 図１６の探索合成処理を説明するフローチャートである。 図１６の最適合成処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
１．本開示の実施の形態
２．第１の応用例
３．第２の応用例
＜＜１．第１の実施の形態＞＞
＜画像処理装置の構成例＞
図１は、本開示を適用した複数の撮像系により撮像された画像を合成して（重ね合わせて）、画像を高画質化する画像処理装置の一実施の形態の構成例である。
図１の画像処理装置１１は、高解像度撮像部３１、特性変換部３２、高感度撮像部３３、特性変換部３４、平行移動部３５、視差判定部３６、および２眼合成部３７を備えている。
撮像方向に対して同一の面上であって、光軸が平行に構成された、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる高解像度撮像部３１および高感度撮像部３３が設けられている。高解像度撮像部３１は、図中左上部で示されるようなBayer配列の画像を撮像し、特性変換部３２に供給する。一方、高感度撮像部３３は、図中左下部で示されるような同じくBayer配列の画像を撮像し、特性変換部３２に供給する。
高解像度撮像部３１により撮像される画像は、高感度撮像部３３により撮像される画像と比較して、高解像度であるが、低感度の画像である。一方、高感度撮像部３３により撮像される画像は、高解像度撮像部３１により撮像される画像と比較して、高感度であるが、低解像度の画像である。また、高解像度撮像部３１および高感度撮像部３３は、同一面上で、かつ、それぞれの光軸が平行となるように設けられている。
尚、以降においては、高解像度撮像部３１により撮像される画像を、高感度撮像部３３により撮像された画像で高画質化する例について説明を進めるものとする。そこで、高解像度撮像部３１により撮像される画像を基準とするため、以降においては、メイン画像とも称するものとし、同様に、高感度撮像部３４により撮像された画像をサブ画像とも称するものとする。
特性変換部３２，３４は、それぞれ高解像度撮像部３１により撮像された高解像度のメイン画像の画像特性と、高感度撮像部３３により撮像された高感度のサブ画像の画像特性とを、相互に比較して一致しない場合、揃えるように変換し、視差判定部３６に出力する。ここでは、メイン画像とサブ画像との解像度が異なり、メイン画像の方が高解像度であるため、特性変換部３２は、高解像度のメイン画像の解像度を下げることで、低解像度のサブ画像に揃える。また、メイン画像は、サブ画像より低感度の画像であるため、特性変換部３２は、メイン画像の感度を、サブ画像の感度に合わせるように調整する。さらに、特性変換部３２，３４は、高解像度撮像部３１および高感度撮像部３３の光学特性や、組立ばらつきなどを補償するために平行化も行う。尚、すでにメイン画像とサブ画像の特性が揃っている場合、特性変換部３２，３４は、いずれも何も処理を行わない。
平行移動部３５は、予めわかっている高解像度撮像部３１、および高感度撮像部３３のそれぞれの光学特性などから生じる視差量の情報を入手できる場合、視差量を補正する方向にメイン画像およびサブ画像を平行移動させる。尚、高解像度撮像部３１、および高感度撮像部３３の光学特性などからなる視差量の情報については、必ずしも取得できないこともあるため、平行移動部３５は、視差量の情報が取得できた場合にのみ、この視差量の情報を利用して、メイン画像およびサブ画像のいずれか一方の画像の位置を基準として、他方の画像を平行移動させる。
視差判定部３６は、後述するメイン画像とサブ画像とを合成する手法を切り替えるために視差量を求め、合成方法を調整する。すなわち、メイン画像とサブ画像との視差が存在する画素を合成すると、アーティファクトや偽色が生じる原因となる。そのため、視差判定部３６は、視差量に応じて、合成方法を判定し、判定結果となる合成方法を２眼合成部３７に供給する。
２眼合成部３７は、視差判定部３６の判定結果に基づいて特定された合成方法で、特性が揃えられたメイン画像とサブ画像とを重ね合わせるようにして合成し、合成した画像を出力する。
＜図１の画像処理装置により画像合成処理＞
次に、図２のフローチャートを参照して、図１の画像処理装置１１による画像を合成する画像合成処理について説明する。
ステップＳ１１において、高解像度撮像部３１および高感度撮像部３３は、それぞれメイン画像およびサブ画像を撮像し、特性変換部３２，３４にそれぞれ出力する。
ステップＳ１２において、特性変換部３２，３４は、相互に入力されたメイン画像およびサブ画像の画像特性を比較し、画像特性が異なるか否かを判定する。ステップＳ１２において、この例においては、メイン画像がサブ画像に対して高解像度であり、特性が異なるので、処理は、ステップＳ１３に進む。
ステップＳ１３において、特性変換部３２，３４は、メイン画像およびサブ画像の画像特性を一致するように調整する。そして、特性変換部３２は、特性を調整したメイン画像を視差判定部３６に供給する。また、特性変換部３４は、サブ画像を平行移動部３５に供給する。調整対象となる特性としては、例えば、メイン画像およびサブ画像の解像度、感度、空間周波数特性、または、光軸の方向、もしくは、レンズ歪みの平行化処理等を含むものである。
より詳細には、ここでは、メイン画像がサブ画像に対して、高解像度で有り、かつ、低感度であるため、特性変換部３２が、メイン画像の解像度を、サブ画像の解像度に揃えると共に、メイン画像の感度をサブ画像の感度に調整することにより、メイン画像とサブ画像との特性を揃える。この他にも、特性変換部３２，３４は、高解像度撮像部３１および高感度撮像部３３の光学特性や、組立ばらつきなどを補償するために、メイン画像およびサブ画像を平行化する。ここでは、メイン画像の解像度をサブ画像に合わせる例について説明するものとするが、サブ画像をアップサンプルして、高解像度画像を作成し、サブ画像の解像度をメイン画像に揃えるようにしてもよい。
尚、ステップＳ１１において、メイン画像およびサブ画像の画像特性が一致している場合、ステップＳ１２の処理がスキップされる。
ステップＳ１４において、平行移動部３５は、高解像度撮像部３１および高感度撮像部３３の光学特性などからなる視差量を求めることができる情報（例えば、レンズ焦点距離などの情報）が取得できる状態であるか否かを判定する。予め高解像度撮像部３１および高感度撮像部３３の光学特性などの視差量を求めるために必要とされる情報が入力されていたり、または、高解像度撮像部３１および高感度撮像部３３などから通信等により視差量を求めるために必要とされる情報が取得できるような場合、処理は、ステップＳ１５に進む。
ステップＳ１５において、平行移動部３５は、視差量の情報を利用して、メイン画像を基準位置として、サブ画像を平行移動させる。
すなわち、高解像度撮像部３１および高感度撮像部３３からなる２眼のカメラで撮像した場合、図３で示されるように、メイン画像Ｐ１とサブ画像Ｐ２との間には視差が生じる。視差量は、注目領域の撮像位置からの距離、すなわち、奥行に応じて、異なるもので有り、例えば、図３の場合、メイン画像Ｐ１およびサブ画像Ｐ２の左部の家Ｃの左端部が注目領域であるとした場合、視差は、視差ｄ１となるが、右部の人物Ｄの左端部が注目領域であるとした場合、視差はｄ２となる。これは、高解像度撮像部３１および高感度撮像部３３の撮像位置からみて家Ｃが、人物Ｄよりも遠い位置に存在することにより生じるものである。
より詳細には、高解像度撮像部３１および高感度撮像部３３が、同一平面上かつ水平方向に設置された場合、高解像度撮像部３１および高感度撮像部３３のそれぞれで撮像された被写体は、それぞれ高解像度撮像部３１のイメージセンサ３１ａ上の位置x_l、および、高感度撮像部３３のイメージセンサ３３ａ上の位置x_rで結像される。この時の位置のずれが視差として現れ、視差量δ（＝x_l−x_r）は以下の式（１）で表される。ここで、図３においては、イメージセンサ３１ａからなる高解像度撮像部３１の視線方向がＱ１であり、イメージセンサ３３ａからなる高感度撮像部３３の視線方向がＱ２である。
Figure 2017069926
 ・・・（１）
ここで、δは視差量、fはレンズの焦点距離、Tは撮像系間の距離、Zは被写体までの距離であり、いずれも単位は[mm]である。
高解像度撮像部３１および高感度撮像部３３のイメージセンサ３１ａ，３３ａにおける画素ピッチがp[mm/pixel]である場合、画像での視差δ_p[pixel]は式（２）で表される。
Figure 2017069926
 ・・・（２）
図５は、式（２）の関係を表したものであり、焦点距離fおよび撮像系間の距離Tが不変であるならば、視差量δは被写体までの距離に反比例する。
例えば、所定の被写体に合焦しており、その被写体までの距離が既知の場合、式（１），式（２）から画像上における視差量を求めることができる。そこで、平行移動部３５は、上述した式（１），式（２）より視差量を求め、求めた視差量δだけ、メイン画像に対してサブ画像を平行移動することで、合焦位置の奥行に存在する被写体のメイン画像とサブ画像との視差を０にする。
尚、ステップＳ１４において、視差量を求めるための情報がない場合、ステップＳ１５の処理はスキップされ、平行移動部３５は、平行移動を行わず、サブ画像をそのまま視差判定部３６に出力する。また、仮に視差量を求めるための情報が直接得られない場合であっても、例えば、無限遠を基準として視差量を求めるようにして、平行移動するようにしてもよい。また、以上においては、画像全体を平行移動する例について説明してきたが、画素単位に平行移動するようにしてもよい。
尚、平行移動については、上述したように、合焦面までの距離、高解像度撮像部３１、および高感度撮像部３３の配置、光学特性、および解像度に応じて求められる視差量に応じて行うようにしてもよいが、平行移動ができればよいので、他の手法であってもよい。
例えば、高解像度撮像部３１の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量分だけ平行移動するようにしてもよい。また、メイン画像およびサブ画像の共通する特徴点間のズレとして求められる視差量分だけ平行移動するようにしてもよい。さらに、メイン画像およびサブ画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求められる視差量分だけ平行移動するようにしてもよいし、予め設定された所定の視差量だけ平行移動するようにしてもよい。
ステップＳ１６において、視差判定部３６は、以降において画素単位での処理となるため、メイン画像とサブ画像とのそれぞれ対応する画素位置について、未処理の画素のいずれかを処理対象となる注目画素に設定する。
ステップＳ１７において、視差判定部３６は、判定値算出処理を実行し、画素単位でのメイン画素とサブ画素の合成方法を判定するために必要となる画素単位の判定値αを算出する。
＜判定値算出処理＞
ここで、図６のフローチャートを参照して判定値αを算出する判定値算出処理について説明する。
ステップＳ３１において、視差判定部３６は、メイン画像およびサブ画像のそれぞれについて、注目画素の輝度値を算出する。
Figure 2017069926
 ・・・（３）
ここで、ＲＧＢは、注目画素の画素位置におけるＲＧＢのそれぞれの補間画素値であり、Ｌは、輝度値である。
ステップＳ３２において、視差判定部３６は、メイン画像およびサブ画像のそれぞれについて求められた輝度値を用いて、高解像度撮像部３１および高感度撮像部３３の特性よりノイズの上限値および下限値を設定する。
ステップＳ３３において、視差判定部３６は、ノイズの上限値および下限値に基づいて、判定値を求めるための関数を設定する。ここで、判定値を求めるための関数とは、例えば、図７で示される関数である。図７のグラフにおいては、横軸がノイズの評価値Ｅであり、縦軸が判定値αである。ここで、ノイズの評価値における閾値ｔｈ１、ｔｈ２は、それぞれノイズの下限値および上限値である。後述する処理により求められるメイン画像およびサブ画像の注目画素におけるＲＧＢの画素間差分が、ノイズレベルの下限値よりも小さいとき、判定値αが０とされ、上限値よりも大きいとき、判定値αが１とされ、その間については、画素間差分に応じた０乃至１の値とされる。
ステップＳ３４において、視差判定部３６は、注目画素におけるＲＧＢのそれぞれのメイン画像とサブ画像との画素間差分値を算出し、その最大値を評価値Ｅとして算出する。すなわち、メイン画像の注目画素のＲＧＢの画素値が（Ｒｍ，Ｇｍ，Ｂｍ）であり、サブ画像の注目画素のＲＧＢの画素値が（Ｒｓ，Ｇｓ，Ｂｓ）であるとき、画素間差分値として、（｜Ｒｍ−Ｒｓ｜，｜Ｇｍ−Ｇｓ｜，｜Ｂｍ−Ｂｓ｜）が算出され、このうちの最大値が評価値Ｅとして算出される。尚、評価値Ｅは、メイン画像とサブ画像の同一位置の画素間の差分が求められればよいものであるので、画素間差分値（｜Ｒｍ−Ｒｓ｜，｜Ｇｍ−Ｇｓ｜，｜Ｂｍ−Ｂｓ｜）の最大値ではなく、例えば、平均値などでもよい。
ステップＳ３５において、視差判定部３６は、ステップＳ３３において設定された関数における、評価値Ｅに対応する判定値αを注目画素の判定値として求める。
すなわち、図７で示されるように、評価値Ｅが、推定したノイズの下限値ｔｈ１より差分が小さければ、注目画素におけるメイン画像とサブ画像との間には視差が存在しない領域であるものと判定し、判定値αが０とされる。また、評価値Ｅがノイズの下限値ｔｈ１と上限値ｔｈ２の間の場合、判定値αは、評価値に対応した０乃至１の値とされる。さらに、評価値Ｅが、ノイズの上限値ｔｈ２より大きければ、注目画素におけるメイン画像とサブ画像との間には視差が存在する領域であるものと判定し、判定値αが１とされる。
ここで、図２のフローチャートの説明に戻る。
ステップＳ１７において、合成方法を判定するための判定値αが求められると、ステップＳ１８において、視差判定部３６は、判定値αが１であるか否かを判定する。ステップＳ１８において、判定値αが１である場合、処理は、ステップＳ１９に進む。
ステップＳ１９において、視差判定部３６は、注目画素の合成方法を探索合成とし、２眼合成部３７に供給して探索合成処理を実行させて、注目画素を合成させる。
すなわち、判定値αが１であるということは、メイン画像とサブ画像との同一位置の画素の画素値が大きく異なり、同一の画素ではないと見なされ、視差が生じているものと見なされる。そこで、メイン画像における注目画素と同一の画素をサブ画像から探索し、探索された画素と合成する探索合成処理が選択される。尚、探索合成処理については、詳細を後述する。
また、ステップＳ１８において、判定値αが１ではない場合、処理は、ステップＳ２０に進む。
ステップＳ２０において、視差判定部３６は、判定値αが０であるか否かを判定し、判定値αが０である場合、処理は、ステップＳ２１に進む。
ステップＳ２１において、視差判定部３６は、注目画素の合成方法を最適合成とし、２眼合成部３７に供給して最適合成処理を実行させて、注目画素を合成させる。
すなわち、判定値αが０であるということは、メイン画像とサブ画像との同一位置の画素の画素値はほぼ同一であるものとみなされ、視差が生じていないものと見なされる。そこで、メイン画像における注目画素と同一位置のサブ画像の画素とを合成する最適合成処理が選択される。尚、最適合成処理については、詳細を後述する。
ステップＳ２０において、判定値αが０ではない場合、すなわち、判定値αが０＜α＜１である場合、処理は、ステップＳ２２に進む。
ステップＳ２２において、視差判定部３６は、注目画素の合成方法を探索合成と最適合成とを判定値αを用いてブレンドするブレンド合成とし、２眼合成部３７に供給してブレンド合成処理を実行させて注目画素を合成する。
すなわち、判定値αが０乃至１の範囲内であるということは、メイン画像における注目画素とサブ画像上の同一位置の画素とは、同一ではないので視差が生じてはいる疑いがあるが、比較的近い画素値であり、差分が視差であるかノイズであるかを判定できない画素である。そこで、探索合成画素と最適合成画素とを判定値αに応じてブレンドするブレンド合成処理が選択される。尚、ブレンド合成処理については、詳細を後述する。
すなわち、判定値αの値に応じて、合成方法が設定されて、設定された合成方法で画素が合成される。
ステップＳ２３において、視差判定部３６は、未処理の画素が存在するか否かを判定し、未処理の画素が存在する場合、処理は、ステップＳ１６に戻る。すなわち、ステップＳ１６乃至Ｓ２３の処理が、全ての画素が合成されるまで同様の処理が繰り返される。そして、ステップＳ２３において、全ての画素が合成されて、未処理の画素が存在しない場合、処理は、ステップＳ２４に進む。
ステップＳ２４において、２眼合成部３７は、メイン画像とサブ画像とを合成した画素からなる合成画像を出力し、処理を終了する。
以上の処理により、メイン画像およびサブ画像を合成することが可能となる。
＜図１の画像処理装置における探索合成処理＞
次に、図８のフローチャートを参照して、探索合成処理について説明する。
ステップＳ４１において、２眼合成部３７は、メイン画像のSNR（Signal to Noise Ratio）を向上させるため、注目画素を中心とした、所定の範囲、例えば、3×3画素の範囲を探索してノイズリダクションを掛ける。より具体的には、以下の式（４）で示されるフィルタ処理を施す。
Figure 2017069926
 ・・・（４）
ここで、Pm,n mは、メイン画像における注目画素（m，n）の画素信号であり、σは、ノイズ推定値であり、Pref mは新たな基準信号（注目画素の画素信号）である。
式（４）で示される処理は、例えば、図９で示されるような、メイン画像の注目画素Pm,n mに対応する点線で囲まれる３×３画素の範囲にεフィルタ処理を施す処理である。
ステップＳ４２において、２眼合成部３７は、メイン画像の注目画素の画素信号を基準画素信号として、サブ画像内の基準画素信号と類似した画素信号を探索し、探索された画素の画素信号と、メイン画像の注目画素の画素信号である基準画素信号とを合成することで、探索合成画素として出力する。より具体的には、以下の式（５）で示される演算により探索合成画素が求められる。
Figure 2017069926
 ・・・（５）
ここで、Pm,n Sは、サブ画像における画素（m、n）の画素信号であり、σは、ノイズ推定値であり、Poutは探索合成画素の画素信号である。
すなわち、探索合成処理は、メイン画像の画素を基準画素信号とし、サブ画像内の基準画素信号と類似した画素信号を双方の類似度を求めて探索し、探索した注目画素と類似したサブ画像の画素と、メイン画像の注目画素の画素信号と合成する処理である。尚、探索に当たり利用される類似度としては、例えば、画素間の類似度の重みに応じる加重平均や、注目画素を中心とした３×３画素の範囲における対応する画素間の差分絶対値和などである。
このような合成処理が施されることにより、メイン画像に対してノイズリダクション掛けることが可能となる。サブ画像の信号がより高感度であれば、高いノイズリダクションの効果が期待できる。
メイン画像における注目画素の画素信号と類似した画素信号と判定する基準は、視差判定部における評価値を求める処理と同じ手法であり、まずノイズの値が推定され、ノイズの推定値と、基準画素信号とサブ画像の画素との差分信号を比較することで有意性を判定する。
視差のあるサブ画像を同一画素として合成した場合、アーティファクトや偽色が生じる可能性が高いため、視差のあるサブ画像の画素と合成され難いようにノイズ推定値を小さく計算されるように高解像度撮像部３１および高感度撮像部３３の光学系の特性を調整する。
メイン画像とサブ画像の感度差が顕著に大きい場合、基準画素信号は相対的にノイズを多く含むことになり、基準画素信号とサブ画像の各画素の真値が等しいかどうか判断することが困難になる。そこで、ステップＳ４１の処理により、メイン画像のSNRを向上させることを目的に、事前処理としてメイン画素のみで3x3の範囲で探索しノイズリダクションが行われている。
尚、注目画素と類似した画素を探索するサブ画像内の探索の初期位置は、メイン画像と同じ座標でもよいし、所定値分だけ移動させた位置を初期位置としてもよい。所定値としては、合焦面で視差０となるように算出した既出の視差量、または、メイン画像とサブ画像に共通して存在する特徴点（共通して存在するオブジェクトの同一の画素位置など）に対応する位置の視差量を利用するようにしてもよい。
また、この時、サブ画像の探索範囲は、垂直方向と水平方向をパラメータで調整するようにしてもよく、例えば、視差が垂直方向に存在すれば、図１０の点線で囲まれた範囲で示されるように、垂直方向の探索範囲を広くし、視差が水平方向に存在すれば、図１１の点線で囲まれた範囲で示されるように水平方向の探索範囲を広くすることで、効率的な探索を実現することが可能となり、演算量を抑制することが可能となる。
＜図１の画像処理装置による最適合成処理＞
次に、図１２のフローチャートを参照して、最適合成処理について説明する。
ステップＳ５１において、２眼合成部３７は、メイン画像における注目画素と対応する位置のサブ画像における画素とを合成するための、混合比βを、例えば、以下の式（６）を演算することにより算出する。
Figure 2017069926
 ・・・（６）
ここで、σmainは、メイン画像のノイズ分散推定値であり、σsubは、サブ画像のノイズ分散推定値であり、βは、メイン画像における注目画素の画素信号と、サブ画像における注目画素に対応する位置の画素の画素信号との混合比である。
ステップＳ５２において、２眼合成部３７は、以下の式（７）を演算することにより、算出した混合比βでメイン画像における注目画素の画素信号と、サブ画像における注目画素に対応する位置の画素の画素信号とを合成し、最適合成信号として算出する。
Figure 2017069926
 ・・・（７）
最適合成は、合成後の信号のSNRが最大となるように合成する手法である。すなわち、最適合成は、メイン画像とサブ画像の視差やブラー、および飽和画素がないときの合成を想定している。つまり、サブ画像をメイン画像と入れ替えるような処理をしても、アーティファクトや偽色が生じない状況での合成である。
また、最適合成処理は、繰り返しの演算がないため、探索合成処理と比較すると演算量を低減することが可能となる。また、予め視差判定処理により、最適合成処理で問題のある画素だけを探索合成処理で対応することができ、それ以外の画素については、最適合成処理により対応するようにすることで、全画素に探索合成処理を掛けずに済ますことが可能となるので、演算量を低減させることが可能になると共に、SNRを最大にして合成することが可能となる。
＜図１の画像処理装置によるブレンド合成処理＞
次に、図１３のフローチャートを参照して、ブレンド合成処理について説明する。
ステップＳ７１において、２眼合成部３７は、メイン画像の注目画素について、サブ画像の対応する画素と探索合成処理により合成画素を生成する。尚、探索合成処理については、図８のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
ステップＳ７２において、２眼合成部３７は、メイン画像の注目画素について、サブ画像の対応する画素と最適合成処理により合成画素を生成する。尚、最適合成処理については、図１２のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
ステップＳ７３において、２眼合成部３７は、判定値αを混合比として、探索合成処理により求められた画素信号と、最適合成処理により求められた画素信号とを混合することで合成し、ブレンド合成画素として出力する。より具体的には、２眼合成部３７は、例えば、以下の式（８）の演算により、判定値αを混合比として、探索合成処理により求められた画素信号と、最適合成処理により求められた画素信号とを合成する。
Figure 2017069926
 ・・・（８）
ここで、OUTは、ブレンド合成信号であり、OUTsearchは、探索合成処理により求められた画素信号であり、OUToptは、最適合成処理により求められた画素信号であり、αは、判定値（0＜α＜1）である。
尚、判定値αが切り替わる閾値となる、ノイズの下限値ｔｈ１、および上限値ｔｈ２が同値であれば、最適合成処理および探索合成処理が急峻に切り替わることとなり、実質的にブレンド合成処理なくなり、探索合成処理または最適合成処理のいずれかにより画素が合成されることになる。
また、サブ画像をメイン画像に合わせて、視差量分だけ平行移動させる処理は、高解像度撮像部３１および高感度撮像部３３の光学系の視差量を得るための情報が得られる場合にのみなされるものであるので、平行移動部３５は、省略するようにしてもよい。
＜２．第１の応用例＞
以上においては、メイン画像およびサブ画像の入力を、いずれもBayer配列の画像としてきたが、例えば、図１４で示されるように、メイン画像およびサブ画像における各画素にＲＧＢの３色がそろった画像を利用するようにしてもよい。この場合、ＲＧＢの各画像に対して処理が必要となるため、演算量が増加するが、各画素についてＲＧＢの３色のそれぞれが揃った状態で処理がなされるため、よりメイン画像の高感度化を実現することが可能となる。
また、以上の実施例は、感度が異なる構成でSNRの向上を目的に合成する手法について説明してきたが、感度が低い信号値の感度差分を補償して合成することで、HDR（ハイダイナミックレンジ）機能を実現することも可能となる。
＜３．第２の応用例＞
さらに、以上においては、メイン画像およびサブ画像の画角が同一の画像である場合について説明してきたが、必ずしも同一の画角からなる画像同士でなくてもよく、例えば、それぞれ広角画像および望遠画像とするようにしてもよい。
すなわち、図１５で示されるように、高解像度撮像部３１にメイン画像として広角画像を入力し、高感度撮像部３３にサブ画像として望遠画像を入力するようにしてもよい。
図１５は、高解像度撮像部３１にメイン画像として広角画像を入力し、高感度撮像部３３にサブ画像として望遠画像を入力するようにした画像処理装置１１の構成例を示している。尚、図１５の画像処理装置１１において、図１の画像処理装置１１と同一の機能を備えた構成については、同一の名称、および同一の符号を付すものとし、その説明は適宜省略するものとする。
すなわち、図１５の画像処理装置１１において、図１の画像処理装置と異なるのは、視差判定部３６、および２眼合成部３７に代えて、視差判定部１０１、および２眼合成部１０２を備えている点である。
視差判定部１０１は、基本的には視差判定部３６と同様の機能を備えているが、さらに、画角が異なるメイン画像たる広角画像とサブ画像たる望遠画像のうち、メイン画像とサブ画像との画角が重なる範囲の画素のみの視差判定を行う。
２眼合成部１０２は、メイン画像たる広角画像とサブ画像たる望遠画像との画角が重なる領域において、サブ画像における高周波成分を抽出して、広角画像のうち、望遠画像の領域となる範囲に加算することで、広角画像であって、望遠画像に対応する領域を高精細な画像とする。
＜図１５の画像処理装置による画像合成処理＞
次に、図１６のフローチャートを参照して、図１５の画像処理装置による画像合成処理について説明する。尚、図１６のステップＳ９１乃至Ｓ９５，Ｓ９８，Ｓ９９，Ｓ１０１、Ｓ１０４，Ｓ１０５の処理は、図２のステップＳ１１乃至Ｓ１５，Ｓ１７，Ｓ１８，Ｓ２０，Ｓ２３，Ｓ２４の処理と同様であるので、適宜省略するものとする。
すなわち、ステップＳ９６においては、視差判定部３６は、以降において画素単位での処理となるため、メイン画像の画素位置について、未処理の画素のいずれかを処理対象となる注目画素に設定する。
ステップＳ９７において、視差判定部３６は、注目画素がサブ画像における画角内の画素であるか否かを判定する。すなわち、ここでは、メイン画像が広角画像であり、サブ画像が望遠画像であるため、サブ画像は、メイン画像の一部となる。このため、処理が可能なのは、メイン画像とサブ画像の画角がいずれも重なる領域となるため、それ以外の領域は、処理範囲から除外するため、注目画素がサブ画像の画角内の画素であるか否かを判定する。ステップＳ９７において、注目画素がサブ画像の画角内の画素である場合、処理は、ステップＳ９８に進む。
ステップＳ９８において、判定値算出処理がなされることにより、メイン画像である注目画素と、対応する画素位置のサブ画像の画素との間に視差の有無を判定するための判定値αが算出されることになる。尚、判定値算出処理は、図６のフローチャートを参照して説明した処理と同様であるので、ここでは省略するものとする。
そして、ステップＳ９９において、判定値αが１であり、視差があると判定された場合、処理は、ステップＳ１００に進む。
ステップＳ１００において、２眼合成部１０１は、探索合成処理を実行し、注目画素に対して、サブ画像上の類似する画素を探索し、探索した画素の高周波成分を加算する。
すなわち、判定値αが１であるということは、メイン画像上の注目画素と、同一位置のサブ画像の画素は、視差により同一ではないことになるため、サブ画像上で注目画素と類似する画素を探索し、探索されたサブ画像上の画素を用いた処理が必要となる。
＜図１５の画像処理装置による探索合成処理＞
ここで、図１７のフローチャートを参照して、図１５の画像処理装置１１による探索合成処理について説明する。
ステップＳ１２１において、２眼合成部１０２は、メイン画像のSNR（Signal to Noise Ratio）を向上させるため、注目画素を中心とした、所定の範囲、例えば、3×3画素の範囲を探索してノイズリダクションを掛ける。この処理は、上述した図８におけるステップＳ４１の処理と同様である。
ステップＳ１２２において、２眼合成部１０２は、サブ画像内であって、探索範囲内において、現在の注目画素と最も類似する画素を探索する。ここで、注目画素と最も類似するサブ画像上の画素とは、例えば、画素間の類似度の重みに応じる加重平均や、注目画素と探索画素とのそれぞれを中心とした３画素×３画素の範囲における画素間差分絶対値和などである。
ステップＳ１２３において、２眼合成部１０２は、注目画素と最も類似度の高いサブ画像上の画素の高周波成分を抽出する。
ステップＳ１２４において、２眼合成部１０２は、注目画素の画素値に、抽出した高周波成分を加算して合成結果として記憶する。
すなわち、このような処理により、メイン画像のうち、視差があるとみなされた画素に対して、サブ画像内で類似度の高い画素が探索されることにより、視差による影響を低減して、サブ画像の高周波成分をメイン画像におけるサブ画像と同一の画角領域の画素に加算することが可能となる。
ここで、図１６の説明に戻る。
一方、ステップＳ１０１において、判定値αが０である場合については、メイン画像上の注目画素と、対応するサブ画像上の画素に視差が生じていないとみなされることになるので、処理は、ステップＳ１０２に進み、最適合成処理がなされて、対応する位置のサブ画像における高周波成分が注目画素の画素値に加算される。
＜図１５の画像処理装置による最適合成処理＞
ここで、図１８のフローチャートを参照して、図１５の画像処理装置による最適合成処理について説明する。
ステップＳ１４１において、２眼合成部１０２は、メイン画像における注目画素と対応するサブ画像上の位置の画素の高周波成分を抽出する。
ステップＳ１４２において、２眼合成部１０２は、メイン画像における注目画素の画素値に抽出した、サブ画像上の注目画素に対応する位置の画素の高周波成分を加算して記憶する。
以上の処理により、メイン画像上の注目画素と対応する位置のサブ画像上の画素は、視差がないものとみなされて、サブ画像上の画素の高周波成分が、そのまま注目画素に加算されることになる。
ここで、図１６のフローチャートの説明に戻る。
さらに、判定値αが０乃至１の範囲内である場合、ステップＳ１０３において、ブレンド合成処理が実行されて、探索合成処理で高周波成分が加算された画素と、最適合成処理で高周波成分が加算された画素とが、判定値αを用いた混合比でブレンドされる。尚、この処理については、図１３のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
そして、ステップＳ９７において、注目画素のうち、サブ画像の画角外であるとみなされた場合、処理は、ステップＳ１０４に進む。すなわち、この場合、注目画素については、処理が施されないまま記憶される。そして、メイン画像の全画素について処理がなされると、ステップＳ１０５において、２眼合成部１０２により記憶された画素値からなる画像が出力される。
この結果、広角画像たるメイン画像のうち、望遠画像たるサブ画像の領域内に、サブ画像の高周波成分が加算されることになるので、広角画像であって、かつ、望遠画像に対応する領域を高精細な画像とすることが可能となる。
尚、メイン画像とサブ画像の組み合わせはこれ以外のものであってもよく、例えば、メイン画像をBayer画像とし、サブ画像をモノクロ画像とするようにしてもよいし、また、メイン画像をBayer画像とし、サブ画像を近赤外線画像とするようにしてもよい。
すなわち、メイン画像をBayer配列のセンサにより撮像された画像として、サブ画像をモノクロのセンサにより撮像された画像にすることで、高解像度な合成結果の取得が可能になる。この構成の場合、光学系をメイン画像とサブ画像とで同一にすることができるため、全画角において合成することが可能である。
モノクロ画像のセンサはBayer配列のセンサと比べると、輝度が高解像度である点と感度がよい点が特徴である。結果として、合成画像は、高解像度の効果とSNRを向上させるようにすることができる。
また、メイン画像をBayer配列のセンサ、サブ画像の近赤外画像に感度を持つセンサにすることで、可視光では撮影することができない画像をメイン画像に合成することが可能である。血中のヘモグロビンを撮像することが可能となる。
視差がある領域と視差がない領域をあらかじめ切り分けることで、視差有無に応じて処理を切り替え、演算量の削減を図ることが可能となる。
また、メイン画像とサブ画像の探索の演算範囲を、視差方向に垂直な方向は狭く、平行な方向は広く範囲を持つことで、演算量を抑えつつ、高画質化することが可能となる。
注目する領域の視差を最小にすることによって、特性を最大化して合成することが可能となる。
さらに、以上においては、画素単位での視差の有無を求める判定値を求める例について説明してきたが、視差の有無は、画素単位でなくてもよく、例えば、画像全体を複数の画素単位の領域に分割し、分割された領域毎に視差の有無を求め、判定値を求めるようにし、領域単位で合成するようにしてもよい。
また、以上においては、平行移動部３５における動作は、高解像度撮像部３１および高感度撮像部３３の合焦面までの距離といった光学特性など視差を求めるのに必要な情報を外部から取得し、それぞれの合焦面までの距離、配置、光学特性、および解像度に応じて求められる視差量分だけ平行移動させる例について説明してきたが、視差を低減できるようにする平行移動であれば、他の方法でもよく、例えば、一方の撮像部の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量、２の画像の共通する特徴点間のズレとして求められる視差量、２の画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求める視差量、または、予め設定された所定の視差量だけ平行移動して視差を低減させるようにしてもよい。
＜ソフトウェアにより実行させる例＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
図１９は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタ-フェイス１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタ-フェイス１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 第１の画像を撮像する第１の撮像部と、
第２の画像を撮像する第２の撮像部と、
前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、
前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部とを含む
画像処理装置。
＜２＞ 前記第１の撮像部、および前記第２の撮像部は、同一面上で、かつ、それぞれの光軸が平行である
＜１＞に記載の画像処理装置。
＜３＞ 前記第１の画像、および前記第２の画像は、画像特性が異なる
＜１＞または＜２＞に記載の画像処理装置。
＜４＞ 前記第１の画像、および前記第２の画像は、画素数、画角、波長帯域、またはカラーフィルタの配列の少なくともいずれかの前記画像特性が異なる
＜３＞に記載の画像処理装置。
＜５＞ 前記視差量判定部は、前記第１の画像および前記第２の画像の画素単位、または、複数の画素からなる、複数の領域に分割された領域単位で視差の有無を判定する
＜１＞乃至＜４＞のいずれかに記載の画像処理装置。
＜６＞ 前記合成部は、
前記視差判定部が、前記視差がないと判定した場合、前記第１の画像および前記第２の画像のそれぞれの対応する位置の画素を合成し、
前記視差判定部が、前記視差があると判定した場合、前記第１の画像の各画素について、前記第２の画像上において、類似した画素を探索し、探索した画素と合成する
＜１＞乃至＜５＞のいずれかに記載の画像処理装置。
＜７＞ 前記第１の画像および前記第２の画像の特性を一致するように調整する特性調整部をさらに含み、
前記視差判定部は、前記特性調整部により前記特性が一致するように調整された前記第１の画像および前記第２の画像について、前記視差の有無を判定する
＜１＞乃至＜６＞のいずれかに記載の画像処理装置。
＜８＞ 前記特性調整部は、前記第１の画像および前記第２の画像の、解像度、感度、空間周波数特性、または、光軸の方向、もしくは、レンズ歪みを修正する平行化処理のうちの少なくともいずれかを一致するように調整する
＜１＞乃至＜７＞のいずれかに記載の画像処理装置。
＜９＞ 前記第１の画像に対して、前記第２の画像を平行移動して視差を低減する平行移動部をさらに含み、
前記平行移動部は、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動して視差を低減する
＜１＞乃至＜８＞のいずれかに記載の画像処理装置。
＜１０＞ 前記平行移動部は、前記第１の撮像部から、前記合焦面までの距離、前記第１の撮像部および前記第２の撮像部の配置、光学特性、および解像度に応じて求められる視差量、前記第１の撮像部の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量、前記第１の画像および前記第２の画像の共通する特徴点間のズレとして求められる視差量、前記第１の画像および前記第２の画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求める視差量、または、予め設定された所定の視差量だけ、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動する
＜９＞に記載の画像処理装置。
＜１１＞ 第１の画像を撮像し、
第２の画像を撮像し、
前記第１の画像および前記第２の画像の視差の有無を判定し、
前記視差の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成するステップを含む
画像処理方法。
＜１２＞ 第１の画像を撮像する第１の撮像部と、
第２の画像を撮像する第２の撮像部と、
前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、
前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部としてコンピュータを機能させる
プログラム。
１１ 画像処理装置， ３１ 高解像度撮像部， ３２ 特性変換部， ３３ 高感度撮像部， ３４ 特性変換部， ３５ 平行移動部， ３６ 視差判定部， ３７ ２眼合成部

Claims (12)

  1. 第１の画像を撮像する第１の撮像部と、
    第２の画像を撮像する第２の撮像部と、
    前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、
    前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部とを含む
    画像処理装置。
  2. 前記第１の撮像部、および前記第２の撮像部は、同一面上で、かつ、それぞれの光軸が平行である
    請求項１に記載の画像処理装置。
  3. 前記第１の画像、および前記第２の画像は、画像特性が異なる
    請求項１に記載の画像処理装置。
  4. 前記第１の画像、および前記第２の画像は、画素数、画角、波長帯域、またはカラーフィルタの配列の少なくともいずれかの前記画像特性が異なる
    請求項３に記載の画像処理装置。
  5. 前記視差量判定部は、前記第１の画像および前記第２の画像の画素単位、または、複数の画素からなる、複数の領域に分割された領域単位で視差の有無を判定する
    請求項１に記載の画像処理装置。
  6. 前記合成部は、
    前記視差判定部が、前記視差がないと判定した場合、前記第１の画像および前記第２の画像のそれぞれの対応する位置の画素を合成し、
    前記視差判定部が、前記視差があると判定した場合、前記第１の画像の各画素について、前記第２の画像上において、類似した画素を探索し、探索した画素と合成する
    請求項１に記載の画像処理装置。
  7. 前記第１の画像および前記第２の画像の特性を一致するように調整する特性調整部をさらに含み、
    前記視差判定部は、前記特性調整部により前記特性が一致するように調整された前記第１の画像および前記第２の画像について、前記視差の有無を判定する
    請求項１に記載の画像処理装置。
  8. 前記特性調整部は、前記第１の画像および前記第２の画像の、解像度、感度、空間周波数特性、または、光軸の方向、もしくは、レンズ歪みを修正する平行化処理のうちの少なくともいずれかを一致するように調整する
    請求項１に記載の画像処理装置。
  9. 前記第１の画像に対して、前記第２の画像を平行移動して視差を低減する平行移動部をさらに含み、
    前記平行移動部は、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動して視差を低減する
    請求項１に記載の画像処理装置。
  10. 前記平行移動部は、前記第１の撮像部から、前記合焦面までの距離、前記第１の撮像部および前記第２の撮像部の配置、光学特性、および解像度に応じて求められる視差量、前記第１の撮像部の焦点距離を合わせた設定値から事前に設定されたテーブルを参照することで求められる視差量、前記第１の画像および前記第２の画像の共通する特徴点間のズレとして求められる視差量、前記第１の画像および前記第２の画像のそれぞれに応じた奥行きマップが与えられたときに、奥行きに応じて求める視差量、または、予め設定された所定の視差量だけ、前記第２の画像の画像全体、または、前記第２の画像における画素単位で平行移動する
    請求項９に記載の画像処理装置。
  11. 第１の画像を撮像し、
    第２の画像を撮像し、
    前記第１の画像および前記第２の画像の視差の有無を判定し、
    前記視差の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成するステップを含む
    画像処理方法。
  12. 第１の画像を撮像する第１の撮像部と、
    第２の画像を撮像する第２の撮像部と、
    前記第１の画像および前記第２の画像の視差の有無を判定する視差判定部と、
    前記視差判定部の判定結果に応じて、前記第１の画像および前記第２の画像のそれぞれの画素を合成する合成部としてコンピュータを機能させる
    プログラム。
JP2015197209A 2015-10-02 2015-10-02 画像処理装置、および画像処理方法、並びにプログラム Pending JP2017069926A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015197209A JP2017069926A (ja) 2015-10-02 2015-10-02 画像処理装置、および画像処理方法、並びにプログラム
US15/761,374 US10621711B2 (en) 2015-10-02 2016-09-16 Image processing device and image processing method for synthesizing plurality of images
PCT/JP2016/077403 WO2017057047A1 (ja) 2015-10-02 2016-09-16 画像処理装置、および画像処理方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015197209A JP2017069926A (ja) 2015-10-02 2015-10-02 画像処理装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2017069926A true JP2017069926A (ja) 2017-04-06

Family

ID=58423566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015197209A Pending JP2017069926A (ja) 2015-10-02 2015-10-02 画像処理装置、および画像処理方法、並びにプログラム

Country Status (3)

Country Link
US (1) US10621711B2 (ja)
JP (1) JP2017069926A (ja)
WO (1) WO2017057047A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019167571A1 (ja) * 2018-02-27 2019-09-06 ソニーセミコンダクタソリューションズ株式会社 画像処理装置及び画像処理方法
WO2019221151A1 (ja) * 2018-05-16 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 撮像システム
WO2020189223A1 (ja) 2019-03-15 2020-09-24 ソニー株式会社 動画配信システム、動画配信方法、及び表示端末
JP2020533883A (ja) * 2017-11-30 2020-11-19 オッポ広東移動通信有限公司Ｇｕａｎｇｄｏｎｇ Ｏｐｐｏ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｒｐ．， Ｌｔｄ． ダブルカメラベースの撮像のための方法および装置
WO2022035267A1 (ko) * 2020-08-14 2022-02-17 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
IL264032B (en) * 2018-12-30 2020-06-30 Elbit Systems Ltd System and methods for removing artifacts in binocular displays
WO2021038789A1 (ja) * 2019-08-29 2021-03-04 オリンパス株式会社 画像処理方法および画像処理装置
WO2021253166A1 (en) * 2020-06-15 2021-12-23 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method of generating target image data and electrical device

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
JP2004328137A (ja) 2003-04-22 2004-11-18 Konica Minolta Photo Imaging Inc 画像撮像装置、画像処理装置及び画像処理プログラム
JP2006072757A (ja) * 2004-09-02 2006-03-16 Toyota Motor Corp 物体検出装置
TWI336810B (en) * 2006-12-21 2011-02-01 Altek Corp Method of generating image data having parallax using a digital image-capturing device and digital image-capturing device
KR101733443B1 (ko) * 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
JP2010147786A (ja) * 2008-12-18 2010-07-01 Fujifilm Corp 撮像装置及び画像処理方法
JP2010157863A (ja) 2008-12-26 2010-07-15 Fujifilm Corp 複眼カメラ及び画像処理方法
US9109891B2 (en) * 2010-02-02 2015-08-18 Konica Minolta Holdings, Inc. Stereo camera
JP5367640B2 (ja) 2010-05-31 2013-12-11 パナソニック株式会社 撮像装置および撮像方法
JP5450330B2 (ja) * 2010-09-16 2014-03-26 株式会社ジャパンディスプレイ 画像処理装置および方法、ならびに立体画像表示装置
CN101984670B (zh) * 2010-11-16 2013-01-23 深圳超多维光电子有限公司 一种立体显示方法、跟踪式立体显示器及图像处理装置
JP5411842B2 (ja) * 2010-12-07 2014-02-12 シャープ株式会社 撮像装置
JP5816015B2 (ja) * 2011-07-15 2015-11-17 株式会社東芝 固体撮像装置及びカメラモジュール
JP5901935B2 (ja) 2011-10-24 2016-04-13 株式会社東芝 固体撮像装置及びカメラモジュール
US8957973B2 (en) * 2012-06-11 2015-02-17 Omnivision Technologies, Inc. Shutter release using secondary camera
JP6216143B2 (ja) 2012-06-20 2017-10-18 キヤノン株式会社 画像処理装置、その制御方法、およびプログラム
JP6585890B2 (ja) * 2014-09-30 2019-10-02 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、並びに撮像装置
US9743015B2 (en) * 2015-05-22 2017-08-22 Samsung Electronics Co., Ltd. Image capturing apparatus and method of controlling the same
JP2017069926A (ja) * 2015-10-02 2017-04-06 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US10291899B2 (en) * 2015-11-30 2019-05-14 Canon Kabushiki Kaisha Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for generating restored image

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020533883A (ja) * 2017-11-30 2020-11-19 オッポ広東移動通信有限公司Ｇｕａｎｇｄｏｎｇ Ｏｐｐｏ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｃｏｒｐ．， Ｌｔｄ． ダブルカメラベースの撮像のための方法および装置
JP6999802B2 (ja) 2017-11-30 2022-02-10 オッポ広東移動通信有限公司 ダブルカメラベースの撮像のための方法および装置
WO2019167571A1 (ja) * 2018-02-27 2019-09-06 ソニーセミコンダクタソリューションズ株式会社 画像処理装置及び画像処理方法
WO2019221151A1 (ja) * 2018-05-16 2019-11-21 ソニーセミコンダクタソリューションズ株式会社 撮像システム
WO2020189223A1 (ja) 2019-03-15 2020-09-24 ソニー株式会社 動画配信システム、動画配信方法、及び表示端末
US11972547B2 (en) 2019-03-15 2024-04-30 Sony Group Corporation Video distribution system, video distribution method, and display terminal
WO2022035267A1 (ko) * 2020-08-14 2022-02-17 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치

Also Published As

Publication number Publication date
US10621711B2 (en) 2020-04-14
WO2017057047A1 (ja) 2017-04-06
US20180268531A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
WO2017057047A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN109792485B (zh) 用于融合图像的系统及方法
US8885067B2 (en) Multocular image pickup apparatus and multocular image pickup method
US8436910B2 (en) Image processing apparatus and image processing method
US20120008005A1 (en) Image processing apparatus, image processing method, and computer-readable recording medium having image processing program recorded thereon
US10567646B2 (en) Imaging apparatus and imaging method
JP6326180B1 (ja) 画像処理装置
EP2704423A1 (en) Image processing apparatus, image processing method, and image processing program
JP5984493B2 (ja) 画像処理装置、画像処理方法、撮像装置およびプログラム
US10200593B2 (en) Image capturing apparatus and control method thereof
WO2016185832A1 (ja) 画像処理装置、画像処理方法およびプログラム
US8542312B2 (en) Device having image reconstructing function, method, and storage medium
JP2019110430A (ja) 制御装置、撮像装置、制御方法およびプログラム
JP6173065B2 (ja) 撮像装置、画像処理装置、撮像方法及び画像処理方法
JP2014039169A (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2022226702A1 (zh) 图像处理方法、处理装置、电子设备和存储介质
JP2018148513A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6245847B2 (ja) 画像処理装置および画像処理方法
JP6332982B2 (ja) 画像処理装置およびその方法
US9924157B2 (en) Image processing device, image pickup apparatus, image processing method, and storage medium
JP6979859B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2016099836A (ja) 撮像装置、画像処理装置、画像処理方法、及びプログラム
JP2016208083A (ja) 画像処理装置、画像処理方法、及びプログラム
CN112565588A (zh) 图像处理设备、图像处理方法和存储介质
JP2017201762A (ja) 画像処理装置、画像処理方法、プログラム