JP2012004908A - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

画像処理装置、および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP2012004908A
JP2012004908A JP2010138621A JP2010138621A JP2012004908A JP 2012004908 A JP2012004908 A JP 2012004908A JP 2010138621 A JP2010138621 A JP 2010138621A JP 2010138621 A JP2010138621 A JP 2010138621A JP 2012004908 A JP2012004908 A JP 2012004908A
Authority
JP
Japan
Prior art keywords
image
processing
overlay
superimposition
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010138621A
Other languages
English (en)
Inventor
Satoru Takeuchi
悟 竹内
Hiroaki Takahashi
宏彰 高橋
Teppei Kurita
哲平 栗田
Tomotsune Masuno
智経 増野
Takefumi Nagumo
武文 名雲
Yuhi Kondo
雄飛 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010138621A priority Critical patent/JP2012004908A/ja
Priority to IL213415A priority patent/IL213415A0/en
Priority to US13/157,781 priority patent/US8861846B2/en
Priority to CN2011101632452A priority patent/CN102291531A/zh
Publication of JP2012004908A publication Critical patent/JP2012004908A/ja
Priority to US14/481,028 priority patent/US20140375843A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

【課題】ノイズ低減等を目的とした画像重ね合わせ処理をより小型のハードウェアにおいて実行する装置および方法を提供する。
【解決手段】複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部においてノイズ低減や高解像化を実現するための画像重ね合わせを実行する。２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした。メモリの一部に重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用することで任意枚数の画像重ね合わせを可能とした。また、処理画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して処理を行うことで、ＲＡＷ画像とフルカラー画像に対する重ね合わせ処理を共通のハードウェアで実行可能とした。
【選択図】図５

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像のノイズ低減や解像度を高める処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
画像のノイズ低減処理（ＮＲ：Ｎｏｉｓｅ Ｒｅｄｕｃｔｉｏｎ）、あるいは低解像度の画像から高解像度の画像を生成する例えば超解像処理（ＳＲ：Ｓｕｐｅｒ Ｒｅｓｏｌｕｔｉｏｎ）と呼ばれる高解像化処理などの画像処理を実行する場合、例えば同じ被写体を含む連続撮影された複数枚の画像を適用した処理が行われる。なお、複数の画像を利用したノイズ低減等の画像処理技術を開示した従来技術としては、例えば、特許文献１（特開２００９−１９４７００）、あるいは特許文献２（特開２００９−２９０８２７号公報）等がある。
このノイズ低減処理、あるいは高解像化処理を行う場合、より多くの画像を利用することで、効果的なノイズ低減や高解像化が実現されることが知られている。従って、高品質の画像を生成する装置には、多くの枚数の画像を格納するメモリが必要となる。
しかし、画像格納メモリを画像処理装置に多数、備えることはハードウェアの大型化やコスト高を招くことになる。従って、小型化や低コストの要請が大きい撮像装置に、このような多数のメモリを備えるのは難しいという問題がある。
また、撮像装置で、上記のノイズ低減や高解像化を実行する場合、その処理対象とする画像として、
（ａ）撮像素子の生成するＲＡＷ画像、いわゆる各画素の信号としてカラーフィルタに応じた特定の色（たとえばＲＧＢいずれか）のみの信号からなるモザイク画像、
（ｂ）モザイク画像の色補間処理により全画素にＲＧＢ等の色信号を設定したフルカラー画像、
これらの異なる画像が処理対象となり得るが、これらの画像信号の構成は異なるため、従来技術においては、上記の画像信号（ａ），（ｂ）のいずれを処理対象とするかに応じて個別の専用回路を利用して処理を行っている。すなわち、１つの共通回路を適用して上記２つの異なる信号に対して処理を実行する具体的な構成を開示しているものはない。
この２つの異なる画像信号に対するノイズ低減や高解像化を行う回路をいかに小型化し、コストダウンするかについても一つの課題となっている。
特開２００９−１９４７００号公報 特開２００９−２９０８２７号公報
本発明は、例えば上記問題点に鑑みてなされたものであり、簡略化したハードウェア構成を用いて、複数の画像を利用した重ね併せ処理によるノイズ低減あるいは高解像化処理を実現可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
また、本発明の一実施例では、ＲＡＷ画像とフルカラー画像のいずれをも処理可能とした共通回路によって、ノイズ低減あるいは高解像化処理を実現可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
本発明の第１の側面は、
複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
前記重ね合わせ処理部は、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、
２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う画像処理装置にある。
さらに、本発明の画像処理装置の一実施態様において、前記重ね合わせ処理部は、前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う。
さらに、本発明の画像処理装置の一実施態様において、前記重ね合わせ処理部は、ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する。
さらに、本発明の画像処理装置の一実施態様において、前記重ね合わせ処理部は、連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部と、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得する動被写体検出部と、前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成するブレンド処理部を有する。
さらに、本発明の画像処理装置の一実施態様において、前記動被写体検出部は、前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、前記ブレンド処理部は、前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する。
さらに、本発明の画像処理装置の一実施態様において、前記重ね合わせ処理部は、処理対象画像の高解像化処理を実行する高解像度化処理部を有し、前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する。
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う。
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、Ｎ＋１枚の静止画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して以下の式に従って実行する、
Figure 2012004908
 ただし、αは０〜１の値をとる動被写体情報であり、動き領域では０に近く、静止領域では１に近い値となる動被写体情報である、
構成であることを特徴とする。
さらに、本発明の画像処理装置の一実施態様において、前記ブレンド処理部は、Ｎ＋１枚の動画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して以下の式に従って実行する、
Figure 2012004908
 ただし、αは０〜１の値をとる動被写体情報であり、動き領域では０に近く、静止領域では１に近い値となる動被写体情報である、
構成であることを特徴とする。
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
重ね合わせ処理部が複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを有し、
前記重ね合わせ処理ステップは、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行い、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行うステップである画像処理方法にある。
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
重ね合わせ処理部に複数の連続撮影画像のブレンド処理を実行させる重ね合わせ処理ステップを有し、
前記重ね合わせ処理ステップは、
処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行い、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行わせるステップであるプログラムにある。
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成によれば、ノイズ低減等を目的とした画像重ね合わせ処理をより小型のハードウェアにおいて実行する装置および方法が実現される。具体的には、例えば複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部においてノイズ低減や高解像化を実現するための画像重ね合わせを実行する。２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした。メモリの一部に重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用することで任意枚数の画像重ね合わせを可能とした。また、処理画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して処理を行うことで、ＲＡＷ画像とフルカラー画像に対する重ね合わせ処理を共通のハードウェアで実行可能とした。
本発明の画像処理装置の一例である撮像装置１００の構成例を示す図である。 ベイヤー配列について説明する図である。 重ね合わせ処理部ａ１０５の実行する処理について説明するフローチャートを示す図である。 重ね合わせ処理部ａ１０８の実行する処理について説明するフローチャートを示す図である。 固体撮像素子からの入力画像（ＲＡＷ画像）に対する画像重ね合わせ（ブレンド）処理を実行する重ね合わせ処理部の構成と処理について説明する図である。 図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを示す図である。 図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。 図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。 図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。 記録再生部からの出力画像に対する画像重ね合わせ（ブレンド）処理を実行する重ね合わせ処理部の構成と処理について説明する図である。 図１０に示す重ね合わせ処理部が、フルカラー画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを示す図である。 図１０に示す重ね合わせ処理部が、フルカラー画像の重ね合わせ処理を実行する場合の状態遷移を示す図である。 高解像度化処理部を備えた重ね合わせ処理部の構成と処理について説明する図である。 ＧＭＶ記録部を備えた画像処理装置の構成について説明する図である。 本発明の画像処理装置のハードウェア構成例について説明する図である。
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
２．重ね合わせ処理に利用するハードウェア構成例について
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
（２−２）記録再生部からの入力画像（ＹＵＶ画像）に対する処理例
３．その他の実施例
（３−１）高解像度化処理部を設定した実施例
（３−２）ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例
４．画像処理装置のハードウェア構成例について
［１．ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例］
まず、本発明の画像処理装置の第１実施例として、ＲＡＷ画像とフルカラー画像の重ね合わせ処理を同一回路で実行する実施例について説明する。
なお、本発明の画像処理装置は、たとえば撮像装置、あるいはＰＣ等において実現されるが。以下では、本発明に従った画像処理を撮像装置において実行する場合の処理例について説明する。
図１は、本発明の画像処理装置の一例である撮像装置１００の構成例を示している。撮像装置１００は、画像撮影時に、撮影されるＲＡＷ画像、すなわちモザイク画像を入力して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
このＲＡＷ画像に対する重ね合わせ処理を実行するのが図１に示す撮像装置１００の重ね合わせ処理部ａ１０５である。
また、本発明の画像処理装置の一例である撮像装置１００は、ＲＡＷ画像に基づいて生成されたフルカラー画像に対して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
このフルカラー画像に対する重ね合わせ処理を実行するのが図１に示す撮像装置１００の重ね合わせ処理部ｂ１０８である。
なお、重ね合わせ処理部ａ１０５と、重ね合わせ処理部ｂ１０８は、図１においては、別ブロックとして示しているが、これらは共通のハードウェアを利用した回路構成として設定される。具体的な回路構成については後段で説明する。
以下では、まず、
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
これらの処理について順次説明する。
（１−１）撮影時のＲＡＷ画像に対する処理
まず、図１を参照して、本発明の画像処理装置の一例である撮像装置において、撮像時にＮ＋１枚のＲＡＷ画像を重ね合わせる処理について説明する。Ｎは１以上の整数である。なお、ＲＡＷ画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、静止画に対する処理例について説明する。
図１は、本発明の画像処理装置の一構成例としての撮像装置１００の構成を示している。シャッタ等のユーザ入力部１００の操作により、撮像を開始したタイミングで、固体撮像素子１０３は、レンズ（光学系）１０２から入射された光学像を２次元の電気信号（以下、画像データ）に変換する。なお。固体撮像素子１０３は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ ＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）である。
単板方式固体撮像素子の場合は、出力は例えば図２に示すベイヤー配列のＲＡＷ画像となる。すなわち、カラーフィルタの構成に応じたＲＧＢのいずれかの信号のみが、各画素の信号として生成される。この画像は例えばモザイク画像と呼ばれ、このモザイク画像を利用して、全ての画素にＲＧＢの全画素値を設定する補間処理によってフルカラー画像が生成される。なお、この画素値補間処理は、例えばデモザイク処理と呼ばれる。
前述したように、ノイズ低減処理、あるいは高解像化処理を行う場合、同じ被写体を含むより多くの画像を利用することで、効果的なノイズ低減や高解像化が実現されることが知られている。たとえば、これらのノイズ低減や高解像化のための画像処理に、例えばＮ＋１枚の画像を利用する場合は、Ｎ＋１枚の画像を連続撮影して、Ｎ＋１枚のＲＡＷ画像を撮影し、Ｎ＋１枚のＲＡＷ画像を適用した処理、あるいはＮ＋１枚のＲＡＷ画像を適用して生成したＮ＋１枚のフルカラー画像を適用した処理を行う。
プリ処理部１０４では、撮影画像に含まれる例えば縦筋、横筋補正などイメージセンサの欠陥を補正する処理が行われる。プリ処理部１０４から出力された画像は、重ね合わせ処理部ａ１０５に入力され、Ｎ＋１枚の画像の重ね合わせ処理を行う。ポスト処理部１０６では、ＲＡＷ画像からフルカラー画像に変換する色補間処理（デモザイク処理）や、ホワイトバランス、色再現性を高めるリニアマトリクス、視認性を向上する輪郭強調処理などが行われ、ＪＰＥＧなどの圧縮コーデックでエンコード後、記録再生部（ＳＤメモリなど）１０７に保存される。
重ね合わせ処理部ａ１０５の実行する処理について、図３に示すフローチャートを参照して説明する。
ステップＳ１０１において、Ｎ枚の画像の重ね合わせ処理を開始する。
なお、以下では、撮像装置が連続撮影したＮ＋１枚の画像のうち、位置合わせの基準となる画像データを基準フレームと呼ぶ。基準フレームは、例えばシャッタが押下された直後に撮像された１枚の画像フレームを使用する。その後のＮ枚の画像フレームが参照フレームとなる。
Ｎ＋１枚の画像のうち、重ね合わせ処理に使用されるフレームを参照フレームと呼ぶ。
ステップＳ１０２ではグローバル動きベクトル（ＧＭＶ）算出処理を実行する。このＧＭＶ算出処理は、基準フレームと参照フレームを入力とし、２枚のフレーム間の大域的（画像全体）な動きベクトル（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出する処理である。例えばカメラの動きに相当する動きベクトルを求める。
次のステップＳ１０３では、位置合わせ処理を実行する。この位置合わせ処理は、基準フレームと、グローバル動きベクトル（ＧＭＶ）を求めた１枚の参照フレームを読み出し、ＧＭＶ算出処理において求められたＧＭＶを用いて、参照フレームを基準フレームに位置合わせする処理である。この処理、すなわちＧＭＶに基づいて参照フレームを基準フレームに位置合わせして生成した画像を動き補償画像とよぶ。
ステップＳ１０４では、動被写体検出処理を実行する。この処理は、基準フレームと基準フレームに位置合わせされた参照フレーム画像（動き補償画像）間の差分をとり、動被写体を検出する処理である。
基準フレームと、基準フレームに位置合わせされた参照フレームは、被写体がすべて静止していれば、ステップＳ１０３における位置合わせによって２つの画像の対応画素位置には同じ被写体の同一部分が撮影されていることになり、２つの画像の画素値差分はほぼ０となる。しかし、例えば被写体が車や人などの動被写体が含まれる場合は、これ等の動被写体の画素部分は、画像全体の動きベクトルである前述のＧＭＶとは異なる動きを持つ。従ってＧＭＶに基づいて位置合わせを行っても、２つの画像に含まれる動被写体を含む対応画素位置には同じ被写体の同一部分が位置しないことになり、２つの画像の画素値差分は大きくなる。
ステップＳ１０４では、このように、基準フレームと、基準フレームに位置合わせされた参照フレーム対応画素の差分を取得して動被写体検出処理を実行する。検出結果は、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）として出力する。
ステップＳ１０５では、ステップＳ１０４において算出した各画素単位の動き検出情報：α値に基づいて、基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）の重ね合わせ（ブレンド）を実行して、重ね合わせフレーム（ブレンド画像）を生成する。
ステップＳ１０５において生成した重ね合わせフレームであるブレンド画像は、次の重ね合わせ処理の基準フレームとして利用される。１枚の初期的な基準画像に対して、Ｎ枚の参照画像の重ね合わせを実行する場合は、ステップＳ１０２〜Ｓ１０５の処理をＮ回繰り返す。
Ｎ回目の重ね合わせ処理時の基準フレーム（Ｎ−１回重ね合わせ処理がされたフレーム）および参照フレーム（Ｎ＋１枚目のフレーム）の注目画素の画素値を、
基準フレーム：ｍｌｔＮ−１、
参照フレーム：ｆｒｍＮ＋１、
と表す。なお、（Ｎ−１），（Ｎ＋１）等のインデックスが大きいほど時間的に後に撮像されたことを意味する。
また、注目画素の動被写体検出結果をαとする。
以上のデータを用いたＮ回目の重ね合わせ処理時のブレンド式を以下に示す。
Figure 2012004908
上記式に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
ブレンド処理は、このように、Ｎ＋１枚の静止画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して上記式に従って実行する。
各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が大きく設定されるが、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が小さく設定される。このようにして画素単位の動き情報に応じたブレンド処理が行われる。
（１−２）再生時のフルカラー画像に対する処理
続いて、フルカラー画像に対する処理例について説明する。この処理は、例えば図１に示す撮像装置１００の表示部１０９に画像を表示する場合に実行される。なお、フルカラー画像に対する重ね合わせ処理は、静止画、動画いずれに対しても可能であるが、以下の実施例では、動画に対する処理例について説明する。
図１に示す撮像装置１００のポスト処理部１０６では、ＲＡＷ画像からフルカラー画像に変換する色補間処理（デモザイク処理）や、ホワイトバランス、色再現性を高めるリニアマトリクス、視認性を向上する輪郭強調処理などが行われ、ＪＰＥＧなどの圧縮コーデックでエンコード（動画コーデック（Ｈ．２６４、ＭＰＥＧ−２など））後、記録再生部（ＳＤメモリなど）１０７に保存される。
表示部１０９には、例えば記録再生部（ＳＤメモリなど）１０７に格納済みのフルカラー画像に対応するサムネイル画像の一覧が表示される。ユーザによりあるサムネイル画像の選択、再生指示が入力されると、記録再生部１０７において選択されたサムネイルに対応する画像のデコードが行われる。デコードされた画像は例えば、ＲＧＢ等のフルカラー画像フォーマットや、輝度、色差のＹＵＶ画像フォーマットを持つ画像データとなる。デコードされた画像は重ね合わせ処理部ｂ１０８に入力される。
重ね合わせ処理部ｂ１０８では、フルカラー画像等のデコード画像を入力してノイズ低減や高解像化のための画像重ね合わせ処理を実行する。この重ね合わせ処理の結果が表示部１０９に送られ、表示される。
重ね合わせ処理部ｂ１０８の実行する処理の手順について、図４に示すフローチャートを参照して説明する。なお、以下に説明する処理例は動画の再生処理例として説明する、動画再生は一定の時間間隔で撮影された静止画を連続表示することで行われる。動画処理の再生時重ね合わせの場合は、例えば基準フレームとしては記録再生部１０７から入力する最も新しいフレームを基準フレームとし、基準フレームの前のフレームを参照フレームとする。
記録再生部１０７からの入力画像がフルカラーフォーマット（ＲＧＢ）で入力された時は、ステップＳ２０１において、ＲＧＢ→ＹＵＶ変換処理が実行され、輝度、色差信号に変換される。一方、ＹＵＶフォーマットで入力された時はステップＳ２０１のＲＧＢ→ＹＵＶ変換処理は省略される。
ステップＳ２０２では。グローバル動きベクトル（ＧＭＶ）算出処理を実行する。このＧＭＶ算出処理は、基準フレームと参照フレームを入力とし、２枚のフレーム間の大域的（画像全体）な動きベクトル（Ｇｌｏｂａｌ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ）を算出する処理である。例えばカメラの動きに相当する動きベクトルを求める。
次のステップＳ２０３では、位置合わせ処理を実行する。この位置合わせ処理は、基準フレームと、グローバル動きベクトル（ＧＭＶ）を求めた１枚の参照フレームを読み出し、ＧＭＶ算出処理において求められたＧＭＶを用いて、参照フレームを基準フレームに位置合わせする処理である。この処理、すなわちＧＭＶに基づいて参照フレームを基準フレームに位置合わせして生成した画像を動き補償画像とよぶ。
ステップＳ２０４では、動被写体検出処理を実行する。この処理は、基準フレームと基準フレームに位置合わせされた参照フレーム画像（動き補償画像）間の差分をとり、動被写体を検出する処理である。検出結果は、各画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）として出力する。
ステップＳ２０５では、ステップＳ２０４において算出した各画素単位の動き検出情報：α値に基づいて、基準フレームと、ＧＭＶに基づく位置合わせ後の参照フレーム画像（動き補償画像）をブレンドして、重ね合わせフレーム（ブレンド画像）を生成する。
ステップＳ２０５におけるαブレンド処理（重ね合わせ処理）は、動被写体検出部から得られたα値に応じて、基準フレーム（Ｎ＋１枚目のフレームｆｒｍＮ＋１）と参照フレーム（Ｎ−１回目の重ね合わせフレームｍｌｔＮ−１）をブレンドする。αブレンド処理（重ね合わせ処理）に際しては、ＹＵＶフォーマットの輝度（Ｙ）信号に対してのみ重ね合わせ処理を行う。Ｎ回目の重ね合わせ処理の式を以下に示す。
Figure 2012004908
上記式に従って、基準画像と、位置合わせ参照画像（動き補償画像）の対応画素の画素値をブレンドして重ね合わせフレーム（ブレンド画像）を生成する。
ブレンド処理は、このように、Ｎ＋１枚の動画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して上記式に従って実行する。
各画素単位の動き検出情報：α値が大きい場合、すなわち静止被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が大きく設定されるが、各画素単位の動き検出情報：α値が小さい場合、すなわち動被写体と推定される画素位置では、位置合わせ参照画像（動き補償画像）のブレンド比率が小さく設定される。このようにして画素単位の動き情報に応じたブレンド処理が行われる。
上記式によって算出される重ね合わせフレームは次の重ね合わせ処理の参照フレームとなる。次フレームである最新フレームを基準フレームとして新たな重ね合わせ処理が行われる。
最後に、ステップＳ２０６において、重ね合わせ処理が施された輝度信号（Ｙ）と、ＲＧＢ→ＹＵＶ変換部より出力された色差信号（ＵＶ）に対してＹＵＶ→ＲＧＢ変換処理を実行してフルカラーフォーマットに変換し、フルカラー画像を表示部１０９において表示する。
上述した処理例は、
（１−１）撮影時のＲＡＷ画像に対する処理
（１−２）再生時のフルカラー画像に対する処理
これらの処理例であるが、再生時のフルカラー画像に対する処理に際しては、例えば、ＲＧＢ→ＹＵＶ変換し、ＹＵＶフォーマットの輝度（Ｙ）信号に対してのみ重ね合わせ処理を行う。
このような処理を行うことで、重ね合わせ処理を実行する各画素単位の信号は、
（１−１）撮影時のＲＡＷ画像に対する処理の場合は、ＲＡＷ画像の構成画素に設定された信号（例えばＲＧＢのいずれかの信号）となる。
（１−２）再生時のフルカラー画像に対する処理の場合は、フルカラー画像を構成する各画素各々について、ＹＵＶフォーマットの輝度（Ｙ）信号のみとなる。
すなわち、ＲＡＷ画像に対する重ね合わせ処理、フルカラー画像に対する重ね合わせ処理もいずれの場合も画像の構成画素各々について１つの信号値を用いて処理を行うことが可能となる。
この結果、ＲＡＷ画像に対する重ね合わせ処理を実行する重ね合わせ処理部ａ１０５と、フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は入力信号をＲＡＷ画像の各画素値とするか、フルカラー画像の各画素の輝度値（Ｙ）とするかのみを異ならせることで、重ね合わせ処理の実行回路としては同一のものを利用することが可能となる。
この構成により、ＲＡＷ画像、フルカラー画像の２つの異なる画像データに対して１つの重ね合わせ処理回路を利用した処理が実現される。
なお、処理対象画像は、動画、静止画のいずれでもよい。上述の例では、静止画のＲＡＷ画像と、動画のフルカラー画像に対する処理例を説明したが、動画のＲＡＷ画像や、静止画のフルカラー画像に対しても１つの共通回路を用いた重ね合わせ処理が可能となる。具体的な回路構成については、次の項目で説明する。
［２．重ね合わせ処理に利用するハードウェア構成例について］
次に、重ね合わせ処理に利用するハードウェア構成例について説明する。
以下では、
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
（２−２）記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例
これら２つの処理例について順次説明する。
なお、以下のハードウェアの説明では、ＲＡＷ画像に対する処理とフルカラー画像に対する処理が１つの共通する回路構成で実現されることとともに、本発明のもう一つの特徴である、重ね合わせ処理において必要となるメモリ容量の削減処理についても説明する。
（２−１）固体撮像素子からの入力画像（ＲＡＷ画像）に対する処理例
まず、図５〜図９を参照して固体撮像素子からの入力画像（ＲＡＷ画像）に対する画像重ね合わせ（ブレンド）処理の処理例について説明する。
図５は、図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の具体的回路構成である。
図５に示すグローバル動きベクトル（ＧＭＶ）算出部２０３は、図３に示すフローのステップＳ１０２の処理や、図４に示すフローのステップＳ２０２の処理を実行する。
図５に示す位置合わせ処理部２０４は、図３に示すフローのステップＳ１０３の処理や、図４に示すフローのステップＳ２０３の処理を実行する。
図５に示す動被写体検出部２０５は、図３に示すフローのステップＳ１０４の処理や、図４に示すフローのステップＳ２０４の処理を実行する。
図５に示すブレンド処理部２０５は、図３に示すフローのステップＳ１０５の処理や、図４に示すフローのステップＳ２０５の処理を実行する。
図５に示す重ね合わせ処理部２００が図１に示す重ね合わせ処理部ａ１０５として機能する場合、固体撮像素子２０１（＝図１の固体撮像素子１０３）からＲＡＷ画像を入力してＲＡＷ画像の重ね合わせ処理を実行する。
一方、図１に示す重ね合わせ処理部ｂ１０８として機能する場合、記録再生部２０２（＝図１の記録再生部１０７）からＹＵＶ画像の輝度信号（Ｙ）を入力してフルカラー画像の重ね合わせ処理を実行する。
図５中のフレームメモリａ２１１、メモリｂ２１２はそれぞれ、
、固体撮像素子２０１（＝図１の固体撮像素子１０３）の出力するＲＡＷ画像、または、
記録再生部２０２（＝図１の記録再生部１０７）の出力するフルカラー画像を保存しておくメモリである。
以下では、まず、図１に示す重ね合わせ処理部ａ１０５、すなわち、図３に示すフローチャートを参照して説明した処理を実行する場合の処理例について説明する。
図５に示す重ね合わせ処理部が、ＲＡＷ画像の重ね合わせ処理を実行する場合の処理のタイミングチャートを図６に示す。
図６は左から右に、時間経過、時間Ｔ０，Ｔ１，Ｔ２・・・を示している。
また、上から、以下の（１）〜（６）の各処理を示している。
（１）固体撮像素子２０１からメモリａ２１１，メモリｂ２１２に対するＲＡＷ画像の書き込み（Ｗｒｉｔｅ）処理、
（２）グローバル動きベクトル（ＧＭＶ）算出部２０３に対する固体撮像素子２０１からの画像の入力処理、
（３）グローバル動きベクトル（ＧＭＶ）算出部２０３によるメモリａ２１１からの画像の読み取り（Ｒｅａｄ）処理、
（４）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６によるメモリａ２１１からの画像読み取り（Ｒｅａｄ）処理、
（５）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６によるメモリｂ２１２からの画像読み取り（Ｒｅａｄ）処理、
（６）ブレンド処理部２０６によるメモリａ２１１に対する画像書き込み（Ｗｒｉｔｅ）処理、
なお、メモリａ２１１，メモリｂ２１２に対して書き込まれる画像信号はＲＡＷ画像、またはＲＡＷ画像に基づいて生成される重ね合わせ画像であり、１つの画素に対してＲＧＢいずれか１つの画素値である。すなわち１画素について１つの信号値のみが格納される。
図６に示すｆｒｍ１、ｆｒｍ２、ｆｒｍ３・・・は、重ね合わせ処理において利用される重ね合わせ処理前の画像フレーム（ＲＡＷ画像）を示し、ｍｌｔ１、ｍｌｔ２、ｍｌｔ３、・・・は重ね合わせ処理のなされた画像フレームを示している。
画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって生成される最初の重ね合わせフレームが画像フレーム（ｍｌｔ１）である。
これは、図６に示すタイミングチャートのＴ１〜Ｔ２の（４）と（５）に示す画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって、（６）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）が生成される処理に対応する。
次の、タイミングＴ２〜Ｔ３では、図６に示すタイミングチャートのＴ２〜Ｔ３の（４）と（５）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）と、画像フレーム（ｆｒｍ３）によって、（６）に示す２番目の重ね合わせ画像フレーム（ｍｌｔ２）が生成される。
このようにして、時間経過に伴い、直前で生成された重ね合わせ画像フレーム（ｍｌｔｎ）と最新の入力画像（ｆｒｍｎ＋２）とを利用して、新たな重ね合わせ画像フレーム（ｍｌｔｎ＋１）が順次、生成され、更新されることになる。例えばＮ＋１枚の画像を利用してＮ回の重ね合わせを実行する場合には、Ｎ回の重ね合わせ処理の後に生成される重ね合わせ画像フレーム（ｍｌｔＮ）を生成して１単位の処理が終了する。
以下、図５に示す重ね合わせ処理部２００（＝図１の重ね合わせ処理部ａ１０５＝重ね合わせ処理部ｂ１０８）において実行するＲＡＷ画像に対する重ね合わせ処理の処理シーケンスについて、図６のタイミングチャートと、図７〜図９の各タイミングにおける状態図を参照して説明する。
シャッタが押下されるなどして、撮像を開始したタイミングＴ０〜Ｔ１（図６参照）では、図５に示す固体撮像素子２０１から出力された画像データ（ｆｒｍ１）がフレームメモリａ２１１に書き込まれる。
このタイミングＴ０〜Ｔ１の状態を示したのが図７である。
続いてタイミングＴ１では、２枚目の画像データ（ｆｒｍ２）が固体撮像素子２０１より送信され、今度はフレームメモリｂ２１２に書き込まれると同時にＧＭＶ算出部２０３に入力される。同時に、１枚目の画像データ（ｆｒｍ１）がフレームメモリａ２１１よりＧＭＶ算出部２０３に入力され、ＧＭＶ算出部２０３において１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との２フレーム間のグローバル動きベクトル（ＧＭＶ）が求められる。
このタイミングＴ１〜Ｔ２の状態を示したのが図８である。
タイミングＴ２では、位置合わせ部２０４にフレームメモリｂ２１２から２枚目の画像データ（ｆｒｍ２）が入力される。
さらに、ＧＭＶ算出部２０３が算出したＧＭＶ、すなわち、タイミングＴ１〜Ｔ２で求められた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）間のＧＭＶが入力されて、この入力ＧＭＶに基づいて２枚目の画像データ（ｆｒｍ２）を、１枚目の画像データ（ｆｒｍ１）の被写体位置に合わせる位置合わせ処理が行われる。すなわち動き補償画像の生成がなされる。
なお、本処理例は、静止画に対する重ね合わせ処理例である。静止画の場合は、先行画像を基準画像として後続画像を参照画像とし、後続の参照画像を先行する基準画像の位置に合わせる位置合わせを行う。
位置合わせされた２枚目の画像データ（ｆｒｍ２）は、１枚目の画像データ（ｆｒｍ１）と共に動被写体検出部２０５とブレンド処理部２０６に入力される。
動被写体検出部２０５は、１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）との対応位置の画素値比較を実行して差分に応じた画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）を生成してブレンド処理部２０６に出力する。
ブレンド処理部２０６は、動被写体検出部２０５において求められた画素単位の動き検出情報：α値（０＜＝α＜＝１）を用いて、１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）とのブレンド処理を実行して重ね合わせフレームの生成を行う。
１枚目の画像データ（ｆｒｍ１）と位置合わせされた２枚目の画像データ（ｆｒｍ２）とのブレンド処理によって生成される１枚目のブレンド画像である重ね合わせフレーム（ｍｌｔ１）は、ブレンド処理部２０６から出力され、フレームメモリａ２１１に上書きされる。
このタイミングＴ２〜Ｔ３の状態を示したのが図９である。
図５〜図９を参照して説明した処理から理解されるように、図５に示す重ね合わせ処理部２００を利用した重ね合わせ処理においては、２つの画像を格納する２つのメモリ、すなわちメモリａ２１１、メモリｂ２１２を利用しているのみで、任意枚数、例えばＮ枚の画像の重ね合わせ処理を実現している。
このように、本実施例では、重ね合わせ枚数によらず、フレームメモリに保存される最大の枚数はフレームメモリａ，ｂ分の２枚となる。本発明ではフレームメモリ容量を節約しつつ、Ｎ＋１枚全てをフレームメモリに保存する場合と同等の効果が得られる。
（２−２）記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例
続いて、記録再生部からの入力画像（フルカラー画像（ＹＵＶ画像））に対する処理例について図１０〜図１２を参照して説明する。
図１０は、先に図５を参照して説明した回路とほぼ同様の回路であり、図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の回路構成である。ただし、重ね合わせ処理部ｂ１０８として利用する場合、結線部２５１の接続構成を変更し、さらに入力を記録再生部２０２からの入力構成に変更している。これらはこれらの結線部２５１や記録再生部２０２の接続部に設定したスイッチの切り替え等によって実現される。
以下では、図１に示す重ね合わせ処理部ｂ１０８において実行する処理、すなわち、図４に示すフローチャートを参照して説明した処理を実行する場合の処理例について説明する。
図１０の重ね合わせ処理部が、フルカラー画像に基づいて生成されるＹＵＶ画像の輝度信号（Ｙ）を適用して重ね合わせ処理を実行する場合の処理のタイミングチャートを図１１に示す。
図１１は、図６と同様のタイミングチャートであり、左から右に、時間経過、時間Ｔ０，Ｔ１，Ｔ２・・・を示している。
また、上から、以下の（１）〜（６）の各処理を示している。
（１）記録再生部２０２からメモリａ２１１，メモリｂ２１２に対するＹＵＶ画像中の輝度信号（Ｙ）の書き込み（Ｗｒｉｔｅ）処理、
（２）グローバル動きベクトル（ＧＭＶ）算出部２０３に対する記録再生部２０２からのＹＵＶ画像中の輝度信号（Ｙ）の入力処理、
（３）グローバル動きベクトル（ＧＭＶ）算出部２０３によるメモリａ２１１からの画像信号（輝度信号（Ｙ））の読み取り（Ｒｅａｄ）処理、
（４）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６によるメモリａ２１１からの画像信号（輝度信号（Ｙ））読み取り（Ｒｅａｄ）処理、
（５）位置合わせ処理部２０４、動被写体検出部２０５、ブレンド処理部２０６によるメモリｂ２１２からの画像信号（輝度信号（Ｙ））読み取り（Ｒｅａｄ）処理、
（６）ブレンド処理部２０６によるメモリａ２１１に対する画像信号（輝度信号（Ｙ））書き込み（Ｗｒｉｔｅ）処理、
なお、メモリａ２１１，メモリｂ２１２に対して書き込まれる画像信号はＹＵＶ画像中の輝度信号（Ｙ）画像、またはＹＵＶ画像中の輝度信号（Ｙ）画像に基づいて生成される重ね合わせ画像であり、１つの画素に対して輝度信号（Ｙ）１つの画素値である。すなわち１画素について１つの信号値のみが格納される。
図１１に示すｆｒｍ１、ｆｒｍ２、ｆｒｍ３・・・は、重ね合わせ処理において利用される重ね合わせ処理前の画像フレームを示し、ｍｌｔ１、ｍｌｔ２、ｍｌｔ３、・・・は重ね合わせ処理のなされた画像フレームを示している。
画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって生成される最初の重ね合わせフレームが画像フレーム（ｍｌｔ１）である。
これは、図１１に示すタイミングチャートのＴ１〜Ｔ２の（４）と（５）に示す画像フレーム（ｆｒｍ１）と、画像フレーム（ｆｒｍ２）によって、（６）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）が生成される処理に対応する。
次の、タイミングＴ２〜Ｔ３では、図１１に示すタイミングチャートのＴ２〜Ｔ３の（４）と（５）に示す最初の重ね合わせ画像フレーム（ｍｌｔ１）と、画像フレーム（ｆｒｍ３）によって、（６）に示す２番目の重ね合わせ画像フレーム（ｍｌｔ２）が生成される。
このようにして、時間経過に伴い、直前で生成された重ね合わせ画像フレーム（ｍｌｔｎ）と最新の入力画像（ｆｒｍｎ＋２）とを利用して、新たな重ね合わせ画像フレーム（ｍｌｔｎ＋１）が順次、生成され、更新されることになる。例えばＮ＋１枚の画像を利用してＮ回の重ね合わせを実行する場合には、Ｎ回の重ね合わせ処理の後に生成される重ね合わせ画像フレーム（ｍｌｔＮ）を生成して１単位の処理が終了する。
以下、図１０に示す重ね合わせ処理部２００（＝図１の重ね合わせ処理部ｂ１０８＝重ね合わせ処理部ｂ１０５）において実行するＹＵＶ画像に対する重ね合わせ処理の処理シーケンスについて、図１１のタイミングチャートを参照して説明する。
先に図５〜図９を参照して説明したＲＡＷ画像に対する処理と異なる部分を中心として説明する。
この処理では、図１０、図１１に示すように、重ね合わせ処理部２００に対する入力は固体撮像素子２０１ではなく、記録再生部２０２から行われる。
例えばユーザ選択によって選択された再生対象画像が記録再生部１０７においてメモリから選択取得され、重ね合わせ処理部２００に対して出力される。なお。記録再生部１０７は必要に応じてＲＧＢフォーマットからからＹＵＶフォーマットへのフォーマット変換が実行され、生成された輝度信号（Ｙ）がメモリａ２１１、メモリｂ２１２に供給されて処理を開始する。
タイミングＴ０〜Ｔ１（図１１参照）では、図１０に示す記録再生部２０２から出力された画像データ（ｆｒｍ１）がフレームメモリａ２１１に書き込まれる。なお、本例では、フレームメモリａ２１１，フレームメモリｂ２１２へは輝度信号（Ｙ）の書き込みが行われる。
このタイミングＴ０〜Ｔ１の状態は、先に説明した図７において、記録再生部２０２からデータが出力される点が異なるものとなる。
続いてタイミングＴ１では、２枚目の画像データ（ｆｒｍ２）が記録再生部２０２から出力され、今度はフレームメモリｂ２１２に書き込まれると同時にＧＭＶ算出部２０３に入力される。同時に、１枚目の画像データ（ｆｒｍ１）がフレームメモリａ２１１よりＧＭＶ算出部２０３に入力され、ＧＭＶ算出部２０３において１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との２フレーム間のグローバル動きベクトル（ＧＭＶ）が求められる。
このタイミングＴ１〜Ｔ２の状態は、先に説明した図８において、記録再生部２０２からデータが出力される点が異なるものとなる。
タイミングＴ２では、位置合わせ部２０４にフレームメモリａ２１１から１枚目の画像データ（ｆｒｍ１）が入力され、Ｔ１〜Ｔ２で求められた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）間のＧＭＶが入力されて、この入力ＧＭＶに基づいて１枚目の画像データ（ｆｒｍ１）を、２枚目の画像データ（ｆｒｍ２）の被写体位置に合わせる位置合わせ処理が行われる。すなわち動き補償画像の生成がなされる。
なお、本処理例は、動画に対する重ね合わせ処理例である。動画の場合は、後続画像を基準画像として先行画像を参照画像とし、先行の参照画像を後続の基準画像の位置に合わせる位置合わせを行う。
位置合わせされた１枚目の画像データ（ｆｒｍ１）は、２枚目の画像データ（ｆｒｍ２）と共に動被写体検出部２０５とブレンド処理部２０６に入力される。
動被写体検出部２０５は、位置合わせされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）との対応位置の画素値比較を実行して差分に応じた画素単位の動き検出情報：α値（０＜＝α＜＝１，０：動きあり判定、１：静止（動きなし）判定）を生成してブレンド処理部２０６に出力する。
ブレンド処理部２０６は、動被写体検出部２０５において求められた画素単位の動き検出情報：α値（０＜＝α＜＝１）を用いて、位置合わせのなされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）とのブレンド処理を実行して重ね合わせフレームの生成を行う。
位置合わせのなされた１枚目の画像データ（ｆｒｍ１）と２枚目の画像データ（ｆｒｍ２）とのブレンド処理によって生成される１枚目のブレンド画像である重ね合わせフレーム（ｍｌｔ１）は、ブレンド処理部２０６から出力され、フレームメモリａ２１１に上書きされ、かつ表示部１０９に出力される。
このタイミングＴ２〜Ｔ３の状態を示したのが図１２である。
図５〜図９を参照して説明したＲＡＷ画像に対する重ね合わせ処理、さらに、図１０〜図１２を参照して説明したフルカラー画像に対する重ね合わせ処理から理解されるように、図５、図１０に示す共通の重ね合わせ処理部２００を利用してＲＡＷ画像に対する重ね合わせ処理と、フルカラー画像に対する重ね合わせ処理が実行される。
さらに、これ等の異なる画像に対する重ね合わせ処理においては、２つの画像を格納する２つのメモリ、すなわちメモリａ２１１、メモリｂ２１２を利用しているのみで、任意枚数、例えばＮ枚の画像の重ね合わせ処理が実現される。
［３．その他の実施例］
次にその他の実施例について説明する。
（３−１）高解像度化処理部を設定した実施例
まず、図１３を参照して重ね合わせ処理部に高解像度化処理部を設定した実施例について説明する。
図１３に示す重ね合わせ処理部３００は、先に図５、図１０を参照して説明した重ね合わせ処理部２００に高解像度化処理部３０１、画像サイズ調整部３０２，３０３を追加した構成である。図１に示す重ね合わせ処理部ａ１０５と重ね合わせ処理部ｂ１０８として利用される共通の回路構成である。ただし、静止画に対する重ね合わせ処理部ａ１０５として利用する場合、結線部３５１の接続構成を、図５を参照して説明したと同様に設定（図１３の結線部３５１の点線）する。また、動画に対する重ね合わせ処理部ｂ１０８として利用する場合、結線部３５１の接続構成を図１０を参照して説明したと同様に設定（図１３の結線部３５１の実線）する。
さらに入力画像についても、静止画に対する重ね合わせ処理部ａ１０５として利用する場合、固体撮像素子２０１からの入力設定とし、動画に対する重ね合わせ処理部ｂ１０８として利用する場合、記録再生部２０２からの入力構成に変更する。これらはこれらの結線部３５１や、固体撮像素子２０１と記録再生部２０２の接続部に設定したスイッチの切り替え等によって実現される。
高解像度化処理部３０１は、解像度変換を行う。アップサンプル部１１では、例えば１画素を４画素に設定する等の処理等の拡大画像の生成手法を適用して解像度変換を行う。
画像サイズ調整部３０２は、メモリａ２１１からの入力画像を、ＧＭＶ算出部２０３でのＧＭＶ算出対象となる記録再生部２０２からの入力画像のサイズに合わせる処理を行う。これは、高解像度化処理部３０１における高解像度化に際して、画像の拡大が行われる場合があり、この拡大された画像をＧＭＶ算出部２０３でのＧＭＶ算出対象となる記録再生部２０２からの入力画像のサイズに合わせるための処理である。
画像サイズ調整部３０３も、その後の処理で実行される画像の位置合わせ等のために２つの画像のサイズを調整する処理を行う。
本実施例で実行するシーケンスは、以下のようになる。
ＲＡＷ画像に対する処理では、先に図３を参照して説明したフローチャートに従った処理を基本処理とし、ステップＳ１０３とステップＳ１０４の間に高解像度化処理を実行する。さらに、各ステップの前段に必要に応じて画像サイズ調整処理を実行する設定となる。
また、フルカラー画像に対する処理では、先に図４を参照して説明したフローチャートに従った処理を基本処理とし、ステップＳ２０３とステップＳ２０４の間に高解像度化処理を実行する。さらに、各ステップの前段に必要に応じて画像サイズ調整処理を実行する設定となる。
本実施例では、入力フレームを高解像度化後に重ね合わせ処理を行う。これにより、拡大によって生ずる、エッジ部のジャギー（ぎざぎざ）を低減することができる。なお、ＧＭＶ算出部２０３で得られたＧＭＶは高解像度画像の動き量に変換して使用する。
また、本実施例の変形として、高解像度化によるぼけを補償するため、入力フレームにラプラシアンフィルタなどのＨＰＦをかける構成としてもよい。
（３−２）ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例
次に、ＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶをフルカラー画像の重ね合わせ処理に際して利用する実施例について説明する。
先に説明した実施例では、ＲＡＷ画像の重ね合わせ処理においてもＧＭＶの算出を逐次実行しており、さらにフルカラー画像の重ね合わせ処理においてもＧＭＶの算出処理を逐次、実行する構成としていた。
しかし、フルカラー画像はＲＡＷ画像から生成したものであり、ＧＭＶの算出対象となる２つの画像のペアがおなじであればＲＡＷ画像から算出したＧＭＶもフルカラー画像から算出したＧＭＶも同じになるはずである。従って、例えば撮影の際にＲＡＷ画像の重ね合わせ処理において算出したＧＭＶを各画像に対応づけたデータとしてメモリに記録しておけば、フルカラー画像の重ね合わせ処理に際して、このＧＭＶデータを取得することが可能となり、新たにＧＭＶを算出する処理を行う必要がなくなり処理が簡略化され高速化することがてきる。
この処理を実行する画像処理装置の構成例を図１４に示す。
図１４は、本発明の画像処理装置の一例である撮像装置５００の構成例を示している。撮像装置５００は、先に説明した図１に示す画像処理装置１００と同様、画像撮影時に、撮影されるＲＡＷ画像、およびＲＡＷ画像に基づいて生成されたフルカラー画像に対して、ノイズ低減あるいは高解像化を実現するための画像重ね合わせ処理を行う。
ＲＡＷ画像に対する重ね合わせ処理を実行するのが図１４に示す撮像装置５００の重ね合わせ処理部ａ１０５である。フルカラー画像に対する重ね合わせ処理を実行するのが図１４に示す撮像装置５００の重ね合わせ処理部ｂ１０８である。これらは２つのブロックとして示してあるが、先に説明したように共通の回路を利用して構成される。
図１を参照して説明した画像処理装置１００との差異は、図１４に示す画像処理装置５００は、ＧＭＶ記録部５０１を有する点である。
ＧＭＶ記録部５０１は、重ね合わせ処理部ａ１０５において実行するＲＡＷ画像の重ね合わせ処理時に算出したＧＭＶを記録する記憶部（メモリ）である。フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は、ＧＭＶ算出を実行せず、ＧＭＶ記録部５０１に記録されたＧＭＶを利用する。
ＧＭＶ記録部５０１には、ＧＭＶのデータが、ＧＭＶ算出のなされた２つの画像フレーム識別子情報に対応づけて格納される。フルカラー画像に対する重ね合わせ処理を実行する重ね合わせ処理部ｂ１０８は、ＧＭＶ算出対象となる画像のペアの識別子に基づいてＧＭＶ記録部５０１に記録されたＧＭＶを選択して利用する。
この実施例によれば、フルカラー画像の重ね合わせ処理に際して、このＧＭＶデータを取得することが可能となり、新たにＧＭＶを算出する処理を行う必要がなくなり処理が簡略化され高速化することがてきる。また、コーデック前の画像を使うことで、ＧＭＶの精度を向上させることができるというメリットもある。
［４．画像処理装置のハードウェア構成例について］
最後に、図１５を参照して、上述した処理を実行する画像処理装置の１つのハードウェア構成例について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、または記憶部９０８に記憶されているプログラムに従って各種の処理を実行する。例えば、上述の各実施例において説明した画像重ね合わせ（ブレンド）処理によるノイズ低減や高解像化のための画像処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３には、ＣＰＵ９０１が実行するプログラムやデータなどが適宜記憶される。これらのＣＰＵ９０１、ＲＯＭ９０２、およびＲＡＭ９０３は、バス９０４により相互に接続されている。
ＣＰＵ９０１はバス９０４を介して入出力インタフェース９０５に接続され、入出力インタフェース９０５には、キーボード、マウス、マイクロホンなどよりなる入力部９０６、ディスプレイ、スピーカなどよりなる出力部９０７が接続されている。ＣＰＵ９０１は、入力部９０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部９０７に出力する。
入出力インタフェース９０５に接続されている記憶部９０８は、例えばハードディスクからなり、ＣＰＵ９０１が実行するプログラムや各種のデータを記憶する。通信部９０９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
入出力インタフェース９０５に接続されているドライブ９１０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア９１１を駆動し、記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部９０８に転送され記憶される。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成によれば、ノイズ低減等を目的とした画像重ね合わせ処理をより小型のハードウェアにおいて実行する装置および方法が実現される。具体的には、例えば複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部においてノイズ低減や高解像化を実現するための画像重ね合わせを実行する。２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした。メモリの一部に重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用することで任意枚数の画像重ね合わせを可能とした。また、処理画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して処理を行うことで、ＲＡＷ画像とフルカラー画像に対する重ね合わせ処理を共通のハードウェアで実行可能とした。
１００ 画像処理装置
１０１ ユーザ入力部
１０２ レンズ
１０３ 固体撮像素子
１０４ プリ処理部
１０５ 重ね合わせ処理部ａ
１０６ ポスト処理部
１０７ 記録再生部
１０８ 重ね合わせ処理部ｂ
１０９ 表示部
２００ 重ね合わせ処理部
２０１ 固体撮像素子
２０２ 記録再生部
２０３ ＧＭＶ算出部
２０４ 位置合わせ処理部
２０５ 動被写体検出部
２０６ ブレンド処理部
２１１，２１２ メモリ
３００ 重ね合わせ処理部
３０１ 高解像度化処理部
３０２，３０３ 画像サイズ調整部
５００ 画像処理装置
５０１ ＧＭＶ記録部
９０１ ＣＰＵ
９０２ ＲＯＭ
９０３ ＲＡＭ
９０４ バス
９０５ 入出力インタフェース
９０６ 入力部
９０７ 出力部
９０８ 記憶部
９０９ 通信部
９１０ ドライブ
９１１ リムーバブルメディア

Claims (11)

  1. 複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理部を有し、
    前記重ね合わせ処理部は、
    処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行う構成であり、
    ２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行う画像処理装置。
  2. 前記重ね合わせ処理部は、
    前記メモリの一部に、重ね合わせ処理後の画像を上書き格納し、該メモリに格納した重ね合わせ処理画像を次回以降の重ね合わせ処理に使用する処理を行う請求項１に記載の画像処理装置。
  3. 前記重ね合わせ処理部は、
    ＲＡＷ画像を処理対象とする場合は前記メモリにＲＡＷ画像の各画素対応の画素値データを格納し、ＲＡＷ画像の各画素対応の画素値データに基づく重ね合わせ処理を実行し、
    フルカラー画像を処理対象とする場合は前記メモリに各画素対応の輝度信号値データを格納し、フルカラー画像の各画素対応の輝度値データに基づく重ね合わせ処理を実行する請求項１に記載の画像処理装置。
  4. 前記重ね合わせ処理部は、
    連続撮影された複数の画像のグローバル動きベクトル（ＧＭＶ）を算出するＧＭＶ算出部と、
    前記グローバル動きベクトル（ＧＭＶ）に従って、参照画像の被写体位置を基準画像の位置に合わせた動き補償画像を生成する位置合わせ処理部と、
    前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を取得する動被写体検出部と、
    前記基準画像と動き補償画像とを前記動被写体情報に基づくブレンド比率に基づいてブレンドして重ね合わせ画像を生成するブレンド処理部を有する請求項１〜３いずれかに記載の画像処理装置。
  5. 前記動被写体検出部は、
    前記位置合わせ処理部の位置合わせ結果として得られる動き補償画像と基準画像との対応画素の画素差分に基づいて動被写体情報を示すα値を画素単位の動被写体情報として算出し、
    前記ブレンド処理部は、
    前記α値の値に応じて動被写体である可能性の高い画素については前記動き補償画像のブレンド比率を低くし、動被写体である可能性の低い画素については前記動き補償画像のブレンド比率を高く設定したブレンド処理を実行する請求項４に記載の画像処理装置。
  6. 前記重ね合わせ処理部は、
    処理対象画像の高解像化処理を実行する高解像度化処理部を有し、
    前記ブレンド処理部は、前記高解像度化処理部において高解像度化された画像の重ね合わせを実行する請求項４に記載の画像処理装置。
  7. 前記画像処理装置は、
    前記ＧＭＶ算出部がＲＡＷ画像に基づいて算出した画像のグローバル動きベクトル（ＧＭＶ）を格納するＧＭＶ記録部を有し、
    前記重ね合わせ処理部がフルカラー画像を処理対象とした重ね合わせ処理を実行する際に前記ＧＭＶ記録部に格納されたグローバル動きベクトル（ＧＭＶ）を利用して処理を行う請求項４に記載の画像処理装置。
  8. 前記ブレンド処理部は、
    Ｎ＋１枚の静止画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
    Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
    Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して以下の式に従って実行する、
    Figure 2012004908
     ただし、αは０〜１の値をとる動被写体情報であり、動き領域では０に近く、静止領域では１に近い値となる動被写体情報である、
    構成であることを特徴とする請求項５に記載の画像処理装置。
  9. 前記ブレンド処理部は、
    Ｎ＋１枚の動画を処理対象としてＮ回の重ね合わせ処理を実行する場合、Ｎ回目の重ね合わせ処理を、
    Ｎ−１回目の重ね合わせ処理画像ｍｌｔＮ−１と、
    Ｎ＋１枚目の重ね合わせ未処理画像ｆｒｍＮ＋１を適用して以下の式に従って実行する、
    Figure 2012004908
     ただし、αは０〜１の値をとる動被写体情報であり、動き領域では０に近く、静止領域では１に近い値となる動被写体情報である、
    構成であることを特徴とする請求項５に記載の画像処理装置。
  10. 画像処理装置において実行する画像処理方法であり、
    重ね合わせ処理部が複数の連続撮影画像のブレンド処理を実行する重ね合わせ処理ステップを有し、
    前記重ね合わせ処理ステップは、
    処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行い、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行うステップである画像処理方法。
  11. 画像処理装置において画像処理を実行させるプログラムであり、
    重ね合わせ処理部に複数の連続撮影画像のブレンド処理を実行させる重ね合わせ処理ステップを有し、
    前記重ね合わせ処理ステップは、
    処理対象画像としてＲＡＷ画像、またはフルカラー画像の輝度信号情報を選択的に入力して重ね合わせ処理を行い、２つの画像フレームを格納するメモリに格納するデータを順次更新して任意枚数の画像重ね合わせを可能とした処理を行わせるステップであるプログラム。
JP2010138621A 2010-06-17 2010-06-17 画像処理装置、および画像処理方法、並びにプログラム Withdrawn JP2012004908A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2010138621A JP2012004908A (ja) 2010-06-17 2010-06-17 画像処理装置、および画像処理方法、並びにプログラム
IL213415A IL213415A0 (en) 2010-06-17 2011-06-06 Image processing apparatus, image processing method, and program
US13/157,781 US8861846B2 (en) 2010-06-17 2011-06-10 Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
CN2011101632452A CN102291531A (zh) 2010-06-17 2011-06-10 图像处理装置、图像处理方法和程序
US14/481,028 US20140375843A1 (en) 2010-06-17 2014-09-09 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010138621A JP2012004908A (ja) 2010-06-17 2010-06-17 画像処理装置、および画像処理方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2012004908A true JP2012004908A (ja) 2012-01-05

Family

ID=44672217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010138621A Withdrawn JP2012004908A (ja) 2010-06-17 2010-06-17 画像処理装置、および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (2) US8861846B2 (ja)
JP (1) JP2012004908A (ja)
CN (1) CN102291531A (ja)
IL (1) IL213415A0 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369630B2 (en) 2013-07-31 2016-06-14 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling the same

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012004908A (ja) * 2010-06-17 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012186593A (ja) * 2011-03-04 2012-09-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
CN103376950B (zh) * 2012-04-13 2016-06-01 原相科技股份有限公司 图像定位方法及使用所述方法的互动图像系统
CN104731544B (zh) * 2015-03-27 2018-04-20 华为技术有限公司 叠加系统和叠加方法
CN106871786A (zh) * 2017-03-23 2017-06-20 杭州兆深科技有限公司 一种用于移液吸头端口的检测方法和系统
CN109040599A (zh) * 2018-08-30 2018-12-18 杭州麦乐克科技股份有限公司 一种图像数据采集方法及其设备
US11580621B2 (en) * 2019-12-06 2023-02-14 Mediatek Inc. AI frame engine for mobile edge
US20220353489A1 (en) * 2021-04-30 2022-11-03 Microsoft Technology Licensing, Llc Systems and methods for efficient generation of single photon avalanche diode imagery with persistence
CN113240577B (zh) * 2021-05-13 2024-03-15 北京达佳互联信息技术有限公司 一种图像生成方法、装置、电子设备及存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970206B1 (en) * 2000-04-20 2005-11-29 Ati International Srl Method for deinterlacing interlaced video by a graphics processor
FR2864631B1 (fr) * 2003-12-31 2006-04-14 Mauna Kea Technologies Procede et systeme de super-resolution d'images confocales acquises a travers un guide d'image, et dispositif utilise pour la mise en oeuvre d'un tel procede
US20060291751A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Robust reconstruction of high resolution grayscale images from a sequence of low-resolution frames (robust gray super-resolution)
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
JP4973031B2 (ja) * 2006-07-03 2012-07-11 ソニー株式会社 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置
US8743963B2 (en) * 2007-08-13 2014-06-03 Ntt Docomo, Inc. Image/video quality enhancement and super-resolution using sparse transformations
JP2009071809A (ja) * 2007-08-20 2009-04-02 Panasonic Corp 映像表示装置ならびに補間画像生成回路および方法
US8749703B2 (en) * 2008-02-04 2014-06-10 Broadcom Corporation Method and system for selecting interpolation as a means of trading off judder against interpolation artifacts
JP5112104B2 (ja) 2008-02-15 2013-01-09 オリンパス株式会社 画像処理装置及び画像処理プログラム
CN101527033A (zh) * 2008-03-04 2009-09-09 河海大学 超分辨率重建和自动配准的工业ccd彩色成像系统
JP2009290827A (ja) 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
DE102008034979B4 (de) * 2008-07-25 2011-07-07 EADS Deutschland GmbH, 85521 Verfahren und Einrichtung zur Erzeugung von fehlerreduzierten hochauflösenden und kontrastverbesserten Bildern
JP2010140460A (ja) * 2008-11-13 2010-06-24 Sony Corp 画像処理装置および方法、並びにプログラム
JP4645736B2 (ja) * 2008-12-22 2011-03-09 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8233747B2 (en) * 2009-04-03 2012-07-31 Sony Corporation Method and apparatus for forming super resolution images from raw data representative of color filter array images
JP2012004908A (ja) * 2010-06-17 2012-01-05 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2012142829A (ja) * 2011-01-05 2012-07-26 Sony Corp 画像処理装置および画像処理方法
GB2496393B (en) * 2011-11-09 2016-08-24 Canon Kk Method and device for generating a super-resolution image portion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9369630B2 (en) 2013-07-31 2016-06-14 Samsung Electronics Co., Ltd. Electronic apparatus and method of controlling the same

Also Published As

Publication number Publication date
US20110310302A1 (en) 2011-12-22
US8861846B2 (en) 2014-10-14
IL213415A0 (en) 2011-07-31
US20140375843A1 (en) 2014-12-25
CN102291531A (zh) 2011-12-21

Similar Documents

Publication Publication Date Title
JP2012186593A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2012004908A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9756266B2 (en) Sensor data rescaler for image signal processing
JP4720859B2 (ja) 画像処理装置、画像処理方法およびプログラム
EP2308236B1 (en) Improved image formation using different resolution images
US9094648B2 (en) Tone mapping for low-light video frame enhancement
JP5845464B2 (ja) 画像処理装置及び画像処理方法並びにデジタルカメラ
US9538085B2 (en) Method of providing panoramic image and imaging device thereof
US20130021504A1 (en) Multiple image processing
US20150334283A1 (en) Tone Mapping For Low-Light Video Frame Enhancement
JP5006814B2 (ja) 撮像装置
KR101109532B1 (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
JP2015053644A (ja) 撮像装置
US11841926B2 (en) Image fusion processor circuit for dual-mode image fusion architecture
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
JP5959194B2 (ja) 撮像装置
JP2013135408A (ja) 撮像装置
JP7366635B2 (ja) 撮像装置、コンピュータプログラム及び記憶媒体
JP6896181B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP6025555B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012142828A (ja) 画像処理装置および画像処理方法
JP2012142826A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130903