JP2016021689A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2016021689A
JP2016021689A JP2014144773A JP2014144773A JP2016021689A JP 2016021689 A JP2016021689 A JP 2016021689A JP 2014144773 A JP2014144773 A JP 2014144773A JP 2014144773 A JP2014144773 A JP 2014144773A JP 2016021689 A JP2016021689 A JP 2016021689A
Authority
JP
Japan
Prior art keywords
unit
imaging signal
pixel
pixels
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014144773A
Other languages
English (en)
Inventor
康宣 人見
Yasunobu Hitomi
康宣 人見
光永　知生
Tomoo Mitsunaga
知生 光永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014144773A priority Critical patent/JP2016021689A/ja
Priority to PCT/JP2015/068967 priority patent/WO2016009837A1/ja
Priority to US15/322,741 priority patent/US10091442B2/en
Publication of JP2016021689A publication Critical patent/JP2016021689A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

【課題】動画の暗所のSNRを十分に向上させることができるようにするものである。
【解決手段】イメージセンサは、撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、垂直同期期間の第１の倍数より大きい第２の倍数である複数の画素を有する。フレームメモリは、読み出し間隔が垂直同期期間の第２の倍数である画素である長蓄画素の撮像信号を保持する。本開示は、例えば、イメージセンサとフレームメモリを備える動画を生成する画像処理装置等に適用することができる。
【選択図】図１

Description

本開示は、画像処理装置および画像処理方法に関し、特に、動画の暗所のSNR(signal-noise ratio)を十分に向上させることができるようにした画像処理装置および画像処理方法に関する。
近年、露光長の異なる画素が混在するイメージセンサが考案されている(例えば、特許文献１参照)。露光長の異なる画素が混在するイメージセンサでは、動画撮影時、全画素を垂直同期期間ごとに読み出し、出力する。従って、露光長の長い画素であっても、露光長を垂直同期期間より長くすることはできず、動画の暗所のSNRは悪い。
SNRを改善する方法としては、撮影画像に対して画面内でフィルタ処理を施す2DNR処理を行う方法がある。しかしながら、強ノイズ下でノイズを低減しつつ、被写体のテクスチャを維持することは困難である。
また、SNRを改善する方法としては、過去フレームの撮影画像を用いてノイズを低減する3DNR処理を行う方法もある。この方法は、静被写体領域において過去フレームの画像と現在フレームの画像を加重平均することでランダム性のノイズを低減する方法である。従って、この方法が動被写体領域に対して用いられると、撮影画像において尾引き等の画質劣化が生じる。よって、撮影画像に対して動被写体判定を行い、動被写体領域では加重平均が行われないようにするといった複雑な処理が必要となる。
しかしながら、暗所の強ノイズ下では、動被写体とノイズを正確に判定することが困難であり、静被写体領域が動被写体領域と判定され、ノイズが十分に低減されないことがある。
特開２００２−１３５６２６号公報
従って、動画の暗所のSNRを十分に向上させることが望まれている。
本開示は、このような状況に鑑みてなされたものであり、動画の暗所のSNRを十分に向上させることができるようにするものである。
本開示の一側面の画像処理装置は、撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である複数の画素と、前記読み出し間隔が前記垂直同期期間の前記第２の倍数である前記画素である長蓄画素の前記撮像信号を保持する保持部とを備える画像処理装置である。
本開示の一側面の画像処理方法は、本開示の一側面の画像処理装置に対応する。
本開示の一側面においては、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である読み出し間隔で、画素から撮像信号が読み出され、前記垂直同期期間の前記第２の倍数である前記読み出し間隔で読み出された前記撮像信号が保持される。
本開示の一側面によれば、撮像することができる。また、本開示の一側面によれば、動画の暗所のSNRを十分に向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。 図１のイメージセンサの構成例を示す図である。 図２の画素の配列の例を示す図である。 各グループの画素の読み出し間隔の例を示す図である。 図１の画像生成部の第１の構成例を示すブロック図である。 図１の画像生成部の第２の構成例を示すブロック図である。 図１の画像生成部の第３の構成例を示すブロック図である。 図１の合成比率計算部の第１の構成例を示すブロック図である。 図８の閾値処理部により設定される両読み出し間隔撮像信号の比率の例を示す図である。 図１の合成比率計算部の第２の構成例を示すブロック図である。 図１の画像処理装置の画像処理を説明するフローチャートである。 本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。 過去の長蓄画素の撮像信号の第１の例を説明する図である。 過去の長蓄画素の撮像信号の第２の例を説明する図である。 図１６の合成比率計算部の構成例を示すブロック図である。 本開示を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。 図２０の合成比率計算部において計算される長蓄合成比率を説明する図である。 図２０の画像処理装置の画像処理を説明するフローチャートである。 本開示を適用した画像処理装置の第８実施の形態のイメージセンサの構成例を示すブロック図である。 図２３の画素の配列の例を示す図である。 第８実施の形態における画像生成部の構成例を示すブロック図である。 本開示を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。 図２６の各グループの画素の読み出し間隔の例を示す図である。 本開示を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。 本開示を適用した画像処理装置の第１１実施の形態の構成例を示すブロック図である。 半導体基板の構成を示す図である。
以下、本開示の前提および本開示を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１実施の形態：画像処理装置（図１乃至図１１）
２．第２実施の形態：画像処理装置（図１２）
３．第３実施の形態：画像処理装置（図１３）
４．第４実施の形態：画像処理装置（図１４）
５．第５実施の形態：画像処理装置（図１５）
６．第６実施の形態：画像処理装置（図１６乃至図１９）
７．第７実施の形態：画像処理装置（図２０乃至図２２）
８．第８実施の形態：画像処理装置（図２３乃至図２５）
９．第９実施の形態：画像処理装置（図２６および図２７）
１０．第１０実施の形態：画像処理装置（図２８）
１１．第１１実施の形態：画像処理装置（図２９）
１２．半導体基板（図３０）
＜第１実施の形態＞
（画像処理装置の第１実施の形態の構成例）
図１は、本開示を適用した画像処理装置の第１実施の形態の構成例を示すブロック図である。
図１の画像処理装置１０は、イメージセンサ１１、フレームメモリ１２、画像生成部１３、画素補間部１４、合成比率計算部１５、および合成部１６により構成される。画像処理装置１０は、露光長の異なる画素で撮像された撮像信号に基づいて動画を生成する。
具体的には、画像処理装置１０のイメージセンサ１１は、複数の画素を有し、各画素は、その画素の撮像信号の読み出し間隔の時刻に応じた変化のパターンに応じて２つのグループに分類される。各画素の撮像信号の読み出し間隔は、垂直同期期間の１倍（以下では、短読み出し間隔という）、または、垂直同期期間の２以上の倍数（以下では、長読み出し間隔という）である。また、第１のグループまたは第２のグループの一方に分類される画素の読み出し間隔が短読み出し間隔である場合、他方に分類される画素の読み出し間隔は長読み出し間隔である。
イメージセンサ１１は、第１または第２のグループの一方に分類された画素の撮像信号を、長読み出し間隔で読み出し、フレームメモリ１２、画像生成部１３、および合成比率計算部１５に供給する。また、イメージセンサ１１は、他方に分類された画素の撮像信号を、短読み出し間隔で読み出し、画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。
フレームメモリ１２は、保持部として機能し、イメージセンサ１１から供給される長読み出し間隔で読み出された撮像信号を、グループごとに１画面（フレーム）分だけ保持する。
画像生成部１３は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とを合成して、全画素の撮像信号を生成する。この生成に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。即ち、長読み出し間隔以外のタイミングでは、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号が、全画素の撮像信号の生成に用いられる。画像生成部１３は、生成された全画素の撮像信号を、両読み出し間隔撮像信号として合成部１６に供給する。
画素補間部１４は、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号を補間して全画素の撮像信号を生成し、短読み出し間隔撮像信号として合成部１６に供給する。
合成比率計算部１５は、垂直同期期間ごとに、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と、長読み出し間隔で読み出された撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。この計算に用いられる長読み出し間隔で読み出された撮像信号は、イメージセンサ１１から供給されるか、または、イメージセンサ１１から供給されない場合、フレームメモリ１２から読み出される。合成比率計算部１５は、計算された合成比率を合成部１６に供給する。
なお、合成比率計算部１５は、長読み出し間隔で合成比率を計算するようにしてもよい。この場合、合成比率計算部１５は、フレームメモリ１２から撮像信号を読み出さず、イメージセンサ１１から供給される短読み出し間隔で読み出された撮像信号と長読み出し間隔で読み出された撮像信号に基づいて、合成比率を計算する。
合成部１６は、合成比率計算部１５から供給される合成比率に基づいて、画像生成部１３から供給される両読み出し間隔撮像信号と画素補間部１４から供給される短読み出し間隔撮像信号とを合成する。合成部１６は、合成の結果得られる撮像信号を動画の撮像信号として出力する。
（イメージセンサの構成例）
図２は、図１のイメージセンサ１１の構成例を示す図である。
図２のイメージセンサ１１は、複数の画素３２により構成される画素アレイ部３１、垂直走査回路３３、水平リセット線３４、選択線３５、垂直信号線３６、および水平走査回路３７により構成される。
画素アレイ部３１には、第１または第２のグループに分類される複数の画素３２が２次元アレイ状（行列状）に配置されている。ここでは、画素３２は、２行ごとに同一のグループに分類されている。
２次元アレイ状に配置されている複数の画素３２は、水平リセット線３４および選択線３５により、行単位で垂直走査回路３３と接続されている。また、２次元アレイ状に配置されている複数の画素３２は、垂直信号線３６により、列単位で水平走査回路３７と接続されている。
垂直走査回路３３は、画素アレイ部３１の画素３２の各行を順次選択し、選択された行の選択線３５に撮像信号を読み出させる読み出し信号を供給する。各行の画素３２は、この読み出し信号に応じて、内部に蓄積された電荷に応じた撮像信号を、垂直信号線３６に出力する。
また、垂直走査回路３３は、各行の画素３２の水平リセット線３４に、その行の画素３２のグループに対応する短読み出し間隔または長読み出し間隔だけ、読み出し信号を供給するより前に、リセット信号を供給する。リセット信号は、画素３２の内部に蓄積された電荷をリセットさせる信号である。各行の画素３２は、リセット信号に応じて、内部に蓄積された電荷をリセットし、電荷の蓄積(露光)を開始する。
水平走査回路３７は、１行分の画素３２から短読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図１の画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。また、水平走査回路３７は、1行分の画素３２から長読み出し間隔で読み出され、垂直信号線３６を介して供給される撮像信号を、順次、図１のフレームメモリ１２、画像生成部１３、および合成比率計算部１５に供給する。
（画素配列の例）
図３は、図２の画素アレイ部３１に配置される画素３２の配列の例を示す図である。
なお、図３において、正方形は画素を表し、その正方形の内部に付されたR,G,Bは、それぞれ、画素の有するカラーフィルタが赤色、緑色、青色であることを表す。また、画素を表す正方形の内部に付された１，２は、それぞれ、その画素のグループが第１のグループ、第２のグループであることを表す。さらに、図３では、画素アレイ部３１に配置される画素３２のうちの８×８個の画素３２のみ図示している。これらのことは、後述する図２４においても同様である。
図３の例では、画素３２の配列がベイヤ配列となっている。また、図３に示すように、画素アレイ部３１の画素３２のグループは、２行ごとに異なっている。具体的には、上から１行目および２行目の画素３２のグループは、第２のグループであり、３行目および４行目の画素３２のグループは、第１のグループである。また、５行目および６行目の画素３２のグループは、第２のグループであり、７行目および８行目の画素３２のグループは、第１のグループである。従って、図３の例では、各色に対して、第１のグループに分類される画素３２と第２のグループに分類される画素３２が存在する。
（各グループの読み出し間隔の例）
図４は、各グループの画素３２の読み出し間隔の例を示す図である。
図４において、横軸は時刻を表す。また、図４において、図中の矩形は、撮像信号の読み出し間隔を表し、矩形の縦方向の線は、撮像信号が読み出される時刻を表す。これらのことは、後述する図１７、図１８、図２１、および図２７においても同様である。
図４Ａ乃至図４Ｃに示すように、第１のグループの画素３２は、常に読み出し間隔が短読み出し間隔である短蓄画素であり、第２のグループの画素３２は、常に読み出し間隔が長読み出し間隔である長蓄画素であるようにすることができる。
この場合、長読み出し間隔は、図４Ａに示すように、垂直同期期間（Ｖ）の２倍であってもよいし、図４Ｂに示すように、垂直同期期間（Ｖ）の３倍であってもよいし、図４Ｃに示すように、垂直同期期間（Ｖ）の４倍であってもよい。
また、図４Ｄおよび図４Ｅに示すように、第１のグループの画素３２の読み出し間隔と第２のグループの画素３２の読み出し間隔は、時刻に応じて変化するようにすることもできる。この場合、図４Ｄに示すように、第１のグループおよび第２のグループの画素３２の読み出し間隔の変化タイミングは同一にすることができる。即ち、図４Ｄに示すように、第１のグループの画素３２の読み出し間隔は、２回の短読み出し間隔と１回の長読み出し間隔が順に並ぶパターンを繰り返し、第２のグループの画素３２の読み出し間隔は、１回の長読み出し間隔と２回の長読み出し間隔が順に並ぶパターンを繰り返すようにすることができる。
また、図４Ｅに示すように、第１および第２のグループの画素３２の読み出し間隔は、短読み出し間隔と長読み出し間隔の一方から他方へ交互に変化するようにすることもできる。即ち、図４Ｅに示すように、第１のグループの画素３２の読み出し間隔は、短読み出し間隔と長読み出し間隔が順に並ぶパターンを繰り返し、第２のグループの画素３２の読み出し間隔は、長読み出し間隔と短読み出し間隔が順に並ぶパターンを繰り返すようにすることができる。
以上のようにして第１および第２のグループの読み出し間隔が設定されるので、垂直同期期間ごとに、第１および第２のグループの少なくとも１つのグループの画素３２の撮像信号が読み出される。
（画像生成部の第１の構成例）
図５は、図１の画像生成部１３の第１の構成例を示すブロック図である。
図５の画像生成部１３は、ゲイン乗算部５１により構成される。画像生成部１３には、垂直同期期間ごとに、図１のイメージセンサ１１またはフレームメモリ１２から長蓄画素の撮像信号が供給される。画像生成部１３は、垂直同期期間ごとに、その長蓄画素の撮像信号を、長蓄画素の両読み出し間隔撮像信号として合成部１６に供給する。
また、画像生成部１３には、垂直同期期間ごとに、イメージセンサ１１から短蓄画素の撮像信号が供給され、ゲイン乗算部５１に入力される。ゲイン乗算部５１は、入力された短蓄画素の撮像信号に対して、長蓄画素と短蓄画素の露光時間の比に対応するゲインを乗算する。ゲイン乗算部５１は、ゲインが乗算された短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図１の合成部１６に供給する。
（画像生成部の第２の構成例）
図６は、図１の画像生成部１３の第２の構成例を示すブロック図である。
図６に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図６の画像生成部１３の構成は、エッジ判定部７１、平滑化部７２、および合成部７３が新たに設けられる点が図５の構成と異なる。図６の画像生成部１３は、短蓄画素の撮像信号の平坦化領域を平滑化することにより、短蓄画素の両読み出し間隔撮像信号のSNRを改善する。
具体的には、画像生成部１３のエッジ判定部７１は、垂直同期期間ごとに、図１のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、画面内のエッジ領域を検出する。エッジ判定部７１は、そのエッジ領域を表すエッジ領域情報を合成部７３に供給する。
平滑化部７２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号を平滑化し、合成部７３に供給する。
合成部７３は、エッジ判定部７１から供給されるエッジ領域情報に基づいて、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号から、エッジ領域の短蓄画素の撮像信号を抽出する。また、合成部７３は、エッジ領域情報に基づいて、平滑化部７２から供給される平滑化後の短蓄画素の撮像信号から、エッジ領域以外の領域の短蓄画素の撮像信号を抽出する。合成部７３は、抽出されたエッジ領域の短蓄画素の撮像信号と、エッジ領域以外の領域の短蓄画素の撮像信号とを合成する。合成部７３は、合成の結果得られる短蓄画素の撮像信号を、短蓄画素の両読み出し間隔撮像信号として図１の合成部１６に供給する。
（画像生成部の第３の構成例）
図７は、図１の画像生成部１３の第３の構成例を示すブロック図である。
図７に示す構成のうち、図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図７の画像生成部１３の構成は、補間部９１、補間部９２、および合成部９３が新たに設けられる点が図５の構成と異なる。図７の画像生成部１３は、補間により全画素の短読み出し間隔の撮像信号と長読み出し間隔の撮像信号を生成し、それらをSNRが最大となる比率で合成することにより、両読み出し間隔撮像信号のSNRを改善する。
具体的には、画像生成部１３の補間部９１は、図１のイメージセンサ１１から供給される長蓄画素の撮像信号に対して補間処理を行い、全画素の長読み出し間隔の撮像信号を生成する。補間部９１は、生成された全画素の長読み出し間隔の撮像信号を合成部９３に供給する。
補間部９２は、ゲイン乗算部５１によりゲインが乗算された短蓄画素の撮像信号に対して補間処理を行い、全画素の短読み出し間隔の撮像信号を生成する。補間部９２は、生成された全画素の短読み出し間隔の撮像信号を合成部９３に供給する。
合成部９３は、補間部９１から供給される全画素の長読み出し間隔の撮像信号と、補間部９２から供給される全画素の短読み出し間隔の撮像信号を、SNRが最大となる比率で合成する。短読み出し間隔の撮像信号の標準偏差をσSとし、長読み出し間隔の撮像信号の標準偏差をσLとしたとき、SNRが最大となる長読み出し間隔の撮像信号の比率はσS/（σS＋σL）であり、短読み出し間隔の撮像信号の比率はσL/（σS＋σL）である。合成部９３は、合成の結果得られる全画素の撮像信号を、両読み出し間隔撮像信号として図１の合成部１６に供給する。
（合成比率計算部の第１の構成例）
図８は、図１の合成比率計算部１５の第１の構成例を示すブロック図である。
図８の合成比率計算部１５は、プレフィルタ１０１、プレフィルタ１０２、差分絶対値演算部１０３、ノイズ推定部１０４、および閾値処理部１０５により構成される。
合成比率計算部１５のプレフィルタ１０１は、垂直同期期間ごとに、図１のイメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号に対してフィルタ処理を行う。このフィルタ処理は、撮像信号の各画素の位置を基準位置に変更するとともに、撮像信号のノイズを抑制する処理である。プレフィルタ１０１は、フィルタ処理後の長蓄画素の撮像信号を差分絶対値演算部１０３とノイズ推定部１０４に供給する。
プレフィルタ１０２は、垂直同期期間ごとに、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、プレフィルタ１０１と同様のフィルタ処理を行う。プレフィルタ１０２は、フィルタ処理後の短蓄画素の撮像信号を差分絶対値演算部１０３に供給する。
差分絶対値演算部１０３は、プレフィルタ１０１から供給される長蓄画素の撮像信号と、プレフィルタ１０２から供給される短蓄画素の撮像信号の差分絶対値を、基準位置ごとに演算する。差分絶対値演算部１０３は、各基準位置の差分絶対値を閾値処理部１０５に供給する。
ノイズ推定部１０４は、プレフィルタ１０１から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部１０５に供給する。
閾値処理部１０５は、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる閾値を決定する。例えば、閾値処理部１０５は、標準偏差σを第１の閾値に決定する。閾値処理部１０５は、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
具体的には、閾値処理部１０５は、各基準位置の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する基準位置が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する基準位置が動被写体領域ではないと判定する。
即ち、閾値処理部１０５は、差分絶対値が第１の閾値より大きい場合、その差分絶対値がノイズによるものではなく、動きによるものであると判定する。一方、閾値処理部１０５は、差分絶対値が第１の閾値より大きくはない場合、その差分絶対値がノイズによるものであると判定する。
以上のように、閾値処理部１０５は、プレフィルタ１０１およびプレフィルタ１０２のフィルタ処理によってノイズが抑制された撮像信号を用いて動被写体領域を判定するため、判定精度が良い。
閾値処理部１０５は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部１０５は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部１０５は、設定された各画素の合成比率を図１の合成部１６に供給する。
これにより、動きのない領域の動画の撮像信号では、ノイズの少ない長蓄画素の撮像信号の影響が大きくなり、動きのある領域の動画の撮像信号では、動きぼけの少ない短蓄画素の撮像信号の影響が大きくなる。その結果、画像処理装置１０は、ノイズや動きぼけの少ない高画質の動画の撮像信号を出力することができる。
（合成比率の説明）
図９は、図８の閾値処理部１０５により設定される合成比率のうちの両読み出し間隔撮像信号の比率の例を示す図である。
図９において、横軸は、図８の差分絶対値演算部１０３により演算される差分絶対値を表し、縦軸は、両読み出し間隔撮像信号の比率を表す。
図９に示すように、基準位置の差分絶対値が第１の閾値以下であり、その基準位置が動被写体領域ではないと判定される場合、閾値処理部１０５は、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、例えば最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０（＝１−０）に設定される。
一方、基準位置の差分絶対値が第１の閾値より大きく、その基準位置が動被写体領域であると判定される場合、閾値処理部１０５は、例えば、標準偏差σの３倍の値を第２の閾値に設定する。
そして、閾値処理部１０５は、基準位置の差分絶対値が第１の閾値より大きく第２の閾値以下である場合、所定の関数にしたがって、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を設定する。所定の関数とは、差分絶対値が第１の閾値である場合に１となり、第２の閾値である場合に０となる、差分絶対値に比例する関数である。このとき、短読み出し間隔撮像信号の比率は、１から両読み出し間隔撮像信号の比率を減算した値に設定される。
また、閾値処理部１０５は、基準位置の差分絶対値が第２の閾値より大きい場合、その基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最小値である０に設定する。このとき、短読み出し間隔撮像信号の比率は１に設定される。
（合成比率計算部の第２の構成例）
図１０は、図１の合成比率計算部１５の第２の構成例を示すブロック図である。
図１０に示す構成のうち、図８の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１０の合成比率計算部１５の構成は、統計量計算部１１１が新たに設けられる点、および、閾値処理部１０５の代わりに閾値処理部１１２が設けられる点が図８の構成と異なる。図１０の合成比率計算部１５は、動被写体領域ではない領域であっても、画面内の被写体のテクスチャが込み入っている場合、短読み出し間隔撮像信号の比率を０より大きい値に設定する。
合成比率計算部１５の統計量計算部１１１は、プレフィルタ１０１から出力されるフィルタ処理後の長蓄画素の撮像信号の分散値などの統計量を計算し、閾値処理部１１２に供給する。
閾値処理部１１２は、図８の閾値処理部１０５と同様に、ノイズ推定部１０４からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部１１２は、閾値処理部１０５と同様に、差分絶対値演算部１０３から供給される各基準位置の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
閾値処理部１１２は、閾値処理部１０５と同様に、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように第２の閾値を用いて設定する。
また、閾値処理部１１２は、統計量計算部１１１から供給される分散値に基づいて、画面内の被写体のテクスチャが込み入っているかどうかを判定する。閾値処理部１１２は、画面内の被写体のテクスチャが込み入っていると判定された場合、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の両読み出し間隔撮像信号の比率を、最大値より小さい値（例えば0.5）に設定する。このとき、短読み出し間隔撮像信号の比率は、0.5（=1-0.5）に設定される。
一方、画面内の被写体のテクスチャが込み入っていないと判定された場合、閾値処理部１１２は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の短読み出し間隔撮像信号の比率を、最大値である１に設定する。このとき、短読み出し間隔撮像信号の比率は、０に設定される。
以上により、被写体のテクスチャが込み入っている画面の動きのない領域の動画の撮像信号は、長蓄画素の撮像信号と短蓄画素の撮像信号の両方の影響を受ける。その結果、画像処理装置１０は、動画の撮像信号の画質を向上させることができる。
（画像処理装置の処理の説明）
図１１は、図１の画像処理装置１０の画像処理を説明するフローチャートである。この画像処理は、例えば、垂直同期期間ごとに行われる。
図１１のステップＳ１１において、画像処理装置１０のイメージセンサ１１は、短蓄画素の撮像信号を読み出し、画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。そして、イメージセンサ１１は、短蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。
ステップＳ１２において、イメージセンサ１１は、長蓄画素の撮像信号を読み出すかどうかを判定する。例えば、イメージセンサ１１は、長読み出し間隔が垂直同期期間の２の倍数である場合、連続する２回の垂直同期期間のうちの最初の垂直同期期間時には、長蓄画素の撮像信号を読み出さないと判定し、最後の垂直同期期間時には、長蓄画素の撮像信号を読み出すと判定する。
ステップＳ１２で長蓄画素の撮像信号を読み出すと判定された場合、ステップＳ１３において、イメージセンサ１１は、長蓄画素の撮像信号を読み出し、フレームメモリ１２、画像生成部１３、および合成比率計算部１５に供給する。そして、イメージセンサ１１は、長蓄画素として撮像信号が読み出された画素３２に蓄積された電荷をリセットし、画素３２に再び露光を開始させる。
ステップＳ１４において、フレームメモリ１２は、イメージセンサ１１から供給される長蓄画素の撮像信号を保持し、処理をステップＳ１６に進める。
一方、ステップＳ１２で長蓄画素の撮像信号を読み出さないと判定された場合、ステップＳ１５において、画像生成部１３と合成比率計算部１５は、フレームメモリ１２に保持されている長蓄画素の撮像信号を読み出し、処理をステップＳ１６に進める。
ステップＳ１６において、画像生成部１３は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とを用いて、両読み出し間隔撮像信号を生成し、合成部１６に供給する。
ステップＳ１７において、画素補間部１４は、イメージセンサ１１から供給される短蓄画素の撮像信号を補間して短読み出し間隔撮像信号を生成し、合成部１６に供給する。
ステップＳ１８において、合成比率計算部１５は、イメージセンサ１１から供給される短蓄画素の撮像信号と、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号とに基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部１５は、計算された合成比率を合成部１６に供給する。
ステップＳ１９において、合成部１６は、合成比率計算部１５から供給される合成比率に基づいて、画像生成部１３から供給される両読み出し間隔撮像信号と画素補間部１４から供給される短読み出し間隔撮像信号とを合成する。ステップＳ２０において、合成部１６は、合成の結果得られる撮像信号を動画の撮像信号として出力し、処理を終了する。
以上のように、画像処理装置１０は、短蓄画素と長蓄画素を有するイメージセンサ１１と、長蓄画素の撮像信号を保持するフレームメモリ１２を備える。従って、画像処理装置１０は、垂直同期期間の２以上の倍数の露光長で動画撮影を行うことができる。よって、動画の撮像信号の暗所のSNRを向上させることができる。また、画像処理装置１０のイメージセンサ１１は、短蓄画素を有するので、動画の撮像信号を垂直同期期間ごとに更新することができる。
＜第２実施の形態＞
（画像処理装置の第２実施の形態の構成例）
図１２は、本開示を適用した画像処理装置の第２実施の形態の構成例を示すブロック図である。
図１２に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１２の画像処理装置１３０の構成は、新たに動き補償部１３１が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置１３０は、フレームメモリ１２から読み出された長蓄画素の撮像信号の空間位相ずれを補償する動き補償を行う。
具体的には、画像処理装置１３０の動き補償部１３１には、フレームメモリ１２から読み出された長蓄画素の撮像信号が供給される。動き補償部１３１は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、長蓄画素の撮像信号の動き補償を行う。
より詳細には、動き補償部１３１は、長蓄画素の撮像信号におけるぶれ量を推定する。動き補償部１３１は、推定されたぶれ量を補正するように、フレームメモリ１２から供給される長蓄画素の撮像信号に対して、並進、回転、アフィン変換、射影変換などの変換を行う。これにより、フレームメモリ１２から供給される長蓄画素の撮像信号の空間位相は、その撮像信号が読み出されるときの実際の空間位相に変更される。動き補償部１３１は、動き補償後の長蓄画素の撮像信号を画像生成部１３と合成比率計算部１５に供給する。
画像処理装置１３０の画像処理は、ステップＳ１５とステップＳ１６の間で、動き補償部１３１による動き補償が行われる点を除いて、図１１の画像処理と同様であるので、説明は省略する。
なお、動き補償部１３１は、ジャイロセンサなどにより計測されたイメージセンサ１１の動きを表す信号ではなく、過去の複数フレームの長蓄画素の撮像信号に基づいて検出された動きベクトルを用いて空間位相ずれを補償するようにしてもよい。
＜第３実施の形態＞
（画像処理装置の第３実施の形態の構成例）
図１３は、本開示を適用した画像処理装置の第３実施の形態の構成例を示すブロック図である。
図１３に示す構成のうち、図１２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１３の画像処理装置１５０の構成は、動きぼけ補正部１５１が新たに設けられる点が、図１２の画像処理装置１３０の構成と異なる。画像処理装置１５０は、短蓄画素と長蓄画素の撮像信号のイメージセンサ１１の動きによる動きぼけを補正する。
具体的には、画像処理装置１５０の動きぼけ補正部１５１は、図示せぬジャイロセンサなどにより計測された露光時刻のイメージセンサ１１の動きを表す信号に基づいて、動きぼけPSF（Point spread function）を推定する。動きぼけ補正部１５１は、動きぼけPSFを用いて、イメージセンサ１１から供給される長蓄画素の撮像信号および短蓄画素の撮像信号、並びに、動き補償部１３から供給される長蓄画素の撮像信号に対して動きぼけ補正を行う。動きぼけ補正の方法としては、動きぼけカーネルの逆変換を重畳する方法、ぼけ方向に応じたHPF(High Pass Filter)をかける方法などがある。
動きぼけ補正部１５１は、動きぼけ補正後の長蓄画素の撮像信号を画像生成部１３と合成比率計算部１５に供給する。また、動きぼけ補正部１５１は、動きぼけ補正後の短蓄画素の撮像信号を画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。
画像処理装置１５０の画像処理は、ステップＳ１４およびステップＳ１５と、ステップＳ１６の間で、動きぼけ補正部１５１による動きぼけの補正が行われる点を除いて、図１２の画像処理装置１３０の画像処理と同様であるので、説明は省略する。
＜第４実施の形態＞
（画像処理装置の第４実施の形態の構成例）
図１４は、本開示を適用した画像処理装置の第４実施の形態の構成例を示すブロック図である。
図１４に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１４の画像処理装置１７０の構成は、ノイズ低減部１７１が新たに設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置１７０は、長蓄画素と短蓄画素の撮像信号に対して、それぞれ異なる強度でノイズ低減を行う。
具体的には、画像処理装置１７０のノイズ低減部１７１は、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素と短蓄画素の撮像信号のそれぞれに対して、LPF（Low Pass Filter）または非線形平滑化手法を用いて、異なる強度でノイズ低減を行う。長蓄画素と短蓄画素の撮像信号に対するノイズ低減の強度の差異は、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて決定される。これにより、長蓄画素と短蓄画素における露光長の差異およびゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。
ノイズ低減部１７１は、ノイズ低減後の長蓄画素の撮像信号をフレームメモリ１２に供給して保持させるとともに、画像生成部１３と合成比率計算部１５に供給する。また、ノイズ低減部１７１は、ノイズ低減後の短蓄画素の撮像信号を画像生成部１３、画素補間部１４、および合成比率計算部１５に供給する。
画像処理装置１７０の画像処理は、以下の点を除いて、図１１の画像処理と同様である。即ち、画像処理装置１７０の画像処理は、ステップＳ１１とＳ１２の間でノイズ低減部１７１により短蓄画素の撮像信号に対してノイズ低減が行われる点が、図１１の画像処理と異なっている。また、画像処理装置１７０の画像処理は、ステップＳ１３とＳ１４の間およびステップＳ１５とＳ１６の間で、ノイズ低減部１７１により長蓄画素の撮像信号のノイズ低減が行われる点が、図１１の画像処理と異なっている。
なお、ノイズ低減部１７１は、長蓄画素と短蓄画素の両方の撮像信号に対して同一の強度でノイズ低減を行うようにしてもよい。
＜第５実施の形態＞
（画像処理装置の第５実施の形態の構成例）
図１５は、本開示を適用した画像処理装置の第５実施の形態の構成例を示すブロック図である。
図１５に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１５の画像処理装置１９０の構成は、ノイズ低減部１９１とノイズ低減部１９２が新たに設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置１９０は、両読み出し間隔撮像信号と短読み出し間隔撮像信号に対してノイズ低減を行う。
具体的には、画像処理装置１９０のノイズ低減部１９１は、合成比率計算部１５により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減の強度を決定する。
即ち、両読み出し間隔撮像信号と短蓄撮像信号が合成される場合、両方の周波数特性を一致させた方が、合成結果の画質が向上する場合がある。従って、ノイズ低減部１９１は、例えば、両読み出し間隔撮像信号の合成比率が０または１である場合、即ち合成が行われない場合、ノイズ低減の強度を強くし、両読み出し間隔撮像信号の合成比率が０より大きく１未満である場合、ノイズ低減の強度を弱くする。
ノイズ低減部１９１（両読み出し間隔ノイズ低減部）は、画像生成部１３により生成された両読み出し間隔撮像信号に対して、LPFまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１９１は、ノイズ低減後の両読み出し間隔撮像信号を合成部１６に供給する。
ノイズ低減部１９２は、合成比率計算部１５により計算された合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいて、ノイズ低減部１９１と同様にノイズ低減の強度を決定する。ノイズ低減部１９２（短読み出し間隔ノイズ低減部）は、画素補間部１４により生成された短読み出し間隔撮像信号に対して、LPFまたは非線形平滑化手法を用いて、決定された強度でノイズ低減を行う。ノイズ低減部１９２は、ノイズ低減後の短読み出し間隔撮像信号を合成部１６に供給する。
以上のように、ノイズ低減部１９１とノイズ低減部１９２は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異等に基づいてノイズ低減の強度を決定する。従って、ノイズ低減部１９１とノイズ低減部１９２は、合成比率、長蓄画素と短蓄画素における露光長の差異、ゲイン乗算部５１で乗算されるゲインの差異により生じるノイズ強度の差異を補償することができる。
画像処理装置１９０の画像処理は、ステップＳ１７とＳ１８の間で、ノイズ低減部１９１とノイズ低減部１９２によるノイズ低減が行われる点を除いて、図１１の画像処理と同様であるので、説明は省略する。
なお、ノイズ低減部１９１とノイズ低減部１９２は、合成比率によらず、複数のノイズ強度でノイズ低減を行い、合成部１６が、合成比率に対応するノイズ強度のノイズ低減が行われた撮像信号を選択して合成するようにしてもよい。
また、画像処理装置１９０は、ノイズ低減部１７１を備えるようにしてもよい。また、ノイズ低減部１９１とノイズ低減部１９２は、同一の強度でノイズ低減を行うようにしてもよい。
＜第６実施の形態＞
（画像処理装置の第６実施の形態の構成例）
図１６は、本開示を適用した画像処理装置の第６実施の形態の構成例を示すブロック図である。
図１６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図１６の画像処理装置２１０の構成は、フレームメモリ１２、合成比率計算部１５の代わりに、フレームメモリ２１１、合成比率計算部２１２が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置２１０は、合成対象の両読み出し間隔撮像信号と短読み出し間隔撮像信号の生成に用いられる長蓄画素および短蓄画素の撮像信号だけでなく、その撮像信号より前の時刻の撮像信号も用いて、合成比率を計算する。
具体的には、画像処理装置２１０のフレームメモリ２１１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、グループごとに２画面分だけ保持する。
合成比率計算部２１２は、垂直同期期間ごとに、フレームメモリ１２に保持されている、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号の直前の、同一の長蓄画素の撮像信号（以下、過去の長蓄画素の撮像信号という）を読み出す。
また、イメージセンサ１１から長蓄画素の撮像信号が供給されない場合、合成比率計算部２１２は、フレームメモリ１２から、合成対象の両読み出し間隔撮像信号の生成に用いられる、直前に長読み出し間隔で同一の長蓄画素から読み出された撮像信号を読み出す。
合成比率計算部２１２は、垂直同期期間ごとに、過去の長蓄画素の撮像信号、イメージセンサ１１またはフレームメモリ１２から供給される長蓄画素の撮像信号、および、イメージセンサ１１から供給される短蓄画素の撮像信号に基づいて、両読み出し間隔撮像信号と短読み出し間隔撮像信号の合成比率を計算する。合成比率計算部２１２は、計算された合成比率を合成部１６に供給する。
（過去の長蓄画素の撮像信号の第１の例の説明）
図１７は、過去の長蓄画素の撮像信号の第１の例を説明する図である。
図１７の例では、第１および第２のグループの画素３２の読み出し間隔が図４Ａの読み出し間隔である。
この場合、図１７に示すように、第１のグループの画素３２から、垂直同期期間ごとに、短蓄画素の撮像信号が読み出される。また、第２のグループの画素３２から、垂直同期期間の２の倍数である長読み出し間隔ごとに、長蓄画素の撮像信号が読み出される。
従って、例えば、第１のグループの画素３２から短蓄画素の撮像信号Ｓ４が読み出される時刻ｔ４では、過去の長蓄画素の撮像信号は、そのときに読み出される長蓄画素の撮像信号Ｌ４の直前の同一の長蓄画素の撮像信号Ｌ２となる。このとき、両読み出し間隔撮像信号は、短蓄画素の撮像信号Ｓ４と長蓄画素の撮像信号Ｌ４を用いて生成される。
（過去の長蓄画素の撮像信号の第２の例の説明）
図１８は、過去の長蓄画素の撮像信号の第２の例を説明する図である。
図１８の例では、第１および第２のグループの画素３２の読み出し間隔が図４Ｄの読み出し間隔である。
この場合、図１８に示すように、第１のグループおよび第２のグループの一方の画素３２が２回連続して短蓄画素になる間、他方の画素３２が１回長蓄画素になり、第１および第２のグループの一方と他方は交互に入れ替わる。
従って、例えば、第２のグループの画素３２から短蓄画素の撮像信号Ｓ４が読み出される時刻ｔ４では、過去の長蓄画素の撮像信号は、そのときに第２のグループの画素３２から読み出される長蓄画素の撮像信号Ｌ４の直前の同一の長蓄画素の撮像信号Ｌ０となる。このとき、両読み出し間隔撮像信号は、短蓄画素の撮像信号Ｓ４と長蓄画素の撮像信号Ｌ４を用いて生成される。
（合成比率計算部の構成例）
図１９は、図１６の合成比率計算部２１２の構成例を示すブロック図である。
図１９の合成比率計算部２１２は、LPF（Low Pass Filter）２３１および２３２、差分絶対値演算部２３３、LPF２３４および２３５、差分絶対値演算部２３６、ノイズ推定部２３７、閾値処理部２３８および２３９、並びに選択部２４０により構成される。
合成比率計算部２１２のLPF２３１は、図１６のフレームメモリ２１１から読み出された過去の長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。
LPF２３２は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対してノイズ低減を行い、差分絶対値演算部２３３に供給する。
差分絶対値演算部２３３は、長蓄画素ごとに、LPF２３１から供給される長蓄画素の撮像信号と、LPF２３２から供給される過去の長蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３８に供給する。
LPF２３４は、イメージセンサ１１またはフレームメモリ２１１から供給される、合成対象の両読み出し間隔撮像信号の生成に用いられる長蓄画素の撮像信号に対して、LPF２３１やLPF２３２に比べて強い強度でノイズ低減を行うとともに、各長蓄画素の位置を基準位置に変更する。LPF２３４は、その結果得られる、LPF２３２から出力される長蓄画素の撮像信号の帯域よりも低域の長蓄画素の撮像信号を、差分絶対値演算部２３６とノイズ推定部２３７に供給する。
LPF２３５は、イメージセンサ１１から供給される短蓄画素の撮像信号に対して、LPF２３１やLPF２３２に比べて強い強度でノイズ低減を行うとともに、各短蓄画素の位置を基準位置に変更する。LPF２３５は、その結果得られる、LPF２３２から出力される長蓄画素の撮像信号の帯域よりも低域の短蓄画素の撮像信号を、差分絶対値演算部２３６に供給する。
差分絶対値演算部２３６は、基準位置ごとにLPF２３４から供給される長蓄画素の撮像信号と、LPF２３５から供給される短蓄画素の撮像信号の差分絶対値を演算し、閾値処理部２３９に供給する。
ノイズ推定部２３７は、LPF２３４から供給される長蓄画素の撮像信号に基づいて、長蓄画素の撮像信号の標準偏差σをノイズ量として推定し、閾値処理部２３８と閾値処理部２３９に供給する。
閾値処理部２３８は、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、例えば、標準偏差σを、動被写体領域の判定に用いる第１の閾値に決定する。閾値処理部２３８は、差分絶対値演算部２３３から供給される各長蓄画素の差分絶対値と第１の閾値とを用いて、動被写体領域の判定を行う。
具体的には、閾値処理部２３８は、各長蓄画素の差分絶対値が第１の閾値より大きいかどうかを判定する。そして、閾値処理部２３８は、差分絶対値が第１の閾値より大きい場合、その差分絶対値に対応する長蓄画素が動被写体領域であると判定し、差分絶対値が第１の閾値より小さい場合、その差分絶対値に対応する長蓄画素が動被写体領域ではないと判定する。
閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された長蓄画素に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３８は、動被写体領域の判定により動被写体領域ではないと判定された長蓄画素に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３８は、設定された各画素の合成比率を選択部２４０に供給する。
閾値処理部２３９は、閾値処理部２３８と同様に、ノイズ推定部２３７からノイズ量として供給される標準偏差σに基づいて、動被写体領域の判定に用いる第１の閾値を決定する。閾値処理部２３９は、差分絶対値演算部２３６から供給される各基準位置の差分絶対値と第１の閾値とを用いて、閾値処理部２３８と同様に、動被写体領域の判定を行う。
閾値処理部２３８は、動被写体領域の判定により動被写体領域であると判定された基準位置に対応する画素の合成比率を、短読み出し間隔撮像信号の比率が大きくなるように設定する。また、閾値処理部２３９は、動被写体領域の判定により動被写体領域ではないと判定された基準位置に対応する画素の合成比率を、両読み出し間隔撮像信号の比率が大きくなるように設定する。閾値処理部２３９は、設定された各画素の合成比率を選択部２４０に供給する。
選択部２４０は、閾値処理部２３８から供給される合成比率と、閾値処理部２３９から供給される合成比率のうちの時間変化が小さい方の合成比率を選択する。これにより、合成比率を安定させることができる。選択部２４０は、選択された合成比率を図１６の合成部１６に供給する。
以上のように、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしに基づいて動被写体領域を判定する。従って、長蓄画素と短蓄画素の位置ずれを補償することにより、動被写体領域の判定精度が低下することを防止することができる。
即ち、長蓄画素と短蓄画素の画素アレイ部３１上の位置は異なっている。従って、長蓄画素の撮像信号と短蓄画素の撮像信号の差分絶対値を求める際、各画素の位置が基準位置に変更されるが、これにより、静被写体領域であってもエッジ付近の領域では差分絶対値が大きくなり、動被写体領域と判定されることがある。これに対して、合成比率計算部２１２は、同一の長蓄画素の撮像信号どうしの差分絶対値を求めるため、撮像信号の画素位置を変更する必要がなく、高精度で動被写体判定を行うことができる。
また、短蓄画素の撮像信号に比べて長蓄画素の撮像信号のノイズ量は少ないため、長蓄画素の撮像信号のみに基づいて動被写体領域を判定することにより、判定精度を高めることができる。
図１６の画像処理装置２１０の画像処理は、ステップＳ１７とＳ１８の間で、過去の長蓄画素の撮像信号が読み出される点、および、ステップＳ１８で過去の長蓄画素の撮像信号も合成比率の計算に用いる点を除いて、図１１の画像処理と同様である。従って、説明は省略する。
＜第７実施の形態＞
（画像処理装置の第７実施の形態の構成例）
図２０は、本開示を適用した画像処理装置の第７実施の形態の構成例を示すブロック図である。
図２０に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２０の画像処理装置２６０の構成は、フレームメモリ１２、合成比率計算部１５の代わりに、フレームメモリ２６１、合成比率計算部２６２が設けられる点が、図１の画像処理装置１０の構成と異なる。画像処理装置２６０は、長蓄画素の撮像信号どうしに基づいて決定された合成比率（以下、長蓄合成比率という）をフレームメモリ２６１に保持し、長蓄画素の撮像信号がイメージセンサ１１から読み出されないときの合成比率の選択に用いる。
具体的には、画像処理装置２６０のフレームメモリ２６１は、イメージセンサ１１から供給される長蓄画素の撮像信号を、グループごとに２画面分だけ保持する。また、フレームメモリ２６１は、合成比率計算部２６２から供給される長蓄合成比率をグループごとに１画面分だけ保持する。
合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されたとき、フレームメモリ１２に保持されている過去の長蓄画素の撮像信号を読み出す。そして、合成比率計算部２６２は、フレームメモリ１２から読み出された過去の長蓄画素の撮像信号と、イメージセンサ１１から供給される長蓄画素の撮像信号とに基づいて、長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。
一方、合成比率計算部２６２は、長読み出し間隔ごとに、イメージセンサ１１から長蓄画素の撮像信号が供給されないとき、フレームメモリ１２に保持されている、その長蓄画素のグループの長蓄合成比率を読み出す。
また、合成比率計算部２６２は、垂直同期期間ごとに、イメージセンサ１１から供給される長蓄画素の撮像信号と短蓄画素の撮像信号に基づいて、合成比率（以下、両画素合成比率という）を計算する。合成比率計算部２６２は、垂直同期期間ごとに、計算された長蓄合成比率または読み出された長蓄合成比率と、両画素合成比率のうちの、時間変化が小さい方を選択する。合成比率計算部２６２は、選択された合成比率を合成部１６に供給する。
以上のように、画像処理装置２６０は、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率を計算せず、その長蓄画素のグループの前回計算された長蓄合成比率をフレームメモリ２６１から読み出して用いる。
即ち、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算に用いられる長蓄画素の撮像信号は、その長蓄画素のグループの長蓄合成比率の前回の計算に用いられた長蓄画素の撮像信号である。従って、画像処理装置２６０は、前回計算された長蓄合成比率を用いて、合成比率の選択を行う。これにより、画像処理装置２６０は、同一の長蓄画素の撮像信号に基づいて長蓄合成比率を再度計算せずに済むため、計算コストを削減することができる。また、イメージセンサ１１から長蓄画素の撮像信号が読み出されない場合、長蓄合成比率の計算のために過去の長蓄画素の撮像信号をフレームメモリ２６１から読み出す必要がないので、フレームメモリ２６１の帯域を抑制することができる。
（長蓄合成比率の説明）
図２１は、図２０の合成比率計算部２６２において計算される長蓄合成比率を説明する図である。
図２１の例では、第１および第２のグループの画素３２の読み出し間隔が図４Ａの読み出し間隔である。
この場合、図２１に示すように、例えば、第１のグループの画素３２から短蓄画素の撮像信号Ｓ２が読み出される時刻ｔ２では、第２のグループの画素３２から長蓄画素の撮像信号Ｌ２が読み出される。従って、合成比率計算部２６２は、長蓄画素の撮像信号Ｌ２と、その撮像信号Ｌ２の過去の長蓄画素の撮像信号である撮像信号Ｌ０とに基づいて、長蓄合成比率を生成する。この長蓄合成比率は、フレームメモリ２６１に供給され、保持される。
一方、第１のグループの画素３２から短蓄画素の撮像信号Ｓ３が読み出される時刻ｔ３では、第２のグループの画素３２から長蓄画素の撮像信号は読み出されない。従って、時刻ｔ３における長蓄合成比率は、直前に第２のグループの画素３２から読み出された長蓄画素の撮像信号Ｌ２と、その撮像信号Ｌ２の過去の長蓄画素の撮像信号である撮像信号Ｌ０とに基づいて決定されるものである。即ち、時刻ｔ３における長蓄合成比率は、時刻ｔ２における長蓄合成比率と同一である。
よって、合成比率計算部２６２は、時刻ｔ３では長蓄合成比率を計算せず、フレームメモリ２６１に保持されている時刻ｔ２の長蓄合成比率を読み出して、時刻ｔ３の長蓄合成比率とする。
（画像処理装置の処理の説明）
図２２は、図２０の画像処理装置２６０の画像処理を説明するフローチャートである。この画像処理は、例えば、垂直同期期間ごとに行われる。
図２２のステップＳ４１乃至Ｓ４６の処理は、図１１のステップＳ１１乃至Ｓ１４，Ｓ１６、およびＳ１７の処理と同様であるので、説明は省略する。
ステップＳ４７において、画像処理装置２６０の合成比率計算部２６２は、フレームメモリ２６１から過去の長蓄画素の撮像信号を読み出す。
ステップＳ４８において、合成比率計算部２６２は、イメージセンサ１１から供給される短蓄画素の撮像信号および長蓄画素の撮像信号、並びに、フレームメモリ２６１から読み出された過去の長蓄画素の撮像信号に基づいて、両画素合成比率と長蓄合成比率を計算する。合成比率計算部２６２は、計算された長蓄合成比率をフレームメモリ２６１に供給し、保持させる。そして、処理はステップＳ５４に供給する。
一方、ステップＳ４２で長蓄画素の撮像信号を読み出さないと判定された場合、処理はステップＳ４９に進む。ステップＳ４９乃至Ｓ５１の処理は、図１１のステップＳ１５乃至Ｓ１７の処理と同様であるので、説明は省略する。
ステップＳ５２において、合成比率計算部２６２は、フレームメモリ２６１から長蓄画素の撮像信号を読み出し、その長蓄画素の撮像信号と、イメージセンサ１１から供給される短蓄画素の撮像信号とに基づいて、両画素合成比率を計算する。
ステップＳ５３において、合成比率計算部２６２は、ステップＳ５２でフレームメモリ２６１から読み出された撮像信号に対応するグループの前回計算された長蓄合成比率を、フレームメモリ２６１から読み出す。そして、処理はステップＳ５４に供給する。
ステップＳ５４において、合成比率計算部２６２は、両画素合成比率と長蓄合成比率のうちの時間変化の小さい方を選択し、合成部１６に供給する。
ステップＳ５５およびＳ５６は、図１１のステップＳ１９およびＳ２０の処理と同様であるので、説明は省略する。
＜第８実施の形態＞
（画像処理装置の第８実施の形態の構成例）
画像処理装置の第８実施の形態は、イメージセンサの構成を除いて、図１の画像処理装置１０の構成と同様である。従って、以下では、イメージセンサについてのみ説明する。
図２３は、本開示を適用した画像処理装置の第８実施の形態のイメージセンサの構成例を示すブロック図である。
図２３に示す構成のうち、図２の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２３のイメージセンサ２８０の構成は、水平リセット線３４の代わりに水平リセット線２８１および２８２が設けられる点が、図２のイメージセンサ１１の構成と異なる。イメージセンサ２８０では、同一の行で画素３２のグループが異なっている。
具体的には、イメージセンサ２８０の水平リセット線２８１および２８２は、画素３２の行単位で設けられる。各行の隣接する画素３２どうしの一方には、その行の水平リセット線２８１が接続され、他方には、水平リセット線２８２が接続される。また、各列の隣接する画素３２どうしの一方には、その画素３２の行の水平リセット線２８１が接続され、他方には、その画素３２の行の水平リセット線２８２が接続される。
各行の水平リセット線２８１および２８２には、それぞれ、異なるタイミングで垂直走査回路３３からリセット信号が供給される。具体的には、各行の水平リセット線２８１と水平リセット線２８２の一方には、その行の選択線３５に読み出し信号が供給されるより短読み出し間隔だけ前にリセット信号が供給される。また、他方には、その行の選択線３５に読み出し信号が供給されるより長読み出し間隔だけ前にリセット信号が供給される。
（画素配列の例）
図２４は、図２３の画素アレイ部３１に配置される画素３２の配列の例を示す図である。
図２４に示すように、図２３の画素３２のグループは、同一の行で異なっている。例えば、図２４Ａに示すように、画素３２の配列がベイヤ配列である場合、水平方向と垂直方向に並ぶ、赤色の画素３２どうしおよび青色の画素３２どうしのグループが異なり、各行の緑色の画素３２のグループが同一であるようにされる。
また、図２４Ｂに示すように、画素３２の配列が、４×４画素ごとに同一の色の画素３２となる配列である場合、または、図２４Ｃに示すように、４×４画素のうちの左下の画素３２の色が赤色または青色であり、残りの３つの画素３２の色が緑色である配列である場合、水平方向および垂直方向に隣接する画素３２どうしのグループが異なるようにされる。
なお、第８実施の形態の画像処理装置は、イメージセンサ１１をイメージセンサ２８０に代えたものであるが、画素３２の配列が図２４Ｃに示したように緑色の画素の密度が高い配列であり、各グループの読み出し間隔が図４Ａ乃至図４Ｃに示したように時間によらず一定である場合、画像生成部１３の構成を代えることもできる。
（画像生成部の構成例）
図２５は、このような場合の画像生成部１３の構成例を示すブロック図である。
図２５に示す構成のうち、図６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２５の画像生成部１３は、ゲイン乗算部５１、平滑化部７２、補間部３０１、および相関部３０２により構成される。画像生成部１３は、チャネル間相関を利用して、長蓄画素の撮像信号と短蓄画素の撮像信号から、短蓄画素の両読み出し間隔撮像信号を生成する。
具体的には、画像生成部１３は、図２３のイメージセンサ２８０から供給される長蓄画素の撮像信号を、長蓄画素の両読み出し間隔撮像信号として出力する。
画像生成部１３の補間部３０１は、通過帯の広いLPFを用いて、イメージセンサ２８０から供給される長蓄画素である緑色の画素の撮像信号に対してフィルタ処理を行い、高周波の撮像信号G_Hを生成する。
補間部３０１はまた、通過帯の狭いLPFを用いて、イメージセンサ２８０から供給される長蓄画素である緑色の画素の撮像信号に対してフィルタ処理を行い、低周波の撮像信号G_Lを生成する。補間部３０１は、高周波の撮像信号G_Hと低周波の撮像信号G_Lを相関部３０２に供給する。
相関部３０２は、平滑化部７２により平滑化された低周波の短蓄画素の撮像信号のうちの赤色の画素の撮像信号R_Lと、補間部３０１から供給される撮像信号G_Hおよび撮像信号G_Lとを用いて、以下の式（１）により、高周波の赤色の画素の撮像信号R_Hを得る。相関部３０２は、撮像信号R_Hと撮像信号R_Lを合成し、その結果得られる撮像信号を、赤色の短蓄画素の両読み出し間隔撮像信号として出力する。
Figure 2016021689
また、相関部３０２は、平滑化部７２により平滑化された低周波の短蓄画素の撮像信号のうちの青色の画素の撮像信号B_Lと、撮像信号G_Hおよび撮像信号G_Lとを用いて、撮像信号R_Hと同様に、高周波の青色の画素の撮像信号B_Hを得る。相関部３０２は、撮像信号B_Hと撮像信号B_Lを合成し、その結果得られる撮像信号を、青色の短蓄画素の両読み出し間隔撮像信号として出力する。
さらに、相関部３０２は、平滑化部７２により平滑化された緑色の短蓄画素の撮像信号を、緑色の短蓄画素の両読み出し間隔撮像信号として出力する。
第８実施の形態の画像処理装置の画像処理は、図１１の画像処理装置と同様であるので、説明は省略する。
なお、第８実施の形態の画像処理装置では、第１実施の形態におけるイメージセンサ１１がイメージセンサ２８０に代えられたが、第２乃至第７実施の形態におけるイメージセンサ１１がイメージセンサ２８０に代えられるようにしてもよい。
＜第９実施の形態＞
（画像処理装置の第９実施の形態の構成例）
図２６は、本開示を適用した画像処理装置の第９実施の形態の構成例を示すブロック図である。
図２６に示す構成のうち、図１の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２６の画像処理装置３２０の構成は、イメージセンサ１１がイメージセンサ３２１に代わる点、画像生成部１３が画像生成部３２２に代わる点、およびフレームメモリ１２が設けられない点が、図１の画像処理装置１０の構成と異なる。画像処理装置３２０では、画素３２が３つ以上のグループに分けられており、垂直同期期間ごとに、短蓄画素と長蓄画素の両方の撮像信号が読み出される。
具体的には、画像処理装置３２０のイメージセンサ３２１は、複数の画素３２を有し、各画素３２は、その画素３２の撮像信号の読み出し間隔の時刻に応じた変化のパターンに応じて３つ以上のグループに分類される。
なお、各グループのパターンは、垂直同期期間ごとに、少なくとも１つのグループの長蓄画素の撮像信号の読み出しタイミングが発生するように決定されている。従って、垂直同期期間ごとに、イメージセンサ３２１から、少なくとも１つのグループの短蓄画素の撮像信号と、他の少なくとも１つのグループの長蓄画素の撮像信号とが読み出される。よって、長蓄画素の撮像信号をフレームメモリ１２に保持させる必要がない。
イメージセンサ３２１は、少なくとも１つのグループに分類された長蓄画素の撮像信号を、長読み出し間隔で読み出し、画像生成部３２２と合成比率計算部１５に供給する。また、イメージセンサ３２１は、他の少なくとも１つのグループに分類された短蓄画素の撮像信号を、短読み出し間隔で読み出し、画像生成部３２２、画素補間部１４、および合成比率計算部１５に供給する。
画像生成部３２２の構成は、長蓄画素の撮像信号がイメージセンサ３２１からのみ供給される点を除いて、図７の画像生成部１３の構成と同様である。画像生成部３２２は、垂直同期期間ごとに、イメージセンサ３２１から供給される短蓄画素の撮像信号と長蓄画素の撮像信号を用いて、全画素の撮像信号を生成する。画像生成部３２２は、生成された全画素の撮像信号を、両読み出し間隔撮像信号として合成部１６に供給する。
（各グループの読み出し間隔の例）
図２７は、図２６の各グループの画素３２の読み出し間隔の例を示す図である。
図２７Ａの例では、画素３２は、第１乃至第３のグループに分類される。各グループの画素３２は、短蓄画素と長蓄画素に交互になり、長読み出し間隔は、垂直同期期間の２倍である。また、第１乃至第３のグループのうちの１つのグループの画素３２において、長読み出し間隔の前半の垂直同期期間であるとき、もう１つのグループの画素３２においては長読み出し間隔の後半の垂直同期期間であり、残りの１つのグループの画素３２においては短読み出し間隔である。従って、垂直同期期間ごとに、第１乃至第３のグループの長蓄画素の撮像信号が順に読み出される。
図２７Ｂの例では、画素３２は、第１乃至第４のグループに分類される。各グループの画素３２は、２回短蓄画素になった後、長蓄画素になることを繰り返し、長読み出し間隔は、垂直同期期間の２倍である。また、第１乃至第４のグループのうちの１つのグループの画素３２において、長読み出し間隔の前半の垂直同期期間であるとき、もう１つのグループの画素３２においては長読み出し間隔の後半の垂直同期期間であり、残りの２つのグループの画素３２においては短読み出し間隔である。従って、垂直同期期間ごとに、第１乃至第４のグループの長蓄画素の撮像信号が順に読み出される。
図２６の画像処理画像処理装置３２０の画像処理は、ステップＳ１２，Ｓ１４、およびＳ１５の処理が行われず、ステップＳ１６で両読み出し間隔撮像信号の生成にイメージセンサ３２１から読み出された長蓄画素の撮像信号が用いられる点を除いて、図１１の画像処理と同様であるので、説明は省略する。
＜第１０実施の形態＞
（画像処理装置の第１０実施の形態の構成例）
図２８は、本開示を適用した画像処理装置の第１０実施の形態の構成例を示すブロック図である。
図２８に示す構成のうち、図２６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２８の画像処理装置３４０の構成は、ノイズ低減部３４１が新たに設けられる点が、図２６の画像処理装置３２０の構成と異なる。画像処理装置３４０は、図１４の画像処理装置１７０と同様に、長蓄画素と短蓄画素の撮像信号に対して、それぞれ異なる強度でノイズ低減を行う。
具体的には、画像処理装置３４０のノイズ低減部３４１の構成は、長蓄画素の撮像信号がイメージセンサ３２１から供給される点を除いて、図１４のノイズ低減部１７１の構成と同様である。ノイズ低減部３４１によるノイズ低減後の長蓄画素の撮像信号は、画像生成部３２２と合成比率計算部１５に供給される。また、ノイズ低減部３４１によるノイズ低減後の短蓄画素の撮像信号は、画像生成部３２２、合成比率計算部１５、および画素補間部１４に供給される。
画像処理装置３４０の画像処理は、以下の点を除いて、図２６の画像処理装置３２０の画像処理と同様である。即ち、画像処理装置３４０の画像処理は、ステップＳ１１とＳ１３の間でノイズ低減部３４１により短蓄画素の撮像信号に対してノイズ低減が行われる点が、画像処理装置３２０の画像処理と異なっている。また、画像処理装置３４０の画像処理は、ステップＳ１３とＳ１６の間で、ノイズ低減部３４１により長蓄画素の撮像信号のノイズ低減が行われる点が、画像処理装置３２０の画像処理と異なっている。
なお、ノイズ低減部３４１は、長蓄画素と短蓄画素の両方の撮像信号に対して同一の強度でノイズ低減を行うようにしてもよい。
＜第１１実施の形態＞
（画像処理装置の第１１実施の形態の構成例）
図２９は、本開示を適用した画像処理装置の第１１実施の形態の構成例を示すブロック図である。
図２９に示す構成のうち、図１５や図２６の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
図２９の画像処理装置３６０の構成は、ノイズ低減部１９１とノイズ低減部１９２が設けられる点が、図２６の画像処理装置３２０の構成と異なる。画像処理装置３６０は、図１５の画像処理装置１９０と同様に、両読み出し間隔撮像信号と短読み出し間隔撮像信号に対してノイズ低減を行う。
画像処理装置３６０の画像処理は、ステップＳ１７とステップＳ１８の間で、ノイズ低減部１９１とノイズ低減部１９２によるノイズ低減が行われる点を除いて、図２６の画像処理画像処理装置３２０の画像処理と同様であるので、説明は省略する。
なお、画像処理装置３６０は、ノイズ低減部３４１を備えるようにしてもよい。また、第９乃至第１１実施の形態では、フレームメモリ１２が設けられなかったが、フレームメモリ１２が設けられるようにしてもよい。この場合、画像生成部３２２は、フレームメモリ１２を介してイメージセンサ３２１から長蓄画素の撮像信号が供給される。
＜画像処理装置の形態＞
図３０は、上述した画像処理装置を半導体基板（チップ）に形成した場合の半導体基板の構成を示す図である。
図３０Ａおよび図３０Ｂに示すように、第１乃至第１１実施の形態の画像処理装置のイメージセンサ１１（３２１）以外の構成は、例えば、回路３８１により実現される。この回路３８１は、例えば、図３０Ａに示すように、イメージセンサ１１（３２１）と同一の半導体基板３８２に形成される。または、図３０Ｂに示すように、積層される半導体基板３８３と半導体基板３８４のうちの、イメージセンサ１１（３２１）が形成されない半導体基板３８４に形成される。
また、図３０Ｃに示すように、第１乃至第１１実施の形態の画像処理装置のイメージセンサ１１（３２１）以外の構成は、例えば、イメージセンサ１１（３２１）が形成される半導体基板３８３の後段のDSP(Digital Signal Processing)３８６により実現することもできる。
また、図３０Ｄおよび図３０Ｅに示すように、第１乃至第１１実施の形態の画像処理装置のイメージセンサ１１（３２１）以外の構成は、例えば、回路３８８とDSP３８９により実現することもできる。この場合、図３０Ｄに示すように、回路３８８は、イメージセンサ１１（３２１）と同一の半導体基板３８７に形成され、DSP３８９は、半導体基板３８７の後段に設けられる。または、図３０Ｅに示すように、回路３８８は、積層される半導体基板３８３と半導体基板３９０のうちの、イメージセンサ１１（３２１）が形成されない半導体基板３９０に形成され、DSP３８９は、積層される半導体基板３８７と半導体基板３９０の後段に設けられる。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
また、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、画素３２の露光長の種類は３以上であってもよい。この場合、第９実施の形態においても、各画素３２の読み出し間隔を常に一定にするようにしてもよい。
なお、本開示は、以下のような構成もとることができる。
（１）
撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である複数の画素と、
前記読み出し間隔が前記垂直同期期間の前記第２の倍数である前記画素である長蓄画素の前記撮像信号を保持する保持部と
を備える画像処理装置。
（２）
前記複数の画素のうちの所定の前記画素は、常に前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素であり、前記所定の画素以外の画素は、常に前記長蓄画素である
ように構成された
前記（１）に記載の画像処理装置。
（３）
前記画素の前記読み出し間隔は時刻に応じて変化する
ように構成された
前記（１）に記載の画像処理装置。
（４）
前記複数の画素は、前記画素の前記読み出し間隔の時刻に応じた変化のパターンに応じて複数のグループに分類される
ように構成された
前記（３）に記載の画像処理装置。
（５）
全ての前記グループに分類された前記画素の前記読み出し間隔の変化タイミングは同一である
ように構成された
前記（４）に記載の画像処理装置。
（６）
全ての前記グループに分類された前記画素の前記読み出し間隔は、前記垂直同期期間の前記第１の倍数と前記垂直同期期間の前記第２の倍数の一方から他方へ交互に変化する
ように構成された
前記（４）に記載の画像処理装置。
（７）
前記複数の画素のうちの前記長蓄画素の前記撮像信号と、前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素の前記撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
前記複数の画素のうちの前記短蓄画素の前記撮像信号を補間し、前記複数の画素の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
をさらに備える
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とに基づいて、前記合成部による合成の比率を計算する合成比率計算部
をさらに備える
前記（７）に記載の画像処理装置。
（９）
前記合成比率計算部は、前記画像生成部により合成される前記長蓄画素の前記撮像信号、前記保持部により保持された、その撮像信号の直前の同一の長蓄画素の前記撮像信号、および前記短蓄画素の前記撮像信号に基づいて、前記合成の比率を計算する
ように構成された
前記（８）に記載の画像処理装置。
（１０）
前記保持部は、前記合成比率計算部により計算された前記合成の比率を保持し、
前記合成部は、前記保持部により保持された前記合成の比率で、前記両読み出し間隔撮像信号と前記短読み出し間隔撮像信号とを合成する
ように構成された
前記（９）に記載の画像処理装置。
（１１）
前記画像生成部は、前記保持部により保持された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
ように構成された
前記（７）乃至（１０）のいずれかに記載の画像処理装置。
（１２）
前記保持部により保持された前記長蓄画素の前記撮像信号の動き補償を行う動き補償部
をさらに備え、
前記画像生成部は、前記動き補償部による前記動き補償後の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
ように構成された
前記（１１）に記載の画像処理装置。
（１３）
前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号の動きぼけを補正する動きぼけ補正部
をさらに備え、
前記画像生成部は、前記動きぼけ補正部により前記動きぼけが補正された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
ように構成された
前記（７）乃至（１２）のいずれかに記載の画像処理装置。
（１４）
前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号に対して、それぞれ、異なる強度でノイズ低減を行うノイズ低減部
をさらに備え、
前記画像生成部は、前記ノイズ低減部による前記ノイズ低減後の前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とを合成する
ように構成された
前記（７）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記画像生成部により生成された前記両読み出し間隔撮像信号に対して、第１の強度でノイズ低減を行う両読み出し間隔ノイズ低減部と、
前記画素補間部により生成された前記短読み出し間隔撮像信号に対して、前記第１の強度とは異なる第２の強度でノイズ低減を行う短読み出し間隔ノイズ低減部と
をさらに備え、
前記合成部は、前記両読み出し間隔ノイズ低減部による前記ノイズ低減後の前記両読み出し間隔撮像信号と、前記短読み出し間隔ノイズ低減部による前記ノイズ低減後の前記短読み出し間隔撮像信号とを合成する
ように構成された
前記（７）乃至（１４）のいずれかに記載の画像処理装置。
（１６）
複数の画素を有する画像処理装置が、
垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である読み出し間隔で、前記画素から撮像信号を読み出す読み出しステップと、
前記読み出しステップの処理により、前記垂直同期期間の前記第２の倍数である前記読み出し間隔で読み出された前記撮像信号を保持する保持ステップと
を含む画像処理方法。
１０ 画像処理装置， １２ フレームメモリ， １３ 画像生成部， １４ 画素補間部， １５ 合成比率計算部， １６ 合成部， ３２ 画素， １３０ 画像処理装置， １３１ 動き補償部， １５０ 画像処理装置， １５１ 動きぼけ補正部， １７０ 画像処理装置， １７１ ノイズ低減部， １９０ 画像処理装置， １９１，１９２ ノイズ低減部

Claims (16)

  1. 撮像信号の読み出し間隔が、垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である複数の画素と、
    前記読み出し間隔が前記垂直同期期間の前記第２の倍数である前記画素である長蓄画素の前記撮像信号を保持する保持部と
    を備える画像処理装置。
  2. 前記複数の画素のうちの所定の前記画素は、常に前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素であり、前記所定の画素以外の画素は、常に前記長蓄画素である
    ように構成された
    請求項１に記載の画像処理装置。
  3. 前記画素の前記読み出し間隔は時刻に応じて変化する
    ように構成された
    請求項１に記載の画像処理装置。
  4. 前記複数の画素は、前記画素の前記読み出し間隔の時刻に応じた変化のパターンに応じて複数のグループに分類される
    ように構成された
    請求項３に記載の画像処理装置。
  5. 全ての前記グループに分類された前記画素の前記読み出し間隔の変化タイミングは同一である
    ように構成された
    請求項４に記載の画像処理装置。
  6. 全ての前記グループに分類された前記画素の前記読み出し間隔は、前記垂直同期期間の前記第１の倍数と前記垂直同期期間の前記第２の倍数の一方から他方へ交互に変化する
    ように構成された
    請求項４に記載の画像処理装置。
  7. 前記複数の画素のうちの前記長蓄画素の前記撮像信号と、前記読み出し間隔が前記垂直同期期間の前記第１の倍数である前記画素である短蓄画素の前記撮像信号とを合成し、両読み出し間隔撮像信号を生成する画像生成部と、
    前記複数の画素のうちの前記短蓄画素の前記撮像信号を補間し、前記複数の画素の撮像信号である短読み出し間隔撮像信号を生成する画素補間部と、
    前記画像生成部により生成された前記両読み出し間隔撮像信号と、前記画素補間部により生成された前記短読み出し間隔撮像信号とを合成する合成部と
    をさらに備える
    請求項１に記載の画像処理装置。
  8. 前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とに基づいて、前記合成部による合成の比率を計算する合成比率計算部
    をさらに備える
    請求項７に記載の画像処理装置。
  9. 前記合成比率計算部は、前記画像生成部により合成される前記長蓄画素の前記撮像信号、前記保持部により保持された、その撮像信号の直前の同一の長蓄画素の前記撮像信号、および前記短蓄画素の前記撮像信号に基づいて、前記合成の比率を計算する
    ように構成された
    請求項８に記載の画像処理装置。
  10. 前記保持部は、前記合成比率計算部により計算された前記合成の比率を保持し、
    前記合成部は、前記保持部により保持された前記合成の比率で、前記両読み出し間隔撮像信号と前記短読み出し間隔撮像信号とを合成する
    ように構成された
    請求項９に記載の画像処理装置。
  11. 前記画像生成部は、前記保持部により保持された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
    ように構成された
    請求項７に記載の画像処理装置。
  12. 前記保持部により保持された前記長蓄画素の前記撮像信号の動き補償を行う動き補償部
    をさらに備え、
    前記画像生成部は、前記動き補償部による前記動き補償後の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
    ように構成された
    請求項１１に記載の画像処理装置。
  13. 前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号の動きぼけを補正する動きぼけ補正部
    をさらに備え、
    前記画像生成部は、前記動きぼけ補正部により前記動きぼけが補正された前記長蓄画素の前記撮像信号と、前記短蓄画素の前記撮像信号とを合成する
    ように構成された
    請求項７に記載の画像処理装置。
  14. 前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号に対して、それぞれ、異なる強度でノイズ低減を行うノイズ低減部
    をさらに備え、
    前記画像生成部は、前記ノイズ低減部による前記ノイズ低減後の前記長蓄画素の前記撮像信号と前記短蓄画素の前記撮像信号とを合成する
    ように構成された
    請求項７に記載の画像処理装置。
  15. 前記画像生成部により生成された前記両読み出し間隔撮像信号に対して、第１の強度でノイズ低減を行う両読み出し間隔ノイズ低減部と、
    前記画素補間部により生成された前記短読み出し間隔撮像信号に対して、前記第１の強度とは異なる第２の強度でノイズ低減を行う短読み出し間隔ノイズ低減部と
    をさらに備え、
    前記合成部は、前記両読み出し間隔ノイズ低減部による前記ノイズ低減後の前記両読み出し間隔撮像信号と、前記短読み出し間隔ノイズ低減部による前記ノイズ低減後の前記短読み出し間隔撮像信号とを合成する
    ように構成された
    請求項７に記載の画像処理装置。
  16. 複数の画素を有する画像処理装置が、
    垂直同期期間の第１の倍数、または、前記垂直同期期間の前記第１の倍数より大きい第２の倍数である読み出し間隔で、前記画素から撮像信号を読み出す読み出しステップと、
    前記読み出しステップの処理により、前記垂直同期期間の前記第２の倍数である前記読み出し間隔で読み出された前記撮像信号を保持する保持ステップと
    を含む画像処理方法。
JP2014144773A 2014-07-15 2014-07-15 画像処理装置および画像処理方法 Pending JP2016021689A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014144773A JP2016021689A (ja) 2014-07-15 2014-07-15 画像処理装置および画像処理方法
PCT/JP2015/068967 WO2016009837A1 (ja) 2014-07-15 2015-07-01 画像処理装置および画像処理方法
US15/322,741 US10091442B2 (en) 2014-07-15 2015-07-01 Image processing apparatus and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014144773A JP2016021689A (ja) 2014-07-15 2014-07-15 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
JP2016021689A true JP2016021689A (ja) 2016-02-04

Family

ID=55078335

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014144773A Pending JP2016021689A (ja) 2014-07-15 2014-07-15 画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US10091442B2 (ja)
JP (1) JP2016021689A (ja)
WO (1) WO2016009837A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018064201A (ja) * 2016-10-13 2018-04-19 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3247102B1 (en) * 2016-05-16 2018-08-01 Axis AB Method and device in a camera network system
US20230105527A1 (en) * 2021-10-05 2023-04-06 Meta Platforms Technologies, Llc Noise-reduction circuit for an image sensor

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10174000A (ja) * 1996-12-10 1998-06-26 Canon Inc 撮像装置
JP3869165B2 (ja) * 1999-08-19 2007-01-17 松下電器産業株式会社 撮像装置
JP5342969B2 (ja) * 2009-09-10 2013-11-13 富士フイルム株式会社 撮像装置及び撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018064201A (ja) * 2016-10-13 2018-04-19 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路
WO2018070240A1 (ja) * 2016-10-13 2018-04-19 パナソニックＩｐマネジメント株式会社 画像処理装置、画像処理方法、及び画像処理回路

Also Published As

Publication number Publication date
US20170142354A1 (en) 2017-05-18
US10091442B2 (en) 2018-10-02
WO2016009837A1 (ja) 2016-01-21

Similar Documents

Publication Publication Date Title
US8848063B2 (en) Image processing including image correction
JP5057974B2 (ja) 取得された画像フレーム間の意図的でないカメラ運動を補正するためのビデオデータの処理
KR102254994B1 (ko) 화상 처리 장치, 화상 처리 방법, 전자 기기, 및 프로그램
JP4480760B2 (ja) 画像データ処理方法および画像処理装置
JP4638361B2 (ja) 撮像装置
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
JP6326180B1 (ja) 画像処理装置
JP5767485B2 (ja) 画像処理装置及び制御方法
WO2015159581A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
WO2011083555A1 (ja) 画像処理装置、画像生成システム、方法、およびプログラム
JP2011087269A5 (ja)
CN110418065B (zh) 高动态范围图像运动补偿方法、装置及电子设备
JPWO2019092844A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2014027511A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JPWO2012081175A1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
JP6045767B1 (ja) 撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体
WO2019008693A1 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラムおよび記憶媒体
WO2016009837A1 (ja) 画像処理装置および画像処理方法
JP2013074571A (ja) 画像処理装置および方法、プログラム、並びに記録媒体
JP5649927B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
WO2017122394A1 (ja) 撮像制御装置、および撮像装置
WO2013118364A1 (ja) 画像処理装置および画像処理方法
JP2010041200A (ja) 映像信号処理装置および映像信号処理方法
JP6449320B2 (ja) 撮像装置
JP2017098784A (ja) 画像処理装置および画像処理方法