JP2022188690A - 撮像装置、画像処理装置、画像処理方法、記憶媒体 - Google Patents
撮像装置、画像処理装置、画像処理方法、記憶媒体 Download PDFInfo
- Publication number
- JP2022188690A JP2022188690A JP2021096922A JP2021096922A JP2022188690A JP 2022188690 A JP2022188690 A JP 2022188690A JP 2021096922 A JP2021096922 A JP 2021096922A JP 2021096922 A JP2021096922 A JP 2021096922A JP 2022188690 A JP2022188690 A JP 2022188690A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- exposure
- motion detection
- exposure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 93
- 238000012545 processing Methods 0.000 title claims description 71
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000001514 detection method Methods 0.000 claims abstract description 74
- 238000000034 method Methods 0.000 claims abstract description 46
- 230000002194 synthesizing effect Effects 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 22
- 230000003287 optical effect Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 13
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims 1
- 239000002131 composite material Substances 0.000 abstract description 16
- 230000006866 deterioration Effects 0.000 abstract description 5
- 239000000203 mixture Substances 0.000 abstract description 2
- 238000012937 correction Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 29
- 230000007246 mechanism Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000001276 controlling effect Effects 0.000 description 5
- 230000004907 flux Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 239000011449 brick Substances 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/262—Analysis of motion using transform domain methods, e.g. Fourier domain methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10144—Varying exposure
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
【課題】ブロックマッチングが苦手な画像部分があっても画質の劣化を抑制した合成画像を生成できる撮像装置等を提供する。【解決手段】撮像装置1は、レンズ11と撮像素子23と本体側マイクロコンピュータ41を備える。コンピュータ41は、複数枚の第1の画像データと、第1の画像データより露光時間が長い第2の画像データとを撮像素子23に取得させ、第1の画像データと第2の画像データとを用いて動き領域を検出し、複数枚の第1の画像データを用いて動き検出情報を取得する。コンピュータ41は、動き領域であるか否かに応じて合成方法を変更して、1枚の合成画像データを生成する。【選択図】図1
Description
本発明は、画像データ中の被写体像の動きを検出して、複数枚の画像データを合成する撮像装置、画像処理装置、画像処理方法、記憶媒体に関する。
複数枚の画像データを合成して、1枚の合成画像を生成する技術は、従来より提案されている。画像合成技術は、例えば、撮影画像よりも高解像度の画像、撮影画像よりもダイナミックレンジの広い画像、などを生成するために用いられる。
ところで、複数枚の画像を合成する際、画像に手ぶれや移動する被写体がある場合、動き検出を行って、検出結果に基づき画像を位置合わせしてから合成する必要がある。画像データ中の被写体像の動き検出は、一般に、ブロックマッチング(BM:Block Matching)法を利用することが多い。BM法は、例えば画素値の差分を用いるために、位置検出の精度を高めるには、露光時間が同じ2画像間で行うことが好ましい。
例えば、特開2014-160987号公報には、露光時間が異なる2枚の画像からハイダイナミックレンジ(HDR)画像を合成する際に、1枚の長露光画像を撮像する期間内に2枚の短露光画像を撮像し、2枚の短露光画像に基づき動き検出を行うことが記載されている。
BM法は、第1の画像中の基準となる部分画像との差異が最小になるような部分画像を第2の画像中に探索して、部分画像同士の動きを検出する技術である。このためBM法では、繰り返しパターンがある被写体(網目模様、レンガ塀など)、またはランダムテクスチャの被写体(揺れる水面、揺れる木々など)に対して、動きを誤検出する、または動きを検出できないことがある。誤検出した動き、または検出できない結果に基づき複数枚の画像を合成すると、合成画像にアーティファクトが生じ、画質がかえって劣化することがある。
本発明は上記事情に鑑みてなされたものであり、ブロックマッチングが苦手な画像部分があっても画質の劣化を抑制した合成画像を生成できる撮像装置、画像処理装置、画像処理方法、記憶媒体を提供することを目的としている。
本発明の一態様による撮像装置は、被写体の光学像を結像するレンズと、前記光学像を露光して画像データを生成する撮像素子と、露光時間が異なる複数枚の画像データに周波数解析を行って、前記画像データ中の動き領域を検出する第1の動き検出部と、露光時刻が異なる複数枚の画像データにブロックマッチングを行って、前記画像データ中の被写体像の動き検出情報を取得する第2の動き検出部と、複数枚の画像データを合成して1枚の合成画像データを生成する画像合成部と、前記撮像素子、前記第1の動き検出部、前記第2の動き検出部、および前記画像合成部を制御する制御部と、を備え、前記制御部は、前記撮像素子に、第1の露光時間の露光を複数回行わせて、露光時刻が異なる複数枚の第1の画像データを取得させ、前記撮像素子に、前記第1の露光時間より長い第2の露光時間の露光を行わせて、第2の画像データを取得させ、前記第1の画像データと前記第2の画像データとを用いて前記第1の動き検出部に前記動き領域を検出させ、前記複数枚の第1の画像データを用いて前記第2の動き検出部に前記動き検出情報を取得させ、前記画像合成部に、前記動き領域であるか否かに応じて、前記動き検出情報に基づき前記複数枚の第1の画像データから前記合成画像データを生成する方法を変更させる。
本発明の一態様による画像処理装置は、露光時刻が異なる第1の露光時間の複数枚の第1の画像データと、前記第1の露光時間より長い第2の露光時間の第2の画像データと、を記憶するメモリと、前記第1の画像データと前記第2の画像データとに周波数解析を行って、画像データ中の動き領域を検出する第1の動き検出部と、前記複数枚の第1の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得する第2の動き検出部と、前記動き領域であるか否かに応じて、前記動き検出情報に基づき1枚の合成画像データを生成する方法を変更し、前記複数枚の第1の画像データを合成して前記合成画像データを生成する画像合成部と、を備える。
本発明の一態様による画像処理方法は、第1の露光時間の第1の画像データと、前記第1の露光時間より長い第2の露光時間の第2の画像データとに周波数解析を行って、画像データ中の動き領域を検出し、露光時刻が異なる前記第1の露光時間の複数枚の第1の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得し、前記動き領域であるか否かに応じて、前記動き検出情報に基づき1枚の合成画像データを生成する方法を変更し、前記複数枚の第1の画像データを合成して前記合成画像データを生成する。
本発明の一態様による記憶媒体は、コンピュータに、第1の露光時間の第1の画像データと、前記第1の露光時間より長い第2の露光時間の第2の画像データとに周波数解析を行わせて、画像データ中の動き領域を検出させ、露光時刻が異なる前記第1の露光時間の複数枚の第1の画像データにブロックマッチングを行わせて、画像データ中の被写体像の動き検出情報を取得させ、前記動き領域であるか否かに応じて、前記動き検出情報に基づき1枚の合成画像データを生成する方法を変更させ、前記複数枚の第1の画像データを合成させて前記合成画像データを生成させる、ためのコンピュータプログラムを記憶するコンピュータにより読み取り可能な一時的でない記憶媒体である。
本発明の撮像装置、画像処理装置、画像処理方法、記憶媒体によれば、ブロックマッチングが苦手な画像部分があっても画質の劣化を抑制した合成画像を生成できる。
以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態により本発明が限定されるものではない。
[第1の実施形態]
[第1の実施形態]
図1から図10は本発明の第1の実施形態を示したものであり、図1は撮像装置1の構成を示すブロック図である。
なお、本実施形態においては、撮像装置1としてデジタルカメラを例に挙げて説明するが、これに限定されるものではなく、撮像機能を備えた装置であれば任意の装置であって構わない。また、デジタルカメラとしてレンズ交換式のものを例に挙げているが、レンズ一体型であっても構わない。
撮像装置1は、レンズマウント等を用いて、交換式レンズ2とカメラ本体3とを着脱自在に接続して構成されている。
交換式レンズ2は、レンズ11と、光学絞り12と、レンズドライバ13と、絞りドライバ14と、レンズ側マイクロコンピュータ15と、フラッシュメモリ16と、を備えている。
レンズ11は、例えば1枚以上の光学レンズを含む撮影光学系として構成され、被写体の光学像(被写体像)をカメラ本体3の後述する撮像素子23上に結像するレンズ部である。
光学絞り12は、レンズ11から撮像素子23へ向かう光束の通過範囲を制御することで、レンズ11により結像される被写体像の光量を調節する。
レンズドライバ13は、レンズ側マイクロコンピュータ15からの指令に基づき、レンズ11を駆動してフォーカス位置の調整を行う。
絞りドライバ14は、レンズ側マイクロコンピュータ15からの指令に基づき、光学絞り12を駆動して開口径を変化させる。この光学絞り12の駆動により、被写体像の明るさが変化し、ボケの大きさなども変化する。
フラッシュメモリ16は、レンズ側マイクロコンピュータ15により実行される制御プログラムや、交換式レンズ2に関する各種の情報を記録する記録媒体である。
レンズ側マイクロコンピュータ15は、レンズドライバ13、絞りドライバ14、フラッシュメモリ16、および後述するインタフェース(I/F)27と接続されている。そして、レンズ側マイクロコンピュータ15は、インタフェース27を経由して後述する本体側マイクロコンピュータ41と通信し、本体側マイクロコンピュータ41からの指令を受けて、フラッシュメモリ16に記録されている情報の読出/書込を行い、レンズドライバ13および絞りドライバ14を制御する。さらに、レンズ側マイクロコンピュータ15は、この交換式レンズ2に関する各種の情報を本体側マイクロコンピュータ41へ送信する。
次に、カメラ本体3は、メカニカルシャッタ21と、シャッタドライバ22と、撮像素子23と、撮像素子ドライバ24と、像ぶれ補正機構25と、像ぶれ補正ドライバ26と、インタフェース(I/F)27と、アナログ処理回路28と、アナログ/デジタル変換器(A/D変換器)29と、バス30と、DRAM(Dynamic Random Access Memory)31と、AF(Autofocus)処理回路32と、AE(Auto Exposure)処理回路33と、画像処理回路34と、LCD(Liquid Crystal Display)ドライバ35と、LCD36と、メモリインタフェース(メモリI/F)37と、記録媒体38と、操作デバイス39と、フラッシュメモリ40と、本体側マイクロコンピュータ41と、を備えている。
メカニカルシャッタ21は、レンズ11と撮像素子23との間に配置され、レンズ11からの光束が撮像素子23へ到達する時間を制御する。メカニカルシャッタ21は、例えばシャッタ幕を走行させる構成の光学シャッタである。
シャッタドライバ22は、本体側マイクロコンピュータ41からの指令に基づいてメカニカルシャッタ21を駆動し、メカニカルシャッタ21を開閉するものである。
シャッタドライバ22は、本体側マイクロコンピュータ41の指令により、例えば静止画撮影時にメカニカルシャッタ21を駆動して、撮像素子23への光束の到達時間、つまり撮像素子23による被写体の露光時間を制御する。
一方、シャッタドライバ22は、本体側マイクロコンピュータ41の指令により、例えば動画撮影時あるいはライブビュー時には、メカニカルシャッタ21を開放状態に維持する。このときの各フレーム画像の取得は、撮像素子23が備える電子シャッタの機能により行われる。ただし、電子シャッタを、静止画撮影時に用いても勿論構わない。
撮像素子23は、複数の画素が所定の画素ピッチで2次元状に配列された画素部を有し、複数の画素により被写体像を露光して電気的な画像データを生成する撮像部である。すなわち、撮像素子23は、撮像制御部である本体側マイクロコンピュータ41の制御に基づき、レンズ11および光学絞り12により結像された被写体像を光電変換して、アナログ画像信号を生成する。
本実施形態の撮像素子23は、カラーフィルタを備えるカラー撮像素子として構成されていて、フィルタ色が異なる複数種類の画素を含んでいる。具体的に、画素の種類は、G(緑色)フィルタが配置されたG画素、R(赤色)フィルタが配置されたR画素、およびB(青色)フィルタが配置されたB画素の3種類がある。さらに、G画素は、R画素と同一ライン上に配置されたGr画素と、B画素と同一ライン上に配置されたGb画素と、の2種類に分類される。
より具体的に、撮像素子23のカラーフィルタは、原色ベイヤ配列でRフィルタ、Gフィルタ、およびBフィルタがモザイク状に配列されている。
ここに、原色ベイヤ配列は、公知のように、(2,2)画素を複数種類の画素の基本配列とし、基本配列の対角位置にG画素を配置し、残りの対角位置にR画素とB画素とをそれぞれ配置した構成となっている(後述する図11参照)。このとき、R画素と同一ライン上に配置されたG画素がGr画素、B画素と同一ライン上に配置されたG画素がGb画素となるのは、上述した通りである。
そして、撮像素子23は、(2,2)画素の基本配列が、2次元方向に周期的に繰り返されて構成されている。
なお、撮像素子23の画素配列は、ベイヤ配列に限るものではなく、その他の任意の画素配列であっても構わない。従って、基本配列も(2,2)画素に限定されるものではない。
撮像素子ドライバ24は、本体側マイクロコンピュータ41からの指令に基づいて撮像素子23を駆動し、撮像素子23に撮像を行わせるものである。
像ぶれ補正機構25は、所定の可動範囲内において、レンズ11の光軸に垂直な方向に、被写体像と撮像素子23との位置を相対的にシフトするものである。図1に示す像ぶれ補正機構25は、撮像素子23をシフトすることにより、被写体像と撮像素子23との位置を相対的にシフトして像ぶれを抑制するものとなっている。ただし、この構成に限定されるものではなく、レンズ11の少なくとも一部を移動して像ぶれを補正する像ぶれ補正機構25であってもよいし、撮像素子23をシフトする構成と、レンズ11の少なくとも一部を移動する構成と、の両方を備える像ぶれ補正機構25であっても構わない。
具体的に、像ぶれ補正機構25は、例えばホール素子とボイスコイルモータとを含み、撮像素子23を含む撮像ユニットをボイスコイルモータの磁力で宙に浮かせて、ホール素子により位置を検出しながら、磁力を制御することにより位置を移動するものとなっている。ただし、像ぶれ補正機構25は、ボイスコイルモータおよびホール素子を用いる構成に限定されるものではなく、その他の駆動源や位置検出部を用いた適宜の構成を採用して構わない。
像ぶれ補正ドライバ26は、像ぶれ補正機構25を制御して、撮像素子23に結像される被写体像の移動を低減する像ぶれ補正を行うと共に、高解像度画像を生成するための画素ずらしを行う像ぶれ補正制御部である。像ぶれ補正ドライバ26は、本体側マイクロコンピュータ41からの制御命令に基づき、像ぶれ補正機構25の制御状態のフィードバックを受けて、像ぶれ補正機構25を制御する。
ここに、画素ずらしは、画素ずらし超解像撮影モードが設定された場合に、被写体像と撮像素子23との相対的な位置を、画素ピッチ 、または画素ピッチよりも小さい移動単位(例えば、1画素ピッチ単位、0.5画素ピッチ単位、0.3画素ピッチ単位など)でずらす処理である。
また、本体側マイクロコンピュータ41は、例えば、撮像装置1に生じている手ぶれ等のぶれ量を検出するための図示しないぶれ量検出センサ等の出力に基づいて、像ぶれ補正ドライバ26を制御するための制御命令を生成する。そして、像ぶれ補正ドライバ26は、本体側マイクロコンピュータ41からの制御命令に基づき、検出された像ぶれを打ち消すように(つまり、検出された像ぶれ方向の逆方向に、検出された像ぶれの大きさのシフト量だけ)撮像素子23をシフトするよう像ぶれ補正機構25を制御することで、像ぶれ補正を行う。
インタフェース27は、レンズ側マイクロコンピュータ15と、本体側マイクロコンピュータ41とを、双方向に通信できるように接続する。
アナログ処理回路28は、撮像素子23から読み出されたアナログ画像信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。
A/D変換器29は、アナログ処理回路28から出力されたアナログ画像信号をデジタル画像信号(RAW(ロー)画像データ)に変換する。
バス30は、撮像装置1内のある場所で発生した各種のデータや制御信号を、撮像装置1内の他の場所へ転送するための転送路である。本実施形態におけるバス30は、A/D変換器29、DRAM31と、AF処理回路32と、AE処理回路33と、画像処理回路34と、LCDドライバ35と、メモリI/F37と、本体側マイクロコンピュータ41と、に接続されている。
A/D変換器29から出力されたRAW画像データは、バス30を経由して転送され、DRAM31に一旦記憶される。
DRAM31は、上述したRAW画像データ、画像処理回路34等において処理された画像データ等の各種データを一時的に記憶する記憶素子である。
AF処理回路32は、バス30を経由して入力されるRAW画像データから高周波成分の信号を抽出して、AF(オートフォーカス)積算処理により、合焦評価値を取得する。ここで取得された合焦評価値は、レンズ11のAF駆動に用いられる。なお、AFがこのようなコントラストAFに限定されないことは勿論であり、例えば専用のAFセンサ(あるいは撮像素子23上のAF用画素)を用いて位相差AFを行うように構成しても構わない。
AE処理回路33は、バス30を経由して入力されるRAW画像データから輝度成分を抽出し、抽出した輝度成分に基づき適正露光条件(適正露光を与える、例えばTv,Av,Sv等の各値)を算出する。ここで算出された適正露光条件は、自動露出(AE)制御に用いられる。AE制御の具体例は、Av値に基づく光学絞り12の制御、Tv値に基づくメカニカルシャッタ21の制御、あるいはTv値に基づく撮像素子23の露光タイミング制御(いわゆる電子シャッタの制御)、Sv値に基づくアナログ処理回路28のゲイン制御(あるいは画像処理回路34等のデジタルゲイン制御)等である。
画像処理回路34は、バス30を経由して入力されるRAW画像データに対して、例えば、OB減算、ホワイトバランス(WB)ゲイン、デモザイク、ノイズ低減、色変換、ガンマ変換、拡大縮小、などの各種の画像処理を行う。なお、静止画や動画を記録媒体38に記録する際あるいは記録媒体38から読み出す際のデータ圧縮/データ伸張は、この画像処理回路34により行っても構わないし、専用の圧縮伸張回路を設けて行うようにしてもよい。
LCDドライバ35は、表示デバイス駆動部であり、画像処理回路34により画像処理された後にDRAM31に記憶されている画像データを読み出して、読み出した画像データを映像信号に変換し、LCD36を駆動制御して映像信号に基づく画像をLCD36に表示させる。
LCD36は、表示デバイスであり、上述したようなLCDドライバ35の駆動制御により、画像を表示すると共に、この撮像装置1に係る各種の情報を表示する。ここでは表示デバイスとしてLCD36を用いたが、これに限らず、有機EL(有機エレクトロルミネッセンス)などの他の表示デバイスを用いても構わない。
メモリI/F37は、記録媒体38へ画像データを記録する制御を行う記録制御部であり、さらに、記録媒体38からの画像データの読み出しも行う。
記録媒体38は、画像データを不揮発に記録する記録部であり、例えばカメラ本体3に着脱できるメモリカード等により構成されている。ただし、記録媒体38は、メモリカードに限定されず、ディスク状の記録媒体でも構わないし、その他の任意の記録媒体であってもよい。また、記録媒体38は、カメラ本体3に内蔵されるタイプのものであっても構わない。こうして、記録媒体38は、撮像装置1に固有の構成であることに限定されない。
操作デバイス39は、この撮像装置1に対する各種の操作入力を行うためのものであり、電源ボタン、レリーズボタン、再生ボタン、メニューボタン、十字キー、OKボタン等の操作ボタン類を含んでいる。電源ボタンは、撮像装置1の電源をオン/オフするために用いる。レリーズボタンは、画像の撮影開始を指示するために用いる。レリーズボタンは、例えば2段式操作ボタンとして構成され、1st(ファースト)レリーズスイッチおよび2nd(セカンド)レリーズスイッチを備える。再生ボタンは、記録画像の再生を行うために用いる。メニューボタンは、撮像装置1の設定等を行うために用いる。十字キーは、例えば項目の選択操作に用いる。OKボタンは、例えば選択項目の確定操作に用いる。
ここに、メニューボタンや十字キー、OKボタン等を用いて設定できる項目には、撮影モード(静止画撮影モード、画素ずらし超解像撮影モード、動画撮影モード等)、記録モード、再生モード、像ぶれ補正機能のオン/オフなどが含まれている。操作デバイス39に対して操作が行われると、操作デバイス39は、操作内容に応じた信号を本体側マイクロコンピュータ41へ出力する。
フラッシュメモリ40は、本体側マイクロコンピュータ41により実行される処理プログラム(画像を撮影するための撮影プログラム、撮像した画像に基づき高解像度画像を合成するための画像処理プログラム等を含む)と、この撮像装置1に係る各種の情報と、を不揮発に記録する、コンピュータにより読み取りできる一時的でない記録媒体である。ここに、フラッシュメモリ40が記録する情報としては、例えば、撮像装置1を特定するための機種名や製造番号、画像処理に用いるパラメータ、ユーザにより設定された設定値などが含まれる。このフラッシュメモリ40が記録する情報は、本体側マイクロコンピュータ41により読み取られる。
本体側マイクロコンピュータ41は、撮像装置1を統括的に制御する制御部を構成する。本体側マイクロコンピュータ41は、カメラ本体3内の各部を制御すると共に、インタフェース27を経由してレンズ側マイクロコンピュータ15に指令を送信し交換式レンズ2を制御する。本体側マイクロコンピュータ41は、ユーザにより操作デバイス39から操作入力が行われると入力された情報を解析し、フラッシュメモリ40に記録されている処理プログラムに従って、フラッシュメモリ40から処理に必要なパラメータを読み込んで、種々の演算処理等を行いながら、操作内容に応じた各種のシーケンスを実行する。
また、本体側マイクロコンピュータ41は、AE処理回路33により算出されたAv値に基づき、光学絞り12を制御する。この制御は、レンズドライバ13を経由して、レンズ側マイクロコンピュータ15およびレンズドライバ13により行われる。本体側マイクロコンピュータ41は、AE処理回路33により算出されたSv値に基づき、アナログ処理回路28のゲイン制御(あるいは画像処理回路34のデジタルゲイン制御)を行う。
さらに、本体側マイクロコンピュータ41は、静止画撮影時および画素ずらし超解像撮影時に、AE処理回路33により算出されたTv値に基づくメカニカルシャッタ21(あるいは、上述した電子シャッタ)の制御を、シャッタドライバ22(あるいは撮像素子ドライバ24)を経由して行う。
像ぶれ補正機能がオンに設定されていて、かつ、撮像装置1に画素ずらし超解像撮影モードが設定されている場合には、像ぶれ補正ドライバ26を経由した本体側マイクロコンピュータ41の制御の下に、像ぶれ補正機構25が像ぶれ補正と画素ずらしとを行う。
本体側マイクロコンピュータ41は、撮像装置1に画素ずらし超解像撮影モードが設定された場合、フラッシュメモリ40に記憶された高解像度画像を合成するための画像処理プログラムに従い、画素ずらしを行いながら取得される複数枚の画像データを合成して、1枚の合成画像データ(高解像度画像データ)を生成する。ここに、高解像度画像は、撮像素子23から得られる1フレームの画像よりも解像度が高い画像である。従って、本体側マイクロコンピュータ41、フラッシュメモリ40、および画像データを記憶するDRAM31は、画像合成部として機能するプロセッサである。
なお、ここでは本体側マイクロコンピュータ41を含むプロセッサが画像合成部として機能する例を挙げたが、これに限定されるものではなく、例えば画像処理回路34が画像合成部として機能してもよいし、図示しない別のプロセッサが画像合成部として機能するように構成しても構わない。プロセッサは、メモリに記憶されたコンピュータプログラム(ソフトウェア)に従ってCPUが処理を行うコンピュータとして構成される以外に、FPGA(Field Programmable Gate Array)などにより構成されていてもよいし、処理を専用に行う電子回路により構成されていても構わない。
本実施形態の構成例では、本体側マイクロコンピュータ41を含むプロセッサが、第1の動き検出部として機能し、露光時間が異なる複数枚の画像データに周波数解析を行って、画像データ中の動き領域を検出する。
また、本体側マイクロコンピュータ41を含むプロセッサは、第2の動き検出部として機能し、露光時刻が異なる複数枚の画像データにブロックマッチング(BM:Block Matching)を行って、画像データ中の被写体像の動き検出情報を取得する。
さらに、本体側マイクロコンピュータ41を含むプロセッサは、撮像素子23、第1の動き検出部、第2の動き検出部、および画像合成部を制御する制御部として機能する。
図2は、撮像装置1における合成画像生成時の処理を示すフローチャートである。図2に示す処理は、プロセッサを構成する本体側マイクロコンピュータ41の制御に基づいて行われる。
高解像度画像を生成するための複数枚の画像を撮影するときに、像ぶれ補正機能がオフであると、複数枚の画像の周辺部では写っている被写体が一致せず、画像の周辺部において高解像度画像を生成できなくなる。従って、画素ずらし超解像撮影モードでは、像ぶれ補正機能がオンになっていることを基本とするのが好ましい。このため以下では、像ぶれ補正機能がオンに設定されていて、画素ずらし超解像撮影モードが設定されているものとして説明する。なお 、三脚にカメラを固定して撮影する場合は、像ぶれ補正機能をオフとして、像ぶれ補正機能による誤差要因を抑制してもよい。
処理を開始すると、AE処理回路33により設定された適正露光条件に基づいて短露光時間S(第1の露光時間)および長露光時間L(第1の露光時間より長い第2の露光時間)を設定すると共に、画素ずらし超解像撮影モードに基づく合成枚数Nを設定する(ステップS1)。
撮影枚数をカウントするためのカウンタnに0を設定して(ステップS2)、n<Nであるか否かを判定する(ステップS3)。
ここで、n<Nであると判定された場合、短露光時間Sで短露光画像FS(n)(第1の画像データ)を撮影する(ステップS4)。その後、nをインクリメントしてから(ステップS5)、ステップS3に戻る。ステップS3においてn≧Nになったと判定されるまで、ステップS4およびステップS5の処理を繰り返して行う。これにより、プロセッサを構成する本体側マイクロコンピュータ41は、撮像素子23に短露光時間Sの露光を複数回行わせて、露光時刻が異なる複数枚の短露光画像FS(0)~FS(N-1)を取得させる。ここで、図6は、短露光画像FS(0)~FS(N-1)および長露光画像FLの撮影順序を示すタイミングチャートである。
ステップS3において、n≧Nであると判定された場合、プロセッサを構成する本体側マイクロコンピュータ41は、撮像素子23に長露光時間Lの露光を行わせて、長露光画像FL(第2の画像データ)を取得させる(ステップS6)。つまり、長露光画像FLは、図6に示すように、短露光画像FS(N-1)の次に撮影される。このとき、本体側マイクロコンピュータ41は、長露光画像FLの露光量が、短露光画像FS(0)~FS(N-1)の露光量と同等になるように、光学絞り12を制御する。
なお、短露光画像FS(n)および長露光画像FLを撮影する際の露光時間の制御は、例えばメカニカルシャッタ21により行う。この場合、電子シャッタよりも幕速が早いために、動く被写体の歪み(いわゆるローリングシャッタ歪み)を小さくできる。
または、露光時間の制御を、例えば撮像素子23の電子シャッタにより行ってもよい。電子シャッタはメカニカルシャッタ21のようなシャッタチャージが不要であるために、露光間のタイムラグを短縮できる。これにより、最初の短露光画像FS(0)と、最後の短露光画像FS(N-1)との間における動く被写体の移動量を小さくできる。
さらに、図6に示す撮影順序では、長露光画像FLを最後に撮影しているが、例えば最初に長露光画像FLを撮影してから複数枚の短露光画像を撮影しても良い。この場合には、第1動き検出は、長露光画像FLと最初に撮影された短露光画像(つまり、長露光画像FLと最も撮影時刻が近く、相関性が高い短露光画像)とを用いて行うとよい。さらに、これらの例に限らず、その他の順序で長露光画像FLを撮影しても構わない。
また、図6に示す例では、長露光画像FLを1枚だけ撮影しているが、2枚以上撮影して動き検出情報量を増やしてもよい。
長露光画像FLを撮影したら、本体側マイクロコンピュータ41を含むプロセッサは、第1動き検出の処理を行う(ステップS7)。図3は第1動き検出の処理を示すフローチャートである。
図3の処理に入ると、図9の2A欄に示す長露光画像FLの着目領域に周波数解析フィルタ演算(フィルタ処理)を行うことを、例えば着目領域をラスタスキャン順で移動しながら行って、図9の2B欄に示す長露光フィルタ画像WLを生成する(ステップS21)。
図9は、短露光画像FS(N-1)と長露光画像FLに対する周波数解析の例を示す図である。図10は、周波数解析に用いるフィルタの一例を示す図である。図10に示すフィルタは、2次元ラプラシアンフィルタであり、2次元のエッジを抽出できる基本的なフィルタの1つである。なお、周波数解析に用いるフィルタは、2次元ラプラシアンフィルタに限定されず、エッジ抽出フィルタにも限定されない。
次に、図9の1A欄に示す短露光画像FS(N-1)の着目領域に周波数解析フィルタ演算を行うことを、例えば着目領域をラスタスキャン順で移動しながら行って、図9の1B欄に示す短露光フィルタ画像WS(N-1)を生成する(ステップS22)。ここで、複数の短露光画像FS(0)~FS(N-1)の中の、短露光画像FS(N-1)を用いる理由は、撮影時刻が長露光画像FLに最も近く、長露光画像FLとの相関性が最も高いためである(図6参照)。
長露光画像FLは、短露光画像FS(N-1)と比べると、移動する被写体の画像部分(図示の例ではトラックの画像部分)がぶれてエッジが不明瞭になる(図9における、1B欄の白枠部分と2B欄の白枠部分を参照)。このため、長露光フィルタ画像WLは、短露光フィルタ画像WS(N-1)と比べると、移動する被写体の画像部分に検出されるエッジ成分が減少する。そこで、エッジ成分が多い短露光フィルタ画像WS(N-1)から、エッジ成分が少ない長露光フィルタ画像WLを減算して、差分画像を生成する(ステップS23)。
さらに、差分画像におけるノイズの影響を低減するために、差分画像に平滑化フィルタをかけて、平滑化差分画像を生成する(ステップS24)。なお、ノイズの影響を考慮しなくてもよい場合には、このステップS24の処理を省略しても構わない。
平滑化差分画像において、ある閾値以上のエッジ成分が残っている画素領域(長露光画像においてエッジ成分が減少した画素領域)を動き領域に設定して(ステップS25)、図2に示す処理にリターンする。なお、 周波数解析の方法として、フィルタを用いる方法の他、フーリエ変換により周波数成分を抽出して長露光画像FLと短露光画像FS(N-1)の周波数成分の差を解析してもよい。
ステップS7の第1動き検出の処理を行ったら、1フレームの画像よりも画素数が多い合成画像Pに対して短露光画像FS(n)の各画素を配置する処理に入る。まず、最初に撮影した短露光画像FS(0)の各画素を合成画像Pに配置する(ステップS8)。
次に、カウンタnに1を設定して(ステップS9)、n<Nであるか否かを判定する(ステップS10)。
ここで、n<Nであると判定された場合、本体側マイクロコンピュータ41を含むプロセッサは、第2動き検出の処理を行う(ステップS11)。図4は、第2動き検出の処理を示すフローチャートである。
図4の処理に入ると、短露光画像FS(0)にテンプレート領域R0を設定する(ステップS31)。図7は、ブロックマッチングを説明するための図である。図7のA欄は、短露光画像FS(0)内の探索領域RAに、複数画素で構成されるテンプレート領域R0を設定した様子を示している。なお、探索領域RAは、テンプレート領域R0を含む、テンプレート領域R0よりも大きい領域である。
次に、図7のB欄に示すように、n≧1の短露光画像FS(n)内の探索領域RBに、ターゲット領域R1を設定する(ステップS32)。ターゲット領域R1は、テンプレート領域R0と同じ大きさの領域である。短露光画像FS(n)における探索領域RBは、短露光画像FS(0)における探索領域RAと同一位置に、探索領域RAと同じ大きさで設定される。ターゲット領域R1の初期位置は、例えば、テンプレート領域R0と同一位置に設定する。
そして、テンプレート領域R0とターゲット領域R1とで画素毎の差分絶対値の積算値SAD(Sum of Absolute Difference)を、例えば、
SAD=Σ|R1(i,j)-R0(i,j)|
により算出する(ステップS33)。ここで、(i,j)はターゲット領域R1およびテンプレート領域R0内における画素座標であり、Σは領域内の(i,j)についてとる。また、絶対値を算出するのは、正のエッジ成分の強度と負のエッジ成分の強度との両方を評価するためである。
SAD=Σ|R1(i,j)-R0(i,j)|
により算出する(ステップS33)。ここで、(i,j)はターゲット領域R1およびテンプレート領域R0内における画素座標であり、Σは領域内の(i,j)についてとる。また、絶対値を算出するのは、正のエッジ成分の強度と負のエッジ成分の強度との両方を評価するためである。
なお、ここでは計算量が小さいSADを算出したが、これに代えて、より計算量が大きいSSD(Sum of Squared Difference)、NCC(Normalized Cross-Correlation)、ZNCC(Zero-means Normalized Cross-Correlation)などを算出しても構わない。
次に、探索領域RB内におけるターゲット領域R1の移動が終了したか否かを判定する(ステップS34)。ここで移動が終了していないと判定された場合には、探索領域RB内においてターゲット領域R1を移動し(ステップS35)、ステップS33へ戻ってSADを算出する。
こうして、ステップS34においてターゲット領域R1の移動が終了したと判定された場合には、SADが最小値となるターゲット領域R1の位置(図7のB欄において破線で示すターゲット領域R1の位置)が、テンプレート領域R0が移動した位置として探索され、図7のB欄において白抜き矢印で示すような移動ベクトル(動き検出情報)が検出される(ステップS36)。
なお、ステップS36において、移動ベクトルが正しく検出されない場合には、ステップS36の処理を行う時点で設定されていたテンプレート領域R0について、動き検出が失敗した旨の情報をDRAM31等に記憶しておく。移動ベクトルが正しく検出されない場合の例は、SADの最小値が所定の閾値よりも大きい場合(つまり、ターゲット領域R1の被写体とテンプレート領域R0の被写体との整合性が所定値よりも低い場合)、SADの最小値は所定の閾値以下であるが、SADが最小値となるターゲット領域R1が複数探索された場合、などである。
続いて、短露光画像FS(0)内におけるテンプレート領域R0の移動が終了したか否かを判定し(ステップS37)、移動が終了していないと判定された場合には、短露光画像FS(0)内においてテンプレート領域R0を移動する(ステップS38)。テンプレート領域R0は、短露光画像FS(0)内において、例えばラスタスキャン順で移動される。その後、ステップS32へ戻って上述したような処理を行う。
ステップS37において、テンプレート領域R0の移動が終了したと判定された場合には、図2に示す処理にリターンする。
図8は、ブロックマッチングに適さない領域の例を説明するための図である。図8の例では、画像内に右方向に移動するトラックの画像部分があり、コンテナの画像部分に繰り返しパターン(繰り返し模様)があるものとする。
図8のA欄に示すように、短露光画像FS(0)におけるコンテナの画像部分にテンプレート領域R0を設定し、n≧1の短露光画像FS(n)にターゲット領域R1を設定して、探索領域RB内においてターゲット領域R1を移動したとする。すると、例えば複数の位置にあるターゲット領域R1-1,R1-2において、SADの最小値が算出される。正しい移動ベクトルが検出されるべきターゲット領域が仮にR1-1であるとしても、ターゲット領域R1-2でもSADの最小値が算出されると、R1-1とR1-2の何れの領域が正しい移動ベクトルを与えるかを判断できない。すると、正しい移動ベクトルが検出できず、コンテナの画像部分に動きがあるかどうかも判断できない。
このような点を考慮して、本体側マイクロコンピュータ41を含むプロセッサは、ステップS11に続く、FS(n)配置の処理を行う(ステップS12)。図5は、短露光画像FS(n)配置の処理を示すフローチャートである。
図5の処理に入ると、短露光画像FS(n)内における画素の1つを対象画素に設定し、対象画素が動き領域内の画素であるか否かを判定する(ステップS41)。
ここで動き領域内の画素であると判定された場合には、さらに、第2動き検出が成功した画素であるか否かを判定する(ステップS42)。
ステップS41において動き領域内の画素でないと判定された場合、またはステップS42において第2動き検出が成功した画素であると判定された場合には、ステップS11の第2動き検出においてブロックマッチングにより得られた移動ベクトルに応じて、合成画像Pの内に対象画素を配置する(ステップS43)。すなわち、本体側マイクロコンピュータ41は、動き領域における動き検出情報の取得が成功した領域、および動き領域以外の領域について、動き検出情報に基づき、合成画像データに画素を配置する。
一方、ステップS42において、第2動き検出が失敗した画素であると判定された場合には、ステップS43の処理をスキップする。すなわち、本体側マイクロコンピュータ41は、動き領域における動き検出情報の取得が失敗した領域について、合成画像データに画素を配置しない。これにより、移動ベクトルが正確に算出されない場合にアーティファクトが生じないようにし、画質が劣化するのを抑制できる。
次に、短露光画像FS(n)内の全ての画素を対象画素にした処理が行われたか否かを判定し(ステップS44)、まだ対象画素になっていない画素がある場合には、対象画素の画素位置を移動してから(ステップS45)、ステップS41へ戻って上述した処理を行う。
こうして、ステップS44において、短露光画像FS(n)内の全ての画素を対象画素にした処理が行われたと判定された場合には、図2に示す処理にリターンする。
ステップS12の処理を行ったら、nをインクリメントしてから(ステップS13)、ステップS10に戻る。ステップS10においてn≧Nになったと判定されるまで、ステップS11~ステップS13の処理を繰り返して行う。これにより、短露光画像FS(1)~FS(N-1)の各画素が合成画像Pに配置される。
ステップS10において、n≧Nであると判定された時点で、ステップS8において処理されたFS(0)を含めて、短露光画像FS(0)~FS(N-1)の各画素が、S43の処理をスキップした場合を除いて合成画像Pに配置されている。
続いて、本体側マイクロコンピュータ41を含むプロセッサは、配置された各画素に基づき、合成画像Pを生成する(ステップS14)。合成画像P内には、複数の短露光画像から1つ以上の画素が配置された画素位置が存在し、1つの画素も配置されていない画素位置が存在することもある。そこで、複数の画素が配置された画素位置については、画素値の積算値を画素数で割ることで正規化された画素値を算出する。また、1つの画素も配置されていない画素位置については、正規化された周辺の画素値から補間を行って、画素値を算出する。
合成画像が生成されたら、本体側マイクロコンピュータ41の制御により、必要に応じてLCD36に合成画像を表示すると共に、記録媒体38へ合成画像を記録して(ステップS15)、図2の処理から図示しないメイン処理にリターンする。
このような第1の実施形態によれば、露光時間が異なる複数枚の画像データに周波数解析を行って動き領域を検出し、露光時刻が異なる複数枚の画像データにブロックマッチングを行って動き検出情報を取得し、動き領域における動き検出情報の取得が失敗した領域については、合成画像データに画素を配置しないようにした。このために、ブロックマッチングが苦手な画像部分があってもアーティファクトの発生を防ぎ、画質が劣化するのを抑制できる。これにより、撮像素子23により生成される画像データよりも高解像度の合成画像データを、適切に生成できる。
また、第2の画像データの露光量が、第1の画像データの露光量と同等になるように、光学絞り12を制御することで、周波数解析の精度を向上できる。
さらに、露光時間をメカニカルシャッタ21により制御する場合には、動く被写体の歪みを小さくできる。一方、露光時間を撮像素子23の電子シャッタにより制御する場合には、露光間のタイムラグを短縮して、動く被写体の移動量を小さくできる。
[第2の実施形態]
[第2の実施形態]
図11から図13は本発明の第2の実施形態を示したものであり、図11はラインに応じて露光時間を異ならせることができる撮像素子の例を示す図である。この第2の実施形態において、上述の第1の実施形態と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。
本実施形態における撮像装置1の構成は、第1の実施形態の図1に示した構成と基本的に同様である。ただし、撮像素子23が、複数の画素が配列された複数のラインの内の、第1ライン群と第2ライン群とで異なる露光時間を制御可能な電子シャッタを備える構成となっている。
図11に示すように、撮像素子23は、原色ベイヤ配列でR画素、Gr画素、B画素、およびGb画素が配列されている。(2,2)画素の基本配列でなるライン(基本配列ライン)(R画素およびGr画素のラインと、該ラインに隣接するB画素およびGb画素のラインでなる2ライン)に着目したときに、例えば奇数番目の基本配列ラインをラインA、偶数番目の基本配列ラインをラインBと呼ぶことにする。このとき、撮像素子23は、第2ライン群を構成するラインAと、第1ライン群を構成するラインBとで、異なる露光時間を制御可能となっている。
図12は、ラインA,Bに応じた短露光画像FAS(n),FBS(n)および長露光画像FAL(N)の撮影順序を示すタイミングチャートである。図13は、撮像装置1における合成画像生成時の処理を示すフローチャートである。
図13の処理において、第1の実施形態における図2の処理と異なる部分は、次の通りである。
ステップS4の処理に代えて、ラインA,Bで短露光画像FS(n)を撮影する(ステップS4A)。具体的に、図12に示すように、ラインAで短露光画像FAS(n)を取得し、ラインBで短露光画像FBS(n)を取得して、FAS(n)とFBS(n)とを1つの画像にまとめることで、短露光画像FS(n)が生成される。
ステップS6の処理に代えて、図12に示すように、ラインA(第2ライン群)で長露光画像FAL(N)を取得し、ラインB(第1ライン群)で短露光画像FBS(N)を取得する(ステップS6A)。なお、ラインAで短露光画像FAS(N)を取得し、ラインBで長露光画像FBL(N)を取得しても構わない。この場合には、ラインAが第1ライン群となり、ラインBが第2ライン群となる。
すなわち、プロセッサを構成する本体側マイクロコンピュータ41は、撮像素子23の第1ライン群に第1の露光時間の露光を行わせて、第1ライン群に係る第1の画像データを取得させると同時に、撮像素子23の第2ライン群に第1の露光時間より長い第2の露光時間の露光を行わせて、第2ライン群に係る第2の画像データを取得させる。
この処理を行うことで、長露光画像FAL(N)と短露光画像FBS(N)は同時に取得され、異なる撮影時刻に取得する場合よりも、画像の相関性を高めることができる。このとき、相関性をより一層高めるために、長露光画像FAL(N)の露光中心時刻と短露光画像FBS(n)の露光中心時刻とを一致させることが好ましい。
ステップS7の処理に代えて、長露光画像FAL(N)と短露光画像FBS(N)とを用いて第1動き検出を行う(ステップS7A)。第1動き検出の処理は、用いる画像が長露光画像FAL(N)および短露光画像FBS(N)になる点を除いて、図3に示した処理と同様である。
すなわち、プロセッサを構成する本体側マイクロコンピュータ41は、第1ライン群に係る第1の画像データと、第2ライン群に係る第2の画像データとを用いて、動き領域を検出する。
長露光画像FAL(N)と短露光画像FBS(N)は、画像の解像度がそれぞれ通常の半分となるが、第1動き検出において、周波数解析を行うには支障のない解像度の画像である。しかしこれらの画像は、解像度を重視する高解像度の画像合成には用いない。画像合成に用いるのは、ラインAとラインBを同じ短露光時間Sに設定して取得した、フル解像度の短露光画像FS(0)~FS(N-1)とする。また、第2動き検出において、ブロックマッチングに用いるのもフル解像度の短露光画像FS(0)~FS(N-1)である。
従って、ステップS8以降の処理は、図2と同様である。
このような第2の実施形態によれば、上述した第1の実施形態とほぼ同様の効果を奏するとともに、同時に取得した相関性の高い長露光画像FAL(N)および短露光画像FBS(N)を用いて周波数解析を行うようにしたために、画像データ中の動き領域を、より高精度に検出することができる。
なお、上述では本発明が撮像装置である場合を主として説明したが、これに限定されるものではなく、露光時刻が異なる第1の露光時間の複数枚の第1の画像データと、第1の露光時間より長い第2の露光時間の第2の画像データと、に基づき合成画像を生成する画像処理装置であっても構わない。
具体的に、撮像装置1において、例えば短露光画像FS(0)~FS(N-1)と長露光画像FLとを取得して記録媒体38に記憶する。次に、記録媒体38をCPUおよびメモリを有するコンピュータに接続して、短露光画像FS(0)~FS(N-1)と長露光画像FLとを、コンピュータのメモリに記憶させる。また、コンピュータのメモリには、高解像度画像を合成するためのコンピュータプログラムが記憶されている。このコンピュータプログラムをコンピュータに実行させることで、第1の動き検出、第2の動き検出、および画像合成の処理を行わせても構わない。この場合、CPUおよびメモリを有するコンピュータが画像処理装置として機能することになる。
さらに、本発明は、撮像装置、画像処理装置に限らず、撮像装置と同様の処理を行う撮像方法、画像処理装置と同様の処理を行う画像処理方法、コンピュータに撮像方法と同様の処理を行わせるためのコンピュータプログラム、コンピュータに画像処理方法と同様の処理を行わせるためのコンピュータプログラム、これらのコンピュータプログラムの何れかを記憶するコンピュータにより読み取り可能な一時的でない記憶媒体、等であっても構わない。
ここで、コンピュータプログラム製品を記憶する記憶媒体の幾つかの例は、フレキシブルディスクもしくはCD-ROM等の可搬記憶媒体、またはHDD(ハードディスク)、SSD(Solid State Drive)等の記憶媒体などである。記憶媒体に記憶されるのは、コンピュータプログラムの全部に限らず、一部であっても構わない。また、コンピュータプログラムの全体もしくは一部を、通信ネットワークを経由して流通または提供してもよい。利用者は、記憶媒体からコンピュータプログラムをコンピュータにインストールすることで、または通信ネットワークを経由してコンピュータプログラムをダウンロードしコンピュータにインストールすることで、コンピュータプログラムがコンピュータにより読み取られて、動作の全部もしくは一部が実行され、上述した撮像装置、画像処理装置の動作を実行することができる。
さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
1…撮像装置
2…交換式レンズ
3…カメラ本体
11…レンズ
12…光学絞り
13…レンズドライバ
14…絞りドライバ
15…レンズ側マイクロコンピュータ
16…フラッシュメモリ
21…メカニカルシャッタ
22…シャッタドライバ
23…撮像素子
24…撮像素子ドライバ
25…像ぶれ補正機構
26…像ぶれ補正ドライバ
27…インタフェース
28…アナログ処理回路
29…A/D変換器
30…バス
31…DRAM
32…AF処理回路
33…AE処理回路
34…画像処理回路
35…LCDドライバ
36…LCD
37…メモリI/F
38…記録媒体
39…操作デバイス
40…フラッシュメモリ
41…本体側マイクロコンピュータ
2…交換式レンズ
3…カメラ本体
11…レンズ
12…光学絞り
13…レンズドライバ
14…絞りドライバ
15…レンズ側マイクロコンピュータ
16…フラッシュメモリ
21…メカニカルシャッタ
22…シャッタドライバ
23…撮像素子
24…撮像素子ドライバ
25…像ぶれ補正機構
26…像ぶれ補正ドライバ
27…インタフェース
28…アナログ処理回路
29…A/D変換器
30…バス
31…DRAM
32…AF処理回路
33…AE処理回路
34…画像処理回路
35…LCDドライバ
36…LCD
37…メモリI/F
38…記録媒体
39…操作デバイス
40…フラッシュメモリ
41…本体側マイクロコンピュータ
Claims (11)
- 被写体の光学像を結像するレンズと、
前記光学像を露光して画像データを生成する撮像素子と、
露光時間が異なる複数枚の画像データに周波数解析を行って、前記画像データ中の動き領域を検出する第1の動き検出部と、
露光時刻が異なる複数枚の画像データにブロックマッチングを行って、前記画像データ中の被写体像の動き検出情報を取得する第2の動き検出部と、
複数枚の画像データを合成して1枚の合成画像データを生成する画像合成部と、
前記撮像素子、前記第1の動き検出部、前記第2の動き検出部、および前記画像合成部を制御する制御部と、
を備え、
前記制御部は、
前記撮像素子に、第1の露光時間の露光を複数回行わせて、露光時刻が異なる複数枚の第1の画像データを取得させ、
前記撮像素子に、前記第1の露光時間より長い第2の露光時間の露光を行わせて、第2の画像データを取得させ、
前記第1の画像データと前記第2の画像データとを用いて前記第1の動き検出部に前記動き領域を検出させ、
前記複数枚の第1の画像データを用いて前記第2の動き検出部に前記動き検出情報を取得させ、
前記画像合成部に、前記動き領域であるか否かに応じて、前記動き検出情報に基づき前記複数枚の第1の画像データから前記合成画像データを生成する方法を変更させる、
ことを特徴とする撮像装置。 - 前記画像合成部は、前記撮像素子により生成される前記画像データよりも高解像度の前記合成画像データを生成することを特徴とする請求項1に記載の撮像装置。
- 前記レンズにより結像される前記光学像の光量を調節する光学絞りをさらに備え、
前記制御部は、前記第2の画像データの露光量が、前記第1の画像データの露光量と同等になるように、前記光学絞りを制御することを特徴とする請求項1に記載の撮像装置。 - 前記レンズと前記撮像素子との間に配置されたメカニカルシャッタをさらに備え、
前記制御部は、前記撮像素子の露光時間を前記メカニカルシャッタにより制御することを特徴とする請求項1に記載の撮像装置。 - 前記撮像素子は、電子シャッタの機能を備え、
前記制御部は、前記撮像素子の露光時間を前記電子シャッタにより制御することを特徴とする請求項1に記載の撮像装置。 - 前記撮像素子は、複数の画素が配列された複数のラインを備え、
前記電子シャッタは、前記複数のラインの内の、第1ライン群と第2ライン群とで異なる露光時間を制御可能であり、
前記制御部は、
前記第1ライン群に前記第1の露光時間の露光を行わせて、前記第1ライン群に係る前記第1の画像データを取得させると同時に、前記第2ライン群に前記第2の露光時間の露光を行わせて、前記第2ライン群に係る前記第2の画像データを取得させ、
前記第1ライン群に係る前記第1の画像データと、前記第2ライン群に係る前記第2の画像データとを用いて、前記第1の動き検出部に前記動き領域を検出させる、
ことを特徴とする請求項5に記載の撮像装置。 - 前記制御部は、
前記画像合成部に、前記動き領域における前記動き検出情報の取得が失敗した領域については、前記合成画像データに画素を配置せず、前記動き領域における前記動き検出情報の取得が成功した領域、および前記動き領域以外の領域については、前記動き検出情報に基づき前記合成画像データに画素を配置することを、前記複数枚の第1の画像データについて行わせ、同一位置に配置された画素数に応じた正規化を行わせて、前記合成画像データを生成させる、
ことを特徴とする請求項1に記載の撮像装置。 - 前記第1の動き検出部は、前記複数枚の画像データにフィルタ処理を施して抽出したエッジ成分の差を解析すること、または前記複数枚の画像データにフーリエ変換を施して抽出した周波数成分の差を解析すること、により前記周波数解析を行う、
ことを特徴とする請求項1に記載の撮像装置。 - 露光時刻が異なる第1の露光時間の複数枚の第1の画像データと、前記第1の露光時間より長い第2の露光時間の第2の画像データと、を記憶するメモリと、
前記第1の画像データと前記第2の画像データとに周波数解析を行って、画像データ中の動き領域を検出する第1の動き検出部と、
前記複数枚の第1の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得する第2の動き検出部と、
前記動き領域であるか否かに応じて、前記動き検出情報に基づき1枚の合成画像データを生成する方法を変更し、前記複数枚の第1の画像データを合成して前記合成画像データを生成する画像合成部と、
を備えることを特徴とする画像処理装置。 - 第1の露光時間の第1の画像データと、前記第1の露光時間より長い第2の露光時間の第2の画像データとに周波数解析を行って、画像データ中の動き領域を検出し、
露光時刻が異なる前記第1の露光時間の複数枚の第1の画像データにブロックマッチングを行って、画像データ中の被写体像の動き検出情報を取得し、
前記動き領域であるか否かに応じて、前記動き検出情報に基づき1枚の合成画像データを生成する方法を変更し、前記複数枚の第1の画像データを合成して前記合成画像データを生成する、
ことを特徴とする画像処理方法。 - コンピュータに、
第1の露光時間の第1の画像データと、前記第1の露光時間より長い第2の露光時間の第2の画像データとに周波数解析を行わせて、画像データ中の動き領域を検出させ、
露光時刻が異なる前記第1の露光時間の複数枚の第1の画像データにブロックマッチングを行わせて、画像データ中の被写体像の動き検出情報を取得させ、
前記動き領域であるか否かに応じて、前記動き検出情報に基づき1枚の合成画像データを生成する方法を変更させ、前記複数枚の第1の画像データを合成させて前記合成画像データを生成させる、
ためのコンピュータプログラムを記憶するコンピュータにより読み取り可能な一時的でない記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021096922A JP2022188690A (ja) | 2021-06-09 | 2021-06-09 | 撮像装置、画像処理装置、画像処理方法、記憶媒体 |
US17/824,543 US11832020B2 (en) | 2021-06-09 | 2022-05-25 | Image pickup apparatus, image pickup method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021096922A JP2022188690A (ja) | 2021-06-09 | 2021-06-09 | 撮像装置、画像処理装置、画像処理方法、記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022188690A true JP2022188690A (ja) | 2022-12-21 |
Family
ID=84390129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021096922A Pending JP2022188690A (ja) | 2021-06-09 | 2021-06-09 | 撮像装置、画像処理装置、画像処理方法、記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11832020B2 (ja) |
JP (1) | JP2022188690A (ja) |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5133921B2 (ja) | 2009-03-03 | 2013-01-30 | 富士フイルム株式会社 | 撮像装置および撮像方法 |
WO2013073355A1 (ja) * | 2011-11-15 | 2013-05-23 | 日本電気株式会社 | 動きベクトル推定装置、動きベクトル推定方法及び動きベクトル推定用プログラム |
JP6172967B2 (ja) | 2013-02-20 | 2017-08-02 | キヤノン株式会社 | 撮像装置、及びその制御方法 |
JP2015053652A (ja) | 2013-09-09 | 2015-03-19 | キヤノン株式会社 | 撮像装置、その制御方法、および制御プログラム |
JP6460653B2 (ja) * | 2014-06-11 | 2019-01-30 | オリンパス株式会社 | 画像処理装置、それを備えた撮像装置、画像処理方法、及び画像処理プログラム |
JP2019083364A (ja) | 2017-10-27 | 2019-05-30 | キヤノン株式会社 | 画像処理装置、撮像装置および制御方法 |
JP6785456B2 (ja) * | 2018-11-30 | 2020-11-18 | パナソニックIpマネジメント株式会社 | 画像処理装置、画像処理方法及びプログラム |
KR20210015376A (ko) * | 2019-08-02 | 2021-02-10 | 한화테크윈 주식회사 | 움직임 벡터 산출 장치 및 방법 |
-
2021
- 2021-06-09 JP JP2021096922A patent/JP2022188690A/ja active Pending
-
2022
- 2022-05-25 US US17/824,543 patent/US11832020B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US11832020B2 (en) | 2023-11-28 |
US11736658B2 (en) | 2023-08-22 |
US20220400215A1 (en) | 2022-12-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7995852B2 (en) | Imaging device and imaging method | |
CN106257912B9 (zh) | 摄像装置、摄像方法 | |
JP5214476B2 (ja) | 撮像装置及び画像処理方法並びにプログラム | |
EP3217647B1 (en) | Imaging device, imaging method and processing program | |
WO2013021767A1 (ja) | 動体検出装置及び方法 | |
US10986262B2 (en) | Imaging apparatus, control method, and non-transitory storage medium | |
JP6825073B2 (ja) | 撮像装置、制御方法、およびプログラム | |
KR20090071471A (ko) | 촬상 장치 및 그 셔터 구동 모드 선택 방법 | |
KR20070086061A (ko) | 카메라 및 카메라의 화상처리방법 | |
JP2010258933A (ja) | 画像変形装置およびその動作制御方法 | |
US9871964B2 (en) | Photographing apparatus, photographing controller, photographing control method, and photographing control program | |
KR100819811B1 (ko) | 촬상 장치 및 촬상 방법 | |
JP4792929B2 (ja) | デジタルカメラ | |
JP2019191258A (ja) | 撮像装置、撮像プログラム、撮像方法 | |
JP2013110754A (ja) | カメラ装置、及びその撮影方法とプログラム | |
JP4315341B2 (ja) | 流し撮り方法および撮影装置 | |
JP4898151B2 (ja) | 撮像装置及び撮像方法 | |
JP2010193324A (ja) | カメラ装置、及びその撮影方法とプログラム | |
JP5188293B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
US11736658B2 (en) | Image pickup apparatus, image pickup method, and storage medium | |
US20110228132A1 (en) | Camera and image composition program | |
JP6296909B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2006157342A (ja) | カメラモジュール | |
JP5415208B2 (ja) | 撮像装置 | |
JP2019075653A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240313 |