JP2009296434A - 画像撮像装置 - Google Patents

画像撮像装置 Download PDF

Info

Publication number
JP2009296434A
JP2009296434A JP2008149268A JP2008149268A JP2009296434A JP 2009296434 A JP2009296434 A JP 2009296434A JP 2008149268 A JP2008149268 A JP 2008149268A JP 2008149268 A JP2008149268 A JP 2008149268A JP 2009296434 A JP2009296434 A JP 2009296434A
Authority
JP
Japan
Prior art keywords
photoelectric conversion
conversion element
image
exposure time
element group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008149268A
Other languages
English (en)
Other versions
JP5199736B2 (ja
JP2009296434A5 (ja
Inventor
Kei Tokui
圭 徳井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008149268A priority Critical patent/JP5199736B2/ja
Priority to US12/992,941 priority patent/US8441539B2/en
Priority to PCT/JP2009/058981 priority patent/WO2009147939A1/ja
Publication of JP2009296434A publication Critical patent/JP2009296434A/ja
Publication of JP2009296434A5 publication Critical patent/JP2009296434A5/ja
Application granted granted Critical
Publication of JP5199736B2 publication Critical patent/JP5199736B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】動いている被写体を暗い環境で撮影する場合であっても、動きぼけが低減された鮮明な画像を得ることができる画像撮像装置を提供する。
【解決手段】画像撮像装置1は、複数の光電変換素子群を備え、各光電変換素子群から読み出した中間画像データに基づいて撮像画像を生成するものである。装置1は、素子群ごとに撮像の際の露光時間を設定する露光時間設定部12bを具備し、少なくとも1つの素子群には、1回の撮像に対して複数回の露光が行われる露光時間を設定する。また、装置1は、当該素子群から複数の露光に対応して読み出された複数の中間画像データから画像の動き情報を検出する動き検出部12cと、その動き情報を用いて他の素子群から読み出した中間画像データを補正する動きぼけ補正部12dとを具備し、複数の中間画像データ及び補正した中間画像データに基づいて撮像画像を生成する。
【選択図】図1

Description

本発明は、画質を向上させる画像撮像装置に関し、特に、動きのある被写体を撮影したときの画質を向上させる画像撮像装置に関する。
従来から、画像撮像装置により動きのある物体を撮影する場合、シャッタ速度が大きくなるに連れ、被写体の鮮鋭感のないぼけた画像として撮影されてしまっていた。これは、シャッタが開放されている時間、つまり、露光している間に被写体が動いてしまい、それが一画像として記録されてしまうことに起因する。
また、近年ではレンズや撮像素子を振動させることにより、撮像装置が動いた場合のぼけを低減する技術が普及している。しかしながら、この方法では特定の被写体が動いた場合には適用することができない。これは、被写体は動いているが背景は動いていないためである。
また、特許文献1には、異なる時間に撮影した第1画像と第2画像とを比較することで被写体の動きを検出し、被写体に動きが無い場合に画像を記録する撮影方法が開示されている。しかし、この方法では、静止している物体を撮像する場合には、動きぼけの少ない画像を撮影することができるが、動いている物体の撮影に対しては適用することができない。
動きのある被写体をぼけずに撮影できるようにするための技術としては、例えば、特許文献2に開示のようなものがある。これは、連続する2枚の画像から動きベクトルを検出し、その量に応じてシャッタスピードを変化させ、ぶれの少ない静止画像を得るものである。
特開2005−159806号公報 特開2002−330335号公報
しかしながら、特許文献2の方法では、非常に明るい場面では効果を得ることができるが、暗い環境で撮影する場合、シャッタスピードを高速にしているため被写体が判別できない暗い画像しか得ることができない。また、シャッタスピードを高速にするために、S/N比が劣化して画質が低下するという問題がある。
本発明は、上述のごとき実情に鑑みてなされたものであり、動いている被写体を暗い環境で撮影する場合であっても、動きぼけが低減された鮮明な画像を得ることができる画像撮像装置を提供することを目的とする。
上記の課題を解決するために、本発明の第1の技術手段は、複数の光電変換素子群を備え、各光電変換素子群から読み出した中間画像データに基づいて撮像画像を生成する画像撮像装置であって、前記光電変換素子群ごとに撮像の際の露光時間を設定する露光時間設定部を具備し、前記複数の光電変換素子群の少なくとも1つについて、他の光電変換素子群とは異なり、1回の撮像に対して複数回の露光が行われる露光時間を設定し、前記複数回の露光が行われる露光時間を設定した光電変換素子群から複数の露光に対応して読み出された複数の中間画像データから画像の動き情報を検出する動き検出部を具備し、前記検出した動き情報を用いて前記他の光電変換素子群から読み出した中間画像データを補正する動きぼけ補正部を具備し、前記複数の中間画像データ及び前記補正した中間画像データに基づいて前記撮像画像を生成することを特徴としたものである。
第2の技術手段は、第1の技術手段において、前記他の光電変換素子群に設定する露光時間が、前記複数の光電変換素子群の少なくとも1つについて行う複数回の露光の合計露光時間以内であることを特徴としたものである。
第3の技術手段は、第1又は第2の技術手段において、色毎に前記光電変換素子群を設け、被写体を撮影したときに画素値の飽和が最も速いと予測される色の前記光電変換素子群に、前記1回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴としたものである。
第4の技術手段は、第1又は第2の技術手段において、赤色、緑色、及び青色のそれぞれに対し前記光電変換素子群を設け、前記青色の光電変換素子群に、前記1回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴としたものである。
第5の技術手段は、第1又は第2の技術手段において、前記複数の光電変換素子群が、可視光領域全体に反応する光電変換素子群を含み、当該光電変換素子群に、前記1回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴としたものである。
本発明の画像撮像装置によれば、動いている被写体を撮影した場合においても、動きぼけが低減された鮮明な画像を得ることが可能となる。
以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は、理解しやすいように誇張して記載しており、実施の間隔や大きさとは異なる。
本発明の画像撮像装置は、複数の光電変換素子群を備えるものであって、光電変換素子群のそれぞれについて、露光時間経過毎に当該露光時間中に光電変換素子に照射された光の情報を読み出して中間画像(データ)を生成し、その中間画像に基づいて出力用画像(撮像画像)を生成する。
図1は、本発明の画像撮像装置の一構成例の概略を説明する図である。図1の例の画像撮像装置1は、レンズLを透過した光を受光する撮像素子11と、その撮像素子11を含め画像撮像装置1全体を制御する制御部12とを備え、制御部12が合成用画像生成部12a、露光時間設定部12b、動き検出部12c、動きぼけ補正部12d、及び画像合成部12eを備える。
撮像素子11は、赤色(R),緑色(G),及び青色(B)のそれぞれに対し光電変換素子群を1つ有する(すなわち複数の光電変換素子群を有する)と共に、光電変換素子で受光された光量を光電変換素子群毎に取得できるものである。撮像素子11には、例えば、R,G,B用のカラーフィルタがベイヤ配列などで各光電変換素子に対して配置されたCMOS(Complementary Metal Oxide Semiconductor)センサなどのX−Yアドレス型固体撮像素子を使用することができる。なお、以下の説明では、適宜、R用カラーフィルタを介して受光する光電変換素子群をR画素,G用カラーフィルタを介して受光する光電変換素子群をG画素,B用カラーフィルタを介して受光する光電変換素子群をB画素という。ここでは、撮像素子11について、露光時間以外の画像生成に関わるパラメータ(絞り等)は、各画素で共通であるものとする。
制御部12の合成用画像生成部12aは、撮影期間(出力用画像を生成するために必要な期間、あるいは画像撮像装置1の図示しないメカニカルなシャッタの開放期間)中、露光時間経過毎に、当該露光時間中に光電変換素子に照射された光量の情報を撮像素子11から読み出して、合成用画像(中間画像データ)を生成する。
露光時間設定部12bは、画素すなわち光電変換素子群毎に撮像の際の露光時間を設定するものである。露光時間設定部12は、少なくとも一の光電変換素子群に、1回の撮像に対して複数回の露光が行われる露光時間を設定する(すなわち、少なくとも一の光電変換素子群について、合成用画像生成部12aが1つの出力用画像に対し複数枚の合成用画像を生成するように、他の光電変換素子群とは異なる短い露光時間を設定する)。露光時間設定部12bは、例えば、後述のように、被写体を撮影したときに画素で検出される値(画素値)の飽和が最も速いと予測される色について、合成用画像生成部12aが複数枚(例えば、2枚)の合成画像を生成するように、最も露光時間を短く(電子シャッタ速度を速く)設定する。画像撮像装置1では、上述のように露光時間を個別に設定しており、これは、各画素で露光時間を制御する信号のタイミングを変えることで実現できる。どのような条件において、どの光電変換素子群に対して、複数の合成用画像を生成可能な短い露光時間を設定するかについては、後述するが、例えば、撮影モードに応じて決定できる。また、適切な露光時間の算出は、デジタルカメラで使用されているような露出設定方法を用いることで実現できる。
露光時間設定部12bが上述のように露光時間を光電変換素子群毎に設定するため、合成用画像生成部12aは、特定の色については、撮影期間中に、2回の露光に対応して光量の情報を読み出して2枚の合成用画像を生成する、すなわち、連続して2枚の合成用画像を生成する。合成用画像生成部12aにおいて連続して生成された2枚の画像データは、動き検出部12cへ伝送され、その他の画像データは動きぼけ補正部12dへ伝送される。
被写体に動きのある物体(動物体)が存在した場合、連続した2枚の合成用画像から動物体の動きを算出することができるので、動き検出部12cは、連続した2枚の合成用画像を解析することにより、被写体の動きを検出し、動き情報を算出する。算出方法としては、画像圧縮での動き補償や、液晶ディスプレイでの倍速駆動などで使用されている種々の方法を利用することができる。動き検出部12cは、動きぼけ補正部12dへ算出した動き情報を伝送する。また、動き検出部12cは、画像合成部12eへ上記連続した2枚の合成用画像を伝送する。
2枚の合成用画像が連続して生成された色に比べて、1枚の合成用画像が生成された色は、露光時間が大きい値に設定されている。したがって、被写体に動物体が存在した場合、生成した合成用画像のうち動きぼけが最も少ないものは、連続して2枚の合成用画像が生成される露光時間が小さい色のものである。すなわち、連続して合成用画像が生成される色の合成用画像に比べ、他の色の合成用画像は動きぼけが大きくなっている。そこで、動きぼけ補正部12dは、動き検出部12cで検出された被写体の動き情報をもとに、連続して2枚の合成用画像が生成されない色の合成用画像の動きぼけを補正する。補正する画像は、連続して生成された画像の1枚目または2枚目に合わせて動きぼけを低減する。すなわち、撮影開始または撮影完了のどちらかの状態になるように画像補正を行う。動き検出部12cは、画像合成部12eへ、動き補正を行った各色の合成用画像を伝送する。
画像合成部12eは、動き補正を行ったものを含む各色の合成用画像を、出力用画像(カラー画像)として合成する。このとき、連続して2枚の合成用画像が生成された色については、動きぼけ補正の基準となった方の合成用画像を合成に用いる。また、各色の合成用画像は露光時間が異なる値で撮影されているため、これらの値を考慮して合成することでカラー画像を生成することができる。画像撮像装置1では、このようにして合成して得たカラー画像を、各種記憶装置に記憶したり、モニタへ出力したりなどする。
以上のように、合成用画像生成用の光電変換素子の露光時間を色毎に適切に設定することにより、特定の色については、複数枚の合成用画像を連続して生成して被写体の動きを検出し、この特定の色の複数枚の画像から他の色の合成用画像の動きぼけを補正することにより、合成用画像に基づく出力用画像において動きぼけを低減させることができる。
続いて、露光時間設定部12bが、どのような条件において、どの光電変換素子群に対して、複数の合成用画像を生成可能な短い露光時間を設定するかについて説明する。
例えば、撮像素子11の分光感度が図2に示すような波長スペクトルを有しているものとする(図2のR,G,Bはそれぞれ、R画素、G画素、B画素の分光感度を示しており、G画素の分光感度が最も高く、R画素及びB画素それぞれの分光感度はG画素の80%程度である)。そして、画像撮像装置1は、図3のように可視領域全体に強度を持ち且つ赤色の光の強度が青色のものの60%程度である照明下で用いられる撮影モードで撮影するものとする。この場合、画像撮像装置1では、光電変換素子から得られる階調値を大きくし高画質の出力用画像を生成するため、例えば、以下のように露光時間を設定する。
一般的に、画像撮像装置において露光時間、絞りといったものの設定値を適切に設定し撮影をしたとき、出力される画像の階調値が大きくなるのは白色の被写体(本発明の被写体の一例)を撮影したときである。
ここで、画像撮像装置1とは異なる従来の画像撮像装置、すなわち、撮像素子11を有するが画素の露光時間、絞り等が各色で共通であるものを用いて、露光時間や絞り等を適切に設定し、実際に図3のように可視領域全体に強度を持つ照明下で撮影を行った場合を考える。この場合において白色を撮影したとき、図2で示される撮像素子11の波長感度と図3の照明光の波長スペクトルとを考慮すると、(白色部分に対応する箇所において)G画素やB画素で検出される値に比べて、R画素から検出される値は小さく、B画素の半分程度の値となる。つまり、従来の画像撮像装置では、R画素について、階調の分解能を最大限に利用することができない。これは、各画素で、露光時間や絞り等の設定値が共通であるためである。
一方、画像撮像装置1では、露光時間以外の設定値(絞り等)を全画素で共通にして、露光時間を画素毎に個別に設定する。露光時間を含む全設定値を共通にした従来の画像撮像装置では、図3の波長スペクトルを有する照明下で白色を撮影した場合に、B画素とR画素とで、画素値に約2倍の差が生じていたが、画像撮像装置1では、例えば図4に示すように露光時間に2倍の差を生じさせることで、同様に白色を撮影した場合であっても、B画素の画素値とR画素の画素値をほぼ同じとすることができる。例えば、B画素の露光時間が1/200秒であったらR画素の露光時間を1/100とすることで、各色の画素値を同程度とすることができる。これにより、R画素、G画素、B画素で検出される階調値が、検出される階調の分解能を最大限に利用することができる。すなわち、撮影画像の階調数を増加させることによって高画質化が可能となる。
このように画像撮像装置1は、図2で示される波長感度の撮像素子11を有すると共に図3の波長スペクトルの照明下で用いられる撮影モード(第1撮影モード)で撮影を行う場合、例えば、図4に示すような露光時間及び撮影時間に基づいて動作する。図4の例では、以下の(1),(2)のように露光時間を設定している。
(1)当該撮影モードである照明下で被写体(本例では白色の被写体)を撮影したときに画素値が最初に飽和すると予測される色(飽和最速色)については、当該撮影モードで当該被写体を撮影したときに画素値が飽和するまでに必要と予想される時間(飽和予想時間)を、露光時間として設定する。図4では、飽和最速色は青色である。
(2)飽和最速色を除く色については、その飽和予想時間が、飽和最速色の飽和予想時間の2倍より小さい場合は、当該色の飽和予想時間を露光時間として設定する(図4の例ではG画素がこれに該当)。大きい場合は、飽和最速色の飽和予想時間の2倍の値を露光時間として設定する(図4の例ではR画素がこれに該当)。
この場合、全色の画素で同時に撮影を開始し、飽和最速色(最も露光時間が短く設定される色)については、最も早く1枚の合成用画像の生成が完了する。飽和最速色の合成用画像の生成が完了した後も、他の色の画素の露光時間は経過しておらず露光は続けられることになる。この間に、1枚の合成用画像の生成が既に完了した飽和最速色に関して再度露光を行う。したがって、飽和最速色については、他の色について合成用画像を1枚生成する間に、連続して2枚生成することになる。
以上のように合成用画像を生成し撮影を行うことで、飽和最速色に関して、連続した2枚の合成用画像を生成して被写体の動きを検出し、検出した動きに基づき、他の色の合成用画像を補正することにより、動きぼけを低減した出力用画像を得られ、また、色毎に適切に露光時間を設定することにより、画素の階調値を向上させ高画質化を達成できる。
なお、以上では、合成用画像を連続生成する色を1色として説明したが、2色でもよく、多原色撮影が可能な画像撮像装置であれば、3色以上に対して連続生成を行ってもよい。
次に、例えば、画像撮像装置1は、前例と同様に、撮像素子11の分光感度が図2に示すような波長スペクトルを有しており、前例とは異なり、図5のように赤色と青色の光の強度が同程度である照明下で用いられる撮影モード(第2撮影モード)で撮影するものとする。この場合、画像撮像装置1では、光電変換素子から得られる階調値を大きくし高画質の出力用画像を生成するため、例えば、以下のように露光時間を設定する。
ここでまた、画素の露光時間、絞り等が各色で共通であり、これらが適切に設定された従来の画像撮像装置を用いて、実際に図5のように可視領域全体に強度を持つ照明下で撮影を行った場合を考える。この場合において白色を撮影すると、図2の撮像素子11の波長感度と図5の照明光の波長スペクトルとを考慮すれば、各画素から検出される画素値は同じような値になる。このことからも明らかなように、本条件では、前例の(1),(2)のように、各画素の露光時間を個別に設定し飽和最速色について2つの合成用画像を生成するようにすると、撮影時間が長くなってしまう。また、飽和最速色とその他の色とで露光時間が大きく変わらないため、連続した2つの合成用画像から算出した動き情報に基づいて、動きぼけを補正しても大きな効果を得ることができない。
そこで、この条件では、2枚の合成用画像を生成する色以外の2色については、飽和予測時間を露光時間として設定し、2枚の合成用画像を生成する1色の露光時間はそれより短くする。例えば、図6に示すように、当該撮影モードである照明下で白色の被写体を撮影したときに画素値が最も遅く飽和すると予測される色(飽和最遅色)の飽和予測時間の半分の露光時間に設定する。これにより、連続して2つの合成用画像を生成しても撮影時間が長くなることがない。露光時間を短くした2つの合成用画像を生成した色に関してはゲインを調整することにより、出力用画像内の各色のバランスを調整することができる。
このように画像撮像装置1は、図2で示される波長感度の撮像素子11を有すると共に図5の波長スペクトルの照明下で用いられる第2撮影モードで撮影を行う場合、例えば、図6に示すような露光時間及び撮影時間に基づいて動作する。そして、赤色、緑色、青色の三原色で撮影を行うときに、上述のように第2撮影モードで撮影を行う場合、図6に示すように、露光時間を短くする色は青色が良い。図7に示した等色関数から分かるように、輝度への影響は、赤色、緑色、青色のうち、緑色が最も大きく、青色が最も小さい。したがって、出力用画像を見た場合、露光時間を短くしてゲインを上げることにより発生したノイズの影響が最も視認されにくい色が青色となる。すなわち、青色の露光時間を短くすることで、ノイズの視認を最小限に留め、被写体の動きぼけを低減することができる。
また、上述のように第2撮影モードで撮影を行う場合、図8に示すように、2色の画素について露光時間を短くして出力用画像を2つ生成し、これらに基づいて動きぼけを低減するようにしてもよい。このとき、輝度への影響が大きい緑色を除く赤色及び青色について露光時間を短くして撮影を行うと、ノイズの視認が低く抑えることができるため好適である。これにより、動きぼけ低減効果を大きくすることができる。
以上のように、画像撮像装置1では、撮影モードに応じて、どの光電変換素子群に対して、複数の合成用画像を生成可能な短い露光時間を設定するかを決定している。
また、上述の例では、各画素の階調の分解能を有効に使えるように、撮影モードに応じて、所定の色の露光時間として、当該色の飽和予想時間を設定していた。この飽和予想時間に代えて、例えば、特定割合飽和予想時間を用いてもよい。特定割合飽和予想時間とは、当該撮影モードである照明下で被写体を撮影したときに、各画素(光電変換素子群全体)に対する階調値飽和素子の数が特定の割合に達するまで必要と予想される時間である。
なお、画像撮像装置の構成は、上述に限られない。例えば、被写体からの光をプリズムなどによって各色に分離して、それぞれの色について、赤色用CCD(Charge Coupled Device)センサまたはCMOSセンサ、緑色CCDセンサまたはCMOSセンサ、青色CCDセンサまたはCMOSセンサを用いて受光するようにしてもよい。この場合は、各撮像素子(CCDセンサやCMOSセンサ)の電子シャッタタイミング(撮像素子毎にメカニカルなシャッタを設けるのであればメカニカルなシャッタ速度であってもよい)を異ならせることにより、特定の色の光電変換素子群の露光時間を他の色のものと異ならせ、当該特定の色について複数枚の合成用画像を生成し、これに基づき動きぼけを低減する。
さらに、各色(例えば、赤、緑、青)に対する光電変換素子群の他に、可視光領域全体に反応する光電変換素子群を設け、図9に示すように、可視光領域全体に反応する光電変換素子群については、動き情報の算出のために複数の画像を取得するようにしてもよい。この場合も、算出した動き情報に基づいて、各色の合成用画像を補正し、補正したものに基づき出力用画像を生成することで、動きぼけを低減することができる。このように、可視領域全体という広範囲について受光することにより、赤色、緑色及び青色のみ受光するときと比べて、光量が増加するため、同じ撮影環境ならば、露光時間を短くすることができる。このように可視光領域に反応する光電変換素子群は、撮像素子11のCMOSセンサの中に設けてもよい。また、例えば、撮像素子11に向う光の一部を透過し他を反射する光学部材を画像撮像装置に設け、当該光学部材に反射された光を受光する別のCMOSセンサの中に、可視光領域に反応する光電変換素子群を設けてもよい。
また、色毎に分離できるプリズム等に向う光の一部を透過し他を反射する光学部材を画像撮像装置に設け、当該光学部材を透過しプリズムによって各色に分離して、それぞれの色について、赤色用CCDセンサまたはCMOSセンサ、緑色CCDセンサまたはCMOSセンサ、青色CCDセンサまたはCMOSセンサを用いて受光し、当該光学部材に反射された光を受光する別のCCDセンサまたはCMOSセンサで可視光領域全体を受光するようにしてもよい。
さらに、他の例では、レンズと撮像素子を複数組有する多眼システムの構成でもよく、この場合も、シャッタ速度を異なるようにし露光時間を異なる値に設定して撮影することにより、動きぼけを低減することができる。
また、以上の例では、1回の撮影で1枚のカラー画像を出力したが、動きぼけ補正部12dにて、連続した2枚の画像のそれぞれを基準として各色の画像の補正を行う等して、2枚のカラー画像が出力できるようにしてもよい。また、動き情報算出用に連続して生成する画像の枚数は2枚として説明したが、3枚以上であってもよい。さらに、画像を連続生成する色を1色として説明したが、2色でもよく、多原色撮影が可能な画像撮像装置であれば、3色以上に対して連続生成を行ってもよい。
また、以上では、静止画について説明したが動画に対しても適用することができる。本画像撮像装置において、例えば、動き情報算出のために複数枚の画像を生成する色については、露光時間を1/120秒以下とし、他の色については、露光時間を1/60秒以下とすれば、動きぼけが低減された出力用画像を1秒間に60枚生成できる。すなわち、本画像撮像装置では、1秒間に60枚の画像からなる動画であって、動きぼけが低減された高画質なものを生成することができる。さらに、例えば、1/120秒で生成された画像から1/60秒で生成された画像の動きぼけを補正したときに、2枚の補正した画像を生成することで、1/120秒で動画像を記録することができ、さらに高画質化ができる。
なお、特許文献2の方法では、非常に明るい場面では効果を得ることができたが、暗い環境で撮影する場合、シャッタスピードを高速にしているため被写体が判別できない暗い画像しか得ることができなかった。また、シャッタスピードを高速にするために、S/N比が劣化して画質が低下するという問題があった。それに対し、本発明の画像撮像装置では、上述のように構成されているため、動いている被写体を暗い環境で撮影した場合においても、動きぼけが低減された鮮明な画像を得ることができる。
本発明の画像撮像装置の一構成例の概略を説明する図である。 図1の撮像素子11の分光感度の一例を示す図である。 本発明の画像撮像装置の撮影モードの一例において想定される撮影環境の照明光の波長スペクトルを示す図である。 本発明の画像撮像装置における各色の露光時間と撮影時間の一例について説明する図である。 本発明の画像撮像装置の撮影モードの他の例において想定される撮影環境の照明光の波長スペクトルを示す図である。 本発明の画像撮像装置における各色の露光時間と撮影時間について説明する図である。 等色関数を示す図である。 本発明の画像撮像装置における各色の露光時間と撮影時間の他の例について説明する図である。 本発明の画像撮像装置における各色の露光時間と、可視光領域全体に反応する光電変換素子群の露光時間と、撮影時間の一例について説明する図である。
符号の説明
1…画像撮像装置、11…撮像素子、12…制御部、12a…合成用画像生成部、12b…露光時間設定部、12c…動き検出部、12d…動きぼけ補正部、12e…画像合成部。

Claims (5)

  1. 複数の光電変換素子群を備え、各光電変換素子群から読み出した中間画像データに基づいて撮像画像を生成する画像撮像装置であって、
    前記光電変換素子群ごとに撮像の際の露光時間を設定する露光時間設定部を具備し、前記複数の光電変換素子群の少なくとも1つについて、他の光電変換素子群とは異なり、1回の撮像に対して複数回の露光が行われる露光時間を設定し、
    前記複数回の露光が行われる露光時間を設定した光電変換素子群から複数の露光に対応して読み出された複数の中間画像データから画像の動き情報を検出する動き検出部を具備し、
    前記検出した動き情報を用いて前記他の光電変換素子群から読み出した中間画像データを補正する動きぼけ補正部を具備し、
    前記複数の中間画像データ及び前記補正した中間画像データに基づいて前記撮像画像を生成することを特徴とする画像撮像装置。
  2. 前記他の光電変換素子群に設定する露光時間は、前記複数の光電変換素子群の少なくとも1つについて行う複数回の露光の合計露光時間以内であることを特徴とする請求項1に記載の画像撮像装置。
  3. 色毎に前記光電変換素子群を設け、被写体を撮影したときに画素値の飽和が最も速いと予測される色の前記光電変換素子群に、前記1回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴とする請求項1または2に記載の画像撮像装置。
  4. 赤色、緑色、及び青色のそれぞれに対し前記光電変換素子群を設け、前記青色の光電変換素子群に、前記1回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴とする請求項1または2に記載の画像撮像装置。
  5. 前記複数の光電変換素子群は、可視光領域全体に反応する光電変換素子群を含み、当該光電変換素子群に、前記1回の撮像に対して複数回の露光が行われる露光時間を設定することを特徴とする請求項1または2に記載の画像撮像装置。
JP2008149268A 2008-06-06 2008-06-06 画像撮像装置 Expired - Fee Related JP5199736B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008149268A JP5199736B2 (ja) 2008-06-06 2008-06-06 画像撮像装置
US12/992,941 US8441539B2 (en) 2008-06-06 2009-05-14 Imaging apparatus
PCT/JP2009/058981 WO2009147939A1 (ja) 2008-06-06 2009-05-14 画像撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008149268A JP5199736B2 (ja) 2008-06-06 2008-06-06 画像撮像装置

Publications (3)

Publication Number Publication Date
JP2009296434A true JP2009296434A (ja) 2009-12-17
JP2009296434A5 JP2009296434A5 (ja) 2011-05-26
JP5199736B2 JP5199736B2 (ja) 2013-05-15

Family

ID=41398015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008149268A Expired - Fee Related JP5199736B2 (ja) 2008-06-06 2008-06-06 画像撮像装置

Country Status (3)

Country Link
US (1) US8441539B2 (ja)
JP (1) JP5199736B2 (ja)
WO (1) WO2009147939A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170011555A (ko) * 2015-07-23 2017-02-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2387229B1 (en) * 2010-05-14 2016-04-06 Casio Computer Co., Ltd. Image capturing apparatus and camera shake correction method, and computer-readable medium
EP2661872A4 (en) * 2011-01-04 2015-11-25 Piqx Imaging Pte Ltd SCANNING METHOD AND DEVICE
CN102779334B (zh) * 2012-07-20 2015-01-07 华为技术有限公司 一种多曝光运动图像的校正方法及装置
KR20150100998A (ko) * 2014-02-24 2015-09-03 삼성디스플레이 주식회사 영상처리장치 및 영상처리방법
JP6541324B2 (ja) * 2014-10-17 2019-07-10 キヤノン株式会社 固体撮像装置及びその駆動方法、並びに、撮像システム
KR102465212B1 (ko) * 2015-10-30 2022-11-10 삼성전자주식회사 다중 노출 센서를 이용하는 촬영 장치 및 이의 촬영 방법
JP6522539B2 (ja) * 2016-03-18 2019-05-29 富士フイルム株式会社 内視鏡システム及びその作動方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080844A (ja) * 2004-09-09 2006-03-23 Nikon Corp 電子カメラ
JP2006229868A (ja) * 2005-02-21 2006-08-31 Canon Inc 画像処理装置及び方法、動き検出装置及び方法
JP2006246309A (ja) * 2005-03-07 2006-09-14 Canon Inc 画像処理装置および画像処理方法
JP2008124625A (ja) * 2006-11-09 2008-05-29 Sanyo Electric Co Ltd 撮像装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
JP2002330335A (ja) * 2001-04-27 2002-11-15 Matsushita Electric Ind Co Ltd 静止画像撮像装置
JP2004289709A (ja) * 2003-03-25 2004-10-14 Toshiba Corp 撮像装置、撮像方法
JP4181923B2 (ja) * 2003-05-29 2008-11-19 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP2005159806A (ja) 2003-11-27 2005-06-16 Fuji Photo Film Co Ltd 撮像装置および撮像方法
JP4005098B2 (ja) * 2003-12-26 2007-11-07 松下電器産業株式会社 撮影装置、製品パッケージおよび半導体集積回路
JP4377307B2 (ja) * 2004-09-24 2009-12-02 富士フイルム株式会社 撮影装置
US7319216B2 (en) * 2004-09-10 2008-01-15 Fujifilm Corporation Light receiving unit and image taking apparatus
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080844A (ja) * 2004-09-09 2006-03-23 Nikon Corp 電子カメラ
JP2006229868A (ja) * 2005-02-21 2006-08-31 Canon Inc 画像処理装置及び方法、動き検出装置及び方法
JP2006246309A (ja) * 2005-03-07 2006-09-14 Canon Inc 画像処理装置および画像処理方法
JP2008124625A (ja) * 2006-11-09 2008-05-29 Sanyo Electric Co Ltd 撮像装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170011555A (ko) * 2015-07-23 2017-02-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법
KR102368625B1 (ko) * 2015-07-23 2022-03-02 삼성전자주식회사 디지털 촬영 장치 및 그 방법

Also Published As

Publication number Publication date
WO2009147939A1 (ja) 2009-12-10
JP5199736B2 (ja) 2013-05-15
US20110063460A1 (en) 2011-03-17
US8441539B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
US9843735B2 (en) Image processing apparatus, imaging apparatus comprising the same, and image processing method
JP5199736B2 (ja) 画像撮像装置
JP2007336561A (ja) 映像生成装置及び方法
JP2007135182A (ja) 撮像装置および撮像方法
JP2010074313A (ja) 撮像装置および撮像装置の制御方法
JP2007214892A (ja) 撮像装置
JP5302058B2 (ja) 撮像装置および撮像方法
KR20090091597A (ko) 카메라의 백라이트 보정 장치 및 방법
JP2007243917A (ja) 撮像装置および画像処理プログラム
JP5138521B2 (ja) 撮像装置及び撮像方法
JP2006148550A (ja) 画像処理装置及び撮像装置
JP6393091B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2009164859A (ja) 撮像装置及び撮像制御方法
JP6242129B2 (ja) 撮像装置、その制御方法、及び制御プログラム
JP5947625B2 (ja) 撮像装置、及びその制御方法
JP2008236739A (ja) 撮像装置および撮像方法
JP2019080261A (ja) 撮像装置
JP2006121165A (ja) 撮像装置、画像形成方法
JP2006165725A (ja) 撮影装置及びその露出決定方法
JP2005167465A (ja) デジタルカメラ及びデジタルカメラの撮像方法
JP5239687B2 (ja) 撮像装置
JP2010136239A (ja) 撮影装置および撮影装置の制御方法並びにプログラム
JP2011077770A (ja) 固体電子撮像装置の制御装置およびその動作制御方法
JP2006148645A (ja) 撮像装置
JP2007306064A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110411

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5199736

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees