JP2012054911A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2012054911A
JP2012054911A JP2011163524A JP2011163524A JP2012054911A JP 2012054911 A JP2012054911 A JP 2012054911A JP 2011163524 A JP2011163524 A JP 2011163524A JP 2011163524 A JP2011163524 A JP 2011163524A JP 2012054911 A JP2012054911 A JP 2012054911A
Authority
JP
Japan
Prior art keywords
image data
motion vector
dimensional
motion
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011163524A
Other languages
English (en)
Inventor
Nobuyuki Yano
修志 矢野
Akira Harada
央 原田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011163524A priority Critical patent/JP2012054911A/ja
Priority to US13/196,838 priority patent/US8786677B2/en
Publication of JP2012054911A publication Critical patent/JP2012054911A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/64Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
    • G02B27/646Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/10Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens
    • G02B7/102Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification by relative axial movement of several lenses, e.g. of varifocal objective lens controlled by a microcomputer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】自装置が動きを考慮した3次元NR処理をする際の誤動作を低減した撮像装置を提供することを目的とする。
【解決手段】本発明にかかる撮像装置は、自装置に加えられる力に基づき自装置の動きを検出する動き検出手段と、被写体像を撮像し、画像データを生成する撮像手段と、撮像手段により生成された複数の画像データに基づいて動きベクトルを検出する動きベクトル検出手段と、撮像手段により生成された第1画像データに含まれるノイズを、第1画像データよりも時間的に先に生成された第2画像データに基づいて低減させる3次元NR手段と、を備え、3次元NR手段は、動き検出手段による検出結果と、動きベクトル検出手段による検出結果との両方に基づいて、第2画像データを動きベクトル検出手段による検出結果に基づいて補正するか否かを決定する。
【選択図】図1

Description

本発明は撮像装置に関し、特に、撮像画像に対して3次元NR処理を行うことができる撮像装置に関する。
特許文献1は、信号処理装置を開示する。この信号処理装置は、入力映像信号から動きベクトルを検出する。この信号処理装置は、検出した動きベクトルに基づいて、入力映像信号を補正する。この信号処理装置は、補正した映像信号に基づいて、新たな入力映像信号に含まれるノイズを補正する。
これにより、この信号処理装置は、フィールド間あるいはフレーム間差分信号から、動きを除いたノイズ成分を高精度に抽出できる。
特開2001−136416号公報
しかしながら、上記特許文献1に開示されている信号処理装置においては、入力信号から検出した動きベクトルに基づいて動きを検出している。動きベクトルにより動き検出を行うと、被写体が動いた場合等、撮像装置としては動いていないにも関わらず、自装置が動いたと判定してしまう場合がある。
本発明は、自装置の動きを考慮した3次元NR処理をする際の誤動作を低減した撮像装置を提供することを目的とする。
上記課題を解決するために、本発明にかかる撮像装置は、自装置に加えられる力に基づき自装置の動きを検出する動き検出手段と、被写体像を撮像し、画像データを生成する撮像手段と、撮像手段により生成された複数の画像データに基づいて動きベクトルを検出する動きベクトル検出手段と、撮像手段により生成された第1画像データに含まれるノイズを、第1画像データよりも時間的に先に生成された第2画像データに基づいて低減させる3次元NR手段と、を備え、3次元NR手段は、動き検出手段による検出結果と、動きベクトル検出手段による検出結果との両方に基づいて、第2画像データを動きベクトル検出手段による検出結果に基づいて補正するか否かを決定する。
本発明によれば、自装置が動きを考慮した3次元NR処理をする際の誤動作を低減した撮像装置を提供できる。
実施の形態1におけるデジタルビデオカメラ100の構成を示すブロック図 実施の形態1におけるカメラの動きを考慮しない3次元NRを説明するための模式図 実施の形態1におけるカメラの動きを考慮しない3次元NRを説明するための模式図 実施の形態1におけるカメラの動きを考慮した3次元NRを説明するための模式図 実施の形態1におけるカメラの動きを考慮した3次元NRを説明するための模式図 実施の形態1におけるNR全体の制御を説明するためのフローチャート 実施の形態2におけるNR全体の制御を説明するためのフローチャート 実施の形態2におけるNRを説明するための模式図 実施の形態2におけるNRを説明するための模式図
〔1.実施の形態1〕
〔1−1.構成〕
本実施の形態にかかるデジタルビデオカメラ100の電気的構成について、図1を用いて説明する。図1は、デジタルビデオカメラ100の構成を示すブロック図である。デジタルビデオカメラ100は、ズームレンズ110等からなる光学系により形成された被写体像をCCDイメージセンサー180で撮像する。CCDイメージセンサー180で生成された映像データは、画像処理部190で各種処理が施され、メモリカード240に格納される。また、メモリカード240に格納された映像データは、液晶モニタ270で表示可能である。以下、デジタルビデオカメラ100の構成を詳細に説明する。
デジタルビデオカメラ100の光学系は、ズームレンズ110、OIS140、フォーカスレンズ170を含む。ズームレンズ110は、光学系の光軸に沿って移動することにより、被写体像を拡大又は縮小可能である。また、フォーカスレンズ170は、光学系の光軸に沿って移動することにより、被写体像のピントを調整する。
OIS140は、内部に光軸に垂直な面内で移動可能な補正レンズを有する。OIS140は、デジタルビデオカメラ100の振れを相殺する方向に補正レンズを駆動することにより、被写体像の振れを低減する。
ズームモータ130は、ズームレンズ110を駆動する。ズームモータ130は、パルスモータやDCモータ、リニアモータ、サーボモータなどで実現してもよい。ズームモータ130は、カム機構やボールネジなどの機構を介してズームレンズ110を駆動するようにしてもよい。検出器120は、ズームレンズ110が光軸上でどの位置に存在するのかを検出する。検出器120は、ズームレンズ110の光軸方向への移動に応じて、ブラシ等のスイッチによりズームレンズの位置に関する信号を出力する。
OISアクチュエータ150は、OIS140内の補正レンズを光軸と垂直な面内で駆動する。OISアクチュエータ150は、平面コイルや超音波モータなどで実現できる。また、検出器160は、OIS140内における補正レンズの移動量を検出する。
CCDイメージセンサー180は、ズームレンズ110等からなる光学系で形成された被写体像を撮像して、映像データを生成する。CCDイメージセンサー180は、露光、転送、電子シャッタなどの各種動作を行う。なお、CCDイメージセンサー180は、本実施形態に係る「撮像手段」の一例である。
画像処理部190は、CCDイメージセンサー180で生成された映像データに対して各種の処理を施す。画像処理部190は、CCDイメージセンサー180で生成された映像データに対して処理を施し、液晶モニタ270に表示するための映像データを生成したり、メモリカード240に格納するための映像データを生成したりする。例えば、画像処理部190は、CCDイメージセンサー180で生成された映像データに対してガンマ補正やホワイトバランス補正、傷補正、そして映像データの空間周波数の高低をもとにNR(Noise Reduction)を行う2次元NRや、映像データの時間方向差分などをもとにNRを行う3次元NR、映像信号をデジタル的に拡大する電子ズームなどの各種処理を行う。また、画像処理部190は、CCDイメージセンサー180で生成された映像データに対して、画面全体の動きを表す動きベクトルの検出を行う。また、画像処理部190は、CCDイメージセンサー180で生成された映像データに対して、H.264規格やMPEG2規格等に準拠した圧縮形式により映像データを圧縮する。画像処理部190は、DSPやマイコンなどで実現可能である。なお、画像処理部190は、本実施形態に係る「3次元NR手段」、「2次元NR手段」、「動きベクトル検出手段」および「電子ズーム手段」の一例である。
コントローラー210は、全体を制御する制御手段である。コントローラー210は、半導体素子などで実現可能である。コントローラー210は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。コントローラー210は、マイコンなどで実現できる。
メモリ200は、画像処理部190及びコントローラー210のワークメモリとして機能する。メモリ200は、例えば、DRAM、強誘電体メモリなどで実現できる。
液晶モニタ270は、CCDイメージセンサー180で生成した映像データが示す画像や、メモリカード240から読み出した映像データが示す画像を表示可能である。
ジャイロセンサー220は、圧電素子等の振動材等で構成される。ジャイロセンサー220は、圧電素子等の振動材を一定周波数で振動させながら、コリオリ力による力を電圧に変換して角速度情報を得る。ジャイロセンサー220から角速度情報を得、角速度情報によって示される揺れを相殺する方向にOIS内の補正レンズを駆動させることにより、デジタルビデオカメラ100は、使用者による手振れを補正する。なお、ジャイロセンサー220は、本実施形態に係る「動き検出手段」の一例である。
カードスロット230は、メモリカード240を着脱可能に支持する。カードスロット230は、機械的及び電気的にメモリカード240と接続可能である。メモリカード240は、フラッシュメモリや強誘電体メモリなどを内部に含み、データを格納可能である。
内部メモリ280は、フラッシュメモリや強誘電体メモリなどで構成される。内部メモリ280は、デジタルビデオカメラ100全体を制御するための制御プログラム等を格納する。
操作部材250は、使用者から操作を受け付ける部材である。ズームレバー260は、使用者からズーム倍率の変更指示を受け付ける部材である。
〔1−2.動作〕
〔1−2−1.カメラの動きを考慮しない3次元NR〕
画像処理部190で行う3次元NRは、カメラの動きを考慮しない3次元NR処理か、カメラの動きを考慮した3次元NR処理のいずれかの処理を行う。まず、カメラの動きを考慮しない3次元NRについて図2を用いて説明する。
3次元NRはまず異なる時刻の映像の差分をとる。例えばメモリ200にはCCDイメージセンサー180の出力に対し各種処理を行ったデータを毎フレーム記憶させておき、1フレーム後に読み出すようにする。時刻t2にCCDイメージセンサー180から映像が出力されるとき、メモリ200からは1フレーム前、即ち時刻t1の映像データが出力される。3次元NRはその時刻t2とt1の映像データの差分を取る。
上記差分にはノイズ成分と映像の動き成分の双方が含まれる。そこで、一般的にノイズ成分は動き成分に対して振幅が小さいことを利用して、この差分からノイズ成分を抽出する。例えば、時刻t2とt1の映像データの差分をとったのち、図3のような特性の非線形処理を施す。この非線形処理によって±2aの振幅の差分だけが出力されることになる。そこには前述のようにノイズ成分が多く含まれるので、この非線形処理の出力を時刻t2の映像信号から差し引くことでノイズを低減できる。ただし、この非線形処理の出力は必ずしもすべてがノイズ成分ではなく、例えばカメラ全体をゆっくりパンニングしたときのような小振幅の動き成分が含まれている。その場合、小振幅成分をノイズとみなして時刻t2の映像信号から差し引くと、動き成分が残る。すなわち残像が発生することになる。
〔1−2−2.カメラの動きを考慮した3次元NR〕
次にカメラの動きを考慮した3次元NR処理について図4、図5を用いて説明する。カメラがパンニングなどによって動いたとすると、CCDイメージセンサー180から出力される映像データは図4のように時刻毎に画角が異なるようになる。これに対して、前述のようにカメラの動きを考慮しない3次元NR処理を施すと、時刻t4とメモリ200からの時刻t3の映像データの差分をとり、そのうちの小振幅成分をノイズとみなすため、小振幅の動き成分については前述のように残像となって現れる。カメラの動きを考慮した3次元NR処理では、以下に説明する別の制御を行うことで残像を抑圧する。
図5はCCDイメージセンサー180に撮像された映像を表している。一般的にはCCDイメージセンサー180の画素数は、最終メモリカード240に記録される際の映像形式が必要としている画素数よりも多い。従って、CCDイメージセンサー180の出力をいったんメモリ200に格納したのち、メモリカード240に記録する際の映像形式が必要とする画素数分だけ切り出して読み出す。
コントローラー210は、画像処理部190が撮影画像に基づいて検出した動きベクトルをもとに、その切り出す範囲を変更する。図4の場合、時刻t3、t4の映像データのように画角が変化し、画像処理部190が変化した方向、すなわち図4の場合は右方向と、移動量xを動きベクトルとして検出する。
メモリ200に記憶された時刻t3の映像データから切り出す際に、切り出し範囲を図5の点線のように左方向にxだけ変更すると、画角が時刻t4の映像データと一致する。従って、そのように切り出し範囲を変更して読み出した時刻t3と時刻t4の映像データから差分をとり、さらに図3のような非線形処理でその小振幅成分を抽出すると、その成分にはカメラの動き成分は含まれず、ノイズ成分のみが含まれることとなる。したがって、非線形処理の出力を時刻t4の映像データから差し引くと、ノイズは低減し、かつ、残像も少ない映像データが得られることになる。
ただし、検出した動きベクトル量だけ必ず切り出し範囲を変更することができるとは限らない。ある時刻での切り出し範囲と、メモリ200に記録されたイメージセンサー180に撮像された全映像データ範囲との差分、例えば図5ではdx1、dx2が横方向の補正の上限、dy1、dy2が縦方向の補正の上限となり、その範囲内で切り出し範囲を変更することができる。
また、画像処理部190が電子ズーム処理を行う場合、メモリ200から切り出す範囲は電子ズーム倍率に応じて狭くなる。例えば、電子ズーム倍率が2倍のとき、電子ズーム倍率が1倍のときと比べて切り出し範囲は横方向、縦方向ともに1/2となる。従って、電子ズーム倍率が上がれば上がるほど、前述の補正上限dx1、dx2、dy1、dy2は増加することになる。
〔1−2−3.NR全体の制御〕
前述のカメラの動きを考慮しない3次元NR処理と、カメラの動きを考慮した3次元NR処理のいずれを行うかはコントローラー210が制御する。その制御方法について、図6のフローチャートを用いて説明する。
使用者は、操作部材250を操作することにより、デジタルビデオカメラ100を撮影モードに設定できる(S100)。撮影モードに設定されると、デジタルビデオカメラ100は、映像の撮影とそれにともなう3次元NR処理などの一連の動作を開始する。
まず、コントローラー210は、使用者がズームレバー260を用いて設定した電子ズーム倍率から前述の補正上限dx1、dx2、dy1、dy2を決定する(S110)。
次にコントローラー210は、ジャイロセンサー220から角速度情報出力と、画像処理部190が検出した動きベクトルを取得する(S120)。
そしてコントローラー210は、取得したジャイロセンサー出力からカメラの動きがあると判断され、かつ、動きベクトル量が一定値以上となったかどうかを判定し(S130)、そのようになった場合は、動きを考慮した3次元NR処理を行うよう制御する(S150)。このときのメモリ200に対する切り出し範囲の移動量は電子ズーム倍率をもとに決定した補正上限dx1、dx2、dy1、dy2までの範囲内となる。
一方、そうでない場合は、コントローラー210は動きを考慮しない3次元NR処理を行う(S140)。
以上の制御によって、使用者がカメラをパンニングさせるなど、まず実際にカメラの動きがあった場合は、ジャイロセンサー220の出力はカメラの動きがあると判断され、かつ、動きベクトル量が一定値以上を示すため、前述の制御フローによって動きを考慮した3次元NR処理が行われる。したがって、ノイズを低減しつつ、残像も少ない映像が得られる。
次に、カメラが三脚に固定されるなどして動きが無いのに、動きベクトル量が一定値以上となった場合は、例えば固定されたカメラの前を物体が横切った場合、またはCCDイメージセンサー180の出力にノイズが多く含まれ、画像処理部190における動き検出が誤動作していることが想定される。
この場合、ジャイロセンサー220からの角速度情報はゼロとなるので、コントローラー210はカメラに動きはないと判断し、動きを考慮しない3次元NR処理が行われる。したがって、切り出し範囲は固定のままであり、カメラが固定しているのに切り出し範囲が移動することによって生じる3次元NRによる残像という誤動作を防ぐことが出来る。
また、ジャイロセンサー220の出力はカメラの動きがあると判断しているのに、動きベクトル量は一定値以下の場合、何らかの原因によってジャイロセンサー220が誤動作していることが考えられる。その場合でも、前述の制御によって動きを考慮しない3次元NR処理となるので、ジャイロセンサー220の誤動作が3次元NR処理に影響することを防ぐことが出来る。
最後に、ジャイロセンサー220の出力は動きを示さず、かつ、検出された動きベクトル量も一定値以下の場合、この場合も動きを考慮しない3次元NR処理となるが、この場合は実際にカメラが固定されていることになるので、動きを考慮しない3次元NR処理でも残像は発生しない。また、ノイズが低減されることは言うまでも無い。
〔2.実施の形態2〕
〔2−1.NR全体の制御〕
実施の形態2が実施の形態1と異なる点は補正上限dx1、dx2、dy1、dy2を定めない点であり、図7,8,9を用いて説明する。それ以外については実施の形態1と同じであるため説明を省略する。
図7は実施の形態2において、コントローラー210がカメラの動きを考慮した3次元NR処理、カメラの動きを考慮しない3次元NR処理のいずれを行うかを制御する制御方法を表すフローチャートである。
使用者により操作部材250を操作してデジタルビデオカメラ100を撮影モードに設定されると(S200)、デジタルビデオカメラ100は、映像の撮影とそれにともなう3次元NR処理などの一連の動作を開始する。
コントローラー210は、使用者がズームレバー260を用いて設定した電子ズーム倍率から、前述のdx1、dx2、dy1、dy2を算出する(S210)。ただし、実施の形態1ではdx1、dx2、dy1、dy2は切り出し範囲の移動の上限を表すが、実施の形態2では移動の上限を設けない。従って、dx1、dx2、dy1、dy2は切り出しによって発生した単なる画素余裕値として定義する。
次にコントローラー210は実施の形態1と同様、ジャイロセンサー220から角速度情報出力と、画像処理部190が検出した動きベクトルを取得する(S220)。
例えばカメラがパンニングなどによって動き、CCDイメージセンサー180から出力される映像データが図8のようになったとする。この場合、検出した動きベクトルは、右方向に移動量xというものとなる。
次に、取得したジャイロセンサー出力からカメラの動きがあると判断され、かつ、動きベクトル量が一定値以上となったかどうかを判定する(S230)。
判定の結果、取得したジャイロセンサー出力からはカメラの動きがあると判断されない、または、動きベクトル量が一定値以下の場合は、実施の形態1と同様、コントローラー210は動きを考慮しない3次元NR処理を行う(S240)。
判定の結果、取得したジャイロセンサー出力からカメラの動きがあると判断され、かつ、図8のように動きベクトル量が一定値以上となった場合、コントローラー210(「領域設定手段」の一例)はまず、CCDイメージセンサー180の出力に対して各種画像処理が施された映像データに対し、動きベクトルをもとにステップS210で決定した画素余裕値の範囲内の領域と範囲外の領域を設定する(S250)。この領域設定について以下詳しく述べる。
図8において、時刻t6にCCDイメージセンサー180から映像が出力されるとき、メモリ200には時刻t5の映像データが記憶されている。図9はメモリ200に記憶された時刻t5における映像データを表す。dx1.dx2、dy1、dy2は前述の画素余裕値となる。
検出した動きベクトルに基づき、切り出し範囲を点線のように左方向にxだけ移動させると、メモリ上に画素が存在する第1領域R1と存在しない第2領域R2に分かれる。そこで、時刻t6のCCDイメージセンサー180の映像データに対し、前記第1領域R1に該当する領域と前記第2領域R2に該当する領域を設定する。
画像処理部190は第1領域R1に対しては実施の形態1と同様にメモリ200から読み出した映像データを用いて動きを考慮した3次元NR処理を行い、第2領域R2に対してはメモリ200からの映像データを使用せず2次元NR処理を行う(S260)。
以上のようなNR全体制御によって、画素余裕が少ない場合でも、前記第1領域R1については動きを考慮した3次元NR処理が行われることによって残像が少なく、かつノイズが低減された映像が得られる。一方、第2領域R2についても3次元NR処理に代わって2次元NR処理が行われるため、ノイズ低減効果が得られる。
〔3.他の実施の形態〕
以上により、本発明の実施の形態として、実施の形態1および2を説明した。しかし、本発明は、これらには限定されない。そこで、本発明の他の実施の形態を本欄にまとめて説明する。
本実施の形態にかかるデジタルビデオカメラ100の光学系及び駆動系は、図1に示すものに限定されない。例えば、図1では3群構成の光学系を例示しているが、他の群構成のレンズ構成としてもよい。また、それぞれのレンズは、1つのレンズで構成してもよく、複数のレンズから構成されるレンズ群として構成してもよい。
また、実施の形態1では、撮像手段として、CCDイメージセンサー180を例示したが、本発明はこれに限定されない。例えば、CMOSイメージセンサーで構成してもよく、NMOSイメージセンサーで構成してもよい。
また、実施の形態2では、メモリ上に画素が存在する第1領域R1はすべて3次元NR、画素が存在しない第2領域R2はすべて2次元NRとしたが、これに限るものではない。例えば、第1領域R1のうち、第2領域R2に近いある一定範囲については、3次元NRと2次元NR処理を混在させ、その比率は第2領域R2に近ければ2次元NR処理の比率を高め、遠ければ3次元NR処理の比率を高めるようにしてもよい。これによって、3次元NRと2次元NRの境界を分かりにくくするという効果が得られる。
また、実施の形態1、および2では2次元NR処理を映像データの空間周波数の高低をもとにNRを行うものとしたが、これに限るものではなく、同一時刻の映像データだけを用いてNR処理を行うものであればよい。
また、実施の形態1、および2では3次元NR処理において、異なる時間の映像データの差分に対する非線形処理の特性を図3のようにしたが、これに限らないことは言うまでもない。
また実施の形態2では、ジャイロセンサー出力からカメラの動きがあるかどうかを判断することとしたが、これに限られるものではない。具体的に、図7のステップS230では、動きベクトル量が一定値以上となったかどうかだけを判定することとしてもよい。
本発明は、デジタルビデオカメラやデジタルスチルカメラ等の撮像装置に適用できる。
100 デジタルビデオカメラ
110 ズームレンズ
120 検出器
130 ズームモータ
140 OIS
150 OISアクチュエータ
160 検出器
170 フォーカスレンズ
180 CCDイメージセンサー
190 画像処理部
200 メモリ
210 コントローラー
220 ジャイロセンサー
230 カードスロット
240 メモリカード
250 操作部材
260 ズームレバー
270 液晶モニタ
280 内部メモリ

Claims (6)

  1. 自装置に加えられる力に基づき自装置の動きを検出する動き検出手段と、
    被写体像を撮像し、画像データを生成する撮像手段と、
    前記撮像手段により生成された複数の画像データに基づいて動きベクトルを検出する動きベクトル検出手段と、
    前記撮像手段により生成された第1画像データに含まれるノイズを、前記第1画像データよりも時間的に先に生成された第2画像データに基づいて低減させる3次元NR手段と、を備え、
    前記3次元NR手段は、前記動き検出手段による検出結果と、前記動きベクトル検出手段による検出結果との両方に基づいて、前記第2画像データを前記動きベクトル検出手段による検出結果に基づいて補正するか否かを決定する、
    撮像装置。
  2. 前記3次元NR手段は、前記動き検出手段により自装置が動いていることが検出され、かつ、前記動きベクトル検出手段により所定以上の大きさの動きベクトルが検出されたとき、前記第2画像データを前記動きベクトル検出手段による検出結果に基づいて補正する、
    請求項1に記載の撮像装置。
  3. 前記3次元NR手段は、前記動き検出手段により自装置が動いていないことが検出されるか、前記動きベクトル検出手段により所定未満大きさの動きベクトルが検出されると、前記第2画像データを前記動きベクトル検出手段による検出結果に基づいて補正しない、
    請求項1又は2に記載の撮像装置。
  4. 前記撮像手段により生成された画像データの切り出し範囲を変更することでズーム倍率を変更可能な電子ズーム手段をさらに備え、
    前記3次元NR手段は、前記電子ズーム倍率手段のズーム倍率に応じて、前記第2画像データを前記動きベクトル検出手段による検出結果に基づいて補正する量の上限を変える、
    請求項1〜3の何れか1項に記載の撮像装置。
  5. 被写体像を撮像し、画像データを生成する撮像手段と、
    前記撮像手段により生成された複数の画像データに基づいて動きベクトルを検出する動きベクトル検出手段と、
    前記撮像手段により生成された第1画像データに含まれるノイズを、前記第1画像データよりも時間的に先に生成され前記動きベクトル検出手段による検出結果に応じて補正された第2画像データに基づいて低減させる3次元NR手段と、
    前記第1画像データに含まれるノイズを、前記第1画像データ内の情報に基づいて低減する2次元NR手段と、
    前記撮像手段により生成された画像データにおいて、前記ノイズを前記3次元NR手段で低減させる第1領域と、前記ノイズを前記2次元NR手段で低減させる第2領域とを設定する領域設定手段と、
    前記動きベクトル検出手段による検出結果に基づいて、前記第1領域と前記第2領域とを設定するよう前記領域設定手段を制御する制御手段と、を備える、
    撮像装置。
  6. 前記領域設定手段は、前記ノイズを前記2次元NR手段と前記3次元NR手段との両方により低減する第3領域をさらに設定し、
    前記制御手段は、前記動きベクトル検出手段による検出結果に基づいて、前記第1領域と前記第2領域と前記第3領域とを設定するよう前記領域設定手段を制御する、
    請求項5に記載の撮像装置。
JP2011163524A 2010-08-05 2011-07-26 撮像装置 Withdrawn JP2012054911A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011163524A JP2012054911A (ja) 2010-08-05 2011-07-26 撮像装置
US13/196,838 US8786677B2 (en) 2010-08-05 2011-08-02 Imaging device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010175960 2010-08-05
JP2010175960 2010-08-05
JP2011163524A JP2012054911A (ja) 2010-08-05 2011-07-26 撮像装置

Publications (1)

Publication Number Publication Date
JP2012054911A true JP2012054911A (ja) 2012-03-15

Family

ID=45555861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011163524A Withdrawn JP2012054911A (ja) 2010-08-05 2011-07-26 撮像装置

Country Status (2)

Country Link
US (1) US8786677B2 (ja)
JP (1) JP2012054911A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208307A (ja) * 2015-04-23 2016-12-08 キヤノン株式会社 画像処理装置、その制御方法及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210101078A (ko) * 2020-02-07 2021-08-18 삼성전자주식회사 전자 장치 및 전자 장치의 영상 처리 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2521145B2 (ja) * 1989-02-20 1996-07-31 日本ビクター株式会社 動き補償予測符号化復号化方式
EP0701758B1 (en) * 1993-06-04 2000-11-02 Sarnoff Corporation System and method for electronic image stabilization
JP2001136416A (ja) 1999-08-20 2001-05-18 Sony Corp 信号処理装置及び方法
JP5044886B2 (ja) * 2004-10-15 2012-10-10 パナソニック株式会社 ブロックノイズ低減装置および画像表示装置
JP3868446B2 (ja) * 2004-10-29 2007-01-17 オリンパス株式会社 撮像装置
WO2010061627A1 (ja) * 2008-11-28 2010-06-03 パナソニック株式会社 振れ量測定システム、振れ量測定方法および撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016208307A (ja) * 2015-04-23 2016-12-08 キヤノン株式会社 画像処理装置、その制御方法及びプログラム

Also Published As

Publication number Publication date
US20120033047A1 (en) 2012-02-09
US8786677B2 (en) 2014-07-22

Similar Documents

Publication Publication Date Title
CN110012224B (zh) 摄像头防抖系统、方法、电子设备和计算机可读存储介质
JP5778998B2 (ja) 撮像装置、画像生成方法およびコンピュータプログラム
JP5794705B2 (ja) 撮像装置、その制御方法及びプログラム
JP5764740B2 (ja) 撮像装置
US9967464B2 (en) Image reproducing apparatus, image reproducing method, and storage medium
JP2016058876A (ja) 撮像装置及びその制御方法、及び撮像システム
JP2013165485A (ja) 画像処理装置、撮像装置およびコンピュータブログラム
JP2013165483A (ja) 画像処理装置、撮像装置、およびコンピュータブログラム
JP2011188481A (ja) 撮像装置
JP2012114809A (ja) 撮像装置及び電子機器
JP2007243335A (ja) 手振れ補正方法、手振れ補正装置および撮像装置
JP2007329686A (ja) 撮像装置及びその制御方法
JP2008134426A (ja) 撮像装置及び方法並びにプログラム
JP2013138413A (ja) 撮像装置
JP2013046296A (ja) 複眼撮像装置
JP2018078582A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
WO2017104102A1 (ja) 撮像装置
JP5393877B2 (ja) 撮像装置および集積回路
JP2012054911A (ja) 撮像装置
EP3836540B1 (en) Image processing apparatus and image capturing apparatus
JP5831492B2 (ja) 撮像装置、表示制御方法及びプログラム
JP2021097402A (ja) 画像処理装置および撮像装置
JP2000069353A (ja) 手ぶれ検出装置および手ぶれ補正装置
JP2013062557A (ja) デジタル撮影装置及び、3d撮影方法
JP2011164321A (ja) 撮像装置

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20141007