JP2022108625A - 撮像装置およびその制御方法、および画像処理装置および方法 - Google Patents
撮像装置およびその制御方法、および画像処理装置および方法 Download PDFInfo
- Publication number
- JP2022108625A JP2022108625A JP2021003728A JP2021003728A JP2022108625A JP 2022108625 A JP2022108625 A JP 2022108625A JP 2021003728 A JP2021003728 A JP 2021003728A JP 2021003728 A JP2021003728 A JP 2021003728A JP 2022108625 A JP2022108625 A JP 2022108625A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- imaging
- timing
- alignment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 115
- 238000012545 processing Methods 0.000 title claims description 39
- 238000000034 method Methods 0.000 title claims description 31
- 230000003287 optical effect Effects 0.000 claims abstract description 67
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims description 36
- 230000015572 biosynthetic process Effects 0.000 claims description 35
- 238000003786 synthesis reaction Methods 0.000 claims description 35
- 230000002194 synthesizing effect Effects 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 11
- 210000001747 pupil Anatomy 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 1
- 238000013519 translation Methods 0.000 abstract description 9
- 230000006641 stabilisation Effects 0.000 description 38
- 238000011105 stabilization Methods 0.000 description 38
- 230000007246 mechanism Effects 0.000 description 30
- 238000012937 correction Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 15
- 230000009467 reduction Effects 0.000 description 12
- 125000006850 spacer group Chemical group 0.000 description 12
- 230000004907 flux Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- DCPDZFRGNJDWPP-UHFFFAOYSA-N 1,2,3,4,5-pentachloro-6-(2,4,5-trichlorophenyl)benzene Chemical compound C1=C(Cl)C(Cl)=CC(Cl)=C1C1=C(Cl)C(Cl)=C(Cl)C(Cl)=C1Cl DCPDZFRGNJDWPP-UHFFFAOYSA-N 0.000 description 5
- 238000005096 rolling process Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000002955 isolation Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- FYYHWMGAXLPEAU-UHFFFAOYSA-N Magnesium Chemical compound [Mg] FYYHWMGAXLPEAU-UHFFFAOYSA-N 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000000881 depressing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 229910052749 magnesium Inorganic materials 0.000 description 1
- 239000011777 magnesium Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Studio Devices (AREA)
Abstract
【課題】 動画と静止画のそれぞれに適した防振制御を行うこと。【解決手段】 撮像装置は、撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、撮像装置のブレを検知するブレ検知手段と、前記ブレ検知手段により検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進方向に並進駆動すると共に、光軸周りの回転方向に回転駆動する駆動手段と、を有する。そして、前記撮像手段から得られた複数の画像が合成される場合に、前記駆動手段は、前記回転駆動を前記並進駆動より優先して行う。【選択図】 図1
Description
本発明は、撮像装置およびその制御方法、および画像処理装置および方法に関し、特に、撮像装置における防振技術に関する。
近年、撮像装置の高性能化により、多くの撮像装置に、撮像素子を移動させることで手ブレを補正する技術(像面防振)が搭載されている。この像面防振技術では、光軸に垂直な平面内での並進移動に加えて、光軸方向を中心とした回転移動が可能な像面防振機構が多く提案されている。
また手ブレ補正には、撮影した画像を、基準となる画像に重なるよう電子的に位置合わせすることで補正する技術(電子防振)がある。さらに、複数の画像を位置合わせして合成することで、長秒露光と等しい画像を得る技術(以下、「画像合成防振」と呼ぶ。)がある。電子防振は画像を合成する必要がなく、リアルタイム性の求められる動画で利用されることが多い。一方、画像合成防振は合成処理が必要なことや、長秒露光を想定していることから、一般的に静止画で利用される。
また、特許文献1では、撮像センサを回転して回転ブレを補正する像面防振と、電子防振とを協調させて、手ブレ補正を行う技術が開示されている。
一般に、静止画の防振では、各画像の画質が重視され、動画の防振では画像の時系列的な安定性が重視される。そのため、静止画向けの画像合成防振と、動画向けの電子防振とでは求められるものが異なるため、同じ方法により像面防振と電子防振とを行った場合、静止画と動画のいずれかの画像で所望の画質が得られない場合がある。
本発明は上記問題点を鑑みてなされたものであり、動画と静止画のそれぞれに適した像面防振制御を行うことを目的とする。
また、複数の画像を合成する場合に、合成された画像の画質を向上することを第2の目的とする。
上記目的を達成するために、本発明の撮像装置は、撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、撮像装置のブレを検知するブレ検知手段と、前記ブレ検知手段により検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進駆動および回転駆動する駆動手段と、を有し、前記撮像手段から出力された複数の画像が合成される場合に、前記駆動手段は、前記回転駆動を前記並進駆動より優先して行うことを特徴とする。
本発明によれば、動画と静止画のそれぞれに適した像面防振制御を行うことができる。また、複数の画像を合成する場合に、合成された画像の画質を向上することができる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
<第1の実施形態>
図1は、本発明の実施形態における撮像装置である。図1(a)は、本発明の実施形態における撮像装置としての撮像システムの中央断面図、図1(b)は、撮像システムの概略構成を示すブロック図である。
図1は、本発明の実施形態における撮像装置である。図1(a)は、本発明の実施形態における撮像装置としての撮像システムの中央断面図、図1(b)は、撮像システムの概略構成を示すブロック図である。
図1(a)に示すように、本実施形態の撮像システムは、主に、カメラ本体1と、カメラ本体1に着脱可能なレンズユニット2とからなる。カメラ本体1とレンズユニット2は、電気接点11を介して電気的に接続される。なお、本発明の撮像装置はこの構成に限られるものでは無く、カメラ本体とレンズユニットが一体的に構成された撮像装置であってもよい。
レンズユニット2は、光軸4上に配された、フォーカスレンズ、ズームレンズ、防振レンズ等といったレンズを含む複数のレンズおよび絞りからなる撮影光学系3と、レンズシステム制御回路12と、レンズメモリ17とを含む。また、カメラ本体1は、撮像素子6、背面表示装置9a、EVF9b、防振機構14、ブレ検知部15、シャッタ機構16を含む。
図1(b)は、撮像システムの電気的構成を示す図であり、レンズユニット2は更に、撮影光学系3に含まれるフォーカスレンズ、ズームレンズ、防振レンズ、絞りなどを駆動するレンズ駆動機構13を備える。また、カメラ本体1は、更に、カメラシステム制御回路5、画像処理部7、メモリ8、表示部9、操作検出部10を含む。なお、表示部は、背面表示装置9aおよびEVF9bを含む。
上記構成を有する撮像システムにおいて、撮影光学系3を介して入射した被写体からの光は、撮像素子6の撮像面に結像される。撮像素子6は、入射した光を光電変換し、光量に応じた電気信号(画像信号)を出力する。撮像素子6はいわゆる静止画、動画など様々なフォーマットの画像の画像信号を出力可能であり、複数のフォーマットの動画を、アスペクト比や記録画像の解像度等を変更して出力することができる。また、本実施形態の撮像システムは、静止画において時間的に連続した画像群を取得して合成するモード(ダイナミックレンジ拡張、ノイズリダクション等)を備えており、静止画、動画によらず、画像群を時間的に連続して取得する場合がある。
画像処理部7は、内部にA/D変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有し、撮像素子6から出力された画像信号を処理することで、記録用の画像データを生成する。
また、画像処理部7はカメラシステム制御回路5に接続されている。カメラシステム制御回路5は、画像処理部7により処理された撮像素子6からの画像信号に基づいて、焦点評価値や露光量を求め、これらの値に基づいて合焦位置および露出条件(Fナンバーやシャッタ速度等)を求めることができる。そして、カメラシステム制御回路5は、求めた合焦位置および露出条件に基づいて電気接点11を介してレンズシステム制御回路12に指令を出し、レンズシステム制御回路12は当該指令に基づいてレンズ駆動機構13を制御する。シャッタ機構16は、シャッタ幕を走行させることで撮像素子6への被写体像の入射/遮光を制御する。上記制御により、適切な光量で撮像素子6を露光するとともに、撮像素子6近傍で被写体像が結像する。
また、本実施形態における画像処理部7は、複数の画像間の位置をシフトして合わせることで防振する電子防振を行う位置合わせ部71と、複数の画像を合成する画像合成部72を備える。なお、位置合わせ部71および画像合成部72の具体的な動作については後述する。また、画像処理部7は、予め定められた方法を用いて、画像、動画、音声などのデータの圧縮を行う。
メモリ8は、画像の記憶部を備え、カメラシステム制御回路5は、メモリ8の記録部へ出力を行う。
表示部9は、カメラシステム制御回路5による制御により、ユーザがEVF9bを覗き込んでいる場合は、背面表示装置9aを消灯してEVF9bに画像や情報の提示を行い、覗き込んでいない場合は背面表示装置9aに画像や情報の情報提示を行う。なお、背面表示装置9aはタッチパネルになっており、操作検出部10に接続されている。
表示部9は、カメラシステム制御回路5による制御により、ユーザがEVF9bを覗き込んでいる場合は、背面表示装置9aを消灯してEVF9bに画像や情報の提示を行い、覗き込んでいない場合は背面表示装置9aに画像や情報の情報提示を行う。なお、背面表示装置9aはタッチパネルになっており、操作検出部10に接続されている。
ブレ検知部15は、光軸4に垂直な面での並進方向の並進ぶれおよび光軸4を中心とした回転方向の装置の回転ブレを検知可能であり、振動ジャイロや加速度センサなどを用いることができる。また、撮像素子6から出力される画像信号に基づき、各フレーム間の画像を比較することでぶれを検知してもよい。防振機構14は、撮像素子6を光軸4に直交する平面内で並進駆動するとともに光軸4を中心として回転駆動する機構であり、この具体的な構造については、図2を参照して後述する。
カメラシステム制御回路5は、撮像の際のタイミング信号などを生成して出力する。また、操作検出部10によって検出された外部操作に応動して、撮像処理、画像処理、記録再生処理をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部10が検出すると、これに応じて、カメラシステム制御回路5は、撮像素子6の駆動、画像処理部7の動作、圧縮処理の動作などを制御する。また、カメラシステム制御回路5は、画像処理部7に含まれる位置合わせ部71および画像合成部72のそれぞれの動作をオン/オフするための位置合わせオンオフ部51および画像合成オンオフ部52、更に、防振制御部53を備えている。防振制御部53は、後述するように位置合わせのオン/オフ、画像合成のオン/オフに基づいて、ブレ検知部15の信号から防振機構14による撮像素子6の駆動量の目標値を生成し、防振駆動(像面防振)制御を行う。
また、通常の手ブレ補正を行うモードにおいては、カメラシステム制御回路5は、撮像素子6から得られた信号に基づいて、レンズ駆動機構13を介して撮影光学系3に含まれる防振レンズを制御することで、公知の光学防振を行うこともできる。
ここで、上記構成を有する撮像システムにおける像面防振制御の流れについて簡単に説明する。
本実施形態における像面防振制御は、ブレを検知するブレ検知部15、像面防振を行う防振機構14、および、カメラシステム制御回路5に備わる防振制御系を用いて行われる。そして、不図示のシャッターレリーズ釦を半分押し下げて撮影予備動作に入る操作(SW1)を操作検出部10で検出する、いわゆる構図を定める動作中に、構図決めを容易にするために、防振機構14を使って像面防振を行う。すなわち、ブレ検知部15からの信号に基づいて防振機構14を制御することで像面防振を実施する。その後、シャッターレリーズ釦を完全に押し下げて撮影動作に入る操作(SW2)を操作検出部10で検出すると、露光して取得される被写体像のブレを抑制するために、防振機構14を使って像面防振を行う。露光後一定時間が経過すると、像面防振動作を停止する。
次に、図2を用いて本実施形態の防振機構14について説明する。図2は、防振機構14のうち、ブレ補正を行う機構の分解斜視図である。なお、別途、制御を行う電気的な仕組みがあるが、図2に示す図にはそれは含まれていない。図2において縦の線は光軸と平行な方向である。図2において、移動しない部材(固定部)には100番台の番号を付した。移動する部材(可動部)には200番台の番号を付している。さらに、固定部と可動部で挟持されるボールは300番台の番号を付している。
図2において、101は上部ヨーク、102a,102b,102cはビス、103a,103b,103c,103d,103e,103fは上部磁石、104a,104bは補助スペーサ、105a,105b,105cはメインスペーサである。また、106a,106b,106cは固定部転動板、107a,107b,107c,107d,107e,107fは下部磁石、108は下部ヨーク、109a,109b,109cはビス、110はベース板である。
201はFPC、202a,202b,202cは位置検出素子取り付け位置、203は可動PCB、204a,204b,204cは可動部転動板、205a,205b,205cはコイル、206は可動枠、301a,301b,301cはボールである。
上部ヨーク101、上部磁石103a,103b,103c,103d,103e,103f、下部磁石107a,107b,107c,107d,107e,107f、下部ヨーク108が磁気回路を形成しており、いわゆる閉磁路を為している。上部磁石103a,103b,103c,103d,103e,103fは上部ヨーク101に吸着した状態で接着固定されている。同様に、下部磁石107a,107b,107c,107d,107e,107fは下部ヨーク108に吸着した状態で接着固定されている。上部磁石103a,103b,103c,103d,103e,103fおよび下部磁石107a,107b,107c,107d,107e,107fはそれぞれ光軸方向(図2の上下方向)に着磁されている。更に、隣接する磁石(磁石103aと103bの位置関係にあるもの)は互いに異なる向きに着磁されている。また、対抗する磁石(磁石103aと107aの位置関係にあるもの)は互いに同じ向きに着磁されている。このようにすることで、上部ヨーク101と下部ヨーク108の間に光軸方向に強い磁束密度が生じる。
上部ヨーク101と下部ヨーク108の間には強い吸引力が生じるのでメインスペーサ105a,105b,105cおよび補助スペーサ104a,104bで適当な間隔を保つように構成されている。ここでいう適当な間隔とは、上部磁石103a,103b,103c,103d,103e,103fと下部磁石107a,107b,107c,107d,107e,107fの間にコイル205a,205b,205cおよびFPC201を配置するとともに、適当な空隙を確保できるような間隔である。メインスペーサ105a,105b,105cにはネジ穴が設けられており、ビス102a,102b,102cによって上部ヨーク101がメインスペーサ105a,105b,105cに固定される。
メインスペーサ105a,105b,105cの胴部にはゴムが設置されており、可動部の機械的端部(いわゆるストッパー)を形成している。
ベース板110には下部磁石107a,107b,107c,107d,107e,107fをよけるように穴が設けられており、この穴から磁石の面が突出するように構成される。すなわち、ビス109a,109b,109cによってベース板110と下部ヨーク108が固定され、ベース板110よりも厚み方向の寸法が大きい下部磁石107a,107b,107c,107d,107e,107fがベース板110から突出するように固定される。
可動PCB203は、マグネシウムダイキャスト若しくはアルミダイキャストで形成されており、軽量で剛性が高い。可動PCB203に対して可動部の各要素が固定されて可動部を為している。FPC201には、位置検出素子取り付け位置202a,202b,202cで示した位置で図2から見えない側の面に位置検出素子が取り付けられている。前述した磁気回路を利用して位置を検出できるように、例えばホール素子などを用いることができる。ホール素子は小型なので、コイル205a,205b,205cの巻き線の内側に入れ子になるように配置される。
可動PCB203には、不図示の撮像素子6、コイル205a,205b,205cおよびホール素子が接続されている。可動PCB203上のコネクタを介して外部との電気的なやり取りを行う。
ベース板110には固定部転動板106a,106b,106cが、可動PCB203には可動部転動板204a,204b,204cが接着固定されており、ボール301a,301b,301cの転動面を形成する。転動板を別途設けることで表面粗さや硬さなどを好ましい状態に設計することが容易となる。
上述した構成でコイル205a,205b,205cに電流を流すことで、フレミング左手の法則に従った力が発生し可動枠206を動かすことができる。また、前述した位置検出素子であるホール素子の信号を用いることでフィードバック制御を行うことができる。ホール素子信号の値を適切に制御することで光軸に直交する平面内で並進運動するとともに光軸周りに回転することができる。
位置検出素子取り付け位置202aにあるホール素子の信号を一定に保ったまま、位置検出素子取り付け位置202b,202cのホール素子信号を逆位相で駆動することで、おおよそ光軸4周りの回転運動を生み出すことができる。
位置検出素子取り付け位置202a,202b,202cで検出されるのは、光軸方向の磁束密度である。上部磁石103a,103b,103c,103d,103e,103fと下部磁石107a,107b,107c,107d,107e,107fなどからなる磁気回路の特性は一般的に非線形である。そのため、位置検出素子取り付け位置202a,202b,202cで検出される磁束密度は、必ずしも駆動範囲のすべてで一定の分解能を持っていないため、検出分解能が変化する。これは磁束密度の変化が急峻な位置となだらかな位置があり、急峻な位置ほど検出分解能が高い、すなわち、移動量に対する磁束密度変化が大きい。図2に示した磁気回路では、磁石の境界位置(例えば、上部磁石103aと103bとの境界位置)でもっとも磁束密度の変化が大きく、検出分解能が高い。
なお、防振機構14の制御方法に関しては多くの提案がなされているので、ここでは詳細説明は省略する。
次に、上記構成を有するカメラ本体1における処理について、図3に示すフローチャートを用いて説明する。
S301では、カメラシステム制御回路5内の画像合成オンオフ部52が、画像合成を行うか否かを制御する。なお、画像合成を行うか否かはユーザが直接指示できるようにしても良く、撮影モードなどのカメラの設定や、シャッタスピードなどの撮影条件に応じて自動で切り替えるようにしても良い。例えば、静止画撮影モードでシャッタスピードが閾値よりも遅い場合に画像合成を行い、静止画撮影モードでシャッタスピードが閾値よりも早い場合や、動画撮影モードの場合に画像合成を行わないようにする。なお、画像合成は、位置合わせ部71により位置合わせを行ってから行われるため、画像合成を行う場合、位置合わせオンオフ部51もオンとなる。
画像合成を行う場合はS302に移行し、画像合成を行わない場合はS303に移行する。
画像合成を行う場合はS302に移行し、画像合成を行わない場合はS303に移行する。
S302では、カメラシステム制御回路5の防振制御部53が、並進ブレと回転ブレ(ロールブレ)のうち、回転ブレを優先的に補正するように像面防振を制御する。以下、この制御を「回転ブレ補正優先制御」と呼ぶ。回転ブレを優先的に補正するのは、後述するS304における画像位置合わせおよびS305における画像合成で生じる画質劣化を抑制するためである。この制御は、画質が重視される静止画撮影において、画像位置合わせを伴う画像合成防振を行う場合に適している。
ここで、図4を用いて、本実施形態における防振機構14の回転と並進の関係について説明する。図4は、図3に示す防振機構14を光軸4方向(右下の座標系のZ軸方向)から見た図である。なお、図4右下の座標系は図4(a),(b),(c)で共通している。図4(a)は、可動枠206が移動していない状態を、図4(b)は、可動枠206が回転を伴わずにXの正方向に移動した状態を、図4(c)は、可動枠206が回転を伴ってXの正方向に移動した状態をそれぞれ示している。
図4(a),(b),(c)に共通して引かれている一点鎖線400は、固定部のX方向の基準を示す基準線、破線401は、固定部のY方向の基準を示す基準線を示している。また、図4(b)において、一点鎖線402は、Xの正方向に可動枠206が移動したのちの基準線を示している。また、図4(c)において、破線403は、可動枠206の回転後の基準線を、一点鎖線404は、可動枠206のXの正方向に移動したのちの基準線をそれぞれ示している。図4(a)において、可動部206の基準線は固定部の基準線と重なった状態にある。すなわち、移動していない状態である。
図4(b)は、可動枠206を回転させることなくメインスペーサ105aに接触するまで可動枠206をXの正方向に移動させた状態を示している。すなわち、基準線400と基準線402の間隔に相当する量、可動枠206はXの正方向に移動することができる。
図4(c)は、メインスペーサ105aに接触するまで、可動枠206を回転させると共にXの正方向に移動させた状態を示している。回転量は基準線401と基準線403がなす角度で示されている。また、この時の可動枠206のX方向の移動量は、基準線400と基準線404の間隔に相当する量となっている。
図4(b)と図4(c)を比較すると明らかなように、回転を伴うと、X方向に並進可能な量が変化する。この変化を抑えるためには、光軸4上に可動部206の機械的端部を設ければよいが、撮像素子6やその背後の処理基板などがあり容易ではない。そのため一般的には、光軸4とは異なる位置に可動部の機械的端部(図2および図4の例ではメインスペーサ105a,105b,105c)が設けられている。
また、図4(c)から明らかなように、メインスペーサ105cと可動枠206のY方向の隙間を見ると、回転しない場合に比べて変化していることが分かる。すなわち回転することでYの正方向に移動可能な量も減少することが分かる。
図4(b),(c)では具体的な回転量と並進量の関係は示していないが、一般的に回転量が増加すると移動可能な並進量は減少する関係にあることは、図4(c)からも明らかである。また、具体的な関係を求める場合は、可動部の機械的端部の位置を決定して数値計算すればよい。回転量と並進量に対して余裕を持つためには、メインスペーサ105a,105b,105cを可動枠206から遠ざけて設計を行えばよいが、装置の大型化につながる。カメラ本体1はユーザが携帯して使用するものなので、装置を大型化しない意義は大きい。
以上のように、回転量と並進量は相反の関係にあるため、S302では、並進ブレ補正量(並進駆動量)の上限値よりも回転ブレ補正量(回転駆動量)の上限値を高く設定することで、回転ブレを優先的に補正する。
S304では、画像処理部7の位置合わせ部71が、撮像素子6より入力される複数の画像間の位置ずれを検出し、位置ずれを補正するよう画像を幾何変形する。
画像間の位置ずれは、公知のテンプレートマッチング法などを用いて、画像間の類似度を求めることで検出できる。幾何変形では、画像をアフィン変換または射影変換することで、画像の並進や回転方向の位置ずれを補正する。この位置合わせによって電子防振が実現される。
なお、幾何変形では、変形前と変形後の画像の各画素を対応付ける必要がある。画像をサブ画素単位で並進移動する場合や、回転移動する場合には、各画素が一対一で対応付かないため、周辺の複数の画素で補間した画素を用いて対応付けを行うことが一般的である。
しかし、この画素補間を行うと、画像の解像度が損なわれ、画質劣化が生じる。そのため、画質劣化を防ぐにはサブ画素単位での並進移動や、回転移動を極力行わないことが望ましい。並進移動に関しては、整数画素単位での移動に制限することで、位置合わせ精度は低下するものの、画素補間による画質劣化を避けることができる。またS302の回転ブレ補正優先制御を用いれば、回転ブレが防振機構14で十分補正されるため、回転移動が不要になり、画質劣化を避けることができる。
しかし、この画素補間を行うと、画像の解像度が損なわれ、画質劣化が生じる。そのため、画質劣化を防ぐにはサブ画素単位での並進移動や、回転移動を極力行わないことが望ましい。並進移動に関しては、整数画素単位での移動に制限することで、位置合わせ精度は低下するものの、画素補間による画質劣化を避けることができる。またS302の回転ブレ補正優先制御を用いれば、回転ブレが防振機構14で十分補正されるため、回転移動が不要になり、画質劣化を避けることができる。
S305では、画像処理部7の画像合成部72が、S304で位置合わせされた複数の画像を加算することで合成する。これによって画像合成防振が実現される。なお、複数の画像の一枚一枚を適正露出で撮影する場合、画像を加算した後に平均を取る必要がある。
一方、画像合成を行わない場合、S303では、防振制御部53が、並進ブレと回転ブレをバランスよく補正するように像面防振を制御する。以下、この制御を「標準ブレ補正制御」と呼ぶ。この制御は、時系列的な安定性が重視される動画撮影での防振に適している。また静止画撮影において、画像位置合わせを行わない場合、すなわち、画像合成防振を行わない場合にも適している。
標準ブレ補正制御では、S302における回転ブレ補正優先制御と比べて、回転ブレ補正量の上限値を低く設定し、並進ブレ補正量の上限値と同程度とすることで、並進ブレと回転ブレをバランスよく補正する。
次にS306において、カメラシステム制御回路5の位置合わせオンオフ部51が、画像位置合わせを行うか否かを制御する。画像位置合わせを行うか否かは、ユーザが直接設定できるようにしても良し、カメラの設定や撮影条件に応じて自動で切り替えるようにしても良い。例えば、動画撮影モードのときに画像位置合わせを行い、静止画撮影モードでシャッタスピードが閾値よりも早い場合に画像位置合わせを行わないようにする。
画像位置合わせ、すなわち電子防振を行う場合はS307に移行し、電子防振を行わない場合は処理を終了する。
S307では、S304と同様の画像位置合わせの処理を行い、処理を終了する。
上記の通り第1の実施形態によれば、画像合成防振を行う場合には、像面防振を回転ブレ補正優先制御とすることで画質を重視する静止画に適した防振を行うことができる。また、画像合成防振を行わない場合には、像面防振を標準ブレ補正制御とすることで安定性を重視する動画に適した防振を行うことができる。
なお、上述の実施形態では、回転ブレ補正優先制御において、並進ブレ補正量(並進駆動量)の上限値よりも回転ブレ補正量(回転駆動量)の上限値を高く設定することで、回転ブレを優先的に補正する例について説明をした。しかしながら、回転ブレを並進ブレよりも優先して補正をする方法はこれに限定されない。例えば、回転ブレ補正量を先に算出して、残りの可動範囲内で並進ブレを補正するようにしてもよい。また、回転ブレ補正量と並進ブレ補正量合計が、駆動可能範囲を超える場合、検知した回転ブレに基づいて回転ブレ補正量を取得する際に用いるゲインを、検知した並進ブレに基づいて並進ブレ補正量を取得する際に用いるゲインよりも大きくすることで回転ブレを優先的に補正してもよい。ゲインは1のときに検知したブレを100%補正するような補正量が設定されるものとすることができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第1の実施形態では、防振機構14は撮像素子6を光軸4に直交する平面内に並進させるとともに光軸4周りに回転させる機構とした。第2の実施形態では、図4に示す構成に加え、防振機構14は、さらに光軸4と直交する2軸周りに回転させる機構を有するものとする。この機構により、像面防振では並進ブレと回転ブレに加えて、ヨー方向およびピッチ方向のブレにより生じるあおり成分(以下、「あおりブレ」と呼ぶ。)を補正することができる。なお、撮像システムの全体構成は図1と同様であるため、説明を省略する。
次に、本発明の第2の実施形態について説明する。
第1の実施形態では、防振機構14は撮像素子6を光軸4に直交する平面内に並進させるとともに光軸4周りに回転させる機構とした。第2の実施形態では、図4に示す構成に加え、防振機構14は、さらに光軸4と直交する2軸周りに回転させる機構を有するものとする。この機構により、像面防振では並進ブレと回転ブレに加えて、ヨー方向およびピッチ方向のブレにより生じるあおり成分(以下、「あおりブレ」と呼ぶ。)を補正することができる。なお、撮像システムの全体構成は図1と同様であるため、説明を省略する。
図5は、あおりブレについて説明するための図である。図5(a)は、ヨー方向のブレが生じたときの様子を示している。501は元の画像、502はヨー方向にブレた後の画像を表している。このようにカメラにヨー方向のブレが生じると、画像には並進ブレTxに加えてあおりブレαが生じて、台形状に歪む。
同様に、図5(b)は、ピッチ方向のブレが生じたときの様子を示している。501は元の画像、503はヨー方向にブレた後の画像を表している。このようにカメラにピッチ方向のブレが生じると、画像には並進ブレTyに加えてあおりブレβが生じて台形状に歪む。
次に、第2の実施形態に係る像面防振動作について、図6に示すフローチャートを用いて説明する。なお、図6において図3に示す処理と同様の処理には同じステップ番号を付し、適宜説明を割愛する。
本第2の実施形態では、画像合成を行う場合、S601において、カメラシステム制御回路5の防振制御部53が、並進ブレ、回転ブレ、あおりブレのうち、特定のブレを優先的に補正するよう像面防振を制御する。以下、この制御を「特定ブレ補正優先制御」と呼ぶ。
画像位置合わせの際、あおりブレを補正しようとすると、回転ブレの場合と同様に画素補間が発生するため画質劣化が生じる。そのため、画像合成防振を行う場合には、像面防振で回転ブレに加えてあおりブレを補正しておくことが好ましい。
回転ブレとあおりブレの補正の優先度は、焦点距離によって異なる。図7に回転ブレとあおりブレのブレ量と、焦点距離との関係を示す。焦点距離がftよりも短い領域ではあおりブレが支配的になり、焦点距離ftよりも長い領域では回転ブレが支配的になる。そのため、焦点距離が予め決められた焦点距離よりも短い場合はあおりブレ>回転ブレ>並進ブレの順に補正を優先し、焦点距離が予め決められた焦点距離以上の場合は回転ブレ>あおりブレ>並進ブレの順に補正を優先する。
以上説明したように第2の実施形態によれば、像面防振によって回転ブレに加えてあおりブレも補正することで、より画質劣化の少ない画像合成防振を行うことができる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
第1および第2の実施形態のように、複数の画像を合成して手ブレを補正する場合、合成前の位置合わせで位置合わせしきらず、画像同士がズレていると、2重像のような画像を生成してしまう。そこで本実施形態では、位置合わせの信頼性の判定を行う場合について説明をする。
次に、本発明の第3の実施形態について説明する。
第1および第2の実施形態のように、複数の画像を合成して手ブレを補正する場合、合成前の位置合わせで位置合わせしきらず、画像同士がズレていると、2重像のような画像を生成してしまう。そこで本実施形態では、位置合わせの信頼性の判定を行う場合について説明をする。
図8は、第3の実施形態における撮像システムの概略構成を示す図である。図1(b)に示す撮像システムの構成と比較して、画像処理部7’が、像ずれ演算器74および信頼性検知器75を更に備えている点が異なる。それ以外の構成については、図1および図2を参照して説明したものと同様であるため、説明を省略する。
図9は、第3の実施形態における撮像素子6の構成を示す図である。図9(a)は撮像素子6の一部の画素20(4x4画素)を光軸4方向から見て拡大した図、図9(b)は1つの画素20の断面図(下段)と、撮影レンズの射出瞳との対応を示した図である。なお、図9(b)の下段と上段では投影方向が異なるが、瞳面での対応状態を分かりやすくするためにこのような図示方法としている。
図9(a)に示す例では、撮像素子6はいわゆるベイヤー配列のカラーフィルタにより覆われており、R,G,Bはそれぞれカラーフィルタの色である赤、緑、青を示している。また、各画素20内の丸は、マイクロレンズ25を示しており、また、各画素20内の縦線は、各画素20の受光部がX方向に2つの受光部22a,22b(光電変換部)に分割されていること示している。矢印21は、同色のフィルタにより覆われた画素間の距離を示している。
また、図9(b)において、23a,23bは撮影光学系3の瞳面でそれぞれ受光部22a,22bと対応する領域を、24は撮影光学系3の射出瞳を示している。
図9(b)に示すように、画素20の受光部22a,22bは、マイクロレンズ25によってそれぞれ撮影光学系3の瞳面の一部の領域23a,23bと共役となっており、射出瞳24の異なる瞳領域を通過した光束を、それぞれ受光するように構成されている。
上記構成を有する撮像素子6からは、受光部22a,22bそれぞれで得られた視差を有する信号(または、視点の異なる信号)をそれぞれ取得し、位相差演算を行うことで、公知の位相差AFを行うことができる。なお、位相差AFの演算はカメラシステム制御回路5が行う。また、受光部22a,22bで得られた信号を画素20ごとに加算して出力することで、通常の画素信号を得ることができる。なお、図9(b)では、領域23a,23bが異なる領域であることを明示するために隙間をあけて示しているが、実際には接しても良いし、重複した領域を持つようにしても良い。以下、各画素20の受光部22aから得られた画素信号を集めた画像を「A像」、また、各画素20の受光部22bから得られた画素信号を集めた画像を「B像」と呼ぶ。
次に、図10を用いて、第3の実施形態における像ずれ演算器74および信頼性検知器75が行う処理について説明する。
図10(a)の横軸は時間を示す。取得を開始した時刻をt1として、以降予め決められた周期でt2,t3と連続的に、A像およびB像を取得する。時刻tで取得されたA像をA1、B像をB1とs記す。同様に、時刻tnで取得されたA像をAn、B像をBnとする。
図10(a)の横軸は時間を示す。取得を開始した時刻をt1として、以降予め決められた周期でt2,t3と連続的に、A像およびB像を取得する。時刻tで取得されたA像をA1、B像をB1とs記す。同様に、時刻tnで取得されたA像をAn、B像をBnとする。
図10(b)および(c)は、時刻t2以降に取得したA像、B像に対して、それ以前に取得したA像、B像との間に循環経路を形成した例を示す。図10(d)は、図10(b)および(c)との比較として、時刻t2以降に取得したA像、B像に対して、それ以前に取得したA像、B像との間に循環経路を形成しない例を示している。
図10(b)から(d)では、時刻tn-1とtnで取得したA像、B像について考える。なお、図10(b)から(d)では時刻tn-1で取得したA像、B像を移動ベクトル算出のテンプレートとする。ただし、前の時刻で時刻tn-1の画像がテンプレートとしては棄却された場合は、時刻tn-1以前の画像がテンプレートになる場合もある。なお、テンプレートの棄却については後述する。
図10(b)では、時刻tnのタイミングで、AnからBnに向かう移動ベクトル30、BnからBn-1に向かう移動ベクトル31、An-1からAnに向かう移動ベクトル33を求める。なお、図から分かるように、上記の移動ベクトルの計算を繰り返していると、Bn-1からAn-1に向かう移動ベクトル32は、時刻tn-1の時点で反対方向の移動ベクトルが計算されているので、符号を反転して利用することができる。ここで重要なのは、4つの移動ベクトル30,31,32,33によって、Anを発して同じ経路を辿ることなくAnに戻る経路が形成されていることである。このことを本実施形態では「循環経路を形成する」と言う。図10(b)の例では明らかに、時刻t2以降に取得した画像群(An、Bn)に対して、それ以前の時刻に取得した画像群(An-1、Bn-1)との間に循環経路が形成されている。
同様に、図10(c)の例では、時刻tnのタイミングで、AnからBnに向かう移動ベクトル30、BnからAn-1に向かう移動ベクトル34、Bn-1からAnに向かう移動ベクトル56を求める。なお、移動ベクトル35は時刻tn-1で計算されている。図から分かるように、これら4つの移動ベクトル30,34,35,36は循環経路を形成している。本実施形態の像ずれ検出器54は、このように循環経路を形成するように動作する。
図10(b)、(c)の例に示すように、循環経路の形成方法は複数の方法が考えられ、都合が良いように設定すればよい。ただし、A像同士、B像同士の比較や、同一時刻に取得した画像間の比較は、それぞれケラレ状態や被写体の状態に対して安定しているので都合が良い。すなわち、図10(b)に示す例は、より好ましい例と言える。
図10(d)は、通常行われる像ずれ検出の動作である。本実施形態と異なり、図10(d)の例では、時刻tnのタイミングでAnとBnを加算した像(An+Bn)を生成する。そして、テンプレート画像であるAn-1+Bn-1との間で移動ベクトルを算出する。図10(d)から明らかなように、循環できるような経路が形成されていない。
次に循環経路の利用方法について説明する。本実施形態では、信頼性検知器75で、循環して再び元の像までの移動ベクトルを積算する。この積算結果は、検出の誤差が無ければ、元の位置に戻るのでゼロになる。一方、被写体の移動、繰り返しパターンでのミス、環境光の変化など、何らかの原因で検出が失敗すると、ゼロではなくなる。
そこで、信頼性検知器75の結果が閾値よりも大きい場合は、検出ミスが起きたと判断でする。これにより時刻tnのタイミングで、時刻tnで求めた移動ベクトルの良否が判定できる。画像を位置合わせ合成するような場合は、この時点で良否判定に基づき、加算するか否かを判断できるのでメモリを節約できる。
また、閾値との比較判定に基づき、テンプレートの更新の有無を判断することができる。閾値以下の場合は、時刻tnの像を次の時刻で取得する画像に対するテンプレートとして利用し、閾値よりも大きい場合は、テンプレートの更新をしない。これによって1フレームだけ特性が異なる画像が入った場合(明滅で位置決めが失敗するなど)でも、当該フレーム画像を排除して、安定した合成処理を行うことが可能となる。
なお、上述した例では、各画素20の受光部をX方向に2つの受光部22a,22bに分割した場合について説明したが、本発明はこれに限られるものでは無い。例えば、Y方向に分割しても、分割方向が混在していてもよい。また、分割数も2つに限られるものでは無く、3つ以上に分割しても構わない。いずれの場合にも、上述したように、画像相互間の移動ベクトル用いる方法を利用して、位置合わせの信頼性を判定することができる。
なお、本実施形態は、撮像装置に像ずれ演算器74および信頼性検知器75を備えた場合を示したが、本発明はこれに限られるものではない。他の構成として、例えば、本実施形態に示したような光学系を利用して、A像群およびB像群を保存しておき、後から処理するようにしても良い。その場合は、像ずれ演算器74および信頼性検知器75はコンピュータプログラムの形などで実現され、前述の保存されたA像群およびB像群を処理する。処理する内容は本実施形態に例示した通りに、時刻t2以降の画像群に対して、それ以前の画像群との間に循環経路を形成するように像ずれ量を求め、上述した循環経路に沿った検出量を積算すればよい。この結果を利用することで、時刻tnのタイミングで、時刻tnで求めた移動ベクトルの良否を判定することができる。この場合も、撮像装置の例と同様に、メモリを節約すると共に、メモリアクセスを削減して高速に演算できる。
上記の通り第3の実施形態によれば、簡単な構成で位置合わせの信頼性の判定を行うことができる。
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。
図11(a)は、第4の実施形態における撮像装置として、スマートフォン41を示す概略外観図、図11(b)は、主に画像処理部7”の構成を示すブロック図である。第4の実施形態におけるスマートフォン41として、2つの撮影光学系3a,3bと、2つの撮像素子6a,6bとを有する、いわゆる多眼カメラを含むものについて説明する。撮影光学系3a,3bは焦点距離が異なっており、異なる画角の画像を取得することができ、ここでは、撮影光学系3bの方が焦点距離が短いものとする。また、撮影光学系3aと3bが離間しているので、同時に複数の視点から画像群を取得することができる。4a,4bは、撮影光学系3a,3bの光軸をそれぞれ示している。
次に、本発明の第4の実施形態について説明する。
図11(a)は、第4の実施形態における撮像装置として、スマートフォン41を示す概略外観図、図11(b)は、主に画像処理部7”の構成を示すブロック図である。第4の実施形態におけるスマートフォン41として、2つの撮影光学系3a,3bと、2つの撮像素子6a,6bとを有する、いわゆる多眼カメラを含むものについて説明する。撮影光学系3a,3bは焦点距離が異なっており、異なる画角の画像を取得することができ、ここでは、撮影光学系3bの方が焦点距離が短いものとする。また、撮影光学系3aと3bが離間しているので、同時に複数の視点から画像群を取得することができる。4a,4bは、撮影光学系3a,3bの光軸をそれぞれ示している。
なお、上記以外の回路構成は、図1(b)に示すものと同様の構成を有するが、画像処理部7”における処理が異なるため、以下に説明する。本実施形態における画像処理部7”は、図8の画像処理部7’の構成に加え、倍率調整器73を含む。
本実施形態では、撮像素子6aから得られた画像をA像とする。一方、撮像素子6bから得られた画像は倍率調整器73に送られ、撮像素子6aと比較可能な状態に変換される。具体的には、より広角に取得された画像の一部を切り取ると共に、画素ピッチを一致させるための処理を施す。この倍率調整器73の出力画像をB像とする。
以下、取得したA像およびB像を利用して、第3の実施形態で図10を参照して説明したようにして、A像、B像に対して処理を施す。すなわち像ずれ演算器74においては、2つ目以降の画像群に対してそれ以前の画像群との間に循環経路を形成するように像ずれ量を求める。そして、信頼性検知器75において、循環経路に沿った検出量を積算する。結果として第3の実施形態と同様の効果を得ることができる。
なお、本実施形態では、2つの撮影光学系3a,3bと、2つの撮像素子6a,6bを有するスマートフォン41について説明したが、撮像系統は3系統以上であってもよく、その場合には、必要な数の倍率調整器73を備えるようにすればよい。
また、本実施形態はスマートフォンに限られるものでは無く、画像を処理することのできる電子機器に適用することが可能である。
また、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
<他の実施形態>
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神および範囲から離脱することなく、様々な変更および変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
1:カメラ本体、2:レンズユニット、3:撮影光学系、4:光軸、5:カメラシステム制御回路、6:撮像素子、7:画像処理部、10:操作検出部、14:防振機構、15:ブレ検知部、51:オンオフ部、52:画像合成オンオフ部、53:防振制御部、71:位置合わせ部、72:画像合成部、73:倍率調整器、74:像ずれ演算器、75:信頼性検知器
Claims (20)
- 撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、
撮像装置のブレを検知するブレ検知手段と、
前記ブレ検知手段により検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進駆動および回転駆動する駆動手段と、を有し、
前記撮像手段から出力された複数の画像が合成される場合に、前記駆動手段は、前記回転駆動を前記並進駆動より優先して行うことを特徴とする撮像装置。 - 前記複数の画像が合成される場合に、前記駆動手段は前記回転駆動の上限値を、前記並進駆動の上限値よりも高く設定することを特徴とする請求項1に記載の撮像装置。
- 前記駆動手段は、前記複数の画像が合成される場合に、前記合成が行われない場合よりも前記回転駆動の上限値を高く設定することを特徴とする請求項1または2に記載の撮像装置。
- 撮影光学系を介して入射した光を光電変換して画像を出力する撮像手段と、
撮像装置のブレを検知するブレ検知手段と、
前記ブレ検知手段により検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進駆動および回転駆動する駆動手段と、を有し、
前記駆動手段は、複数の画像が合成される場合に、前記合成が行われない場合よりも前記回転駆動の上限値を高く設定することを特徴とする撮像装置。 - 前記複数の画像を合成するか否かを設定する設定手段を有し、
前記設定手段は、ユーザが画像の合成を指示した場合、または、静止画撮影モードでシャッタスピードが閾値よりも遅い場合に、前記複数の画像を合成すると設定することを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。 - 前記複数の画像を合成するか否かを設定する設定手段を有し、
前記設定手段は、ユーザが画像の合成を指示しない場合、静止画撮影モードでシャッタスピードが閾値よりも速い場合、または動画撮影モードの場合に、画像の合成を行わないと設定することを特徴とする請求項1乃至5のいずれか1項に記載の撮像装置。 - 前記駆動手段は、更に、前記光軸と垂直な軸周りの回転方向にあおり駆動し、
前記複数の画像を合成する場合に、前記駆動手段は、前記回転駆動および前記あおり駆動を前記並進駆動より優先して行うと共に、前記撮影光学系の焦点距離が予め決められた焦点距離よりも短い場合に、前記あおり駆動を前記回転駆動より優先して行い、前記焦点距離が前記予め決められた焦点距離以上の場合に、前記回転駆動を前記あおり駆動より優先して行うことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。 - 前記複数の画像を合成する場合に、前記撮像手段から出力された前記複数の画像間の位置合わせを行う位置合わせ手段と、
前記位置合わせ手段により位置合わせされた前記複数の画像を合成する合成手段と、
を更に有することを特徴とする請求項1乃至7のいずれか1項に記載の撮像装置。 - 前記撮像手段は、撮影光学系を介して入射した光に基づいて、視点が異なる第1の画像と第2の画像とを出力可能であって、
前記位置合わせ手段により位置合わせされた、第1のタイミングおよび当該第1のタイミングよりも前の第2のタイミングで得られた複数の前記第1の画像、および、前記第1のタイミングおよび前記第2のタイミングで得られた複数の前記第2の画像の、相互間のずれ量を示す移動ベクトルを演算する演算手段と、
前記演算手段により得られた移動ベクトルを積算することにより、前記位置合わせ手段による位置合わせの信頼性を検知する信頼性検知手段と、を更に有し、
前記信頼性検知手段により前記信頼性が予め決められた閾値よりも低い場合、前記第1のタイミングで得られた前記第1の画像および前記第2の画像を、前記合成手段による合成に用いないことを特徴とする請求項8に記載の撮像装置。 - 前記演算手段は、前記位置合わせ手段により位置合わせされた、複数の前記第1の画像および複数の前記第2の画像の間で、前記移動ベクトルの循環経路を形成することを特徴とする請求項9に記載の撮像装置。
- 前記演算手段は、前記位置合わせ手段により位置合わせされた後の、前記第1のタイミングで得られた前記第1の画像から前記第2の画像への第1の移動ベクトルと、前記第1のタイミングで得られた前記第2の画像から前記第2のタイミングで得られた前記第2の画像への第2の移動ベクトルと、前記第2のタイミングで得られた前記第2の画像から前記第1の画像への第3の移動ベクトルと、前記第2のタイミングで得られた前記第1の画像から前記第1のタイミングで得られた前記第1の画像への第4の移動ベクトルを求め、
前記信頼性検知手段は、前記第1乃至第4の移動ベクトルを積算することにより、前記信頼性を検知することを特徴とする請求項10に記載の撮像装置。 - 前記演算手段は、前記位置合わせ手段により位置合わせされた後の、前記第1のタイミングで得られた前記第1の画像から前記第2の画像への第1の移動ベクトルと、前記第1のタイミングで得られた前記第2の画像から前記第2のタイミングで得られた前記第1の画像への第2の移動ベクトルと、前記第2のタイミングで得られた前記第1の画像から前記第2の画像への第3の移動ベクトルと、前記第2のタイミングで得られた前記第2の画像から前記第1のタイミングで得られた前記第1の画像への第4の移動ベクトルを求め、
前記信頼性検知手段は、前記第1乃至第4の移動ベクトルを積算することにより、前記信頼性を検知することを特徴とする請求項9に記載の撮像装置。 - 前記撮像手段は、前記撮影光学系の異なる瞳領域を通過した光を光電変換する第1の光電変換部と第2の光電変換部とを含む画素を複数、有する撮像素子を含み、
前記第1の画像は、前記第1の光電変換部により光電変換された画像信号に対応し、前記第2の画像は、前記第2の光電変換部により光電変換された画像信号に対応することを特徴とする請求項9乃至12のいずれか1項に記載の撮像装置。 - 前記撮像手段は、複数の撮影光学系をそれぞれ介して入射した光を光電変換する第1の撮像素子と第2の撮像素子とを含み、
前記第1の画像は、前記第1の撮像素子により光電変換された画像信号に対応し、前記第2の画像は、前記第2の撮像素子により光電変換された画像信号に対応することを特徴とする請求項9乃至12のいずれか1項に記載の撮像装置。 - 撮像手段から、撮影光学系を介して入射した光に基づいて得られた視点が異なる第1の画像と第2の画像とを取得する取得手段と、
前記取得手段により、第1のタイミングおよび当該第1のタイミングよりも前の第2のタイミングで得られた複数の前記第1の画像間の位置合わせを行うと共に、前記第1のタイミングおよび前記第2のタイミングで得られた複数の前記第2の画像間の位置合わせを行う位置合わせ手段と、
前記位置合わせ手段により位置合わせされた、複数の前記第1の画像および複数の前記第2の画像を合成する合成手段と、
前記位置合わせ手段により位置合わせされた、複数の前記第1の画像および複数の前記第2の画像の、相互間のずれ量を示す移動ベクトルを演算する演算手段と、
前記演算手段により得られた移動ベクトルを積算することにより、前記位置合わせ手段による位置合わせの信頼性を検知する信頼性検知手段と、を更に有し、
前記信頼性検知手段により検知された前記信頼性が予め決められた閾値よりも低い場合、前記第1のタイミングで得られた前記第1の画像および前記第2の画像を、前記合成手段による合成に用いないことを特徴とする画像処理装置。 - 撮像手段が、撮影光学系を介して入射した光を光電変換して画像を出力する撮像工程と、
撮像装置のブレを検知するブレ検知工程と、
駆動手段が、前記ブレ検知工程で検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進方向に並進駆動すると共に、光軸周りの回転方向に回転駆動する駆動工程と、を有し、
前記撮像工程で出力された複数の画像を合成する場合に、前記駆動工程では、前記回転駆動を前記並進駆動より優先して行うことを特徴とする撮像装置の制御方法。 - 撮像手段が、撮影光学系を介して入射した光を光電変換して画像を出力する撮像工程と、
撮像装置のブレを検知するブレ検知工程と、
前記ブレ検知工程で検知されたブレを補正するように、前記撮像手段を、前記撮影光学系の光軸に対して垂直な面において、並進方向に並進駆動すると共に、光軸周りの回転方向に回転駆動する駆動工程と、を有し、
前記駆動工程にける前記回転駆動の上限値は、複数の画像が合成される場合、前記合成が行われない場合よりも高く設定されることを特徴とする撮像装置の制御方法。 - 取得手段が、撮像手段から、撮影光学系を介して入射した光に基づいて得られた視点が異なる第1の画像と第2の画像とを取得する取得工程と、
前記撮像手段から得られた複数の前記第1の画像および前記第2の画像を合成する場合に、位置合わせ手段が、前記取得工程で、第1のタイミングおよび当該第1のタイミングよりも前の第2のタイミングで得られた複数の前記第1の画像間の位置合わせを行うと共に、前記第1のタイミングおよび前記第2のタイミングで得られた複数の前記第2の画像間の位置合わせを行う位置合わせ工程と、
合成手段が、複数の前記第1の画像および複数の前記第2の画像を合成する場合に、前記位置合わせ工程で位置合わせされた、複数の前記第1の画像および複数の前記第2の画像を合成する合成工程と、
演算手段が、前記位置合わせ工程で位置合わせされた、複数の前記第1の画像および複数の前記第2の画像の、相互間のずれ量を示す移動ベクトルを演算する演算工程と、
信頼性検知手段が、前記演算工程で得られた移動ベクトルを積算することにより、前記位置合わせ手段による位置合わせの信頼性を検知する信頼性検知工程と、を更に有し、
前記信頼性検知工程で検知された前記信頼性が予め決められた閾値よりも低い場合、前記第1のタイミングで得られた前記第1の画像および前記第2の画像を、前記合成工程における合成に用いないことを特徴とする画像処理方法。 - コンピュータを、請求項15に記載の画像処理装置の各手段として機能させるためのプログラム。
- コンピュータに、請求項16または17に記載の撮像装置の制御方法の各工程を実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021003728A JP2022108625A (ja) | 2021-01-13 | 2021-01-13 | 撮像装置およびその制御方法、および画像処理装置および方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021003728A JP2022108625A (ja) | 2021-01-13 | 2021-01-13 | 撮像装置およびその制御方法、および画像処理装置および方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022108625A true JP2022108625A (ja) | 2022-07-26 |
JP2022108625A5 JP2022108625A5 (ja) | 2024-01-17 |
Family
ID=82556410
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021003728A Pending JP2022108625A (ja) | 2021-01-13 | 2021-01-13 | 撮像装置およびその制御方法、および画像処理装置および方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022108625A (ja) |
-
2021
- 2021-01-13 JP JP2021003728A patent/JP2022108625A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8078048B2 (en) | Imaging device and video recording/reproducing system | |
US9843735B2 (en) | Image processing apparatus, imaging apparatus comprising the same, and image processing method | |
US5416557A (en) | Camera apparatus having drift detecting unit | |
US11012633B2 (en) | Image capturing apparatus, image capturing method, and image processing apparatus | |
JP2013165485A (ja) | 画像処理装置、撮像装置およびコンピュータブログラム | |
JP7086591B2 (ja) | 撮像装置およびその制御方法 | |
US11153486B2 (en) | Imaging apparatus and camera system | |
JP2013165487A (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP2017005689A (ja) | 画像処理装置および画像処理方法 | |
JP2013165488A (ja) | 画像処理装置、撮像装置、およびプログラム | |
CN112135037B (zh) | 稳定控制设备、摄像设备和稳定控制方法 | |
JP2015194897A (ja) | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 | |
WO2011013653A1 (ja) | 撮像装置 | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
JP4306438B2 (ja) | 撮像装置 | |
JP2007049266A (ja) | 画像撮像装置 | |
JP2022108625A (ja) | 撮像装置およびその制御方法、および画像処理装置および方法 | |
WO2023188044A1 (ja) | 撮像装置およびその制御方法、および画像処理装置および方法 | |
JP2016171511A (ja) | 撮像装置および撮像方法 | |
JP3109808B2 (ja) | 電子カメラ装置 | |
JP2014241621A (ja) | 撮像装置、及びプログラム | |
JP7378260B2 (ja) | 防振装置及び方法、及び撮像装置 | |
JP2019219579A (ja) | 撮像装置及び撮像装置の制御方法 | |
WO2021200191A1 (ja) | 画像処理装置および方法、並びにプログラム | |
JP2019169940A (ja) | 撮影装置、撮影方法、撮影プログラム、画像処理装置、画像処理方法及び画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240109 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240109 |