JP2021040282A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2021040282A
JP2021040282A JP2019161994A JP2019161994A JP2021040282A JP 2021040282 A JP2021040282 A JP 2021040282A JP 2019161994 A JP2019161994 A JP 2019161994A JP 2019161994 A JP2019161994 A JP 2019161994A JP 2021040282 A JP2021040282 A JP 2021040282A
Authority
JP
Japan
Prior art keywords
focus lens
image
control unit
lens position
correction factor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019161994A
Other languages
English (en)
Other versions
JP7369935B2 (ja
Inventor
剛治 澁野
Koji Shibuno
剛治 澁野
正洋 村上
Masahiro Murakami
正洋 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019161994A priority Critical patent/JP7369935B2/ja
Priority to US17/008,841 priority patent/US11218647B2/en
Publication of JP2021040282A publication Critical patent/JP2021040282A/ja
Priority to US17/535,010 priority patent/US11736819B2/en
Application granted granted Critical
Publication of JP7369935B2 publication Critical patent/JP7369935B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

【課題】合焦動作時における像倍率の変動に起因した画像の品位低下を効率良く抑制することができる撮像装置を提供する。【解決手段】撮像装置(1)は、撮像部(110)と、合焦駆動部(240)と、制御部(140)とを備える。撮像部は、フォーカスレンズを含む光学系を介して形成される被写体像を撮像して、画像データを生成する。合焦駆動部は、光学系における光軸に沿ってフォーカスレンズが位置するフォーカスレンズ位置を調整する。制御部は、フォーカスレンズ位置に基づいて、画像データが示す画像を変倍する画像処理を行う(S4)。合焦駆動部は、所定のウォブリング周期においてフォーカスレンズ位置を進退させる。制御部は、ウォブリング周期(Ta)よりも長い周期(Tb)においてフォーカスレンズ位置が揺れ動く変化に追従するように、画像処理において画像を変倍する補正率を制御する(S3)。【選択図】図5

Description

本開示は、例えばウォブリング制御を用いた合焦動作を行う撮像装置に関する。
特許文献1は、ウォブリング動作時の撮像映像の倍率を一定に保持することを目的とした撮像装置を開示する。この撮像装置では、ウォブリング動作時に焦点調節部により光学像の倍率が変化しても、この倍率を打消すような倍率制御信号が電子ズーム変更部に出力されることにより、変倍された光学像が、電子ズーム変更部により再び元の倍率に戻される。これにより、常に一定の大きさの映像を出力して目的を達成している。
特許文献2は、撮影レンズのフォーカス操作に伴う画角変動を電子的なズームの処理によって補正する撮影レンズの画角補正装置を開示する。この画角補正装置は、撮影レンズにおける光学的なズームの操作が行われると、該ズームの操作と共に電子的なズームを、予め設定されている基準の倍率に近づける。このように、光学ズームの操作の際に電子ズームを基準倍率に徐々に近づけて復帰させることで、撮影画角が瞬時に切り替わるような違和感を生じさせないようにする目的を達成している。
特開平11−136562号公報 特開2002−182302号公報
本開示は、合焦動作時における像倍率の変動に起因した画像の品位低下を効率良く抑制することができる撮像装置を提供する。
本開示の一態様における撮像装置は、撮像部と、合焦駆動部と、制御部とを備える。撮像部は、フォーカスレンズを含む光学系を介して形成される被写体像を撮像して、画像データを生成する。合焦駆動部は、光学系における光軸に沿ってフォーカスレンズが位置するフォーカスレンズ位置を調整する。制御部は、フォーカスレンズ位置に基づいて、画像データが示す画像を変倍する画像処理を行う。合焦駆動部は、所定のウォブリング周期においてフォーカスレンズ位置を進退させる。制御部は、ウォブリング周期よりも長い周期においてフォーカスレンズ位置が揺れ動く変化に追従するように、画像処理において画像を変倍する補正率を制御する。
本開示の別の態様における撮像装置は、撮像部と、合焦駆動部と、制御部とを備える。撮像部は、フォーカスレンズを含む光学系を介して形成される被写体像を撮像して、画像データを生成する。合焦駆動部は、光学系における光軸に沿ってフォーカスレンズが位置するフォーカスレンズ位置を調整する。制御部は、フォーカスレンズ位置に基づいて、画像データが示す画像を変倍する画像処理を行う。制御部は、フォーカスレンズ位置の変化に応じて、画像処理において画像を変倍する補正率を、所定の基準値から変化させる。制御部は、フォーカスレンズ位置の変化が、光軸に沿った二方向の内の一方向に偏るほど、補正率が基準値から変化する大きさを低減する。

本開示における撮像装置によると、合焦動作時における像倍率の変動に起因した画像の品位低下を効率良く抑制することができる。
本開示の実施形態1に係るデジタルカメラの構成を示すブロック図 デジタルカメラにおけるウォブリング動作を説明した図 デジタルカメラにおける動画撮影時のAF動作を例示する図 デジタルカメラにおけるウォブリング揺動状態について説明するための図 デジタルカメラにおける電子ズーム補正処理を例示するフローチャート デジタルカメラのフォーカスレンズ位置と像倍率との対応関係を例示する図 ウォブリング成分除去のLPF(ローパスフィルタ)の一例を説明した図 電子ズーム補正処理の補正率を説明するための図 デジタルカメラにおける補正率の算出処理を例示するフローチャート 補正率の算出処理におけるセンタリングゲインを説明するための図 補正率の算出処理におけるセンタリング制御を説明した図 フォーカスレンズ位置に対する補正率の追従を説明した図 ウォブリング成分除去のLPFの変形例を説明した図
以下、本開示における実施の形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。
(実施形態1)
以下では、本開示に係る撮像装置の一実施形態であるデジタルカメラの構成および動作について説明する。
1.構成
図1は、実施形態1に係るデジタルカメラ1の構成を示すブロック図である。本実施形態のデジタルカメラ1は、カメラ本体100とそれに着脱可能な交換レンズ200とから構成される。
1−1.カメラ本体
カメラ本体100(撮像装置の一例)は、画像センサ110と、液晶モニタ120と、操作部130と、カメラ制御部140と、ボディマウント150と、電源160と、カードスロット170とを備える。
カメラ制御部140は、操作部130からの指示に応じて、画像センサ110等の構成要素を制御することでデジタルカメラ1全体の動作を制御する。カメラ制御部140は、垂直同期信号(VD)をタイミング発生器112に送信する。これと並行して、カメラ制御部140は、垂直同期信号に同期した同期信号を生成し、この同期信号を、ボディマウント150及びレンズマウント250を介して、レンズ制御部240に送信する。以下、カメラ本体100から交換レンズ200に送信されるこの同期信号を「BL同期信号」という。カメラ制御部140は、制御動作や画像処理動作の際に、RAM141をワークメモリとして使用する。
画像センサ110は、交換レンズ200を介して入射される被写体像を撮像して画像データを生成する素子である。画像センサ110は、例えばCMOSイメージセンサである。生成された画像データは、ADコンバータ111でデジタル化される。デジタル化された画像データは、カメラ制御部140により所定の画像処理が施される。所定の画像処理とは、例えば、ガンマ補正処理、ホワイトバランス補正処理、キズ補正処理、YC変換処理、電子ズーム処理、JPEG圧縮処理である。画像センサ110は、CCDまたはNMOSイメージセンサ等であってもよい。
画像センサ110は、タイミング発生器112により制御されるタイミングで動作する。画像センサ110は、記録用の静止画像もしくは動画像またはスルー画像を生成する。スルー画像は、主に動画像であり、ユーザが静止画像の撮像のための構図を決めるために液晶モニタ120に表示される。
液晶モニタ120はスルー画像等の画像およびメニュー画面等の種々の情報を表示する。液晶モニタに代えて、他の種類の表示デバイス、例えば、有機ELディスプレイデバイスを使用してもよい。
操作部130は、撮影開始を指示するためのレリーズ釦、撮影モードを設定するためのモードダイアル、及び電源スイッチ等の種々の操作部材を含む。
カードスロット170は、メモリカード171を装着可能であり、カメラ制御部140からの制御に基づいてメモリカード171を制御する。デジタルカメラ1は、メモリカード171に対して画像データを格納したり、メモリカード171から画像データを読み出したりすることができる。
電源160は、デジタルカメラ1内の各要素に電力を供給する回路である。
ボディマウント150は、交換レンズ200のレンズマウント250と機械的及び電気的に接続可能である。ボディマウント150は、レンズマウント250を介して、交換レンズ200との間で、データを送受信可能である。ボディマウント150は、カメラ制御部140から受信した露光同期信号を、レンズマウント250を介してレンズ制御部240に送信する。また、カメラ制御部140から受信したその他の制御信号を、レンズマウント250を介してレンズ制御部240に送信する。また、ボディマウント150は、レンズマウント250を介してレンズ制御部240から受信した信号をカメラ制御部140に送信する。また、ボディマウント150は、電源160からの電力を、レンズマウント250を介して交換レンズ200全体に供給する。ボディマウント150は、カメラ本体100において、交換レンズ200から各種情報を取得する取得部の一例である。
また、カメラ本体100は、BIS機能(画像センサ110のシフトにより、手振れを補正する機能)を実現する構成として、カメラ本体100のぶれを検出するジャイロセンサ184(ぶれ検出部)と、ジャイロセンサ184の検出結果に基づきぶれ補正処理を制御するBIS処理部183とをさらに備える。さらに、カメラ本体100は、画像センサ110を移動させるセンサ駆動部181と、画像センサ110の位置を検出する位置センサ182とを備える。
センサ駆動部181は、例えば、マグネットと平板コイルとで実現可能である。位置センサ182は、光学系の光軸に垂直な面内における画像センサ110の位置を検出するセンサである。位置センサ182は、例えば、マグネットとホール素子で実現可能である。
BIS処理部183は、ジャイロセンサ184からの信号及び位置センサ182からの信号に基づき、センサ駆動部181を制御して、カメラ本体100のぶれを相殺するように画像センサ110を光軸に垂直な面内にシフトさせる。センサ駆動部181により画像センサ110を駆動できる範囲には機構的に制限がある。画像センサ110を機構的に駆動できる範囲を「駆動可能範囲」という。
1−2.交換レンズ
交換レンズ200は、光学系と、レンズ制御部240と、レンズマウント250とを備える。光学系は、ズームレンズ210と、OIS(Optical Image Stabilizer)レンズ220と、フォーカスレンズ230と、絞り260とを含む。
ズームレンズ210は、光学系で形成される被写体像の倍率を変化させるためのレンズである。ズームレンズ210は、1枚又は複数枚のレンズで構成される。ズームレンズ210は、ズームレンズ駆動部211により駆動される。ズームレンズ駆動部211は、使用者が操作可能なズームリングを含む。または、ズームレンズ駆動部211は、ズームレバー及びアクチュエータまたはモータを含んでもよい。ズームレンズ駆動部211は、使用者による操作に応じてズームレンズ210を光学系の光軸方向に沿って移動させる。
フォーカスレンズ230は、光学系で画像センサ110上に形成される被写体像のフォーカス状態を変化させるためのレンズである。フォーカスレンズ230は、1枚又は複数枚のレンズで構成される。フォーカスレンズ230は、フォーカスレンズ駆動部233により駆動される。
フォーカスレンズ駆動部233はアクチュエータまたはモータを含み、レンズ制御部240の制御に基づいてフォーカスレンズ230を光学系の光軸に沿って移動させる。フォーカスレンズ駆動部233は、DCモータ、ステッピングモータ、サーボモータ、または超音波モータなどで実現できる。レンズ制御部240及びフォーカスレンズ駆動部233は、それぞれデジタルカメラ100における合焦駆動部の一例である。
OISレンズ220は、OIS機能(OISレンズ220のシフトにより、手振れを補正する機能)において、交換レンズ200の光学系で形成される被写体像のぶれを補正するためのレンズである。OISレンズ220は、デジタルカメラ1のぶれを相殺する方向に移動することにより、画像センサ110上の被写体像のぶれを小さくする。OISレンズ220は1枚又は複数枚のレンズで構成される。OISレンズ220はOIS駆動部221により駆動される。
OIS駆動部221は、OIS処理部223からの制御を受けて、光学系の光軸に垂直な面内でOISレンズ220をシフトする。OIS駆動部221によりOISレンズ220を駆動できる範囲には機構的に制限がある。OIS駆動部221によりOISレンズ220を機構的に駆動できる範囲(駆動可能範囲)という。OIS駆動部221は、例えば、マグネットと平板コイルとで実現可能である。位置センサ222は、光学系の光軸に垂直な面内におけるOISレンズ220の位置を検出するセンサである。位置センサ222は、例えば、マグネットとホール素子で実現可能である。OIS処理部223は、位置センサ222の出力及びジャイロセンサ224(ぶれ検出器)の出力に基づいてOIS駆動部221を制御する。
絞り260は画像センサ110に入射される光の量を調整する。絞り260は、絞り駆動部262により駆動され、その開口の大きさが制御される。絞り駆動部262はモータまたはアクチュエータを含む。
ジャイロセンサ184または224は、デジタルカメラ1の単位時間あたりの角度変化すなわち角速度に基づいて、ヨーイング方向及びピッチング方向のぶれ(振動)を検出する。ジャイロセンサ184または224は、検出したぶれの量(角速度)を示す角速度信号をBIS処理部183またはOIS処理部223に出力する。ジャイロセンサ184または224によって出力された角速度信号は、手ぶれやメカノイズ等に起因した幅広い周波数成分を含み得る。ジャイロセンサに代えて、デジタルカメラ1のぶれを検出できる他のセンサを使用することもできる。
カメラ制御部140及びレンズ制御部240は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。例えば、カメラ制御部140及びレンズ制御部240は、CPU、MPU、GPU、DSP、FPGAまたはASIC等のプロセッサで実現できる。
2.動作
以上のように構成されるデジタルカメラ1の動作を以下説明する。
2−1.ウォブリング制御
デジタルカメラ1はコントラストAF方式によってオートフォーカス動作(AF動作)を実行する。動画撮影時のAF動作においては、フォーカスレンズ230を微小距離だけ光軸に沿って進退させながら合焦位置方向にフォーカスレンズ230を移動させるウォブリング制御を行う。
図2は、デジタルカメラ1におけるウォブリング動作を説明した図である。図2(A)は、カメラ本体100のカメラ制御部140により生成される垂直同期信号を示す。図2(B)は、画像センサ110による撮像状態を示す。図2(C)は、カメラ本体100から交換レンズ200に送信されるBL同期信号を示す。図2(D)は、ウォブリング動作により変化するフォーカスレンズ230の位置を示す。図2(E)は、カメラ本体100のカメラ制御部140が、交換レンズ200のレンズ制御部240に送信するウォブリング制御のための駆動コマンドを示す。
図2(A),(B)に示すように、カメラ本体100において、画像センサ110は垂直同期信号(VD)に同期して被写体像を撮像する。同時に、交換レンズ200において、図2(C),(D)に示すように、画像センサ110における撮像動作に同期してフォーカスレンズ230がウォブリング制御される。
具体的には、レンズ制御部240は、ウォブリング制御のための駆動コマンドをカメラ制御部140から受信する。レンズ制御部240は、駆動コマンドにしたがいフォーカスレンズ230をウォブリング制御する。このとき、画像センサ110によって所定のAF領域の画像が撮像されるときに、フォーカスレンズ230の変位が最大となるようにフォーカスレンズ230が駆動され、これによりAF領域でコントラスト値を検出することができる。
レンズ制御部240は、ウォブリング制御をカメラ制御部140から受信したBL同期信号に同期して実行する(図2(E)参照)。なお、図2(E)の例では、駆動コマンドを2フレーム周期毎に受信している。駆動コマンドの送信等の各種制御により、カメラ制御部140は、カメラ本体100における合焦駆動部として機能する。ウォブリング制御によってフォーカスレンズ230が進退する振動の周期Taを以下、「ウォブリング周期」という場合がある。
2−2.動作の概要
以上のようなウォブリング制御を用いたAF動作は、フォーカスレンズ230の位置変化に応じて光学的な像倍率の変動を伴うことがある。こうした像倍率の変動が、撮影される動画等の見え方に及ぼす影響について、本発明者は鋭意研究を重ね、動画等の画像の品位低下を効果的に抑制する技術の知見を得た。以下、デジタルカメラ1の動画撮影時の動作の一例と共に、本発明者の知見を、図3,4を用いて説明する。
図3は、デジタルカメラ1における動画撮影時のAF動作を例示する図である。図3のグラフG1において、横軸は時間を示し、縦軸はフォーカスレンズ位置を示す。フォーカスレンズ位置は、フォーカスレンズ230の光軸に沿った位置であり、デジタルカメラ1に対して焦点が最も近くなる至近端と最も遠くなる無限端との間で規定される。以下、光軸に沿った二方向において、フォーカスレンズ位置が至近端に向かう一方向を「ニア方向」といい、無限端に向かう一方向を「ファー方向」という。
図3では、動画の撮影中に、合焦対象とする被写体が替わる状況の動作例を示している。本動作例において、デジタルカメラ1は、初期の撮影画像Im0にて、背景などの被写体50に合焦している。その後の時刻t1の撮影画像Im1には、人物などの新たな被写体51が映り込んでいる。新たな被写体51は、本例では初期の被写体50よりも近距離に位置する。
時刻t1以降、デジタルカメラ1は、ウォブリング制御を用いたAF動作を実行する各種動作状態の期間T11,T12,T13を経て、時刻t2に新たな被写体51への合焦が完了した撮影画像Im2を得る。こうした撮影状況は、被写体51が動いたり、撮影者が撮影範囲を変えたりする際に想定される。
図3のAF動作において、期間T11は、フォーカスレンズ230がウォブリング動作で振動しながら一方向(本例ではニア方向)に移動するウォブリング移動状態の期間である。デジタルカメラ1は、ウォブリング制御においてフォーカスレンズ位置を進退させる毎に、各フレームのAF評価値(例えばコントラスト値)の比較から、その後にフォーカスレンズ位置を移動させる方向の判定を繰り返す。この際、判定方向が連続して同一方向になることによって、AF動作は期間T11のような動作状態となる。
次の期間T12は、フォーカスレンズ230がウォブリング動作の振動を伴わず一方向(本例ではニア方向)に移動するサーチ移動状態の期間である。デジタルカメラ1は、上記の判定方向が連続して同一方向になる回数(即ち連続回数)が、所定の規定回数を超えると、ウォブリング制御を省略し、当該判定方向に向けてAF動作を実行する。こうした動作状態は、例えばAF評価値のピーク(或いは合焦位置の存在)が確認されるまで継続する。
期間T13は、合焦位置の近傍においてウォブリング動作が行われる動作状態の期間である。期間T13におけるAF動作は、ウォブリング制御によるウォブリング周期Taの振動に加えて、合焦位置の前後を揺れ動くような動作状態となる(以下「ウォブリング揺動状態」という)。図4を用いて、ウォブリング揺動状態について説明する。
図4は、期間T13において被写体51等が静止している場合のコントラストカーブC1を例示している。フォーカスレンズ位置の移動方向(或いはウォブリング制御の判定方向)は、AF動作中に逐次取得されるAF評価値からコントラストカーブC1の下り勾配が検知されると、反転する。
例えば期間T13中のコントラストカーブC1は、被写体51の動き等により動的に変化し得ることから、1回の検知では合焦位置P1を精度良く検出し難いことが考えられる。そこで、デジタルカメラ1は、例えばウォブリング制御の判定方向が反転する回数が所定回数を超えるまで、ウォブリング制御を継続する。所定回数は、例えば逐次得られるAF評価値の安定性の観点から設定され、例えば1〜10回である。こうして、AF動作はウォブリング揺動状態になり得る。
こうしたウォブリング揺動状態におけるフォーカスレンズ位置の変化は、ウォブリング周期Taに基づく周波数成分であるウォブリング成分と、ウォブリング成分よりも低周波の成分である揺動成分とを含む。揺動成分は、ウォブリング周期Taよりも長期である揺動周期Tbに基づく。例えばウォブリング周期Taは2フレーム分の期間に設定される一方、揺動周期Tbは、ウォブリング周期Taの複数倍において種々の要因により変化し得る。当該要因は、各種の撮影状況においてコントラストカーブC1を変化させる要因を含む。
また、ウォブリング成分の振幅Aaは、例えば被写界深度未満の距離に応じて設定され、例えば被写界深度の半分以下の距離に対応する。一方、揺動成分の振幅Abは、例えば被写界深度以上の距離に対応し、上記の要因により変化し得る。揺動成分の振幅Ab及び揺動周期Tbが含まれる推定の範囲は、デジタルカメラ1において現在の絞り値などの各種パラメータに基づき算出可能である。
図3に戻り、デジタルカメラ1は、例えばウォブリング揺動状態において得られるAF評価値に基づき合焦位置P1を検出し、期間T13の終端においてフォーカスレンズ230を合焦位置P1に移動させる。そして、デジタルカメラ1は、合焦位置P1への移動が完了した時刻t2以降、例えばフォーカスレンズ230を停止させる。
以上のようなAF動作の各種動作状態において変動する像倍率の影響について、本発明者は、期間T13のようなウォブリング揺動状態における動画の見え方に着目し、鋭意研究を重ねた。この鋭意研究によると、ウォブリング揺動状態の動画において、ウォブリング成分の影響は目立ち難い一方で、揺動成分の影響が、目立ち易くて画像の品位を顕著に低減させ得ることが明らかとなった。
すなわち、ウォブリング揺動状態の期間T13の動画は、新たな被写体51に殆ど合焦した状態で、揺動成分の影響により、揺動周期Tb分の複数フレームにわたって画像全体が拡大と縮小を繰り返すようなものになり得る。こうした揺動成分による像倍率の変動が視認者に視認されると、殆どピントが合っているにも拘らず画像全体が不安定に揺らつくように見え、画像の品位が顕著に低いような印象を招来してしまうと考えられる。
これに対して、ウォブリング成分は、揺動成分の振幅Abよりも小さい振幅Aa、及び揺動周期Tbよりも短いウォブリング周期Taで構成されることから、揺動成分よりも画像の品位に影響を与え難い。又、対応する像倍率の拡大と縮小はフレーム間で交互となり、各種のフレーム処理を経た表示時に、複数フレームをまとめて見ることで、ウォブリング成分の影響は目立ち難いと考えられる。
また、ウォブリング揺動状態ではない期間T11,T12については、例えば合焦状態の変化中でピントが合っていない状態において、拡大と縮小のうちの一方が継続するような像倍率の変動が視認され得ることが想定される。こうした像倍率の変動は、視認者にとって、上述した揺動成分の影響よりも画像の品位低下とは認識され難いと考えられる。
そこで、本実施形態のデジタルカメラ1は、例えば動画の撮影時に、上記のウォブリング揺動状態の揺動成分として想定される範囲内で像倍率の変動を補正するように、電子ズーム、即ち画像を変倍する画像処理を実行する(以下「電子ズーム補正処理」という)。電子ズームによる補正の対象を、ウォブリング揺動状態の揺動成分に限定することにより、画像の品位低下を効率良く抑制する電子ズーム補正処理を実現することができる。
以下、本実施形態に係るデジタルカメラ1の動作の詳細を説明する。
2−3.電子ズーム補正処理
本実施形態のデジタルカメラ1における電子ズーム補正処理について、図5〜8を用いて説明する。以下では、電子ズーム補正処理の一例として、フレーム周期毎に逐次、画像データの変倍を制御する処理例を説明する。
図5は、デジタルカメラ1における電子ズーム補正処理を例示するフローチャートを示す。本フローチャートに示す処理は、例えばフォーカスレンズ位置と像倍率との対応関係を示す情報が、カメラ本体100のRAM141等に記憶された状態で開始し、例えばカメラ制御部140によって実行される。上記のような対応関係を図6に例示する。
図6のグラフにおいて、横軸はフォーカスレンズ位置を示し、縦軸は像倍率を示す。本例では、フォーカスレンズ位置が無限端にあるときを100%として像倍率が規格化されている。こうした対応関係は、交換レンズ200の特性に基づき規定され、例えば小型又は薄型の交換レンズにおいて顕著な場合がある。ズームレンズ210を含む交換レンズ200においては、ズームレンズ位置に応じて上記の対応関係が変更されてもよい。
図6のような対応関係を示す情報は、例えば予め交換レンズ200のフラッシュメモリ242に格納されている。デジタルカメラ1のカメラ制御部140は、例えば、交換レンズ200の装着時あるいは電源オン時などに、レンズ制御部240との通信を介して上記の対応関係を示す情報を取得してRAM141等に格納する。
図5のフローチャートにおいて、まず、カメラ制御部140は、1フレーム分の画像を撮像するための各種の撮像制御を行って、現在のフレームの撮像結果を示す画像データを取得する(S1)。ステップS1の撮像制御は、例えばウォブリング制御を用いたAF動作の制御を含む。以下、番号nを用いて、n=1から昇順で現在のフレームを表す。
また、カメラ制御部140は、例えばレンズ制御部240との通信を介して、現在の(即ちnフレーム目の)画像データに対応するフォーカスレンズ位置を示す情報を取得する(S2)。ステップS2の処理は、AF動作において駆動されるフォーカスレンズ位置の軌跡から、上述したウォブリング成分を除去するためのローパスフィルタ(LPF)を実現するように行われる。図7を用いて、ウォブリング成分除去のLPF(S2)の一例を説明する。
図7(A)は、ウォブリング動作時におけるフォーカスレンズ位置を例示する。図7(B)は、図7(A)の動作時に、LPFの有無において取得されるフォーカスレンズ位置を例示する。図7(A),(B)は、一例としてレンズ制御部240が1フレーム周期Tf(例えばTa/2)毎に4点のフォーカスレンズ位置を取得可能な場合を示す。
本例のLPFは、カメラ制御部140がフレーム周期Tf毎にフォーカスレンズ位置を取得する(S2)際に、特定の位相期間T1を置いてフォーカスレンズ位置をサンプリングするタイミング制御によって実現される。図7(B)において、グラフG10は、LPFのタイミング制御が為されていない場合を例示する。この場合、サンプリングされるフォーカスレンズ位置には、グラフG10に示すように、ウォブリング周期Ta毎に変位するウォブリング成分が含まれている。
これに対して、図7(B)のグラフG11は、LPFのタイミング制御が為された場合(S2)を例示する。この場合、位相期間T1だけ遅延したタイミングにおけるフォーカスレンズ位置のサンプリングにより、ウォブリング成分は、グラフG10の場合よりも遮断されている。又、この際、実際のフォーカスレンズ位置の変化(図7の(A))から、グラフG11に示すように、ウォブリング成分よりも緩やかな成分を抽出でき、LPFを実現できる。
上記のようなタイミング制御の位相期間T1は、例えば上記4点のように1フレーム周期Tfあたりに所得可能なフォーカスレンズ位置の中で、図7(B)に示すようにウォブリング制御においてフォーカスレンズ位置の変位が最小のタイミングから取得時点までの期間に設定される。AF動作の制御においては、ウォブリング制御においてフォーカスレンズ位置の変位が最大のタイミングが、AF領域が撮像されるタイミングに設定される。このことから、例えばカメラ制御部140は、例えばウォブリング制御と撮像動作との相対的なタイミングに基づいて、位相期間T1を設定できる。
図5に戻り、カメラ制御部140は、取得したフォーカスレンズ位置に応じて、電子ズームにより像倍率を補正するための補正率V(n)を算出する処理(即ち補正率の算出処理)を行う(S3)。補正率V(n)について、図8を用いて説明する。
図8は、1フレーム分の画像Im中で、電子ズーム補正処理の補正対象の領域Rを示す。補正率V(n)は、nフレーム目の画像全体に対する、電子ズームによって拡大する補正対象の領域R(V(n))の比率を示し、例えば%単位で表される。補正対象の領域Rは、例えば中央位置及びアスペクト比が画像全体と同じになるように設定される。
本実施形態において、補正率V(n)は、上限値100%から予め設定された所定幅(「2Wm」とする)の範囲内に制限される。補正率V(n)は、当該範囲内における基準補正率Voを用いて、次式(1)のように表される。
V(n)=Vo+W(n) …(1)
上式(1)において、W(n)は、nフレーム目の補正率V(n)における基準補正率Voからの変化量である。変化量W(n)は、上限値Wmおよび下限値−Wmを有する。基準補正率Voは、予め基準値として設定された補正率であり、例えば所定幅2Wm=0.5%のとき、Vo=99.75%となる。本実施形態において、ステップS3の処理は、変化量W(n)が過剰になると減衰させ、補正率V(n)を基準補正率Voに近づけるセンタリング制御を実現するように行われる。補正率の算出処理(S3)の詳細は後述する。
次に、カメラ制御部140は、算出した補正率V(n)に従って、nフレーム目の画像データを電子ズームで補正する画像処理を行う(S4)。具体的に、カメラ制御部140は、画像データ上で補正対象の領域R(V(n))の画像を切り出して、補正率V(n)に対して相補的な電子ズーム倍率Zにおいて領域R(V(n))の画像を拡大するように変倍を行う。相補的な電子ズーム倍率Zにより(例えばZ=100/V(n))、補正前と同じ画像サイズにおいて補正対象の領域R(V(n))の画像を示す画像データが得られる。
カメラ制御部140は、例えばフレーム毎に以上の処理を繰り返し実行する。番号nは、フレーム周期Tf毎にインクリメントされる。補正後の画像データは、例えば動画として記録される。補正後の画像データは、スルー画像として表示されてもよい。
以上の電子ズーム補正処理によると、例えばウォブリング制御を用いたAF動作中に、フォーカスレンズ位置の変化によって光学的な像倍率が変動しても、電子ズームによって画像データが補正率V(n)だけ補正され、画像の品位低下を抑制できる。この際、ウォブリング成分に対するLPF処理(S2)により、電子ズーム補正処理の処理負荷を低減して、効率良く補正率V(n)を揺動成分に追従させることができる。
ステップS2において、LPF処理に用いる位相期間T1は、遅延期間に限らず、先進期間であってもよい。例えば、カメラ制御部140は、AF動作の制御情報に基づいて、位相期間T1だけ先進のフォーカスレンズ位置を予測する演算を行うことができる。
また、本実施形態の電子ズーム補正処理では、補正率V(n)が基準補正率Vo近傍に制御される(S3)。例えば、フォーカスレンズ位置が変化しない通常時は補正率V(n)=Voの電子ズーム倍率Zを適用しておくことで、フォーカスレンズ位置が変化したときに予め設定された範囲Vo±Wm内で電子ズーム倍率Zを増減できる。
ここで、幅Wmが過大に設定されると、基準補正率Vo(=100−Wm)及び通常時の補正対象の領域R(Vo)の減少により、画角が狭まったり解像度が低下したりする影響が考えられる。図6に、フォーカスレンズ位置が無限端から至近端までの全域に変化したときの像倍率の変動幅w0と、揺動成分の振幅Abの2倍分の変動幅w1とを例示する。揺動成分の変動幅w1は、全域の変動幅w0よりも顕著に小さい。上記の影響を抑制する観点から、所定幅2Wmは、全域の変動幅w0よりも充分に小さくて、且つ揺動成分の変動幅w1以上に設定できる。
本実施形態の補正率の算出処理(S3)では、上記のような小さい所定幅2Wmを有効活用するべく、図3の期間T11,T12のようにフォーカスレンズ位置の変化が大幅のときには補正率V(n)の変化量W(n)を減衰させるセンタリング制御を行う。これにより、期間T13のようなウォブリング揺動状態になったときに補正率V(n)を所定幅2Wmにわたって変化させ、揺動成分の変動幅w1分の補正を効率良く行うことができる。以下、ステップS3の処理の詳細を説明する。
2−4.補正率の算出処理
図5の補正率の算出処理(S3)について、図9〜12を用いて説明する。図9は、デジタルカメラ1における補正率の算出処理を例示するフローチャートである。
まず、カメラ制御部140は、LPF処理(図5のS2)において取得したフォーカスレンズ位置に基づいて、現在(nフレーム目)の像倍率と前回((n−1)フレーム目)の像倍率間の差分ΔV(n)を算出する(S11)。
ステップS11の処理は、例えば図6のようなフォーカスレンズ位置と像倍率との対応関係を示す情報を参照して行われる。例えば、(n−1)フレーム目のフォーカスレンズ位置に対応する像倍率が99.85%であり、nフレーム目のフォーカスレンズ位置に対応する像倍率が99.90%であるとき、カメラ制御部140は、差分ΔV(n)=0.05%を算出する(S11)。
次に、カメラ制御部140は、算出した差分ΔV(n)の大きさ(即ち絶対値|ΔV(n)|)が、所定値ΔVmよりも大きいか否かを判断する(S12)。所定値ΔVmは、例えば、上述した補正対象とする揺動成分においてフレーム間の像倍率の差分として生じることが想定される最大値に設定される。
カメラ制御部140は、算出した差分の大きさ|ΔV(n)|が所定値ΔVmよりも大きいと判断すると(S12でYES)、差分ΔV(n)をクリップする(S13)。例えば、ΔV(n)>ΔVmである場合、カメラ制御部140は、算出結果として記憶した差分ΔV(n)の値を「ΔVm」に書き換える。また、ΔV(n)<−ΔVmである場合、カメラ制御部140は差分ΔV(n)の値を「−ΔVm」に書き換える。
一方、カメラ制御部140は、算出した差分ΔV(n)の大きさが所定値ΔVmよりも大きくないと判断すると(S12でNO)、特にステップS13の処理を行わず、ステップS11で算出した差分ΔV(n)の値をステップS14の処理に用いる。
次に、カメラ制御部140は、上記の差分ΔV(n)を前回までの積算結果に加算して、今回の変化量W(n)に関する積算値Wo(n)を算出する(S14)。積算値Wo(n)は、例えば前回の変化量W(n−1)を用いて、次式(2)のように表される。
Wo(n)=W(n−1)+ΔV(n) …(2)
カメラ制御部140は、算出した現在の積算値Wo(n)に応じて、センタリングゲインGaを取得する(S15)。センタリングゲインは、センタリング制御のために積算値Wo(n)に対して変化量W(n)を減衰させるゲインであり、例えば0〜1の範囲内で設定される。ステップS15のセンタリングゲインGaについて、図10を用いて説明する。
図10は、積算値Wo(n)とセンタリングゲインGaとの対応関係を例示する。センタリングゲインGaは、例えば|Wo(n)|=0の場合に値「1」を有し、積算値の大きさ|Wo(n)|が増すほど減少するように設定される。図10の例において、センタリングゲインGaが減少する勾配は、積算値の大きさ|Wo(n)|が、所定値Wkを超えない範囲内では比較的に緩やかであり、Wk<|Wo(n)|<Wmにおいて急峻となる。所定値Wkは、例えば、典型的な交換レンズ200を用いたときのウォブリング揺動状態として想定される変化量W(n)の最大値に設定される。
積算値Wo(n)は、変化量W(n)の上限値Wmを上回ったり、下限値−Wmを下回ったりする場合が想定される。そこで、積算値Wo(n)とセンタリングゲインGaとの対応関係は、例えば当該範囲よりも広範囲に渡って規定される。|Wo(n)|>WmのセンタリングゲインGaは、|Wo(n)|=Wmの場合と同じ値であってもよいし、当該値からより減少してもよい。
以上のような対応関係(図10)を示す情報は、例えば予めカメラ本体100のフラッシュメモリ142に格納されている。ステップS15において、カメラ制御部140は、フラッシュメモリ142に格納された当該情報を参照し、現在の積算値Wo(n)に対応するセンタリングゲインGaを取得する。
図9に戻り、カメラ制御部140は、AF動作に関する各種の制御情報を参照し、現在のAF動作の動作状態が、ニア方向とファー方向のうちの一方向へ連続的に移動する動作状態すなわち一方向移動状態であるか否かを判断する(S16)。例えば、上述したウォブリング移動状態(図3のT11)、及びサーチ移動状態(T12)は、それぞれAF動作の一方向移動状態に該当する(S16でYES)。一方、ウォブリング揺動状態(T13)は、一方向移動状態に該当しない(S16でNO)。
ステップS16の判断は、例えばウォブリング制御が実行中であるか否か、および実行中にはウォブリング制御の判定方向の連続回数が所定回数を超えるか否か等に基づき、行われる。当該所定回数は、例えば、ウォブリング揺動状態において判定方向の反転が生じるまでの連続回数として想定される回数よりも大きくて、且つサーチ移動状態に移行する規定回数以下に設定される。
カメラ制御部140は、現在のAF動作が一方向移動状態であると判断すると(S16でYES)、例えば上記Gaとは別のセンタリングゲインGbを「1」よりも小さい値(例えば「0.8」)に設定する(S17)。当該センタリングゲインGbは、現在のAF動作が一方向移動状態でないと判断されると(S16でNO)、「1」に設定される。
センタリングゲインGa,Gb及び積算値Wo(n)に基づいて、カメラ制御部140は、今回の変化量W(n)を算出する(S17)。変化量W(n)の算出は、例えば次式(3)の演算によって行われる。
W(n)=Ga×Gb×Wo(n) …(3)
カメラ制御部140は、例えば、算出した変化量W(n)の大きさ(即ち絶対値|W(n)|)が、上限値Wmよりも大きいか否かを判断する(S19)。カメラ制御部140は、変化量の大きさ|W(n)|が上限値Wmよりも大きくないと判断すると(S19でNO)、ステップS17で得られた変化量W(n)の値をステップS21の処理に用いる。
一方、カメラ制御部140は、算出した変化量の大きさ|W(n)|が上限値Wmよりも大きいと判断すると(S19でYES)、変化量W(n)をクリップする(S20)。例えば、W(n)>Wmである場合、カメラ制御部140は変化量W(n)の値を「Wm」に変更する。また、W(n)<−Wmである場合、カメラ制御部140は変化量W(n)の値を「−Wm」に変更する。
以上のように得られた変化量W(n)に基づき、カメラ制御部140は、上述した式(1)を演算して、補正率V(n)を算出する(S21)。これにより、カメラ制御部140は、補正率の算出処理(図5のS3)を終了し、ステップS4に進む。
以上の補正率の算出処理によると、各種のセンタリング制御およびクリップ処理により、フォーカスレンズ位置の変化が補正対象外のときには変化量W(n)を抑えて、補正対象の揺動成分に追従するように補正率V(n)を制御することができる。この点について、図11,12を用いて説明する。
図11は、補正率の算出処理におけるセンタリング制御を説明した図である。図11において、フォーカスレンズ位置の軌跡のグラフG20と、積算値Wo(n)のグラフG21と、変化量W(n)のグラフG22とを例示する。グラフG21,G22は、センタリング制御の前後に対応する。
図11の例では、AF動作が、補正対象のウォブリング揺動状態ではない場合を想定している。グラフG20に示すように、フォーカスレンズ位置が時刻t21から一方向に移動し、その後の時刻t22に停止している。積算値Wo(n)は、グラフG21に示すように、時刻t21から増大し続け、時刻t22後には一定になっている。
これに対して、変化量W(n)は、グラフG22に示すように、時刻t21から増大するものの、センタリング制御により(S15〜S17)、時刻t22に到る前から減少し、時刻t22以降も緩やかに減少している。これにより、AF動作が、補正対象のウォブリング揺動状態ではないときに、変化量W(n)を減衰させて補正率V(n)を基準補正率Voに近づけることができ、揺動成分が生じたときの補正の精度を良くすることができる。
例えば、ステップS15のセンタリングゲインGaによると、図10に示すように、積算値Wo(n)の大きさが増すほど、変化量W(n)が減衰される。特に、補正対象として想定される所定値Wkを超えると、急勾配のセンタリングゲインGaにより、変化量W(n)をより減衰させることができる。また、ステップS17のセンタリングゲインGbによると、AF動作の動作状態を参照して、一方向移動状態であれば変化量W(n)をより減衰させることができる。
以上のように、センタリングゲインGa,Gbを用いたセンタリング制御によって(S15〜S17)、フォーカスレンズ位置の変化が、ニア方向とファー方向のうちの一方向に偏るにつれて、変化量W(n)の大きさを低減できる。
図12は、フォーカスレンズ位置に対する補正率の追従を説明した図である。図12において、フォーカスレンズ位置の軌跡のグラフG30と、光学的な像倍率のグラフG31と、補正率V(n)のグラフG32とを例示する。図12では、ウォブリング成分の図示を省略している。
図12の例では、グラフG30に示すように、AF動作が、一方向移動状態の期間T60と、ウォブリング揺動状態の期間T61とを含んでいる。例えば期間T60においては、グラフG31に示すように、光学的な像倍率は大幅に変化する。これに対して、本実施形態の補正率V(n)は、センタリング制御等により、グラフG32に示すように、一方向移動状態の期間T60には基準補正値Voの近傍に制御される。これにより、その後のウォブリング揺動状態の期間T61において、グラフG30,G32に示すように、制限された幅2Wmの範囲内で、補正率V(n)を、フォーカスレンズ位置の揺動成分に追従させることができる。
また、上記のステップS12〜S13によると、フレーム間の像倍率の差分ΔV(n)に対するクリップ処理が行われる。差分ΔV(n)が過大になるとき(S12でYES)としては、例えば図3の期間T3の終端のように、AF動作の末期にフォーカスレンズ位置が合焦位置へ急速に移動されるときが考えられる。このときには、電子ズームの補正は、厳密に行うよりもソフトランニングさせることで、より良い見え方が得られる。よって、こうしたときに差分ΔV(n)をクリップすることで(S13)、より良い画像の品位を得ることができる。
また、上記のステップS19〜S20によると、変化量W(n)に対するクリップ処理が行われる。これにより、変化量W(n)を所定幅±Wmの範囲内に制限することができる。なお、上記で説明した各クリップ処理はそれぞれ一例であり、特にステップS12〜S13,S19〜S20に限定されない。例えば、それぞれΔV(n),W(n)を算出するステップS11.S18において、各々の算出値が所定範囲内となるようにクリップされてもよい。
3.まとめ
以上のように、本実施形態におけるデジタルカメラ1は、撮像装置の一例であり、撮像部の一例としての画像センサ110と、合焦駆動部の一例としてのレンズ制御部240と、制御部の一例としてのカメラ制御部140とを備える。また、本実施形態における撮像装置の一例としてのカメラ本体100は、撮像部の一例としての画像センサ110と、合焦駆動部及び制御部の一例としてのカメラ制御部140とを備える。画像センサ110は、フォーカスレンズ230を含む光学系の一例である交換レンズ200を介して形成される被写体像を撮像して、画像データを生成する。合焦駆動部は、光学系における光軸に沿ってフォーカスレンズ230が位置するフォーカスレンズ位置を調整する。カメラ制御部140は、フォーカスレンズ位置に基づいて、画像データが示す画像を変倍する画像処理を行う(S4)。合焦駆動部は、所定のウォブリング周期Taにおいてフォーカスレンズ位置を進退させる。カメラ制御部140は、ウォブリング周期Taよりも長い周期すなわち揺動Tbにおいてフォーカスレンズ位置が揺れ動く変化に追従するように、画像処理において画像を変倍する補正率V(n)を制御する(S2,S3)。
以上の撮像装置によると、例えばウォブリング制御を用いたAF動作時において画像の品位を顕著に低下させると考えられる揺動成分(Tb)が生じたときに、揺動成分による像倍率の変動が、電子ズームの画像処理によって補正される(S2〜S4)。これにより、合焦動作時における像倍率の変動に起因した画像の品位低下を効率良く抑制することができる。
本実施形態において、カメラ制御部140は、ウォブリング周期Ta以下のフォーカスレンズ位置の振動を遮断して(S2)、フォーカスレンズ位置が揺れ動く変化に追従するように補正率V(n)を制御する(S3)。これにより、ウォブリング周期Taのウォブリング成分等は敢えて電子ズームの補正対象から外して、画像の品位低下を効率良く抑制することができる。
本実施形態において、カメラ制御部140は、フォーカスレンズ位置をサンプリングするタイミングの制御によって、ウォブリング周期Ta以下のフォーカスレンズ位置の振動を遮断する(S2)LPF処理を実現する(図7参照)。これにより、タイミング制御のような簡単な処理によって、ウォブリング成分等の高周波成分を電子ズームの補正対象から外すことができる。
本実施形態において、カメラ制御部140は、フォーカスレンズ位置の変化に応じて、所定の基準値である基準補正率Voから補正率V(n)を変化させる(S11〜S21)。カメラ制御部140は、フォーカスレンズ位置の変化が、光軸に沿ったニア方向及びファー方向の内の一方向に偏るほど、補正率V(n)が基準補正率Voから変化する大きさ|W(n)|を低減する(S15〜S18)。
こうしたセンタリング制御により、補正対象の揺動成分のように揺れ動くものではないフォーカスレンズ位置の変化に対しては、補正率V(n)を基準補正率Vo近傍に維持して、補正率V(n)を変化させる余地を確保できる。このため、補正対象の揺動成分が生じたときに精度良く像倍率の変動を補正することができる。このように、合焦動作時における像倍率の変動に起因した画像の品位低下を効率良く抑制することができる。
本実施形態において、電子ズームの画像処理(S4)は、補正率V(n)が基準補正率Voである状態で画像を変倍する(図8参照)。カメラ制御部140は、基準補正率Voを含む所定幅2Wmの範囲内に補正率V(n)を制限して、上記の画像処理を行う(S4)。こうした補正率V(n)の制限により、大幅な電子ズームによって画質の劣化あるいは画角の縮小の影響が過大になるような事態を回避し、画像の品位低下を効率良く抑制できる。
本実施形態において、イメージセンサ110は、所定のフレーム周期Tfにおいて撮像動作を実行する(S1)。カメラ制御部140は、フレーム周期Tfにおけるフォーカスレンズ位置の変化の大きさ|ΔV(n)|が所定値ΔVmよりも大きいとき(S12でYES)、補正率V(n)の変化を制限する(S13)。こうしたクリップ処理により、急速に合焦状態が変化する際には電子ズームの補正をソフトランニングさせ、画像の品位低下を抑制し易くできる。
(他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
上記の実施形態1では、ウォブリング成分除去のLPF処理(S2)の一例として、サンプリングのタイミング制御を行う例を説明したが、LPF処理はこれに限らない。こうした変形例について、図13を用いて説明する。
図13において、図7(A)と同様にウォブリング動作時におけるフォーカスレンズ位置のグラフG40を例示する。例えば、カメラ制御部140は、隣接する複数のフォーカスレンズ位置を平均化する演算を行うことにより、LPF処理を実現してもよい。
図13において、グラフG40のフォーカスレンズ位置において隣接する4点、6点および8点のフォーカスレンズ位置の平均化の演算結果のグラフG41,G42,G43を示す。図13に示すように、フォーカスレンズ位置の平均化する点数を増やすほど、ウォブリング成分を遮断することができる。
上記のように平均化されるフォーカスレンズ位置の点数は、1フレーム周期Tfの範囲内に限らず、複数フレームにわたってもよい。例えば、カメラ制御部140は、レンズ制御部240から複数のフォーカスレンズ位置を示す情報を受信すると、直近の過去のフレームにおいて受信したフォーカスレンズ位置をRAM141に記憶して、平均化演算に用いることができる。
また、実施形態1では1フレーム周期Tf毎にフォーカスレンズ位置をサンプリングする例を説明したが、複数のフレーム周期Tf毎にサンプリングが行われてもよい。例えば、ウォブリング周期Ta毎(或いはその整数倍毎)のフレームのタイミングにおいて、フォーカスレンズ位置を取得することによって、LPF処理が実現されてもよい。
以上のように、本実施形態において、撮像装置の制御部は、複数のフォーカスレンズ位置の平均演算との少なくとも一方によって、ウォブリング周期以下のフォーカスレンズ位置の振動を遮断してもよい。こうした簡単な処理によって、容易に高周波成分を補正対象から外して、効率良く画像の品位低下を抑制できる。
また、上記の各実施形態では、AF動作にウォブリング制御を用いた場合において、センタリング制御を用いて電子ズーム補正処理を行う動作例を説明した。こうしたセンタリング制御は、必ずしもウォブリング制御を前提としなくてもよい。例えばウォブリング動作なして揺動成分と同様のフォーカスレンズ位置の変化が生じるような状況において、センタリング制御が適用されてもよい。この場合においても、上記の変化による像倍率の変動が補正し易くなり、合焦動作時における像倍率の変動に起因した画像の品位低下を効率良く抑制することができる。
上記の各実施形態では、デジタルカメラ1における動画の撮影時の動作例を説明したが、本開示の思想は、必ずしも動画の撮影時に限定されない。上述した電子ズーム補正処理(図8)は、ライブビューの表示用の画像データに対して行われてもよく、静止画の撮影時の画像データに対して行われてもよい。
また、上記の各実施形態では、撮像装置の一例としてレンズ交換式のデジタルカメラについて説明したが、本実施形態の撮像装置は、特にレンズ交換式ではないデジタルカメラであってもよい。また、本開示の思想は、デジタルカメラのみならず、ムービーカメラであってもよいし、カメラ付きの携帯電話或いはPCのような種々の撮像機能を有する電子機器にも適用可能である。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置換、付加、省略などを行うことができる。
本開示は、合焦動作を行う各種の撮像装置に適用可能である。
1 デジタルカメラ
100 カメラ本体
120 液晶モニタ
130 操作部
140 カメラ制御部
200 交換レンズ
230 フォーカスレンズ
233 フォーカスレンズ駆動部
240 レンズ制御部

Claims (7)

  1. フォーカスレンズを含む光学系を介して形成される被写体像を撮像して、画像データを生成する撮像部と、
    前記光学系における光軸に沿って前記フォーカスレンズが位置するフォーカスレンズ位置を調整する合焦駆動部と、
    前記フォーカスレンズ位置に基づいて、前記画像データが示す画像を変倍する画像処理を行う制御部とを備え、
    前記合焦駆動部は、所定のウォブリング周期において前記フォーカスレンズ位置を進退させ、
    前記制御部は、前記ウォブリング周期よりも長い周期において前記フォーカスレンズ位置が揺れ動く変化に追従するように、前記画像処理において前記画像を変倍する補正率を制御する
    撮像装置。
  2. 前記制御部は、前記ウォブリング周期以下のフォーカスレンズ位置の振動を遮断して、前記フォーカスレンズ位置が揺れ動く変化に追従するように前記補正率を制御する
    請求項1に記載の撮像装置。
  3. 前記制御部は、前記フォーカスレンズ位置をサンプリングするタイミングの制御と、複数のフォーカスレンズ位置の平均演算との少なくとも一方によって、前記ウォブリング周期以下のフォーカスレンズ位置の振動を遮断する
    請求項2に記載の撮像装置。
  4. 前記制御部は、
    前記フォーカスレンズ位置の変化に応じて、所定の基準値から前記補正率を変化させ、
    前記フォーカスレンズ位置の変化が、前記光軸に沿った二方向の内の一方向に偏るほど、前記補正率が前記基準値から変化する大きさを低減する
    請求項1に記載の撮像装置。
  5. 前記画像処理は、前記補正率が前記基準値である状態で前記画像を変倍し、
    前記制御部は、前記基準値を含む所定範囲内に前記補正率を制限して、前記画像処理を行う
    請求項4に記載の撮像装置。
  6. 前記撮像部は、所定のフレーム周期において撮像動作を実行し、
    前記制御部は、前記フレーム周期における前記フォーカスレンズ位置の変化の大きさが、所定値よりも大きいとき、前記補正率の変化を制限する
    請求項4に記載の撮像装置。
  7. フォーカスレンズを含む光学系を介して形成される被写体像を撮像して、画像データを生成する撮像部と、
    前記光学系における光軸に沿って前記フォーカスレンズが位置するフォーカスレンズ位置を調整する合焦駆動部と、
    前記フォーカスレンズ位置に基づいて、前記画像データが示す画像を変倍する画像処理を行う制御部とを備え、
    前記制御部は、
    前記フォーカスレンズ位置の変化に応じて、前記画像処理において前記画像を変倍する補正率を、所定の基準値から変化させ、
    前記フォーカスレンズ位置の変化が、前記光軸に沿った二方向の内の一方向に偏るほど、前記補正率が前記基準値から変化する大きさを低減する
    撮像装置。
JP2019161994A 2019-09-05 2019-09-05 撮像装置 Active JP7369935B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019161994A JP7369935B2 (ja) 2019-09-05 2019-09-05 撮像装置
US17/008,841 US11218647B2 (en) 2019-09-05 2020-09-01 Imaging apparatus with correction factor scaling of image
US17/535,010 US11736819B2 (en) 2019-09-05 2021-11-24 Imaging apparatus and image scaling timing in relation to thinned-out frame

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019161994A JP7369935B2 (ja) 2019-09-05 2019-09-05 撮像装置

Publications (2)

Publication Number Publication Date
JP2021040282A true JP2021040282A (ja) 2021-03-11
JP7369935B2 JP7369935B2 (ja) 2023-10-27

Family

ID=74847449

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019161994A Active JP7369935B2 (ja) 2019-09-05 2019-09-05 撮像装置

Country Status (2)

Country Link
US (1) US11218647B2 (ja)
JP (1) JP7369935B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106010A1 (ja) * 2021-12-10 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 電子機器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343496A (ja) * 2005-06-08 2006-12-21 Hitachi Maxell Ltd 自動合焦装置
JP2008160622A (ja) * 2006-12-26 2008-07-10 Sanyo Electric Co Ltd 画角補正装置及び方法並びに撮像装置
JP2014204337A (ja) * 2013-04-05 2014-10-27 オリンパス株式会社 撮像装置、撮像装置の制御方法及びプログラム
US8982247B2 (en) * 2010-10-22 2015-03-17 Hewlett-Packard Development Company, L.P. Altering focus lens magnification in a video frame

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3758006B2 (ja) 1997-10-27 2006-03-22 ソニー株式会社 撮像装置
JP4836320B2 (ja) 2000-12-13 2011-12-14 富士フイルム株式会社 撮影レンズの画角補正装置
JP2006129211A (ja) 2004-10-29 2006-05-18 Olympus Corp 撮像装置
JP5953187B2 (ja) * 2011-10-11 2016-07-20 オリンパス株式会社 合焦制御装置、内視鏡システム及び合焦制御方法
JP6133151B2 (ja) * 2013-07-09 2017-05-24 オリンパス株式会社 焦点調節装置
CN110383816B (zh) * 2017-03-14 2021-07-06 富士胶片株式会社 摄像装置、摄像装置的信号处理方法及存储有摄像装置的信号处理程序的存储介质
JP7086571B2 (ja) * 2017-11-16 2022-06-20 キヤノン株式会社 撮像装置、レンズ装置およびこれらの制御方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343496A (ja) * 2005-06-08 2006-12-21 Hitachi Maxell Ltd 自動合焦装置
JP2008160622A (ja) * 2006-12-26 2008-07-10 Sanyo Electric Co Ltd 画角補正装置及び方法並びに撮像装置
US8982247B2 (en) * 2010-10-22 2015-03-17 Hewlett-Packard Development Company, L.P. Altering focus lens magnification in a video frame
JP2014204337A (ja) * 2013-04-05 2014-10-27 オリンパス株式会社 撮像装置、撮像装置の制御方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023106010A1 (ja) * 2021-12-10 2023-06-15 ソニーセミコンダクタソリューションズ株式会社 電子機器

Also Published As

Publication number Publication date
JP7369935B2 (ja) 2023-10-27
US11218647B2 (en) 2022-01-04
US20210075976A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
JP6861355B2 (ja) 撮像装置
JP6341691B2 (ja) 像振れ補正装置およびその制御方法、光学機器、撮像装置
US9210314B2 (en) Imaging apparatus capable of attaching and detaching a lens apparatus and controlling automatic focus adjustment, imaging apparatus controlling method, lens apparatus controlling method, computer program, and imaging system
US7907205B2 (en) Optical apparatus with unit for correcting blur of captured image caused by displacement of optical apparatus in optical-axis direction
US9749533B2 (en) Image shake correcting device and control method therefor, optical apparatus, and image pickup apparatus
US10694109B2 (en) Imaging apparatus
US9277102B2 (en) Audio processing apparatus, audio processing method and imaging apparatus
WO2013021728A1 (ja) 撮像装置および撮像方法
JPWO2010004764A1 (ja) 撮像装置
JP2018037772A (ja) 撮像装置およびその制御方法
JP2015185925A (ja) 撮像装置およびその制御方法
JP2011013645A (ja) 撮像装置
JP2015210493A (ja) ブレ補正装置、ブレ補正方法およびプログラム、並びに撮像装置
JP7369935B2 (ja) 撮像装置
JP5886623B2 (ja) 撮像装置およびその制御方法
JP2015207809A (ja) 撮像装置
JP2023071092A (ja) 制御装置、撮像装置、レンズ装置、制御方法、およびプログラム
JP6165052B2 (ja) 振れ補正装置、それを有する撮像装置、振れ補正方法、およびプログラム
US11736819B2 (en) Imaging apparatus and image scaling timing in relation to thinned-out frame
JP2021118466A (ja) 撮像装置およびその制御方法
JP2020148999A (ja) 制御装置、撮像装置、レンズ装置、制御方法、および、プログラム
JP2021033015A (ja) 像ブレ補正装置及びその制御方法、プログラム、記憶媒体
JP2016080892A (ja) 像ぶれ補正装置、焦点調節装置、制御ユニットおよび光学機器
JP6778910B1 (ja) 撮像装置
JP2008064847A (ja) 像振れ補正制御装置、制御方法、撮像装置、および撮像方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230413

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230725

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231003

R151 Written notification of patent or utility model registration

Ref document number: 7369935

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151