JP2011040945A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】ユーザーが手動でズーム動作を行って撮影する際に、滑らかなズーム変化を有する動画像を生成することが可能な画像処理装置及び画像処理方法を提供する。
【解決手段】被写体像を拡大したり縮小したりするズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、複数枚の画像に対応した撮影時の焦点距離とを記録する記録部と、記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する焦点距離算出部と、スムーズ化用焦点距離と、記録された焦点距離と、記録された画像とに基づいて、スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成する画像生成部とを備えることを特徴とする。
【選択図】図３

Description

本発明は、画像処理装置及び画像処理方法に関する。

動画像を主に撮影するビデオカメラでは、ズーム動作中でも映像が記録され、被写体がズームイン又はズームアウトされながら撮影されそのデータが記録される。ズームイン又はズームアウトを含む動画像を再生するとき視聴者にとって違和感がないように、記録中のビデオカメラのズームは、滑らか（スムーズ）に動作すること（ズーム速度の変化が少ないこと）が求められる。

一方、レンズ交換可能なデジタル一眼レフカメラなどのカメラでは、ズーム動作中は画像を記録しない。なお、露光間ズーム等の例外的な撮影時の操作はあるが、通常の撮影時にはズーム動作は行われない。そして、静止画撮影で、撮影者が望むズーム倍率に素早く到達できるように、ズームレンズは、ズームリングを手動で回転させる機構が採用されている。

ズームに関する技術として、例えば特許文献１及び特許文献２が開示されている。特許文献１では、光学ズームをモータやギア等を用いて動作させるときに、ユーザーの操作とズーム機構の動作との間にタイムラグがある点を改善する。そのため、上記タイムラグを電気的な画角変更（いわゆるデジタルズーム）で補う。また、特許文献２は、手動ズームを電動ズームに切り替えられるようにする技術である。

特開２００８−５３７６９号公報 特開２００７−１０８３７３号公報

ところで、レンズ交換可能なデジタル一眼レフカメラなど、従来静止画撮影に使用されてきたカメラでも、近年ではビデオカメラと同様に動画像を撮影できるようになってきている。しかし、動画像を撮影できるデジタル一眼レフカメラでは、ズーム動作をユーザーが手動で行う必要がある。そのため、電動でズーム動作を行うビデオカメラに比べて、ズームの速度が不均一になるという問題が発生する。

そこで、特許文献２のように、交換レンズのズーム機構が電動でも可能になるようにレンズを構成することも可能であるが、レンズの製造コストが増加したり、レンズ全体が大きくなったり重くなったりする問題がある。また、デジタル一眼レフカメラの長所として、過去のレンズ資産を利用できることがあるが、従来の大抵のレンズは電動ズーム機構がないため、これらのレンズを装着したときは電動でズームを行うことは当然不可能である。特許文献１では、ユーザーが手動でズーム動作を行うことについては開示されていない。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザーが手動でズーム動作を行って撮影する際に、滑らかなズーム変化を有する動画像を生成することが可能な、新規かつ改良された画像処理装置及び画像処理方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、被写体像を拡大したり縮小したりするズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、複数枚の画像に対応した撮影時の焦点距離とを記録する記録部と、記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する焦点距離算出部と、スムーズ化用焦点距離と、記録された焦点距離と、記録された画像とに基づいて、スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成する画像生成部とを備えることを特徴とする画像処理装置が提供される。

この構成によって、スムーズ化用焦点距離が、記録部に記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるように算出され、スムーズ化用画像が、スムーズ化用焦点距離に対応する画角を有するように、スムーズ化用焦点距離、記録部に記録された焦点距離と画像に基づいて生成される。その結果、ユーザーがズームレンズを用いて手動でズーム動作を行って撮影した場合でも、滑らかなズーム変化を有する動画像を生成できる。

上記画像生成部がスムーズ化用画像を生成する際、スムーズ化用画像が記録された画像に対して拡大されるように、焦点距離算出部がスムーズ化用焦点距離を算出する。この構成によって、スムーズ化用画像を生成する際、同時刻の記録された画像を必ず使用できるため、滑らかなズーム変化を有する動画像を確実に生成できる。

上記焦点距離算出部は、記録された焦点距離が増加方向の一方向又は減少方向の一方向に変化している間について、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する。この構成によって、記録された焦点距離の変化の方向が同一である期間のみが、スムーズ化用焦点距離の算出において考慮される。

また、上記課題を解決するために、本発明の別の観点によれば、被写体像を拡大したり縮小したりするズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、複数枚の画像に対応した撮影時の焦点距離とを記録部に記録するステップと、記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出するステップと、スムーズ化用焦点距離と、記録された焦点距離と、記録された画像とに基づいて、スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成するステップとを備えることを特徴とする画像処理方法が提供される。

以上説明したように本発明によれば、ユーザーが手動でズーム動作を行って撮影する際に、滑らかなズーム変化を有する動画像を生成することができる。

本発明の第１の実施形態に係る撮像装置１００を示すブロック図である。 同実施形態に係る撮像装置１００の動画撮影動作を示すフローチャートである。 同実施形態に係る撮像装置１００の動画撮影動作を示すフローチャートである。 同実施形態に係る撮像装置１００のメモリ一時記録映像のスムーズ化動作を示すフローチャートである。 焦点距離の変化特性を示すグラフである。 焦点距離の変化特性を示すグラフである。 焦点距離の変化特性を示すグラフである。 本発明の第２の実施形態に係る画像処理装置２００を示すブロック図である。 同実施形態に係る画像処理装置２００に適用可能な動画ファイルのデータ構造を示す説明図である。 同実施形態に係る画像処理装置２００のズームスムーズ化動作を示すフローチャートである。 焦点距離の変化特性を示すグラフである。 従来の撮像装置の動画撮影動作を示すフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

＜１．第１の実施形態＞
［撮像装置の構成］
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置１００の構成について説明する。図１は、本実施形態に係る撮像装置１００を示すブロック図である。

撮像装置１００は、例えば静止画像及び動画像を撮影することができる、レンズ交換が可能なデジタル一眼レフカメラである。撮像装置１００は、例えば、交換レンズ１０２、撮像素子１１０、前処理部１１２、ＭＰＵ１２０、画像メモリ１２２、メモリカード１２６、静止画像処理部１３２、動画像処理部１３４、ＪＰＥＧ処理部１３６、表示部１４０、操作部１５０などからなる。なお、撮像装置１００は、一眼レフカメラに限定されず、交換レンズが装着可能なコンパクト型カメラでもよい。

交換レンズ１０２は、レンズ１０３及びＡＦ駆動部１０４等を有する。レンズ１０３は、図示しないが、例えばズームレンズ、絞り、フォーカスレンズなどからなる。そして、交換レンズ１０２には、ユーザーが手動でズームを変化させることができるように例えばズームリングなどが設けられている。ズームリングを回転させることで、撮像面に結像する被写体像を拡大したり縮小したりできる。

交換レンズ１０２は、外部の光情報を撮像素子１１０に結像させる光学系システムであり、被写体からの光を撮像素子１１０まで透過させる。ズームレンズは、焦点距離を変化させて画角を変えるレンズである。絞りは、透過する光量を調節する機構である。フォーカスレンズは、光軸方向に移動することで撮像素子１１０の撮像面に被写体像を合焦させる。フォーカスレンズは、ＡＦ駆動部１０４によって駆動される。

撮像素子１１０は、光電変換素子の一例であり、交換レンズ１０２を透過して入射した光情報を電気信号に変換する光電変換が可能な複数の素子から構成される。各素子は受光した光量に応じた電気信号を生成する。撮像素子１１０は、ＣＣＤ（charge coupled device）センサー、ＣＭＯＳ（complementary metal oxide semiconductor）センサー等を適用することができる。

なお、撮像素子１１０の露光時間を制御するため、非撮影時に光を遮って撮影時のみ光が当たるように、メカニカルシャッター（図示せず。）を適用することができる。また、これに限定されず、電子シャッターを適用してもよい。なお、メカニカルシャッター又は電子シャッターの動作は、シャッターボタン（操作部１５０）のスイッチによって行われる。

撮像素子１１０は、更にＣＤＳ／ＡＭＰ部、Ａ／Ｄ変換部を有する。ＣＤＳ／ＡＭＰ部（相関二重サンプリング回路（correlated double sampling）／増幅器（amplifier））は、撮像素子１１０から出力された電気信号に含まれるリセットノイズとアンプノイズを除去すると共に、電気信号を任意のレベルまで増幅する。Ａ／Ｄ変換部は、ＣＤＳ／ＡＭＰ部から出力された電気信号をデジタル変換してデジタル信号を生成する。Ａ／Ｄ変換部は、生成したデジタル信号を前処理部１１２に出力する。

前処理部１１２は、Ａ／Ｄ変換部から出力されたデジタル信号に対して処理を施し、画像処理が可能となる画像信号を生成する。前処理部１１２は、例えば、撮像素子１１０の画素欠陥補正、黒レベル補正、シェーディング補正などの処理を行う。前処理部１１２は、生成した画像信号を例えば静止画像処理部１３２に出力する。また、前処理部１１２は、画像メモリ１２２への画像データの読み書きを制御する。

ＭＰＵ（Micro Processor Unit）１２０は、プログラムによって演算処理装置及び制御装置として機能し、撮像装置１００内に設けられた各構成要素の処理を制御する。ＭＰＵ１２０は、例えば、ＡＦ駆動部１０４に信号を出力して交換レンズ１０２のフォーカスレンズを駆動させる。また、ＭＰＵ１２０は、操作部１５０からの信号に基づいて撮像装置１００の各構成要素を制御する。なお、本実施形態においては、ＭＰＵ１２０が１つだけからなる構成であるが、信号系の命令と操作系の命令とを別々のＣＰＵで行うなど複数のＣＰＵから構成されてもよい。

画像メモリ１２２は、例えばＳＤＲＡＭ（synchronous DRAM）であり、撮影した画像の画像データを一時的に保存する。画像メモリ１２２は、複数の画像の画像データを記憶できる記憶容量を有している。画像メモリ１２２への画像の読み書きは、前処理部１１２によって制御される。本実施形態では、画像メモリ１２２は、記録部の一例であり、ズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、複数枚の画像に対応した撮影時の焦点距離を記録できる。

メモリカード１２６は、画像データの書き込み、又は記録された画像データや設定情報などの読み出しがされる。メモリカード１２６は、例えば、磁気ディスク、半導体記憶媒体などの記録媒体であり、撮影された画像データを記録する。記録媒体であれば、メモリカード１２６に限定されず、光ディスク（ＣＤ、ＤＶＤ、ブルーレイディスク等）、光磁気ディスクなどでもよい。メモリカード１２６は、撮像装置１００から着脱可能に構成されてもよい。

静止画像処理部１３２は、前処理部１１２から映像信号を受け、輝度信号と色信号に変換処理する。静止画像処理部１３２は、ＷＢ制御値、γ値、エッジ（輪郭）強調制御値などに基づいて、画像処理された画像信号を生成する。静止画像処理部１３２は、生成した画像信号を動画像処理部１３４やＪＰＥＧ処理部１３６に送る。

動画像処理部１３４は、静止画像処理部１３２から静止画像の画像データを受けて、コーディング（符号化）処理によって動画像データを生成する。動画像処理部１３４は、例えばＭＰＥＧ形式などで符号化処理をして、複数の画像フレームが一つのファイルとして纏められたストリームデータを生成する。生成された動画像データは、メモリカード１２６等に記録される。

動画像処理部１３４は、更に焦点距離算出部を有し、画像メモリ１２２に記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する。また、動画像処理部１３４は、画像生成部の一例であり、スムーズ化用焦点距離と、画像メモリ１２２に記録された焦点距離と、画像メモリ１２２に記録された画像とに基づいて、スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成する。

上記スムーズ化用画像を生成する際、スムーズ化用画像が記録された画像に対して拡大されるように、焦点距離算出部がスムーズ化用焦点距離を算出する。また、上記焦点距離算出部は、記録された焦点距離が増加方向の一方向又は減少方向の一方向に変化している間について、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する。

ＪＰＥＧ処理部１３６は、静止画像処理部１３２からの画像データに対して、例えばＪＰＥＧ（Joint Photographic Experts Group）規格などの静止画像の符号化方式で圧縮符号化処理を行う。生成された圧縮符号化されたデータはメモリカード１２６等に記録される。また、メモリカード１２６から供給された静止画像の符号化データに対して伸張復号化処理を行う。

表示部１４０は、例えばＶＲＡＭから画像データを受けて、画面に画像を表示する。表示部１４０は、例えば撮像装置１００の本体に設けられる。表示部１４０が表示する画像は、例えば、ＶＲＡＭから読み出された撮影前の画像（ライブビュー表示）、撮像装置１００の各種設定画面や、撮像して記録された画像などである。表示部１４０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどである。

なお、ＶＲＡＭ（video RAM）は、画像表示用のメモリであり、複数のチャネルを有する。ＶＲＡＭは、画像メモリ１２２からの画像表示用の画像データの入力と、表示部１４０への画像データの出力を同時に実行できる。表示部１４０の解像度や最大発色数はＶＲＡＭの容量に依存する。

操作部１５０は、例えば、撮像装置１００に設けられた上下左右キー、電源スイッチ、モードダイアル、シャッターボタンなどである。操作部１５０は、ユーザーによる操作に基づいて操作信号をＭＰＵ１２０等に送る。例えば、シャッターボタンは、ユーザーによる半押し（Ｓ１操作）、全押し（Ｓ２操作）、解除が可能である。シャッターボタンは、半押しされたときフォーカス制御開始の操作信号を出力し、半押し解除でフォーカス制御が終了する。また、シャッターボタンは、全押しされたとき、撮影開始の操作信号を出力する。

なお、撮像装置１００における一連の処理は、ハードウェアで処理してもよいし、コンピュータ上のプログラムによるソフトウェア処理で実現してもよい。

［撮像装置の動作］
図２Ａ及び図２Ｂは、本実施形態に係る撮像装置１００の動画撮影動作を示すフローチャートである。図１１は、従来の撮像装置の動画撮影動作を示すフローチャートである。

本実施形態の撮像装置１００は、従来の撮像装置と比較して、ステップＳ１１１がまず行われ、ステップＳ１１５のＹＣＣ化処理の後にズーム動作中であるか否かによって種々の処理が行われる点で異なる。従来の撮像装置では、ズーム動作中であるか否かに関わらず、ステップＳ１４のＹＣＣ化処理の後に動画コーディング（ステップＳ１５）、動画ストリームのカード記録（ステップＳ１６）などが行われ、撮影が終了する。

以下、本実施形態に係る撮像装置１００の動画撮影動作について説明する。
撮像装置１００の動画撮影動作が開始されると、まず、ズーム動作中の画像データが画像メモリ１２２に記録されているか否かを示す一時記録フラッグ（Flag）をＯＦＦに設定する（ステップＳ１１１）。そして、自動露出（ＡＥ）や自動焦点（ＡＦ）が設定される（ステップＳ１１２、Ｓ１１３）。撮影データは、撮像素子１１０からＲＡＷ画像データとして読み出され、静止画像処理部１３２でＹＣＣ化処理が行われる（ステップＳ１１５）。

また、撮像装置１００による撮影がズーム動作中であるか又はズーム動作が停止したかが判断される（ステップＳ１１６）。ズーム動作中であるか否かは、撮影時の焦点距離が増加方向の一方向又は減少方向の一方向に変化しているかどうかを判断する。焦点距離の変化の方向が反対方向又は一定になったとき、ズーム動作が停止したと判断する。

ズーム動作中であるか否かの判断は、フレーム毎に行ってもよいし、例えば１秒毎など所定時間毎に行ってもよい。但し、このズーム動作中であるか否かの判断をフレーム毎など短時間の単位で行うと、ズーム操作の仕方によっては、ズームが継続中であると判断される期間が短くなる場合がある。その結果、短時間のファイルが多数生成されてしまうため、１秒に１回くらいの頻度で行うとよい。

ズーム動作中ではないと判断された場合、次に、一時記録フラッグがＯＮになっているか、又はＯＦＦになっているかが判断される（ステップＳ１１７）。ズーム動作が以前にされていない場合は、一時記録フラッグはＯＦＦである。そして、一時記録フラッグがＯＦＦであると判断されると、撮影中の画像データについて、動画コーディングがされる（ステップＳ１１８）。例えば、画像データはＭＰＥＧ形式などに符号化される。その後、コーディングされた画像データ（動画ストリーム）が、メモリカード１２６等の記録メディアに記録される（ステップＳ１１９）。

即ち、以前にズーム動作がされていない場合であって、ズーム動作中ではないときは、従来と同様に、撮影中のデータがそのまま記録メディアに記録されていく。

ズーム動作中ではないと判断され、動画ストリームのカード記録（ステップＳ１１９）が完了したとき、撮影が終了したか否かが判断される（ステップＳ１２６）。撮影が終了していない場合は、ステップＳ１１２に戻る。撮影が終了した場合は、ステップＳ１２７に進む。

一方、ステップＳ１１６で撮像装置１００による撮影がズーム動作中であると判断された場合は、まず、映像が一時的に記録されているか否かを示す一時記録フラッグをＯＮに切り替える（ステップＳ１２０）。そして、ステップＳ１１５でＹＣＣ化処理された、ズーム動作中の画像データ（動画ストリーム）が、順次画像メモリ１２２に記録される（ステップＳ１２１）。また、ズーム動作中の画像データに対応した撮影時の焦点距離が同時に画像メモリ１２２に記録される。

画像データはフレーム単位で記録されるが、ステップＳ１１６のズーム動作中であるか否かの判断は、上述した通り、例えば１秒毎などでもよい。この場合、ステップＳ１１６の判断が行われないフレームでは、前のステータスが継続される。例えば、前のステータスがズーム動作中であれば、ズーム動作中であるか否かの判断がされないフレームもズーム動作中であるとして、ステップＳ１２０、Ｓ１２１に移行し、ズーム動作中の画像データが記録される。

ズーム動作中に動画ストリームの一時記録（ステップＳ１２１）が完了したとき、撮影が終了したか否かが判断される（ステップＳ１２６）。撮影が終了していない場合は、ステップＳ１１２に戻る。ズーム動作中に撮影が終了した場合は、ステップＳ１２７に進む。

撮影が終了していない場合、ズーム動作が停止されると、ステップＳ１１６でズーム動作が停止していると判断され、ステップＳ１１７で一時記録フラッグがＯＮになっていると判断される。そして、ステップＳ１２２に移行して、一時記録フラッグをＯＦＦに切り替える。その後、ステップＳ１２１で画像メモリ１２２に一時記録されたズーム動作中の画像データに対してスムーズ化処理を行う（ステップＳ１２３）。スムーズ化処理は、記録された焦点距離が増加方向の一方向又は減少方向の一方向に変化している間について行われる。これにより、ユーザーによって手動でズーム操作されて撮影された映像がスムーズな映像に変換される。

そして、スムーズ化処理された画像データは、動画コーディングがされる（ステップＳ１２４）。例えば、画像データはＭＰＥＧ形式などに符号化される。その後、コーディングされて順次出力されるデータ（動画ストリーム）が、メモリカード１２６等の記録メディアに記録される（ステップＳ１２５）。ステップＳ１２２〜ステップＳ１２３の動作は、ズーム動作が停止されズーム動作のない撮影における動画コーディング（ステップＳ１１８）と動画ストリームのカード記録（ステップＳ１１９）と並行して行われる。

ズーム動作中ではないと判断され、スムーズ化された動画ストリームのカード記録（ステップＳ１２５）が完了したとき、撮影が終了したか否かが判断される（ステップＳ１２６）。撮影が終了していない場合は、ステップＳ１１２に戻る。撮影が終了している場合は、ステップＳ１２７に進む。

ステップＳ１２７では、一時記録フラッグがＯＮになっているか、又はＯＦＦになっているかが判断される（ステップＳ１２７）。ズーム動作中に撮影が終了した場合は、一時記録フラッグがＯＮになっているため、ステップＳ１２８に進む。一方、それ以外の場合は、一時記録フラッグはＯＦＦであるため、ステップＳ１３２に進む。

ズーム動作中に撮影が終了した場合は、上述したステップＳ１２３などの一時記録されたズーム動作中の画像データのスムーズ化処理などが行われていない。そこで、まず、一時記録フラッグをＯＦＦに切り替える（ステップＳ１２８）。その後、ステップＳ１２１で画像メモリ１２２に一時記録されたズーム動作中の画像データに対してスムーズ化処理を行う（ステップＳ１２９）。これにより、ユーザーによって手動でズーム操作されて撮影された映像がスムーズな映像に変換される。

そして、スムーズ化処理された画像データは、動画コーディングがされる（ステップＳ１３０）。その後、コーディングされて順次出力されるデータ（動画ストリーム）が、メモリカード１２６等の記録メディアに記録される（ステップＳ１３１）。ステップＳ１２８〜ステップＳ１３１の動作は、撮影が完了した後に行われる。

その後、撮影開始から撮影終了まで、スムーズ化処理されたデータと、スムーズ化処理が不要であったデータとが別々にメモリカード１２６に記録されているため、ファイルを一連の動画ファイルとして合成しファイナライズ処理する（ステップＳ１３２）。これにより、一つの撮影について、途中でユーザーによる手動のズーム操作が行われた場合であっても、ズーム撮影された画像を手動でそのまま記録した撮影データではなく、スムーズ化された撮影データを記録することができる。

図６は、焦点距離の変化特性を示すグラフであり、撮影開始から撮影終了までの焦点距離の変化を示している。図６に示す例では、ユーザーがズーム操作をして撮影した期間が、ズーム移動領域Ａとズーム移動領域Ｂの２回あり、ズーム操作を停止してズーム操作をせずに撮影した期間がズーム移動領域Ａとズーム移動領域Ｂの間に１回ある。このような場合、スムーズ化処理されたデータとスムーズ化処理されていないデータが合計３ファイル存在するため、これらのファイルを合成してファイナライズ処理する。

［スムーズ化処理について］
次に、画像メモリ１２２に一時記録されたズーム動作中の画像データに対してスムーズ化処理を行う動作について説明する。図３は、本実施形態に係る撮像装置１００のメモリ一時記録映像のスムーズ化動作を示すフローチャートである。

画像メモリ１２２には、ズームレンズがユーザーによる手動操作で使用されて撮影されたズーム動作中の画像データが記録されている。また、当該画像データに対応した撮影時の焦点距離ｆ_０が同時に画像メモリ１２２に記録されている。そこで、ズーム動作中の各フレームの画像データと、撮影時の焦点距離ｆ_０を取得して、例えば、図４及び図５の実線で示したような撮影時の焦点距離ｆ_０の時間変化特性を作成する（ステップＳ１４１）。図４及び図５は、焦点距離の変化特性を示すグラフであり、図４はズームイン動作を示しており、図５はズームアウト動作を示している。

次に、スムーズ化用焦点距離ｆｓの時間変化特性を作成する（ステップＳ１４２）。ステップＳ１４２では、まず、撮影時の焦点距離ｆ_０の時間変化特性に基づいて、Δｆ_０／Δｔを算出しΔｆ_０／Δｔの時間変化を取得する。そして、Δｆ_０／Δｔの変化が減少に転ずるポイントを取得し記憶しておく。図４及び図５に示す例では、白点で示したポイントになる。そして、記憶しておいたポイントと、ズーム動作開始点と、ズーム動作終了点を使用して、例えば２次スプライン補間を行い、例えば図４及び図５の破線で示したような、各時間のスムーズ化用焦点距離ｆｓを算出する。

なお、スムーズ化用焦点距離ｆｓの算出は、上述した補間方法以外による処理で算出してもよい。スムーズ化用焦点距離ｆｓを算出する場合は、撮影時の画像データに比べてスムーズ化用焦点距離に対応する画像が拡大する方向に算出するとよい。即ち、図４及び図５に示す例では、破線が実線より上側の位置になるように、撮影時の焦点距離ｆ_０よりも望遠側にスムーズ化用焦点距離ｆｓを算出するとよい。

そして、撮影時の画像データからスムーズ化用画像データを作成するため、デジタルズームの対象とする元の画像フレームとトリミングサイズを決定する（ステップＳ１４３）。デジタルズームの対象とする画像フレームは、図４及び図５に示す例では、実線と破線が重なっていないフレーム、即ち、撮影時の焦点距離ｆ_０とスムーズ化用焦点距離ｆｓが異なるフレームを抽出して決定する。トリミングサイズは、撮影時の焦点距離ｆ_０とスムーズ化用焦点距離ｆｓに基づいて元のフレームに対する拡大率を算出して決定する。

なお、スムーズ化用焦点距離ｆｓの算出において、補間方法や焦点距離の変化特性によっては、撮影時の焦点距離ｆ_０のほうが算出されたスムーズ化用焦点距離ｆｓより大きくなる場合がある。このとき、撮影時の焦点距離ｆ_０とスムーズ化用焦点距離ｆｓに基づいて元のフレームに対する拡大率を算出すると、スムーズ化用画像フレームの大きさは元のフレームに対して縮小する方向になる。この場合は、トリミングできないため元のフレームをスムーズ化用画像フレームとして使用する。又は、撮像素子１１０の撮像面上で元のフレームの大きさより大きめに撮像している場合には、余分に撮影している部分を使用して元のフレームに対して縮小処理をしてもよい。

次に、算出された拡大率と、撮影時の画像フレームを使用してトリミング処理及び拡大処理をして、スムーズ化用画像フレームを生成する（ステップＳ１４４）。そして、生成されたスムーズ化用画像フレームを撮影時の元の画像フレームと置換する（ステップＳ１４５）。以上によって、画像メモリ１２２に一時記録されたズーム動作中の画像データをスムーズ化処理する動作が完了する。

上記のスムーズ化処理は、一連の撮影が完了した後、又はユーザーによるズーム操作が完了した後のタイミングで行う。

なお、図１０に示すように、ズーム動作中の撮影時の焦点距離ｆ_０の変化が滑らかで、Δｆ_０／Δｔの変化が減少に転ずるポイントがなかった場合は、ズーム動作開始点と、ズーム動作終了点を使用して補間処理をすると例えば図１０の破線のようになる。しかし、手動のズーム操作がそもそも滑らかであり、スムーズ化処理をするとトリミング処理及び拡大処理が生じて解像度の変化が生じるため、撮影時の画像データを採用することとし、スムーズ化処理は行わない。即ち、Δｆ_０／Δｔの変化が減少に転ずるポイントをカウントし、カウント数が０であった場合は、ステップＳ１４３〜Ｓ１４５はスキップして、スムーズ化処理を省略する。

＜２．第２の実施形態＞
次に、本発明の第２の実施形態に係る画像処理装置２００について説明する。
上述した実施形態では、撮影時にリアルタイムで、ズーム中の画像をコーディングせずに一時記憶し、ズーム処理後にスムーズ化処理をする場合について説明した。第２の実施形態では、撮影時にはスムーズ化処理せず、撮影時の画像データと撮影時の焦点距離に基づいて、パーソナルコンピュータ等の情報処理装置（画像処理装置）を使用してスムーズ化処理を撮影後に実施する。

図７は、本発明の第２の実施形態に係る画像処理装置２００を示すブロック図である。画像処理装置２００は、例えばＭＰＵ２２０と、メモリ２２２と、ＨＤＤ２２６と、表示部２４０と、操作部２５０などからなる。ＭＰＵ２２０は、焦点距離算出部２３２、画像生成部２３４などを有する。

ＭＰＵ（Micro Processor Unit）２２０は、プログラムによって演算処理装置及び制御装置として機能し、画像処理装置２００内に設けられた各構成要素の処理を制御する。メモリ２２２には、ＭＰＵ２２０で実行されるプログラムなどが記憶されている。ＨＤＤ（Hard Disk Drive）２２６は記憶媒体及びその制御装置の一例であり、撮像装置で撮影された画像などが記録されており、スムーズ化処理の際記録された画像が読みだされる。また、ＨＤＤ２２６には本実施形態で生成されるスムーズ化処理後の画像が新たに記録される。なお、記憶媒体であればハードディスクに限定されず光ディスクなど他の記憶媒体でもよい。

表示部２４０は、例えば液晶ディスプレイ、有機ＥＬディスプレイなどであり、画面に画像などを表示する。操作部２５０は、例えばキーボード、マウスなどであり、ユーザーによる操作を受け付け、操作信号をＭＰＵ２２０に送る。なお、ＨＤＤ２２６、表示部２４０、操作部２５０は画像処理装置２００に一体的に設けられてもよいし、画像処理装置２００から着脱可能に構成されてもよい。

焦点距離算出部２３２は、画像と共に記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する。画像生成部２３４は、スムーズ化用焦点距離と、画像と共に記録された焦点距離と、ＨＤＤ２２６から読み出された画像とに基づいて、スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成する。また、ＭＰＵ２２０は、画像データのデコード処理、スムーズ化処理された画像の動画コーディング処理をする。更に、ＭＰＵ２２０は、スムーズ化処理された画像を元の画像と置き換え、スムーズ化処理された画像とスムーズ化処理されていない画像とのマージ処理をする。

第２の実施形態を実現するためには、まず、撮影時において、記録された各フレームに関連付けて焦点距離情報を記録しておく。撮像装置は、例えば図８に示すような動画ファイル形式で動画データ及び焦点距離情報を記録する。図８は、本発明の第２の実施形態に係る画像処理装置２００に適用可能な動画ファイルのデータ構造を示す説明図である。

動画ファイルは、例えば動画データヘッダ１０と、動画データ２０と、動画情報データヘッダ３０と、動画情報データ４０などからなる。
動画データヘッダ１０には、動画データ２０の識別情報や全体の動画データサイズなどが記述されている。動画データ２０の識別情報によって、動画データ２０の識別が行われる。
動画データ２０は、例えばチャンク０１（Chunk01）、チャンク０２（Chunk02）……など複数のブロックに分かれて格納されている。本実施形態では、例えば１秒間のフレームデータの集まりで一つのチャンクを構成する。
動画情報データヘッダ３０には、動画の縦横ピクセルサイズ、フレームレート、フォーマットタイプ等が記録され、更に各チャンクのフレーム数やアクセスのためのアドレス情報などが記録される。
動画情報データ４０の領域に、各フレームの焦点距離情報が格納される。

次に、本実施形態に係る画像処理装置２００のズームスムーズ化動作について説明する。
図９は、本実施形態に係る画像処理装置２００のズームスムーズ化動作を示すフローチャートである。

まず、動画情報データ４０内の各フレームの焦点距離情報４２を取得する（ステップＳ２４１）。そして、取得した焦点距離情報から、ズーム操作をして撮影したフレーム、即ち焦点距離が時間変化しているフレームを検索し、検索されたフレームを含むチャンクがどれであるかを特定する。その後、特定したチャンクを抽出する（ステップＳ２４２）。

次に、抽出したチャンク（複数のフレームからなる動画ストリーム）をデコード処理する（ステップＳ２４３）。そして、ズーム動作中の画像データに対してスムーズ化処理を行う（ステップＳ２４４）。スムーズ化処理は、第１の実施形態で説明した処理と同様の動作である。スムーズ化処理によって、手動でズーム操作されて撮影された映像がスムーズな映像に変換される。

そして、スムーズ化処理された画像データは、チャンク単位で動画コーディング（エンコード）がされる。例えば、画像データはＭＰＥＧ形式などに符号化される。その後、コーディングされて順次出力されるデータ（動画ストリーム）が、ハードディスクドライブ（ＨＤＤ２２６）等の記録メディアに記録される（ステップＳ２４５）。

その後、元の動画ファイルのスムーズ化処理前のチャンクをスムーズ化処理されたチャンクに置き換え、スムーズ化処理されたチャンクを元の動画ファイルにマージする（ステップＳ２４６）。このとき、動画ファイルにおいて、動画データヘッダ１０と動画情報データヘッダを新しいチャンクに適合するようにデータの書き換えも行う。これにより、一つの撮影について、途中でユーザーによる手動のズーム操作が行われた場合であっても、ズーム撮影された画像を手動でそのまま記録した撮影データから、スムーズ化された撮影データに変換できる。

以上、本発明の第１及び第２の実施形態によれば、ズーム操作中の画像フレームと、その画像フレームに対応する焦点距離と、スムーズ化用焦点距離を使用して、動画像がスムーズにズームするように画像フレームをトリミング処理する。この際、スムーズ化用焦点距離の算出では、撮影時の焦点距離よりも望遠側になるように算出するとよい。

その結果、デジタル一眼レフカメラのような手動ズーム機構を備える撮像装置で動画を撮影する場合に、ズーム速度が不均一となるのを防止できる。また、電動ズーム機能のある交換レンズを別途用意することなく、滑らかなズーム変化を有する動画像を生成することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ 撮像装置
１０２ 交換レンズ
１０３ レンズ
１０４ ＡＦ駆動部
１１０ 撮像素子
１１２ 前処理部
１２０，２２０ ＭＰＵ
１２２ 画像メモリ
１２６ メモリカード
１３２ 静止画像処理部
１３４ 動画像処理部
１３６ ＪＰＥＧ処理部
１４０，２４０ 表示部
１５０，２５０ 操作部
２００ 画像処理装置
２２２ メモリ
２２６ ＨＤＤ
２３２ 焦点距離算出部
２３４ 画像生成部

Claims (4)

1. 被写体像を拡大したり縮小したりするズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、前記複数枚の画像に対応した撮影時の焦点距離とを記録する記録部と、
   前記記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出する焦点距離算出部と、
   前記スムーズ化用焦点距離と、前記記録された焦点距離と、前記記録された画像とに基づいて、前記スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成する画像生成部と
   を備えることを特徴とする、画像処理装置。
2. 前記画像生成部が前記スムーズ化用画像を生成する際、前記スムーズ化用画像が前記記録された画像に対して拡大されるように、前記焦点距離算出部が前記スムーズ化用焦点距離を算出することを特徴とする、請求項１に記載の画像処理装置。
3. 前記焦点距離算出部は、前記記録された焦点距離が増加方向の一方向又は減少方向の一方向に変化している間について、焦点距離の時間変化が滑らかになるように前記スムーズ化用焦点距離を算出することを特徴とする、請求項１又は２に記載の画像処理装置。
4. 被写体像を拡大したり縮小したりするズームレンズがユーザーの手動操作によって使用されて撮影された複数枚の画像と、前記複数枚の画像に対応した撮影時の焦点距離とを記録部に記録するステップと、
   前記記録された焦点距離に基づいて、焦点距離の時間変化が滑らかになるようにスムーズ化用焦点距離を算出するステップと、
   前記スムーズ化用焦点距離と、前記記録された焦点距離と、前記記録された画像とに基づいて、前記スムーズ化用焦点距離に対応する画角を有するスムーズ化用画像を生成するステップと
   を備えることを特徴とする、画像処理方法。
   

Images