JP2014110618A - 画像処理装置、画像処理方法及びプログラム - Google Patents

Abstract

【課題】フレームレートの低下を招くことなく、動画再生用フレームを生成することが可能な、画像処理装置、画像処理方法及びプログラムを提供すること。
【解決手段】本発明に係る画像処理装置は、連続した複数の画像フレームを記憶する記憶部と、前記記憶部に記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成部と、を備え、前記フレーム生成部は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。

従来、各種の画像合成は、静止画撮影により行われてきた。
例えば、露出を変えて合成することで、ハイダイナミックレンジ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ：ＨＤＲ）画像を生成することは、カメラで行われている。また、フォーカス位置を変えて合成することで被写界深度の拡張画像を生成することは、パーソナルコンピュータで実行可能な各種のアプリケーションで行われてきた。絞り値を変えて画像を合成することで、いわゆるボケの制御を行うことも可能である。

このような画像合成の機能が、近年、動画にも取り入れられるようになってきた。例えば、下記の特許文献１では、撮像した複数フレームから１つの動画再生用フレームを合成する技術が提案されている。

特開２０１０−４５６０９号公報

しかしながら、上記特許文献１に記載の方法では、１枚の撮像画像を最大１フレームにしか使わないという条件のもとで撮像した複数フレームを合成し１つの動画再生用フレームを生成するため、全体のフレーム数が減少してしまい、フレームレートの低下が発生してしまう。上記特許文献１では、高速で撮像した上でフレーム伸長を行うことで、再生のためのフレームレートを確保することが提案されているが、撮像フレームレートに対して、再生フレームレートが減少することは避けられないという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、フレームレートの低下を招くことなく、動画再生用フレームを生成することが可能な、画像処理装置、画像処理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、連続した複数の画像フレームを記憶する記憶部と、前記記憶部に記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成部と、を備え、前記フレーム生成部は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う画像処理装置が提供される。

かかる構成によれば、記憶部は、連続した複数の画像フレームを記憶し、フレーム生成部は、同一の画像フレームを異なる動画再生用フレームに使用することを許容して、記憶部に記憶された複数の画像フレームから所定数の画像フレームを取得し、取得した画像フレームを合成することで動画再生用フレームを逐次生成する。これにより、フレームレートの低下を防止することが可能となる。

前記フレーム生成部は、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた前記画像フレームを用いて、前記動画再生用フレームを合成することが好ましい。これにより、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた動画再生用フレームを生成することが可能となる。

被写体を複数回撮像することで前記複数の画像フレームを生成する撮像部と、前記撮像部を制御することで前記画像特性を制御する画像特性制御部と、を更に備え、前記画像特性制御部は、前記動画再生用フレームの前記画像特性が単調に変化するように、前記画像特性を変化させてもよい。これにより、動画再生用フレームにおける画像特性を、再生時に視聴者が違和感を覚えることが無いように変更することが可能となる。

前記画像特性制御部は、前記動画再生用フレームの前記画像特性が連続的に変化するように、前記画像特性を変化させることが好ましい。これにより、動画再生用フレームにおける画像特性を、再生時に視聴者が違和感を覚えることが無いように変更することが可能となる。

前記画像特性制御部は、露光時間、ゲイン特性、絞り値、ＮＤフィルタの少なくとも何れかを変化させて前記画像フレームの露光量を制御することが好ましい。これにより、動画再生用フレームの露光量を制御することが可能となる。

前記画像特性制御部は、絞り値を変化させて前記画像フレームの被写界深度を制御することが好ましい。これにより、動画再生用フレームの被写界深度を制御することが可能となる。

前記画像特性制御部は、前記撮像部に設けられたフォーカスレンズを制御して前記画像フレームのフォーカス位置を制御することが好ましい。これにより、動画再生用フレームのフォーカス位置を制御することが可能となる。

前記画像特性に応じて前記画像フレームに対し当該画像フレームの重要度が関連付けられる場合、前記撮像部は、当該重要度に応じて画像フレームの撮像頻度を変化させてもよい。これにより、画像合成に用いる画像フレームの個数を削減することが可能となる。

前記フレーム生成部は、前記画像フレーム間で画像情報が所定の閾値以上に大きく変化した場合、前記動画再生用フレームの生成を中止することが好ましい。これにより、視聴者に違和感のある動画再生フレームが生成されることを防止することが可能となる。

画像処理装置は、前記動画再生用フレームを再生する再生部を更に備えてもよい。これにより、視聴者は、生成した動画再生用フレームをその場で確認することが可能となる。

また、上記課題を解決するために、本発明の別の観点によれば、連続した複数の画像フレームを記憶する記憶ステップと、前記記憶ステップにて記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成ステップと、を含み、前記フレーム生成ステップでは、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う画像処理方法が提供される。

かかる構成によれば、記憶ステップでは、連続した複数の画像フレームが記憶され、フレーム生成ステップでは、同一の画像フレームを異なる動画再生用フレームに使用することを許容して、記憶ステップにて記憶された複数の画像フレームから所定数の画像フレームが取得され、取得された画像フレームを合成することで動画再生用フレームが逐次生成される。これにより、フレームレートの低下を防止することが可能となる。

また、上記課題を解決するために、本発明の更に別の観点によれば、コンピュータに、連続した複数の画像フレームを記憶する記憶機能と、前記記憶機能により記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成機能と、を実現させ、前記フレーム生成機能は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して合成を行うプログラムが提供される。

かかる構成によれば、コンピュータを、上記の画像処理装置として機能させることが可能となる。

以上説明したように本発明によれば、画像フレームの重複使用を許容しながら動画再生用フレームの生成を行うため、フレームレートの低下を防止することが可能となる。

動画における一般的な画像合成処理を説明するための説明図である。 本発明の実施形態に係る画像処理装置の構成の一例を示したブロック図である。 同実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。 同実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。 同実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。 同実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。 同実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。 同実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。 同実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（動画における一般的な画像合成処理について）
本発明の実施形態に係る画像処理装置及び画像処理方法について説明するに先立ち、まず図１を参照しながら、動画における一般的な画像合成処理について説明する。図１は、動画における一般的な画像合成処理について説明するための説明図である。

今、露光量を変えながら被写体を撮像してＨＤＲ画像を合成する画像合成処理を実施して、動画再生用の画像フレーム（動画再生用フレーム）を生成することを考える。この際、一般的な画像合成処理では、所定の撮像フレーム毎（図１では、３枚の撮像フレーム毎）に画像合成処理が実施されるため、実際に生成される動画再生用フレームのフレームレートは、撮像フレームのフレームレートよりも低下することとなってしまう。

図１に示したようなフレームレートの低下を防止するために、上記特許文献１では、高速で撮像した上でフレーム伸長を行うことで、再生のためのフレームレートを確保することが提案されているが、撮像フレームレートに対して、再生フレームレートが減少することは避けられないという問題がある。

このような問題を解決するべく、フレームレートの低下を招くことなく動画再生用フレームを生成することが可能な画像処理装置に関して本発明者が鋭意検討を行った結果、以下で説明するような画像処理装置に想到した。

（第１の実施形態）
＜画像処理装置の構成について＞
まず、図２を参照しながら、本発明の第１の実施形態に係る画像処理装置の構成について、詳細に説明する。図２は、本実施形態に係る画像処理装置の構成の一例を示したブロック図である。なお、以下では、本実施形態に係る画像処理装置が、被写体を撮像することが可能な撮像装置として実現されている場合を例に挙げて、説明を行うものとする。

撮像装置として機能する本実施形態に係る画像処理装置１０は、図２に示したように、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）／ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０１、撮像部１０３、画像入力インタフェース（Ｉ／Ｆ）１０５、ＳＤＲＡＭ１０７、圧縮処理回路１０９、ＬＣＤドライバ１１１、再生装置１１３、メディアインタフェース（Ｉ／Ｆ）１１５、記録装置１１７、絞り値制御部１２１、フォーカス位置制御部１２３、タイミング発生部１２５、ゲイン制御部１２７、及び、モータやアクチュエータ等の機構を有する駆動機構を主に備える。ＣＰＵ／ＤＳＰ１０１、画像入力Ｉ／Ｆ１０５、ＳＤＲＡＭ１０７、圧縮処理回路１０９、ＬＣＤドライバ１１１及びメディアＩ／Ｆ１１５は、内部バスによって互いに接続され、各処理部間で相互に信号を送受信することが可能である。

ＣＰＵ／ＤＳＰ１０１は、演算処理装置および制御装置として機能し、ＳＤＲＡＭ１０７や、未図示のメモリや記憶部等に記録された各種プログラムに従って、画像処理装置１０内の動作全般またはその一部を制御する。また、ＣＰＵ／ＤＳＰ１０１は、撮像部１０３によって撮像された画像（撮像画像）に対して公知の画像処理を実施する画像処理機能も有している。

このＣＰＵ／ＤＳＰ１０１は、図２に示したように、画像処理部１３１、オートフォーカス（ＡＦ）部１３３、自動露光（ＡＥ）部１３５、オートホワイトバランス（ＡＷＢ）部１３７及びフレーム生成部１３９を有している。

画像処理部１３１は、撮像部１０３により撮像され、画像入力Ｉ／Ｆ１０５を介して入力された撮像画像に対して、公知の画像処理を行う処理部である。画像処理部１３１が実施する各種の画像処理は特に限定されるものではなく、撮像素子から出力された撮像画像に対して実施される公知の画像処理を実施することが可能である。画像処理部１３１によって画像処理がなされた撮像画像は、記憶部として機能するＳＤＲＡＭ１０７に格納されることとなる。

ＡＦ部１３１は、撮像素子から出力される撮像画像に関する情報に基づいて被写体までの距離を検出し、フォーカス位置制御部１２３により撮像部１０３に設けられたフォーカスレンズを駆動させることで、焦点距離を調節する。このように、ＡＦ部１３３は、後述する撮像部１０３におけるフォーカスを制御する、フォーカス制御部として機能する。

ＡＥ部１３５は、撮像素子から出力される撮像画像の輝度情報に基づいて、撮像時の露出値及び適正露出値を算出する。ここで、輝度情報とは、被写体（撮像画像）の輝度値に関する情報のことを示す。また、ＡＥ部１３５は、算出した適正露出値等に基づいて、撮像素子で取得される画像信号の露出値が適正露出値に応じた露出値になるように、絞り値制御部１２１を介して撮像部１０３の絞りを制御したり、タイミング発生部１２５を介して撮像部のシャッターや撮像素子を制御したりする。更に、ＡＥ部１３５は、算出された適正露出値に基づいて、画像信号に作用させるゲインを算出し、ゲイン制御部１２７を介して画像信号の増幅を制御する。このように、ＡＥ部１３５は、撮像部１０３における露出値に関する各種の物理量を算出し、当該物理量に基づいて撮像部１０３における露光量を制御する、露光量制御部として機能する。

ＡＷＢ部は、撮像素子から出力される撮像画像に関する情報に基づいて、適正なホワイトバランスゲインを算出し、ゲイン制御部１２７を介して撮像部１０３のホワイトバランスの調整を制御する。

以上説明したような、絞り値制御部１２１、フォーカス位置制御部１２３、タイミング発生部１２５、ゲイン制御部１２７、ＡＦ部１３３、ＡＥ部１３５及びＡＷＢ部１３７は、撮像部１０３によって撮像される撮像画像の様々な画像特性を制御する、画像特性制御部として機能するものである。

フレーム生成部１３９は、画像処理部１３１により画像処理が施され、記憶部であるＳＤＲＡＭ１０７に格納されている動画用の撮像画像（撮像フレーム）を利用して、後述する動画再生用フレームを生成する。このフレーム生成処理については、以下で詳述する。

撮像部１０３は、ズームレンズやフォーカスレンズ等のレンズ群、絞り、シャッター、ＮＤフィルタ、撮像素子等から構成されている。撮像部１０３は、ＣＰＵ／ＤＳＰ１０１や画像特性制御部等による制御のもとで、被写体からの光を後述する撮像素子の受光面に入射させる。これにより、撮像素子において、受光面に入射した光が電気信号へと変換され、撮像画像が生成されることとなる。なお、本実施形態に係る撮像部１０３では、レンズ群、絞り、シャッター、ＮＤフィルタ、撮像素子等の種類については特に限定されず、公知のものを利用することが可能である。撮像部１０３により生成された動画用の撮像画像（撮像フレーム）は、画像入力Ｉ／Ｆ１０５を介してＣＰＵ／ＤＳＰ１０１に入力される。

画像入力Ｉ／Ｆ１０５は、撮像部１０３により撮像された撮像画像の実体データを、撮像部１０３から画像処理装置１０の本体へと入力させる際のインタフェースである。この画像入力Ｉ／Ｆ１０５を介して、動画用の撮像画像である撮像フレームが、ＣＰＵ／ＤＳＰ１０１へと入力されることとなる。

ＳＤＲＡＭ１０７は、画像処理装置１０に設けられる記憶部の一例である。ＳＤＲＡＭ１０７は、ＣＰＵ／ＤＳＰ１０１によって各種の画像処理が施された画像信号を、画像データとして所定のフォーマットで記憶する。

圧縮処理回路１０９は、ＣＰＵ／ＤＳＰ１０１により各種の処理が施された画像データや、ＳＤＲＡＭ１０７に格納されている画像データを、所定の圧縮データ形式へと変換する処理回路である。

ＬＣＤドライバ１１１は、再生装置１１３として機能する表示装置であるＬＣＤ（液晶ディスプレイ）を駆動するためのドライバである。また、ＬＣＤ１５４は、撮像装置１０に搭載される表示装置の一例である。ＬＣＤドライバ１１１は、例えば、ＳＤＲＡＭ１０７や後述する記録装置１１７に記憶されている画像データを表示画面に表示するように再生装置１１３を駆動する。これにより、視聴者は、生成した動画再生用フレームをその場で確認することが可能となる。なお、本実施形態においては、画像データを表示する表示装置はＬＣＤに限定されず、各種の公知の表示装置が用いられてよい。

メディアＩ／Ｆ１１５は、記録装置１１７として機能する各種の記録メディアを駆動するためのドライバである。また、記録装置１１７は、外部記憶装置の一例である。メディアＩ／Ｆ１１５は、各種のデータを記録装置１１７に書き込むことができる。また、メディアＩ／Ｆ１１５は、各種のデータを記録装置１１７から読み出すことができる。例えば、メディアＩ／Ｆ１１５は、記録装置１１７に画像データを書き込んだり、記録装置１１７から画像データを読み出して再生装置１１３に表示させたりすることができる。なお、本実施形態においては、記録装置１１７の種類は特に限定されず、各種の公知の外部記憶装置が用いられてよい。

以上、図２を参照しながら、本実施形態に係る画像処理装置１０の全体的な構成について、簡単に説明した。

＜動画再生用フレームの生成処理について＞
続いて、図３〜図９を参照しながら、本実施形態に係るＣＰＵ／ＤＳＰ１０１のフレーム生成部１３９で実施される、動画再生用フレームの生成処理について、詳細に説明する。図３〜図９は、本実施形態に係る動画再生用フレーム生成処理の一例を説明するための説明図である。

本実施形態に係るフレーム生成部１３９は、記憶部の一例であるＳＤＲＡＭ１０７に記憶された複数の画像フレーム（撮像フレーム）から所定数の画像フレームを取得し、取得した所定数の画像フレームを合成することで、動画再生用フレームを逐次生成する。この際、フレーム生成部１３９は、同一の画像フレームを異なる動画再生用フレームに使用することを許容して、合成を行う。その結果、撮像フレームと同じフレームレートで、動画再生用フレームを生成することが可能となる。

例えば図３に示したように、３枚の撮像フレームを利用して動画再生用フレームを生成する場合を考える。この際、フレーム生成部１３９は、撮像フレームの重複利用を許容するため、図３に示したように使用する画像をオーバーラップさせながら、動画再生用フレームを逐次生成していく。図３では、２枚の撮像フレームをオーバーラップさせながら重複利用しているため、撮像フレームと同じフレームレートで、動画再生用フレームを生成することが可能となる。

なお、動画再生用フレームを生成するために利用する撮像フレームの枚数は特に限定されるものではなく、動画再生用フレームに求める画像品質等に応じて、適宜決定すればよい。

また、フレーム生成部１３９は、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた画像フレームを用いて、動画再生用フレームを合成することが可能である。これにより、フレーム生成部１３９は、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた動画再生用フレームを生成することが可能となる。このような画像特性を変化させた画像フレーム（撮像画像）は、任意の撮像装置によって別途撮像されたものであってもよいし、図２に例示したような画像処理装置１０に設けられた撮像部１０３によって、複数回撮像されたものであってもよい。

図２に例示したように、画像処理装置１０に対して、撮像部１０３と、各種の画像特性制御部が設けられている場合、フレーム生成部１３９は、各画像特性制御部及び撮像部１０３と互いに連携しながら、被写体を複数回撮像する。この際、それぞれの画像特性制御部は、動画再生用フレームの画像特性が単調に変化するように（好ましくは、連続的に変化するように）撮像部１０３を制御して、得られる撮像フレームの画像特性を変化させる。これにより、動画再生用フレームにおける画像特性を、再生時に視聴者が違和感を覚えることが無いように変更することが可能となる。

例えば、画像特性制御部は、露光時間、ゲイン特性、絞り値、ＮＤフィルタの少なくとも何れかを変化させて、画像フレームの露光量を制御することができる。これにより、動画再生用フレームの露光量を制御することが可能となる。また、画像特性制御部は、絞り値を変化させて画像フレームの被写界深度を制御することも可能である。これにより、動画再生用フレームの被写界深度を制御することが可能となる。また、画像特性制御部は、撮像部１０３に設けられたフォーカスレンズを制御して撮像フレームのフォーカス位置を制御することも可能である。これにより、動画再生用フレームのフォーカス位置を制御することが可能となる。

以下では、図４〜図７を参照しながら、ユーザからの機能指定、又は、ＡＥ機能により、露光量を変化させた動画再生用フレームを生成する場合を例に挙げて、具体的に説明する。

画像特性の一種である露光量を変化させながら動画再生用フレームを生成する場合、フレーム生成部１３９は、ＡＥ部１３５や絞り値制御部１２１等と互いに連携しながら、撮像部１０３により被写体の撮像を行っていく。

図４では、動画再生用フレームの明るさを暗くしていきたい場合、すなわち露光量を減少させたい場合のフレーム生成処理を具体的に示している。
図４において、撮像フレームの左上に記載している数字が、明るさを表す数値であるとし、フレーム生成部１３９は３枚の撮像フレームから１つの動画再生用フレームを生成するものとする。

この場合、フレーム生成部１３９は、生成する動画再生用フレームの明るさが、単調減少していくように、更に好ましくは、連続的に単調減少していくように、ＡＥ部１３５や絞り値制御部１２１等と連携しながら被写体の撮像を制御していく。

例えば、生成する動画再生用フレームの明るさが、生成に利用する撮像フレームの明るさの平均となるとすると、フレーム生成部１３９は、生成される動画再生用フレームの明るさを推定して、画像特性制御部を介して撮像フレームの露光量を制御する。

図４に示した例では、フレーム生成部１３９による最初の合成処理で、明るさ４、明るさ５、明るさ６の３つの撮像フレームが利用され、その明るさの平均値は５となる。また、２番目の合成処理では、明るさ５、明るさ６、明るさ４の３つの撮像フレームが利用され、その明るさの平均値は５となる。更に、３番目の合成処理では、明るさ６、明るさ４、明るさ５の３つの撮像フレームが利用され、その明るさの平均値は５となる。従って、フレーム生成部１３９は、４番目の合成処理において、生成される動画再生用フレームの明るさを４とするために、合成に用いる３つ目の撮像フレームの明るさが３となるように、露光量の制御を行う。

このような処理を行うことで、フレーム生成部１３９は、図４下段に示したように、明るさを表す特性値が単調かつ連続的に変化する動画再生用フレームを生成することができる。

図５は、図４とは逆に、動画再生用フレームの明るさを明るくしていきたい場合、すなわち露光量を増加させたい場合のフレーム生成処理を具体的に示している。この場合においても、図４と同様にして露光量の制御を行うことで、特性値が単調かつ連続的に変化する動画再生用フレームを生成することができる。

また、このような処理は、動画再生用フレームの生成に用いられる撮像フレームの枚数が３枚以外の場合であっても、同様に行うことが可能である。図６及び図７では、２枚の撮像フレームから動画再生用フレームを生成する際に明るさの制御を行う場合を図示したものであるが、図４や図５に示した方法と同様にして、特性値が単調かつ連続的に変化する動画再生用フレームを生成することが可能である。

以上の説明では、露光量を制御しながら動画再生用フレームを生成する場合について説明を行ったが、被写界深度やフォーカス位置を制御する場合であっても、露光量を制御する場合と同様に、生成される動画再生用フレームの被写界深度やフォーカス位置を推定しながら、生成される動画再生用フレームの被写界深度やフォーカス位置が単調かつ連続的に変化するように、撮像処理を制御しつつ動画再生用フレームを生成すればよい。

また、画像特性に応じて画像フレームに対し当該画像フレームの重要度が関連付けられる場合、撮像部１０３は、ＣＰＵ／ＤＳＰ１０１による制御のもとで、かかる重要度に応じて画像フレームの撮像頻度を変化させてもよい。これにより、画像合成に用いる画像フレームの個数を削減することが可能となる。

合成する画像の重要度が異なる場合の具体例としては、図８に示したように、ＨＤＲ合成において、中間の明るさの画像を基準画像（重要度の高い画像）とし、暗い画像（重要度が低い画像）と明るい画像（重要度が低い画像）とを補助的に使う場合が挙げられる。この場合、フレーム生成部１３９は、画像特性制御部及び撮像部１０３と連携しながら、中間の明るさ（重要度「高」のフレーム）の撮像頻度を増やし、補助的な画像（重要度「低」のフレーム）を複数回使用することで、通常よりフレームレートの低減を抑えることが可能となる。一般的な方法ではフレームレートが１／３になるのに対し、本方式では１／２になる。

また、フレーム生成部１３９は、画像フレーム間で、画像情報が所定の閾値以上に大きく変化した場合、動画再生用フレームの生成を中止してもよい。ここで、画像情報が変化するとは、画像そのものが変化する場合や、画像特性が変化する場合を含む。

フレーム間で著しく画像が変化する場合の具体例としては、例えば図９に示したように、パンニングが発生した場合を挙げることができる。パンニングが発生すると、時間経過に対して画像が大きく変化するため、動画再生用フレームの生成が困難となる。そのため、フレーム生成部１３９は、かかる場合には動画再生用フレームの合成を中止し、通常の撮像制御を行う。これにより、視聴者に違和感のある動画再生フレームが生成されることを防止することが可能となる。

以上、本実施形態に係る画像処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。

なお、上述のような本実施形態に係る画像処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０ 画像処理装置（撮像装置）
１０１ ＣＰＵ／ＤＳＰ
１０３ 撮像部
１０５ 画像入力インタフェース
１０７ ＳＤＲＡＭ（記憶部）
１０９ 圧縮処理回路
１１１ ＬＣＤドライバ
１１３ 再生装置
１１５ メディアインタフェース
１１７ 記録装置
１２１ 絞り値制御部
１２３ フォーカス位置制御部
１２５ タイミング発生部
１２７ ゲイン制御部
１３１ 画像処理部
１３３ ＡＦ部
１３５ ＡＥ部
１３７ ＡＷＢ部
１３９ フレーム生成部

Claims (12)

1. 連続した複数の画像フレームを記憶する記憶部と、
   前記記憶部に記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成部と、
   を備え、
   前記フレーム生成部は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う
   ことを特徴とする、画像処理装置。
2. 前記フレーム生成部は、露光量、被写界深度又はフォーカス位置の少なくとも何れかの画像特性を変化させた前記画像フレームを用いて、前記動画再生用フレームを合成する
   ことを特徴とする、請求項１に記載の画像処理装置。
3. 被写体を複数回撮像することで前記複数の画像フレームを生成する撮像部と、
   前記撮像部を制御することで前記画像特性を制御する画像特性制御部と、
   を更に備え、
   前記画像特性制御部は、前記動画再生用フレームの前記画像特性が単調に変化するように、前記画像特性を変化させる
   ことを特徴とする、請求項２に記載の画像処理装置。
4. 前記画像特性制御部は、前記動画再生用フレームの前記画像特性が連続的に変化するように、前記画像特性を変化させる
   ことを特徴とする、請求項３に記載の画像処理装置。
5. 前記画像特性制御部は、露光時間、ゲイン特性、絞り値、ＮＤフィルタの少なくとも何れかを変化させて前記画像フレームの露光量を制御する
   ことを特徴とする、請求項３又は４に記載の画像処理装置。
6. 前記画像特性制御部は、絞り値を変化させて前記画像フレームの被写界深度を制御する
   ことを特徴とする、請求項３又は４に記載の画像処理装置。
7. 前記画像特性制御部は、前記撮像部に設けられたフォーカスレンズを制御して前記画像フレームのフォーカス位置を制御する
   ことを特徴とする、請求項３又は４に記載の画像処理装置。
8. 前記画像特性に応じて前記画像フレームに対し当該画像フレームの重要度が関連付けられる場合、前記撮像部は、当該重要度に応じて画像フレームの撮像頻度を変化させる
   ことを特徴とする、請求項３〜７の何れか１項に記載の画像処理装置。
9. 前記フレーム生成部は、前記画像フレーム間で画像情報が所定の閾値以上に大きく変化した場合、前記動画再生用フレームの生成を中止する
   ことを特徴とする、請求項１〜８の何れか１項に記載の画像処理装置。
10. 前記動画再生用フレームを再生する再生部を更に備える
    ことを特徴とする、請求項１〜９の何れか１項に記載の画像処理装置。
11. 連続した複数の画像フレームを記憶する記憶ステップと、
    前記記憶ステップにて記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成ステップと、
    を含み、
    前記フレーム生成ステップでは、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う
    ことを特徴とする、画像処理方法。
12. コンピュータに、
    連続した複数の画像フレームを記憶する記憶機能と、
    前記記憶機能により記憶された前記複数の画像フレームから所定数の画像フレームを取得し、取得した当該所定数の画像フレームを合成することで動画再生用フレームを逐次生成するフレーム生成機能と、
    を実現させ、
    前記フレーム生成機能は、同一の前記画像フレームを異なる前記動画再生用フレームに使用することを許容して、合成を行う
    ことを特徴とする、プログラム。
    

Images