JP2019075640A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】スローモーション撮影された動画を通常速度で再生する場合に、動きブレを付与し、動きが滑らかな動画を生成する画像処理装置及び画像処理方法を提供する。【解決手段】時間的に連続する複数の画像を取得する画像処理装置は、撮像時の露光時間をフレーム毎に取得する手段と、目標の露光時間を決める手段と、目標の露光時間に応じた動きブレを付加する手段を有し、「撮影時の露光時間」と「再生条件」に応じて、目標の露光時間を変更する。【選択図】図３

Description

本発明は、画像処理装置に関し、特に、画像に対し動きブレを付与するための技術に関する。

ビデオカメラやスチルカメラ等の撮像装置には、スローモーション撮影が可能な機種がある。ユーザーがこの機能を使うことにより、肉眼では見えなかった被写体の決定的瞬間をとらえることが可能となる。この機能では、通常動画が６０ｆｐｓで撮影されるのに対して、スローモーション撮影時には１２０ｆｐｓや２４０ｆｐｓなどの高速フレームレートで撮影しておく。再生時にその動画を表示機器で６０Ｈｚで再生することで、２倍や４倍のスローモーション再生が可能となる。また、通常速度で動画を撮影しておき、ユーザーが指示を送った期間だけ（例えばボタンを押す）、スローモーション撮影に切り替えることが可能な機種がある。

また、テレビやディスプレイ等の表示装置には、撮影した動画のフレーム間に補間フレームを生成し、高速なフレームレートで表示する機能を搭載している機種がある。このような機能を使うことにより、動きの速い被写体だとしても残像を抑えた滑らかな動きとして表示する事が可能となる。

特許文献１、及び特許文献２には、動きベクトル及び動きベクトル信頼度に基づき、補間フレームを生成することにより、高速フレームレートの動画を生成する技術が開示されている。

特開２００７−７４５９０号公報 特許第５１０６２０３号公報

撮影時にスローモーション撮影を行ったフレームであっても、重要度が低く再生時にユーザーがスローモーション再生が不要なフレームと判断することがある。スローモーション再生が不要なフレームに対してスローモーション再生を行うと、ユーザーにとって再生速度が遅く見たい場所にたどりつきにくいという問題点がある。

ところが、等倍速度（スローモーション撮影後の画像に対しては倍速再生）すると、動画として視聴した際に、動きがカクカクし不自然になってしまうという問題点がある。例えば、スローモーション撮影で２４０ｆｐｓで露光時間が１／１０００秒で撮影されたフレーム画像に関しては、非露光期間が長く発生する。このように、フレーム間の時間間隔に比べ露光時間が非常に短い動画は、フレーム間において長い非露光時間が発生し、フレーム毎の動きブレが繋がらず、動き被写体がカクカクし不自然になってしまう。

本発明は、上記の問題点を鑑みてなされたものであり、時間的に連続する複数の画像を取得する画像処理装置において、スローモーション撮影された動画を通常速度で再生する場合に、動きブレを付与し、動きが滑らかな動画を生成することを目的とする。

上記の目的を達成するために、本発明に係る画像処理装置は、
時間的に連続する複数の画像を取得する画像処理装置において、撮像時の露光時間をフレーム毎に取得する手段と、目標の露光時間を決める手段と、目標の露光時間に応じた動きブレを付加する手段を有し、「撮影時の露光時間」と「再生条件」に応じて、目標の露光時間を変更することを特徴とする。

本発明に係る画像処理装置によれば、スローモーション撮影を行った動画を倍速再生を行う場合に動きブレを付与することにより、動きが滑らかな動画を生成することができる。

本発明の第一および第二の実施例の構成を示す図 本発明の第一および第二の実施例の構成を示す図 本発明の第一および第二の実施例を説明するためのフローチャート 本発明の第一および第二の実施例を説明するためのフローチャート 本発明の第一および第二の実施例を説明するための図 本発明の第一の実施例を説明するための図 本発明の第二の実施例を説明するための図

以下、図面を参照しながら本発明の好適な実施の形態について説明する。

本発明の実施例１は、スローモーション撮影された露光時間が短い動画フレームに対して、補間フレーム画像を用いて動きブレを付与し、動きが滑らかな動画を生成する。以下、本発明実施例１について説明する。

図１は、本発明の滑らか動画生成技術を撮像装置１００に応用した場合の構成例を示すブロック図である。以下、本発明実施例１の構成例について図１を参照して説明する。

制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの動作プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することにより撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群で構成され、被写体像を後述の撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号にデジタル画像信号に変換し、得られたデジタル画像データをＲＡＭ１０３に出力する。

画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、後述する滑らか動画生成部２００を具備し、ＲＡＭ１０３に記憶されている画像データに対して動きブレを付与し、動きが滑らかな動画を生成する。

記録部１０８は着脱可能なメモリカード等であり、画像処理部１０７で処理された画像が、ＲＡＭ１０３を介し、記録画像として記録される。また、記録部１０８に記録されている画像を、ＲＡＭ１０３を介し、画像処理部１０７に出力することもできる。

表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３及び記録部１０８に記録した画像やユーザーからの指示を受け付けるための操作ユーザーインターフェイスを表示する。

以上、撮像装置１００の構成と、基本動作について説明した。

次に、本発明の特徴である画像処理部１０７の動作について、詳細に説明を行う。本発明では、露光時間が短い動画に対して、補間フレーム画像を用いて動きブレを付与し、動きが滑らかな動画を生成する例について記載する。

まず、画像処理部１０７が具備する滑らか動画生成部２００の構成例について、図２を参照して説明する。

滑らか動画生成部２００は、記録部１０８に記録した画像データに対して、動きブレを付与し、滑らかな動画を生成する。図２は、滑らか動画生成部２００の構成例を示す図である。詳細は後述するが、滑らか動画生成部２００は、動きベクトル算出部２０１、補間フレーム画像生成部２０２、動きベクトル信頼度算出部２０３、画像合成部２０４より構成される。

図５を用いて、本発明のスローモーション動画の動作の説明を行う。

最初に撮影時の動作について説明する。この例ではユーザーの指示により、ｔ１からｔ４の間で、スローモーション撮影が行われる例を示している。具体的には、ｔ０〜ｔ１の間、及びｔ４〜ｔ５の間は通常撮影６０ｆｐｓ、フレーム間の露光時間は１／８０秒で撮影される。一方ｔ１〜ｔ４のスローモーション撮影では、通常撮影の２倍の撮影速度１２０ｆｐｓで、フレーム間の露光時間は１／５００秒で撮影される。ただし、再生時に確認した場合に、ｔ１〜ｔ２およびｔ３〜ｔ４の区間においては、スローモーション撮影を行う重要なシーンではなかったので、通常速度への変換を行うことを考える。

次に、滑らか動画生成部２００の処理について、図４のフローチャートを参照して説明する。

図４のステップ４０１において、撮影後の画像を取得して、ステップＳ４０１でスローモーション撮影された撮影フレームであるか否かを判定する。スローモーション撮影されたフレームでない場合は、ステップＳ４０４に進む。ステップＳ４０１でスローモーション撮影された撮影フレームである場合は、ステップＳ４０２に進み、ステップＳ４０２で通常速度に変換したいフレーム（倍速再生したいフレーム）であるか否かを判定する。通常速度に変換したいフレームは図５の例では、ｔ１〜ｔ２またはｔ３〜ｔ４の区間を示している。ステップＳ４０２で通常速度に変換したいフレームでない場合は、ステップＳ４０４に進む。ステップＳ４０２で通常速度に変換したいフレームである場合は、ステップＳ４０３に進み、詳細は後述するが倍速再生量に応じたブラーを制御する。次にステップＳ４０４に進み、最終フレームであるか否かを確認する。最終フレームでなければステップＳ４０１に戻り、上記ステップＳ４０１からステップＳ４０４の動作を繰り返す。ステップＳ４０４で最終フレームの場合は、終了する。

図６を用いて、図４のステップＳ４０３の動作である倍速再生量に応じたブラー制御の具体的な動作について説明を行う。

図６の（ｄ）は通常撮影時のシーケンスでｄ１、ｄ２の領域が露光時間の領域を示している。この例ではフレームレート６０ｆｐｓ、フレーム間の露光時間は１／８０秒である。図６（ａ）はスローモーション撮影時のシーケンスで、ａ１、ａ２，ａ３、ａ４、ａ５の領域が露光時間の領域を示している。この例では、通常の２倍の撮影速度１２０ｆｐｓで撮影されて、露光時間は１／５００秒で撮影された動画を示している。図６（ｂ）は、図６（ａ）のスローモーション動画を２倍速再生したときのシーケンスでａ１，ａ３、ａ５の領域が露光時間の領域を示している。なお、図６（ａ）と図６（ｂ）と図６（ｃ）のａ１、ａ２，ａ３、ａ４、ａ５は同じものを指している。

ところで、この図６（ｂ）の動画の再生速度は、図６（ｄ）の再生速度と同じ再生速度になるが、露光時間に関してはａ１とａ３の間に非露光区間があり、図６（ｄ）と比べて露光期間が短くなっており、動画がカクカクしてしまうという問題点がある。そのため、図６（ｃ）に示すようにａ１とａ３の間にａ２フレームを挿入し、さらにａ１とａ２の間にｃ１に相当する露光期間をフレーム補間で生成する。同様に、ａ３とａ５の間にａ４フレームを挿入し、さらにａ３とａ４の間ｃ２に相当する露光期間をフレーム補間で生成する。そのようにすることで、２倍速再生時のフレームの露光時間を通常撮影時の露光時間相当にすることができ、スローモーション動画から通常動画への変換を行った場合にカクカク感のない動画を得ることができる。

ここで図２を用いて、図６（ｃ）のｃ１とｃ２の露光期間を生成するためのフレーム補間の動作について説明を行う。

動きベクトル算出２０１は、記録部１０８に記録したフレーム間の動画から順方向および逆方向の動きベクトルを算出する。そして、算出した順方向及び逆方向の動きベクトルを補間フレーム画像生成部２０２及び動きベクトル信頼度算出部２０３に出力し、算出した順方向及び逆方向の動きベクトルに対応する相関値を動きベクトル信頼度算出部２０３に出力する。動きベクトルの算出手法例としては、公知のブロックマッチング法やオプティカルフロー手法などを用いるため詳細な説明は省略する。

補間フレーム画像生成部２０２は、撮像フレーム画像と動きベクトルに基づき、補間フレーム画像を生成する。動きベクトル信頼度算出部２０３は、動きベクトルとその動きベクトルを算出した時の相関値に基づき、撮像フレーム毎に順方向及び逆方向の動きベクトルの信頼度を算出する。画像合成部２０４は、動きベクトル算出部２０３で求めた動きベクトル信頼度と補間フレーム画像生成部２０２で求めた補間フレーム画像に基づいて、画像合成を行い、動きブレが付与したフレーム画像を出力する。

次に、図３を用いて、なめらか動画生成部２００の処理をフローチャートで説明を行う。

ステップＳ３０１でフレームレート及び露光時間を決定する。この例では、フレームレートは６０ｆｐｓで露光時間は１／８０ｓｅｃである。次にステップＳ３０２において、動きベクトルを算出する。続いてステップＳ３０３に進み、補間フレーム画像を生成する。次に、ステップＳ３０４に進み、動きベクトル信頼度の算出を行う。次にステップＳ３０５に進み、ステップＳ３０３で生成した補間フレーム画像とステップＳ３０４で求めた動きベクトル信頼度のデータから、画像合成を行う。

尚、スローモーション動画から通常動画への変換を行うフレームの指定は、表示部１０９のユーザーインターフェイスを介し、ユーザーが決定するものとする。これにより、ユーザーは、スローモーション動画から通常動画への変換を行った場合にカクカク感のない動画を得ることができる。

上記説明したように、スローモーション撮影された動画から倍速再生により等倍速度で再生を行う場合に、フレーム補間を行うことによって、２倍速再生時のフレームの露光時間を通常撮影時の露光時間相当にすることができ、スローモーション動画から通常動画への変換を行った場合にカクカク感のない動画を得ることができる。

以下、本発明の第二の実施形態について図７の構成図を参照して説明する。

第二の実施例が第一の実施例と異なるのは、図４のステップＳ４０３の動作である倍速フレームからの変換が４倍速フレームからの変換となるところである。図１から図５の構成に関しては、第一の実施例で説明したものと同等のため、詳細な説明は省略する。

図７の（ｄ）は通常撮影時のシーケンスでｄ１、ｄ２の領域が露光時間の領域を示している。この例ではフレームレート６０ｆｐｓ、フレーム間の露光時間は１／８０秒されている。図７（ａ）はスローモーション撮影時のシーケンスで、ａ１、ａ２，ａ３、ａ４、ａ５の領域が露光時間の領域を示している。この例では、通常の２倍の撮影速度２４０ｆｐｓで撮影されて、露光時間は１／１０００秒で撮影された動画を示している。図７（ｂ）は、図７（ａ）のスローモーション動画を４倍速再生したときのシーケンスでａ１、ａ５の領域が露光時間の領域を示している。なお、図７（ａ）と図７（ｂ）と図７（ｃ）のａ１、ａ２，ａ３、ａ４、ａ５は同じものを指している。

ところで、この図７（ｂ）の動画の再生速度は、図７（ｄ）の再生速度と同じ再生速度になるが、露光時間に関してはａ１とａ５の間に非露光区間があり、図７（ｄ）と比べて露光期間が短くなっており、動画がカクカクしてしまうという問題点がある。そのため、図７（ｃ）に示すようにａ１とａ５の間にａ２，ａ３、ａ４フレームを挿入する。さらにａ１とａ２の間にｃ１に相当する露光期間を、ａ３とａ４の間にｃ２に相当する露光期間を、ａ３とａ４の間にｃ３に相当する露光期間をフレーム補間で生成する。そのようにすることで、４倍速再生時のフレームの露光時間を通常撮影時の露光時間相当にすることができ、スローモーション動画から通常動画への変換を行った場合にカクカク感のない動画を得ることができる。

上記説明したように、スローモーション撮影された動画から４倍速再生により等倍速度で再生を行う場合に、フレーム補間を行うことによって、４倍速再生時のフレームの露光時間を通常撮影時の露光時間相当にすることができ、スローモーション動画から通常動画への変換を行った場合にカクカク感のない動画を得ることができる。

なお、実施例１および２を用いて、倍速および４倍速再生時の動作について説明を行ったがこの速度に限られるものではない。

１００ 撮像装置、１０１ 制御部、１０２ ＲＯＭ、１０３ ＲＡＭ、
１０４ 光学系、１０５ 撮像部、１０６ Ａ／Ｄ変換部、１０７ 画像処理部、
１０８ 記録部、１０９ 表示部、２００ 滑らか動画生成部、
２０１ 動きベクトル算出部、２０２ 補間フレーム画像生成部、
２０３ 動きベクトル信頼度算出部、２０４ 画像合成部

Claims (4)

1. 時間的に連続する複数の画像を取得する画像処理装置において、
   撮像時の露光時間をフレーム毎に取得する手段と、
   目標の露光時間を決める手段と、
   前記目標の露光時間に応じた動きブレを付加する手段を有し、
   「撮影時の露光時間」と「再生条件」に応じて、前記目標の露光時間を変更することを特徴とする画像処理装置。
2. 前記再生条件において、再生速度が速くなる場合は、目標の露光時間を長く設定することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮影時の露光時間が短い場合は、目標の露光時間を長く設定することを特徴とする請求項１に記載の画像処理装置。
4. 画像の解像度に応じて、目標の露光時間を変更する手段を有し、画像の解像度が高い場合は、目標の露光時間を短くすることを特徴とする請求項１に記載の撮像装置。