JP2022165815A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】撮影した動画を編集する場合において、動画のぶれの度合いやぶれ補正後の効果を確認するために、動画のぶれ量の大きいシーンのフレーム区間をユーザに通知する画像処理装置、画像処理方法及びコンピュータプログラムを提供する。
【解決手段】方法は、動画を構成する複数のフレームのうち、ぶれ量が大きいシーンに対応するフレームの該動画における区間を、動画のぶれ情報からぶれ量を算出してぶれ量が大きいシーンを検出することにより特定し、該区間を表す情報を出力する。
【選択図】図３

Description

本発明は、動画におけるぶれ量に関する情報を提示する為の技術に関するものである。

動画の画像処理において、防振（手振れ補正）は重要な高画質化要素である。防振処理は、ぶれ検出と画像補正処理からなる。前者は、ジャイロセンサなどからぶれ情報を推定したり、フレーム間の動きからぶれ情報を推定したりする。後者は、ぶれ情報をもとに、レンズやセンサを、撮像される像におけるぶれをキャンセルするように物理的に動作させて、ぶれを抑制したり、一度撮像した画像のぶれをキャンセルするようにデジタル的に幾何補正させたりすることで、補正画像を得る。防振は、カメラ内で撮像時に行われることが多いが、デジタル的な幾何補正はＰＣ（パーソナルコンピュータ）などで記録されたコンテンツを編集・加工する過程での一つの処理として実行されることもある。

近年、８Ｋ動画や４Ｋ動画といった高解像の動画を撮像できるようになってきた。しかし、編集（エフェクト加工を含む）・再生処理は非常に負荷が高く、リアルタイムに編集し、それを再生することは難しい。現在の技術で、高解像度の動画をリアルタイムに再生する方法には、大きく２つの方法が考えられる。

一つ目の方法は、動画をＲＡＭに記憶し、ＲＡＭから読みだして表示する方法である。ただし、これには大量のメモリを必要とし、一般ユーザが利用するＰＣではメモリが少なく、数秒程度の動画しか記憶できない。

もう一つの方法は、コンテンツを符号化し、再生時には符号化ストリームを読み込みながら専用ハードウェアで復号・表示する方法である。動画を符号化することで、そのデータ量は減っているため、低速なＨＤＤ（ハードディスク）上に記録して再度読みだしてもリアルタイム再生に可能な速度で符号化データを読み込むことができる。この方法は、比較的長時間のコンテンツも再生可能となるが、加工時のパラメータを調整したい場合、時間をかけて符号化し復号するという工程を繰り返す必要がある。

ぶれの状態をユーザに提示する方法は、特許文献１に開示されている。特許文献１に開示の発明は、カメラでの撮影時に、撮影の瞬間にぶれが発生していることをユーザに提示するものである。

特開平3-277078号公報

撮影した動画を編集する場合において、動画のぶれの度合いやぶれ補正後の効果を確認するためには、ユーザはリアルタイムで再生してぶれ量の大きい箇所を目視する必要があった。本発明は、動画においてぶれ量の大きいシーンのフレーム区間をユーザに通知するための技術を提供する。

本発明の一様態は、動画を構成する複数のフレームのうち、ぶれ量が大きいシーンに対応するフレームの該動画における区間を、前記複数のフレームに基づき特定する特定手段と、前記区間を表す情報を出力する出力手段とを備えることを特徴とする。

本発明の構成によれば、動画においてぶれ量の大きいシーンのフレーム区間をユーザに通知することができる。

画像処理装置のハードウェア構成例を示すブロック図。 ＧＵＩの表示例を示す図。 画像処理装置が行う処理のフローチャート。 画像処理装置が行う処理のフローチャート。 画像処理装置が行う処理のフローチャート。 ＧＵＩの表示例を示す図。 画像処理装置が行う処理のフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
本実施形態では、動画におけるフレームごとのぶれ量を表すグラフに、ぶれ量の大きいシーンのフレーム区間を表す情報を重畳させたグラフ画像を生成して表示させることで、該グラフ画像をユーザに提示する画像処理装置について説明する。

まず、本実施形態に係る画像処理装置のハードウェア構成例について、図１のブロック図を用いて説明する。本実施形態に係る画像処理装置には、ＰＣ（パーソナルコンピュータ）、タブレット端末装置、スマートフォン、ディジタルビデオ／スティルカメラ、組み込みシステムなどの、取得した動画について上記の処理を行って上記のグラフ画像をユーザに提示可能な装置が適用可能である。

ＣＰＵ１０５は、ＲＡＭ１０２に格納されているコンピュータプログラムやデータを用いて各種の処理を実行する。これによりＣＰＵ１０５は、画像処理装置全体の動作制御を行うと共に、画像処理装置が行うものとして説明する各種の処理を実行もしくは制御する。なお、図１では、ＣＰＵ１０５の数を１としているが、複数であっても良く、その場合は、以下に説明する各処理をマルチスレッドで並列に処理することも可能である。

ＲＡＭ１０２は、外部ストレージ１０７からロードされたコンピュータプログラムやデータを格納するためのエリア、ネットワークＩ／Ｆ１０８を介して外部から受信したデータを格納するためのエリア、を有する。さらにＲＡＭ１０２は、ＣＰＵ１０５やグラフィックプロセッサ１０３が各種の処理を実行する際に用いるワークエリアを有する。このようにＲＡＭ１０２は、各種のエリアを適宜提供することができる。

グラフィックプロセッサ１０３は、ＣＰＵ１０５による制御の元、ディスプレイ１０４に表示させる表示情報（動画像、静止画像、文字など）の生成や加工などの画像処理を行い、該画像処理により得られる表示情報をディスプレイ１０４に表示させる。また、グラフィックプロセッサ１０３は、符号化された動画である符号化ストリームをリアルタイムで復号可能な構成を有する。

ディスプレイ１０４は、液晶画面やタッチパネル画面を有する表示装置であり、ＣＰＵ１０５やグラフィックプロセッサ１０３による処理結果を画像や文字などでもって表示する。

ユーザＩ／Ｆ１０６は、キーボード、マウス、タッチパネル画面などのユーザインターフェースであり、ユーザが操作することで、各種の指示をＣＰＵ１０５に対して入力することができる。なお、ディスプレイ１０４がタッチパネル画面を有する場合、ユーザが該タッチパネル画面を操作することで入力した各種の情報（タッチ位置、タッピング操作による指示など）もまた、ＣＰＵ１０５に入力される。

外部ストレージ１０７は、ハードディスクドライブ装置やＳＳＤ（フラッシュメモリを使用したソリッドステートドライブ）などの不揮発性の大容量情報記憶装置である。外部ストレージ１０７には、ＯＳ（オペレーティングシステム）や、画像処理装置が行うものとして説明する各種の処理をＣＰＵ１０５やグラフィックプロセッサ１０３に実行もしくは制御させるためのコンピュータプログラムやデータが保存されている。外部ストレージ１０７に保存されているコンピュータプログラムやデータは、ＣＰＵ１０５による制御に従って適宜ＲＡＭ１０２にロードされ、ＣＰＵ１０５やグラフィックプロセッサ１０３による処理対象となる。

ネットワークＩ／Ｆ１０８は、画像処理装置をＬＡＮやインターネットなどの有線および／または無線のネットワークに接続するためのネットワークインターフェースである。画像処理装置は、ネットワークＩ／Ｆ１０８を介してネットワーク上の装置との間のデータ通信を行うことができる。

ＲＡＭ１０２、外部ストレージ１０７、ネットワークＩ／Ｆ１０８、グラフィックプロセッサ１０３、ＣＰＵ１０５、ユーザＩ／Ｆ１０６は何れも、共通のバス１０１に接続されている。

本実施形態に係る画像処理装置は、動画から上記の如く生成したグラフ画像を含むＧＵＩ（グラフィカルユーザインターフェース）を生成してディスプレイ１０４に出力して表示させる。このＧＵＩについて、図２を用いて説明する。なお、図２に示したＧＵＩの構成は一例であり、以下に説明するＧＵＩの機能を実現可能な構成であれば、如何なる構成を採用しても良い。また、以下では、特に説明がない限りは、ＧＵＩの表示制御や、ＧＵＩに対するユーザ操作に応じて行われる処理は、ＣＰＵ１０５によって、もしくはＣＰＵ１０５による制御の元でグラフィックプロセッサ１０３によって、行われるものとする。図２に示す如く、ＧＵＩは、表示領域２０１、グラフ画像２０２、ボタン２０３～２０５、スライダ２０７、を含む。なお、スライダ２０７およびボタン２０４～２０５は、本実施形態では使用せず、第２の実施形態以降で使用するため、これらについては、第２の実施形態以降で説明する。

表示領域２０１は、動画を表示するための表示領域である。グラフィックプロセッサ１０３は、外部ストレージ１０７からＲＡＭ１０２にロードした動画や、ネットワークＩ／Ｆ１０８を介して外部から受信した動画を表示領域２０１に表示する。表示領域２０１に表示する動画の取得方法は特定の取得方法に限らない。

ボタン２０３は、ぶれ量の解析を指示するためのボタンである。ユーザがユーザＩ／Ｆ１０６を操作してボタン２０３を指示すると、ＣＰＵ１０５による制御の元、グラフィックプロセッサ１０３は、表示領域２０１に表示されている動画におけるフレームごとのぶれ量を解析し、該解析の結果であるグラフ画像２０２を生成してＧＵＩ上に表示させる。

ユーザがユーザＩ／Ｆ１０６を操作してボタン２０３を指示したことに応じて画像処理装置が行う処理について、図３のフローチャートに従って説明する。ステップＳ３０２０では、グラフィックプロセッサ１０３は、表示領域２０１に再生中の動画におけるそれぞれのフレームについてぶれ情報を求める。例えば、グラフィックプロセッサ１０３は、着目フレームのぶれ情報を求める場合、該着目フレームおよび該着目フレームと隣接するフレームを用いて、該着目フレームにおける複数のモーションベクトルを求める。そしてグラフィックプロセッサ１０３は、該求めた複数のモーションベクトルのそれぞれの水平方向の成分値および垂直方向の成分値を整数化した場合に、水平方向の成分値の最頻値Ｘ、垂直方向の成分値の最頻値Ｙを特定する。そしてグラフィックプロセッサ１０３は、水平方向の成分値をＸ，垂直方向の成分値をＹとするベクトル（該着目フレーム全体の動きを代表する二次元のモーションベクトル（グローバルモーションベクトル））を「着目フレームのぶれ情報」として求める。

なお、動画における各フレームはＲＧＢ画像、ＹＵＶ画像、モノクロの輝度画像等のどのような色空間の画像であっても良いが、ぶれ情報は輝度画像を用いて求める。よって、動画における各フレームの輝度画像が存在しない場合には、該動画における各フレームの輝度画像を生成し、該生成した各フレームの輝度画像を用いて各フレームのぶれ情報を求める。

なお、動画における各フレームのぶれ情報は、該フレーム全体の動きを表す情報であれば如何なる情報であってもよく、また、その情報の求め方についても、特定の求め方に限らない。例えば、全てフレームについてぶれ情報を求める必要はなく、所定の条件を満たすぶれを有するフレームについてのみ求めてもよい。

ステップＳ３０３０では、グラフィックプロセッサ１０３は、動画におけるそれぞれのフレームについて、該フレームにおけるぶれ量を、該フレームを含むフレーム区間に含まれるそれぞれのフレームのぶれ情報を用いて求める。以下に、動画において先頭からｉ（ｉは１以上の整数）番目のフレームｆｉ（フレーム番号がｉのフレーム）におけるぶれ量を求めるための方法の一例について説明する。グラフィックプロセッサ１０３は、以下の式１、式２、式３に従った演算を行うことで、フレームｆｉにおけるぶれ量ｓｉを求める。

ここで、μｊはフレームｆｊのぶれ情報における水平方向の成分値、νｊはフレームｆｊのぶれ情報における垂直方向の成分値、Ｎはフレームの参照範囲を示す。本実施形態では、フレームの参照範囲を３秒分のフレーム数とする。例えば、動画が６０ｆｐｓの場合、Ｎ＝３×６０＝１８０となる。

ステップＳ３０４０では、グラフィックプロセッサ１０３は、動画においてぶれ量が大きいシーンのフレーム区間を、該動画におけるそれぞれのフレームのぶれ量に基づいて特定する。

先ずはグラフィックプロセッサ１０３は、動画におけるそれぞれのフレームのぶれ量のうち最大のぶれ量を、以下の式４に基づいて特定する。

ここで、ｉ_ｍａｘは、動画における各フレームのうちぶれ量が最大のフレームのフレーム番号である。そしてグラフィックプロセッサ１０３は、フレーム番号がｉ_ｍａｘのフレームを基準フレームとする。そしてグラフィックプロセッサ１０３は、該基準フレームから動画の先頭フレームに向けて各フレームのぶれ量を参照し、初めてぶれ量が「基準フレームのぶれ量」から半減したフレームを「開始フレームｆｓ」として特定する。同様にグラフィックプロセッサ１０３は、基準フレームから動画の終端フレームに向けて各フレームのぶれ量を参照し、初めてぶれ量が「基準フレームのぶれ量」から半減したフレームを「終了フレームｆｅ」として特定する。そしてグラフィックプロセッサ１０３は、開始フレームｆｓから終了フレームｆｅまでのフレーム区間を「動画においてぶれ量が大きいシーンのフレーム区間」として特定する。

ステップＳ３０５０では、グラフィックプロセッサ１０３は、動画における各フレームのぶれ量を表すグラフ（ぶれ量グラフ）の画像をぶれ量グラフ化画像として生成する。ぶれ量グラフの横軸はフレーム番号、縦軸はぶれ量であり、グラフィックプロセッサ１０３は、ｉ＝１，２，３，…，（動画における終端フレームのフレーム番号）について座標（ｉ、フレーム番号がｉのフレームのぶれ量）に点をプロットし、点間を線分若しくは曲線で結ぶことでぶれ量グラフを生成する。横軸および縦軸の解像度は特定の解像度に限らない。縦軸は、０～（動画における各フレームのぶれ量のうち最大のぶれ量）までの範囲であれば良い。そしてグラフィックプロセッサ１０３は、このようにして生成したぶれ量グラフの画像をぶれ量グラフ化画像として生成する。

ステップＳ３０６０では、グラフィックプロセッサ１０３は、ぶれ量グラフ化画像に、ステップＳ３０４０で特定した「動画においてぶれ量が大きいシーンのフレーム区間」を表す情報を重畳させる。本実施形態では、グラフィックプロセッサ１０３は、ぶれ量グラフ化画像（ぶれ量グラフ）において、「動画においてぶれ量が大きいシーンのフレーム区間」に対応する区間に半透明の色つきの矩形を重畳することで、該区間がマーキングされたぶれ量グラフ化画像を生成する。図２のグラフ画像２０２は、このようにして生成されたマーキング済みのぶれ量グラフ化画像の一例であり、グラフ画像２０２では、「動画においてぶれ量が大きいシーンのフレーム区間」に対応する区間には網がけの矩形が重畳されてている。

ステップＳ３０７０では、グラフィックプロセッサ１０３は、ステップＳ３０６０で生成したマーキング済みのぶれ量グラフ化画像をディスプレイ１０４に表示中のＧＵＩ上に表示する。

なお、マーキング済みのぶれ量グラフ化画像は、ＧＵＩにおける規定サイズの「マーキング済みのぶれ量グラフ化画像」用の表示領域に収まるように適宜スケーリングして該表示領域内に表示する。例えば、表示領域の水平方向のサイズが１０００画素、垂直方向のサイズが１００画素であり、動画のフレーム数が１００００フレームの場合、ぶれ量グラフ化画像の水平方向のサイズは比較的大きくなる。然るにこの場合は、ぶれ量グラフ化画像を水平方向に縮小してから表示領域内に表示する。通常、このような縮小を行う際には、事前に高周波成分を抑圧しないと折り返し歪が発生してしまう。しかし、ステップＳ３０３０の処理は、時系列のぶれ量に対してローパスフィルタをかけたような効果があるため、画像化したグラフ画像の高周波成分を抑圧してからグラフ画像を縮小して表示しても、視覚的に大きな違いはない。

このように、本実施形態では、動画においてぶれ量が大きいシーンのフレーム区間を明示的に表示するので、ユーザは動画における全てのフレームを目視で確認することなく、動画においてぶれ量の大きいシーンのフレーム区間の位置を把握することができる。

なお、ぶれを振幅としてグラフ化してユーザに提示する方法もあるが、本実施形態ではぶれ量を正の成分のみを持つ強度としてグラフ化して表示しているため、ぶれの強さをわかりやすくユーザに伝えることができる。

なお、動画における各フレームのぶれ量を求めるための上記の方法は一例であり、他の方法でもって動画における各フレームのぶれ量を求めても良い。例えば、グラフィックプロセッサ１０３は、上記の式１、式２、式３の代わりに以下の式５や式６を用いて、Ｌ１ノルムの累積やＬ２ノルムの累積をぶれ量と求めても良い。

式５および式６は、フレームｆｉにおけるぶれ量ｓｉを求めるための式であり、式６では、Ｌ２ノルムの合計を正規化し、単位をそろえるために平方根を求めている。

また、本実施形態では、フレームにおけるグローバルモーションベクトルを、該フレームから求めた複数のモーションベクトルの水平方向の成分値および垂直方向の成分値に基づいて求めた。しかし、フレームにおけるグローバルモーションベクトルを求めるためのこの方法は一例であり、他の方法でもって、フレームにおけるグローバルモーションベクトルを求めても良い。例えば、フレームにおける複数のモーションベクトルを入力として、ＲＡＮＳＡＣやＭ推定などのロバスト推定アルゴリズムを使いて、該複数のモーションベクトルを代表するモーションベクトルを、グローバルモーションベクトルとして求めても良い
また、動画に、該動画の撮像姿勢を示す情報（例えば、動画を撮像した装置が有するジャイロセンサが測定した撮像姿勢を示す情報）が付加されている場合には、該情報が示す姿勢を表すベクトルをグローバルモーションベクトルとしても良い。

また、本実施形態では、ぶれ量をグローバルモーションベクトルに基づいて求めたが、ぶれ量を求めるための上記の方法は一例であり、特定の方法に限らない。例えば、平行移動を表現するベクトルだけでなく、水平方向や垂直方向における角度のズレに基づいてぶれ量を求めても良い。

［第２の実施形態］
本実施形態を含む以下の各実施形態では、第１の実施形態との差分について説明し、以下で特に触れない限りは、第１の実施形態と同様であるものとする。図２のボタン２０４は、動画においてぶれ量が大きいシーンの再生を指示するためのボタンである。ユーザがユーザＩ／Ｆ１０６を操作してボタン２０４を指示すると、ＣＰＵ１０５による制御の元、グラフィックプロセッサ１０３は、表示領域２０１に表示されている動画におけるフレームごとのぶれ量を解析し、該動画においてぶれ量が大きいシーンの動画を表示領域２０１に再生（プレビュー）する。

ユーザがユーザＩ／Ｆ１０６を操作してボタン２０４を指示したことに応じて画像処理装置が行う処理について、図４のフローチャートに従って説明する。図４のフローチャートにおいて、図３に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ４０５０では、グラフィックプロセッサ１０３は、ステップＳ３０４０で特定したフレーム区間における動画を表示領域２０１で再生させる。なお、ステップＳ３０４０で特定したフレーム区間における動画を再生する領域は表示領域２０１に限らず、例えば、ＧＵＩにおける他の領域であっても良いし、ＧＵＩとは別個のウィンドウであっても良い。また、グラフィックプロセッサ１０３は、ステップＳ３０４０で特定したフレーム区間における動画を一度だけ再生しても良いし、ユーザからの指示がない限りは繰り返し再生（リピート再生）しても良い。

このように、本実施形態では、動画においてぶれ量が大きいシーンのフレーム区間を再生するので、ユーザは動画における全てのフレームを目視で確認することなく、動画においてぶれ量の大きいシーンにおけるぶれの具合等を動画として確認することができる。

なお、動画においてぶれ量が大きいシーンのフレーム区間を特定した場合に、該フレーム区間を規定するフレーム区間情報（例えば該フレーム区間の開始フレームと終了フレームを示す情報）を外部ストレージ１０７などに保存するようにしても良い。この場合、この動画については次回からは上記のステップＳ３０２０～Ｓ３０４０の処理を行うことなく、この動画について保存しておいたフレーム区間情報を読み出し、該読み出したフレーム区間情報が示すフレーム区間の動画を再生することができる。これは、他の方法でもって該フレーム区間が事前に検出されている場合であっても同様である。

［第３の実施形態］
図２のスライダ２０７は、ぶれの補正強度（ぶれ補正強度）を指定するためのものである。ユーザがユーザＩ／Ｆ１０６を操作してスライダ２０７をより左側に移動させると、より弱いぶれ補正強度が設定され、ユーザがユーザＩ／Ｆ１０６を操作してスライダ２０７をより右側に移動させると、より強いぶれ補正強度が設定される。

図２のボタン２０５は、動画においてぶれ量が大きいシーンのフレーム区間における各フレームについて、該フレームにおけるぶれを補正した防振画像を生成して表示する指示を入力するためのボタンである。ユーザがユーザＩ／Ｆ１０６を操作してボタン２０５を指示すると、ＣＰＵ１０５による制御の元、グラフィックプロセッサ１０３は、図５のフローチャートに従った処理を行う。ユーザがユーザＩ／Ｆ１０６を操作してボタン２０５を指示したことに応じて画像処理装置が行う処理について、図５のフローチャートに従って説明する。図５のフローチャートにおいて、図３に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ５０５０では、グラフィックプロセッサ１０３は、ユーザがユーザＩ／Ｆ１０６を操作して移動させたスライダ２０７の位置に応じて設定されたぶれ補正強度を取得する。本実施形態では、スライダ２０７の位置に応じて５段階のぶれ補正強度（ぶれ補正強度１（弱）～５（強））が設定されるものとする。然るに、ステップＳ５０５０では、グラフィックプロセッサ１０３は、ユーザがユーザＩ／Ｆ１０６を操作して移動させたスライダ２０７の位置に応じて設定されたぶれ補正強度（ぶれ補正強度１（弱）～５（強）の何れか）を取得する。

ステップＳ５０６０では、グラフィックプロセッサ１０３は、ステップＳ３０４０で特定したフレーム区間における各フレームについて、該フレームのぶれ情報と、ぶれ補正強度と、を用いて、該フレームにおけるぶれを補正した（該フレームに対して防振処理を施した）防振画像を生成する。

以下に、フレームｆｉの防振画像を生成するための処理について説明する。先ずはグラフィックプロセッサ１０３は、以下の式７に従って、ぶれ補正強度ｓ_ｓから最大補正量ｍを求める。

この式７は、例えば補正強度が５の場合は最大補正量が０．１、つまり、上下にそれぞれ画像の高さの０．１倍、左右に画像の幅の０．１倍を除外する形でクロップし、画像サイズを合わせるために１／（１－０．１×２）倍することになる。

ここで、フレームｆｉにおける画素位置を（ｘ、ｙ）、該フレームｆｉの防振画像における画素位置を（ｘ’、ｙ’）とすると、画素位置（ｘ、ｙ）から画素位置（ｘ’、ｙ’）への射影（画像の中心位置を原点とする射影）は以下の式８に従う。

ここで、ｗ、ｈは予め設定されたパラメータである。よってグラフィックプロセッサ１０３は、フレームｆｉにおける各画素位置（ｘ、ｙ）について、該画素位置（ｘ、ｙ）を式８で変換した防振画像上の画素位置（ｘ’、ｙ’）の画素値に、該画素位置（ｘ、ｙ）の画素値を設定する。ここで、

および

はそれぞれ、上記の式１および式２から得られる。その際、Ｎは１秒分のフレーム数とする。これは、補正したいぶれの周期に関わり、Ｎを大きくするほど、低周波のぶれを抑制できることになる。なお、防振画像において画素値が設定されていない画素の画素値については、該画素の周囲の画素の画素値を用いた補間処理などでもって求める。

そしてグラフィックプロセッサ１０３は、ステップＳ３０４０で特定したフレーム区間における各フレームについて生成した防振画像を符号化して外部ストレージ１０７やＲＡＭ１０２などのメモリに格納する。

ステップＳ５０７０では、グラフィックプロセッサ１０３は、ステップＳ５０６０で外部ストレージ１０７やＲＡＭ１０２などのメモリに格納した各フレームの防振画像をリアルタイムで読み出して復号し、該復号した各フレームの防振画像を、ディスプレイ１０４に表示中のＧＵＩにおける表示領域２０１に表示させる。なお防振画像は、ＧＵＩにおける他の領域に表示させても良いし、ＧＵＩとは別個のウィンドウに表示させても良い。

このように、本実施形態では、動画においてぶれ量が大きいシーンのフレーム区間における各フレームの防振画像を生成して再生する。これにより、ユーザは動画における全てのフレームを目視で確認することなく、動画においてぶれ量の大きいシーンのフレーム区間における各フレームに対する防振の質などを確認することができる。

なお、本実施形態では、動画においてぶれ量が大きいシーンのフレーム区間における全てのフレームの防振画像が生成されてから、該フレーム区間におけるそれぞれのフレームの防振画像を順次表示させていた。しかし、フレームの防振画像が生成されると、該防振画像を、該フレームに後続する後続フレームの防振画像の生成を待つことなく表示させるようにしても良い。

また、本実施形態では、防振を二次元ベクトルに基づいて行うものとして説明したが、これに限らず、例えば、ぶれをホモグラフィー行列やアフィン変換などより高次の行列で表現し、その逆補正をかけることで、防振画像を生成してもよい。

また、本実施形態では、ぶれ補正強度から最大補正量を算出し、最大補正量を防振処理のパラメータとして用いたが、他にも例えば、補正の最大周期をユーザに設定させるようにしても良い。

［第４の実施形態］
本実施形態では、グラフィックプロセッサ１０３は、図６に例示するＧＵＩをディスプレイ１０４に表示する。図６に示したＧＵＩは、図２に示したＧＵＩからボタン２０４およびボタン２０５を省き、且つボタン６０１を加えた構成を有する。このようなＧＵＩにおける表示領域２０１にぶれ量グラフ化画像を生成するために画像処理装置が行う処理について、図７のフローチャートに従って説明する。なお、図７に示した処理ステップにおいて、図３の処理ステップと同様の処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。

ステップＳ７０４０では、グラフィックプロセッサ１０３は、動画においてぶれ量が大きいシーンのフレーム区間を、該動画におけるそれぞれのフレームのぶれ量に基づいて特定する。本実施形態では、グラフィックプロセッサ１０３は、動画においてぶれ量が閾値以上となるフレームを基準フレームとする。よって、本実施形態では、基準フレームが複数存在する場合がある。そしてグラフィックプロセッサ１０３は、それぞれの基準フレームについて上記のステップＳ３０４０と同様の処理を行うことで、それぞれの基準フレームについて、「動画においてぶれ量が大きいシーンのフレーム区間」を特定する。

ここで、「動画においてぶれ量が大きいシーンのフレーム区間」を複数設定すると、一方の「動画においてぶれ量が大きいシーンのフレーム区間」と他方の「動画においてぶれ量が大きいシーンのフレーム区間」とで重複部分が発生してしまう可能性がある。このような場合、グラフィックプロセッサ１０３は、一方のフレーム区間と他方のフレーム区間とをマージして１つのフレーム区間を形成する。例えば、一方のフレーム区間の開始フレーム位置および終了フレーム位置がそれぞれｆｓ１、ｆｅ１で、他方のフレーム区間の開始フレーム位置および終了フレーム位置がそれぞれｆｓ２、ｆｅ２であるとする。ここで、ｆｅ１＞ｆｓ２であるとする。この場合、これらのクレーム区間をマージし、開始フレーム位置をｆｓ１，終了フレーム位置をｆｅ２とするフレーム区間を形成する。

これは、隣り合う３以上のフレーム区間が重複部分を有するケースについても同様で、該３以上のフレーム区間を、該３以上のフレーム区間において最も小さいフレーム開始位置から最も大きいフレーム終了位置までのフレーム区間にマージする。

ステップＳ７０６０では、グラフィックプロセッサ１０３は、ステップＳ７０４０で特定した「動画においてぶれ量が大きいシーンのフレーム区間」ごとに、該フレーム区間を表す情報を、ぶれ量グラフ化画像に重畳させる。本実施形態でも、グラフィックプロセッサ１０３は、ぶれ量グラフ化画像（ぶれ量グラフ）において、「動画においてぶれ量が大きいシーンのフレーム区間」ごとに、該フレーム区間に対応する区間に半透明の色つきの矩形を重畳することで、該区間がマーキングされたぶれ量グラフ化画像を生成する。

ステップＳ７０７０では、グラフィックプロセッサ１０３は、ステップＳ７０６０で生成したマーキング済みのぶれ量グラフ化画像をディスプレイ１０４に表示中のＧＵＩ上に表示する。

ステップＳ７０８０では、グラフィックプロセッサ１０３は、上記のステップＳ５０５０と同様にして、ぶれ補正強度を取得する。

ステップＳ７０９０では、グラフィックプロセッサ１０３は、ぶれ量グラフ化画像においてマーキングされているフレーム区間のうち、ユーザがユーザＩ／Ｆ１０６を操作して選択した選択フレーム区間（選択区間、選択シーン）を示す選択シーン情報を取得する。選択シーン情報は、選択フレーム区間の開始フレーム位置および終了フレーム位置を示すものとする。

ステップＳ７１００では、グラフィックプロセッサ１０３は、選択シーン情報が示すフレーム区間（選択フレーム区間）における各フレームについて、上記のステップＳ５０６０と同様にして、ステップＳ７０８０で取得したぶれ補正強度を用いて、該フレームにおけるぶれを補正した（該フレームに対して防振処理を施した）防振画像を生成する。そしてグラフィックプロセッサ１０３は、選択フレーム区間における各フレームについて生成した防振画像を符号化して外部ストレージ１０７やＲＡＭ１０２などのメモリに格納する。

ステップＳ７１１０では、グラフィックプロセッサ１０３は、ステップＳ７１００で外部ストレージ１０７やＲＡＭ１０２などのメモリに格納した各フレームの防振画像をリアルタイムで読み出して復号し、該復号した各フレームの防振画像を、ディスプレイ１０４に表示中のＧＵＩにおける表示領域２０１に表示させる。

このように、本実施形態では、ユーザは、動画においてぶれ量が大きいシーンのフレーム区間として複数のフレーム区間を確認することができる。そして、ユーザは動画における全てのフレームを目視で確認することなく、ユーザが選択したフレーム区間について、各フレームに対する防振の質などを確認することができる。

上記の各実施形態では、動画においてぶれ量が大きいシーンのフレーム区間をユーザに通知するための方法として、該フレーム区間に半透明の色つきの矩形を重畳する方法を採用したが、他の方法でもって該フレーム区間をユーザに通知するようにしても良い。例えば、動画においてぶれ量が大きいシーンの開始フレーム位置に対応するぶれ量グラフ化画像上の位置および終了フレーム位置に対応するぶれ量グラフ化画像上の位置にマーカを表示しても良い。また例えば、ぶれ量グラフ化画像の表示領域とは別の表示領域に開始フレーム位置および終了フレーム位置を表示しても良い。このように、動画におけるフレームごとのぶれ量を表すグラフと、動画においてぶれ量が大きいシーンのフレーム区間を表す情報と、を表示させるのであれば、その表示方法は特定の表示方法に限らない。

また、上記の各実施形態では、一部のデータについては符号化せず、一部のデータを符号化するようにしたが、どのデータを符号化し、どのデータを符号化しないのかについては特定の形態に限らない。

また、上記の各実施形態では、動画におけるフレームごとのぶれ量を表す情報の一例としてぶれ量グラフを表示していた。しかし、動画におけるフレームごとのぶれ量を表す情報は、このようなグラフに限らない。例えば、動画におけるフレームごとのぶれ量を数値（テキスト）やアイコン（画像）でもって表示しても良いし、動画におけるフレームごとのぶれ量を棒グラフとして表示しても良い。

また、上記の各実施形態で使用した数値、処理タイミング、処理順、処理の主体、データ（情報）の構成／送信先／送信元／格納場所、ＧＵＩの構成やその操作方法などは、具体的な説明を行うために一例として挙げたもので、このような一例に限定することを意図したものではない。

また、以上説明した各実施形態の一部若しくは全部を適宜組み合わせて使用しても構わない。また、以上説明した各実施形態の一部若しくは全部を選択的に使用しても構わない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１０１：バス １０２：ＲＡＭ １０３：グラフィックプロセッサ １０４：ディスプレイ １０５：ＣＰＵ １０６：ユーザＩ／Ｆ １０７：外部ストレージ １０８：ネットワークＩ／Ｆ

Claims (12)

1. 動画を構成する複数のフレームのうち、ぶれ量が大きいシーンに対応するフレームの該動画における区間を、前記複数のフレームに基づき特定する特定手段と、
   前記区間を表す情報を出力する出力手段と
   を備えることを特徴とする画像処理装置。
2. 動画におけるフレームごとのぶれ量を取得する取得手段を有し、
   前記取得手段は、前記動画におけるフレームごとにグローバルモーションベクトルを求め、前記動画におけるフレームごとに、該フレームのぶれ量を、該フレームを含む区間に含まれるそれぞれのフレームのグローバルモーションベクトルに基づいて取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記特定手段は、前記動画におけるフレームのうち最大のぶれ量のフレームを基準フレームとし、該基準フレームより前のフレームにおいてぶれ量が該最大のぶれ量から半減するフレームを開始フレームとし、該基準フレームより後のフレームにおいてぶれ量が該最大のぶれ量から半減するフレームを終了フレームとし、該開始フレームから該終了フレームまでの区間を、ぶれ量が大きいシーンに対応するフレームの前記動画における区間として特定することを特徴とする請求項１に記載の画像処理装置。
4. 前記出力手段は、ユーザからの指示に応じて、前記区間における動画を表示させることを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。
5. 前記出力手段は、ユーザからの指示に応じて、前記区間におけるそれぞれのフレームにおけるぶれを補正した防振画像を生成して表示させることを特徴とする請求項１ないし４の何れか１項に記載の画像処理装置。
6. 前記出力手段は、ユーザからの指示に応じて、前記補正の強度を設定することを特徴とする請求項５に記載の画像処理装置。
7. 前記特定手段は、前記動画におけるフレームのうち閾値以上のぶれ量のフレームを基準フレームとし、該基準フレームごとに、該基準フレームより前のフレームにおいてぶれ量が該基準フレームのぶれ量から半減するフレームを開始フレームとし、該基準フレームより後のフレームにおいてぶれ量が該基準フレームのぶれ量から半減するフレームを終了フレームとし、該開始フレームから該終了フレームまでの区間を、ぶれ量が大きいシーンに対応するフレームの該動画における区間として特定することを特徴とする請求項１または２に記載の画像処理装置。
8. 前記出力手段は、前記特定手段が特定した区間のうちユーザからの指示に応じて選択された区間を選択区間とし、ユーザからの指示に応じて、該選択区間におけるそれぞれのフレームにおけるぶれを補正した防振画像を生成して表示させることを特徴とする請求項７に記載の画像処理装置。
9. 前記出力手段は、前記動画における各フレームのぶれ量を表すグラフを生成し、該グラフと、前記区間を表す情報と、を表示させることを特徴とする請求項１ないし８の何れか１項に記載の画像処理装置。
10. 前記出力手段は、前記グラフにおける前記区間をマーキングして表示させることを特徴とする請求項９に記載の画像処理装置。
11. 画像処理装置が行う画像処理方法であって、
    前記画像処理装置の特定手段が、動画を構成する複数のフレームのうち、ぶれ量が大きいシーンに対応するフレームの該動画における区間を、前記複数のフレームに基づき特定する特定工程と、
    前記画像処理装置の出力手段が、前記区間を表す情報を出力する出力工程と
    を備えることを特徴とする画像処理方法。
12. コンピュータを、請求項１ないし１０の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。

Images