JP2018006926A - 画像処理システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】手振れ等によって重力以外の加速度がかかる場合でも出力画像の傾きを少なくする。【解決手段】撮像装置１と、撮像装置に接続される画像処理装置２とを有する画像処理システム１０が、画像を圧縮して圧縮画像を生成し、撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも１つの傾きを検出し、光軸回りの回転角、垂直軸回りの回転角及び水平軸回りの回転角のうち、少なくとも１つの回転角を検出し、出力画像を出力するのに起点となるキーフレームで、出力画像を生成するのに用いられる変換テーブルを傾きに基づいて修正して修正テーブルを生成する。キーフレーム以外のフレームで、回転角に基づいて修正テーブルを更に修正して、第２修正テーブルを生成する。キーフレームでは、修正テーブルに基づいて、出力画像を生成し、かつ、キーフレーム以外のフレームでは、第２修正テーブルに基づいて、出力画像を生成する。【選択図】図１

Description

本発明は、画像処理システム、画像処理方法及びプログラムに関する。

従来、複数の画像を合わせて、広範囲を撮像する方法が知られている。

この方法では、例えば、動画表示装置が、まず、撮像装置で撮像した複数の画像データ、画像撮像時の傾きに関する情報及び撮像装置固有の付加情報を受け付け、傾きに関する情報及び付加情報に基づいて、各画像データの座標変換を行う。そして、動画表示装置は、座標変換された画像データから動画データを生成する。このようにして、基準方向に対して検出された撮像手段の傾きに応じて補正された動画データを生成する方法が知られている（例えば、特許文献１等）。

しかしながら、従来の方法では、傾きを示す傾き角に基づく補正、いわゆる天頂補正（以下単に「天頂補正」という。）が行われても、手振れ等が発生する場合がある。よって、手振れ等によって重力以外の加速度がかかるため、出力画像が傾いて出力される場合があることが課題となる。

本発明の１つの側面は、出力画像の傾きを少なくすることを目的とする。

一態様における、画像を撮像する撮像装置と、前記撮像装置に接続される１以上の画像処理装置とを有する画像処理システムは、
前記画像を圧縮して圧縮画像を生成する圧縮部と、
前記撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも１つの傾きを検出する第１検出部と、
前記光軸回りの回転角、前記垂直軸回りの回転角及び前記水平軸回りの回転角のうち、少なくとも１つの回転角を検出する第２検出部と、
出力画像を出力するのに起点となるキーフレームで、前記画像を変換して前記出力画像を生成するのに用いられる変換テーブルを前記傾きに基づいて修正して修正テーブルを生成する修正テーブル生成部と、
前記キーフレーム以外のフレームで、前記回転角に基づいて前記修正テーブルを更に修正して、前記画像を変換して前記出力画像を生成するのに用いられる第２修正テーブルを生成する第２修正テーブル生成部と、
前記キーフレームであると、前記修正テーブルに基づいて、前記出力画像を生成し、かつ、前記キーフレーム以外のフレームであると、前記第２修正テーブルに基づいて、前記出力画像を生成する画像生成部と
を備える。

出力画像の傾きを少なくすることができる。

本発明の一実施形態に係る画像処理システムの全体構成の一例を示す全体図である。 本発明の一実施形態に係る画像処理システムが有する撮像装置のハードウェア構成例を示すブロック図である。 本発明の一実施形態に係る画像処理システムが有する画像処理装置のハードウェア構成例を示すブロック図である。 本発明の一実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。 本発明の一実施形態に係る画像処理システムによる出力画像の生成例を示す図である。 本発明の一実施形態に係る射影関係の一例を示す図である。 本発明の一実施形態に係る画像処理システムによる補正例を示す図である。 本発明の一実施形態に係る画像処理システムによって生成される圧縮動画の一例を示す図である。 本発明の一実施形態に係る傾き角の一例を示す図である。 本発明の一実施形態に係る画像処理システムが用いるテーブルの一例を示す図である。 本発明の一実施形態に係るグローバル座標系及びカメラ座標系の一例を示す図である。 本発明の一実施形態に係る各軸及び回転角の一例を示す図である。 本発明の一実施形態に係る画像処理システムの機能構成を示す機能ブロック図である。

以下、本発明の実施の形態について説明する。

＜第１実施形態＞
図１は、本発明の一実施形態に係る画像処理システムの全体構成の一例を示す全体図である。例えば、画像処理システム１０は、図示するように、撮像装置の例である全天球カメラ１と、全天球カメラ１に無線又は有線で接続される画像処理装置の例であるスマートフォン２とを有する。なお、全天球カメラ１及びスマートフォン２の詳細は、後述する。

ユーザは、画像処理システム１０を用いる場合には、まず、全天球カメラ１によって、ユーザの周囲を撮像する。そして、全天球カメラ１によって撮像された画像は、スマートフォン２に送信される。続いて、送信された画像に対して画像処理が行われ、出力画像が表示される。

画像処理システム１０が有する全天球カメラ１及びスマートフォン２は、例えば、以下のようなハードウェア構成の装置である。

＜撮像装置のハードウェア構成例＞
図２は、本発明の一実施形態に係る画像処理システムが有する撮像装置のハードウェア構成例を示すブロック図である。図示するように、全天球カメラ１は、第１撮像素子１Ｈ１、第２撮像素子１Ｈ２、画像処理回路１Ｈ３、主記憶装置１Ｈ４、補助記憶装置１Ｈ５、加速度センサ１Ｈ６及びジャイロセンサ１Ｈ７を有する。また、全天球カメラ１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１Ｈ８、外部ストレージ１Ｈ９、出力装置１Ｈ１０、ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１Ｈ１１、入出力Ｉ／Ｆ１Ｈ１２、入力装置１Ｈ１３及び動画圧縮回路１Ｈ１４を有する。

第１撮像素子１Ｈ１及び第２撮像素子１Ｈ２は、光学センサ及びレンズ等である。すなわち、第１撮像素子１Ｈ１及び第２撮像素子１Ｈ２は、光を受光して撮像を行い、それぞれ画像を生成する。

画像処理回路１Ｈ３は、第１撮像素子１Ｈ１及び第２撮像素子１Ｈ２が生成するそれぞれの画像に対して画像処理を行う。すなわち、画像処理回路１Ｈ３は、第１撮像素子１Ｈ１及び第２撮像素子１Ｈ２に接続され、第１撮像素子１Ｈ１及び第２撮像素子１Ｈ２で撮像されたそれぞれの画像を示す画像信号を第１撮像素子１Ｈ１及び第２撮像素子１Ｈ２から入力する。また、画像処理回路１Ｈ３は、ＩＳＰ（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を有する。そして、画像処理回路１Ｈ３は、入力される画像に対して、シェーディング補正、ベイヤ補間、ホワイトバランス補正及びガンマ補正等の画像処理を行う。

主記憶装置１Ｈ４は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。すなわち、主記憶装置１Ｈ４は、画像処理等の各処理を行う上で記憶領域を実現する装置である。

補助記憶装置１Ｈ５は、データを記憶する装置である。なお、データを記憶する記憶装置は、例えば、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）等でもよい。また、記憶されるデータは、プログラム及びパラメータ等である。

加速度センサ１Ｈ６は、例えば、３軸の加速度を検出するセンサである。なお、各軸についての詳細は、後述する。

ジャイロセンサ１Ｈ７は、各軸に対する回転を検出するセンサである。なお、ジャイロセンサ１Ｈ７が検出する回転角の詳細は、後述する。

ＣＰＵ１Ｈ８は、各処理を実現させるための演算及びデータの加工を行う演算装置である。また、ＣＰＵ１Ｈ８は、各ハードウェアを制御する制御装置である。

外部ストレージ１Ｈ９は、外部ストレージＩ／Ｆ等によって接続されるメモリカード等の記録媒体である。そして、外部ストレージ１Ｈ９には、プログラム等のデータが記憶され、データが全天球カメラ１に対して入出力される。

出力装置１Ｈ１０は、例えば、ディスプレイ等である。例えば、出力装置１Ｈ１０は、第１撮像素子１Ｈ１及び第２撮像素子１Ｈ２によって撮像され、画像処理回路１Ｈ３により画像処理された画像等を表示する。

ネットワークＩ／Ｆ１Ｈ１１は、外部装置と通信を行う通信装置等である。例えば、ネットワークＩ／Ｆ１Ｈ１１は、無線ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等である。

入出力Ｉ／Ｆ１Ｈ１２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタ等である。すなわち、入出力Ｉ／Ｆ１Ｈ１２は、外部装置と接続し、接続される外部装置とデータを送受信する装置である。

入力装置１Ｈ１３は、全天球カメラ１に対するユーザの操作を入力する装置である。例えば、入力装置１Ｈ１３は、スイッチ等である。

動画圧縮回路１Ｈ１４は、入力される画像を圧縮又は伸張する処理を行う回路である。例えば、動画圧縮回路１Ｈ１４は、所定の規格で定められるファイル形式の動画となるように、画像を圧縮又は伸張する処理を行う。

なお、全天球カメラ１は、図示するハードウェア構成に限られない。すなわち、全天球カメラ１は、例えば、撮像素子、演算装置、制御装置及び記憶装置等を更に有するハードウェア構成等でもよい。

全天球カメラ１は、電源がオンになると、制御プログラム等を主記憶装置１Ｈ４にロードする。そして、ＣＰＵ１Ｈ８がプログラムに基づいて動作する。このようにして、処理を実行し、各機能を実現する。

＜画像処理装置のハードウェア構成例＞
図３は、本発明の一実施形態に係る画像処理システムが有する画像処理装置のハードウェア構成例を示すブロック図である。例えば、スマートフォン２は、ＣＰＵ２Ｈ１、主記憶装置２Ｈ２、補助記憶装置２Ｈ３、入力装置２Ｈ４、外部ストレージ２Ｈ５、出力装置２Ｈ６、ネットワークＩ／Ｆ２Ｈ７及び入出力Ｉ／Ｆ２Ｈ８を有する。

ＣＰＵ２Ｈ１は、各処理を実現させるための演算及びデータの加工を行う演算装置である。また、ＣＰＵ２Ｈ１は、各ハードウェアを制御する制御装置である。

主記憶装置２Ｈ２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。すなわち、主記憶装置２Ｈ２は、画像処理等の各処理を行う上で記憶領域を実現する装置である。

補助記憶装置２Ｈ３は、ハードディスク等である。また、補助記憶装置２Ｈ３は、プログラム等のデータを記憶する。

入力装置２Ｈ４は、スマートフォン２に対するユーザの操作を入力する装置である。

外部ストレージ２Ｈ５は、外部ストレージＩ／Ｆ等によって接続されるＳＤ（登録商標）カード等の記録媒体である。

出力装置２Ｈ６は、ユーザに対して処理結果及び画像等を出力する装置である。なお、入力装置２Ｈ４及び出力装置２Ｈ６は、タッチパネル等のように、一体であってもよい。

ネットワークＩ／Ｆ２Ｈ７は、外部装置と通信を行う通信装置等である。例えば、ネットワークＩ／Ｆ２Ｈ７は、無線ＮＩＣ等である。

入出力Ｉ／Ｆ２Ｈ８は、例えば、ＵＳＢコネクタ等である。すなわち、入出力Ｉ／Ｆ２Ｈ８は、外部装置と接続し、接続される外部装置とデータを送受信する装置である。

スマートフォン２は、電源がオンになると、補助記憶装置２Ｈ３から制御プログラム等を主記憶装置２Ｈ２にロードする。そして、ＣＰＵ２Ｈ１がプログラムに基づいて動作する。このようにして、処理を実行し、各機能を実現する。

＜全体処理例＞
図４は、本発明の一実施形態に係る画像処理システムによる全体処理の一例を示すフローチャートである。

＜撮像例＞（ステップＳ１０１）
ステップＳ１０１では、画像処理システムは、全天球カメラによって撮像を行う。そして、全天球カメラによって画像処理が行われた後、撮像されたそれぞれの画像は、スマートフォンに送られる。以下、全天球カメラによって撮像される画像を「第１画像」及び「第２画像」という。なお、「第１画像」及び「第２画像」は、画像処理が行われた後の画像でもよい。

第１画像及び第２画像に基づいて、画像処理システムは、最終的には、以下のように出力画像を生成する。

図５は、本発明の一実施形態に係る画像処理システムによる出力画像の生成例を示す図である。図示するように、全天球カメラが有する第１撮像素子１Ｈ１及び第２撮像素子１Ｈ２によって、第１画像ＩＭＧ１及び第２画像ＩＭＧ２が、まず、撮像される。そして、画像処理システムは、図示するように、第１画像ＩＭＧ１及び第２画像ＩＭＧ２を結合して出力画像ＩＭＧＯＵＴを生成する。

図示するように、第１画像ＩＭＧ１及び第２画像ＩＭＧ２が、例えば、１８０度以上の広範囲を撮像した画像であると、出力画像ＩＭＧＯＵＴは、３６０度等の広範囲を表示することができる画像となる。すなわち、出力画像ＩＭＧＯＵＴは、いわゆる全天球画像等である。

図示するように、広範囲を示す第１画像ＩＭＧ１及び第２画像ＩＭＧ２を生成するため、例えば、魚眼レンズ等が光学系に用いられる。魚眼レンズを用いた光学系と、第１画像ＩＭＧ１及び第２画像ＩＭＧ２とは、例えば、以下のような射影関係となる。

図６は、本発明の一実施形態に係る射影関係の一例を示す図である。図６（Ａ）は、第１撮像素子及び第２撮像素子の断面図である。一方で、図６（Ｂ）は、第１画像及び第２画像を示す図である。

魚眼レンズを用いて撮像されると、各画像は、図６（Ａ）に示すように、光の光軸に対する入射角度φに応じた像高となるように生成される。像高を「ｈ」とすると、入射角度φと、像高ｈとの関係は、所定の投影モデルに応じた射影関数で示すことができる。なお、射影関数は、レンズによって異なる。例えば、いわゆる等距離射影方式と呼ばれる投影モデルの魚眼レンズが用いられる場合には、焦点距離を「ｆ」とすると、射影関数は、下記（１）式のようになる。

なお、投影モデルは、他に、中心投影方式（ｈ＝ｆ・ｔａｎφ）、立体射影方式（ｈ＝２ｆ・ｔａｎ（φ／２））、等立体射影方式（ｈ＝２ｆ・ｓｉｎ（φ／２））及び正射影方式（ｈ＝ｆ・ｓｉｎ（φ））等がある。このように、いずれの方式であっても、入射角度φと、焦点距離ｆとに対応して、上記（１）式のように、像高ｈが決定される。

魚眼レンズが採用されると、図６（Ｂ）に示すように、画像の対角線よりイメージサークル径が小さくなる場合が多い。以下の説明では、図６（Ｂ）に示すような第１画像及び第２画像が用いられる例で説明する。

＜圧縮動画の生成例＞（ステップＳ１０２）
図４に戻り、ステップＳ１０２では、画像処理システムは、圧縮動画を生成する。例えば、動画圧縮形式は、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（ＭＰＥＧ−４ Ｐａｒｔ １０ Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｈ．２６５／ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、Ｍｏｔｉｏｎ ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｏｒｔｓ Ｇｒｏｕｐ）又はＭｏｔｉｏｎ ＪＰＥＧ２０００等である。また、Ｍｏｔｉｏｎ ＪＰＥＧ及びＭｏｔｉｏｎ ＪＰＥＧ２０００等の連続した静止画として、動画を生成する形式が採用されると、出力画像を高品質な動画にすることができる。一方で、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ又はＨ．２６５／ＨＥＶＣ等の形式が採用されると、画像を時間軸方向に圧縮することができるため、処理効率を高くすることができる。そのため、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ又はＨ．２６５／ＨＥＶＣ等の形式が採用されると、外部ストレージ等への書き込みの遅延を少なくすることができる。

動画は、例えば、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）等によって圧縮される。ＧＯＰによって圧縮された動画は、いわゆるＩピクチャと、Ｐピクチャと、Ｂピクチャとを含む構成となる。具体的には、Ｉピクチャは、動画の再生において、起点となる画像であり、フレーム内予測符号化等によって符号化される画像である。また、Ｐピクチャは、前のＩピクチャ又はＰピクチャに基づいて、フレーム間予測によって符号化される画像である。さらに、Ｂピクチャは、前（順方向）、後（逆方向）又は前後両方（双方向）のピクチャを利用してフレーム間予測により符号化される画像である。

ＧＯＰでは、少なくとも１つのＩピクチャがあるため、ＧＯＰの単位でフレームを展開すると、出力画像を生成できる最小限のフレームが展開される。

以下の説明では、Ｉピクチャを示すフレームをＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｅｒ Ｒｅｆｒｅｓｈ）フレームとして使用する例で説明する。

すなわち、ＩＤＲフレームは、撮像された画像の内容をすべて示すフレームである。動画は、キーフレームと、キーフレーム以外のフレームとに分けられる。また、キーフレームは、他のフレームを参照しなくとも、出力画像を出力できるフレームであり、撮像される被写体及び背景等をすべて示すフレームである。なお、キーフレームは、Ｉフレームと呼ばれる場合もある。すなわち、キーフレームは、Ｉピクチャを示すフレームである。そして、キーフレームは、動画を出力するのに、キーフレーム以外のフレームでは参照されるフレームとなり、出力画像を出力するのに起点となるフレームである。そして、ＩＤＲフレーム方式が採用されると、キーフレーム以外のフレームにおいて、参照されるフレームが保証され、参照先となるフレームがない等のエラーが起きない方式となる。

一方で、圧縮された動画には、キーフレーム以外のフレームとして、Ｐフレーム及びＢフレームが含まれる。Ｐフレームは、キーフレームとの差分を示す。したがって、Ｐフレームに基づいて出力画像を出力する場合には、キーフレームを参照して、動画は、再生される。すなわち、Ｐフレームは、Ｐピクチャを示すフレームである。

また、Ｂフレームは、前後のキーフレーム、Ｐフレーム及びＢフレームとの差分を示す。したがって、Ｂフレームに基づいて出力画像を出力する場合には、前後のキーフレーム、Ｐフレーム及びＢフレームを参照して、動画は、再生される。すなわち、Ｂフレームは、Ｂピクチャを示すフレームである。

なお、動画のフレーム構成例の詳細は、後述する。

＜ＩＤＲフレームであるか否かの判断例＞（ステップＳ１０３）
ステップＳ１０３では、画像処理システムは、ＩＤＲフレームであるか否かを判断する。すなわち、上記のように、圧縮された動画に基づいて出力画像が出力される場合は、キーフレームの例であるＩＤＲフレームと、ＩＤＲフレーム以外のフレームとのいずれかのフレームである。したがって、画像処理システムがＩＤＲフレームであると判断すると、画像処理システムは、ステップＳ１０４に進む。一方で、画像処理システムがＩＤＲフレーム以外のフレームであると判断すると、画像処理システムは、ステップＳ１０７に進む。

＜加速度センサデータの入力例＞（ステップＳ１０４）
ステップＳ１０４では、画像処理システムは、加速度センサデータを入力する。以下、加速度センサがグローバル座標系の３軸について加速度をそれぞれ計測する例で説明する。

例えば、ユーザの真上方向、すなわち、いわゆる重力方向と、全天球カメラの真上方向とが異なると、全天球カメラは、傾きがある状態である。一方で、ユーザの真上方向、すなわち、いわゆる重力方向と、全天球カメラの真上方向とが一致すると、全天球カメラは、傾きがない状態である。

以下、重力方向、すなわち、重力ベクトルに対する傾きの角度を「傾き角α」とする。また、ＸＹ平面における傾斜角度を「傾き角β」とする。なお、傾き角α及び傾き角βの詳細は、後述する。

加速度センサデータが入力されると、例えば、下記（２）式に基づいて、傾き角α及び傾き角βは、算出される。

なお、上記（２）式では、「Ａｘ」は、加速度センサデータが示すカメラ座標系のＸ方向成分の値である。また、「Ａｙ」は、加速度センサデータが示すカメラ座標系のＹ方向成分の値である。さらに、「Ａｚ」は、加速度センサデータが示すカメラ座標系のＺ方向成分の値である。すなわち、加速度センサデータが入力されると、画像処理システムは、加速度センサデータが示す「Ａｘ」、「Ａｙ」及び「Ａｚ」に基づいて、上記（２）式を計算して傾き角α及び傾き角βを計算することができる。

＜加速度センサデータに基づいて変換テーブルを修正して修正テーブルを生成する例＞（ステップＳ１０５）
ステップＳ１０５では、画像処理システムは、加速度センサデータに基づいて変換テーブルを修正して修正テーブルを生成する。なお、変換テーブル及び修正テーブルは、図５に示すように、第１画像ＩＭＧ１及び第２画像ＩＭＧ２に基づいて出力画像ＩＭＧＯＵＴを生成する変換に用いられるテーブルである。変換テーブル及び修正テーブルの詳細は、後述する。

修正テーブルは、上記（２）式を計算すると求まる傾き角α及び傾き角βに基づいて、変換テーブルを修正すると生成できるテーブルである。

＜修正テーブルに基づく出力画像の生成例＞（ステップＳ１０６）
ステップＳ１０６では、画像処理システムは、修正テーブルに基づいて出力画像を生成する。すなわち、画像処理システムは、図５に示すように、修正テーブルを用いて、第１画像ＩＭＧ１及び第２画像ＩＭＧ２に基づいて出力画像ＩＭＧＯＵＴを生成する。

修正テーブルが用いられると、傾き角α及び傾き角βが補正される。すなわち、修正テーブルが用いられると、画像処理システムは、傾き角α及び傾き角βを補正する天頂補正を行うことができる。

図７は、本発明の一実施形態に係る画像処理システムによる補正例を示す図である。例えば、図７（Ａ）及び図７（Ｂ）に示す第１画像ＩＭＧ１及び第２画像ＩＭＧ２が撮像された場合（図４に示すステップＳ１０１）を例に説明する。

修正テーブルが用いられると、図７（Ａ）及び図７（Ｂ）に示す第１画像ＩＭＧ１及び第２画像ＩＭＧ２は、歪曲収差等が補正されて図７（Ｃ）及び図７（Ｄ）に示すような状態となる。そして、図７（Ｃ）及び図７（Ｄ）に示す画像を組み合わせると、図７（Ｅ）に示すような出力画像ＩＭＧＯＵＴを生成することができる。

＜ジャイロセンサデータの入力例＞（ステップＳ１０７）
図４に戻り、ステップＳ１０７では、画像処理システムは、ジャイロセンサデータを入力する。以下、ジャイロセンサがグローバル座標系の３軸についてそれぞれの回転角をそれぞれ計測する例で説明する。ジャイロセンサが検出する回転角の詳細は、後述する。

なお、ジャイロセンサは、時間分解能が加速度センサより高いのが望ましい。つまり、ジャイロセンサは、加速度センサより高周波数でセンシングされるのが望ましい。ＩＤＲフレームと、ＩＤＲフレーム以外のフレームとの比率は、ＩＤＲフレーム以外のフレームの方が大きい場合が多い。したがって、ジャイロセンサは、ＩＤＲフレーム以外のフレームに対して用いられるジャイロセンサデータを生成するため、ＩＤＲフレームに対して用いられる加速度センサデータより高速で生成されるのが望ましい。

また、手振れ等は、全天球カメラを傾ける動作より高速である場合が多い。そのため、ジャイロセンサは、手振れ等の高速な動作を検出するため、高周波数でセンシングされるのが望ましい。

＜ジャイロセンサデータに基づいて修正テーブルを修正して第２修正テーブルを生成する例＞（ステップＳ１０８）
ステップＳ１０８では、画像処理システムは、ジャイロセンサデータに基づいて修正テーブルを修正して第２修正テーブルを生成する。まず、ＩＤＲフレームが用いられると、ＩＤＲフレーム以外のフレームで参照されるＩピクチャを示すフレームが保証される。そのため、ステップＳ１０８となる場合（ステップＳ１０３でＮＯ）は、前にステップＳ１０５が行われた後となる。そして、ステップＳ１０５で生成された修正テーブルが保存されると、ステップＳ１０８が行われる場合には、前のＩＤＲフレームで用いられた修正テーブルが存在する。

そして、画像処理システムは、ジャイロセンサデータに基づいて、ジャイロセンサデータが示す回転角の傾きを補正するように、修正テーブルを更に修正して第２修正テーブルを生成する。

＜第２修正テーブルに基づく出力画像の生成例＞（ステップＳ１０９）
ステップＳ１０９では、画像処理システムは、第２修正テーブルに基づいて出力画像を生成する。このようにすると、画像処理システムは、ステップＳ１０６と同様に、歪曲収差等を補正し、図７（Ｅ）に示すような出力画像ＩＭＧＯＵＴを生成することができる。

第２修正テーブルは、修正テーブルを更に修正して生成するテーブルであるため、加速度センサデータに基づく補正が行われたテーブルである。さらに、第２修正テーブルは、ジャイロセンサデータに基づく補正が行われたテーブルであるため、第２修正テーブルが用いられると、手振れ等の傾きを補正することができる。

＜圧縮画像、加速度センサデータ及びジャイロセンサデータの組み合わせ例＞
図８は、本発明の一実施形態に係る画像処理システムによって生成される圧縮動画の一例を示す図である。例えば、圧縮動画は、全天球カメラで圧縮され、圧縮された圧縮動画の各フレームは、図示するように、傾き角を示すデータ、すなわち、加速度センサデータと、ＩＤＲフレームのデータとが組み合わせとなってスマートフォンに入力されるのが望ましい。さらに、圧縮された圧縮動画の各フレームは、図示するように、角速度を示すデータ、すなわち、ジャイロセンサデータと、ＩＤＲフレーム以外のフレームのデータとが組み合わせとなってスマートフォンに入力されるのが望ましい。

つまり、加速度センサデータは、ＩＤＲフレームと同期するようにサンプリングされるのが望ましい。一方で、ジャイロセンサデータは、ＩＤＲフレーム以外のフレーム同期するようにサンプリングされるのが望ましい。

また、図示するように角速度を示すデータが入力される場合には、回転角は、前に入力された角速度を累計して計算される。なお、回転角は、他の方法で検出されてもよい。

＜傾き角例＞
図９は、本発明の一実施形態に係る傾き角の一例を示す図である。図示するように、ｘ１軸、ｙ１軸及びｚ１軸で示すグローバル座標系と、ｘ０軸、ｙ０軸及びｚ０軸で示すカメラ座標系とがある。グローバル座標系は、ｚ１軸が重力方向、すなわち、重力ベクトルとなる座標系である。したがって、ｚ１軸は、ユーザの真上、すなわち、天頂を示す。また、グローバル座標系は、全天球カメラの姿勢に係わらず、固定された座標系である。

一方で、カメラ座標系は、全天球カメラの姿勢によって変動する座標系である。図示するように、カメラ座標系は、傾き角α及び傾き角β、すなわち、グローバル座標系に対する全天球カメラの傾きによって決定される座標系である。

なお、傾き角αが「０」であると、ｘ０軸と、ｘ１軸とは一致する。同様に、傾き角βが「０」であると、ｚ０軸と、ｚ１軸とは一致する。そして、ｘ０軸と、ｘ１軸とが一致し、かつ、ｚ０軸と、ｚ１軸とが一致する、すなわち、傾き角α及び傾き角βがともに「０」である状態は、全天球カメラがグローバル座標系と、カメラ座標系とが一致している状態である。つまり、傾き角α及び傾き角βがともに「０」である状態は、全天球カメラに傾きがない状態である。

したがって、傾き角α及び傾き角βが補正されると、出力画像は、全天球カメラに傾きがない状態で撮像された場合とほぼ同じ画像になる。

上記（２）式における「Ａｘ」は、図示する「ｘ０」方向成分の値である。また、「Ａｙ」は、図示する「ｙ０」方向成分の値である。さらに、「Ａｚ」は、図示する「ｚ０」方向成分の値である。したがって、図４に示すステップＳ１０４で加速度センサデータが入力されると、画像処理システムは、上記（２）式を計算して、図示する傾き角α及び傾き角βを算出することができる。

なお、上記の例では、加速度センサデータに基づいて、図示する傾き角α及び傾き角βが補正される例を説明したが、画像処理システムは、他の軸について補正してもよい。

＜変換テーブル、修正テーブル及び第２修正テーブル例＞
図１０は、本発明の一実施形態に係る画像処理システムが用いるテーブルの一例を示す図である。例えば、変換テーブル、修正テーブル及び第２修正テーブルは、図１０（Ａ）に示すように、変換後の座標値と、変換前の座標値との関係を示すテーブルである。なお、説明では、テーブルは、図示するように、テーブル状のデータ構造である例で説明しているが、テーブルは、以下のように、画像を変換させるのに用いられるデータであればよい。

図１０（Ｂ）に示すように、出力画像ＩＭＧは、図１０（Ａ）に示すようなテーブルに基づいて、第１画像ＩＭＧ１及び第２画像ＩＭＧ２、すなわち、撮像によって生成される画像が有する各画素を参照して生成される画像である。具体的には、図示する例では、図１０（Ａ）に示すように、出力画像ＩＭＧＯＵＴの座標値が（Θ，Φ）である各画素は、第１画像ＩＭＧ１又は第２画像ＩＭＧ２の座標値が（ｘ，ｙ）である各画素を参照して生成される。図１０（Ｂ）に示すように、テーブルに基づいて変換が行われると、歪曲収差等の歪みが補正される。

変換テーブルは、主に、全天球カメラの真上と、ユーザの真上とが一致した状態、つまり、全天球カメラに傾き等がない状態において、出力画像ＩＭＧＯＵＴを生成するのに用いられるテーブルである。なお、変換テーブルは、用いられるレンズあらかじめ入力されるデータである。

一方で、修正テーブルは、全天球カメラの真上と、ユーザの真上とが異なる状態、つまり、全天球カメラに傾きがある状態において、傾きを補正して、全天球カメラに傾き等がない状態で撮像された場合と同じような出力画像ＩＭＧＯＵＴを生成するのに用いられるテーブルである。すなわち、修正テーブルが用いられると、いわゆる天頂補正が行われる。

他にも、第２修正テーブルは、手振れ等によって、全天球カメラに傾きがある状態において、手振れ等による傾きを補正して、全天球カメラに傾き等がない状態で撮像された場合と同じような出力画像ＩＭＧＯＵＴを生成するのに用いられるテーブルである。

修正テーブルは、具体的には、以下のような修正によって生成される。まず、以下の説明では、グローバル座標系の座標値と、カメラ座標系の座標値とを扱う。

図１１は、本発明の一実施形態に係るグローバル座標系及びカメラ座標系の一例を示す図である。図９と同様に、カメラ座標系は、図１１（Ａ）に示すように、全天球カメラの傾きによって変動する座標系である。一方で、グローバル座標系は、図１１（Ｂ）に示すように、重力方向と、垂直方向（図では、ｚ１軸で示す方向である。）とが一致し、固定された座標系である。以下、カメラ座標系の座標値を（Θ０，Φ０）とし、グローバル座標系の座標値を（Θ１，Φ１）とする。

変換テーブルの修正には、パラメータとして、グローバル座標系の座標値である（Θ１，Φ１）が入力される。そして、画像処理システムは、計算によって、（Θ１，Φ１）をカメラ座標系の座標値である（Θ０，Φ０）に変換する。すなわち、変換テーブルの修正は、下記（３）式乃至（７）式に基づいて、（Θ１，Φ１）を（Θ０，Φ０）に変換する計算である。

上記（３）式乃至（７）式では、グローバル座標系における３次元直交座標値を（ｘ１，ｙ１，ｚ１）とする。そして、（ｘ１，ｙ１，ｚ１）に対応するグローバル座標系における球面座標が（Θ１，Φ１）となる。また、上記（３）式乃至（７）式では、カメラ座標系における３次元直交座標値を（ｘ０，ｙ０，ｚ０）とする。そして、（ｘ０，ｙ０，ｚ０）に対応するカメラ座標系における球面座標が（Θ０，Φ０）となる。

傾き角αに係る変換は、３次元直交座標において行われる。そのため、上記（３）式に基づいて、まず、（Θ１，Φ１）が、（ｘ１，ｙ１，ｚ１）に変換される。次に、傾き角βに係る変換を上記（４）式に基づいて行う。図９に示すように、傾き角βは、水平軸回りの傾きである。上記（４）式のように、傾き角βに基づく変換が行われると、グローバル座標系の（ｘ１，ｙ１，ｚ１）は、カメラ座標系の（ｘ０，ｙ０，ｚ０）に変換される。すなわち、上記（４）式は、グローバル座標系を水平軸回りに、傾き角β回転させる変換である。

次に、カメラ座標系の３次元直交座標値である（ｘ０，ｙ０，ｚ０）を球面座標に変換する。具体的には、上記（５）式及び（６）式に基づいて、（ｘ０，ｙ０，ｚ０）が（Θ'０，Φ０）に変換される。

続いて、傾き角αに基づく変換が、上記（７）式に基づいて行われる。上記（７）式に示すように、上記（６）式で計算される（Θ'０）から傾き角αが減算されると、傾き角αに係る変換がされる。すなわち、上記（５）式によって、（Φ０）が計算され、かつ、上記（６）式及び（７）式に基づいて（Θ０）が計算されて、カメラ座標系における球面座標（Θ０，Φ０）が計算される。

また、例えば、光軸回り（ローリング）の回転角と、水平軸回り（ヨーイング）の回転角とを補正する修正テーブルの修正は、下記（８）式に基づいて、（Θ１，Φ１）を（Θ０，Φ０）に変換する計算である。

なお、上記（８）式では、「η」は、水平軸回りの回転角を示す。また、上記（８）式では、「μ」は、光軸回りの回転角と、水平軸回りの回転角とを加算した値を示す。

上記（３）式乃至（７）式による変換によって、グローバル座標系と、カメラ座標系とが一致し、かつ、回転角は、球面座標における緯度（Θ）及び経度（Φ）の加算で補正できる。そのため、上記（８）式のように、簡単な計算によって、修正テーブルの修正は、実現させることができる。

＜各軸及び各回転角の例＞
図１２は、本発明の一実施形態に係る各軸及び回転角の一例を示す図である。図示する垂直軸、すなわち、Ｚ軸回りの回転角を「Ｙａｗ角」とする。また、図示する水平軸、すなわち、Ｘ軸回りの回転角を「Ｐｉｔｃｈ角」とする。さらに、図示する光軸、すなわち、Ｙ軸回りの回転角を「Ｒｏｌｌ角」とする。

つまり、Ｙａｗ角は、いわゆる横揺れ（ヨーイング）の検出結果を示す。また、Ｐｉｔｃｈ角は、いわゆる縦揺れ（ピッチング）の検出結果を示す。

ジャイロセンサは、図示するＹａｗ角、Ｐｉｔｃｈ角及びＲｏｌｌ角のうち、少なくとも１つの回転角を検出する。なお、望ましくは、Ｐｉｔｃｈ角及びＲｏｌｌ角が検出されるのが望ましい。図１に示すように、全天球カメラが棒状の形状であると、撮像の際に、Ｐｉｔｃｈ角及びＲｏｌｌ角の手振れが発生する場合が多い。そこで、Ｐｉｔｃｈ角及びＲｏｌｌ角が検出され、Ｐｉｔｃｈ角及びＲｏｌｌ角の手振れ等が補正されると、出力画像は、より傾きが少なくなる。

＜機能構成例＞
図１３は、本発明の一実施形態に係る画像処理システムの機能構成を示す機能ブロック図である。例えば、画像処理システム１０は、撮像装置の例である全天球カメラ１と、画像処理装置の例であるスマートフォン２を有する。画像処理システム１０が有する各装置は、例えば、図示するように、各機能を有する。具体的には、全天球カメラ１は、第１撮像部１０Ｆ１と、第２撮像部１０Ｆ２と、圧縮部１０Ｆ３と、第１検出部１０Ｆ４と、第２検出部１０Ｆ５とを備える。一方で、スマートフォン２は、修正テーブル生成部１０Ｆ６と、第２修正テーブル生成部１０Ｆ７と、画像生成部１０Ｆ８とを備える。なお、機能構成は、図示する構成に限られない。

第１撮像部１０Ｆ１及び第２撮像部１０Ｆ２は、撮像によって第１画像ＩＭＧ１及び第２画像ＩＭＧ２をそれぞれ生成する。なお、第１撮像部１０Ｆ１及び第２撮像部１０Ｆ２は、例えば、第１撮像素子１Ｈ１（図２）及び第２撮像素子１Ｈ２（図２）等によって実現される。

圧縮部１０Ｆ３は、第１画像ＩＭＧ１及び第２画像ＩＭＧ２等の画像を圧縮して、第１圧縮画像ＣＩＭＧ１及び第２圧縮画像ＣＩＭＧ２等の圧縮画像を生成する。なお、圧縮部１０Ｆ３は、例えば、動画圧縮回路１Ｈ１４（図２）等によって実現される。

第１検出部１０Ｆ４は、全天球カメラ１の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも１つの傾きを検出する。そして、第１検出部１０Ｆ４による検出結果は、例えば、加速度センサデータＤＧＲとなってスマートフォン２に送られる。なお、第１検出部１０Ｆ４は、例えば、加速度センサ１Ｈ６（図２）等によって実現される。

第２検出部１０Ｆ５は、光軸回りの回転角、垂直軸回りの回転角及び水平軸回りの回転角のうち、少なくとも１つの回転角を検出する。そして、第２検出部１０Ｆ５による検出結果は、例えば、ジャイロセンサデータＤＡＧとなってスマートフォン２に送られる。なお、第２検出部１０Ｆ５は、例えば、ジャイロセンサ１Ｈ７（図２）等によって実現される。

修正テーブル生成部１０Ｆ６は、キーフレームで、第１画像ＩＭＧ１及び第２画像ＩＭＧ２等の画像を変換して出力画像ＩＭＧＯＵＴを生成するのに用いられる変換テーブルＴＣＨを傾きに基づいて修正して修正テーブルＴＣＲを生成する。なお、修正テーブル生成部１０Ｆ６は、例えば、ＣＰＵ２Ｈ１（図３）等によって実現される。

第２修正テーブル生成部１０Ｆ７は、キーフレーム以外のフレームで、第１画像ＩＭＧ１及び第２画像ＩＭＧ２等の画像を変換して出力画像ＩＭＧＯＵＴを生成するのに用いられる修正テーブルＴＣＲを回転角に基づいて修正して第２修正テーブルＴＣＲ２を生成する。なお、第２修正テーブル生成部１０Ｆ７は、例えば、ＣＰＵ２Ｈ１（図３）等によって実現される。

画像生成部１０Ｆ８は、キーフレームであると、修正テーブルＴＣＲに基づいて、出力画像ＩＭＧＯＵＴを生成する。一方で、画像生成部１０Ｆ８は、キーフレーム以外のフレームであると、第２修正テーブルＴＣＲ２に基づいて、出力画像ＩＭＧＯＵＴを生成する。なお、画像生成部１０Ｆ８は、例えば、ＣＰＵ２Ｈ１（図３）等によって実現される。

画像処理システム１０は、圧縮部１０Ｆ３によって、圧縮画像を生成することができる。圧縮画像は、キーフレームと、キーフレーム以外のフレームとによって構成される動画である。

画像処理システム１０は、第１検出部１０Ｆ４が生成する加速度センサデータＤＧＲ等に基づいて、修正テーブル生成部１０Ｆ６によって、修正テーブルＴＣＲを生成することができる。そして、修正テーブルＴＣＲが用いられると、いわゆる天頂補正等によって、画像処理システム１０は、キーフレームで、傾きを補正した出力画像ＩＭＧＯＵＴを生成することができる。

画像処理システム１０は、第２検出部１０Ｆ５が生成するジャイロセンサデータＤＡＧ等に基づいて、第２修正テーブル生成部１０Ｆ７によって、第２修正テーブルＴＣＲ２を生成することができる。そして、第２修正テーブルＴＣＲ２が用いられると、いわゆる手振れ補正等によって、画像処理システム１０は、キーフレーム以外のフレームで、手振れ等による傾きを補正した出力画像ＩＭＧＯＵＴを生成することができる。

また、手振れ等による傾きは、上記説明のように、電子的に補正、すなわち、テーブルを修正する等によって補正されるのが望ましい。例えば、レンズ及び光学センサを物理的に動かして手振れを補正する、いわゆるレンズシフト方式では、レンズ及び光学センサを動作させる装置が必要となる場合が多い。そのため、撮像装置に、補正を行うための装置を搭載するためのスペースを確保する必要がある。

他にも、全天球カメラのように、複数の画像から出力画像を生成する場合では、各画像を撮像するためのレンズ及び光学センサが補正のために動作すると、各画像を結合する際のずれが大きくなる場合が多い。そこで、上記説明のように、テーブルを補正して、手振れ等を含む全天球カメラの傾きが補正されると、出力画像の画質を向上させることができる。

＜その他の実施形態＞
なお、本発明に係る実施形態は、アセンブラ言語、Ｃ言語等の低水準言語又はオブジェクト指向プログラミング言語等の高水準言語で記述されるコンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。また、プログラムは、補助記憶装置、フラッシュメモリ又はブルーレイディスク等の光学ディスク等のコンピュータで読み取り可能な記録媒体に格納して頒布することができる。さらに、プログラムは、電気通信回線を通じて頒布することができる。

画像処理装置は、１つの情報処理装置でなくともよい。つまり、本発明に係る実施形態は、１以上の情報処理装置を有する画像処理システムによって実現されてもよい。すなわち、ネットワーク等で接続される複数の情報処理装置によって、各処理は、冗長、分散又は並列に実行されてもよい。

また、各処理の一部又は全部は、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の電子回路で実現されてもよい。さらに、各処理の一部又は全部は、例えば、ファームウェア等で実現されてもよい。

以上、本発明の好ましい実施例について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。

１０ 画像処理システム
１ 全天球カメラ
２ スマートフォン
ＩＭＧ１ 第１画像
ＩＭＧ２ 第２画像
ＩＭＧＯＵＴ 出力画像
ＴＣＨ 変換テーブル
ＴＣＲ 修正テーブル
ＴＣＲ２ 第２修正テーブル

特許第５８４３０３４号公報

Claims (9)

1. 画像を撮像する撮像装置と、前記撮像装置に接続される１以上の画像処理装置とを有する画像処理システムであって、
   前記画像を圧縮して圧縮画像を生成する圧縮部と、
   前記撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも１つの傾きを検出する第１検出部と、
   前記光軸回りの回転角、前記垂直軸回りの回転角及び前記水平軸回りの回転角のうち、少なくとも１つの回転角を検出する第２検出部と、
   出力画像を出力するのに起点となるキーフレームで、前記画像を変換して前記出力画像を生成するのに用いられる変換テーブルを前記傾きに基づいて修正して修正テーブルを生成する修正テーブル生成部と、
   前記キーフレーム以外のフレームで、前記回転角に基づいて前記修正テーブルを更に修正して、前記画像を変換して前記出力画像を生成するのに用いられる第２修正テーブルを生成する第２修正テーブル生成部と、
   前記キーフレームであると、前記修正テーブルに基づいて、前記出力画像を生成し、かつ、前記キーフレーム以外のフレームであると、前記第２修正テーブルに基づいて、前記出力画像を生成する画像生成部と
   を備える画像処理システム。
2. 前記撮像装置は、複数の画像を撮像する請求項１に記載の画像処理システム。
3. 前記第２検出部は、前記第１検出部より高い時間分解能で検出を行う請求項１又は２に記載の画像処理システム。
4. 前記第２検出部は、少なくとも前記光軸回りの回転角及び前記水平軸回りの回転角を検出する請求項１乃至３のいずれか１項に記載の画像処理システム。
5. 前記キーフレームは、ＩＤＲフレームである請求項１乃至４のいずれか１項に記載の画像処理システム。
6. 前記第１検出部は、加速度センサによって前記傾きを検出し、かつ、前記第２検出部は、ジャイロセンサによって前記回転角を検出する請求項１乃至５のいずれか１項に記載の画像処理システム。
7. 前記傾き及び前記回転角に基づく補正は、前記変換テーブル又は前記修正テーブルを修正する補正である請求項１乃至６のいずれか１項に記載の画像処理システム。
8. 画像を撮像する撮像装置と、前記撮像装置に接続される１以上の画像処理装置とを有する画像処理システムが行う画像処理方法であって、
   前記画像処理システムが、前記画像を圧縮して圧縮画像を生成する圧縮手順と、
   前記画像処理システムが、前記撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも１つの傾きを検出する第１検出手順と、
   前記画像処理システムが、前記光軸回りの回転角、前記垂直軸回りの回転角及び前記水平軸回りの回転角のうち、少なくとも１つの回転角を検出する第２検出手順と、
   前記画像処理システムが、出力画像を出力するのに起点となるキーフレームで、前記画像を変換して前記出力画像を生成するのに用いられる変換テーブルを前記傾きに基づいて修正して修正テーブルを生成する修正テーブル生成手順と、
   前記画像処理システムが、前記キーフレーム以外のフレームで、前記回転角に基づいて前記修正テーブルを更に修正して、前記画像を変換して前記出力画像を生成するのに用いられる第２修正テーブルを生成する第２修正テーブル生成手順と、
   前記画像処理システムが、前記キーフレームであると、前記修正テーブルに基づいて、前記出力画像を生成し、かつ、前記キーフレーム以外のフレームであると、前記第２修正テーブルに基づいて、前記出力画像を生成する画像生成手順と
   を含む画像処理方法。
9. 画像を撮像する撮像装置と、前記撮像装置に接続される１以上の画像処理装置とを有するコンピュータに画像処理方法を実行させるためのプログラムであって、
   前記コンピュータが、前記画像を圧縮して圧縮画像を生成する圧縮手順と、
   前記コンピュータが、前記撮像装置の光軸回りの傾き、垂直軸回りの傾き及び水平軸回りの傾きのうち、少なくとも１つの傾きを検出する第１検出手順と、
   前記コンピュータが、前記光軸回りの回転角、前記垂直軸回りの回転角及び前記水平軸回りの回転角のうち、少なくとも１つの回転角を検出する第２検出手順と、
   前記コンピュータが、出力画像を出力するのに起点となるキーフレームで、前記画像を変換して前記出力画像を生成するのに用いられる変換テーブルを前記傾きに基づいて修正して修正テーブルを生成する修正テーブル生成手順と、
   前記コンピュータが、前記キーフレーム以外のフレームで、前記回転角に基づいて前記修正テーブルを更に修正して、前記画像を変換して前記出力画像を生成するのに用いられる第２修正テーブルを生成する第２修正テーブル生成手順と、
   前記コンピュータが、前記キーフレームであると、前記修正テーブルに基づいて、前記出力画像を生成し、かつ、前記キーフレーム以外のフレームであると、前記第２修正テーブルに基づいて、前記出力画像を生成する画像生成手順と
   を実行させるためのプログラム。